JP2012156686A - Search method, search device, and moving image editing device - Google Patents

Search method, search device, and moving image editing device Download PDF

Info

Publication number
JP2012156686A
JP2012156686A JP2011012880A JP2011012880A JP2012156686A JP 2012156686 A JP2012156686 A JP 2012156686A JP 2011012880 A JP2011012880 A JP 2011012880A JP 2011012880 A JP2011012880 A JP 2011012880A JP 2012156686 A JP2012156686 A JP 2012156686A
Authority
JP
Japan
Prior art keywords
population
display
moving image
list
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011012880A
Other languages
Japanese (ja)
Other versions
JP5701078B2 (en
Inventor
Takashi Futamura
尚 二村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GRAFFICIA Inc
Original Assignee
GRAFFICIA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GRAFFICIA Inc filed Critical GRAFFICIA Inc
Priority to JP2011012880A priority Critical patent/JP5701078B2/en
Publication of JP2012156686A publication Critical patent/JP2012156686A/en
Application granted granted Critical
Publication of JP5701078B2 publication Critical patent/JP5701078B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To easily and efficiently perform a work to search for a target candidate from multiple candidates.SOLUTION: A moving image editing device 1 searches for a division position in dividing a moving image as follows by the function of a moving image editing application program. First, a whole moving image or a part of it is set as the population data of a search target, N frame images are extracted from the data in accordance with a predetermined extraction rule such as equal interval, and then, an arrayal list R0 is displayed, where the thumbnails of the extracted frame images are arrayed by time sequence. When a touch input is performed at a prescribed position of the arrayal list R0, a moving image in a range between the thumbnails immediately before and after the input position is set as the new population data. Then, till the displaying of the thumbnail of the target frame image, three steps are repeated, i.e., narrowing the population by the touch input, extracting the N frame images, and displaying the list of the extracted thumbnails.

Description

本発明は、多数の候補の中から目的とする候補を検索するための検索方法および検索装置に関し、特に、動画などの極めて多数のフレーム画像を含むデータから、目的のフレーム画像を効率良く探し出すのに適した検索方法および検索装置、ならびに、この検索方法を用いることにより、編集対象の動画から目的のフレーム画像を効率的に検索するのに適した動画編集装置に関する。   The present invention relates to a search method and a search apparatus for searching for a target candidate from among a large number of candidates, and more particularly to efficiently search for a target frame image from data including a very large number of frame images such as moving images. The present invention relates to a search method and a search apparatus suitable for the above, and a video editing apparatus suitable for efficiently searching for a target frame image from a video to be edited by using this search method.

TV番組の録画データやホームビデオで撮影した撮影データなどの動画に対して、特定の箇所で動画を分割したり、特定の範囲を切り出す処理や削除する処理などの編集処理を行うためには、動画の中から該当位置あるいは該当範囲の始点および終点を正確に検出して分割位置あるいは切り出し位置として指定する必要がある。   In order to perform editing processing such as processing to divide a video at a specific location, processing to cut out a specific range, or processing to delete a video such as recording data of a TV program or shooting data taken with a home video, It is necessary to accurately detect the start position and end point of the corresponding position or range from the moving image and specify them as the division position or the cutout position.

従来は、このような動画中の所望の位置や範囲を正確に指定する方法として、動画を時系列に沿って再生してゆき、目的の箇所に近いところまで再生したらその時点で再生をストップして、その前後のフレーム画像をコマ送りによって1枚ずつ確認し、目的の位置のコマ、あるいは、目的の範囲の始点あるいは終点となるコマを指定する方法を用いている。   Conventionally, as a method for accurately specifying the desired position and range in such a movie, the movie is played back in chronological order, and playback is stopped at that point when the movie is played back close to the target location. Then, a method is used in which the frame images before and after the frame image are confirmed one by one by frame advance and the frame at the target position or the frame that is the start point or end point of the target range is designated.

しかしながら、この方法では、再生を停止した位置から目的とするコマまでが遠い場合には、コマ送りボタンによって1コマずつコマ送りする作業に手間がかかり、作業負担が大きい。また、このようなコマ送り作業は、コマ送りボタンを押してからフレーム画像が切り換わるまでに時間がかかるため、コマ送りボタンを押しすぎてしまい、指定すべきコマを通過してしまうおそれがある。また、指定すべきコマを通過してしまうと目標を見失い、更に手間がかかるという問題点もある。   However, with this method, when the distance from the position where playback was stopped to the target frame is far, it takes time and labor to perform frame-by-frame advancement by the frame advance button. In addition, since such a frame advance operation takes a long time from when the frame advance button is pressed to when the frame image is switched, the frame advance button may be pushed too much and a frame to be designated may be passed. Another problem is that if a frame to be designated is passed, the target is lost, and it takes more time.

また、動画中の所望の位置や範囲を正確に指定する他の方法として、画面上に、スクロールバーと共に、スクロールバーで指定した再生位置を中心とする所定数のフレーム画像を時系列に沿って一列に並べたフレームリストを表示し、スクロールバーを操作してフレームリストをスクロールさせることにより、フレーム画像を時系列に沿って順次確認して、目的の位置もしくは目的の範囲の始点あるいは終点を検出する方法が用いられている。   As another method for accurately specifying a desired position or range in a moving image, a predetermined number of frame images centered on the playback position specified by the scroll bar are displayed on the screen in time series together with the scroll bar. By displaying the frame list arranged in a line and scrolling the frame list by operating the scroll bar, the frame images are sequentially confirmed along the time series to detect the target position or the start point or end point of the target range. Method is used.

しかしながら、この方法では、一画面に表示できるコマ数はせいぜい十数個程度である。これに対し、通常の動画データは、1秒あたり20〜30コマのフレーム画像によって構成されており、一画面に表示できるコマ数は、動画の再生時間にして0.5秒程度あるいはそれ以下にしかならない。従って、膨大なコマ数のフレーム画像を有する動画では、目的とするコマまでスクロールするのに手間がかかってしまう。また、適切な速度でフレームリスト上の画像をスクロールさせる作業は微細な作業であるため難しく、作業負担が大きい。更に、微細な作業に不慣れでスクロール速度が速すぎると目的とするフレーム画像を見逃すおそれがあり、スクロールしすぎて目標を見失ってしまうおそれもある。   However, with this method, the number of frames that can be displayed on one screen is at most about ten. In contrast, normal moving image data is composed of 20 to 30 frame images per second, and the number of frames that can be displayed on one screen is about 0.5 seconds or less as a moving image playback time. It must be. Therefore, in the case of a moving image having a huge number of frame images, it takes time to scroll to the target frame. In addition, the operation of scrolling the image on the frame list at an appropriate speed is difficult because it is a fine operation, and the work load is large. Furthermore, if the user is unaccustomed to fine work and the scroll speed is too high, the target frame image may be missed, and the target may be lost due to scrolling too much.

このように、従来の方法では、目的のコマに到達するまで、時系列に沿って順次フレーム画像を切り換える、あるいはフレームリストをスクロールさせる必要があるため、検索に手間がかかり、作業負担が大きく、効率的であるとはいえない。そこで、このようなコマ送り表示やスクロール表示を行うことなく、動画の中の目的とする箇所を検索する方法が提案されている。特許文献1には、この種の検索方法が開示されている。   As described above, in the conventional method, it is necessary to sequentially switch the frame images in time series or scroll the frame list until the target frame is reached. It's not efficient. Therefore, a method for searching for a target location in a moving image without performing such frame advance display or scroll display has been proposed. Patent Document 1 discloses this kind of search method.

特許文献1のシーン検索方法では、動画から、予めユーザーが設定した単位時間毎にシーン(フレーム画像)を抽出する。そして、各シーンのサムネイルを画面上に縦横にマトリクス状に並べて表示する。そして、ユーザーが画面上のサムネイルのいずれかを選択すると、選択されたサムネイルに対応するシーンを中心とする、より細かい時間間隔で抽出されたシーンのサムネイルを表示する。特許文献1の方法は、このようなシーン抽出工程およびシーン選択工程を繰り返すことにより、シーンの抽出間隔が、予め設定した単位時間のうちの最も短い単位時間になるまで、動画を絞り込んでゆくものである。   In the scene search method of Patent Document 1, a scene (frame image) is extracted from a moving image for each unit time set in advance by a user. Then, the thumbnails of each scene are displayed side by side in a matrix on the screen. When the user selects any one of the thumbnails on the screen, the thumbnails of the scenes extracted at finer time intervals centering on the scene corresponding to the selected thumbnail are displayed. In the method of Patent Document 1, by repeating such a scene extraction step and a scene selection step, the moving image is narrowed down until the scene extraction interval becomes the shortest unit time among preset unit times. It is.

特開2006−186617号公報JP 2006-186617 A

特許文献1の方法では、初回のシーン抽出工程においてシーン(フレーム画像)を動画から抽出するための時間間隔として、ユーザーが予め設定した単位時間を用いている。このため、動画の長さに応じて抽出されるシーンの数が異なり、長い動画データでは多数のシーンが抽出され、短い動画データでは少数のシーンしか抽出されない。従って、短い動画の場合には、単位時間の設定によっては、最初のシーン抽出数が少なくなりすぎて初回のシーン選択が実質的にあまり意味をなさず、非効率になってしまうという問題点がある。   In the method of Patent Document 1, a unit time preset by the user is used as a time interval for extracting a scene (frame image) from a moving image in the first scene extraction step. For this reason, the number of scenes to be extracted differs according to the length of the moving image, and a large number of scenes are extracted from the long moving image data, and only a small number of scenes are extracted from the short moving image data. Therefore, in the case of a short video, depending on the unit time setting, the number of initial scene extractions becomes too small, and the initial scene selection does not make much sense and becomes inefficient. is there.

また、特許文献1の方法では、上述したように抽出されるシーン(フレーム画像)の数が動画の長さによって異なる一方で、抽出したシーンのサムネイルを表示するためのレイアウトは、一画面に9シーン、あるいは、16シーンなどのように表示数が固定となっている。このため、長い動画の場合には、初回のシーン選択工程において、全シーンのサムネイルを一画面で一覧表示することができず、全てのサムネイルを確認するためには画面の切り換えを行わなければならない。また、3行×3列、4行×4列などのようにマトリクス状にサムネイルを表示しているため、表示したサムネイルの時系列の順序がわかりにくく、目的とするシーンであるか否かの判断が困難になるという問題点もある。従って、特許文献1の方法では、シーンの選択を十分に効率的に行うことができるとはいえない。   In the method of Patent Document 1, the number of extracted scenes (frame images) varies depending on the length of the moving image as described above, while the layout for displaying the thumbnails of the extracted scenes is 9 per screen. The number of displays is fixed, such as a scene or 16 scenes. For this reason, in the case of a long movie, it is not possible to list thumbnails of all scenes on one screen in the initial scene selection process, and the screen must be switched to check all the thumbnails. . In addition, since thumbnails are displayed in a matrix such as 3 rows × 3 columns, 4 rows × 4 columns, etc., the time series order of the displayed thumbnails is difficult to understand, and whether or not the target scene is the target scene. There is also a problem that it is difficult to judge. Therefore, it cannot be said that the method of Patent Document 1 can perform scene selection sufficiently efficiently.

更に、特許文献1の方法は、シーン抽出工程およびシーン選択工程を繰り返して階層的にシーンを絞り込むにあたって、2回目以降のシーン抽出における時間間隔を、n/(A×b)となるように設定している(n:初回のシーン抽出時の時間間隔、A:抽出回数(2回目を1とする)、b:規定数)。つまり、この方法では、抽出回数を重ねる毎に抽出間隔が細かくなっていくものの、抽出間隔は線形的に縮小してゆく程度である。従って、動画のフレーム画像のような膨大な数の候補データを絞り込んでゆくことを考えた場合、30分程度の動画でも数万のフレーム画像が含まれるため、目的とするフレームの前後のフレームまで確認してシーンの切り換わり位置などを決定しようとすると、少なくとも数百回かそれ以上の膨大な回数の抽出工程および選択工程を繰り返す必要がある。従って、検索作業を十分に効率的に行うことができるとはいえない。   Further, in the method of Patent Document 1, when the scene extraction process and the scene selection process are repeated to narrow down the scene hierarchically, the time interval in the second and subsequent scene extractions is set to n / (A × b). (N: time interval at the time of first scene extraction, A: number of times of extraction (second is set to 1), b: specified number). In other words, in this method, the extraction interval becomes finer every time the number of extractions is repeated, but the extraction interval is only linearly reduced. Therefore, when considering a huge number of candidate data such as frame images of moving images, even a moving image of about 30 minutes includes tens of thousands of frame images. If an attempt is made to determine the scene switching position after confirmation, it is necessary to repeat the extraction process and selection process at least several hundred times or more. Therefore, it cannot be said that the search operation can be performed sufficiently efficiently.

また、特許文献1の方法は、動画中の1つの時点のみを選択してその時点を中心としてシーンを抽出するものであるため、特定の範囲を検索したい場合には始点と終点の2箇所について2回検索を行わなければならない。従来の方法においても、動画中の任意の範囲を選択できるものはあるが、結局、始点および終点を正確に決定するためには、始点および終点のそれぞれについて細かく絞り込んでゆく作業を2回に分けて行わなければならないため、手間がかかる。   In addition, since the method of Patent Document 1 selects only one time point in a moving image and extracts a scene centering on that time point, when searching for a specific range, two points of a start point and an end point are selected. You have to search twice. Even in the conventional method, there are those that can select an arbitrary range in the video, but in the end, in order to accurately determine the start point and end point, the work of narrowing down each of the start point and end point is divided into two times. It takes time and effort.

本発明の課題は、上記のような課題に鑑みて、多数の候補の中から目的とする候補を検索する作業を簡単かつ効率的に行うのに適した検索方法および検索装置を提案することにある。また、この検索方法を用いることにより、編集対象の動画から目的の箇所を簡単且つ効率的に検索できる動画編集装置を提案することにある。   In view of the above-described problems, an object of the present invention is to propose a search method and a search apparatus that are suitable for easily and efficiently performing a task of searching for a target candidate from among a large number of candidates. is there. Another object of the present invention is to propose a moving image editing apparatus that can easily and efficiently search a target location from a moving image to be edited by using this search method.

上記の課題を解決するために、本発明の検索方法は、
検索対象を指定もしくは検索開始を指示する入力に基づき、制御手段が、所定の配列基準に従って配列可能な一連の候補データを検索対象の母集団として設定する処理を行う初期設定工程と、
前記制御手段が、前記母集団から、予め設定した抽出規則に従い、予め設定した数の候補データを抽出する処理を行う抽出工程と、
前記制御手段が、当該抽出した各候補データを示す表示を前記配列基準に従って一列に並べた配列表示を生成して、当該配列表示を表示手段に一覧表示する処理を行う一覧表示工程と、
前記制御手段が、前記配列表示の一部を選択するための選択入力が行われるのを待機し、当該選択入力が行われると、当該選択入力に基づいて前記配列表示のどの部分が選択されたかを判断し、当該選択された部分に対応する前記母集団の部分を新たな母集団に設定する処理を行う絞り込み工程と、を行い、
前記制御手段は、前記母集団を設定した場合には、検索を終了もしくは中断させるための入力が行われるか、もしくは、前記母集団が前記抽出工程を行う必要がない内容であると判断するまで、前記抽出工程、前記一覧表示工程、前記絞り込み工程、の3工程を繰り返すことを特徴としている。
In order to solve the above problems, the search method of the present invention provides:
Based on an input for designating a search target or instructing start of search, the control means performs a process of setting a series of candidate data that can be arranged according to a predetermined sequence standard as a population to be searched; and
An extraction step in which the control means performs a process of extracting a preset number of candidate data according to a preset extraction rule from the population;
A list display step in which the control means generates a sequence display in which the display indicating the extracted candidate data is arranged in a line in accordance with the sequence criteria, and performs a process of displaying the sequence display on the display means as a list;
The control unit waits for a selection input for selecting a part of the array display, and when the selection input is performed, which part of the array display is selected based on the selection input. And performing a process of setting a portion of the population corresponding to the selected portion as a new population,
The control means, when the population is set, until an input for ending or interrupting the search is performed, or until it is determined that the population does not need to perform the extraction step , The extraction process, the list display process, and the narrowing-down process are repeated.

本発明では、このように、母集団を設定すると、ここから予め設定した数の候補データを自動的に抽出して一覧表示させるため、候補データを1つずつ表示させたり細かくスクロールさせるなどの微細な操作や、画面切り換えなどを全く行わずに、候補データの確認および選択を行うことができる。従って、候補データの検索を簡単に行うことができる。また、母集団とする候補データの量に関わらず常に一定数の候補データを抽出するため、一覧表示する候補データの数が中途半端にならず、効率的に検索を進めることができる。更に、候補データの抽出および選択を繰り返す毎に指数関数的に母集団の範囲が絞り込まれるため、多数あるいは大きな範囲の候補データを絞り込む場合でも、少ない選択回数で検索過程の最終段階まで進むことができ、少ない選択回数で目的とする候補データに到達できる。よって、効率的な検索が可能である。加えて、検索過程の最終段階まで進んでも表示する候補データの数が比較的少なくて済むので、抽出した候補データを示す配列表示を行うための処理負荷が小さい。   In the present invention, when a population is set as described above, a predetermined number of candidate data is automatically extracted from the list and displayed as a list, so that the candidate data can be displayed one by one or finely scrolled. The candidate data can be confirmed and selected without any operation or screen switching. Therefore, it is possible to easily search for candidate data. In addition, since a certain number of candidate data is always extracted regardless of the amount of candidate data as a population, the number of candidate data to be displayed in a list is not halfway, and the search can be efficiently performed. Further, since the range of the population is narrowed down exponentially each time extraction and selection of candidate data is repeated, even when narrowing down a large number or a large range of candidate data, it is possible to proceed to the final stage of the search process with a small number of selections. The target candidate data can be reached with a small number of selections. Therefore, efficient search is possible. In addition, since the number of candidate data to be displayed is relatively small even when the search process proceeds to the final stage, the processing load for displaying the array indicating the extracted candidate data is small.

ここで、前記制御手段は、前記母集団が前記予め設定した数以下の離散的な候補データのみを含むと判断した場合には、前記3工程の繰り返しを中止して、当該母集団を構成する全ての候補データを示す表示を一列に並べて前記表示手段に一覧表示する処理を行う。このように、連続的な候補データでなく、離散的な候補データに対する検索の場合には、検索過程の最終段階で予め設定した数以下の候補データのみが残る。従って、この場合には、抽出工程は必要ないと判断して、残った母集団を構成する候補データを全て表示することにより、目的とする候補データを決定できる。   Here, when the control unit determines that the population includes only the discrete candidate data equal to or less than the preset number, the control unit stops the repetition of the three steps and configures the population. A process of displaying all candidate data in a line and displaying the list on the display means is performed. Thus, in the case of a search for discrete candidate data instead of continuous candidate data, only the candidate data equal to or less than the number set in advance at the final stage of the search process remains. Therefore, in this case, it is determined that the extraction process is not necessary, and the candidate data to be targeted can be determined by displaying all candidate data constituting the remaining population.

また、この場合に、前記制御手段は、前記抽出工程において、前記母集団を構成する全ての候補データを前記配列基準に従って一列に並べた配列を予め設定した分割比率で所定数に分割した場合の各分割位置に対応する候補データを含むように、前記予め設定した数の候補データを抽出することができる。このようにすると、候補データの内容や検索目的に応じて適切な候補データを抽出可能にすることができる。   Further, in this case, the control means, in the extraction step, when dividing the array in which all the candidate data constituting the population are arranged in a line according to the sequence criterion into a predetermined number at a preset division ratio The preset number of candidate data can be extracted so as to include candidate data corresponding to each division position. In this way, appropriate candidate data can be extracted according to the contents of the candidate data and the search purpose.

あるいは、前記制御手段は、前記抽出工程において、前記予め設定した数の候補データとして、前記母集団を構成する全ての候補データを前記配列基準に従って一列に並べた配列の先頭および末尾の候補データ、ならびに、当該配列を所定数に等分割した場合の各分割位置に対応する候補データを抽出するように構成してもよい。このようにすると、母集団の全範囲をカバーしつつ、均一に候補データを抽出できる。   Alternatively, the control means, in the extraction step, as the preset number of candidate data, the candidate data at the beginning and the end of the array in which all candidate data constituting the population are arranged in a line according to the sequence criterion, In addition, candidate data corresponding to each division position when the array is equally divided into a predetermined number may be extracted. In this way, candidate data can be extracted uniformly while covering the entire range of the population.

ここで、前記制御手段は、前記一覧表示工程において、前記一覧表示する配列表示の配列方向を、縦、横、斜めのいずれかの向きに直線状に並んだ配列方向、あるいは、円弧状もしくは環状に並んだ配列方向とすることができる。このように、本発明では、候補データの内容や配列基準、表示画面のレイアウト等に応じて、適切な配列表示を行うことできる。例えば、時系列に沿って並ぶデータの場合には直線状に配列することによって前後関係がわかりやすくなる。また、色相を連続的に変化させた画像群を候補とする場合には、円環状に配列することによって色相環に沿った表示を行うことができる。   Here, in the list display step, the control means is arranged so that an array direction of the array display to be displayed in a list is linearly arranged in any one of vertical, horizontal, and diagonal directions, or an arc shape or an annular shape. The arrangement direction can be arranged in a row. As described above, according to the present invention, appropriate array display can be performed according to the contents of the candidate data, the array reference, the layout of the display screen, and the like. For example, in the case of data arranged in time series, the context is easily understood by arranging the data in a straight line. In addition, when an image group in which the hue is continuously changed is used as a candidate, display along the hue ring can be performed by arranging the images in an annular shape.

本発明において、前記一連の候補データが、所定時間毎に順次切り換え表示される多数のフレーム画像によって構成される動画である場合には、前記制御手段は、前記抽出工程において、前記母集団として設定されている前記動画の全範囲にわたって分散するように設定されている前記予め設定した数の抽出位置から、前記予め設定した数のフレーム画像を抽出する処理を行い、前記一覧表示工程において、前記抽出工程で抽出した各フレーム画像のサムネイルを、当該各フレーム画像の表示順に従って一列に並べた配列表示を生成して、当該配列表示を一画面に一覧表示する処理を行い、前記絞り込み工程において、前記配列表示の一部が選択されたと判断すると、当該選択された部分に対応する前記動画の範囲を新たな母集団に設定する処理を行い、前記母集団を設定した場合には、検索を終了もしくは中断させるための入力が行われるか、もしくは、前記母集団を構成するフレーム画像数が前記予め設定した数以下になったと判断するまで、前記抽出工程、前記一覧表示工程、前記絞り込み工程、の3工程を繰り返し、前記制御手段は、前記母集団を構成するフレーム画像数が前記予め設定した数以下であると判断すると、当該母集団を構成する全てのフレーム画像のサムネイルを一列に並べた配列表示を一覧表示する処理を行うように構成することができる。   In the present invention, when the series of candidate data is a moving image composed of a plurality of frame images that are sequentially switched and displayed at predetermined time intervals, the control means sets the population in the extraction step. A process of extracting the preset number of frame images from the preset number of extraction positions set to be distributed over the entire range of the moving image, and in the list display step, the extraction is performed. A process of generating an array display in which the thumbnails of the frame images extracted in the process are arranged in a line according to the display order of the frame images and displaying the array display in a list on one screen is performed. When it is determined that a part of the array display has been selected, the range of the moving image corresponding to the selected part is set as a new population. When the population is set, it is determined that an input for terminating or interrupting the search is performed, or the number of frame images constituting the population is equal to or less than the preset number. Until the control unit determines that the number of frame images constituting the population is equal to or less than the preset number, the extraction step, the list display step, and the narrowing step are repeated. It can be configured to perform a process of displaying a list of array displays in which thumbnails of all frame images constituting the population are arranged in a line.

このように、動画を構成しているフレーム画像の検索に本発明を適用すると、フレームリストのスクロールやコマ送り、画面切り換えなどの微細で手間のかかる操作を全く行うことなく、動画の範囲を絞り込むことができる。特に、サムネイルの配列に対する範囲指定を行う毎に動画の範囲を指数関数的に狭めてゆくことができるため、膨大な数のフレーム画像を含む動画からの検索であっても、少ない回数の範囲指定で目的とするフレーム画像に到達できる。よって、効率的な検索が可能である。加えて、検索完了までに表示するサムネイルの数がそれほど多くないため、サムネイルの生成および配列表示のための処理負荷が小さい。   As described above, when the present invention is applied to search for frame images constituting a moving image, the range of the moving image is narrowed down without performing fine and troublesome operations such as frame list scrolling, frame advancement, and screen switching. be able to. In particular, every time you specify a range for an array of thumbnails, the range of the video can be narrowed exponentially, so even if you search from a video that contains a large number of frame images, you can specify the range a few times. To reach the target frame image. Therefore, efficient search is possible. In addition, since the number of thumbnails to be displayed before the search is completed is not so large, the processing load for generating and displaying thumbnails is small.

ここで、前記制御手段は、前記絞り込み工程において、前記配列表示における隣接する2つのサムネイル間の部分が選択されたと判断した場合には、当該隣接する2つのサムネイルに対応する2つのフレーム画像の一方を始点、他方を終点とする前記動画の範囲を、前記新たな母集団として設定するように構成することができる。このようにすると、フレーム画像の抽出数に応じた倍率で母集団を構成する動画の範囲(フレーム画像群)を絞り込んでゆくことができる。また、サムネイル間の任意の位置を選択するだけでよいため、範囲指定のための操作が簡単である。   Here, when the control unit determines that the portion between the two adjacent thumbnails in the array display is selected in the narrowing-down process, one of the two frame images corresponding to the two adjacent thumbnails is selected. Can be configured to set the range of the moving image having the starting point and the other end point as the new population. In this way, it is possible to narrow down the range of moving images (frame image group) constituting the population at a magnification according to the number of extracted frame images. Further, since it is only necessary to select an arbitrary position between thumbnails, an operation for specifying a range is simple.

あるいは、前記制御手段は、前記絞り込み工程において、前記配列表示におけるいずれかのサムネイルから他のサムネイルまでの区間が選択されたと判断した場合には、当該選択された区間の先頭に位置するサムネイルおよびその直前に位置するサムネイルに対応する2つのフレーム画像を、前記動画における第1の範囲の始点および終点に設定すると共に、前記選択された区間の末尾に位置するサムネイルおよびその直後に位置するサムネイルに対応する2つのフレーム画像を、前記動画における第2の範囲の始点および終点に設定して、前記第1および前記第2の範囲を、前記新たな母集団として設定し、当該第1および第2の範囲を新たな母集団として設定した直後の前記抽出工程において、前記第1および第2の各範囲内にそれぞれ所定数ずつ分散するように設定されている前記予め設定した数の抽出位置から、前記予め設定した数の前記フレーム画像を抽出するように構成することができる。このようにすると、動画の切り出したい部分、あるいは、削除したい部分などの所定の範囲を決定する場合に、その始点および終点を一度に絞り込んでゆくことができる。しかも、始点と終点の間の範囲の大部分を検索対象から除くため、始点付近および終点付近の2箇所に絞って効率的に動画の範囲を絞り込んでゆくことができる。従って、目的とする動画の範囲の長さに関わらず、効率的に検索を行うことができる。   Alternatively, when the control means determines that a section from any thumbnail to another thumbnail in the array display is selected in the narrowing-down step, the thumbnail located at the head of the selected section and its thumbnail Two frame images corresponding to the thumbnail located immediately before are set as the start point and end point of the first range in the moving image, and correspond to the thumbnail located at the end of the selected section and the thumbnail located immediately after it. Two frame images to be set as a start point and an end point of a second range in the moving image, the first and second ranges are set as the new population, and the first and second ranges are set. In the extraction step immediately after setting a range as a new population, each of the first and second ranges It can be configured to a have been set the number of extraction positions set in advance so as to disperse by constant, extracting the frame image number with the preset. In this way, when determining a predetermined range such as a portion to be cut out of a moving image or a portion to be deleted, the start point and the end point can be narrowed down at a time. In addition, since most of the range between the start point and the end point is excluded from the search target, the range of the moving image can be efficiently narrowed down to two places near the start point and the end point. Therefore, the search can be performed efficiently regardless of the length of the target moving image range.

次に、本発明において、前記一連の候補データが、交通機関の運行便群のデータである場合には、前記制御手段は、前記抽出工程において、前記運行便群の発着時間範囲を予め設定した分割比率で所定数に分割した各分割時点に最も近い各運行便のデータを含むように、前記予め設定した数の運行便のデータを抽出する構成とすることができる。このように、本発明は、時刻表などのデータから運行便を検索する場合にも適用でき、簡単かつ効率的に運行便を検索するための方法として利用できる。   Next, in the present invention, in the case where the series of candidate data is data of a flight group of transportation facilities, the control means presets a departure / arrival time range of the flight group in the extraction step. It can be set as the structure which extracts the data of the said preset number of operation flights so that the data of each operation flight nearest to each division | segmentation time divided | segmented into the predetermined number by the division | segmentation ratio may be included. As described above, the present invention can be applied to a case where a flight is searched from data such as a timetable, and can be used as a method for easily and efficiently searching for a flight.

また、本発明において、前記一連の候補データが、画像における所定の特徴量を所定範囲で変化させた場合の、当該特徴量の各値に対応する画像群のデータである場合には、前記制御手段は、前記抽出工程において、前記画像群における前記特徴量の変化範囲を予め設定した分割比率で所定数に分割した場合の各分割点に対応する各画像のデータを含むように、前記予め設定した数の画像のデータを抽出する構成とすることもできる。このように、本発明は、画像における色相や明度などの特徴量を連続的に変化させる場合に適用でき、変化範囲中の各値に対応する画像をサムネイルで予め設定した数だけ並べて例示できる。このため、例示されたサムネイルを比較検討することによって目的とする特徴量の値を簡単且つ効率的に決定できる。   In the present invention, when the series of candidate data is data of an image group corresponding to each value of the feature amount when a predetermined feature amount in the image is changed within a predetermined range, the control is performed. In the extracting step, the presetting is performed so as to include data of each image corresponding to each division point when the change range of the feature amount in the image group is divided into a predetermined number at a preset division ratio. It is also possible to extract the data of the number of images. As described above, the present invention can be applied to the case where feature quantities such as hue and lightness in an image are continuously changed, and can exemplify a predetermined number of images corresponding to each value in the change range. Therefore, the target feature value can be easily and efficiently determined by comparing and examining the exemplified thumbnails.

次に、本発明は、上記の検索方法により、検索対象の母集団の中から目的の候補データを検索する検索装置であって、
予め設定した数の表示を一列に並べた配列表示を一覧表示するための表示手段と、
前記配列表示の一部を選択するための選択入力を受け付ける入力手段と、
前記検索方法を実行するためのプログラムを記憶する記憶手段と、
当該記憶手段から読み出したプログラムに基づき、前記検索方法における各工程を行うための処理を実行する制御手段とを有することを特徴としている。
Next, the present invention is a search device for searching for target candidate data from a population to be searched by the above search method,
Display means for displaying a list of array displays in which a predetermined number of displays are arranged in a line;
Input means for receiving a selection input for selecting a part of the array display;
Storage means for storing a program for executing the search method;
And a control unit that executes processing for performing each step in the search method based on a program read from the storage unit.

また、本発明は、上記の検索方法により、動画における編集箇所のフレーム画像を検索する動画編集装置であって、
前記動画データに含まれるフレーム画像のサムネイルを予め設定した数だけ一列に並べた配列表示を一画面に一覧表示するための表示手段と、
前記配列表示の一部を選択するための選択入力を受け付ける入力手段と、
前記検索方法を実行するためのプログラムを記憶する記憶手段と、
当該記憶手段から読み出したプログラムに基づき、前記検索方法における各工程を行うための処理を実行する制御手段とを有することを特徴としている。
Further, the present invention is a moving image editing apparatus for searching for a frame image of an edited portion in a moving image by the above search method,
Display means for displaying a list of array displays in which a predetermined number of thumbnails of frame images included in the video data are arranged in a line on a single screen;
Input means for receiving a selection input for selecting a part of the array display;
Storage means for storing a program for executing the search method;
And a control unit that executes processing for performing each step in the search method based on a program read from the storage unit.

ここで、上記各装置において、前記表示手段が液晶表示パネルであり、前記入力手段が前記液晶表示パネルの表面に設置されたタッチパネルである場合には、前記制御手段は、前記絞り込み処理において、前記液晶表示パネルに一覧表示された配列表示の一部をタッチもしくはなぞる操作が行われた場合に、当該タッチされた部分もしくはなぞられた部分に対応する前記母集団の部分(候補データが動画データの場合には、動画の範囲)を新たな母集団に設定することができる。このように、本発明は、タッチパネル式の入力表示パネルを備える装置における検索作業に適用すると、検索時の操作性が良好である。例えば、タブレット型コンピュータなどにおける検索作業に適している。   Here, in each of the above devices, when the display unit is a liquid crystal display panel and the input unit is a touch panel installed on the surface of the liquid crystal display panel, the control unit is When an operation of touching or tracing a part of the array display displayed in a list on the liquid crystal display panel is performed, the touched portion or the portion of the population corresponding to the traced portion (candidate data is the moving image data). In this case, the range of the moving image) can be set to a new population. Thus, when the present invention is applied to a search operation in an apparatus having a touch panel type input display panel, the operability at the time of search is good. For example, it is suitable for search work on a tablet computer or the like.

本発明によれば、母集団を設定すると、ここから予め設定した数の候補データを自動的に抽出して一覧表示させるため、候補データを1つずつ表示させたり細かくスクロールさせるなどの微細な操作や、画面切り換えなどを全く行わずに、候補データの確認および選択を行うことができる。従って、候補データの検索を簡単に行うことができる。また、母集団とする候補データの量に関わらず常に一定数の候補データを抽出するため、一覧表示する候補データの数が中途半端にならず、効率的に検索を進めることができる。更に、候補データの抽出および選択を繰り返す毎に指数関数的に母集団の範囲が絞り込まれるため、多数あるいは大きな範囲の候補データを絞り込む場合でも、少ない選択回数で検索過程の最終段階まで進むことができ、少ない選択回数で目的とする候補データに到達できる。よって、効率的な検索が可能である。加えて、検索過程の最終段階まで進んでも表示する候補データの数が比較的少なくて済むので、抽出した候補データを示す配列表示を行うための処理負荷が小さい。   According to the present invention, when a population is set, a predetermined number of candidate data are automatically extracted from the list and displayed as a list, so that fine operations such as displaying candidate data one by one or finely scrolling In addition, candidate data can be confirmed and selected without any screen switching. Therefore, it is possible to easily search for candidate data. In addition, since a certain number of candidate data is always extracted regardless of the amount of candidate data as a population, the number of candidate data to be displayed in a list is not halfway, and the search can be efficiently performed. Further, since the range of the population is narrowed down exponentially each time extraction and selection of candidate data is repeated, even when narrowing down a large number or a large range of candidate data, it is possible to proceed to the final stage of the search process with a small number of selections. The target candidate data can be reached with a small number of selections. Therefore, efficient search is possible. In addition, since the number of candidate data to be displayed is relatively small even when the search process proceeds to the final stage, the processing load for displaying the array indicating the extracted candidate data is small.

本発明の検索装置の一実施形態である動画編集装置の説明図である。It is explanatory drawing of the moving image editing apparatus which is one Embodiment of the search device of this invention. 動画編集装置の制御系の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the control system of a moving image editing apparatus. 動画を所定の位置で分割する場合の分割位置を示すフレーム画像の検索方法を示す説明図である。It is explanatory drawing which shows the search method of the frame image which shows the division | segmentation position in the case of dividing | segmenting a moving image at a predetermined position. 図3の検索方法を実行する際の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process at the time of performing the search method of FIG. 一覧表示中のアプリケーション画面の一例を示す説明図である。It is explanatory drawing which shows an example of the application screen in list display. 動画から所定の範囲を削除もしくは切り出す場合の当該範囲の始点および終点の検索方法を示す説明図である。It is explanatory drawing which shows the search method of the start point and end point of the said range when deleting or cutting out a predetermined range from a moving image. 図6の検索方法を実行する際の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process at the time of performing the search method of FIG. 色相調整を行う場合の配列リストの表示例である。It is a display example of an arrangement list when performing hue adjustment.

(実施形態1)
以下に、図1〜図7を参照して、本発明を適用した実施形態1の検索方法および検索装置(動画編集におけるフレーム画像の検索方法および動画編集装置)を説明する。
(Embodiment 1)
The search method and search apparatus (frame image search method and video editing apparatus in video editing) according to the first embodiment to which the present invention is applied will be described below with reference to FIGS.

(装置構成)
図1は本発明の検索装置の一実施形態である動画編集装置の説明図である。この図に示すように、動画編集装置1(検索装置)は、平板状の外形をしたタブレット型コンピュータであり、その一面には矩形の入力表示パネル2が設けられている。入力表示パネル2は、液晶ディスプレイ3(表示手段)の表面にタッチパネル4(入力手段)を設置することにより、表示およびタッチ入力が可能な構成となっている。また、入力表示パネル2を囲む筐体5の縁辺には、電源スイッチを含む各種の操作スイッチ、および、電源ケーブルや各種の接続ケーブルの接続用のコネクタ等が必要に応じて設けられている。入力表示パネル2の背面側には、CPU6(図2参照)および各種デバイスが実装された回路基板や電源装置などを含む各種のハードウェアが搭載されている。
(Device configuration)
FIG. 1 is an explanatory diagram of a moving image editing apparatus which is an embodiment of a search apparatus of the present invention. As shown in this figure, a moving image editing apparatus 1 (search apparatus) is a tablet computer having a flat outer shape, and a rectangular input display panel 2 is provided on one surface thereof. The input display panel 2 is configured to allow display and touch input by installing a touch panel 4 (input means) on the surface of the liquid crystal display 3 (display means). In addition, various operation switches including a power switch, connectors for connecting a power cable and various connection cables, and the like are provided on the edge of the casing 5 surrounding the input display panel 2 as necessary. On the back side of the input display panel 2, various hardware including a CPU 6 (see FIG. 2) and a circuit board on which various devices are mounted, a power supply device, and the like are mounted.

図2は動画編集装置の制御系の概略構成を示すブロック図である。動画編集装置1の制御部7(制御手段)は、上述のCPU6などの演算処理ユニットと、制御に必要な各種プログラムやデータを記憶している記憶部8(記憶手段)を備えている。記憶部8は、フラッシュROMあるいはEEPROMなどの不揮発性メモリ、および、CPU6などによる処理の際にワークエリアとして機能するRAMなどから構成されており、必要に応じて、HDDやSSDなどの補助記憶装置をその一部として利用することもできる。また、制御部7には、CPU6からの描画命令に従って表示すべきイメージの描画データを生成し、この描画データに基づいて液晶ディスプレイ3にイメージを表示させる処理を行うビデオコントローラ9が設けられている。   FIG. 2 is a block diagram showing a schematic configuration of a control system of the moving image editing apparatus. The control unit 7 (control unit) of the moving image editing apparatus 1 includes an arithmetic processing unit such as the CPU 6 described above and a storage unit 8 (storage unit) that stores various programs and data necessary for control. The storage unit 8 includes a nonvolatile memory such as a flash ROM or an EEPROM, and a RAM that functions as a work area during processing by the CPU 6 or the like, and an auxiliary storage device such as an HDD or an SSD as necessary. Can also be used as part of it. Further, the control unit 7 is provided with a video controller 9 that generates drawing data of an image to be displayed in accordance with a drawing command from the CPU 6 and performs processing for displaying an image on the liquid crystal display 3 based on the drawing data. .

制御部7には、I/Oコントローラ(図示省略)を介して、タッチパネル4からの入力信号が入力されると共に、入出力ケーブルからの入力信号、あるいは、各種操作スイッチからの操作信号が入力される。制御部7は、これらの入力信号や操作信号に基づき、必要なプログラムやデータを読み込んで、動画編集装置1の各部を制御する。また、動画編集装置1に無線通信や通信ケーブルを介して通信を行うための通信モジュールを搭載した場合には、この通信モジュールを介して、制御部7と外部装置との間で各種の制御信号やデータの送受信を行うことができる。   An input signal from the touch panel 4 is input to the control unit 7 via an I / O controller (not shown), and an input signal from an input / output cable or an operation signal from various operation switches is input. The The control unit 7 reads necessary programs and data based on these input signals and operation signals, and controls each unit of the moving image editing apparatus 1. When the communication module for performing communication via wireless communication or a communication cable is mounted on the moving image editing apparatus 1, various control signals are transmitted between the control unit 7 and the external device via the communication module. And send and receive data.

なお、動画編集装置1の形態は、上記のような形態に限定されず、適宜変更可能である。例えば、上記のタブレット型コンピュータからなる本体部分にHDDや他の装置を接続可能にしておき、必要に応じてこれらの装置からデータを取得できるように構成してもよい。また、入力表示パネル2を有するタブレット型端末と制御部7および記憶部8を有する本体部分とを別体に構成しておき、これらを接続ケーブルや無線通信などを介して通信可能に構成し、必要に応じて本体部分に設けられた入力手段と端末に設けられた入力手段を利用してもよい。また、表示画面および入力手段を有する各種のコンピュータ装置に、本実施形態の検索方法を実行する機能を提供する動画編集アプリケーションプログラムを搭載した構成としてもよい。   The form of the moving image editing apparatus 1 is not limited to the form as described above, and can be changed as appropriate. For example, an HDD or other device can be connected to the main body portion composed of the above-described tablet computer, and data can be obtained from these devices as necessary. In addition, the tablet type terminal having the input display panel 2 and the main body part having the control unit 7 and the storage unit 8 are configured separately, and are configured to be communicable via a connection cable or wireless communication. You may utilize the input means provided in the main-body part, and the input means provided in the terminal as needed. Moreover, it is good also as a structure which mounts the moving image edit application program which provides the function which performs the search method of this embodiment in the various computer apparatuses which have a display screen and an input means.

(動画編集におけるフレーム画像の検索方法)
動画編集装置1の記憶部8には、本実施形態の検索方法を用いて動画編集を行うための動画編集アプリケーションプログラムが記憶されている。制御部7は、タッチパネル4等から動画編集アプリケーションプログラムの実行を指示する入力が行われると、この入力に基づき、動画編集アプリケーションプログラムを読み込む。そして、このプログラムに基づき、記憶部8に記憶されている動画データのリストを示す入力画面を液晶ディスプレイ3に表示する。タッチパネル4においていずれかの動画データを選択する旨のタッチ入力が行われると、制御部7は、選択された動画データを編集対象に決定し、この動画データを読み込む処理を行う。なお、アクセス可能な外部記憶装置内の動画データをタッチ入力によって検索可能にしておき、外部記憶装置から編集対象の動画データを読み込むことも可能である。
(Search method for frame images in video editing)
The storage unit 8 of the moving image editing apparatus 1 stores a moving image editing application program for performing moving image editing using the search method of the present embodiment. When an input for instructing execution of the moving image editing application program is performed from the touch panel 4 or the like, the control unit 7 reads the moving image editing application program based on this input. Based on this program, an input screen showing a list of moving image data stored in the storage unit 8 is displayed on the liquid crystal display 3. When a touch input for selecting any moving image data is performed on the touch panel 4, the control unit 7 determines the selected moving image data as an editing target, and performs a process of reading the moving image data. It is also possible to search the moving image data in the accessible external storage device by touch input and read the moving image data to be edited from the external storage device.

動画編集アプリケーションプログラムは、以下に説明する各検索方法により、動画の中から特定の部分を探し出して指定するための検索機能を提供している。検索対象は、動画中の特定のフレーム画像あるいは特定の範囲を示すフレーム画像が想定されている。例えば、シーンの切り換わり位置などで動画を分割するための分割位置を示すフレーム画像が想定されている。また、動画における特定の部分を切り出す切り出し作業、あるいは、特定の部分を削除する削除作業を行うにあたって、対象となる部分の始点および終点を示すフレーム画像が想定されている。なお、検索対象は、これらのフレーム画像に限定されるものではなく、任意のフレーム画像を検索対象とすることができる。   The moving image editing application program provides a search function for searching for and specifying a specific portion in a moving image by each search method described below. The search target is assumed to be a specific frame image in a moving image or a frame image indicating a specific range. For example, a frame image indicating a division position for dividing a moving image at a scene switching position or the like is assumed. Further, when performing a cutout operation for cutting out a specific portion in a moving image or a deletion operation for deleting a specific portion, a frame image indicating the start point and the end point of the target portion is assumed. Note that the search target is not limited to these frame images, and any frame image can be set as the search target.

(1)動画の分割処理における分割位置の検索方法
図3は動画を所定の位置で分割する場合の分割位置を示すフレーム画像の検索方法を示す説明図であり、図4は図3の検索方法を実行する際の処理の流れを示すフローチャートである。以下、これらの図を参照しながら、分割位置を示すフレーム画像の検索方法を説明する。制御部7は、液晶ディスプレイ3に表示したメニュー画面等から、編集対象の動画に対して分割作業を行う旨のタッチ入力が行われると、動画編集アプリケーションプログラムに基づき、図4のフローチャートの処理を開始する。
(1) Method of searching for division position in moving image division processing FIG. 3 is an explanatory diagram showing a method of searching for a frame image indicating a division position when a moving image is divided at a predetermined position, and FIG. 4 is a search method of FIG. It is a flowchart which shows the flow of the process at the time of performing. Hereinafter, a method of searching for a frame image indicating a division position will be described with reference to these drawings. When the touch input for performing the division work on the editing target moving image is performed from the menu screen or the like displayed on the liquid crystal display 3, the control unit 7 performs the processing of the flowchart of FIG. 4 based on the moving image editing application program. Start.

制御部7は、まず、ステップS1(初期設定工程)において、検索対象とする母集団の初期設定を行う。具体的には、編集対象として読み込まれた動画の先頭から末尾までの全範囲を母集団とする設定を行う。なお、ステップS1では、このように、分割作業の開始を指示する旨の入力に基づいて、現在編集対象となっている動画データ全体を自動的に母集団として設定するほか、ユーザーに動画の一部を指定させ、指定された動画の一部分のみを最初の母集団として設定することができるように構成してもよい。   First, in step S1 (initial setting step), the control unit 7 performs initial setting of a population to be searched. Specifically, the entire range from the beginning to the end of the moving image read as an editing target is set as a population. In step S1, as described above, based on the input for instructing the start of the division work, the entire moving image data currently being edited is automatically set as a population, and the moving image data is displayed to the user. A part may be specified, and only a part of the specified moving image may be set as the first population.

続いて、制御部7は、ステップS2に進み、母集団を構成するフレーム画像数と、この後に続くステップS3におけるフレーム画像の抽出数N(予め設定した数)との比較判定を行う。母集団のフレーム画像数がNよりも大きい場合(ステップS2:Yes)には、ステップS3に進む。一方、母集団のフレーム画像数がN以下の場合(ステップS2:No)には、制御部7は、フレーム画像を絞り込む必要がないと判断し、後述するステップS8に進む。   Subsequently, the control unit 7 proceeds to step S2, and performs a comparison determination between the number of frame images constituting the population and the number N of frame images extracted in step S3 (a preset number). If the number of frame images in the population is greater than N (step S2: Yes), the process proceeds to step S3. On the other hand, when the number of frame images in the population is N or less (step S2: No), the control unit 7 determines that it is not necessary to narrow down the frame images, and proceeds to step S8 described later.

続いて、制御部7は、ステップS3(抽出工程)に進み、母集団である動画から、予め設定した抽出規則に従って予め設定した抽出数(N個)のフレーム画像を抽出する処理を行う。本実施形態では、母集団となっている動画の中のどの位置にあるかわからないフレーム画像をユーザーに見つけさせるにあたって、この動画の全範囲から均等にフレーム画像を抽出する処理を行う。具体的には、母集団となっている動画の先頭および末尾のフレーム画像を抽出すると共に、動画全体を均等にN−1分割することにより生じるN−2個の分割点の位置を算出し、各分割点におけるフレーム画像を抽出する。これにより、母集団の全範囲にわたって等間隔に配置されたN個のフレーム画像を抽出できる。   Subsequently, the control unit 7 proceeds to step S3 (extraction process), and performs a process of extracting a preset number of extraction (N) frame images from a moving image that is a population according to a preset extraction rule. In this embodiment, when the user finds a frame image that does not know where in the moving image that is the population, a process of extracting the frame image equally from the entire range of the moving image is performed. Specifically, the top and bottom frame images of the moving image that is the population are extracted, and the positions of N-2 dividing points that are generated by equally dividing the entire moving image by N-1 are calculated. A frame image at each division point is extracted. Thereby, N frame images arranged at equal intervals over the entire range of the population can be extracted.

図3(a)に、初回のステップS3による抽出結果の例を示す。図3(a)に示す例では、編集対象の動画が1秒あたり30枚のフレーム画像によって構成されており、全体の長さは30分である。また、フレーム画像の抽出数Nについては、後述するステップS4(一覧表示工程)における各フレーム画像のサムネイルの表示サイズを考慮して、N=8に設定している。この場合、母集団を構成するフレーム画像数は30×60×30=54000枚である。そこで、これらを表示順に並べた配列を7分割(N−1分割)した場合の各分割点のフレーム画像を抽出する。これにより、図3(a)に示すように、フレーム画像F02〜F07として、7714番目、15428番目、23142番目、30857番目、38571番目、46285番目の各フレーム画像が抽出される。そして、これらに、母集団である動画の先頭および末尾のフレーム画像F01、F08として、1番目および54000番目のフレーム画像を抽出して加えることにより、合計8個のフレーム画像F01〜F08が抽出される。   FIG. 3A shows an example of the extraction result obtained in the first step S3. In the example shown in FIG. 3A, the moving image to be edited is composed of 30 frame images per second, and the total length is 30 minutes. The number N of frame image extractions is set to N = 8 in consideration of the thumbnail display size of each frame image in step S4 (list display step) described later. In this case, the number of frame images constituting the population is 30 × 60 × 30 = 54000. Therefore, a frame image of each division point when an array in which these are arranged in the display order is divided into seven (N-1 divisions) is extracted. As a result, as shown in FIG. 3A, the 7714th, 15428th, 23142th, 30857th, 38571th, and 46285th frame images are extracted as the frame images F02 to F07. Then, the first and 54000th frame images are extracted and added as the first and last frame images F01 and F08 of the moving image that is the population, so that a total of eight frame images F01 to F08 are extracted. The

この例では、母集団のフレーム画像列からのフレーム画像の抽出間隔は54000÷7=7714.28・・・となって分割位置が整数にならないため、分割位置の直前もしくは直後のフレーム画像を、分割位置に対応するフレーム画像として適宜抽出することにより、抽出間隔をほぼ等間隔としている。また、この例では、フレーム画像F01として動画の1枚目のフレーム画像を用いる代わりに、動画が開始する前に表示されるタイトル画像などを0枚目のフレーム画像として扱い、この画像を先頭のフレーム画像F01として用いても良い。   In this example, the frame image extraction interval from the frame image sequence of the population is 54000 ÷ 7 = 7714.28, and the division position does not become an integer. Therefore, the frame image immediately before or after the division position is By appropriately extracting the frame images corresponding to the division positions, the extraction intervals are made substantially equal. Further, in this example, instead of using the first frame image of the moving image as the frame image F01, the title image displayed before the moving image starts is handled as the 0th frame image, and this image is the first frame image. The frame image F01 may be used.

次に、制御部7は、ステップS4(一覧表示工程)に進む。ステップS4では、抽出したN個(図3に示す例では8個)のフレーム画像のそれぞれについてサムネイルを生成し、これらを時系列に従って一列に並べた配列リストR0(配列表示:図3、図5参照)を入力表示パネル2に一覧表示する処理を行う。そして、ステップS5(絞り込み工程の一部)に進み、表示した配列リストR0に対するタッチ入力が行われるか、あるいは、他の入力が行われるのを待つ待機状態に入る。   Next, the control unit 7 proceeds to step S4 (list display step). In step S4, thumbnails are generated for each of the extracted N frame images (eight in the example shown in FIG. 3), and an array list R0 (array display: FIGS. 3 and 5) in which these thumbnails are arranged in a time series. The process of displaying a list on the input display panel 2 is performed. Then, the process proceeds to step S5 (part of the narrowing-down process) to enter a standby state where a touch input for the displayed array list R0 is performed or another input is performed.

図5は、一覧表示中のアプリケーション画面の一例を示す説明図である。このように、本実施形態の動画編集アプリケーションプログラムは、動画を分割する作業を行うときには、入力表示パネル2の下端の表示位置に、生成したサムネイルの配列リストR0を、入力表示パネル2の横幅一杯の長さで表示する。そして、その上部には、動画の再生画面を表示したままにしておく。なお、動画の再生画面を省略して、サムネイルの配列リストR0のみを画面に表示してもよく、他の動画情報と共に表示しても良い。また、サムネイルの配列位置および配列方向を変更してもよい。例えば、サムネイルを縦一列あるいは斜めに一列に並べた表示としてもよいし、円弧状や円環状などの配列形状で表示してもよい。   FIG. 5 is an explanatory diagram illustrating an example of an application screen during list display. As described above, when the moving image editing application program according to the present embodiment performs the operation of dividing the moving image, the generated thumbnail arrangement list R0 is displayed at the display position at the lower end of the input display panel 2, and the input display panel 2 is filled to the full width. Display with the length of. The moving image playback screen is displayed at the top. The moving image playback screen may be omitted, and only the thumbnail arrangement list R0 may be displayed on the screen, or may be displayed together with other moving image information. Moreover, the arrangement position and arrangement direction of thumbnails may be changed. For example, the thumbnails may be displayed in a vertical row or in a diagonal row, or may be displayed in an array shape such as an arc shape or an annular shape.

ユーザーは、ステップS4で表示されたサムネイルの配列リストR0を検討して、分割位置が含まれる範囲を選択するためのタッチ入力を行う。例えば、本実施形態では、母集団に設定されている動画を7分割しているため、この分割区間単位で、動画を切り分けるための分割位置が含まれる範囲を指定することができる。例えば、隣接するサムネイル間の任意の位置へのタッチ入力(選択入力)を行うことにより、このタッチ入力位置を含む区間を選択することができる。   The user examines the thumbnail arrangement list R0 displayed in step S4, and performs a touch input for selecting a range including the division position. For example, in the present embodiment, since the moving image set in the population is divided into seven, a range including a dividing position for dividing the moving image can be specified in units of the divided sections. For example, by performing touch input (selection input) to an arbitrary position between adjacent thumbnails, a section including this touch input position can be selected.

ステップS5の待機状態において動画の範囲を選択するためのタッチ入力が行われると、制御部7は、ステップS6(絞り込み工程の一部)に進む。制御部7は、ステップS6において、タッチ入力の内容に基づき、選択された部分の判定を行う。例えば、図3(a)において矢印A1で示すように、配列リストR0上におけるフレーム画像F05、F06を示す2つのサムネイル間の位置へのタッチ入力が行われると、制御部7は、このタッチ入力位置を含む所定の部分、例えば、タッチ入力位置の前後のサムネイルに対応するフレーム画像F05からF06までの区間が選択されたと判定する。そして、ステップS7(絞り込み工程の一部)へ進む。ステップS7では、選択された範囲を新たな母集団として再設定する処理を行う。そして、ステップS2に戻り、母集団を構成するフレーム画像数がNよりも大きければ(ステップS2:Yes)、再びステップS3に進む。   When the touch input for selecting the moving image range is performed in the standby state in step S5, the control unit 7 proceeds to step S6 (part of the narrowing-down process). In step S6, the control unit 7 determines the selected portion based on the content of the touch input. For example, as indicated by an arrow A1 in FIG. 3A, when a touch input is performed on a position between two thumbnails indicating the frame images F05 and F06 on the array list R0, the control unit 7 performs the touch input. It is determined that a predetermined part including the position, for example, a section from frame images F05 to F06 corresponding to thumbnails before and after the touch input position is selected. And it progresses to step S7 (a part of narrowing-down process). In step S7, a process of resetting the selected range as a new population is performed. Then, returning to step S2, if the number of frame images constituting the population is larger than N (step S2: Yes), the process proceeds again to step S3.

制御部7は、ステップS3の処理を再度行うにあたって、現時点での母集団(フレーム画像F05からF06までの範囲)に対して、前回と同様に、母集団全体にわたって等間隔に配置されたN個のフレーム画像を抽出する処理を行う。図3(b)に、2回目のステップS3による抽出結果の例を示す。この場合、30857番目から38571番目までのフレーム画像が母集団であるため、初回の抽出工程と同様に、これを7分割した場合の各分割点のフレーム画像を抽出する。これにより、図3(b)に示すように、フレーム画像F12〜F17として、31959番目、33061番目、34163番目、35265番目、36367番目、37469番目の各フレーム画像が抽出される。そして、これに母集団の先頭および末尾のフレーム画像F11、F18として、30857番目および38571番目のフレーム画像を加えることにより、合計8個のフレーム画像F11〜F18が抽出される。   When the control unit 7 performs the process of step S3 again, N pieces arranged at equal intervals over the entire population as in the previous time with respect to the current population (range from the frame images F05 to F06). The process of extracting the frame image is performed. FIG. 3B shows an example of the extraction result obtained in the second step S3. In this case, since the frame images from the 30857th to the 38571th are the population, the frame image at each division point when the image is divided into 7 is extracted as in the first extraction step. As a result, as shown in FIG. 3B, the 31959th, 33061st, 34163th, 35265th, 36367th, and 37469th frame images are extracted as the frame images F12 to F17. Then, by adding the 30857th and 38571th frame images as the first and last frame images F11 and F18 of the population, a total of eight frame images F11 to F18 are extracted.

続いて、制御部7は、2回目のステップS4に進み、1回目と同様に、フレーム画像F11〜F18のサムネイルの配列リストR1を生成して入力表示パネル2に表示し、2回目のステップS5に進んで待機状態に入る。そして、範囲選択のためのタッチ入力が行われると、2回目のステップS6に進み、選択範囲を判定する。例えば、図3(b)において矢印A2で示すように、フレーム画像F12、F13の間の位置に対してタッチ入力が行われると、制御部7は、フレーム画像F12からF13までの範囲が選択されたと判定する。そして、2回目のステップS7に進み、選択されたフレーム画像F12からF13までの範囲を新たな母集団として再設定する処理を行う。そして、前回と同様にステップS2に戻る。そして、以下同様に、母集団のフレーム画像数がN以下(ステップS2:No)となるか、あるいは、ステップS5で範囲指定以外の他の入力が行われるまで、S2〜S7の処理を繰り返す。これにより、更に細かく動画を絞り込んでゆく。   Subsequently, the control unit 7 proceeds to the second step S4, generates the thumbnail arrangement list R1 of the frame images F11 to F18 and displays the thumbnail arrangement list R1 on the input display panel 2 as in the first time, and displays the second step S5. Proceed to enter the standby state. When touch input for selecting a range is performed, the process proceeds to step S6 for the second time, and the selected range is determined. For example, as shown by an arrow A2 in FIG. 3B, when a touch input is performed on a position between the frame images F12 and F13, the control unit 7 selects a range from the frame images F12 to F13. It is determined that Then, the process proceeds to step S7 for the second time, and a process for resetting the range from the selected frame images F12 to F13 as a new population is performed. And it returns to step S2 similarly to the last time. Similarly, the processes of S2 to S7 are repeated until the number of frame images in the population is N or less (step S2: No), or other input than the range designation is performed in step S5. As a result, the video is further narrowed down.

ユーザーは、ステップS4の一覧表示工程が行われると、このステップで表示されたサムネイルの配列リストRn(n=0、1、2・・・)を確認する。そして、この配列リストRnの中に目的とするフレーム画像のサムネイルが含まれていると判断した場合には、このサムネイルを、動画の分割位置を示すサムネイルに決定する旨の入力を行うことができる。すなわち、ステップS5の待機状態では、動画編集装置1は、動画の範囲を絞り込むための選択入力の他に、分割位置を決定して検索を終了するための入力を受け付ける状態となっている。制御部7は、表示されたサムネイルのいずれかを選択して分割位置に設定する旨の入力が行われると、ステップS10に進み、入力内容に基づいて分割位置のフレーム画像を決定する。そして、検索が終了したと判断して、このフローチャートの処理を終了する。そして、検索結果を確認するか、検索結果に基づいて動画を分割する処理などに進む。なお、ステップS5で他の入力を行って検索処理の中断や母集団の変更などを適宜行うこともできる。   When the list display step of step S4 is performed, the user confirms the thumbnail arrangement list Rn (n = 0, 1, 2,...) Displayed in this step. When it is determined that the thumbnail of the target frame image is included in the array list Rn, it is possible to input that the thumbnail is determined as a thumbnail indicating the division position of the moving image. . That is, in the standby state in step S5, the moving image editing apparatus 1 is in a state of accepting an input for determining the division position and ending the search in addition to the selection input for narrowing down the range of the moving image. When an input indicating that any one of the displayed thumbnails is selected and set as a division position is performed, the control unit 7 proceeds to step S10 and determines a frame image at the division position based on the input content. Then, it is determined that the search is finished, and the processing of this flowchart is finished. Then, the process proceeds to a process of confirming the search result or dividing the moving image based on the search result. It should be noted that another input can be made in step S5 to appropriately interrupt the search process or change the population.

分割位置が決定されることなく、ステップS2〜S7の処理が繰り返されると、母集団に含まれるフレーム画像数がその回を追う毎に1/(N−1)の倍率で指数関数的に減少し、フレーム画像の抽出間隔が指数関数的に狭まってゆく。図3(c)に、3回目の抽出結果の例を示す。3回目は、フレーム画像F12、F13の間の位置に対してタッチ入力が行われたことに基づき、フレーム画像F21〜F28が抽出されている。図3に示すように、1回目の抽出工程ではフレーム画像F01〜F08の抽出間隔が7714フレーム毎であったのに対し、2回目では1102フレーム、3回目では157フレーム毎となっている。同様に処理を続けると、4回目では抽出間隔が22フレーム毎、5回目では3フレーム毎となるため、5回目に生成されたサムネイルの配列表示に対して範囲を選択する旨のタッチ入力を行うと、母集団がフレーム画像4個まで絞り込まれる。   When the processing of steps S2 to S7 is repeated without determining the division position, the number of frame images included in the population decreases exponentially at a magnification of 1 / (N-1) every time the process is repeated. However, the frame image extraction interval is exponentially narrowed. FIG. 3C shows an example of the third extraction result. In the third time, the frame images F21 to F28 are extracted based on the touch input performed on the position between the frame images F12 and F13. As shown in FIG. 3, the extraction interval of the frame images F01 to F08 is every 7714 frames in the first extraction process, whereas it is every 1102 frames in the second time and every 157 frames in the third time. If the processing is continued in the same manner, the extraction interval is every 22 frames at the fourth time, and every three frames at the fifth time, so that a touch input for selecting a range is performed for the thumbnail display generated at the fifth time. Then, the population is narrowed down to four frame images.

このように、母集団の構成要素数がフレーム画像の抽出数N以下となった場合(ステップS2:No)には、母集団に含まれる全てのフレーム画像のサムネイルを一覧表示することが可能となる。そこで、この場合には、更に抽出工程を行う必要がないと判断し、ステップS8に進む。ステップS8では、現時点の母集団を構成する全てのフレーム画像についてサムネイルを生成し、これらを時系列に従って一列に並べた配列リストを入力表示パネル2に一覧表示する。そして、ステップS9に進み、待機状態に入る。ステップS9では、分割位置を決定するための入力や他の入力を受け付ける状態となっている。制御部7は、表示されたサムネイルのいずれかを選択して分割位置に設定する旨のタッチ入力が行われると、ステップS10に進み、入力内容に基づいて分割位置のフレーム画像を決定する。そして、検索が終了したと判断して、このフローチャートの処理を終了する。   As described above, when the number of constituent elements of the population is equal to or less than the number N of frame image extractions (step S2: No), it is possible to display a list of thumbnails of all the frame images included in the population. Become. Therefore, in this case, it is determined that it is not necessary to perform further extraction steps, and the process proceeds to step S8. In step S8, thumbnails are generated for all frame images constituting the current population, and an array list in which these are arranged in a line in time series is displayed on the input display panel 2 as a list. Then, the process proceeds to step S9 and enters a standby state. In step S9, an input for determining the division position and other inputs are accepted. When a touch input for selecting any of the displayed thumbnails and setting the divided position is performed, the control unit 7 proceeds to step S10 and determines a frame image at the divided position based on the input content. Then, it is determined that the search is finished, and the processing of this flowchart is finished.

以上のように、この検索方法では、指数関数的にフレーム画像数を絞り込んでゆくため、30分の動画(フレーム画像数54000)であれば、フレーム画像の配列表示に対する選択入力を最大限5回(N=8の場合)行うのみで、フレーム画像検索の最終段階まで進むことができる。従って、従来のスクロールやコマ送りによってフレーム画像を確認してゆく方法に比べると、格段に少ない操作量で目的とするフレーム画像を検出できる。また、コマ送りやスクロールなどの微細な操作を行う必要がなく、一覧表示されたサムネイルを検討して目的に近い部分をタッチ入力するだけでよいため、検索作業が簡単であり、ユーザーの負担も少ない。従って、短時間で効率的に検索を行うことができ、使い勝手も良い。加えて、検索完了までに表示するサムネイルの数がそれほど多くないため、サムネイルの生成および配列表示のための処理負荷が小さいという利点もある。   As described above, in this search method, the number of frame images is narrowed down exponentially. Therefore, in the case of a 30 minute moving image (number of frame images: 54000), selection input for array display of frame images is performed at most 5 times. It is possible to proceed to the final stage of the frame image search only by performing (when N = 8). Therefore, the target frame image can be detected with a remarkably small amount of operation compared to the conventional method of confirming the frame image by scrolling or frame advance. In addition, it is not necessary to perform detailed operations such as frame advance and scroll, and it is only necessary to examine the thumbnails displayed in the list and touch-input the part close to the purpose, so the search work is easy and the burden on the user is also reduced. Few. Therefore, the search can be efficiently performed in a short time, and the usability is good. In addition, since there are not so many thumbnails to be displayed until the search is completed, there is an advantage that the processing load for generating thumbnails and displaying the arrays is small.

なお、この検索方法は、動画を分割するための分割位置を示すフレーム画像の検索を行う場合だけでなく、任意のフレーム画像の検索に適用できる。この場合には、目的とするフレーム画像のサムネイルを含む配列表示が出現した時点でこのフレーム画像を選択する入力を行って検索処理を終了し、検出したフレーム画像を用いた他の処理に適宜移行すればよい。   Note that this search method can be applied not only to searching for a frame image indicating a division position for dividing a moving image, but also to searching for an arbitrary frame image. In this case, when an array display including thumbnails of the target frame image appears, input is performed to select this frame image, the search process is terminated, and the process is appropriately shifted to another process using the detected frame image. do it.

(2)動画の一部を削除もしくは切り出す処理における始点および終点の検索方法
図6は動画から所定の範囲を削除もしくは切り出す場合の当該範囲の始点および終点の検索方法を示す説明図である。また、図7は図6の検索方法を実行する際の処理の流れを示すフローチャートである。以下、これらの図を参照しながら、動画における所定の範囲の始点および終点のフレーム画像の検索方法を説明する。制御部7は、液晶ディスプレイ3に表示したメニュー画面等から、編集対象の動画に対してその一部の切り抜き作業もしくは削除作業を行う旨のタッチ入力が行われると、動画編集アプリケーションプログラムに基づき、図7のフローチャートの処理を開始する。
(2) Search method of start point and end point in processing to delete or cut out part of moving image FIG. 6 is an explanatory diagram showing a search method of the start point and end point of the range when a predetermined range is deleted or cut out from the moving image. FIG. 7 is a flowchart showing the flow of processing when the search method of FIG. 6 is executed. Hereinafter, a method of searching for frame images at the start point and end point of a predetermined range in a moving image will be described with reference to these drawings. When a touch input for performing a part of clipping operation or deletion operation is performed on a moving image to be edited from a menu screen or the like displayed on the liquid crystal display 3, the control unit 7 is based on the moving image editing application program. The process of the flowchart of FIG. 7 is started.

制御部7は、まず、ステップS11〜14を行う。ステップS11〜S14は、上述したステップS1〜S4と同様であるため、説明を省略する。図6(a)に、初回のステップS13による抽出結果の例を示す。ステップS3と同様に、1番目もしくは0番目(タイトル画像)、7714番目、15428番目、23142番目、30857番目、38571番目、46285番目、54000番目の合計8個のフレーム画像G01〜G08が抽出されている。また、ステップS14では、ステップS4と同様に、図5に示す態様、あるいは、他の配列形状にサムネイルを並べた態様で、フレーム画像G01〜G08のサムネイルを一列に並べた配列リストL0が一覧表示されている。   First, the control unit 7 performs steps S11 to S14. Steps S11 to S14 are the same as steps S1 to S4 described above, and a description thereof will be omitted. FIG. 6A shows an example of the extraction result obtained in the first step S13. Similarly to step S3, a total of eight frame images G01 to G08 of the first or zeroth (title image), 7714th, 15428th, 23142th, 30857th, 38571th, 46285th, and 54000th are extracted. Yes. In step S14, as in step S4, the arrangement list L0 in which the thumbnails of the frame images G01 to G08 are arranged in a row is displayed as a list in the form shown in FIG. 5 or the arrangement of thumbnails in another arrangement shape. Has been.

続いて、ステップS15(絞り込み工程の一部)に進み、ステップS5と同様に、表示した配列リストL0に対してタッチ入力が行われるか、あるいは、他の入力が行われるのを待つ待機状態に入る。ユーザーは、配列リストL0を検討して、目的とする範囲(切り抜くべき/削除すべき範囲)の始点および終点が含まれる部分を選択するための入力を行う。例えば、本実施形態では、始点に最も近いと思われるサムネイルから、終点に最も近いと思われるサムネイルまでの範囲をタッチパネル4上でなぞることにより、この範囲を指定する入力を行うことができる。   Subsequently, the process proceeds to step S15 (part of the narrowing-down process), and in a manner similar to step S5, a touch input is performed on the displayed array list L0, or a standby state waits for another input to be performed. enter. The user examines the array list L0 and performs input for selecting a portion including the start point and the end point of the target range (the range to be clipped / deleted). For example, in the present embodiment, by tracing on the touch panel 4 a range from a thumbnail that seems to be closest to the start point to a thumbnail that seems to be closest to the end point, it is possible to perform input for specifying this range.

ステップS15の待機状態において、動画の範囲を選択するためのタッチ入力が行われると、制御部7は、ステップS16に進む。ステップS16において、制御部7は、タッチ入力の内容に基づき、選択された部分の判定を行う。例えば、図6(a)において矢印Bで示すように、配列リストL0上におけるフレーム画像G04からG06までの区間をなぞる入力が行われると、制御部7は、この入力に基づき、なぞった区間の始点および終点付近の各範囲を抽出する。具体的には、なぞった区間の先頭およびその直前のサムネイルによって規定される範囲(第1の範囲)を、始点周辺の範囲として抽出する。図6(a)の例では、フレーム画像G03からG04までの範囲を選択範囲として抽出する。一方、なぞった区間の末尾およびその直後のサムネイルによって規定される範囲(第2の範囲)を、終点周辺の範囲として抽出する。図6(a)の例では、フレーム画像G06からG07までの範囲を選択範囲として抽出する。あるいは、選択したい動画の範囲が狭い場合には、1つのサムネイルのみをタッチして範囲を指定することができる。この場合には、指定された範囲にサムネイルが1つしかないため、このサムネイルを先頭かつ末尾のサムネイルとして扱う。すなわち、指定したサムネイルとその直前のサムネイルの間の区間を始点を含む範囲として扱い、指定したサムネイルとその直後のサムネイルの間の区間を終点を含む範囲として扱うことができる。   If touch input for selecting a moving image range is performed in the standby state in step S15, the control unit 7 proceeds to step S16. In step S16, the control unit 7 determines the selected portion based on the content of the touch input. For example, as shown by an arrow B in FIG. 6A, when an input that traces a section from the frame images G04 to G06 on the array list L0 is made, the control unit 7 determines the traced section based on this input. Extract each range near the start and end points. Specifically, a range (first range) defined by the beginning of the traced section and the immediately preceding thumbnail is extracted as a range around the start point. In the example of FIG. 6A, the range from the frame images G03 to G04 is extracted as the selection range. On the other hand, a range (second range) defined by the end of the traced section and the thumbnail immediately after that is extracted as a range around the end point. In the example of FIG. 6A, the range from the frame images G06 to G07 is extracted as the selection range. Alternatively, when the range of the moving image to be selected is narrow, the range can be specified by touching only one thumbnail. In this case, since there is only one thumbnail in the designated range, this thumbnail is handled as the first and last thumbnail. That is, the section between the designated thumbnail and the thumbnail immediately before it can be treated as a range including the start point, and the section between the designated thumbnail and the thumbnail immediately after it can be treated as a range including the end point.

続いて、制御部7は、ステップS17(絞り込み工程の一部)へ進み、上記の2つの選択範囲を、新たな母集団として再設定する処理を行う。そして、ステップS18に進む。ステップS18では、ステップS2と同様に、母集団を構成するフレーム画像数がNよりも大きければ(ステップS18:Yes)、ステップS19に進む。なお、ステップS12およびステップS18において、母集団のフレーム画像数がN以下の場合(ステップS12:No/ステップS18:No)には、フレーム画像を絞り込む必要がないため、検索の最終過程であるステップS24に進み、上記のステップS8と同様に、母集団を全て一覧表示する。   Subsequently, the control unit 7 proceeds to step S17 (part of the narrowing-down process), and performs a process of resetting the above two selection ranges as a new population. Then, the process proceeds to step S18. In step S18, as in step S2, if the number of frame images constituting the population is greater than N (step S18: Yes), the process proceeds to step S19. In step S12 and step S18, if the number of frame images in the population is N or less (step S12: No / step S18: No), there is no need to narrow down the frame images, so step that is the final process of the search. Proceeding to S24, the entire population is displayed in a list as in step S8.

制御部7は、ステップS19(抽出工程)に進むと、ステップS17で設定した新たな母集団である第1の範囲(始点付近)および第2の範囲(終点付近)から、それぞれN/2個のフレーム画像を抽出することにより、合計でN個のフレーム画像を抽出する。すなわち、本実施形態ではN=8であるため、各範囲からそれぞれ4個のフレーム画像を抽出する。各範囲からのフレーム画像の抽出方法は、ステップS3と同様の方法を用いる。すなわち、各範囲の始点および終点、ならびに、各範囲を等間隔に3分割(N/2−1分割)して、2つの分割点の位置を算出し、各分割点におけるフレーム画像を抽出する。   When the control unit 7 proceeds to step S19 (extraction process), N / 2 pieces are respectively obtained from the first range (near the start point) and the second range (near the end point) which are the new population set in step S17. Thus, a total of N frame images are extracted. In other words, since N = 8 in this embodiment, four frame images are extracted from each range. As a method for extracting frame images from each range, the same method as in step S3 is used. That is, the start point and end point of each range, and each range are divided into three (N / 2-1 division) at equal intervals, the positions of the two division points are calculated, and the frame image at each division point is extracted.

図6(b)に、ステップS19による抽出結果の例を示す。上述したように、第1の範囲はフレーム画像G03(15428番目)からG04(23142番目)までの範囲であるため、15428番目、17999番目、20570番目、23142番目の4つのフレーム画像G11〜G14が抽出される。同様に、第2の範囲はフレーム画像G06(38571番目)からG07(46285番目)までの範囲であるため、38571番目、41142番目、43713番目、46285番目の4つのフレーム画像G15〜G18が抽出される。   FIG. 6B shows an example of the extraction result obtained in step S19. As described above, since the first range is the range from the frame image G03 (15428th) to G04 (23142th), the 15428th, 17999th, 20570th, and 23142th four frame images G11 to G14 are included. Extracted. Similarly, since the second range is a range from the frame image G06 (38571th) to G07 (46285th), the 38571th, 41142th, 43713th, and 46285th frame images G15 to G18 are extracted. The

次に、制御部7は、ステップS20(一覧表示工程)に進み、ステップS4、S14と同様に、抽出したN個(本実施形態では8個)のフレーム画像のそれぞれについてサムネイルを生成し、これらを時系列に従って一列に並べた配列リストL1を入力表示パネル2に一覧表示する。続いて、ステップS21(絞り込み工程の一部)に進んで待機状態に入る。そして、範囲選択のための入力が行われると、当該入力に基づき、ステップS22、S23に進む。ステップS22、S23では、ステップS16、S17と同様の処理を行い、入力結果に基づいて始点付近および終点付近について更に範囲を絞り込む。そして、ステップS18に戻る。その後は、以下同様に、母集団のフレーム画像数がN以下(ステップS18:No)となるか、あるいは、ステップS21(待機状態)で範囲指定以外の他の入力が行われるまで、S18〜S23の処理を繰り返す。これにより、更に細かく始点付近および終点付近の動画を絞り込んでゆく。   Next, the control unit 7 proceeds to step S20 (list display step), and generates thumbnails for each of the extracted N (eight in this embodiment) frame images in the same manner as steps S4 and S14. Are displayed in a list on the input display panel 2. Then, it progresses to step S21 (a part of narrowing-down process), and enters a standby state. And if the input for range selection is performed, it will progress to step S22, S23 based on the said input. In steps S22 and S23, processing similar to that in steps S16 and S17 is performed to further narrow the range around the start point and the end point based on the input result. Then, the process returns to step S18. Thereafter, similarly, until the number of frame images in the population is N or less (step S18: No), or other input than the range designation is performed in step S21 (standby state), S18 to S23. Repeat the process. As a result, the moving images near the start point and the end point are further narrowed down.

ユーザーは、ステップS20の一覧表示工程が行われると、このステップで表示されたサムネイルの配列リストLn(n=0、1、2・・・)を確認する。そして、この配列リストLnの中に始点および終点とすべきフレーム画像のサムネイルが含まれていると判断した場合には、ステップS21の待機状態において、それらを始点および終点に決定する旨の入力を行うことができる。制御部7は、この入力が行われると、ステップS26に進み、入力内容に基づいて始点および終点のフレーム画像を決定する。そして、検索が終了したと判断して、このフローチャートの処理を終了する。そして、検索結果を確認するか、検索結果に基づいて切り抜き処理あるいは削除処理を行う。なお、ステップS5と同様に、他の入力を行って検索処理の中断や変更などを適宜行うこともできる。   When the list display process in step S20 is performed, the user confirms the thumbnail arrangement list Ln (n = 0, 1, 2,...) Displayed in this step. When it is determined that the thumbnails of the frame images to be set as the start point and the end point are included in the array list Ln, an input for determining them as the start point and the end point is input in the standby state in step S21. It can be carried out. When this input is performed, the control unit 7 proceeds to step S26, and determines the start and end frame images based on the input content. Then, it is determined that the search is finished, and the processing of this flowchart is finished. Then, the search result is confirmed, or the clipping process or the deletion process is performed based on the search result. Similar to step S5, other input can be performed to interrupt or change the search process as appropriate.

始点および終点が決定されることなく、ステップS18〜S23の処理が繰り返されると、母集団に含まれるフレーム画像数がその回を追う毎に1/((N/2)−1)の倍率で指数関数的に減少し、フレーム画像の抽出間隔が指数関数的に狭まってゆく。図6(c)に、3回目の抽出結果の例を示す。G13(20570番目)からG16(41142番目)までの範囲が選択されたことに伴い、フレーム画像G21〜G28が抽出されている。図3に示すように、1回目の抽出工程ではフレーム画像G01〜G08の抽出間隔が7714フレーム毎、2回目では2571フレーム毎であったのに対し、3回目では857フレーム毎となっている。同様に処理を続けると、4回目では285フレーム毎、5回目では95フレーム毎、6回目では31フレーム毎、7回目では10フレーム毎、8回目では3フレーム毎となるため、8回目に生成されたサムネイルの配列表示に対して範囲を選択する旨のタッチ入力を行うと、母集団がフレーム画像8個まで絞り込まれる。そこで、次のステップS18の判定でNo判定となり、検索の最終過程であるステップS24へ進むことになる。すなわち、制御部7は、ステップS24において、ステップS8と同様に母集団の全てを一覧表示した後、ステップS25に進んで待機状態に入る。そして、ユーザーの入力に基づいてステップS26に進み、上述したように、始点および終点を決定する処理を行って検索を終了する。   When the processing of steps S18 to S23 is repeated without determining the start point and the end point, each time the number of frame images included in the population follows that time, the magnification is 1 / ((N / 2) -1). It decreases exponentially and the frame image extraction interval narrows exponentially. FIG. 6C shows an example of the third extraction result. With the selection of a range from G13 (20570th) to G16 (41142th), frame images G21 to G28 are extracted. As shown in FIG. 3, in the first extraction process, the extraction interval of the frame images G01 to G08 is every 7714 frames, and every second is 2571 frames, whereas every third time is every 857 frames. If the processing is continued in the same way, every 285 frames for the fourth time, every 95 frames for the fifth time, every 31 frames for the sixth time, every 10 frames for the seventh time, every three frames for the eighth time, When a touch input for selecting a range is performed on the displayed thumbnail arrangement, the population is narrowed down to eight frame images. Therefore, the determination in the next step S18 is No, and the process proceeds to step S24, which is the final process of the search. That is, in step S24, the control unit 7 displays a list of all the populations in the same manner as in step S8, and then proceeds to step S25 to enter a standby state. Then, the process proceeds to step S26 based on the user input, and as described above, the process of determining the start point and the end point is performed and the search is terminated.

以上のように、この検索方法では、始点周辺および終点周辺の各範囲について指数関数的にフレーム画像数を絞り込んでゆくため、30分の動画(フレーム画像数54000)であれば、フレーム画像の配列表示に対する選択入力を最大限8回(N=8の場合)行うのみで、フレーム画像検索の最終段階まで進むことができる。従って、(1)の分割位置検索と同様に、従来よりも格段に少ない操作量で、簡単かつ効率的に始点および終点を検出でき、処理負荷が小さいという利点が得られる。加えて、この方法では、始点および終点を同時に検索できるため、より効率的である。   As described above, in this search method, the number of frame images is narrowed down exponentially for each range around the start point and around the end point. Therefore, if the video is 30 minutes (the number of frame images is 54000), It is possible to proceed to the final stage of the frame image search only by performing selection input for display eight times at the maximum (when N = 8). Therefore, as with the division position search of (1), the start point and the end point can be detected easily and efficiently with a much smaller amount of operation than in the prior art, and the processing load is reduced. In addition, this method is more efficient because the start point and end point can be searched simultaneously.

なお、この検索方法は、1つの範囲の始点および終点を検索する方法であったが、検索対象を始点および終点以外の互いに無関係な2つのフレーム画像とすることも可能である。例えば、サムネイルの配列リストに対して範囲入力を行う代わりに2箇所タッチ入力を行うものとし、2つのフレーム画像を同時に検索することができる。また、上記の方法では、なぞった範囲の先頭とその直前、および、なぞった範囲の末尾とその直後の2組の隣接するサムネイルによって規定される範囲の動画を抽出して新たな母集団に設定しているが、なぞった範囲の先頭とその直後、および、なぞった範囲の末尾とその直前の2組の隣接するサムネイルによって規定される範囲を抽出してもよい。また、なぞった範囲に基づき、他の範囲の動画部分を抽出してもよい。   Note that this search method is a method of searching for the start point and end point of one range, but the search target may be two unrelated frame images other than the start point and end point. For example, instead of performing range input on the thumbnail arrangement list, two-point touch input is performed, and two frame images can be searched simultaneously. In addition, the above method extracts a range of videos defined by two adjacent thumbnails at the beginning and immediately before the traced range, and at the end and immediately after the traced range, and sets it as a new population. However, a range defined by two sets of adjacent thumbnails at the beginning and immediately after the traced range, and at the end and immediately before the traced range may be extracted. Moreover, you may extract the moving image part of another range based on the traced range.

(実施形態2)
実施形態2は、本発明の検索方法を画像処理における調整値の決定方法(調整値検索方法)に適用したものである。この方法は、上述した動画編集装置1と同じ構成の装置に、本実施形態の検索方法を実行する機能を提供する画像処理アプリケーションプログラムを記憶させることにより実行できる。このプログラムを制御部に読み込み、画像データのリストの中から編集対象の画像を選択する旨の入力を行って、画像処理を行う画像データを読み込む。
(Embodiment 2)
In the second embodiment, the search method of the present invention is applied to an adjustment value determination method (adjustment value search method) in image processing. This method can be executed by storing an image processing application program that provides a function of executing the search method of the present embodiment in an apparatus having the same configuration as the moving image editing apparatus 1 described above. This program is read into the control unit, input for selecting an image to be edited from the list of image data is performed, and image data for image processing is read.

画像処理アプリケーションプログラムは、画像における特徴量を変更する処理を行うにあたって、特徴量の値を微少量ずつ変化させた多数の候補画像を想定し、これらの中から、以下に説明する検索方法によって目的とする画像を検索することにより、目的とする画像処理を効率的に行う。特徴量としては、画像の色相、明度、飽和度(コントラスト)、解像度、あるいは他のエフェクトの度合いを示す指標値などの各種の値が想定されている。   The image processing application program assumes a large number of candidate images in which the value of the feature value is changed little by little when performing the process of changing the feature value in the image. The target image processing is efficiently performed by searching for the image. As the feature amount, various values such as an index value indicating the hue, brightness, saturation (contrast), resolution, or the degree of other effects of the image are assumed.

(画像調整における調整値の決定方法(調整値検索方法))
まず、実施形態1のステップS1と同様に、母集団を設定する。画像処理アプリケーションは、調整すべき特徴量の調整可能範囲の全範囲、あるいはその一部を母集団として設定する。ここで、特徴量の調整を離散的に行う場合には、候補画像数(母集団を構成する画像数)が有限となるため、母集団を構成する画像数に応じて最終選択までの工程数が決まる。そこで、この場合には、実施形態1における分割位置の検索方法と同様に、母集団からの候補画像の抽出(抽出工程)、サムネイルの配列リストの表示(一覧表示工程)、範囲選択および母集団の再設定(絞り込み工程)を行って、目的とする画像が配列リスト中に出現するまで、特徴量の値の範囲を絞り込んでゆくことができる。一方、特徴量を連続的に変更できる場合には、理論的には候補画像数が無限大となる。そこで、この場合には、実施形態1のステップS2で行った母集団の構成要素数の判定を省略する。
(Adjustment value determination method for image adjustment (Adjustment value search method))
First, a population is set as in step S1 of the first embodiment. The image processing application sets the entire adjustable range of the feature amount to be adjusted or a part thereof as a population. Here, when the feature amount is adjusted discretely, the number of candidate images (the number of images constituting the population) is limited, so the number of processes until the final selection is made according to the number of images constituting the population. Is decided. Therefore, in this case, similar to the division position search method in the first embodiment, extraction of candidate images from the population (extraction process), display of an array list of thumbnails (list display process), range selection, and population The range of the feature value can be narrowed down until the target image appears in the array list. On the other hand, if the feature amount can be changed continuously, the number of candidate images is theoretically infinite. Therefore, in this case, the determination of the number of constituent elements of the population performed in step S2 of the first embodiment is omitted.

図8に、色相調整を行う場合の配列リストの表示例を示す。図8(a)は、1回目の抽出工程によって抽出された配列リストの表示例である。このように、1回目の一覧表示工程では、少しずつ色相を変えた画像を抽出し、色相環に沿って環状に表示している。色相調整の場合、色相環上の位置を角度値で示すことができるため、1回目の抽出では、360度の角度範囲を表示可能なサムネイル数で等分割した各分割点の値を算出し、各分割点に対応する色相の画像のサムネイルを生成して配列表示する。また、図8(b)は、2回目の抽出工程によって抽出された配列リストの表示例である。図8(a)において矢印C1で示した位置をタッチ入力した場合には、この位置を含む所定の角度範囲を母集団に設定し、抽出したサムネイルを2回目の一覧表示工程で円弧状に表示することができる。なお、図8(a)において矢印C2で示すように所定の角度範囲をなぞって入力し、この角度範囲を次の母集団としてもよい。また、表示する際の配列形状は適宜変更可能であり、直線状や他の形状にすることもできる。   FIG. 8 shows a display example of an array list when hue adjustment is performed. FIG. 8A is a display example of the sequence list extracted by the first extraction process. In this way, in the first list display step, an image whose hue is changed little by little is extracted and displayed in a ring shape along the hue circle. In the case of hue adjustment, the position on the hue circle can be indicated by an angle value. Therefore, in the first extraction, the value of each division point obtained by equally dividing the 360 degree angle range by the number of thumbnails that can be displayed is calculated. A thumbnail image of a hue corresponding to each division point is generated and displayed in an array. FIG. 8B is a display example of the sequence list extracted by the second extraction process. When the position indicated by the arrow C1 in FIG. 8A is touch-inputted, a predetermined angle range including this position is set as a population, and the extracted thumbnail is displayed in an arc shape in the second list display step. can do. In addition, as shown by the arrow C2 in FIG. 8A, a predetermined angle range may be input and this angle range may be set as the next population. Moreover, the arrangement | sequence shape at the time of displaying can be changed suitably, and can also be made into linear form and another shape.

ユーザーは、希望する画像のサムネイルが表示された場合には当該サムネイルを選択して検索を終了もしくは中断させることができる。検索を中断して大画面などで画像を確認させ、更に検索を行うか、あるいは、ここで検索を終了するかを選択できるようにしてもよい。   When a thumbnail of a desired image is displayed, the user can select the thumbnail to end or interrupt the search. The search may be interrupted, the image may be confirmed on a large screen or the like, and it may be possible to select whether to perform a further search or to end the search here.

以上のように、実施形態2の方法では、画像の特徴量を調整するにあたって、特徴量を少しずつ変えた画像を一覧表示できる。従って、特徴量の調整と画像確認とを交互に何回も行いながら試行錯誤する従来の調整方法と比べて、効率的に調整値を決定できる。また、スクロールによる微調整や調整値の入力などの微細で手間のかかる作業を全く行うことなく調整値を決定できるため、簡単且つ効率的に画像調整を行うことができる。なお、画像調整アプリケーションの機能を、実施形態1の動画編集アプリケーションに組み込んでおき、編集中のフレーム画像に対する画像調整をこの方法で行っても良い。   As described above, in the method according to the second embodiment, when adjusting the feature amount of an image, a list of images in which the feature amount is changed little by little can be displayed. Therefore, the adjustment value can be determined more efficiently than in the conventional adjustment method in which the adjustment of the feature amount and the image confirmation are alternately performed many times and trial and error. In addition, since the adjustment value can be determined without performing fine and labor-intensive operations such as fine adjustment by scrolling and input of the adjustment value, image adjustment can be performed easily and efficiently. Note that the function of the image adjustment application may be incorporated in the moving image editing application of the first embodiment, and the image adjustment for the frame image being edited may be performed by this method.

(実施形態3)
実施形態3は、本発明の検索方法を交通機関の運行便検索に用いるものである。この方法も、上述した動画編集装置1と同じ構成の装置に、本実施形態の検索方法を実行する機能を提供する運行便検索アプリケーションプログラムを記憶させることにより実行できる。このプログラムを制御部に読み込み、路線や搭乗区間などを入力することにより、予め記憶している時刻表データから、該当するデータを読み込む。運行便検索アプリケーションプログラムは、読み込んだ運行便リストの中から、以下に説明する検索方法によって目的とする運行便を検索する。
(Embodiment 3)
In the third embodiment, the search method of the present invention is used to search for operating flights of transportation facilities. This method can also be executed by storing a flight search application program that provides a function of executing the search method of the present embodiment in an apparatus having the same configuration as the moving image editing apparatus 1 described above. By reading this program into the control unit and inputting the route, boarding section, etc., the corresponding data is read from the timetable data stored in advance. The flight search application program searches the target flight from the read flight flight list by the search method described below.

(運行便検索方法)
まず、実施形態1のステップS1と同様に、母集団を設定する。上述した路線や搭乗区間に加えて、搭乗日、おおまかな搭乗時間範囲などを入力すると、運行便検索アプリケーションプログラムは、該当する運行便の全データを母集団に設定する。運行便検索アプリケーションプログラムは、この母集団に対し、実施形態1における分割位置の検索方法と同様に、母集団からの運行便候補の抽出(抽出工程)、運行便を時系列に沿って並べた配列リストの表示(一覧表示工程)、範囲選択および母集団の再設定(絞り込み工程)を行う。そして、目的とする運行便が配列リスト中に出現するまで、運行便を絞り込んでゆくことができる。
(Operating flight search method)
First, a population is set as in step S1 of the first embodiment. When a boarding date, a rough boarding time range, etc. are input in addition to the above-mentioned route and boarding section, the flight search application program sets all data of the corresponding flight to the population. The flight search application program extracts the flight candidate from the population (extraction process) and arranges the flights in time series for this population, in the same way as the division position search method in the first embodiment. Sequence list display (list display process), range selection and population resetting (narrowing process) are performed. Then, it is possible to narrow down the service flights until the target service flight appears in the array list.

運行便検索を行う場合には、運行便の情報を示す表示を時系列に沿って並べた配列リストを生成して表示する。表示する運行便の抽出は、母集団の発着時間範囲を等分割した各分割点に最も近い便と、母集団の中で最も早い時刻および最も遅い時刻の各便とすることができる。なお、配列方向は、横一列、縦一列、斜め一列などの各種の方向とすることができる。ユーザーは、希望する条件に合った運行便が表示された場合には当該運行便を選択して、検索を終了もしくは中断させることができる。検索を中断して選択した便の詳細情報を表示し、更に検索を行うか、あるいは、ここで検索を終了するかを選択できるようにしてもよい。   When a flight search is performed, an array list in which displays showing information on flight flights are arranged in time series is generated and displayed. The operation flights to be displayed can be extracted as a flight closest to each dividing point obtained by equally dividing the departure / arrival time range of the population and each flight having the earliest time and the latest time in the population. The arrangement direction can be various directions such as one horizontal row, one vertical row, and one diagonal row. When a flight that meets the desired condition is displayed, the user can select the flight and terminate or stop the search. The search may be interrupted to display detailed information on the selected flight, and it may be possible to select whether to perform a further search or to end the search here.

以上のように、実施形態3の方法では、多数の発着便が設定されている場合に、これらの中から絞り込んでゆく作業を効率的に行うことができる。なお、乗り継ぎ検索などにおいて、乗り継ぎ位置への到着便とそこからの出発便の検索などを行う際に、本実施形態の運行便検索を補助的に利用できるようにすれば、効率的に希望に合った運行便の組み合わせを見つけることができる。   As described above, in the method according to the third embodiment, when a large number of flights are set, it is possible to efficiently perform the work of narrowing down from these. In addition, when searching for arrival flights at departure positions and departure flights from them in connection search, etc., if the service flight search of this embodiment can be used as an auxiliary, it can be efficiently requested. You can find the right combination of flights.

なお、本発明の検索方法の利用分野は上記の実施形態1〜3に限定されるものではなく、所定の配列基準に従って配列可能な一連の候補データの検索に広く適用可能である。すなわち、所定の配列基準に従って配列可能な一連の候補データを母集団に設定する処理と、この中から予め設定した抽出規則に従って予め設定した数の候補データを抽出する処理と、抽出結果をサムネイルなどの代表表示の形態で並べて一覧表示する処理とを行って、一覧表示した配列表示の一部をユーザーに選択させるための待機状態に入る。そして、選択入力が行われると、選択された部分に対応する母集団の部分を新たな母集団とするように母集団の再設定を行う。その後は、一覧表示された代表表示の中に目的とするものが見つかるなどの理由により、検索を終了もしくは中断する旨の入力が行われるか、もしくは、設定された母集団の数が少ないなどの理由によって更なる抽出工程が必要でないと判断されるまで、予め設定した数の候補を抽出する処理、一覧表示処理、母集団の絞り込み処理、の3工程を繰り返す。この検索方法により、各種の候補データから、効率的に目的とする候補データを検索することができる。   The field of use of the search method of the present invention is not limited to Embodiments 1 to 3 above, and can be widely applied to a search for a series of candidate data that can be arranged according to a predetermined arrangement standard. That is, a process for setting a series of candidate data that can be arranged according to a predetermined arrangement standard in a population, a process for extracting a preset number of candidate data according to an extraction rule set in advance, and extraction results as thumbnails, etc. The process of displaying the list side by side in the form of the representative display is performed to enter a standby state for allowing the user to select a part of the displayed array display. When a selection input is made, the population is reset so that the portion of the population corresponding to the selected portion becomes a new population. After that, the search is terminated or interrupted because the target display is found in the representative display displayed in the list, or the number of set populations is small. Until it is determined that a further extraction process is not necessary for the reason, a process of extracting a preset number of candidates, a list display process, and a population narrowing process are repeated. By this search method, target candidate data can be efficiently searched from various candidate data.

(改変例)
(1)上記各実施形態では、母集団から一覧表示するためのN個の候補データ(フレーム画像、調整過程の画像、運行便など)を抽出するにあたって、母集団の範囲をN−1に等分割して各分割点に対応する候補データを抽出し、これに母集団の先頭および末尾の候補を加えたものを抽出しているが、他の抽出規則に従って候補データの抽出を行うこともできる。例えば、等分割とは異なる分割比率を予め設定しておき、この分割比率に従って母集団を分割して各分割点の候補データを抽出し、これらを含む候補データを一覧表示してもよい。例えば、母集団の先頭付近および末尾付近などの各種の位置で、分割区間の幅を他の位置よりも狭く、あるいは広くすることができる。また、特定の候補データを優先して抽出したり、逆に排除するなどの規則を加えることも可能である。例えば、実施形態3の例において、分割位置の直前および直後に急行便と普通便があった場合には、急行便を優先して抽出するなどの規則を設けることもできる。

(2)上記各実施形態では、タッチパネル4への入力によって候補データの選択を行っているが、画面上に表示したカーソルをマウスやタッチパッド、キーボードなどを用いて動かすなどの各種の入力方法で選択入力を行うことができる。

(3)上記各実施形態では、本発明の検索方法により、検索の最終段階まで進むようにしているが、一定段階まで絞り込んだ後は、他の検索方法に移行する構成としてもよい。また、適宜前工程に戻ることを可能にして自由度を高めることにより、使い勝手を良好にすることができる。
(Modification example)
(1) In each of the above embodiments, when extracting N candidate data (frame image, image of adjustment process, service flight, etc.) for list display from the population, the range of the population is equal to N-1. The candidate data corresponding to each dividing point is extracted and the candidate data is added to the candidate at the beginning and end of the population. However, candidate data can be extracted according to other extraction rules. . For example, a division ratio different from the equal division may be set in advance, the population may be divided according to the division ratio, candidate data for each division point may be extracted, and candidate data including these may be displayed as a list. For example, at various positions such as the vicinity of the beginning and the end of the population, the width of the divided section can be made narrower or wider than other positions. It is also possible to add rules such as extracting specific candidate data with priority or excluding them. For example, in the example of the third embodiment, when there are an express flight and a normal flight immediately before and after the division position, a rule may be provided such that the express flight is preferentially extracted.

(2) In each of the above embodiments, candidate data is selected by input to the touch panel 4, but various input methods such as moving the cursor displayed on the screen using a mouse, touchpad, keyboard, or the like. Selection input can be performed.

(3) In each of the above embodiments, the search method according to the present invention is used to advance to the final stage of the search. Moreover, usability can be made favorable by making it possible to return to the previous process as appropriate and increasing the degree of freedom.

1…動画編集装置
2…入力表示パネル
3…液晶ディスプレイ
4…タッチパネル
5…筐体
6…CPU
7…制御部
8…記憶部
9…ビデオコントローラ
F01〜F08…フレーム画像
F11〜F18…フレーム画像
F21〜F28…フレーム画像
G01〜G08…フレーム画像
G11〜G18…フレーム画像
G21〜G28…フレーム画像
L0、L1、L2…配列リスト
R0、R1、R2…配列リスト
DESCRIPTION OF SYMBOLS 1 ... Moving image editing apparatus 2 ... Input display panel 3 ... Liquid crystal display 4 ... Touch panel 5 ... Case 6 ... CPU
7. Control unit 8 ... Storage unit 9 ... Video controllers F01-F08 ... Frame images F11-F18 ... Frame images F21-F28 ... Frame images G01-G08 ... Frame images G11-G18 ... Frame images G21-G28 ... Frame images L0, L1, L2 ... Sequence list R0, R1, R2 ... Sequence list

Claims (14)

検索対象を指定もしくは検索開始を指示する入力に基づき、制御手段が、所定の配列基準に従って配列可能な一連の候補データを検索対象の母集団として設定する処理を行う初期設定工程と、
前記制御手段が、前記母集団から、予め設定した抽出規則に従い、予め設定した数の候補データを抽出する処理を行う抽出工程と、
前記制御手段が、当該抽出した各候補データを示す表示を前記配列基準に従って一列に並べた配列表示を生成して、当該配列表示を表示手段に一覧表示する処理を行う一覧表示工程と、
前記制御手段が、前記配列表示の一部を選択するための選択入力が行われるのを待機し、当該選択入力が行われると、当該選択入力に基づいて前記配列表示のどの部分が選択されたかを判断し、当該選択された部分に対応する前記母集団の部分を新たな母集団に設定する処理を行う絞り込み工程と、を行い、
前記制御手段は、前記母集団を設定した場合には、検索を終了もしくは中断させるための入力が行われるか、もしくは、前記母集団が前記抽出工程を行う必要がない内容であると判断するまで、前記抽出工程、前記一覧表示工程、前記絞り込み工程、の3工程を繰り返すことを特徴とする検索方法。
Based on an input for designating a search target or instructing start of search, the control means performs a process of setting a series of candidate data that can be arranged according to a predetermined sequence standard as a population to be searched; and
An extraction step in which the control means performs a process of extracting a preset number of candidate data according to a preset extraction rule from the population;
A list display step in which the control means generates a sequence display in which the display indicating the extracted candidate data is arranged in a line in accordance with the sequence criteria, and performs a process of displaying the sequence display on the display means as a list;
The control unit waits for a selection input for selecting a part of the array display, and when the selection input is performed, which part of the array display is selected based on the selection input. And performing a process of setting a portion of the population corresponding to the selected portion as a new population,
The control means, when the population is set, until an input for ending or interrupting the search is performed, or until it is determined that the population does not need to perform the extraction step A search method characterized by repeating the three steps of the extraction step, the list display step, and the narrowing step.
請求項1において、
前記制御手段は、前記母集団が前記予め設定した数以下の離散的な候補データのみを含むと判断した場合には、前記3工程の繰り返しを中止して、当該母集団を構成する全ての候補データを示す表示を一列に並べて前記表示手段に一覧表示する処理を行うことを特徴とする検索方法。
In claim 1,
When the control unit determines that the population includes only discrete candidate data equal to or less than the preset number, the control unit stops the repetition of the three steps, and all candidates constituting the population A search method characterized by performing a process of arranging a display showing data in a line and displaying the list on the display means.
請求項1または2において、
前記制御手段は、前記抽出工程において、前記母集団を構成する全ての候補データを前記配列基準に従って一列に並べた配列を予め設定した分割比率で所定数に分割した場合の各分割位置に対応する候補データを含むように、前記予め設定した数の候補データを抽出することを特徴とする検索方法。
In claim 1 or 2,
The control means corresponds to each division position when an array in which all candidate data constituting the population is arranged in a line according to the arrangement standard is divided into a predetermined number at a preset division ratio in the extraction step. A search method characterized by extracting the preset number of candidate data so as to include candidate data.
請求項1または2において、
前記制御手段は、前記抽出工程において、前記予め設定した数の候補データとして、前記母集団を構成する全ての候補データを前記配列基準に従って一列に並べた配列の先頭および末尾の候補データ、ならびに、当該配列を所定数に等分割した場合の各分割位置に対応する候補データを抽出することを特徴とする検索方法。
In claim 1 or 2,
The control means, in the extraction step, as the preset number of candidate data, the candidate data at the beginning and the end of the sequence in which all candidate data constituting the population are arranged in a line according to the sequence criterion, and A search method characterized by extracting candidate data corresponding to each division position when the array is equally divided into a predetermined number.
請求項1ないし4のいずれかの項において、
前記制御手段は、前記一覧表示工程において、前記一覧表示する配列表示の配列方向を、縦、横、斜めのいずれかの向きに直線状に並んだ配列方向、あるいは、円弧状もしくは環状に並んだ配列方向とすることを特徴とする検索方法。
In any one of claims 1 to 4,
The control means, in the list display step, the arrangement direction of the arrangement display to be displayed in the list is arranged in a straight line in one of vertical, horizontal, and diagonal directions, or arranged in an arc or ring A search method characterized by an array direction.
請求項1ないし5のいずれかの項において、
前記一連の候補データが、所定時間毎に順次切り換え表示される多数のフレーム画像によって構成される動画である場合には、
前記制御手段は、
前記抽出工程において、前記母集団として設定されている前記動画の全範囲にわたって分散するように設定されている前記予め設定した数の抽出位置から、前記予め設定した数のフレーム画像を抽出する処理を行い、
前記一覧表示工程において、前記抽出工程で抽出した各フレーム画像のサムネイルを、当該各フレーム画像の表示順に従って一列に並べた配列表示を生成して、当該配列表示を一画面に一覧表示する処理を行い、
前記絞り込み工程において、前記配列表示の一部が選択されたと判断すると、当該選択された部分に対応する前記動画の範囲を新たな母集団に設定する処理を行い、
前記母集団を設定した場合には、検索を終了もしくは中断させるための入力が行われるか、もしくは、前記母集団を構成するフレーム画像数が前記予め設定した数以下になったと判断するまで、前記抽出工程、前記一覧表示工程、前記絞り込み工程、の3工程を繰り返し、
前記制御手段は、前記母集団を構成するフレーム画像数が前記予め設定した数以下であると判断すると、当該母集団を構成する全てのフレーム画像のサムネイルを一列に並べた配列表示を一覧表示する処理を行うことを特徴とする検索方法。
In any one of claims 1 to 5,
In the case where the series of candidate data is a moving image composed of a number of frame images that are sequentially switched and displayed every predetermined time,
The control means includes
In the extraction step, a process of extracting the preset number of frame images from the preset number of extraction positions set to be distributed over the entire range of the moving image set as the population. Done
In the list display step, a process of generating an array display in which thumbnails of the frame images extracted in the extraction step are arranged in a line according to the display order of the frame images, and displaying the array display on a single screen as a list Done
In the narrowing-down process, when it is determined that a part of the array display is selected, a process of setting the range of the moving image corresponding to the selected part to a new population is performed,
When the population is set, input for ending or interrupting the search is performed, or until it is determined that the number of frame images constituting the population is equal to or less than the preset number. Repeat the three steps of the extraction step, the list display step, and the narrowing step,
When the control means determines that the number of frame images constituting the population is equal to or less than the preset number, the control means displays a list of array displays in which thumbnails of all the frame images constituting the population are arranged in a line. A search method characterized by performing processing.
請求項6において、
前記制御手段は、前記絞り込み工程において、前記配列表示における隣接する2つのサムネイル間の部分が選択されたと判断した場合には、当該隣接する2つのサムネイルに対応する2つのフレーム画像の一方を始点、他方を終点とする前記動画の範囲を、前記新たな母集団として設定することを特徴とする検索方法。
In claim 6,
In the narrowing-down process, when the control unit determines that a portion between two adjacent thumbnails in the array display is selected, one of the two frame images corresponding to the two adjacent thumbnails is set as a starting point, A search method, characterized in that the range of the moving image having the other end point is set as the new population.
請求項6において、
前記制御手段は、
前記絞り込み工程において、
前記配列表示におけるいずれかのサムネイルから他のサムネイルまでの区間が選択されたと判断した場合には、
当該選択された区間の先頭に位置するサムネイルおよびその直前に位置するサムネイルに対応する2つのフレーム画像を、前記動画における第1の範囲の始点および終点に設定すると共に、前記選択された区間の末尾に位置するサムネイルおよびその直後に位置するサムネイルに対応する2つのフレーム画像を、前記動画における第2の範囲の始点および終点に設定して、前記第1および前記第2の範囲を、前記新たな母集団として設定し、
当該第1および第2の範囲を新たな母集団として設定した直後の前記抽出工程において、
前記第1および第2の各範囲内にそれぞれ所定数ずつ分散するように設定されている前記予め設定した数の抽出位置から、前記予め設定した数の前記フレーム画像を抽出することを特徴とする検索方法。
In claim 6,
The control means includes
In the narrowing step,
When it is determined that a section from any thumbnail to another thumbnail in the array display is selected,
The two frame images corresponding to the thumbnail located at the head of the selected section and the thumbnail located immediately before it are set as the start point and end point of the first range in the moving image, and at the end of the selected section Two frame images corresponding to the thumbnail located at and the thumbnail located immediately thereafter are set as the start point and end point of the second range in the moving image, and the first and second ranges are set as the new range. Set as a population,
In the extraction step immediately after setting the first and second ranges as a new population,
The preset number of the frame images are extracted from the preset number of extraction positions set so as to be distributed by a predetermined number within each of the first and second ranges. retrieval method.
請求項1ないし5のいずれかの項において、
前記一連の候補データが、交通機関の運行便群のデータである場合には、
前記制御手段は、
前記抽出工程において、前記運行便群の発着時間範囲を予め設定した分割比率で所定数に分割した各分割時点に最も近い各運行便のデータを含むように、前記予め設定した数の運行便のデータを抽出することを特徴とする検索方法。
In any one of claims 1 to 5,
In the case where the series of candidate data is data of a flight group of transportation facilities,
The control means includes
In the extracting step, the predetermined number of service flights is included so as to include data of each service flight closest to each division time point obtained by dividing the departure / arrival time range of the service flights into a predetermined number at a predetermined division ratio. A search method characterized by extracting data.
請求項1ないし5のいずれかの項において、
前記一連の候補データが、画像における所定の特徴量を所定範囲で変化させた場合の、当該特徴量の各値に対応する画像群のデータである場合には、
前記制御手段は、
前記抽出工程において、前記画像群における前記特徴量の変化範囲を予め設定した分割比率で所定数に分割した場合の各分割点に対応する各画像のデータを含むように、前記予め設定した数の画像のデータを抽出することを特徴とする検索方法。
In any one of claims 1 to 5,
When the series of candidate data is data of an image group corresponding to each value of the feature amount when a predetermined feature amount in the image is changed within a predetermined range,
The control means includes
In the extracting step, the predetermined number of data is included so as to include data of each image corresponding to each division point when the change range of the feature amount in the image group is divided into a predetermined number at a predetermined division ratio. A search method characterized by extracting image data.
請求項1ないし10のいずれかの項に記載の検索方法により、検索対象の母集団の中から目的の候補データを検索する検索装置であって、
予め設定した数の表示を一列に並べた配列表示を一覧表示するための表示手段と、
前記配列表示の一部を選択するための選択入力を受け付ける入力手段と、
前記検索方法を実行するためのプログラムを記憶する記憶手段と、
当該記憶手段から読み出したプログラムに基づき、前記検索方法における各工程を行うための処理を実行する制御手段とを有することを特徴とする検索装置。
A search device for searching for target candidate data from a population to be searched by the search method according to any one of claims 1 to 10,
Display means for displaying a list of array displays in which a predetermined number of displays are arranged in a line;
Input means for receiving a selection input for selecting a part of the array display;
Storage means for storing a program for executing the search method;
And a control unit that executes processing for performing each step in the search method based on a program read from the storage unit.
請求項11において、
前記表示手段は液晶表示パネルであり、
前記入力手段は前記液晶表示パネルの表面に設置されたタッチパネルであり、
前記制御手段は、
前記絞り込み工程において、前記液晶表示パネルに一覧表示された前記配列表示の一部をタッチもしくはなぞる操作が行われた場合に、当該タッチされた部分もしくはなぞられた部分に対応する前記母集団の部分を、新たな母集団として設定することを特徴とする検索装置。
In claim 11,
The display means is a liquid crystal display panel;
The input means is a touch panel installed on the surface of the liquid crystal display panel,
The control means includes
In the narrowing-down process, when an operation of touching or tracing a part of the array display displayed as a list on the liquid crystal display panel is performed, the touched part or the part of the population corresponding to the traced part Is set as a new population.
請求項6ないし8のいずれかの項に記載の検索方法により、動画における編集箇所のフレーム画像を検索する動画編集装置であって、
前記動画データに含まれるフレーム画像のサムネイルを予め設定した数だけ一列に並べた配列表示を一画面に一覧表示するための表示手段と、
前記配列表示の一部を選択するための選択入力を受け付ける入力手段と、
前記検索方法を実行するためのプログラムを記憶する記憶手段と、
当該記憶手段から読み出したプログラムに基づき、前記検索方法における各工程を行うための処理を実行する制御手段とを有することを特徴とする検索装置。
A moving image editing apparatus for searching for a frame image of an edited portion in a moving image by the search method according to any one of claims 6 to 8,
Display means for displaying a list of array displays in which a predetermined number of thumbnails of frame images included in the video data are arranged in a line on a single screen;
Input means for receiving a selection input for selecting a part of the array display;
Storage means for storing a program for executing the search method;
And a control unit that executes processing for performing each step in the search method based on a program read from the storage unit.
請求項13において、
前記表示手段は液晶表示パネルであり、
前記入力手段は前記液晶表示パネルの表面に設置されたタッチパネルであり、
前記制御手段は、
前記絞り込み工程において、前記液晶表示パネルに一覧表示された配列表示の一部をタッチもしくはなぞる操作が行われた場合に、当該タッチされた部分もしくはなぞられた部分に対応する前記動画データの部分を、新たな母集団として設定することを特徴とする動画編集装置。
In claim 13,
The display means is a liquid crystal display panel;
The input means is a touch panel installed on the surface of the liquid crystal display panel,
The control means includes
In the narrowing-down process, when an operation of touching or tracing a part of the array display displayed as a list on the liquid crystal display panel is performed, the touched part or the part of the moving image data corresponding to the traced part is displayed. A moving image editing apparatus characterized by being set as a new population.
JP2011012880A 2011-01-25 2011-01-25 SEARCH METHOD, SEARCH DEVICE, AND MOVIE EDITING DEVICE Expired - Fee Related JP5701078B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011012880A JP5701078B2 (en) 2011-01-25 2011-01-25 SEARCH METHOD, SEARCH DEVICE, AND MOVIE EDITING DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011012880A JP5701078B2 (en) 2011-01-25 2011-01-25 SEARCH METHOD, SEARCH DEVICE, AND MOVIE EDITING DEVICE

Publications (2)

Publication Number Publication Date
JP2012156686A true JP2012156686A (en) 2012-08-16
JP5701078B2 JP5701078B2 (en) 2015-04-15

Family

ID=46837986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011012880A Expired - Fee Related JP5701078B2 (en) 2011-01-25 2011-01-25 SEARCH METHOD, SEARCH DEVICE, AND MOVIE EDITING DEVICE

Country Status (1)

Country Link
JP (1) JP5701078B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101399234B1 (en) * 2013-08-09 2014-05-27 넥스트리밍(주) Enhanced user interface based on gesture input for motion picture authoring tool on a mobile device
JP2014232384A (en) * 2013-05-28 2014-12-11 アイキューブド研究所株式会社 Image output apparatus, image output method and program
WO2016098466A1 (en) * 2014-12-18 2016-06-23 株式会社Cygames Information processing program, and information processing method
JP2016173740A (en) * 2015-03-17 2016-09-29 キヤノン株式会社 Information processing device, information processing method, and program
KR102078479B1 (en) * 2018-11-16 2020-02-17 최규석 Method for editing video and videos editing device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333537A (en) * 2002-05-10 2003-11-21 Canon Inc Image reproducing apparatus and image reproducing method
JP2006229480A (en) * 2005-02-16 2006-08-31 Olympus Imaging Corp Program and apparatus for image processing and recording medium
JP2006303869A (en) * 2005-04-20 2006-11-02 Sony Corp Particular conditional interval detecting apparatus and method
JP2006303635A (en) * 2005-04-15 2006-11-02 Sony Corp Display apparatus, display control method and display control program, recording and reproducing apparatus, and reproducing apparatus
JP2010191585A (en) * 2009-02-17 2010-09-02 Canon Inc Display control device, imaging apparatus, display control method, program, and recording medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333537A (en) * 2002-05-10 2003-11-21 Canon Inc Image reproducing apparatus and image reproducing method
JP2006229480A (en) * 2005-02-16 2006-08-31 Olympus Imaging Corp Program and apparatus for image processing and recording medium
JP2006303635A (en) * 2005-04-15 2006-11-02 Sony Corp Display apparatus, display control method and display control program, recording and reproducing apparatus, and reproducing apparatus
JP2006303869A (en) * 2005-04-20 2006-11-02 Sony Corp Particular conditional interval detecting apparatus and method
JP2010191585A (en) * 2009-02-17 2010-09-02 Canon Inc Display control device, imaging apparatus, display control method, program, and recording medium

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014232384A (en) * 2013-05-28 2014-12-11 アイキューブド研究所株式会社 Image output apparatus, image output method and program
KR101399234B1 (en) * 2013-08-09 2014-05-27 넥스트리밍(주) Enhanced user interface based on gesture input for motion picture authoring tool on a mobile device
WO2015020497A1 (en) * 2013-08-09 2015-02-12 넥스트리밍(주) Method for processing video editing user interface running on mobile device having touch screen, mobile device and recording medium
WO2016098466A1 (en) * 2014-12-18 2016-06-23 株式会社Cygames Information processing program, and information processing method
JP2016116196A (en) * 2014-12-18 2016-06-23 株式会社Cygames Information processing program and information processing method
KR20170096017A (en) * 2014-12-18 2017-08-23 가부시키가이샤 사이게임스 Information processing program, and information processing method
CN107251550A (en) * 2014-12-18 2017-10-13 Cy游戏公司 Message handling program and information processing method
KR101944456B1 (en) * 2014-12-18 2019-04-17 가부시키가이샤 사이게임스 Information processing program, and information processing method
US10384125B2 (en) 2014-12-18 2019-08-20 Cygames, Inc. Information processing program and information processing method
CN107251550B (en) * 2014-12-18 2020-03-27 Cy游戏公司 Information processing program and information processing method
JP2016173740A (en) * 2015-03-17 2016-09-29 キヤノン株式会社 Information processing device, information processing method, and program
KR102078479B1 (en) * 2018-11-16 2020-02-17 최규석 Method for editing video and videos editing device

Also Published As

Publication number Publication date
JP5701078B2 (en) 2015-04-15

Similar Documents

Publication Publication Date Title
US8234568B2 (en) Selecting image arrangement regions based on number of users
US7437674B2 (en) Video processing methods
US20150135123A1 (en) Cursor-based character input interface
JP5701078B2 (en) SEARCH METHOD, SEARCH DEVICE, AND MOVIE EDITING DEVICE
CN112148170B (en) Desktop element adjusting method and device and electronic equipment
US20170109012A1 (en) Smart tv set, and method for processing a thumbnail of a picture
JP5025833B1 (en) Sequence program creation device
JP2014078104A (en) Information controller, control method thereof, and program
CN104462496A (en) Search method, device and mobile terminal
CN113891127A (en) Video editing method and device and electronic equipment
CN102937858A (en) Character inputting method and electronic equipment
US20100318550A1 (en) Image searching system, image searching apparatus, and medium storing image searching program
US20160004325A1 (en) Swipe and tap keyboard
JPH10214171A (en) Information processor
JP2006259838A (en) Menu display device
CN105468252A (en) Application software operation interface display method and apparatus
JP2016148887A (en) Ladder program edition device enabling edition with gesture operation of touch panel
JP2013182329A (en) Information processing device, control method for information processing device, and program
CN107885414B (en) Method and device for controlling cursor positioning
KR102004976B1 (en) Electronic document editing apparatus for organizing user custom toolbar and operating method thereof
KR20220088944A (en) Command display control method, command display control program, and apparatus therefor
JP5963451B2 (en) Information processing apparatus, control method therefor, program, and storage medium
KR101886986B1 (en) Engineering tool program and engineering tool
US11755199B2 (en) Linear on-screen keyboard with floating utility keys
JP2015122007A (en) Edition support system, method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140722

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150217

R150 Certificate of patent or registration of utility model

Ref document number: 5701078

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees