JP2011250095A

JP2011250095A - Electronic apparatus, video editing method, and program

Info

Publication number: JP2011250095A
Application number: JP2010120641A
Authority: JP
Inventors: Kentaro Fukazawa; 健太郎深沢
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-05-26
Filing date: 2010-05-26
Publication date: 2011-12-08

Abstract

PROBLEM TO BE SOLVED: To improve efficiency of previewing video data and to extract section data effective to editing operation from the video data.SOLUTION: A video editing device 100 performs, on an image editing interface 30, preview reproduction of the video data so that the larger the variation amount of a frame is, the slower the speed of the preview reproduction is. When a marker button 31 is pressed during the preview reproduction, section data on a continuation time length according to the variation amount of the frame at the time point is extracted, a marker image M corresponding to the section data is displayed, and thumbnail images Th of the number according to the variation amount are obtained from the section data and displayed.

Description

本発明は、映像データを編集することが可能な電子機器、当該電子機器における映像編集方法及びプログラムに関する。 The present invention relates to an electronic device capable of editing video data, a video editing method and a program in the electronic device.

従来から、映像データを編集する際の作業効率を高めるための技術が存在する。例えば下記特許文献１には、映像のプレビュー再生時に、映像の変化度合いが小さい映像については相対的に高速で再生し、変化度合いが大きい映像については相対的に低速で再生することが記載されている。 Conventionally, there exists a technique for improving work efficiency when editing video data. For example, Patent Document 1 below describes that, when previewing a video, a video with a small degree of change in video is played at a relatively high speed, and a video with a large degree of change is played at a relatively low speed. Yes.

しかしながら、上記特許文献１に記載の技術では、ユーザは編集対象となる映像区間（シーン）を探し出しやすくはなるものの、探し出したシーンをマーキングしておき、後から当該シーンのみを再度再生させることはできない。 However, with the technique described in Patent Document 1, although it is easy for the user to find the video section (scene) to be edited, it is not possible to mark the found scene and replay only that scene later. Can not.

一方、映像中の所定の映像区間データを抽出する技術は、例えば下記特許文献２に開示されている。当該特許文献２では、撮影された映像データに対してユーザが開始位置及び終了位置を指示することで所定の場面が抽出される。また当該特許文献には、開始位置から終了位置までの時間が予め設定され、一定時間毎に開始位置及び終了位置が自動的に設定されてもよいことも記載されている。 On the other hand, a technique for extracting predetermined video section data from video is disclosed in, for example, Patent Document 2 below. In Patent Document 2, a predetermined scene is extracted by a user specifying a start position and an end position for captured video data. The patent document also describes that the time from the start position to the end position is set in advance, and the start position and the end position may be automatically set at regular intervals.

特開２００８−２２７７４４号公報JP 2008-227744 A 特開２００９−２２５３６１号公報JP 2009-225361 A

しかしながら、上記特許文献１に記載の技術に上記特許文献２に記載の技術を適用した場合、ユーザは、変化度合いに応じてプレビュー速度が不規則に変化する映像データ上で、抽出対象のシーンの開始位置及び終了位置を指示する必要があるため、当該指示のための操作が極めて煩雑になる。 However, when the technique described in Patent Document 2 is applied to the technique described in Patent Document 1, the user can select the scene to be extracted on video data whose preview speed changes irregularly according to the degree of change. Since it is necessary to instruct the start position and the end position, the operation for the instruction becomes extremely complicated.

また、開始位置から終了位置までの時間が予め設定されている場合、映像の変化度合い、すなわち映像のプレビュー速度の変化に関わらず一定の長さの区間のデータが抽出されることになる。したがって、変化度合いの小さいシーンについては十分な区間のデータが抽出されず、また変化度合いの大きいシーンについては無駄な区間のデータまで抽出されてしまうことが考えられ、結果として、その後の編集作業に有効な、ユーザの所望の区間データが抽出されない可能性がある。 Further, when the time from the start position to the end position is set in advance, data of a section having a certain length is extracted regardless of the change degree of the video, that is, the change in the video preview speed. Therefore, it is conceivable that sufficient section data will not be extracted for scenes with a small degree of change, and even useless sections of data will be extracted for scenes with a large degree of change. There is a possibility that effective section data desired by the user may not be extracted.

以上のような事情に鑑み、本発明の目的は、映像データのプレビュー効率を向上させるとともに、当該映像データから、編集作業に有効な区間データを抽出することが可能な電子機器、映像編集方法及びプログラムを提供することにある。 In view of the circumstances as described above, an object of the present invention is to improve the preview efficiency of video data and to extract electronic section data effective for editing work from the video data, video editing method, and To provide a program.

上記目的を達成するため、本発明の一形態に係る電子機器は、記憶部、再生部、出力部、操作受付部及び制御部と有する。上記記憶部は、複数のフレームで構成される映像データと、上記複数のフレーム間の変化量を示す変化量データとを記憶する。上記再生部は、上記映像データを、上記フレーム間の変化量が大きいほど低い再生速度で再生する。上記出力部は、上記再生された映像データを出力する。上記操作受付部は、上記映像データの出力中に任意の再生点を指定するユーザの操作を受け付ける。上記制御部は、上記操作が受け付けられたときに、上記再生点を含む複数のフレームからなる区間データを、当該区間データの時間長が上記再生点における上記再生速度が大きいほど長くなるように抽出する。さらに制御部は、上記映像データを、当該抽出された区間データ単位で再生するように上記再生部を制御する。 In order to achieve the above object, an electronic apparatus according to an embodiment of the present invention includes a storage unit, a reproduction unit, an output unit, an operation reception unit, and a control unit. The storage unit stores video data including a plurality of frames and change amount data indicating a change amount between the plurality of frames. The playback unit plays back the video data at a lower playback speed as the amount of change between the frames increases. The output unit outputs the reproduced video data. The operation accepting unit accepts a user operation for designating an arbitrary reproduction point during the output of the video data. When the operation is accepted, the control unit extracts section data including a plurality of frames including the playback point so that the time length of the section data becomes longer as the playback speed at the playback point increases. To do. Further, the control unit controls the reproduction unit to reproduce the video data in units of the extracted section data.

これにより電子機器は、フレーム間の変化量が大きいほど低い速度で映像データを再生することで、プレビュー効率を向上させるとともに、再生中に任意の再生点が指定されたときには、上記再生速度が大きいほど長くなる区間データを抽出することで、後に編集対象となる区間データを、変化量に応じた適切な時間長で抽出することができる。ここで再生速度が大きいほど区間データの時間長が長くされるのは、再生速度が大きい場合には、映像の変化量が小さいため、ユーザが所望の画像を見つけるには比較的多くのフレームを確認する必要がある一方、再生速度が小さい場合には、映像の変化量が大きいため、フレーム数が少なくても、ユーザが所望の画像をピンポイントで見つけやすいからである。 As a result, the electronic device reproduces video data at a lower speed as the amount of change between frames increases, thereby improving preview efficiency and increasing the playback speed when an arbitrary playback point is designated during playback. By extracting section data that becomes longer, section data to be edited later can be extracted with an appropriate time length corresponding to the amount of change. Here, the longer the playback speed, the longer the time length of the section data. When the playback speed is high, the amount of change in the video is small, so that the user needs a relatively large number of frames to find the desired image. On the other hand, if the playback speed is low, the amount of change in the video is large, so even if the number of frames is small, the user can easily find a desired image pinpoint.

上記制御部は、上記映像データにおける当該区間データの位置及び上記時間長を示し当該区間データを再生させるための操作の対象となるマーカー画像を出力するように上記出力部を制御してもよい。 The control unit may control the output unit to output a marker image that indicates a position of the section data and the time length in the video data and is an operation target for reproducing the section data.

これによりユーザは、マーカー画像により、区間データの位置及び時間長を把握できるとともに、区間データを容易に再生させることができる。 Thus, the user can grasp the position and time length of the section data from the marker image, and can easily reproduce the section data.

上記制御部は、上記区間データから、複数のフレームを、上記変化量が大きいほどフレーム間隔が小さくなるように抽出し、当該抽出された各フレームの各サムネイル画像を上記マーカー画像とともに出力するように上記出力部を制御してもよい。 The control unit extracts a plurality of frames from the section data so that the frame interval decreases as the change amount increases, and outputs the thumbnail images of the extracted frames together with the marker images. The output unit may be controlled.

これにより電子機器は、区間データの内容をユーザにサムネイルで確認させることができ、しかも、当該サムネイルを区間データの変化量が大きいほど小さいフレーム間隔で抽出することで、ユーザが重要なシーンを見逃すのを極力防ぐことができる。 As a result, the electronic device can allow the user to check the contents of the section data with thumbnails, and the user can miss an important scene by extracting the thumbnails with a smaller frame interval as the change amount of the section data is larger. Can be prevented as much as possible.

上記制御部は、上記マーカー画像を対象とした操作が受け付けられたときに、当該マーカー画像が示す区間データの各フレームを再生するように上記再生部を制御してもよい。またこれとともに制御部は、当該区間データから抽出された上記各サムネイル画像を出力するように上記出力部を制御してもよい。 The control unit may control the reproduction unit to reproduce each frame of the section data indicated by the marker image when an operation for the marker image is accepted. In addition, the control unit may control the output unit so as to output the thumbnail images extracted from the section data.

これによりユーザは、マーカー画像を選択することで、区間データの映像を閲覧できるとともに、サムネイル画像により当該区間データに含まれる画像を容易に把握することができるため、当該区間データから、編集対象となる特定の画像をより容易に見つけることができる。
上記制御部は、上記区間データに含まれる各フレームのうち、開始点、中間点及び終了点にそれぞれ位置する第１、第２及び第３のフレームを抽出し、上記第１のフレームと上記第２のフレームとの間の第１の変化量と、上記第２のフレームと上記第３のフレームとの間の第２の変化量のうち、大きい方の変化量が算出された２つのフレームの中間点に位置する第４のフレームを抽出し、上記抽出された第１、第２、第３及び第４のフレームの各サムネイル画像を生成してもよい。 Thereby, the user can browse the video of the section data by selecting the marker image and can easily grasp the image included in the section data by the thumbnail image. It is easier to find a specific image.
The control unit extracts first, second, and third frames that are located at a start point, an intermediate point, and an end point, respectively, from among the frames included in the section data. Of the two frames for which the larger change amount is calculated among the first change amount between the second frame and the second change amount between the second frame and the third frame. A fourth frame located at the midpoint may be extracted, and thumbnail images of the extracted first, second, third, and fourth frames may be generated.

これにより電子機器は、区間データの開始点、中間点及び終了点の各フレームに加えて、変化量が大きいフレーム間からさらにフレームを抽出してそれらのサムネイル画像を生成することで、変化量の大きいシーンのサムネイル画像をより多く出力することができる。 As a result, the electronic device extracts the frames from between the frames having a large change amount in addition to the frames of the start point, the intermediate point, and the end point of the section data, and generates thumbnail images thereof. More thumbnail images of large scenes can be output.

また上記制御部は、上記区間データから、所定の変化量毎に複数のフレームを抽出し、当該抽出された各フレームのサムネイル画像を生成してもよい。 Further, the control unit may extract a plurality of frames for each predetermined change amount from the section data, and generate a thumbnail image of each extracted frame.

これにより電子機器は、区間データから、等しい変化量毎にサムネイル画像を生成することで、出力されるサムネイル画像間の変化量にばらつきが生じるのを防ぐことができる。 As a result, the electronic device generates thumbnail images for each equal amount of change from the section data, thereby preventing variation in the amount of change between the output thumbnail images.

上記制御部は、上記出力された複数のサムネイル画像のうち隣接する２つのサムネイル画像の境界に対して操作が受け付けられた場合に、当該隣接する２つのサムネイル画像の元となる２つのフレームの間に位置するフレームのサムネイル画像を出力するように上記出力部を制御してもよい。 When an operation is accepted on the boundary between two adjacent thumbnail images among the plurality of output thumbnail images, the control unit determines whether the two adjacent thumbnail images are based on the two frames. The output unit may be controlled so as to output a thumbnail image of a frame located at.

これにより電子機器は、当初出力されたサムネイル画像の中にユーザの所望の画像が存在しなかった場合でも、２つのサムネイル画像の間に位置するサムネイル画像をさらに出力することで、ユーザの所望の画像にアクセスさせることができる。 As a result, even when the user-desired thumbnail image does not exist in the initially output thumbnail image, the electronic device further outputs the thumbnail image positioned between the two thumbnail images, thereby The image can be accessed.

本発明の他の形態に係る映像編集方法は、複数のフレームで構成される映像データと、上記複数のフレーム間の変化量を示す変化量データとを記憶することを含む。上記映像データは、上記フレーム間の変化量が大きいほど低い再生速度で再生される。上記再生された映像データは出力される。上記映像データの出力中に任意の再生点を指定するユーザの操作が受け付けられた場合には、上記再生点を含む複数のフレームからなる区間データが、当該区間データの時間長が上記再生点における上記再生速度が大きいほど長くなるように抽出される。上記映像データは、上記抽出された区間データ単位で再生される。 A video editing method according to another aspect of the present invention includes storing video data composed of a plurality of frames and change amount data indicating a change amount between the plurality of frames. The video data is reproduced at a lower reproduction speed as the amount of change between the frames is larger. The reproduced video data is output. When a user operation for designating an arbitrary playback point is accepted during the output of the video data, the section data composed of a plurality of frames including the playback point has a time length of the section data at the playback point. Extraction is performed so as to increase as the reproduction speed increases. The video data is reproduced in units of the extracted section data.

本発明のまた別の形態に係るプログラムは、電子機器に、記憶ステップ、第１の再生ステップ、出力ステップ、操作受付ステップ、抽出ステップ及び第２の再生ステップを実行させる。上記記憶ステップでは、複数のフレームで構成される映像データと、上記複数のフレーム間の変化量を示す変化量データとが記憶される。上記第１の再生ステップでは、上記映像データが、上記フレーム間の変化量が大きいほど低い再生速度で再生される。上記出力ステップでは、上記再生された映像データが出力される。上記操作受付ステップでは、上記映像データの出力中に任意の再生点を指定するユーザの操作が受け付けられる。上記抽出ステップでは、上記操作が受け付けられたときに、上記再生点を含む複数のフレームからなる区間データが、当該区間データの時間長が上記再生点における上記再生速度が大きいほど長くなるように抽出される。上記第２の再生ステップでは、上記映像データが、上記抽出された区間データ単位で再生される。 A program according to still another aspect of the present invention causes an electronic device to execute a storage step, a first reproduction step, an output step, an operation reception step, an extraction step, and a second reproduction step. In the storing step, video data composed of a plurality of frames and change amount data indicating a change amount between the plurality of frames are stored. In the first reproduction step, the video data is reproduced at a lower reproduction speed as the amount of change between the frames is larger. In the output step, the reproduced video data is output. In the operation accepting step, an operation of a user for designating an arbitrary reproduction point during the output of the video data is accepted. In the extraction step, when the operation is accepted, the section data including a plurality of frames including the playback point is extracted such that the time length of the section data becomes longer as the playback speed at the playback point increases. Is done. In the second reproduction step, the video data is reproduced in units of the extracted section data.

以上説明したように、本発明によれば、映像データのプレビュー効率を向上させるとともに、当該映像データから、編集作業に有効な区間データを抽出することができる。 As described above, according to the present invention, it is possible to improve preview efficiency of video data and to extract section data effective for editing work from the video data.

本発明の一実施形態に係る映像編集装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of the video editing apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る映像編集装置の機能ブロック（ソフトウェア構成）を示した図である。It is the figure which showed the functional block (software structure) of the video editing apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る映像編集装置が表示可能なＧＵＩの表示例を示した図である。It is the figure which showed the example of a display of GUI which the video editing apparatus concerning one Embodiment of this invention can display. 本発明の一実施形態に係る映像編集装置の動作の流れの概要を示したフローチャートである。It is the flowchart which showed the outline | summary of the flow of operation | movement of the video editing apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る映像編集装置によるプレビュー速度の設定手法を概念的に示した図である。It is the figure which showed notionally the setting method of the preview speed by the video editing apparatus concerning one Embodiment of this invention. 本発明の一実施形態におけるプレビュー速度とマーカー幅との関係を示す関数データの例を示した図である。It is the figure which showed the example of the function data which show the relationship between the preview speed and marker width in one Embodiment of this invention. 本発明の一実施形態におけるプレビュー映像の変化量とマーカー画像Ｍの設定幅との関係を示した図である。It is the figure which showed the relationship between the variation | change_quantity of the preview image | video and the setting width | variety of the marker image M in one Embodiment of this invention. 本発明の一実施形態におけるサムネイル画像の第１の取得方法の流れを示したフローチャートである。It is the flowchart which showed the flow of the 1st acquisition method of the thumbnail image in one Embodiment of this invention. 本発明の一実施形態におけるサムネイル画像の第１の取得方法における処理の概要を示した図である。It is the figure which showed the outline | summary of the process in the 1st acquisition method of the thumbnail image in one Embodiment of this invention. 本発明の一実施形態におけるサムネイル画像の第２の取得方法の流れを示したフローチャートである。It is the flowchart which showed the flow of the 2nd acquisition method of the thumbnail image in one Embodiment of this invention. 本発明の一実施形態におけるサムネイル画像の第２の取得方法における処理の概要を示した図である。It is the figure which showed the outline | summary of the process in the 2nd acquisition method of the thumbnail image in one Embodiment of this invention. 本発明の他の実施形態におけるサムネイル画像の表示例を示した図である。It is the figure which showed the example of a display of the thumbnail image in other embodiment of this invention.

以下、図面を参照しながら、本発明の実施形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

［映像編集装置のハードウェア構成］
図１は、本発明の一実施形態に係る映像編集装置のハードウェア構成を示す図である。当該映像編集装置１００は例えばテレビジョン放送用や映画用の映像を編集する業務用のものであるが、もちろん、民生用であっても構わない。 [Hardware configuration of video editing device]
FIG. 1 is a diagram showing a hardware configuration of a video editing apparatus according to an embodiment of the present invention. For example, the video editing apparatus 100 is for business use for editing video for television broadcasting or movies, but may be for consumer use.

同図に示すように、映像編集装置１００は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ１２（Read Only Memory）、ＲＡＭ（Random Access Memory）１３、入出力インタフェース１５、及び、これらを互いに接続するバス１４を備える。すなわち、映像編集装置１００のハードウェア構成は、汎用のＰＣ（Personal Computer）と同様である。 As shown in FIG. 1, a video editing apparatus 100 includes a CPU (Central Processing Unit) 11, a ROM 12 (Read Only Memory), a RAM (Random Access Memory) 13, an input / output interface 15, and a bus 14 for connecting them together. Is provided. That is, the hardware configuration of the video editing apparatus 100 is the same as that of a general-purpose PC (Personal Computer).

ＣＰＵ１１は、必要に応じてＲＡＭ１３等に適宜アクセスし、各種演算処理を行いながら映像編集装置１００の各ブロック全体を統括的に制御する。ＲＯＭ１２は、ＣＰＵ１１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１３は、ＣＰＵ１１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。 The CPU 11 appropriately accesses the RAM 13 or the like as necessary, and comprehensively controls each block of the video editing apparatus 100 while performing various arithmetic processes. The ROM 12 is a non-volatile memory in which an OS to be executed by the CPU 11, firmware such as programs and various parameters are fixedly stored. The RAM 13 is used as a work area for the CPU 11 and temporarily holds the OS, various applications being executed, and various data being processed.

入出力インタフェース１５には、表示部１６、入力部１７、記憶部１８、通信部１９、ドライブ部２０等が接続される。 A display unit 16, an input unit 17, a storage unit 18, a communication unit 19, a drive unit 20, and the like are connected to the input / output interface 15.

表示部１６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。当該表示部１６は、映像編集装置１００に内蔵されていてもよいし、映像編集装置１００に外部接続されていてもよい。 The display unit 16 is a display device using, for example, liquid crystal, EL (Electro-Luminescence), CRT (Cathode Ray Tube), or the like. The display unit 16 may be built in the video editing apparatus 100 or may be externally connected to the video editing apparatus 100.

入力部１７は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部１７がタッチパネルを含む場合、そのタッチパネルは表示部１６と一体となり得る。 The input unit 17 is, for example, a pointing device such as a mouse, a keyboard, a touch panel, and other operation devices. When the input unit 17 includes a touch panel, the touch panel can be integrated with the display unit 16.

記憶部１８は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ、その他の固体メモリ等の不揮発性メモリである。当該記憶部１８には、上記ＯＳや各種アプリケーション、各種データが記憶される。特に本実施形態では、記憶部１８には、記録媒体５から取り込まれた映像データや、当該映像データ編集するための映像編集アプリケーションも記憶される。 The storage unit 18 is a non-volatile memory such as an HDD (Hard Disk Drive), a flash memory, or other solid-state memory. The storage unit 18 stores the OS, various applications, and various data. In particular, in the present embodiment, the storage unit 18 also stores video data captured from the recording medium 5 and a video editing application for editing the video data.

当該映像編集アプリケーションは、映像データを、当該映像データ中の映像の変化量に応じた速度でプレビューさせることができる。記憶部１８には、映像データの開始点から終了点に渡る変化量データも記憶される。 The video editing application can preview the video data at a speed corresponding to the amount of change of the video in the video data. The storage unit 18 also stores change amount data from the start point to the end point of the video data.

ドライブ部２０は、例えばメモリカード、光ディスク、磁気記録テープ等、リムーバブルの記録媒体５を駆動し、当該記録媒体５に記録された映像データの読み出し及び当該記録媒体５へのデータの書き込みを行う。またドライブ部２０は、映像データを入力するための例えばＵＳＢ（Universal Serial Bus）等の外部インタフェースであってもよい。 The drive unit 20 drives a removable recording medium 5 such as a memory card, an optical disk, or a magnetic recording tape, for example, and reads video data recorded on the recording medium 5 and writes data to the recording medium 5. The drive unit 20 may be an external interface such as a USB (Universal Serial Bus) for inputting video data.

通信部１９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続可能な、他の装置と通信するためのＮＩＣ（Network Interface Card）等である。通信部１９は、有線及び無線のどちらを利用して通信するものであってもよい。上記映像データは、当該通信部１９により、例えば中継現場等のビデオカメラから受信されるものであってもよい。 The communication unit 19 is a NIC (Network Interface Card) or the like for communicating with other devices that can be connected to a LAN (Local Area Network), a WAN (Wide Area Network), or the like. The communication unit 19 may communicate using either wired or wireless communication. The video data may be received by the communication unit 19 from a video camera such as a relay site, for example.

［映像編集装置のソフトウェア構成］
図２は、上記映像編集装置１００の機能ブロック（映像編集アプリケーションのソフトウェア構成）を示した図である。同図に示すように、映像編集装置１００は、変化量取得部２１、再生部２２、プレビューモニタ２３、プレビュー速度設定部２４、マーカー設定部２５、マーカーコントローラ２６、マーカー表示部２７、サムネイル画像取得部２８及びサムネイル画像表示部２９を有する。 [Software configuration of video editing device]
FIG. 2 is a diagram showing functional blocks (software configuration of the video editing application) of the video editing apparatus 100. As shown in the figure, the video editing apparatus 100 includes a change amount acquisition unit 21, a reproduction unit 22, a preview monitor 23, a preview speed setting unit 24, a marker setting unit 25, a marker controller 26, a marker display unit 27, and a thumbnail image acquisition. A unit 28 and a thumbnail image display unit 29.

変化量取得部２１は、記録媒体５から読み出された映像データから、開始点（開始フレーム）から終了点（終了フレーム）に渡る映像の変化量データを取得し、記憶部１８または記録媒体５に記憶する。当該変化量データは、例えば、ある時間Ｔの画像（フレーム）Ａと、時間Ｔ−ｎ（ｎ≧１）の画像Ｂとの間で、同一画素位置間の画素値の差分二乗の総和を示す値として算出される。また、映像データがＭＰＥＧ（Moving Picture Experts Group）等のフォーマットで圧縮されている場合には、上記変化量データは、動き補償予測時の予測残差を用いて算出されてもよい。 The change amount acquisition unit 21 acquires the change amount data of the video from the start point (start frame) to the end point (end frame) from the video data read from the recording medium 5, and the storage unit 18 or the recording medium 5. To remember. The change amount data indicates, for example, the sum of the squares of the difference in pixel values between the same pixel positions between an image (frame) A at a certain time T and an image B at a time Tn (n ≧ 1). Calculated as a value. When the video data is compressed in a format such as MPEG (Moving Picture Experts Group), the change amount data may be calculated using a prediction residual at the time of motion compensation prediction.

プレビュー速度設定部２４は、上記記憶部１８に記憶された変化量データに応じて、映像データのプレビュー時における各フレームのプレビュー速度を設定する。 The preview speed setting unit 24 sets the preview speed of each frame at the time of previewing the video data in accordance with the change amount data stored in the storage unit 18.

再生部２２は、上記プレビュー速度設定部２４により設定された速度で、映像データの各フレームを再生する。 The playback unit 22 plays back each frame of video data at the speed set by the preview speed setting unit 24.

プレビューモニタ２３は、再生部２２により再生されたプレビュー映像を所定領域内に表示する。 The preview monitor 23 displays the preview video reproduced by the reproduction unit 22 in a predetermined area.

マーカー設定部２５は、プレビュー再生時に、ユーザがマーカーコントローラ２６により指定した位置を含む、プレビュー速度に応じた継続時間長のマーカーを設定する。換言すると、マーカー設定部２５は、上記ユーザにより指定された位置を含む映像区間のデータ（区間データ）を映像データから抽出する。マーカー表示部２７は、上記マーカー設定部２５により設定されたマーカー（区間データ）を、映像データを示すタイムライン上でマーカー画像として表示する。当該タイムライン上でマーカー画像が選択された場合には、上記区間データが再生される。 The marker setting unit 25 sets a marker having a duration length corresponding to the preview speed, including the position designated by the user by the marker controller 26 during preview reproduction. In other words, the marker setting unit 25 extracts video section data (section data) including the position designated by the user from the video data. The marker display unit 27 displays the marker (section data) set by the marker setting unit 25 as a marker image on the timeline indicating the video data. When the marker image is selected on the timeline, the section data is reproduced.

サムネイル画像取得部２８は、上記区間データの始点から終点に渡る範囲の複数のフレームの各サムネイル画像を取得する。 The thumbnail image acquisition unit 28 acquires each thumbnail image of a plurality of frames in the range from the start point to the end point of the section data.

サムネイル画像表示部２９は、上記サムネイル画像取得部２８により取得された各サムネイル画像を表示する。 The thumbnail image display unit 29 displays each thumbnail image acquired by the thumbnail image acquisition unit 28.

［映像編集装置のＧＵＩ構成］
図３は、上記映像編集装置１００が上記映像編集アプリケーションにより表示可能なＧＵＩ（Graphical User Interface）（以下、映像編集インタフェースと称する）の表示例を示した図である。 [GUI configuration of video editing device]
FIG. 3 is a diagram showing a display example of a GUI (Graphical User Interface) (hereinafter referred to as a video editing interface) that can be displayed by the video editing apparatus 100 using the video editing application.

同図に示すように、映像編集インタフェース３０は、上述したプレビューモニタ２３、サムネイル画像表示部２９、マーカー表示部２７及びマーカーコントローラ２６に加え、プレビュースタートボタン３３を有する。当該プレビュースタートボタン３３は、映像データのプレビューを開始させるためのボタンである。 As shown in the figure, the video editing interface 30 includes a preview start button 33 in addition to the preview monitor 23, the thumbnail image display unit 29, the marker display unit 27, and the marker controller 26 described above. The preview start button 33 is a button for starting preview of video data.

サムネイル画像表示部２９には、複数枚のサムネイル画像Ｔｈの表示領域が設けられている。後述するが、当該表示領域の数（サムネイル画像Ｔｈの枚数）は、所定枚数に固定することも可能であるが、本実施形態においては、区間データの変化量に応じて可変とされる。 The thumbnail image display unit 29 is provided with a display area for a plurality of thumbnail images Th. As will be described later, the number of display areas (the number of thumbnail images Th) can be fixed to a predetermined number, but in the present embodiment, it is variable according to the amount of change in the section data.

マーカー表示部２７は、映像データのタイムラインを示す横長の矩形領域として表示される。当該タイムライン上でマーカーが設定された区間を示す位置には、矩形状のマーカー画像Ｍが表示される。 The marker display unit 27 is displayed as a horizontally long rectangular area indicating a timeline of video data. A rectangular marker image M is displayed at a position indicating a section where a marker is set on the timeline.

上記マーカーコントローラ２６は、マーカーボタン３１と、例えばその両端に表示されるマーカー選択ボタン３２とを有する。プレビューモニタ２３上で映像データがプレビュー再生されている最中に、ユーザが例えばマウスのポインタ等を用いてマーカーボタン３１を押下すると、マーカー表示部２７上の、マーカーボタン３１が押下された時の再生点を含む区間データの位置に、新たにマーカー画像Ｍが表示される。すなわちマーカー画像Ｍは、映像データにおける上記区間データの位置及び時間長を示しており、当該区間データを再生させるための操作の対象となる画像である。マーカー画像Ｍの時間方向における長さ、すなわち区間データの継続時間長は、後述するように、上記マーカーボタン３１が押下された時のプレビュー速度に応じて決定される。 The marker controller 26 includes a marker button 31 and marker selection buttons 32 displayed at both ends, for example. When the user presses the marker button 31 using the mouse pointer or the like while the video data is being preview-played on the preview monitor 23, the marker button 31 on the marker display unit 27 is pressed. A marker image M is newly displayed at the position of the section data including the reproduction point. That is, the marker image M indicates the position and time length of the section data in the video data, and is an image that is an operation target for reproducing the section data. The length of the marker image M in the time direction, that is, the duration of the section data is determined according to the preview speed when the marker button 31 is pressed, as will be described later.

マーカー選択ボタン３２は、マーカー表示部２７に表示された複数のマーカー画像Ｍの中からユーザの所望のマーカー画像Ｍ（区間データ）を選択するためのボタンである。上記マーカー表示部２７に新たにマーカー画像Ｍが表示された場合、または、既に表示されたマーカー画像Ｍが上記マーカー選択ボタン３２により選択された場合、上記サムネイル画像表示部２９に、当該区間データに含まれるフレームの複数のサムネイル画像Ｔｈが表示される。右側のマーカー選択ボタン３２はタイムライン上でより後（右側）のマーカー画像Ｍを選択するためのものであり、左側のマーカー選択ボタン３２はタイムライン上でより前（左側）のマーカー画像Ｍを選択するためのものである。区間データに含まれる複数のフレームから、サムネイル画像Ｔｈの基になるフレームを選択する手法については後述する。 The marker selection button 32 is a button for selecting a marker image M (section data) desired by the user from among a plurality of marker images M displayed on the marker display unit 27. When a marker image M is newly displayed on the marker display unit 27, or when a marker image M that has already been displayed is selected by the marker selection button 32, the thumbnail image display unit 29 displays the segment data in the section data. A plurality of thumbnail images Th of the included frames are displayed. The marker selection button 32 on the right side is for selecting the marker image M on the rear (right side) on the timeline, and the marker selection button 32 on the left side selects the marker image M on the front (left side) on the timeline. It is for selection. A method of selecting a frame that is the basis of the thumbnail image Th from a plurality of frames included in the section data will be described later.

［映像編集装置の動作］
次に、以上のように構成された映像編集装置１００の動作について説明する。以降の説明においては、映像編集装置１００のＣＰＵ１１を主な動作主体として説明するが、この動作は、映像編集装置１００のその他のハードウェア、上記映像編集アプリケーション及びその他のソフトウェアとも協働して行われる。 [Operation of video editing device]
Next, the operation of the video editing apparatus 100 configured as described above will be described. In the following description, the CPU 11 of the video editing apparatus 100 will be described as the main operating subject, but this operation is performed in cooperation with other hardware of the video editing apparatus 100, the video editing application, and other software. Is called.

（全体動作の概要）
図４は、本実施形態に係る映像編集装置１００の動作（マーカー画像及びサムネイル画像の表示処理）の流れの概要を示したフローチャートである。 (Overview of overall operation)
FIG. 4 is a flowchart showing an outline of the flow of the operation (marker image and thumbnail image display processing) of the video editing apparatus 100 according to the present embodiment.

同図に示すように、映像編集装置１００のＣＰＵ１１はまず、例えば所定のプレビューリスト上でのユーザの選択操作に基づいて、１つのプレビュー映像を選択する（ステップ４１）。 As shown in the figure, the CPU 11 of the video editing apparatus 100 first selects one preview video based on, for example, a user selection operation on a predetermined preview list (step 41).

続いてＣＰＵ１１は、記憶部１８または記録媒体５から、上記選択されたプレビュー映像の変化量データを取得する（ステップ４２）。 Subsequently, the CPU 11 acquires change amount data of the selected preview video from the storage unit 18 or the recording medium 5 (step 42).

続いてＣＰＵ１１は、上記映像編集インタフェース３０を表示して、プレビューモニタ２３内で、上記選択されたプレビュー映像の再生を開始するとともに（ステップ４３）、当該プレビュー映像の開始点のフレームを処理対象フレームに設定する（ステップ４４）。 Subsequently, the CPU 11 displays the video editing interface 30, starts playback of the selected preview video in the preview monitor 23 (step 43), and sets the frame at the start point of the preview video as a processing target frame. (Step 44).

続いてＣＰＵ１１は、上記対象フレームについて、上記取得した変化量データに基づいてプレビュー速度を設定する（ステップ４５）。 Subsequently, the CPU 11 sets a preview speed for the target frame based on the acquired change amount data (step 45).

図５は、当該プレビュー速度の設定手法を概念的に示した図である。同図に示すように、ＣＰＵ１１は、プレビュー映像のうち変化量が大きいフレームについてはそのプレビュー速度を低くし、変化量が小さいフレームについてはそのプレビュー速度を高くする。例えば、上記記憶部１８には変化量データとプレビュー速度との関係を示す関数データが記憶されており、ＣＰＵ１１は、当該関数データを参照して、対象フレームの変化量からそのプレビュー速度を導き出し、当該プレビュー速度で当該対象フレームを再生させる。 FIG. 5 is a diagram conceptually showing the preview speed setting method. As shown in the figure, the CPU 11 lowers the preview speed for a frame with a large amount of change in the preview video, and increases the preview speed for a frame with a small amount of change. For example, the storage unit 18 stores function data indicating the relationship between the change amount data and the preview speed. The CPU 11 refers to the function data and derives the preview speed from the change amount of the target frame. The target frame is reproduced at the preview speed.

続いてＣＰＵ１１は、映像編集インタフェース３０上で、ユーザにより上記マーカーボタン３１が押下されたか否かを判断する（ステップ４６）。 Subsequently, the CPU 11 determines whether or not the marker button 31 has been pressed by the user on the video editing interface 30 (step 46).

マーカーボタン３１が押下されていないと判断した場合（Ｎｏ）、ＣＰＵ１１は、現在の対象フレームがプレビュー映像の終了点のフレームであるか否かを判断する（ステップ４９）。対象フレームが終了点のフレームでないと判断した場合（Ｎｏ）、ＣＰＵ１１は、対象フレームを次のフレームとして（ステップ５０）、同様にそのフレームについてプレビュー速度を設定してそのプレビュー速度で再生させる（ステップ４５）。 When determining that the marker button 31 has not been pressed (No), the CPU 11 determines whether or not the current target frame is a frame at the end point of the preview video (step 49). If the CPU 11 determines that the target frame is not the end frame (No), the CPU 11 sets the target frame as the next frame (step 50) and similarly sets the preview speed for the frame and reproduces it at the preview speed (step 50). 45).

マーカーボタン３１が押下されたと判断された場合（Ｙｅｓ）、ＣＰＵ１１は、マーカー画像Ｍの幅（横方向の長さ）、すなわち区間データの継続時間長を設定する（ステップ４７）。 If it is determined that the marker button 31 has been pressed (Yes), the CPU 11 sets the width (the length in the horizontal direction) of the marker image M, that is, the duration of the section data (step 47).

当該マーカー画像Ｍの幅（以下、マーカー幅）は、上記設定されたプレビュー速度に応じて設定される。記憶部１８には、当該プレビュー速度とマーカー幅との関係を示す関数データが記憶されており、ＣＰＵ１１は当該関数データを参照してマーカー幅を決定する。 The width of the marker image M (hereinafter referred to as marker width) is set according to the set preview speed. The storage unit 18 stores function data indicating the relationship between the preview speed and the marker width, and the CPU 11 refers to the function data to determine the marker width.

図６は、当該プレビュー速度とマーカー幅との関係を示す関数データの例を示した図である。ＣＰＵ１１は、マーカーボタン３１が押下された時間Ｔから、それ以前の時間Ｔ−ｎ（ｎはプレビュー速度等に依存しない任意の時間）内の最大プレビュー速度Ｖ_ｍａｘを算出し、同図に示すような一次関数を基に、速度Ｖ_ｍａｘからマーカー幅を決定する。すなわち、同図に示すように、プレビュー速度が大きいほど、マーカー幅も長くなる。ここで用いられる関数は一次関数に限られず、ｎ次関数（ｎ＞１）であってもよい。 FIG. 6 is a diagram illustrating an example of function data indicating the relationship between the preview speed and the marker width. CPU11 from time T marker button 31 is pressed, previous (n is any time independent of the preview speed) of time T-n calculates the maximum preview velocity V _max in, as shown in FIG. The marker width is determined from the velocity V _max based on a linear function. That is, as shown in the figure, the greater the preview speed, the longer the marker width. The function used here is not limited to a linear function, and may be an n-order function (n> 1).

図７は、プレビュー映像の変化量とマーカー画像Ｍの設定幅（区間データの継続時間長）との関係を示した図である。同図に示すように、マーカー画像Ｍ（Ｍ１〜Ｍ３）の幅は、映像の変化量が大きいほど短く、小さいほど長く設定される。 FIG. 7 is a diagram showing the relationship between the change amount of the preview video and the set width of the marker image M (the duration length of the section data). As shown in the figure, the width of the marker image M (M1 to M3) is set to be shorter as the video change amount is larger, and to be longer as it is smaller.

また同図に示すように、上記マーカーボタン３１が押下された時間Ｔ（Ｔ１〜Ｔ３）は、マーカー画像Ｍ（Ｍ１〜Ｍ３）に対応する区間データの終点とされる。始点は、上記決定されたマーカー幅によって決まる。ユーザが実際にプレビュー映像を閲覧中に、所望のシーンを見つけ、マーカーボタン３１を押下するまでには若干のタイムラグがあるが、上記時間Ｔが区間データの終点とされることで、実際にユーザが見つけた所望のシーンが区間データに収まる可能性が極めて高くなる。しかし、時間Ｔが区間データの始点や中間点とされても構わない。 As shown in the figure, the time T (T1 to T3) when the marker button 31 is pressed is the end point of the section data corresponding to the marker image M (M1 to M3). The starting point is determined by the determined marker width. While the user is actually viewing the preview video, there is a slight time lag until a desired scene is found and the marker button 31 is pressed. However, since the time T is the end point of the section data, the user actually There is an extremely high possibility that the desired scene found by will fit in the section data. However, the time T may be the start point or the intermediate point of the section data.

マーカー幅が設定されると、ＣＰＵ１１は、当該マーカー幅に対応する区間データについて、複数のサムネイル画像を取得する（ステップ４８）。ここで、区間データの開始時間と終了時間との間を均等に分割してサムネイル画像Ｔｈを取得するという方法も考えられるが、この方法では、映像の変化の小さな部分も大きな部分も均等に扱われてしまう。その結果、相対的に変化の小さい部分のサムネイル画像Ｔｈの枚数が多くなり、ユーザの所望の画像を見つけ出す際の効率が悪くなる。 When the marker width is set, the CPU 11 acquires a plurality of thumbnail images for the section data corresponding to the marker width (step 48). Here, a method of obtaining the thumbnail image Th by equally dividing the start time and the end time of the section data is also conceivable. However, in this method, a small part and a large part of the video change are treated equally. It will be broken. As a result, the number of thumbnail images Th of a relatively small change increases, and the efficiency in finding a user's desired image is deteriorated.

そこで、本実施形態においては、ＣＰＵ１１は、以下に示す２つの方法のうちいずれかを用いて、区間データからサムネイル画像Ｔｈを取得する。 Therefore, in the present embodiment, the CPU 11 acquires the thumbnail image Th from the section data using one of the following two methods.

（サムネイル画像の第１の取得方法）
図８は、当該サムネイル画像Ｔｈの第１の取得方法における処理の流れを示したフローチャートであり、図９は、当該サムネイル画像Ｔｈの第１の取得方法における処理の概要を示した図である。この手法は、区間データ内の変化量の大きい部分を複数の区間に分割していき、分割点のフレームをサムネイル画像Ｔｈとする手法である。 (First method for obtaining thumbnail images)
FIG. 8 is a flowchart showing a flow of processing in the first acquisition method of the thumbnail image Th, and FIG. 9 is a diagram showing an outline of processing in the first acquisition method of the thumbnail image Th. This method is a method in which a portion having a large amount of change in the section data is divided into a plurality of sections, and a frame at the dividing point is used as a thumbnail image Th.

図８に示すように、当該第１の方法において、ＣＰＵ１１はまず、取得すべきサムネイル画像Ｔｈの枚数を設定する（ステップ８１）。上述したように、当該サムネイル画像Ｔｈの枚数の枚数は、区間データの変化量に応じて可変される。 As shown in FIG. 8, in the first method, the CPU 11 first sets the number of thumbnail images Th to be acquired (step 81). As described above, the number of thumbnail images Th is variable according to the amount of change in the section data.

例えば、区間データの変化量が大きい場合には、その区間データ内の各画像は時間毎に大きく異なったものとなるため、サムネイル画像Ｔｈのサイズが小さくてもユーザはそれらの違いを容易に判別することができる。したがってこの場合には、ＣＰＵ１１は、サムネイル画像Ｔｈの枚数を多く設定できる。これに対して、区間データの変化量が小さい場合には、区間データ内の各画像は似通ったものとなるため、サムネイル画像Ｔｈのサイズがある程度大きくないとユーザはそれらの違いを容易に判別することはできない。したがってこの場合には、ＣＰＵ１１は、サムネイル画像Ｔｈのサイズを大きくしてその枚数を少なく設定する。ここで区間データ内の画像の変化量としては、その区間における変化量の最大値や平均値等が用いられる。 For example, when the change amount of the section data is large, each image in the section data is greatly different every time. Therefore, even if the size of the thumbnail image Th is small, the user can easily distinguish the difference. can do. Therefore, in this case, the CPU 11 can set a large number of thumbnail images Th. On the other hand, when the change amount of the section data is small, the images in the section data are similar, so that the user can easily discriminate between the thumbnail images Th unless the size of the thumbnail image Th is large to some extent. It is not possible. Therefore, in this case, the CPU 11 increases the size of the thumbnail image Th and sets the number of the thumbnail images to a smaller number. Here, as a change amount of the image in the section data, a maximum value or an average value of the change amount in the section is used.

続いてＣＰＵ１１は、区間データの先頭フレーム、中間フレーム、終了フレームをそれぞれ参照フレーム群に追加する（ステップ８２）。 Subsequently, the CPU 11 adds the first frame, the intermediate frame, and the end frame of the section data to the reference frame group (step 82).

続いてＣＰＵ１１は、上記参照フレーム群のうち時間的に隣接する２つの参照フレーム間の変化量をそれぞれ取得する（ステップ８３）。図９の例では、同図（Ａ）に示すように、ＣＰＵ１１は、先頭フレームＦｒ０と中間フレームＦｒ１との間の変化量、すなわち両フレーム間の差分ＦｒＤｉｆｆ０１と、中間フレームＦｒ１と終了フレームＦｒ２との間の変化量、すなわち両フレーム間の差分ＦｒＤｉｆｆ１２とをそれぞれ取得する。 Subsequently, the CPU 11 acquires the amount of change between two reference frames that are temporally adjacent in the reference frame group (step 83). In the example of FIG. 9, as shown in FIG. 9A, the CPU 11 changes the amount of change between the first frame Fr0 and the intermediate frame Fr1, that is, the difference FrDiff01 between the two frames, the intermediate frame Fr1 and the end frame Fr2. , I.e., the difference FrDiff12 between both frames.

ここで上記差分ＦｒＤｉｆｆ０１及び差分ＦｒＤｉｆｆ１２は、例えば、２枚のフレーム間で同一画素位置毎に算出される画素差分を自乗したものの総和により算出される。 Here, the difference FrDiff01 and the difference FrDiff12 are calculated by, for example, the total sum of squares of pixel differences calculated at the same pixel position between two frames.

続いてＣＰＵ１１は、上記参照フレーム間の差分同士（図９の例では差分ＦｒＤｉｆｆ０１と差分ＦｒＤｉｆｆ１２）を比較することで、隣接する参照フレームで挟まれる各区間の変化量（差分）の最大値（ここでは、２つの差分のうち大きい方の差分）を取得する（ステップ８４）。 Subsequently, the CPU 11 compares the differences between the reference frames (difference FrDiff01 and difference FrDiff12 in the example of FIG. 9) to thereby determine the maximum value (here) of the amount of change (difference) between the adjacent reference frames. Then, the larger one of the two differences is acquired (step 84).

続いてＣＰＵ１１は、隣接する参照フレームで挟まれる各区間のうち、上記変化量の最大値を有する区間の中間時間のフレームを参照フレーム群に追加する（ステップ８５）。図９の例において、上記差分ＦｒＤｉｆｆ０１と差分ＦｒＤｉｆｆ１２とでは差分ＦｒＤｉｆｆ０１の方が大きいとすると、同図（Ｂ）に示すように、ＣＰＵ１１は、先頭フレームＦｒ０と中間フレームＦｒ１の中間時間のフレームＦｒ３を参照フレーム群へ追加する。すなわちＣＰＵ１１は、先頭フレームＦｒ０と中間フレームＦｒ１との間の区間を２つの区間へと分割する。 Subsequently, the CPU 11 adds, to the reference frame group, an intermediate time frame of the section having the maximum change amount among the sections sandwiched between adjacent reference frames (step 85). In the example of FIG. 9, if the difference FrDiff01 is larger than the difference FrDiff01 and the difference FrDiff12, as shown in FIG. 9B, the CPU 11 determines the frame Fr3 of the intermediate time between the first frame Fr0 and the intermediate frame Fr1. Add to the reference frame group. That is, the CPU 11 divides the section between the first frame Fr0 and the intermediate frame Fr1 into two sections.

続いてＣＰＵ１１は、参照フレーム群に含まれるフレームの枚数が上記設定枚数になったか否かを判断し（ステップ８６）、参照フレーム数が設定枚数に満たない場合（Ｎｏ）には、上記ステップ８３以降の処理を繰り返す。 Subsequently, the CPU 11 determines whether or not the number of frames included in the reference frame group has reached the set number (step 86). If the number of reference frames is less than the set number (No), step 83 is performed. The subsequent processing is repeated.

すなわち、ＣＰＵ１１は、上記追加した参照フレームを含む参照フレーム群のうち隣接する参照フレーム間の変化量（差分）を取得し、それらのうち最大値を取得し、最大値を有する参照フレーム間の中間時間のフレームを参照フレームへ追加する。 That is, the CPU 11 acquires a change amount (difference) between adjacent reference frames in the reference frame group including the added reference frame, acquires a maximum value among them, and intermediates between the reference frames having the maximum value. Add a time frame to the reference frame.

図９の例では、同図（Ｂ）に示すように、ＣＰＵ１１は、先頭フレームＦｒ０と上記追加したフレームＦｒ３との差分ＦｒＤｉｆｆ０３と、フレームＦｒ３と上記中間フレームＦｒ１との差分ＦｒＤｉｆｆ３１と、上記差分ＦｒＤｉｆｆ１２とをそれぞれ比較し、最大値を取得する。そしてＣＰＵ１１は、それらのうち最大値を有する参照フレーム区間の中間点のフレームを参照フレーム群へ追加する。 In the example of FIG. 9, as shown in FIG. 9B, the CPU 11 determines the difference FrDiff03 between the first frame Fr0 and the added frame Fr3, the difference FrDiff31 between the frame Fr3 and the intermediate frame Fr1, and the difference FrDiff12. Are compared with each other to obtain the maximum value. Then, the CPU 11 adds a frame at the midpoint of the reference frame section having the maximum value among them to the reference frame group.

ＣＰＵ１１は、以上のフレーム追加（区間分割）処理を、参照フレーム群内のフレームの枚数が上記設定枚数となるまで繰り返し、設定枚数となった場合（ステップ８６のＹｅｓ）、設定枚数の参照フレームからそれぞれサムネイル画像Ｔｈが生成してサムネイル画像表示部２９に表示する（ステップ８７）。当該第１の方法におけるサムネイル画像Ｔｈの最小時間間隔は１フレーム時間となる。 The CPU 11 repeats the above-described frame addition (section division) process until the number of frames in the reference frame group reaches the set number. When the set number is reached (Yes in step 86), the CPU 11 starts from the set number of reference frames. A thumbnail image Th is generated and displayed on the thumbnail image display unit 29 (step 87). The minimum time interval of the thumbnail images Th in the first method is one frame time.

（サムネイル画像の第２の取得方法）
図１０は、当該サムネイル画像Ｔｈの第２の取得方法における処理の流れを示したフローチャートであり、図１１は、当該サムネイル画像Ｔｈの第２の取得方法における処理の概要を示した図である。この手法は、区間データから、所定の変化量毎にサムネイル画像Ｔｈを取得する方法である。 (Second method for obtaining thumbnail images)
FIG. 10 is a flowchart showing a flow of processing in the second acquisition method of the thumbnail image Th, and FIG. 11 is a diagram showing an outline of processing in the second acquisition method of the thumbnail image Th. This method is a method for acquiring a thumbnail image Th for each predetermined change amount from the section data.

図１０に示すように、当該第２の方法において、ＣＰＵ１１はまず、上記第１の方法と同様に、取得するサムネイル画像Ｔｈの枚数を設定する（ステップ１０１）。 As shown in FIG. 10, in the second method, the CPU 11 first sets the number of thumbnail images Th to be acquired in the same manner as in the first method (step 101).

続いてＣＰＵ１１は、区間データの開始フレームから終了フレームまでの間の変化量Ｄｉｆｆｎの総和ΣＤｉｆｆを算出する（ステップ１０２）。当該ΣＤｉｆｆは上記記憶部１８または記録媒体５に記憶された変化量データを基に算出される。 Subsequently, the CPU 11 calculates the sum ΣDiff of the amount of change Diffn from the start frame to the end frame of the section data (step 102). The ΣDiff is calculated based on the change amount data stored in the storage unit 18 or the recording medium 5.

続いてＣＰＵ１１は、ΣＤｉｆｆ／（取得するサムネイル数−１）を変化量に関する閾値Σｔｈとして設定する（ステップ１０３）。当該閾値Σｔｈは、後述するように、区間データが分割された分割区間がそれぞれ有するべき変化量である。 Subsequently, the CPU 11 sets ΣDiff / (number of thumbnails to be acquired−1) as a threshold Σth regarding the change amount (step 103). As will be described later, the threshold Σth is a change amount that each divided section into which the section data is divided should have.

続いてＣＰＵ１１は、区間データの開始フレームを対象フレームとして設定し（ステップ１０４）、当該対象フレームのサムネイル画像Ｔｈを取得（生成）する（ステップ１０５）。 Subsequently, the CPU 11 sets the start frame of the section data as a target frame (step 104), and acquires (generates) a thumbnail image Th of the target frame (step 105).

続いてＣＰＵ１１は、取得したサムネイル画像Ｔｈの枚数が、上記設定枚数に達したか否かを判断する（ステップ１０６）。 Subsequently, the CPU 11 determines whether or not the number of acquired thumbnail images Th has reached the set number (step 106).

サムネイル画像Ｔｈの枚数が設定枚数に達していないと判断された場合（Ｎｏ）、ＣＰＵ１１は、分割区間の変化量の総和を０に初期化し（ステップ１０７）、対象フレームの変化量を、分割区間の総和として加算する（ステップ１０８）。 When it is determined that the number of thumbnail images Th has not reached the set number (No), the CPU 11 initializes the sum of the change amounts of the divided sections to 0 (step 107), and sets the change amount of the target frame to the divided sections. (Step 108).

続いてＣＰＵ１１は、上記加算した分割区間の総和が上記閾値Σｔｈ以上となったか否かを判断する（ステップ１１０）。当該総和が閾値Σｔｈ未満であると判断した場合（Ｎｏ）、ＣＰＵ１１は、対象フレームを所定時間（Ｎ）経過後のフレームとし、当該対象フレームの変化量を上記分割区間の総和に加算する（ステップ１０８）。当該Ｎは、１フレーム時間でもよいし、数フレーム時間、数十フレーム時間等であっても構わない。当該Ｎが短かいほど、サムネイル画像取得のための演算量は大きくなる。 Subsequently, the CPU 11 determines whether or not the sum of the added divided sections is equal to or greater than the threshold value Σth (step 110). If it is determined that the sum is less than the threshold Σth (No), the CPU 11 sets the target frame as a frame after a predetermined time (N) has elapsed, and adds the amount of change of the target frame to the sum of the divided sections (step) 108). The N may be one frame time, several frame times, several tens frame times, or the like. The shorter N is, the larger the amount of calculation for obtaining thumbnail images.

ＣＰＵ１１はこの処理を、分割区間の総和が上記閾値Σｔｈ以上となるまで繰り返す。分割区間の総和が閾値Σｔｈ以上となった場合（ステップ１１０のＹｅｓ）、ＣＰＵ１１は、その時点の対象フレームのサムネイル画像Ｔｈを取得する（ステップ１０５）。 The CPU 11 repeats this process until the sum of the divided sections becomes equal to or greater than the threshold value Σth. When the sum of the divided sections is equal to or greater than the threshold Σth (Yes in Step 110), the CPU 11 acquires the thumbnail image Th of the target frame at that time (Step 105).

ＣＰＵ１１は、以上の処理を、サムネイル画像Ｔｈの総数が設定枚数となるまで繰り返し、設定枚数に到達した場合には（ステップ１０６のＹｅｓ）、取得したサムネイル画像Ｔｈをサムネイル画像表示部２９に表示する（ステップ１１１）。 The CPU 11 repeats the above processing until the total number of thumbnail images Th reaches the set number. When the set number is reached (Yes in step 106), the acquired thumbnail image Th is displayed on the thumbnail image display unit 29. (Step 111).

以上の処理により、図１１に示すように、例えばサムネイル画像の枚数が７枚に設定された場合、区間データは６つの分割区間に分割され、各分割区間の変化量の総和はそれぞれほぼΣｔｈに等しくなる。すなわち、区間データが変化量について均一に所定区間に分割され、その分割点のフレームがサムネイル画像Ｔｈとされる。当該第２の方法におけるサムネイル画像Ｔｈの最小時間間隔は上記Ｎとなる。 With the above processing, as shown in FIG. 11, for example, when the number of thumbnail images is set to 7, the section data is divided into six divided sections, and the total amount of change in each divided section is approximately Σth. Will be equal. That is, the section data is uniformly divided into predetermined sections with respect to the amount of change, and the frame at the division point is used as the thumbnail image Th. The minimum time interval of the thumbnail images Th in the second method is N.

図４に戻り、ＣＰＵ１１は、対象フレームがプレビュー映像の終了フレームとなるまで、またマーカーボタン３１が押下される度に、以上の処理を繰り返す（ステップ４９）。 Returning to FIG. 4, the CPU 11 repeats the above processing until the target frame is the end frame of the preview video and every time the marker button 31 is pressed (step 49).

以上の処理によりマーカー画像Ｍ（区間データ）が設定された後に、マーカー選択ボタン３２によりマーカー画像Ｍを選択する操作が入力されると（ステップ５１のＹｅｓ）、ＣＰＵ１１は、当該マーカー画像Ｍに対応する区間データをプレビューモニタ２３で繰り返し再生させるとともに、上記サムネイル画像表示部２９に、当該区間データの変化量に応じた枚数のサムネイル画像Ｔｈを表示させる（ステップ５２）。これによりユーザは、プレビューモニタ２３の映像とともにサムネイル画像Ｔｈを確認することで、区間データ中から、例えば映像や音声のエフェクト処理やテロップ挿入処理等の編集対象となる所望のフレームを効率よく選定することができる。 After the marker image M (section data) is set by the above processing, when an operation for selecting the marker image M is input by the marker selection button 32 (Yes in step 51), the CPU 11 corresponds to the marker image M. The section data to be reproduced is repeatedly reproduced on the preview monitor 23, and the thumbnail image Th corresponding to the amount of change in the section data is displayed on the thumbnail image display unit 29 (step 52). As a result, the user can efficiently select a desired frame to be edited, such as video or audio effect processing or telop insertion processing, from the section data by checking the thumbnail image Th together with the video on the preview monitor 23. be able to.

［まとめ］
以上説明したように、本実施形態によれば、映像編集装置１００は、映像データの変化量が大きいフレームは低速に、変化量が小さいフレームは高速にプレビュー再生することで、ユーザのプレビュー効率を向上させることができる。また映像編集装置１００は、プレビュー中にマーカーボタン３１が押下された場合、変化量に応じた継続時間長の区間データを抽出し、それに対応するマーカー画像Ｍを表示するとともに、当該区間データ内のフレームのうち所定枚数のフレームのサムネイル画像Ｔｈを表示する。これにより映像編集装置は、変化量の大きいフレームを重点的に閲覧させることで、ユーザが所望のフレームを見つけ出す作業をより効率化することができるとともに、ユーザがプレビュー再生時に見逃した画像があったとしてもそれを容易に確認させることができる。 [Summary]
As described above, according to the present embodiment, the video editing apparatus 100 performs preview playback of a frame with a large change amount of video data at a low speed and a frame with a small change amount at a high speed, thereby improving the preview efficiency of the user. Can be improved. Further, when the marker button 31 is pressed during the preview, the video editing apparatus 100 extracts section data having a duration length corresponding to the amount of change, displays a corresponding marker image M, and also displays the marker image M in the section data. A thumbnail image Th of a predetermined number of frames among the frames is displayed. As a result, the video editing apparatus can make the work of finding a desired frame more efficient by focusing on frames with a large amount of change, and there are images that the user missed during preview playback. It can be easily confirmed.

［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。 [Modification]
The present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.

上述の実施形態においては、サムネイル画像表示部２９に表示されるサムネイル画像Ｔｈは、一旦表示されれば、他のマーカー画像Ｍが選択されない限り変化しなかった。しかし、サムネイル画像表示部２９に表示される所定枚数のサムネイル画像Ｔｈの中に、必ずしもユーザの所望の画像が存在するとは限らない。そこで、映像編集装置１００は、当該表示されるサムネイル画像Ｔｈを、ユーザの操作に基づいて変化させてもよい。 In the above-described embodiment, the thumbnail image Th displayed on the thumbnail image display unit 29 does not change once it is displayed unless another marker image M is selected. However, the user's desired image does not necessarily exist in the predetermined number of thumbnail images Th displayed on the thumbnail image display unit 29. Therefore, the video editing apparatus 100 may change the displayed thumbnail image Th based on a user operation.

図１２は、当該サムネイル画像Ｔｈを変化させる際の映像編集インタフェース３０の表示例を示した図である。同図（Ａ）に示すように、例えばポインタＰ等により、サムネイル画像表示部２９に表示された複数のサムネイル画像Ｔｈのうち、隣接する２枚のサムネイル画像Ｔｈの間の領域を指定する操作（例えばクリック）が行われたとする。 FIG. 12 is a diagram showing a display example of the video editing interface 30 when changing the thumbnail image Th. As shown in FIG. 6A, for example, an operation for designating an area between two adjacent thumbnail images Th among a plurality of thumbnail images Th displayed on the thumbnail image display unit 29 with a pointer P or the like ( For example, it is assumed that click)

この場合、ＣＰＵ１１は、同図（Ｂ）に示すように、２つの操作対象領域の左右の２枚のサムネイル画像Ｔｈのうち左側のサムネイル画像Ｔｈ（同図Ｆｒ０）を開始時間、右側のサムネイル画像Ｔｈ（同図Ｆｒ１）を終了時間とする区間データが新たに設定されたものとして、当該区間データ内のサムネイル画像Ｔｈ（Ｆｒ０、Ｆｒ５，Ｆｒ６、Ｆｒ７、Ｆｒ１）を新たに取得してサムネイル画像表示部２９に表示する。この場合のサムネイル画像Ｔｈの取得方法としては、上記第１の取得方法及び第２の取得方法のいずれが用いられてもよい。ユーザは、この操作を繰り返すことで、所望の画像を容易に探し出すことができる。 In this case, as shown in FIG. 5B, the CPU 11 starts the left thumbnail image Th (Fr0 in the same figure) of the two left and right thumbnail images Th of the two operation target areas, and the right thumbnail image. Assuming that section data whose end time is Th (Fr1 in the figure) is newly set, thumbnail images Th (Fr0, Fr5, Fr6, Fr7, Fr1) in the section data are newly acquired and thumbnail images are displayed. Displayed on the unit 29. In this case, as the method for acquiring the thumbnail image Th, any of the first acquisition method and the second acquisition method may be used. The user can easily find a desired image by repeating this operation.

また、上述の実施形態において、サムネイル画像表示部２９に表示された各サムネイル画像Ｔｈが例えばクリック等により選択された場合には、当該選択されたサムネイル画像Ｔｈに対応するフレームを開始フレームとして、上記プレビューモニタ２３上で区間データが再生されてもよい。すなわち、各サムネイル画像Ｔｈが、マーカー画像Ｍよりもさらに詳細な再生ポイントの指示子として機能してもよい。 In the above-described embodiment, when each thumbnail image Th displayed on the thumbnail image display unit 29 is selected by, for example, clicking, the frame corresponding to the selected thumbnail image Th is used as a start frame, and The section data may be reproduced on the preview monitor 23. That is, each thumbnail image Th may function as a more detailed playback point indicator than the marker image M.

上述の実施形態においては、変化量取得部２１は映像編集装置１００の内部ブロックとして設けられ、映像編集装置１００が映像データから変化量を取得していた。しかし、映像の変化量に関するデータは、映像編集装置１００とは別の機器により予め取得されて記録媒体５に映像データとともに記録され、映像編集装置１００へ入力されてもよい。 In the above-described embodiment, the change amount acquisition unit 21 is provided as an internal block of the video editing apparatus 100, and the video editing apparatus 100 acquires the change amount from the video data. However, data relating to the amount of change in video may be acquired in advance by a device different from the video editing device 100, recorded together with the video data on the recording medium 5, and input to the video editing device 100.

上述の実施形態において、映像編集インタフェース３０には、区間データに応じたサムネイル画像Ｔｈが表示されたが、当該サムネイル画像Ｔｈの表示は必須ではなく、マーカー画像Ｍが選択された場合には、当該マーカー画像Ｍに対応する区間データがプレビューモニタ２３上で再生されるのみであっても構わない。 In the above-described embodiment, the thumbnail image Th corresponding to the section data is displayed on the video editing interface 30. However, the display of the thumbnail image Th is not essential, and when the marker image M is selected, the thumbnail image Th is displayed. The section data corresponding to the marker image M may only be reproduced on the preview monitor 23.

上述の実施形態において映像編集装置１００により実行される処理は、例えばＰＣ、テレビジョン装置、記録再生装置、ゲーム機器、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistants）、電子ブック端末、電子辞書、携帯型ＡＶ機器等、その他のあらゆる電子機器でも同様に実行可能である。 The processing executed by the video editing device 100 in the above-described embodiment includes, for example, a PC, a television device, a recording / playback device, a game device, a digital still camera, a digital video camera, a mobile phone, a smartphone, a PDA (Personal Digital Assistants), The present invention can be similarly executed with any other electronic device such as an electronic book terminal, an electronic dictionary, and a portable AV device.

１１…ＣＰＵ
１６…表示部
１７…入力部
１８…記憶部
２１…変化量取得部
２２…再生部
２３…プレビューモニタ
２４…プレビュー速度設定部
２５…マーカー設定部
２６…マーカーコントローラ
２７…マーカー表示部
２８…サムネイル画像取得部
２９…サムネイル画像表示部
３０…映像編集インタフェース
３１…マーカーボタン
３２…マーカー選択ボタン
１００…映像編集装置 11 ... CPU
DESCRIPTION OF SYMBOLS 16 ... Display part 17 ... Input part 18 ... Memory | storage part 21 ... Change amount acquisition part 22 ... Playback part 23 ... Preview monitor 24 ... Preview speed setting part 25 ... Marker setting part 26 ... Marker controller 27 ... Marker display part 28 ... Thumbnail image Acquisition unit 29 ... Thumbnail image display unit 30 ... Video editing interface 31 ... Marker button 32 ... Marker selection button 100 ... Video editing device

Claims

A storage unit for storing video data composed of a plurality of frames and change amount data indicating a change amount between the plurality of frames;
A playback unit that plays back the video data at a lower playback speed as the amount of change between the frames is larger;
An output unit for outputting the reproduced video data;
An operation accepting unit for accepting a user operation for designating an arbitrary reproduction point during the output of the video data;
When the operation is accepted, section data composed of a plurality of frames including the playback point is extracted such that the time length of the section data becomes longer as the playback speed at the playback point increases, and the video data And a control unit that controls the playback unit so as to play back the data in units of the extracted section data.

The electronic device according to claim 1,
The electronic device that controls the output unit to output a marker image that indicates a position of the section data and the time length in the video data and is an operation target for reproducing the section data.

The electronic device according to claim 2,
The control unit extracts a plurality of frames from the section data so that the frame interval decreases as the change amount increases, and outputs the thumbnail images of the extracted frames together with the marker images. An electronic device that controls the output unit.

The electronic device according to claim 3,
The control unit controls the reproduction unit to reproduce each frame of the section data indicated by the marker image when an operation on the marker image is received, and is extracted from the section data. An electronic device that controls the output unit to output the thumbnail images.

The electronic device according to claim 3,
The control unit extracts first, second, and third frames respectively located at a start point, an intermediate point, and an end point from the frames included in the interval data, and the first frame and the first frame Of the two frames for which the larger change amount is calculated among the first change amount between the second frame and the second change amount between the second frame and the third frame. An electronic device that extracts a fourth frame located at an intermediate point and generates thumbnail images of the extracted first, second, third, and fourth frames.

The electronic device according to claim 3,
The electronic device that extracts a plurality of frames for each predetermined change amount from the section data and generates a thumbnail image of each of the extracted frames.

The electronic device according to claim 3,
When the control unit receives an operation for a boundary between two adjacent thumbnail images among the plurality of output thumbnail images, the control unit determines whether the two adjacent thumbnail images are based on the two frames. An electronic device that controls the output unit so as to output a thumbnail image of a frame located in the frame.

Storing video data composed of a plurality of frames and change amount data indicating a change amount between the plurality of frames;
The video data is played at a lower playback speed as the amount of change between the frames is larger,
Outputting the reproduced video data;
Accepting a user operation to specify an arbitrary playback point during the output of the video data,
When the operation is accepted, the section data composed of a plurality of frames including the playback point is extracted so that the time length of the section data becomes longer as the playback speed at the playback point is larger,
A video editing method for reproducing the video data in units of the extracted section data.

Electronic equipment,
Storing video data composed of a plurality of frames and change amount data indicating a change amount between the plurality of frames;
Reproducing the video data at a lower reproduction speed as the amount of change between the frames is larger;
Outputting the reproduced video data;
Receiving a user operation for designating an arbitrary reproduction point during the output of the video data;
Extracting the section data composed of a plurality of frames including the playback point so that the time length of the section data becomes longer as the playback speed at the playback point is larger when the operation is accepted;
Playing back the video data in units of the extracted section data.