JP2014192532A - Image processing program and image processing device - Google Patents
Image processing program and image processing device Download PDFInfo
- Publication number
- JP2014192532A JP2014192532A JP2013063258A JP2013063258A JP2014192532A JP 2014192532 A JP2014192532 A JP 2014192532A JP 2013063258 A JP2013063258 A JP 2013063258A JP 2013063258 A JP2013063258 A JP 2013063258A JP 2014192532 A JP2014192532 A JP 2014192532A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- timeline
- frame group
- image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、複数の動画を結合するための画像処理プログラム及び画像処理装置に関する。 The present invention relates to an image processing program and an image processing apparatus for combining a plurality of moving images.
従来より、複数の動画を結合するための画像処理プログラム等が公知である。特許文献１は、カメラの仕様等により、連続して撮影されたものの、記録媒体内に別個のファイルとして保存されているような複数の動画を、撮影順に１つの動画に結合する方法を開示している。より具体的には、特許文献１では、一方の動画の最後のフレーム群と、もう一方の動画の最初のフレーム群とを比較し、両者が一致する場合には、当該一致するフレーム群についての重複を省きつつ、これらの動画を前後に並べて結合する技術が開示されている。なお、特許文献１にいう「一致」には、一定の幅があり、完全に同一でなくてもよいこととされている。 Conventionally, an image processing program for combining a plurality of moving images is known. Patent Document 1 discloses a method of combining a plurality of moving images that have been continuously photographed according to camera specifications or the like but are stored as separate files in a recording medium into one moving image in order of photographing. ing. More specifically, in Patent Document 1, the last frame group of one moving image is compared with the first frame group of the other moving image. A technique is disclosed that combines these moving images side by side while omitting duplication. Note that “match” in Patent Document 1 has a certain width and does not have to be completely the same.
以上のとおり、特許文献１には、複数の動画の重複関係を自動的に判断し、当該重複関係を排除した態様で、当該複数の動画を結合する技術が開示されていると言える。しかしながら、特許文献１では、複数の動画を前後に並べて結合する態様しか想定されていないため、図１（Ａ）の矢印の上側に示すように、一方の動画の最後のフレーム群と、もう一方の動画の最初のフレーム群とが一致するような態様で重複している動画どうししか結合することができない。よって、例えば、図１（Ｂ）の矢印の上側に示すような態様で２つの動画が重複している場合に、上側の動画で下側の動画を補完することができない。 As described above, it can be said that Patent Document 1 discloses a technique for automatically determining the overlapping relationship between a plurality of moving images and combining the plurality of moving images in a manner that excludes the overlapping relationship. However, in Patent Document 1, since only a mode in which a plurality of moving images are arranged side by side is assumed, as shown above the arrow in FIG. 1A, the last frame group of one moving image and the other frame Only overlapping videos can be combined in such a manner that the first frame group of the movie is identical. Therefore, for example, when two moving images overlap in the manner shown on the upper side of the arrow in FIG. 1B, the lower moving image cannot be complemented with the upper moving image.
ここで、ユーザが、ある動画（以下、オリジナル動画）から必要と感じた中間の区間の動画（以下、中間の動画）のみを取り込んだ後、やはりその中間の区間の前及び後ろの区間の動画も必要であると思い直した場合を考える。この場合、オリジナル動画に含まれるフレーム群で中間の動画を補完する作業が必要になり得るが、複数の動画を前後に並べた態様でしか結合できない特許文献１の方法では、この状況に容易に対応することができない。すなわち、ユーザは、例えば、動画をタイムラインに沿って分割することができる画像処理プログラムを用意し、これを用いてオリジナル動画に含まれるフレーム群を、中間の動画の前に結合させる部分と、後ろに結合させる部分とに分割し、さらにその後、分割された２つの部分に対しそれぞれ結合の作業を行う必要が生じる。 Here, after the user captures only the video in the intermediate section (hereinafter referred to as the intermediate video) that he / she feels necessary from a certain video (hereinafter referred to as the original video), the video in the sections before and after the intermediate section is also taken. If you think again that is necessary. In this case, it may be necessary to supplement the intermediate video with a group of frames included in the original video, but the method of Patent Document 1 that can combine only a plurality of videos arranged in a front-and-back manner can easily cope with this situation. I can't respond. That is, for example, the user prepares an image processing program that can divide a moving image along a timeline, and uses this to combine a frame group included in the original moving image before an intermediate moving image, It is necessary to divide into the parts to be joined later, and then to perform the joining work on the two parts that have been divided.
本発明は、簡易な操作で、複数の動画を柔軟に結合することが可能な画像処理プログラム及び画像処理装置を提供することを目的とする。 An object of the present invention is to provide an image processing program and an image processing apparatus that can flexibly combine a plurality of moving images with a simple operation.
本発明の第１観点に係る画像処理プログラムは、第１動画及び第２動画の重複関係を判断するステップと、前記重複関係が排除された態様で、前記第１動画に含まれるフレーム群を前記第２動画に結合した結合動画を生成するステップとをコンピュータに実行させる。前記結合動画には、前記第１動画に含まれるフレーム群を、前記第２動画のタイムライン上で前記第２動画の前及び後ろに結合した動画が含まれる。なお、本発明において、「群」と表現する場合、その要素は複数であるとは限らず、１つであってもよい。 An image processing program according to a first aspect of the present invention includes a step of determining an overlapping relationship between a first moving image and a second moving image, and a frame group included in the first moving image in a form in which the overlapping relationship is excluded. Generating a combined moving image combined with the second moving image. The combined moving image includes a moving image in which a frame group included in the first moving image is combined before and after the second moving image on the timeline of the second moving image. In the present invention, when the expression “group” is used, the number of elements is not necessarily plural, and may be one.
ここでは、第１動画と第２動画との重複関係が自動的に判断され、当該重複関係が排除された態様で、第１動画の全部又は一部が第２動画に結合される。そして、ここでいう結合の態様には、第１動画と第２動画との間に図１（Ｂ）に示すような重複関係が成立する場合に、第１動画の点線で示されるフレーム群の全部又は一部（図１（Ｂ）の例では、全部）を、第２動画のタイムラインに沿って第２動画の前及び後ろに結合する態様が含まれる。従って、簡易な操作で、複数の動画を柔軟に結合することができる。 Here, the overlapping relationship between the first moving image and the second moving image is automatically determined, and all or part of the first moving image is combined with the second moving image in a manner in which the overlapping relationship is eliminated. And, in this connection mode, when the overlapping relationship as shown in FIG. 1B is established between the first moving image and the second moving image, the frame group indicated by the dotted line of the first moving image A mode in which all or a part (all in the example of FIG. 1B) is combined before and after the second moving image along the timeline of the second moving image is included. Therefore, a plurality of moving images can be flexibly combined with a simple operation.
なお、ここでは、直接的には２つの動画（第１動画の少なくとも一部と、第２動画）が結合される場面が規定されているが、本発明は、２つの動画を結合する場合に限定されることはなく、３つ以上の動画を結合する場合にも適用され得る。 Note that, here, a scene is defined in which two moving images (at least a part of the first moving image and the second moving image) are combined. The present invention is not limited, and the present invention can also be applied when three or more moving images are combined.
本発明の第２観点に係る画像処理プログラムは、第１観点に係る画像処理プログラムであって、前記結合動画には、前記第１動画に含まれるフレーム群を、前記第２動画のタイムライン上で前記第２動画の中間に結合した動画が含まれる。 An image processing program according to a second aspect of the present invention is the image processing program according to the first aspect, wherein the combined moving image includes a frame group included in the first moving image on a timeline of the second moving image. The moving image combined in the middle of the second moving image is included.
ここでは、第１動画と第２動画との間に図１（Ｂ）に示すような重複関係が成立する場合のみならず、図１（Ｃ）の矢印の上側に示すような重複関係が成立する場合にも、簡易な操作で、これらの動画を結合することができる。勿論、ここでは、図１（Ｂ）及び図１（Ｃ）を組み合わせた図１（Ｄ）の矢印の上側に示すような重複関係を有する複数の動画も、結合の対象となる。 Here, not only when the overlapping relationship as shown in FIG. 1B is established between the first movie and the second movie, but also as shown in the upper side of the arrow in FIG. 1C. In this case, these moving images can be combined with a simple operation. Of course, here, a plurality of moving images having an overlapping relationship as shown above the arrow in FIG. 1D, which is a combination of FIG. 1B and FIG.
本発明の第３観点に係る画像処理プログラムは、第１観点又は第２観点に係る画像処理プログラムであって、前記重複関係を示す情報を表示するステップと、前記第１動画に含まれる、前記第２動画と重複していないフレーム群の中から、前記第２動画に追加すべき追加のフレーム群をユーザに指定させるステップとをコンピュータにさらに実行させる。前記結合動画を生成するステップは、前記追加のフレーム群を前記第２動画に追加することにより、前記結合動画を生成するステップである。 An image processing program according to a third aspect of the present invention is the image processing program according to the first aspect or the second aspect, the step of displaying information indicating the overlapping relationship, and the image processing program included in the first moving image, And causing the computer to further execute a step of causing the user to designate an additional frame group to be added to the second moving image from among the frame groups not overlapping with the second moving image. The step of generating the combined moving image is a step of generating the combined moving image by adding the additional frame group to the second moving image.
ここでは、第１動画と第２動画との重複関係が自動的に判断された後、当該重複関係を示す情報がユーザに対し提示される。従って、ユーザは、第１動画に含まれる、第２動画と重複していないフレーム群を知ることができる。また、ユーザは、このようなフレーム群の中から、第２動画に追加すべき追加のフレーム群を指定することができる。そして、第１動画に含まれる、ユーザにより指定された追加のフレーム群が、第２動画の適切な位置に追加され、結合動画が生成される。従って、ユーザは、第１動画全体ではなく、第１動画のうちの必要な部分のみを第２動画に結合することができ、簡易な操作で、複数の動画をより柔軟に結合することができる。 Here, after the overlapping relationship between the first moving image and the second moving image is automatically determined, information indicating the overlapping relationship is presented to the user. Therefore, the user can know a frame group included in the first moving image and not overlapping with the second moving image. Further, the user can designate an additional frame group to be added to the second moving image from such a frame group. Then, an additional frame group specified by the user included in the first moving image is added to an appropriate position of the second moving image, and a combined moving image is generated. Therefore, the user can combine not only the entire first moving image but only a necessary portion of the first moving image with the second moving image, and can combine a plurality of moving images more flexibly with a simple operation. .
本発明の第４観点に係る画像処理プログラムは、第３観点に係る画像処理プログラムであって、前記重複関係を示す情報を表示するステップは、タイムラインを図式的に示すタイムラインオブジェクトを用いて、前記重複関係を表示するステップである。 An image processing program according to a fourth aspect of the present invention is the image processing program according to the third aspect, wherein the step of displaying the information indicating the overlapping relationship uses a timeline object schematically showing a timeline. , Displaying the overlapping relationship.
ここでは、自動的に判断された第１動画と第２動画との重複関係が、タイムラインオブジェクトにより図式的に表示される。従って、ユーザは、第１動画と第２動画との重複関係を直感的に把握することができる。 Here, the automatically determined overlapping relationship between the first moving image and the second moving image is graphically displayed by the timeline object. Therefore, the user can intuitively grasp the overlapping relationship between the first moving image and the second moving image.
本発明の第５観点に係る画像処理プログラムは、第４観点に係る画像処理プログラムであって、前記追加のフレーム群をユーザに指定させるステップは、前記タイムラインオブジェクトに対するユーザの操作により、前記追加のフレーム群をユーザに指定させるステップである。 An image processing program according to a fifth aspect of the present invention is the image processing program according to the fourth aspect, wherein the step of causing the user to designate the additional frame group is performed by the user operation on the timeline object. This is a step for allowing the user to designate the frame group.
ここでは、ユーザは、タイムラインオブジェクトを見ることで、第１動画と第２動画との重複関係を把握した後、同じタイムラインオブジェクトを操作することで、第１動画に含まれる、第２動画と重複していないフレーム群の中から、第２動画に追加すべき追加のフレーム群を指定することができる。従って、ユーザは、第１動画と第２動画との重複関係を直感的に把握することができるとともに、第１動画に含まれる、第２動画に追加すべき追加のフレーム群を直感的に指定することができる。 Here, after the user grasps the overlapping relationship between the first video and the second video by looking at the timeline object, the user operates the same timeline object, thereby including the second video included in the first video. An additional frame group to be added to the second moving image can be designated from among the frame groups that do not overlap with each other. Therefore, the user can intuitively grasp the overlapping relationship between the first video and the second video, and intuitively specify an additional frame group to be added to the second video included in the first video. can do.
本発明の第６観点に係る画像処理プログラムは、第１観点から第５観点のいずれかに係る画像処理プログラムであって、前記第１動画から一部のフレーム群を抽出し、前記第２動画として保存するとともに、前記第２動画に関連付けて前記第１動画を特定する情報を保存するステップと、前記第２動画をユーザに指定させつつも、前記第１動画をユーザに指定させることなく、前記第１動画及び前記第２動画の結合の命令をユーザから受け付けるステップと、前記結合の命令を受けて、前記第２動画に関連付けて保存されている前記第１動画を特定する情報を参照することにより、前記第２動画に結合すべき動画として前記第１動画を特定するステップとをコンピュータにさらに実行させる。 An image processing program according to a sixth aspect of the present invention is the image processing program according to any one of the first to fifth aspects, wherein a part of the frame group is extracted from the first moving image, and the second moving image is extracted. And storing the information specifying the first video in association with the second video, and allowing the user to specify the second video, while not allowing the user to specify the first video, Receiving a command for combining the first video and the second video from a user, and referring to information specifying the first video stored in association with the second video in response to the command for combining This further causes the computer to execute a step of specifying the first moving image as a moving image to be combined with the second moving image.
ここでは、ある動画（第１動画）からその一部の動画（第２動画）を抽出することが可能であり、このとき、第２動画とともに、第２動画が第１動画から抽出されたものであることを示す情報が保存される（言い換えると、第２動画に第１動画を特定する情報が関連付けて保存される）。その後、ユーザは、第２動画をその抽出元の動画である第１動画で補完することが可能であり、このとき、第１動画及び第２動画のうち、第２動画のみを指定した上でその旨を命じることができる。すなわち、第２動画に関連付けて、その抽出元の動画として第１動画を特定する情報が保存されているため、第１動画を指定せずとも、第２動画を指定しただけで、第２動画を補完するための第１動画が自動的に特定される。従って、さらに簡易な操作が実現される。 Here, it is possible to extract a part of the moving image (second moving image) from a certain moving image (first moving image). At this time, the second moving image is extracted from the first moving image together with the second moving image. Is stored (in other words, information specifying the first video is associated with the second video and stored). Thereafter, the user can supplement the second video with the first video that is the source video, and at this time, only the second video is specified from the first video and the second video. You can order that. That is, since the information specifying the first video is stored as the extraction source video in association with the second video, the second video is simply specified without specifying the first video. The first moving image for complementing is automatically specified. Therefore, a simpler operation is realized.
本発明の７観点に係る画像処理装置は、第１動画及び第２動画の重複関係を判断する判断部と、前記重複関係が排除された態様で、前記第１動画に含まれるフレーム群を前記第２動画に結合した結合動画を生成する結合部とを備える。前記結合動画には、前記第１動画に含まれるフレーム群を、前記第２動画のタイムライン上で前記第２動画の前及び後ろに結合した動画が含まれる。ここでは、第１観点と同様の効果を奏することができる。 An image processing apparatus according to a seventh aspect of the present invention includes: a determination unit that determines an overlapping relationship between a first moving image and a second moving image; and a frame group included in the first moving image in a form in which the overlapping relationship is excluded. A combining unit that generates a combined moving image combined with the second moving image. The combined moving image includes a moving image in which a frame group included in the first moving image is combined before and after the second moving image on the timeline of the second moving image. Here, the same effect as the first aspect can be achieved.
本発明によれば、第１動画と第２動画との重複関係が自動的に判断され、当該重複関係が排除された態様で、第１動画の全部又は一部が第２動画に結合される。そして、ここでいう結合の態様には、第１動画と第２動画との間に図１（Ｂ）に示すような重複関係が成立する場合に、第１動画の点線で示されるフレーム群の全部又は一部（図１（Ｂ）の例では、全部）を、第２動画のタイムラインに沿って第２動画の前及び後ろに結合する態様が含まれる。従って、簡易な操作で、複数の動画を柔軟に結合することができる。 According to the present invention, the overlapping relationship between the first moving image and the second moving image is automatically determined, and all or part of the first moving image is combined with the second moving image in a manner in which the overlapping relationship is excluded. . And, in this connection mode, when the overlapping relationship as shown in FIG. 1B is established between the first moving image and the second moving image, the frame group indicated by the dotted line of the first moving image A mode in which all or a part (all in the example of FIG. 1B) is combined before and after the second moving image along the timeline of the second moving image is included. Therefore, a plurality of moving images can be flexibly combined with a simple operation.
以下、図面を参照しつつ、本発明の一実施形態に係る画像処理プログラム及び画像処理装置について説明する。
＜１．画像処理装置の概要＞
図２に示す画像処理装置１は、本発明に係る画像処理装置の一実施形態である。画像処理装置１は、汎用のパーソナルコンピュータである。画像処理装置１には、本発明に係る画像処理プログラムの一実施形態である画像処理プログラム２が、これを格納するＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータが読み取り可能な記録媒体６０等から提供され、インストールされている。画像処理プログラム２は、動画及び静止画に対する画像処理を支援するためのアプリケーションソフトウェアである。画像処理プログラム２は、画像処理装置１に後述する動作に含まれるステップを実行させる。
Hereinafter, an image processing program and an image processing apparatus according to an embodiment of the present invention will be described with reference to the drawings.
<1. Overview of Image Processing Device>
An image processing apparatus 1 shown in FIG. 2 is an embodiment of the image processing apparatus according to the present invention. The image processing apparatus 1 is a general-purpose personal computer. The image processing apparatus 1 includes a computer-readable recording medium 60 such as a CD-ROM, a DVD-ROM, or a USB memory that stores an image processing program 2 that is an embodiment of an image processing program according to the present invention. Etc. are provided and installed by etc. The image processing program 2 is application software for supporting image processing for moving images and still images. The image processing program 2 causes the image processing apparatus 1 to execute steps included in the operations described later.
画像処理装置１は、ディスプレイ１０、入力部２０、記憶部３０及び制御部４０を有する。これらの部１０〜４０は、互いにバス線やケーブル等５を介して接続されており、適宜、通信可能である。ディスプレイ１０は、液晶ディスプレイ等から構成され、後述する画面等をユーザに対し表示する。入力部２０は、マウス及びキーボート等から構成され、画像処理装置１に対するユーザからの操作を受け付ける。記憶部３０は、ハードディスク等から構成される不揮発性の記憶領域である。制御部４０は、ＣＰＵ、ＲＯＭ及びＲＡＭ等から構成される。 The image processing apparatus 1 includes a display 10, an input unit 20, a storage unit 30, and a control unit 40. These units 10 to 40 are connected to each other via a bus line, a cable 5 or the like and can communicate appropriately. The display 10 is composed of a liquid crystal display or the like, and displays a screen or the like described later to the user. The input unit 20 includes a mouse, a keyboard, and the like, and accepts an operation from the user for the image processing apparatus 1. The storage unit 30 is a non-volatile storage area configured from a hard disk or the like. The control unit 40 includes a CPU, a ROM, a RAM, and the like.
画像処理プログラム２は、記憶部３０内に格納されている。記憶部３０内には、ソフトウェア管理領域５０が確保されている。ソフトウェア管理領域５０は、画像処理プログラム２が使用する領域である。ソフトウェア管理領域５０内には、オリジナル画像領域５１、加工ファイル領域５２、ファイル管理領域５３及びヒストリー領域５４が確保されている。各領域５１〜５４の役割については、後述する。 The image processing program 2 is stored in the storage unit 30. A software management area 50 is secured in the storage unit 30. The software management area 50 is an area used by the image processing program 2. In the software management area 50, an original image area 51, a processed file area 52, a file management area 53, and a history area 54 are secured. The role of each of the areas 51 to 54 will be described later.
制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に画像処理部４１、表示制御部４２、取込部４３、ファイル管理部４４、履歴管理部４５、ファイル削除部４６及びタイムライン補完部４７として動作する。特に、タイムライン補完部４７は、後述するタイムライン補完処理が実行される際には、命令受付部４７Ａ、動画特定部４７Ｂ、判断部４７Ｃ、フレーム指定部４７Ｄ及び結合部４７Ｅとして、動作する。各部４１〜４７，４７Ａ〜４７Ｅの動作については、後述する。 The control unit 40 reads and executes the image processing program 2 stored in the storage unit 30 to virtually execute the image processing unit 41, the display control unit 42, the capture unit 43, the file management unit 44, the history It operates as a management unit 45, a file deletion unit 46, and a timeline complementing unit 47. In particular, the timeline complementing unit 47 operates as a command receiving unit 47A, a moving image specifying unit 47B, a determining unit 47C, a frame designating unit 47D, and a combining unit 47E when a timeline complementing process described later is executed. The operation of each unit 41 to 47, 47A to 47E will be described later.
＜２．画像処理装置の構成及び動作の詳細＞
制御部４０は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、画像処理プログラム２を起動する。画像処理プログラム２が起動されると、基本画面Ｗ１（図３参照）がディスプレイ１０上に表示される。なお、ディスプレイ１０上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示は、表示制御部４２により制御される。
<2. Details of Configuration and Operation of Image Processing Device>
When the control unit 40 detects that the user has performed a predetermined operation via the input unit 20, the control unit 40 activates the image processing program 2. When the image processing program 2 is activated, a basic screen W1 (see FIG. 3) is displayed on the display 10. Note that the display control unit 42 controls the display of the screen, windows, buttons, and other elements displayed on the display 10.
＜２−１．画像データの取り込み処理＞
取込部４３は、基本画面Ｗ１を介して、オリジナル画像領域５１への画像データの取り込みの命令をユーザから受け付ける。オリジナル画像領域５１へ取り込まれた画像データは、後述する再生処理及び画像処理の対象になる。取込部４３は、静止画ファイル又は動画ファイルから、オリジナル画像領域５１へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。
<2-1. Image data import processing>
The capturing unit 43 receives a command for capturing image data into the original image area 51 from the user via the basic screen W1. The image data taken into the original image area 51 is subject to later-described reproduction processing and image processing. The capturing unit 43 captures image data from the still image file or the moving image file into the original image area 51. In this specification, a still image file is a data file in a still image format, and a moving image file is a data file in a moving image format.
静止画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の静止画ファイルを指定するか、又は１のフォルダを指定する。前者の場合、取込部４３は、その静止画ファイルの記憶部３０内でのアドレスパス及びファイル名をユーザに入力させる。後者の場合、取込部４３は、そのフォルダの記憶部３０内のアドレスパス及びフォルダ名をユーザに入力させる。その後、取込部４３は、指定された静止画ファイル又は指定されたフォルダ内の全ての静止画ファイルを、オリジナル画像領域５１に静止画ファイル群として保存する。なお、本明細書において、「群」という場合には、その要素数は複数とは限らず、１つであってもよい。 When capturing image data from a still image file, the user operates the input unit 20 to specify one still image file or one folder. In the former case, the capture unit 43 causes the user to input the address path and file name in the storage unit 30 of the still image file. In the latter case, the capture unit 43 causes the user to input the address path and folder name in the storage unit 30 of the folder. Thereafter, the capturing unit 43 stores the specified still image file or all the still image files in the specified folder as a still image file group in the original image area 51. In the present specification, when referring to a “group”, the number of elements is not limited to a plurality, and may be one.
一方、動画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の動画ファイルの記憶部３０内でのアドレスパス及びファイル名を入力する。表示制御部４２は、ユーザが動画ファイルを指定したことを検知すると、基本画面Ｗ１上に動画取込みウィンドウ（図示されない）を重ねて表示させる。動画取込みウィンドウは、ユーザにより指定された動画ファイル（以下、オリジナル動画ファイル）のタイムラインの全区間のフレーム群の中から、オリジナル画像領域５１へ取り込むべきフレーム群の指定をユーザから受け付けるためのウィンドウである。取込部４３は、ユーザが入力部２０を介して動画取込みウィンドウ上で、オリジナル動画ファイルのタイムラインの少なくとも一部の特定の区間を選択したことを検知すると、オリジナル動画ファイルからその区間に対応するフレーム群を抽出する。その後、取込部４３は、抽出されたフレーム群に１対１で対応する静止画ファイル群を生成し、この静止画ファイル群をオリジナル画像領域５１に保存する。同時に、このとき、取込部４３は、オリジナル動画ファイルについても、オリジナル画像領域５１内に保存する。しかしながら、本実施形態では、後述する再生処理及び画像処理の対象となる画像データは、オリジナル動画ファイルではなく、静止画ファイル群である。 On the other hand, when capturing image data from a moving image file, the user operates the input unit 20 to input an address path and file name in the storage unit 30 of one moving image file. When the display control unit 42 detects that the user has specified a moving image file, the display control unit 42 displays a moving image capturing window (not shown) in an overlapping manner on the basic screen W1. The movie capture window is a window for accepting from the user the designation of a frame group to be imported into the original image area 51 from among the frame groups of all sections of the timeline of the movie file (hereinafter referred to as the original movie file) designated by the user. It is. When the capture unit 43 detects that the user has selected at least a specific section of the timeline of the original video file on the video capture window via the input unit 20, the capture unit 43 responds to the section from the original video file. The frame group to be extracted is extracted. Thereafter, the capturing unit 43 generates a still image file group that corresponds to the extracted frame group on a one-to-one basis, and stores the still image file group in the original image area 51. At the same time, the capturing unit 43 also saves the original moving image file in the original image area 51. However, in the present embodiment, the image data to be subjected to playback processing and image processing to be described later is not an original moving image file but a still image file group.
なお、制御部４０は、オリジナル画像領域５１へ取り込まれた静止画ファイル群が動画ファイルに由来するものではなく、静止画ファイルに由来するものであっても、この静止画ファイル群をタイムラインに沿って配列されている動画のフレーム群として認識する。この配列は、オリジナル画像領域５１へ取り込まれた静止画ファイル群が動画ファイルに由来する場合には、オリジナル動画ファイル内での配列のとおり決定され、静止画ファイルに由来する場合には、元の静止画ファイルの属性（ファイル名、作成日時、更新日時等）から自動的に決定される。ここで決定された配列は、ファイル管理部４４によりファイル管理領域５３内で管理される。 Note that the control unit 40 uses the still image file group in the timeline even if the still image file group captured in the original image area 51 is not derived from the moving image file but derived from the still image file. It is recognized as a frame group of moving images arranged along. This arrangement is determined according to the arrangement in the original moving image file when the still image file group captured in the original image area 51 is derived from the moving image file. When the still image file group is derived from the still image file, this arrangement is determined. It is automatically determined from the attributes of the still image file (file name, creation date / time, update date / time, etc.). The array determined here is managed in the file management area 53 by the file management unit 44.
具体的には、ファイル管理部４４は、オリジナル画像領域５１への静止画ファイル群の取り込み処理が実行される度に、タイムラインの識別子（以下、タイムラインＩＤ）を１つ生成する。また、ファイル管理部４４は、タイムラインＩＤが１つ生成される度に、そのタイムラインＩＤが格納されるタイムラインファイルを１つ作成し、ファイル管理領域５３内に保存する。タイムラインファイルには、タイムラインＩＤの他、そのタイムラインＩＤにより識別されるタイムラインに属する全ての静止画ファイルの識別子（以下、画像ファイルＩＤ）も格納される。さらに、タイムラインファイル内では、これらの画像ファイルＩＤは、タイムライン上でのフレームの順番ｎに関連付けて格納される。より具体的には、タイムライン上でｎ番目のフレームとなる静止画ファイルの画像ファイルＩＤは、そのタイムラインＩＤの格納されているタイムラインファイル内で、値ｎに関連付けて保存される。なお、タイムラインＩＤとこの値ｎとを組み合わせると、フレームの識別子（以下、フレームＩＤ）となる。 Specifically, the file management unit 44 generates one timeline identifier (hereinafter referred to as a timeline ID) each time a process of capturing a still image file group into the original image area 51 is executed. Further, each time one timeline ID is generated, the file management unit 44 creates one timeline file in which the timeline ID is stored, and stores it in the file management area 53. In addition to the timeline ID, the timeline file also stores identifiers of all still image files (hereinafter referred to as image file IDs) belonging to the timeline identified by the timeline ID. Further, in the timeline file, these image file IDs are stored in association with the frame order n on the timeline. More specifically, the image file ID of the still image file that is the nth frame on the timeline is stored in association with the value n in the timeline file in which the timeline ID is stored. When the timeline ID and the value n are combined, a frame identifier (hereinafter referred to as frame ID) is obtained.
また、ファイル管理部４４は、タイムラインファイル内に、タイムラインＩＤ及び値ｎ毎の画像ファイルＩＤに加え、オリジナル動画ファイルの識別子（以下、動画ファイルＩＤ）も格納する。動画ファイルＩＤとは、例えば、オリジナル画像領域５１内でのオリジナル動画ファイルのアドレスパス及びファイル名である。従って、タイムラインファイル内では、特定のタイムラインに属するフレーム群（動画）に、そのフレーム群の取り込み元の動画（オリジナル動画ファイル）を特定する情報が関連付けて保存されることになる。言い換えると、タイムラインファイル内には、そのタイムラインファイルに格納されているタイムラインＩＤの動画が、そのタイムラインファイルに格納されている動画ファイルＩＤの動画から抽出されたものであることを示す情報が保存されることになる。 The file management unit 44 also stores the identifier of the original moving image file (hereinafter referred to as moving image file ID) in addition to the time line ID and the image file ID for each value n in the time line file. The moving image file ID is, for example, an address path and a file name of the original moving image file in the original image area 51. Therefore, in the timeline file, information for specifying the moving image (original moving image file) from which the frame group is imported is stored in association with the frame group (moving image) belonging to the specific timeline. In other words, the timeline file indicates that the video with the timeline ID stored in the timeline file is extracted from the video with the video file ID stored in the timeline file. Information will be saved.
＜２−２．再生処理＞
オリジナル画像領域５１へ静止画ファイル群が取り込まれると、表示制御部４２は、基本画面Ｗ１上に表示ウィンドウＷ２（図４参照）を重ねて表示させる。表示ウィンドウＷ２は、オリジナル画像領域５１へ取り込まれた静止画ファイル群のタイムラインの数だけ、作成される。
<2-2. Playback processing>
When the still image file group is taken into the original image area 51, the display control unit 42 displays the display window W2 (see FIG. 4) on the basic screen W1. The display windows W2 are created by the number of timelines of the still image file group captured in the original image area 51.
表示ウィンドウＷ２内には、まず、オリジナル画像領域５１へ取り込まれた静止画ファイル群に含まれる１の静止画ファイル（例えば、タイムライン上で先頭のフレームの静止画ファイル）が表示される。その後、後述するとおり、表示ウィンドウＷ２内に表示されるフレームは、ユーザの操作を受けて切り替わる。 In the display window W2, first, one still image file (for example, the still image file of the first frame on the timeline) included in the still image file group captured in the original image area 51 is displayed. Thereafter, as will be described later, the frame displayed in the display window W2 is switched in response to a user operation.
図４に示すとおり、基本画面Ｗ１上には、ウィンドウ選択プルダウンメニューＴ１、再生ボタンＴ２、コマ送りボタンＴ３、コマ戻しボタンＴ４及びタイムラインバーＴ５が配置されている。 As shown in FIG. 4, a window selection pull-down menu T1, a playback button T2, a frame advance button T3, a frame return button T4, and a timeline bar T5 are arranged on the basic screen W1.
表示ウィンドウＷ２が複数存在する場合であっても、アクティブな表示ウィンドウＷ２は１つである。ウィンドウ選択プルダウンメニューＴ１は、どの表示ウィンドウＷ２をアクティブとするかの選択をユーザから受け付ける。以下、アクティブな表示ウィンドウＷ２に対応するタイムラインを、アクティブタイムラインと呼び、アクティブタイムラインに属するフレーム群を、アクティブフレーム群と呼ぶ。また、アクティブな表示ウィンドウＷ２内に現在表示されているフレームを、アクティブフレームと呼ぶ。 Even when there are a plurality of display windows W2, there is only one active display window W2. The window selection pull-down menu T1 accepts selection of which display window W2 is active from the user. Hereinafter, a timeline corresponding to the active display window W2 is referred to as an active timeline, and a frame group belonging to the active timeline is referred to as an active frame group. A frame currently displayed in the active display window W2 is referred to as an active frame.
表示制御部４２は、アクティブな表示ウィンドウＷ２内で、アクティブフレーム群を動画として再生可能である。再生ボタンＴ２は、アクティブフレーム群の動画としての再生の命令をユーザから受け付ける。表示制御部４２は、ユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内に、アクティブフレーム群に含まれるフレームを、タイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンＴ２が押下された時点のアクティブフレームから開始する。また、再生ボタンＴ２は、再生の停止の命令をユーザから受け付ける。表示制御部４２は、再生中にユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内の表示を、その時点のアクティブフレームに固定する。 The display control unit 42 can reproduce the active frame group as a moving image in the active display window W2. The playback button T2 receives a playback command from the user as a moving image of the active frame group. When the display control unit 42 detects that the user has pressed the play button T2 via the input unit 20, the frame included in the active frame group is sequentially framed along the timeline in the active display window W2. Display in the format. Note that the reproduction starts from the active frame at the time when the reproduction button T2 is pressed. The playback button T2 accepts a playback stop command from the user. When the display control unit 42 detects that the user has pressed the playback button T2 via the input unit 20 during playback, the display control unit 42 fixes the display in the active display window W2 to the active frame at that time.
コマ送りボタンＴ３、コマ戻しボタンＴ４はそれぞれ、アクティブフレームを、アクティブタイムラインに沿って１つ後、１つ前のフレームへ切り替える命令をユーザから受け付ける。 Each of the frame advance button T3 and the frame return button T4 accepts an instruction from the user to switch the active frame to the previous frame one by one along the active timeline.
タイムラインバーＴ５は、アクティブタイムラインを図式的に示すオブジェクトである。タイムラインバーＴ５は、そのバーが延びる方向に、アクティブフレーム群のフレーム数で等分に分割されている。タイムラインバーＴ５上の左からｎ番目の分割領域は、アクティブタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。 The timeline bar T5 is an object that schematically shows the active timeline. The timeline bar T5 is equally divided by the number of frames of the active frame group in the direction in which the bar extends. The nth divided region from the left on the timeline bar T5 corresponds to the nth frame on the active timeline (n is a natural number).
タイムラインバーＴ５は、アクティブタイムライン上の任意の区間の選択をユーザから受け付ける。このとき選択される区間は、連続区間であってもよいし、図４に示すように、不連続区間であってもよい。従って、ユーザは、入力部２０を介してタイムラインバーＴ５を操作することにより、アクティブフレーム群の中から、任意のフレームを任意の数だけ選択することができる。具体的には、ユーザは、タイムラインバーＴ５上で選択したいフレームに対応する分割領域をクリック等の操作により選択する。分割領域は、同時に複数選択が可能である。 The timeline bar T5 accepts selection of an arbitrary section on the active timeline from the user. The section selected at this time may be a continuous section or a discontinuous section as shown in FIG. Therefore, the user can select any number of arbitrary frames from the active frame group by operating the timeline bar T5 via the input unit 20. Specifically, the user selects the divided area corresponding to the frame to be selected on the timeline bar T5 by an operation such as clicking. A plurality of divided areas can be selected at the same time.
図４に示すように、表示制御部４２は、タイムラインバーＴ５において、選択フレーム群に対応する分割領域Ａ１と、非選択フレーム群に対応する分割領域Ａ２とを、異なる表示形式で区別して表示する。選択フレーム群とは、アクティブタイムライン上で現在選択されている区間に属するフレーム群である。非選択フレーム群とは、アクティブタイムライン上で現在選択されていない区間に属するフレーム群である。本実施形態では、領域Ａ１は、薄いトーンの色で表示され、領域Ａ２は、濃いトーンの色で表示される。 As shown in FIG. 4, the display control unit 42 distinguishes and displays the divided area A1 corresponding to the selected frame group and the divided area A2 corresponding to the non-selected frame group in the timeline bar T5 in different display formats. To do. The selected frame group is a frame group that belongs to the currently selected section on the active timeline. The non-selected frame group is a frame group that belongs to a section that is not currently selected on the active timeline. In the present embodiment, the area A1 is displayed with a light tone color, and the area A2 is displayed with a dark tone color.
画像処理部４１は、選択フレーム群を後述される画像処理の対象として認識する。なお、表示制御部４２は、ユーザによりタイムラインバーＴ５上の分割領域が選択される度に、アクティブフレームを最新に選択された分割領域に対応するフレームに直ちに切り替える。 The image processing unit 41 recognizes the selected frame group as an image processing target to be described later. Note that the display control unit 42 immediately switches the active frame to the frame corresponding to the most recently selected divided region every time the divided region on the timeline bar T5 is selected by the user.
＜２−３．画像処理＞
以下、画像処理部４１による画像処理について説明する。画像処理部４１は、ノイズ除去、シャープネス、明るさ／コントラスト／彩度調整、画像解像度、画像平均、回転、文字／矢印／モザイクの付加などの複数の画像処理モジュールを実行可能である。画像処理モジュールは、画像処理プログラム２に組み込まれている。
<2-3. Image processing>
Hereinafter, image processing by the image processing unit 41 will be described. The image processing unit 41 can execute a plurality of image processing modules such as noise removal, sharpness, brightness / contrast / saturation adjustment, image resolution, image averaging, rotation, and addition of characters / arrows / mosaic. The image processing module is incorporated in the image processing program 2.
ユーザは、入力部２０を介して基本画面Ｗ１を操作することにより、上述の様々な種類の画像処理モジュールの中から任意のものを、任意の順番に、任意の回数だけ選択することが可能である。画像処理部４１は、ユーザが画像処理モジュールを選択したことを検知する度に、その時点の選択フレーム群に対しその画像処理モジュールを実行する。なお、選択フレーム群に対し画像処理モジュールを実行するとは、選択フレーム群に含まれる各フレームに対しその画像処理モジュールを実行することである。 The user can select any one of the above-described various types of image processing modules in any order and any number of times by operating the basic screen W1 via the input unit 20. is there. Each time the image processing unit 41 detects that the user has selected an image processing module, the image processing unit 41 executes the image processing module for the selected frame group at that time. Note that executing an image processing module for a selected frame group means executing the image processing module for each frame included in the selected frame group.
フレームに対し画像処理モジュールが１回、２回、３回，・・・と、順次実行されてゆくにつれて、そのフレームは、第１次、第２次、第３次，・・・と、順次加工されてゆく。第０次フレームは、オリジナル画像領域５１に保存されている静止画に対応する。第（ｍ＋１）次フレームは、第ｍ次フレームに対応する静止画に対し画像処理モジュールを１回実行した後の静止画に対応する（ｍは、０以上の整数）。画像処理部４１は、第１次以降のフレームに対応する静止画を順次生成し、これらの静止画を加工ファイル領域５２内にそれぞれ別個のファイルとして保存する。 As the image processing module is sequentially executed once, twice, three times,... With respect to the frame, the frame is sequentially sorted into the first order, the second order, the third order,. It will be processed. The zeroth frame corresponds to a still image stored in the original image area 51. The (m + 1) th frame corresponds to a still image after the image processing module is executed once for the still image corresponding to the mth frame (m is an integer of 0 or more). The image processing unit 41 sequentially generates still images corresponding to the first and subsequent frames, and stores these still images in the processed file area 52 as separate files.
図５は、１のタイムラインに属する静止画群が画像処理プログラム２によりどのように管理されるかを示す概念図である。図５において、横軸のｎ軸は、タイムライン上のフレームの順番を示しており、縦軸のｍ軸は、加工の順番を示している。図５のｎ−ｍ空間内の座標（ｎ，ｍ）に対応する四角形は、静止画Ｉ（ｎ，ｍ）を表している。静止画Ｉ（ｎ，ｍ）は、タイムライン上でｎ番目の第ｍ次フレームの静止画である（ｎは、自然数であり、ｍは、０以上の整数である）。 FIG. 5 is a conceptual diagram showing how still image groups belonging to one timeline are managed by the image processing program 2. In FIG. 5, the n-axis on the horizontal axis indicates the order of frames on the timeline, and the m-axis on the vertical axis indicates the order of processing. A square corresponding to the coordinates (n, m) in the nm space in FIG. 5 represents the still image I (n, m). The still image I (n, m) is a still image of the nth m-th frame on the timeline (n is a natural number and m is an integer of 0 or more).
ファイル管理部４４は、画像処理モジュールの実行後の静止画の画像ファイルＩＤを、実行前の静止画の画像ファイルＩＤが格納されているタイムラインファイル内に追加で格納する。従って、タイムラインファイルには、対応するタイムラインに属する全ての静止画の画像ファイルＩＤが格納されることになる。より具体的には、タイムラインファイル内では、対応するタイムライン上のフレームの順番ｎと、加工の順番ｍとに関連付けて、静止画Ｉ（ｎ，ｍ）の画像ファイルＩＤが保持される。 The file management unit 44 additionally stores the image file ID of the still image after execution of the image processing module in the timeline file in which the image file ID of the still image before execution is stored. Therefore, the image file IDs of all still images belonging to the corresponding timeline are stored in the timeline file. More specifically, in the timeline file, the image file ID of the still image I (n, m) is retained in association with the frame order n on the corresponding timeline and the processing order m.
さらに、タイムラインファイル内では、そのタイムラインファイルに対応するタイムライン上の各フレームについて、すなわち、各ｎについて、現在選択されている座標ｍの値がパラメータｍsとしてリアルタイムに管理される。オリジナル画像領域５１へ静止画ファイル群が取り込まれた直後、その静止画ファイル群の全フレームの座標ｍsは、初期値０である。その後、画像処理モジュールが１回実行される度に、そのフレームの座標ｍsは１ずつインクリメントされる。また、後述するとおり、ユーザは、任意のフレームの座標ｍsを自在に変更することができる。 Further, in the timeline file, for each frame on the timeline corresponding to the timeline file, that is, for each n, the value of the currently selected coordinate m is managed as a parameter ms in real time. Immediately after the still image file group is taken into the original image area 51, the coordinates m s of all frames of the still image file group have an initial value of 0. Thereafter, each time the image processing module is executed once, the coordinate m s of the frame is incremented by one. Further, as described later, the user can freely change the coordinate m s of an arbitrary frame.
フレームに対し画像処理モジュールを実行するとは、そのフレームの座標ｍsの静止画に対し画像処理モジュールを実行することである。従って、画像処理モジュールが実行される度に、その対象となる静止画を特定するべく、画像処理部４１によりファイル管理領域５３が参照される。 Executing an image processing module for a frame means executing the image processing module for a still image at the coordinate m s of the frame. Therefore, every time the image processing module is executed, the file management area 53 is referred to by the image processing unit 41 in order to specify the target still image.
＜２−４．ヒストリー＞
履歴管理部４５は、各フレームに対応するヒストリーファイルをヒストリー領域５４内で管理する。ヒストリーファイルには、そのヒストリーファイルに対応するフレームに対して実行された画像処理モジュールの履歴が格納される。本実施形態における画像処理モジュールの履歴とは、どの種類の画像処理モジュールがどの順番で実行されたのかを示す情報である。履歴管理部４５は、画像処理モジュールが実行される度に、その画像処理モジュールの実行の対象となったフレームに対応するヒストリーファイルの内容を自動的に更新する。
<2-4. History>
The history management unit 45 manages the history file corresponding to each frame in the history area 54. The history file stores the history of the image processing module executed for the frame corresponding to the history file. The history of image processing modules in the present embodiment is information indicating which type of image processing module is executed in which order. Each time an image processing module is executed, the history management unit 45 automatically updates the contents of the history file corresponding to the frame subjected to the execution of the image processing module.
具体的には、ヒストリーファイルには、そのヒストリーファイルに対応するフレームのフレームＩＤが格納される。なお、フレームＩＤとは、上述したとおり、タイムラインＩＤと、タイムライン上のフレームの順番ｎとを結合した値である。また、ヒストリーファイルには、加工の順番ｍに関連付けて、そのヒストリーファイルに対応するフレームの第ｍ次の静止画に対し実行された画像処理モジュールの処理内容（本実施形態では、画像処理モジュールの名称）が格納される。 Specifically, the history file stores the frame ID of the frame corresponding to the history file. Note that the frame ID is a value obtained by combining the timeline ID and the order n of the frames on the timeline as described above. The history file is associated with the processing order m, and the processing contents of the image processing module executed on the m-th still image of the frame corresponding to the history file (in this embodiment, the image processing module Name) is stored.
図４に示すように、表示制御部４２は、基本画面Ｗ１上にヒストリーウィンドウＷ３を重ねて表示可能である。ヒストリーウィンドウＷ３内には、アクティブフレームに対する画像処理の詳細が表示される（図６参照）。ヒストリーウィンドウＷ３内に表示される画像処理の詳細は、ヒストリー領域５４を参照することにより判断される。なお、アクティブフレームが切り替えられる度に、ヒストリーウィンドウＷ３内の表示も、リアルタイムに切り替えられる。 As shown in FIG. 4, the display control unit 42 can display a history window W3 superimposed on the basic screen W1. Details of the image processing for the active frame are displayed in the history window W3 (see FIG. 6). Details of the image processing displayed in the history window W3 are determined by referring to the history area 54. Each time the active frame is switched, the display in the history window W3 is also switched in real time.
図６に示すように、ヒストリーウィンドウＷ３内には、初期状態エリアＥ１と、モジュール名称エリアＥ２とが、上下に並んで表示される。初期状態エリアＥ１の数は、１つであり、モジュール名称エリアＥ２の数は、アクティブフレームに対し実行された画像処理モジュールの数と同じである。初期状態エリアＥ１は、アクティブフレームの初期状態（第０次フレーム）に対応し、上からＬ番目のモジュール名称エリアＥ２は、アクティブフレームに対しＬ番目に実行された画像処理モジュールに対応する（Ｌは、自然数）。各モジュール名称エリアＥ２には、そのエリアＥ２に対応する画像処理モジュールの名称が表示される。 As shown in FIG. 6, an initial state area E1 and a module name area E2 are displayed side by side in the history window W3. The number of initial state areas E1 is one, and the number of module name areas E2 is the same as the number of image processing modules executed for the active frame. The initial state area E1 corresponds to the initial state (0th frame) of the active frame, and the L-th module name area E2 from the top corresponds to the L-th image processing module executed for the active frame (L Is a natural number). In each module name area E2, the name of the image processing module corresponding to the area E2 is displayed.
＜２−５．座標ｍsの変更＞
ユーザは、入力部２０を操作することにより、任意のフレームについて、現在選択されている座標ｍsを自在に変更することができる。なお、上記のとおり、座標ｍsが変更されると、画像処理モジュールの実行の対象となる静止画が変更される。従って、座標ｍsを変更することには、画像処理の対象を変更するという意味がある。
<2-5. Change of coordinate m s >
The user can freely change the currently selected coordinate m s for any frame by operating the input unit 20. As described above, when the coordinate m s is changed, the still image to be executed by the image processing module is changed. Therefore, changing the coordinate m s means changing the object of image processing.
具体的には、まず、ユーザは、アクティブな表示ウィンドウＷ２内に、座標ｍsを変更しようとするフレームを表示させる。その結果、ヒストリーウィンドウＷ３内には、座標ｍsを変更しようとするフレームに対して実行された画像処理の詳細が表示される。ヒストリーウィンドウＷ３は、エリアＥ１，Ｅ２の中から任意の１のエリアの選択をユーザから受け付ける。ファイル管理部４４は、ユーザがエリアＥ１，Ｅ２を選択するのに応じて、アクティブフレームの座標ｍsを、そのエリアＥ１，Ｅ２に対応する静止画の座標ｍの値に変更する。なお、エリアＥ２に対応する静止画とは、そのエリアＥ２に対応する画像処理モジュールの実行後の静止画である。座標ｍsの変更は、タイムラインファイルに直ちに反映される。 Specifically, first, the user displays a frame for changing the coordinate m s in the active display window W2. As a result, the details of the image processing performed on the frame whose coordinate m s is to be changed are displayed in the history window W3. The history window W3 accepts the selection of any one area from the areas E1 and E2 from the user. The file management unit 44 changes the coordinate m s of the active frame to the value of the coordinate m of the still image corresponding to the areas E1 and E2 in response to the user selecting the areas E1 and E2. The still image corresponding to the area E2 is a still image after execution of the image processing module corresponding to the area E2. Changing the coordinate m s is immediately reflected in the timeline file.
ところで、フレームを表示するとは、そのフレームの座標ｍsの静止画を表示することである。従って、座標ｍsを変更することには、アクティブな表示ウィンドウＷ２内に表示される対象を変更するという意味もある。アクティブフレームの座標ｍsが変更されると、アクティブな表示ウィンドウＷ２内の表示も直ちに切り替えられる。 By the way, to display a frame means to display a still image having the coordinate m s of the frame. Therefore, changing the coordinate m s also means changing the object displayed in the active display window W2. When the coordinate m s of the active frame is changed, the display in the active display window W2 is also switched immediately.
＜２−６．フレームの削除＞
ユーザは、オリジナル画像領域５１及び加工ファイル領域５２に保存されている静止画ファイルを、フレーム単位で削除することができる。この削除処理は、ファイル削除部４６により実行される。
<2-6. Delete frame>
The user can delete still image files stored in the original image area 51 and the processed file area 52 in units of frames. This deletion process is executed by the file deletion unit 46.
具体的には、基本画面Ｗ１は、選択フレーム群の削除の命令をユーザから受け付けている。そこで、ユーザは、まず、タイムラインバーＴ５を操作することにより、削除しようとするフレーム群を選択フレーム群として選択し、その状態で、削除の命令を入力する。ファイル削除部４６は、この削除の命令を受けて、ファイル管理領域５３内でアクティブタイムラインのタイムラインＩＤが格納されているタイムラインファイルを検索する。続いて、ファイル削除部４６は、検索されたタイムラインファイルを参照することにより、選択フレーム群に属する全ての静止画ファイルを特定し、オリジナル画像領域５１及び加工ファイル領域５２内からこれらの静止画ファイルを全て削除する。同時に、ファイル削除部４６は、検索されたタイムラインファイル内から、選択フレーム群に属する全ての静止画ファイルの画像ファイルＩＤを削除する。 Specifically, the basic screen W1 receives an instruction to delete the selected frame group from the user. Therefore, the user first operates the timeline bar T5 to select a frame group to be deleted as a selected frame group, and inputs a deletion command in that state. In response to this deletion instruction, the file deletion unit 46 searches the file management area 53 for a timeline file in which the timeline ID of the active timeline is stored. Subsequently, the file deletion unit 46 identifies all the still image files belonging to the selected frame group by referring to the searched timeline file, and these still images from the original image region 51 and the processed file region 52. Delete all files. At the same time, the file deletion unit 46 deletes the image file IDs of all the still image files belonging to the selected frame group from the searched timeline file.
また、同時に、ファイル削除部４６は、検索されたタイムラインファイル内において、非選択フレーム群のタイムライン上での順番ｎを適宜リナンバリングする。例えば、アクティブタイムライン上にｎ＝１〜１０までの１０枚のフレームが存在している状況で、ｎ＝３〜５の３枚のフレームが削除されたとすると、削除されたフレームよりもタイムライン上で前のｎ＝１，２のフレームの順番ｎは変わらないが、後ろのｎ＝６〜１０のフレームの順番ｎは、それぞれ削除されたフレームの枚数だけ前に繰り上がり、３〜７に変更される。また、同様に、履歴管理部４５は、ヒストリー領域５４内の非選択フレーム群に対応するヒストリーファイル内のフレームＩＤを構成する値ｎも、適宜リナンバリングする。 At the same time, the file deletion unit 46 appropriately renumbers the order n on the timeline of the unselected frame group in the searched timeline file. For example, if there are 10 frames from n = 1 to 10 on the active timeline and 3 frames from n = 3 to 5 are deleted, the timeline is longer than the deleted frames. The order n of the previous n = 1, 2 frames does not change, but the order n of the subsequent n = 6-10 frames is advanced forward by the number of deleted frames to 3-7. Be changed. Similarly, the history management unit 45 appropriately renumbers the value n constituting the frame ID in the history file corresponding to the non-selected frame group in the history area 54.
＜２−７．タイムライン補完処理＞
以下、アクティブタイムラインに属するアクティブフレーム群を、別のタイムライン（以下、対象タイムライン）に属するフレーム群（以下、対象フレーム群）の全部又は一部で補完するタイムライン補完処理について説明する。このタイムライン補完処理では、まず、アクティブフレーム群と対象フレーム群との重複関係が自動的に判断され、その後、当該重複関係が排除された態様で、対象フレーム群の全部又は一部がアクティブフレーム群に結合される。また、このときの補完の態様には、対象フレーム群の全部又は一部をアクティブフレーム群の前に追加する態様、後ろに追加する態様、及び中間に挿入する態様、並びにこれらの態様を任意に組み合わせた態様が存在する。ユーザは、補完したいタイムラインが存在する場合には、ウィンドウ選択プルダウンメニューＴ１を操作することにより、そのタイムラインをアクティブタイムラインに指定する。
<2-7. Timeline completion processing>
Hereinafter, a timeline complementing process for complementing an active frame group belonging to an active timeline with all or a part of a frame group (hereinafter referred to as a target frame group) belonging to another timeline (hereinafter referred to as a target timeline) will be described. In this timeline complementing process, first, the overlapping relationship between the active frame group and the target frame group is automatically determined, and then all or part of the target frame group is the active frame in a manner in which the overlapping relationship is eliminated. Joined into a group. In addition, as a complementing mode at this time, a mode in which all or a part of the target frame group is added before the active frame group, a mode in which the target frame group is added in the back, a mode in which the target frame group is inserted in the middle, and these modes are arbitrarily selected There are combined aspects. When there is a timeline to be complemented, the user designates the timeline as an active timeline by operating the window selection pull-down menu T1.
本実施形態では、ユーザは、ファイル管理部４４により管理されている任意のタイムライン（ただし、アクティブタイムラインを除く）を、対象タイムラインとすることができる。具体的には、命令受付部４７Ａは、基本画面Ｗ１を介し、２種類の方法で、タイムライン補完処理の実行の命令をユーザから受け付けている。第１の方法は、アクティブフレーム群の取り込み元であるオリジナル動画ファイルのタイムラインが、対象タイムラインとされる方法である。ユーザにより第１の方法でタイムライン補完処理の実行の命令が入力されると、動画特定部４７Ｂは、ファイル管理領域５３内のアクティブタイムラインに対応するタイムラインファイルを参照することにより、その時点のアクティブタイムラインに対応するオリジナル動画ファイルを自動的に特定し、このオリジナル動画ファイルのタイムラインを対象タイムラインとして設定する。従って、ユーザは、第１の方法でタイムライン補完処理を実行させようとする場合には、対象タイムラインを指定するための特別の操作を行う必要はない。なお、第１の方法は、オリジナル動画ファイルが存在していることが前提となるため、アクティブフレーム群が動画ファイルに由来してオリジナル画像領域５１へ取り込まれたものである場合にのみ、使用可能である。 In the present embodiment, the user can set an arbitrary timeline (excluding the active timeline) managed by the file management unit 44 as the target timeline. Specifically, the instruction accepting unit 47A accepts an instruction to execute the timeline complementing process from the user through two types of methods via the basic screen W1. The first method is a method in which the timeline of the original moving image file from which the active frame group is captured is set as the target timeline. When the user inputs an instruction to execute the timeline complement processing by the first method, the moving image specifying unit 47B refers to the timeline file corresponding to the active timeline in the file management area 53, and The original video file corresponding to the active timeline is automatically specified, and the timeline of the original video file is set as the target timeline. Therefore, when the user intends to execute the timeline complementing process by the first method, the user does not need to perform a special operation for designating the target timeline. Since the first method is based on the premise that an original moving image file exists, it can be used only when the active frame group is derived from the moving image file and taken into the original image area 51. It is.
一方、第２の方法は、基本画面Ｗ１上に存在しているいずれかの表示ウィンドウＷ２に対応するタイムラインが、対象タイムラインとされる方法である。具体的には、ユーザにより第２の方法でタイムライン補完処理の実行の命令が入力されると、命令受付部４７Ａは、ユーザに対し対象タイムラインを指定させるさらなる操作を要求する。例えば、ユーザにウィンドウ選択プルダウンメニューＴ１を操作させたり、基本画面Ｗ１上で表示ウィンドウＷ２をクリックさせたりすることで、特定の表示ウィンドウＷ２をユーザに指定させる。そして、動画特定部４７Ｂは、ユーザによるさらなる操作により指定された表示ウィンドウＷ２に対応するタイムラインを、対象タイムラインとして設定する。 On the other hand, the second method is a method in which a timeline corresponding to any display window W2 existing on the basic screen W1 is set as a target timeline. Specifically, when a command for executing the timeline complementing process is input by the user in the second method, the command receiving unit 47A requests the user to perform a further operation for specifying the target timeline. For example, the user can designate a specific display window W2 by operating the window selection pull-down menu T1 or by clicking the display window W2 on the basic screen W1. Then, the moving image specifying unit 47B sets the timeline corresponding to the display window W2 specified by the further operation by the user as the target timeline.
以上の方法で、ユーザによりタイムライン補完処理の実行の命令が入力されると、タイムライン補完部４７は、図７に示す処理の実行を開始する。図７に示す処理では、まず、判断部４７Ｃにより、アクティブフレーム群と対象フレーム群との重複関係が判断される（ステップＳ１）。なお、アクティブフレーム群と対象フレーム群との重複関係は、第０次フレームを基準に判断される。ただし、以下の説明では、次数ｍの概念がないオリジナル動画ファイルに含まれるフレームは、全て第０次フレームであるものとする。 When the user inputs a command to execute the timeline complementing process by the above method, the timeline complementing unit 47 starts executing the process shown in FIG. In the process shown in FIG. 7, first, the determination unit 47C determines the overlapping relationship between the active frame group and the target frame group (step S1). Note that the overlapping relationship between the active frame group and the target frame group is determined based on the 0th frame. However, in the following description, it is assumed that all frames included in the original moving image file having no concept of the order m are the 0th order frames.
以下、図８を参照して、ステップＳ１をより詳細に説明する。ステップＳ１では、図８に示すとおり、判断部４７Ｃは、ｊ＝１，２，・・・，Ｊ（Ｊは、アクティブフレーム群に含まれるフレームの枚数）に対し順に、アクティブタイムライン上でｊ番目の第０次の静止画Ｉ（ｊ，０）が、対象タイムライン上でｋ番目の第０次の静止画Ｉ（ｋ，０）と一致するか否かを判断してゆく（ステップＳ１１）。このとき、判断部４７Ｃは、図８に示すとおり、各ｊに対し、ｋの値をｋ＝ｋ’，・・・，Ｋ（Ｋは、対象フレーム群に含まれるフレームの枚数）と順に１ずつインクリメントしながら、対象タイムラインに属する静止画Ｉ（ｋ，０）が、アクティブタイムラインに属する静止画Ｉ（ｊ，０）に一致するか否かを判断してゆく。ただし、両静止画が一致した段階で、次のｊに対する処理に移行する。ここで、ｋ’とは、対象タイムラインに属する静止画Ｉ（ｋ，０）がアクティブタイムラインに属する静止画Ｉ（ｊ，０）に最後に一致すると判断された時点のｋの値に１を足した値であるが、未だ一致の判断が一度もなされていない場合には、１となる。なお、ここでの「一致」の判断は、比較している２つの静止画の画素値が完全に一致する場合にのみ「一致」と判断するようにしてもよいし、画素値のずれが一定の範囲内であれば「一致」と判断するようにしてもよい。 Hereinafter, step S1 will be described in more detail with reference to FIG. In step S1, as shown in FIG. 8, the determination unit 47C sequentially sets j = 1, 2,..., J (where J is the number of frames included in the active frame group) on the active timeline. It is determined whether or not the 0th 0th-order still image I (j, 0) matches the kth 0th-order still image I (k, 0) on the target timeline (step S11). ). At this time, as shown in FIG. 8, the determination unit 47C sets k to k = k ′,..., K (K is the number of frames included in the target frame group) and 1 for each j in order. While incrementing each time, it is determined whether or not the still image I (k, 0) belonging to the target timeline matches the still image I (j, 0) belonging to the active timeline. However, when both still images coincide with each other, the process proceeds to the next j. Here, k ′ is 1 to the value of k when it is determined that the still picture I (k, 0) belonging to the target timeline finally matches the still picture I (j, 0) belonging to the active timeline. However, it is 1 if no match has been determined yet. The determination of “match” here may be determined as “match” only when the pixel values of the two still images being compared completely match, or the deviation of the pixel values is constant. If it is within the range, it may be determined as “match”.
また、図８に示すとおり、判断部４７Ｃは、各ｊに対し、アクティブタイムラインに属する静止画Ｉ（ｊ，０）に一致する静止画が対象タイムライン上に存在したか否かを示す情報と、存在した場合には、その静止画を特定するための情報としてその時のｋの値とを記憶しておく（ステップＳ１２）。 In addition, as illustrated in FIG. 8, the determination unit 47C indicates, for each j, information indicating whether or not a still image that matches the still image I (j, 0) belonging to the active timeline exists on the target timeline. If it exists, the value of k at that time is stored as information for specifying the still image (step S12).
従って、ステップＳ１が終了した時点では、第０次フレームを基準とした、アクティブフレーム群と対象フレーム群との重複関係が判明している。続くステップＳ２では、フレーム指定部４７Ｄが、この重複関係を参照して、対象フレーム群に含まれる、アクティブフレーム群と重複していないフレーム群の中から、アクティブフレーム群に追加すべきフレーム群（以下、追加のフレーム群）の指定をユーザから受け付ける。 Therefore, when step S1 is completed, the overlapping relationship between the active frame group and the target frame group based on the 0th frame is known. In the subsequent step S2, the frame designating unit 47D refers to this overlapping relationship, and from among the frame groups included in the target frame group that do not overlap with the active frame group, the frame group to be added to the active frame group ( Hereinafter, designation of an additional frame group) is received from the user.
具体的には、ステップＳ２では、表示制御部４２が、図９に示すようなフレーム指定ウィンドウＷ４を基本画面Ｗ１上に重ねて表示させる。フレーム指定ウィンドウＷ４上には、タイムラインバーＴ６、画像表示エリアＴ７、ＯＫボタンＴ８及びキャンセルボタンＴ９が配置されている。フレーム指定部４７Ｄは、これらのオブジェクトＴ６〜Ｔ９に対するユーザの操作をリアルタイムに監視している。 Specifically, in step S2, the display control unit 42 displays a frame designation window W4 as shown in FIG. 9 on the basic screen W1. On the frame designation window W4, a timeline bar T6, an image display area T7, an OK button T8, and a cancel button T9 are arranged. The frame designation unit 47D monitors user operations on these objects T6 to T9 in real time.
タイムラインバーＴ６は、ステップＳ１で判明した重複関係に基づいて、アクティブタイムラインと対象タイムラインとを合成したタイムライン（以下、合成タイムライン）を図式的に示すオブジェクトである。具体的には、合成タイムラインは、以下の手順で生成される。 The timeline bar T6 is an object that schematically shows a timeline (hereinafter, combined timeline) obtained by combining the active timeline and the target timeline based on the overlapping relationship found in step S1. Specifically, the synthesis timeline is generated by the following procedure.
まず、フレーム指定部４７Ｄは、ステップＳ１で判明した重複関係に従って、対象フレーム群を、対象タイムラインに沿って重複フレーム群と非重複フレーム群とが適当な回数、交互に現れるフレーム群として認識する。ここで、重複フレーム群とは、対象フレーム群のうち、アクティブフレーム群と重複しているフレーム群であり、非重複フレーム群とは、対象フレーム群のうち、アクティブフレーム群と重複していないフレーム群である。また、対象タイムライン上で最初に現れるフレーム群は、重複フレーム群であっても、非重複フレーム群であってもよい。そして、フレーム指定部４７Ｄは、図１０に示すように、各非重複フレーム群を、その非重複フレーム群の直後の重複フレーム群と重複する、アクティブフレーム群に含まれるフレーム群の直前に連続するように、アクティブフレーム群に挿入する。ただし、非重複フレーム群の直後に重複フレーム群が存在しない場合には、その非重複フレーム群の直前の重複フレーム群と重複する、アクティブフレーム群に含まれるフレーム群の直後に連続するように、その非重複フレーム群をアクティブフレーム群に挿入する。そして、このような手順を経た後に得られるフレーム群（以下、合成フレーム群）のタイムラインが、合成タイムラインである。 First, the frame designating unit 47D recognizes the target frame group as a frame group in which the overlapping frame group and the non-overlapping frame group appear alternately for the appropriate number of times along the target timeline in accordance with the overlapping relationship found in step S1. . Here, the overlapping frame group is a frame group that overlaps the active frame group in the target frame group, and the non-overlapping frame group is a frame that does not overlap the active frame group in the target frame group. A group. In addition, the frame group that first appears on the target timeline may be an overlapping frame group or a non-overlapping frame group. Then, as shown in FIG. 10, the frame designating unit 47D continues each non-overlapping frame group immediately before the frame group included in the active frame group that overlaps the overlapping frame group immediately after the non-overlapping frame group. As shown in FIG. However, when there is no overlapping frame group immediately after the non-overlapping frame group, it overlaps with the overlapping frame group immediately before the non-overlapping frame group, so that it continues immediately after the frame group included in the active frame group, The non-overlapping frame group is inserted into the active frame group. A timeline of a frame group (hereinafter referred to as a composite frame group) obtained after such a procedure is a composite timeline.
タイムラインバーＴ６は、そのバーが延びる方向に合成フレーム群のフレーム数で等分に分割されている。タイムラインバーＴ６上の左からｎ番目の分割領域は、合成タイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。 The timeline bar T6 is equally divided by the number of frames of the composite frame group in the direction in which the bar extends. The nth divided area from the left on the timeline bar T6 corresponds to the nth frame on the combined timeline (n is a natural number).
図９に示すように、表示制御部４２は、タイムラインバーＴ６において、アクティブフレーム群と重複するフレーム群に対応する分割領域Ａ３と、アクティブフレーム群と重複しないフレーム群に対応する分割領域Ａ４とを、異なる表示形式で表示する。本実施形態では、領域Ａ３には、斜線が施され、領域Ａ４は、ベタ塗りで表示される。ここで、上記したことから明らかであるが、分割領域Ａ４に対応するフレーム群とは、非重複フレーム群である。従って、タイムラインバーＴ６は、アクティブフレーム群と対象フレーム群とが重複していない区間を、それ以外の区間と区別して表示するものであるから、その意味で、アクティブフレーム群と対象フレーム群との重複関係を示すものであると言える。 As shown in FIG. 9, in the timeline bar T6, the display control unit 42 includes a divided area A3 corresponding to a frame group overlapping with the active frame group, and a divided area A4 corresponding to a frame group not overlapping with the active frame group. Are displayed in different display formats. In the present embodiment, the area A3 is shaded, and the area A4 is displayed with a solid fill. Here, as is apparent from the above, the frame group corresponding to the divided region A4 is a non-overlapping frame group. Therefore, the timeline bar T6 displays a section in which the active frame group and the target frame group do not overlap with each other, so that the active frame group and the target frame group are displayed in this sense. It can be said that this indicates an overlapping relationship.
また、タイムラインバーＴ６は、分割領域Ａ４に対応する区間の中から任意の区間の選択をユーザから受け付ける。従って、ユーザは、入力部２０を介してタイムラインバーＴ６を操作することにより、非重複フレーム群の中から任意のフレーム群を選択することができる。具体的には、ユーザは、タイムラインバーＴ６上で、選択したいフレームに対応する分割領域Ａ４をクリック等の操作により選択する。分割領域Ａ４は、同時に複数選択が可能であり、このとき、連続している領域Ａ４のみならず、不連続な領域Ａ４を選択することも可能である。さらに、再度同じ領域Ａ４をクリック等することにより、選択の解除も可能である。なお、図９の例では、分割領域Ａ４内で、薄いトーンのべた塗りの部分が、ユーザにより現在選択されている区間であり、濃いトーンのベタ塗りの部分が、ユーザにより現在選択されていない区間である。 In addition, the timeline bar T6 accepts selection of an arbitrary section from the sections corresponding to the divided area A4 from the user. Therefore, the user can select an arbitrary frame group from among the non-overlapping frame groups by operating the timeline bar T6 via the input unit 20. Specifically, the user selects the divided region A4 corresponding to the frame to be selected by an operation such as clicking on the timeline bar T6. A plurality of divided areas A4 can be selected simultaneously. At this time, not only the continuous area A4 but also a discontinuous area A4 can be selected. Furthermore, the selection can be canceled by clicking the same area A4 again. In the example of FIG. 9, in the divided area A4, the light-filled portion of the light tone is the section currently selected by the user, and the solid-colored portion of the dark tone is not currently selected by the user. It is a section.
図７に示すとおり、フレーム指定部４７Ｄは、ユーザによりタイムラインバーＴ６上で何らかの分割領域Ａ４が選択された状態で、ＯＫボタンＴ８が押下されたことを検知すると、その時点で選択されている分割領域Ａ４に対応するフレーム群を追加のフレーム群として設定し、ステップＳ３に進む。なお、表示制御部４２は、ユーザによりタイムラインバーＴ６上の分割領域Ａ４が選択される度に、画像表示エリアＴ７内に最新に選択された分割領域Ａ４に対応するフレームの第０次の静止画を直ちに表示させる。従って、ユーザは、この機能を利用することで、追加のフレーム群を適切に選択することができる。 As shown in FIG. 7, when the frame designation unit 47D detects that the OK button T8 is pressed in a state where any divided area A4 is selected on the timeline bar T6 by the user, the frame designation unit 47D is selected at that time. A frame group corresponding to the divided area A4 is set as an additional frame group, and the process proceeds to step S3. Note that the display control unit 42, every time the divided area A4 on the timeline bar T6 is selected by the user, the 0th-order stillness of the frame corresponding to the most recently selected divided area A4 in the image display area T7. Display the image immediately. Therefore, the user can appropriately select an additional frame group by using this function.
続くステップＳ３では、結合部４７Ｅが、追加のフレーム群をアクティブフレーム群に追加する。このとき、追加のフレーム群としてアクティブフレーム群に追加されるのは、第０次の静止画群であり、１以上の次数ｍの静止画群は、追加されない。また、このとき、追加のフレーム群は、アクティブフレーム群に対し、両フレーム群が合成タイムライン上での位置関係と同じ位置関係を保つような位置に挿入される。 In subsequent step S3, the combining unit 47E adds an additional frame group to the active frame group. At this time, the 0th-order still image group is added to the active frame group as an additional frame group, and a still image group of order 1 or higher is not added. At this time, the additional frame group is inserted into the active frame group at a position where both frame groups maintain the same positional relationship as the positional relationship on the composite timeline.
より具体的には、ステップＳ３では、追加のフレーム群が、オリジナル動画ファイルに由来するものであるときは、オリジナル動画ファイルから追加のフレーム群に１対１で対応する静止画ファイル群が生成され、オリジナル画像領域５１内に保存される。また、追加のフレーム群の挿入により、アクティブタイムラインは、新たなタイムラインへと更新されることになるが、この新たなアクティブフレーム群に合わせて、アクティブタイムラインに対応するタイムラインファイル内の値が適宜更新される。具体的には、タイムラインファイル内に、追加のフレーム群に係る第０次の静止画の画像ファイルＩＤが追加されるとともに、値ｎが再定義される。さらに、値ｎの変更は、アクティブタイムラインに関連するヒストリーファイルにも反映される。 More specifically, in step S3, when the additional frame group is derived from the original moving image file, a still image file group corresponding to the additional frame group on a one-to-one basis is generated from the original moving image file. Are stored in the original image area 51. Moreover, the active timeline is updated to a new timeline by inserting an additional frame group, but in the timeline file corresponding to the active timeline in accordance with the new active frame group. The value is updated accordingly. Specifically, the image file ID of the 0th-order still image related to the additional frame group is added to the timeline file, and the value n is redefined. Furthermore, the change in value n is also reflected in the history file associated with the active timeline.
ステップＳ３が終了すると、タイムライン補完処理は終了する。また、図７から明らかなように、フレーム指定ウィンドウＷ４上でユーザがキャンセルボタンＴ９を押下した場合にも、タイムライン補完処理は終了する。 When step S3 ends, the timeline complementing process ends. As is clear from FIG. 7, the timeline complementing process is also terminated when the user presses the cancel button T9 on the frame designation window W4.
＜３．用途＞
画像処理プログラム２は、多種多様な動画に対する画像処理を取り扱うことができ、例えば、警察等の機関が事件の捜査のために防犯カメラの監視映像を解析する場面でも利用され得る。この場合、例えば、画像処理プログラム２に実装されている様々な画像処理モジュールを用いて監視映像を鮮明化することで、捜査の手がかりや証拠を掴むことができる。そして、このような場面では、しばしば、同じ事件に関連して収集される監視映像が膨大な量になる。そうすると、監視映像全体の中から、必要と思われる区間、例えば、事件に関連しそうな人物や自動車が写っている区間の映像だけを、画像処理及び再生処理の対象となるようにオリジナル画像領域５１へ取り込み、その後の処理を進めてゆくことが効率的である。しかしながら、その後、そのような区間の映像の前後や中間の区間のフレーム群も必要なことが判明した場合には、上述のタイムライン補完処理により、元の監視映像を用いてそのような区間の映像に必要なフレーム群を補完すると便利である。また、タイムライン補完処理は、一旦オリジナル画像領域５１へ取り込んだフレーム群のタイムライン上から、不要と思われる一部のフレーム群を削除した後、やはり削除したフレーム群が必要であると思い直した場合にも有用である。
<3. Application>
The image processing program 2 can handle image processing for a wide variety of moving images. For example, the image processing program 2 can be used in a scene where an organization such as the police analyzes a surveillance video of a security camera for investigation of an incident. In this case, for example, by using various image processing modules implemented in the image processing program 2 to sharpen the monitoring video, it is possible to grasp clues and evidence of the investigation. And in such a scene, there is often a huge amount of surveillance video collected in connection with the same incident. Then, the original image area 51 is set so that only the image of the section that seems to be necessary, for example, the section in which the person or the car that seems to be related to the incident is captured, is subjected to image processing and reproduction processing from the entire monitoring video. It is efficient to import the data and proceed with the subsequent processing. However, after that, if it becomes clear that frames before and after the video of such a section or an intermediate section are also necessary, the above-mentioned timeline complementing process is used to perform such a section using the original monitoring video. It is convenient to complement the frames required for the video. In addition, after the timeline complementing process deleted some frame groups that seemed unnecessary from the timeline of the frame groups once captured in the original image area 51, it was reconsidered that the deleted frame groups were still necessary. Also useful in cases.
＜４．特徴＞
上記のタイムライン補完処理によれば、アクティブフレーム群に係る動画と対象フレーム群に係る動画との重複関係が自動的に判断され、当該重複関係が排除された態様で、対象フレーム群の全部又は一部がアクティブフレーム群に結合される。そして、このタイムライン補完処理によれば、アクティブフレーム群の前、後ろ、又は中間、或いはこれらの任意の組合せの位置にフレーム群を追加することができる。すなわち、このタイムライン補完処理は、アクティブフレーム群に係る動画と対象フレーム群との間に図１（Ａ）〜（Ｄ）に示すような様々なタイプの重複関係が成立する場合に対応している。従って、簡易な操作で、複数の動画を柔軟に結合することができる。
<4. Features>
According to the timeline complementing process described above, the overlapping relationship between the moving image related to the active frame group and the moving image related to the target frame group is automatically determined, and in the form in which the overlapping relationship is excluded, A part is coupled to the active frame group. Then, according to this timeline complementing process, a frame group can be added at the position of the front, back, or middle of the active frame group, or any combination thereof. In other words, this timeline complementing process corresponds to the case where various types of overlapping relationships as shown in FIGS. 1A to 1D are established between the moving image related to the active frame group and the target frame group. Yes. Therefore, a plurality of moving images can be flexibly combined with a simple operation.
＜５．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。また、以下の変形例の要旨は、適宜組み合わせることができる。
<5. Modification>
As mentioned above, although one Embodiment of this invention was described, this invention is not limited to the said embodiment, A various change is possible unless it deviates from the meaning. For example, the following changes can be made. Moreover, the gist of the following modifications can be combined as appropriate.
＜５−１＞
上記のタイムライン補完処理では、結合可能なタイムラインの数が２つであったが、３つ以上のタイムラインを結合可能としてもよい。
<5-1>
In the timeline complementing process described above, the number of timelines that can be combined is two, but three or more timelines may be combined.
＜５−２＞
上記のタイムライン補完処理では、アクティブフレーム群と対象フレーム群との重複関係は、第０次フレームを基準に判断されたが、次数ｍは特に限定されず、例えば、第ｍs次のフレームを基準に判断してもよい。また、上記のタイムライン補完処理は、上記実施形態のようなヒストリーの管理機能がなく、次数ｍの概念がないような装置においても、適当な変更を加えることで同様に実装することができる。
<5-2>
Above the timeline complementary processing, the overlap relationship between the active frame group and the group of target frames has been determined based on the zeroth-order frame, the order m is not particularly limited, for example, the first m s next frame You may judge on the basis. In addition, the above timeline complementing process can be implemented in the same manner by making appropriate changes even in an apparatus that does not have a history management function as in the above embodiment and does not have the concept of degree m.
＜５−３＞
ソフトウェア管理領域５０内にオリジナル動画ファイルを取り込まずに、オリジナル動画ファイルを特定する情報（アドレスパス及びファイル名）のみを保存するようにしてもよい。なお、この場合も、対象タイムラインを指定するための特別の操作の不要な第１の方法で、タイムライン補完処理の実行の命令を入力可能とすることができる。
<5-3>
Only the information (address path and file name) for specifying the original moving image file may be stored without taking the original moving image file into the software management area 50. In this case as well, it is possible to input a command for executing the timeline complementing process by the first method that does not require a special operation for designating the target timeline.
＜５−４＞
ユーザにより指定されたフォルダ内から最初にオリジナル画像領域５１へ静止画ファイル群を取り込む場合にも、取り込み元の画像データ及び／又は取り込み元の画像データを特定する情報を保存しておくようにしてもよい。この場合、静止画ファイルに由来するアクティブタイムラインに対しても、対象タイムラインを指定するための特別の操作の不要な第１の方法で、タイムライン補完処理の実行の命令を入力可能とすることができる。
<5-4>
Even when a still image file group is first imported into the original image area 51 from the folder designated by the user, the image data of the acquisition source and / or the information specifying the image data of the acquisition source is stored. Also good. In this case, even for an active timeline derived from a still image file, it is possible to input a command to execute timeline complementing processing by the first method that does not require a special operation for designating the target timeline. be able to.
＜５−５＞
上記のタイムライン補完処理において、追加のフレーム群の追加後のアクティブフレーム群を、元のアクティブタイムラインとは別のタイムライン上で管理するようにしてもよい。
<5-5>
In the above timeline complementing process, the active frame group after the addition of the additional frame group may be managed on a timeline different from the original active timeline.
＜５−６＞
上記のタイムライン補完処理では、追加のフレーム群として第０次の静止画群のみがアクティブフレーム群に結合されたが、１以上の次数ｍの静止画群も追加するようにしてもよい。
<5-6>
In the timeline complementing process described above, only the 0th-order still image group is added to the active frame group as an additional frame group, but a still image group of order 1 or more may be added.
＜５−７＞
上記のタイムライン補完処理において、合成タイムラインをそのまま新たなアクティブタイムラインとしてもよい。すなわち、ステップＳ２において、非重複フレーム群の中から、必要なフレーム群をユーザに指定させる処理を省略してもよい。
<5-7>
In the above timeline complementing process, the combined timeline may be used as a new active timeline as it is. That is, in step S2, the process of causing the user to specify a necessary frame group from among the non-overlapping frame groups may be omitted.
＜５−８＞
上記実施形態では、オリジナル画像領域５１へ取り込まれた画像データは、全て静止画ファイルとして保存されるようになっていた。しかしながら、オリジナル画像領域５１へ取り込まれた画像データを、動画ファイルとして保存するようにしてもよい。さらに、その後、動画ファイルに対して画像処理が施される場合には、その画像処理後の画像データも動画ファイルの形式で保存するようにしてもよい。
<5-8>
In the above embodiment, all the image data captured in the original image area 51 is stored as a still image file. However, the image data captured in the original image area 51 may be saved as a moving image file. Further, after that, when image processing is performed on the moving image file, the image data after the image processing may be stored in the moving image file format.
１ 画像処理装置（コンピュータ）
２ 画像処理プログラム
４７Ｃ 判断部
４７Ｅ 結合部
1 Image processing device (computer)
2 Image processing program 47C judgment unit 47E coupling unit
Claims (7)
前記重複関係が排除された態様で、前記第１動画に含まれるフレーム群を前記第２動画に結合した結合動画を生成するステップと
をコンピュータに実行させ、
前記結合動画には、前記第１動画に含まれるフレーム群を、前記第２動画のタイムライン上で前記第２動画の前及び後ろに結合した動画が含まれる、
画像処理プログラム。 Determining an overlapping relationship between the first video and the second video;
Generating a combined moving image in which the frame group included in the first moving image is combined with the second moving image in a manner in which the overlapping relationship is eliminated,
The combined moving image includes a moving image in which a frame group included in the first moving image is combined before and after the second moving image on the timeline of the second moving image.
Image processing program.
請求項１に記載の画像処理プログラム。 The combined moving image includes a moving image in which a frame group included in the first moving image is combined with the middle of the second moving image on the timeline of the second moving image.
The image processing program according to claim 1.
前記第１動画に含まれる、前記第２動画と重複していないフレーム群の中から、前記第２動画に追加すべき追加のフレーム群をユーザに指定させるステップと
をコンピュータにさらに実行させ、
前記結合動画を生成するステップは、前記追加のフレーム群を前記第２動画に追加することにより、前記結合動画を生成するステップである、
請求項１又は２に記載の画像処理プログラム。 Displaying information indicating the overlapping relationship;
Causing the computer to further execute a step of causing the user to specify an additional frame group to be added to the second video from among a group of frames included in the first video that does not overlap with the second video,
The step of generating the combined moving image is a step of generating the combined moving image by adding the additional frame group to the second moving image.
The image processing program according to claim 1 or 2.
請求項３に記載の画像処理プログラム。 The step of displaying information indicating the overlapping relationship is a step of displaying the overlapping relationship using a timeline object schematically showing a timeline.
The image processing program according to claim 3.
請求項４に記載の画像処理プログラム。 The step of causing the user to designate the additional frame group is a step of causing the user to designate the additional frame group by a user operation on the timeline object.
The image processing program according to claim 4.
前記第２動画をユーザに指定させつつも、前記第１動画をユーザに指定させることなく、前記第１動画及び前記第２動画の結合の命令をユーザから受け付けるステップと、
前記結合の命令を受けて、前記第２動画に関連付けて保存されている前記第１動画を特定する情報を参照することにより、前記第２動画に結合すべき動画として前記第１動画を特定するステップと
をコンピュータにさらに実行させる、
請求項１から５のいずれかに記載の画像処理プログラム。 Extracting a part of the frame group from the first moving image and storing it as the second moving image, and storing information for identifying the first moving image in association with the second moving image;
Receiving a command to combine the first video and the second video from the user without causing the user to specify the first video while allowing the user to specify the second video;
In response to the combining instruction, the first moving image is specified as a moving image to be combined with the second moving image by referring to information specifying the first moving image stored in association with the second moving image. Step further on the computer,
The image processing program according to claim 1.
前記重複関係が排除された態様で、前記第１動画に含まれるフレーム群を前記第２動画に結合した結合動画を生成する結合部と
を備え、
前記結合動画には、前記第１動画に含まれるフレーム群を、前記第２動画のタイムライン上で前記第２動画の前及び後ろに結合した動画が含まれる、
画像処理装置。 A determination unit for determining an overlapping relationship between the first video and the second video;
A combination unit that generates a combined moving image in which the frame group included in the first moving image is combined with the second moving image in a mode in which the overlapping relationship is excluded,
The combined moving image includes a moving image in which a frame group included in the first moving image is combined before and after the second moving image on the timeline of the second moving image.
Image processing device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013063258A JP2014192532A (en) | 2013-03-26 | 2013-03-26 | Image processing program and image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013063258A JP2014192532A (en) | 2013-03-26 | 2013-03-26 | Image processing program and image processing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014192532A true JP2014192532A (en) | 2014-10-06 |
Family
ID=51838476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013063258A Pending JP2014192532A (en) | 2013-03-26 | 2013-03-26 | Image processing program and image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014192532A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101667736B1 (en) * | 2015-09-25 | 2016-10-20 | 엘지전자 주식회사 | Mobile terminal and method for controlling the same |
| WO2022231180A1 (en) * | 2021-04-27 | 2022-11-03 | 삼성전자 주식회사 | Electronic device and method for operating electronic device |
-
2013
- 2013-03-26 JP JP2013063258A patent/JP2014192532A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101667736B1 (en) * | 2015-09-25 | 2016-10-20 | 엘지전자 주식회사 | Mobile terminal and method for controlling the same |
| EP3147906A1 (en) * | 2015-09-25 | 2017-03-29 | Lg Electronics Inc. | Mobile terminal and method for controlling the same |
| CN106559686A (en) * | 2015-09-25 | 2017-04-05 | Lg电子株式会社 | Mobile terminal and its control method |
| US9953680B2 (en) | 2015-09-25 | 2018-04-24 | Lg Electronics Inc. | Mobile terminal and method for controlling the same |
| CN106559686B (en) * | 2015-09-25 | 2020-12-15 | Lg电子株式会社 | Mobile terminal and control method thereof |
| WO2022231180A1 (en) * | 2021-04-27 | 2022-11-03 | 삼성전자 주식회사 | Electronic device and method for operating electronic device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7317458B2 (en) | Image display apparatus, image display program, image display method, and recording medium for recording the image display program | |
| EP3183730B1 (en) | Unscripted digital media message generation | |
| US10356359B2 (en) | Information processing apparatus, method for controlling the information processing apparatus, and recording medium | |
| JP2018005069A5 (en) | ||
| US10789987B2 (en) | Accessing a video segment | |
| KR20140146592A (en) | Color grading preview method and apparatus | |
| JP2014192532A (en) | Image processing program and image processing device | |
| JP5765255B2 (en) | Image processing program and image processing apparatus | |
| JP6576704B2 (en) | Movie playback apparatus and movie playback method | |
| US11328378B2 (en) | Information processing apparatus and non-transitory computer readable medium storing program | |
| JP6847168B2 (en) | Video playback device and video playback method | |
| JP5786736B2 (en) | Image reproduction program and image reproduction apparatus | |
| JP5857708B2 (en) | Image processing program and image processing apparatus | |
| JP5737192B2 (en) | Image processing program, image processing apparatus, and image processing method | |
| CN115334242B (en) | Video recording method, device, electronic equipment and medium | |
| JP5786737B2 (en) | Image processing program and image processing apparatus | |
| JP5765209B2 (en) | Image processing program and image processing apparatus | |
| JP5783030B2 (en) | Image processing program and image processing apparatus | |
| JP6742486B2 (en) | Program, image processing method | |
| JP2012133459A (en) | Apparatus, method and program for estimating image, and computer-readable recording medium storing the program | |
| JP6303269B2 (en) | Image processing program and image processing apparatus | |
| JP2021182667A (en) | Image processing apparatus and image processing method | |
| JP2014175716A (en) | Image processing device | |
| JP2010154053A (en) | Video-image processing apparatus, video-image processing method, and program | |
| JP2013157837A (en) | Image processing program and image processing device |