JP2012044358A

JP2012044358A - Image processing device and image processing program

Info

Publication number: JP2012044358A
Application number: JP2010182301A
Authority: JP
Inventors: Takashi Nishi; 岳志西
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-08-17
Filing date: 2010-08-17
Publication date: 2012-03-01
Anticipated expiration: 2030-08-17
Also published as: JP4853582B1

Abstract

PROBLEM TO BE SOLVED: To provide an image processing device and an image processing program for creating a static image which enables secure grasp of the whole content of a moving image.SOLUTION: The image processing device comprises: a frame selection part 111a which selects a plurality of frames from the moving image composed of a plurality of frames; an object extraction part 111b which recognizes and extracts predetermined objects from the selected frames and sets priority orders to a plurality of objects; and an image creation part 111c which arranges the objects extracted by the object extraction part 111b according to the priority orders, thereby creating the static image including the extracted objects.

Description

本発明は、画像処理装置および画像処理プログラムに関する。 The present invention relates to an image processing apparatus and an image processing program.

記録媒体に記録されている複数の静止画像をいわゆるサムネイル表示し、記録媒体の内容の把握を容易にすることが一般的に行われている。同様のことを動画像に対して行う場合、動画像には通常多数のフレームが含まれるので、サムネイル画像として適切なフレームを選択しなければならない。例えば特許文献１には、１つの記録コンテンツから複数のサムネイルデータを作成するコンテンツ記録再生装置が記載されている。このコンテンツ記録再生装置は、作成した複数のサムネイルデータをサムネイル候補として画面に表示し、それらのうちユーザが選択した１つを代表サムネイルとする。 In general, a plurality of still images recorded on a recording medium are displayed as so-called thumbnails so that the contents of the recording medium can be easily grasped. When the same thing is performed on a moving image, since a moving image usually includes a large number of frames, an appropriate frame must be selected as a thumbnail image. For example, Patent Document 1 describes a content recording / playback apparatus that creates a plurality of thumbnail data from one recorded content. This content recording / playback apparatus displays a plurality of created thumbnail data on the screen as thumbnail candidates, and selects one of them as a representative thumbnail.

特開２００８−２９４９３８号公報JP 2008-294938 A

特許文献１に記載されている技術を用いても、個々のサムネイル画像は１フレームに対応しているので、動画像の内容全体をサムネイル画像から把握することは困難である。 Even using the technique described in Patent Document 1, since each thumbnail image corresponds to one frame, it is difficult to grasp the entire content of the moving image from the thumbnail image.

請求項１に係る発明は、複数のフレームにより構成される動画像から複数のフレームを選択する選択手段と、選択された複数のフレームから所定の物体像を認識し抽出する抽出手段と、抽出手段により認識された複数の物体像に優先順位を設定する優先順位設定手段と、抽出手段により抽出された複数の物体像を優先順位に基づいて配置することにより、抽出された複数の物体像を含む静止画像を作成する画像作成手段と、を備えることを特徴とする画像処理装置である。
請求項１２に係る発明は、複数のフレームにより構成される動画像から複数のフレームを選択する選択工程と、選択された複数のフレームから所定の物体像を認識し抽出する抽出工程と、抽出工程により抽出された複数の物体像に優先順位を設定する優先順位設定工程と、抽出工程により抽出された複数の物体像を優先順位に基づいて配置することにより、抽出された複数の物体像を含む静止画像を作成する画像作成工程と、をコンピュータに実行させることを特徴とする画像処理プログラムである。 The invention according to claim 1 is a selection means for selecting a plurality of frames from a moving image composed of a plurality of frames, an extraction means for recognizing and extracting a predetermined object image from the selected plurality of frames, and an extraction means. Including a plurality of object images extracted by arranging a plurality of object images extracted by the extraction means based on the priority order; An image processing apparatus comprising: an image creating unit that creates a still image.
The invention according to claim 12 is a selection step of selecting a plurality of frames from a moving image composed of a plurality of frames, an extraction step of recognizing and extracting a predetermined object image from the selected plurality of frames, and an extraction step Including a plurality of extracted object images by arranging a plurality of object images extracted by the priority order setting step for setting a priority order for the plurality of object images extracted by the extraction step; An image processing program that causes a computer to execute an image creation step of creating a still image.

本発明によれば、動画像の内容全体をより的確に把握可能な静止画像を作成することができる。 According to the present invention, it is possible to create a still image capable of more accurately grasping the entire content of a moving image.

第１の実施の形態における画像処理装置の回路構成を示すブロック図である。1 is a block diagram illustrating a circuit configuration of an image processing apparatus according to a first embodiment. オブジェクト合成処理によるサムネイル画像の作成手順を示す図である。It is a figure which shows the preparation procedure of the thumbnail image by an object synthetic | combination process. ベストショット合成処理によるサムネイル画像の作成手順を示す図である。It is a figure which shows the preparation procedure of the thumbnail image by the best shot composition process. 動画像ファイルから代表画像を作成する処理のフローチャートである。It is a flowchart of the process which produces a representative image from a moving image file. オブジェクト認識処理のフローチャートである。It is a flowchart of an object recognition process. オブジェクト合成処理のフローチャートである。It is a flowchart of an object synthetic | combination process. ベストショット合成処理のフローチャートである。It is a flowchart of a best shot composition process. 第２の実施の形態における画像処理装置の回路構成を示すブロック図である。It is a block diagram which shows the circuit structure of the image processing apparatus in 2nd Embodiment. 画像作成部１１１ｃによるオブジェクトの配置の例を示す図である。It is a figure which shows the example of arrangement | positioning of the object by the image preparation part 111c. 動画像ファイルから代表画像を作成する制御回路１１１の処理を示すフローチャートである。It is a flowchart which shows the process of the control circuit 111 which produces a representative image from a moving image file. 第３の実施の形態における画像処理装置の回路構成を示すブロック図である。It is a block diagram which shows the circuit structure of the image processing apparatus in 3rd Embodiment. 領域分割部２１１ｇによる領域の分割例を示す図である。It is a figure which shows the example of an area | region division by the area | region division part 211g.

（第１の実施の形態）
図１は、本実施の形態における画像処理装置の回路構成を示すブロック図である。画像処理装置１は、制御回路１１，フラッシュメモリ１２，ＤＲＡＭ１３，ハードディスクドライブ（ＨＤＤ）１４，外部機器インタフェース（Ｉ／Ｆ）１５，入力装置１６，および表示装置１７を備える。フラッシュメモリ１２には、制御回路１１が実行する所定の制御プログラムが記憶される。ＤＲＡＭ１３には、制御プログラムが使用するデータが一時的に格納される。ＨＤＤ１４には、複数の動画像ファイルが格納される。 (First embodiment)
FIG. 1 is a block diagram illustrating a circuit configuration of the image processing apparatus according to the present embodiment. The image processing apparatus 1 includes a control circuit 11, a flash memory 12, a DRAM 13, a hard disk drive (HDD) 14, an external device interface (I / F) 15, an input device 16, and a display device 17. The flash memory 12 stores a predetermined control program executed by the control circuit 11. Data used by the control program is temporarily stored in the DRAM 13. The HDD 14 stores a plurality of moving image files.

外部機器Ｉ／Ｆ１５は、デジタルカメラなどの外部機器を接続するためのインタフェースである。画像処理装置１のユーザは、例えば外部機器Ｉ／Ｆ１５へデジタルカメラを接続し、デジタルカメラにより撮影された動画像ファイルをＨＤＤ１４へ取り込むことができる。入力装置１６はキーボードやマウスなどの各種の入力装置である。入力装置１６は、ユーザの操作に応じて制御回路１１へ操作信号を出力する。表示装置１７は液晶モニタなどの各種の表示装置である。 The external device I / F 15 is an interface for connecting an external device such as a digital camera. The user of the image processing apparatus 1 can connect a digital camera to the external device I / F 15, for example, and can import a moving image file shot by the digital camera into the HDD 14. The input device 16 is various input devices such as a keyboard and a mouse. The input device 16 outputs an operation signal to the control circuit 11 in accordance with a user operation. The display device 17 is a variety of display devices such as a liquid crystal monitor.

制御回路１１はフレーム選択部１１ａ，オブジェクト抽出部１１ｂ，および画像作成部１１ｃを有する。これらの機能部は、制御回路１１がフラッシュメモリ１２に記憶されている所定の制御プログラムを実行することにより、ソフトウェア的に実現される。なお、これらの各機能部を制御回路１１の中に電子回路として実装してもよい。 The control circuit 11 includes a frame selection unit 11a, an object extraction unit 11b, and an image creation unit 11c. These functional units are realized in software by the control circuit 11 executing a predetermined control program stored in the flash memory 12. Each of these functional units may be mounted in the control circuit 11 as an electronic circuit.

次に、画像処理装置１による動画像ファイルの一覧表示機能について説明する。制御回路１１は、ＨＤＤ１４に格納されている複数の動画像ファイルの一覧表示機能と、動画像ファイルの再生機能と、を有する。動画像ファイルの一覧表示機能とは、各々の動画像ファイルに対応する静止画像（以下、代表画像と呼ぶ）をサムネイル表示する機能である。サムネイル表示された代表画像のうち、いずれか１つがユーザにより選択されると、制御回路１１は選択された代表画像に対応する動画像ファイルの再生を開始する。 Next, the moving image file list display function by the image processing apparatus 1 will be described. The control circuit 11 has a list display function of a plurality of moving image files stored in the HDD 14 and a moving image file reproduction function. The moving image file list display function is a function of displaying still images (hereinafter referred to as representative images) corresponding to each moving image file as thumbnails. When any one of the thumbnail-displayed representative images is selected by the user, the control circuit 11 starts reproduction of the moving image file corresponding to the selected representative image.

本実施形態の画像処理装置１は、代表画像を作成する２種類の処理を実行することが可能である。以下の説明では、この２種類の処理をオブジェクト合成処理およびベストショット合成処理と称する。動画像ファイルの一覧表示を行う際、制御回路１１は、ＨＤＤ１４に格納されている各々の動画像ファイルに対して、これら２種類の処理のうちいずれかの処理を実行する。 The image processing apparatus 1 according to the present embodiment can execute two types of processing for creating a representative image. In the following description, these two types of processing are referred to as object composition processing and best shot composition processing. When displaying a list of moving image files, the control circuit 11 executes one of these two types of processing for each moving image file stored in the HDD 14.

（オブジェクト合成処理の説明）
図２は、オブジェクト合成処理による代表画像の作成手順を示す図である。図２（ａ）に、以下で説明するオブジェクト合成処理の対象となる動画像ファイル２１を示す。この動画像ファイル２１は、複数のフレームＦ１１〜Ｆ１９から構成されている。 (Description of object composition processing)
FIG. 2 is a diagram illustrating a procedure for creating a representative image by object composition processing. FIG. 2A shows a moving image file 21 that is a target of an object composition process described below. The moving image file 21 is composed of a plurality of frames F11 to F19.

オブジェクト合成処理では、まずフレーム選択部１１ａがオブジェクト合成処理の対象となるフレームをフレームＦ１１〜Ｆ１９から選択する。フレーム選択部１１ａは、例えば動画像ファイル２１に含まれる全てのフレームを選択するようにしてもよいし、あるいは数フレーム毎に１フレームを選択するようにしてもよい。また、シーンチェンジの検出等を考慮してフレームを選択するようにしてもよい。図２（ｂ）には、フレーム選択部１１ａが４つのフレームＦ１２，Ｆ１４，Ｆ１６，Ｆ１９をオブジェクト合成処理の対象として選択した様子を示す。 In the object composition processing, first, the frame selection unit 11a selects a frame to be subjected to object composition processing from the frames F11 to F19. For example, the frame selection unit 11a may select all the frames included in the moving image file 21, or may select one frame every several frames. Further, the frame may be selected in consideration of detection of a scene change or the like. FIG. 2B shows a state in which the frame selection unit 11a has selected four frames F12, F14, F16, and F19 as objects for object composition processing.

次にオブジェクト抽出部１１ｂが、フレーム選択部１１ａにより選択されたこれら４つのフレームからオブジェクトを認識する。本発明においてオブジェクトとは、例えば人物、車、建物など、各フレームに含まれる所定の物体像である。オブジェクトの認識には、例えばパターンマッチングなどの周知の技術を用いることができる。図２（ｂ）に示した例では、フレームＦ１２からは車のオブジェクトＯＡ１が、フレームＦ１４からは人のオブジェクトＯＢ１および犬のオブジェクトＯＣ１が、フレームＦ１６からは人のオブジェクトＯＢ２および犬のオブジェクトＯＣ２が、フレームＦ１９からは犬のオブジェクトＯＣ３および家屋のオブジェクトＯＤ１が、それぞれ認識される。 Next, the object extraction unit 11b recognizes an object from these four frames selected by the frame selection unit 11a. In the present invention, an object is a predetermined object image included in each frame, such as a person, a car, or a building. A known technique such as pattern matching can be used for object recognition. In the example shown in FIG. 2B, the car object OA1 is displayed from the frame F12, the human object OB1 and the dog object OC1 are displayed from the frame F14, and the human object OB2 and the dog object OC2 are displayed from the frame F16. The dog object OC3 and the house object OD1 are recognized from the frame F19.

オブジェクト抽出部１１ｂはこれらのオブジェクトを認識した後、これらのオブジェクトの同一性を判定する。例えばデジタルカメラにより毎秒３０フレームの撮影を行って動画像ファイルを作成した場合、連続する複数のフレームに同一の物体が繰り返し写り込む。オブジェクト抽出部１１ｂは、認識した複数のオブジェクトが、上記の例のように１つの物体に基づくオブジェクトか否かを判定する。オブジェクトの同一性の判定には周知の画像認識技術を用いることができる。例えば人のオブジェクトであれば周知の顔認識技術等を用いることが可能である。 After recognizing these objects, the object extraction unit 11b determines the identity of these objects. For example, when a moving image file is created by shooting 30 frames per second with a digital camera, the same object is repeatedly captured in a plurality of consecutive frames. The object extraction unit 11b determines whether or not the plurality of recognized objects are objects based on one object as in the above example. A known image recognition technique can be used to determine the identity of an object. For example, a well-known face recognition technique or the like can be used for a human object.

図２（ｂ）の例では、オブジェクト抽出部１１ｂはフレームＦ１４において認識された人のオブジェクトＯＢ１とフレームＦ１６において認識された人のオブジェクトＯＢ２とが同一人物のオブジェクトであると判定する。同様に、オブジェクト抽出部１１ｂは図２（ｂ）に示した４つのフレームから、オブジェクトＯＣ１，ＯＣ２，ＯＣ３が同一の物体のオブジェクトであると判定する。 In the example of FIG. 2B, the object extraction unit 11b determines that the person object OB1 recognized in the frame F14 and the person object OB2 recognized in the frame F16 are the same person object. Similarly, the object extraction unit 11b determines from the four frames shown in FIG. 2B that the objects OC1, OC2, and OC3 are objects of the same object.

続いてオブジェクト抽出部１１ｂは、各フレームから認識した各オブジェクトの抽出を行う。ただし、同一性の判定の結果に基づき、同一の物体のオブジェクトは複数のフレームからいずれか１つしか抽出しない。例えば、オブジェクト抽出部１１ｂは図２（ｂ）に示した複数のフレームからオブジェクトＯＣ１，ＯＣ２，ＯＣ３のうちいずれか１つだけを抽出する。 Subsequently, the object extraction unit 11b extracts each object recognized from each frame. However, only one object of the same object is extracted from the plurality of frames based on the result of the identity determination. For example, the object extraction unit 11b extracts only one of the objects OC1, OC2, and OC3 from the plurality of frames illustrated in FIG.

本実施形態において、オブジェクト抽出部１１ｂが同一の物体のオブジェクトからいずれか１つのオブジェクトを選択する基準は、動画像ファイル２１におけるオブジェクトの出現順である。例えば図２（ｂ）において、選択されたフレームの動画像ファイル２１における時系列順は、フレームＦ１２，フレームＦ１４，フレームＦ１６，フレームＦ１９という順序になっている。従って、同一の物体のオブジェクトＯＣ１，ＯＣ２，ＯＣ３のうち、出現順が最も早いオブジェクトは、動画像ファイル２１内の時系列順で最も早いフレームＦ１４から認識されたオブジェクトＯＣ１である。オブジェクト抽出部１１ｂはこのように、同一の物体のオブジェクトのうち、動画像ファイルにおいて最初に出現するオブジェクトを抽出する。 In the present embodiment, the criterion for selecting any one object from the objects of the same object by the object extraction unit 11b is the order of appearance of the objects in the moving image file 21. For example, in FIG. 2B, the time-series order of the selected frame in the moving image file 21 is the order of frame F12, frame F14, frame F16, and frame F19. Therefore, among the objects OC1, OC2, and OC3 of the same object, the object having the earliest appearance order is the object OC1 recognized from the earliest frame F14 in the time series order in the moving image file 21. In this way, the object extraction unit 11b extracts an object that first appears in the moving image file from objects of the same object.

最後に画像作成部１１ｃが、オブジェクト抽出部１１ｂにより抽出された複数のオブジェクトを並べて１つの静止画像を作成する。作成された静止画像の例を図２（ｃ）に示す。図２（ｃ）に示した静止画像Ｐ１には、オブジェクト抽出部１１ｂにより抽出された４つのオブジェクトＯＡ１，ＯＢ１，ＯＣ１，ＯＤ１が含まれている。これらのオブジェクトは、動画像ファイル２１における出現順に左から右の順で並べられている。また、静止画像Ｐ１の背景は、背景色として選択された単色の塗り潰しとなっている。この静止画像Ｐ１が、オブジェクト合成処理により作成された動画像ファイル２１の代表画像である。 Finally, the image creation unit 11c creates a single still image by arranging a plurality of objects extracted by the object extraction unit 11b. An example of the created still image is shown in FIG. The still image P1 shown in FIG. 2C includes four objects OA1, OB1, OC1, and OD1 extracted by the object extraction unit 11b. These objects are arranged in order of appearance in the moving image file 21 from left to right. In addition, the background of the still image P1 is filled with a single color selected as the background color. This still image P1 is a representative image of the moving image file 21 created by the object composition process.

（ベストショット合成処理の説明）
図３は、ベストショット合成処理による代表画像の作成手順を示す図である。図３（ａ）に、以下で説明するベストショット合成処理の対象となる動画像ファイル２２を示す。この動画像ファイル２２は複数のフレームＦ２１〜Ｆ２９から構成されている。 (Explanation of best shot composition process)
FIG. 3 is a diagram showing a procedure for creating a representative image by the best shot composition process. FIG. 3A shows a moving image file 22 that is a target of the best shot composition process described below. The moving image file 22 is composed of a plurality of frames F21 to F29.

ベストショット合成処理の前半は、オブジェクト合成処理と同様にフレームの選択、オブジェクトの認識、同一性の判定に関する処理である。すなわち、まずフレーム選択部１１ａにより処理対象とするフレームが選択される。次にオブジェクト抽出部１１ｂによりオブジェクトが認識されると共に、各オブジェクトが同一の物体のオブジェクトか否かが判定される。なおベストショット合成処理では、フレーム選択部１１ａは、各フレームから視点の水平移動を検知し、パノラマ画像が作成可能となるようにフレームの選択を行う。 The first half of the best shot composition processing is processing related to frame selection, object recognition, and identity determination as in the object composition processing. That is, first, a frame to be processed is selected by the frame selection unit 11a. Next, the object extraction unit 11b recognizes the object and determines whether each object is an object of the same object. In the best shot composition process, the frame selection unit 11a detects horizontal movement of the viewpoint from each frame and selects a frame so that a panoramic image can be created.

その後オブジェクト抽出部１１ｂは、認識したオブジェクトに対応する物体のうち出現頻度が最も高い１つを動画像ファイル２２の主要被写体として選択する。そして、この主要被写体に対応するオブジェクトのうち、サイズが最も大きいオブジェクトを主要オブジェクトとして選択する。以下、主要オブジェクトが含まれるフレームを、主要被写体のベストショットと呼ぶ。 Thereafter, the object extraction unit 11b selects one of the objects corresponding to the recognized object with the highest appearance frequency as the main subject of the moving image file 22. Then, the object having the largest size among the objects corresponding to the main subject is selected as the main object. Hereinafter, a frame including the main object is referred to as a best shot of the main subject.

画像作成部１１ｃは、フレーム選択部１１ａが処理対象として選択した複数のフレームに基づくパノラマ画像を作成する。そして、このパノラマ画像を背景とし、且つ主要オブジェクト以外のオブジェクトを含まない静止画像を作成する。この静止画像が、動画像ファイル２２の代表画像である。 The image creation unit 11c creates a panoramic image based on a plurality of frames selected as a processing target by the frame selection unit 11a. Then, a still image is created using the panoramic image as a background and including no objects other than the main object. This still image is a representative image of the moving image file 22.

画像作成部１１ｃが作成するパノラマ画像は、可能な限り主要オブジェクト以外のオブジェクトを含まないように作成される。例えば移動する物体を追跡して撮影された動画像の場合、あるフレームにおいてその物体の蔭となった背景であっても、その前後のフレームでは蔭となっていないことが考えられる。従って、そのようなフレームを利用すれば、背景のパノラマ画像を主要オブジェクト以外のオブジェクトを含まないように作成することができる。 The panorama image created by the image creation unit 11c is created so as not to include objects other than the main object as much as possible. For example, in the case of a moving image captured by tracking a moving object, it is conceivable that even if the background is a background of the object in a certain frame, the background is not a background. Therefore, by using such a frame, a panoramic image of the background can be created so as not to include objects other than the main object.

図４は、動画像ファイルから代表画像を作成する制御回路１１の処理を示すフローチャートである。本フローチャートの処理を実行するためのプログラムはフラッシュメモリ１２に格納されている。まずステップＳ１０では、フレーム選択部１１ａが以降の処理の対象とするフレームを選択する。ステップＳ２０では、オブジェクト抽出部１１ｂが後述するオブジェクト認識処理を実行する。ステップＳ３０では、制御回路１１が代表画像の作成方法を判定する。例えば動画像ファイルの視点が水平方向にパンニングしていることを検出した場合には、代表画像をベストショット合成処理により作成すべきであると判定され、それ以外の場合には代表画像をオブジェクト合成処理により作成すべきであると判定される。 FIG. 4 is a flowchart showing processing of the control circuit 11 that creates a representative image from a moving image file. A program for executing the processing of this flowchart is stored in the flash memory 12. First, in step S10, the frame selection unit 11a selects a frame to be processed later. In step S20, the object extraction unit 11b executes an object recognition process described later. In step S30, the control circuit 11 determines a representative image creation method. For example, when it is detected that the viewpoint of the moving image file is panned in the horizontal direction, it is determined that the representative image should be created by the best shot composition process, and in other cases, the representative image is synthesized with the object. It is determined that it should be created by processing.

ステップＳ３０において、制御回路１１が代表画像をオブジェクト合成処理により作成すべきであると判定した場合にはステップＳ４０へ進む。ステップＳ４０では、オブジェクト抽出部１１ｂおよび画像作成部１１ｃにより、後述するオブジェクト合成処理が実行される。他方、ステップＳ３０で、制御回路１１が代表画像をベストショット合成処理により作成すべきであると判定した場合にはステップＳ５０へ進む。ステップＳ５０では、オブジェクト抽出部１１ｂおよび画像作成部１１ｃにより、後述するベストショット合成処理が実行される。 If the control circuit 11 determines in step S30 that the representative image should be created by the object composition process, the process proceeds to step S40. In step S40, the object extraction unit 11b and the image creation unit 11c execute an object composition process to be described later. On the other hand, when the control circuit 11 determines in step S30 that the representative image should be created by the best shot composition process, the process proceeds to step S50. In step S50, the object extraction unit 11b and the image creation unit 11c execute a best shot composition process to be described later.

図５は、オブジェクト認識処理のフローチャートである。この処理は、図４に示したフローチャートのステップＳ２０において呼び出される。オブジェクト認識処理では、図４のステップＳ１０において選択された各フレームからの、オブジェクトの認識が行われる。ステップＳ２１では、オブジェクト抽出部１１ｂが、フレーム選択部１１ａにより選択されたフレームのうち未処理のフレームを１つ読み込む。ステップＳ２２では、オブジェクト抽出部１１ｂが、ステップＳ２１で読み込んだフレームからオブジェクトの認識に必要な特徴量を算出する。ステップＳ２３では、オブジェクト抽出部１１ｂが、ステップＳ２１で読み込んだフレームからオブジェクトの認識を行う。オブジェクトの認識には、ステップＳ２２で算出した特徴量を使用する。 FIG. 5 is a flowchart of the object recognition process. This process is called in step S20 of the flowchart shown in FIG. In the object recognition process, an object is recognized from each frame selected in step S10 in FIG. In step S21, the object extraction unit 11b reads one unprocessed frame among the frames selected by the frame selection unit 11a. In step S22, the object extraction unit 11b calculates a feature amount necessary for object recognition from the frame read in step S21. In step S23, the object extraction unit 11b recognizes an object from the frame read in step S21. The feature amount calculated in step S22 is used for object recognition.

なお、ステップＳ２２における特徴量の算出と、ステップＳ２３におけるオブジェクトの認識と、では共に周知の画像認識技術が利用される。周知の画像認識技術として例えばパターンマッチングを採用するのであれば、まずステップＳ２２においてオブジェクト抽出部１１ｂが、あらかじめ用意された複数のパターンの各々について、処理対象のフレームとの相関を表す特徴量を算出する。そして、ステップＳ２３においてオブジェクト抽出部１１ｂが、上記の特徴量に基づき所定の基準を満たすパターンを選択する。 Note that a well-known image recognition technique is used for both the calculation of the feature amount in step S22 and the object recognition in step S23. If, for example, pattern matching is employed as a well-known image recognition technique, first, in step S22, the object extraction unit 11b calculates a feature amount representing a correlation with a processing target frame for each of a plurality of patterns prepared in advance. To do. In step S23, the object extraction unit 11b selects a pattern that satisfies a predetermined criterion based on the feature amount.

ステップＳ２４では、オブジェクト抽出部１１ｂが、これまでに認識されたオブジェクトとステップＳ２３において直近に認識されたオブジェクトとの同一性を判定する。ステップＳ２５では、オブジェクト抽出部１１ｂがステップＳ２３で認識したオブジェクトからオブジェクト情報を作成する。オブジェクト情報はオブジェクトの抽出を行うための情報である。オブジェクト情報には、例えばオブジェクトへ割り当てられる一意な識別子、これまでに認識したオブジェクトと同一か否かを表す情報、オブジェクトに外接する矩形、オブジェクトが認識されたフレームを特定する為の情報、等が含まれる。ステップＳ２６では、オブジェクト抽出部１１ｂが、ステップＳ２５で作成したオブジェクト情報をＤＲＡＭ１３へ記録する。ステップＳ２７では、オブジェクト抽出部１１ｂがフレーム選択部１１ａにより選択された全フレームに対して処理を完了したか否かを判定する。未処理のフレームが残っている場合にはステップＳ２１へ戻る。他方、全てのフレームに対して処理を完了した場合にはオブジェクト認識処理は終了する。 In step S24, the object extraction unit 11b determines the identity between the object recognized so far and the object most recently recognized in step S23. In step S25, the object extraction unit 11b creates object information from the object recognized in step S23. Object information is information for extracting an object. The object information includes, for example, a unique identifier assigned to the object, information indicating whether the object is the same as the object recognized so far, a rectangle circumscribing the object, information for specifying the frame in which the object is recognized, etc. included. In step S26, the object extraction unit 11b records the object information created in step S25 in the DRAM 13. In step S27, the object extraction unit 11b determines whether or not the processing has been completed for all the frames selected by the frame selection unit 11a. If unprocessed frames remain, the process returns to step S21. On the other hand, when the process is completed for all frames, the object recognition process ends.

図６は、オブジェクト合成処理のフローチャートである。この処理は、図４に示したフローチャートのステップＳ４０において呼び出される。ステップＳ４１では、オブジェクト抽出部１１ｂがステップＳ２５でＤＲＡＭ１３に記録された全てのオブジェクト情報を読み込む。ステップＳ４２では、オブジェクト抽出部１１ｂが、オブジェクト情報に含まれる全オブジェクトのうち未処理のオブジェクトを出現順に１つ選択する。 FIG. 6 is a flowchart of the object composition process. This process is called in step S40 of the flowchart shown in FIG. In step S41, the object extraction unit 11b reads all object information recorded in the DRAM 13 in step S25. In step S42, the object extraction unit 11b selects one unprocessed object in the order of appearance among all the objects included in the object information.

ステップＳ４３では、オブジェクト抽出部１１ｂが、オブジェクト情報に含まれるオブジェクトの同一性に関する情報を確認し、ステップＳ４２で選択したオブジェクトと同一のオブジェクトが既に抽出されているか否かを判定する。抽出済みであった場合にはステップＳ４３により肯定判定がなされ、ステップＳ４５へ進む。他方、否定判定がなされた場合にはステップＳ４４へ進む。ステップＳ４４では、オブジェクト抽出部１１ｂが、オブジェクト情報に基づいて対応するフレームからオブジェクトを抽出する。ステップＳ４５では、オブジェクト抽出部１１ｂが、全てのオブジェクトについて処理が完了したか否かを判定する。未処理のオブジェクトが存在する場合には否定判定がなされ、ステップＳ４２へ戻る。他方、ステップＳ４５において肯定判定がなされた場合にはステップＳ４６へ進む。ステップＳ４６では、画像作成部１１ｃが、ステップＳ４４において抽出された全てのオブジェクトを含む静止画像を作成する。 In step S43, the object extraction unit 11b confirms information regarding the identity of the object included in the object information, and determines whether the same object as the object selected in step S42 has already been extracted. If it has been extracted, an affirmative determination is made in step S43, and the process proceeds to step S45. On the other hand, if a negative determination is made, the process proceeds to step S44. In step S44, the object extraction unit 11b extracts an object from the corresponding frame based on the object information. In step S45, the object extraction unit 11b determines whether the processing has been completed for all objects. If there is an unprocessed object, a negative determination is made, and the process returns to step S42. On the other hand, if a positive determination is made in step S45, the process proceeds to step S46. In step S46, the image creation unit 11c creates a still image including all the objects extracted in step S44.

図７は、ベストショット合成処理のフローチャートである。この処理は、図４に示したフローチャートのステップＳ５０において呼び出される。ステップＳ５１では、オブジェクト抽出部１１ｂがステップＳ２５でＤＲＡＭ１３に記録された全てのオブジェクト情報を読み込む。ステップＳ５２では、オブジェクト抽出部１１ｂが、オブジェクトごとの出現頻度を集計する。ステップＳ５３では、オブジェクト抽出部１１ｂが、ステップＳ５２で集計した出現頻度が最も多いオブジェクト、すなわち主要被写体を選択する。ステップＳ５４では、オブジェクト抽出部１１ｂが、主要被写体に対応するオブジェクトのうちサイズが最も大きいオブジェクト、すなわち主要オブジェクトを、オブジェクト情報に基づいて対応するフレームから抽出する。ステップＳ５５では、画像作成部１１ｃが、最終的に作成される静止画像の背景画像となるパノラマ画像を作成する。ステップＳ５６では、画像作成部１１ｃが、ステップＳ５５で作成したパノラマ画像を背景とし、且つ、ステップＳ５４で抽出された主要オブジェクト以外のオブジェクトを含まない静止画像を作成する。 FIG. 7 is a flowchart of the best shot composition process. This process is called in step S50 of the flowchart shown in FIG. In step S51, the object extraction unit 11b reads all object information recorded in the DRAM 13 in step S25. In step S52, the object extraction unit 11b totals the appearance frequency for each object. In step S53, the object extraction unit 11b selects the object with the highest appearance frequency, that is, the main subject that has been tabulated in step S52. In step S54, the object extraction unit 11b extracts the largest object among the objects corresponding to the main subject, that is, the main object from the corresponding frame based on the object information. In step S55, the image creation unit 11c creates a panoramic image that is the background image of the still image that is finally created. In step S56, the image creating unit 11c creates a still image that uses the panoramic image created in step S55 as a background and does not include objects other than the main object extracted in step S54.

上述した第１の実施の形態による画像処理装置によれば、次の作用効果が得られる。
（１）画像作成部１１ｃは、オブジェクト抽出部１１ｂにより抽出された複数のオブジェクトを含む静止画像を作成する。これにより、１つの静止画像から動画像ファイルの内容全体をより的確に把握することができる。 According to the image processing apparatus according to the first embodiment described above, the following operational effects can be obtained.
(1) The image creation unit 11c creates a still image including a plurality of objects extracted by the object extraction unit 11b. Thereby, the entire content of the moving image file can be grasped more accurately from one still image.

（２）オブジェクト抽出部１１ｂは、複数のフレームの各々から認識された複数のオブジェクトが同一の物体のオブジェクトであった場合、複数のオブジェクトのうちいずれか１つのオブジェクトのみを抽出する。これにより、繰り返し登場する物体が存在した場合であっても、動画像ファイルの内容全体を把握しやすい静止画像が作成される。 (2) The object extraction unit 11b extracts only one of the plurality of objects when the plurality of objects recognized from each of the plurality of frames are the same object. As a result, even if there is an object that repeatedly appears, a still image that makes it easy to grasp the entire contents of the moving image file is created.

（３）制御回路１１は、オブジェクト合成処理とベストショット合成処理とを切り替えて静止画像を作成する。これにより、動画像の特性に合った適切な静止画像が作成される。 (3) The control circuit 11 creates a still image by switching between the object composition process and the best shot composition process. Thereby, an appropriate still image suitable for the characteristics of the moving image is created.

（４）画像作成部１１ｃは、パノラマ画像を静止画像の背景とする場合に、主要オブジェクト以外のオブジェクトが含まれないようなパノラマ画像を作成する。これにより、主要オブジェクトが何であるかを判断しやすい静止画像が作成される。 (4) The image creating unit 11c creates a panoramic image that does not include an object other than the main object when the panoramic image is used as the background of the still image. This creates a still image that makes it easy to determine what the main object is.

（第２の実施の形態）
図８は第２の実施の形態における画像処理装置の回路構成を示すブロック図である。第１の実施の形態における画像処理装置（図１）との違いは、制御回路１１１が更に抽出判定部１１１ｄおよびシーン判別部１１１ｅを有している点である。 (Second Embodiment)
FIG. 8 is a block diagram showing a circuit configuration of the image processing apparatus according to the second embodiment. The difference from the image processing apparatus (FIG. 1) in the first embodiment is that the control circuit 111 further includes an extraction determination unit 111d and a scene determination unit 111e.

抽出判定部１１１ｄは、オブジェクト抽出部１１１ｂにより認識された複数のオブジェクトの各々について、当該オブジェクトを代表画像に含めるか否かを判定する。オブジェクト抽出部１１１ｂは、抽出判定部１１１ｄにより否定判定されたオブジェクトを抽出しない。すなわち、画像作成部１１１ｃにより作成される静止画像には、抽出判定部１１１ｄにより否定判定されたオブジェクトが含まれない。 The extraction determination unit 111d determines whether or not to include the object in the representative image for each of the plurality of objects recognized by the object extraction unit 111b. The object extraction unit 111b does not extract the object that is negatively determined by the extraction determination unit 111d. That is, the still image created by the image creation unit 111c does not include the object that is negatively determined by the extraction determination unit 111d.

なお、抽出判定部１１１ｄにより否定判定されたオブジェクトが、画像作成部１１１ｃにより作成される静止画像に含まれないようにする方法は複数存在する。例えば、オブジェクト抽出部１１１ｂを、そのようなオブジェクトを認識しないように構成してもよい。また、オブジェクト抽出部１１１ｂが各オブジェクトを抽出した後で、画像作成部１１１ｃがそのようなオブジェクトを静止画像に含めないようにしてもよい。 There are a plurality of methods for preventing the object that is negatively determined by the extraction determination unit 111d from being included in the still image generated by the image generation unit 111c. For example, the object extraction unit 111b may be configured not to recognize such an object. Further, after the object extracting unit 111b extracts each object, the image creating unit 111c may not include such an object in the still image.

シーン判別部１１１ｅは、フレーム選択部１１１ａが選択した各フレームについて、当該フレームのシーンを判別する。シーン判別の結果は、例えば「風景」、「ポートレート」、「運動会」、「結婚式」、「マクロ」等のようになる。シーン判別部１１１ｅによるシーン判別には、種々の周知技術を用いる事が可能である。シーン判別の結果は、後述する優先順位設定に用いられる。 For each frame selected by the frame selection unit 111a, the scene determination unit 111e determines the scene of the frame. The result of scene discrimination is, for example, “landscape”, “portrait”, “athletic meet”, “wedding”, “macro”, and the like. Various known techniques can be used for scene discrimination by the scene discrimination unit 111e. The result of scene discrimination is used for priority setting described later.

（抽出判定部１１１ｄの説明）
抽出判定部１１１ｄによる判定の詳細について説明する。抽出判定部１１１ｄは、オブジェクトを静止画像に含めるか否かを、当該オブジェクトの撮影時間と、当該オブジェクトの大きさと、当該オブジェクトの合焦の度合いと、に基づいて判定する。 (Description of Extraction Determination Unit 111d)
Details of the determination by the extraction determination unit 111d will be described. The extraction determining unit 111d determines whether to include the object in the still image based on the shooting time of the object, the size of the object, and the degree of focus of the object.

当該オブジェクトの撮影時間とはすなわち、動画像ファイル全体において当該オブジェクトが含まれるフレームの総数である。以下、当該オブジェクトが含まれるフレームの総数と、動画像ファイル全体の総フレーム数との比率をＴｄと表す。当該オブジェクトの大きさとはすなわち、フレーム全体の大きさに対する当該オブジェクトの大きさの比率である。以下、オブジェクトの大きさのフレーム全体の大きさに対する比率をＳと表す。当該オブジェクトの合焦の度合いとはすなわち、動画像ファイル全体において当該オブジェクトのコントラストが基準値よりも高いフレームの総数である。以下、当該オブジェクトのコントラストが基準値よりも高いフレームの総数と、動画像ファイル全体の総フレーム数との比率をＴｆと表す。 The shooting time of the object is the total number of frames in which the object is included in the entire moving image file. Hereinafter, the ratio between the total number of frames in which the object is included and the total number of frames in the entire moving image file is represented as Td. That is, the size of the object is a ratio of the size of the object to the size of the entire frame. Hereinafter, the ratio of the size of the object to the size of the entire frame is represented as S. The degree of focus of the object is the total number of frames in which the contrast of the object is higher than the reference value in the entire moving image file. Hereinafter, the ratio between the total number of frames in which the contrast of the object is higher than the reference value and the total number of frames in the entire moving image file is represented as Tf.

抽出判定部１１１ｄは、Ｔｄ、Ｓ、およびＴｆがそれぞれ所定の閾値より小さいオブジェクトについて否定判定を行う。なお、オブジェクトの大きさに関する判定を行う際に、オブジェクトの撮影時間を加味した判定を行ってもよい。例えば抽出判定部１１１ｄが、サイズが小さいオブジェクトであっても撮影時間が長いオブジェクトであれば、静止画像に含めるように判定を行ってもよい。 The extraction determination unit 111d makes a negative determination for objects whose Td, S, and Tf are each smaller than a predetermined threshold. Note that when making a determination regarding the size of the object, a determination may be made in consideration of the shooting time of the object. For example, the extraction determination unit 111d may determine to include a still image if it is an object having a small size but a long shooting time.

（優先順位設定の説明）
本実施形態のオブジェクト抽出部１１１ｂは、各フレームから認識した複数のオブジェクトに対し、優先順位を設定する。画像作成部１１１ｃは、オブジェクト抽出部１１１ｂにより設定された優先順位に基づいて各オブジェクトを配置し、静止画像を作成する。以下、優先順位の設定方法について説明する。 (Explanation of priority setting)
The object extraction unit 111b of this embodiment sets priorities for a plurality of objects recognized from each frame. The image creating unit 111c arranges each object based on the priority set by the object extracting unit 111b, and creates a still image. Hereinafter, a method for setting the priority order will be described.

オブジェクト抽出部１１１ｂは、オブジェクトの優先順位を、当該オブジェクトの撮影時間と、当該オブジェクトの大きさと、当該オブジェクトの合焦の度合いと、に基づいて設定する。すなわちオブジェクト抽出部１１１ｂは、上述のＴｄ、Ｓ、およびＴｆに基づいてオブジェクトの優先順位を設定する。オブジェクト抽出部１１１ｂはまず、認識された１番目からｎ番目までの各オブジェクトについて、次式（１）により定義される優先度Ｐｒ（ｎ）を算出する。
Ｐｒ（ｎ）＝（Ｔｄ（ｎ）・α＋Ｓ（ｎ）（１−α））・Ｗ（ｎ） …（１） The object extraction unit 111b sets the priority of the object based on the shooting time of the object, the size of the object, and the degree of focus of the object. That is, the object extraction unit 111b sets the priority order of objects based on the above-described Td, S, and Tf. First, the object extraction unit 111b calculates a priority Pr (n) defined by the following equation (1) for each recognized first to nth object.
Pr (n) = (Td (n) .alpha. + S (n) (1-.alpha.)). W (n) (1)

なお式（１）において、αは撮影時間と面積の優先度を表す係数であり、０以上１以下の値を採る。また、Ｗ（ｎ）はシーン判別に基づく各オブジェクトの重みであり、０以上１以下の値を採る。重みＷ（ｎ）は、優先度の算出に先立ってオブジェクト抽出部１１１ｂにより設定される。例えばシーン判別の結果が「風景」であれば、空、海、山、木、花、建物などのオブジェクトについてより大きな重みＷ（ｎ）が設定される。また、シーン判別の結果が「ポートレート」、「運動会」、「結婚式」などであれば、人のオブジェクトについて他のオブジェクトより大きな重みＷ（ｎ）が設定される。すなわち、オブジェクト抽出部１１１ｂは、シーン判別の結果に応じてオブジェクトの種類に応じた重みＷ（ｎ）を設定する。全てのオブジェクトについて優先度Ｐｒ（ｎ）を算出したオブジェクト抽出部１１１ｂは、最後に、優先度Ｐｒ（ｎ）が大きなオブジェクトから順に優先順位を設定する。 In equation (1), α is a coefficient representing the priority of the photographing time and the area, and takes a value of 0 or more and 1 or less. W (n) is a weight of each object based on scene discrimination, and takes a value of 0 or more and 1 or less. The weight W (n) is set by the object extraction unit 111b prior to the calculation of the priority. For example, if the scene discrimination result is “landscape”, a larger weight W (n) is set for objects such as the sky, sea, mountains, trees, flowers, and buildings. If the scene discrimination result is “portrait”, “athletic meet”, “wedding”, etc., a greater weight W (n) is set for human objects than for other objects. In other words, the object extraction unit 111b sets the weight W (n) corresponding to the type of the object according to the scene discrimination result. The object extraction unit 111b that has calculated the priority Pr (n) for all the objects finally sets priorities in descending order of the priority Pr (n).

（オブジェクトの抽出の説明）
第１の実施の形態では、オブジェクト抽出部１１ｂが同一の物体のオブジェクトからいずれか１つのオブジェクトを選択する基準は、動画像ファイル２１におけるオブジェクトの出現順であった。本実施形態に係るオブジェクト抽出部１１１ｂは、これとは異なる基準に基づいて、同一の物体のオブジェクトからいずれか１つのオブジェクトを選択する。 (Description of object extraction)
In the first embodiment, the reference for selecting any one object from the same object by the object extracting unit 11b is the order of appearance of the objects in the moving image file 21. The object extraction unit 111b according to the present embodiment selects any one object from the objects of the same object based on a different standard.

オブジェクト抽出部１１１ｂは、ピントが合っている箇所が多いオブジェクトを優先的に抽出する。オブジェクト抽出部１１１ｂはまた、フレーム全体の大きさに対するオブジェクトの大きさがより大きなオブジェクトを優先的に抽出する。更に、オブジェクト抽出部１１１ｂは、個々のオブジェクトの種類に応じて抽出基準を変更する。 The object extraction unit 111b preferentially extracts an object having many in-focus locations. The object extraction unit 111b also preferentially extracts an object having a larger object size than the entire frame size. Furthermore, the object extraction unit 111b changes the extraction criterion according to the type of each object.

例えば、空は人や車に比べて、面積や色が重視されると考えられる。また、人物は顔が正面を向いていることや身体全体が写っていること、笑顔であることなどが重要である。このように、オブジェクト抽出部１１１ｂは、オブジェクトの種類に応じて異なる抽出基準を用いて、オブジェクトの抽出を行う。 For example, the area and color of the sky are considered to be more important than people and cars. In addition, it is important that a person has a face facing forward, the whole body is reflected, a smile, and the like. Thus, the object extraction unit 111b performs object extraction using different extraction criteria depending on the type of object.

（画像作成部１１１ｃの説明）
画像作成部１１１ｃは、以上のようにして各オブジェクトに設定された優先順位に基づいて、静止画像を作成する。 (Description of the image creation unit 111c)
The image creating unit 111c creates a still image based on the priority set for each object as described above.

図９は、画像作成部１１１ｃによるオブジェクトの配置の例を示す図である。図９（ａ）では、優先順位が最も高いオブジェクトＯＦ１を静止画像３００ａの中央に配置し、その他のオブジェクトＯＦ２をオブジェクトＯＦ１の周囲に配置している。また、静止画像３００ａにおいて、オブジェクトＯＦ１が他のオブジェクトＯＦ２よりも相対的に大きくなっている。 FIG. 9 is a diagram illustrating an example of the arrangement of objects by the image creating unit 111c. In FIG. 9A, the object OF1 with the highest priority is arranged in the center of the still image 300a, and the other objects OF2 are arranged around the object OF1. Further, in the still image 300a, the object OF1 is relatively larger than the other object OF2.

図９（ｂ）では、オブジェクトを優先順位の順に左から右に並べて配置している。具体的には、最も優先順位の高いオブジェクトＯＧ１を静止画像３００ｂの左側に配置し、その右隣に次に優先順位が高いオブジェクトＯＧ２を、更に右隣にはその次に優先順位が高いオブジェクトＯＧ３を配置している。また、静止画像３００ｂにおいて、各オブジェクトの大きさは優先順位が高いほど相対的に大きくなっている。 In FIG. 9B, the objects are arranged from left to right in order of priority. Specifically, the object OG1 with the highest priority is arranged on the left side of the still image 300b, the object OG2 with the next highest priority is placed on the right side, and the object OG3 with the next highest priority is placed on the right side. Is arranged. In the still image 300b, the size of each object is relatively larger as the priority is higher.

画像作成部１１１ｃは、図９（ａ）に示した配置方法と図９（ｂ）に示した配置方法とを、所定の基準により切り替えて静止画像を作成する。例えば、優先度が他のオブジェクトより突出して高いオブジェクトが存在する場合には図９（ａ）の方法を、それ以外の場合には図９（ｂ）の方法を利用して静止画像を作成する。また、図９（ａ）の方法と図９（ｂ）の方法とをユーザが任意に指定できるようにしてもよい。 The image creation unit 111c creates a still image by switching between the placement method shown in FIG. 9A and the placement method shown in FIG. 9B according to a predetermined reference. For example, when there is an object with a higher priority than other objects, a still image is created using the method of FIG. 9A, and otherwise the method of FIG. 9B is used. . Further, the method of FIG. 9A and the method of FIG. 9B may be arbitrarily designated by the user.

また、各オブジェクトの優先度がほとんど同じ場合には、画像作成部１１１ｃが図９（ｃ）に示した配置方法を利用するようにしてもよい。図９（ｃ）では、静止画像３００ｃにおいて各オブジェクトＯＨ１が均等に並べて配置されており、また各オブジェクトＯＨの大きさは均等になっている。 If the priorities of the objects are almost the same, the image creating unit 111c may use the arrangement method shown in FIG. In FIG. 9 (c), the objects OH1 are evenly arranged in the still image 300c, and the sizes of the objects OH are equal.

図１０は、動画像ファイルから代表画像を作成する制御回路１１１の処理を示すフローチャートである。本フローチャートの処理を実行するためのプログラムはフラッシュメモリ１１２に格納されている。まずステップＳ１１０では、フレーム選択部１１１ａが以降の処理の対象とするフレームを選択する。ステップＳ１２０では、シーン判別部１１１ｅがシーン判別処理を実行する。シーン判別処理では、フレーム選択部１１１ａにより選択されたフレームについて、周知のシーン判別技術によるシーン判別が行われる。ステップＳ１３０では、オブジェクト抽出部１１１ｂがオブジェクト認識処理を実行する。ステップＳ１４０では、オブジェクト抽出部１１１ｂがオブジェクトの優先順位設定処理を実行する。オブジェクトの優先順位設定処理では、前述した基準により、各オブジェクトについて優先順位が設定される。 FIG. 10 is a flowchart showing processing of the control circuit 111 that creates a representative image from a moving image file. A program for executing the processing of this flowchart is stored in the flash memory 112. First, in step S110, the frame selection unit 111a selects a frame to be processed later. In step S120, the scene determination unit 111e performs a scene determination process. In the scene determination process, scene determination is performed on the frame selected by the frame selection unit 111a using a known scene determination technique. In step S130, the object extraction unit 111b executes object recognition processing. In step S140, the object extraction unit 111b executes object priority setting processing. In the object priority order setting process, the priority order is set for each object based on the above-described criteria.

ステップＳ１５０では、制御回路１１１が代表画像の作成方法を判定する。ステップＳ１５０において、制御回路１１１が代表画像をオブジェクト合成処理により作成すべきであると判定した場合にはステップＳ１６０へ進む。ステップＳ１６０では、オブジェクト抽出部１１１ｂおよび画像作成部１１１ｃにより、オブジェクト合成処理が実行される。他方、ステップＳ１５０で、制御回路１１が代表画像をベストショット合成処理により作成すべきであると判定した場合にはステップＳ１７０へ進む。ステップＳ１７０では、オブジェクト抽出部１１１ｂおよび画像作成部１１１ｃにより、ベストショット合成処理が実行される。 In step S150, the control circuit 111 determines a representative image creation method. If the control circuit 111 determines in step S150 that the representative image should be created by the object composition process, the process proceeds to step S160. In step S160, object composition processing is executed by the object extraction unit 111b and the image creation unit 111c. On the other hand, if the control circuit 11 determines in step S150 that the representative image should be created by the best shot composition process, the process proceeds to step S170. In step S170, the best shot composition processing is executed by the object extraction unit 111b and the image creation unit 111c.

上述した第２の実施の形態による画像処理装置によれば、次の作用効果が得られる。
（１）オブジェクト抽出部１１１ｂは、認識した複数のオブジェクトに優先順位を設定する。画像作成部１１１ｃは、これら複数のオブジェクトを優先順位に基づいて配置することにより、複数のオブジェクトを含む静止画像を作成する。このようにしたので、動画像の内容全体をより的確に把握可能な静止画像を作成することができる。 According to the image processing apparatus of the second embodiment described above, the following operational effects can be obtained.
(1) The object extraction unit 111b sets priorities for a plurality of recognized objects. The image creation unit 111c creates a still image including a plurality of objects by arranging the plurality of objects based on the priority order. Since it did in this way, the still image which can grasp | ascertain the whole content of a moving image more correctly can be produced.

（２）画像作成部１１１ｃは、優先順位に基づいて、静止画像におけるオブジェクトの相対的な大きさと、静止画像におけるオブジェクトが配置される位置とを決定する。このようにしたので、オブジェクトの大きさおよび位置が優先順位に応じて的確に決定され、静止画像の視認性が向上する。 (2) The image creation unit 111c determines the relative size of the object in the still image and the position where the object is placed in the still image based on the priority order. Since it did in this way, the magnitude | size and position of an object are determined appropriately according to a priority, and the visibility of a still image improves.

（３）抽出判定部１１１ｄは、オブジェクト抽出部１１１ｂにより認識された複数のオブジェクトの各々について、当該オブジェクトを静止画像に含めるか否かを判定する。画像作成部１１１ｃは、抽出判定部１１１ｄにより否定判定されたオブジェクトを含まない静止画像を作成する。このようにしたので、静止画像に重要でないオブジェクトが含まれず、静止画像の視認性が向上する。 (3) The extraction determination unit 111d determines, for each of the plurality of objects recognized by the object extraction unit 111b, whether to include the object in a still image. The image creation unit 111c creates a still image that does not include the object that is negatively determined by the extraction determination unit 111d. Since it did in this way, the object which is not important is not contained in a still image, and the visibility of a still image improves.

（４）シーン判別部１１１ｅは、フレーム選択部１１１ａにより選択された複数のフレームの各々について、当該フレームのシーンを判別する。オブジェクト抽出部１１１ｂは、認識した複数のオブジェクトの各々について、当該オブジェクトが認識されたフレームにおいてシーン判別部１１１ｅにより判別されたシーンに基づき優先順位を設定する。このようにしたので、シーンに応じた適切な優先順位を設定することが可能となる。 (4) The scene determination unit 111e determines the scene of the frame for each of the plurality of frames selected by the frame selection unit 111a. The object extraction unit 111b sets a priority order for each of the plurality of recognized objects based on the scene determined by the scene determination unit 111e in the frame in which the object is recognized. Since it did in this way, it becomes possible to set the suitable priority according to a scene.

（第３の実施の形態）
図１１は第３の実施の形態における画像処理装置の回路構成を示すブロック図である。第２の実施の形態における画像処理装置（図８）との違いは、制御回路２１１が更にオブジェクト分類部２１１ｆおよび領域分割部２１１ｇを有している点である。 (Third embodiment)
FIG. 11 is a block diagram showing a circuit configuration of an image processing apparatus according to the third embodiment. The difference from the image processing apparatus (FIG. 8) in the second embodiment is that the control circuit 211 further includes an object classification unit 211f and an area dividing unit 211g.

オブジェクト分類部２１１ｆは、オブジェクト抽出部２１１ｂにより認識された複数のオブジェクトを、複数のグループに分類する。画像作成部２１１ｃは、この複数のグループに基づいて静止画像を作成する。領域分割部２１１ｇは、静止画像の全体領域を、複数のグループ毎の領域に分割する。画像作成部２１１ｃは、複数のグループの各々について、当該グループに含まれるオブジェクトを当該グループに対応する領域に配置することにより静止画像を作成する。 The object classification unit 211f classifies the plurality of objects recognized by the object extraction unit 211b into a plurality of groups. The image creation unit 211c creates a still image based on the plurality of groups. The area dividing unit 211g divides the entire area of the still image into areas for a plurality of groups. For each of the plurality of groups, the image creation unit 211c creates a still image by placing objects included in the group in an area corresponding to the group.

（オブジェクト分類部２１１ｆの説明）
オブジェクト分類部２１１ｆは、オブジェクトの種類と、動画像の時間軸上におけるオブジェクトが認識されたフレームの位置と、シーン判別部２１１ｅにより判別されたシーンと、のいずれかに基づいて各オブジェクトを複数のグループに分類する。オブジェクト分類部２１１ｆがどの基準を選択するかはユーザが任意に選択できるようにしてもよいし、動画像の特徴等によりオブジェクト分類部２１１ｆが自動的にいずれかの基準を選択するようにしてもよい。 (Description of the object classification unit 211f)
The object classification unit 211f assigns each object a plurality of objects based on any of the type of the object, the position of the frame where the object is recognized on the time axis of the moving image, and the scene determined by the scene determination unit 211e. Classify into groups. The user can arbitrarily select which criterion the object classification unit 211f selects, or the object classification unit 211f may automatically select any criterion depending on the characteristics of the moving image. Good.

例えばオブジェクトの種類に基づいてオブジェクトを分類する場合、オブジェクト分類部２１１ｆは、人物のオブジェクトと、車のオブジェクトと、建物のオブジェクトと、をそれぞれ別々のグループに分類する。この場合、人物のオブジェクトが属するグループと、車のオブジェクトが属するグループと、建物のオブジェクトが属するグループと、の３つのグループがオブジェクト分類部２１１ｆにより作成される。 For example, when classifying an object based on the type of object, the object classifying unit 211f classifies a person object, a car object, and a building object into separate groups. In this case, the object classification unit 211f creates three groups: a group to which a person object belongs, a group to which a car object belongs, and a group to which a building object belongs.

例えば動画像の時間軸上におけるオブジェクトが認識されたフレームの位置に基づいてオブジェクトを分類する場合、オブジェクト分類部２１１ｆは、動画像全体を所定間隔ごとに区切り、その区切り毎にグループを作成する。そして、その区切りに含まれる全てのオブジェクトを、同一のグループに分類する。例えば全体で３分の動画像を１分毎に区切り、先頭から１分時点までのグループ、１分時点から２分時点までのグループ、２分時点から終端までのグループ、という３つのグループがオブジェクト分類部２１１ｆにより作成される。 For example, when classifying an object based on the position of the frame in which the object is recognized on the time axis of the moving image, the object classification unit 211f divides the entire moving image at predetermined intervals and creates a group for each division. Then, all objects included in the division are classified into the same group. For example, a total of 3 minutes of moving images are divided every minute, and there are three groups: a group from the beginning to the 1 minute point, a group from the 1 minute point to the 2 minute point, and a group from the 2 minute point to the end point. It is created by the classification unit 211f.

例えばシーン判別部２１１ｅにより判別されたシーンに基づいてオブジェクトを分類する場合、オブジェクト分類部２１１ｆは、動画像全体におけるシーンの切り替わりを検出する。そして、同一シーンの区間毎にグループを作成する。そして、その区間に含まれる全てのオブジェクトを、同一のグループに分類する。 For example, when classifying an object based on the scene determined by the scene determination unit 211e, the object classification unit 211f detects scene switching in the entire moving image. Then, a group is created for each section of the same scene. Then, all objects included in the section are classified into the same group.

（領域分割部２１１ｇの説明）
図１２は、領域分割部２１１ｇによる領域の分割例を示す図である。領域分割部２１１ｇは、静止画像の全体領域を、複数のグループ毎の領域に分割する。例えば図１２では、静止画像４００を、タイル状に区切った４つの領域４００ａ、４００ｂ、４００ｃ、４００ｄに分割している。画像作成部２１１ｃは、このようにして区切られた各領域に、各グループに分類されたオブジェクトを配置する。例えば１つ目のグループに分類された各オブジェクトを領域４００ａに、２つ目のグループに分類された各オブジェクトを領域４００ｂにそれぞれ配置する。各領域における画像作成部２１１ｃによるオブジェクトの配置基準は、第２の実施の形態と同様である。 (Description of the area dividing unit 211g)
FIG. 12 is a diagram illustrating an example of area division by the area dividing unit 211g. The area dividing unit 211g divides the entire area of the still image into areas for a plurality of groups. For example, in FIG. 12, the still image 400 is divided into four areas 400a, 400b, 400c, and 400d divided into tiles. The image creating unit 211c arranges the objects classified into each group in each of the regions divided in this way. For example, each object classified into the first group is arranged in the area 400a, and each object classified into the second group is arranged in the area 400b. The object placement reference by the image creation unit 211c in each region is the same as in the second embodiment.

上述した第３の実施の形態による画像処理装置によれば、次の作用効果が得られる。
（１）オブジェクト分類部２１１ｆは、オブジェクト抽出部２１１ｂにより認識された複数のオブジェクトを複数のグループに分類する。画像作成部２１１ｃは、複数のグループに基づいて静止画像を作成する。このようにしたので、よりわかりやすい静止画像を作成することが可能となる。 According to the image processing apparatus according to the third embodiment described above, the following operational effects can be obtained.
(1) The object classification unit 211f classifies a plurality of objects recognized by the object extraction unit 211b into a plurality of groups. The image creation unit 211c creates a still image based on a plurality of groups. Since it did in this way, it becomes possible to create a still picture which is easier to understand.

（２）領域分割部２１１ｇは、静止画像の全体領域を、複数のグループ毎の領域に分割する。画像作成部２１１ｃは、複数のグループの各々について、当該グループに含まれるオブジェクトを当該グループに対応する領域に配置する。このようにしたので、１つの静止画像に各オブジェクトがより的確に配置される。 (2) The area dividing unit 211g divides the entire area of the still image into areas for a plurality of groups. For each of the plurality of groups, the image creation unit 211c arranges the objects included in the group in an area corresponding to the group. Since it did in this way, each object is arrange | positioned more exactly in one still image.

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。 The following modifications are also within the scope of the present invention, and one or a plurality of modifications can be combined with the above-described embodiment.

（変形例１）
代表画像の作成は、サムネイル表示を行う際に実行してもよいし、動画像ファイルを作成する際に実行してもよい。例えばビデオカメラに上述した代表画像の作成処理を実行させてもよい。また、作成された代表画像を、動画像ファイルに関連付けられた画像ファイルとして記録媒体に記録してもよい。 (Modification 1)
The creation of the representative image may be executed when the thumbnail display is performed, or may be executed when the moving image file is generated. For example, the above-described representative image creation process may be executed by a video camera. Further, the created representative image may be recorded on a recording medium as an image file associated with the moving image file.

（変形例２）
上述した実施の形態の説明では、オブジェクト合成処理とベストショット合成処理という２つの処理を切り替えて代表画像を作成していたが、これらのうち一方の処理のみを用いて代表画像を作成するように画像処理装置を構成してもよい。 (Modification 2)
In the description of the embodiment described above, the representative image is created by switching between the two processes of the object synthesis process and the best shot synthesis process. However, the representative image is created using only one of these processes. An image processing apparatus may be configured.

（変形例３）
オブジェクト抽出部１１ｂが所定の数よりも多くのオブジェクトを認識した場合、それらのオブジェクトのうち一部のもののみを抽出するようにしてもよい。例えば、所定のサイズ以下のオブジェクトは抽出しないようにしてもよいし、オブジェクトの種類や形状に基づき抽出するオブジェクトを限定するようにしてもよい。また、例えば顔認識などの技術を用いて、特定の人物のみが抽出されるようにしてもよい。あるいは、オブジェクトの一覧を表示し、抽出するオブジェクトをユーザに選択させるようにしてもよい。 (Modification 3)
When the object extracting unit 11b recognizes more objects than a predetermined number, only some of the objects may be extracted. For example, an object having a predetermined size or less may not be extracted, or objects to be extracted may be limited based on the type and shape of the object. Further, for example, only a specific person may be extracted using a technique such as face recognition. Alternatively, a list of objects may be displayed and the user may select an object to be extracted.

（変形例４）
同一の物体のオブジェクトからいずれか１つを選択する基準として、オブジェクトの出現順以外の基準を用いてもよい。例えばサイズが最も大きいオブジェクトを選択してもよいし、コントラストが最も高いオブジェクトを選択するようにしてもよい。あるいは、所定の画像処理により算出された特徴量を用いてオブジェクトの選択を行うようにしてもよい。 (Modification 4)
As a criterion for selecting any one of the objects of the same object, a criterion other than the order of appearance of the objects may be used. For example, an object having the largest size may be selected, or an object having the highest contrast may be selected. Alternatively, an object may be selected using a feature amount calculated by predetermined image processing.

（変形例５）
静止画像に複数のオブジェクトを配置する手法は、出現順に左から右の順で並べる以外の手法であってもよい。例えばランダムに静止画像全体に配置するようにしてもよい。また、オブジェクトの数が多い場合には、一部または全部のオブジェクトを縮小して静止画像に納めるようにしてもよい。あるいは、静止画像のサイズを大きくしてもよい。 (Modification 5)
A technique for arranging a plurality of objects in a still image may be a technique other than arranging them in order of appearance from left to right. For example, it may be arranged randomly throughout the still image. Further, when the number of objects is large, some or all of the objects may be reduced and stored in a still image. Alternatively, the size of the still image may be increased.

（変形例６）
オブジェクト合成処理とベストショット合成処理との切り替えは、上述した実施の形態に限定されない。例えばユーザが手動でどちらの処理を用いるか選択できるようにしてもよいし、動画像ファイルに出現するオブジェクトの数が所定数より多い場合にはオブジェクト合成処理を用いるようにしてもよい。 (Modification 6)
Switching between the object composition process and the best shot composition process is not limited to the embodiment described above. For example, the user may be able to manually select which process to use, or the object composition process may be used when the number of objects appearing in the moving image file is greater than a predetermined number.

（変形例７）
画像作成部１１ｃがオブジェクト合成処理において作成する静止画像は、何らかの背景を有するようにしてもよい。例えばフレーム選択部１１ａにより選択されたフレームのうちいずれかのフレームの背景を用いるようにしてもよいし、所定の背景画像を用いるようにしてもよい。 (Modification 7)
The still image created by the image creation unit 11c in the object composition process may have some background. For example, the background of any one of the frames selected by the frame selection unit 11a may be used, or a predetermined background image may be used.

（変形例８）
主要被写体および主要オブジェクトの選択方法は、上述した実施の形態に限定されない。例えば最も強いエッジが検出されたフレームをベストショットとし、このフレームに含まれるオブジェクトを主要オブジェクトとする、等の方法であってもよい。 (Modification 8)
The selection method of the main subject and the main object is not limited to the above-described embodiment. For example, a method in which the frame in which the strongest edge is detected is the best shot and the object included in the frame is the main object may be used.

（変形例９）
１つの動画像から複数の静止画像を作成するようにしてもよい。また、これらの静止画像を縦横に連結した静止画像を代表画像としてもよい。例えば第３の実施の形態において、画像作成部２１１ｃが領域分割部２１１ｇにより分割された複数の領域に各グループのオブジェクトを配置するのではなく、グループ毎に複数の静止画像を作成するようにしてもよい。 (Modification 9)
A plurality of still images may be created from one moving image. Still images obtained by connecting these still images vertically and horizontally may be used as representative images. For example, in the third embodiment, the image creation unit 211c creates a plurality of still images for each group instead of arranging objects of each group in a plurality of regions divided by the region division unit 211g. Also good.

（変形例１０）
抽出判定部１１１ｄがオブジェクトを静止画像に含めるか否かを判定する基準は、上述の実施形態のものに限定されない。例えば、ユーザが入力装置１１６を用いた操作によって静止画像に含めるオブジェクトを選択するようにしてもよい。この場合、抽出判定部１１１ｄはユーザが選択したオブジェクトについて肯定判定を行い、それ以外のオブジェクトについて否定判定を行う。また、予めユーザが特定の人物を登録しておくと、抽出判定部１１１ｄが周知の人物認識技術により当該人物のみを静止画像に含めるよう判定するようにしてもよい。更に、予めユーザがオブジェクトの種類（人、車、空など）を指定しておくと、抽出判定部１１１ｄが当該種類のオブジェクトのみを静止画像に含めるよう判定するようにしてもよい。 (Modification 10)
The criterion for determining whether or not the extraction determining unit 111d includes an object in the still image is not limited to that in the above-described embodiment. For example, an object to be included in a still image may be selected by an operation using the input device 116 by the user. In this case, the extraction determination unit 111d performs an affirmative determination on the object selected by the user, and performs a negative determination on other objects. Further, if the user registers a specific person in advance, the extraction determination unit 111d may determine to include only the person in the still image by a known person recognition technique. Furthermore, if the user designates the type of object (such as person, car, sky) in advance, the extraction determining unit 111d may determine to include only the object of that type in the still image.

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。 As long as the characteristics of the present invention are not impaired, the present invention is not limited to the above-described embodiments, and other forms conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention. .

１、１００、２００画像処理装置
１１、１１１、２１１制御回路
１１ａ、１１１ａ、２１１ａフレーム選択部
１１ｂ、１１１ｂ、２１１ｂオブジェクト抽出部
１１ｃ、１１１ｃ、２１１ｃ画像作成部
１１１ｄ、２１１ｄ抽出判定部
１１１ｅ、２１１ｅシーン判別部
２１１ｆオブジェクト分類部
２１１ｇ領域分割部 1, 100, 200 Image processing apparatus 11, 111, 211 Control circuit 11a, 111a, 211a Frame selection unit 11b, 111b, 211b Object extraction unit 11c, 111c, 211c Image creation unit 111d, 211d Extraction determination unit 111e, 211e Scene determination Part 211f object classification part 211g area dividing part

請求項１に係る発明は、複数のフレームにより構成される動画像から複数のフレームを選択する選択手段と、前記選択された複数のフレームから所定の物体像を認識し抽出する抽出手段と、前記抽出手段により認識された複数の物体像が認識されたフレームのシーンを判別するシーン判別手段と、前記シーン判別手段で判別されたシーンに対応して物体像の種類に応じた優先順位を、前記抽出手段により認識された複数の物体像の各々に設定する優先順位設定手段と、前記抽出手段により抽出された複数の物体像を前記優先順位に基づいて配置することにより、前記抽出された複数の物体像を含む静止画像を作成する画像作成手段とを備えることを特徴とする画像処理装置である。
請求項７に係る発明は、複数のフレームにより構成される動画像から複数のフレームを選択する選択手段と、選択された複数のフレームから所定の物体像を認識し抽出する抽出手段と、選択された複数のフレームの各々について、該フレームのシーンを判別するシーン判別手段と、物体像の種類と、動画像の時間軸上における物体像が認識されたフレームの位置と、判別されたシーンとのいずれか少なくとも１つに基づき、抽出手段により認識された複数の物体像を複数のグループに分類する分類手段と、抽出手段により抽出された複数の物体像を分類手段で分類されたグループ毎に配置して、抽出された複数の物体像を含む静止画像を作成する画像作成手段とを備えることを特徴とする画像処理装置である。 The invention according to claim 1, selection means for selecting a plurality of frames from the composed video image of a plurality of frames, extracting means for extracting recognizing a predetermined object image from a plurality of frames said selected said A scene discriminating unit for discriminating a scene of a frame in which a plurality of object images recognized by the extracting unit are recognized, and a priority order corresponding to the type of object image corresponding to the scene discriminated by the scene discriminating unit, Priority order setting means for setting each of the plurality of object images recognized by the extraction means; and by arranging the plurality of object images extracted by the extraction means based on the priority order, An image processing apparatus comprising: an image creating unit that creates a still image including an object image.
The invention according to claim 7, a selecting means for selecting a plurality of frames from the composed video image of a plurality of frames, extracting means for extracting recognizing a predetermined object image from a plurality of frames selected is selected For each of the plurality of frames, a scene discriminating unit that discriminates the scene of the frame, the type of object image, the position of the frame where the object image is recognized on the time axis of the moving image, and the discriminated scene Based on at least one of them, a classification unit that classifies a plurality of object images recognized by the extraction unit into a plurality of groups, and a plurality of object images extracted by the extraction unit are arranged for each group classified by the classification unit The image processing apparatus includes an image creating unit that creates a still image including a plurality of extracted object images.

Claims

Selecting means for selecting a plurality of frames from a moving image composed of a plurality of frames;
Extracting means for recognizing and extracting a predetermined object image from the selected plurality of frames;
Priority order setting means for setting priorities to a plurality of object images recognized by the extraction means;
An image creating means for creating a still image including the plurality of extracted object images by arranging the plurality of object images extracted by the extracting means based on the priority order;
An image processing apparatus comprising:

The image processing apparatus according to claim 1.
The image creation means determines at least one of a relative size of the object image in the still image and a position where the object image in the still image is arranged based on the priority. A featured image processing apparatus.

The image processing apparatus according to claim 1 or 2,
For each of the plurality of object images recognized by the extraction means, further comprising a determination means for determining whether to include the object image in the still image,
The image processing device is characterized in that the image creation device creates the still image that does not include the object image that is negatively determined by the determination device.

In the image processing device according to any one of claims 1 to 3,
When the plurality of object images recognized from each of the plurality of frames by the extracting unit are images of the same object, the image creating unit only selects one of the plurality of object images. An image processing apparatus characterized by being included in a still image.

The image processing apparatus according to claim 4.
For each of the plurality of object images recognized by the extraction unit, the determination unit includes the number of frames including the same object image as the object image, the size of the object image, and the focus of the object image. And determining whether to include the object image in the still image based on at least one of the degree of the image quality.

The image processing apparatus according to claim 4 or 5,
The priority order setting means includes, for each of the plurality of object images recognized by the extraction means, the number of frames including the same object image as the object image, the size of the object image, and the object image An image processing apparatus, wherein the priority order is set based on at least one of a degree of focusing.

In the image processing apparatus according to any one of claims 1 to 6,
For each of the selected plurality of frames, further comprising scene discrimination means for discriminating a scene of the frame,
The priority order setting means sets the priority order for each of a plurality of object images recognized by the extraction means based on the scene determined by the scene determination means in a frame where the object image is recognized. A featured image processing apparatus.

The image processing apparatus according to claim 7.
Further comprising classification means for classifying the plurality of object images recognized by the extraction means into a plurality of groups;
The image processing device, wherein the image creating means creates the still image based on the plurality of groups.

The image processing apparatus according to claim 8.
An area dividing means for dividing the entire area of the still image into areas for each of the plurality of groups;
The image processing device creates the still image for each of the plurality of groups by arranging an object image included in the group in the region corresponding to the group.

The image processing apparatus according to claim 8.
The image processing device is characterized in that the image creating means creates a plurality of the still images corresponding to each of the plurality of groups.

In the image processing device according to any one of claims 8 to 10,
The classification means includes at least one of the type of the object image, the position of the frame where the object image is recognized on the time axis of the moving image, and the scene determined by the scene determination means. An image processing apparatus characterized in that a plurality of object images recognized by the extraction unit are classified into the plurality of groups.

A selection step of selecting a plurality of frames from a moving image composed of a plurality of frames;
An extraction step of recognizing and extracting a predetermined object image from the selected plurality of frames;
A priority setting step for setting a priority for a plurality of object images extracted by the extraction step;
An image creation step of creating a still image including the plurality of extracted object images by arranging the plurality of object images extracted in the extraction step based on the priority order;
An image processing program for causing a computer to execute.