JP2012205114A

JP2012205114A - Image processing device, image processing method, and program

Info

Publication number: JP2012205114A
Application number: JP2011068392A
Authority: JP
Inventors: Atsushi Muraki; 淳村木; Hiroshi Shimizu; 博清水; Hiroyuki Hoshino; 博之星野; Erina Ichikawa; 英里奈市川; Hiroyuki Kato; 寛之加藤
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2011-03-25
Filing date: 2011-03-25
Publication date: 2012-10-22

Abstract

PROBLEM TO BE SOLVED: To provide an image processing device that enables a moving image to be easily edited.SOLUTION: An imaging device 1 comprises an image acquisition unit 51, an input unit 17, an object extraction unit 53, and an image composition unit 54. The image acquisition unit 51 sequentially acquires plural images. An indication unit (the input unit 17 and an input operation detection unit 64) indicates an object on an acquired image. The object extraction unit 53 extracts an object image of a region including the indicated object. The image composition unit 54 combines the extracted object image with the sequentially acquired images, thereby sequentially generating composite images.

Description

本発明は、動画像の編集を簡単に行うことができる画像処理装置及び画像処理方法、並びにプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program that can easily edit a moving image.

従来より、複数枚の一連の撮像画像（動画像）と、他の画像との各データを合成して、撮像画像では表現できない画像のデータを作成する画像処理の技術がある（特許文献１参照）。 2. Description of the Related Art Conventionally, there has been an image processing technique for creating data of an image that cannot be represented by a captured image by combining a plurality of series of captured images (moving images) and other images (see Patent Document 1). ).

特開２００３−１２５３４０号公報JP 2003-125340 A

しかしながら、上述の特許文献１に記載の従来技術では、画像処理の単位は、動画像を構成するフレームやフィールド（以下、「単位画像」と呼ぶ）であり、その結果、単位画像毎に編集を行う必要があるために、動画像の編集に手間がかかるという問題があった。 However, in the prior art described in Patent Document 1 described above, the unit of image processing is a frame or a field (hereinafter referred to as “unit image”) constituting a moving image, and as a result, editing is performed for each unit image. There is a problem that it takes time to edit a moving image because it is necessary to do this.

本発明は、このような状況に鑑みてなされたものであり、動画像の編集を簡単に行うことができることを目的とする。 The present invention has been made in view of such a situation, and an object thereof is to easily edit a moving image.

上記目的を達成するため、本発明の一態様の画像処理装置は、複数の画像を順次取得する取得手段と、前記取得手段により取得された画像上のオブジェクトを指示するための指示手段と、前記指示手段により指示されたオブジェクトを含む領域のオブジェクト画像を抽出する抽出手段と、前記抽出手段によって抽出された前記オブジェクト画像を、前記取得手段によって順次取得される画像に合成することで、合成画像を順次生成する生成手段と、を備えることを特徴とする。 To achieve the above object, an image processing apparatus according to an aspect of the present invention includes an acquisition unit that sequentially acquires a plurality of images, an instruction unit that indicates an object on an image acquired by the acquisition unit, An extraction unit that extracts an object image of an area including an object instructed by the instruction unit, and the object image extracted by the extraction unit is combined with an image that is sequentially acquired by the acquisition unit. And generating means for generating sequentially.

本発明によれば、動画像の編集を簡単に行うことができる。 According to the present invention, it is possible to easily edit a moving image.

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。It is a block diagram which shows the structure of the hardware of the imaging device which concerns on one Embodiment of this invention. 本発明に係る撮像装置のコラージュ画像合成処理に係る機能構成を示す機能ブロック図である。It is a functional block diagram which shows the function structure which concerns on the collage image synthesis process of the imaging device which concerns on this invention. 撮像装置におけるコラージュ画像合成処理の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of the collage image composition process in an imaging device. 本実施形態におけるコラージュ画像合成処理に係るユーザの操作の一例を説明するための模式図である。It is a schematic diagram for demonstrating an example of the user's operation which concerns on the collage image composition process in this embodiment. 図４に示すコラージュ画像合成処理における各種画像のデータの変遷の一例を示す模式図である。It is a schematic diagram which shows an example of the transition of the data of the various images in the collage image synthetic | combination process shown in FIG.

以下、本発明の実施形態について、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラして構成される。 FIG. 1 is a block diagram showing a hardware configuration of an imaging apparatus 1 according to an embodiment of the present invention. The imaging device 1 is configured as a digital camera, for example.

撮像装置１は、カメラＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）１１と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１２と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１３と、バス１４と、入出力インタフェース１５（以下、「入出力Ｉ／Ｆ１５」と略記する）と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１とを備える。 The imaging apparatus 1 includes a camera LSI (Large Scale Integration) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a bus 14, an input / output interface 15 (hereinafter referred to as “input / output I / F 15”). ”, An imaging unit 16, an input unit 17, an output unit 18, a storage unit 19, a communication unit 20, and a drive 21.

カメラＬＳＩ１１は、特定の複雑な機能を果たすために、多数の素子を１つにまとめたＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ、集積回路）であり、カメラ処理部３１と、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３２と、データ圧縮／伸長部３３と、を備えている。
カメラ処理部３１は、後述する撮像部１６からＲＡＷデータの形態で出力された撮像画像のデータを、各種画像処理を施した上で記憶部１９に記憶させる。
ＣＰＵ３２は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
データ圧縮／伸長部３３は、撮像部１６から出力された撮像画像のデータ等各種画像のデータに対して、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）やＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）等の所定の方式に従った圧縮符号化処理を施し、その結果得られるデータ（以下、「圧縮データ」と呼ぶ）を記憶部１９等に供給する。また、データ圧縮／伸長部３３は、圧縮データに対して、当該所定の方式に従った伸長復号化処理を施し、元の画像のデータを復元し、記憶部１９等に供給する。
なお、圧縮符号化又は伸長復号化の処理単位は、特に限定されず、単位画像の単位でもよいし、動画像の単位でもよい。 The camera LSI 11 is an integrated circuit (IC) that integrates a large number of elements into one in order to perform a specific complicated function, and includes a camera processing unit 31, a CPU (Central Processing Unit) 32, data And a compression / decompression unit 33.
The camera processing unit 31 stores the captured image data output in the form of RAW data from the imaging unit 16 (to be described later) in the storage unit 19 after performing various image processing.
The CPU 32 executes various processes according to a program recorded in the ROM 12 or a program loaded from the storage unit 19 to the RAM 13.
The data compression / decompression unit 33 applies a predetermined scheme such as MPEG (Moving Picture Expert Group) or JPEG (Joint Photographic Experts Group) to various image data such as captured image data output from the imaging unit 16. The compression encoding process is performed, and data obtained as a result (hereinafter referred to as “compressed data”) is supplied to the storage unit 19 and the like. Further, the data compression / decompression unit 33 performs decompression decoding processing on the compressed data according to the predetermined method, restores the original image data, and supplies it to the storage unit 19 and the like.
The processing unit for compression encoding or decompression decoding is not particularly limited, and may be a unit image unit or a moving image unit.

ＲＡＭ１３には、カメラＬＳＩ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。 The RAM 13 appropriately stores data necessary for the camera LSI 11 to execute various processes.

入出力Ｉ／Ｆ１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。
カメラＬＳＩ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。 An imaging unit 16, an input unit 17, an output unit 18, a storage unit 19, a communication unit 20, and a drive 21 are connected to the input / output I / F 15.
The camera LSI 11, ROM 12 and RAM 13 are connected to each other via a bus 14.

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。 Although not shown, the imaging unit 16 includes an optical lens unit and an image sensor.

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。 The optical lens unit is configured by a lens that collects light, for example, a focus lens or a zoom lens, in order to photograph a subject.
The focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. The zoom lens is a lens that freely changes the focal length within a certain range.
The optical lens unit is also provided with a peripheral circuit for adjusting setting parameters such as focus, exposure, and white balance as necessary.

イメージセンサは、光電変換素子や、ＡＦＥ（ＡｎａｌｏｇＦｒｏｎｔＥｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号発揮によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号が、ここでいう、「ＲＡＷデータの形態の撮像画像のデータ」と呼ばれている。ＲＡＷデータの形態の撮像画像のデータは、カメラＬＳＩ１１等に適宜供給される。ここで、記憶部１９の記憶の単位はフレームであるが、撮像部１６の出力単位は画素であり、いわゆるラスター順で出力される。 The image sensor includes a photoelectric conversion element, AFE (Analog Front End), and the like.
The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element or the like. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element photoelectrically converts (captures) the subject image, accumulates the image signal for a predetermined time, and sequentially supplies the accumulated image signal as an analog signal to the AFE.
The AFE performs various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. A digital signal is generated by outputting various signals and output as an output signal of the imaging unit 16.
Such an output signal of the imaging unit 16 is referred to herein as “data of a captured image in the form of RAW data”. Data of the captured image in the form of RAW data is appropriately supplied to the camera LSI 11 and the like. Here, the storage unit of the storage unit 19 is a frame, but the output unit of the imaging unit 16 is a pixel, which is output in a so-called raster order.

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
なお、本実施形態において、入力部１７及び出力部１８は、ディスプレイ上にタッチセンサが重畳的に配置されるタッチパネル式の液晶ディスプレイにより構成される。 The input unit 17 includes various buttons and the like, and inputs various types of information according to user instruction operations.
The output unit 18 includes a display, a speaker, and the like, and outputs images and sounds.
In the present embodiment, the input unit 17 and the output unit 18 are configured by a touch panel type liquid crystal display in which a touch sensor is superimposed on the display.

記憶部１９は、ハードディスク或いはＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。 The storage unit 19 is composed of a hard disk, a DRAM (Dynamic Random Access Memory), or the like, and stores various image data.
The communication unit 20 controls communication performed with other devices (not shown) via a network including the Internet.

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア２２が適宜装着される。ドライブ２１によってリムーバブルメディア２２から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア２２は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。 A removable medium 22 made of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately attached to the drive 21. The program read from the removable medium 22 by the drive 21 is installed in the storage unit 19 as necessary. The removable medium 22 can also store various data such as image data stored in the storage unit 19 in the same manner as the storage unit 19.

図２は、このような撮像装置１の機能的構成のうち、コラージュ画像合成処理を実行するための機能的構成を示す機能ブロック図である。
なお、図２においては、説明の管理上、入出力Ｉ／Ｆ１５の図示は省略されている。 FIG. 2 is a functional block diagram illustrating a functional configuration for executing the collage image synthesis process among the functional configurations of the imaging apparatus 1 as described above.
In FIG. 2, the illustration of the input / output I / F 15 is omitted for the sake of explanation.

ここで、コラージュ画像合成処理とは、動画像を構成する各単位画像のうち、１以上の単位画像の各々のデータから、所定の操作により所定のオブジェクト領域のデータをそれぞれ抽出し、１以上の所定のオブジェクト領域の各データを別の単位画像内に合成することで、撮像時とは違った状態の動画像のデータを生成するまでの一連の処理をいう。 Here, the collage image composition processing is to extract data of a predetermined object region by a predetermined operation from each data of one or more unit images of each unit image constituting a moving image, and This is a series of processing until data of a moving image in a state different from that at the time of imaging is generated by synthesizing each data of a predetermined object area in another unit image.

記憶部１９は、記憶されるデータ毎に、異なるバッファを備える。記憶部１９は、本実施形態においては、撮像画像データバッファと、生成表示データバッファと、オブジェクト画像データバッファと、表示データバッファと、合成画像データバッファと、圧縮用データバッファと、圧縮データバッファと、を備える。 The storage unit 19 includes a different buffer for each stored data. In this embodiment, the storage unit 19 includes a captured image data buffer, a generated display data buffer, an object image data buffer, a display data buffer, a composite image data buffer, a compression data buffer, and a compressed data buffer. .

撮像画像データバッファには、撮像部１６からカメラ処理部３１を介して供給される撮像画像のデータ（ＹＵＶデータ）が記憶される。
生成表示データバッファには、撮像画像データバッファに記憶されていた撮像画像のデータが、出力部１８で表示可能な形態、例えば、輝度信号（Ｙ）と、青色成分の差分信号（Ｕ）と、赤色成分の差分信号（Ｖ）との３要素からなるデータ（以下、「ＹＵＶデータ」と呼ぶ）で記憶される。
即ち、撮像画像データバッファと生成表示データバッファとの組はいわゆる２面構成となっているバッファである。具体的には、撮像部１６からカメラ処理部３１を介して出力されてくる撮像画像のデータ（ＲＡＷデータ）は、画素単位でラスター順に順次出力されてくる。このため、先ず、撮像画像データバッファにおいて、ラスター順で順次出力されてくる各画素のＲＡＷデータが順次記憶されていく。これとは独立して並行に、撮像画像データバッファに記憶された各画素のＲＡＷデータは、ラスター順で順次読み出された後、ＹＵＶデータに変換されて、生成表示データバッファに順次記憶されていく。
このように、撮像画像データバッファと生成表示データバッファという２面構成を取ることで、書き込み＝カメラ処理部３１の出力データ（撮像画像を構成する各画素のＲＡＷデータ）の記録と、読み出し＝撮像画像のＹＵＶデータ（表示データ）の作成とが、互いに干渉しないように制御される。 The captured image data buffer stores captured image data (YUV data) supplied from the imaging unit 16 via the camera processing unit 31.
In the generated display data buffer, the captured image data stored in the captured image data buffer can be displayed on the output unit 18, for example, a luminance signal (Y), a blue component difference signal (U), It is stored as data of three elements (hereinafter referred to as “YUV data”) with the red component difference signal (V).
That is, the combination of the captured image data buffer and the generated display data buffer is a buffer having a so-called two-surface configuration. Specifically, captured image data (RAW data) output from the imaging unit 16 via the camera processing unit 31 is sequentially output in raster order in units of pixels. For this reason, first, the RAW data of each pixel sequentially output in the raster order is sequentially stored in the captured image data buffer. Independently of this, the RAW data of each pixel stored in the captured image data buffer is sequentially read in raster order, converted to YUV data, and sequentially stored in the generated display data buffer. Go.
Thus, by taking the two-surface configuration of the captured image data buffer and the generated display data buffer, writing = recording of output data of the camera processing unit 31 (RAW data of each pixel constituting the captured image) and reading = imaging Creation of image YUV data (display data) is controlled so as not to interfere with each other.

オブジェクト画像データバッファには、生成表示データバッファにＹＵＶデータとして記憶された単位画像のデータから、所定のオブジェクトを示す領域（以下、「オブジェクト画像」と呼ぶ）のデータが抽出された場合、当該オブジェクト画像のデータが記憶される。 In the object image data buffer, when data of an area indicating a predetermined object (hereinafter referred to as “object image”) is extracted from unit image data stored as YUV data in the generated display data buffer, the object image Image data is stored.

表示データバッファは、出力部１８においてライブビュー画像として表示出力させる段階のＹＵＶデータ、即ち表示制御部６３による出力部１８への出力用のＹＵＶデータが記憶される。
合成画像データバッファには、撮像画像と１以上のオブジェクト画像の各データが合成された結果得られる画像のＹＵＶデータ（以下、「合成画像のデータ」と呼ぶ）が記憶される。換言すると、ＣＰＵ３２の画像合成部５４等の演算処理用のＹＵＶデータが格納される。
圧縮用データバッファは、合成画像のデータ、又は撮像画像のデータが、データ圧縮／伸長部３３による圧縮符号化の対象になるＹＵＶデータが記憶される。
このように、表示データバッファ、合成画像データバッファ、及び圧縮用データバッファは、いわゆる３面構造を取っている。これにより、出力部１８への出力処理（表示データバッファ担当）、ＣＰＵ３２の演算処理（合成画像データバッファ担当）、及びデータ圧縮／伸長部３３の処理（圧縮用データバッファ担当）が、互いに干渉しないように制御される。 The display data buffer stores YUV data at the stage of display output as a live view image in the output unit 18, that is, YUV data for output to the output unit 18 by the display control unit 63.
The composite image data buffer stores YUV data (hereinafter referred to as “composite image data”) of an image obtained as a result of combining each data of the captured image and one or more object images. In other words, YUV data for arithmetic processing such as the image composition unit 54 of the CPU 32 is stored.
The compression data buffer stores YUV data, which is the target of compression encoding by the data compression / decompression unit 33, for the composite image data or the captured image data.
As described above, the display data buffer, the composite image data buffer, and the compression data buffer have a so-called three-surface structure. Thereby, the output process to the output unit 18 (in charge of display data buffer), the arithmetic processing of the CPU 32 (in charge of the composite image data buffer), and the process of the data compression / decompression unit 33 (in charge of the compression data buffer) do not interfere with each other. To be controlled.

圧縮データバッファは、データ圧縮／伸長部３３により圧縮符号化された後の圧縮データが記憶される。 The compressed data buffer stores the compressed data that has been compressed and encoded by the data compression / decompression unit 33.

ＣＰＵ３２においては、コラージュ画像合成処理が実行される場合、画像処理部４１と、各部制御部４２と、が機能する。 In the CPU 32, when the collage image synthesis process is executed, the image processing unit 41 and each unit control unit 42 function.

画像処理部４１は、画像取得部５１と、オブジェクト特定部５２と、オブジェクト抽出部５３と、画像合成部５４と、を備える。
なお、画像処理部４１の処理単位は、フレーム等の単位画像のＹＵＶデータである。即ち、以下、画像処理部４１に関しては、特に断りのない場合、データとは、ＹＵＶデータを意味するものとする。 The image processing unit 41 includes an image acquisition unit 51, an object identification unit 52, an object extraction unit 53, and an image composition unit 54.
The processing unit of the image processing unit 41 is YUV data of a unit image such as a frame. That is, hereinafter, with respect to the image processing unit 41, unless otherwise specified, the data means YUV data.

画像取得部５１は、コラージュ画像合成処理を実行する上で注目すべき単位画像（以下、単位画像はフレームであるものとし、このような注目すべき単位画像を「注目フレーム」と呼ぶ）のデータを、生成表示データバッファから取得する。 The image acquisition unit 51 is a unit image to be noted when executing the collage image synthesis process (hereinafter, the unit image is assumed to be a frame, and such a unit image to be noted is referred to as a “target frame”). Is obtained from the generated display data buffer.

オブジェクト特定部５２は、画像取得部５１によりデータとして取得された注目フレームについて、ユーザの入力部１７に対する指示操作により一部の領域が指定された場合、当該領域に対応する被写体像をオブジェクトとして特定する。 The object specifying unit 52 specifies a subject image corresponding to the region as an object when a part of the region of interest frame acquired as data by the image acquisition unit 51 is specified by an instruction operation by the user on the input unit 17. To do.

オブジェクト抽出部５３は、注目フレームのデータから、オブジェクト特定部５２により特定されたオブジェクトを含む領域のデータを、オブジェクト画像のデータとして抽出する。 The object extraction unit 53 extracts data of a region including the object specified by the object specifying unit 52 as object image data from the data of the target frame.

以上の画像取得部５１乃至オブジェクト抽出部５３の一連の処理は、動画像を構成する各フレームのうち、複数のフレームのデータに対してそれぞれ実行される場合がある。この場合、複数のオブジェクト画像のデータが抽出されることになる。 The series of processes of the image acquisition unit 51 to the object extraction unit 53 described above may be executed on data of a plurality of frames among the frames constituting the moving image. In this case, data of a plurality of object images is extracted.

画像合成部５４は、撮像画像としての動画像を構成する各フレームの各々のデータに対して、オブジェクト抽出部５３により抽出された１以上のオブジェクト画像の各データを合成することによって、合成画像（動画像）のデータを生成する。 The image composition unit 54 synthesizes each data of one or more object images extracted by the object extraction unit 53 with each data of each frame constituting a moving image as a captured image, thereby obtaining a composite image ( Moving image) data.

ＣＰＵ３２のうち各部制御部４２は、撮像制御部６１と、記憶制御部６２と、表示制御部６３と、入力操作検出部６４と、を備える。 Each unit control unit 42 of the CPU 32 includes an imaging control unit 61, a storage control unit 62, a display control unit 63, and an input operation detection unit 64.

撮像制御部６１は、撮像部１６の撮像動作を制御する。
記憶制御部６２は、各種データを記憶部１９に記憶させる制御を実行する。
表示制御部６３は、各種画像、例えば撮像部１６により撮像された撮像画像（動画像）や、画像合成部５４により生成された合成画像（動画像）を、フレーム（単位画像）単位で出力部１８のモニタに表示させる。
入力操作検出部６４は、ユーザによる入力部１７に対する操作の内容を検出する。具体的には、入力部１７はシャッタ釦（図示せず）やタッチパネルとして構成されており、シャッタ釦に対する指等の押下操作や、タッチパネルへの指等の接触操作が、入力操作検出部６４によって検出される。 The imaging control unit 61 controls the imaging operation of the imaging unit 16.
The storage control unit 62 executes control for storing various data in the storage unit 19.
The display control unit 63 outputs various images, for example, a captured image (moving image) captured by the imaging unit 16 or a combined image (moving image) generated by the image combining unit 54 in units of frames (unit images). It is displayed on 18 monitors.
The input operation detection unit 64 detects the content of the operation on the input unit 17 by the user. Specifically, the input unit 17 is configured as a shutter button (not shown) or a touch panel, and a pressing operation of a finger or the like on the shutter button or a touch operation such as a finger on the touch panel is performed by the input operation detection unit 64. Detected.

このような機能的構成を有するＣＰＵ３２は、コラージュ画像合成処理の実行中やその前後に、ライブビュー撮像処理及びライブビュー表示処理を実行することで、ライブビュー画像を出力部１８のディスプレイに表示させる。
具体的には、ＣＰＵ３２は、撮像部１６による撮像動作を継続させる。そして、ＣＰＵ３２は、撮像部１６による撮像動作が継続されている間、当該撮像部１６から順次出力されるフレームのデータを、ＹＵＶデータの形態でメモリ（本実施形態では記憶部１９の生成表示データバッファ）に一時的に記憶させる。このような一連の制御処理が、ここでいう「ライブビュー撮像処理」である。即ち、ライブビュー撮像処理は、ＣＰＵ３２のうち撮像制御部６１により主に実行される。
また、ＣＰＵ３２は、ライブビュー撮像処理の最中にメモリ（本実施形態では記憶部１９の生成表示データバッファ）に一時的に記録された各フレームのデータを順次読み出して、当該フレームを出力部１８に順次表示させる。このような一連の制御処理が、ここでいう「ライブビュー表示処理」であり、ライブビュー表示処理により出力部１８にフレーム単位で表示されている撮像画像（動画像）が、ここでいう「ライブビュー画像」である。
即ち、表示制御部６３は、ライブビュー表示処理を実行する。
なお、本実施形態では、記憶部１９の表示データバッファに、撮像画像のままのフレームのデータが記憶されている場合には、撮像画像のままのフレームが、ライブビュー画像（動画像）の一部として出力部１８に表示される。一方、記憶部１９の合成画像データバッファに、元の撮像画像に１以上のオブジェクト画像が合成された合成画像のデータがフレームのデータとして記憶されている場合には、当該合成画像のデータが表示データバッファに上書きされて、その結果、合成画像である当該フレームが、ライブビュー画像（動画像）の一部として出力部１８に表示される。 The CPU 32 having such a functional configuration displays the live view image on the display of the output unit 18 by executing the live view imaging process and the live view display process before or after the collage image synthesis process. .
Specifically, the CPU 32 continues the imaging operation by the imaging unit 16. Then, while the imaging operation by the imaging unit 16 is continued, the CPU 32 stores frame data sequentially output from the imaging unit 16 in the form of YUV data (in this embodiment, the generated display data of the storage unit 19). Buffer). Such a series of control processes is the “live view imaging process” referred to herein. That is, the live view imaging process is mainly executed by the imaging control unit 61 in the CPU 32.
Further, the CPU 32 sequentially reads out the data of each frame temporarily recorded in the memory (in this embodiment, the generated display data buffer of the storage unit 19) during the live view imaging process, and outputs the frame to the output unit 18. Are displayed sequentially. Such a series of control processes is the “live view display process” here, and the captured image (moving image) displayed on the output unit 18 by the live view display process in units of frames is referred to as “live view display process”. View image ".
In other words, the display control unit 63 performs live view display processing.
In the present embodiment, when data of a frame that is a captured image is stored in the display data buffer of the storage unit 19, the frame that is the captured image is one of the live view images (moving images). Displayed on the output unit 18 as a part. On the other hand, when the composite image data buffer of the storage unit 19 stores composite image data in which one or more object images are combined with the original captured image as frame data, the composite image data is displayed. The data buffer is overwritten, and as a result, the frame, which is a composite image, is displayed on the output unit 18 as a part of the live view image (moving image).

次に、本実施形態の撮像装置１におけるコラージュ画像合成処理の動作の流れについて図３を用いて説明する。図３は、撮像装置１におけるコラージュ画像合成処理の動作を示すフローチャートである。
本実施形態においては、車が行き交う道路を撮像対象にして動画像を撮像した場合を例に説明する。具体的には、撮像装置１を保持して撮像操作を行うユーザ（指のみが図示されているユーザ）からみて、自動車ｃａｒＡが道路を右側から左側に向かって走行し、次に自動車ｃａｒＢが道路を左側から右側に向かって走行する場面を撮像装置１が撮像している場合について説明する。
なお、この場合、当該場面がライブビュー画像（動画像）として表示されている最中に、フレーム単位で、自動車ｃａｒＡ及び自動車ｃａｒＢの像がオブジェクト画像ｏｂｊ１，ｏｂｊ２として順次抽出される。そして、抽出されたオブジェクト画像ｏｂｊ１，ｏｂｊ２がともに撮像画像（動画像）に合成されて、その結果得られる合成画像（動画像）がライブビュー画像として表示される。 Next, the operation flow of the collage image composition processing in the imaging apparatus 1 of the present embodiment will be described with reference to FIG. FIG. 3 is a flowchart showing the operation of the collage image synthesis process in the imaging apparatus 1.
In the present embodiment, a case will be described as an example in which a moving image is picked up with a road on which a car passes as an imaging target. Specifically, when viewed from a user who holds the imaging device 1 and performs an imaging operation (a user whose only finger is illustrated), the car carA travels from the right side to the left side, and then the car carB is the road. The case where the imaging device 1 is imaging a scene of traveling from the left side to the right side will be described.
In this case, while the scene is displayed as a live view image (moving image), images of the car carA and the car carB are sequentially extracted as object images obj1 and obj2 in units of frames. The extracted object images obj1 and obj2 are both combined with the captured image (moving image), and the resultant combined image (moving image) is displayed as a live view image.

なお、コラージュ画像合成処理の理解を容易なものとすべく、具体的なユーザ操作例やライブビュー画像の表示例について、図４及び図５を適宜参照して説明する。
図４は、本実施形態におけるコラージュ画像合成処理に係るユーザ操作の一例を説明するための模式図である。
図５は、図４に示すユーザ操作によってコラージュ画像合成処理が実行された場合における、各種画像のデータの変遷の一例を示す模式図である。なお、図５においては、撮像部１６によって撮像された撮像画像（動画像）、当該撮像画像（動画像）のうち１のフレームから抽出されたオブジェクト画像、及び実際に出力部１８に表示されるライブビュー画像（モニタ表示画面）がフレーム単位で描かれている。即ち、各行（横方向の並び）に示された１つの長方形状の画像が、１つのフレームを示している。 In order to facilitate the understanding of the collage image composition processing, specific user operation examples and live view image display examples will be described with reference to FIGS. 4 and 5 as appropriate.
FIG. 4 is a schematic diagram for explaining an example of a user operation related to the collage image composition processing in the present embodiment.
FIG. 5 is a schematic diagram illustrating an example of transition of data of various images when the collage image synthesis process is executed by the user operation illustrated in FIG. 4. In FIG. 5, the captured image (moving image) captured by the imaging unit 16, the object image extracted from one frame of the captured image (moving image), and the actual output unit 18 are displayed. A live view image (monitor display screen) is drawn in frame units. In other words, one rectangular image shown in each row (horizontal arrangement) represents one frame.

先ず、ユーザが、入力部１７を操作して、コラージュ画像合成処理の開始の指示を行うと、当該指示を契機にコラージュ画像合成処理が開始される。 First, when the user operates the input unit 17 to instruct the start of the collage image composition process, the collage image composition process is started in response to the instruction.

ステップＳ１において、記憶制御部６２は、メモリ（記憶部１９）内の各領域を初期化する。具体的には、記憶制御部６２は、撮像画像データバッファと、生成表示データバッファと、オブジェクト画像データバッファと、表示データバッファと、合成画像データバッファと、圧縮用データバッファ、圧縮データバッファの各バッファとをそれぞれ初期化する。 In step S1, the storage control unit 62 initializes each area in the memory (storage unit 19). Specifically, the storage control unit 62 includes a captured image data buffer, a generated display data buffer, an object image data buffer, a display data buffer, a composite image data buffer, a compression data buffer, and a compressed data buffer. Initialize each buffer.

ステップＳ２において、記憶制御部６２は、撮像部１６からフレームのデータの取り込みを開始する。詳細には、撮像制御部６１によるライブビュー撮像処理、及び表示制御部６３によるライブビュー表示処理が開始される。そこで、記憶制御部６２は、撮像部１６により撮像されたフレームのデータ（ライブビュー画像として表示対象になる画像を構成する各フレームのデータ）の取得を開始する。具体的には、各フレームのデータが撮像画像データバッファを介して生成表示データバッファに記憶され（ＲＡＷデータからＹＵＶデータに変換されて取り込まれ）、画像取得部５１によって注目フレームのデータとして１つずつ取得されていくことが開始される。 In step S 2, the storage control unit 62 starts capturing frame data from the imaging unit 16. Specifically, live view imaging processing by the imaging control unit 61 and live view display processing by the display control unit 63 are started. Therefore, the storage control unit 62 starts to acquire data of frames captured by the imaging unit 16 (data of each frame constituting an image to be displayed as a live view image). Specifically, the data of each frame is stored in the generated display data buffer via the captured image data buffer (converted from the RAW data to the YUV data and captured), and the image acquisition unit 51 sets the data as one frame of interest. It starts to be acquired one by one.

ステップＳ３において、記憶制御部６２は、１フレーム（注目フレーム）のデータの取り込みを待つ。具体的には、撮像部１６からは、１フレームのデータが、画素単位でラスター順にＲＡＷデータの形態で順次出力されてきて、撮像画像データバッファに順次記憶され、さらに、画素単位でラスター順にＲＡＷデータからＹＵＶデータの形態に変換されて、生成表示データバッファに順次蓄積されていく。このような生成表示データバッファに１フレーム分のデータが蓄積されるまで待機することが、ステップＳ３における「１フレームのデータの取り込みを待つ」ということである。
従って、生成表示データバッファに１フレーム分のデータが蓄積されると、当該１フレームのデータが注目フレームのデータとして、画像取得部５１により取得される。 In step S 3, the storage control unit 62 waits for taking in data of one frame (frame of interest). Specifically, one frame of data is sequentially output from the imaging unit 16 in the form of RAW data in units of pixels in raster order, sequentially stored in the captured image data buffer, and further, in the order of rasters in units of pixels. The data is converted into YUV data format and sequentially stored in the generated display data buffer. Waiting until data for one frame is accumulated in such a generated display data buffer is “waiting for one frame of data to be fetched” in step S3.
Accordingly, when data for one frame is accumulated in the generated display data buffer, the data for the one frame is acquired by the image acquisition unit 51 as the data of the frame of interest.

ステップＳ４において、記憶制御部６２は、１フレーム（注目フレーム）のＹＵＶデータが生成表示データバッファに蓄積されたため、次の１フレームのＲＡＷデータの取り込みを開始すべく、取り込み面である撮像画像データバッファを更新する。これにより、撮像画像データバッファにおいては、注目フレームに対するステップＳ５以降の処理とは独立して、注目フレームの次のフレーム（次回の注目フレームの候補）のＲＡＷデータの取り込みが行われていくことになる。 In step S4, since the YUV data of one frame (frame of interest) has been accumulated in the generated display data buffer, the storage control unit 62 starts to capture the next one frame of RAW data. Update the buffer. Thus, in the captured image data buffer, the RAW data of the next frame (candidate of the next attention frame) of the attention frame is taken in independently of the processing from step S5 on the attention frame. Become.

ステップＳ５において、入力操作検出部６４は、注目フレームのデータの取り込み中に有効な操作があったか否かを判断する。
操作がなかった場合、又は、無効な操作であった場合には、ステップＳ５においてＮＯであると判定され、処理はステップＳ９に進む。なお、ステップＳ９以降の処理については後述する。
有効な操作があった場合には、ステップＳ５においてＹＥＳであると判定されて、処理はステップＳ６に進む。 In step S 5, the input operation detection unit 64 determines whether there has been an effective operation during the capture of the data of the frame of interest.
If there is no operation or if the operation is invalid, it is determined as NO in step S5, and the process proceeds to step S9. The processing after step S9 will be described later.
If there is a valid operation, it is determined as YES in step S5, and the process proceeds to step S6.

ステップＳ６において、入力操作検出部６４は、タッチコラージュ操作があったか否かを判断する。
タッチコラージュ操作とは、ライブビュー画像等が表示されている出力部１８の画面のうち、所定の領域（モニタ画像表示領域）に対して、ユーザの指やタッチペン等を接触又は近接（これらをまとめて、以下、「タッチ」と呼ぶ）する操作をいう。例えば図４（ａ）の例では、自動車ｃａｒＡの像に対して指によるタッチコラージュ操作（Ｔｏｕｃｈ！）が行われている。
タッチコラージュ操作がなかった場合（終了操作があった場合）には、ステップＳ６においてＮＯであると判定され、処理はステップＳ１０に進む。なお、ステップＳ１０以降の処理については後述する。
タッチコラージュ操作があった場合には、ステップＳ６においてＹＥＳであると判定され、処理はステップＳ７に進む。 In step S6, the input operation detection unit 64 determines whether or not a touch collage operation has been performed.
The touch collage operation refers to touching or approaching a user's finger or touch pen to a predetermined area (monitor image display area) on the screen of the output unit 18 on which a live view image or the like is displayed (collecting them together). (Hereinafter referred to as “touch”). For example, in the example of FIG. 4A, a touch collage operation (Touch!) With a finger is performed on the image of the car carA.
When there is no touch collage operation (when there is an end operation), it is determined as NO in Step S6, and the process proceeds to Step S10. The processing after step S10 will be described later.
If there is a touch collage operation, it is determined as YES in step S6, and the process proceeds to step S7.

ステップＳ７において、オブジェクト抽出部５３は、オブジェクト抽出処理を行う。オブジェクト抽出処理とは、出力部１８の表示画面に表示されたフレームのうち、タッチコラージュ操作がなされた領域を検出し、当該領域のデータをオブジェクト画像のデータとして抽出する処理をいう。
詳細には、オブジェクト抽出処理では、タッチコラージュ操作がなされた領域を対象に、エッジ等が判断されて１つの閉曲線内の領域（１つの塊）がオブジェクト画像として特定され、当該オブジェクト画像のデータが抽出される。 In step S7, the object extraction unit 53 performs an object extraction process. The object extraction process refers to a process of detecting a region in which a touch collage operation has been performed from the frames displayed on the display screen of the output unit 18 and extracting the data of the region as object image data.
Specifically, in the object extraction process, an edge or the like is determined for an area where a touch collage operation has been performed, and an area (one block) within one closed curve is specified as an object image, and the data of the object image is stored. Extracted.

ステップＳ８において、画像合成部５４は、合成処理を行う。
即ち、画像合成部５４は、ステップＳ７で注目フレームから抽出されたオブジェクト画像のデータと、表示対象のフレームのデータとを合成することによって、合成画像のデータを生成する。
合成画像のデータは、記憶制御部６２により、合成画像データバッファに記憶される。その後、合成画像のデータは、記憶制御部６２により、表示データバッファに記憶される。 In step S8, the image composition unit 54 performs composition processing.
That is, the image composition unit 54 composes the data of the object image extracted from the frame of interest in step S7 and the data of the frame to be displayed, thereby generating composite image data.
The composite image data is stored in the composite image data buffer by the storage control unit 62. Thereafter, the composite image data is stored in the display data buffer by the storage control unit 62.

ステップＳ９において、表示制御部６３は、表示更新処理を行う。詳細には、表示制御部６３は、表示データバッファに記憶されているデータに対応するフレームを表示出力するように出力部１８を制御する。 In step S9, the display control unit 63 performs a display update process. Specifically, the display control unit 63 controls the output unit 18 to display and output a frame corresponding to the data stored in the display data buffer.

以上説明したステップＳ６乃至Ｓ９の一連の処理について、図４及び図５の具体例を用いてさらに詳しく説明する。
例えば図４の例では、ユーザにより、モニタ画面の所定の領域（自動車ｃａｒＡがある領域）に対してタッチコラージュ操作がなされたことにより（図４（ａ）を参照）、ステップＳ６でＹＥＳであると判定されると、ステップＳ７のオブジェクト抽出処理として、次のような処理が実行される。
即ち、自動車ｃａｒＡを示すオブジェクト画像（ｏｂｊ１）が特定され、当該自動車ｃａｒＡのオブジェクト画像（ｏｂｊ１）のデータが抽出される（図４（ｂ）を参照）。
より詳細には、オブジェクト特定部５２は、図５（ａ）に示すオリジナルフレームを注目フレームとして、当該注目フレームのうち、タッチコラージュ操作がなされた自動車ｃａｒＡの像を含む領域をオブジェクト画像ｏｂｊ１として特定する。オブジェクト抽出部５３は、図５（ａ）に示す注目フレームから、オブジェクト画像ｏｂｊ１のデータを抽出する。なお、このオブジェクト画像ｏｂｊ１のデータには、当該オブジェクトｏｂｊ１の注目フレーム内の位置関係を示す情報も対応付けられている。この点が、図５（ｂ）の抽出オブジェクトにおいて、オブジェクトｏｂｊ１が、図５（ａ）に示す注目フレーム内の配置位置と同一位置に配置されることによって、視覚的に示されている。 The series of processes in steps S6 to S9 described above will be described in more detail using the specific examples of FIGS.
For example, in the example of FIG. 4, when the user has performed a touch collage operation on a predetermined area on the monitor screen (an area where the car carA is present) (see FIG. 4A), YES is determined in step S6. Is determined, the following processing is executed as the object extraction processing in step S7.
That is, the object image (obj1) indicating the car carA is specified, and the data of the object image (obj1) of the car carA is extracted (see FIG. 4B).
More specifically, the object specifying unit 52 specifies the area including the image of the car carA on which the touch collage operation is performed as the object image obj1 in the target frame, with the original frame illustrated in FIG. To do. The object extraction unit 53 extracts data of the object image obj1 from the frame of interest shown in FIG. The data of the object image obj1 is also associated with information indicating the positional relationship of the object obj1 within the target frame. This point is visually shown in the extracted object in FIG. 5B by placing the object obj1 at the same position as the placement position in the target frame shown in FIG. 5A.

このようにして、ステップＳ７でオブジェクト抽出処理が実行されると、ステップＳ８で合成処理が実行され、ステップＳ９の表示更新処理により、図４（ｃ）に示すようなオブジェクトｏｂｊ１がライブビュー画像（フレーム）に合成された合成画像が出力部１８のディスプレイに表示される。
より詳細には、図５（ｃ）に示すように、左方のオリジナルフレームが表示対象のフレームとなり、当該表示対象のフレームのデータに対して、中央のオブジェクト画像ｏｂｊ１のデータが合成されることによって、右方の合成画像のデータが得られ、当該合成画像が出力部１８のディスプレイに表示される。
ここで、オブジェクト画像ｏｂｊ１は、図５（ａ）に示すオリジナルフレーム（注目フレーム）に含まれていた位置と略同一位置に、合成画像内で含まれていることがわかる。また、表示対象のフレーム（ライブビュー画像）とは、図５（ｃ）に示すオリジナルフレームであり、オブジェクト画像ｏｂｊ１が抽出された図５（ａ）に示すオリジナルフレーム（注目フレーム）よりも時間的に後であることがわかる。
なお、本実施形態においては、オブジェクト画像ｏｂｊ１は、出力部１８での見た目上の差異をユーザにあえて視認させるために、また、データ量を低くして処理負担を軽減するために、画素を間引きする等して解像度を低くしたものが用いられる。 Thus, when the object extraction process is executed in step S7, the composition process is executed in step S8, and the object obj1 as shown in FIG. The composite image combined with the frame is displayed on the display of the output unit 18.
More specifically, as shown in FIG. 5C, the original frame on the left becomes the display target frame, and the data of the center object image obj1 is synthesized with the data of the display target frame. Thus, data of the right composite image is obtained, and the composite image is displayed on the display of the output unit 18.
Here, it can be seen that the object image obj1 is included in the composite image at a position substantially the same as the position included in the original frame (the target frame) shown in FIG. Further, the display target frame (live view image) is the original frame shown in FIG. 5C, which is more temporal than the original frame (focused frame) shown in FIG. 5A from which the object image obj1 is extracted. It turns out later.
In the present embodiment, the object image obj1 is thinned out in order to make the user visually recognize the difference in appearance in the output unit 18 and to reduce the processing load by reducing the data amount. For example, a lower resolution is used.

このようにして、ステップＳ９の表示更新処理が終了すると、処理はステップＳ３に戻され、それ以降の処理が繰り返される。
例えば図４の例では、モニタ画面の所定の領域（自動車ｃａｒＢがある領域）に対してタッチコラージュ操作がなされた場合（図４（ｃ）を参照）、自動車ｃａｒＢを示すオブジェクト画像（ｏｂｊ２）が特定され、当該自動車ｃａｒＢのオブジェクト画像（ｏｂｊ２）のデータが抽出される（図４（ｄ）を参照）。
より詳細には、オブジェクト特定部５２は、図５（ｄ）に示す注目フレームのうち、タッチコラージュ操作がなされた自動車ｃａｒＢの像を含む領域をオブジェクト画像ｏｂｊ２として特定する。オブジェクト抽出部５３は、図５（ｄ）に示す注目フレームから、オブジェクト画像ｏｂｊ２のデータを抽出しデータを上書きする（図５（ｅ）を参照）。その結果、表示更新処理により、図４（ｄ）及び（ｅ）に示すようなオブジェクトｏｂｊ１及びオブジェクトｏｂｊ２がライブビュー画像（フレーム）に合成された合成画像が出力部１８のディスプレイに表示される（図５（ｆ）及び（ｇ）を参照）。
例えば、ステップＳ３，Ｓ４の後、取り込み中に有効な操作があったとしてステップＳ５でＹＥＳであると判定されたものとする。ただし、この有効な操作がタッチコラージュ操作ではなく終了操作であった場合には、ステップＳ６においてＮＯであると判定されて、処理はステップＳ１０に進む。 Thus, when the display update process in step S9 is completed, the process returns to step S3, and the subsequent processes are repeated.
For example, in the example of FIG. 4, when a touch collage operation is performed on a predetermined area on the monitor screen (an area where the car carB is located) (see FIG. 4C), an object image (obj2) indicating the car carB is displayed. The data of the object image (obj2) of the car carB is extracted (see FIG. 4D).
More specifically, the object specifying unit 52 specifies, as the object image obj2, an area including the image of the car carB on which the touch collage operation has been performed in the target frame illustrated in FIG. The object extraction unit 53 extracts the data of the object image obj2 from the target frame shown in FIG. 5D and overwrites the data (see FIG. 5E). As a result, a composite image in which the object obj1 and the object obj2 as shown in FIGS. 4D and 4E are combined with the live view image (frame) is displayed on the display of the output unit 18 by the display update process ( (Refer FIG.5 (f) and (g)).
For example, it is assumed that after steps S3 and S4, it is determined as YES in step S5 because there is an effective operation during capture. However, if this valid operation is not a touch collage operation but an end operation, it is determined as NO in step S6, and the process proceeds to step S10.

ステップＳ１０において、記憶制御部６２は、撮像部１６からフレームの取り込みを停止する。 In step S 10, the storage control unit 62 stops capturing frames from the imaging unit 16.

ステップＳ１１において、データ圧縮／伸長部３３は、表示データバッファ（表示面）に記憶されているフレームのデータに対して、ＪＰＥＧ方式に従って圧縮符号化処理を施す。
ここで、合成画像が出力部１８のディスプレイにライブビュー画像として表示されている場合、即ち、合成画像のデータが表示データバッファ（表示面）に記憶されている場合、当該合成画像のデータが、ＪＰＥＧ方式の圧縮符号化の対象になる。
これに対して、オリジナルフレーム（撮像画像そのもの）が出力部１８のディスプレイにライブビュー画像として表示されている場合、即ち、オリジナルフレームのデータが表示データバッファ（表示面）に記憶されている場合、当該オリジナルフレームのデータが、ＪＰＥＧ方式の圧縮符号化の対象になる。 In step S 11, the data compression / decompression unit 33 performs compression coding processing on the frame data stored in the display data buffer (display surface) according to the JPEG method.
Here, when the composite image is displayed as a live view image on the display of the output unit 18, that is, when the composite image data is stored in the display data buffer (display surface), the data of the composite image is It becomes an object of JPEG compression encoding.
On the other hand, when the original frame (captured image itself) is displayed as a live view image on the display of the output unit 18, that is, when the data of the original frame is stored in the display data buffer (display surface), The data of the original frame is the target of JPEG compression encoding.

ステップＳ１２において、記憶制御部６２は、ＪＰＥＧ結果、即ち、ステップＳ１１でＪＰＥＧ方式に従って圧縮符号化された結果得られた圧縮データを、メモリカードに書き込む。ここで、メモリカードとは、リムーバブルメディア２２の一形態をいう。即ち、記憶制御部６２は、圧縮データをリムーバブルメディア２２に記憶させる。
これにより、コラージュ画像合成処理は、終了する。 In step S12, the storage control unit 62 writes the JPEG result, that is, the compressed data obtained as a result of compression encoding according to the JPEG method in step S11, to the memory card. Here, the memory card refers to one form of the removable medium 22. That is, the storage control unit 62 stores the compressed data in the removable medium 22.
Thereby, the collage image composition processing is completed.

一方で、ステップＳ９の表示更新処理が終了すると、処理はステップＳ３に戻され、それ以降の処理が繰り返される。
例えば、ステップＳ３，Ｓ４の後、取り込み中に有効な操作があったとしてステップＳ５でＹＥＳであると判定されたものとする。ただし、この有効な操作がタッチコラージュ操作ではなく終了操作であった場合には、ステップＳ６においてＮＯであると判定されて、処理はステップＳ１０に進む。 On the other hand, when the display update process in step S9 ends, the process returns to step S3, and the subsequent processes are repeated.
For example, it is assumed that after steps S3 and S4, it is determined as YES in step S5 because there is an effective operation during capture. However, if this valid operation is not a touch collage operation but an end operation, it is determined as NO in step S6, and the process proceeds to step S10.

従って、撮像装置１においては、動画像の撮影時にユーザの操作により、撮像された動画像からオブジェクト画像が抽出されて、動画像と合成される。これにより、動画像撮影中に、動画像の編集を行うことができる。 Therefore, in the imaging device 1, the object image is extracted from the captured moving image by the user's operation at the time of shooting the moving image, and is combined with the moving image. As a result, the moving image can be edited during moving image shooting.

以上のように構成される撮像装置１は、画像取得部５１と、入力部１７及び入力操作検出部６４からなる指示部と、オブジェクト抽出部５３と、画像合成部５４と、を備える。
画像取得部５１は、複数の画像を順次取得する。
指示部のうち入力部１７は、ユーザの入力操作に基づいて、取得された画像上のオブジェクトを指示する。
オブジェクト抽出部５３は、指示されたオブジェクトを含む領域のオブジェクト画像を抽出する。
画像合成部５４は、抽出されたオブジェクト画像を、順次取得される画像に合成することで、合成画像を順次生成する。 The imaging apparatus 1 configured as described above includes an image acquisition unit 51, an instruction unit including an input unit 17 and an input operation detection unit 64, an object extraction unit 53, and an image composition unit 54.
The image acquisition unit 51 sequentially acquires a plurality of images.
Of the instruction units, the input unit 17 instructs an object on the acquired image based on a user input operation.
The object extraction unit 53 extracts an object image of a region including the instructed object.
The image synthesizing unit 54 sequentially generates synthesized images by synthesizing the extracted object images with sequentially acquired images.

従って、撮像装置１では、取得した動画像の編集を簡単に行うことができる。 Therefore, the imaging apparatus 1 can easily edit the acquired moving image.

また、撮像装置１は、出力部１８と、表示制御部６３とを備える。
出力部１８は、画像取得部５１に順次取得される画像を表示する。
表示制御部６３は、入力部１７によりオブジェクトを指示された後は、画像合成部５４により順次生成される合成画像を出力部１８に表示させるよう制御する。 In addition, the imaging apparatus 1 includes an output unit 18 and a display control unit 63.
The output unit 18 displays images sequentially acquired on the image acquisition unit 51.
The display control unit 63 controls the output unit 18 to display the synthesized image sequentially generated by the image synthesis unit 54 after the input unit 17 instructs the object.

従って、撮像装置１では、タッチコラージュ操作がなされた後は、画像合成部５４により順次データとして生成される合成画像を出力部１８に表示させるために、ユーザは、合成後の状態を合成操作のそばから確認することができる。 Therefore, in the imaging apparatus 1, after the touch collage operation is performed, the user can display the combined state sequentially generated as data by the image combining unit 54 on the output unit 18 so that the user can display the combined state of the combining operation. You can check from the side.

また、撮像装置１は、指示部のうち入力操作検出部６４は、出力部１８の表示画面の所定領域に対して物体が接触又は近接することを検出することにより、所定領域に対するタッチコラージュ操作がなされたことを検出する。 In the imaging apparatus 1, the input operation detection unit 64 of the instruction unit detects that the object is in contact with or close to the predetermined region on the display screen of the output unit 18, thereby performing a touch collage operation on the predetermined region. Detect what has been done.

従って、撮像装置１では、指やタッチペン等により入力部１７に対してタッチコラージュ操作を行うことで、画像の編集が行えるために、直感的に画像の編集を行うことができる。 Therefore, in the imaging device 1, since the image can be edited by performing a touch collage operation on the input unit 17 with a finger, a touch pen, or the like, the image can be edited intuitively.

また、撮像装置１では、オブジェクト抽出部５３は、入力操作検出部６４によりオブジェクトが指示される度に、指示された際の画像からオブジェクトを含む領域のオブジェクト画像を抽出する。
画像合成部５４は、オブジェクト抽出部５３によって抽出された複数のオブジェクト画像のそれぞれを、画像取得部５１によって順次取得される画像に合成することで、合成画像を順次生成する。 Further, in the imaging apparatus 1, the object extraction unit 53 extracts an object image of a region including the object from the image at the time when the input operation detection unit 64 indicates the object, from the image when the instruction is given.
The image composition unit 54 sequentially generates a composite image by combining each of the plurality of object images extracted by the object extraction unit 53 with images sequentially acquired by the image acquisition unit 51.

従って、撮像装置１では、画像合成部５４において、第１のオブジェクト画像及び第２のオブジェクト画像の各データを、画像取得部５１によって第１の画像及び第３の画像の各データの後に取得された第４の画像のデータに合成する。このため、ユーザは、動画像の変化を考慮した編集を行うことができる。 Therefore, in the imaging device 1, the data of the first object image and the second object image is acquired by the image composition unit 54 after the data of the first image and the third image by the image acquisition unit 51. The fourth image data is synthesized. For this reason, the user can perform editing in consideration of changes in moving images.

また、撮像装置１は、連続的に撮像画像を出力する撮像部１６を備える。
画像取得部５１は、前記撮像手段から出力される撮像画像のそれぞれを、前記複数の画像として取得する。 Moreover, the imaging device 1 includes an imaging unit 16 that continuously outputs captured images.
The image acquisition unit 51 acquires each of the captured images output from the imaging unit as the plurality of images.

従って、撮像装置１では、撮像した動画像をリアルタイムに編集することができる。ユーザは、画像の変化を確認しながらユーザは編集作業を行うことができるために、編集作業が簡単になると共に、静止画を編集する場合に比べて、画像の変化がより反映された画像が作成されやすくなる。 Therefore, the imaging device 1 can edit the captured moving image in real time. Since the user can perform editing work while checking the change of the image, the editing work is simplified, and an image in which the change of the image is more reflected is compared with the case of editing the still image. It will be easier to create.

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。 In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.

上述の実施形態では、撮像部１６により撮像された動画像を用いたがこれに限られず、例えば、記憶部１９に記憶された動画像を用いるように構成してもよい。 In the above-described embodiment, the moving image captured by the imaging unit 16 is used, but the present invention is not limited to this. For example, a moving image stored in the storage unit 19 may be used.

また、上述の実施形態では、タッチされた位置に基づいて、オブジェクト画像を抽出元となる動画像に配置させるように構成したがこれに限られず、オブジェクト画像は何れの場所にも変更可能であり、任意に場所に変更したり、設定により所定の場所に配置したりするように構成することもできる。 In the above-described embodiment, the object image is arranged on the moving image that is the extraction source based on the touched position. However, the present invention is not limited to this, and the object image can be changed to any location. Further, it can be configured to arbitrarily change to a place or to arrange at a predetermined place by setting.

また、上述した実施形態では、合成画像生成部は、抽出して合成した後のフレームから抽出画像を表示するように合成画像を生成したがこれに限られない。例えば、抽出画像を最初のフレームから最後のフレームに至るまで表示されるように合成画像を生成してもよいし、所定のタイミング（例えば、所定のフレームや所定の再生時間）で表示するように合成画像を生成してもよい。 In the above-described embodiment, the composite image generation unit generates the composite image so as to display the extracted image from the frame after extraction and synthesis. However, the present invention is not limited to this. For example, the composite image may be generated so that the extracted image is displayed from the first frame to the last frame, or displayed at a predetermined timing (for example, a predetermined frame or a predetermined reproduction time). A composite image may be generated.

また、上述した実施形態では、オブジェクト画像の抽出指示は、実施形態ではタッチコラージュ操作で行ったが、任意の抽出指示操作でよい。 In the above-described embodiment, the object image extraction instruction is performed by the touch collage operation in the embodiment, but may be any extraction instruction operation.

また、上述した実施形態では、表示制御部６３は、オブジェクト画像は、画素を間引きする等して解像度を低くしたものが用いられように構成したがこれに限られない。例えば、オブジェクト画像は、撮像画像よりも高い解像度で表示したり、撮像画像と同様の見栄えになるように同様の解像度で表示したりしてもよい。 In the above-described embodiment, the display control unit 63 is configured such that the object image has a reduced resolution by thinning out pixels or the like, but is not limited thereto. For example, the object image may be displayed at a higher resolution than the captured image, or may be displayed at the same resolution so as to have the same appearance as the captured image.

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、コラージュ画像合成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。 In the above-described embodiment, the imaging apparatus 1 to which the present invention is applied has been described using a digital camera as an example, but is not particularly limited thereto.
For example, the present invention can be applied to general electronic devices having a collage image composition processing function. Specifically, for example, the present invention can be applied to a notebook personal computer, a printer, a television receiver, a video camera, a portable navigation device, a mobile phone, a portable game machine, and the like.

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。 The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configuration of FIG. 2 is merely an example and is not particularly limited. That is, it is sufficient that the imaging apparatus 1 has a function capable of executing the above-described series of processing as a whole, and what functional blocks are used to realize this function is not particularly limited to the example of FIG.
In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。 When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア２２により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア２２は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｋ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ），ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。 The recording medium including such a program is not only constituted by the removable medium 22 shown in FIG. 1 distributed separately from the apparatus main body in order to provide the program to the user, but is also stored in the apparatus main body in advance. The recording medium etc. provided in The removable medium 22 is configured by, for example, a magnetic disk (including a floppy disk), an optical disk, a magneto-optical disk, or the like. The optical disk is composed of, for example, a CD-ROM (Compact Disk-Read Only Memory), a DVD (Digital Versatile Disk), or the like. The magneto-optical disk is configured by an MD (Mini-Disk) or the like. In addition, the recording medium provided to the user in a state of being preliminarily incorporated in the apparatus main body includes, for example, the ROM 12 in FIG. 1 in which a program is recorded, the hard disk included in the storage unit 19 in FIG.

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。 In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
Further, in the present specification, the term “system” means an overall apparatus configured by a plurality of devices, a plurality of means, and the like.

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although several embodiment of this invention was described, these embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the invention described in the claims and the equivalents thereof.

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
複数の画像を順次取得する取得手段と、
前記取得手段により取得された画像上のオブジェクトを指示するための指示手段と、
前記指示手段により指示されたオブジェクトを含む領域のオブジェクト画像を抽出する抽出手段と、
前記抽出手段によって抽出された前記オブジェクト画像を、前記取得手段によって順次取得される画像に合成することで、合成画像を順次生成する生成手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記取得手段に順次取得される画像を表示する表示手段と、
前記指示手段によりオブジェクトを指示された後は、前記生成手段により順次生成される前記合成画像を前記表示手段に表示させるよう制御する制御手段と、
を更に備えることを特徴とする付記１に記載の画像処理装置。
［付記３］
前記指示手段は、
前記表示手段の表示画面の所定領域に対して物体が接触又は近接することを検出することにより、前記所定領域に含まれるオブジェクトが指示されたことを検出する検出手段
を更に備えることを特徴とする付記２に記載の画像処理装置。
［付記４］
前記抽出手段は、
前記指示手段によりオブジェクトが指示される度に、前記指示された際の画像からオブジェクトを含む領域のオブジェクト画像を抽出し、
前記生成手段は、
前記抽出手段によって抽出された複数のオブジェクト画像のそれぞれを、前記取得手段によって順次取得される画像に合成することで、合成画像を順次生成する
ことを特徴とする付記１乃至３の何れか１項に記載の画像処理装置。
［付記５］
連続的に撮像画像を出力する撮像手段を更に備え、
前記取得手段は、前記撮像手段から出力される撮像画像のそれぞれを、前記複数の画像として取得する、
ことを特徴とする付記１乃至４の何れか１項に記載の画像処理装置。
［付記６］
画像処理装置が実行する画像処理方法において、
複数の画像を順次取得する取得ステップと、
前記取得ステップにおいて取得された画像上のオブジェクトを指示するための指示ステップと、
前記指示ステップにおいて指示されたオブジェクトを含む領域のオブジェクト画像を抽出する抽出ステップと、
前記抽出ステップにおいて抽出された前記オブジェクト画像を、前記取得ステップにおいて順次取得される画像に合成することで、合成画像を順次生成する生成ステップと、
を含むことを特徴とする画像処理方法。
［付記７］
画像処理装置を制御するコンピュータに、
複数の画像を順次取得する取得機能、
前記取得機能により取得された画像上のオブジェクトを指示するための指示機能、
前記指示機能により指示されたオブジェクトを含む領域のオブジェクト画像を抽出する抽出機能、
前記抽出機能によって抽出された前記オブジェクト画像を、前記取得機能によって順次取得される画像に合成することで、合成画像を順次生成する生成機能、
を実現させるためのプログラム。 Hereinafter, note the invention described in the scope of the initial claims application of the present application.
[Appendix 1]
Acquisition means for sequentially acquiring a plurality of images;
Instruction means for indicating an object on the image acquired by the acquisition means;
Extraction means for extracting an object image of a region including the object instructed by the instruction means;
Generating means for sequentially generating synthesized images by synthesizing the object images extracted by the extracting means with images sequentially obtained by the obtaining means;
An image processing apparatus comprising:
[Appendix 2]
Display means for displaying images sequentially obtained by the obtaining means;
Control means for controlling the display means to display the composite image sequentially generated by the generating means after the object is indicated by the indicating means;
The image processing apparatus according to appendix 1, further comprising:
[Appendix 3]
The instruction means includes
It further comprises detection means for detecting that an object included in the predetermined area is instructed by detecting that an object contacts or approaches a predetermined area of the display screen of the display means. The image processing apparatus according to appendix 2.
[Appendix 4]
The extraction means includes
Each time an object is indicated by the instruction means, an object image of an area including the object is extracted from the image at the time of the instruction,
The generating means includes
Any one of the supplementary notes 1 to 3, wherein a synthesized image is sequentially generated by synthesizing each of the plurality of object images extracted by the extracting unit with images sequentially acquired by the acquiring unit. An image processing apparatus according to 1.
[Appendix 5]
It further comprises an imaging means for continuously outputting captured images,
The acquisition unit acquires each of the captured images output from the imaging unit as the plurality of images.
The image processing apparatus according to any one of appendices 1 to 4, wherein the image processing apparatus is characterized in that
[Appendix 6]
In the image processing method executed by the image processing apparatus,
An acquisition step of sequentially acquiring a plurality of images;
An instruction step for indicating an object on the image acquired in the acquisition step;
An extraction step of extracting an object image of a region including the object instructed in the instruction step;
A generation step of sequentially generating a composite image by combining the object image extracted in the extraction step with an image sequentially acquired in the acquisition step;
An image processing method comprising:
[Appendix 7]
In the computer that controls the image processing apparatus,
Acquisition function to acquire multiple images sequentially,
An instruction function for indicating an object on the image acquired by the acquisition function;
An extraction function for extracting an object image of a region including the object instructed by the instruction function;
A generation function for sequentially generating composite images by combining the object images extracted by the extraction function with images sequentially acquired by the acquisition function;
A program to realize

１・・・撮像装置，１１・・・カメラＬＳＩ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インタフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，２２・・・リムーバブルメディア，３１・・・カメラ処理部，３２・・・ＣＰＵ，３３・・・データ圧縮／伸長部，４１・・・画像処理部，４２・・・各部制御部，５１・・・画像取得部，５２・・・オブジェクト特定部，５３・・・オブジェクト抽出部，５４・・・画像合成部，６１・・・撮像制御部，６２・・・記憶制御部，６３・・・表示制御部，６４・・・入力操作検出部 DESCRIPTION OF SYMBOLS 1 ... Imaging device, 11 ... Camera LSI, 12 ... ROM, 13 ... RAM, 14 ... Bus, 15 ... Input / output interface, 16 ... Imaging part, 17 ... Input unit 18 ... Output unit 19 ... Storage unit 20 ... Communication unit 21 ... Drive 22 ... Removable media 31 ... Camera processing unit 32 ... CPU, 33 ... Data compression / decompression unit, 41 ... Image processing unit, 42 ... Control unit, 51 ... Image acquisition unit, 52 ... Object specifying unit, 53 ... Object extraction , 54... Image compositing unit, 61... Imaging control unit, 62... Storage control unit, 63.

Claims

Acquisition means for sequentially acquiring a plurality of images;
Instruction means for indicating an object on the image acquired by the acquisition means;
Extraction means for extracting an object image of a region including the object instructed by the instruction means;
Generating means for sequentially generating synthesized images by synthesizing the object images extracted by the extracting means with images sequentially obtained by the obtaining means;
An image processing apparatus comprising:

Display means for displaying images sequentially obtained by the obtaining means;
Control means for controlling the display means to display the composite image sequentially generated by the generating means after the object is indicated by the indicating means;
The image processing apparatus according to claim 1, further comprising:

The instruction means includes
It further comprises detection means for detecting that an object included in the predetermined area is instructed by detecting that an object contacts or approaches a predetermined area of the display screen of the display means. The image processing apparatus according to claim 2.

The extraction means includes
Each time an object is indicated by the instruction means, an object image of an area including the object is extracted from the image at the time of the instruction,
The generating means includes
4. The composite image is sequentially generated by combining each of the plurality of object images extracted by the extraction unit with images sequentially acquired by the acquisition unit. 5. The image processing apparatus according to item.

It further comprises an imaging means for continuously outputting captured images,
The acquisition unit acquires each of the captured images output from the imaging unit as the plurality of images.
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.

In the image processing method executed by the image processing apparatus,
An acquisition step of sequentially acquiring a plurality of images;
An instruction step for indicating an object on the image acquired in the acquisition step;
An extraction step of extracting an object image of a region including the object instructed in the instruction step;
A generation step of sequentially generating a composite image by combining the object image extracted in the extraction step with an image sequentially acquired in the acquisition step;
An image processing method comprising:

In the computer that controls the image processing apparatus,
Acquisition function to acquire multiple images sequentially,
An instruction function for indicating an object on the image acquired by the acquisition function;
An extraction function for extracting an object image of a region including the object instructed by the instruction function;
A generation function for sequentially generating composite images by combining the object images extracted by the extraction function with images sequentially acquired by the acquisition function;
A program to realize