JP2011176557A - Image processor, and method and program thereof - Google Patents

Image processor, and method and program thereof Download PDF

Info

Publication number
JP2011176557A
JP2011176557A JP2010038511A JP2010038511A JP2011176557A JP 2011176557 A JP2011176557 A JP 2011176557A JP 2010038511 A JP2010038511 A JP 2010038511A JP 2010038511 A JP2010038511 A JP 2010038511A JP 2011176557 A JP2011176557 A JP 2011176557A
Authority
JP
Japan
Prior art keywords
image
image data
moving object
moving
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010038511A
Other languages
Japanese (ja)
Other versions
JP5581728B2 (en
Inventor
Toshinao Kawahara
利尚 河原
Katsuyoshi Suzuki
勝吉 鈴木
Kei Tanaka
慶 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2010038511A priority Critical patent/JP5581728B2/en
Publication of JP2011176557A publication Critical patent/JP2011176557A/en
Application granted granted Critical
Publication of JP5581728B2 publication Critical patent/JP5581728B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To acquire a composite image continuously photographing dynamic objects, which can determine moving directions of a plurality of the objects. <P>SOLUTION: When an original frame storage part 121 stores image data of a plurality of original frame images which are acquired by the continuous photographing of dynamic objects, a dynamic object extraction part 103 links dynamic object image data and their position information to the original image photographing order, and extracts them from image data of the plurality of original frame images. Based on the object photographing order and the position information of dynamic object image data in the original frame image data, an image processor 106 processes image data in that an image composer 105 composes background frame images and dynamic object image data so that a time-sequentially preceding dynamic object and the following dynamic object have different clearness to generate a composite image in which dynamic objects are continuously photographed. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、被写体の移動方向を判別可能な動体連写合成画像を得ることを可能にする技術に関する。   The present invention relates to an image processing apparatus and method, and a program, and more particularly, to a technique that makes it possible to obtain a moving object continuous shot composite image that can determine a moving direction of a subject.

従来より、移動する被写体（以下、「被写動体」と呼ぶ）を連続して撮影することができるデジタルカメラが存在する。このようなデジタルカメラの連続撮影により、その画角の範囲内で、被写動体の配置位置が移動方向に徐々に変化していく複数の画像が得られる。なお、このようにしてデジタルカメラにより撮影された画像であって、画角の範囲内の１枚の画像を、以下、「フレーム画像」と呼ぶ。   Conventionally, there is a digital camera that can continuously photograph a moving subject (hereinafter referred to as a “moving object”). By continuous shooting with such a digital camera, a plurality of images in which the arrangement position of the moving object gradually changes in the moving direction within the range of the angle of view can be obtained. Note that an image taken by the digital camera in this way and within the range of the angle of view is hereinafter referred to as a “frame image”.

近年、このようなデジタルカメラが実行できる処理として、連続撮影により得られた複数のフレーム画像内の被写動体を、各々の配置位置を保持したまま合成する処理が知られている（例えば特許文献１，２参照）。なお、このような処理を、以下、「動体連写合成処理」と呼び、動体連写合成処理により得られる画像を、以下、「動体連写合成画像」と呼ぶ。   In recent years, as a process that can be executed by such a digital camera, a process is known in which moving objects in a plurality of frame images obtained by continuous shooting are combined while maintaining their arrangement positions (for example, Patent Documents). 1 and 2). Such processing is hereinafter referred to as “moving object continuous shooting composition processing”, and an image obtained by moving object continuous shooting combining processing is hereinafter referred to as “moving object continuous shooting combined image”.

特開平０９−１０２９１０号公報Japanese Patent Laid-Open No. 09-102910 特開平０８−２２１５７７号公報Japanese Patent Laid-Open No. 08-221577

しかしながら、従来の動体連写合成画像では、被写動体の各々の配置位置を単に保持するだけであり、被写動体の移動方向を何ら考慮するものではなかった。即ち、得られた動体連写合成画像からでは、複数の被写動体の各々がどのように移動（動作）していたものであるかを把握することはできなかった。   However, in the conventional moving object continuous shooting composite image, the arrangement positions of the moving objects are merely held, and the moving direction of the moving objects is not considered at all. That is, it was impossible to grasp how each of the plurality of moving objects was moved (operated) from the obtained moving object continuous shooting composite image.

そこで、本発明は、複数の被写動体の移動方向を判別可能な動体連写合成画像を得ることを目的とする。   SUMMARY OF THE INVENTION An object of the present invention is to obtain a moving subject continuous shot composite image in which the moving directions of a plurality of moving subjects can be determined.

本発明の第１の観点によると、移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の原画像の画像データに対して画像処理を行う画像処理装置であって、該画像処理装置は、前記複数の原画像の画像データの各々から、前記被写動体の画像データを、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に対応付けて抽出する抽出手段と、前記複数の原画像の画像データの各々から前記被写動体を除いた背景画像の画像データを生成する生成手段と、前記生成手段により生成された前記背景画像の画像データに対して、前記抽出手段により抽出された前記被写動体の画像データの各々を、前記原画像の画像データにおける当該被写動体の画像データの位置情報に基づいて重ね合わせることによって、動体連写合成画像の画像データを生成する合成手段と、前記合成手段により生成された動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体と時間的に過去の被写動体とが異なる鮮明度となるように加工する加工手段と、を備える画像処理装置を提供する。   According to a first aspect of the present invention, there is provided an image processing apparatus that performs image processing on image data of a plurality of original images using each of a plurality of images obtained by continuous shooting on a moving moving object as an original image. Then, the image processing apparatus obtains the image data of the moving object from each of the image data of the plurality of original images, the order in which the moving object was photographed, and the object in the image data of the original image. Position information of moving object image data, extraction means for extracting in association with the image data, generating means for generating image data of a background image excluding the moving object from each of the image data of the plurality of original images, With respect to the image data of the background image generated by the generating unit, each of the image data of the moving object extracted by the extracting unit is replaced with the image of the moving object in the image data of the original image. Superimposing on the basis of the position information of the data, a synthesizing unit that generates image data of the moving object continuous shooting combined image, and the image data of the moving object continuous shooting combined image generated by the combining unit Based on the order in which the moving object was photographed and the positional information of the image data of the moving object in the image data of the original image, the future moving object in time and the moving object in the past are temporally An image processing apparatus is provided that includes processing means for processing to have different sharpnesses.

本発明の第２の観点によると、画像処理装置によって、移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の原画像の画像データに対して画像処理を行うための画像処理方法において、前記複数の原画像の画像データの各々から、前記被写動体の画像データを、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に対応付けて抽出する抽出ステップと、前記複数の原画像の画像データの各々から前記被写動体を除いた背景画像の画像データを生成する生成ステップと、前記生成ステップにおいて生成された前記背景画像の画像データに対して、前記抽出ステップにおいて抽出された前記被写動体の画像データの各々を、前記原画像の画像データにおける当該被写動体の画像データの位置情報に基づいて重ね合わせることによって、動体連写合成画像の画像データを生成する合成ステップと、前記合成ステップにおいて生成された動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体と時間的に過去の被写動体とが異なる鮮明度となるように加工する加工ステップと、を含む画像処理方法を提供する。   According to the second aspect of the present invention, the image processing apparatus performs image processing on the image data of the plurality of original images by using each of the plurality of images obtained by continuous shooting on the moving moving object as an original image. In the image processing method for the above, the image data of the moving object from each of the image data of the plurality of original images, the order in which the moving object was photographed, and the moving object in the image data of the original image An extraction step of extracting in association with the position information of the image data, a generation step of generating image data of a background image excluding the moving object from each of the image data of the plurality of original images, and the generation The image data of the moving object extracted in the extraction step is converted into the image data of the original image from the image data of the background image generated in the step. A combination step of generating image data of the moving subject continuous shot composite image by superimposing on the basis of position information of the image data of the subject moving subject in the data, and image data of the moving subject continuous shot composite image generated in the combining step On the other hand, based on the order in which the moving object was photographed and the positional information of the image data of the moving object in the image data of the original image, the time An image processing method is provided that includes a processing step of processing so that a past moving object has a different definition.

本発明の第３の観点によると、移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の原画像の画像データに対して画像処理を行う機能を有する画像処理装置を制御するコンピュータに、前記複数の原画像の画像データの各々から、前記被写動体の画像データを、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に対応付けて抽出する抽出機能と、前記複数の原画像の画像データの各々から前記被写動体を除いた背景画像の画像データを生成する生成機能と、前記生成機能により生成された前記背景画像の画像データに対して、前記抽出機能により抽出された前記被写動体の画像データの各々を、前記原画像の画像データにおける当該被写動体の画像データの位置情報に基づいて重ね合わせることによって、動体連写合成画像の画像データを生成する合成機能と、前記合成機能により生成された動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体と時間的に過去の被写動体とが異なる鮮明度となるように加工する加工機能と、を実現させるためのプログラムを提供する。   According to the third aspect of the present invention, the image processing has a function of performing image processing on image data of a plurality of original images by using each of a plurality of images obtained by continuous shooting on a moving moving object as an original image. A computer that controls the apparatus, the image data of the moving object from each of the image data of the plurality of original images, the order in which the moving object was photographed, and the moving object in the image data of the original image An extraction function for extracting the image data in association with the position information of the image data, a generation function for generating image data of a background image excluding the moving object from each of the image data of the plurality of original images, and the generation With respect to the image data of the background image generated by the function, each of the image data of the object to be extracted extracted by the extraction function is converted into the object image data in the image data of the original image. Overlaying on the basis of the position information of the body image data, the composition function for generating the image data of the moving body continuous shooting composite image, and the image data of the moving body continuous shooting composite image generated by the combining function, Based on the order in which the moving object was photographed and the positional information of the image data of the moving object in the image data of the original image, the moving object in the future in time and the moving object in the past in time And a processing function for processing so that the sharpness differs from that of the program.

本発明によれば、複数の被写動体の移動方向を判別可能な動体連写合成画像を得ることができる。   According to the present invention, it is possible to obtain a moving object continuous shooting composite image in which the moving directions of a plurality of moving objects can be determined.

本発明の第１実施形態のデジタルカメラのハードウェアの構成を示すブロック図である。It is a block diagram which shows the structure of the hardware of the digital camera of 1st Embodiment of this invention. 図１のデジタルカメラの撮影環境の一例を示す図である。It is a figure which shows an example of the imaging | photography environment of the digital camera of FIG. 図２の撮影環境の下で図１のデジタルカメラの連続撮影によって得られた複数のフレーム画像の一例を示す図である。3 is a diagram illustrating an example of a plurality of frame images obtained by continuous shooting of the digital camera of FIG. 1 under the shooting environment of FIG. 図３の複数のフレーム画像に対して動体連写合成処理が実行されたことによって得られた動体連写合成画像の一例を示している。4 shows an example of a moving object continuous shooting combined image obtained by executing moving object continuous shooting combining processing for a plurality of frame images in FIG. 3. 図１のデジタルカメラのデータ処理部の機能的構成を示す機能ブロック図である。It is a functional block diagram which shows the functional structure of the data processing part of the digital camera of FIG. 図５の画像合成部により生成される動体連写合成画像の模式図である。FIG. 6 is a schematic diagram of a moving object continuous shooting combined image generated by the image combining unit in FIG. 5. 図５の画像加工部の処理の詳細を示す図である。It is a figure which shows the detail of a process of the image process part of FIG. 図５のデータ処理部が実行する動体連写合成処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of the moving body continuous shooting synthetic | combination process which the data processing part of FIG. 5 performs. 図８の動体連写合成処理により生成される動体連写合成画像の模式図である。FIG. 9 is a schematic diagram of a moving object continuous shooting combined image generated by the moving object continuous shooting combining process of FIG. 8. 本発明の第２実施形態のデジタルカメラのデータ処理部が実行する動体連写合成処理により生成される動体連写合成画像の模式図である。It is a schematic diagram of the moving body continuous shooting synthetic | combination image produced | generated by the moving body continuous shooting synthetic | combination process which the data processing part of the digital camera of 2nd Embodiment of this invention performs. 本発明の変形実施形態のデジタルカメラの表示部の表示例を示す図である。It is a figure which shows the example of a display of the display part of the digital camera of the deformation | transformation embodiment of this invention. 本発明の変形実施形態のデジタルカメラの表示部の表示例を示す図である。It is a figure which shows the example of a display of the display part of the digital camera of the deformation | transformation embodiment of this invention.

［第１実施形態］
図１〜図１０を参照して、本発明の一実施形態について説明する。 [First Embodiment]
An embodiment of the present invention will be described with reference to FIGS.

［デジタルカメラのハードウェア構成］
初めに、図１を参照して、本発明の画像処理装置を構成するデジタルカメラ１について説明する。図１は、本発明の画像処理装置の一実施形態に係るデジタルカメラ１のハードウェアの構成を示す図である。 [Hardware configuration of digital camera]
First, a digital camera 1 constituting the image processing apparatus of the present invention will be described with reference to FIG. FIG. 1 is a diagram showing a hardware configuration of a digital camera 1 according to an embodiment of an image processing apparatus of the present invention.

デジタルカメラ１は、撮影部１１と、データ処理部１２と、ユーザインタフェース部１３と、を備える。   The digital camera 1 includes a photographing unit 11, a data processing unit 12, and a user interface unit 13.

撮影部１１は、光学レンズ部２１と、イメージセンサ２２と、を備える。   The photographing unit 11 includes an optical lens unit 21 and an image sensor 22.

光学レンズ部２１は、被写体を撮影するために、光を集光する前玉レンズ（図示せず）の他、被写体をイメージセンサ２２の受光面に結像させるフォーカスレンズ（図示せず）、焦点距離を一定の範囲で自在に変化させるズームレンズ（図示せず）などで構成される。光学レンズ部２１にはまた、必要に応じて、焦点、露出、ホワイトバランスなどの設定パラメータを調整する周辺回路が設けられる。   The optical lens unit 21, in addition to a front lens (not shown) that collects light for photographing a subject, a focus lens (not shown) that focuses the subject on the light receiving surface of the image sensor 22, and a focal point. A zoom lens (not shown) that freely changes the distance within a certain range is used. The optical lens unit 21 is also provided with a peripheral circuit for adjusting setting parameters such as focus, exposure, and white balance as necessary.

イメージセンサ２２は、光電変換素子や、ＡＦＥ(Analog Front End)などから構成される。光電変換素子は、例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)型の光電変換素子などから構成される。光電変換素子には、光学レンズ部２１からシャッタ部（図示せず）を介して被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮影）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ(Analog/Digital)変換処理などの各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、イメージセンサ２２の出力信号として出力される。なお、以下、画像信号のデジタル信号を、「画像データ」と呼ぶ。このように呼称すると、イメージセンサ２２からは画像データが出力されて、データ処理部１２に供給される。   The image sensor 22 includes a photoelectric conversion element, an AFE (Analog Front End), and the like. The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element. A subject image is incident on the photoelectric conversion element from the optical lens unit 21 through a shutter unit (not shown). Therefore, the photoelectric conversion element photoelectrically converts (photographs) the subject image at regular intervals, accumulates image signals, and sequentially supplies the accumulated image signals to the AFE as analog signals. The AFE performs various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. A digital signal is generated by various signal processing and output as an output signal of the image sensor 22. Hereinafter, the digital signal of the image signal is referred to as “image data”. In this way, image data is output from the image sensor 22 and supplied to the data processing unit 12.

データ処理部１２は、ＣＰＵ(Central Processing Unit)３１と、ＲＯＭ(Read Only Memory)３２と、ＲＡＭ(Random Access Memory)３３と、メモリ３４と、表示制御部３５と、画像処理部３６と、を備えている。   The data processing unit 12 includes a CPU (Central Processing Unit) 31, a ROM (Read Only Memory) 32, a RAM (Random Access Memory) 33, a memory 34, a display control unit 35, and an image processing unit 36. I have.

ＣＰＵ３１は、ＲＯＭ３２に記録されているプログラムに従って各種の処理を実行する。本実施の形態のデジタルカメラ１は、通常撮影モードに加え、後述する、被写動体を連続して撮影する動体連写合成モードを備える。ＲＯＭ３２には、通常撮影モード及び動体連写合成モード時の処理、動体連写合成モード時に実行する画像加工処理としての画調変更処理、表示制御部３５、画像処理部３６を含む各種機能を実行するためのプログラムが記憶されている。ここで、動体連写合成モードは、後述する図５の位置ズレ補正部１０１乃至画像加工部１０６の各機能により実行される。そのため、ＲＯＭ３２には、後述する図５の位置ズレ補正部１０１乃至画像加工部１０６の各機能を実行するプログラムも記憶されている。ＣＰＵ３１が、ＲＯＭ３２に記憶されているプログラムを読み出して処理を実行することで、表示制御部３５、画像処理部３６を含む各種機能、及び通常撮影モード及び動体連写合成モード時の処理を含む各種処理が実現される。
ＲＡＭ３３には、ＣＰＵ３１が各種の処理を実行する上において必要なデータなどが適宜記憶される。 The CPU 31 executes various processes according to programs recorded in the ROM 32. The digital camera 1 of the present embodiment includes a moving object continuous shooting / combining mode for continuously shooting a moving object, which will be described later, in addition to the normal shooting mode. The ROM 32 executes various functions including processing in the normal shooting mode and moving object continuous shooting and combining mode, image tone changing process as image processing executed in the moving object continuous shooting and combining mode, the display control unit 35, and the image processing unit 36. A program is stored for this purpose. Here, the moving subject continuous shooting synthesis mode is executed by each function of a positional deviation correction unit 101 to an image processing unit 106 in FIG. For this reason, the ROM 32 also stores programs for executing the functions of the positional deviation correction unit 101 to the image processing unit 106 shown in FIG. The CPU 31 reads out the program stored in the ROM 32 and executes the processing, whereby various functions including the display control unit 35 and the image processing unit 36, and various types of processing including processing in the normal shooting mode and the moving subject continuous shooting synthesis mode are performed. Processing is realized.
The RAM 33 appropriately stores data necessary for the CPU 31 to execute various processes.

メモリ３４は、ＤＲＡＭ(Dynamic Random Access Memory)やＲＯＭ(Read Only Memory)などで構成される。ＤＲＡＭには、イメージセンサ２２から出力された画像データが一時的に記憶される。ＲＯＭには、各種画像処理に必要な画像データ、パラメータ、各種フラグの値、閾値などが記憶される。メモリ３４には、画像表示用の画像データ（以下、「表示画像データ」と呼ぶ）の保存と読み出しを行うための表示メモリ領域も含まれている。   The memory 34 includes a DRAM (Dynamic Random Access Memory), a ROM (Read Only Memory), and the like. In the DRAM, the image data output from the image sensor 22 is temporarily stored. The ROM stores image data necessary for various image processing, parameters, values of various flags, threshold values, and the like. The memory 34 also includes a display memory area for storing and reading image data for image display (hereinafter referred to as “display image data”).

表示制御部３５は、メモリ３４の表示メモリ領域に格納された表示画像データを読み出し、表示画像データにより表現される画像（以下、「表示画像」と呼ぶ）を、ユーザインタフェース部１３の表示部４１に表示させる制御を実行する。例えば、表示制御部３５は、当該表示画像データに基づいてＲＧＢ信号を生成し、当該ＲＧＢ信号を表示部４１に供給することにより、表示画像を表示部４１に表示させる。なお、表示制御部３５により生成されたＲＧＢ信号は、ユーザインタフェース部１３の通信部４３によって、図示せぬ外部機器に出力させることもできる。これにより、外部機器、例えば、テレビジョン受像機、パソコン、プロジェクタなどでも、表示画像の表示が可能になる。   The display control unit 35 reads display image data stored in the display memory area of the memory 34, and displays an image expressed by the display image data (hereinafter referred to as “display image”) of the user interface unit 13. Execute the control to be displayed on the screen. For example, the display control unit 35 causes the display unit 41 to display the display image by generating an RGB signal based on the display image data and supplying the RGB signal to the display unit 41. The RGB signal generated by the display control unit 35 can be output to an external device (not shown) by the communication unit 43 of the user interface unit 13. As a result, the display image can be displayed even by an external device such as a television receiver, a personal computer, or a projector.

画像処理部３６は、ＤＳＰ（Digital Signal Processor）などで構成され、メモリ３４に記憶された画像データに対して、ホワイトバランス補正処理やγ補正処理などの各種画像処理を実行する。本実施形態では、後述する図５の位置ズレ補正部１０１乃至画像加工部１０６が実行する各種画像処理のうち少なくとも一部が、画像処理部３６において実行され、残りの一部がＣＰＵ３１において実行される。即ち、本実施形態では、後述する図５の位置ズレ補正部１０１乃至画像加工部１０６は、ＣＰＵ３１及び画像処理部３６というハードウェアと、ＲＯＭ３２に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。   The image processing unit 36 is configured by a DSP (Digital Signal Processor) or the like, and executes various image processing such as white balance correction processing and γ correction processing on the image data stored in the memory 34. In the present embodiment, at least a part of various image processing executed by the positional deviation correction unit 101 to the image processing unit 106 in FIG. 5 to be described later is executed by the image processing unit 36, and the remaining part is executed by the CPU 31. The In other words, in the present embodiment, the positional deviation correction unit 101 to the image processing unit 106 in FIG. 5 described later are configured as a combination of hardware such as the CPU 31 and the image processing unit 36 and a program (software) stored in the ROM 32. ing.

ユーザインタフェース部１３は、デジタルカメラ１の筐体に設けられた液晶ディスプレイなどで構成される表示部４１と、ユーザの指示操作を受け付ける操作部４２と、外部機器との間での通信を制御する通信部４３と、リムーバブル記録媒体５１に対するデータの読み書きを行うドライブ４４と、を備えている。   The user interface unit 13 controls communication between a display unit 41 configured by a liquid crystal display or the like provided in the housing of the digital camera 1, an operation unit 42 that receives a user instruction operation, and an external device. A communication unit 43 and a drive 44 that reads and writes data from and to the removable recording medium 51 are provided.

なお、操作部４２は、図示は省略するが、シャッターキー、電源ボタン、ズームキー、選択及び決定キー及びモード切替キーなどを含み、各操作に応じた操作条件に基づき操作信号を発生してデータ処理部１２へ送出する。例えば、モード切替キーが操作されて動体連写合成モードが指定されると、操作信号がデータ処理部１２に送られ、ＣＰＵ３１は、モードを指定された動体連写合成モードに切り替える。同様に、モード切替キーが操作されて通常撮影モードが指定されると、ＣＰＵ３１は、モードを指定された通常撮影モードに切り替える。また、選択及び決定キーが操作されて、動体連写合成画像における被写動体の加工度合いが変更されると、操作信号がデータ処理部１２に送られ、ＣＰＵ３１は、変更された加工度合いに応じて被写動体の加工を行う。同様に、選択及び決定キーが操作されて、動体連写合成画像における被写動体の大きさが変更されると、ＣＰＵ３１は、変更された大きさに応じて被写動体を合成する。なお、被写動体の加工度合いの変更や、被写動体の大きさの変更については、後に図１１及び図１２を用いて説明する。このように操作者による操作部４２の操作に伴い、各種操作信号がデータ処理部１２に送られ、ＣＰＵ３１は、操作信号に応じた処理を行う。   Although not shown, the operation unit 42 includes a shutter key, a power button, a zoom key, a selection and determination key, a mode switching key, and the like, and generates an operation signal based on an operation condition corresponding to each operation to perform data processing. Send to unit 12. For example, when the mode switching key is operated to specify the moving body continuous shooting and combining mode, an operation signal is sent to the data processing unit 12, and the CPU 31 switches the mode to the specified moving body continuous shooting and combining mode. Similarly, when the mode switching key is operated to specify the normal shooting mode, the CPU 31 switches the mode to the specified normal shooting mode. When the selection and determination keys are operated to change the processing level of the moving subject in the moving subject continuous shooting composite image, an operation signal is sent to the data processing unit 12, and the CPU 31 responds to the changed processing level. To process the moving object. Similarly, when the selection and determination keys are operated to change the size of the moving object in the moving object continuous shooting combined image, the CPU 31 synthesizes the moving object according to the changed size. Note that changes in the processing level of the moving object and changes in the size of the moving object will be described later with reference to FIGS. 11 and 12. As described above, as the operator operates the operation unit 42, various operation signals are sent to the data processing unit 12, and the CPU 31 performs processing according to the operation signal.

このような構成を有するデジタルカメラ１は、動体連写合成処理を実行することができる。そこで、以下、図２乃至図４を参照して、動体連写合成処理について説明する。   The digital camera 1 having such a configuration can execute moving object continuous shooting and combining processing. Therefore, the moving object continuous shooting and combining process will be described below with reference to FIGS.

図２は、デジタルカメラ１の撮影環境の一例を示す模式図である。   FIG. 2 is a schematic diagram illustrating an example of a shooting environment of the digital camera 1.

図３は、図２の撮影環境の下でデジタルカメラ１の連続撮影によって得られた複数のフレーム画像の一例を示している。   FIG. 3 shows an example of a plurality of frame images obtained by continuous shooting of the digital camera 1 under the shooting environment of FIG.

図２に示すように、実世界の定位置に固定されたデジタルカメラ１は、実世界の空間のうち画角６１に含まれる背景６２及び被写動体６３を連続して撮影することができる。この場合、固定状態のデジタルカメラ１の視点からすると、画角６１の範囲内で、背景６２は固定しており、被写動体６３のみが移動することになる。これにより、図３に示すように、背景６２の像７２が固定された状態で、被写動体６３の像７３のみが徐々に移動していく様子を示す、複数のフレーム画像８１乃至８５が得られることになる。   As shown in FIG. 2, the digital camera 1 fixed at a fixed position in the real world can continuously photograph the background 62 and the moving object 63 included in the angle of view 61 in the real world space. In this case, from the viewpoint of the digital camera 1 in the fixed state, the background 62 is fixed and only the moving object 63 moves within the range of the angle of view 61. As a result, as shown in FIG. 3, a plurality of frame images 81 to 85 are obtained, showing a state in which only the image 73 of the moving subject 63 is gradually moved while the image 72 of the background 62 is fixed. Will be.

なお、以下、実世界に存在するものと、フレーム画像内の対応する像とを個々に区別する必要が無い場合、実世界に存在するものの呼称に統一して表現する。即ち、以下、背景６２の像７２を、単に「背景７２」と呼び、被写動体６３の像７３を、単に「被写動体７３」と呼ぶ。   In the following description, when there is no need to distinguish between the image existing in the real world and the corresponding image in the frame image, it is expressed as a unified name of the image existing in the real world. That is, hereinafter, the image 72 of the background 62 is simply referred to as “background 72”, and the image 73 of the moving subject 63 is simply referred to as “moving subject 73”.

図４は、図３の複数のフレーム画像に対して動体連写合成処理が実行されたことによって得られた動体連写合成画像の一例を示している。   FIG. 4 shows an example of the moving object continuous shooting combined image obtained by executing the moving object continuous shooting combining process for the plurality of frame images of FIG.

図４の動体連写合成画像９１において、被写動体７３Ａ乃至７３Ｅの各々は、図３の別々のフレーム画像８１乃至８５の各々に含まれる被写動体７３を示している。このように、背景７２が固定された状態で、被写動体７３のみが徐々に移動していく様子が、１枚の動体連写合成画像９１によって表わされる。   In the moving object continuous shooting composite image 91 of FIG. 4, each of the moving objects 73A to 73E indicates the moving object 73 included in each of the separate frame images 81 to 85 of FIG. In this way, a state in which only the moving subject 73 gradually moves while the background 72 is fixed is represented by one moving subject continuous shooting composite image 91.

ここで、図４の動体連写合成画像９１では、被写動体７３の移動方向を判別することができない。即ち、被写動体７３が前方（左から右）に進んでいるのか、後方（右から左）に進んでいるのかを判別できない。そこで、本実施の形態では、このような被写動体７３の移動方向を容易に判別可能な動体連写合成画像を生成することとしている。   Here, in the moving subject continuous shooting composite image 91 of FIG. 4, the moving direction of the moving subject 73 cannot be determined. That is, it cannot be determined whether the moving object 73 is traveling forward (from left to right) or backward (from right to left). Therefore, in the present embodiment, such a moving object continuous shooting composite image that can easily determine the moving direction of the moving object 73 is generated.

［データ処理部の機能的構成］
図５は、被写動体７３の移動方向を判別可能な動体連写合成画像を生成可能な動体連写合成処理を実行するためのデータ処理部１２の機能的構成を示す機能ブロック図である。 [Functional configuration of data processing unit]
FIG. 5 is a functional block diagram showing a functional configuration of the data processing unit 12 for executing the moving object continuous shooting combining process capable of generating a moving object continuous shooting combined image capable of determining the moving direction of the moving object 73.

データ処理部１２は、位置ズレ補正部１０１と、フレーム縮小部１０２と、被写動体抽出部１０３と、背景フレーム生成部１０４と、画像合成部１０５と、画像加工部１０６と、を備えている。また、画像加工部１０６は、加工度合い変更部１０６ａと、サイズ変更部１０６ｂと、を備えているが、加工度合い変更部１０６ａ及びサイズ変更部１０６ｂは、必ずしも必須な構成ではない。   The data processing unit 12 includes a positional deviation correction unit 101, a frame reduction unit 102, a moving object extraction unit 103, a background frame generation unit 104, an image synthesis unit 105, and an image processing unit 106. . The image processing unit 106 includes a processing degree changing unit 106a and a size changing unit 106b. However, the processing degree changing unit 106a and the size changing unit 106b are not necessarily indispensable configurations.

データ処理部１２のメモリ３４内には、原フレーム記憶部１２１と、背景フレーム記憶部１２２と、抽出被写動体記憶部１２３と、動体連写合成画像記憶部１２４と、が設けられている。   In the memory 34 of the data processing unit 12, an original frame storage unit 121, a background frame storage unit 122, an extracted moving subject storage unit 123, and a moving subject continuous shooting combined image storage unit 124 are provided.

原フレーム記憶部１２１には、撮影部１１の連続撮影が行われると、連続撮影により得られた複数のフレーム画像の画像データ、例えば上述した図３のフレーム画像８１乃至８５の各々の画像データが、撮影された順序で記憶される。なお、以下、原フレーム記憶部１２１に記憶されている画像データにより表現されるフレーム画像を、「原フレーム画像」と呼ぶ。   When the photographing unit 11 performs continuous photographing, the original frame storage unit 121 stores image data of a plurality of frame images obtained by continuous photographing, for example, the image data of each of the frame images 81 to 85 in FIG. 3 described above. , Stored in the order in which they were taken. Hereinafter, the frame image expressed by the image data stored in the original frame storage unit 121 is referred to as an “original frame image”.

位置ズレ補正部１０１は、原フレーム記憶部１２１に記憶された画像データに対して、各原フレーム画像の位置ズレを補正する処理を実行する。このような位置ズレ補正部１０１の処理を、以下、「補正処理」と呼ぶ。   The positional deviation correction unit 101 performs a process of correcting the positional deviation of each original frame image on the image data stored in the original frame storage unit 121. Such processing of the positional deviation correction unit 101 is hereinafter referred to as “correction processing”.

フレーム縮小部１０２は、位置ズレ補正部１０１から出力された各原フレーム画像の画像データに対して、画像サイズを縮小させる処理を実行する。このようなフレーム縮小部１０２の処理を、以下、「縮小処理」と呼ぶ。また、縮小処理後の原フレーム画像を、以下、「縮小原フレーム画像」と呼ぶ。本実施形態では、このような縮小原フレーム画像から被写動体が検出される。検出の処理速度が向上しつつ、十分な検出精度を得ることが可能だからである。フレーム縮小部１０２から出力された各縮小原フレーム画像の画像データは、被写動体抽出部１０３に供給される。   The frame reduction unit 102 executes a process for reducing the image size of the image data of each original frame image output from the positional deviation correction unit 101. Such processing of the frame reduction unit 102 is hereinafter referred to as “reduction processing”. The original frame image after the reduction process is hereinafter referred to as “reduced original frame image”. In the present embodiment, the moving object is detected from such a reduced original frame image. This is because it is possible to obtain sufficient detection accuracy while improving the detection processing speed. The image data of each reduced original frame image output from the frame reduction unit 102 is supplied to the moving object extraction unit 103.

被写動体抽出部１０３は、各縮小原フレーム画像の画像データを用いて、被写動体を含まずに背景のみを含む画像（以下、「疑似背景フレーム画像」と呼ぶ）の画像データを生成する。ここで、各縮小原フレーム画像における被写動体の画角内の各々の配置位置はばらばらになっている。従って、各縮小原フレーム画像の同一画素位置の各画素値のメディアンを取ることによって、被写動体を示す画素値を除外すること、即ち、被写動体を含まない画像を生成することが可能になる。そこで、本実施形態では、被写動体抽出部１０３は、各縮小原フレーム画像の同一画素位置の各画素値のメディアン値を演算し、各々のメディアン値を各々の画素値として有する画像の画像データを、疑似背景フレーム画像の画像データとして生成する。
次に、被写動体抽出部１０３は、各縮小原フレーム画像の各々の画像データと、疑似背景フレーム画像の画像データとの差分を画素毎に求める。そして、被写動体抽出部１０３は、各縮小原フレーム画像の各々について、差分量が一定以上大きくなっている領域（画素群）を、被写動体の領域としてそれぞれ検出する。
続いて、被写動体抽出部１０３は、当該検出結果に基づいて、各原フレーム画像の画像データの各々から、被写動体の画像データ及び各原フレーム画像における被写動体の存在位置（即ち、各原フレーム画像の画像データにおける被写動体の画像データの位置情報）を抽出する。なお、被写動体抽出部１０３は、被写動体の画像データ及び当該画像データの位置情報を、連続撮影により撮影された順序、即ち、被写動体の移動方向に対応付けて抽出することが好ましい。被写動体抽出部１０３により抽出された被写動体の画像データ及び当該画像データの位置情報は、連続撮影により撮影された順序と対応付けられて抽出被写動体記憶部１２３に記憶される。 The moving subject extraction unit 103 uses the image data of each reduced original frame image to generate image data of an image including only the background without including the moving subject (hereinafter referred to as “pseudo background frame image”). . Here, the arrangement positions within the angle of view of the moving object in each reduced original frame image are scattered. Accordingly, by taking the median of each pixel value at the same pixel position in each reduced original frame image, it is possible to exclude the pixel value indicating the moving object, that is, to generate an image that does not include the moving object. Become. Therefore, in this embodiment, the moving subject extraction unit 103 calculates the median value of each pixel value at the same pixel position in each reduced original frame image, and image data of an image having each median value as each pixel value Are generated as image data of a pseudo background frame image.
Next, the moving subject extraction unit 103 obtains, for each pixel, a difference between the image data of each reduced original frame image and the image data of the pseudo background frame image. Then, the moving subject extraction unit 103 detects a region (pixel group) in which the difference amount is larger than a certain value for each reduced original frame image as a region of the moving subject.
Subsequently, based on the detection result, the moving object extracting unit 103 determines the image data of the moving object and the position of the moving object in each original frame image (that is, the position of the moving object in each original frame image). The position information of the image data of the moving object in the image data of each original frame image) is extracted. Note that the moving object extraction unit 103 preferably extracts the image data of the moving object and the position information of the image data in association with the order of shooting by continuous shooting, that is, the moving direction of the moving object. . The image data of the moving object extracted by the moving object extracting unit 103 and the position information of the image data are stored in the extracted moving object storage unit 123 in association with the order of shooting by continuous shooting.

背景フレーム生成部１０４は、各原フレーム画像の画像データを用いて、動体連写合成画像の生成の際の基礎となる背景を含む画像（以下、「背景フレーム画像」と呼ぶ）の画像データを生成する。背景フレーム画像の画像データの生成は、任意の方法により行うことができ、例えば、各原フレーム画像の画像データを用いて、同一位置の各画素値のメディアンを取ることによって生成してもよく、また、同一位置の各画素値の加算平均値を演算し、各々の加算平均値を各々の画素値として有する加算平均合成画像の画像データを背景フレーム画像の画像データとして生成してもよい。また、各原フレーム画像のうちの所定の１枚、例えば最初に撮影された原フレーム画像を、背景フレーム画像の画像データとして生成してもよい。背景フレーム生成部１０４により生成された背景フレーム画像の画像データは、背景フレーム記憶部１２２に記憶される。   The background frame generation unit 104 uses the image data of each original frame image to generate image data of an image including a background (hereinafter referred to as a “background frame image”) that serves as a basis for generating a moving body continuous shot composite image. Generate. The image data of the background frame image can be generated by an arbitrary method. For example, the image data of each original frame image may be generated by taking the median of each pixel value at the same position, Alternatively, the arithmetic mean value of each pixel value at the same position may be calculated, and the image data of the mean average composite image having each summation average value as each pixel value may be generated as the image data of the background frame image. Also, a predetermined one of the original frame images, for example, the original frame image taken first, may be generated as the image data of the background frame image. The image data of the background frame image generated by the background frame generation unit 104 is stored in the background frame storage unit 122.

画像合成部１０５は、背景フレーム画像の画像データを背景フレーム記憶部１２２から読出し、各原フレーム画像からそれぞれ抽出された各被写動体の画像データを、抽出被写動体記憶部１２３から読み出す。そして、画像合成部１０５は、読み出した画像データに対して、背景フレーム画像の上に、複数の被写動体の各々を、抽出元の原フレーム画像における存在位置を保持したまま合成させるような合成処理を実行する。これにより、動体連写合成画像の画像データが得られ、当該画像データは、画像合成部１０５から出力されて画像加工部１０６に供給される。   The image composition unit 105 reads the image data of the background frame image from the background frame storage unit 122, and reads the image data of each moving object extracted from each original frame image from the extracted moving object storage unit 123. Then, the image synthesis unit 105 synthesizes the read image data with each of the plurality of moving objects on the background frame image while maintaining the existing position in the original frame image of the extraction source. Execute the process. As a result, image data of the moving subject continuous shooting composite image is obtained, and the image data is output from the image composition unit 105 and supplied to the image processing unit 106.

図６は、生成された動体連写合成画像の模式図である。
背景フレーム生成部１０４により生成された背景フレーム画像１８１の上に、連続撮影により得られた原フレーム画像８１乃至８５の各々から被写動体７３の画像データが抽出され、抽出元の原フレーム画像８１乃至８５の各々における存在位置を保持したまま、背景フレーム画像１８１に合成される。 FIG. 6 is a schematic diagram of the generated moving object continuous shooting composite image.
On the background frame image 181 generated by the background frame generation unit 104, the image data of the moving object 73 is extracted from each of the original frame images 81 to 85 obtained by continuous shooting, and the original frame image 81 of the extraction source is extracted. The background frame image 181 is synthesized while maintaining the existing positions in each of.

画像加工部１０６は、画像合成部１０５から供給された動体連写合成画像の画像データの加工処理を行う。   The image processing unit 106 performs processing on the image data of the moving subject continuous shooting composite image supplied from the image composition unit 105.

本実施の形態では、加工処理の好適な一例として、動体連写合成画像の画像データの画調を変更すると共に、動体連写合成画像の画像データに含まれる複数の被写動体の画像データの各々をタッチ（以下、「筆触」と呼ぶ）が異なるように加工する。「画調」とは、画像から感じることができる印象に基づいて規定されるもので、「日本画調」、「西洋画調」、「水彩画調」、「水墨画調」、「ペン画調」、「ゴッホ調」など、様々に分類することができる。
画像データを特定の画調に変更する手法については、例えば、特開平１０−０１１５６９号公報及び特開２００６−０３１６８８号公報に開示された技術を用いてもよい。具体的には、画像データを構成する画素から、色などを基準として相関の高い画素を集め、グループを形成する。続いて、それぞれのグループの画素に対して、同一のグループの画素については色を該グループの代表色に置き換える。こうして色を代表色に置き換えられた画素のグループがそれぞれの筆触を形成する。かかる画像加工処理によると、グループとして集められる画素の相関の取り方、及び同一の色（代表色）の画素により構成されるグループの形状（長さ（距離）、扁平度）を変化させることによって、形成される筆触を変化させることができ、結果的に、画像データが表す画像の画調を様々な絵画調に変更することができる。本実施の形態では、各種画調毎に、それぞれの処理で用いる相関度、グループの形状を表す長さ、扁平度などのパラメータの最適な組み合わせが設定されており、この情報がメモリ３４に記憶されている。画像合成部１０５はメモリ３４に記憶された情報に基づいて各種画調への変更を行うものとする。 In the present embodiment, as a suitable example of the processing, the tone of the image data of the moving object continuous shot composite image is changed, and the image data of the plurality of moving objects included in the image data of the moving object continuous shot composite image is changed. Each is processed so that the touch (hereinafter referred to as “brush touch”) is different. The “painting” is defined based on the impression that can be felt from the image. “Japanese painting”, “Western painting”, “Watercolor painting”, “Ink painting”, “Pen painting” It can be classified into various categories such as “Gogh”.
As a method for changing the image data to a specific image tone, for example, techniques disclosed in Japanese Patent Laid-Open Nos. 10-011569 and 2006-031688 may be used. Specifically, pixels having high correlation are collected from pixels constituting image data on the basis of color or the like to form a group. Subsequently, for each group of pixels, for the same group of pixels, the color is replaced with the representative color of the group. A group of pixels in which the colors are replaced with the representative colors in this way form each brush stroke. According to such image processing, by changing the correlation of the pixels collected as a group and the shape (length (distance), flatness) of the group composed of pixels of the same color (representative color) The formed brush can be changed, and as a result, the tone of the image represented by the image data can be changed to various painting tone. In the present embodiment, an optimal combination of parameters such as the degree of correlation used in each process, the length representing the shape of the group, and the flatness is set for each image tone, and this information is stored in the memory 34. Has been. It is assumed that the image composition unit 105 changes to various image styles based on information stored in the memory 34.

また、複数の被写動体の画像データの各々を異なる筆触に変更することは、画調を変更する際に、筆触を構成する画素を集めたグループの形状、例えば、グループの扁平度を調整することによって実現できる。
図７に、このようにして生成される筆触を表す画素のグループの一例を示す。例えば、図７（１）（ａ）に示すように、筆触を表す同一の色の画素によって構成されるグループの扁平度を大きくすると、筆触は太くなり、結果として画像のタッチは荒く表示される。図７（１）（ｃ）に示すように、同一の色の画素によって構成されるグループの扁平度を小さくすると、小さな筆触を作り出すことができ、結果として、画像のタッチが細かく表示される。図７（１）（ｃ）に示すグループは標準的な筆触を表している。 Also, changing each of the image data of the plurality of moving objects to different brushes adjusts the shape of the group of pixels that make up the brush strokes, for example, the flatness of the group, when changing the image tone. Can be realized.
FIG. 7 shows an example of a group of pixels representing the stroke generated in this way. For example, as shown in FIGS. 7A and 7A, when the flatness of a group composed of pixels of the same color representing the touch is increased, the touch becomes thicker, and as a result, the touch of the image is displayed roughly. . As shown in FIGS. 7A and 7C, when the flatness of the group composed of pixels of the same color is reduced, a small brush can be created, and as a result, the touch of the image is displayed finely. The groups shown in FIGS. 7 (1) and 7 (c) represent standard strokes.

ここで、本実施の形態では、複数の被写動体の画像データのうち、時間的に未来の被写動体の画像データの筆触を小さくし（タッチを細かくし）、時間的に過去の被写動体の画像データの筆触を太くする（タッチを荒くする）ように加工処理を行う。そのため、図７（２）（ａ）に示すように、時間的に過去の被写動体７３Ａでは、当該被写動体７３Ａの画像データを構成する画素から画調を変更する際に、生成されるグループの扁平度を高く設定しておく。一方、時間的に未来の被写動体７３Ｅでは、時間的に過去の被写体を表す画像データを処理する場合よりも、生成されるグループの扁平度を低く設定しておく。これにより、時間的に過去の被写動体７３Ａの画像データは大きな筆触からなる画調の画像に加工され、時間的に未来の被写動体７３Ｅの画像データは小さな筆触からなる画調の画像に加工される。その結果、複数の被写動体の画像データは、移動元から移動先に向かって筆触が細かく（明確に）なる。   Here, in the present embodiment, among the image data of a plurality of moving objects, the touch of the image data of the future moving object is reduced in time (the touch is made finer), and the past images are deleted in time. Processing is performed so that the stroke of the moving object image data is thickened (touch is roughened). Therefore, as shown in FIG. 7 (2) (a), in the temporally moving object 73A, it is generated when the tone is changed from the pixels constituting the image data of the moving object 73A. Set the flatness of the group high. On the other hand, in the temporally future moving object 73E, the flatness of the generated group is set lower than in the case of processing image data representing a temporally past subject. As a result, the image data of the moving object 73A in the past in time is processed into an image having a large touch, and the image data of the future moving object 73E in time is converted into an image having a small touch. Processed. As a result, the image data of the plurality of moving objects becomes finer (clear) from the movement source to the movement destination.

なお、動体連写合成画像の画像データに含まれる被写動体の画像データは、任意の方法で特定することができるが、一例としては、各原フレーム画像の画像データにおける被写動体の画像データの位置情報から特定することができる。この場合において、当該位置情報には、連続撮影により撮影された順序、即ち、被写動体の移動方向が対応付けられているため、複数の被写動体の画像データを移動方向に応じて異なる筆触に加工することができる。   Note that the image data of the moving object included in the image data of the moving object continuous shot composite image can be specified by an arbitrary method, but as an example, the image data of the moving object in the image data of each original frame image Can be identified from the position information. In this case, since the position information is associated with the order in which the continuous shooting is performed, that is, the moving direction of the moving object, the image data of the plurality of moving objects is changed according to the moving direction. Can be processed.

図５に戻り、画像加工部１０６により加工処理された動体連写合成画像の画像データは、動体連写合成画像記憶部１２４に記憶される。そして、動体連写合成画像記憶部１２４に記憶された動体連写合成画像の画像データが、メモリ３４の表示メモリ領域に表示画像データとして格納されると、表示制御部３５は、当該表示画像データを読み出し、その表示画像データにより表現される画像、即ち、動体連写合成画像を表示部４１に表示させる制御を実行する。   Returning to FIG. 5, the image data of the moving subject continuous shot composite image processed by the image processing unit 106 is stored in the moving subject continuous shot composite image storage unit 124. When the image data of the moving subject continuous shooting composite image stored in the moving subject continuous shooting composite image storage unit 124 is stored in the display memory area of the memory 34 as display image data, the display control unit 35 displays the display image data. , And an image expressed by the display image data, that is, a moving subject continuous shooting combined image is displayed on the display unit 41.

続いて、加工度合い変更部１０６ａ及びサイズ変更部１０６ｂについて説明する。加工度合い変更部１０６ａ及びサイズ変更部１０６ｂは、操作部４２からの操作信号を受けて所定の処理を行う手段である。   Next, the processing degree changing unit 106a and the size changing unit 106b will be described. The processing degree changing unit 106a and the size changing unit 106b are units that perform predetermined processing in response to an operation signal from the operation unit 42.

加工度合い変更部１０６ａは、操作部４２からの操作信号に基づいて、時間的に異なる被写動体の加工度合いを変更する。なお、「加工度合い」とは、例えば、時間的に異なる被写動体の筆触の大きさや濃度の変化の度合いを含む。具体的には、加工度合い変更部１０６ａは、操作部４２からの操作信号に基づいて、筆触を構成する画素を集めたグループの形状、例えば、グループの扁平度、画素の強度、貼り付けるテクスチャの粗さなどを変更することによって、加工度合いを変更する。加工度合い変更部１０６ａについては、本実施の形態において必須の構成ではないため、詳細については後述する変形実施形態で説明する。   The processing degree changing unit 106 a changes the processing degree of the moving object that is temporally different based on the operation signal from the operation unit 42. Note that the “degree of processing” includes, for example, the degree of change in brush size and density of a moving object that is temporally different. Specifically, the processing degree changing unit 106a, based on an operation signal from the operation unit 42, collects the pixels constituting the brush stroke, for example, the flatness of the group, the intensity of the pixels, and the texture to be pasted. The degree of processing is changed by changing the roughness or the like. Since the processing degree changing unit 106a is not an essential configuration in the present embodiment, the details will be described in a modified embodiment to be described later.

サイズ変更部１０６ｂは、操作部４２からの操作信号に基づいて、動体連写合成画像中の被写動体の大きさを変更する。具体的には、サイズ変更部１０６ｂは、操作部４２からの操作信号に基づいて、被写動体の画像データを拡大又は縮小することによって、被写動体の大きさを変更する。サイズ変更部１０６ｂについては、本実施の形態において必須の構成ではないため、詳細については後述する変形実施形態で説明する。   Based on the operation signal from the operation unit 42, the size changing unit 106b changes the size of the moving object in the moving object continuous shot composite image. Specifically, the size changing unit 106b changes the size of the moving object by enlarging or reducing the image data of the moving object based on the operation signal from the operation unit 42. Since the size changing unit 106b is not an essential component in the present embodiment, the details will be described in a modified embodiment to be described later.

［動体連写合成処理のフロー］
次に、図８のフローチャートを参照して、このようなデジタルカメラ１が実行する動体連写合成処理について説明する。 [Flow of continuous shooting composition processing]
Next, with reference to the flowchart of FIG. 8, the moving body continuous shooting and combining process executed by the digital camera 1 will be described.

ユーザが操作部４２、例えば、選択及び決定キーを操作することで動体連写合成モードに切り替えられると、ＣＰＵ３１がＲＯＭ３２に記憶された動体連写合成処理プログラムに従って、データ処理部１２を含む各種機能を制御する。
図８を参照して、動体連写合成処理の流れを説明する。以下に示す処理は、ステップＳ１において、操作者がシャッターキーを操作して連続撮影を行うことによって、開始する。 When the user operates the operation unit 42, for example, the selection and determination key to switch to the moving body continuous shooting and combining mode, the CPU 31 performs various functions including the data processing unit 12 in accordance with the moving body continuous shooting and combining processing program stored in the ROM 32. To control.
With reference to FIG. 8, the flow of the moving object continuous shooting and combining process will be described. The processing shown below starts when the operator operates the shutter key to perform continuous shooting in step S1.

ステップ１において、撮影部１１は、シャッターキーを操作に伴い連続撮影を行う。次に、ステップ２おいて、原フレーム記憶部１２１は、撮影部１１により連続撮影された複数の原フレーム画像の画像データを連続撮影が行われた順に記憶する。   In step 1, the photographing unit 11 performs continuous photographing in accordance with the operation of the shutter key. Next, in step 2, the original frame storage unit 121 stores the image data of a plurality of original frame images continuously shot by the shooting unit 11 in the order in which the continuous shooting was performed.

続いて、ステップＳ３において、位置ズレ補正部１０１は、原フレーム記憶部１２１に記憶された各原フレーム画像の画像データに対して、位置ズレ補正処理を実行する。本実施形態では、位置ズレ補正部１０１は、当該補正処理として、各原フレーム画像の各々から特徴点を抽出し、それらの特徴点が重なり合うように各原フレーム画像の射影変換する処理を実行する。   Subsequently, in step S <b> 3, the position deviation correction unit 101 performs position deviation correction processing on the image data of each original frame image stored in the original frame storage unit 121. In the present embodiment, the positional deviation correction unit 101 extracts the feature points from each of the original frame images as the correction processing, and executes a process for projective transformation of the original frame images so that the feature points overlap each other. .

続いて、ステップＳ４において、フレーム縮小部１０２は、ステップＳ３の処理で位置ズレ補正処理が実行された各原フレーム画像の画像データに対して、画像サイズを縮小させる縮小処理を実行する。これにより、各原フレーム画像の各々に対応する縮小原フレーム画像が得られる。   Subsequently, in step S4, the frame reduction unit 102 executes a reduction process for reducing the image size on the image data of each original frame image that has been subjected to the positional deviation correction process in the process of step S3. Thereby, a reduced original frame image corresponding to each original frame image is obtained.

続いて、ステップＳ５において、被写動体抽出部１０３は、各縮小原フレーム画像の画像データを用いて、疑似背景フレーム画像の画像データを生成する。上述したように、本実施形態では、被写動体抽出部１０３は、各縮小フレーム画像の同一画素位置の各画素値のメディアン値を演算し、各々のメディアン値を各々の画素値として有する画像の画像データを、疑似背景フレーム画像の画像データとして生成する。   Subsequently, in step S5, the subject extraction unit 103 generates image data of the pseudo background frame image using the image data of each reduced original frame image. As described above, in the present embodiment, the moving subject extraction unit 103 calculates the median value of each pixel value at the same pixel position of each reduced frame image, and the image having each median value as each pixel value. Image data is generated as image data of a pseudo background frame image.

続いて、ステップＳ６において、被写動体抽出部１０３は、全ての原フレーム画像について被写動体を抽出する処理が終了したか否かを判定する。このとき、被写動体が未だ抽出されていない原フレーム画像が存在する場合、例えば上述の図６の例では原フレーム画像８１乃至８５の中に、被写動体が未だ抽出されていない原フレーム画像が存在する場合、ステップＳ６においてＮＯであると判定されて、処理はステップＳ７に進む。   Subsequently, in step S6, the moving subject extraction unit 103 determines whether or not the processing for extracting the moving subject for all the original frame images has been completed. At this time, if there is an original frame image from which the moving subject has not yet been extracted, for example, in the above-described example of FIG. 6, the original frame image from which the moving subject has not yet been extracted in the original frame images 81 to 85. Is present, it is determined as NO in step S6, and the process proceeds to step S7.

ステップＳ７において、被写動体抽出部１０３は、被写動体が未だ抽出されていない原フレーム画像を注目画像に設定し、注目画像に対応する縮小原フレーム画像の画像データと、疑似背景フレーム画像の画像データとの差分を取ることで、被写動体の領域を検出する（縮小原フレーム画像−疑似背景フレーム画像＝被写動体領域）。すると、被写動体抽出部１０３は、このような検出結果に基づいて、注目画像の画像データから被写動体の画像データを抽出する。抽出された被写動体の画像データ及び注目画像における被写動体の相対的な存在位置は、連続撮影により撮影された順序と対応付けられて抽出被写動体記憶部１２３に記憶される。   In step S7, the moving subject extraction unit 103 sets the original frame image from which the moving subject has not yet been extracted as the attention image, the image data of the reduced original frame image corresponding to the attention image, and the pseudo background frame image. The area of the moving object is detected by taking the difference from the image data (reduced original frame image−pseudo background frame image = moving object area). Then, the moving subject extraction unit 103 extracts the image data of the moving subject from the image data of the target image based on such a detection result. The extracted image data of the moving object and the relative presence position of the moving object in the target image are stored in the extracted moving object storage unit 123 in association with the order of shooting by continuous shooting.

このようにしてステップＳ７の処理が終了すると、処理はステップＳ６に戻され、それ以降の処理が繰り返される。即ち、ステップＳ６ＮＯ，Ｓ７のループ処理が繰り返されることによって、各原フレーム画像の画像データ各々から被写動体の画像データが抽出される。例えば図６の例では、原フレーム画像８１乃至８５の画像データの各々から被写動体７３の画像データが抽出される。これにより、次のステップＳ６においてＹＥＳであると判定されて、処理はステップＳ８に進む。   When the process in step S7 is completed in this way, the process returns to step S6, and the subsequent processes are repeated. That is, by repeating the loop process of steps S6NO and S7, the image data of the moving object is extracted from each of the image data of each original frame image. For example, in the example of FIG. 6, the image data of the moving object 73 is extracted from each of the image data of the original frame images 81 to 85. Thereby, it determines with it being YES in the following step S6, and a process progresses to step S8.

ステップＳ８において、背景フレーム生成部１０４は、各原フレーム画像の画像データを用いて、背景フレーム画像の画像データを生成して、背景フレーム記憶部１２２に記憶させる。背景フレーム画像の画像データの生成は、上述した方法により行うことができる。   In step S <b> 8, the background frame generation unit 104 generates image data of the background frame image using the image data of each original frame image and stores it in the background frame storage unit 122. The generation of the image data of the background frame image can be performed by the method described above.

続いて、ステップＳ９において、画像合成部１０５は、全ての原フレーム画像について被写動体を背景フレーム画像に合成する合成処理が終了したか否かを判定する。このとき、被写動体が未だ合成されていない原フレーム画像が存在する場合、例えば上述の図６の例では原フレーム画像８１乃至８５の中に、被写動体が未だ合成されていない原フレーム画像が存在する場合、ステップＳ９においてＮＯであると判定されて、処理はステップＳ１０に進む。   Subsequently, in step S9, the image synthesis unit 105 determines whether or not the synthesis process for synthesizing the moving subject with the background frame image is completed for all original frame images. At this time, when there is an original frame image in which the moving object has not yet been combined, for example, in the above-described example of FIG. 6, the original frame image in which the moving object has not been combined in the original frame images 81 to 85. Is present, it is determined as NO in step S9, and the process proceeds to step S10.

ステップＳ１０において、画像合成部１０５は、被写動体が未だ合成されていない原フレーム画像を注目画像に設定し、注目画像に対する合成処理を実行する。即ち、画像合成部１０５は、前回までに合成された被写動体を含む背景フレーム画像の画像データに対して、注目画像から抽出された被写動体の画像データを合成する。なお、サイズ変更部１０６ｂにより被写動体の大きさが変更されている場合には、画像合成部１０５は、当該大きさの被写動体の画像データを背景フレーム画像の画像データに合成する。   In step S <b> 10, the image composition unit 105 sets an original frame image in which the moving subject has not yet been synthesized as a target image, and executes a synthesis process on the target image. That is, the image synthesis unit 105 synthesizes the image data of the moving object extracted from the target image with the image data of the background frame image including the moving object synthesized so far. If the size of the moving object has been changed by the size changing unit 106b, the image composition unit 105 combines the image data of the moving object of that size with the image data of the background frame image.

このようにしてステップＳ１０の処理が終了すると、処理はステップＳ９に戻され、それ以降の処理が繰り返される。即ち、ステップＳ９ＮＯ，Ｓ１０のループ処理が繰り返されることによって、ステップＳ８の処理で背景フレーム画像として採用された原フレーム画像の画像データに対して、各原フレーム画像の各々から抽出された被写動体の画像データが、元の配置位置と同一位置に順次合成されていく。例えば図６の例では、背景フレーム画像の画像データに対して、原フレーム画像８１乃至８５の各々から抽出された被写動体７３の画像データが、元の配置位置と同一位置に順次合成されていく。これにより、次のステップＳ９においてＹＥＳであると判定されて、処理はステップＳ１１に進む。   When the process of step S10 is completed in this way, the process is returned to step S9, and the subsequent processes are repeated. That is, by repeating the loop processing of Steps S9NO and S10, the moving object extracted from each of the original frame images with respect to the image data of the original frame image adopted as the background frame image in the processing of Step S8. Are sequentially synthesized at the same position as the original arrangement position. For example, in the example of FIG. 6, the image data of the moving object 73 extracted from each of the original frame images 81 to 85 is sequentially combined with the image data of the background frame image at the same position as the original arrangement position. Go. Thereby, it determines with it being YES in the following step S9, and a process progresses to step S11.

ステップＳ１１において、画像加工部１０６は、ステップＳ１０において合成された合成画像に含まれる全ての被写動体について加工処理が終了したか否かを判定する。このとき、未だ加工していない被写動体が存在する場合、ステップＳ１１においてＮＯであると判定されて、処理はステップＳ１２に進む。   In step S11, the image processing unit 106 determines whether or not the processing has been completed for all the moving objects included in the combined image combined in step S10. At this time, if there is a moving object that has not yet been processed, NO is determined in step S11, and the process proceeds to step S12.

ステップＳ１２において、画像加工部１０６は、ステップＳ１０において合成された合成画像に含まれる被写動体のうち未だ加工されていない被写動体を注目画像に設定し、注目画像に対する加工処理を実行する。このとき、画像加工部１０６は、複数の被写動体の各々を、撮影された順序で異なる態様で加工する。なお、加工度合い変更部１０６ａにより加工度合いが変更されている場合には、画像加工部１０６は、複数の被写動体の各々を当該加工度合いに応じた異なる態様で加工する。   In step S12, the image processing unit 106 sets a moving object that has not yet been processed among the moving objects included in the combined image combined in step S10 as a target image, and executes a processing process on the target image. At this time, the image processing unit 106 processes each of the plurality of moving objects in a different manner in the order of shooting. When the processing level is changed by the processing level changing unit 106a, the image processing unit 106 processes each of the plurality of moving objects in a different manner according to the processing level.

このようにしてステップＳ１２の処理が終了すると、処理はステップＳ１１に戻され、それ以降の処理が繰り返される。即ち、ステップＳ１１ＮＯ，Ｓ１２のループ処理が繰り返されることによって、ステップＳ１０の処理で合成された画像データに含まれる被写動体の各々が異なる態様に加工される。その結果、動体連写合成画像が生成されて動体連写合成画像記憶部１２４に記憶される。これにより、次のステップＳ１１においてＹＥＳであると判定されて、動体連写合成処理が終了する。   When the process of step S12 is completed in this way, the process is returned to step S11, and the subsequent processes are repeated. That is, by repeating the loop processing of steps S11NO and S12, each of the moving objects included in the image data synthesized by the processing of step S10 is processed into a different mode. As a result, a moving object continuous shooting combined image is generated and stored in the moving object continuous shooting combined image storage unit 124. Thereby, it determines with it being YES in the following step S11, and a moving body continuous shooting synthetic | combination process is complete | finished.

［動体連写合成画像の例］
図９を参照して、このようにして生成される動体連写合成画像について説明する。
図９は、画像加工部１０６により複数の被写動体の画像データの各々を異なる大きさの筆触に加工した場合に生成される動体連写合成画像９１Ａを示す。動体連写合成画像９１Ａにおいて、背景７２Ａが固定された状態で、被写動体７３Ａ乃至７３Ｅの各々が抽出元の原フレーム画像８１乃至８５の各々における存在位置を保持したまま合成されている。このとき、被写動体７３Ａ乃至７３Ｅは、各々筆触が異なって表されている。即ち、時間的に最も過去の被写動体７３Ａが最も大きな筆触（荒いタッチ）で表わされ、時間的に次に過去の被写動体７３Ｂが次に大きな筆触で表わされ、時間的に次に過去の被写動体７３Ｃが次に大きな筆触で表わされ、時間的に次に過去の被写動体７３Ｄが次に大きな筆触で表わされ、時間的に最も未来の被写動体７３Ｅが最も小さな筆触（細かいタッチ）で表わされている。このように、動体連写合成画像９１Ａでは、被写動体７３Ａ乃至７３Ｅが時間的に未来に行くにつれ細かい画質で表される。よって、動体連写合成画像９１Ａでは、背景７２が固定された状態で、被写動体のみが徐々に移動していく様子だけでなく、被写動体の移動方向までも表すことができる。
なお、図９においては、画像加工部１０６の処理により背景７２が絵画調の背景７２Ａに加工されている。 [Example of moving subject continuous shot composite image]
With reference to FIG. 9, the moving body continuous shoot composite image generated in this way will be described.
FIG. 9 shows a moving object continuous shooting composite image 91 </ b> A generated when the image processing unit 106 processes each of image data of a plurality of moving objects into brushes having different sizes. In the moving object continuous shooting composite image 91A, the moving objects 73A to 73E are combined while maintaining the positions in the original frame images 81 to 85 of the extraction source with the background 72A fixed. At this time, the moving objects 73A to 73E are represented with different brushstrokes. That is, the most recent moving object 73A in time is represented by the largest brush (rough touch), the next moving object 73B in time is represented by the next largest brush, and the next in time. The past moving object 73C is represented by the next largest brush stroke in time, the past moving object 73D is represented by the next largest brush stroke in time, and the future moving object 73E in time is the most. It is represented by a small brush (fine touch). Thus, in the moving subject continuous shooting composite image 91A, the moving subject 73A to 73E is expressed with finer image quality as it goes to the future in time. Therefore, the moving subject continuous shooting composite image 91A can represent not only the state in which only the moving subject gradually moves with the background 72 fixed, but also the moving direction of the moving subject.
In FIG. 9, the background 72 is processed into a painting-like background 72 </ b> A by the processing of the image processing unit 106.

なお、上記加工処理の例は一例に過ぎず、本発明は、複数の被写動体の画像データの各々を異なる態様で加工することで、動体連写合成画像における被写動体の移動方向を判別可能な他の加工処理も含むものである。更に、筆触の加工においても、例えば、筆触の細かいテクスチャのデータと筆触の荒いテクスチャのデータを複数種類、予め用意しておき、時間的に未来の被写動体には筆触のより細かいテクスチャを用い、時間的に過去の被写体には筆触のより荒いテクスチャを用いて加工する処理を用いるようにしてもよく、用途と実装に応じて様々な応用が可能である。詳細は第２実施形態で述べるが、好適な加工処理の別の一例としては、動体連写合成画像の画像データに含まれる複数の被写動体の画像データの各々を異なる濃度に加工することも可能である。   Note that the example of the above processing is merely an example, and the present invention determines the moving direction of the moving object in the moving object continuous shot composite image by processing each of the image data of the plurality of moving objects in different modes. It includes other possible processing. Furthermore, also in touch processing, for example, multiple types of fine texture data and rough texture data are prepared in advance, and a finer texture is used for future moving objects in time. In addition, a process that uses a texture that is rougher than a brush may be used for a subject in the past in time, and various applications are possible depending on the application and implementation. Although details will be described in the second embodiment, as another example of suitable processing, it is also possible to process each of image data of a plurality of moving objects included in the image data of the moving object continuous shot composite image into different densities. Is possible.

［第２実施形態］
続いて、本発明の第２実施形態について、図１０を参照して説明する。第１実施形態では、動体連写合成処理として、画像加工部１０６が、時間的に未来の被写動体には筆触をより細かく、時間的に過去の被写体には筆触をより荒く加工する処理を実行する構成について説明したが、第２実施形態では、動体連写合成処理として、画像加工部１０６が、被写動体の画像データを構成する各々の画素の強度を、時間的に未来の被写動体と、時間的に過去の被写体との間で異なるように加工する点が第１実施形態とは異なる。なお、第２実施形態のデジタルカメラの構成は、ＲＯＭ３２に、動体連写合成モード時に実行する画像加工処理として、画調変更処理に代えて、或いは追加して、被写動体の画像データの各々を構成する画素の強度を、時間的に未来の被写動体と、時間的に過去の被写体との間で異なるように加工する画素強度変更処理を実行するためのプログラムが保存されている。本実施形態のデジタルカメラは、例えば、選択及び決定キーを操作することで動体連写合成モードに切り替えられると、ＣＰＵ３１がＲＯＭ３２に保存されたプログラムを実行して、画像加工処理として画素強度変更処理を実行する点を除くと、第１実施形態のデジタルカメラ１の構成と略同一である。このため、第１実施形態のデジタルカメラ１と同一の構成には同一の番号を付して説明を省略し、画像加工部が画像加工処理として実行する画素強度変更処理について説明する。 [Second Embodiment]
Next, a second embodiment of the present invention will be described with reference to FIG. In the first embodiment, as the moving object continuous shooting and combining process, the image processing unit 106 performs a process of processing the touch of the future moving object in terms of time more finely, and processing the touch of the past subject in time more rough. Although the configuration to be executed has been described, in the second embodiment, as the moving object continuous shooting and synthesizing process, the image processing unit 106 determines the intensity of each pixel constituting the image data of the moving object in terms of the future object in time. The difference from the first embodiment is that the moving object is processed differently with respect to the subject in the past in terms of time. Note that the configuration of the digital camera of the second embodiment is that the image data of the moving object is stored in the ROM 32 instead of or in addition to the image change process as an image processing process executed in the moving object continuous shooting synthesis mode. A program for executing a pixel intensity changing process for processing the intensity of the pixels constituting the pixel so as to be different between temporally future moving objects and temporally past subjects is stored. In the digital camera of the present embodiment, for example, when the selection and determination keys are operated to switch to the moving body continuous shooting / combining mode, the CPU 31 executes a program stored in the ROM 32 and performs pixel intensity changing processing as image processing processing. Except for the point that is executed, the configuration of the digital camera 1 of the first embodiment is substantially the same. For this reason, the same number is attached | subjected to the structure same as the digital camera 1 of 1st Embodiment, description is abbreviate | omitted, and the pixel intensity change process which an image process part performs as an image process is demonstrated.

画像加工部１０６は、複数の被写動体の画像データの各々の画素の強度が、時間的に未来の被写動体と、時間的に過去の被写体との間で異なるように加工する。この場合においても、被写動体の移動方向に応じて移動元から移動先に向かって画素の強度を変化、即ち、時間的に過去の被写動体の画像データの画素の強度を弱くし、時間的に未来になるにつれて被写動体の画像データの画素の強度を強くすることが好ましい。これにより、複数の被写動体の画像データは、移動元から移動先に向かって濃度が濃く（明確に）なる。
具体的には、画像加工部１０６は、動体連写合成画像の画像データに対して、被写動体が撮影された順序と、原画像の画像データにおける被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体の画像データを構成する画素の強度が、時間的に過去の被写動体の画像データを構成する画素の強度より大きくなるように加工する。 The image processing unit 106 processes the intensity of each pixel of the image data of the plurality of moving objects so that the moving object in the future is different from the moving object in the past in time. Even in this case, the intensity of the pixel changes from the movement source to the movement destination according to the moving direction of the moving object, that is, the intensity of the pixel of the past moving object image data is reduced in time, It is preferable to increase the intensity of the pixels of the image data of the moving object as the future progresses. As a result, the image data of the plurality of moving objects become darker (clearly) from the movement source to the movement destination.
Specifically, the image processing unit 106, with respect to the image data of the moving object continuous shooting composite image, the order in which the moving object was photographed, the position information of the image data of the moving object in the image data of the original image, Based on the above, processing is performed so that the intensity of the pixels constituting the image data of the future moving object in time is larger than the intensity of the pixels constituting the image data of the past moving object in the time.

次に、図１０は、複数の被写動体の画像データの各々を異なる濃度に加工した場合に生成される動体連写合成画像９１Ｂを示す。動体連写合成画像９１Ｂにおいて、時間的に最も過去の被写動体７３Ａが最も薄く表わされ、時間的に次に過去の被写動体７３Ｂが次に薄く表わされ、時間的に次に過去の被写動体７３Ｃが次に薄く表わされ、時間的に次に過去の被写動体７３Ｄが次に薄く表わされ、時間的に最も未来の被写動体７３Ｅが最も濃く表わされている。このように、動体連写合成画像９１Ｂでは、時間的に未来に行くにつれ被写動体７３Ａ乃至７３Ｅが濃くなるように表される。よって、動体連写合成画像９１Ｂであっても、被写動体の移動方向を判別できる。   Next, FIG. 10 shows a moving object continuous shooting composite image 91B generated when each of image data of a plurality of moving objects is processed into different densities. In the moving subject continuous shot composite image 91B, the past moving subject 73A that is the oldest in time is the thinnest, the past moving subject 73B that is the next in time is shown lightest, and the past in time is the past. The next moving object 73C is represented next thinly, the next past moving object 73D is represented next lightest, and the future moving object 73E is represented most darkly in time. . As described above, the moving subject continuous shooting composite image 91B shows that the moving subject 73A to 73E become darker in the future in time. Therefore, even in the moving object continuous shooting composite image 91B, the moving direction of the moving object can be determined.

なお、被写動体の筆触の大きさと被写動体の濃度とを併せて、移動方向を判別可能にしてもよい。また、時間的に過去の被写動体ほど画質を細かく（濃く）し、未来の被写動体ほど画質を荒く（薄く）することとしてもよい。   Note that the direction of movement may be determined by combining the size of the touch of the moving object and the density of the moving object. Alternatively, the past moving object may be finer (darker) in image quality in the past, and the image quality may be rougher (lighter) in the future moving object.

［変形実施形態］
画像加工部１０６は、加工度合い変更部１０６ａにより変更された加工度合いで、各被写動体の画像データを加工処理することとしてもよい。また、画像加工部１０６は、サイズ変更部１０６ｂにより変更された大きさの各被写動体の画像データを、背景フレーム画像の画像データに合成することとしてもよい。 [Modified Embodiment]
The image processing unit 106 may process the image data of each moving object with the processing degree changed by the processing degree changing unit 106a. Further, the image processing unit 106 may combine the image data of each moving object having the size changed by the size changing unit 106b with the image data of the background frame image.

［加工度合い変更の例］
図１１を参照して、加工度合い変更部１０６ａにより行われる被写動体の加工度合い変更の例について説明する。なお、図１１では、時間的に異なる被写動体の濃度の度合いを変更することを例にとって説明するが、時間的に異なる被写動体の筆触の大きさの度合いを変更可能にしてもよい。 [Example of processing degree change]
With reference to FIG. 11, an example of changing the processing level of the moving object performed by the processing level changing unit 106a will be described. In FIG. 11, an example of changing the degree of density of a moving object that varies in time is described as an example. However, the degree of brush size of the moving object that varies in time may be changed.

図１１（１）を参照して、デジタルカメラ１の表示部４１に濃度変更設定画面２００を表示し、濃度変化選択欄２０１からユーザが濃度の変化度合いを選択可能にしている。例えば、「大きい」が選択された場合には、時間的に異なる被写動体の濃度の変化が大きくなり、「小さい」が選択された場合には、時間的に異なる被写動体の濃度の変化が小さくなる。なお、ユーザが任意に濃度の変化度合いを選択可能であればよく、「大きい」「普通」「小さい」など予め定めたものでなく、変化度合い（即ち、画素の強度）を数値で設定するなど詳細な設定も可能にしてもよい。   Referring to FIG. 11A, the density change setting screen 200 is displayed on the display unit 41 of the digital camera 1, and the user can select the degree of density change from the density change selection column 201. For example, if “large” is selected, the change in the density of the moving object that varies in time increases, and if “small” is selected, the change in the density of the moving object that varies in time Becomes smaller. Note that it is only necessary that the user can arbitrarily select the degree of change in density, and the degree of change (that is, the intensity of the pixel) is set by a numerical value instead of predetermined values such as “large”, “normal”, and “small”. Detailed settings may also be possible.

図１１（２）は、変化度合いとして「小さい」が選択された場合の動体連写合成画像９１Ｃを示す。動体連写合成画像９１Ｃでは、時間的に異なる被写動体の濃度の変化が小さく表示されている。その結果、被写動体７３Ａ乃至７３Ｅの各々について、加工度合いを小さくなり、移動方向を認識可能でありながら、より自然な動体連写合成画像を得ることができる。   FIG. 11 (2) shows the moving object continuous shooting composite image 91C when “small” is selected as the degree of change. In the moving subject continuous shooting composite image 91C, the change in the density of the moving subject that is temporally different is displayed small. As a result, for each of the moving objects 73A to 73E, it is possible to obtain a more natural moving object continuous shot combined image while reducing the degree of processing and recognizing the moving direction.

また、図１１（３）は、変化度合いとして「大きい」が選択された場合の動体連写合成画像９１Ｄを示す。動体連写合成画像９１Ｄでは、時間的に異なる被写動体の濃度の変化が大きく表示されている。その結果、被写動体７３Ａ乃至７３Ｅの移動方向がより明確になる。   FIG. 11 (3) shows a moving object continuous shooting composite image 91D when “large” is selected as the degree of change. In the moving subject continuous shooting composite image 91D, a change in density of the moving subject that is temporally different is displayed greatly. As a result, the moving directions of the moving objects 73A to 73E become clearer.

このように、時間的に異なる被写動体の加工度合いをユーザの選択により任意に変更可能としたため、被写動体の移動方向を把握可能な動体連写合成画像のうち、ユーザの好む動体連写合成画像を提供でき、結果として、ユーザに対して新たな印象を与えることが可能となる。   As described above, since the processing degree of the moving object that is different in time can be arbitrarily changed by the user's selection, the moving object continuous shooting preferred by the user among the moving object continuous shooting composite images that can grasp the moving direction of the moving object. A composite image can be provided, and as a result, a new impression can be given to the user.

［大きさ変更の例］
図１２を参照して、サイズ変更部１０６ｂにより行われる動体連写合成画像中の被写動体の大きさ変更の例について説明する。 [Example of size change]
With reference to FIG. 12, an example of the size change of the moving object in the moving object continuous shooting composite image performed by the size changing unit 106b will be described.

図１２（１）を参照して、デジタルカメラ１の表示部４１に被写動体サイズ選択画面２１０を表示し、サイズ選択欄２１１からユーザが濃度の被写動体の大きさを選択可能にしている。例えば、「大きい」が選択された場合には、動体連写合成画像中の被写動体の大きさが大きくなり、「小さい」が選択された場合には、動体連写合成画像中の被写動体の大きさが小さくなる。
なお、ユーザが任意に被写動体の大きさを選択可能であればよく、「大きい」「普通」「小さい」など予め定めたものでなく、数値で設定するなど詳細な設定も可能にしてもよい。また、動体連写合成画像中の複数の被写動体の大きさを一括して変更することとしてもよく、また、動体連写合成画像中の複数の被写動体の各々の大きさを個別に変更することとしてもよい。 Referring to FIG. 12 (1), a moving object size selection screen 210 is displayed on the display unit 41 of the digital camera 1, and the user can select the size of the moving object of density from the size selection field 211. . For example, when “large” is selected, the size of the moving subject in the moving subject continuous composite image increases, and when “small” is selected, the subject in the continuous subject composite image increases. The size of the moving object is reduced.
Note that it is only necessary that the user can arbitrarily select the size of the moving object, and it is not predetermined such as “large”, “normal”, “small”, and detailed settings such as numerical values can be set. Good. In addition, the size of a plurality of moving objects in the moving subject continuous shot composite image may be changed at once, and the size of each of the plurality of moving subjects in the moving subject continuous shot composite image may be individually set. It may be changed.

図１２（２）は、被写動体の大きさとして「小さい」が選択された場合の動体連写合成画像９１Ｅを示す。動体連写合成画像９１Ｅでは、動体連写合成画像中の被写動体７３Ａ乃至７３Ｅの大きさが小さくなる。
また、図１２（３）は、被写動体の大きさとして「大きい」が選択された場合の動体連写合成画像９１Ｆを示す。動体連写合成画像９１Ｆでは、動体連写合成画像中の被写動体７３Ａ乃至７３Ｅの大きさが大きくなる。 FIG. 12 (2) shows a moving object continuous shooting composite image 91E when “small” is selected as the size of the moving object. In the moving body continuous shooting composite image 91E, the sizes of the moving objects 73A to 73E in the moving body continuous shooting composite image are small.
FIG. 12 (3) shows a moving object continuous shooting composite image 91F when “large” is selected as the size of the moving object. In the moving body continuous shooting composite image 91F, the sizes of the moving objects 73A to 73E in the moving body continuous shooting composite image are large.

このように動体連写合成画像中の被写動体の大きさをユーザの選択により任意に変更可能としたため、被写動体の移動方向を把握可能な動体連写合成画像のうち、ユーザの好む動体連写合成画像を提供できる。   As described above, since the size of the moving object in the moving object continuous shooting composite image can be arbitrarily changed by the user's selection, the moving object preferred by the user among the moving object continuous shooting composite images capable of grasping the moving direction of the moving object. Continuous shooting composite images can be provided.

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。例えば、上述した実施形態では、被写体の移動方向を判別可能とするため、具体的には、時間的に未来の被写動体を時間的に過去の被写動体より高い鮮明度で表示されるように画像データを加工するものとして説明したが、本発明はこれに限定されない。時間的に未来の被写動体と時間的に過去の被写動体とが判別可能となるのならば、例えば、時間的に未来の被写動体を時間的に過去の被写動体より低い鮮明度で表示されるように画像データを加工するなど、被写動体の時間的な推移に応じて鮮明度を変化させることも可能であり、様々な変形態様が想到可能である。   Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and modifications, improvements, and the like within the scope that can achieve the object of the present invention are included in the present invention. For example, in the above-described embodiment, in order to be able to determine the moving direction of the subject, specifically, the future moving object in time is displayed with a higher degree of clarity than the past moving object in time. However, the present invention is not limited to this. If it is possible to discriminate between the future moving object in time and the past moving object in time, for example, the future moving object in time is lower in clarity than the past moving object in time. It is also possible to change the sharpness in accordance with the temporal transition of the moving object, such as processing the image data so that it is displayed in various ways, and various deformation modes can be conceived.

上述した実施形態では、画像加工部１０６により生成された画像データをメモリ３４に設けられた動体連写合成画像記憶部１２４に記憶することとしているが、これに限られるものではない。例えば、リムーバブル記録媒体５１に画像加工部１０６により生成された画像データを記憶することとしてもよい。
また、上述した実施形態では、画像加工部１０６により合成した画像データを表示部４１に表示することとしているが、当該画像データを印刷するようにしてもよい。 In the above-described embodiment, the image data generated by the image processing unit 106 is stored in the moving object continuous-shot composite image storage unit 124 provided in the memory 34, but is not limited thereto. For example, the image data generated by the image processing unit 106 may be stored in the removable recording medium 51.
In the above-described embodiment, the image data synthesized by the image processing unit 106 is displayed on the display unit 41. However, the image data may be printed.

上述した実施形態では、本発明が適用される画像処理装置は、デジタルカメラとして構成される例として説明した。しかしながら、本発明は、デジタルカメラに特に限定されず、電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、カメラ付き携帯電話、携帯型ナビゲーション装置、ポータブルゲーム機などに適用可能である。   In the above-described embodiments, the image processing apparatus to which the present invention is applied has been described as an example configured as a digital camera. However, the present invention is not particularly limited to digital cameras, and can be applied to electronic devices in general. Specifically, for example, the present invention is applicable to a video camera, a mobile phone with a camera, a portable navigation device, a portable game machine, and the like.

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。   The series of processes described above can be executed by hardware or can be executed by software.

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパソコンであってもよい。   When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium. The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.

このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などにより構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ３２や、図示せぬハードディスクなどで構成される。   Although not shown, the recording medium including such a program is not only constituted by a removable medium distributed separately from the apparatus main body in order to provide a program to the user, but also in a state of being incorporated in the apparatus main body in advance. It consists of a recording medium provided to the user. The removable medium is composed of, for example, a magnetic disk (including a floppy disk), an optical disk, a magneto-optical disk, or the like. The optical disk is composed of, for example, a CD-ROM (Compact Disk-Read Only Memory), a DVD (Digital Versatile Disk), or the like. The magneto-optical disk is configured by an MD (Mini-Disk) or the like. In addition, the recording medium provided to the user in a state of being preinstalled in the apparatus main body is configured by, for example, the ROM 32 in FIG.

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。   In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.

１・・・デジタルカメラ、１１・・・撮影部、１２・・・データ処理部（記憶手段、抽出手段、生成手段、合成手段、加工手段、加工度合い変更手段、サイズ変更手段）、１３・・・ユーザインタフェース部、２１・・・光学レンズ部、２２・・・イメージセンサ、３１・・・ＣＰＵ（抽出手段、生成手段、合成手段、加工手段、加工度合い変更手段、サイズ変更手段）、３２・・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・メモリ（記憶手段）、３５・・・表示制御部、３６・・・画像処理部、１０１・・・位置ズレ補正部、１０２・・・フレーム縮小部、１０３・・・被写動体抽出部（抽出手段）、１０４・・・背景フレーム生成部（生成手段）、１０５・・画像合成部（合成手段）、１０６・・・画像加工部（加工手段）、１０６ａ・・・加工度合い変更部（加工度合い変更手段）、１０６ｂ・・・サイズ変更部（サイズ変更手段）、１２１・・・原フレーム記憶部（記憶手段）、１２２・・・背景フレーム記憶部、１２３・・・抽出被写動体記憶部、１２４・・・動体連写合成画像記憶部   DESCRIPTION OF SYMBOLS 1 ... Digital camera, 11 ... Image pick-up part, 12 ... Data processing part (a memory | storage means, an extraction means, a production | generation means, a synthetic | combination means, a process means, a process degree change means, a size change means), 13 ... User interface unit, 21 ... optical lens unit, 22 ... image sensor, 31 ... CPU (extraction means, generation means, synthesis means, processing means, processing degree changing means, size changing means), 32 ..ROM, 33 ... RAM, 34 ... memory (storage means), 35 ... display control unit, 36 ... image processing unit, 101 ... position shift correction unit, 102 ... frame Reduction unit, 103... Moving object extraction unit (extraction means), 104... Background frame generation unit (generation means), 105... Image synthesis unit (synthesis means), 106. Means), 106a Processing degree changing unit (processing degree changing unit), 106b ... Size changing unit (size changing unit), 121 ... Original frame storage unit (storage unit), 122 ... Background frame storage unit, 123 ... Extracted moving object storage unit 124, moving object continuous shooting combined image storage unit

Claims (8)

移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の原画像の画像データに対して画像処理を行う画像処理装置であって、該画像処理装置は、
前記複数の原画像の画像データの各々から、前記被写動体の画像データを、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に対応付けて抽出する抽出手段と、
前記複数の原画像の画像データの各々から前記被写動体を除いた背景画像の画像データを生成する生成手段と、
前記生成手段により生成された前記背景画像の画像データに対して、前記抽出手段により抽出された前記被写動体の画像データの各々を、前記原画像の画像データにおける当該被写動体の画像データの位置情報に基づいて重ね合わせることによって、動体連写合成画像の画像データを生成する合成手段と、
前記合成手段により生成された動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体と時間的に過去の被写動体とが異なる鮮明度となるように加工する加工手段と、
を備える画像処理装置。 An image processing apparatus that performs image processing on image data of a plurality of original images, using each of a plurality of images obtained by continuous shooting on a moving subject as an original image, the image processing apparatus comprising:
From each of the image data of the plurality of original images, the image data of the moving object, the order in which the moving object was photographed, and position information of the image data of the moving object in the image data of the original image, Extracting means for extracting in association with
Generating means for generating image data of a background image excluding the moving object from each of the image data of the plurality of original images;
With respect to the image data of the background image generated by the generating means, each of the image data of the moving object extracted by the extracting means is replaced with the image data of the moving object in the image data of the original image. Combining means for generating image data of a moving body continuous shot composite image by superimposing based on position information;
With respect to the image data of the moving subject continuous shot composite image generated by the synthesizing means, the order in which the moving subject is photographed and the positional information of the image data of the moving subject in the image data of the original image Based on the processing means for processing so that the future moving object in time and the past moving object in time are different in sharpness,
An image processing apparatus comprising: 前記加工手段は、
前記動体連写合成画像の画像データに含まれる画素の相関に基づいて、画素のグループを生成し、前記動体連写合成画像の画像データに対して、同一のグループの画素の色は同一となるように加工し、
前記加工手段は更に、
前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体が、時間的に過去の被写動体に対して鮮明度が異なるように、前記画素のグループの形状を変化させる、
請求項１に記載の画像処理装置。 The processing means includes
A group of pixels is generated based on the correlation of pixels included in the image data of the moving object continuous shot composite image, and the colors of the pixels in the same group are the same as the image data of the moving object continuous shot composite image. So that
The processing means further includes
Based on the order in which the moving object was photographed and the positional information of the image data of the moving object in the image data of the original image, the future moving object in terms of time may Changing the shape of the group of pixels so that the sharpness differs with respect to the moving object;
The image processing apparatus according to claim 1. 前記加工手段は、
前記動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体の画像データを構成する画素の強度が、時間的に過去の被写動体の画像データを構成する画素の強度とは異なるように加工する、
請求項１に記載の画像処理装置。 The processing means includes
Based on the order in which the moving subject was photographed with respect to the image data of the moving subject continuous shot composite image and the positional information of the image data of the moving subject in the image data of the original image, in terms of time Processing so that the intensity of the pixels constituting the image data of the future moving object is temporally different from the intensity of the pixels constituting the image data of the past moving object.
The image processing apparatus according to claim 1. 前記加工手段は、
前記動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体の画像データに、時間的に過去の被写動体の画像データと比較して、画素の細かさの異なるテクスチャのデータを貼り付けて加工する、
請求項１に記載の画像処理装置。 The processing means includes
Based on the order in which the moving subject was photographed with respect to the image data of the moving subject continuous shot composite image and the positional information of the image data of the moving subject in the image data of the original image, in terms of time Pasting and processing texture data with different pixel fineness in the image data of the future subject in comparison with the image data of the past subject in time,
The image processing apparatus according to claim 1. 前記加工手段は、
前記動体連写合成画像の画像データに対して、前記原画像の画像データにおける前記被写動体の画像データの位置情報に基づいて、前記被写動体の画像データに対する加工の度合いを変更する加工度合い変更手段を備える、
請求項１乃至４の何れか１項に記載の画像処理装置。 The processing means includes
The degree of processing for changing the degree of processing on the image data of the moving object based on the position information of the image data of the moving object in the image data of the original image with respect to the image data of the moving object continuous shot composite image Comprising a changing means,
The image processing apparatus according to claim 1. 前記加工手段は、
前記動体連写合成画像の画像データに対して、前記原画像の画像データにおける前記被写動体の画像データの位置情報に基づいて、前記原画像に対する前記被写動体の大きさを変更するサイズ変更手段を備える、
請求項１乃至５の何れか１項に記載の画像処理装置。 The processing means includes
A size change for changing the size of the moving object with respect to the original image based on position information of the image data of the moving object in the image data of the original image with respect to the image data of the moving object continuous shooting composite image With means,
The image processing apparatus according to any one of claims 1 to 5. 画像処理装置によって、移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の原画像の画像データに対して画像処理を行うための画像処理方法において、
前記複数の原画像の画像データの各々から、前記被写動体の画像データを、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に対応付けて抽出する抽出ステップと、
前記複数の原画像の画像データの各々から前記被写動体を除いた背景画像の画像データを生成する生成ステップと、
前記生成ステップにおいて生成された前記背景画像の画像データに対して、前記抽出ステップにおいて抽出された前記被写動体の画像データの各々を、前記原画像の画像データにおける当該被写動体の画像データの位置情報に基づいて重ね合わせることによって、動体連写合成画像の画像データを生成する合成ステップと、
前記合成ステップにおいて生成された動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体と時間的に過去の被写動体とが異なる鮮明度となるように加工する加工ステップと、
を含む画像処理方法。 In an image processing method for performing image processing on image data of a plurality of original images, with each of a plurality of images obtained by continuous shooting on a moving moving object as an original image by an image processing apparatus,
From each of the image data of the plurality of original images, the image data of the moving object, the order in which the moving object was photographed, and position information of the image data of the moving object in the image data of the original image, An extraction step of extracting in association with
A generation step of generating image data of a background image excluding the moving object from each of the image data of the plurality of original images;
With respect to the image data of the background image generated in the generating step, each of the image data of the moving object extracted in the extracting step is replaced with the image data of the moving object in the image data of the original image. A synthesis step of generating image data of the moving body continuous shot synthesized image by superimposing on the basis of the position information;
With respect to the image data of the moving subject continuous shot composite image generated in the combining step, the order in which the moving subject was photographed and the positional information of the image data of the moving subject in the image data of the original image Based on the processing step for processing so that the future moving object in time and the past moving object in time become different sharpness,
An image processing method including: 移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の原画像の画像データに対して画像処理を行う機能を有する画像処理装置を制御するコンピュータに、
前記複数の原画像の画像データの各々から、前記被写動体の画像データを、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に対応付けて抽出する抽出機能と、
前記複数の原画像の画像データの各々から前記被写動体を除いた背景画像の画像データを生成する生成機能と、
前記生成機能により生成された前記背景画像の画像データに対して、前記抽出機能により抽出された前記被写動体の画像データの各々を、前記原画像の画像データにおける当該被写動体の画像データの位置情報に基づいて重ね合わせることによって、動体連写合成画像の画像データを生成する合成機能と、
前記合成機能により生成された動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体と時間的に過去の被写動体とが異なる鮮明度となるように加工する加工機能と、
を実現させるためのプログラム。 A computer that controls an image processing apparatus having a function of performing image processing on image data of a plurality of original images, with each of a plurality of images obtained by continuous shooting on a moving subject as an original image,
From each of the image data of the plurality of original images, the image data of the moving object, the order in which the moving object was photographed, and position information of the image data of the moving object in the image data of the original image, An extraction function for extracting in association with
A generation function for generating image data of a background image excluding the moving object from each of the image data of the plurality of original images;
For the image data of the background image generated by the generation function, each of the image data of the moving object extracted by the extraction function is replaced with the image data of the moving object in the image data of the original image. A composition function for generating image data of a moving body continuous composite image by superimposing based on position information;
With respect to the image data of the moving subject continuous shooting composite image generated by the combining function, the order in which the moving subject is photographed and the positional information of the image data of the moving subject in the image data of the original image Based on the processing function to process so that the future moving object in the future and the moving object in the past are different in time,
A program to realize
JP2010038511A 2010-02-24 2010-02-24 Image processing apparatus and method, and program Active JP5581728B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010038511A JP5581728B2 (en) 2010-02-24 2010-02-24 Image processing apparatus and method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010038511A JP5581728B2 (en) 2010-02-24 2010-02-24 Image processing apparatus and method, and program

Publications (2)

Publication Number Publication Date
JP2011176557A true JP2011176557A (en) 2011-09-08
JP5581728B2 JP5581728B2 (en) 2014-09-03

Family

ID=44689017

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010038511A Active JP5581728B2 (en) 2010-02-24 2010-02-24 Image processing apparatus and method, and program

Country Status (1)

Country Link
JP (1) JP5581728B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013070324A (en) * 2011-09-26 2013-04-18 Nec Casio Mobile Communications Ltd Electronic apparatus, control method therefor, and program
JP2013183220A (en) * 2012-02-29 2013-09-12 Nikon Corp Camera and image processor
JP2015088771A (en) * 2013-10-28 2015-05-07 株式会社ニコン Image processing device, imaging apparatus and image processing program
JP2016192779A (en) * 2016-06-09 2016-11-10 株式会社ニコン Camera, image processing apparatus, and program
JP2018513640A (en) * 2015-04-10 2018-05-24 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ Automatic panning shot generation
JP2019153863A (en) * 2018-03-01 2019-09-12 ソニー株式会社 Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07254071A (en) * 1994-03-15 1995-10-03 Matsushita Electric Ind Co Ltd Animation display smoothing method and device therefor
JPH11331693A (en) * 1998-05-20 1999-11-30 Casio Comput Co Ltd Method for processing picture and its device
JP2000187478A (en) * 1998-12-24 2000-07-04 Casio Comput Co Ltd Picture processor and picture processing method
JP2003008993A (en) * 2001-06-26 2003-01-10 Nippon Hoso Kyokai <Nhk> Image compositing device and method
JP2005328446A (en) * 2004-05-17 2005-11-24 Matsushita Electric Ind Co Ltd Image processing apparatus
JP2009116575A (en) * 2007-11-06 2009-05-28 Olympus Imaging Corp Image synthesizing apparatus and image synthesizing method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07254071A (en) * 1994-03-15 1995-10-03 Matsushita Electric Ind Co Ltd Animation display smoothing method and device therefor
JPH11331693A (en) * 1998-05-20 1999-11-30 Casio Comput Co Ltd Method for processing picture and its device
JP2000187478A (en) * 1998-12-24 2000-07-04 Casio Comput Co Ltd Picture processor and picture processing method
JP2003008993A (en) * 2001-06-26 2003-01-10 Nippon Hoso Kyokai <Nhk> Image compositing device and method
JP2005328446A (en) * 2004-05-17 2005-11-24 Matsushita Electric Ind Co Ltd Image processing apparatus
JP2009116575A (en) * 2007-11-06 2009-05-28 Olympus Imaging Corp Image synthesizing apparatus and image synthesizing method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013070324A (en) * 2011-09-26 2013-04-18 Nec Casio Mobile Communications Ltd Electronic apparatus, control method therefor, and program
JP2013183220A (en) * 2012-02-29 2013-09-12 Nikon Corp Camera and image processor
JP2015088771A (en) * 2013-10-28 2015-05-07 株式会社ニコン Image processing device, imaging apparatus and image processing program
JP2018513640A (en) * 2015-04-10 2018-05-24 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ Automatic panning shot generation
JP2016192779A (en) * 2016-06-09 2016-11-10 株式会社ニコン Camera, image processing apparatus, and program
JP2019153863A (en) * 2018-03-01 2019-09-12 ソニー株式会社 Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method
JP7119425B2 (en) 2018-03-01 2022-08-17 ソニーグループ株式会社 Image processing device, encoding device, decoding device, image processing method, program, encoding method and decoding method
US11508123B2 (en) 2018-03-01 2022-11-22 Sony Corporation Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method for processing multiple video camera image streams to generate stroboscopic images

Also Published As

Publication number Publication date
JP5581728B2 (en) 2014-09-03

Similar Documents

Publication Publication Date Title
JP6271990B2 (en) Image processing apparatus and image processing method
JP5803467B2 (en) Image processing apparatus, imaging apparatus, and image processing method
KR101566081B1 (en) Image processing apparatus, image processing method, and storage medium
JP5581728B2 (en) Image processing apparatus and method, and program
JP2009212899A (en) Imaging device
JP5377768B2 (en) Image processing method and apparatus
JP5531865B2 (en) Image processing apparatus, image processing method, and program
JP2010226694A (en) Image processor and method of image processing
CN103888684B (en) Image processing apparatus, image processing method and recording medium
JP2011049952A (en) Image generating apparatus and electronic camera
JP2010050502A (en) Image processor, image processing method, and image processing program
JP2010193058A (en) Image capture device, image capturing method, and image capturing program
JP6261205B2 (en) Image processing device
JP6541501B2 (en) IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, AND IMAGE PROCESSING METHOD
JP7057079B2 (en) Image processing device, image pickup device, image processing method, and program
JP5446847B2 (en) Image processing apparatus and method, and program
JP6327892B2 (en) Imaging apparatus and control method thereof
JP6486453B2 (en) Image processing apparatus, image processing method, and program
JP2023033355A (en) Image processing device and control method therefor
JP2011166607A (en) Image processing apparatus, image processing method and image processing program
JP2010171491A (en) Imaging device, imaging method, and program
JP2009089083A (en) Age estimation photographing device and age estimation photographing method
JP2014138378A (en) Image pickup device, control method thereof, and control program thereof
JP5928024B2 (en) Image processing apparatus, image processing method, and program
JP5948960B2 (en) Camera, image processing apparatus and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140617

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140630

R150 Certificate of patent or registration of utility model

Ref document number: 5581728

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150