JP2013165348A - Image superimposition method, apparatus for the same, and imaging apparatus - Google Patents

Image superimposition method, apparatus for the same, and imaging apparatus Download PDF

Info

Publication number
JP2013165348A
JP2013165348A JP2012026535A JP2012026535A JP2013165348A JP 2013165348 A JP2013165348 A JP 2013165348A JP 2012026535 A JP2012026535 A JP 2012026535A JP 2012026535 A JP2012026535 A JP 2012026535A JP 2013165348 A JP2013165348 A JP 2013165348A
Authority
JP
Japan
Prior art keywords
image
image data
unit
moving
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012026535A
Other languages
Japanese (ja)
Other versions
JP5901328B2 (en
Inventor
Yuya Matsuki
優也 松木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2012026535A priority Critical patent/JP5901328B2/en
Publication of JP2013165348A publication Critical patent/JP2013165348A/en
Application granted granted Critical
Publication of JP5901328B2 publication Critical patent/JP5901328B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To quickly and simply record situations at the moment of taking a still image and before and after taking the still image.SOLUTION: An image superimposition apparatus comprises: an image acquisition unit which acquires a moving image of a subject before and after acquiring the still image of the subject; a display unit; an image selection unit which reproduces the moving image on the display unit and selects an image frame included in the moving image from the moving image under reproduction; and a superimposition and recording unit which records the image frame selected by the image selection unit by superimposing the selected image frame on the still image.

Description

本発明は、被写体の動画中から所望の画像を選択し、この選択された画像を静止画に合成する画像合成方法及びその装置、撮像装置に関する。   The present invention relates to an image composition method, an apparatus, and an imaging apparatus that select a desired image from a moving image of a subject and synthesize the selected image with a still image.

例えば、撮像装置は、撮像により取得した複数の画像を合成してその合成画像を作成する機能を有するものがある。かかる技術としては、例えば特許文献1乃至3がある。
特許文献1は、画像取得枚数として予め定められた枚数分又は画像取得時間として予め定められた時間内に撮影された枚数分の撮影画像を取得し、1乃至複数の人物を撮影した複数枚の画像の中から例えば最も移りの良い各人のベストショット画像を抽出して1枚の合成画像として出力することを開示する。
For example, some imaging devices have a function of synthesizing a plurality of images acquired by imaging to create a synthesized image. Examples of such techniques include Patent Documents 1 to 3.
Patent Document 1 acquires a plurality of images obtained by capturing one or a plurality of persons by acquiring the number of images acquired within a predetermined number of images as the number of image acquisition or within a predetermined time as an image acquisition time. For example, it is disclosed that a best shot image of each person having the best movement is extracted from an image and output as one composite image.

特許文献2は、動画撮影中になされた静止画撮影の前後の所定時間の動画データの少なくともいずれか一方をレックレビューとして記憶し、その記憶したレックレビュー用画像データを表示手段に表示することを開示する。
特許文献3は、液晶モニタに動画を再生中、静止画抽出指令を出すと、この静止画抽出指令が入った瞬間の直前、直後又は前後の静止画データが所定コマ数分、所定間隔をもって動画データから抽出され、再表示されると共に静止画ファイルとして記録されることを開示する。
Patent Literature 2 stores at least one of moving image data for a predetermined time before and after still image shooting performed during moving image shooting as a REC review, and displays the stored REC review image data on a display unit. Disclose.
In Patent Document 3, when a still image extraction command is issued while a moving image is being reproduced on a liquid crystal monitor, still image data immediately before, immediately after, or before and after the moment when the still image extraction command is input is a moving image with a predetermined number of frames. It is disclosed that it is extracted from data, redisplayed and recorded as a still image file.

特開2010−98404号公報JP 2010-98404 A 特開2010−109940号公報JP 2010-109940 A 特開2004−312495号公報JP 2004-31495 A

静止画を撮像する瞬間に加え、この静止画の前後の過程を簡単に記録することの要望がある。
本発明の目的は、静止画を撮像する際の状況を簡単に記録できる画像合成方法及びその装置、撮像装置を提供することにある。
In addition to the moment of capturing a still image, there is a desire to easily record the process before and after the still image.
An object of the present invention is to provide an image composition method, an apparatus therefor, and an image pickup apparatus that can easily record a situation when a still image is picked up.

本発明の主要な局面に係る画像合成方法は、被写体の静止画を取得する前後に前記被写体の動画を取得し、前記静止画の再生と共に前記動画を再生し、当該再生中の前記動画中から当該動画に含む画像コマを選択し、当該選択された画像コマを前記静止画に合成記録する。
本発明の主要な局面に係る画像合成装置は、被写体の静止画を取得する前後に前記被写体の動画を取得する画像取得部と、表示部と、前記表示部に前記静止画の再生と共に前記動画を再生し、当該再生中の前記動画中から当該動画に含む画像コマを選択する画像選択部と、前記画像選択部により選択された前記画像コマを前記静止画に合成記録する合成記録部とを具備する。
本発明の主要な局面に係る撮像装置は、被写体の静止画を取得する前後に前記被写体の動画を取得するための撮像部と、表示部と、前記表示部に前記静止画の再生と共に前記動画を再生し、当該再生中の前記動画中から当該動画に含む画像コマを選択する画像選択部と、前記画像選択部により選択された前記画像コマを前記静止画に合成記録する合成記録部とを具備する。
An image composition method according to a main aspect of the present invention acquires a moving image of the subject before and after acquiring a still image of the subject, reproduces the moving image together with the reproduction of the still image, and from the moving image being reproduced. An image frame included in the moving image is selected, and the selected image frame is synthesized and recorded on the still image.
An image composition device according to a main aspect of the present invention includes an image acquisition unit that acquires a moving image of the subject before and after acquiring a still image of the subject, a display unit, and the moving image together with the reproduction of the still image on the display unit. An image selection unit that selects an image frame included in the moving image from the moving image that is being reproduced, and a composite recording unit that combines and records the image frame selected by the image selection unit with the still image It has.
An imaging apparatus according to a main aspect of the present invention includes an imaging unit for acquiring a moving image of the subject before and after acquiring a still image of the subject, a display unit, and the moving image together with the reproduction of the still image on the display unit. An image selection unit that selects an image frame included in the moving image from the moving image that is being reproduced, and a composite recording unit that combines and records the image frame selected by the image selection unit with the still image It has.

本発明によれば、撮影が行われた際の状況を合わせて簡単に記録でき、思い出深い写真撮影を可能とすることが出来る画像合成方法及びその装置、撮像装置を提供できる。   According to the present invention, it is possible to provide an image synthesizing method, an apparatus therefor, and an image pickup apparatus that can easily record the situation at the time of shooting together and enable memorable photography.

本発明に係る画像合成の機能を備えた撮像装置の第1の実施の形態を示す構成図。1 is a configuration diagram showing a first embodiment of an imaging apparatus having an image composition function according to the present invention. FIG. 同装置の記録部に記憶されている静止画とプリ動画中から選択された複数の画像データを示す模式図。The schematic diagram which shows the some image data selected from the still image and pre-moving image memorize | stored in the recording part of the apparatus. 同装置の画像選択部によりLCD表示画面上に表示されるメイキング画像表示枠を示す図。The figure which shows the making image display frame displayed on an LCD display screen by the image selection part of the apparatus. 同装置の画像選択部によりプリ動画中から順次抽出されて各メイキング画像表示枠内に時系列に並べて表示される画像データを示す図。The figure which shows the image data sequentially extracted from the pre-moving image by the image selection part of the same apparatus, and displayed side by side in each making image display frame. 同装置におけるプリ動画に含まれる各画像データを示す模式図。The schematic diagram which shows each image data contained in the pre animation in the same apparatus. 同装置のLCDに表示されている選択された画像データを示す概略図。Schematic which shows the selected image data currently displayed on LCD of the apparatus. 同装置の進捗状況表示部によりLCDの表示画面に表示される進捗バーを示す図。The figure which shows the progress bar displayed on the display screen of LCD by the progress condition display part of the apparatus. 同装置におけるメイキング動作フローチャート。The making operation | movement flowchart in the same apparatus. 同装置におけるメイキング動作フローチャート。The making operation | movement flowchart in the same apparatus. 同装置におけるメイキング動作の流れを模式的に示す図。The figure which shows typically the flow of the making operation | movement in the same apparatus. 同装置における画像選択部の画像データの変更・調整フローチャート。6 is a flowchart for changing / adjusting image data of an image selection unit in the apparatus.

以下、本発明の一実施の形態について図面を参照して説明する。
図1は画像合成の機能を備えた撮像装置の構成図を示す。この撮像装置は、カメラ本体10と、交換レンズ部20と、電子ビューファインダ(EVF)用の接眼部30とを有する。この撮像装置は、交換レンズ方式の構成を有するもので、交換レンズ部20は、カメラ本体10に対して交換可能であり、EVF用接眼部30もカメラ本体10に対して交換可能である。この撮像装置は、交換レンズ式のカメラに限らず、例えばコンパクトカメラや、撮像機能付きの携帯機器等に適用可能である。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a configuration diagram of an imaging apparatus having an image composition function. The imaging apparatus includes a camera body 10, an interchangeable lens unit 20, and an eyepiece unit 30 for an electronic viewfinder (EVF). This imaging apparatus has an interchangeable lens system configuration, and the interchangeable lens unit 20 can be replaced with the camera body 10, and the EVF eyepiece 30 can also be replaced with the camera body 10. This imaging apparatus is not limited to an interchangeable lens type camera, and can be applied to, for example, a compact camera, a portable device with an imaging function, and the like.

交換レンズ部20は、コンピュータから成るレンズ制御部21を搭載する。このレンズ制御部21には、操作部23と、各駆動部24a、24bと、各位置検出部25a、25bと、レンズ系(光学系)26と、記録部27と、通信部28とが接続されている。
操作部23は、マニュアル操作でレンズ系26に対するズーム操作や、被写体に対するピント調整、被写体の明るさを調整する絞り等を行うための操作部材としてレンズリング等を備える。
各駆動部24a、24bは、それぞれモータなどアクチュエータを備える。このうち駆動部24aは、レンズ系26におけるズームレンズを駆動する。駆動部24bは、レンズ系26におけるピント調整用レンズを駆動する。位置検出部25aは、ズームレンズの光軸方向における位置等を検出する。位置検出部25bは、ピント調整用レンズの光軸方向における位置等を検出することを想定しているが、複数のレンズ群に各々、設ける場合もある。その他、交換レンズ部20内には、絞り制御用の駆動部、位置検出部なども備えられているがここでは簡略化する。
The interchangeable lens unit 20 is equipped with a lens control unit 21 composed of a computer. The lens control unit 21 is connected with an operation unit 23, drive units 24a and 24b, position detection units 25a and 25b, a lens system (optical system) 26, a recording unit 27, and a communication unit 28. Has been.
The operation unit 23 includes a lens ring or the like as an operation member for performing a zoom operation on the lens system 26 by manual operation, a focus adjustment on the subject, a diaphragm for adjusting the brightness of the subject, and the like.
Each drive part 24a, 24b is provided with actuators, such as a motor, respectively. Among these, the drive unit 24 a drives the zoom lens in the lens system 26. The drive unit 24 b drives the focus adjustment lens in the lens system 26. The position detection unit 25a detects the position of the zoom lens in the optical axis direction. The position detection unit 25b is assumed to detect the position and the like of the focus adjustment lens in the optical axis direction, but may be provided in each of a plurality of lens groups. In addition, the interchangeable lens unit 20 is provided with a driving unit for controlling the aperture, a position detection unit, and the like.

レンズ系26は、ズームレンズやピント調整用レンズ、絞り等を有すると共に、ズーム用の光学系26aと、ピント用の光学系26bとを有する。ズーム用の光学系26aは、駆動部24aの駆動を受けて、上記位置検出を伴ってズームレンズを駆動する。ピント用の光学系26bは、駆動部24bの駆動を受けて、上記位置検出を伴ってピント調整用レンズを駆動する。   The lens system 26 includes a zoom lens, a focus adjustment lens, a diaphragm, and the like, and also includes a zoom optical system 26a and a focus optical system 26b. The zoom optical system 26a is driven by the drive unit 24a to drive the zoom lens with the position detection. The focus optical system 26b is driven by the drive unit 24b to drive the focus adjustment lens with the position detection.

記録部27は、本レンズ系26を動作制御するための制御パラメータ及び制御プログラムを予め記憶する。
レンズ制御部21は、記録部27に記憶されている制御パラメータ及び制御プログラムを実行することにより、レンズ系26におけるズームレンズやピント調整用レンズ、絞り等を駆動する各駆動部24a、24bを駆動制御する。
レンズ制御部21は、ユーザのズーム操作があった場合、位置検出部25aにより検出されたズームレンズの位置情報に基づいて駆動部24aを駆動し、所望倍率のズーム像が得られるようにレンズ系26におけるズームレンズの位置を制御する。このレンズ制御部21は、ユーザのピント操作やカメラ本体からの指示があった場合、位置検出部25bにより検出されたピント調整用レンズの位置情報に基づいて駆動部24bを駆動し、被写体に対してピントが合うようにピント調整用レンズの位置を制御する。
The recording unit 27 stores in advance control parameters and a control program for controlling the operation of the lens system 26.
The lens control unit 21 drives the drive units 24 a and 24 b that drive the zoom lens, the focus adjustment lens, the diaphragm, and the like in the lens system 26 by executing the control parameters and control program stored in the recording unit 27. Control.
When the user performs a zoom operation, the lens control unit 21 drives the drive unit 24a based on the position information of the zoom lens detected by the position detection unit 25a so that a zoom image with a desired magnification is obtained. 26 controls the position of the zoom lens. When there is a user's focus operation or an instruction from the camera body, the lens control unit 21 drives the drive unit 24b based on the position information of the focus adjustment lens detected by the position detection unit 25b to Control the position of the focus adjustment lens so that it is in focus.

レンズ制御部21は、通信部28とカメラ本体10の通信部14とを通して当該カメラ本体10の信号処理・制御部1との間でデータ通信を行う。
一方、カメラ本体10は、コンピュータから成る信号処理・制御部1を搭載する。この信号処理・制御部1には、撮像素子2と、顔検出部3と、記録部4と、操作判定部6と、表示部8と、タッチパネル8aと、時計部9と、各通信部12、14とが接続されている。
時計部9は、時刻をカウントするもので、撮影時の各種タイミング制御、例えば撮影結果の日時管理や撮影時の各種時間制御、さらに動画撮影時の各コマのタイミングなどを判定するためのものである。
撮像素子2は、交換レンズ部20のレンズ系26を介して入射する被写体像を受光し、この被写体像に応じた画像信号を出力する。すなわち、撮像素子2は、受光面を有し、この受光面にレンズ系26を介して集光された被写体からの光束が結像される。この撮像素子2の受光面は、複数の画素を2次元状に配置して成る。この撮像素子2の受光面の光入射側には、カラーフィルタが設けられている。この撮像素子2は、受光面に結像された光束に対応した被写体像をその光量に応じた電気信号に変換する。この撮像素子2は、例えばCCD方式又はCMOS方式等の種々の構成のものが知られている。カラーフィルタの色配列は、例えばベイヤ配列等の種々の配列が知られている。この撮像素子2は、その構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。
The lens control unit 21 performs data communication with the signal processing / control unit 1 of the camera body 10 through the communication unit 28 and the communication unit 14 of the camera body 10.
On the other hand, the camera body 10 is equipped with a signal processing / control unit 1 composed of a computer. The signal processing / control unit 1 includes an imaging device 2, a face detection unit 3, a recording unit 4, an operation determination unit 6, a display unit 8, a touch panel 8 a, a clock unit 9, and each communication unit 12. , 14 are connected.
The clock unit 9 counts time, and controls various timings at the time of shooting, for example, date and time management of shooting results, various time control at the time of shooting, and timing of each frame at the time of moving image shooting. is there.
The image sensor 2 receives a subject image incident through the lens system 26 of the interchangeable lens unit 20 and outputs an image signal corresponding to the subject image. That is, the image pickup device 2 has a light receiving surface, and a light flux from a subject condensed through the lens system 26 is imaged on the light receiving surface. The light receiving surface of the image sensor 2 is formed by arranging a plurality of pixels in a two-dimensional manner. A color filter is provided on the light incident side of the light receiving surface of the image sensor 2. The image sensor 2 converts a subject image corresponding to the light beam formed on the light receiving surface into an electrical signal corresponding to the light amount. The image pickup device 2 is known to have various configurations such as a CCD system or a CMOS system. As the color arrangement of the color filters, various arrangements such as a Bayer arrangement are known. The configuration of the imaging device 2 is not limited to a specific configuration, and various types of imaging devices can be used.

なお、レンズ系26及び撮像素子2は、被写体を撮像して静止画又は動画を取得する撮像部を構成すると共に、被写体の静止画を取得する前に前記被写体の動画を取得する画像取得部を構成する。又、画像取得部としては、本装置の外部に設けられる例えばコンピュータやカメラ、インターネットを介して接続されたサーバ、記憶装置であって、画像データを取得できるものであってもよい。   The lens system 26 and the imaging device 2 constitute an imaging unit that captures a subject and acquires a still image or a moving image, and an image acquisition unit that acquires the moving image of the subject before acquiring a still image of the subject. Configure. The image acquisition unit may be, for example, a computer or camera provided outside the apparatus, a server or a storage device connected via the Internet, and may acquire image data.

顔検出部3は、撮像素子2で得られた画像に含まれる主要被写体として例えば人物の顔部を検出する。顔部の検出は、取得された画像データと、人物の鼻部周辺や目部周辺、口部周辺の陰影の各パターンに対応した各顔パーツの各画像データとの相関量をそれぞれ求め、これらの相関量に従って顔部が存在しているとする。   The face detection unit 3 detects, for example, a human face as a main subject included in the image obtained by the image sensor 2. The detection of the face part is performed by calculating the correlation amount between the acquired image data and each image data of each face part corresponding to the shadow pattern around the nose, eyes and mouth of the person. It is assumed that a face portion exists according to the correlation amount.

記録部4は、例えばROM、RAM、又は例えばメモリカードを有する。ROMには、本装置の静止画や動画の撮像動作を制御するための撮像制御プログラムや、静止画や動画を再生するための再生プログラム、画像を合成するための画像合成プログラムを有する。この画像合成プログラムは、コンピュータから成る信号処理・制御部1に、被写体の静止画を取得する前後に被写体の動画を取得し、被写体の動画を再生し、当該再生中の動画中から当該動画を構成するコマ画像を選択し、当該選択された画像(合成用画像)を静止画に合成記録する合成記録機能を有する。この合成記録では、信号処理・制御部1に、画像が複数選択されると、再生中の動画中から選択された複数の画像を抽出し、これら抽出された画像を静止画中に撮影時に得られた撮影時の時計情報によって時系列に並べて表示する機能を有する。時計情報は、時計部9により得られる。
記録部4のRAMには、被写体の動画や、静止画、さらに動画中から選択された画像などの処理途中のデータが仮記憶される。
The recording unit 4 includes, for example, a ROM, a RAM, or a memory card, for example. The ROM has an imaging control program for controlling the imaging operation of still images and moving images of the apparatus, a reproduction program for reproducing still images and moving images, and an image synthesis program for synthesizing images. The image composition program acquires a moving image of the subject before and after acquiring a still image of the subject, and reproduces the moving image of the subject, and the moving image is reproduced from the reproduced moving image. It has a composition recording function for selecting a frame image to compose and compositing and recording the selected image (composition image) on a still image. In this composite recording, when a plurality of images are selected, the signal processing / control unit 1 extracts a plurality of images selected from the moving image being played back, and obtains these extracted images in a still image at the time of shooting. A function of displaying the images arranged in time series according to the clock information at the time of shooting. The clock information is obtained by the clock unit 9.
The RAM of the recording unit 4 temporarily stores in-process data such as a moving image of a subject, a still image, and an image selected from the moving image.

メモリカードは、信号処理・制御部1の制御によって、本装置の静止画や動画の撮像動作により取得された静止画や動画の各データを記憶する。
操作判定部6は、ユーザによって操作される各種の操作部材を有する。この操作判定部6は、操作部材として例えば、レリーズボタン、動画釦、モードダイヤル、選択キー、電源釦等を備える。レリーズボタンは、1stレリーズスイッチと、2ndレリーズスイッチとを有する。1stレリーズスイッチは、ユーザがレリーズ釦を半押しするとオンする。1stレリーズスイッチがオンすることにより、信号処理・制御部1は、AF処理等の撮影準備動作を行う。2ndレリーズスイッチは、ユーザがレリーズ釦を全押しするとオンする。2ndレリーズスイッチがオンすることにより、信号処理・制御部1は、静止画撮影用の露光動作を行う。本装置は、静止画の前後の動画を撮影して、後で使うことを想定しているので、レリーズ釦半押しで動画を撮影するような仕様にしてもよい。もちろん、スルー画表示中、すべて動画撮影していてもよい。
動画釦は、基本的に動画撮影の開始又は終了を指示するための操作部材である。ユーザによって動画釦が押されると動画撮影処理が開始される。また、動画撮影処理の実行中に動画釦が押されると、動画撮影処理が終了される。
モードダイヤルは、撮像装置の撮影設定を選択するための操作部材である。本実施形態では、撮像装置の撮影設定として、例えば、絞り優先やシャッタスピード優先などの露出モードや、本装置のメイキングモードなどの設定も可能である。
選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。
ここで、露出モードやメイキングモードに設定できるようにしてもよい。メイキングモードは、撮影時に設定した場合は、動画撮影を伴う静止画撮影を行う。メイキングモードに入れていなくとも、常に動画を撮影するような仕様とし、再生時にメイキングモードを設定すれば、画像合成が出来るようにしてもよい。
電源釦は、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源釦が操作されると、本装置が起動して動作可能な状態となる。本装置が起動している間に電源釦が操作されると、本装置が省電力待機状態となる。
The memory card stores data of still images and moving images acquired by the still image and moving image capturing operation of the apparatus under the control of the signal processing / control unit 1.
The operation determination unit 6 includes various operation members operated by the user. The operation determination unit 6 includes, for example, a release button, a moving image button, a mode dial, a selection key, a power button, and the like as operation members. The release button has a 1st release switch and a 2nd release switch. The 1st release switch is turned on when the user presses the release button halfway. When the 1st release switch is turned on, the signal processing / control unit 1 performs a shooting preparation operation such as AF processing. The 2nd release switch is turned on when the user fully presses the release button. When the 2nd release switch is turned on, the signal processing / control section 1 performs an exposure operation for still image shooting. Since this apparatus is assumed to shoot a moving image before and after a still image and use it later, it may be configured to shoot a moving image by pressing the release button halfway. Of course, all moving images may be taken during through image display.
The movie button is basically an operation member for instructing the start or end of movie shooting. When the moving image button is pressed by the user, the moving image shooting process is started. Further, when the moving image button is pressed during the moving image shooting process, the moving image shooting process is ended.
The mode dial is an operation member for selecting shooting settings of the imaging apparatus. In the present embodiment, as shooting settings of the imaging apparatus, for example, an exposure mode such as aperture priority and shutter speed priority, and a making mode of the apparatus can be set.
The selection key is an operation member for selecting or determining an item on the menu screen, for example. When the selection key is operated by the user, an item is selected or determined on the menu screen.
Here, the exposure mode and the making mode may be set. When the making mode is set at the time of shooting, still image shooting with moving image shooting is performed. Even if it is not in the making mode, it is possible to make it possible to synthesize an image by setting the specification to always shoot a moving image and setting the making mode at the time of reproduction.
The power button is an operation member for turning on or off the power of the imaging apparatus. When the power button is operated by the user, the apparatus is activated and becomes operable. If the power button is operated while the apparatus is activated, the apparatus enters a power saving standby state.

表示部8は、本装置の背面に設けられ、例えば液晶ディスプレイ(以下、LCDと称する)とそのLCD駆動部とを有するものであり、ライブビュー用の画像及び記録部4に記録された静止画や動画の画像データを表示する。以下、表示部8は、LCD8と称する。このLCD8の表示画面上には、タッチパネル8aが一体的に設けられている。
このタッチパネル8aは、ユーザの指等の接触(タッチ)を検出し、このタッチ位置を示す座標を含む接触信号を出力する。信号処理・制御部1は、タッチパネル8aを駆動すると共に、タッチパネル8aからの接触信号を入力し、この接触信号からユーザのLCD8の表示画面上に対する接触を検出し、その接触位置にある画像や接触位置に応じた処理を実行する。
The display unit 8 is provided on the back surface of the apparatus and includes, for example, a liquid crystal display (hereinafter referred to as LCD) and an LCD driving unit thereof. The live view image and the still image recorded in the recording unit 4 are provided. And display image data of movies. Hereinafter, the display unit 8 is referred to as an LCD 8. On the display screen of the LCD 8, a touch panel 8a is integrally provided.
The touch panel 8a detects contact (touch) of a user's finger or the like, and outputs a contact signal including coordinates indicating the touch position. The signal processing / control unit 1 drives the touch panel 8a, inputs a contact signal from the touch panel 8a, detects contact of the user on the display screen of the LCD 8 from the contact signal, and detects an image or contact at the contact position. Processing according to the position is executed.

接眼式の表示部(EVF)が着脱式の場合、通信部12は、EVF用接眼部30の通信部32との間でデータ通信を行う。
通信部14は、上記の通り、交換レンズ部20の通信部28との間でデータ通信を行う。
信号処理・制御部1は、静止又は動画の撮像時に、撮像素子2から出力される画像信号を入力し、この画像信号に対して画像処理を行い、静止又は動画の画像データを取得する。この信号処理・制御部1は、静止又は動画を撮像する際に、コントラストAF処理や、AE処理を行う。
コントラストAF処理は、撮像素子2の撮像により得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することによりAF用の合焦評価値を取得し、この合焦評価値に従って画像データのコントラストを評価しながら交換レンズ部20のレンズ系26のフォーカスレンズを合焦状態となる位置に調整する。
AE処理は、撮像素子2の撮像により得られた画像データを用いて被写体の輝度を算出し、この被写体の輝度に従って露光時の絞りの開口量(絞り値)、シャッタの開放時間(シャッタ速度値)を算出する。
When the eyepiece display unit (EVF) is detachable, the communication unit 12 performs data communication with the communication unit 32 of the EVF eyepiece unit 30.
As described above, the communication unit 14 performs data communication with the communication unit 28 of the interchangeable lens unit 20.
The signal processing / control unit 1 inputs an image signal output from the image sensor 2 when capturing a still image or a moving image, performs image processing on the image signal, and acquires still or moving image data. The signal processing / control unit 1 performs contrast AF processing and AE processing when capturing a still image or a moving image.
In contrast AF processing, high-frequency components of image data obtained by imaging of the image sensor 2 are extracted, and the extracted high-frequency components are integrated to obtain a focus evaluation value for AF. According to this focus evaluation value While evaluating the contrast of the image data, the focus lens of the lens system 26 of the interchangeable lens unit 20 is adjusted to a position where it is in focus.
In the AE process, the luminance of the subject is calculated using image data obtained by imaging by the image sensor 2, and the aperture amount (aperture value) of the aperture during exposure and the shutter opening time (shutter speed value) according to the luminance of the subject. ) Is calculated.

信号処理・制御部1は、撮像素子2の撮像により得られた画像データに対する各種の画像処理を行う。この画像処理は、例えば色補正処理、ガンマ(γ)補正処理、圧縮処理、この圧縮されている画像データに対する伸張処理である。
この信号処理・制御部1は、メイキングモードと、通常の撮影モード又は再生モード等を選択可能とし、メイキングモードが選択されると、記録部4のROMに記憶されている画像合成プログラムを実行することにより、被写体の静止画を取得する前後に被写体の動画を取得し、LCD8に被写体の動画を再生し、当該再生中の動画中から当該動画に含む画像コマを例えば複数枚選択し、これら選択された各画像コマを静止画中に撮影された順番に従った時系列に並べて合成記録する。この信号処理・制御部1は、仮記録制御部101と、画像選択部102と、合成記録部103と、タッチ・スライド検出部104と、進捗状況表示部105と、表示制御部106とを有する。
The signal processing / control unit 1 performs various types of image processing on image data obtained by imaging with the imaging device 2. This image processing is, for example, color correction processing, gamma (γ) correction processing, compression processing, and decompression processing for the compressed image data.
The signal processing / control unit 1 can select a making mode, a normal shooting mode, a reproduction mode, or the like. When the making mode is selected, the image processing program stored in the ROM of the recording unit 4 is executed. Thus, the subject moving image is acquired before and after acquiring the still image of the subject, the moving image of the subject is reproduced on the LCD 8, and a plurality of image frames included in the moving image are selected from the reproduced moving images, for example. The recorded image frames are combined and recorded in chronological order according to the order taken in the still image. The signal processing / control unit 1 includes a temporary recording control unit 101, an image selection unit 102, a composite recording unit 103, a touch / slide detection unit 104, a progress display unit 105, and a display control unit 106. .

信号処理・制御部1は、メイキングモードに設定されると、例えばLCD8(または、接眼表示部31)に被写体のスルー画を表示しながら当該被写体のプリ動画の撮像を開始する。静止画の撮像は、プリ動画撮影中に行える。これにより、プリ動画で撮像された内容は、被写体の静止画を撮像するときの時間的に前後の被写体の状況、経緯を含むものとなる。なお、静止画を撮像する前では、静止画を撮像するに至るまでの被写体の状況、経緯を含むものとなる。静止画撮影後の様子も動画記録してもよい。   When the signal processing / control unit 1 is set to the making mode, for example, the pre-moving image of the subject is started while displaying a through image of the subject on the LCD 8 (or the eyepiece display unit 31). Still images can be captured during pre-movie shooting. As a result, the content captured in the pre-moving image includes the situation and background of the subject before and after the still image of the subject. In addition, before taking a still image, the situation and background of the subject until the still image is taken are included. The state after taking a still image may be recorded as a moving image.

仮記録制御部101は、メイキングモード設定時の撮像により取得されたプリ動画と静止画との各画像データを例えば記録部4のRAMに記憶する。
この時、各画像は、圧縮せず、または非可逆圧縮にて記録しておけば、合成部分の画素を合成画像の画素で埋めることで合成可能なので、後での合成が容易になる。なお、合成された圧縮前の画像は、圧縮して記録部4に記録できるようにする。
又、仮記録制御部101は、画像選択部102によりプリ動画中から選択された1枚又は複数枚の画像データを例えば記録部4のRAMに記憶する。図2は記録部4のRAMに記憶されている静止画の画像データDsと、プリ動画の画像データ中から選択された1枚又は複数枚、ここでは5枚の画像データ(合成用画像)Dc1〜Dc5の模式図を示す。静止画の画像データDsと各画像データDc1〜Dc5とには、それぞれ主要被写体として例えば2人の人物M1、M2が写っている例を示した。
The temporary recording control unit 101 stores each image data of the pre-moving image and the still image acquired by imaging when the making mode is set, for example, in the RAM of the recording unit 4.
At this time, if each image is not compressed or recorded by irreversible compression, it can be synthesized by filling the pixels of the synthesized portion with the pixels of the synthesized image, so that later synthesis becomes easy. The synthesized image before compression is compressed and recorded in the recording unit 4.
Further, the temporary recording control unit 101 stores one or a plurality of image data selected from the pre-moving image by the image selection unit 102 in, for example, the RAM of the recording unit 4. FIG. 2 shows still image data Ds stored in the RAM of the recording unit 4 and one or a plurality of image data (compositing image) Dc1 selected from the pre-moving image data. The schematic diagram of -Dc5 is shown. An example is shown in which, for example, two persons M1 and M2 are captured as main subjects in the still image data Ds and the image data Dc1 to Dc5.

画像選択部102は、ダイヤル操作やタッチパネルによるユーザのモード設定でメイキングモードに設定されていると、LCD8に静止画の画像データDsを表示すると共に、図3に示すようなメイキング画像表示枠Wを表示し、このメイキング画像表示枠W内に例えば記録部4のRAMに仮記憶された複数の画像コマからなる被写体のプリ動画(撮影前後の動画でもよい)を再生表示し、当該再生表示中のプリ動画中から画像データ、例えば5枚の画像データDc1〜Dc5を選択する。これら画像データDc1〜Dc5は、静止画の画像データDsに合成するために選択される。   The image selection unit 102 displays the image data Ds of the still image on the LCD 8 and displays the making image display frame W as shown in FIG. In the making image display frame W, for example, a pre-moving image of a subject (which may be a moving image before and after shooting) composed of a plurality of image frames temporarily stored in the RAM of the recording unit 4 is reproduced and displayed. Image data, for example, five pieces of image data Dc1 to Dc5 are selected from the pre-moving image. These image data Dc1 to Dc5 are selected to be combined with still image data Ds.

画像データを選択する場合、ユーザは、例えば被写体の静止画を撮像するに至るまでの被写体の状況、経緯をよく表すシーンや、ユーザがお気に入りのシーンや残しておきたい大切なシーンになる度に、自身の指等でタッチパネル8aを複数回タッチするようにすればよい。この操作の結果、これらシーン毎の画像データ、例えば図2に示すような5枚の画像データDc1〜Dc5がプリ動画中からそれぞれ抽出される。   When selecting image data, the user, for example, every time the subject becomes a favorite scene or an important scene that the user wants to leave, such as a scene that clearly represents the situation and background of the subject until the still image of the subject is captured. The touch panel 8a may be touched a plurality of times with its own finger or the like. As a result of this operation, image data for each scene, for example, five pieces of image data Dc1 to Dc5 as shown in FIG. 2 are extracted from the pre-moving image.

この画像データの選択では、画像選択部102は、LCD8にプリ動画を再生表示中、タッチパネル8aに対してユーザの指等がタッチすると、このタッチ時点で、LCD8に再生されていたプリ動画中の1枚の画像データDc1を抽出する。タッチパネル8aに対してユーザの指等がタッチすると、タッチパネル8aからは、接触信号が出力されるので、画像選択部102は、タッチパネル8aからの接触信号を入力した時点で再生されていたプリ動画中から1枚(1コマ)の画像データDc1を抽出する。   In this selection of image data, when the user's finger or the like touches the touch panel 8a while the pre-moving image is being reproduced and displayed on the LCD 8, the image selecting unit 102 is in the pre-moving image being replayed on the LCD 8 at the time of the touch. One piece of image data Dc1 is extracted. When a user's finger or the like touches the touch panel 8a, a touch signal is output from the touch panel 8a. Therefore, the image selection unit 102 is in the pre-moving image that is being played back when the touch signal is input from the touch panel 8a. 1 (one frame) of image data Dc1 is extracted.

画像選択部102は、複数の画像データ(各画像コマ)Dc1〜Dc5を選択すると、これら画像データDc1〜Dc5の選択の毎に順次新たなメイキング画像表示枠WをLCD8の表示画面上に並べて表示し、これらメイキング画像表示枠W内にそれぞれ各画像データDc1〜Dc5を表示する。
具体的に、画像選択部102は、メイキングモードの設定時、図4に示すようにLCD8の表示画面上に1枠目のメイキング画像表示枠W1を表示し、例えば1枚目の画像データDc1が選択されると、当該画像データDc1をメイキング画像表示枠W1内に表示し、これと共に2枠目のメイキング画像表示枠W2をメイキング画像表示枠W1に並べて表示する。2枚目の画像データDc2が選択されると、画像選択部102は、当該画像データDc2をメイキング画像表示枠W2内に表示し、これと共に3枠目のメイキング画像表示枠W3をメイキング画像表示枠W2に並べて表示する。以下、同様に、画像選択部102は、画像データDcnが選択されると、当該画像データDcnをメイキング画像表示枠Wn内に表示し、これと共にn+1枠目のメイキング画像表示枠Wn+1をメイキング画像表示枠Wnに並べて表示する。
しかるに、画像選択部102は、1枠目〜n+1枠目の各メイキング画像表示枠W1〜Wn+1を、1枚目の画像データDc1〜n+1枚目の画像データDcn+1が選択される順序に従って時系列に並べて表示する。
When the image selection unit 102 selects a plurality of image data (each image frame) Dc1 to Dc5, a new making image display frame W is sequentially displayed on the display screen of the LCD 8 each time the image data Dc1 to Dc5 is selected. Then, the image data Dc1 to Dc5 are displayed in the making image display frame W, respectively.
Specifically, when the making mode is set, the image selection unit 102 displays the first making image display frame W1 on the display screen of the LCD 8 as shown in FIG. 4, for example, the first image data Dc1 is displayed. When selected, the image data Dc1 is displayed in the making image display frame W1, and a second making image display frame W2 is displayed side by side in the making image display frame W1. When the second image data Dc2 is selected, the image selection unit 102 displays the image data Dc2 in the making image display frame W2, and at the same time displays the third frame of the making image display frame W3. Display side by side on W2. Similarly, when the image data Dcn is selected, the image selection unit 102 displays the image data Dcn in the making image display frame Wn, and displays the n + 1 frame making image display frame Wn + 1 together with the making image display frame. Displayed side by side in the frame Wn.
However, the image selection unit 102 selects each of the first to n + 1 frame making image display frames W1 to Wn + 1 in time series according to the order in which the first image data Dc1 to n + 1th image data Dcn + 1 is selected. Display side by side.

画像選択部102は、メイキング画像表示枠Wの表示位置を、LCD8に表示されている静止画の画像データDs中における主要被写体の写っている領域以外の領域に設定する。すなわち、静止画の画像データDsには、図3に示すように主要被写体、例えば2人の人物M1、M2が写っているので、画像選択部102は、これら人物M1、M2が写っている領域以外の領域にメイキング画像表示枠Wの表示位置を設定する。
例えば、画像選択部102は、静止画の画像データDs中の2人の人物M1、M2が写っている領域以外の領域、ここでは2人の人物M1、M2の背景領域にメイキング画像表示枠Wを表示する。静止画の画像データDs中における2人の人物M1、M2の背景領域の判定は、例えば顔検出部3による人物M1、M2の各顔部の検出結果から当該各顔部の領域以外の領域を背景領域として判定したり、静止画の画像データDsの輝度レベルの変化の一様な領域を背景領域として判定する。
The image selection unit 102 sets the display position of the making image display frame W to an area other than the area where the main subject is captured in the image data Ds of the still image displayed on the LCD 8. That is, since the main subject, for example, two people M1 and M2 are shown in the still image data Ds as shown in FIG. 3, the image selection unit 102 is an area where these people M1 and M2 are shown. The display position of the making image display frame W is set in a region other than.
For example, the image selection unit 102 makes a making image display frame W in an area other than the area where the two persons M1 and M2 are captured in the still image data Ds, in this case, in the background area of the two persons M1 and M2. Is displayed. For example, the background areas of the two persons M1 and M2 in the still image data Ds are determined based on the detection results of the faces of the persons M1 and M2 by the face detector 3, for example, areas other than the areas of the faces. It is determined as a background area, or an area where the brightness level of the still image data Ds is uniform is determined as a background area.

メイキング画像表示枠Wは、例えば長方形に形成され、縦横のサイズが予め設定されていたり、又は可変可能になっている。このメイキング画像表示枠Wのサイズは、予め設定されている複数のサイズから選択したり、又はLCD8に表示されているメイキング画像表示枠W上のタッチパネル8aにユーザの指等をタッチした状態でスライドすることにより可変することで設定可能である。   The making image display frame W is formed in, for example, a rectangle, and the vertical and horizontal sizes are set in advance or can be changed. The size of the making image display frame W can be selected from a plurality of preset sizes, or the user can touch the touch panel 8a on the making image display frame W displayed on the LCD 8 with the user's finger touched. This can be set by changing the value.

画像選択部102は、選択された各画像データDc1〜Dc5の枚数に応じてメイキング画像表示枠Wのサイズを変更する。例えば、画像選択部102は、静止画の画像データDs中における2人の人物M1、M2の背景領域のサイズを判定し、このサイズと各画像データDc1〜Dc5の枚数とに基づいて各人物M1、M2の背景領域内に複数の画像データDc1〜Dc5が表示可能なように各メイキング画像表示枠Wのサイズを可変設定する。   The image selection unit 102 changes the size of the making image display frame W according to the number of selected pieces of image data Dc1 to Dc5. For example, the image selection unit 102 determines the size of the background area of the two persons M1 and M2 in the image data Ds of the still image, and each person M1 based on this size and the number of the image data Dc1 to Dc5. , The size of each making image display frame W is variably set so that the plurality of image data Dc1 to Dc5 can be displayed in the background area of M2.

画像選択部102は、プリ動画中から複数の画像データ(画像コマ)Dc1〜Dc5の選択を一旦終了した後、再度、プリ動画中から画像データ(画像コマ)を選択可能とする。この場合、画像選択部102は、再度、記録部4のRAMに記憶された被写体のプリ動画をLCD8に再生し、当該再生しているプリ動画中からの画像データを再選択する。この再選択も、画像選択部102は、タッチパネル8aに対してユーザの指等がタッチした時点で、LCD8に再生されていたプリ動画中から1枚ずつ画像データを抽出する。   The image selection unit 102 once selects a plurality of image data (image frames) Dc1 to Dc5 from the pre-moving image, and then selects image data (image frame) from the pre-moving image again. In this case, the image selection unit 102 reproduces the pre-moving image of the subject stored in the RAM of the recording unit 4 on the LCD 8 again, and reselects the image data from the pre-moving image being reproduced. Also in this reselection, the image selection unit 102 extracts image data one by one from the pre-moving image reproduced on the LCD 8 when the user's finger or the like touches the touch panel 8a.

画像選択部102は、プリ動画中から選択された例えば複数の画像データDc1〜Dc5毎に、これら画像データDc1〜Dc5をそれぞれ時間的に前又は後の画像データに変更・調整可能である。時間的に前又は後の画像データの選択は、ユーザの指等のタッチパネル8aに対してタッチした状態でのスライド方向を判定することにより行われる。タッチ・スライド検出部104は、タッチパネル8aに対するユーザの指等のスライド方向を検出する。画像選択部102は、タッチ・スライド検出部104により検出されるスライド方向を判定し、このスライドの大きさに応じた時間的に前又は後の画像データを選択する。   For example, for each of a plurality of image data Dc1 to Dc5 selected from the pre-moving image, the image selection unit 102 can change or adjust the image data Dc1 to Dc5 to the previous or subsequent image data, respectively. The selection of the image data before or after in time is performed by determining the sliding direction in a state in which the touch panel 8a such as a user's finger is touched. The touch / slide detection unit 104 detects the sliding direction of the user's finger or the like with respect to the touch panel 8a. The image selection unit 102 determines the slide direction detected by the touch / slide detection unit 104, and selects the previous or next image data in time according to the size of the slide.

図5はプリ動画に含まれる各画像データDc0、…、Dc1、…、Dcnの模式図を示す。図6は選択された画像データDc1の概略図を示す。ユーザの指Yがタッチパネル8aにタッチした状態で例えばスライド方向f1にスライドすると、このスライド方向f1がタッチ・スライド検出部104により検出され、画像選択部102は、図5に示すように画像データDc1よりも時間的に後の画像データDc1+1側(矢印g1側)の画像データに変更可能とする。当該時間的に後の画像データは、スライド方向f1へのスライドの大きさに応じた時間的に後の画像データに変更可能である。なお、スライド方向f1は、ユーザがLCD8の表示画面に向かって右側方向である。   FIG. 5 is a schematic diagram of each image data Dc0,..., Dc1,. FIG. 6 shows a schematic diagram of the selected image data Dc1. When the user's finger Y touches the touch panel 8a and slides, for example, in the sliding direction f1, the sliding direction f1 is detected by the touch / slide detection unit 104, and the image selection unit 102 displays image data Dc1 as shown in FIG. The image data can be changed to the image data Dc1 + 1 side (arrow g1 side) later in time than the image data. The temporally subsequent image data can be changed to temporally subsequent image data in accordance with the size of the slide in the slide direction f1. Note that the slide direction f1 is the right direction of the user toward the display screen of the LCD 8.

一方、ユーザの指Yが図6に示すスライド方向f2にスライドすると、このスライド方向f2がタッチ・スライド検出部104により検出され、画像選択部102は、図5に示すように画像データDc1よりも時間的に前の画像データDc1−1側(矢印g2側)の画像データに変更可能とする。当該時間的に前の画像データも、スライド方向f2へのスライドの大きさに応じた時間的に前の画像データに変更可能である。なお、スライド方向f2は、ユーザがLCD8の表示画面に向かって左側方向である。   On the other hand, when the user's finger Y slides in the slide direction f2 shown in FIG. 6, the slide direction f2 is detected by the touch / slide detection unit 104, and the image selection unit 102 is more than the image data Dc1 as shown in FIG. It can be changed to image data on the previous image data Dc1-1 side (arrow g2 side). The temporally previous image data can also be changed to temporally previous image data according to the size of the slide in the slide direction f2. The slide direction f2 is the left direction toward the display screen of the LCD 8 by the user.

時間的に前又は後の画像データの選択は、ユーザの指Yのスライドの大きさに応じた時刻の送り時間又は戻り時間を予め設定し、変更しようとする画像データ、例えば画像データDc1に添付されている時刻データを読み取り、この時刻データに対してユーザの指Yのスライドの大きさに応じた時刻の送り時間又は戻り時間を加減算することにより、変更しようとする画像データの時刻を算出し、当該時刻の画像データを選択するようにしてもよい。   The selection of the image data before or after in time is performed by setting in advance the time of sending or returning according to the size of the slide of the finger Y of the user and attaching it to the image data to be changed, for example, the image data Dc1 The time of the image data to be changed is calculated by reading the time data that has been read and adding or subtracting the time feed time or return time according to the slide size of the user's finger Y to the time data. The image data at the time may be selected.

なお、画像選択部102は、LCD8に静止画の画像データDsを表示すると共に、メイキング画像表示枠W内にプリ動画を再生表示し、かつ選択された各画像データDc1〜Dc5を表示するが、これに限らず、LCD8の表示画面の全体にプリ動画を再生表示し、これと共にメイキング画像表示枠Wを表示し、このメイキング画像表示枠W内に選択された各画像データDc1〜Dc5を表示するようにしてもよい。   The image selection unit 102 displays the still image data Ds on the LCD 8, reproduces and displays the pre-moving image in the making image display frame W, and displays the selected image data Dc 1 to Dc 5. Not limited to this, the pre-moving image is reproduced and displayed on the entire display screen of the LCD 8, and the making image display frame W is displayed together with the pre-moving image display frame W. The selected image data Dc1 to Dc5 are displayed in the making image display frame W. You may do it.

合成記録部103は、画像選択部102により選択された画像データ、例えば図2に示すように静止画の画像データDsに対して各画像データDc1〜Dc5をそれぞれ合成記録する。この場合、合成記録部103は、静止画の画像データDsに対して各画像データDc1〜Dc5のうち少なくとも1枚を合成記録する。   The composition recording unit 103 synthesizes and records the image data Dc1 to Dc5 with the image data selected by the image selection unit 102, for example, the still image data Ds as shown in FIG. In this case, the composition recording unit 103 synthesizes and records at least one of the image data Dc1 to Dc5 with the image data Ds of the still image.

進捗状況表示部105は、プリ動画の再生中、当該プリ動画の再生の進捗状況を表示する。図7は進捗状況表示部105によりLCD8の表示画面に表示される進捗バー105aを示す。この進捗バー105aは、例えばLCD8の表示画面における下部に表示され、再生開始時を「0」とし、再生終了時を「100」としてプリ動画の再生の進捗状況をバーの長さによって表示する。この進捗状況表示部105は、進捗バー105a上に対してユーザの指Yがタッチされたか否かを判定し、タッチされると、当該タッチされたバーの位置に対応する再生時間を求め、プリ動画の再生指令を発生する。例えば、進捗バー105aも中間部にタッチされると、進捗状況表示部105は、プリ動画の中間時「50」からプリ動画を再生する指令を発生する。なお、タッチされたバーの位置は、タッチパネル8aから出力される接触信号から判定できる。   The progress status display unit 105 displays the progress status of playback of the pre-moving image during playback of the pre-moving image. FIG. 7 shows a progress bar 105 a displayed on the display screen of the LCD 8 by the progress status display unit 105. The progress bar 105a is displayed, for example, in the lower part of the display screen of the LCD 8, and displays the progress of playback of the pre-moving image according to the length of the bar, with “0” at the start of playback and “100” at the end of playback. The progress status display unit 105 determines whether or not the user's finger Y is touched on the progress bar 105a, and when touched, obtains a reproduction time corresponding to the position of the touched bar, Generate a video playback command. For example, when the progress bar 105a is also touched on the intermediate portion, the progress display portion 105 generates a command to play the pre-moving image from “50” in the middle of the pre-moving image. The position of the touched bar can be determined from the contact signal output from the touch panel 8a.

表示制御部106は、例えば、通常の撮影モード時又は再生モード時に、信号処理・制御部1によって各種の画像処理された画像データや、メイキングモード時に、画像選択部102、合成記録部103、タッチ・スライド検出部104、進捗状況表示部105によって処理された画像テータをLCD8の表示画面に表示する。   The display control unit 106 includes, for example, image data subjected to various types of image processing by the signal processing / control unit 1 in the normal shooting mode or playback mode, and the image selection unit 102, the composite recording unit 103, and the touch in the making mode. The image data processed by the slide detection unit 104 and the progress status display unit 105 is displayed on the display screen of the LCD 8.

次に、上記の如く構成された装置のメイキングモード時における動作について図8A、図8Bに示すメイキング動作フローチャートに従って説明する。
信号処理・制御部1は、ステップS12において、撮影モードであるか否かを判定し、この判定の結果、撮影モードであれば、ステップS13において、メイキングモードであるか否かを判定する。
具体的に、ユーザがモード選択スイッチをオン(ON)操作すると、信号処理・制御部1は、図9に示すようにモード選択画面40をLCD8に表示する。このモード選択画面40には、メイキングと、時間差と、顔検出合成との各選択モードが表示され、メイキングの選択モードに対応する部分にユーザがタッチすると、当該タッチ位置を含む接触信号がタッチパネル8aから出力される。信号処理・制御部1は、タッチパネル8aから出力された接触信号に基づいてメイキングモードが選択されたことを判定する。なお、信号処理・制御部1は、ステップS12での判定の結果、撮影モードでなければ、ステップS61の再生モードに移行し、ステップS13での判定の結果、メイキングモードでなければ、ステップS62でその他のモードに移行する。
ここでは、連写を所定時間差で行う「時間差モード」と、顔の部分だけを合成する「顔検出合成のモード」とを例示したが、他にパノラマ撮影、3D撮影等のモードを選べるようにしてもよい。
Next, the operation of the apparatus configured as described above in the making mode will be described with reference to the making operation flowchart shown in FIGS. 8A and 8B.
In step S12, the signal processing / control unit 1 determines whether or not the shooting mode is set. If the result of this determination is that the shooting mode is set, it determines whether or not the shooting mode is set in step S13.
Specifically, when the user turns on (ON) the mode selection switch, the signal processing / control unit 1 displays a mode selection screen 40 on the LCD 8 as shown in FIG. This mode selection screen 40 displays each selection mode of making, time difference, and face detection synthesis. When the user touches a portion corresponding to the selection mode of making, a touch signal including the touch position is displayed on the touch panel 8a. Is output from. The signal processing / control unit 1 determines that the making mode has been selected based on the contact signal output from the touch panel 8a. If the result of determination in step S12 is not shooting mode, the signal processing / control section 1 proceeds to playback mode in step S61, and if the result of determination in step S13 is not making mode, the signal processing / control section 1 proceeds to step S62. Transition to other modes.
In this example, the “time difference mode” in which continuous shooting is performed at a predetermined time difference and the “face detection combination mode” in which only the face portion is combined are illustrated, but other modes such as panoramic shooting and 3D shooting can be selected. May be.

メイキングモードが選択されると、撮影モードである時に、信号処理・制御部1は、ステップS14において、図9に示すようなLCD8に被写体のスルー画像41を表示する。このスルー画像41の表示では、信号処理・制御部1は、交換レンズ部20に対し、各通信部14、28を介してシャッタ110を開放し、撮像素子2により撮像を開始させ、この撮像素子2の撮像により取得された1フレーム毎の各画像データを順次記録部4に記憶し、この記憶した画像データに対してライブビュー表示用の画像処理を施し、表示制御部106を制御して画像データをLCD8に表示する。この画像データの表示動作を繰り返すことによってLCD8には、被写体のスルー画像41が表示される。   When the making mode is selected, the signal processing / control section 1 displays a through image 41 of the subject on the LCD 8 as shown in FIG. In the display of the through image 41, the signal processing / control unit 1 opens the shutter 110 via the communication units 14 and 28 to the interchangeable lens unit 20 and starts imaging with the imaging device 2. The image data for each frame acquired by the imaging of 2 is sequentially stored in the recording unit 4, image processing for live view display is performed on the stored image data, and the display control unit 106 is controlled to perform image processing. Data is displayed on the LCD 8. By repeating this image data display operation, the through image 41 of the subject is displayed on the LCD 8.

信号処理・制御部1は、ステップS15において、図3に示すように被写体のスルー画像41が表示されているLCD8の表示画面上にメイキング画像表示枠Wを表示する。この枠Wは、例えば主被写体が存在しにくい画面上部左隅等に表示する。この枠Wは、その位置や大きさを切り換えることが出来るようにしてもよい。この枠Wを意識しながら撮影すれば、画像の合成がユーザの思い通りに出来る。
信号処理・制御部1は、ステップS16において、プリ動画の撮像を開始する。このプリ動画の撮像では、信号処理・制御部1は、交換レンズ部20に対し、各通信部14、28を介してシャッタ110を開放した状態で、撮像素子2の撮像により取得された1フレーム毎の各画像データを順次記録部4に記憶し、プリ動画ファイルとして記録部4に記憶する。これと共に信号処理・制御部1は、記録部4に記憶した画像データに対してプリ動画表示用の画像処理を施し、表示制御部106を制御してプリ動画表示用の画像データをLCD8に表示する。
In step S15, the signal processing / control unit 1 displays the making image display frame W on the display screen of the LCD 8 on which the through image 41 of the subject is displayed as shown in FIG. This frame W is displayed, for example, at the upper left corner of the screen where the main subject is unlikely to exist. The position and size of the frame W may be switched. If the image is taken while being conscious of the frame W, the image can be combined as the user desires.
In step S16, the signal processing / control unit 1 starts capturing a pre-moving image. In this pre-moving image capturing, the signal processing / control unit 1 captures one frame acquired by imaging the image sensor 2 with the shutter 110 opened via the communication units 14 and 28 with respect to the interchangeable lens unit 20. Each image data for each is sequentially stored in the recording unit 4 and stored in the recording unit 4 as a pre-moving image file. At the same time, the signal processing / control unit 1 performs image processing for pre-moving image display on the image data stored in the recording unit 4 and controls the display control unit 106 to display image data for pre-moving image display on the LCD 8. To do.

信号処理・制御部1は、ステップS17において、プリ動画の撮像中、被写体の静止画を撮像するか否かを判定する。この静止画の撮像は、操作判定部6におけるレリーズボタンの1stレリーズスイッチが半押しされ、続いて2ndレリーズスイッチが全押しされたか否かを判定する。この判定の結果、1stレリーズスイッチが半押されると、信号処理・制御部1は、ステップS18において、AF処理等の撮影準備動作を行い、続いて2ndレリーズスイッチが全押されると、静止画撮影用のAE動作を行い、撮像素子2を介して得られた静止画の画像データDsを画像処理し、この画像処理された静止画の画像データDsにヘッダを付与して静止画像ファイルを生成し、この静止画像ファイルを記録部4に記憶する。
この結果、記録部4には、プリ動画を含むプリ動画ファイルと、静止画の画像データDsを含む静止画像ファイルとが関連付けられて記憶される。プリ動画は、1stレリーズスイッチ操作中に撮影されてもよいし、常に撮影しておき静止画撮影前の所定時間(10秒程度)分を記録するようにしてもよい。このとき、各が画像コマの圧縮は行わないようにしたりして、合成し易くする。
In step S <b> 17, the signal processing / control unit 1 determines whether to capture a still image of the subject during the pre-moving image capturing. This still image is picked up by determining whether or not the first release switch of the release button in the operation determination unit 6 is half-pressed and then the 2nd release switch is fully pressed. If the first release switch is pressed halfway as a result of this determination, the signal processing / control section 1 performs shooting preparation operations such as AF processing in step S18, and when the 2nd release switch is fully pressed, still image shooting. AE operation is performed, the image data Ds of the still image obtained through the image sensor 2 is subjected to image processing, and a still image file is generated by adding a header to the image data Ds of the image processed still image. The still image file is stored in the recording unit 4.
As a result, the recording unit 4 stores the pre-moving image file including the pre-moving image and the still image file including the image data Ds of the still image in association with each other. The pre-moving image may be shot during the operation of the first release switch, or may be always shot and recorded for a predetermined time (about 10 seconds) before shooting the still image. At this time, the image frames are not compressed, so that they are easily combined.

信号処理・制御部1は、ステップS19において、静止画像ファイルを記録部4から読み出し、この静止画像ファイルに含まれる静止画の画像データDsに対してレックビュー表示するための画像処理を行い、静止画の画像データDsを図9に示すような静止画像42として表示制御部106を介してLCD8の表示画面の全面に表示する。これによって、意図した撮影がなされたかをユーザは確認可能である。
プリ動画再生開始の操作が操作判定部6に対して行われると、信号処理・制御部1は、ステップS21において、図9に示すようにLCD8の表示画面に表示されている静止画像42中のメイキング画像表示枠Wを表示し、かつ記録部4からプリ動画ファイルを読み出し、このプリ動画ファイルに含まれるプリ動画の画像データの再生表示をメイキング画像表示枠W内で開始する。
この枠Wは、顔画像に重ならないように出してもよいし、撮影時にすでに枠が出ていたので、当該枠Wと主被写体が重ならないようにユーザがフレーミングしていることから、主要被写体に影響しないようになっている。
撮影直後のレックビュー時はまだ正式記録しないでもよいタイミングなので、画像を正式に圧縮して記録する前の生データが残っているので、画像を合成するのに相応しいタイミングである。このタイミングを逃すと、次の撮影のために、RAMが利用されたり、記録部への記録がなされたりして、不都合が起こる。そのため、次の撮影を行う前のタイミングで行えば、RAMの容量を小さくしたりして、小型化したり廉価での機器提供が可能となる。
In step S 19, the signal processing / control unit 1 reads out a still image file from the recording unit 4, performs image processing for displaying the still image on the image data Ds of the still image included in the still image file, The image data Ds of the image is displayed on the entire surface of the display screen of the LCD 8 through the display control unit 106 as a still image 42 as shown in FIG. As a result, the user can confirm whether the intended shooting has been performed.
When the operation of starting the pre-movie playback is performed on the operation determination unit 6, the signal processing / control unit 1 in the still image 42 displayed on the display screen of the LCD 8 as shown in FIG. The making image display frame W is displayed, the pre-moving image file is read from the recording unit 4, and the reproduction display of the image data of the pre-moving image included in the pre-moving image file is started in the making image display frame W.
The frame W may be displayed so as not to overlap the face image, or since the frame has already been formed at the time of shooting, the user is framing the frame W so as not to overlap the main subject. Does not affect the.
At the time of rec view immediately after shooting, it is not necessary to formally record yet, so there is still raw data before the image is formally compressed and recorded, so this is a suitable timing for compositing the images. If this timing is missed, the RAM will be used for the next shooting, or recording in the recording unit will occur, causing inconvenience. For this reason, if it is performed at the timing before the next shooting, the capacity of the RAM can be reduced, and the apparatus can be reduced in size or provided at low cost.

信号処理・制御部1は、ステップS22において、プリ動画の再生画面中に確認ボタン(OKボタン)44を表示し、かつ進捗状況表示部105によってLCD8の表示画面中に進捗バー105aを表示する。確認ボタン44は、当該メイキングモードにおける画像合成、すなわち静止画像42に合成するためにプリ動画ファイル中から選択する画像の選択動作が終了したことを確認するためのボタンである。   In step S <b> 22, the signal processing / control unit 1 displays a confirmation button (OK button) 44 on the pre-movie playback screen, and displays a progress bar 105 a on the display screen of the LCD 8 by the progress display unit 105. The confirmation button 44 is a button for confirming that the image combining operation in the making mode, that is, the operation of selecting an image to be selected from the pre-moving image file for combining with the still image 42 is completed.

進捗状況表示部105は、ステップS23において、進捗バー105a上に対してユーザの指Yがタッチされたか否かを判定する。この判定の結果、進捗バー105a上に対してユーザの指Yがタッチすると、進捗状況表示部105は、ステップS24において、タッチパネル8aから出力される接触信号に基づいてタッチされたバー位置に対応する再生時刻を求め、この再生時刻からプリ動画の再生を開始する。これによって、ユーザは何度も動画再生を好きなタイミング(タッチしたバー位置)から再開できる。   In step S23, the progress display unit 105 determines whether or not the user's finger Y is touched on the progress bar 105a. As a result of this determination, when the user's finger Y touches the progress bar 105a, the progress status display unit 105 corresponds to the touched bar position based on the contact signal output from the touch panel 8a in step S24. The reproduction time is obtained, and the reproduction of the pre-moving image is started from this reproduction time. As a result, the user can resume moving image reproduction from the favorite timing (the touched bar position) many times.

プリ動画の再生開始の後、信号処理・制御部1は、ステップS31において、確認ボタン44が押し操作されたか否か、すなわち確認ボタン44の表示位置に対応するタッチパネル8a上にユーザの指Y等がタッチされたか否かを判定し、タッチされていなければ、ステップS41において、プリ動画を再生表示中のLCD8のタッチパネル8a上に対してユーザの指Y等がタッチされたか否かを判定する。
ここで、ユーザの指Y等がタッチされるタイミングは、LCD8に再生表示されているプリ動画中において、例えばユーザが例えば被写体の静止画の画像データDsを撮像するに至るまでの被写体の状況、経緯をよく表すシーンや、お気に入りのシーンや残しておきたい大切なシーンの画像の再生時である。そして、これらタイミング時のシーンの各画像は、静止画の画像データDsに合成するための画像である。
After starting the reproduction of the pre-moving image, the signal processing / control unit 1 determines whether or not the confirmation button 44 has been pressed in step S31, that is, the user's finger Y or the like on the touch panel 8a corresponding to the display position of the confirmation button 44. If it is not touched, it is determined in step S41 whether or not the user's finger Y or the like is touched on the touch panel 8a of the LCD 8 that is reproducing and displaying the pre-moving image.
Here, the timing at which the user's finger Y or the like is touched is, for example, the situation of the subject in the pre-moving image reproduced and displayed on the LCD 8 until the user images the image data Ds of the still image of the subject, for example. This is when playing back images of scenes that show the details, favorite scenes, or important scenes that you want to keep. Each image of the scene at these timings is an image to be combined with the still image data Ds.

この判定の結果、LCD8上のタッチパネル8a上にユーザの指Y等がタッチされると、画像選択部102は、ステップS42において、タッチパネル8aからの接触信号を入力し、この入力時点で、LCD8に再生表示されていたプリ動画の画像データ中の1枚の画像データ、例えば図2に示すような画像データDc1を抽出する。この画像データDc1は、信号処理・制御部1によって記録部4に記録される。これと共に画像選択部102は、図9に示すように抽出した画像データDc1を表示制御部106を介してメイキング画像表示枠W内に表示する。そして、合成記録部103は、静止画の画像データDsに対して画像データDc1を合成する。   As a result of this determination, when the user's finger Y or the like is touched on the touch panel 8a on the LCD 8, the image selection unit 102 inputs a contact signal from the touch panel 8a in step S42. One piece of image data, for example, image data Dc1 as shown in FIG. 2, is extracted from the image data of the pre-moving image that has been reproduced and displayed. The image data Dc1 is recorded in the recording unit 4 by the signal processing / control unit 1. At the same time, the image selection unit 102 displays the extracted image data Dc1 in the making image display frame W via the display control unit 106 as shown in FIG. Then, the composition recording unit 103 synthesizes the image data Dc1 with the image data Ds of the still image.

画像選択部102は、ステップS43において、プリ動画中から選択した画像データの枚数が例えば3枚目であるか否かを判定する。なお、プリ動画中から選択する画像データの枚数は、3枚目に限らず、図2に示すように5枚であっても良いし、その他の任意に設定された枚数でもよい。設定された枚数によって、メイキング画像表示枠Wの大きさを変えても良い。これによって、沢山の画像コマを選んでも、邪魔にならない表示に出来る。このメイキング画像表示枠Wは、一律でなくともよく、タッチパネル8a上で手動で大きさを変更できるようにしてもよい。
この判定の結果、画像データの枚数が3枚目でなければ、画像選択部102は、ステップS23、S31を経由して再びステップS41に戻り、再び、プリ動画の画像データから画像データを抽出するために、プリ動画を再生表示しているLCD8上のタッチパネル8a上に対してユーザの指Y等がタッチされたか否かを判定する。
なお、画像選択部102は、図4に示すように1枠目のメイキング画像表示枠W1をLCD8の表示画面上に表示し、1枚目の画像データDc1が選択されると、当該画像データDc1をメイキング画像表示枠W1内に表示する。続いて、画像選択部102は、2枠目のメイキング画像表示枠W2をメイキング画像表示枠W1に並べて表示する。これらメイキング画像表示枠W1、W2の表示位置は、静止画の画像データDs中の2人の人物M1、M2が写っている領域以外の領域、ここでは2人の人物M1、M2の背景領域に設定される。
In step S43, the image selection unit 102 determines whether or not the number of image data selected from the pre-moving image is, for example, the third. Note that the number of image data to be selected from the pre-moving image is not limited to the third image, but may be five as shown in FIG. 2 or any other arbitrarily set number. The size of the making image display frame W may be changed depending on the set number. As a result, even if you select a lot of image frames, you can display them without getting in the way. The making image display frame W may not be uniform, and the size may be manually changed on the touch panel 8a.
If the result of this determination is that the number of image data is not the third, the image selection unit 102 returns to step S41 again via steps S23 and S31, and again extracts image data from the image data of the pre-moving image. Therefore, it is determined whether or not the user's finger Y or the like is touched on the touch panel 8a on the LCD 8 that reproduces and displays the pre-moving image.
As shown in FIG. 4, the image selection unit 102 displays the first frame of the making image display frame W1 on the display screen of the LCD 8, and when the first image data Dc1 is selected, the image data Dc1 is displayed. Is displayed in the making image display frame W1. Subsequently, the image selection unit 102 displays the second-frame making image display frame W2 side by side on the making image display frame W1. The display positions of these making image display frames W1 and W2 are in areas other than the area where the two persons M1 and M2 are captured in the still image data Ds, in this case, in the background area of the two persons M1 and M2. Is set.

2枚目の画像データを選択するために、LCD8上のタッチパネル8aにユーザの指Y等がタッチされると、画像選択部102は、上記同様に、ステップS42において、タッチパネル8aからの接触信号の入力時点に、LCD8に再生表示されていたプリ動画の画像データ中の画像データ、例えば図2に示すような画像データDc2を抽出する。この画像データDc1は、信号処理・制御部1によって記録部4に記録される。これと共に画像選択部102は、図9に示すように抽出した画像データDc2を表示制御部106を介してメイキング画像表示枠W2内に表示する。そして、合成記録部103は、静止画の画像データDsに対して画像データDc2を合成する。   When the user's finger Y or the like is touched on the touch panel 8a on the LCD 8 in order to select the second image data, the image selecting unit 102 receives the contact signal from the touch panel 8a in step S42 as described above. At the time of input, image data in the pre-moving image data reproduced and displayed on the LCD 8, for example, image data Dc 2 as shown in FIG. 2 is extracted. The image data Dc1 is recorded in the recording unit 4 by the signal processing / control unit 1. At the same time, the image selection unit 102 displays the extracted image data Dc2 in the making image display frame W2 via the display control unit 106 as shown in FIG. Then, the composition recording unit 103 synthesizes the image data Dc2 with the still image data Ds.

続いて、画像選択部102は、3枠目のメイキング画像表示枠W3をメイキング画像表示枠W2に並べて表示する。これにより、LCD8の表示画面には、静止画の画像データDsが表示されると共に、この静止画の画像データDs中に写っている各人物M1、M2の背景領域に各メイキング画像表示枠W1、W2、W3が並んで表示される。
画像選択部102は、上記同様に、ステップS23からステップS41を繰り返すことにより、プリ動画中から例えば図9に示すように3枚の画像データDc1、Dc2、Dc3を選択すると、これら画像データDc1、Dc2、Dc3をそれぞれ各メイキング画像表示枠W1、W2、W3内に表示する。そして、合成記録部103は、静止画の画像データDsに対して画像データDc3を合成する。
これら画像データDc1、Dc2、Dc3は、プリ動画が再生される時間経過と共に順次選択されるので、各メイキング画像表示枠W1、W2、W3内には、プリ動画再生の時系列に従ってそれぞれ各画像データDc1、Dc2、Dc3が表示される。なお、各画像データDc1、Dc2、Dc3は、上記の通り、信号処理・制御部1によって記録部4に記録される。
また、ユーザは、一度選択したものを止めたり、新たに動画を見直して追加したりしたくなるので、必ずしも画像選択の順番と撮影時の順番は一致していない場合が多い。このような場合であっても、撮影時の各画像コマの時刻情報に従って、並べ替えることが出来るような制御としてもよい。これによってユーザ操作の自由度を向上させることができる。
Subsequently, the image selection unit 102 displays the third-frame making image display frame W3 side by side on the making-image display frame W2. As a result, the image data Ds of the still image is displayed on the display screen of the LCD 8, and each making image display frame W <b> 1 is displayed in the background area of each person M <b> 1 and M <b> 2 reflected in the image data Ds of the still image. W2 and W3 are displayed side by side.
Similarly to the above, when the image selection unit 102 selects three pieces of image data Dc1, Dc2, and Dc3 from the pre-moving image, for example, as shown in FIG. 9, by repeating steps S23 to S41, the image data Dc1, Dc2 and Dc3 are displayed in the making image display frames W1, W2, and W3, respectively. Then, the composition recording unit 103 synthesizes the image data Dc3 with the still image data Ds.
Since these image data Dc1, Dc2, and Dc3 are sequentially selected with the lapse of time when the pre-moving image is reproduced, the respective image data are included in each of the making image display frames W1, W2, and W3 according to the time series of the pre-moving image reproduction. Dc1, Dc2, and Dc3 are displayed. The image data Dc1, Dc2, and Dc3 are recorded in the recording unit 4 by the signal processing / control unit 1 as described above.
In addition, since the user wants to stop the selection once or newly review and add a moving image, the order of image selection and the order at the time of shooting often do not always match. Even in such a case, the control may be performed so that the images can be rearranged according to the time information of each image frame at the time of shooting. Thereby, the degree of freedom of user operation can be improved.

プリ動画の再生が終了すると、信号処理・制御部1は、ステップS44において、当該プリ動画の全ての再生が終了したことを確認すると、ステップS45において、静止画の画像データDsに対して3枚の画像データDc1、Dc2、Dc3をそれぞれ画像合成したか否かを判定する。
この判定の結果、静止画の画像データDsに対して3枚の画像データDc1、Dc2、Dc3を画像合成していなければ、画像選択部102は、例えば図9に示すようなプリ動画の再生の再開を確認するための再生再開確認ボックス45をLCD8に表示する。この再生再開確認ボックス45は、プリ動画の再生再開を許可するボタン(YESボタン)45aと、プリ動画の再生再開を行わないボタン(NOボタン)45bとを表示する。
When the reproduction of the pre-moving image is completed, the signal processing / control unit 1 confirms that all the reproduction of the pre-moving image has been completed in step S44, and then in step S45, the signal processing / control unit 1 It is determined whether or not the image data Dc1, Dc2, and Dc3 are combined.
As a result of this determination, if the three image data Dc1, Dc2, and Dc3 are not combined with the still image data Ds, the image selection unit 102 reproduces the pre-moving image as shown in FIG. 9, for example. A reproduction resumption confirmation box 45 for confirming resumption is displayed on the LCD 8. The reproduction restart confirmation box 45 displays a button (YES button) 45a that permits the resumption of the reproduction of the pre-moving image and a button (NO button) 45b that does not resume the reproduction of the pre-moving image.

プリ動画の再生再開を許可するYESボタン45aに対してユーザの指がタッチすると、画像選択部102は、プリ動画中から画像の選択を一旦終了した後、再度、ステップS21に戻り、記録部4のRAMに記憶された被写体のプリ動画をLCD8に再生し、当該再生しているプリ動画中からの画像データを再選択する。この再選択も、画像選択部102は、タッチパネル8aに対してユーザの指等がタッチした時点で、LCD8に再生されていたプリ動画中の1枚の画像データを抽出する。   When the user's finger touches the YES button 45a that permits the resumption of playback of the pre-moving image, the image selection unit 102 once finishes selecting the image from the pre-moving image, and then returns to step S21 again to return to the recording unit 4 The pre-moving image of the subject stored in the RAM is reproduced on the LCD 8, and the image data from the pre-moving pre-moving image is selected again. Also in this reselection, the image selection unit 102 extracts one piece of image data in the pre-moving image reproduced on the LCD 8 when the user's finger or the like touches the touch panel 8a.

一方、静止画の画像データDsに対して3枚の画像データDc1、Dc2、Dc3を画像合成済であれば、画像選択部102は、ステップS32において、図9に示すようなプリ動画合成終了確認ボックス46をLCD8に表示する。このプリ動画合成終了確認ボックス46は、プリ動画を合成終了するボタン(YESボタン)46aと、プリ動画の合成を終了しないためのボタン(NOボタン)46bとを表示する。   On the other hand, if the three image data Dc1, Dc2, and Dc3 have been combined with the still image data Ds, the image selection unit 102 confirms the completion of the pre-moving image combination as shown in FIG. 9 in step S32. A box 46 is displayed on the LCD 8. The pre-moving image composition end confirmation box 46 displays a button (YES button) 46a for ending the combining of the pre-moving image and a button (NO button) 46b for not ending the combining of the pre-moving image.

合成記録部103は、ステップS33において、プリ動画を合成終了するYESボタン46aに対いてユーザの指がタッチし、プリ動画の合成を終了するのか否かを判定する。この判定の結果、プリ動画の合成を終了するのであれば、合成記録部103は、ステップS51において、図9に示すように静止画の画像データDsと、静止画の画像データDsに対して画像データDc1を合成した第1の合成画像データQ1と、静止画の画像データDsに対して2つの画像データDc1、Dc2を合成した第2の合成画像データQ2と、静止画の画像データDsに対して画像データDc1、Dc2、Dc3を合成した第3の合成画像データQ3とをそれぞれ表示制御部106を介してLCD8にレックビュー表示する。この合成終了を選択しない場合、何度でも合成をやり直せるので、ユーザは安心して最適のシーンの画像コマや全体のバランスを考えて最適な合成画像が作れる。合成枚数を変えたり、画像合成を考えた末、やはりやめることも、もちろん可能である。   In step S33, the composition recording unit 103 determines whether or not the user's finger touches the YES button 46a for ending the composition of the pre-moving image and the composition of the pre-moving image is terminated. If the result of this determination is that the pre-moving image composition is to be terminated, the composition recording unit 103 performs image processing on the still image data Ds and the still image data Ds as shown in FIG. For the first synthesized image data Q1 obtained by synthesizing the data Dc1, the second synthesized image data Q2 obtained by synthesizing the two image data Dc1 and Dc2 for the still image data Ds, and the still image data Ds. Then, the third combined image data Q3 obtained by combining the image data Dc1, Dc2, and Dc3 is displayed in a rec view on the LCD 8 via the display control unit 106. If the end of the composition is not selected, the composition can be performed again and again, so that the user can feel free to create an optimal composite image in consideration of the image frame of the optimal scene and the overall balance. Of course, it is possible to quit after changing the number of composites or considering image composition.

画像選択部102は、ステップS52において、プリ動画中から選択された例えば複数の画像データDc1〜Dc3毎に、これら画像データDc1〜Dc3のいずれかをタッチすることにより選択し、当該選択された画像データDc1、Dc2又はDc3を時間的に前又は後の画像データに変更・調整する。   In step S52, the image selection unit 102 selects, for example, each of the plurality of image data Dc1 to Dc3 selected from the pre-moving image by touching any one of the image data Dc1 to Dc3, and the selected image. Data Dc1, Dc2, or Dc3 is changed / adjusted to the previous or next image data in terms of time.

具体的に画像選択部102は、図10に示す画像データに変更・調整フローチャートに従い、ステップS82において、図9に示すように静止画の画像データDsに対して当該静止画の画像データDsを決定するためのOKボタン47をLCD8に表示すると共に、第1乃至第3の合成画像データQ1〜Q3に対してそれぞれ当該第1乃至第3の合成画像データQ1〜Q3を決定するための各OKボタン48a〜48cをLCD8に表示する。これらOKボタン47、48a〜48cに対するタッチ操作も、画像選択部102は、タッチパネル8aからの接触信号に基づいて各OKボタン47、48a〜48cのうちいずれかがタッチされたかを判定できる。   Specifically, the image selection unit 102 determines the image data Ds of the still image for the image data Ds of the still image as shown in FIG. 9 in step S82 according to the change / adjustment flowchart to the image data shown in FIG. The OK button 47 for displaying is displayed on the LCD 8, and the OK buttons for determining the first to third combined image data Q1 to Q3 for the first to third combined image data Q1 to Q3, respectively. 48a to 48c are displayed on the LCD 8. In the touch operation on the OK buttons 47 and 48a to 48c, the image selection unit 102 can determine whether any of the OK buttons 47 and 48a to 48c is touched based on the contact signal from the touch panel 8a.

画像選択部102は、ステップS83において、各OKボタン47、48a〜48cのうちいずれかがタッチ(押し操作)されたか否かを判定する。例えば、静止画の画像データDsに対応するOKボタン47がタッチされると、画像選択部102は、ステップS90において、当該静止画の画像データDsを決定する。同様に、画像選択部102は、画像データDc1に対応するOKボタン48aがタッチされると、当該画像データDc1を決定し、画像データDc2に対応するOKボタン48bがタッチされると、当該画像データDc2を決定し、画像データDc3に対応するOKボタン48cがタッチされると、当該画像データDc3を決定する。   In step S83, the image selection unit 102 determines whether or not any of the OK buttons 47 and 48a to 48c is touched (pressed). For example, when the OK button 47 corresponding to the still image data Ds is touched, the image selection unit 102 determines the still image data Ds in step S90. Similarly, when the OK button 48a corresponding to the image data Dc1 is touched, the image selection unit 102 determines the image data Dc1, and when the OK button 48b corresponding to the image data Dc2 is touched, the image data When Dc2 is determined and the OK button 48c corresponding to the image data Dc3 is touched, the image data Dc3 is determined.

画像選択部102は、各OKボタン47、48a〜48cがタッチされなければ、ステップS84において、第1乃至第3の合成画像データQ1〜Q3の合成元の画像、すなわちLCD8に表示される選択された画像データDc1、Dc2又はDc3上のタッチパネル8aに対してタッチされたか否かを判定する。   If the OK buttons 47 and 48a to 48c are not touched, the image selection unit 102 is selected in step S84 to be displayed on the synthesis source image of the first to third synthesized image data Q1 to Q3, that is, the LCD 8. It is determined whether the touch panel 8a on the image data Dc1, Dc2, or Dc3 has been touched.

この判定の結果、例えば画像データDc1上のタッチパネル8aに対してタッチされると、画像選択部102は、タッチされている時間を計測する。このタッチされている時間は、信号処理・制御部1に内蔵されているタイマーにより計測される。画像選択部102は、画像データDc1上のタッチパネル8aにタッチしている時間が予め設定されたタッチ時間よりも長ければ、タッチが長押しであると判定し、ステップS92において、画像データDc1を記録部4から削除する。
長押し操作は、単純である上に、ユーザがうっかり操作した操作と異なり、ユーザの意志を反映した操作である。同一の場所を押している動作は、スライド操作との違いを判定しやすい。長押し中に消しゴムで消すような微小スライドを行うと、それを検出して消去してもよい。これは消しゴム風の動作で直感的と言える。
As a result of this determination, for example, when the touch panel 8a on the image data Dc1 is touched, the image selection unit 102 measures the touched time. The touched time is measured by a timer built in the signal processing / control unit 1. If the time during which the touch panel 8a on the image data Dc1 is touched is longer than the preset touch time, the image selection unit 102 determines that the touch is a long press, and records the image data Dc1 in step S92. Delete from part 4.
The long press operation is not only simple but also an operation that reflects the user's will, unlike the operation that the user has inadvertently operated. The operation of pressing the same place is easy to judge the difference from the slide operation. If a micro slide that is erased with an eraser during a long press is performed, it may be detected and erased. This is an intuitive eraser-like action.

一方、タッチが長押しでなければ、画像選択部102は、ステップS93において、画像データDc1上のタッチパネル8aに対してユーザの指等がいずれかの方向、例えば図6に示すように右側方向(f1)にスライドしたか否かを判定する。このスライド方向は、タッチ・スライド検出部104により検出される。
このスライド方向の判定結果によって画像選択部102は、プリ動画中から選択された例えば複数の画像データDc1〜Dc5毎に、これら画像データDc1〜Dc5をそれぞれ時間的に前又は後の画像データに変更・調整可能である。
On the other hand, if the touch is not a long press, in step S93, the image selection unit 102 moves the user's finger or the like with respect to the touch panel 8a on the image data Dc1 in any direction, for example, the right direction as shown in FIG. It is determined whether or not it has slid to f1). This sliding direction is detected by the touch / slide detection unit 104.
Depending on the determination result of the slide direction, the image selection unit 102 changes the image data Dc1 to Dc5 to the previous or subsequent image data, for example, for each of the plurality of image data Dc1 to Dc5 selected from the pre-moving image.・ Adjustable.

すなわち、スライド方向の判定の結果、右側スライドでなければ、画像選択部102は、ステップS94において、画像データDc1上のタッチパネル8aに対してユーザの指等がいずれかの方向、例えば左側方向(f2)にスライドしたか否かを判定する。
この判定の結果、左側スライドであれば、画像選択部102は、ステップS95において、図5に示すように画像データDc1よりも時間的に前の画像データDc1−1側(矢印g2側)の画像データに変更可能とする。当該時間的に前の画像データも、スライド方向f2へのスライドの大きさに応じた時間的に前の画像データに変更可能である。
一般的に時間軸を二次元表示する場合、右側に向かって時間の進行をとるので、この操作は直感的である。
That is, as a result of the determination of the slide direction, if the slide is not the right slide, in step S94, the image selection unit 102 determines whether the user's finger or the like is in any direction, for example, the left direction (f2) with respect to the touch panel 8a on the image data Dc1. ).
If the result of this determination is that the slide is on the left side, in step S95, the image selection unit 102 selects the image data Dc1-1 side (arrow g2 side) image temporally prior to the image data Dc1 as shown in FIG. The data can be changed. The temporally previous image data can also be changed to temporally previous image data according to the size of the slide in the slide direction f2.
In general, when the time axis is displayed in two dimensions, this operation is intuitive because the time progresses toward the right side.

一方、右側スライドでなければ、画像選択部102は、ステップS93からステップS96に移り、図5に示すように画像データDc1よりも時間的に後の画像データDc1+1側(矢印g1側)の画像データに変更可能とする。当該時間的に後の画像データも、スライド方向f1へのスライドの大きさに応じた時間的に後の画像データに変更する。
この結果、第1の合成画像データQ1は、図9に示すように静止画の画像データDsに対して画像データDc1を合成して取得することに変更がない。
これに対して第2の合成画像データQ2は、静止画の画像データDsに対して画像データDc1、Dc2aを合成して取得するものとなり、画像データDc2を画像データDc2aに変更している。この画像データDc2aは、画像データDc2よりも時間的に前又は後の画像データである。
第3の合成画像データQ3も、静止画の画像データDsに対して画像データDc1、Dc2、Dc3aを合成して取得するものとなり、画像データDc3を画像データDc3aに変更している。この画像データDc3aは、画像データDc3よりも時間的に前又は後の画像データである。
On the other hand, if it is not the right slide, the image selection unit 102 moves from step S93 to step S96, and as shown in FIG. 5, the image data on the image data Dc1 + 1 side (arrow g1 side) that is temporally later than the image data Dc1. Can be changed to The temporally subsequent image data is also changed to temporally subsequent image data according to the size of the slide in the slide direction f1.
As a result, the first combined image data Q1 is obtained by combining the image data Dc1 with the still image data Ds as shown in FIG.
On the other hand, the second synthesized image data Q2 is obtained by synthesizing the image data Dc1 and Dc2a with the image data Ds of the still image, and the image data Dc2 is changed to the image data Dc2a. This image data Dc2a is image data before or after the image data Dc2.
The third combined image data Q3 is also obtained by combining the image data Dc1, Dc2, and Dc3a with the image data Ds of the still image, and the image data Dc3 is changed to the image data Dc3a. The image data Dc3a is image data before or after the image data Dc3.

この後、画像選択部102は、ステップS97において、画像データの変更・調整を終了するか否かを判定する。画像データの変更・調整を終了しなければ、画像選択部102は、ステップS93に戻り、終了するのであれば、ステップS83に戻る。
画像選択部102は、ステップS53において、画像データの変更・調整を行った第1乃至第3の合成画像データQ1〜Q3を記録部4に記録する。
Thereafter, in step S97, the image selection unit 102 determines whether or not to end the image data change / adjustment. If the change / adjustment of the image data is not finished, the image selection unit 102 returns to step S93, and if finished, returns to step S83.
In step S <b> 53, the image selection unit 102 records, in the recording unit 4, the first to third combined image data Q <b> 1 to Q <b> 3 whose image data has been changed / adjusted.

このように上記一実施の形態によれば、メイキングモードに設定されると、被写体の静止画を取得する前後に被写体のプリ動画を取得し、静止画の再生と共にプリ動画を再生し、当該再生中のプリ動画中から当該動画に含む画像コマを選択し、この選択された画像コマを静止画に合成記録する。これにより、プリ動画で撮像された内容は、被写体の静止画を撮像するときの時間的に前後の被写体の状況、経緯を含むものとなり、撮影が行われた際の状況を合わせて簡単に記録でき、思い出深い写真撮影を可能とすることが出来る。すなわち、静止画を撮像する際の状況を簡単に記録でき、当該静止画の撮影の前後の雰囲気を残すことができる。
例えば、被写体のプリ動画を取得した後に、被写体の静止画の画像データDsを取得し、この静止画の画像データDsをLCD8に表示すると共に、メイキング画像表示枠Wを表示し、このメイキング画像表示枠W内にプリ動画を再生表示し、当該プリ動画中から複数の画像データDc1〜Dc5を選択し、これら画像データDc1〜Dc5をそれぞれ静止画の画像データDsに合成する。
As described above, according to the embodiment, when the making mode is set, the pre-moving image of the subject is acquired before and after the still image of the subject is acquired, and the pre-moving image is reproduced together with the reproduction of the still image. An image frame included in the moving image is selected from the pre-moving images in the middle, and the selected image frame is synthesized and recorded on a still image. As a result, the content captured in the pre-moving movie includes the situation and background of the subject before and after the still image of the subject, and can easily be recorded together with the situation at the time of shooting. And memorable photography. That is, it is possible to easily record the situation at the time of capturing a still image, and leave an atmosphere before and after the still image is captured.
For example, after acquiring the pre-moving image of the subject, the image data Ds of the still image of the subject is acquired, the image data Ds of the still image is displayed on the LCD 8, the making image display frame W is displayed, and the making image display is displayed. A pre-moving image is reproduced and displayed in the frame W, a plurality of image data Dc1 to Dc5 are selected from the pre-moving image, and these image data Dc1 to Dc5 are respectively combined with still image data Ds.

プリ動画からの画像データの選択は、ユーザによって例えば被写体の静止画の画像データDsを撮像するに至るまでの被写体の状況、経緯をよく表すシーンや、ユーザがお気に入りのシーンや残しておきたい大切なシーンの複数の画像データDc1〜Dc5を選択するので、これらシーンの各画像データDc1〜Dc5を静止画の画像データDsに合成することによって、ユーザとして、静止画の画像データDsを撮像する瞬間と、この静止画の画像データDsの撮像の瞬間に至るまでの過程をレックビュー中に選択合成することにより、簡単、迅速に記録することができる。   The selection of image data from the pre-moving image is important for the user to leave a scene that well represents the situation and circumstances of the subject until the user picks up the image data Ds of the still image of the subject, and the user's favorite scene Since a plurality of image data Dc1 to Dc5 of a simple scene are selected, the image data Ds of the still image is captured as a user by combining the image data Dc1 to Dc5 of the scene with the image data Ds of the still image. By selecting and synthesizing the process up to the moment of capturing the image data Ds of the still image during the rec view, it can be recorded easily and quickly.

複数のメイキング画像表示枠W1、W2、W3等を時系列に並べて表示するので、これらメイキング画像表示枠W1、W2、W3等内に表示される各画像データDc1〜Dc3の時間経過による被写体としての各人物M1、M2の動向の変化を容易に観察でき、静止画の画像データDsを撮像するに至るまでの状況、経緯が分かる。ここでは、選択の順番に係わらず、撮影時に起こった順番に並ぶので、ユーザのタッチのタイミングがずれても、正しい順序で並ぶ。   Since a plurality of making image display frames W1, W2, W3, etc. are displayed side by side in time series, the image data Dc1-Dc3 displayed in these making image display frames W1, W2, W3, etc. are used as subjects as time elapses. Changes in the trends of the persons M1 and M2 can be easily observed, and the situation and background until the image data Ds of the still image is captured can be understood. Here, the images are arranged in the order that occurred at the time of shooting regardless of the order of selection, so even if the timing of the user's touch is shifted, they are arranged in the correct order.

画像選択部102は、メイキング画像表示枠Wの表示位置を、LCD8に表示されている静止画の画像データDs中における主要被写体の写っている領域以外の領域、例えば人物M1、M2の背景領域にメイキング画像表示枠Wを表示するので、人物M1、M2等の主要被写体を邪魔することなくメイキング画像表示枠W内にプリ画像を再生表示でき、かつ静止画の画像データDs中のメイキング画像表示枠Wの表示位置は、第1乃至第3の合成画像データQ1〜Q3を取得するときの各画像データDc1〜Dc3の合成位置と同一なので、最終的に決定する第1乃至第3の合成画像データQ1〜Q3を予め認識できる。   The image selection unit 102 sets the display position of the making image display frame W to an area other than the area where the main subject is captured in the image data Ds of the still image displayed on the LCD 8, for example, the background area of the persons M1 and M2. Since the making image display frame W is displayed, the pre-image can be reproduced and displayed in the making image display frame W without interfering with main subjects such as the persons M1 and M2, and the making image display frame in the still image data Ds. Since the display position of W is the same as the combined position of the image data Dc1 to Dc3 when the first to third combined image data Q1 to Q3 are acquired, the first to third combined image data to be finally determined Q1 to Q3 can be recognized in advance.

メイキング画像表示枠Wは、選択された各画像データDc1〜Dc5の枚数に応じてサイズを変更したり、主要被写体である各人物M1、M2の背景領域の大きさに応じてサイズを変更することができる。従って、メイン画像の主要被写体に重なったりして、元の静止画の邪魔をしないようにできる。プリ動画中から複数の画像データは、その時のイメージさえ伝えればよいので、縮小してもその役割を果たすことが出来る。
プリ動画中から複数の画像データDc1〜Dc5の選択を一旦終了した後、再度、プリ動画を再生表示して画像データを選択することができるので、ユーザによって例えば被写体の静止画の画像データDsを撮像するに至るまでの被写体の状況、経緯をよく表すシーンや、ユーザがお気に入りのシーンや残しておきたい大切なシーン、さらには静止画の画像データDsを撮像する瞬間と、この静止画の画像データDsの撮像の瞬間に至るまでの過程が分かるシーンの画像データを逃すことなく、確実に選択できる。
その上、プリ動画中から選択された例えば複数の画像データDc1〜Dc5毎に、これら画像データDc1〜Dc5をそれぞれ時間的に前又は後の画像データに変更・調整可能なので、微妙に変化する上記シーンの画像データを逃すことがない。
The making image display frame W can be changed in size according to the number of selected image data Dc1 to Dc5, or can be changed in accordance with the size of the background area of each of the persons M1 and M2 as main subjects. Can do. Therefore, the original still image can be prevented from interfering with the main subject of the main image. A plurality of image data from the pre-moving image need only be conveyed at that time, so that the role can be fulfilled even if the image is reduced.
After the selection of the plurality of image data Dc1 to Dc5 from the pre-moving image is finished, the pre-moving image can be reproduced and displayed again to select the image data. Therefore, the user can select the image data Ds of the still image of the subject, for example. The scene that well represents the situation and background of the subject until the image is captured, the user's favorite scene, the important scene that the user wants to leave, and the moment when the image data Ds of the still image is captured, and the image of the still image It is possible to select the image data without missing the image data of the scene in which the process up to the moment of imaging of the data Ds is known.
In addition, for example, for each of the plurality of image data Dc1 to Dc5 selected from the pre-moving image, the image data Dc1 to Dc5 can be changed / adjusted to temporally previous or subsequent image data, so that the above-mentioned changes slightly. Never miss scene image data.

進捗状況表示部105によってプリ動画の再生中、当該プリ動画の再生の進捗状況を表示するので、プリ動画の再生の進捗状況がバーの長さによって認識でき、かつ進捗バー105a上のタッチ位置に対応する再生時間からプリ動画の再生表示を開始できる。   Since the progress status display unit 105 displays the progress status of the pre-moving image during the playback of the pre-moving image, the progress status of the pre-moving image playback can be recognized by the length of the bar, and the touch position on the progress bar 105a is displayed. The pre-movie playback display can be started from the corresponding playback time.

10:カメラ本体、20:交換レンズ部、30:電子ビューファインダ(EVF)用の接眼部(EVF用接眼部)、21:レンズ制御部、23:操作部、24a,24b:駆動部、25a,25b:位置検出部、26:レンズ系、26a:ズーム用の光学系、26b:ピント用の光学系、27:記録部、28:通信部、1:信号処理・制御部、2:撮像素子、3:顔検出部、4:記録部、6:操作判定部、8:表示部、8a:タッチパネル、9:時計部、12,14:通信部、101:仮記録制御部、102:画像選択部、103:合成記録部、104:タッチ・スライド検出部、105:進捗状況表示部、106:表示制御部。   10: Camera body, 20: Interchangeable lens unit, 30: Electronic viewfinder (EVF) eyepiece (EVF eyepiece), 21: Lens control unit, 23: Operation unit, 24a, 24b: Drive unit, 25a, 25b: position detection unit, 26: lens system, 26a: optical system for zooming, 26b: optical system for focusing, 27: recording unit, 28: communication unit, 1: signal processing / control unit, 2: imaging Element: 3: Face detection unit, 4: Recording unit, 6: Operation determination unit, 8: Display unit, 8a: Touch panel, 9: Clock unit, 12, 14: Communication unit, 101: Temporary recording control unit, 102: Image Selection unit 103: Composite recording unit 104: Touch / slide detection unit 105: Progress status display unit 106: Display control unit

Claims (24)

被写体の静止画を取得する前後に前記被写体の動画を取得し、
前記静止画の再生と共に前記動画を再生し、当該再生中の前記動画中から当該動画に含む画像コマを選択し、
当該選択された画像コマを前記静止画に合成記録する、
ことを特徴とする画像合成方法。
Before and after acquiring a still image of the subject,
Playing back the moving image together with the playback of the still image, selecting an image frame included in the moving image from the moving image being played back,
The selected image frame is synthesized and recorded on the still image.
An image composition method characterized by the above.
前記画像コマが複数選択されると、
前記再生中の前記動画中から選択された前記複数の画像コマを抽出し、
これら抽出された画像コマを前記静止画中に撮影時の時系列に並べて表示する、
ことを特徴とする請求項1記載の画像合成方法。
When a plurality of the image frames are selected,
Extracting the plurality of image frames selected from the video being played;
These extracted image frames are displayed side by side in the time series at the time of shooting in the still image.
The image synthesizing method according to claim 1.
前記複数の画像コマは、前記再生された静止画中の主要被写体の領域以外に表示されることを特徴とする請求項1記載の画像合成方法。   2. The image composition method according to claim 1, wherein the plurality of image frames are displayed in a region other than a main subject area in the reproduced still image. 前記静止画中に表示される前記選択された画像コマのサイズは、当該選択された画像コマの枚数に応じて変更することを特徴とする請求項3記載の画像合成方法。   4. The image composition method according to claim 3, wherein the size of the selected image frame displayed in the still image is changed according to the number of the selected image frames. 前記動画中からの前記画像コマの選択は、再選択することを可能とすることを特徴とする請求項1記載の画像合成方法。   2. The image composition method according to claim 1, wherein selection of the image frame from the moving image can be re-selected. 前記動画中からの前記画像コマの選択は、前記動画をタッチパネル付の表示部に表示し、前記タッチパネルに対するタッチ操作時に、前記表示部に表示されている前記動画中から前記画像コマを抽出することを特徴とする請求項1記載の画像合成方法。   The selection of the image frame from the moving image is performed by displaying the moving image on a display unit with a touch panel and extracting the image frame from the moving image displayed on the display unit when a touch operation is performed on the touch panel. The image composition method according to claim 1. 前記選択された前記画像コマは、前記動画中において当該画像コマの時間的に前又は後の画像コマに調整可能であることを特徴とする請求項1記載の画像合成方法。   2. The image composition method according to claim 1, wherein the selected image frame can be adjusted to an image frame temporally before or after the image frame in the moving image. 前記動画の再生中、当該動画の再生の進捗状況を表示することを特徴とする請求項1記載の画像合成方法。   The image composition method according to claim 1, wherein a progress status of reproduction of the moving image is displayed during reproduction of the moving image. 被写体の静止画を取得する前後に前記被写体の動画を取得する画像取得部と、
表示部と、
前記表示部に前記静止画の再生と共に前記動画を再生し、当該再生中の前記動画中から当該動画に含む画像コマを選択する画像選択部と、
前記画像選択部により選択された前記画像コマを前記静止画に合成記録する合成記録部と、
を具備することを特徴とする画像合成装置。
An image acquisition unit for acquiring a moving image of the subject before and after acquiring a still image of the subject;
A display unit;
An image selection unit for reproducing the moving image together with the reproduction of the still image on the display unit, and selecting an image frame included in the moving image from the moving image being reproduced;
A composition recording unit that composes and records the image frame selected by the image selection unit on the still image;
An image composition apparatus comprising:
前記画像が複数選択されると、前記画像選択部は、前記再生中の前記動画中から選択された前記複数の画像コマを抽出し、これら抽出された前記複数の画像コマを前記静止画中に時系列に並べて表示することを特徴とする請求項9記載の画像合成装置。   When a plurality of images are selected, the image selection unit extracts the plurality of image frames selected from the moving image being reproduced, and the extracted plurality of image frames are included in the still image. The image composition apparatus according to claim 9, wherein the image composition apparatus displays the images in time series. 前記画像選択部は、前記複数の画像コマを前記静止画中の主要被写体の領域以外に合成記録することを特徴とする請求項9記載の画像合成装置。   The image synthesizing apparatus according to claim 9, wherein the image selecting unit synthesizes and records the plurality of image frames in a region other than a main subject area in the still image. 前記画像選択部は、前記選択された前記画像コマの枚数に応じて前記静止画中に表示するときの前記各画像コマのサイズを変更することを特徴とする請求項11記載の画像合成装置。   12. The image synthesizing apparatus according to claim 11, wherein the image selection unit changes a size of each image frame when displayed in the still image according to the number of the selected image frames. 前記画像選択部は、前記動画中からの前記画像コマを再選択可能とすることを特徴とする請求項9記載の画像合成装置。   The image synthesizing apparatus according to claim 9, wherein the image selection unit is capable of reselecting the image frame from the moving image. 前記動画を表示するタッチパネル付の表示部を備え、
前記画像選択部は、前記動画を前記表示部に表示し、前記タッチパネルに対するタッチ操作時に、前記表示部に表示されている前記動画中の前記画像コマを抽出する、
ことを特徴とする請求項9記載の画像合成装置。
A display unit with a touch panel for displaying the moving image;
The image selection unit displays the moving image on the display unit, and extracts the image frame in the moving image displayed on the display unit during a touch operation on the touch panel.
The image synthesizing apparatus according to claim 9.
前記画像選択部は、前記選択された前記画像コマを前記動画中において当該画像の時間的に前又は後の画像コマに調整可能であることを特徴とする請求項9記載の画像合成装置。   The image synthesizing apparatus according to claim 9, wherein the image selection unit can adjust the selected image frame to an image frame temporally before or after the image in the moving image. 前記動画の再生中、当該動画の再生の進捗状況を表示する進捗状況表示部を有することを特徴とする請求項9記載の画像合成装置。   The image synthesizing apparatus according to claim 9, further comprising a progress status display unit that displays a progress status of playback of the video during playback of the video. 被写体の静止画を取得する前後に前記被写体の動画を取得するための撮像部と、
表示部と、
前記表示部に前記動画を再生し、当該再生中の前記動画中から当該動画に含む画像コマを選択する画像選択部と、
前記画像選択部により選択された前記画像コマを前記静止画に合成記録する合成記録部と、
を具備することを特徴とする撮像装置。
An imaging unit for acquiring a moving image of the subject before and after acquiring a still image of the subject;
A display unit;
An image selecting unit that reproduces the moving image on the display unit and selects an image frame included in the moving image from the moving image being reproduced;
A composition recording unit that composes and records the image frame selected by the image selection unit on the still image;
An imaging apparatus comprising:
前記画像が複数選択されると、前記画像選択部は、前記再生中の前記動画中から選択された前記複数の画像コマを抽出し、これら画像コマを前記静止画中に時系列に並べて表示することを特徴とする請求項17記載の撮像装置。   When a plurality of images are selected, the image selection unit extracts the plurality of image frames selected from the moving image being reproduced, and displays these image frames side by side in the still image. The imaging apparatus according to claim 17. 前記画像選択部は、前記複数の画像コマを前記静止画中の主要被写体の領域以外に合成記録することを特徴とする請求項17記載の撮像装置。   The imaging apparatus according to claim 17, wherein the image selection unit compositely records the plurality of image frames other than a region of a main subject in the still image. 前記画像選択部は、前記選択された前記画像コマの枚数に応じて前記静止画中に表示するときの前記各画像のサイズを変更することを特徴とする請求項17記載の撮像装置。   18. The imaging apparatus according to claim 17, wherein the image selection unit changes a size of each image when displayed in the still image according to the number of the selected image frames. 前記画像選択部は、前記動画中からの前記画像コマを再選択可能とすることを特徴とする請求項17記載の撮像装置。   18. The imaging apparatus according to claim 17, wherein the image selection unit is capable of reselecting the image frame from the moving image. 前記動画を表示するタッチパネル付の表示部を備え、
前記画像選択部は、前記動画を前記表示部に表示し、前記タッチパネルに対するタッチ操作時に、前記表示部に表示されている前記動画中の前記画像コマを抽出する、
ことを特徴とする請求項17記載の撮像装置。
A display unit with a touch panel for displaying the moving image;
The image selection unit displays the moving image on the display unit, and extracts the image frame in the moving image displayed on the display unit during a touch operation on the touch panel.
The imaging apparatus according to claim 17.
前記画像選択部は、前記選択された前記画像コマを前記動画中において当該画像の時間的に前又は後の画像コマに調整可能であることを特徴とする請求項17記載の撮像装置。   18. The imaging apparatus according to claim 17, wherein the image selection unit is capable of adjusting the selected image frame to an image frame before or after the image in the moving image. 前記動画の再生中、当該動画の再生の進捗状況を表示する進捗状況表示部を有することを特徴とする請求項17記載の撮像装置。   18. The imaging apparatus according to claim 17, further comprising a progress status display unit that displays a progress status of playback of the video during playback of the video.
JP2012026535A 2012-02-09 2012-02-09 Image composition method and image composition apparatus Active JP5901328B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012026535A JP5901328B2 (en) 2012-02-09 2012-02-09 Image composition method and image composition apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012026535A JP5901328B2 (en) 2012-02-09 2012-02-09 Image composition method and image composition apparatus

Publications (2)

Publication Number Publication Date
JP2013165348A true JP2013165348A (en) 2013-08-22
JP5901328B2 JP5901328B2 (en) 2016-04-06

Family

ID=49176469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012026535A Active JP5901328B2 (en) 2012-02-09 2012-02-09 Image composition method and image composition apparatus

Country Status (1)

Country Link
JP (1) JP5901328B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297658A (en) * 2003-03-28 2004-10-21 Fuji Photo Film Co Ltd Image processing program and apparatus
JP2006174188A (en) * 2004-12-17 2006-06-29 Casio Comput Co Ltd Motion picture recording apparatus and motion picture recording method
JP2006174189A (en) * 2004-12-17 2006-06-29 Casio Comput Co Ltd Image processing apparatus, image processing method, and camera unit
JP2007194829A (en) * 2006-01-18 2007-08-02 Casio Comput Co Ltd Camera, image processing apparatus, still picture generating method, program, and storage medium
JP2010206366A (en) * 2009-03-02 2010-09-16 Olympus Imaging Corp Camera, and method of controlling camera
JP2011044936A (en) * 2009-08-21 2011-03-03 Olympus Imaging Corp Camera method of controlling display of the same, display device, and display method
JP2011049952A (en) * 2009-08-28 2011-03-10 Nikon Corp Image generating apparatus and electronic camera
JP2011049822A (en) * 2009-08-27 2011-03-10 Casio Computer Co Ltd Display controller and display control program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297658A (en) * 2003-03-28 2004-10-21 Fuji Photo Film Co Ltd Image processing program and apparatus
JP2006174188A (en) * 2004-12-17 2006-06-29 Casio Comput Co Ltd Motion picture recording apparatus and motion picture recording method
JP2006174189A (en) * 2004-12-17 2006-06-29 Casio Comput Co Ltd Image processing apparatus, image processing method, and camera unit
JP2007194829A (en) * 2006-01-18 2007-08-02 Casio Comput Co Ltd Camera, image processing apparatus, still picture generating method, program, and storage medium
JP2010206366A (en) * 2009-03-02 2010-09-16 Olympus Imaging Corp Camera, and method of controlling camera
JP2011044936A (en) * 2009-08-21 2011-03-03 Olympus Imaging Corp Camera method of controlling display of the same, display device, and display method
JP2011049822A (en) * 2009-08-27 2011-03-10 Casio Computer Co Ltd Display controller and display control program
JP2011049952A (en) * 2009-08-28 2011-03-10 Nikon Corp Image generating apparatus and electronic camera

Also Published As

Publication number Publication date
JP5901328B2 (en) 2016-04-06

Similar Documents

Publication Publication Date Title
KR102077967B1 (en) Electronic device
JP4868075B2 (en) Imaging device
JP5235798B2 (en) Imaging apparatus and control method thereof
JP5117280B2 (en) IMAGING DEVICE, IMAGING METHOD, REPRODUCTION DEVICE, AND REPRODUCTION METHOD
US7417668B2 (en) Digital camera
JP5806623B2 (en) Imaging apparatus, imaging method, and program
JP2011071968A (en) Data structure of still image file, image file generating device, image reproducing unit, and electronic camera
JP2006303961A (en) Imaging apparatus
US20090080874A1 (en) Photographic apparatus, method of controlling the same, program for controlling the same, and recording medium storing the program
JP2007266659A (en) Imaging reproducing apparatus
US20130063621A1 (en) Imaging device
JP5429588B2 (en) Imaging apparatus and imaging method
JP2013251724A (en) Photographing instrument
JP2007228453A (en) Imaging apparatus, reproduction device, program, and storage medium
JP2007194829A (en) Camera, image processing apparatus, still picture generating method, program, and storage medium
JP5785038B2 (en) Photography equipment
JP6957131B2 (en) Information terminal device, image pickup device, image information processing system and image information processing method
JP5965037B2 (en) Photography equipment
JP5901328B2 (en) Image composition method and image composition apparatus
US20110032390A1 (en) Digital photographing apparatus and moving picture capturing method performed by the same
JP2016046676A (en) Imaging apparatus and imaging method
JP2014120926A (en) Imaging apparatus
JP2007088747A (en) Image reproduction display method and device, and imaging device
JP2012182730A (en) Digital camera and program
JP2012019432A (en) Portable device and reproduction display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150128

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160308

R151 Written notification of patent or utility model registration

Ref document number: 5901328

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250