JP2009044573A - Imaging device, image processing program and image processing method - Google Patents

Imaging device, image processing program and image processing method Download PDF

Info

Publication number
JP2009044573A
JP2009044573A JP2007208722A JP2007208722A JP2009044573A JP 2009044573 A JP2009044573 A JP 2009044573A JP 2007208722 A JP2007208722 A JP 2007208722A JP 2007208722 A JP2007208722 A JP 2007208722A JP 2009044573 A JP2009044573 A JP 2009044573A
Authority
JP
Japan
Prior art keywords
image
images
shooting
unit
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007208722A
Other languages
Japanese (ja)
Other versions
JP2009044573A5 (en
Inventor
Kazunori Kita
一記 喜多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2007208722A priority Critical patent/JP2009044573A/en
Publication of JP2009044573A publication Critical patent/JP2009044573A/en
Publication of JP2009044573A5 publication Critical patent/JP2009044573A5/ja
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To allow the motion of an image object that is continuously imaged to be grasped at one view. <P>SOLUTION: An imaging device judges whether or not a layout combination imaging mode is set (S2) after continuous imaging is carried out (S1). If set, a plurality of images are selected from the continuously picked-up images at a predetermined interval (or at random) based on an imaging program and trigger signal (S4). More specifically, a plurality of images P1-P9 are selected at the predetermined interval from a plurality of the continuously picked-up images P covering from the start trigger point to the end trigger one as shown in Fig.7. Next, the selected plurality of images are combined into an image according to the predetermined size and layout (S5). The processing carried out as far as the S5 results in generating a combined image P0 of a milk crown on which images P1-P9 are sequentially disposed from, for example, a first row to a third one. Further, the combined image data are encoded to be stored in a memory (S6). <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、高速度撮影機能を備えた撮像装置、及びこの撮像装置に用いられる画像処理プログラム及び画像処理方法関する。   The present invention relates to an imaging apparatus having a high-speed imaging function, and an image processing program and an image processing method used in the imaging apparatus.

従来、高速で移動する物体を明瞭な画像でスロー再生可能に撮影する高速度撮像装置が提案されている。この高速度撮像装置は、第1、第2、第3の撮像素子を順次作動させることにより、高速移動する球状物体を短い時間間隔で撮像して、時系列的に連続する複数の画像を得る。したがって、これら時系列的に連続する複数の画像をスロー再生した場合であっても、明瞭に球状物体の動作を再生することができる(例えば、特許文献1参照。)。
特開平06−22320号公報
2. Description of the Related Art Hitherto, a high-speed imaging device has been proposed that captures an object moving at high speed so that it can be reproduced slowly with a clear image. The high-speed imaging device sequentially operates the first, second, and third imaging elements to capture a spherical object that moves at high speed in a short time interval, thereby obtaining a plurality of time-sequential images. . Therefore, even when a plurality of time-sequential images are slowly played back, the motion of the spherical object can be clearly played back (see, for example, Patent Document 1).
Japanese Patent Laid-Open No. 06-22320

ところで、今日においては6百万画素の解像度で60フレーム/秒、VGAの低解像度でも300フレーム/秒以上など、高解像度で高速度撮影が可能なCMOSイメージセンサが開発されるに至っている。このようなCMOSイメージセンサを利用すると、前述した従来技術のように第1、第2、第3の撮像素子を用いることなく、コンパクトカメラでも高解像度で高フレームレートの高速連写や動画撮影が可能となる。   Nowadays, CMOS image sensors capable of high-speed and high-speed photography, such as 60 frames / second with a resolution of 6 million pixels and 300 frames / second or more with a low resolution of VGA, have been developed. When such a CMOS image sensor is used, high-speed continuous shooting and moving image shooting with a high resolution and a high frame rate can be performed even with a compact camera without using the first, second, and third imaging elements as in the prior art described above. It becomes possible.

しかしながら、前記CMOSイメージセンサを利用すると、短時間で大量のフレーム画像が簡単に撮影できる反面、撮影されたフレーム画像の数は膨大となってしまう。このため、撮影した全てのフレーム画像を同一画面上にマルチ表示したり、同一紙面上にプリントアウトすることが困難となり、ユーザにおいて撮影対象の全体的な動きの特徴を確認したり把握することが困難となる。   However, when the CMOS image sensor is used, a large number of frame images can be easily captured in a short time, but the number of captured frame images becomes enormous. For this reason, it is difficult to display all captured frame images in a multi-display on the same screen or to print them out on the same sheet, so that the user can confirm and grasp the characteristics of the overall movement of the shooting target. It becomes difficult.

また、各フレーム画像は時間的に近接していることから、時間的に隣接する画像の変化は微小なものとなり、近似するフレーム画像が多数存在する。このため、例え撮影した全てのフレーム画像の同一画面上のマルチ表示や、同一紙面上へのプリントアウトの際、近似する画像が多数存在することにより、ユーザは撮影対象の全体的な動きを的確に把握することが困難となる。   Further, since the frame images are temporally close to each other, the change in the temporally adjacent images is minute, and there are many approximate frame images. For this reason, for example, when multiple frame images taken are displayed on the same screen or printed out on the same sheet, there are many similar images, so that the user can accurately determine the overall movement of the shooting target. It becomes difficult to grasp.

本発明は、かかる従来の課題に鑑みてなされたものであり、連続撮影された画像からなる合成画像を生成・表示する際、ユーザが所望する態様の合成画像を作成、表示が可能となる撮像装置、画像処理プログラム及び画像処理方法を提供することを目的とする。   The present invention has been made in view of such a conventional problem, and can generate and display a composite image in a mode desired by a user when generating and displaying a composite image composed of continuously shot images. An object is to provide an apparatus, an image processing program, and an image processing method.

前記課題を解決するために請求項1記載の発明にあっては、所定のフレーム周期に従って撮像する撮像手段と、この撮像手段により前記フレーム周期に従って撮像された複数の画像からなる連続画像を記憶する画像記憶手段と、この画像記憶手段に記憶された連続画像を構成する複数の画像から、間欠的に画像を選択する選択手段と、この選択手段により選択された複数の画像を合成して、合成画像を生成する画像合成手段と、この画像合成手段により生成された前記合成画像を表示する表示手段とを備えることを特徴とする。   In order to solve the above-mentioned problem, in the first aspect of the present invention, an image pickup means for picking up images according to a predetermined frame period and a continuous image composed of a plurality of images picked up by the image pickup means according to the frame period are stored. An image storage means, a selection means for intermittently selecting an image from a plurality of images constituting a continuous image stored in the image storage means, and a plurality of images selected by the selection means are synthesized and combined. An image composition means for generating an image and a display means for displaying the composite image generated by the image composition means are provided.

また、請求項2記載の発明にあっては、前記画像記憶手段は、開始操作に応じて前記画像の記憶を開始するとともに、終了操作に応じて前記画像の記憶を終了し、前記選択手段は、前記画像記憶手段が記憶を終了した直後における連続画像から、間欠的に画像を選択し、前記表示手段は、前記画像記憶手段が記憶を終了した直後において前記合成画像を表示することを特徴とする。   In the invention according to claim 2, the image storage means starts storing the image in response to a start operation, and ends storing the image in response to an end operation. The image storage means intermittently selects an image from continuous images immediately after the storage ends, and the display means displays the composite image immediately after the image storage means ends the storage. To do.

また、請求項3記載の発明にあっては、前記記録手段に記録された複数の画像からなる連続画像を再生する再生手段を更に備え、前記選択手段は、前記再生手段により前記連続画像を再生する再生モードにおいて、当該連続画像を構成する複数の画像から、間欠的に画像を選択することを特徴とする。   According to a third aspect of the present invention, the image processing apparatus further includes a reproduction unit that reproduces a continuous image composed of a plurality of images recorded in the recording unit, and the selection unit reproduces the continuous image by the reproduction unit. In the reproduction mode, the image is intermittently selected from a plurality of images constituting the continuous image.

また、請求項4記載の発明にあっては、前記合成手段は、前記選択手段により選択された複数の画像を配置して、単一の合成画像を生成することを特徴とする。   The invention according to claim 4 is characterized in that the synthesizing unit generates a single synthesized image by arranging a plurality of images selected by the selecting unit.

また、請求項5記載の発明に係る撮像装置にあっては、前記合成手段は、前記選択手段により選択された複数の画像の所定部分を各々切り出し、この切り出した部分画像を所定の方向に配列して、単一の合成画像を生成することを特徴とする。   In the image pickup apparatus according to the fifth aspect of the invention, the synthesizing unit cuts out a predetermined portion of each of the plurality of images selected by the selection unit, and arranges the cut out partial images in a predetermined direction. Thus, a single composite image is generated.

また、請求項6記載の発明にあっては、前記合成手段は、前記選択手段により選択された複数の画像を重ね合わせて、単一の合成画像を生成することを特徴とする。   The invention according to claim 6 is characterized in that the synthesizing unit generates a single synthesized image by superimposing a plurality of images selected by the selecting unit.

また、請求項7記載の発明にあっては、操作手段を更に備え、前記選択手段は、前記操作手段に対する操作に応じて、前記複数の画像から異なる間欠タイミングで画像を選択することを特徴とする。   The invention according to claim 7 further comprises an operation means, wherein the selection means selects an image from the plurality of images at different intermittent timings according to an operation on the operation means. To do.

また、請求項8記載の発明にあっては、撮影シーンに対応して、異なるフレーム周期と異なる画像合成形態とを記憶した制御情報記憶手段を備え、前記撮像手段は、前記制御情報記憶手段から選択された撮影シーン対応するフレーム周期に従って撮像し、前記画像合成手段は、前記選択された撮影シーン対応する画像合成形態で前記複数の画像を合成することを特徴とする。   According to the eighth aspect of the invention, there is provided control information storage means for storing different frame periods and different image composition forms corresponding to the shooting scene, and the image pickup means includes the control information storage means. The imaging is performed according to the frame period corresponding to the selected photographic scene, and the image synthesizing unit synthesizes the plurality of images in an image synthesizing form corresponding to the selected photographic scene.

また、請求項9記載の発明にあっては、所定のフレーム周期に従って撮像する撮像手段と、この撮像手段により前記フレーム周期に従って撮像された複数の画像からなる連続画像を記憶する画像記憶手段とを備える装置が有するコンピュータを、前記画像記憶手段に記憶された連続画像を構成する複数の画像から、間欠的に画像を選択する選択手段、この選択手段により選択された複数の画像を合成して、合成画像を生成する画像合成手段、この画像合成手段により生成された前記合成画像を表示させる表示制御手段として機能させることを特徴とする。   According to the ninth aspect of the present invention, there is provided imaging means for imaging in accordance with a predetermined frame period, and image storage means for storing continuous images made up of a plurality of images taken by the imaging means in accordance with the frame period. A computer included in the apparatus comprising: a selection means for intermittently selecting an image from a plurality of images constituting a continuous image stored in the image storage means; a plurality of images selected by the selection means; An image synthesizing unit that generates a synthesized image, and a display control unit that displays the synthesized image generated by the image synthesizing unit.

また、請求項10記載の発明にあっては、所定のフレーム周期に従って撮像する撮像ステップと、この撮像ステップにより前記フレーム周期に従って撮像された複数の画像からなる連続画像を記憶する画像記憶ステップと、この画像記憶ステップにより記憶された連続画像を構成する複数の画像から、間欠的に画像を選択する選択ステップと、この選択ステップにより選択された複数の画像を合成して、合成画像を生成する画像合成ステップと、この画像合成ステップにより生成された前記合成画像を表示する表示ステップとを含むことを特徴とする。   Further, in the invention according to claim 10, an imaging step of capturing according to a predetermined frame period, and an image storing step of storing a continuous image composed of a plurality of images captured according to the frame period by the imaging step; A selection step for intermittently selecting an image from a plurality of images constituting the continuous image stored in the image storage step, and an image for generating a composite image by combining the plurality of images selected in the selection step It includes a combining step and a display step for displaying the combined image generated by the image combining step.

本発明によれば、ユーザが所望する態様の合成画像の作成、表示が可能となる。   According to the present invention, it is possible to create and display a composite image in a mode desired by a user.

以下、本発明の一実施の形態を図に従って説明する。図1は、本発明の一実施の形態に係る撮像装置1の回路構成を示すブロック図である。撮像装置1は、高速連続撮影機能を備えており、図に示すように、制御回路2を有している。制御回路2には、CPU3とこのCPU3にデータバス4を介して各々接続されたインターフェース5、音声入出力回路6、入力回路7、メモリカードインターフェース8、USBコントローラ9、入出力インターフェース10、入出力回路11、入出力ポート12、13、HDDインターフェース14が設けられている。音声入出力回路6には、マイク16がアンプ17及びA/D変換器18を介して接続されているとともに、スピーカ19がアンプ20及びD/A変換器21を介して接続されている。入力回路7には、各種操作キー、スイッチ等が設けられた操作入力部22が接続され、メモリカードインターフェース8には脱着自在に設けられた画像メモリ媒体25が接続されている。USBコントローラ9はUSB端子26に接続されており、入出力インターフェース10はアンテナ27を有する無線LAN送受信部28に通信コントローラ29を介して接続されている。また、入出力回路11には、外部トリガー端子30がトリガー検出部31を介して接続されている。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a circuit configuration of an imaging apparatus 1 according to an embodiment of the present invention. The imaging apparatus 1 has a high-speed continuous shooting function, and has a control circuit 2 as shown in the figure. The control circuit 2 includes a CPU 3, an interface 5, an audio input / output circuit 6, an input circuit 7, a memory card interface 8, a USB controller 9, an input / output interface 10, an input / output connected to the CPU 3 via a data bus 4. A circuit 11, input / output ports 12 and 13, and an HDD interface 14 are provided. A microphone 16 is connected to the audio input / output circuit 6 via an amplifier 17 and an A / D converter 18, and a speaker 19 is connected via an amplifier 20 and a D / A converter 21. An operation input unit 22 provided with various operation keys, switches, and the like is connected to the input circuit 7, and an image memory medium 25 provided detachably is connected to the memory card interface 8. The USB controller 9 is connected to a USB terminal 26, and the input / output interface 10 is connected to a wireless LAN transmission / reception unit 28 having an antenna 27 via a communication controller 29. Further, an external trigger terminal 30 is connected to the input / output circuit 11 via a trigger detection unit 31.

前記入出力ポート12には、焦点レンズ駆動部32、ズームレンズ駆動部33、絞り駆動部34及びシャッタ駆動部35が接続されているとともに、ストロボ36がストロボ駆動回路37を介して接続され、測光/測距センサ38が検出回路39を介して接続されている。前記入出力ポート13には、当該撮像装置1の上下方向のブレを検出する角速度センサ(Y/Pitch)40と、上下方向のブレを検出する角速度センサ(X/Yaw)42とが各々検出回路41、43を介して接続されている。HDDインターフェース14には、HDD記憶装置46が接続されている。HDD記憶装置46は、ディスク媒体47を有するとともに、モータ48、モータドライバ49、マイコン部50、VCモータ51、ヘッドアンプ52、リード/ライトチャンネル+CODEC53、HDD制御部54等を有している。   The input / output port 12 is connected to a focus lens driving unit 32, a zoom lens driving unit 33, an aperture driving unit 34, and a shutter driving unit 35, and a strobe 36 is connected via a strobe driving circuit 37 to perform photometry. / A distance measuring sensor 38 is connected via a detection circuit 39. In the input / output port 13, an angular velocity sensor (Y / Pitch) 40 for detecting the vertical shake of the imaging apparatus 1 and an angular velocity sensor (X / Yaw) 42 for detecting the vertical shake are respectively detected circuits. 41 and 43 are connected. An HDD storage device 46 is connected to the HDD interface 14. The HDD storage device 46 includes a disk medium 47 and also includes a motor 48, a motor driver 49, a microcomputer unit 50, a VC motor 51, a head amplifier 52, a read / write channel + CODEC 53, an HDD control unit 54, and the like.

また、制御回路2には、電池44が電源制御部45を介して接続され、電源制御部45は制御回路2により制御されて各部に電池44からの電力を供給する。さらに、前記データバス4には音声CODEC(符号器/復号器)15、プログラムメモリ23及びデータメモリ24が接続されている。音声CODEC15は、音声信号を符号化するとともに音声データを復号化する。プログラムメモリ23は、後述するフローチャートに示す制御回路2が動作するためのプログラムを格納しており、データメモリ24は各種データが予め格納されているとともに画像データ以外の他のデータを格納する。   In addition, a battery 44 is connected to the control circuit 2 via a power supply control unit 45, and the power supply control unit 45 is controlled by the control circuit 2 to supply power from the battery 44 to each unit. Further, an audio CODEC (encoder / decoder) 15, a program memory 23 and a data memory 24 are connected to the data bus 4. The audio CODEC 15 encodes an audio signal and decodes audio data. The program memory 23 stores a program for operating the control circuit 2 shown in the flowchart described later. The data memory 24 stores various data in advance and stores other data other than image data.

一方、ズームレンズを含む撮像光学系55の後方光軸上には、撮像素子56が配置されているとともに、撮像光学系55中には前記絞り駆動部34により駆動される絞り57及び前記シャッタ駆動部35により駆動されるシャッタ58が介挿されている。また、前記焦点レンズ駆動部32は、撮像光学系55中の焦点レンズを駆動し、ズームレンズ駆動部33はズームレンズを駆動するように構成されている。   On the other hand, an imaging element 56 is disposed on the rear optical axis of the imaging optical system 55 including the zoom lens, and the diaphragm 57 driven by the diaphragm driving unit 34 and the shutter driving in the imaging optical system 55. A shutter 58 driven by the unit 35 is inserted. The focus lens drive unit 32 drives the focus lens in the imaging optical system 55, and the zoom lens drive unit 33 is configured to drive the zoom lens.

前記撮像素子56は、並列読み出しなどの高速読み出しが可能なものであり、イメージセンサ部59、水平走査部60、垂直走査部61、P/S変換部62を有している。この撮像素子56には、DSP部63が接続されている。DSP部63には、撮像素子56のP/S変換部62から取り込んだ画像信号を処理するためのS/P変換部64、バッファメモリ65、WB補正部66、リサイズ/画素補間部67、カラー補間部68、輪郭補正部69、ガンマ補正部70、マトリクス回路部71を備えているとともに、前記垂直走査部61の周期を制御するためのコントローラ73、前記バッファメモリ65及び画像認識処理ほかデジタル信号処理部72を備えている。   The image sensor 56 is capable of high-speed reading such as parallel reading, and includes an image sensor unit 59, a horizontal scanning unit 60, a vertical scanning unit 61, and a P / S conversion unit 62. A DSP unit 63 is connected to the image sensor 56. The DSP unit 63 includes an S / P conversion unit 64 for processing the image signal captured from the P / S conversion unit 62 of the image sensor 56, a buffer memory 65, a WB correction unit 66, a resizing / pixel interpolation unit 67, a color An interpolation unit 68, a contour correction unit 69, a gamma correction unit 70, a matrix circuit unit 71, a controller 73 for controlling the period of the vertical scanning unit 61, the buffer memory 65, an image recognition process, and other digital signals. A processing unit 72 is provided.

前記マトリクス回路部71と画像認識処理ほかデジタル信号処理部72とは、画像データバス74を介してバッファメモリ75、画像CODEC(符号器/復号器)76、動画像CODEC(符号器/復号器)77及び表示駆動回路78に接続され、画像データバス74は前記制御回路2のインターフェース5に接続されている。画像認識処理ほかデジタル信号処理部72は、撮影された複数の画像をデジタル処理して合成し、バッファメモリ75は、画像CODEC76及び動画像CODEC77が符号化及び復号化処理する際の画像データを一時的に格納し、表示駆動回路78は、(ファインダ)表示部79を駆動する。   The matrix circuit unit 71 and the image recognition processing and other digital signal processing unit 72 are connected via an image data bus 74 to a buffer memory 75, an image CODEC (encoder / decoder) 76, and a moving image CODEC (encoder / decoder). 77 and the display drive circuit 78, and the image data bus 74 is connected to the interface 5 of the control circuit 2. In addition to image recognition processing, the digital signal processing unit 72 digitally processes and synthesizes a plurality of captured images, and the buffer memory 75 temporarily stores image data when the image CODEC 76 and the moving image CODEC 77 perform encoding and decoding processing. The display driving circuit 78 drives the (finder) display unit 79.

図2及び図3は、前記プログラムメモリ23に格納されているシーン別撮影プログラムの設定データの例を示す図である。すなわち、撮像装置1は、高速度連写、動画撮影のみならず静止画撮影を可能であって、図2に示すように一般のシーン別(静止画)撮影プログラムにおいては、人物を撮影する場合、風景を撮影する場合等のシーン別撮影プログラム毎に見本画像と、この見本画像と説明等を表示させるための表示用データが記憶されている。   2 and 3 are diagrams showing examples of setting data of the scene-specific shooting program stored in the program memory 23. FIG. In other words, the imaging apparatus 1 is capable of not only high-speed continuous shooting and moving image shooting, but also still image shooting. As shown in FIG. 2, in a general scene (still image) shooting program, a person is shot. A sample image and display data for displaying the sample image, description, and the like are stored for each scene-specific shooting program such as when shooting a landscape.

また、これら見本画像等に対応して「高速度撮影の条件」と「その他の撮影条件/補正条件」が記憶されている。「高速度撮影の条件」としては、「撮影速度(f/s(frame/second))」、「連続撮影コマ数」、「露出時間(s)」、「画像サイズ」、「トリガー条件」、「再生速度(f/s)」、「画像合成」が記憶されており、その「他の撮影条件/補正条件」としては、「ストロボ」、「ホワイトバランス」、「ISO感度、測光方式」、「AFエリア」、「フィルタ」、「色強調」、「彩度」、「シャープネス」等が記憶されている。   Further, “high-speed shooting conditions” and “other shooting conditions / correction conditions” are stored in correspondence with these sample images. “High-speed shooting conditions” include “shooting speed (f / s (frame / second))”, “continuous shooting frame number”, “exposure time (s)”, “image size”, “trigger condition”, “Playback speed (f / s)” and “Image composition” are stored, and as “other shooting conditions / correction conditions”, “strobe”, “white balance”, “ISO sensitivity, photometry”, “AF area”, “filter”, “color enhancement”, “saturation”, “sharpness”, and the like are stored.

また、図3に示すように高速度撮影のシーン別撮影プログラムにおいては、ミルククラウンを撮影する場合、走る車を撮影する場合、ゴルフスィングを撮影する場合等の、高速度撮影のシーン別撮影プログラム毎に見本画像と、この見本画像と説明等を表示させるための表示用データが記憶されているとともに、前述した「高速度撮影の条件」と「その他の撮影条件/補正条件」が記憶されている。   Further, as shown in FIG. 3, in the high speed shooting scene-specific shooting program, when shooting a milk crown, shooting a running car, shooting a golf swing, etc., a high speed shooting scene-specific shooting program Each sample image and display data for displaying the sample image and description are stored, and the above-mentioned “high-speed shooting conditions” and “other shooting conditions / correction conditions” are stored. Yes.

そして、図2は一般(単一の静止画)のシーン別撮影プログラムの設定データであることから、「撮影速度(f/s)」、「連続撮影コマ数」は記憶されておらず、図3は高速度撮影のシーン別撮影プログラムの設定データであることから、「撮影速度(f/s)」として「1200fps」、「300fps」等が記憶され、「連続撮影コマ数」として「連続600コマ(0.5秒)」、「連続900コマ(3秒)」等が記憶されている。   Since FIG. 2 shows setting data of a general (single still image) scene-specific shooting program, “shooting speed (f / s)” and “continuous shooting frame number” are not stored. Since 3 is the setting data of the high-speed shooting scene-specific shooting program, “1200 fps”, “300 fps”, etc. are stored as “shooting speed (f / s)”, and “continuous shooting frame number” is “continuous 600”. “Frame (0.5 seconds)”, “continuous 900 frames (3 seconds)”, and the like are stored.

また、図3の高速度撮影のシーン別撮影プログラムの設定データにおける「高速度撮影の条件」の「画像合成」は、高速度撮影された複数の画像から間欠的に画像を選択して1枚の画像に合成する際の画像合成形態を示す。   In addition, “image composition” of “high-speed shooting conditions” in the setting data of the scene-by-scene shooting program of FIG. 3 selects one image intermittently from a plurality of high-speed shot images. An image composition form at the time of compositing the image is shown.

つまり、ミルククラウンを撮影する場合の「画像合成」に対応して記憶されている「レイアウト合成9枚」は、シーン別撮影プログラムにおいて「ミルククラウン」を選択して高速度撮影を行った場合、合成画像を生成する際には、高速度撮影された複数の画像から9枚を間欠的選択して、後述するレイアウト合成することを意味する。また、ゴルフスィングを撮影する場合の「画像合成」に対応して記憶されている「横並びスライス合成」は、シーン別撮影プログラムにおいて「ゴルフスィング」を選択して高速度撮影を行った場合、合成画像を生成する際には、画像を代並びにして後述するスライス合成することを意味する。   That is, the “layout composition 9” stored corresponding to “image composition” when photographing a milk crown is selected when “milk crown” is selected in the scene-specific photography program and high-speed photography is performed. When a composite image is generated, it means that nine images are intermittently selected from a plurality of images taken at a high speed and a layout composition described later is performed. In addition, “horizontal side-by-side slice synthesis” stored corresponding to “image synthesis” when shooting a golf swing is combined when high-speed shooting is performed by selecting “golf swing” in the scene-specific shooting program. When an image is generated, it means that the image is replaced with a slice which will be described later.

なお、「高速度撮影の条件」の中には、図3に示すミルククラウンにおける「60fps(スロー再生1/20)」のように再生時の速度である「再生速度(f/s)」も含まれている。   It should be noted that “reproduction speed (f / s)” which is a reproduction speed such as “60 fps (slow reproduction 1/20)” in the milk crown shown in FIG. include.

(全体的動作)
図4及び図5は、本発明の第1の実施の形態における処理手順を示す一連のフローチャートである。制御回路2はプログラムメモリ23に格納されているプログラムに基づき、このフローチャートに示すような処理を実行する。先ず、ユーザによる操作入力部22での操作により、撮影モードが設定されているか否かを判断する(ステップS101)。撮影モードが設定されていない場合には、その他のモード処理に移行する(ステップS102)。
(Overall operation)
4 and 5 are a series of flowcharts showing a processing procedure in the first embodiment of the present invention. The control circuit 2 executes processing as shown in this flowchart based on the program stored in the program memory 23. First, it is determined whether or not the shooting mode is set by an operation on the operation input unit 22 by the user (step S101). If the shooting mode is not set, the process proceeds to other mode processing (step S102).

撮影モードが設定された場合には、ユーザによる操作入力部22での操作により、「シーン別撮影プログラムから選択」が選択されたか否かを判断する(ステップS103)。「シーン別撮影プログラムから選択」が選択されなかった場合には、操作入力に応じて、撮影速度(コマ数/秒)、露出時間及びその他の撮影条件を設定して(ステップS104)、ステップS109に進む。   When the shooting mode is set, it is determined whether or not “Select from scene-specific shooting program” has been selected by the operation of the operation input unit 22 by the user (step S103). If “select from scene-specific shooting program” is not selected, the shooting speed (number of frames / second), exposure time, and other shooting conditions are set according to the operation input (step S104), and step S109. Proceed to

「シーン別撮影プログラムから選択」が選択された場合には、シーン別撮影プログラムの見本画像又はその一覧を表示部79に表示し(ステップS105)、操作入力に応じて、シーン又は見本画像を選択する(ステップS106)。また、この選択されたシーン又は見本画像のプログラムに従って、その他の撮影条件(図2、3参照)を設定する(ステップS107)。   When “select from scene-specific shooting program” is selected, a sample image of a scene-specific shooting program or a list thereof is displayed on the display unit 79 (step S105), and a scene or a sample image is selected according to an operation input. (Step S106). Further, according to the selected scene or sample image program, other shooting conditions (see FIGS. 2 and 3) are set (step S107).

次に、ズーム処理、AF処理、測光処理を実行した後(ステップS108)、被写体像のスルー画像を表示部79に表示させる(ステップS109)。このスルー画像の表示状態におけるフレーム周期は、通常の低速周期例えば30fpsである。ユーザはこの表示部79に表示されたスルー画像を見ながら、この撮像装置1の向きを調整する。この間、操作入力部22に設けられているレリーズ釦が操作されたか、又は所定の撮影操作があったか否か、及び開始トリガーが検出されたか否かを判断し(図5、ステップS110)、いずれもない場合にはその他のキー処理、表示処理を実行する(ステップS111)。   Next, after executing zoom processing, AF processing, and photometry processing (step S108), a through image of the subject image is displayed on the display unit 79 (step S109). The frame period in the through image display state is a normal low-speed period, for example, 30 fps. The user adjusts the orientation of the imaging apparatus 1 while viewing the through image displayed on the display unit 79. During this time, it is determined whether the release button provided in the operation input unit 22 has been operated, whether a predetermined shooting operation has been performed, and whether a start trigger has been detected (FIG. 5, step S110). If not, other key processing and display processing are executed (step S111).

また、レリーズ釦の操作や撮影操作があったか、又は開始トリガーが検出された場合には、前記ステップS106で選択された選択シーンは高速度の連続撮影か否かを判断する(ステップS112)。選択シーンが高速度の連続撮影である場合には、選択されたシーン又は見本画像に従って、必要な撮影速度(コマ数/秒)、コマ数、及び露出時間を設定する(ステップS113)。つまり、ミルククラウンの撮影シーンが選択された場合には、撮影速度は「1200fps」であることから、撮影速度として1200fps(第2のフレーム周期)が設定され、コマ数は「600コマ」であることからコマ数として600が設定され、露出時間は「1/6000(s)」であること露出時間として1/6000(s)が設定される。これにより、フレーム周期は前記通常の周期例えば30fps(第1のフレーム周期)から、これよりも高い1200fps(第2のフレーム周期)に変化することとなる。   If there is a release button operation or shooting operation, or if a start trigger is detected, it is determined whether or not the selected scene selected in step S106 is high-speed continuous shooting (step S112). If the selected scene is high-speed continuous shooting, the required shooting speed (frame number / second), frame number, and exposure time are set according to the selected scene or sample image (step S113). In other words, when the milk crown shooting scene is selected, the shooting speed is “1200 fps”, so that 1200 fps (second frame period) is set as the shooting speed, and the number of frames is “600 frames”. Therefore, 600 is set as the number of frames, the exposure time is “1/6000 (s)”, and 1/6000 (s) is set as the exposure time. As a result, the frame period changes from the normal period, for example, 30 fps (first frame period) to 1200 fps (second frame period) which is higher than the normal period.

さらに、設定された撮影速度に基づいて、撮影時間間隔を設定する(ステップS114)。つまり、ミルククラウンの撮影シーンが選択された場合には、撮影速度は1200fpsであることから、撮影時間間隔は1/1200秒となり、撮影時間間隔として1/1200秒が設定される。   Further, a shooting time interval is set based on the set shooting speed (step S114). That is, when a milk crown shooting scene is selected, the shooting speed is 1200 fps, so the shooting time interval is 1/1200 seconds, and the shooting time interval is set to 1/1200 seconds.

次に、設定された露出時間、及びその他の撮影条件に基づいて、露出及び撮影処理を行って1フレーム分の画像を撮影する(ステップS115)。また、この撮影した1フレーム分の撮影画像データを圧縮し符号化して(ステップS116)、メモリ(バッファメモリ75)に記録する(ステップS117)。このとき、前記ステップS110で開始トリガーを検出した時点で撮影した撮影画像データに関しては、図7、図9、図12に示すように、開始トリガー点の撮影画像データであることを示す情報も記録する。なお、図7に示すように、当該シーンにおける代表的な画像を特定するための代表トリガーを検出して、代表トリガー点の撮影画像データであることを示す情報も記録するようにしてもよい。しかる後、撮影コマ数をカウントするカウンタをカウントアップさせる(ステップS118)。   Next, based on the set exposure time and other shooting conditions, exposure and shooting processing are performed to capture an image for one frame (step S115). The captured image data for one frame is compressed and encoded (step S116) and recorded in the memory (buffer memory 75) (step S117). At this time, regarding the captured image data captured at the time when the start trigger is detected in step S110, information indicating that it is captured image data at the start trigger point is also recorded, as shown in FIGS. To do. Note that, as shown in FIG. 7, a representative trigger for specifying a representative image in the scene may be detected, and information indicating the captured image data of the representative trigger point may be recorded. Thereafter, a counter for counting the number of frames taken is incremented (step S118).

次に、撮影コマ数が設定コマ数(ミルククラウンの場合「600コマ」)以上となったか否かを判断し(ステップS119)、撮影コマ数≧設定コマ数となっていなければ、計時処理を行って前回の1フレームの撮影からの時間を計時する(ステップS120)。この計時した前回の1フレーム撮影からの時間が、前記ステップS114で設定した撮影時間間隔(1/1200秒)を経過したか否かを判断する(ステップS122)。そして、撮影時間間隔を経過した時点でステップS115からの処理を繰り返す。したがって、ミルククラウンの撮影シーンが選択された場合には、ステップS115からの処理が1/1200秒の周期で繰り返され、1/1200秒毎に撮影された各フレーム画像データがメモリ(バッファメモリ75)に蓄積されていく。   Next, it is determined whether or not the number of frames to be photographed is equal to or greater than the set number of frames (“600 frames in the case of milk crown”) (step S119). Then, the time from the previous shooting of one frame is counted (step S120). It is determined whether or not the time measured since the previous one-frame shooting has passed the shooting time interval (1/1200 seconds) set in step S114 (step S122). Then, the processing from step S115 is repeated when the photographing time interval has elapsed. Therefore, when the milk crown photographing scene is selected, the processing from step S115 is repeated at a cycle of 1/1200 seconds, and each frame image data photographed every 1/1200 seconds is stored in the memory (buffer memory 75). ).

そして、本例の場合撮影コマ数が「600」となると、撮影コマ数=設定コマ数となり、ステップS119の判断がYESとなる。よって、ステップS119からステップS122に進み、終了トリガーを発生させる。また、連続撮影画像データ(600のフレーム画像データ)を、グループデータとして、撮影条件とともにメモリ(画像メモリ媒体25、又はディスク媒体47)に記録する処理を実行する。ここで、前述のように撮影条件には、「再生速度(f/s)」も含まれることから、「再生速度(f/s)」もグループデータとともに記録されることとなる。また、前記ステップS122で終了トリガーを発生した時点で撮影した撮影画像データに関しては、図7、図9、図12に示すように、終了トリガー点の撮影画像データであることを示す情報も記録する。   In this example, when the number of shot frames is “600”, the number of shot frames = the set number of frames, and the determination in step S119 is YES. Accordingly, the process proceeds from step S119 to step S122, and an end trigger is generated. In addition, a process of recording continuously shot image data (600 frame image data) as group data in a memory (the image memory medium 25 or the disk medium 47) together with shooting conditions is executed. Here, since the shooting conditions include “reproduction speed (f / s)” as described above, “reproduction speed (f / s)” is also recorded together with the group data. In addition, regarding the captured image data captured when the end trigger is generated in step S122, information indicating that the captured image data is the end trigger point is also recorded as shown in FIGS. .

さらに、レイアウト合成や多重合成などの自動編集機能に設定されているか否かを判断し(ステップS124)、設定されていない場合には、ステップS125及びステップS126の処理を行うことなく、ステップS127に進む。また、設定されている場合には、後述するように設定条件に基づいて、連続撮影画像から抽出した所定の画像を自動編集し(ステップS125)、この編集された画像データをメモリ(画像メモリ媒体25、又はディスク媒体47)に記録する(ステップS126)。しかる後に、前記連続撮影した撮影画像又は自動編集済画像を表示部79にレビュー表示する(ステップS127)。   Further, it is determined whether or not an automatic editing function such as layout composition or multiple composition is set (step S124). If not set, the process proceeds to step S127 without performing the processes of steps S125 and S126. move on. If it is set, a predetermined image extracted from the continuously shot image is automatically edited based on setting conditions as will be described later (step S125), and the edited image data is stored in a memory (image memory medium). 25 or the disk medium 47) (step S126). Thereafter, the continuously photographed image or the automatically edited image is reviewed and displayed on the display unit 79 (step S127).

なお、ステップS125の自動編集処理については、後述の図6〜図12において詳細に説明する。   Note that the automatic editing process in step S125 will be described in detail with reference to FIGS.

他方、ステップS124での判断の結果、連続撮影ではなく単一の静止画撮影であった場合には、設定された撮影条件に基づいて、露出して撮影処理し(ステップS128)、撮影画像データを圧縮、符号化する(ステップS129)。また、この圧縮、符号化した画像データを撮影情報とともにメモリ(画像メモリ媒体25、又はディスク媒体47)へ記録した後(ステップS130)、この撮影画像を表示部79にレビュー表示する(ステップS131)。   On the other hand, as a result of the determination in step S124, if it is not a continuous shooting but a single still image shooting, exposure and shooting processing are performed based on the set shooting conditions (step S128), and the shot image data Is compressed and encoded (step S129). Further, after the compressed and encoded image data is recorded in the memory (the image memory medium 25 or the disk medium 47) together with the shooting information (step S130), the shot image is reviewed and displayed on the display unit 79 (step S131). .

(高速度撮影画像の合成処理)
次に、図6〜図12に従って、前記ステップS125で実行される「設定条件に基づいて、連続撮影画像から抽出した所定の画像を自動編集」の処理例(1)〜(3)である自動編集処理(1)〜(3)について説明する。
図6の自動編集処理(1)は、高速度撮影画像のレイアウト合成処理の処理手順を示すフローチャートである。前述のように、選択されたシーン別の撮影プログラムに基づいて連続撮影を実行した後(ステップS1)、レイアウト合成撮影に設定されているか否かを判断し(ステップS2)、設定されてない場合にはその他の処理に移行する(ステップS3)。設定されている場合には、撮影プログラムとトリガー信号に従って、連続撮影画像から複数枚の画像を所定間隔(又はランダム)に選択する(ステップS4)。すなわち、図7に示すように開始トリガー点から終了トリガー点までの複数の連続撮影画像Pから、複数枚(本例では9枚)の画像P1〜P9を所定間隔で選択する。
(Composition processing of high-speed shot images)
Next, automatic processing examples (1) to (3) of “automatic editing of a predetermined image extracted from continuously shot images based on setting conditions” executed in step S125 according to FIGS. 6 to 12. The editing processes (1) to (3) will be described.
The automatic editing process (1) in FIG. 6 is a flowchart showing the processing procedure of the layout composition process of the high-speed captured image. As described above, after continuous shooting is performed based on the selected scene-specific shooting program (step S1), it is determined whether or not layout composite shooting is set (step S2). The process proceeds to other processing (step S3). If set, a plurality of images are selected from the continuously shot images at predetermined intervals (or randomly) according to the shooting program and the trigger signal (step S4). That is, as shown in FIG. 7, a plurality of (9 in this example) images P1 to P9 are selected at a predetermined interval from a plurality of continuously shot images P from the start trigger point to the end trigger point.

次に、選択された複数枚の画像を、所定のサイズ、レイアウトで1枚の画像に合成する(ステップS5)。このステップS5での処理により、図7に例示するように、1列目から3列目までに時系列的に画像P1〜P9が配置されたミルククラウンの合成画像P0が生成される。そして、この合成された画像データを符号化してメモリに記憶する(ステップS6)。
したがって、前述のようにミルククラウンを撮影する場合の「画像合成」に対応して「レイアウト合成9枚」が記憶されていることから、ユーザがシーン別撮影プログラムにおいて「ミルククラウン」を選択して高速度撮影を行った場合には、図5のステップS125で図7に例示したミルククラウンの合成画像P0が生成されることとなる。
Next, the selected plurality of images are combined into a single image with a predetermined size and layout (step S5). By the process in step S5, as illustrated in FIG. 7, a composite image P0 of the milk crown in which images P1 to P9 are arranged in time series from the first column to the third column is generated. Then, the synthesized image data is encoded and stored in the memory (step S6).
Therefore, as described above, “9 layout composites” are stored corresponding to “image composition” when photographing a milk crown as described above, so that the user selects “milk crown” in the scene-specific photographing program. When high-speed shooting is performed, a composite image P0 of the milk crown illustrated in FIG. 7 is generated in step S125 of FIG.

よって、ユーザが選択した撮影シーン(ミルククラウン)に応じて適切な合成形態の合成画像P0を生成することができる。   Therefore, it is possible to generate a composite image P0 having an appropriate composite form according to the shooting scene (milk crown) selected by the user.

また、この合成画像P0は、図5のステップS127で表示部79にレビュー表示されることから、ユーザがこれを視認することより、連続的に撮影を行った撮影対象の動きを一見して把握することができる。   Further, since this composite image P0 is displayed as a review on the display unit 79 in step S127 of FIG. 5, the user visually recognizes this to grasp the movement of the shooting target continuously shot. can do.

しかも、図5のステップS127におけるプレビュー表示は、撮影終了直後に実行されることから、撮影直後において迅速に連続的に撮影を行った撮影対象の動きを一見して把握することができる。   In addition, since the preview display in step S127 of FIG. 5 is executed immediately after the end of shooting, it is possible to grasp at a glance the movement of the shooting target that has been shot quickly and continuously immediately after shooting.

なお、図5のフローチャートにおいて、ステップS125の処理が実行される以前に連続撮影等が行われており、また、次ステップS126でメモリへの記録を行うことから、ステップS125においては、図6のステップS4とステップS5の処理を行えばよい。   In the flowchart of FIG. 5, since continuous shooting or the like is performed before the processing of step S125 is performed, and recording in the memory is performed in the next step S126, in step S125, in FIG. What is necessary is just to perform the process of step S4 and step S5.

図8の自動編集処理(2)は、高速度撮影画像のスライス合成処理の処理手順を示すフローチャートである。前述のように、選択されたシーン別の撮影プログラムに基づいて連続撮影を実行した後(ステップS11)、スライス合成撮影に設定されているか否かを判断し(ステップS12)、設定されてない場合にはその他の処理に移行する(ステップS13)。設定されている場合には、撮影プログラムとトリガー信号に従って、連続撮影画像から所定数枚の画像を選択する(ステップS14)。すなわち、図9に示すように開始トリガー点から終了トリガー点までの複数の連続撮影画像Pから、所定数枚(本例では6枚)の画像P1〜P6を間欠的に選択する。   The automatic editing process (2) in FIG. 8 is a flowchart showing the processing procedure of the slice synthesizing process of the high-speed captured image. As described above, after continuous shooting is performed based on the selected scene-specific shooting program (step S11), it is determined whether or not slice composite shooting is set (step S12). The process proceeds to other processing (step S13). If set, a predetermined number of images are selected from the continuously shot images according to the shooting program and the trigger signal (step S14). That is, as shown in FIG. 9, a predetermined number (6 in this example) of images P1 to P6 are intermittently selected from a plurality of continuously shot images P from the start trigger point to the end trigger point.

次に、撮影プログラムに従って、各画像の中央など一部領域をスライスして切り出す(ステップS15)。このステップS15での処理により、図9に例示するように、画像P1〜P6の中央部をスライスして切り出したスライス画像PS1〜PS6が生成される。引き続き、複数画像からのスライス画像を、所定間隔ずつ(横方向又は縦方向に)ずらして重ねて合成する(ステップS16)。これにより、図9に例示するように、スライス画像PS1〜PS6を所定間隔ずつ横方向にずらして重ねて合成されたゴルフスィングの合成画像P0が生成されることとなる。そして、この合成された画像データを符号化してメモリに記憶する(ステップS17)。
したがって、前述のようにゴルフスィングを撮影する場合の「画像合成」に対応して「横並びスライス合成」が記憶されていることから、ユーザがシーン別撮影プログラムにおいて「ゴルフスィング」を選択して高速度撮影を行った場合には、図5のステップS125で図9に例示したゴルフスィングの合成画像P0が生成されることとなる。
Next, according to the shooting program, a partial area such as the center of each image is sliced and cut out (step S15). Through the processing in step S15, slice images PS1 to PS6 obtained by slicing and cutting out the central portions of the images P1 to P6 are generated as illustrated in FIG. Subsequently, the slice images from the plurality of images are combined while being shifted by a predetermined interval (horizontal direction or vertical direction) (step S16). As a result, as illustrated in FIG. 9, a golf swing composite image P <b> 0 is generated in which the slice images PS <b> 1 to PS <b> 6 are shifted and overlapped by a predetermined interval in the horizontal direction. Then, the synthesized image data is encoded and stored in the memory (step S17).
Therefore, as described above, “horizontal slice composition” is stored in correspondence with “image composition” when photographing a golf swing, so that the user selects “golf swing” in the scene-by-scene photography program. When speed shooting is performed, a composite image P0 of the golf swing illustrated in FIG. 9 is generated in step S125 of FIG.

よって、ユーザが選択した撮影シーン(ゴルフスィング)に応じて適切な合成形態の合成画像P0を生成することができる。   Therefore, it is possible to generate a composite image P0 having an appropriate composite form according to the shooting scene (golf swing) selected by the user.

なお、図5のフローチャートにおいて、ステップS125の処理実行される以前に連続撮影等が行われており、また、次ステップS126でメモリへの記録を行うことから、ステップS125においては、図8のステップS14〜S16の処理を行えばよい。また、図9に示したゴルフスィングに限ることなく、図10に示した他の動作体に関しても、この高速度撮影画像のスライス合成処理を用いることができる。   In the flowchart of FIG. 5, since continuous shooting or the like is performed before the process of step S125 is executed, and recording in the memory is performed in the next step S126, in step S125, the step of FIG. What is necessary is just to perform the process of S14-S16. Further, not only the golf swing shown in FIG. 9 but also the other action objects shown in FIG. 10 can use the slice synthesizing process of the high-speed photographed image.

図11の自動編集処理(3)は、高速度撮影画像の多重焼き合成処理の処理手順を示すフローチャートである。前述のように、選択されたシーン別の撮影プログラムに基づいて連続撮影を実行した後(ステップS21)、多重焼き合成撮影に設定されているか否かを判断し(ステップS22)、設定されてない場合にはその他の処理に移行する(ステップS23)。設定されている場合には、撮影プログラムとトリガー信号に従って、連続撮影画像から所定間隔毎に(又は全画像)を選択する(ステップS24)。すなわち、図12に示すように開始トリガー点から終了トリガー点までの複数の連続撮影画像Pから、所定間隔毎に画像P1〜PNを選択する。   The automatic editing process (3) in FIG. 11 is a flowchart showing the processing procedure of the multiple burn-in synthesis process for high-speed captured images. As described above, after continuous shooting is performed based on the selected scene-specific shooting program (step S21), it is determined whether or not multiple-burning composite shooting is set (step S22). In this case, the process proceeds to other processing (step S23). If it is set, according to the shooting program and the trigger signal, the continuous shot images are selected at predetermined intervals (or all images) (step S24). That is, as shown in FIG. 12, images P1 to PN are selected at predetermined intervals from a plurality of continuously shot images P from the start trigger point to the end trigger point.

次に、選択された複数枚の画像を、重ね合わせて多重合成する(ステップS25)。このステップS25での処理により、図12に例示するように、単一のボールがバウンドを繰り返す合成画像P0が生成されることとなる。そして、この合成された画像データを符号化してメモリに記憶する(ステップS26)。   Next, the plurality of selected images are superimposed and combined (step S25). By the process in step S25, as illustrated in FIG. 12, a composite image P0 in which a single ball repeatedly bounces is generated. The synthesized image data is encoded and stored in the memory (step S26).

なお、図5のフローチャートにおいて、ステップS125の処理実行される以前に連続撮影等が行われており、また、次ステップS126でメモリへの記録を行うことから、ステップS125においては、図11のステップS24とステップS25の処理を行えばよい。   In the flowchart of FIG. 5, since continuous shooting or the like is performed before the process of step S125 is executed, and recording in the memory is performed in the next step S126, in step S125, the step of FIG. What is necessary is just to perform the process of S24 and step S25.

(再生、編集)
図13及び図14は、本実施の形態における再生、編集モードの処理手順を示す一連のフローチャートである。先ず、ユーザによる操作入力部22での操作により、再生又は編集モードが設定されているか否かを判断する(ステップS301)。再生又は編集モードが設定されていない場合には、その他のモード処理に移行する(ステップS302)。再生又は編集モードが設定された場合には、画像の再生表示が指示されたか否か判断する(ステップS303)。画像の再生表示に移行すべき場合には、当該画像再生が高速度撮影の画像再生であるか否かを判断する(ステップS306)。高速度の撮影画像の再生ではなく、通常の連写あるいは動画の再生である場合には、選択された画像を伸張、復号して表示部79にて再生する。
(Play, edit)
FIG. 13 and FIG. 14 are a series of flowcharts showing the processing procedures in the reproduction and editing modes in the present embodiment. First, it is determined whether or not the playback or edit mode is set by an operation on the operation input unit 22 by the user (step S301). If the playback or editing mode is not set, the process proceeds to other mode processing (step S302). If the playback or editing mode is set, it is determined whether or not an instruction to display and display an image has been given (step S303). If transition to image reproduction display is to be performed, it is determined whether the image reproduction is high-speed image reproduction (step S306). In the case of normal continuous shooting or moving image reproduction instead of high-speed captured image reproduction, the selected image is expanded and decoded and reproduced on the display unit 79.

当該画像再生が高速度撮影の画像再生である場合には、撮影画像データに記録されていた撮影時のシーンに応じて、再生方法を自動的に設定する(ステップS307)。したがって、前述したミルククラウンの高速度撮影画像を再生する場合には、「再生速度(f/s)」として「60fps(スロー再生1/20)」が記録されていることから、「60fps(スロー再生1/20)」が自動設定されることとなる。次に、図7、図9、図12に示した開始トリガー点を検索し、選択された画像又はグループ画像を開始トリガー点から伸張、復号して設定された再生方法やスロー再生速度等に従って、表示部79に再生表示する(ステップS309)。また、前記ステップS303での判断の結果、画像の再生表示でない場合には、一覧表示に移行すべきか否かを判断し(ステップS304)、一覧表示に移行すべき場合には、画像データの一覧表示又はサムネイル画像の一覧を表示部79に表示する(ステップS305)。   If the image reproduction is high-speed image reproduction, the reproduction method is automatically set according to the scene at the time of photographing recorded in the photographed image data (step S307). Therefore, when reproducing the above-described high-speed photographed image of the milk crown, “60 fps (slow reproduction 1/20)” is recorded as “reproduction speed (f / s)”. Playback 1/20) "is automatically set. Next, the start trigger point shown in FIGS. 7, 9, and 12 is searched, and the selected image or group image is expanded from the start trigger point, decoded, and set according to the playback method or slow playback speed set. It is reproduced and displayed on the display unit 79 (step S309). If the result of determination in step S303 is not reproduction display of an image, it is determined whether or not to shift to list display (step S304). A list of display or thumbnail images is displayed on the display unit 79 (step S305).

そして、ステップS305、S309、S310のいずれかに続くステップS311においては、ユーザによる操作入力部22での操作により、画像選択の操作があったか否かを判断し、画像選択の操作があった場合には、操作入力に応じて再生する画像を選択し、当該画像の再生表示に移行する(ステップS312)。また、画像選択の操作がなかった場合には、早送り又は早戻し再生操作があったか否かを判断し(ステップS313)、あった場合には設定された早送り又は早戻し速度の従って、動画像を早送り、早戻し再生する(ステップS314)。   In step S311 following one of steps S305, S309, and S310, it is determined whether or not an image selection operation has been performed by an operation on the operation input unit 22 by the user. Selects an image to be reproduced in accordance with the operation input, and proceeds to reproduction display of the image (step S312). If no image selection operation has been performed, it is determined whether or not a fast-forward or fast-reverse playback operation has been performed (step S313). If there has been an image selection operation, a moving image is displayed according to the set fast-forward or fast-reverse speed. Fast forward and fast reverse playback are performed (step S314).

ステップS313での判断の結果、早送り又は早戻し再生操作がなかった場合には、一覧表示操作があったか否かを判断し(ステップS315)、あった場合には画像データの一覧表示に移行する(ステップS316)。また、一覧表示操作がなかった場合には(ステップS315;NO)、メニュー操作があったか否かを判断する(ステップS317)。メニュー操作があった場合には、メニュー画面の表示へ移行し(ステップS318)、なかった場合には、その他のキー処理に移行する(ステップS319)。   If the result of determination in step S313 is that there has been no fast forward or fast reverse playback operation, it is determined whether or not there has been a list display operation (step S315). Step S316). If there is no list display operation (step S315; NO), it is determined whether there is a menu operation (step S317). If there is a menu operation, the process proceeds to the display of the menu screen (step S318), and if there is no menu operation, the process proceeds to other key processing (step S319).

他方、ステップS304での判断の結果、一覧表示に移行すべきでない場合には、メニュー表示に移行すべきか否かを判断する(図14、ステップS320)。メニュー表示に移行すべき場合には、操作項目などを選択するメニュー画面を表示部79に表示する(ステップS321)。そして、この表示した項目に対する選択操作があったか否かを判断し(ステップS322)、なかった場合にはその他のキー処理を実行する(ステップS324)。選択操作があった場合には、当該選択操作に応じて、各編集項目を選択し、該当項目の編集画面へ移行する(ステップS323)。   On the other hand, if the result of determination in step S304 is not to shift to list display, it is determined whether or not to shift to menu display (FIG. 14, step S320). If the menu display should be shifted, a menu screen for selecting an operation item or the like is displayed on the display unit 79 (step S321). Then, it is determined whether or not a selection operation has been performed on the displayed item (step S322). If there is no selection operation, other key processing is executed (step S324). If there is a selection operation, each edit item is selected in accordance with the selection operation, and the screen shifts to an edit screen for the corresponding item (step S323).

また、ステップS320での判断の結果、メニュー表示に移行すべきでない場合には、各編集画像の表示に移行すべきであるか否かを判断し(ステップS325)、各編集画像の表示に移行すべきでない場合には、その他の表示処理を実行する(ステップS326)。また、各編集画像の表示に移行すべき場合には、再生画像と共に、該当する編集項目の操作画面を表示する(ステップS327)。そして、この再生画像に対応してトリガー情報の記録があるか否かを判断し(ステップS328)、ある場合には記録されたトリガー情報を該当シーンに対応して表示する(ステップS329)。   If the result of determination in step S320 is not to shift to menu display, it is determined whether or not to shift to display of each edited image (step S325) and shift to display of each edited image. If not, other display processing is executed (step S326). If the display should be shifted to the display of each edited image, the operation screen for the corresponding edit item is displayed together with the reproduced image (step S327). Then, it is determined whether or not trigger information is recorded corresponding to the reproduced image (step S328). If there is, the recorded trigger information is displayed corresponding to the corresponding scene (step S329).

次に、自動編集操作があったか否かを判断し(ステップS330)、あった場合には記録されたトリガー情報に応じて、編集条件などを自動的に入力又は選択する(ステップS333)。また、自動編集操作がなかった場合には、編集操作があったか否かを判断し(ステップS331)、なかった場合にはその他のキー処理を実行する(ステップS332)。編集操作があった場合には、操作入力及び記録トリガー情報に応じて、編集条件などを入力又は選択する(ステップS334)。   Next, it is determined whether or not there has been an automatic editing operation (step S330). If there is, an editing condition or the like is automatically input or selected according to the recorded trigger information (step S333). If there is no automatic editing operation, it is determined whether there is an editing operation (step S331). If there is no automatic editing operation, other key processing is executed (step S332). If there is an editing operation, an editing condition or the like is input or selected according to the operation input and recording trigger information (step S334).

そして、ステップS333又はS334に続くステップS335においては、該当する編集処理、つまり、下記編集処理のいずれかを実行する
・図6のレイアウト合成処理である自動編集処理(1)におけるステップS4及びS5の処理。
・図8のスライス合成処理である自動編集処理(2)におけるステップS14〜S16の処理。
・図11の多重焼き合成処理である自動編集処理(3)におけるステップS24及びS25の処理。
Then, in step S335 following step S333 or S334, the corresponding editing process, that is, one of the following editing processes is executed. In steps S4 and S5 in the automatic editing process (1) which is the layout composition process in FIG. processing.
Processing in steps S14 to S16 in the automatic editing process (2) that is the slice synthesis process in FIG.
The processes of steps S24 and S25 in the automatic editing process (3) that is the multiple baking composition process of FIG.

次にその編集結果を表示部79にプレビュー表示する(ステップS336)。引き続き、編集された画像を記録する指示がなされたか否か(操作入力部22にてOK操作がなされたか否か)を判断する(ステップS337)。当該指示がなされた場合には、元の画像データとは別に、編集された画像データを、撮影条件、編集条件データとともに、メモリ媒体(画像メモリ媒体25、又はディスク媒体47)へ記録する(ステップS339)。   Next, the editing result is displayed as a preview on the display unit 79 (step S336). Subsequently, it is determined whether or not an instruction to record the edited image has been given (whether or not an OK operation has been performed at the operation input unit 22) (step S337). When the instruction is given, separately from the original image data, the edited image data is recorded in the memory medium (the image memory medium 25 or the disk medium 47) together with the shooting conditions and the editing condition data (step S339).

したがって、本実施の形態においては、シーンまたは見本画像を選択して撮影された画像や動画像を再生する場合には、撮影時にシーン別に予め設定されたスロー再生などの再生方法や、シーンに最適な再生フレーム速度で再生表示が行われる。   Therefore, in this embodiment, when playing back an image or moving image shot by selecting a scene or sample image, the playback method such as slow playback preset for each scene at the time of shooting or the best for the scene Reproduction display is performed at a high reproduction frame rate.

また、再生時にも自動編集処理(1)〜(3)いずれか実行されて、これらいずれかの編集処理で生成された合成画像を表示させることができるとともに、記録することができる。   Further, any one of the automatic editing processes (1) to (3) is executed during reproduction, and the composite image generated by any one of these editing processes can be displayed and recorded.

(撮像素子)
前記撮像素子56を、例えば、CCDイメージセンサで構成した場合には、入射光によってフォトダイオードに発生した信号電荷を増幅せずにそのまま、垂直と水平のCCD転送路によって順繰りに転送され、出力回路で初めてFD(Floating Diffusion)アンプにより信号電圧に増幅されて出力される。CCDから出力された撮像信号は、CDS回路(相関二重サンプル回路)でノイズ除去およびサンプル&ホールド処理され、AGC(自動利得制御)アンプで増幅され、ADC(A/D変換器)でデジタル撮像信号に変換されて、DSP(信号処理回路)に出力される。
(Image sensor)
In the case where the image pickup device 56 is constituted by a CCD image sensor, for example, signal charges generated in the photodiode by incident light are not amplified but are transferred in order through the vertical and horizontal CCD transfer paths, and output circuit. For the first time, the signal voltage is amplified by a FD (Floating Diffusion) amplifier and output. The image pickup signal output from the CCD is subjected to noise removal and sample & hold processing by a CDS circuit (correlated double sampling circuit), amplified by an AGC (automatic gain control) amplifier, and digitally imaged by an ADC (A / D converter). It is converted into a signal and output to a DSP (signal processing circuit).

一方、撮像素子をCMOS(相補型金属一酸化膜半導体)イメージセンサで構成する場合には、図1に示したような、一般的なAPS(増幅型画素センサ)型のCMOSセンサでは、フォトダイオードを含む単位画素回路毎に増幅素子(アンプ)が内蔵されており、フォトダイオードで光電変換された信号電荷は画素回路内アンプで一旦増幅され、垂直走査回路からの行アドレス選択信号と水平走査回路からの列選択信号によりXYアドレス方式で選択された画素毎の撮像信号が、出力から順次電圧または電流として取り出すことができる。CCDのように順番に取り出さなくとも、CMOSセンサでは、任意の画素や領域の撮像信号だけを、任意の順序で取り出しできるので、デジタルズーム処理で所定領域のみを切出して読出す場合には、高速で読み出せる。   On the other hand, when the imaging device is constituted by a CMOS (complementary metal monoxide semiconductor) image sensor, in a general APS (amplified pixel sensor) type CMOS sensor as shown in FIG. Each unit pixel circuit including a built-in amplifying element (amplifier), the signal charge photoelectrically converted by the photodiode is once amplified by the amplifier in the pixel circuit, the row address selection signal from the vertical scanning circuit and the horizontal scanning circuit The image pickup signal for each pixel selected by the column selection signal from the XY address method can be sequentially extracted from the output as voltage or current. Even if it is not taken out sequentially like a CCD, the CMOS sensor can take out only the image signals of any pixel or area in any order. Can be read.

また、CCDでは、信号電荷をそのまま転送するのでスミアやノイズに弱いが、CMOSセンサでは、画素毎にランダムアクセスで読出せ、各画素回路は電気的に分離しているので伝送ノイズに強く、またCMOS LSI等と同様に、同じ製造プロセスにてイメージセンサ部の周辺に各種のCMOS回路や加算演算回路などデジタル論理回路などを高集積化して比較的容易に一緒に作りこめる利点がある。その反面、CMOSセンサでは、画素毎のアンプの闇値など、個々の素子バラツキによる固定パターンノイズ(FPN)や暗電流、KTC雑音が大きい難点があったが、(CCDと同様に)埋め込みフォトダイオードとFDアンプを用いる構造にして、暗電流とKTC雑音を低減できるようになり、列信号線毎に並列に並んだ列回路に設けたColumn型のCDS/ADC回路等により、フォトダイオードをリセットする前と後の信号を減算して固定パターンノイズを除去できるようになり、列回路毎に積分型や巡回型、逐次型などのAD変換器を組み込んで、デジタル信号での撮像信号出力も容易になった。   In CCD, signal charges are transferred as they are, so they are vulnerable to smear and noise. However, in CMOS sensors, each pixel is read out by random access, and each pixel circuit is electrically separated, so it is resistant to transmission noise. Similar to a CMOS LSI or the like, there is an advantage that digital logic circuits such as various CMOS circuits and addition arithmetic circuits are highly integrated around the image sensor portion in the same manufacturing process and can be relatively easily formed together. On the other hand, in CMOS sensors, fixed pattern noise (FPN), dark current, and KTC noise due to variations in individual elements, such as the dark value of the amplifier for each pixel, were difficult, but embedded photodiodes (similar to CCD) As a result, the dark current and the KTC noise can be reduced, and the photodiode is reset by a column type CDS / ADC circuit provided in a column circuit arranged in parallel for each column signal line. Fixed pattern noise can be removed by subtracting the front and back signals, and integration signals, cyclic types, and sequential type AD converters are built into each column circuit, making it easy to output imaging signals as digital signals. became.

本実施の形態に係る撮像装置1に用いる撮像素子では、任意のサイズの画像領域を選択して、領域内の画素の撮像信号を読み出す選択読み出しができるように、図15に示す撮像素子200を用いることが好ましい。すなわち、この撮像素子200は、タイミング発生回路201に接続された垂直走査回路202と水平走査回路203及び列回路部204を備えるとともに、並列直列変換部204、符号器205を有している。列回路部204には、CDS回路206、A/D変換回路207、画素加算回路208を一組とする回路が複数設けられて、各々列信号線209が接続されている。一方、垂直走査回路202には、行選択線(アドレス線)210と転送TC線(行読出し線)211及び行リセット線212とが接続されている。また、イメージセンサ部213には、複数の単位画素回路214が設けられており、各単位画素回路214は、前記列信号線209、行選択線(アドレス線)210、転送TC線(行読出し線)211、行リセット線212に接続されたフォトダイオード215等で構成されている。   In the imaging device used in the imaging apparatus 1 according to the present embodiment, the imaging device 200 shown in FIG. 15 is selected so that an image area of an arbitrary size can be selected and the readout signal of the imaging signal of the pixels in the area can be selected. It is preferable to use it. That is, the imaging device 200 includes a vertical scanning circuit 202, a horizontal scanning circuit 203, and a column circuit unit 204 connected to the timing generation circuit 201, and also includes a parallel / serial conversion unit 204 and an encoder 205. The column circuit unit 204 includes a plurality of circuits each including a CDS circuit 206, an A / D conversion circuit 207, and a pixel addition circuit 208, and each column signal line 209 is connected to the column circuit unit 204. On the other hand, to the vertical scanning circuit 202, a row selection line (address line) 210, a transfer TC line (row readout line) 211, and a row reset line 212 are connected. The image sensor unit 213 is provided with a plurality of unit pixel circuits 214, and each unit pixel circuit 214 includes the column signal line 209, a row selection line (address line) 210, a transfer TC line (row readout line). ) 211, a photodiode 215 connected to the row reset line 212, and the like.

したがって、この撮像素子200においては、列回路部204のCDS回路206、A/D回路207の後段に隣接する同色(フィルタ)の複数の画素の信号同士をデジタル信号で加算する画素加算回路208を設けることにより、デジタルズーム時には、選択領域内の画素データを任意の行列毎に所定の複数画素分加算された撮像信号を読出しできるように構成し、スルー画像や動画撮影において、高速レートでも、画像データ量の小さい撮像信号に変換して出力できるようにしてある。   Therefore, in the imaging device 200, the pixel addition circuit 208 that adds the signals of a plurality of pixels of the same color (filter) adjacent to the subsequent stage of the CDS circuit 206 and the A / D circuit 207 of the column circuit unit 204 as a digital signal is provided. By providing it, it is configured to be able to read out the image signal obtained by adding the pixel data in the selection area for a predetermined number of pixels for each arbitrary matrix during digital zooming, and image data can be obtained even at a high rate in through image and video shooting. It can be converted into an image signal with a small amount and output.

なお、選択読出された選択領域の撮像信号、さらに画素加算された撮像信号は、列回路部204のCDS回路206、A/D回路207から水平走査回路202の列選択信号により選択された列信号が順次出力されるが、このとき、高速クロックに同期させて並列のデジタル信号として出力するか、若しくは、並列のデジタル信号を符号化し、並列/直列変換回路により変換して、直列のデジタル撮像信号として出力して、高解像度の撮像信号を、DSPに高速フレームレートで転送出力することができる。   The picked-up image signals of the selected area and the image signals added with the pixels are the column signals selected from the CDS circuit 206 of the column circuit unit 204 and the column selection signal of the horizontal scanning circuit 202 from the A / D circuit 207. Are output in sequence, but at this time, it is output as a parallel digital signal in synchronization with a high-speed clock, or the parallel digital signal is encoded and converted by a parallel / serial conversion circuit to obtain a serial digital imaging signal. The high-resolution imaging signal can be transferred and output to the DSP at a high frame rate.

また、図3に示した前記プログラムメモリ23に格納されているシーン別撮影プログラムの設定データにおいて、「高速度の撮影条件」として、図示した「撮影速度(f/s)」〜「合成画像ほか」に加えて、各シーンに対応させて、撮像素子200にから画素の信号を読み出す画像領域を記憶しておき、撮影シーンが選択された場合には、記憶された画像領域内の画素の撮像信号を読み出す選択読み出しを行うようにしてもよい。   Further, in the setting data of the scene-specific shooting program stored in the program memory 23 shown in FIG. 3, the “shooting speed (f / s)” to “synthesized image etc.” shown as “high-speed shooting conditions”. In addition, the image area for reading out pixel signals from the image sensor 200 is stored in correspondence with each scene, and when a shooting scene is selected, the pixels in the stored image area are imaged. You may make it perform the selective reading which reads a signal.

(他の実施の形態)
(1)第2の実施の形態
図16は、本発明の第2の実施の形態における処理手順を示すフローチャートである。まず、レイアウト合成撮影が選択されたか否かを判断し(ステップS401)、選択されていない場合にはその他の処理に移行する(ステップS402)。レイアウト合成撮影が選択されている場合には、ユーザの操作による撮影指示があったか否かを判断する(ステップS403)。撮影指示があったならば、選択されたシーン又は撮影プログラムに基づいて、連続撮影処理、又は循環記録を行うPAST連写を実行する(ステップS404)。このステップS404での処理により、バッファメモリ75には、選択されたシーン又は撮影プログラムに応じた高速フレームレートで撮影されたフレーム画像が順次記憶され、又は循環記憶されていく。
(Other embodiments)
(1) Second Embodiment FIG. 16 is a flowchart showing a processing procedure in the second embodiment of the present invention. First, it is determined whether or not layout composite shooting has been selected (step S401). If it has not been selected, the process proceeds to other processing (step S402). If layout composite shooting has been selected, it is determined whether or not a shooting instruction has been given by a user operation (step S403). If there is a shooting instruction, based on the selected scene or shooting program, PAST continuous shooting for performing continuous shooting processing or cyclic recording is executed (step S404). Through the processing in step S404, the buffer memory 75 sequentially stores or cyclically stores frame images captured at a high-speed frame rate according to the selected scene or shooting program.

次に、トリガー入力又は撮影終了指示があったか否かを判断し(ステップS405)、トリガー入力又は撮影終了指示があるまで、ステップS404の処理を継続する。そして、トリガー入力又は撮影終了指示があったならば、設定された所定時間後に連続撮影、又はPAST連写を終了する(ステップS406)。つまり、本実施の形態においては、トリガー入力又は撮影終了指示があった時点で即時に、連続撮影又はPAST連写を終了するのではなく、トリガー入力又は撮影終了指示があっても、連続撮影又はPAST連写を継続して、所定時間後に終了する。   Next, it is determined whether or not there has been a trigger input or a shooting end instruction (step S405), and the process of step S404 is continued until a trigger input or a shooting end instruction is received. Then, if there is a trigger input or an instruction to end shooting, continuous shooting or PAST continuous shooting ends after the set predetermined time (step S406). That is, in the present embodiment, the continuous shooting or the PAST continuous shooting is not immediately ended when the trigger input or the shooting end instruction is given, but the continuous shooting or the shooting end instruction is not performed. The PAST continuous shooting is continued and finished after a predetermined time.

したがって、バッファメモリ75には、図17(A)に示すように、撮影を開始した時点からトリガー入力又は撮影終了指示があった時点である代表トリガー点Tまでのみならず、代表トリガー点Tから所定時間が経過した時点までの、高速フレームレートで撮影された連続撮影画像Pが順次記憶されることとなる。   Accordingly, as shown in FIG. 17A, the buffer memory 75 includes not only the representative trigger point T which is the time when the trigger input or the photographing end instruction is given from the time when the photographing is started, but also from the representative trigger point T. Continuously captured images P captured at a high frame rate up to a point when a predetermined time has elapsed are sequentially stored.

次に、撮影プログラムと(レリーズ釦など)トリガー信号に従って、連続撮影画像Pから複数の画像を所定間隔で選択する。つまり、図17(B)に示すように、撮影プログラムとトリガー信号に従った所定間隔が2msであるならば、代表トリガー点Tを0msとして、0ms、2ms、4ms・・・の間隔で連続撮影画像Pから画像P1、P2、P3・・・を選択する。   Next, a plurality of images are selected from the continuously shot images P at predetermined intervals according to a shooting program and a trigger signal (such as a release button). That is, as shown in FIG. 17B, if the predetermined interval according to the shooting program and the trigger signal is 2 ms, continuous shooting is performed at intervals of 0 ms, 2 ms, 4 ms, etc. with the representative trigger point T set to 0 ms. Images P1, P2, P3... Are selected from the image P.

引き続き、これら選択された画像P1、P2、P3・・・を所定のサイズ、レイアウトで1枚の画像に合成する(ステップS408)。また、このように自動合成された画像をファインダ(表示部79)に撮影後レビュー表示、又は記録前プレビュー表示する(ステップS409)。つまり、前記連続撮影画像Pをこの時点で画像メモリ媒体25に記録して、しかる後に図17(C)に示した画像P1、P2、P3・・・が合成された合成画像P0をファインダに表示(レビュー表示)してもよいし、前記連続撮影画像Pはこの時点で画像メモリ媒体25に記録することなく、後述するステップS419で記録し、合成画像P0をファインダに表示(プレビュー表示)してもよい。   Subsequently, the selected images P1, P2, P3,... Are combined into one image with a predetermined size and layout (step S408). Further, the automatically synthesized image is displayed on the finder (display unit 79) as a review after shooting or as a preview before recording (step S409). That is, the continuously shot image P is recorded in the image memory medium 25 at this time, and then the synthesized image P0 obtained by synthesizing the images P1, P2, P3... Shown in FIG. (Review display) may be performed, or the continuously shot image P is not recorded in the image memory medium 25 at this time, but is recorded in step S419 described later, and the composite image P0 is displayed (preview display) on the finder. Also good.

次に、操作入力部22に設けられている上下キー等の操作による間隔調整キー入力があったか否を判断する(ステップS410)。間隔調整キー入力がなかった場合には、左右キーの操作によるタイミング調整キー入力があったか否かを判断する(ステップS412)。タイミング調整キー入力もなかった場合には、記録OKキー入力があったか否かを判断する(ステップS417)。記録OKキー入力もなかった場合には、所定時間を経過したか否かを判断し(ステップS418)、所定時間を経過していない場合には、ステップS410に戻り、ステップS410からの処理を繰り返す。   Next, it is determined whether or not there has been an interval adjustment key input by operating an up / down key or the like provided in the operation input unit 22 (step S410). If there is no interval adjustment key input, it is determined whether there is a timing adjustment key input by operating the left and right keys (step S412). If there is no timing adjustment key input, it is determined whether or not a recording OK key is input (step S417). If there is no record OK key input, it is determined whether or not a predetermined time has passed (step S418). If the predetermined time has not passed, the process returns to step S410 and the processing from step S410 is repeated. .

このステップS410からの処理を繰り返されている状態において、間隔調整キー入力があった場合には(ステップS410;YES)、操作に応じて、選択する画像の間隔又は合成する画像の枚数を増減する(ステップS411)。また、間隔調整キー入力があった場合には(ステップS412;YES)、操作に応じて、選択を開始する画像を、タイミングを早く又遅く変えた画像に変更する(ステップS413)。   In the state where the processing from step S410 is repeated, if there is an interval adjustment key input (step S410; YES), the interval between images to be selected or the number of images to be combined is increased or decreased according to the operation. (Step S411). If there is an interval adjustment key input (step S412; YES), the image to be selected is changed to an image with the timing changed earlier or later according to the operation (step S413).

つまり、ステップS411の場合は、画像の間隔が前述のように2msであった場合には、1msにして画像を増加させ、あるいは図17(D)に示すように、4msにして画像を減少(6枚→5枚)させる。これに対し、ステップS413の場合は、合成する画像の選択開始タイミングを代表トリガー点Tよりも早く又は遅くする(図17(D)は、選択開始タイミングを代表トリガー点Tよりも早くした場合を示す)。   That is, in the case of step S411, if the image interval is 2 ms as described above, the image is increased by 1 ms, or the image is decreased by 4 ms as shown in FIG. 6 → 5). On the other hand, in the case of step S413, the selection start timing of the image to be combined is made earlier or later than the representative trigger point T (FIG. 17D shows a case where the selection start timing is made earlier than the representative trigger point T. Show).

次に、調整操作に応じて、つまり前記ステップS411で変更された画像の間隔や枚数、及び/又はステップS413で変更された選択開始タイミングに応じて複数の画像を選択する(ステップS414)。したがって、図17(D)に示すように、ステップS411で画像の間隔が2msから4msに変更され(枚数6はそのまま)、選択開始タイミングが4ms早く変更されたとすると、図示のように代表トリガー点Tを±0msとして、−4ms、±0ms、4ms、6ms・・・16msに対応する6枚の画像が選択されることなる。   Next, a plurality of images are selected according to the adjustment operation, that is, according to the interval and number of images changed in step S411 and / or the selection start timing changed in step S413 (step S414). Accordingly, as shown in FIG. 17D, when the image interval is changed from 2 ms to 4 ms in step S411 (the number of sheets 6 remains as it is) and the selection start timing is changed 4 ms earlier, the representative trigger point as shown in FIG. When T is ± 0 ms, six images corresponding to −4 ms, ± 0 ms, 4 ms, 6 ms,... 16 ms are selected.

引き続き、これら選択された複数画像を所定のサイズ、レイアウトで1枚の画像に再度合成処理する(ステップS415)。また、これにより得られた合成画像をファインダ(表示部79)に撮影後レビュー表示、又は記録前プレビュー表示する(ステップS416)。つまり、前述と同様に前記連続撮影画像Pをこの時点で画像メモリ媒体25に記録して、しかる後に図17(E)に示した合成画像P0をファインダに表示(レビュー表示)してもよいし、前記連続撮影画像Pはこの時点で画像メモリ媒体25に記録することなく、後述するステップS419で記録し、合成画像P0をファインダに表示(プレビュー表示)してもよい。   Subsequently, the plurality of selected images are combined again into a single image with a predetermined size and layout (step S415). Further, the composite image obtained in this way is displayed on the finder (display unit 79) as a review after shooting or as a preview before recording (step S416). That is, as in the case described above, the continuously shot image P may be recorded in the image memory medium 25 at this time, and then the composite image P0 shown in FIG. 17E may be displayed on the finder (review display). The continuously shot image P may be recorded in step S419 described later without being recorded in the image memory medium 25 at this time, and the composite image P0 may be displayed (preview display) on the viewfinder.

次に、記録OKキー入力があったか否かを判断する(ステップS417)。このとき、ユーザは、前記ステップS409で表示されたユーザが調整操作する前の合成画像、又は前記ステップS416で表示されたユーザが調整操作した合成画像を視認して、当該合成画像で満足であれば、記録OKキーを操作する。これにより、ステップS417の判断がYESとなり、合成された画像データを符号化して、画像メモリ媒体25に記録する(ステップS419)。また、連続撮影画像Pを未だ画像メモリ媒体25に記録しておらず、合成画像P0をプレビュー表示した場合には、このステップS419で連続撮影画像Pの画像データも符号化して、画像メモリ媒体25に記録する。   Next, it is determined whether or not a record OK key is input (step S417). At this time, the user can be satisfied with the composite image by visually recognizing the composite image before the adjustment operation displayed by the user in step S409 or the composite image displayed by the user in step S416. For example, the recording OK key is operated. As a result, the determination in step S417 is YES, and the combined image data is encoded and recorded in the image memory medium 25 (step S419). If the continuously shot image P is not yet recorded in the image memory medium 25 and the composite image P0 is displayed as a preview, the image data of the continuously shot image P is also encoded in step S419, and the image memory medium 25 is displayed. To record.

したがって、本実施の形態によれば、画像の選択開始タイミングや画像の間隔、合成する画像の枚数をユーザが任意に設定することができ、ユーザにより選択された複数の画像を個別に配列した1枚の合成画像の作成、表示が可能となる。   Therefore, according to the present embodiment, the user can arbitrarily set the image selection start timing, the image interval, and the number of images to be combined, and a plurality of images selected by the user are individually arranged 1 It is possible to create and display a single composite image.

(2)第3の実施の形態
図18は、本発明の第3の実施の形態における処理手順を示すフローチャートである。まず、スライス合成撮影が選択されたか否かを判断し(ステップS501)、選択されていない場合にはその他の処理に移行する(ステップS502)。スライス合成撮影が選択されている場合には、ユーザの操作による撮影指示があったか否かを判断する(ステップS503)。撮影指示があったならば、選択されたシーン又は撮影プログラムに基づいて、連続撮影処理、又は循環記録を行うPAST連写を実行する(ステップS504)。このステップS504での処理により、バッファメモリ75には、選択されたシーン又は撮影プログラムに応じた高速フレームレートで撮影されたフレーム画像が順次記憶され、又は循環記憶されていく。
(2) Third Embodiment FIG. 18 is a flowchart showing a processing procedure in the third embodiment of the present invention. First, it is determined whether or not slice composite imaging has been selected (step S501). If it has not been selected, the process proceeds to other processing (step S502). If slice composite shooting is selected, it is determined whether or not a shooting instruction has been given by a user operation (step S503). If there is a shooting instruction, based on the selected scene or shooting program, PAST continuous shooting for performing continuous shooting processing or circular recording is executed (step S504). Through the processing in step S504, frame images captured at a high-speed frame rate corresponding to the selected scene or shooting program are sequentially stored or circularly stored in the buffer memory 75.

次に、トリガー入力又は撮影終了指示があったか否かを判断し(ステップS505)、トリガー入力又は撮影終了指示があるまで、ステップS504の処理を継続する。そして、トリガー入力又は撮影終了指示があったならば、設定された所定時間後に連続撮影、又はPAST連写を終了する(ステップS506)。つまり、前述した第2の実施の形態と同様に、トリガー入力又は撮影終了指示があった時点で即時に、連続撮影又はPAST連写を終了するのではなく、トリガー入力又は撮影終了指示があっても、連続撮影又はPAST連写を継続して、所定時間後に終了する。   Next, it is determined whether or not there has been a trigger input or a photographing end instruction (step S505), and the processing in step S504 is continued until a trigger input or a photographing end instruction is received. Then, if there is a trigger input or an instruction to end shooting, continuous shooting or PAST continuous shooting ends after the set predetermined time (step S506). That is, as in the second embodiment described above, instead of immediately ending continuous shooting or PAST continuous shooting when a trigger input or shooting end instruction is given, there is a trigger input or shooting end instruction. In addition, continuous shooting or PAST continuous shooting is continued and finished after a predetermined time.

次に、撮影プログラムと(レリーズ釦など)トリガー信号に従って、連続撮影画像Pから複数の画像を所定間隔で選択し、略同じ領域をスライス(切り出す)する(ステップS507)。したがって、このステップS507での処理により、図19(A)に示す連続撮影画像Pから画像P1、P2、P3・・・が選択された後、これら画像P1、P2、P3・・・の例えば中央部をスライスして切り出したスライス画像PS1、PS2、PS3・・・が生成される。引き続き、選択されスライスされた複数の各画像を所定間隔(位置)ずつずらして1枚の画像に合成する(ステップS508)。これにより、図19(C)に例示するように、スライス画像PS1、PS2、PS3・・・を所定間隔ずつずらして合成されたゴルフスィングの合成画像P0が生成されることとなる。また、このうように自動合成された画像をファインダ(表示部79)に撮影後レビュー表示、又は記録前プレビュー表示する(ステップS509)。   Next, a plurality of images are selected from the continuously shot images P at a predetermined interval in accordance with a shooting program and a trigger signal (such as a release button), and substantially the same region is sliced (cut out) (step S507). Therefore, after the image P1, P2, P3,... Is selected from the continuously shot image P shown in FIG. 19A by the processing in step S507, for example, the center of these images P1, P2, P3,. Slice images PS1, PS2, PS3,. Subsequently, the plurality of selected and sliced images are shifted by a predetermined interval (position) and synthesized into one image (step S508). Thus, as illustrated in FIG. 19C, a golf swing composite image P0 is generated by combining the slice images PS1, PS2, PS3,. Further, the image automatically synthesized in this way is displayed on the finder (display unit 79) as a review after shooting or as a preview before recording (step S509).

次のステップS510〜S513、及びステップS517、S518の処理は、前述した第2の実施の形態においけるステップS410〜S413、及びステップS417、S418の処理の処理と同一である。すなわち、操作入力部22に設けられている上下キー等の操作による間隔調整キー入力があったか否を判断する(ステップS510)。間隔調整キー入力がなかった場合には、左右キーの操作によるタイミング調整キー入力があったか否かを判断する(ステップS512)。タイミング調整キー入力もなかった場合には、記録OKキー入力があったか否かを判断する(ステップS517)。記録OKキー入力もなかった場合には、所定時間を経過したか否かを判断し(ステップS518)、所定時間を経過していない場合には、ステップS510に戻り、ステップS510からの処理を繰り返す。   The processes of the next steps S510 to S513 and steps S517 and S518 are the same as the processes of steps S410 to S413 and steps S417 and S418 in the above-described second embodiment. That is, it is determined whether or not there has been an interval adjustment key input by operating an up / down key or the like provided in the operation input unit 22 (step S510). If there is no interval adjustment key input, it is determined whether there is a timing adjustment key input by operating the left and right keys (step S512). If there is no timing adjustment key input, it is determined whether there is a recording OK key input (step S517). If there is no record OK key input, it is determined whether or not a predetermined time has passed (step S518). If the predetermined time has not passed, the process returns to step S510 and the processing from step S510 is repeated. .

このステップS510からの処理を繰り返されている状態において、間隔調整キー入力があった場合には(ステップS510;YES)、操作に応じて、選択する画像の間隔又は合成する画像の枚数を増減する(ステップS511)。また、間隔調整キー入力があった場合には(ステップS512;YES)、操作に応じて、選択を開始する画像を、タイミングを早く又遅く変えた画像に変更する(ステップS513)。   In the state where the processing from step S510 is repeated, if there is an interval adjustment key input (step S510; YES), the interval between images to be selected or the number of images to be combined is increased or decreased according to the operation. (Step S511). If there is an interval adjustment key input (step S512; YES), the image to start selection is changed to an image with the timing changed earlier or later according to the operation (step S513).

次に、調整操作に応じて、つまり前記ステップS511で変更された画像の間隔や枚数、及び/又はステップS513で変更された選択開始タイミングに応じて複数の画像を選択し、前述したステップS507と同様に、略同じ領域をスライス(切り出す)する(ステップS514)。引き続き、前述したステップS508と同様に、選択されスライスされた複数の各画像を所定間隔(位置)ずつずらして1枚の画像に合成する(ステップS515)。また、前述したステップS509と同様に、合成した画像をファインダ(表示部79)に撮影後レビュー表示、又は記録前プレビュー表示する(ステップS516)。   Next, a plurality of images are selected according to the adjustment operation, that is, according to the interval and number of images changed in step S511 and / or the selection start timing changed in step S513, and the above-described step S507 is performed. Similarly, substantially the same area is sliced (cut out) (step S514). Subsequently, in the same manner as in step S508 described above, the plurality of selected and sliced images are shifted by a predetermined interval (position) and synthesized into one image (step S515). Similarly to step S509 described above, the synthesized image is displayed on the viewfinder (display unit 79) as a review after shooting or as a preview before recording (step S516).

したがって、選択開始タイミングを早くしかつ時間間隔を短くした場合には、図19(D)に示す合成画像P0が表示部79に表示され、選択開始タイミングを遅くしかつ時間間隔を長くした場合には、図19(E)に示す合成画像P0が表示部79に表示されることとなる。   Accordingly, when the selection start timing is advanced and the time interval is shortened, the composite image P0 shown in FIG. 19D is displayed on the display unit 79, and when the selection start timing is delayed and the time interval is lengthened. In this case, the composite image P0 shown in FIG.

次に、記録OKキー入力があったか否かを判断する(ステップS517)。このとき、ユーザは、前記ステップS509で表示されたユーザが調整操作する前の合成画像(図19(C))、又は前記ステップS516で表示されたユーザが調整操作した合成画像(図19(D)又は(E))を視認して、当該合成画像で満足であれば、記録OKキーを操作する。これにより、ステップS517の判断がYESとなり、合成された画像データを符号化して、画像メモリ媒体25に記録する(ステップS519)。また、連続撮影画像Pを未だ画像メモリ媒体25に記録しておらず、合成画像P0をプレビュー表示した場合には、このステップS519で連続撮影画像Pの画像データも符号化して、画像メモリ媒体25に記録する。   Next, it is determined whether or not a recording OK key has been input (step S517). At this time, the user displays the composite image (FIG. 19C) before the adjustment operation displayed by the user displayed in step S509 (FIG. 19C) or the composite image adjusted by the user displayed in step S516 (FIG. 19D). ) Or (E)), and if the composite image is satisfactory, the recording OK key is operated. As a result, the determination in step S517 is YES, and the combined image data is encoded and recorded in the image memory medium 25 (step S519). If the continuously shot image P is not yet recorded in the image memory medium 25 and the composite image P0 is displayed as a preview, the image data of the continuously shot image P is also encoded in step S519, and the image memory medium 25 is displayed. To record.

したがって、本実施の形態によれば、画像の選択開始タイミングや画像の間隔、合成する画像の枚数をユーザが任意に設定することができ、ユーザにより選択された複数の画像であって各々所定部分が切り出された複数の部分画像からなる合成画像の作成、表示が可能となる。   Therefore, according to this embodiment, the user can arbitrarily set the image selection start timing, the image interval, and the number of images to be combined. It is possible to create and display a composite image made up of a plurality of partial images cut out of.

(3)第4の実施の形態
図20は、本発明の第4の実施の形態における処理手順を示すフローチャートである。まず、多重焼き合成撮影が選択されたか否かを判断し(ステップS601)、選択されていない場合にはその他の処理に移行する(ステップS602)。多重焼き合成撮影が選択されている場合には、ユーザの操作による撮影指示があったか否かを判断する(ステップS603)。撮影指示があったならば、選択されたシーン又は撮影プログラムに基づいて、連続撮影処理、又は循環記録を行うPAST連写を実行する(ステップS604)。このステップS604での処理により、バッファメモリ75には、選択されたシーン又は撮影プログラムに応じた高速フレームレートで撮影されたフレーム画像が順次記憶され、又は循環記憶されていく。
(3) Fourth Embodiment FIG. 20 is a flowchart showing a processing procedure in the fourth embodiment of the present invention. First, it is determined whether or not multiple-burning composite shooting has been selected (step S601). If it has not been selected, the process proceeds to other processing (step S602). If multiple burn composite shooting has been selected, it is determined whether or not a shooting instruction has been given by a user operation (step S603). If there is a shooting instruction, based on the selected scene or shooting program, PAST continuous shooting for performing continuous shooting processing or cyclic recording is executed (step S604). As a result of the processing in step S604, the buffer memory 75 sequentially stores or cyclically stores frame images captured at a high-speed frame rate according to the selected scene or shooting program.

次に、トリガー入力又は撮影終了指示があったか否かを判断し(ステップS605)、トリガー入力又は撮影終了指示があるまで、ステップS604の処理を継続する。そして、トリガー入力又は撮影終了指示があったならば、設定された所定時間後に連続撮影、又はPAST連写を終了する(ステップS606)。つまり、前述した第2の実施の形態と同様に、トリガー入力又は撮影終了指示があった時点で即時に、連続撮影又はPAST連写を終了するのではなく、トリガー入力又は撮影終了指示があっても、連続撮影又はPAST連写を継続して、所定時間後に終了する。   Next, it is determined whether or not there has been a trigger input or a shooting end instruction (step S605), and the process of step S604 is continued until a trigger input or a shooting end instruction is received. Then, if there is a trigger input or an instruction to end shooting, continuous shooting or PAST continuous shooting ends after the set predetermined time (step S606). That is, as in the second embodiment described above, instead of immediately ending continuous shooting or PAST continuous shooting when a trigger input or shooting end instruction is given, there is a trigger input or shooting end instruction. In addition, continuous shooting or PAST continuous shooting is continued and finished after a predetermined time.

次に、撮影プログラムと(レリーズ釦など)トリガー信号に従って、連続撮影画像から複数の画像を所定間隔で選択する(ステップS607)。したがって、このステップS607での処理により、図20(A)に示す連続撮影画像Pから、同図(B)に示す画像P1、P2、P3・・・が選択される。   Next, in accordance with the shooting program and a trigger signal (such as a release button), a plurality of images are selected from the continuously shot images at a predetermined interval (step S607). Therefore, by the processing in step S607, images P1, P2, P3... Shown in FIG. 20B are selected from the continuously shot images P shown in FIG.

引き続き、選択された複数の各画像を、重ね合わせて1枚の画像に合成(多重合成)する(ステップS608)。このステップS608での処理により、21(C)に例示するように、単一のボールがバウンドを繰り返す合成画像P0が生成されることとなる。また、このように自動合成された画像をファインダ(表示部79)に撮影後レビュー表示、又は記録前プレビュー表示する(ステップS609)。   Subsequently, the plurality of selected images are superimposed and combined into a single image (multiple combination) (step S608). By the process in step S608, as illustrated in 21 (C), a composite image P0 in which a single ball repeatedly bounces is generated. Further, the image automatically synthesized in this way is displayed on the finder (display unit 79) as a review after shooting or as a preview before recording (step S609).

次のステップS610〜S613、及びステップS617、S618の処理は、前述した第2の実施の形態においけるステップS410〜S413、及びステップS417、S418の処理の処理と同一である。すなわち、操作入力部22に設けられている上下キー等の操作による間隔調整キー入力があったか否を判断する(ステップS610)。間隔調整キー入力がなかった場合には、左右キーの操作によるタイミング調整キー入力があったか否かを判断する(ステップS612)。タイミング調整キー入力もなかった場合には、記録OKキー入力があったか否かを判断する(ステップS617)。記録OKキー入力もなかった場合には、所定時間を経過したか否かを判断し(ステップS618)、所定時間を経過していない場合には、ステップS610に戻り、ステップS610からの処理を繰り返す。   The processes of the next steps S610 to S613 and steps S617 and S618 are the same as the processes of steps S410 to S413 and steps S417 and S418 in the above-described second embodiment. That is, it is determined whether or not there has been an interval adjustment key input by operating an up / down key or the like provided in the operation input unit 22 (step S610). If there is no interval adjustment key input, it is determined whether there is a timing adjustment key input by operating the left and right keys (step S612). If there is no timing adjustment key input, it is determined whether or not a recording OK key is input (step S617). If there is no record OK key input, it is determined whether or not a predetermined time has passed (step S618). If the predetermined time has not passed, the process returns to step S610 and the processing from step S610 is repeated. .

このステップS610からの処理を繰り返されている状態において、間隔調整キー入力があった場合には(ステップS610;YES)、操作に応じて、選択する画像の間隔又は合成する画像の枚数を増減する(ステップS611)。また、間隔調整キー入力があった場合には(ステップS612;YES)、操作に応じて、選択を開始する画像を、タイミングを早く又遅く変えた画像に変更する(ステップS613)。   In a state where the processing from step S610 is repeated, if there is an interval adjustment key input (step S610; YES), the interval between images to be selected or the number of images to be combined is increased or decreased according to the operation. (Step S611). If there is an interval adjustment key input (step S612; YES), the image to start selection is changed to an image with the timing changed earlier or later according to the operation (step S613).

次に、調整操作に応じて、つまり前記ステップS611で変更された画像の間隔や枚数、及び/又はステップS613で変更された選択開始タイミングに応じて複数の画像を選択する(ステップS614)引き続き、前述したステップS608と同様に、選択された複数の各画像を、重ね合わせて1枚の画像に合成(多重合成)する(ステップS608)。また、前述したステップS609と同様に、合成した画像をファインダ(表示部79)に撮影後レビュー表示、又は記録前プレビュー表示する(ステップS616)。   Next, a plurality of images are selected according to the adjustment operation, that is, according to the interval and number of images changed in step S611 and / or the selection start timing changed in step S613 (step S614). Similar to step S608 described above, the plurality of selected images are superimposed and synthesized into one image (multiple synthesis) (step S608). Similarly to step S609 described above, the synthesized image is displayed on the finder (display unit 79) as a review after shooting or as a preview before recording (step S616).

したがって、選択開始タイミングを早くしかつ時間間隔を短くした場合には、図21(D)に示す合成画像P0が表示部79に表示され、選択開始タイミングを遅くしかつ時間間隔を長くした場合には、図21(E)に示す合成画像P0が表示部79に表示されることとなる。   Therefore, when the selection start timing is advanced and the time interval is shortened, the composite image P0 shown in FIG. 21D is displayed on the display unit 79, and when the selection start timing is delayed and the time interval is lengthened. The combined image P0 shown in FIG. 21E is displayed on the display unit 79.

次に、記録OKキー入力があったか否かを判断する(ステップS617)。このとき、ユーザは、前記ステップS609で表示されたユーザが調整操作する前の合成画像(図21(C))、又は前記ステップS616で表示されたユーザが調整操作した合成画像(図21(D)又は(E))を視認して、当該合成画像で満足であれば、記録OKキーを操作する。これにより、ステップS617の判断がYESとなり、合成された画像データを符号化して、画像メモリ媒体25に記録する(ステップS619)。また、連続撮影画像Pを未だ画像メモリ媒体25に記録しておらず、合成画像P0をプレビュー表示した場合には、このステップS619で連続撮影画像Pの画像データも符号化して、画像メモリ媒体25に記録する。   Next, it is determined whether or not a recording OK key has been input (step S617). At this time, the user displays the composite image (FIG. 21C) displayed before the adjustment operation displayed in step S609 (FIG. 21C) or the composite image adjusted by the user displayed in step S616 (FIG. 21D). ) Or (E)), and if the composite image is satisfactory, the recording OK key is operated. As a result, the determination in step S617 becomes YES, and the combined image data is encoded and recorded in the image memory medium 25 (step S619). If the continuously shot image P is not yet recorded in the image memory medium 25 and the composite image P0 is displayed as a preview, the image data of the continuously shot image P is also encoded in step S619, and the image memory medium 25 is displayed. To record.

したがって、本実施の形態によれば、画像の選択開始タイミングや画像の間隔、合成する画像の枚数をユーザが任意に設定することができ、ユーザにより選択された画像を1枚の画像内に多重合成した合成画像の作成、表示が可能となる。   Therefore, according to the present embodiment, the user can arbitrarily set the image selection start timing, the image interval, and the number of images to be combined, and the images selected by the user can be multiplexed within one image. It is possible to create and display a synthesized composite image.

なお、本実施の形態においては、複数の画像の合成処理として、レイアウト合成処理、スライス合成処理、多重焼き合成処理を示したが、他の合成処理を用いるようにしてもよい。   In the present embodiment, layout composition processing, slice composition processing, and multiple firing composition processing are shown as composition processing of a plurality of images, but other composition processing may be used.

本発明の一実施の形態に係る撮像装置の的回路構成を示すブロック図である。It is a block diagram which shows the target circuit structure of the imaging device which concerns on one embodiment of this invention. シーン別撮影プログラムの設定データの例を示す図である。It is a figure which shows the example of the setting data of the imaging | photography program classified by scene. 図2に続くシーン別撮影プログラムの設定データの例を示す図である。It is a figure which shows the example of the setting data of the imaging | photography program classified by scene following FIG. 本発明の第1の実施の形態おける高速度静止画撮影モードの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the high-speed still image shooting mode in the 1st Embodiment of this invention. 図4に続くフローチャートである。It is a flowchart following FIG. 高速度撮影画像のレイアウト合成処理の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the layout synthetic | combination process of a high speed picked-up image. 高速度撮影画像のレイアウト合成処理の処理手順を示す説明図である。It is explanatory drawing which shows the process sequence of the layout synthetic | combination process of a high speed picked-up image. 高速度撮影画像のスライス合成処理の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the slice synthetic | combination process of a high speed picked-up image. 高速度撮影画像のスライス合成処理の処理手順を示す説明図である。It is explanatory drawing which shows the process sequence of the slice synthetic | combination process of a high speed picked-up image. 高速度撮影画像のスライス合成処理された画像例を示す図である。It is a figure which shows the example of an image by which the slice synthetic | combination process of the high speed picked-up image was carried out. 高速度撮影画像の多重焼き合成処理の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the multiple burning synthetic | combination process of a high speed picked-up image. 高速度撮影画像の多重焼き合成処理の処理手順を示す説明図である。It is explanatory drawing which shows the process sequence of the multiple baking synthetic | combination process of a high speed picked-up image. 再生、編集モードの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of reproduction | regeneration and edit mode. 図13に続くフローチャートである。It is a flowchart following FIG. 撮像素子の回路構成例を示す図である。It is a figure which shows the circuit structural example of an image pick-up element. 本発明の第2の実施の形態における処理手順を示すフローチャートであR。It is R which shows the process sequence in the 2nd Embodiment of this invention. 同実施の形態の処理手順を示す説明図である。It is explanatory drawing which shows the process sequence of the embodiment. 本発明の第3の実施の形態における処理手順を示すフローチャートであR。It is R which shows the process sequence in the 3rd Embodiment of this invention. 同実施の形態の処理手順を示す説明図である。It is explanatory drawing which shows the process sequence of the embodiment. 本発明の第4の実施の形態における処理手順を示すフローチャートであR。It is R which shows the process sequence in the 4th Embodiment of this invention. 同実施の形態の処理手順を示す説明図である。It is explanatory drawing which shows the process sequence of the embodiment.

符号の説明Explanation of symbols

1 撮像装置
2 制御回路
3 CPU
5 制御回路
23 プログラムメモリ
24 データメモリ
25 画像メモリ媒体
30 外部トリガー端子
31 トリガー検出部
32 プログラムメモリ
39 検出回路
47 ディスク媒体
56 撮像素子
58 シャッタ
59 イメージセンサ部
60 水平走査部
61 垂直走査部
62 P/S変換部
63 DSP部
64 S/P変換部
65 バッファメモリ
75 バッファメモリ
78 表示駆動回路
79 表示部
DESCRIPTION OF SYMBOLS 1 Imaging device 2 Control circuit 3 CPU
5 control circuit 23 program memory 24 data memory 25 image memory medium 30 external trigger terminal 31 trigger detection unit 32 program memory 39 detection circuit 47 disk medium 56 image sensor 58 shutter 59 image sensor unit 60 horizontal scanning unit 61 vertical scanning unit 62 P / S conversion unit 63 DSP unit 64 S / P conversion unit 65 Buffer memory 75 Buffer memory 78 Display drive circuit 79 Display unit

Claims (10)

所定のフレーム周期に従って撮像する撮像手段と、
この撮像手段により前記フレーム周期に従って撮像された複数の画像からなる連続画像を記憶する画像記憶手段と、
この画像記憶手段に記憶された連続画像を構成する複数の画像から、間欠的に画像を選択する選択手段と、
この選択手段により選択された複数の画像を合成して、合成画像を生成する画像合成手段と、
この画像合成手段により生成された前記合成画像を表示する表示手段と
を備えることを特徴とする撮像装置。
Imaging means for imaging according to a predetermined frame period;
Image storage means for storing continuous images composed of a plurality of images imaged according to the frame period by the imaging means;
A selection means for intermittently selecting an image from a plurality of images constituting a continuous image stored in the image storage means;
A plurality of images selected by the selection means, and an image composition means for generating a composite image;
An imaging apparatus comprising: display means for displaying the composite image generated by the image composition means.
前記画像記憶手段は、開始操作に応じて前記画像の記憶を開始するとともに、終了操作に応じて前記画像の記憶を終了し、
前記選択手段は、前記画像記憶手段が記憶を終了した直後における連続画像から、間欠的に画像を選択し、
前記表示手段は、前記画像記憶手段が記憶を終了した直後において前記合成画像を表示することを特徴とする請求項1記載の撮像装置。
The image storage means starts storing the image in response to a start operation and ends storing the image in response to an end operation,
The selection means intermittently selects an image from continuous images immediately after the image storage means finishes storing,
The imaging apparatus according to claim 1, wherein the display unit displays the composite image immediately after the image storage unit finishes storing.
前記記録手段に記録された複数の画像からなる連続画像を再生する再生手段を更に備え、
前記選択手段は、前記再生手段により前記連続画像を再生する再生モードにおいて、当該連続画像を構成する複数の画像から、間欠的に画像を選択することを特徴とする請求項1記載の撮像装置。
Replaying means for replaying a continuous image composed of a plurality of images recorded in the recording means;
The imaging apparatus according to claim 1, wherein the selection unit intermittently selects an image from a plurality of images constituting the continuous image in a reproduction mode in which the reproduction unit reproduces the continuous image.
前記合成手段は、前記選択手段により選択された複数の画像を配置して、単一の合成画像を生成することを特徴とする請求項1記載の撮像装置。   The imaging apparatus according to claim 1, wherein the synthesizing unit arranges a plurality of images selected by the selection unit to generate a single synthesized image. 前記合成手段は、前記選択手段により選択された複数の画像の所定部分を各々切り出し、この切り出した部分画像を所定の方向に配列して、単一の合成画像を生成することを特徴とする請求項1記載の撮像装置。   The synthesizing unit cuts out a predetermined portion of each of the plurality of images selected by the selecting unit, and arranges the cut out partial images in a predetermined direction to generate a single combined image. Item 2. The imaging device according to Item 1. 前記合成手段は、前記選択手段により選択された複数の画像を重ね合わせて、単一の合成画像を生成することを特徴とする請求項1記載の撮像装置。   The imaging apparatus according to claim 1, wherein the synthesizing unit generates a single synthesized image by superimposing a plurality of images selected by the selecting unit. 操作手段を更に備え、
前記選択手段は、前記操作手段に対する操作に応じて、前記複数の画像から異なる間欠タイミングで画像を選択することを特徴とする請求項4、5又は6記載の撮像装置。
Further comprising an operating means,
7. The imaging apparatus according to claim 4, 5 or 6, wherein the selection unit selects an image from the plurality of images at different intermittent timings according to an operation on the operation unit.
撮影シーンに対応して、異なるフレーム周期と異なる画像合成形態とを記憶した制御情報記憶手段を備え、
前記撮像手段は、前記制御情報記憶手段から選択された撮影シーン対応するフレーム周期に従って撮像し、
前記画像合成手段は、前記選択された撮影シーン対応する画像合成形態で前記複数の画像を合成することを特徴とする請求項1記載の撮像装置。
Corresponding to the shooting scene, comprising a control information storage means for storing different frame periods and different image composition forms,
The image pickup means picks up an image according to a frame period corresponding to a shooting scene selected from the control information storage means,
The imaging apparatus according to claim 1, wherein the image synthesizing unit synthesizes the plurality of images in an image synthesis form corresponding to the selected shooting scene.
所定のフレーム周期に従って撮像する撮像手段と、この撮像手段により前記フレーム周期に従って撮像された複数の画像からなる連続画像を記憶する画像記憶手段とを備える装置が有するコンピュータを、
前記画像記憶手段に記憶された連続画像を構成する複数の画像から、間欠的に画像を選択する選択手段、
この選択手段により選択された複数の画像を合成して、合成画像を生成する画像合成手段、
この画像合成手段により生成された前記合成画像を表示させる表示制御手段
として機能させることを特徴とする画像処理プログラム。
A computer having an apparatus that includes an imaging unit that captures an image according to a predetermined frame period and an image storage unit that stores a continuous image including a plurality of images captured by the imaging unit according to the frame period;
Selection means for intermittently selecting an image from a plurality of images constituting a continuous image stored in the image storage means;
A plurality of images selected by the selection means, and an image composition means for generating a composite image;
An image processing program that functions as display control means for displaying the composite image generated by the image composition means.
所定のフレーム周期に従って撮像する撮像ステップと、
この撮像ステップにより前記フレーム周期に従って撮像された複数の画像からなる連続画像を記憶する画像記憶ステップと、
この画像記憶ステップにより記憶された連続画像を構成する複数の画像から、間欠的に画像を選択する選択ステップと、
この選択ステップにより選択された複数の画像を合成して、合成画像を生成する画像合成ステップと、
この画像合成ステップにより生成された前記合成画像を表示する表示ステップと
を含むことを特徴とする画像処理方法。
An imaging step of imaging according to a predetermined frame period;
An image storage step of storing a continuous image composed of a plurality of images imaged according to the frame period by the imaging step;
A selection step of intermittently selecting an image from a plurality of images constituting the continuous image stored in the image storage step;
A plurality of images selected by the selection step, and an image synthesis step for generating a synthesized image;
And a display step for displaying the composite image generated by the image composition step.
JP2007208722A 2007-08-10 2007-08-10 Imaging device, image processing program and image processing method Pending JP2009044573A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007208722A JP2009044573A (en) 2007-08-10 2007-08-10 Imaging device, image processing program and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007208722A JP2009044573A (en) 2007-08-10 2007-08-10 Imaging device, image processing program and image processing method

Publications (2)

Publication Number Publication Date
JP2009044573A true JP2009044573A (en) 2009-02-26
JP2009044573A5 JP2009044573A5 (en) 2010-09-09

Family

ID=40444805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007208722A Pending JP2009044573A (en) 2007-08-10 2007-08-10 Imaging device, image processing program and image processing method

Country Status (1)

Country Link
JP (1) JP2009044573A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075680A (en) * 2009-11-20 2011-05-25 索尼公司 Image processing apparatus, image processing method and program
CN102075682A (en) * 2009-11-20 2011-05-25 索尼公司 Image capturing apparatus, image processing apparatus, control method thereof and program
US8670047B2 (en) 2009-12-28 2014-03-11 Sony Corporation Image processing apparatus, imaging apparatus, image processing method, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918864A (en) * 1995-06-30 1997-01-17 Nippon Software Eng Kk Flying object information processor
JP2001036858A (en) * 1997-09-02 2001-02-09 Casio Comput Co Ltd Image reproducer and image reproducing method
JP2005006198A (en) * 2003-06-13 2005-01-06 Canon Inc Imaging apparatus, its controlling method, program, and recording medium
JP2005151475A (en) * 2003-11-19 2005-06-09 Kyocera Corp Imaging apparatus
JP2007116418A (en) * 2005-10-20 2007-05-10 Sony Corp Image conversion device, image signal processing device, camera system and image signal processing method
JP2007180904A (en) * 2005-12-28 2007-07-12 Samsung Techwin Co Ltd Imaging apparatus, and photographing method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918864A (en) * 1995-06-30 1997-01-17 Nippon Software Eng Kk Flying object information processor
JP2001036858A (en) * 1997-09-02 2001-02-09 Casio Comput Co Ltd Image reproducer and image reproducing method
JP2005006198A (en) * 2003-06-13 2005-01-06 Canon Inc Imaging apparatus, its controlling method, program, and recording medium
JP2005151475A (en) * 2003-11-19 2005-06-09 Kyocera Corp Imaging apparatus
JP2007116418A (en) * 2005-10-20 2007-05-10 Sony Corp Image conversion device, image signal processing device, camera system and image signal processing method
JP2007180904A (en) * 2005-12-28 2007-07-12 Samsung Techwin Co Ltd Imaging apparatus, and photographing method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075680A (en) * 2009-11-20 2011-05-25 索尼公司 Image processing apparatus, image processing method and program
CN102075682A (en) * 2009-11-20 2011-05-25 索尼公司 Image capturing apparatus, image processing apparatus, control method thereof and program
CN102075680B (en) * 2009-11-20 2014-06-04 索尼公司 Image processing apparatus, image processing method and program
US8896626B2 (en) 2009-11-20 2014-11-25 Sony Corporation Image capturing apparatus, image processing apparatus, control method thereof and program
US9407804B2 (en) 2009-11-20 2016-08-02 Sony Corporation Method, apparatus, and non-transitory medium for generating a synthetic image from a series of captured images
US8670047B2 (en) 2009-12-28 2014-03-11 Sony Corporation Image processing apparatus, imaging apparatus, image processing method, and program

Similar Documents

Publication Publication Date Title
JP5895409B2 (en) Imaging device
TWI465107B (en) Image capturing apparatus capable of displaying live preview image
JP5117280B2 (en) IMAGING DEVICE, IMAGING METHOD, REPRODUCTION DEVICE, AND REPRODUCTION METHOD
TWI514847B (en) Image processing device, image processing method, and recording medium
JP5516662B2 (en) Imaging device
JP5167094B2 (en) Imaging apparatus and imaging method
JP2011071968A (en) Data structure of still image file, image file generating device, image reproducing unit, and electronic camera
JP5377768B2 (en) Image processing method and apparatus
JP2008098754A (en) Imaging apparatus, image reproducing device and display method for picked-up image
KR101433119B1 (en) Image processing device for generating composite image having predetermined aspect ratio
JP2008310696A (en) Imaging device, stereoscopic image reproducing device, and stereoscopic image reproducing program
US7659926B2 (en) Imaging apparatus and imaging method
US20110199496A1 (en) Image capturing apparatus, image capturing control method, and storage medium
KR20120115127A (en) Image processing device capable of generating wide-range image
JP2009058834A (en) Imaging apparatus
JP2008072682A (en) Imaging apparatus
KR101665175B1 (en) Image acquisition apparatus,image acquisition method and recording medium
JP2008124896A (en) Imaging apparatus and program therefor
JP2009044573A (en) Imaging device, image processing program and image processing method
JP2007166539A (en) Imaging apparatus, imaging method, program and storage medium
JP2013110562A (en) Imaging apparatus
JP2011135502A (en) Image display program, image display device and digital camera
JP2016131378A (en) Imaging apparatus
JP4130592B2 (en) Imaging apparatus and control method thereof
JP4781147B2 (en) Imaging apparatus and image processing method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100723

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120607

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120703