JP2009044573A - Imaging device, image processing program and image processing method - Google Patents
Imaging device, image processing program and image processing method Download PDFInfo
- Publication number
- JP2009044573A JP2009044573A JP2007208722A JP2007208722A JP2009044573A JP 2009044573 A JP2009044573 A JP 2009044573A JP 2007208722 A JP2007208722 A JP 2007208722A JP 2007208722 A JP2007208722 A JP 2007208722A JP 2009044573 A JP2009044573 A JP 2009044573A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- shooting
- unit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、高速度撮影機能を備えた撮像装置、及びこの撮像装置に用いられる画像処理プログラム及び画像処理方法関する。 The present invention relates to an imaging apparatus having a high-speed imaging function, and an image processing program and an image processing method used in the imaging apparatus.
従来、高速で移動する物体を明瞭な画像でスロー再生可能に撮影する高速度撮像装置が提案されている。この高速度撮像装置は、第1、第2、第3の撮像素子を順次作動させることにより、高速移動する球状物体を短い時間間隔で撮像して、時系列的に連続する複数の画像を得る。したがって、これら時系列的に連続する複数の画像をスロー再生した場合であっても、明瞭に球状物体の動作を再生することができる(例えば、特許文献1参照。)。
ところで、今日においては6百万画素の解像度で60フレーム/秒、VGAの低解像度でも300フレーム/秒以上など、高解像度で高速度撮影が可能なCMOSイメージセンサが開発されるに至っている。このようなCMOSイメージセンサを利用すると、前述した従来技術のように第1、第2、第3の撮像素子を用いることなく、コンパクトカメラでも高解像度で高フレームレートの高速連写や動画撮影が可能となる。 Nowadays, CMOS image sensors capable of high-speed and high-speed photography, such as 60 frames / second with a resolution of 6 million pixels and 300 frames / second or more with a low resolution of VGA, have been developed. When such a CMOS image sensor is used, high-speed continuous shooting and moving image shooting with a high resolution and a high frame rate can be performed even with a compact camera without using the first, second, and third imaging elements as in the prior art described above. It becomes possible.
しかしながら、前記CMOSイメージセンサを利用すると、短時間で大量のフレーム画像が簡単に撮影できる反面、撮影されたフレーム画像の数は膨大となってしまう。このため、撮影した全てのフレーム画像を同一画面上にマルチ表示したり、同一紙面上にプリントアウトすることが困難となり、ユーザにおいて撮影対象の全体的な動きの特徴を確認したり把握することが困難となる。 However, when the CMOS image sensor is used, a large number of frame images can be easily captured in a short time, but the number of captured frame images becomes enormous. For this reason, it is difficult to display all captured frame images in a multi-display on the same screen or to print them out on the same sheet, so that the user can confirm and grasp the characteristics of the overall movement of the shooting target. It becomes difficult.
また、各フレーム画像は時間的に近接していることから、時間的に隣接する画像の変化は微小なものとなり、近似するフレーム画像が多数存在する。このため、例え撮影した全てのフレーム画像の同一画面上のマルチ表示や、同一紙面上へのプリントアウトの際、近似する画像が多数存在することにより、ユーザは撮影対象の全体的な動きを的確に把握することが困難となる。 Further, since the frame images are temporally close to each other, the change in the temporally adjacent images is minute, and there are many approximate frame images. For this reason, for example, when multiple frame images taken are displayed on the same screen or printed out on the same sheet, there are many similar images, so that the user can accurately determine the overall movement of the shooting target. It becomes difficult to grasp.
本発明は、かかる従来の課題に鑑みてなされたものであり、連続撮影された画像からなる合成画像を生成・表示する際、ユーザが所望する態様の合成画像を作成、表示が可能となる撮像装置、画像処理プログラム及び画像処理方法を提供することを目的とする。 The present invention has been made in view of such a conventional problem, and can generate and display a composite image in a mode desired by a user when generating and displaying a composite image composed of continuously shot images. An object is to provide an apparatus, an image processing program, and an image processing method.
前記課題を解決するために請求項1記載の発明にあっては、所定のフレーム周期に従って撮像する撮像手段と、この撮像手段により前記フレーム周期に従って撮像された複数の画像からなる連続画像を記憶する画像記憶手段と、この画像記憶手段に記憶された連続画像を構成する複数の画像から、間欠的に画像を選択する選択手段と、この選択手段により選択された複数の画像を合成して、合成画像を生成する画像合成手段と、この画像合成手段により生成された前記合成画像を表示する表示手段とを備えることを特徴とする。 In order to solve the above-mentioned problem, in the first aspect of the present invention, an image pickup means for picking up images according to a predetermined frame period and a continuous image composed of a plurality of images picked up by the image pickup means according to the frame period are stored. An image storage means, a selection means for intermittently selecting an image from a plurality of images constituting a continuous image stored in the image storage means, and a plurality of images selected by the selection means are synthesized and combined. An image composition means for generating an image and a display means for displaying the composite image generated by the image composition means are provided.
また、請求項2記載の発明にあっては、前記画像記憶手段は、開始操作に応じて前記画像の記憶を開始するとともに、終了操作に応じて前記画像の記憶を終了し、前記選択手段は、前記画像記憶手段が記憶を終了した直後における連続画像から、間欠的に画像を選択し、前記表示手段は、前記画像記憶手段が記憶を終了した直後において前記合成画像を表示することを特徴とする。
In the invention according to
また、請求項3記載の発明にあっては、前記記録手段に記録された複数の画像からなる連続画像を再生する再生手段を更に備え、前記選択手段は、前記再生手段により前記連続画像を再生する再生モードにおいて、当該連続画像を構成する複数の画像から、間欠的に画像を選択することを特徴とする。 According to a third aspect of the present invention, the image processing apparatus further includes a reproduction unit that reproduces a continuous image composed of a plurality of images recorded in the recording unit, and the selection unit reproduces the continuous image by the reproduction unit. In the reproduction mode, the image is intermittently selected from a plurality of images constituting the continuous image.
また、請求項4記載の発明にあっては、前記合成手段は、前記選択手段により選択された複数の画像を配置して、単一の合成画像を生成することを特徴とする。 The invention according to claim 4 is characterized in that the synthesizing unit generates a single synthesized image by arranging a plurality of images selected by the selecting unit.
また、請求項5記載の発明に係る撮像装置にあっては、前記合成手段は、前記選択手段により選択された複数の画像の所定部分を各々切り出し、この切り出した部分画像を所定の方向に配列して、単一の合成画像を生成することを特徴とする。 In the image pickup apparatus according to the fifth aspect of the invention, the synthesizing unit cuts out a predetermined portion of each of the plurality of images selected by the selection unit, and arranges the cut out partial images in a predetermined direction. Thus, a single composite image is generated.
また、請求項6記載の発明にあっては、前記合成手段は、前記選択手段により選択された複数の画像を重ね合わせて、単一の合成画像を生成することを特徴とする。 The invention according to claim 6 is characterized in that the synthesizing unit generates a single synthesized image by superimposing a plurality of images selected by the selecting unit.
また、請求項7記載の発明にあっては、操作手段を更に備え、前記選択手段は、前記操作手段に対する操作に応じて、前記複数の画像から異なる間欠タイミングで画像を選択することを特徴とする。 The invention according to claim 7 further comprises an operation means, wherein the selection means selects an image from the plurality of images at different intermittent timings according to an operation on the operation means. To do.
また、請求項8記載の発明にあっては、撮影シーンに対応して、異なるフレーム周期と異なる画像合成形態とを記憶した制御情報記憶手段を備え、前記撮像手段は、前記制御情報記憶手段から選択された撮影シーン対応するフレーム周期に従って撮像し、前記画像合成手段は、前記選択された撮影シーン対応する画像合成形態で前記複数の画像を合成することを特徴とする。 According to the eighth aspect of the invention, there is provided control information storage means for storing different frame periods and different image composition forms corresponding to the shooting scene, and the image pickup means includes the control information storage means. The imaging is performed according to the frame period corresponding to the selected photographic scene, and the image synthesizing unit synthesizes the plurality of images in an image synthesizing form corresponding to the selected photographic scene.
また、請求項9記載の発明にあっては、所定のフレーム周期に従って撮像する撮像手段と、この撮像手段により前記フレーム周期に従って撮像された複数の画像からなる連続画像を記憶する画像記憶手段とを備える装置が有するコンピュータを、前記画像記憶手段に記憶された連続画像を構成する複数の画像から、間欠的に画像を選択する選択手段、この選択手段により選択された複数の画像を合成して、合成画像を生成する画像合成手段、この画像合成手段により生成された前記合成画像を表示させる表示制御手段として機能させることを特徴とする。 According to the ninth aspect of the present invention, there is provided imaging means for imaging in accordance with a predetermined frame period, and image storage means for storing continuous images made up of a plurality of images taken by the imaging means in accordance with the frame period. A computer included in the apparatus comprising: a selection means for intermittently selecting an image from a plurality of images constituting a continuous image stored in the image storage means; a plurality of images selected by the selection means; An image synthesizing unit that generates a synthesized image, and a display control unit that displays the synthesized image generated by the image synthesizing unit.
また、請求項10記載の発明にあっては、所定のフレーム周期に従って撮像する撮像ステップと、この撮像ステップにより前記フレーム周期に従って撮像された複数の画像からなる連続画像を記憶する画像記憶ステップと、この画像記憶ステップにより記憶された連続画像を構成する複数の画像から、間欠的に画像を選択する選択ステップと、この選択ステップにより選択された複数の画像を合成して、合成画像を生成する画像合成ステップと、この画像合成ステップにより生成された前記合成画像を表示する表示ステップとを含むことを特徴とする。
Further, in the invention according to
本発明によれば、ユーザが所望する態様の合成画像の作成、表示が可能となる。 According to the present invention, it is possible to create and display a composite image in a mode desired by a user.
以下、本発明の一実施の形態を図に従って説明する。図1は、本発明の一実施の形態に係る撮像装置1の回路構成を示すブロック図である。撮像装置1は、高速連続撮影機能を備えており、図に示すように、制御回路2を有している。制御回路2には、CPU3とこのCPU3にデータバス4を介して各々接続されたインターフェース5、音声入出力回路6、入力回路7、メモリカードインターフェース8、USBコントローラ9、入出力インターフェース10、入出力回路11、入出力ポート12、13、HDDインターフェース14が設けられている。音声入出力回路6には、マイク16がアンプ17及びA/D変換器18を介して接続されているとともに、スピーカ19がアンプ20及びD/A変換器21を介して接続されている。入力回路7には、各種操作キー、スイッチ等が設けられた操作入力部22が接続され、メモリカードインターフェース8には脱着自在に設けられた画像メモリ媒体25が接続されている。USBコントローラ9はUSB端子26に接続されており、入出力インターフェース10はアンテナ27を有する無線LAN送受信部28に通信コントローラ29を介して接続されている。また、入出力回路11には、外部トリガー端子30がトリガー検出部31を介して接続されている。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a circuit configuration of an
前記入出力ポート12には、焦点レンズ駆動部32、ズームレンズ駆動部33、絞り駆動部34及びシャッタ駆動部35が接続されているとともに、ストロボ36がストロボ駆動回路37を介して接続され、測光/測距センサ38が検出回路39を介して接続されている。前記入出力ポート13には、当該撮像装置1の上下方向のブレを検出する角速度センサ(Y/Pitch)40と、上下方向のブレを検出する角速度センサ(X/Yaw)42とが各々検出回路41、43を介して接続されている。HDDインターフェース14には、HDD記憶装置46が接続されている。HDD記憶装置46は、ディスク媒体47を有するとともに、モータ48、モータドライバ49、マイコン部50、VCモータ51、ヘッドアンプ52、リード/ライトチャンネル+CODEC53、HDD制御部54等を有している。
The input /
また、制御回路2には、電池44が電源制御部45を介して接続され、電源制御部45は制御回路2により制御されて各部に電池44からの電力を供給する。さらに、前記データバス4には音声CODEC(符号器/復号器)15、プログラムメモリ23及びデータメモリ24が接続されている。音声CODEC15は、音声信号を符号化するとともに音声データを復号化する。プログラムメモリ23は、後述するフローチャートに示す制御回路2が動作するためのプログラムを格納しており、データメモリ24は各種データが予め格納されているとともに画像データ以外の他のデータを格納する。
In addition, a
一方、ズームレンズを含む撮像光学系55の後方光軸上には、撮像素子56が配置されているとともに、撮像光学系55中には前記絞り駆動部34により駆動される絞り57及び前記シャッタ駆動部35により駆動されるシャッタ58が介挿されている。また、前記焦点レンズ駆動部32は、撮像光学系55中の焦点レンズを駆動し、ズームレンズ駆動部33はズームレンズを駆動するように構成されている。
On the other hand, an
前記撮像素子56は、並列読み出しなどの高速読み出しが可能なものであり、イメージセンサ部59、水平走査部60、垂直走査部61、P/S変換部62を有している。この撮像素子56には、DSP部63が接続されている。DSP部63には、撮像素子56のP/S変換部62から取り込んだ画像信号を処理するためのS/P変換部64、バッファメモリ65、WB補正部66、リサイズ/画素補間部67、カラー補間部68、輪郭補正部69、ガンマ補正部70、マトリクス回路部71を備えているとともに、前記垂直走査部61の周期を制御するためのコントローラ73、前記バッファメモリ65及び画像認識処理ほかデジタル信号処理部72を備えている。
The
前記マトリクス回路部71と画像認識処理ほかデジタル信号処理部72とは、画像データバス74を介してバッファメモリ75、画像CODEC(符号器/復号器)76、動画像CODEC(符号器/復号器)77及び表示駆動回路78に接続され、画像データバス74は前記制御回路2のインターフェース5に接続されている。画像認識処理ほかデジタル信号処理部72は、撮影された複数の画像をデジタル処理して合成し、バッファメモリ75は、画像CODEC76及び動画像CODEC77が符号化及び復号化処理する際の画像データを一時的に格納し、表示駆動回路78は、(ファインダ)表示部79を駆動する。
The
図2及び図3は、前記プログラムメモリ23に格納されているシーン別撮影プログラムの設定データの例を示す図である。すなわち、撮像装置1は、高速度連写、動画撮影のみならず静止画撮影を可能であって、図2に示すように一般のシーン別(静止画)撮影プログラムにおいては、人物を撮影する場合、風景を撮影する場合等のシーン別撮影プログラム毎に見本画像と、この見本画像と説明等を表示させるための表示用データが記憶されている。
2 and 3 are diagrams showing examples of setting data of the scene-specific shooting program stored in the program memory 23. FIG. In other words, the
また、これら見本画像等に対応して「高速度撮影の条件」と「その他の撮影条件/補正条件」が記憶されている。「高速度撮影の条件」としては、「撮影速度(f/s(frame/second))」、「連続撮影コマ数」、「露出時間(s)」、「画像サイズ」、「トリガー条件」、「再生速度(f/s)」、「画像合成」が記憶されており、その「他の撮影条件/補正条件」としては、「ストロボ」、「ホワイトバランス」、「ISO感度、測光方式」、「AFエリア」、「フィルタ」、「色強調」、「彩度」、「シャープネス」等が記憶されている。 Further, “high-speed shooting conditions” and “other shooting conditions / correction conditions” are stored in correspondence with these sample images. “High-speed shooting conditions” include “shooting speed (f / s (frame / second))”, “continuous shooting frame number”, “exposure time (s)”, “image size”, “trigger condition”, “Playback speed (f / s)” and “Image composition” are stored, and as “other shooting conditions / correction conditions”, “strobe”, “white balance”, “ISO sensitivity, photometry”, “AF area”, “filter”, “color enhancement”, “saturation”, “sharpness”, and the like are stored.
また、図3に示すように高速度撮影のシーン別撮影プログラムにおいては、ミルククラウンを撮影する場合、走る車を撮影する場合、ゴルフスィングを撮影する場合等の、高速度撮影のシーン別撮影プログラム毎に見本画像と、この見本画像と説明等を表示させるための表示用データが記憶されているとともに、前述した「高速度撮影の条件」と「その他の撮影条件/補正条件」が記憶されている。 Further, as shown in FIG. 3, in the high speed shooting scene-specific shooting program, when shooting a milk crown, shooting a running car, shooting a golf swing, etc., a high speed shooting scene-specific shooting program Each sample image and display data for displaying the sample image and description are stored, and the above-mentioned “high-speed shooting conditions” and “other shooting conditions / correction conditions” are stored. Yes.
そして、図2は一般(単一の静止画)のシーン別撮影プログラムの設定データであることから、「撮影速度(f/s)」、「連続撮影コマ数」は記憶されておらず、図3は高速度撮影のシーン別撮影プログラムの設定データであることから、「撮影速度(f/s)」として「1200fps」、「300fps」等が記憶され、「連続撮影コマ数」として「連続600コマ(0.5秒)」、「連続900コマ(3秒)」等が記憶されている。 Since FIG. 2 shows setting data of a general (single still image) scene-specific shooting program, “shooting speed (f / s)” and “continuous shooting frame number” are not stored. Since 3 is the setting data of the high-speed shooting scene-specific shooting program, “1200 fps”, “300 fps”, etc. are stored as “shooting speed (f / s)”, and “continuous shooting frame number” is “continuous 600”. “Frame (0.5 seconds)”, “continuous 900 frames (3 seconds)”, and the like are stored.
また、図3の高速度撮影のシーン別撮影プログラムの設定データにおける「高速度撮影の条件」の「画像合成」は、高速度撮影された複数の画像から間欠的に画像を選択して1枚の画像に合成する際の画像合成形態を示す。 In addition, “image composition” of “high-speed shooting conditions” in the setting data of the scene-by-scene shooting program of FIG. 3 selects one image intermittently from a plurality of high-speed shot images. An image composition form at the time of compositing the image is shown.
つまり、ミルククラウンを撮影する場合の「画像合成」に対応して記憶されている「レイアウト合成9枚」は、シーン別撮影プログラムにおいて「ミルククラウン」を選択して高速度撮影を行った場合、合成画像を生成する際には、高速度撮影された複数の画像から9枚を間欠的選択して、後述するレイアウト合成することを意味する。また、ゴルフスィングを撮影する場合の「画像合成」に対応して記憶されている「横並びスライス合成」は、シーン別撮影プログラムにおいて「ゴルフスィング」を選択して高速度撮影を行った場合、合成画像を生成する際には、画像を代並びにして後述するスライス合成することを意味する。
That is, the “
なお、「高速度撮影の条件」の中には、図3に示すミルククラウンにおける「60fps(スロー再生1/20)」のように再生時の速度である「再生速度(f/s)」も含まれている。
It should be noted that “reproduction speed (f / s)” which is a reproduction speed such as “60 fps (
(全体的動作)
図4及び図5は、本発明の第1の実施の形態における処理手順を示す一連のフローチャートである。制御回路2はプログラムメモリ23に格納されているプログラムに基づき、このフローチャートに示すような処理を実行する。先ず、ユーザによる操作入力部22での操作により、撮影モードが設定されているか否かを判断する(ステップS101)。撮影モードが設定されていない場合には、その他のモード処理に移行する(ステップS102)。
(Overall operation)
4 and 5 are a series of flowcharts showing a processing procedure in the first embodiment of the present invention. The
撮影モードが設定された場合には、ユーザによる操作入力部22での操作により、「シーン別撮影プログラムから選択」が選択されたか否かを判断する(ステップS103)。「シーン別撮影プログラムから選択」が選択されなかった場合には、操作入力に応じて、撮影速度(コマ数/秒)、露出時間及びその他の撮影条件を設定して(ステップS104)、ステップS109に進む。 When the shooting mode is set, it is determined whether or not “Select from scene-specific shooting program” has been selected by the operation of the operation input unit 22 by the user (step S103). If “select from scene-specific shooting program” is not selected, the shooting speed (number of frames / second), exposure time, and other shooting conditions are set according to the operation input (step S104), and step S109. Proceed to
「シーン別撮影プログラムから選択」が選択された場合には、シーン別撮影プログラムの見本画像又はその一覧を表示部79に表示し(ステップS105)、操作入力に応じて、シーン又は見本画像を選択する(ステップS106)。また、この選択されたシーン又は見本画像のプログラムに従って、その他の撮影条件(図2、3参照)を設定する(ステップS107)。 When “select from scene-specific shooting program” is selected, a sample image of a scene-specific shooting program or a list thereof is displayed on the display unit 79 (step S105), and a scene or a sample image is selected according to an operation input. (Step S106). Further, according to the selected scene or sample image program, other shooting conditions (see FIGS. 2 and 3) are set (step S107).
次に、ズーム処理、AF処理、測光処理を実行した後(ステップS108)、被写体像のスルー画像を表示部79に表示させる(ステップS109)。このスルー画像の表示状態におけるフレーム周期は、通常の低速周期例えば30fpsである。ユーザはこの表示部79に表示されたスルー画像を見ながら、この撮像装置1の向きを調整する。この間、操作入力部22に設けられているレリーズ釦が操作されたか、又は所定の撮影操作があったか否か、及び開始トリガーが検出されたか否かを判断し(図5、ステップS110)、いずれもない場合にはその他のキー処理、表示処理を実行する(ステップS111)。
Next, after executing zoom processing, AF processing, and photometry processing (step S108), a through image of the subject image is displayed on the display unit 79 (step S109). The frame period in the through image display state is a normal low-speed period, for example, 30 fps. The user adjusts the orientation of the
また、レリーズ釦の操作や撮影操作があったか、又は開始トリガーが検出された場合には、前記ステップS106で選択された選択シーンは高速度の連続撮影か否かを判断する(ステップS112)。選択シーンが高速度の連続撮影である場合には、選択されたシーン又は見本画像に従って、必要な撮影速度(コマ数/秒)、コマ数、及び露出時間を設定する(ステップS113)。つまり、ミルククラウンの撮影シーンが選択された場合には、撮影速度は「1200fps」であることから、撮影速度として1200fps(第2のフレーム周期)が設定され、コマ数は「600コマ」であることからコマ数として600が設定され、露出時間は「1/6000(s)」であること露出時間として1/6000(s)が設定される。これにより、フレーム周期は前記通常の周期例えば30fps(第1のフレーム周期)から、これよりも高い1200fps(第2のフレーム周期)に変化することとなる。 If there is a release button operation or shooting operation, or if a start trigger is detected, it is determined whether or not the selected scene selected in step S106 is high-speed continuous shooting (step S112). If the selected scene is high-speed continuous shooting, the required shooting speed (frame number / second), frame number, and exposure time are set according to the selected scene or sample image (step S113). In other words, when the milk crown shooting scene is selected, the shooting speed is “1200 fps”, so that 1200 fps (second frame period) is set as the shooting speed, and the number of frames is “600 frames”. Therefore, 600 is set as the number of frames, the exposure time is “1/6000 (s)”, and 1/6000 (s) is set as the exposure time. As a result, the frame period changes from the normal period, for example, 30 fps (first frame period) to 1200 fps (second frame period) which is higher than the normal period.
さらに、設定された撮影速度に基づいて、撮影時間間隔を設定する(ステップS114)。つまり、ミルククラウンの撮影シーンが選択された場合には、撮影速度は1200fpsであることから、撮影時間間隔は1/1200秒となり、撮影時間間隔として1/1200秒が設定される。 Further, a shooting time interval is set based on the set shooting speed (step S114). That is, when a milk crown shooting scene is selected, the shooting speed is 1200 fps, so the shooting time interval is 1/1200 seconds, and the shooting time interval is set to 1/1200 seconds.
次に、設定された露出時間、及びその他の撮影条件に基づいて、露出及び撮影処理を行って1フレーム分の画像を撮影する(ステップS115)。また、この撮影した1フレーム分の撮影画像データを圧縮し符号化して(ステップS116)、メモリ(バッファメモリ75)に記録する(ステップS117)。このとき、前記ステップS110で開始トリガーを検出した時点で撮影した撮影画像データに関しては、図7、図9、図12に示すように、開始トリガー点の撮影画像データであることを示す情報も記録する。なお、図7に示すように、当該シーンにおける代表的な画像を特定するための代表トリガーを検出して、代表トリガー点の撮影画像データであることを示す情報も記録するようにしてもよい。しかる後、撮影コマ数をカウントするカウンタをカウントアップさせる(ステップS118)。 Next, based on the set exposure time and other shooting conditions, exposure and shooting processing are performed to capture an image for one frame (step S115). The captured image data for one frame is compressed and encoded (step S116) and recorded in the memory (buffer memory 75) (step S117). At this time, regarding the captured image data captured at the time when the start trigger is detected in step S110, information indicating that it is captured image data at the start trigger point is also recorded, as shown in FIGS. To do. Note that, as shown in FIG. 7, a representative trigger for specifying a representative image in the scene may be detected, and information indicating the captured image data of the representative trigger point may be recorded. Thereafter, a counter for counting the number of frames taken is incremented (step S118).
次に、撮影コマ数が設定コマ数(ミルククラウンの場合「600コマ」)以上となったか否かを判断し(ステップS119)、撮影コマ数≧設定コマ数となっていなければ、計時処理を行って前回の1フレームの撮影からの時間を計時する(ステップS120)。この計時した前回の1フレーム撮影からの時間が、前記ステップS114で設定した撮影時間間隔(1/1200秒)を経過したか否かを判断する(ステップS122)。そして、撮影時間間隔を経過した時点でステップS115からの処理を繰り返す。したがって、ミルククラウンの撮影シーンが選択された場合には、ステップS115からの処理が1/1200秒の周期で繰り返され、1/1200秒毎に撮影された各フレーム画像データがメモリ(バッファメモリ75)に蓄積されていく。 Next, it is determined whether or not the number of frames to be photographed is equal to or greater than the set number of frames (“600 frames in the case of milk crown”) (step S119). Then, the time from the previous shooting of one frame is counted (step S120). It is determined whether or not the time measured since the previous one-frame shooting has passed the shooting time interval (1/1200 seconds) set in step S114 (step S122). Then, the processing from step S115 is repeated when the photographing time interval has elapsed. Therefore, when the milk crown photographing scene is selected, the processing from step S115 is repeated at a cycle of 1/1200 seconds, and each frame image data photographed every 1/1200 seconds is stored in the memory (buffer memory 75). ).
そして、本例の場合撮影コマ数が「600」となると、撮影コマ数=設定コマ数となり、ステップS119の判断がYESとなる。よって、ステップS119からステップS122に進み、終了トリガーを発生させる。また、連続撮影画像データ(600のフレーム画像データ)を、グループデータとして、撮影条件とともにメモリ(画像メモリ媒体25、又はディスク媒体47)に記録する処理を実行する。ここで、前述のように撮影条件には、「再生速度(f/s)」も含まれることから、「再生速度(f/s)」もグループデータとともに記録されることとなる。また、前記ステップS122で終了トリガーを発生した時点で撮影した撮影画像データに関しては、図7、図9、図12に示すように、終了トリガー点の撮影画像データであることを示す情報も記録する。
In this example, when the number of shot frames is “600”, the number of shot frames = the set number of frames, and the determination in step S119 is YES. Accordingly, the process proceeds from step S119 to step S122, and an end trigger is generated. In addition, a process of recording continuously shot image data (600 frame image data) as group data in a memory (the
さらに、レイアウト合成や多重合成などの自動編集機能に設定されているか否かを判断し(ステップS124)、設定されていない場合には、ステップS125及びステップS126の処理を行うことなく、ステップS127に進む。また、設定されている場合には、後述するように設定条件に基づいて、連続撮影画像から抽出した所定の画像を自動編集し(ステップS125)、この編集された画像データをメモリ(画像メモリ媒体25、又はディスク媒体47)に記録する(ステップS126)。しかる後に、前記連続撮影した撮影画像又は自動編集済画像を表示部79にレビュー表示する(ステップS127)。 Further, it is determined whether or not an automatic editing function such as layout composition or multiple composition is set (step S124). If not set, the process proceeds to step S127 without performing the processes of steps S125 and S126. move on. If it is set, a predetermined image extracted from the continuously shot image is automatically edited based on setting conditions as will be described later (step S125), and the edited image data is stored in a memory (image memory medium). 25 or the disk medium 47) (step S126). Thereafter, the continuously photographed image or the automatically edited image is reviewed and displayed on the display unit 79 (step S127).
なお、ステップS125の自動編集処理については、後述の図6〜図12において詳細に説明する。 Note that the automatic editing process in step S125 will be described in detail with reference to FIGS.
他方、ステップS124での判断の結果、連続撮影ではなく単一の静止画撮影であった場合には、設定された撮影条件に基づいて、露出して撮影処理し(ステップS128)、撮影画像データを圧縮、符号化する(ステップS129)。また、この圧縮、符号化した画像データを撮影情報とともにメモリ(画像メモリ媒体25、又はディスク媒体47)へ記録した後(ステップS130)、この撮影画像を表示部79にレビュー表示する(ステップS131)。
On the other hand, as a result of the determination in step S124, if it is not a continuous shooting but a single still image shooting, exposure and shooting processing are performed based on the set shooting conditions (step S128), and the shot image data Is compressed and encoded (step S129). Further, after the compressed and encoded image data is recorded in the memory (the
(高速度撮影画像の合成処理)
次に、図6〜図12に従って、前記ステップS125で実行される「設定条件に基づいて、連続撮影画像から抽出した所定の画像を自動編集」の処理例(1)〜(3)である自動編集処理(1)〜(3)について説明する。
図6の自動編集処理(1)は、高速度撮影画像のレイアウト合成処理の処理手順を示すフローチャートである。前述のように、選択されたシーン別の撮影プログラムに基づいて連続撮影を実行した後(ステップS1)、レイアウト合成撮影に設定されているか否かを判断し(ステップS2)、設定されてない場合にはその他の処理に移行する(ステップS3)。設定されている場合には、撮影プログラムとトリガー信号に従って、連続撮影画像から複数枚の画像を所定間隔(又はランダム)に選択する(ステップS4)。すなわち、図7に示すように開始トリガー点から終了トリガー点までの複数の連続撮影画像Pから、複数枚(本例では9枚)の画像P1〜P9を所定間隔で選択する。
(Composition processing of high-speed shot images)
Next, automatic processing examples (1) to (3) of “automatic editing of a predetermined image extracted from continuously shot images based on setting conditions” executed in step S125 according to FIGS. 6 to 12. The editing processes (1) to (3) will be described.
The automatic editing process (1) in FIG. 6 is a flowchart showing the processing procedure of the layout composition process of the high-speed captured image. As described above, after continuous shooting is performed based on the selected scene-specific shooting program (step S1), it is determined whether or not layout composite shooting is set (step S2). The process proceeds to other processing (step S3). If set, a plurality of images are selected from the continuously shot images at predetermined intervals (or randomly) according to the shooting program and the trigger signal (step S4). That is, as shown in FIG. 7, a plurality of (9 in this example) images P1 to P9 are selected at a predetermined interval from a plurality of continuously shot images P from the start trigger point to the end trigger point.
次に、選択された複数枚の画像を、所定のサイズ、レイアウトで1枚の画像に合成する(ステップS5)。このステップS5での処理により、図7に例示するように、1列目から3列目までに時系列的に画像P1〜P9が配置されたミルククラウンの合成画像P0が生成される。そして、この合成された画像データを符号化してメモリに記憶する(ステップS6)。
したがって、前述のようにミルククラウンを撮影する場合の「画像合成」に対応して「レイアウト合成9枚」が記憶されていることから、ユーザがシーン別撮影プログラムにおいて「ミルククラウン」を選択して高速度撮影を行った場合には、図5のステップS125で図7に例示したミルククラウンの合成画像P0が生成されることとなる。
Next, the selected plurality of images are combined into a single image with a predetermined size and layout (step S5). By the process in step S5, as illustrated in FIG. 7, a composite image P0 of the milk crown in which images P1 to P9 are arranged in time series from the first column to the third column is generated. Then, the synthesized image data is encoded and stored in the memory (step S6).
Therefore, as described above, “9 layout composites” are stored corresponding to “image composition” when photographing a milk crown as described above, so that the user selects “milk crown” in the scene-specific photographing program. When high-speed shooting is performed, a composite image P0 of the milk crown illustrated in FIG. 7 is generated in step S125 of FIG.
よって、ユーザが選択した撮影シーン(ミルククラウン)に応じて適切な合成形態の合成画像P0を生成することができる。 Therefore, it is possible to generate a composite image P0 having an appropriate composite form according to the shooting scene (milk crown) selected by the user.
また、この合成画像P0は、図5のステップS127で表示部79にレビュー表示されることから、ユーザがこれを視認することより、連続的に撮影を行った撮影対象の動きを一見して把握することができる。
Further, since this composite image P0 is displayed as a review on the
しかも、図5のステップS127におけるプレビュー表示は、撮影終了直後に実行されることから、撮影直後において迅速に連続的に撮影を行った撮影対象の動きを一見して把握することができる。 In addition, since the preview display in step S127 of FIG. 5 is executed immediately after the end of shooting, it is possible to grasp at a glance the movement of the shooting target that has been shot quickly and continuously immediately after shooting.
なお、図5のフローチャートにおいて、ステップS125の処理が実行される以前に連続撮影等が行われており、また、次ステップS126でメモリへの記録を行うことから、ステップS125においては、図6のステップS4とステップS5の処理を行えばよい。 In the flowchart of FIG. 5, since continuous shooting or the like is performed before the processing of step S125 is performed, and recording in the memory is performed in the next step S126, in step S125, in FIG. What is necessary is just to perform the process of step S4 and step S5.
図8の自動編集処理(2)は、高速度撮影画像のスライス合成処理の処理手順を示すフローチャートである。前述のように、選択されたシーン別の撮影プログラムに基づいて連続撮影を実行した後(ステップS11)、スライス合成撮影に設定されているか否かを判断し(ステップS12)、設定されてない場合にはその他の処理に移行する(ステップS13)。設定されている場合には、撮影プログラムとトリガー信号に従って、連続撮影画像から所定数枚の画像を選択する(ステップS14)。すなわち、図9に示すように開始トリガー点から終了トリガー点までの複数の連続撮影画像Pから、所定数枚(本例では6枚)の画像P1〜P6を間欠的に選択する。 The automatic editing process (2) in FIG. 8 is a flowchart showing the processing procedure of the slice synthesizing process of the high-speed captured image. As described above, after continuous shooting is performed based on the selected scene-specific shooting program (step S11), it is determined whether or not slice composite shooting is set (step S12). The process proceeds to other processing (step S13). If set, a predetermined number of images are selected from the continuously shot images according to the shooting program and the trigger signal (step S14). That is, as shown in FIG. 9, a predetermined number (6 in this example) of images P1 to P6 are intermittently selected from a plurality of continuously shot images P from the start trigger point to the end trigger point.
次に、撮影プログラムに従って、各画像の中央など一部領域をスライスして切り出す(ステップS15)。このステップS15での処理により、図9に例示するように、画像P1〜P6の中央部をスライスして切り出したスライス画像PS1〜PS6が生成される。引き続き、複数画像からのスライス画像を、所定間隔ずつ(横方向又は縦方向に)ずらして重ねて合成する(ステップS16)。これにより、図9に例示するように、スライス画像PS1〜PS6を所定間隔ずつ横方向にずらして重ねて合成されたゴルフスィングの合成画像P0が生成されることとなる。そして、この合成された画像データを符号化してメモリに記憶する(ステップS17)。
したがって、前述のようにゴルフスィングを撮影する場合の「画像合成」に対応して「横並びスライス合成」が記憶されていることから、ユーザがシーン別撮影プログラムにおいて「ゴルフスィング」を選択して高速度撮影を行った場合には、図5のステップS125で図9に例示したゴルフスィングの合成画像P0が生成されることとなる。
Next, according to the shooting program, a partial area such as the center of each image is sliced and cut out (step S15). Through the processing in step S15, slice images PS1 to PS6 obtained by slicing and cutting out the central portions of the images P1 to P6 are generated as illustrated in FIG. Subsequently, the slice images from the plurality of images are combined while being shifted by a predetermined interval (horizontal direction or vertical direction) (step S16). As a result, as illustrated in FIG. 9, a golf swing composite image P <b> 0 is generated in which the slice images PS <b> 1 to PS <b> 6 are shifted and overlapped by a predetermined interval in the horizontal direction. Then, the synthesized image data is encoded and stored in the memory (step S17).
Therefore, as described above, “horizontal slice composition” is stored in correspondence with “image composition” when photographing a golf swing, so that the user selects “golf swing” in the scene-by-scene photography program. When speed shooting is performed, a composite image P0 of the golf swing illustrated in FIG. 9 is generated in step S125 of FIG.
よって、ユーザが選択した撮影シーン(ゴルフスィング)に応じて適切な合成形態の合成画像P0を生成することができる。 Therefore, it is possible to generate a composite image P0 having an appropriate composite form according to the shooting scene (golf swing) selected by the user.
なお、図5のフローチャートにおいて、ステップS125の処理実行される以前に連続撮影等が行われており、また、次ステップS126でメモリへの記録を行うことから、ステップS125においては、図8のステップS14〜S16の処理を行えばよい。また、図9に示したゴルフスィングに限ることなく、図10に示した他の動作体に関しても、この高速度撮影画像のスライス合成処理を用いることができる。 In the flowchart of FIG. 5, since continuous shooting or the like is performed before the process of step S125 is executed, and recording in the memory is performed in the next step S126, in step S125, the step of FIG. What is necessary is just to perform the process of S14-S16. Further, not only the golf swing shown in FIG. 9 but also the other action objects shown in FIG. 10 can use the slice synthesizing process of the high-speed photographed image.
図11の自動編集処理(3)は、高速度撮影画像の多重焼き合成処理の処理手順を示すフローチャートである。前述のように、選択されたシーン別の撮影プログラムに基づいて連続撮影を実行した後(ステップS21)、多重焼き合成撮影に設定されているか否かを判断し(ステップS22)、設定されてない場合にはその他の処理に移行する(ステップS23)。設定されている場合には、撮影プログラムとトリガー信号に従って、連続撮影画像から所定間隔毎に(又は全画像)を選択する(ステップS24)。すなわち、図12に示すように開始トリガー点から終了トリガー点までの複数の連続撮影画像Pから、所定間隔毎に画像P1〜PNを選択する。 The automatic editing process (3) in FIG. 11 is a flowchart showing the processing procedure of the multiple burn-in synthesis process for high-speed captured images. As described above, after continuous shooting is performed based on the selected scene-specific shooting program (step S21), it is determined whether or not multiple-burning composite shooting is set (step S22). In this case, the process proceeds to other processing (step S23). If it is set, according to the shooting program and the trigger signal, the continuous shot images are selected at predetermined intervals (or all images) (step S24). That is, as shown in FIG. 12, images P1 to PN are selected at predetermined intervals from a plurality of continuously shot images P from the start trigger point to the end trigger point.
次に、選択された複数枚の画像を、重ね合わせて多重合成する(ステップS25)。このステップS25での処理により、図12に例示するように、単一のボールがバウンドを繰り返す合成画像P0が生成されることとなる。そして、この合成された画像データを符号化してメモリに記憶する(ステップS26)。 Next, the plurality of selected images are superimposed and combined (step S25). By the process in step S25, as illustrated in FIG. 12, a composite image P0 in which a single ball repeatedly bounces is generated. The synthesized image data is encoded and stored in the memory (step S26).
なお、図5のフローチャートにおいて、ステップS125の処理実行される以前に連続撮影等が行われており、また、次ステップS126でメモリへの記録を行うことから、ステップS125においては、図11のステップS24とステップS25の処理を行えばよい。 In the flowchart of FIG. 5, since continuous shooting or the like is performed before the process of step S125 is executed, and recording in the memory is performed in the next step S126, in step S125, the step of FIG. What is necessary is just to perform the process of S24 and step S25.
(再生、編集)
図13及び図14は、本実施の形態における再生、編集モードの処理手順を示す一連のフローチャートである。先ず、ユーザによる操作入力部22での操作により、再生又は編集モードが設定されているか否かを判断する(ステップS301)。再生又は編集モードが設定されていない場合には、その他のモード処理に移行する(ステップS302)。再生又は編集モードが設定された場合には、画像の再生表示が指示されたか否か判断する(ステップS303)。画像の再生表示に移行すべき場合には、当該画像再生が高速度撮影の画像再生であるか否かを判断する(ステップS306)。高速度の撮影画像の再生ではなく、通常の連写あるいは動画の再生である場合には、選択された画像を伸張、復号して表示部79にて再生する。
(Play, edit)
FIG. 13 and FIG. 14 are a series of flowcharts showing the processing procedures in the reproduction and editing modes in the present embodiment. First, it is determined whether or not the playback or edit mode is set by an operation on the operation input unit 22 by the user (step S301). If the playback or editing mode is not set, the process proceeds to other mode processing (step S302). If the playback or editing mode is set, it is determined whether or not an instruction to display and display an image has been given (step S303). If transition to image reproduction display is to be performed, it is determined whether the image reproduction is high-speed image reproduction (step S306). In the case of normal continuous shooting or moving image reproduction instead of high-speed captured image reproduction, the selected image is expanded and decoded and reproduced on the
当該画像再生が高速度撮影の画像再生である場合には、撮影画像データに記録されていた撮影時のシーンに応じて、再生方法を自動的に設定する(ステップS307)。したがって、前述したミルククラウンの高速度撮影画像を再生する場合には、「再生速度(f/s)」として「60fps(スロー再生1/20)」が記録されていることから、「60fps(スロー再生1/20)」が自動設定されることとなる。次に、図7、図9、図12に示した開始トリガー点を検索し、選択された画像又はグループ画像を開始トリガー点から伸張、復号して設定された再生方法やスロー再生速度等に従って、表示部79に再生表示する(ステップS309)。また、前記ステップS303での判断の結果、画像の再生表示でない場合には、一覧表示に移行すべきか否かを判断し(ステップS304)、一覧表示に移行すべき場合には、画像データの一覧表示又はサムネイル画像の一覧を表示部79に表示する(ステップS305)。
If the image reproduction is high-speed image reproduction, the reproduction method is automatically set according to the scene at the time of photographing recorded in the photographed image data (step S307). Therefore, when reproducing the above-described high-speed photographed image of the milk crown, “60 fps (
そして、ステップS305、S309、S310のいずれかに続くステップS311においては、ユーザによる操作入力部22での操作により、画像選択の操作があったか否かを判断し、画像選択の操作があった場合には、操作入力に応じて再生する画像を選択し、当該画像の再生表示に移行する(ステップS312)。また、画像選択の操作がなかった場合には、早送り又は早戻し再生操作があったか否かを判断し(ステップS313)、あった場合には設定された早送り又は早戻し速度の従って、動画像を早送り、早戻し再生する(ステップS314)。 In step S311 following one of steps S305, S309, and S310, it is determined whether or not an image selection operation has been performed by an operation on the operation input unit 22 by the user. Selects an image to be reproduced in accordance with the operation input, and proceeds to reproduction display of the image (step S312). If no image selection operation has been performed, it is determined whether or not a fast-forward or fast-reverse playback operation has been performed (step S313). If there has been an image selection operation, a moving image is displayed according to the set fast-forward or fast-reverse speed. Fast forward and fast reverse playback are performed (step S314).
ステップS313での判断の結果、早送り又は早戻し再生操作がなかった場合には、一覧表示操作があったか否かを判断し(ステップS315)、あった場合には画像データの一覧表示に移行する(ステップS316)。また、一覧表示操作がなかった場合には(ステップS315;NO)、メニュー操作があったか否かを判断する(ステップS317)。メニュー操作があった場合には、メニュー画面の表示へ移行し(ステップS318)、なかった場合には、その他のキー処理に移行する(ステップS319)。 If the result of determination in step S313 is that there has been no fast forward or fast reverse playback operation, it is determined whether or not there has been a list display operation (step S315). Step S316). If there is no list display operation (step S315; NO), it is determined whether there is a menu operation (step S317). If there is a menu operation, the process proceeds to the display of the menu screen (step S318), and if there is no menu operation, the process proceeds to other key processing (step S319).
他方、ステップS304での判断の結果、一覧表示に移行すべきでない場合には、メニュー表示に移行すべきか否かを判断する(図14、ステップS320)。メニュー表示に移行すべき場合には、操作項目などを選択するメニュー画面を表示部79に表示する(ステップS321)。そして、この表示した項目に対する選択操作があったか否かを判断し(ステップS322)、なかった場合にはその他のキー処理を実行する(ステップS324)。選択操作があった場合には、当該選択操作に応じて、各編集項目を選択し、該当項目の編集画面へ移行する(ステップS323)。 On the other hand, if the result of determination in step S304 is not to shift to list display, it is determined whether or not to shift to menu display (FIG. 14, step S320). If the menu display should be shifted, a menu screen for selecting an operation item or the like is displayed on the display unit 79 (step S321). Then, it is determined whether or not a selection operation has been performed on the displayed item (step S322). If there is no selection operation, other key processing is executed (step S324). If there is a selection operation, each edit item is selected in accordance with the selection operation, and the screen shifts to an edit screen for the corresponding item (step S323).
また、ステップS320での判断の結果、メニュー表示に移行すべきでない場合には、各編集画像の表示に移行すべきであるか否かを判断し(ステップS325)、各編集画像の表示に移行すべきでない場合には、その他の表示処理を実行する(ステップS326)。また、各編集画像の表示に移行すべき場合には、再生画像と共に、該当する編集項目の操作画面を表示する(ステップS327)。そして、この再生画像に対応してトリガー情報の記録があるか否かを判断し(ステップS328)、ある場合には記録されたトリガー情報を該当シーンに対応して表示する(ステップS329)。 If the result of determination in step S320 is not to shift to menu display, it is determined whether or not to shift to display of each edited image (step S325) and shift to display of each edited image. If not, other display processing is executed (step S326). If the display should be shifted to the display of each edited image, the operation screen for the corresponding edit item is displayed together with the reproduced image (step S327). Then, it is determined whether or not trigger information is recorded corresponding to the reproduced image (step S328). If there is, the recorded trigger information is displayed corresponding to the corresponding scene (step S329).
次に、自動編集操作があったか否かを判断し(ステップS330)、あった場合には記録されたトリガー情報に応じて、編集条件などを自動的に入力又は選択する(ステップS333)。また、自動編集操作がなかった場合には、編集操作があったか否かを判断し(ステップS331)、なかった場合にはその他のキー処理を実行する(ステップS332)。編集操作があった場合には、操作入力及び記録トリガー情報に応じて、編集条件などを入力又は選択する(ステップS334)。 Next, it is determined whether or not there has been an automatic editing operation (step S330). If there is, an editing condition or the like is automatically input or selected according to the recorded trigger information (step S333). If there is no automatic editing operation, it is determined whether there is an editing operation (step S331). If there is no automatic editing operation, other key processing is executed (step S332). If there is an editing operation, an editing condition or the like is input or selected according to the operation input and recording trigger information (step S334).
そして、ステップS333又はS334に続くステップS335においては、該当する編集処理、つまり、下記編集処理のいずれかを実行する
・図6のレイアウト合成処理である自動編集処理(1)におけるステップS4及びS5の処理。
・図8のスライス合成処理である自動編集処理(2)におけるステップS14〜S16の処理。
・図11の多重焼き合成処理である自動編集処理(3)におけるステップS24及びS25の処理。
Then, in step S335 following step S333 or S334, the corresponding editing process, that is, one of the following editing processes is executed. In steps S4 and S5 in the automatic editing process (1) which is the layout composition process in FIG. processing.
Processing in steps S14 to S16 in the automatic editing process (2) that is the slice synthesis process in FIG.
The processes of steps S24 and S25 in the automatic editing process (3) that is the multiple baking composition process of FIG.
次にその編集結果を表示部79にプレビュー表示する(ステップS336)。引き続き、編集された画像を記録する指示がなされたか否か(操作入力部22にてOK操作がなされたか否か)を判断する(ステップS337)。当該指示がなされた場合には、元の画像データとは別に、編集された画像データを、撮影条件、編集条件データとともに、メモリ媒体(画像メモリ媒体25、又はディスク媒体47)へ記録する(ステップS339)。
Next, the editing result is displayed as a preview on the display unit 79 (step S336). Subsequently, it is determined whether or not an instruction to record the edited image has been given (whether or not an OK operation has been performed at the operation input unit 22) (step S337). When the instruction is given, separately from the original image data, the edited image data is recorded in the memory medium (the
したがって、本実施の形態においては、シーンまたは見本画像を選択して撮影された画像や動画像を再生する場合には、撮影時にシーン別に予め設定されたスロー再生などの再生方法や、シーンに最適な再生フレーム速度で再生表示が行われる。 Therefore, in this embodiment, when playing back an image or moving image shot by selecting a scene or sample image, the playback method such as slow playback preset for each scene at the time of shooting or the best for the scene Reproduction display is performed at a high reproduction frame rate.
また、再生時にも自動編集処理(1)〜(3)いずれか実行されて、これらいずれかの編集処理で生成された合成画像を表示させることができるとともに、記録することができる。 Further, any one of the automatic editing processes (1) to (3) is executed during reproduction, and the composite image generated by any one of these editing processes can be displayed and recorded.
(撮像素子)
前記撮像素子56を、例えば、CCDイメージセンサで構成した場合には、入射光によってフォトダイオードに発生した信号電荷を増幅せずにそのまま、垂直と水平のCCD転送路によって順繰りに転送され、出力回路で初めてFD(Floating Diffusion)アンプにより信号電圧に増幅されて出力される。CCDから出力された撮像信号は、CDS回路(相関二重サンプル回路)でノイズ除去およびサンプル&ホールド処理され、AGC(自動利得制御)アンプで増幅され、ADC(A/D変換器)でデジタル撮像信号に変換されて、DSP(信号処理回路)に出力される。
(Image sensor)
In the case where the
一方、撮像素子をCMOS(相補型金属一酸化膜半導体)イメージセンサで構成する場合には、図1に示したような、一般的なAPS(増幅型画素センサ)型のCMOSセンサでは、フォトダイオードを含む単位画素回路毎に増幅素子(アンプ)が内蔵されており、フォトダイオードで光電変換された信号電荷は画素回路内アンプで一旦増幅され、垂直走査回路からの行アドレス選択信号と水平走査回路からの列選択信号によりXYアドレス方式で選択された画素毎の撮像信号が、出力から順次電圧または電流として取り出すことができる。CCDのように順番に取り出さなくとも、CMOSセンサでは、任意の画素や領域の撮像信号だけを、任意の順序で取り出しできるので、デジタルズーム処理で所定領域のみを切出して読出す場合には、高速で読み出せる。 On the other hand, when the imaging device is constituted by a CMOS (complementary metal monoxide semiconductor) image sensor, in a general APS (amplified pixel sensor) type CMOS sensor as shown in FIG. Each unit pixel circuit including a built-in amplifying element (amplifier), the signal charge photoelectrically converted by the photodiode is once amplified by the amplifier in the pixel circuit, the row address selection signal from the vertical scanning circuit and the horizontal scanning circuit The image pickup signal for each pixel selected by the column selection signal from the XY address method can be sequentially extracted from the output as voltage or current. Even if it is not taken out sequentially like a CCD, the CMOS sensor can take out only the image signals of any pixel or area in any order. Can be read.
また、CCDでは、信号電荷をそのまま転送するのでスミアやノイズに弱いが、CMOSセンサでは、画素毎にランダムアクセスで読出せ、各画素回路は電気的に分離しているので伝送ノイズに強く、またCMOS LSI等と同様に、同じ製造プロセスにてイメージセンサ部の周辺に各種のCMOS回路や加算演算回路などデジタル論理回路などを高集積化して比較的容易に一緒に作りこめる利点がある。その反面、CMOSセンサでは、画素毎のアンプの闇値など、個々の素子バラツキによる固定パターンノイズ(FPN)や暗電流、KTC雑音が大きい難点があったが、(CCDと同様に)埋め込みフォトダイオードとFDアンプを用いる構造にして、暗電流とKTC雑音を低減できるようになり、列信号線毎に並列に並んだ列回路に設けたColumn型のCDS/ADC回路等により、フォトダイオードをリセットする前と後の信号を減算して固定パターンノイズを除去できるようになり、列回路毎に積分型や巡回型、逐次型などのAD変換器を組み込んで、デジタル信号での撮像信号出力も容易になった。 In CCD, signal charges are transferred as they are, so they are vulnerable to smear and noise. However, in CMOS sensors, each pixel is read out by random access, and each pixel circuit is electrically separated, so it is resistant to transmission noise. Similar to a CMOS LSI or the like, there is an advantage that digital logic circuits such as various CMOS circuits and addition arithmetic circuits are highly integrated around the image sensor portion in the same manufacturing process and can be relatively easily formed together. On the other hand, in CMOS sensors, fixed pattern noise (FPN), dark current, and KTC noise due to variations in individual elements, such as the dark value of the amplifier for each pixel, were difficult, but embedded photodiodes (similar to CCD) As a result, the dark current and the KTC noise can be reduced, and the photodiode is reset by a column type CDS / ADC circuit provided in a column circuit arranged in parallel for each column signal line. Fixed pattern noise can be removed by subtracting the front and back signals, and integration signals, cyclic types, and sequential type AD converters are built into each column circuit, making it easy to output imaging signals as digital signals. became.
本実施の形態に係る撮像装置1に用いる撮像素子では、任意のサイズの画像領域を選択して、領域内の画素の撮像信号を読み出す選択読み出しができるように、図15に示す撮像素子200を用いることが好ましい。すなわち、この撮像素子200は、タイミング発生回路201に接続された垂直走査回路202と水平走査回路203及び列回路部204を備えるとともに、並列直列変換部204、符号器205を有している。列回路部204には、CDS回路206、A/D変換回路207、画素加算回路208を一組とする回路が複数設けられて、各々列信号線209が接続されている。一方、垂直走査回路202には、行選択線(アドレス線)210と転送TC線(行読出し線)211及び行リセット線212とが接続されている。また、イメージセンサ部213には、複数の単位画素回路214が設けられており、各単位画素回路214は、前記列信号線209、行選択線(アドレス線)210、転送TC線(行読出し線)211、行リセット線212に接続されたフォトダイオード215等で構成されている。
In the imaging device used in the
したがって、この撮像素子200においては、列回路部204のCDS回路206、A/D回路207の後段に隣接する同色(フィルタ)の複数の画素の信号同士をデジタル信号で加算する画素加算回路208を設けることにより、デジタルズーム時には、選択領域内の画素データを任意の行列毎に所定の複数画素分加算された撮像信号を読出しできるように構成し、スルー画像や動画撮影において、高速レートでも、画像データ量の小さい撮像信号に変換して出力できるようにしてある。
Therefore, in the
なお、選択読出された選択領域の撮像信号、さらに画素加算された撮像信号は、列回路部204のCDS回路206、A/D回路207から水平走査回路202の列選択信号により選択された列信号が順次出力されるが、このとき、高速クロックに同期させて並列のデジタル信号として出力するか、若しくは、並列のデジタル信号を符号化し、並列/直列変換回路により変換して、直列のデジタル撮像信号として出力して、高解像度の撮像信号を、DSPに高速フレームレートで転送出力することができる。
The picked-up image signals of the selected area and the image signals added with the pixels are the column signals selected from the
また、図3に示した前記プログラムメモリ23に格納されているシーン別撮影プログラムの設定データにおいて、「高速度の撮影条件」として、図示した「撮影速度(f/s)」〜「合成画像ほか」に加えて、各シーンに対応させて、撮像素子200にから画素の信号を読み出す画像領域を記憶しておき、撮影シーンが選択された場合には、記憶された画像領域内の画素の撮像信号を読み出す選択読み出しを行うようにしてもよい。
Further, in the setting data of the scene-specific shooting program stored in the program memory 23 shown in FIG. 3, the “shooting speed (f / s)” to “synthesized image etc.” shown as “high-speed shooting conditions”. In addition, the image area for reading out pixel signals from the
(他の実施の形態)
(1)第2の実施の形態
図16は、本発明の第2の実施の形態における処理手順を示すフローチャートである。まず、レイアウト合成撮影が選択されたか否かを判断し(ステップS401)、選択されていない場合にはその他の処理に移行する(ステップS402)。レイアウト合成撮影が選択されている場合には、ユーザの操作による撮影指示があったか否かを判断する(ステップS403)。撮影指示があったならば、選択されたシーン又は撮影プログラムに基づいて、連続撮影処理、又は循環記録を行うPAST連写を実行する(ステップS404)。このステップS404での処理により、バッファメモリ75には、選択されたシーン又は撮影プログラムに応じた高速フレームレートで撮影されたフレーム画像が順次記憶され、又は循環記憶されていく。
(Other embodiments)
(1) Second Embodiment FIG. 16 is a flowchart showing a processing procedure in the second embodiment of the present invention. First, it is determined whether or not layout composite shooting has been selected (step S401). If it has not been selected, the process proceeds to other processing (step S402). If layout composite shooting has been selected, it is determined whether or not a shooting instruction has been given by a user operation (step S403). If there is a shooting instruction, based on the selected scene or shooting program, PAST continuous shooting for performing continuous shooting processing or cyclic recording is executed (step S404). Through the processing in step S404, the
次に、トリガー入力又は撮影終了指示があったか否かを判断し(ステップS405)、トリガー入力又は撮影終了指示があるまで、ステップS404の処理を継続する。そして、トリガー入力又は撮影終了指示があったならば、設定された所定時間後に連続撮影、又はPAST連写を終了する(ステップS406)。つまり、本実施の形態においては、トリガー入力又は撮影終了指示があった時点で即時に、連続撮影又はPAST連写を終了するのではなく、トリガー入力又は撮影終了指示があっても、連続撮影又はPAST連写を継続して、所定時間後に終了する。 Next, it is determined whether or not there has been a trigger input or a shooting end instruction (step S405), and the process of step S404 is continued until a trigger input or a shooting end instruction is received. Then, if there is a trigger input or an instruction to end shooting, continuous shooting or PAST continuous shooting ends after the set predetermined time (step S406). That is, in the present embodiment, the continuous shooting or the PAST continuous shooting is not immediately ended when the trigger input or the shooting end instruction is given, but the continuous shooting or the shooting end instruction is not performed. The PAST continuous shooting is continued and finished after a predetermined time.
したがって、バッファメモリ75には、図17(A)に示すように、撮影を開始した時点からトリガー入力又は撮影終了指示があった時点である代表トリガー点Tまでのみならず、代表トリガー点Tから所定時間が経過した時点までの、高速フレームレートで撮影された連続撮影画像Pが順次記憶されることとなる。
Accordingly, as shown in FIG. 17A, the
次に、撮影プログラムと(レリーズ釦など)トリガー信号に従って、連続撮影画像Pから複数の画像を所定間隔で選択する。つまり、図17(B)に示すように、撮影プログラムとトリガー信号に従った所定間隔が2msであるならば、代表トリガー点Tを0msとして、0ms、2ms、4ms・・・の間隔で連続撮影画像Pから画像P1、P2、P3・・・を選択する。 Next, a plurality of images are selected from the continuously shot images P at predetermined intervals according to a shooting program and a trigger signal (such as a release button). That is, as shown in FIG. 17B, if the predetermined interval according to the shooting program and the trigger signal is 2 ms, continuous shooting is performed at intervals of 0 ms, 2 ms, 4 ms, etc. with the representative trigger point T set to 0 ms. Images P1, P2, P3... Are selected from the image P.
引き続き、これら選択された画像P1、P2、P3・・・を所定のサイズ、レイアウトで1枚の画像に合成する(ステップS408)。また、このように自動合成された画像をファインダ(表示部79)に撮影後レビュー表示、又は記録前プレビュー表示する(ステップS409)。つまり、前記連続撮影画像Pをこの時点で画像メモリ媒体25に記録して、しかる後に図17(C)に示した画像P1、P2、P3・・・が合成された合成画像P0をファインダに表示(レビュー表示)してもよいし、前記連続撮影画像Pはこの時点で画像メモリ媒体25に記録することなく、後述するステップS419で記録し、合成画像P0をファインダに表示(プレビュー表示)してもよい。
Subsequently, the selected images P1, P2, P3,... Are combined into one image with a predetermined size and layout (step S408). Further, the automatically synthesized image is displayed on the finder (display unit 79) as a review after shooting or as a preview before recording (step S409). That is, the continuously shot image P is recorded in the
次に、操作入力部22に設けられている上下キー等の操作による間隔調整キー入力があったか否を判断する(ステップS410)。間隔調整キー入力がなかった場合には、左右キーの操作によるタイミング調整キー入力があったか否かを判断する(ステップS412)。タイミング調整キー入力もなかった場合には、記録OKキー入力があったか否かを判断する(ステップS417)。記録OKキー入力もなかった場合には、所定時間を経過したか否かを判断し(ステップS418)、所定時間を経過していない場合には、ステップS410に戻り、ステップS410からの処理を繰り返す。 Next, it is determined whether or not there has been an interval adjustment key input by operating an up / down key or the like provided in the operation input unit 22 (step S410). If there is no interval adjustment key input, it is determined whether there is a timing adjustment key input by operating the left and right keys (step S412). If there is no timing adjustment key input, it is determined whether or not a recording OK key is input (step S417). If there is no record OK key input, it is determined whether or not a predetermined time has passed (step S418). If the predetermined time has not passed, the process returns to step S410 and the processing from step S410 is repeated. .
このステップS410からの処理を繰り返されている状態において、間隔調整キー入力があった場合には(ステップS410;YES)、操作に応じて、選択する画像の間隔又は合成する画像の枚数を増減する(ステップS411)。また、間隔調整キー入力があった場合には(ステップS412;YES)、操作に応じて、選択を開始する画像を、タイミングを早く又遅く変えた画像に変更する(ステップS413)。 In the state where the processing from step S410 is repeated, if there is an interval adjustment key input (step S410; YES), the interval between images to be selected or the number of images to be combined is increased or decreased according to the operation. (Step S411). If there is an interval adjustment key input (step S412; YES), the image to be selected is changed to an image with the timing changed earlier or later according to the operation (step S413).
つまり、ステップS411の場合は、画像の間隔が前述のように2msであった場合には、1msにして画像を増加させ、あるいは図17(D)に示すように、4msにして画像を減少(6枚→5枚)させる。これに対し、ステップS413の場合は、合成する画像の選択開始タイミングを代表トリガー点Tよりも早く又は遅くする(図17(D)は、選択開始タイミングを代表トリガー点Tよりも早くした場合を示す)。 That is, in the case of step S411, if the image interval is 2 ms as described above, the image is increased by 1 ms, or the image is decreased by 4 ms as shown in FIG. 6 → 5). On the other hand, in the case of step S413, the selection start timing of the image to be combined is made earlier or later than the representative trigger point T (FIG. 17D shows a case where the selection start timing is made earlier than the representative trigger point T. Show).
次に、調整操作に応じて、つまり前記ステップS411で変更された画像の間隔や枚数、及び/又はステップS413で変更された選択開始タイミングに応じて複数の画像を選択する(ステップS414)。したがって、図17(D)に示すように、ステップS411で画像の間隔が2msから4msに変更され(枚数6はそのまま)、選択開始タイミングが4ms早く変更されたとすると、図示のように代表トリガー点Tを±0msとして、−4ms、±0ms、4ms、6ms・・・16msに対応する6枚の画像が選択されることなる。 Next, a plurality of images are selected according to the adjustment operation, that is, according to the interval and number of images changed in step S411 and / or the selection start timing changed in step S413 (step S414). Accordingly, as shown in FIG. 17D, when the image interval is changed from 2 ms to 4 ms in step S411 (the number of sheets 6 remains as it is) and the selection start timing is changed 4 ms earlier, the representative trigger point as shown in FIG. When T is ± 0 ms, six images corresponding to −4 ms, ± 0 ms, 4 ms, 6 ms,... 16 ms are selected.
引き続き、これら選択された複数画像を所定のサイズ、レイアウトで1枚の画像に再度合成処理する(ステップS415)。また、これにより得られた合成画像をファインダ(表示部79)に撮影後レビュー表示、又は記録前プレビュー表示する(ステップS416)。つまり、前述と同様に前記連続撮影画像Pをこの時点で画像メモリ媒体25に記録して、しかる後に図17(E)に示した合成画像P0をファインダに表示(レビュー表示)してもよいし、前記連続撮影画像Pはこの時点で画像メモリ媒体25に記録することなく、後述するステップS419で記録し、合成画像P0をファインダに表示(プレビュー表示)してもよい。
Subsequently, the plurality of selected images are combined again into a single image with a predetermined size and layout (step S415). Further, the composite image obtained in this way is displayed on the finder (display unit 79) as a review after shooting or as a preview before recording (step S416). That is, as in the case described above, the continuously shot image P may be recorded in the
次に、記録OKキー入力があったか否かを判断する(ステップS417)。このとき、ユーザは、前記ステップS409で表示されたユーザが調整操作する前の合成画像、又は前記ステップS416で表示されたユーザが調整操作した合成画像を視認して、当該合成画像で満足であれば、記録OKキーを操作する。これにより、ステップS417の判断がYESとなり、合成された画像データを符号化して、画像メモリ媒体25に記録する(ステップS419)。また、連続撮影画像Pを未だ画像メモリ媒体25に記録しておらず、合成画像P0をプレビュー表示した場合には、このステップS419で連続撮影画像Pの画像データも符号化して、画像メモリ媒体25に記録する。
Next, it is determined whether or not a record OK key is input (step S417). At this time, the user can be satisfied with the composite image by visually recognizing the composite image before the adjustment operation displayed by the user in step S409 or the composite image displayed by the user in step S416. For example, the recording OK key is operated. As a result, the determination in step S417 is YES, and the combined image data is encoded and recorded in the image memory medium 25 (step S419). If the continuously shot image P is not yet recorded in the
したがって、本実施の形態によれば、画像の選択開始タイミングや画像の間隔、合成する画像の枚数をユーザが任意に設定することができ、ユーザにより選択された複数の画像を個別に配列した1枚の合成画像の作成、表示が可能となる。 Therefore, according to the present embodiment, the user can arbitrarily set the image selection start timing, the image interval, and the number of images to be combined, and a plurality of images selected by the user are individually arranged 1 It is possible to create and display a single composite image.
(2)第3の実施の形態
図18は、本発明の第3の実施の形態における処理手順を示すフローチャートである。まず、スライス合成撮影が選択されたか否かを判断し(ステップS501)、選択されていない場合にはその他の処理に移行する(ステップS502)。スライス合成撮影が選択されている場合には、ユーザの操作による撮影指示があったか否かを判断する(ステップS503)。撮影指示があったならば、選択されたシーン又は撮影プログラムに基づいて、連続撮影処理、又は循環記録を行うPAST連写を実行する(ステップS504)。このステップS504での処理により、バッファメモリ75には、選択されたシーン又は撮影プログラムに応じた高速フレームレートで撮影されたフレーム画像が順次記憶され、又は循環記憶されていく。
(2) Third Embodiment FIG. 18 is a flowchart showing a processing procedure in the third embodiment of the present invention. First, it is determined whether or not slice composite imaging has been selected (step S501). If it has not been selected, the process proceeds to other processing (step S502). If slice composite shooting is selected, it is determined whether or not a shooting instruction has been given by a user operation (step S503). If there is a shooting instruction, based on the selected scene or shooting program, PAST continuous shooting for performing continuous shooting processing or circular recording is executed (step S504). Through the processing in step S504, frame images captured at a high-speed frame rate corresponding to the selected scene or shooting program are sequentially stored or circularly stored in the
次に、トリガー入力又は撮影終了指示があったか否かを判断し(ステップS505)、トリガー入力又は撮影終了指示があるまで、ステップS504の処理を継続する。そして、トリガー入力又は撮影終了指示があったならば、設定された所定時間後に連続撮影、又はPAST連写を終了する(ステップS506)。つまり、前述した第2の実施の形態と同様に、トリガー入力又は撮影終了指示があった時点で即時に、連続撮影又はPAST連写を終了するのではなく、トリガー入力又は撮影終了指示があっても、連続撮影又はPAST連写を継続して、所定時間後に終了する。 Next, it is determined whether or not there has been a trigger input or a photographing end instruction (step S505), and the processing in step S504 is continued until a trigger input or a photographing end instruction is received. Then, if there is a trigger input or an instruction to end shooting, continuous shooting or PAST continuous shooting ends after the set predetermined time (step S506). That is, as in the second embodiment described above, instead of immediately ending continuous shooting or PAST continuous shooting when a trigger input or shooting end instruction is given, there is a trigger input or shooting end instruction. In addition, continuous shooting or PAST continuous shooting is continued and finished after a predetermined time.
次に、撮影プログラムと(レリーズ釦など)トリガー信号に従って、連続撮影画像Pから複数の画像を所定間隔で選択し、略同じ領域をスライス(切り出す)する(ステップS507)。したがって、このステップS507での処理により、図19(A)に示す連続撮影画像Pから画像P1、P2、P3・・・が選択された後、これら画像P1、P2、P3・・・の例えば中央部をスライスして切り出したスライス画像PS1、PS2、PS3・・・が生成される。引き続き、選択されスライスされた複数の各画像を所定間隔(位置)ずつずらして1枚の画像に合成する(ステップS508)。これにより、図19(C)に例示するように、スライス画像PS1、PS2、PS3・・・を所定間隔ずつずらして合成されたゴルフスィングの合成画像P0が生成されることとなる。また、このうように自動合成された画像をファインダ(表示部79)に撮影後レビュー表示、又は記録前プレビュー表示する(ステップS509)。 Next, a plurality of images are selected from the continuously shot images P at a predetermined interval in accordance with a shooting program and a trigger signal (such as a release button), and substantially the same region is sliced (cut out) (step S507). Therefore, after the image P1, P2, P3,... Is selected from the continuously shot image P shown in FIG. 19A by the processing in step S507, for example, the center of these images P1, P2, P3,. Slice images PS1, PS2, PS3,. Subsequently, the plurality of selected and sliced images are shifted by a predetermined interval (position) and synthesized into one image (step S508). Thus, as illustrated in FIG. 19C, a golf swing composite image P0 is generated by combining the slice images PS1, PS2, PS3,. Further, the image automatically synthesized in this way is displayed on the finder (display unit 79) as a review after shooting or as a preview before recording (step S509).
次のステップS510〜S513、及びステップS517、S518の処理は、前述した第2の実施の形態においけるステップS410〜S413、及びステップS417、S418の処理の処理と同一である。すなわち、操作入力部22に設けられている上下キー等の操作による間隔調整キー入力があったか否を判断する(ステップS510)。間隔調整キー入力がなかった場合には、左右キーの操作によるタイミング調整キー入力があったか否かを判断する(ステップS512)。タイミング調整キー入力もなかった場合には、記録OKキー入力があったか否かを判断する(ステップS517)。記録OKキー入力もなかった場合には、所定時間を経過したか否かを判断し(ステップS518)、所定時間を経過していない場合には、ステップS510に戻り、ステップS510からの処理を繰り返す。 The processes of the next steps S510 to S513 and steps S517 and S518 are the same as the processes of steps S410 to S413 and steps S417 and S418 in the above-described second embodiment. That is, it is determined whether or not there has been an interval adjustment key input by operating an up / down key or the like provided in the operation input unit 22 (step S510). If there is no interval adjustment key input, it is determined whether there is a timing adjustment key input by operating the left and right keys (step S512). If there is no timing adjustment key input, it is determined whether there is a recording OK key input (step S517). If there is no record OK key input, it is determined whether or not a predetermined time has passed (step S518). If the predetermined time has not passed, the process returns to step S510 and the processing from step S510 is repeated. .
このステップS510からの処理を繰り返されている状態において、間隔調整キー入力があった場合には(ステップS510;YES)、操作に応じて、選択する画像の間隔又は合成する画像の枚数を増減する(ステップS511)。また、間隔調整キー入力があった場合には(ステップS512;YES)、操作に応じて、選択を開始する画像を、タイミングを早く又遅く変えた画像に変更する(ステップS513)。 In the state where the processing from step S510 is repeated, if there is an interval adjustment key input (step S510; YES), the interval between images to be selected or the number of images to be combined is increased or decreased according to the operation. (Step S511). If there is an interval adjustment key input (step S512; YES), the image to start selection is changed to an image with the timing changed earlier or later according to the operation (step S513).
次に、調整操作に応じて、つまり前記ステップS511で変更された画像の間隔や枚数、及び/又はステップS513で変更された選択開始タイミングに応じて複数の画像を選択し、前述したステップS507と同様に、略同じ領域をスライス(切り出す)する(ステップS514)。引き続き、前述したステップS508と同様に、選択されスライスされた複数の各画像を所定間隔(位置)ずつずらして1枚の画像に合成する(ステップS515)。また、前述したステップS509と同様に、合成した画像をファインダ(表示部79)に撮影後レビュー表示、又は記録前プレビュー表示する(ステップS516)。 Next, a plurality of images are selected according to the adjustment operation, that is, according to the interval and number of images changed in step S511 and / or the selection start timing changed in step S513, and the above-described step S507 is performed. Similarly, substantially the same area is sliced (cut out) (step S514). Subsequently, in the same manner as in step S508 described above, the plurality of selected and sliced images are shifted by a predetermined interval (position) and synthesized into one image (step S515). Similarly to step S509 described above, the synthesized image is displayed on the viewfinder (display unit 79) as a review after shooting or as a preview before recording (step S516).
したがって、選択開始タイミングを早くしかつ時間間隔を短くした場合には、図19(D)に示す合成画像P0が表示部79に表示され、選択開始タイミングを遅くしかつ時間間隔を長くした場合には、図19(E)に示す合成画像P0が表示部79に表示されることとなる。
Accordingly, when the selection start timing is advanced and the time interval is shortened, the composite image P0 shown in FIG. 19D is displayed on the
次に、記録OKキー入力があったか否かを判断する(ステップS517)。このとき、ユーザは、前記ステップS509で表示されたユーザが調整操作する前の合成画像(図19(C))、又は前記ステップS516で表示されたユーザが調整操作した合成画像(図19(D)又は(E))を視認して、当該合成画像で満足であれば、記録OKキーを操作する。これにより、ステップS517の判断がYESとなり、合成された画像データを符号化して、画像メモリ媒体25に記録する(ステップS519)。また、連続撮影画像Pを未だ画像メモリ媒体25に記録しておらず、合成画像P0をプレビュー表示した場合には、このステップS519で連続撮影画像Pの画像データも符号化して、画像メモリ媒体25に記録する。
Next, it is determined whether or not a recording OK key has been input (step S517). At this time, the user displays the composite image (FIG. 19C) before the adjustment operation displayed by the user displayed in step S509 (FIG. 19C) or the composite image adjusted by the user displayed in step S516 (FIG. 19D). ) Or (E)), and if the composite image is satisfactory, the recording OK key is operated. As a result, the determination in step S517 is YES, and the combined image data is encoded and recorded in the image memory medium 25 (step S519). If the continuously shot image P is not yet recorded in the
したがって、本実施の形態によれば、画像の選択開始タイミングや画像の間隔、合成する画像の枚数をユーザが任意に設定することができ、ユーザにより選択された複数の画像であって各々所定部分が切り出された複数の部分画像からなる合成画像の作成、表示が可能となる。 Therefore, according to this embodiment, the user can arbitrarily set the image selection start timing, the image interval, and the number of images to be combined. It is possible to create and display a composite image made up of a plurality of partial images cut out of.
(3)第4の実施の形態
図20は、本発明の第4の実施の形態における処理手順を示すフローチャートである。まず、多重焼き合成撮影が選択されたか否かを判断し(ステップS601)、選択されていない場合にはその他の処理に移行する(ステップS602)。多重焼き合成撮影が選択されている場合には、ユーザの操作による撮影指示があったか否かを判断する(ステップS603)。撮影指示があったならば、選択されたシーン又は撮影プログラムに基づいて、連続撮影処理、又は循環記録を行うPAST連写を実行する(ステップS604)。このステップS604での処理により、バッファメモリ75には、選択されたシーン又は撮影プログラムに応じた高速フレームレートで撮影されたフレーム画像が順次記憶され、又は循環記憶されていく。
(3) Fourth Embodiment FIG. 20 is a flowchart showing a processing procedure in the fourth embodiment of the present invention. First, it is determined whether or not multiple-burning composite shooting has been selected (step S601). If it has not been selected, the process proceeds to other processing (step S602). If multiple burn composite shooting has been selected, it is determined whether or not a shooting instruction has been given by a user operation (step S603). If there is a shooting instruction, based on the selected scene or shooting program, PAST continuous shooting for performing continuous shooting processing or cyclic recording is executed (step S604). As a result of the processing in step S604, the
次に、トリガー入力又は撮影終了指示があったか否かを判断し(ステップS605)、トリガー入力又は撮影終了指示があるまで、ステップS604の処理を継続する。そして、トリガー入力又は撮影終了指示があったならば、設定された所定時間後に連続撮影、又はPAST連写を終了する(ステップS606)。つまり、前述した第2の実施の形態と同様に、トリガー入力又は撮影終了指示があった時点で即時に、連続撮影又はPAST連写を終了するのではなく、トリガー入力又は撮影終了指示があっても、連続撮影又はPAST連写を継続して、所定時間後に終了する。 Next, it is determined whether or not there has been a trigger input or a shooting end instruction (step S605), and the process of step S604 is continued until a trigger input or a shooting end instruction is received. Then, if there is a trigger input or an instruction to end shooting, continuous shooting or PAST continuous shooting ends after the set predetermined time (step S606). That is, as in the second embodiment described above, instead of immediately ending continuous shooting or PAST continuous shooting when a trigger input or shooting end instruction is given, there is a trigger input or shooting end instruction. In addition, continuous shooting or PAST continuous shooting is continued and finished after a predetermined time.
次に、撮影プログラムと(レリーズ釦など)トリガー信号に従って、連続撮影画像から複数の画像を所定間隔で選択する(ステップS607)。したがって、このステップS607での処理により、図20(A)に示す連続撮影画像Pから、同図(B)に示す画像P1、P2、P3・・・が選択される。 Next, in accordance with the shooting program and a trigger signal (such as a release button), a plurality of images are selected from the continuously shot images at a predetermined interval (step S607). Therefore, by the processing in step S607, images P1, P2, P3... Shown in FIG. 20B are selected from the continuously shot images P shown in FIG.
引き続き、選択された複数の各画像を、重ね合わせて1枚の画像に合成(多重合成)する(ステップS608)。このステップS608での処理により、21(C)に例示するように、単一のボールがバウンドを繰り返す合成画像P0が生成されることとなる。また、このように自動合成された画像をファインダ(表示部79)に撮影後レビュー表示、又は記録前プレビュー表示する(ステップS609)。 Subsequently, the plurality of selected images are superimposed and combined into a single image (multiple combination) (step S608). By the process in step S608, as illustrated in 21 (C), a composite image P0 in which a single ball repeatedly bounces is generated. Further, the image automatically synthesized in this way is displayed on the finder (display unit 79) as a review after shooting or as a preview before recording (step S609).
次のステップS610〜S613、及びステップS617、S618の処理は、前述した第2の実施の形態においけるステップS410〜S413、及びステップS417、S418の処理の処理と同一である。すなわち、操作入力部22に設けられている上下キー等の操作による間隔調整キー入力があったか否を判断する(ステップS610)。間隔調整キー入力がなかった場合には、左右キーの操作によるタイミング調整キー入力があったか否かを判断する(ステップS612)。タイミング調整キー入力もなかった場合には、記録OKキー入力があったか否かを判断する(ステップS617)。記録OKキー入力もなかった場合には、所定時間を経過したか否かを判断し(ステップS618)、所定時間を経過していない場合には、ステップS610に戻り、ステップS610からの処理を繰り返す。 The processes of the next steps S610 to S613 and steps S617 and S618 are the same as the processes of steps S410 to S413 and steps S417 and S418 in the above-described second embodiment. That is, it is determined whether or not there has been an interval adjustment key input by operating an up / down key or the like provided in the operation input unit 22 (step S610). If there is no interval adjustment key input, it is determined whether there is a timing adjustment key input by operating the left and right keys (step S612). If there is no timing adjustment key input, it is determined whether or not a recording OK key is input (step S617). If there is no record OK key input, it is determined whether or not a predetermined time has passed (step S618). If the predetermined time has not passed, the process returns to step S610 and the processing from step S610 is repeated. .
このステップS610からの処理を繰り返されている状態において、間隔調整キー入力があった場合には(ステップS610;YES)、操作に応じて、選択する画像の間隔又は合成する画像の枚数を増減する(ステップS611)。また、間隔調整キー入力があった場合には(ステップS612;YES)、操作に応じて、選択を開始する画像を、タイミングを早く又遅く変えた画像に変更する(ステップS613)。 In a state where the processing from step S610 is repeated, if there is an interval adjustment key input (step S610; YES), the interval between images to be selected or the number of images to be combined is increased or decreased according to the operation. (Step S611). If there is an interval adjustment key input (step S612; YES), the image to start selection is changed to an image with the timing changed earlier or later according to the operation (step S613).
次に、調整操作に応じて、つまり前記ステップS611で変更された画像の間隔や枚数、及び/又はステップS613で変更された選択開始タイミングに応じて複数の画像を選択する(ステップS614)引き続き、前述したステップS608と同様に、選択された複数の各画像を、重ね合わせて1枚の画像に合成(多重合成)する(ステップS608)。また、前述したステップS609と同様に、合成した画像をファインダ(表示部79)に撮影後レビュー表示、又は記録前プレビュー表示する(ステップS616)。 Next, a plurality of images are selected according to the adjustment operation, that is, according to the interval and number of images changed in step S611 and / or the selection start timing changed in step S613 (step S614). Similar to step S608 described above, the plurality of selected images are superimposed and synthesized into one image (multiple synthesis) (step S608). Similarly to step S609 described above, the synthesized image is displayed on the finder (display unit 79) as a review after shooting or as a preview before recording (step S616).
したがって、選択開始タイミングを早くしかつ時間間隔を短くした場合には、図21(D)に示す合成画像P0が表示部79に表示され、選択開始タイミングを遅くしかつ時間間隔を長くした場合には、図21(E)に示す合成画像P0が表示部79に表示されることとなる。
Therefore, when the selection start timing is advanced and the time interval is shortened, the composite image P0 shown in FIG. 21D is displayed on the
次に、記録OKキー入力があったか否かを判断する(ステップS617)。このとき、ユーザは、前記ステップS609で表示されたユーザが調整操作する前の合成画像(図21(C))、又は前記ステップS616で表示されたユーザが調整操作した合成画像(図21(D)又は(E))を視認して、当該合成画像で満足であれば、記録OKキーを操作する。これにより、ステップS617の判断がYESとなり、合成された画像データを符号化して、画像メモリ媒体25に記録する(ステップS619)。また、連続撮影画像Pを未だ画像メモリ媒体25に記録しておらず、合成画像P0をプレビュー表示した場合には、このステップS619で連続撮影画像Pの画像データも符号化して、画像メモリ媒体25に記録する。
Next, it is determined whether or not a recording OK key has been input (step S617). At this time, the user displays the composite image (FIG. 21C) displayed before the adjustment operation displayed in step S609 (FIG. 21C) or the composite image adjusted by the user displayed in step S616 (FIG. 21D). ) Or (E)), and if the composite image is satisfactory, the recording OK key is operated. As a result, the determination in step S617 becomes YES, and the combined image data is encoded and recorded in the image memory medium 25 (step S619). If the continuously shot image P is not yet recorded in the
したがって、本実施の形態によれば、画像の選択開始タイミングや画像の間隔、合成する画像の枚数をユーザが任意に設定することができ、ユーザにより選択された画像を1枚の画像内に多重合成した合成画像の作成、表示が可能となる。 Therefore, according to the present embodiment, the user can arbitrarily set the image selection start timing, the image interval, and the number of images to be combined, and the images selected by the user can be multiplexed within one image. It is possible to create and display a synthesized composite image.
なお、本実施の形態においては、複数の画像の合成処理として、レイアウト合成処理、スライス合成処理、多重焼き合成処理を示したが、他の合成処理を用いるようにしてもよい。 In the present embodiment, layout composition processing, slice composition processing, and multiple firing composition processing are shown as composition processing of a plurality of images, but other composition processing may be used.
1 撮像装置
2 制御回路
3 CPU
5 制御回路
23 プログラムメモリ
24 データメモリ
25 画像メモリ媒体
30 外部トリガー端子
31 トリガー検出部
32 プログラムメモリ
39 検出回路
47 ディスク媒体
56 撮像素子
58 シャッタ
59 イメージセンサ部
60 水平走査部
61 垂直走査部
62 P/S変換部
63 DSP部
64 S/P変換部
65 バッファメモリ
75 バッファメモリ
78 表示駆動回路
79 表示部
DESCRIPTION OF
5 control circuit 23
Claims (10)
この撮像手段により前記フレーム周期に従って撮像された複数の画像からなる連続画像を記憶する画像記憶手段と、
この画像記憶手段に記憶された連続画像を構成する複数の画像から、間欠的に画像を選択する選択手段と、
この選択手段により選択された複数の画像を合成して、合成画像を生成する画像合成手段と、
この画像合成手段により生成された前記合成画像を表示する表示手段と
を備えることを特徴とする撮像装置。 Imaging means for imaging according to a predetermined frame period;
Image storage means for storing continuous images composed of a plurality of images imaged according to the frame period by the imaging means;
A selection means for intermittently selecting an image from a plurality of images constituting a continuous image stored in the image storage means;
A plurality of images selected by the selection means, and an image composition means for generating a composite image;
An imaging apparatus comprising: display means for displaying the composite image generated by the image composition means.
前記選択手段は、前記画像記憶手段が記憶を終了した直後における連続画像から、間欠的に画像を選択し、
前記表示手段は、前記画像記憶手段が記憶を終了した直後において前記合成画像を表示することを特徴とする請求項1記載の撮像装置。 The image storage means starts storing the image in response to a start operation and ends storing the image in response to an end operation,
The selection means intermittently selects an image from continuous images immediately after the image storage means finishes storing,
The imaging apparatus according to claim 1, wherein the display unit displays the composite image immediately after the image storage unit finishes storing.
前記選択手段は、前記再生手段により前記連続画像を再生する再生モードにおいて、当該連続画像を構成する複数の画像から、間欠的に画像を選択することを特徴とする請求項1記載の撮像装置。 Replaying means for replaying a continuous image composed of a plurality of images recorded in the recording means;
The imaging apparatus according to claim 1, wherein the selection unit intermittently selects an image from a plurality of images constituting the continuous image in a reproduction mode in which the reproduction unit reproduces the continuous image.
前記選択手段は、前記操作手段に対する操作に応じて、前記複数の画像から異なる間欠タイミングで画像を選択することを特徴とする請求項4、5又は6記載の撮像装置。 Further comprising an operating means,
7. The imaging apparatus according to claim 4, 5 or 6, wherein the selection unit selects an image from the plurality of images at different intermittent timings according to an operation on the operation unit.
前記撮像手段は、前記制御情報記憶手段から選択された撮影シーン対応するフレーム周期に従って撮像し、
前記画像合成手段は、前記選択された撮影シーン対応する画像合成形態で前記複数の画像を合成することを特徴とする請求項1記載の撮像装置。 Corresponding to the shooting scene, comprising a control information storage means for storing different frame periods and different image composition forms,
The image pickup means picks up an image according to a frame period corresponding to a shooting scene selected from the control information storage means,
The imaging apparatus according to claim 1, wherein the image synthesizing unit synthesizes the plurality of images in an image synthesis form corresponding to the selected shooting scene.
前記画像記憶手段に記憶された連続画像を構成する複数の画像から、間欠的に画像を選択する選択手段、
この選択手段により選択された複数の画像を合成して、合成画像を生成する画像合成手段、
この画像合成手段により生成された前記合成画像を表示させる表示制御手段
として機能させることを特徴とする画像処理プログラム。 A computer having an apparatus that includes an imaging unit that captures an image according to a predetermined frame period and an image storage unit that stores a continuous image including a plurality of images captured by the imaging unit according to the frame period;
Selection means for intermittently selecting an image from a plurality of images constituting a continuous image stored in the image storage means;
A plurality of images selected by the selection means, and an image composition means for generating a composite image;
An image processing program that functions as display control means for displaying the composite image generated by the image composition means.
この撮像ステップにより前記フレーム周期に従って撮像された複数の画像からなる連続画像を記憶する画像記憶ステップと、
この画像記憶ステップにより記憶された連続画像を構成する複数の画像から、間欠的に画像を選択する選択ステップと、
この選択ステップにより選択された複数の画像を合成して、合成画像を生成する画像合成ステップと、
この画像合成ステップにより生成された前記合成画像を表示する表示ステップと
を含むことを特徴とする画像処理方法。 An imaging step of imaging according to a predetermined frame period;
An image storage step of storing a continuous image composed of a plurality of images imaged according to the frame period by the imaging step;
A selection step of intermittently selecting an image from a plurality of images constituting the continuous image stored in the image storage step;
A plurality of images selected by the selection step, and an image synthesis step for generating a synthesized image;
And a display step for displaying the composite image generated by the image composition step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007208722A JP2009044573A (en) | 2007-08-10 | 2007-08-10 | Imaging device, image processing program and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007208722A JP2009044573A (en) | 2007-08-10 | 2007-08-10 | Imaging device, image processing program and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009044573A true JP2009044573A (en) | 2009-02-26 |
JP2009044573A5 JP2009044573A5 (en) | 2010-09-09 |
Family
ID=40444805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007208722A Pending JP2009044573A (en) | 2007-08-10 | 2007-08-10 | Imaging device, image processing program and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009044573A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102075680A (en) * | 2009-11-20 | 2011-05-25 | 索尼公司 | Image processing apparatus, image processing method and program |
CN102075682A (en) * | 2009-11-20 | 2011-05-25 | 索尼公司 | Image capturing apparatus, image processing apparatus, control method thereof and program |
US8670047B2 (en) | 2009-12-28 | 2014-03-11 | Sony Corporation | Image processing apparatus, imaging apparatus, image processing method, and program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0918864A (en) * | 1995-06-30 | 1997-01-17 | Nippon Software Eng Kk | Flying object information processor |
JP2001036858A (en) * | 1997-09-02 | 2001-02-09 | Casio Comput Co Ltd | Image reproducer and image reproducing method |
JP2005006198A (en) * | 2003-06-13 | 2005-01-06 | Canon Inc | Imaging apparatus, its controlling method, program, and recording medium |
JP2005151475A (en) * | 2003-11-19 | 2005-06-09 | Kyocera Corp | Imaging apparatus |
JP2007116418A (en) * | 2005-10-20 | 2007-05-10 | Sony Corp | Image conversion device, image signal processing device, camera system and image signal processing method |
JP2007180904A (en) * | 2005-12-28 | 2007-07-12 | Samsung Techwin Co Ltd | Imaging apparatus, and photographing method |
-
2007
- 2007-08-10 JP JP2007208722A patent/JP2009044573A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0918864A (en) * | 1995-06-30 | 1997-01-17 | Nippon Software Eng Kk | Flying object information processor |
JP2001036858A (en) * | 1997-09-02 | 2001-02-09 | Casio Comput Co Ltd | Image reproducer and image reproducing method |
JP2005006198A (en) * | 2003-06-13 | 2005-01-06 | Canon Inc | Imaging apparatus, its controlling method, program, and recording medium |
JP2005151475A (en) * | 2003-11-19 | 2005-06-09 | Kyocera Corp | Imaging apparatus |
JP2007116418A (en) * | 2005-10-20 | 2007-05-10 | Sony Corp | Image conversion device, image signal processing device, camera system and image signal processing method |
JP2007180904A (en) * | 2005-12-28 | 2007-07-12 | Samsung Techwin Co Ltd | Imaging apparatus, and photographing method |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102075680A (en) * | 2009-11-20 | 2011-05-25 | 索尼公司 | Image processing apparatus, image processing method and program |
CN102075682A (en) * | 2009-11-20 | 2011-05-25 | 索尼公司 | Image capturing apparatus, image processing apparatus, control method thereof and program |
CN102075680B (en) * | 2009-11-20 | 2014-06-04 | 索尼公司 | Image processing apparatus, image processing method and program |
US8896626B2 (en) | 2009-11-20 | 2014-11-25 | Sony Corporation | Image capturing apparatus, image processing apparatus, control method thereof and program |
US9407804B2 (en) | 2009-11-20 | 2016-08-02 | Sony Corporation | Method, apparatus, and non-transitory medium for generating a synthetic image from a series of captured images |
US8670047B2 (en) | 2009-12-28 | 2014-03-11 | Sony Corporation | Image processing apparatus, imaging apparatus, image processing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5895409B2 (en) | Imaging device | |
TWI465107B (en) | Image capturing apparatus capable of displaying live preview image | |
JP5117280B2 (en) | IMAGING DEVICE, IMAGING METHOD, REPRODUCTION DEVICE, AND REPRODUCTION METHOD | |
TWI514847B (en) | Image processing device, image processing method, and recording medium | |
JP5516662B2 (en) | Imaging device | |
JP5167094B2 (en) | Imaging apparatus and imaging method | |
JP2011071968A (en) | Data structure of still image file, image file generating device, image reproducing unit, and electronic camera | |
JP5377768B2 (en) | Image processing method and apparatus | |
JP2008098754A (en) | Imaging apparatus, image reproducing device and display method for picked-up image | |
KR101433119B1 (en) | Image processing device for generating composite image having predetermined aspect ratio | |
JP2008310696A (en) | Imaging device, stereoscopic image reproducing device, and stereoscopic image reproducing program | |
US7659926B2 (en) | Imaging apparatus and imaging method | |
US20110199496A1 (en) | Image capturing apparatus, image capturing control method, and storage medium | |
KR20120115127A (en) | Image processing device capable of generating wide-range image | |
JP2009058834A (en) | Imaging apparatus | |
JP2008072682A (en) | Imaging apparatus | |
KR101665175B1 (en) | Image acquisition apparatus,image acquisition method and recording medium | |
JP2008124896A (en) | Imaging apparatus and program therefor | |
JP2009044573A (en) | Imaging device, image processing program and image processing method | |
JP2007166539A (en) | Imaging apparatus, imaging method, program and storage medium | |
JP2013110562A (en) | Imaging apparatus | |
JP2011135502A (en) | Image display program, image display device and digital camera | |
JP2016131378A (en) | Imaging apparatus | |
JP4130592B2 (en) | Imaging apparatus and control method thereof | |
JP4781147B2 (en) | Imaging apparatus and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100723 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100723 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120410 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120607 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120703 |