JP2010219940A - Imaging device and imaging method - Google Patents
Imaging device and imaging method Download PDFInfo
- Publication number
- JP2010219940A JP2010219940A JP2009065006A JP2009065006A JP2010219940A JP 2010219940 A JP2010219940 A JP 2010219940A JP 2009065006 A JP2009065006 A JP 2009065006A JP 2009065006 A JP2009065006 A JP 2009065006A JP 2010219940 A JP2010219940 A JP 2010219940A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- subject
- motion vector
- dynamic range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 177
- 239000013598 vector Substances 0.000 claims abstract description 93
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 15
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 15
- 239000000203 mixture Substances 0.000 claims description 19
- 230000002194 synthesizing effect Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 description 31
- 238000000034 method Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 17
- 238000012937 correction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 8
- 239000002131 composite material Substances 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000006837 decompression Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像のダイナミックレンジを拡大する機能を備える撮像装置および撮像方法に関する。 The present invention relates to an imaging apparatus and an imaging method having a function of expanding a dynamic range of an image.
画像のダイナミックレンジを拡大する機能を備えた撮像装置が知られている。 An imaging apparatus having a function of expanding the dynamic range of an image is known.
特許文献1には、露光時間が異なる2枚の画像を連写して合成することで、ダイナミックレンジを拡大する構成が開示されている。
特許文献2には、第1の画素群および第2の画素群を有する撮像素子を用い、第1の画素群の露光時間と第2の画素群の露光時間とを異ならせて、第1の画素群により得られた第1の撮像画像と第2の画素群により得られた第2の撮像画像とを合成することで、ダイナミックレンジを拡大する構成が開示されている。 In Patent Document 2, an image sensor having a first pixel group and a second pixel group is used, and the exposure time of the first pixel group is different from the exposure time of the second pixel group. A configuration is disclosed in which the dynamic range is expanded by combining the first captured image obtained by the pixel group and the second captured image obtained by the second pixel group.
しかしながら、ダイナミックレンジの拡大に伴い、被写体ぶれが加算的に大きくなる問題や、撮像素子に配置された画素数に対し撮像画像の画素数が減少する問題がある。 However, there is a problem that subject blurring increases in addition to the expansion of the dynamic range and a problem that the number of pixels of the captured image decreases with respect to the number of pixels arranged in the image sensor.
特許文献1の構成では、被写体が動状態である場合、撮像タイミングが異なる2枚の画像を合成することで、画像上の被写体ぶれが加算的に大きくなる。
In the configuration of
特許文献2の構成では、撮像素子に配置された画素数に対し、撮像画像における画素数が半減する。 In the configuration of Patent Document 2, the number of pixels in the captured image is halved with respect to the number of pixels arranged in the image sensor.
本発明はこのような事情に鑑みてなされたもので、被写体が動状態である場合には画像合成に起因する被写体ぶれが無い広ダイナミックレンジ画像を得ることができ、被写体が静止状態である場合には高解像度の広ダイナミックレンジ画像を得ることができる撮像装置および撮像方法を提供することを目的とする。 The present invention has been made in view of such circumstances. When the subject is in a moving state, a wide dynamic range image free from subject blur caused by image composition can be obtained, and the subject is in a stationary state. An object of the present invention is to provide an imaging apparatus and an imaging method capable of obtaining a high-resolution wide dynamic range image.
前記目的を達成するために、本発明は、複数の画素群を有する撮像素子と、前記撮像素子の前記画素群ごとに異なる露光時間で撮像する第1の撮像、および、前記複数の画素群をひとつの高解像度画素群として一回ごとに異なる撮像条件で連続して複数回撮像する第2の撮像を行う撮像制御手段と、前記撮像素子により得られた画像から被写体の動きベクトルを検出する動きベクトル検出手段と、少なくとも前記被写体の動きベクトルに基づいて、前記被写体が静止状態であるか動状態であるかを判定する被写体判定手段と、前記被写体が動状態であると判定された場合には、前記第1の撮像にて得られた複数枚の画素群別画像を合成することにより第1の広ダイナミックレンジ画像を生成し、前記被写体が静止状態であると判定された場合には、前記第2の撮像にて得られた複数枚の高解像度画像を合成することにより前記第1の広ダイナミックレンジ画像よりも高解像度である第2の広ダイナミックレンジ画像を生成する画像合成手段と、を備えることを特徴とする撮像装置を提供する。 To achieve the above object, the present invention provides an imaging device having a plurality of pixel groups, a first imaging for imaging with different exposure times for each of the pixel groups of the imaging device, and the plurality of pixel groups. Imaging control means for performing second imaging for imaging a plurality of times continuously under different imaging conditions as a single high-resolution pixel group, and motion for detecting a motion vector of a subject from an image obtained by the imaging element When it is determined that the subject is in a moving state, a subject detection means for determining whether the subject is in a stationary state or a moving state based on at least a motion vector of the subject, and a vector detecting means When a first wide dynamic range image is generated by synthesizing a plurality of pixel group images obtained by the first imaging, and the subject is determined to be stationary Image synthesizing means for generating a second wide dynamic range image having a resolution higher than that of the first wide dynamic range image by synthesizing a plurality of high resolution images obtained by the second imaging. And an imaging apparatus characterized by comprising:
この構成によれば、被写体が動状態であると判定された場合には、画素群ごとに異なる露光時間にて一回の撮像で得られた複数枚の画素群別画像が合成されることにより第1の広ダイナミックレンジ画像が生成され、被写体が静止状態であると判定された場合には、一回ごとに異なる撮像条件で連続して複数回撮像して得られた複数枚の高解像度画像が合成されることにより、第1の広ダイナミックレンジ画像よりも高解像度である第2の広ダイナミックレンジ画像が生成されるので、被写体が動状態である場合には画像合成に起因する被写体ぶれが無い広ダイナミックレンジ画像が得られ、且つ、被写体が静止状態である場合には高解像度の広ダイナミックレンジ画像を得ることが可能となる。 According to this configuration, when it is determined that the subject is in a moving state, a plurality of images for each pixel group obtained by one imaging with different exposure times for each pixel group are combined. When the first wide dynamic range image is generated and it is determined that the subject is in a stationary state, a plurality of high-resolution images obtained by continuously imaging a plurality of times under different imaging conditions each time. Is combined to generate a second wide dynamic range image having a higher resolution than the first wide dynamic range image. Therefore, when the subject is in a moving state, subject blurring due to image synthesis is generated. When there is no wide dynamic range image and the subject is stationary, it is possible to obtain a high resolution wide dynamic range image.
また、本発明は、複数の画素群を有する撮像素子と、前記撮像素子の前記画素群ごとに異なる露光時間で撮像するとともに、前記画素群間で露光時間を互いに入れ替えて、連続して複数回撮像する撮像制御手段と、前記撮像素子により得られた画像から被写体の動きベクトルを検出する動きベクトル検出手段と、少なくとも前記被写体の動きベクトルに基づいて、前記被写体が静止状態であるか動状態であるかを判定する被写体判定手段と、前記被写体が動状態であると判定された場合には、一回の撮像で得られた複数枚の画素群別画像を合成することにより第1の広ダイナミックレンジ画像を生成し、前記被写体が静止状態であると判定された場合には、複数回の撮像で得られた複数枚の画素群別画像を同一の画素群ごとに合成するとともに画素群間で組み合わせることにより前記第1の広ダイナミックレンジ画像よりも高解像度である第2の広ダイナミックレンジ画像を生成する画像合成手段と、を備えることを特徴とする撮像装置を提供する。 In addition, the present invention captures an image sensor having a plurality of pixel groups and an exposure time that is different for each pixel group of the image sensor, and the exposure times are interchanged between the pixel groups, so that a plurality of times An imaging control means for imaging, a motion vector detection means for detecting a motion vector of a subject from an image obtained by the imaging device, and whether the subject is stationary or moving based at least on the motion vector of the subject A subject determination means for determining whether or not the subject is in a moving state; and when the subject is determined to be in a moving state, a first wide dynamic image is obtained by synthesizing a plurality of images by pixel group obtained by one imaging. When a range image is generated and it is determined that the subject is in a stationary state, a plurality of pixels group-by-pixel images obtained by a plurality of times of imaging are synthesized for the same pixel group. To provide an imaging apparatus characterized by comprising an image synthesizing means for generating a second wide dynamic range image is a high resolution than the first wide dynamic range image by combining among the pixel groups.
この構成によれば、被写体が動状態であると判定された場合には、画素群ごとに異なる露光時間にて一回の撮像で得られた複数枚の画素群別画像が合成されることにより第1の広ダイナミックレンジ画像が生成され、被写体が静止状態であると判定された場合には、第1の広ダイナミックレンジ画像よりも高解像度である第2の広ダイナミックレンジ画像が生成されるので、被写体が動状態である場合には画像合成に起因する被写体ぶれが無い広ダイナミックレンジ画像が得られ、且つ、被写体が静止状態である場合には高解像度の広ダイナミックレンジ画像を得ることが可能となる。 According to this configuration, when it is determined that the subject is in a moving state, a plurality of images for each pixel group obtained by one imaging with different exposure times for each pixel group are combined. When the first wide dynamic range image is generated and it is determined that the subject is in a stationary state, the second wide dynamic range image having a higher resolution than the first wide dynamic range image is generated. When the subject is in a moving state, it is possible to obtain a wide dynamic range image without subject blurring due to image composition, and when the subject is in a stationary state, a high resolution wide dynamic range image can be obtained. It becomes.
また、本発明の一態様にて、本撮像装置の動きを検出するセンサを備え、前記画像合成手段は、前記センサの検出結果を用いて画像合成を行なう。 In one embodiment of the present invention, a sensor for detecting the movement of the imaging apparatus is provided, and the image synthesizing unit performs image synthesis using a detection result of the sensor.
この構成によれば、手ぶれを加算すること無く、精度の良い広ダイナミックレンジ画像を記録することが可能になる。 According to this configuration, it is possible to record an accurate wide dynamic range image without adding camera shake.
また、本発明の一態様にて、前記動きベクトル検出手段は、前記撮像素子により得られた画像と前記センサの検出結果とに基づいて、前記被写体の動きベクトルを検出する。 In the aspect of the invention, the motion vector detection unit detects a motion vector of the subject based on an image obtained by the imaging element and a detection result of the sensor.
この構成によれば、手ぶれがあっても、被写体が静止状態であるか否かを確実に判定することが可能となる。 According to this configuration, it is possible to reliably determine whether or not the subject is stationary even when there is a camera shake.
また、本発明の一態様にて、前記動きベクトル検出手段は、前記撮像素子により得られた画像から本撮像装置の動きベクトルを検出し、前記画像合成手段は、前記本撮像装置の動きベクトルを用いて画像合成を行う。 In one embodiment of the present invention, the motion vector detection unit detects a motion vector of the imaging device from an image obtained by the imaging device, and the image synthesis unit calculates a motion vector of the imaging device. Image synthesis.
この構成によれば、本撮像装置の動きを検出するセンサ無しでも、手ぶれを加算すること無く、精度の良い広ダイナミックレンジ画像を記録することが可能になる。 According to this configuration, it is possible to record an accurate wide dynamic range image without adding camera shake even without a sensor for detecting the movement of the imaging apparatus.
本発明の一態様にて、前記動きベクトル検出手段は、同じ撮像条件で撮像された複数枚の画像を用いて前記動きベクトルを検出する。 In one aspect of the present invention, the motion vector detection means detects the motion vector using a plurality of images captured under the same imaging conditions.
この構成によれば、同じ撮像条件で撮像された複数枚の画像を用いて動きベクトルが検出されるので、動きベクトルの検出精度が向上する。 According to this configuration, since a motion vector is detected using a plurality of images captured under the same imaging conditions, the motion vector detection accuracy is improved.
また、本発明の一態様にて、前記撮像素子は、前記第1の画素群の格子間に前記第2の画素群を配置したハニカム配列である。 In one embodiment of the present invention, the imaging element has a honeycomb arrangement in which the second pixel group is arranged between lattices of the first pixel group.
また、本発明の一態様にて、前記撮像素子は、多数の画素を2方向に一定間隔で正方格子状に配列した正方格子配列である。 In one embodiment of the present invention, the imaging element is a square lattice array in which a large number of pixels are arrayed in a square lattice at regular intervals in two directions.
また、本発明は、複数の画素群を有する撮像素子を用い、前記撮像素子の前記画素群ごとに異なる露光時間で撮像する第1の撮像、および、前記複数の画素群をひとつの高解像度画素群として一回ごとに異なる撮像条件で連続して複数回撮像する第2の撮像を行う撮像ステップと、前記撮像ステップにて得られた画像から被写体の動きベクトルを検出する動きベクトル検出ステップと、少なくとも前記被写体の動きベクトルに基づいて、前記被写体が静止状態であるか動状態であるかを判定する被写体判定ステップと、前記被写体が動状態であると判定された場合には、前記第1の撮像にて得られた複数枚の画素群別画像を合成することにより第1の広ダイナミックレンジ画像を生成し、前記被写体が静止状態であると判定された場合には、前記第2の撮像にて得られた複数枚の高解像度画像を合成することにより前記第1の広ダイナミックレンジ画像よりも高解像度である第2の広ダイナミックレンジ画像を生成する画像合成ステップと、を備えることを特徴とする撮像方法を提供する。 In addition, the present invention uses a first imaging that uses an imaging device having a plurality of pixel groups and takes an exposure time different for each of the pixel groups of the imaging device, and a single high resolution pixel for the plurality of pixel groups. An imaging step for performing a second imaging for imaging a plurality of times continuously under different imaging conditions as a group, and a motion vector detection step for detecting a motion vector of a subject from the image obtained in the imaging step; A subject determination step for determining whether the subject is stationary or moving based on at least a motion vector of the subject; and when the subject is determined to be moving, the first When a first wide dynamic range image is generated by combining a plurality of pixel group images obtained by imaging, and the subject is determined to be stationary, An image combining step of generating a second wide dynamic range image having a resolution higher than that of the first wide dynamic range image by combining a plurality of high resolution images obtained by the second imaging; An imaging method is provided.
また、本発明は、複数の画素群を有する撮像素子を用い、前記撮像素子の前記画素群ごとに異なる露光時間で撮像するとともに、前記画素群間で露光時間を互いに入れ替えて連続して複数回撮像する撮像ステップと、前記撮像ステップにて得られた画像から前記被写体の動きベクトルを検出する動きベクトル検出ステップと、少なくとも前記被写体の動きベクトルに基づいて、前記被写体が静止状態であるか動状態であるかを判定する被写体判定ステップと、前記被写体が動状態であると判定された場合には、一回の撮像で得られた複数枚の画素群別画像を合成することにより第1の広ダイナミックレンジ画像を生成し、前記被写体が静止状態であると判定された場合には、複数回の撮像で得られた複数枚の画素群別画像を同一の画素群ごとに合成するとともに画素群間で組み合わせることにより前記第1の広ダイナミックレンジ画像よりも高解像度である第2の広ダイナミックレンジ画像を生成する画像合成ステップと、を備えることを特徴とする撮像方法を提供する。 Further, the present invention uses an imaging device having a plurality of pixel groups, images with different exposure times for each of the pixel groups of the imaging device, and continuously switches the exposure times between the pixel groups a plurality of times. An imaging step for imaging, a motion vector detection step for detecting a motion vector of the subject from the image obtained in the imaging step, and whether the subject is in a stationary state or a moving state based on at least the motion vector of the subject A subject determination step for determining whether or not the subject is in a moving state, and by combining a plurality of images for each pixel group obtained by one imaging, the first wide range is obtained. When a dynamic range image is generated and it is determined that the subject is in a stationary state, a plurality of pixels group-by-pixel images obtained by a plurality of times of imaging are obtained for the same pixel group. And an image synthesis step of generating a second wide dynamic range image having a higher resolution than the first wide dynamic range image by combining and combining between pixel groups. To do.
本発明によれば、被写体が動状態である場合には画像合成に起因する被写体ぶれが無い広ダイナミックレンジ画像を得ることができ、被写体が静止状態である場合には高解像度の広ダイナミックレンジ画像を得ることができる。 According to the present invention, when the subject is in a moving state, it is possible to obtain a wide dynamic range image free from subject blur caused by image synthesis, and when the subject is in a stationary state, a high resolution wide dynamic range image is obtained. Can be obtained.
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
図1は、本発明を適用したデジタルカメラ100の正面図である。
FIG. 1 is a front view of a
カメラボディ80(デジタルカメラ100の本体)の正面には、レンズ鏡胴81が配置されている。レンズ鏡胴81には、撮影レンズ24が内蔵されている。レンズ鏡胴81は、沈胴機構で構成されており、カメラボディ80に沈胴した状態から繰り出し可能である。また、カメラボディ80には、非撮影時に撮影レンズ24の前面を覆って撮影レンズ24を外界から遮ることで撮影レンズ24を保護するレンズカバー82が設けられている。レンズカバー82は、開閉自在な機構で構成されており、開状態で撮影レンズ24の前面を覆い、閉状態で撮影レンズ24の前面を外界に露出する。レンズ鏡胴81の沈胴機構およびレンズカバーの開閉機構は、周知の機構であり、説明を省略する。
A
また、カメラボディ80の正面には、フラッシュ60、AF補助光ランプ66、セルフタイマランプ68等が配置されている。フラッシュ60は、被写界に撮影用の光を照射する。例えば、キセノン管で構成される。LEDで構成してもよい。AF補助光ランプ66は後述のAFのために発光するランプであり、セルフタイマランプ68はセルフタイマ撮影を報知するためのランプである。
Further, a
カメラボディ80の上面には、中央部分にレリーズスイッチ84が配置されたモードダイヤル83(モード切替スイッチ)と、電源スイッチ85とが配置されている。レリーズスイッチ84は、二段ストローク式のハードウェアスイッチで構成されており、いわゆる「半押し」と「全押し」とが可能である。半押しにより撮影準備指示を入力し、全押しにより撮影指示を入力する。レリーズスイッチ84を半押しすると、撮影準備処理、すなわち、AE(Automatic Exposure:自動露出)、AF(Auto Focus:自動合焦)、AWB(Automatic White Balance:自動ホワイトバランス)等、撮影前に行うべき処理を行う。レリーズスイッチ84を全押しすると、撮影処理、すなわち、被写体の本撮像および撮像画像の記録を行う。モードダイヤル83は、デジタルカメラ100のモードを切り替えるスイッチである。
On the upper surface of the
図2は、図1に示したデジタルカメラ100の背面図である。なお、図1に示した構成要素には同じ符号を付してあり、説明を省略する。
FIG. 2 is a rear view of the
デジタルカメラ100の背面には、モニタ50、十字キー86、メニュー/OKキー87、ズームスイッチ88が配置されている。
On the back of the
モニタ50は、公知の表示デバイスを用いて構成することができるが、携帯機器用としては、一般に、LCD(液晶表示デバイス)、有機EL(エレクトロルミネッセンス)表示デバイスなど、薄型の表示デバイスが用いられる。
The
十字キー86は、上、下、左、右に操作することで、各種設定の指示入力が可能である。例えば、明るさ調整、セルフタイマ設定、マクロ撮影、フラッシュ発光等の指示を入力する。 The cross key 86 can be used to input instructions for various settings by operating up, down, left, and right. For example, instructions for brightness adjustment, self-timer setting, macro photography, flash emission, and the like are input.
メニュー/OKキー87は、メニュー画面を表示して設定情報の入力を受け付けるメニュー機能の呼び出しに用いられる。また、メニュー/OKキー87は、メニュー画面上に表示した選択内容の確定や、処理の実行指示の入力に用いられる。
The menu /
ズームスイッチ88は、撮影レンズ24のズーム操作に用いられる。望遠を示す「T」(テレ)側を押すと、押し続けている間、レンズ鏡胴81がカメラボディ80の外側に繰り出して焦点距離が望遠側に設定される。広角を示す「W」(ワイド)側を押すと、押し続けている間、レンズ鏡胴81がカメラボディ80の内側に引き込んで焦点距離が広角側に設定される。
The
図3は、第1実施形態におけるデジタルカメラ100の内部構成例を示すブロック図である。なお、図1および図2に示した要素には同じ符号を付してあり、説明を省略する。
FIG. 3 is a block diagram illustrating an internal configuration example of the
図3において、デジタルカメラ100は、画像を電子的に記録するカメラであり、CPU(中央処理装置)10、操作部12、ROM14、SDRAM16、VRAM18、EEPROM20、バス22、撮影レンズ24、撮像素子30、タイミングジェネレータ32、アナログ信号処理部34、A/D変換器36、画像入力コントローラ38、画像信号処理部40、圧縮/伸張処理部42、メディアインタフェース44、メモリカード46、モニタドライバ48、モニタ50、AE検出部52、AF検出部54、手振れ補正部56、フラッシュドライバ58、フラッシュ60、電源制御部62、バッテリ64等を備えて構成されている。
In FIG. 3, a
CPU10は、デジタルカメラ100の全体の動作を制御する制御手段として機能し、操作部12からの入力に基づきプログラムに従ってデジタルカメラ100の各部を制御する。また、CPU10は、デジタルカメラ100の制御に必要な各種制御値を算出するための演算処理手段として機能し、プログラムに従って各種演算処理を実行する。デジタルカメラ100の各部は、バス22を介してCPU10と接続されている。
The
本実施形態のCPU10は、AE制御、AF制御、ダイナミックレンジ判定、撮像制御、動きベクトル検出、被写体判定、画像合成、記録制御等の機能を有する。これらの各種機能については、後に詳説する。
The
操作部12は、図1および図2に示した、モードダイヤル83、レリーズスイッチ84、電源スイッチ85、十字キー86、メニュー/OKキー87、ズームスイッチ88等のハードウェアスイッチを含んで構成され、これらハードウェアスイッチの操作に応じた信号をCPU10に出力する。デジタルカメラ100は、被写体の本撮像および画像の記録を行う撮影モードに加えて、記録した画像を再生する再生モードを備えており、この撮影モードと再生モードとの切り替えが、モードダイヤル83等によって行われる。なお、各種の詳細なモードの切り替えを行うため、モードダイヤル83以外のモード切り替え用スイッチを設けてもよい。また、メニューによりモード切り替え可能である。
The
ROM14には、このCPU10が実行するプログラム及び制御に必要な各種データ等が格納されている。SDRAM16は、CPU10の作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。VRAM18は、表示用の画像データ専用の一時記憶領域として利用される。また、EEPROM20には、ユーザ固有の各種設定情報等が格納される。
The
撮影レンズ24は、ズームを行うズームレンズ24zと、焦点合わせを行うフォーカスレンズ24fと、光量調節を行うアイリス24iを含んで構成される。本例の撮影レンズ24は、沈胴式であり、電源スイッチ85によりデジタルカメラ100の電源をオンすると、カメラボディから繰り出される。
The photographing
ズームレンズ24zは、ズームモータ26zにより駆動されて、光軸上を移動する。これにより、撮像素子30の受光面上に結像される被写体像が光学的に変倍される。CPU10は、ズームモータドライバ28zを介してズームモータ26zの駆動を制御することにより、ズームレンズ24zの移動を制御し、光学的なズーム切り替えを行う。
The
フォーカスレンズ24fは、フォーカスモータ26fにより駆動されて、光軸上を前後移動する。これにより、焦点合わせが行われる。CPU10は、フォーカスモータドライバ28fを介してフォーカスモータ26fの駆動を制御することにより、フォーカスレンズ24fの移動を制御し、焦点合わせを行う。
The focus lens 24f is driven by the
アイリス24iは、例えば、アイリス絞りで構成され、アイリスモータ26iにより駆動されて、その開口量(絞り値)が変化する。CPU10は、アイリスモータドライバ28iを介してアイリスモータ26iの駆動を制御することにより、アイリス24iの開口量を制御し、撮像素子30の受光面に入射する被写体光の光量を制御する。
The
撮像素子30は、例えば、CCD(Charge Coupled Device)イメージセンサである。CCDの代わりに他の方式のイメージセンサ(例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ)を用いることも可能である。
The
撮像素子30の受光面には、例えばR(赤)、G(緑)、B(青)の3原色の色フィルタが取り付けられた多数の受光素子(以下「画素」ともいう)が配置されている。各画素は、例えばフォトダイオードによって構成されている。なお、3原色以外(例えば補色系)の組み合わせの色フィルタを用いることも可能である。
For example, a large number of light receiving elements (hereinafter also referred to as “pixels”) to which color filters of three primary colors of R (red), G (green), and B (blue) are attached are arranged on the light receiving surface of the
撮影レンズ24を透過した被写体光は、撮像素子30の受光面に結像される。撮像素子30は、タイミングジェネレータ(TG)32により駆動されて動作する。すなわち、タイミングジェネレータ32から与えられる駆動パルスによって、各画素に蓄積された信号電荷を読み出し、RGBの画像信号として出力する。CPU10は、このタイミングジェネレータ32の駆動を制御することにより、撮像素子30の露光タイミング、露光時間(電荷蓄積時間、シャッター速度)、画像信号の読み出しを制御する。
The subject light transmitted through the
アナログ信号処理部34は、撮像素子30から出力されたアナログの画像信号に対して相関二重サンプリング処理を行い、増幅して出力する。
The analog
A/D変換器36は、アナログ信号処理部34から出力されたアナログの画像信号をデジタルの画像信号に変換して出力する。
The A /
画像入力コントローラ38は、所定容量のラインバッファを内蔵しており、CPU10の制御の下、A/D変換器36から出力された1コマ分の画像信号を取り込んで、SDRAM16に格納する。
The
画像信号処理部40は、CPU10による制御の下、SDRAM16に格納された画像信号を取り込み、所要の信号処理を施して、輝度信号(Y)と色差信号(Cr,Cb)とからなる画像信号(Y/C信号)を生成して、VRAM18に書き込む。
The image
圧縮/伸張処理部42は、CPU10による制御の下、画像信号(Y/C信号)を取り込み、所定の圧縮処理を施して、圧縮画像データ(例えば、JPEG)を生成する。また、CPU10による制御の下、圧縮画像データを取り込み、所定の伸張処理を施して、非圧縮の画像信号(Y/C信号)を生成する。
The compression /
メディアインタフェース44は、CPU10による制御の下、メモリカード46にデータを読み/書きする。例えば、CPU10からの記録指示に応じて、撮影により得られた画像データをメモリカード46に記録する。また、CPU10からの読み出し指示に応じて、メモリカード46から該当する画像データを読み出す。メモリカード46は、撮影装置本体に設けられたカードスロットに着脱自在に装填される。
The
モニタ50は、再生モード時には記録済み画像の再生表示部として使用されるほか、撮影モード時には撮像素子30で生成されて画像入力コントローラ38によりSDRAM16に取り込んだ画像を、時系列に連続したスルー画像として表示する。
The
モニタドライバ48は、CPU10による制御の下、モニタ50の表示を制御する。本例では、画像信号(Y/C信号)をVRAM18から取り込み、表示用の信号形式に変換して、モニタ50に出力する。
The
AE検出部52は、CPU10による制御の下、SDRAM16に格納されたR、G、Bの画像信号を取り込み、AE制御に必要な、撮像画像の明るさを示すAE評価値(測光値)を算出し、CPU10に対し出力する。
The
AF検出部54は、CPU10による制御の下、SDRAM16に格納されたR、G、Bの画像信号を取り込み、AF制御に必要な、撮像画像のコントラストを示すAF評価値(コントラスト値)を算出し、CPU10に対し出力する。本例のAF検出部54は、G信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、操作部12により設定された所定のフォーカスエリア内の信号を切り出すフォーカスエリア抽出部、及び、そのフォーカスエリア内の絶対値データを積算する積算部を含み、積算部で積算されたフォーカスエリア内の絶対値データをAF評価値としてCPU10に出力する。
The
手ぶれ補正部56は、CPU10からの指示に従い、手ぶれ補正を行う。
The camera
フラッシュドライバ58は、CPU10による制御の下、フラッシュ60を駆動する。すなわち、CPU10から指示された発光タイミング、発光量でフラッシュ60を発光させる。
The
電源制御部62は、CPU10からの指示に従い、装置本体に装填されたバッテリ64からデジタルカメラ100の各部への電源の供給を制御する。
The
なお、図3にて符号24〜36のデバイス(撮影レンズ24、撮像素子30、アナログ信号処理部34およびA/D変換器36を含む)により、撮像部23が構成される。
Note that the
図4は、撮像素子30の構成例を模式的に示す平面図である。
FIG. 4 is a plan view schematically showing a configuration example of the
撮像素子30の受光面には、赤、緑、青の色フィルタがそれぞれ取り付けられた多数の画素(受光素子)が配置されている。図4にて、大文字のR、G、Bが付された画素のグループを以下「A面画素群」といい、小文字のr、g、bが付された画素のグループを以下「B面画素群」という。A面画素群、B面画素群とも、赤、緑、青の3原色のフィルタがそれぞれ取り付けられた画素を含んでいる。これにより、A面画素群だけ又はB面画素群だけで、フルカラー画像を生成することが可能である。
A large number of pixels (light receiving elements) to which red, green, and blue color filters are attached are arranged on the light receiving surface of the
本例の撮像素子30は、ハニカム配列と呼ばれる画素配列を有しており、A面画素群(R、G、B画素群)が行方向および列方向に格子状に配置され、このA面画素群に対し、B面画素群(r、g、b画素群)が行方向及び列方向に画素ピッチの半分(1/2画素ピッチ)ずらして格子状に配置されている。つまり、A面画素群の格子間にB面画素群を配置したハニカム配列となっている。
The
また、赤(R、r)、緑(G、g)、青(B、b)の同色の画素が斜め方向に2つ隣り合う。これらの隣接した二つの画素を一画素とみなして信号処理することで、ダイナミックレンジを拡大することが可能である。 Also, two pixels of the same color of red (R, r), green (G, g), and blue (B, b) are adjacent to each other in an oblique direction. By treating these two adjacent pixels as one pixel and performing signal processing, the dynamic range can be expanded.
本例にて、同一色のA面画素とB面画素(例えばR画素とr画素)は、同一の形状および同一の飽和電荷量を有する。また、A面画素およびB面画素には、それぞれ独立した電荷転送路(80A、80B)と読出電極(82A、82B)が設けられており、A面画素に蓄積された電荷とB面画素に蓄積された電荷は、それぞれ独立に読み出し及び転送を行うことが可能である。 In this example, the A color pixel and B color pixel (for example, R pixel and r pixel) of the same color have the same shape and the same saturation charge amount. In addition, the A plane pixel and the B plane pixel are provided with independent charge transfer paths (80A, 80B) and readout electrodes (82A, 82B), respectively. The charges accumulated in the A plane pixel and the B plane pixel The accumulated charges can be read out and transferred independently of each other.
撮像素子30のA面画素群およびB面画素群は、画素群ごとに異なる露光時間にて一回露光で撮像することが可能である。例えば、A面画素群とB面画素群とで同時に露光を開始し、B面画素群の露光終了後にA面画素群の露光を終了することが可能である。これにより、A面画素群の長時間露光によるA面画像と、B面画素群の短時間露光によるB面画像が得られる。このような撮像素子30の駆動については、例えば特開2007−235656号公報に記載の方法を用いればよく、ここでは詳細な説明を省略する。もっとも、本発明は、A面画素群とB面画素群とで同時に露光を開始する場合には特に限定されない。例えば、露光開始時間を異ならせる態様や、露光開始時間と露光終了時間の両方を異ならせる態様でも、露光期間を重複させ且つ露光時間を異ならせることができる。
The A-plane pixel group and the B-plane pixel group of the
また、撮像素子30のA面画素群とB面画素群とをひとつの高解像度画素群として用い、A面画素群とB面画素群とで同じ露光時間で撮像することにより、画素群別画像(A面画像、B面画像)よりも高解像度を有する高解像度画像を得ることも可能である。
In addition, by using the A-plane pixel group and the B-plane pixel group of the
なお、画素の形状は、図4に示す四角形状に限定されるものではない。例えば、六角形状や八角形状の画素であってもよい。 Note that the shape of the pixel is not limited to the rectangular shape shown in FIG. For example, hexagonal or octagonal pixels may be used.
また、本発明にて、画素配列はハニカム配列に特に限定されるものではない。例えば、多数の画素を行方向および列方向に一定間隔で正方格子形状に配列した正方格子配列とし、行方向および列方向のそれぞれにてA面画素とB面画素とを1つ置きに配置してもよい。 In the present invention, the pixel arrangement is not particularly limited to the honeycomb arrangement. For example, a square lattice arrangement in which a large number of pixels are arranged in a square lattice shape at regular intervals in the row direction and the column direction, and every other A plane pixel and B plane pixel are arranged in each of the row direction and the column direction. May be.
図5は、第1実施形態におけるCPU10の要部機能ブロック図である。
FIG. 5 is a main part functional block diagram of the
AE制御部102は、AE検出部52により算出されたAE評価値に基づいて、自動露出(AE)制御を行う。
The
AF制御部104は、AF検出部54により算出されたAF評価値に基づいて、自動合焦(AF)制御を行う。
The
ダイナミックレンジ判定部106は、撮像部23から出力される撮像画像のダイナミックレンジが適正な範囲内であるか否かを判定する。具体的には、ダイナミックレンジを閾値と比較し、ダイナミックレンジが閾値未満であれば、ダイナミックレンジは適正範囲内であり、拡大は不要であると判定する。つまり、基準の撮像条件で本撮像した場合に飽和は生じないと推定する。ダイナミックレンジが閾値以上であれば、ダイナミックレンジは適正範囲外であり、拡大が必要であると判定する。この場合、基準の撮像条件で本撮像した場合に飽和する可能性がある。ここで、本撮像は、レリーズスイッチ84により撮影指示が入力された後に、記録する画像を得るために行う撮像である。
The dynamic range determination unit 106 determines whether or not the dynamic range of the captured image output from the
撮像制御部108は、タイミングジェネレータ32を用いて撮像素子30を制御する。撮像により得られた撮像画像は、SDRAM16に格納される。
The imaging control unit 108 controls the
本例では、撮像素子30のA面画素群とB面画素群とで画素群ごとに異なる露光時間で一回露光(一回撮像)にて撮像する画素群別撮像(第1の撮像)と、A面画素群およびB面画素群をひとつの高解像度の画素群として同じ露光時間を設定し、且つ、一回ごとに異なる露光時間で連続して複数回露光(複数回撮像)にて撮像する高解像度連写(第2の撮像)とを、連続して行う。この場合、少なくとも三回露光(三回撮像)する。画素群別撮像および高解像度連写の順はいずれが先でもよい。
In this example, pixel group-by-pixel imaging (first imaging) in which the A-plane pixel group and the B-plane pixel group of the
動きベクトル検出部110は、被写体を連続して撮像して得られた複数枚の画像から、被写体の動きベクトルを検出する。また、本実施形態の動きベクトル検出部110は、被写体の動きベクトルとともに、カメラボディ80の動きベクトルを、複数枚の画像から検出する。
The motion
被写体判定部112は、被写体の動きベクトルに基づいて、連写中の被写体が静止状態であるか動状態であるかを判定する。以下では、静止状態である被写体を「静止体」、動状態である被写体を「動体」ということもある。
The
画像合成部114は、被写体判定部112により連写中の被写体が動状態であると判定された場合には、A面画素群とB面画素群とで異なる露光時間にて一回露光(一回撮像)して得られたA面画像とB面画像とを合成する。また、画像合成部114は、被写体判定部112により連写中の被写体が静止状態であると判定された場合には、A面画素群およびB面画素群をひとつの高解像度画素群として扱い、一回ごとに異なる露光時間で連続して複数回露光(複数回撮像)して得られた複数枚の高解像度画像を合成する。
When the
つまり、画像合成部114は、図6(A)に示すオーバー露出の入出力特性201で撮像された画像(長時間露光画像)と、図6(B)に示すアンダー露出の入出力特性202で撮像された画像(短時間露光画像)とを加算する。オーバー露出では、入射光量が小さい低輝度領域にてダイナミックレンジが大きく、入射光量が大きい高輝度領域にて飽和する。アンダー露出では、高輝度領域でも飽和しない。なお、長時間露光画像と短時間露光画像とを単純加算すると、図6(C)に符号203で示す入出力特性で撮像されたと同じ画像となり、入出力特性が滑らかでなく、また、飽和点Sを超えてしまうため、γテーブルを用いた重み付け加算により、図6(C)に符号204で示す入出力特性で撮像されたと同じ画像を生成する。
That is, the
画像合成部114の画像合成により生成された画像を、以下では「合成画像」または「広ダイナミックレンジ画像」という。
The image generated by the image composition of the
また、本実施形態の画像合成部114は、動きベクトル検出部110にて検出されたカメラボディ80の動きベクトルを用いて、複数枚の連写画像を合成する。
Further, the
記録制御部120は、広ダイナミックレンジ画像を、メディアインタフェース44を介してメモリカード46に記録する。
The
本例の記録制御部120は、画像合成部114により生成された合成画像を、メモリカード46に記録する。
The
システム制御部122は、CPU10内の各部およびCPU10外の各部を統括して制御する。
The
図7は、第1実施形態における撮像処理例の流れを示すフローチャートである。本処理は図3のCPU10によりプログラムに従って実行される。
FIG. 7 is a flowchart illustrating a flow of an imaging process example in the first embodiment. This process is executed by the
レリーズスイッチ84が半押しされると、ステップS1にて、AE制御部102により、AE処理を行う。AE処理では、AE検出部52にて算出されたAE評価値に基づいて、撮像画像の輝度(明るさ)を求め、基準の露光時間および絞り値を決定する。例えば、プログラム線図を利用して決定する。
When the
ステップS2にて、AF制御部104により、AF処理を行う。AF処理では、フォーカスモータドライバ28fによりフォーカスレンズ24fを至近距離に合焦した至近レンズ位置から無限遠に合焦した無限遠レンズ位置まで小刻みに移動させながら、AF検出部54により撮像画像のコントラストを示すAF評価値を算出し、フォーカスレンズ24fをコントラストがピークとなるレンズ位置を合焦レンズ位置(主要被写体に合焦するフォーカスレンズ24fの位置)と決定する焦点検出処理を行う。そして、決定した合焦レンズ位置にフォーカスレンズ24fを移動させる。
In step S2, the
なお、本例では、AE処理およびAF処理をレリーズスイッチ84の全押し前に行うが、AE処理およびAF処理のうち少なくとも一方をレリーズスイッチ84の全押し後に行ってもよい。
In this example, the AE process and the AF process are performed before the
ステップS3にて、ダイナミックレンジ判定部106により、撮像部23から出力された撮像画像のダイナミックレンジを閾値(例えば6EV)と比較して、ダイナミックレンジが適正な範囲内であるか否かを判定する。ダイナミックレンジが閾値以上であればステップS4に進み、閾値未満であればステップS9に進む。
In step S3, the dynamic range determination unit 106 compares the dynamic range of the captured image output from the
本例では、ステップS1にて算出されたAE評価値(測光値)に基づいて、本撮像前の撮像画像における明暗差(輝度差)をダイナミックレンジとして算出する。例えば、撮像画像を複数の領域に分割し、AE検出部52により、各分割領域ごとに輝度の積算値を算出し、全部の領域における積算値の最大値と最小値を求め、適正露出値(適正EV値)に換算し、最大値と最小値との差をダイナミックレンジとして算出する。
In this example, based on the AE evaluation value (photometric value) calculated in step S1, the light / dark difference (luminance difference) in the captured image before the main imaging is calculated as a dynamic range. For example, the captured image is divided into a plurality of regions, the integrated value of luminance is calculated for each divided region by the
なお、ダイナミックレンジ判定をレリーズスイッチ84半押し後の撮像画像に基づいて行う場合を例に説明したが、レリーズスイッチ84が半押しされる前に撮像されたスルー画像に基づいて行ってもよい。
Although the case where the dynamic range determination is performed based on the captured image after the
レリーズスイッチ84が全押しされると、ステップS4にて、撮像制御部108により撮像部23を制御して、図8(A)に示すように、まず、A面画素群の露光時間t1をB面画素群の露光時間t2よりも長くして一回露光し、画素群ごとに蓄積電荷を読み取る(第1回目の撮像)。次に、A面画素群およびB面画素群をひとつの高解像度画素群として用い、異なる露光時間(t2<t1)で二回露光し、一回ごとに全画素群から蓄積電荷を読み取る(第2回目および第3回目の撮像)。第1回目の撮像(画素群別撮像)により、ダイナミックレンジが異なる通常解像度Rnの画素群別画像が2枚得られ、第2回目および第3回目の撮像(高解像度連写)により、ダイナミックレンジが異なる高解像度Rh(=Rn×2)の高解像度画像が2枚得られる。
When the
ステップS5にて、動きベクトル検出部110により、被写体の動きベクトルおよびカメラボディ80の動きベクトルを検出する。
In step S 5, the motion
動きベクトルは、撮像条件(露光時間、絞り値など)が異なる画像間でも検出可能であるが、動きベクトルの検出精度を高めるためには、同じ撮像条件で被写体を撮像して得られた複数枚の画像間で検出することが、好ましい。例えば、第1回目の撮像にて得られたA面画像と、第3回目の撮像にて得られた高解像度画像に含まれるA面画像とから、動きベクトルを検出する。B面画像を用いてもよい。 Although motion vectors can be detected between images with different imaging conditions (exposure time, aperture value, etc.), in order to improve the detection accuracy of motion vectors, multiple images obtained by imaging the subject under the same imaging conditions It is preferable to detect between these images. For example, a motion vector is detected from the A plane image obtained by the first imaging and the A plane image included in the high-resolution image obtained by the third imaging. A B-side image may be used.
動きベクトルは、公知技術を用いて検出すればよい。例えば、主要被写体が人と特定されている場合、各連写画像にて顔部分を検出し、複数枚の連写画像間で顔部分の動きベクトルを検出し、これを被写体の動きベクトルとする態様がある。ここで、顔部分の周囲(または撮像画像の周辺部分)を背景と推定して、背景の動きベクトルを検出し、これをカメラボディ80の動きベクトル(すなわち手ぶれ量)と推定してもよい。 The motion vector may be detected using a known technique. For example, when the main subject is identified as a person, the face portion is detected in each continuous shot image, the motion vector of the face portion is detected between a plurality of continuous shot images, and this is used as the motion vector of the subject. There are aspects. Here, the periphery of the face portion (or the peripheral portion of the captured image) may be estimated as the background, the background motion vector may be detected, and this may be estimated as the motion vector of the camera body 80 (ie, the amount of camera shake).
また、主要被写体が人等に特定されず任意である場合でも、被写体およびカメラボディ80の動きベクトルを検出可能である。例えば、撮像画像の各分割領域毎に、複数枚の連写画像間で動きベクトルを検出し、分割領域間で動きベクトル間の相関関係を求め、その相関関係に基づいて、各分割領域の動きベクトルが被写体の動き及びカメラボディ80の動きのうち何れを示すか、または、加算されているかを判定することで、被写体の動きベクトル及びカメラボディ80の動きベクトルを抽出することが可能である。
Even when the main subject is arbitrary without being specified by a person or the like, the motion vector of the subject and the
これら以外の方法を用いて被写体の動きベクトルおよびカメラボディ80の動きベクトルを検出してもよいことは、勿論である。
Of course, the motion vector of the subject and the motion vector of the
ステップS6にて、被写体判定部112により、被写体の動きベクトルに基づいて、連写中における被写体が、静止体(すなわち静止状態)であるか動体(すなわち動状態)であるかを判定する。
In step S6, the
動体であると判定された場合、ステップS7にて、画像合成部114により、A面画像とB面画像とを合成することで、ダイナミックレンジを拡大した合成画像を生成する。
If it is determined that the object is a moving object, in step S7, the
例えば、図6(A)に示すオーバー露出の入出力特性201で撮像されたA面画像、すなわち低輝度領域にて飽和せず高輝度部にて飽和した画素群別画像と、図6(B)に示すアンダー露出の入出力特性202で撮像されたB面画像、すなわち高輝度部でも飽和しない画素群別画像とを取得し、これらの画素群別画像を加算する。つまり、A面画像の画素値とB面画像の画素値とを加算することで、低輝度領域から高輝度領域にわたってダイナミックレンジが広い広ダイナミックレンジ画像を生成する。なお、A面画像とB面画像とを単純加算すると、図6(C)に符号203で示す入出力特性にて撮像された場合と同じ画像が生成されるが、実際には、γテーブルを用いて図6(C)に符号204で示す入出力特性にて撮像された場合と同じ画像を生成する。つまり、γテーブルを用いた重み付け加算を行う。これにより、良好な入出力特性の広ダイナミックレンジ画像が得られる。
For example, an A-plane image captured with the overexposure input /
静止体であると判定された場合、ステップS8にて、画像合成部114により、第2回目および第3回目の撮像により得られた2枚の高解像度画像を合成することで、広ダイナミックレンジ画像を生成する。つまり、図6(A)に示す第1の入出力特性201で撮像されたオーバー露出の高解像度画像と、図6(B)に示す第2の入出力特性202で撮像されたアンダー露出の高解像度画像とを加算する。なお、2枚の高解像度画像を単純加算すると、図6(C)に符号203で示す入出力特性にて撮像された場合と同じ合成画像が生成されることになるが、実際には、γテーブルを用いて図6(C)に符号204で示す入出力特性にて撮像された場合と同じ合成画像を生成する。これにより、良好な入出力特性の広ダイナミックレンジ画像が得られる。
If it is determined that the object is a stationary body, in step S8, the
なお、静止体であっても、カメラボディ80が動いた場合には、複数枚の連写画像を合成すると、いわゆる手ぶれが加算的に大きくなる。そこで、高解像度画像の画像合成の際、カメラボディ80の動きベクトルを用いて、手ぶれ成分を加えないように画像を合成する。具体的には、一枚の高解像度画像に対し他の高解像度画像を画像処理により相対的にシフトした後、合成する。ここで、高解像度画像の相対的シフトは、カメラボディ80の動きベクトルの逆ベクトルに相当する。
Even in the case of a stationary body, when the
画像合成により得られた広ダイナミックレンジ画像は、ステップS10にて画像信号処理部40により所定の画像処理が施され、ステップS11にて圧縮/伸張処理部42により圧縮され、ステップS12にて記録制御部120によりメモリカード46に記録される。
The wide dynamic range image obtained by the image composition is subjected to predetermined image processing by the image
ステップS3にて、ダイナミックレンジが閾値未満であると判定された場合には、レリーズスイッチ84が全押しされると、ステップS9にて、ステップS1で算出した基準の露光時間および絞り値で一回撮像することで1枚の高解像度の記録用画像を取得する。ステップS10の画像処理、ステップS11の圧縮処理、および、ステップS12の記録処理は、前述の連写の場合と同様である。
If it is determined in step S3 that the dynamic range is less than the threshold value, once the
なお、3回撮像(3回露光)する場合を例に説明したが、このような場合に本発明は限定されない。以下のように2回撮像(2回露光)して画像合成を行ってもよい。 In addition, although the case where it imaged 3 times (3 times exposure) was demonstrated to the example, this invention is not limited to such a case. Image synthesis may be performed by imaging twice (exposure twice) as follows.
2回撮像の場合、図7のステップS4にて、撮像制御部108は、撮像素子30のA面画素群とB面画素群とで画素群ごとに異なる露光時間で連続して複数回撮像する。ここで、一回撮像するごとに、各画素群から蓄積電荷を読み取るとともに、画素群間で露光時間を互いに入れ替える。例えば、図8(B)に示すように、第1回目の撮像では、第1の露光時間t1でA面画素群により露光すると同時に、第1の露光時間t1よりも短い第2の露光時間t2でB面画素群により露光し、全画素群から蓄積電荷を読み取る。第2回目の撮像では、露光時間を入れ替えて、第2の露光時間t2でA面画素群により露光すると同時に、第1の露光時間t1でB面画素群により露光し、全画素群から蓄積電荷を読み取る。
In the case of two-time imaging, in step S4 in FIG. 7, the imaging control unit 108 continuously images a plurality of times with different exposure times for each pixel group in the A-plane pixel group and the B-plane pixel group of the
また、2回撮像の場合、図7のステップS6にて被写体判定部112により被写体が動状態であると判定された場合、図7のステップS7にて、画像合成部114は、一回の撮像(例えば第1回目の撮像)で得られたA面画像とB面画像とを合成することにより第1の広ダイナミックレンジ画像を生成する。被写体が静止状態であると判定された場合、図7のステップS8にて、画像合成部114は、複数回の撮像で得られた複数枚の画素群別画像を同一の画素群ごとに合成するとともに画素群間で組み合わせることにより高解像度の広ダイナミックレンジ画像を生成する。つまり、第1回目の撮像にて得られた露光時間t1のA面画像と第2回目の撮像にて得られた露光時間t2のA面画像とを加算することにより広ダイナミックレンジのA面画像を生成し、第1回目の撮像にて得られた露光時間t2のB面画像と第2回目の撮像にて得られた露光時間t1のB面画像とを加算することにより広ダイナミックレンジのB面画像を生成し、更に広ダイナミックレンジのA面画像およびB面画像を組み合わせることで高解像度の広ダイナミックレンジ画像を生成する。
In the case of twice imaging, when the
図9は、第2実施形態におけるデジタルカメラ100の一例を示す全体構成図である。なお、図3に示した要素には同じ符号を付してあり、既に説明した内容については、その説明を省略する。
FIG. 9 is an overall configuration diagram illustrating an example of the
図9において、角速度センサ70は、カメラボディ80の動きを検出することで、撮像部23の動きベクトル(すなわち手ぶれ量)を検出する。
In FIG. 9, the
図10は、第2実施形態におけるCPU10の要部機能ブロック図である。なお、図3に示した要素には同じ符号を付してあり、既に説明した内容については、その説明を省略する。
FIG. 10 is a main part functional block diagram of the
本実施形態の動きベクトル検出部110は、撮像素子30により得られた複数枚の撮像画像と、角速度センサ70により検出されたカメラボディ80の動きとに基づいて、被写体の動きベクトルを検出する。また、本実施形態の画像合成部114は、角速度センサ70の検出結果を用いて、複数枚の連写画像を合成する。
The motion
図11は、第2実施形態における撮像処理例の流れを示すフローチャートである。本処理は図9のCPU10によりプログラムに従って実行される。
FIG. 11 is a flowchart illustrating a flow of an imaging process example in the second embodiment. This processing is executed by the
ステップS21〜S24は、図7に示した第1実施形態におけるS1〜S4と同様である。 Steps S21 to S24 are the same as S1 to S4 in the first embodiment shown in FIG.
ステップS25にて、本実施形態では、動きベクトル検出部110により、複数枚の撮像画像と角速度センサ70の検出結果とに基づいて、被写体の動きベクトルを検出する。本実施形態では、角速度センサ70によりカメラボディ80の動き(すなわち手ぶれ量)が検出される。よって、複数枚の撮像画像間での動きベクトルから、角速度センサ70により検出されたカメラボディ80の動きベクトルを減算した結果が、被写体の動きベクトルに相当する。
In step S25, in this embodiment, the motion
ステップS26にて、被写体判定部112により、被写体の動きベクトルに基づいて、被写体が静止状態であるか動状態であるかを判定する。
In step S26, the
ステップS28にて、本実施形態では、角速度センサ70の検出結果を用いて、複数枚の連写画像を合成する。
In step S28, in this embodiment, a plurality of continuous shot images are synthesized using the detection result of the
前述の第1実施形態では、動きベクトル検出部110により検出されたカメラボディ80の動きベクトルを用いて、手ぶれ成分を加えないように画像合成を行ったが、本実施形態では、角速度センサ70により検出されたカメラボディ80の動きベクトルを用いることで、確実に手ぶれの加算を排除することが可能である。具体的には、一枚の撮像画像に対し、他の撮像画像を画像処理により相対的にシフトした後、合成する。ここで撮像画像の相対的シフトのベクトルは、角速度センサ70により検出されたカメラボディ80の動きベクトルの逆ベクトルに相当する。
In the first embodiment described above, image synthesis is performed using the motion vector of the
ステップS27およびS29〜S32は、図7に示した第1実施形態におけるS7およびS9〜S12と同様である。 Steps S27 and S29 to S32 are the same as S7 and S9 to S12 in the first embodiment shown in FIG.
以上説明した第1実施形態および第2実施形態にて、連写回数は特に限定されない。枚数を増やすことにより、動きベクトルの検出精度の向上や、広ダイナミックレンジ画像の精度向上を図ってもよいことは、言うまでもない。 In the first embodiment and the second embodiment described above, the number of continuous shooting is not particularly limited. It goes without saying that by increasing the number of images, the accuracy of motion vector detection and the accuracy of a wide dynamic range image may be improved.
また、画像合成をCPU10の演算により行う場合を例に説明したが、このような場合に特に限定されない。ハードウェア回路により、画像合成やゲインアップを行ってもよいことは、言うまでもない。
Moreover, although the case where image composition is performed by the calculation of the
また、高解像度画像の撮像条件の切り替えとして、露光時間を切り替える場合を例に説明したが、このような場合に本発明は特に限定されない。例えば、絞り値を切り替えることで、ダイナミックレンジが異なる複数枚の連写画像を取得してもよい。また、フラッシュ60として発光量可変の光源を用い、被写体に対する照度を切り替えることで、ダイナミックレンジが異なる複数枚の連写画像を取得してもよい。また、撮影レンズ24にフィルタを設け、撮影レンズ24の光透過率を切り替えてもよい。また、アナログ信号処理部34におけるゲインを切り替えることで、いわゆる感度を切り替えてもよい。
Moreover, although the case where the exposure time is switched as an example of switching the imaging condition of the high resolution image has been described, the present invention is not particularly limited to such a case. For example, a plurality of continuous shot images having different dynamic ranges may be acquired by switching the aperture value. Further, a plurality of continuous shot images having different dynamic ranges may be acquired by using a light source with a variable light emission amount as the
また、第1実施形態にて、画像解析により電子的にカメラボディ80の動きを検出する場合を例に説明し、第2実施形態にて、角速度センサ70によりカメラボディ80の動きを検出する場合を例に説明したが、画像解析とセンサとを併用してカメラボディ80の動きを精度よく検出してもよいことは、勿論である。
In the first embodiment, a case where the motion of the
また、第2実施形態にて、カメラボディ80の動きを検出するセンサとして、角速度センサ(ジャイロセンサ)を用いた場合を例に説明したが、角速度センサには特に限定されない。カメラボディ80の動き量を検出可能なセンサであればよい。
In the second embodiment, the case where an angular velocity sensor (gyro sensor) is used as the sensor for detecting the movement of the
また、手ぶれ補正部56の詳細な説明を省略したが、公知の技術を用いて手ぶれ補正を行うことができる。手ぶれ補正は、ハードウェアおよびソフトウェアのいずれで行ってもよい。例えば、手ぶれ量に応じて撮像素子30や撮影レンズ24を移動させる公知のハードウェアを用いることにより、手ぶれ補正を行うことができる。ハードウェア回路を用い、画像信号に対して手ぶれ補正を行ってもよい。また、被写体ぶれ補正についての説明を省略したが、公知の技術を用いて被写体ぶれ補正を行ってよいことは、言うまでもない。これらのぶれ補正の際に、動きベクトル検出部110により検出した動きベクトル、および、角速度センサ70の検出結果のうち、少なくともいずれかを用いることができる。
Although detailed description of the camera
また、本明細書では、デジタルカメラを例に説明したが、本発明は、デジタルカメラには特に限定されず、カメラ付き携帯電話等、撮像機能を備えたあらゆる撮像装置に適用可能である。 In this specification, a digital camera has been described as an example. However, the present invention is not particularly limited to a digital camera, and can be applied to any imaging device having an imaging function, such as a mobile phone with a camera.
なお、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。 The present invention is not limited to the examples described in the present specification and the examples illustrated in the drawings, and various design changes and improvements may be made without departing from the scope of the present invention. is there.
10…CPU、12…操作部、16…SDRAM、23…撮像部、24…撮影レンズ、30…撮像素子、32…タイミングジェネレータ、34…アナログ信号処理部、36…A/D変換器、38…画像入力コントローラ、44…メディアインタフェース、46…メモリカード、52…AE検出部、54…AF検出部、70…角速度センサ、84…レリーズスイッチ、100…デジタルカメラ、106…ダイナミックレンジ判定部、108…撮像制御部、110…動きベクトル検出部、112…被写体判定部、114…画像合成部、118…画像補正部、120…記録制御部、122…システム制御部
DESCRIPTION OF
Claims (10)
前記撮像素子の前記画素群ごとに異なる露光時間で撮像する第1の撮像、および、前記複数の画素群をひとつの高解像度画素群として一回ごとに異なる撮像条件で連続して複数回撮像する第2の撮像を行う撮像制御手段と、
前記撮像素子により得られた画像から被写体の動きベクトルを検出する動きベクトル検出手段と、
少なくとも前記被写体の動きベクトルに基づいて、前記被写体が静止状態であるか動状態であるかを判定する被写体判定手段と、
前記被写体が動状態であると判定された場合には、前記第1の撮像にて得られた複数枚の画素群別画像を合成することにより第1の広ダイナミックレンジ画像を生成し、前記被写体が静止状態であると判定された場合には、前記第2の撮像にて得られた複数枚の高解像度画像を合成することにより前記第1の広ダイナミックレンジ画像よりも高解像度である第2の広ダイナミックレンジ画像を生成する画像合成手段と、
を備えることを特徴とする撮像装置。 An image sensor having a plurality of pixel groups;
First imaging for imaging with different exposure times for each pixel group of the imaging device, and imaging the plurality of pixel groups as a single high-resolution pixel group for a plurality of times under different imaging conditions each time. Imaging control means for performing second imaging;
Motion vector detection means for detecting a motion vector of a subject from an image obtained by the image sensor;
Subject determination means for determining whether the subject is stationary or moving based on at least a motion vector of the subject;
When it is determined that the subject is in a moving state, a first wide dynamic range image is generated by synthesizing a plurality of pixel group-by-pixel images obtained by the first imaging, and the subject Is determined to be in a stationary state, a second resolution higher than that of the first wide dynamic range image is synthesized by combining a plurality of high resolution images obtained by the second imaging. Image synthesizing means for generating a wide dynamic range image of
An imaging apparatus comprising:
前記撮像素子の前記画素群ごとに異なる露光時間で撮像するとともに、前記画素群間で露光時間を互いに入れ替えて連続して複数回撮像する撮像制御手段と、
前記撮像素子により得られた画像から被写体の動きベクトルを検出する動きベクトル検出手段と、
少なくとも前記被写体の動きベクトルに基づいて、前記被写体が静止状態であるか動状態であるかを判定する被写体判定手段と、
前記被写体が動状態であると判定された場合には、一回の撮像で得られた複数枚の画素群別画像を合成することにより第1の広ダイナミックレンジ画像を生成し、前記被写体が静止状態であると判定された場合には、複数回の撮像で得られた複数枚の画素群別画像を同一の画素群ごとに合成するとともに画素群間で組み合わせることにより前記第1の広ダイナミックレンジ画像よりも高解像度である第2の広ダイナミックレンジ画像を生成する画像合成手段と、
を備えることを特徴とする撮像装置。 An image sensor having a plurality of pixel groups;
An imaging control unit that captures images with different exposure times for each of the pixel groups of the image sensor, and sequentially captures a plurality of times by exchanging exposure times between the pixel groups;
Motion vector detection means for detecting a motion vector of a subject from an image obtained by the image sensor;
Subject determination means for determining whether the subject is stationary or moving based on at least a motion vector of the subject;
When it is determined that the subject is in a moving state, a first wide dynamic range image is generated by synthesizing a plurality of images for each pixel group obtained by one imaging, and the subject is stationary. When it is determined that the state is in a state, the first wide dynamic range is obtained by combining a plurality of images by pixel group obtained by imaging a plurality of times for the same pixel group and combining them between the pixel groups. Image synthesizing means for generating a second wide dynamic range image having a higher resolution than the image;
An imaging apparatus comprising:
前記画像合成手段は、前記センサの検出結果を用いて画像合成を行うことを特徴とする請求項1または2に記載の撮像装置。 A sensor for detecting the movement of the imaging device;
The imaging apparatus according to claim 1, wherein the image composition unit performs image composition using a detection result of the sensor.
前記画像合成手段は、前記本撮像装置の動きベクトルを用いて画像合成を行うことを特徴とする請求項1または2に記載の撮像装置。 The motion vector detecting means detects a motion vector of the imaging apparatus from an image obtained by the imaging element;
The imaging apparatus according to claim 1, wherein the image synthesis unit performs image synthesis using a motion vector of the imaging apparatus.
前記撮像ステップにて得られた画像から被写体の動きベクトルを検出する動きベクトル検出ステップと、
少なくとも前記被写体の動きベクトルに基づいて、前記被写体が静止状態であるか動状態であるかを判定する被写体判定ステップと、
前記被写体が動状態であると判定された場合には、前記第1の撮像にて得られた複数枚の画素群別画像を合成することにより第1の広ダイナミックレンジ画像を生成し、前記被写体が静止状態であると判定された場合には、前記第2の撮像にて得られた複数枚の高解像度画像を合成することにより前記第1の広ダイナミックレンジ画像よりも高解像度である第2の広ダイナミックレンジ画像を生成する画像合成ステップと、
を備えることを特徴とする撮像方法。 A first imaging that uses an imaging device having a plurality of pixel groups and images with different exposure times for each of the pixel groups of the imaging device, and the plurality of pixel groups as one high-resolution pixel group each time An imaging step of performing a second imaging for imaging a plurality of times continuously under different imaging conditions;
A motion vector detection step of detecting a motion vector of a subject from the image obtained in the imaging step;
A subject determination step for determining whether the subject is stationary or moving based on at least a motion vector of the subject;
When it is determined that the subject is in a moving state, a first wide dynamic range image is generated by synthesizing a plurality of pixel group-by-pixel images obtained by the first imaging, and the subject Is determined to be in a stationary state, a second resolution higher than that of the first wide dynamic range image is synthesized by combining a plurality of high resolution images obtained by the second imaging. An image synthesis step for generating a wide dynamic range image of
An imaging method comprising:
前記撮像ステップにて得られた画像から被写体の動きベクトルを検出する動きベクトル検出ステップと、
少なくとも前記被写体の動きベクトルに基づいて、前記被写体が静止状態であるか動状態であるかを判定する被写体判定ステップと、
前記被写体が動状態であると判定された場合には、一回の撮像で得られた複数枚の画素群別画像を合成することにより第1の広ダイナミックレンジ画像を生成し、前記被写体が静止状態であると判定された場合には、複数回の撮像で得られた複数枚の画素群別画像を同一の画素群ごとに合成するとともに画素群間で組み合わせることにより前記第1の広ダイナミックレンジ画像よりも高解像度である第2の広ダイナミックレンジ画像を生成する画像合成ステップと、
を備えることを特徴とする撮像方法。 An imaging step that uses an imaging device having a plurality of pixel groups, images with different exposure times for each of the pixel groups of the imaging device, and alternately switches the exposure times between the pixel groups and continuously images a plurality of times. ,
A motion vector detection step of detecting a motion vector of a subject from the image obtained in the imaging step;
A subject determination step for determining whether the subject is stationary or moving based on at least a motion vector of the subject;
When it is determined that the subject is in a moving state, a first wide dynamic range image is generated by synthesizing a plurality of images for each pixel group obtained by one imaging, and the subject is stationary. When it is determined that the state is in a state, the first wide dynamic range is obtained by combining a plurality of images by pixel group obtained by imaging a plurality of times for the same pixel group and combining them between the pixel groups. An image synthesis step for generating a second wide dynamic range image having a higher resolution than the image;
An imaging method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009065006A JP5302058B2 (en) | 2009-03-17 | 2009-03-17 | Imaging apparatus and imaging method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009065006A JP5302058B2 (en) | 2009-03-17 | 2009-03-17 | Imaging apparatus and imaging method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010219940A true JP2010219940A (en) | 2010-09-30 |
JP5302058B2 JP5302058B2 (en) | 2013-10-02 |
Family
ID=42978283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009065006A Expired - Fee Related JP5302058B2 (en) | 2009-03-17 | 2009-03-17 | Imaging apparatus and imaging method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5302058B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014045235A (en) * | 2012-08-24 | 2014-03-13 | Nikon Corp | Electronic device |
KR20140112873A (en) * | 2013-03-14 | 2014-09-24 | 삼성전자주식회사 | Wide dynamic range image processing method and image signal processor using the same |
WO2016156406A1 (en) * | 2015-03-30 | 2016-10-06 | Carl Zeiss Industrielle Messtechnik Gmbh | Motion-measuring system of a machine and method for operating the motion-measuring system |
WO2018003124A1 (en) * | 2016-07-01 | 2018-01-04 | マクセル株式会社 | Imaging device, imaging method, and imaging program |
CN109547699A (en) * | 2018-12-24 | 2019-03-29 | 成都西纬科技有限公司 | A kind of method and device taken pictures |
JP2021029050A (en) * | 2020-11-05 | 2021-02-25 | マクセル株式会社 | Imaging apparatus |
JPWO2020174978A1 (en) * | 2019-02-27 | 2021-11-25 | 富士フイルム株式会社 | Image pickup device, image data processing method of image pickup device, and program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02272884A (en) * | 1989-04-13 | 1990-11-07 | Konica Corp | Electronic still camera |
JPH09200617A (en) * | 1996-01-12 | 1997-07-31 | Nikon Corp | Image pickup device |
JP2000050151A (en) * | 1998-07-28 | 2000-02-18 | Olympus Optical Co Ltd | Image pickup device |
JP2003244710A (en) * | 2002-02-14 | 2003-08-29 | Minolta Co Ltd | Color imaging unit |
JP2007006021A (en) * | 2005-06-22 | 2007-01-11 | Nikon Corp | Imaging apparatus and image processing program |
JP2007235656A (en) * | 2006-03-02 | 2007-09-13 | Fujifilm Corp | Solid-state imaging apparatus and driving method thereof |
-
2009
- 2009-03-17 JP JP2009065006A patent/JP5302058B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02272884A (en) * | 1989-04-13 | 1990-11-07 | Konica Corp | Electronic still camera |
JPH09200617A (en) * | 1996-01-12 | 1997-07-31 | Nikon Corp | Image pickup device |
JP2000050151A (en) * | 1998-07-28 | 2000-02-18 | Olympus Optical Co Ltd | Image pickup device |
JP2003244710A (en) * | 2002-02-14 | 2003-08-29 | Minolta Co Ltd | Color imaging unit |
JP2007006021A (en) * | 2005-06-22 | 2007-01-11 | Nikon Corp | Imaging apparatus and image processing program |
JP2007235656A (en) * | 2006-03-02 | 2007-09-13 | Fujifilm Corp | Solid-state imaging apparatus and driving method thereof |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014045235A (en) * | 2012-08-24 | 2014-03-13 | Nikon Corp | Electronic device |
KR101992933B1 (en) | 2013-03-14 | 2019-06-25 | 삼성전자주식회사 | Wide dynamic range image processing method and image signal processor using the same |
KR20140112873A (en) * | 2013-03-14 | 2014-09-24 | 삼성전자주식회사 | Wide dynamic range image processing method and image signal processor using the same |
WO2016156406A1 (en) * | 2015-03-30 | 2016-10-06 | Carl Zeiss Industrielle Messtechnik Gmbh | Motion-measuring system of a machine and method for operating the motion-measuring system |
US10706562B2 (en) | 2015-03-30 | 2020-07-07 | Carl Zeiss Industrielle Messtechnik Gmbh | Motion-measuring system of a machine and method for operating the motion-measuring system |
CN109417592A (en) * | 2016-07-01 | 2019-03-01 | 麦克赛尔株式会社 | Filming apparatus, image pickup method and photographing program |
JPWO2018003124A1 (en) * | 2016-07-01 | 2019-05-16 | マクセル株式会社 | Imaging device, imaging method and imaging program |
WO2018003124A1 (en) * | 2016-07-01 | 2018-01-04 | マクセル株式会社 | Imaging device, imaging method, and imaging program |
US10757344B2 (en) | 2016-07-01 | 2020-08-25 | Maxell, Ltd. | Imaging apparatus, imaging method and imaging program |
US11303794B2 (en) | 2016-07-01 | 2022-04-12 | Maxell, Ltd. | Imaging apparatus, imaging method and imaging program |
US11653081B2 (en) | 2016-07-01 | 2023-05-16 | Maxell, Ltd. | Imaging apparatus, imaging method and imaging program |
CN109547699A (en) * | 2018-12-24 | 2019-03-29 | 成都西纬科技有限公司 | A kind of method and device taken pictures |
JPWO2020174978A1 (en) * | 2019-02-27 | 2021-11-25 | 富士フイルム株式会社 | Image pickup device, image data processing method of image pickup device, and program |
US11711595B2 (en) | 2019-02-27 | 2023-07-25 | Fujifilm Corporation | Imaging apparatus, image data processing method of imaging apparatus, and program |
JP2021029050A (en) * | 2020-11-05 | 2021-02-25 | マクセル株式会社 | Imaging apparatus |
JP7231598B2 (en) | 2020-11-05 | 2023-03-01 | マクセル株式会社 | Imaging device |
JP7467714B2 (en) | 2020-11-05 | 2024-04-15 | マクセル株式会社 | Imaging device |
Also Published As
Publication number | Publication date |
---|---|
JP5302058B2 (en) | 2013-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8471952B2 (en) | Image pickup apparatus | |
JP5302058B2 (en) | Imaging apparatus and imaging method | |
JP2013013050A (en) | Imaging apparatus and display method using imaging apparatus | |
JP2007215091A (en) | Imaging apparatus and program therefor | |
JP2007178576A (en) | Imaging apparatus and program therefor | |
KR20120114177A (en) | Image processing device capable of generating wide-range image | |
JP5009880B2 (en) | Imaging apparatus and imaging method | |
KR20120115127A (en) | Image processing device capable of generating wide-range image | |
JP4614143B2 (en) | Imaging apparatus and program thereof | |
JP2010130343A (en) | Imaging apparatus and its drive control method | |
JP2010239277A (en) | Imaging device and imaging method | |
JP5133921B2 (en) | Imaging apparatus and imaging method | |
JP5620196B2 (en) | Imaging device | |
JP2010185998A (en) | Imaging element and imaging device | |
JP2010093679A (en) | Imaging apparatus, and imaging control method | |
JP2009296434A (en) | Imaging device | |
JP7142507B2 (en) | Image processing device, image processing method, and imaging device | |
JP5943740B2 (en) | IMAGING DEVICE, IMAGING METHOD, AND PROGRAM THEREOF | |
JP2006148550A (en) | Image processor and imaging device | |
JP2009017427A (en) | Imaging device | |
JP2007116372A (en) | Digital camera | |
JP2010062987A (en) | Imaging apparatus and method | |
JP5105298B2 (en) | Imaging apparatus and program thereof | |
JP5415208B2 (en) | Imaging device | |
JP5224879B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110802 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130620 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5302058 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |