JP2005260894A - Image pickup device, image pickup method, and image pickup program - Google Patents

Image pickup device, image pickup method, and image pickup program Download PDF

Info

Publication number
JP2005260894A
JP2005260894A JP2004073595A JP2004073595A JP2005260894A JP 2005260894 A JP2005260894 A JP 2005260894A JP 2004073595 A JP2004073595 A JP 2004073595A JP 2004073595 A JP2004073595 A JP 2004073595A JP 2005260894 A JP2005260894 A JP 2005260894A
Authority
JP
Japan
Prior art keywords
imaging
unit
main subject
motion vector
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004073595A
Other languages
Japanese (ja)
Inventor
Shuji Ono
修司 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2004073595A priority Critical patent/JP2005260894A/en
Publication of JP2005260894A publication Critical patent/JP2005260894A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To easily pick up a clear image having no blurring even while an object moves. <P>SOLUTION: An image pickup device comprises: an image pickup section for capturing a plurality of images; a main object selection section for selecting an area indicative of a main object out of an image for each of the plurality of images captured by the image pickup section; a motion vector calculation section for calculating a motion vector of the main object based on the area, that is selected by the main object selection section, indicative of the main object for each of the plurality of images; and an image pickup control section for causing the image pickup section to pick up a plurality of images while driving the image pickup section so as to compensate for the motion vector if a magnitude of the motion vector calculated by the motion vector calculation section is greater than a predetermined reference value. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、撮像装置、撮像方法、及び撮像プログラムに関する。特に本発明は、被写体の画像を撮像する撮像装置、撮像方法、及び撮像プログラムに関する。   The present invention relates to an imaging apparatus, an imaging method, and an imaging program. In particular, the present invention relates to an imaging apparatus, an imaging method, and an imaging program that capture an image of a subject.

近年、デジタルカメラが急速に普及している。デジタルカメラは、被写体の光学像を、レンズを通してCCDに入射させて電気信号に変換することにより、画像データを生成する。デジタルカメラを用いて走っている人物等の動きのある被写体を撮像した場合、CCDに光を入射させている時間内、つまり露光時間内における被写体の光学像の変化は、生成された画像において被写体像のブレとして現れる。そこで、従来のデジタルカメラにおいて動きのある被写体を撮像したい場合、利用者は、露光時間を短くすることにより、被写体像のブレを低減させている。
現時点で先行技術文献の存在を認識していないので、先行技術文献に関する記載を省略する。
In recent years, digital cameras have been rapidly spread. The digital camera generates image data by causing an optical image of a subject to enter a CCD through a lens and convert it into an electrical signal. When a moving subject such as a person running with a digital camera is imaged, the change in the optical image of the subject within the time during which light is incident on the CCD, that is, within the exposure time, appears in the generated image. Appears as an image blur. Therefore, when it is desired to capture a moving subject in a conventional digital camera, the user reduces the blurring of the subject image by shortening the exposure time.
Since the existence of the prior art document is not recognized at the present time, the description regarding the prior art document is omitted.

しかしながら、従来のデジタルカメラにおいては、露光時間を短くするにつれて、生成される画像信号における出力レベルは低下し、またノイズは増加するので、際限なく露出時間を短くすることはできず、被写体像にブレが生じる場合が多かった。また、多くの利用者にとって、撮像対象に応じて露光時間を切り替えるという作業は面倒であり、デジタルカメラの利便性が低下しているという問題もあった。
従来のデジタルカメラにおいては、この問題を解決するための方法は提案されていない。
However, in conventional digital cameras, as the exposure time is shortened, the output level in the generated image signal decreases and noise increases, so the exposure time cannot be shortened indefinitely. In many cases, blurring occurred. In addition, for many users, the task of switching the exposure time according to the object to be imaged is troublesome, and there is a problem that the convenience of the digital camera is reduced.
In the conventional digital camera, a method for solving this problem has not been proposed.

そこで本発明は、上記の課題を解決することができる撮像装置、撮像方法、及び撮像プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。   SUMMARY An advantage of some aspects of the invention is that it provides an imaging apparatus, an imaging method, and an imaging program that can solve the above-described problems. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.

上記課題を解決するために、本発明の第1の形態においては、撮像装置であって、複数の画像を捕捉する撮像部と、撮像部により捕捉された複数の画像のそれぞれについて、当該画像から主要被写体を示す領域を選択する主要被写体選択部と、主要被写体選択部により選択された、複数の画像のそれぞれにおける主要被写体を示す領域に基づいて、主要被写体の動きベクトルを算出する動きベクトル算出部と、動きベクトル算出部により算出された動きベクトルの大きさが予め定められた基準値より大きい場合に、当該動きベクトルを補償するべく撮像部を駆動させつつ、撮像部に複数の画像を捕捉させる撮像制御部とを備える。   In order to solve the above-described problem, in the first embodiment of the present invention, an imaging apparatus includes an imaging unit that captures a plurality of images, and a plurality of images captured by the imaging unit. A main subject selection unit that selects a region indicating the main subject, and a motion vector calculation unit that calculates a motion vector of the main subject based on the region indicating the main subject in each of a plurality of images selected by the main subject selection unit When the magnitude of the motion vector calculated by the motion vector calculation unit is larger than a predetermined reference value, the imaging unit is caused to capture a plurality of images while driving the imaging unit to compensate for the motion vector. An imaging control unit.

撮像制御部は、更に、動きベクトル算出部により算出された動きベクトルの大きさが予め定められた基準値より小さい場合に、撮像部に画像を撮像させてもよい。動きベクトル算出部は、複数の画像における、主要被写体選択部により選択された主要被写体を示す領域の画像内での変位ベクトルを算出する変位ベクトル算出部を有し、撮像制御部は、変位ベクトル算出部により算出された変位ベクトルの大きさが予め定められた基準値より大きい場合に、当該変位ベクトルを補償する方向に撮像方向を変化させつつ、撮像部に複数の画像を捕捉させてもよい。   The imaging control unit may further cause the imaging unit to capture an image when the magnitude of the motion vector calculated by the motion vector calculation unit is smaller than a predetermined reference value. The motion vector calculation unit includes a displacement vector calculation unit that calculates a displacement vector in an image of an area indicating the main subject selected by the main subject selection unit in a plurality of images, and the imaging control unit calculates the displacement vector. When the magnitude of the displacement vector calculated by the unit is larger than a predetermined reference value, the imaging unit may capture a plurality of images while changing the imaging direction in a direction in which the displacement vector is compensated.

動きベクトル算出部は、複数の画像における、主要被写体選択部により選択された主要被写体を示す領域の大きさの変化率を算出する大きさ変化率算出部を有し、撮像制御部は、大きさ変化率算出部により算出された変化率が予め定められた基準値より大きい場合に、算出された変化率の逆数に基づいて撮像部の撮像倍率を変化させつつ、撮像部に複数の画像を捕捉させてもよい。動きベクトル算出部は、複数の画像における、主要被写体選択部により選択された主要被写体を示す領域の、予め定められた中心軸の周りの回転角度を算出する回転角度算出部を有し、撮像制御部は、回転角度算出部により算出された回転角度が予め定められた基準値より大きい場合に、撮像部を中心軸の周りに回転角度で回転させつつ、撮像部に複数の画像を捕捉させてもよい。   The motion vector calculation unit includes a size change rate calculation unit that calculates a rate of change of the size of the area indicating the main subject selected by the main subject selection unit in the plurality of images, and the imaging control unit When the rate of change calculated by the rate-of-change calculating unit is larger than a predetermined reference value, the imaging unit captures multiple images while changing the imaging magnification of the imaging unit based on the reciprocal of the calculated rate of change. You may let them. The motion vector calculation unit includes a rotation angle calculation unit that calculates a rotation angle around a predetermined central axis of an area indicating the main subject selected by the main subject selection unit in a plurality of images, and performs imaging control. When the rotation angle calculated by the rotation angle calculation unit is larger than a predetermined reference value, the image capturing unit captures a plurality of images while rotating the image capturing unit around the central axis at the rotation angle. Also good.

また、本発明の第2の形態においては、撮像方法であって、撮像部により複数の画像を捕捉する撮像段階と、撮像段階において捕捉された複数の画像のそれぞれについて、当該画像から主要被写体を示す領域を選択する主要被写体選択段階と、主要被写体選択段階において選択された、複数の画像のそれぞれにおける主要被写体を示す領域に基づいて、主要被写体の動きベクトルを算出する動きベクトル算出段階と、動きベクトル算出段階において算出された動きベクトルの大きさが予め定められた基準値より大きい場合に、当該動きベクトルを補償するべく撮像部を駆動させつつ、撮像部により複数の画像を捕捉させる撮像制御段階とを備える。撮像制御段階は、更に、動きベクトル算出段階において算出された動きベクトルの大きさが予め定められた基準値より小さい場合に、撮像部により画像を撮像させてもよい。   Further, according to the second aspect of the present invention, there is provided an imaging method, in which an imaging stage in which a plurality of images are captured by an imaging unit, and a plurality of images captured in the imaging stage, a main subject is determined from the images A main subject selection stage for selecting an area to be shown, a motion vector calculation stage for calculating a motion vector of the main subject based on an area showing the main subject in each of a plurality of images selected in the main subject selection stage, and a motion When the magnitude of the motion vector calculated in the vector calculation stage is larger than a predetermined reference value, the imaging control stage for capturing a plurality of images by the imaging unit while driving the imaging unit to compensate for the motion vector With. In the imaging control stage, an image may be captured by the imaging unit when the magnitude of the motion vector calculated in the motion vector calculation stage is smaller than a predetermined reference value.

また、本発明の第3の形態においては、撮像装置を機能させる撮像プログラムであって、当該撮像装置を、複数の画像を捕捉する撮像部と、撮像部により捕捉された複数の画像のそれぞれについて、当該画像から主要被写体を示す領域を選択する主要被写体選択部と、主要被写体選択部により選択された、複数の画像のそれぞれにおける主要被写体を示す領域に基づいて、主要被写体の動きベクトルを算出する動きベクトル算出部と、動きベクトル算出部により算出された動きベクトルの大きさが予め定められた基準値より大きい場合に、当該動きベクトルを補償するべく撮像部を駆動させつつ、撮像部に複数の画像を捕捉させる撮像制御部とを備える撮像装置として機能させる。撮像制御部は、更に、動きベクトル算出部により算出された動きベクトルの大きさが予め定められた基準値より小さい場合に、撮像部に画像を撮像させてもよい。   Moreover, in the 3rd form of this invention, it is an imaging program which functions an imaging device, Comprising: The said imaging device is each about the imaging part which captures a some image, and the some image captured by the imaging part A main subject selection unit that selects a region indicating the main subject from the image, and a motion vector of the main subject is calculated based on the region indicating the main subject in each of the plurality of images selected by the main subject selection unit. When the magnitude of the motion vector calculated by the motion vector calculation unit and the motion vector calculation unit is greater than a predetermined reference value, the imaging unit is driven to compensate for the motion vector, It functions as an imaging device including an imaging control unit that captures an image. The imaging control unit may further cause the imaging unit to capture an image when the magnitude of the motion vector calculated by the motion vector calculation unit is smaller than a predetermined reference value.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。   The above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.

本発明によれば、被写体が動いている場合であっても、ブレの無い鮮明な画像を容易に撮像することができる。   According to the present invention, a clear image with no blur can be easily captured even when the subject is moving.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the invention according to the scope of claims, and all combinations of features described in the embodiments are included. It is not necessarily essential for the solution of the invention.

図1は、本発明の実施形態に係るデジタルカメラ10の構成の一例を示すブロック図である。デジタルカメラ10は、本発明における撮像装置の一例であり、被写体の画像を撮像する。デジタルカメラ10は、静止画像を撮像するデジタルスチルカメラであってよく、また、動画像を撮影するデジタルビデオカメラであってもよい。   FIG. 1 is a block diagram showing an example of the configuration of a digital camera 10 according to an embodiment of the present invention. The digital camera 10 is an example of an imaging apparatus according to the present invention, and captures an image of a subject. The digital camera 10 may be a digital still camera that captures still images, or may be a digital video camera that captures moving images.

本実施形態に係るデジタルカメラ10は、被写体が移動している場合であっても、捕捉した画像から算出した被写体像の動きベクトルに基づいて撮像方向等を制御することにより、ブレの無い画像を撮像することを目的とする。   Even when the subject is moving, the digital camera 10 according to the present embodiment controls the imaging direction and the like based on the motion vector of the subject image calculated from the captured image, thereby obtaining a blur-free image. The purpose is to take an image.

なお、本実施形態では、デジタルカメラ10が、メモリカード等の記録媒体に保存すべく画像を取得する処理を撮像と呼び、それ以外の目的で、例えば電子ビューファインダーに表示すべく画像を取得する処理を捕捉と呼ぶ。ここで、デジタルカメラ10は、画像の撮像及び捕捉のそれぞれにおいて、互いに異なる方法により画像の取得及び画像処理を行ってよい。例えば、デジタルカメラ10は、画像を撮像する場合に、画像を捕捉する場合より長い露光時間を用いてもよい。また、例えば、デジタルカメラ10は、画像を撮像する場合に、画像を捕捉する場合より高い解像度を用いてもよい。   In the present embodiment, the process in which the digital camera 10 acquires an image to be stored in a recording medium such as a memory card is referred to as imaging. For other purposes, the image is acquired to be displayed on an electronic viewfinder, for example. Processing is called capture. Here, the digital camera 10 may perform image acquisition and image processing by different methods in each of image capturing and capturing. For example, the digital camera 10 may use a longer exposure time when capturing an image than when capturing an image. Further, for example, the digital camera 10 may use a higher resolution when capturing an image than when capturing an image.

デジタルカメラ10は、撮像部100、1次メモリ110、画像処理部120、撮像制御部140、表示部150、及び2次メモリ160を備える。撮像部100は、光学系102、CCD104、及び撮像信号処理部106を有し、被写体の画像を捕捉する。光学系102は、被写体像をCCD104の受光面上に結像する。また、光学系102は、光軸の方向を制御すべく光学系102を駆動させる図示しないアクチュエータを含む。また、光学系102は、撮像倍率を制御することのできる図示しないズームレンズを含む。CCD104は、複数の受光素子を含み、光学系102により受光面に結像された被写体の光学像によってそれぞれの受光素子に蓄積された電荷を、アナログの電圧信号として撮像信号処理部106に出力する。また、CCD104は、例えば光軸等を中心軸としてCCD104を回転可能に制御する図示しないアクチュエータを含む。撮像信号処理部106は、CCD104から受け取った、被写体像を示すアナログの電圧信号を、R、G、及びBの各成分に分解する。そして、撮像信号処理部106は、R、G、及びBの各成分に分解されたアナログ信号をA/D変換し、その結果得られた被写体像を示すデジタルの画像データを1次メモリ110に出力する。撮像部100は、以上のような被写体像の捕捉を複数回行い、捕捉した画像データを順次1次メモリ110に出力する。1次メモリ110は、例えばDRAM等の揮発性メモリであり、撮像信号処理部106が出力した複数の画像データをそれぞれ格納する。   The digital camera 10 includes an imaging unit 100, a primary memory 110, an image processing unit 120, an imaging control unit 140, a display unit 150, and a secondary memory 160. The imaging unit 100 includes an optical system 102, a CCD 104, and an imaging signal processing unit 106, and captures an image of a subject. The optical system 102 forms a subject image on the light receiving surface of the CCD 104. The optical system 102 includes an actuator (not shown) that drives the optical system 102 to control the direction of the optical axis. The optical system 102 includes a zoom lens (not shown) that can control the imaging magnification. The CCD 104 includes a plurality of light receiving elements, and outputs the charges accumulated in the respective light receiving elements by the optical image of the subject formed on the light receiving surface by the optical system 102 to the imaging signal processing unit 106 as an analog voltage signal. . The CCD 104 includes an actuator (not shown) that controls the CCD 104 to be rotatable about the optical axis or the like as a central axis. The imaging signal processing unit 106 decomposes the analog voltage signal indicating the subject image received from the CCD 104 into R, G, and B components. Then, the imaging signal processing unit 106 performs A / D conversion on the analog signal decomposed into the R, G, and B components, and digital image data representing the subject image obtained as a result is stored in the primary memory 110. Output. The imaging unit 100 captures the subject image as described above a plurality of times, and sequentially outputs the captured image data to the primary memory 110. The primary memory 110 is a volatile memory such as a DRAM and stores a plurality of pieces of image data output from the imaging signal processing unit 106, respectively.

画像処理部120は、1次メモリ110に格納された画像データに対して画像処理を行う。ここで、画像処理とは、例えば、YC変換処理、JPEG等のデータ圧縮処理、及びNTSCやPAL等のビデオ信号への変換処理である。そして、画像処理部120は、画像処理を行った画像データを、表示部150及び2次メモリ160に出力する。また、画像処理部120は、主要被写体選択部122及び動きベクトル算出部124を有する。主要被写体選択部122は、撮像部100により捕捉され、1次メモリ110に格納された複数の画像データにより示される画像のそれぞれについて、当該画像から主要被写体を示す領域を選択する。そして、主要被写体選択部122は、画像データ及び選択した領域を示す情報を動きベクトル算出部124に出力する。   The image processing unit 120 performs image processing on the image data stored in the primary memory 110. Here, the image processing is, for example, YC conversion processing, data compression processing such as JPEG, and conversion processing into a video signal such as NTSC or PAL. Then, the image processing unit 120 outputs the image data subjected to the image processing to the display unit 150 and the secondary memory 160. The image processing unit 120 includes a main subject selection unit 122 and a motion vector calculation unit 124. The main subject selection unit 122 selects an area indicating the main subject from each of the images captured by the imaging unit 100 and indicated by a plurality of image data stored in the primary memory 110. Then, the main subject selection unit 122 outputs image data and information indicating the selected area to the motion vector calculation unit 124.

動きベクトル算出部124は、主要被写体選択部122により選択された、複数の画像のそれぞれにおける主要被写体を示す領域に基づいて、主要被写体の動きベクトルを算出する。ここで、動きベクトルとは、主要被写体の動きを示す量であり、例えば、画像内における主要被写体像の変位により示される、撮像方向に垂直な面の動き、画像内における主要被写体像の大きさの変化により示される、撮像方向に平行な方向の動き、及び画像内における主要被写体の回転により示される、撮像方向の周りの動き等を示す量として算出される。動きベクトル算出部124は、変位ベクトル算出部130、大きさ変化率算出部132、及び回転角度算出部134を含む。   The motion vector calculation unit 124 calculates the motion vector of the main subject based on the area indicating the main subject in each of the plurality of images selected by the main subject selection unit 122. Here, the motion vector is an amount indicating the movement of the main subject. For example, the movement of the surface perpendicular to the imaging direction indicated by the displacement of the main subject image in the image, the size of the main subject image in the image. This is calculated as an amount indicating the movement in the direction parallel to the imaging direction indicated by the change in the image and the movement around the imaging direction indicated by the rotation of the main subject in the image. The motion vector calculation unit 124 includes a displacement vector calculation unit 130, a magnitude change rate calculation unit 132, and a rotation angle calculation unit 134.

変位ベクトル算出部130は、撮像部100により撮像された複数の画像における、主要被写体選択部122により選択された主要被写体を示す領域の、画像内での変位ベクトルを算出する。ここで、変位ベクトルとは、主要被写体を示す領域が、ある画像と当該画像の後に撮像された他の画像との間で移動した方向及び距離を示す量である。そして、変位ベクトル算出部130は、算出した変位ベクトルを撮像制御部140に出力する。大きさ変化率算出部132は、撮像部100により捕捉された複数の画像における、主要被写体選択部122により選択された主要被写体を示す領域の大きさの変化率を算出する。そして、大きさ変化率算出部132は、算出した変化率を撮像制御部140に出力する。回転角度算出部134は、撮像部100により捕捉された複数の画像における、主要被写体選択部122により選択された主要被写体を示す領域の、予め定められた中心軸の周りの回転角度を算出する。ここで、予め定められた中心軸とは、例えば光学系102における光軸である。そして、回転角度算出部134は、算出した回転角度を撮像制御部140に出力する。   The displacement vector calculation unit 130 calculates the displacement vector in the image of the region indicating the main subject selected by the main subject selection unit 122 in the plurality of images captured by the imaging unit 100. Here, the displacement vector is an amount indicating the direction and distance in which the area indicating the main subject has moved between an image and another image captured after the image. Then, the displacement vector calculation unit 130 outputs the calculated displacement vector to the imaging control unit 140. The size change rate calculation unit 132 calculates the rate of change in the size of the area indicating the main subject selected by the main subject selection unit 122 in the plurality of images captured by the imaging unit 100. Then, the magnitude change rate calculation unit 132 outputs the calculated change rate to the imaging control unit 140. The rotation angle calculation unit 134 calculates a rotation angle around a predetermined central axis of an area indicating the main subject selected by the main subject selection unit 122 in the plurality of images captured by the imaging unit 100. Here, the predetermined central axis is, for example, the optical axis in the optical system 102. Then, the rotation angle calculation unit 134 outputs the calculated rotation angle to the imaging control unit 140.

撮像制御部140は、動きベクトル算出部124により算出された動きベクトルの大きさが予め定められた基準値より大きい場合に、当該動きベクトルを補償するべく撮像部100を駆動させつつ、撮像部100に複数の画像を捕捉させる。具体的には、撮像制御部140は、撮像部100における撮像方向、即ち光学系102における光軸の方向を、変位ベクトル算出部により算出された変位ベクトルを補償する方向に変化させつつ、撮像部100に複数の画像を捕捉させる。これにより、撮像方向に対して垂直な面において、主要被写体を光学系102に対して相対的に静止させた状態で、画像を捕捉することができる。また、具体的には、撮像制御部140は、大きさ変化率算出部132により算出された主要被写体を示す領域の大きさの変化率の逆数に基づいて、撮像部100の撮像倍率を変化させつつ、撮像部100に複数の画像を捕捉させる。これにより、撮像方向に対して平行な方向において、主要被写体を光学系102に対して相対的に静止させた状態で、画像を捕捉することができる。また、具体的には、撮像制御部140は、算出された回転角度で光軸を中心としてCCD104を回転させつつ、撮像部100に複数の画像を捕捉させる。これにより、光軸の周りにおいて、主要被写体を光学系102及びCCD104に対して相対的に静止させた状態で、画像を捕捉することができる。また、撮像制御部140は、動きベクトルの大きさが予め定められた基準値より小さい場合、即ち、主要被写体が撮像部100に対して相対的に静止した状態で画像が捕捉されている場合に、当該複数の画像を捕捉した場合と同様に撮像部100を駆動させつつ、撮像部100により画像を撮像させ、画像データを1次メモリ110に格納させる。   When the magnitude of the motion vector calculated by the motion vector calculation unit 124 is larger than a predetermined reference value, the imaging control unit 140 drives the imaging unit 100 to compensate for the motion vector, and the imaging unit 100 To capture multiple images. Specifically, the imaging control unit 140 changes the imaging direction in the imaging unit 100, that is, the direction of the optical axis in the optical system 102, in a direction that compensates for the displacement vector calculated by the displacement vector calculation unit. Let 100 capture multiple images. Accordingly, an image can be captured in a state where the main subject is stationary relative to the optical system 102 on a plane perpendicular to the imaging direction. Specifically, the imaging control unit 140 changes the imaging magnification of the imaging unit 100 based on the reciprocal of the rate of change of the size of the area indicating the main subject calculated by the size change rate calculation unit 132. Meanwhile, the imaging unit 100 captures a plurality of images. Thereby, an image can be captured in a state where the main subject is stationary relative to the optical system 102 in a direction parallel to the imaging direction. Specifically, the imaging control unit 140 causes the imaging unit 100 to capture a plurality of images while rotating the CCD 104 around the optical axis at the calculated rotation angle. Thereby, an image can be captured in a state where the main subject is stationary relative to the optical system 102 and the CCD 104 around the optical axis. Further, the imaging control unit 140 is configured when the magnitude of the motion vector is smaller than a predetermined reference value, that is, when the image is captured while the main subject is relatively stationary with respect to the imaging unit 100. As in the case where the plurality of images are captured, the imaging unit 100 is driven, the image is captured by the imaging unit 100, and the image data is stored in the primary memory 110.

表示部150は、画像処理部120から受け取った画像データを、例えば液晶パネルを用いた電子ビューファインダー等に表示して、デジタルカメラ10の利用者に提供する。2次メモリ160は、例えばフラッシュメモリ等の不揮発性メモリであり、撮像部100により撮像された画像データを、画像処理部120から受け取って格納する。   The display unit 150 displays the image data received from the image processing unit 120 on, for example, an electronic viewfinder using a liquid crystal panel and provides the digital data to the user of the digital camera 10. The secondary memory 160 is a non-volatile memory such as a flash memory, for example, and receives image data captured by the image capturing unit 100 from the image processing unit 120 and stores it.

本実施形態に係るデジタルカメラ10によれば、被写体が移動している場合であっても、捕捉した複数の画像から算出した主要被写体を示す領域の変位ベクトル、大きさの変化率、及び回転角度に基づいて撮像部100を駆動させ、主要被写体が撮像部100に対して相対的に静止した状態で画像を撮像することにより、利用者がデジタルカメラ10の向きを制御するといった操作を行うことなく、ブレの無い画像を撮像することができる。
また、本実施形態に係るデジタルカメラ10によれば、主要被写体を撮像部100に対して相対的に静止させることにより、所望の品質を得るために十分な露光時間を用いて画像を撮像することができる。
According to the digital camera 10 according to the present embodiment, even when the subject is moving, the displacement vector, the change rate of the size, and the rotation angle of the region indicating the main subject calculated from the plurality of captured images. The image capturing unit 100 is driven based on the image, and an image is captured in a state where the main subject is relatively stationary with respect to the image capturing unit 100, so that the user does not perform an operation of controlling the orientation of the digital camera 10. It is possible to capture a blur-free image.
In addition, according to the digital camera 10 according to the present embodiment, an image is captured using an exposure time sufficient to obtain a desired quality by making the main subject relatively stationary with respect to the imaging unit 100. Can do.

図2は、本発明の実施形態に係るデジタルカメラ10における処理の流れの一例を示すフローチャートである。本例において、デジタルカメラ10は、利用者がレリーズスイッチを押下したことを検出した場合に、以下の処理を実行する。これに変えて、デジタルカメラ10は、他のスイッチの操作に基づいて以下の処理を実行してもよい。   FIG. 2 is a flowchart illustrating an example of a process flow in the digital camera 10 according to the embodiment of the present invention. In this example, the digital camera 10 executes the following process when it is detected that the user has pressed the release switch. Instead of this, the digital camera 10 may execute the following processing based on the operation of another switch.

まず、撮像部100は、複数の画像を捕捉する(S1000)。ここで、撮像部100は、例えば毎秒30コマよりも高い頻度で画像を捕捉し、毎秒30コマ分の画像を表示部150に表示させて利用者に提供すると共に、他の画像を用いて、以下の処理を行ってもよい。こうすることにより、デジタルカメラ10は、利用者が構図を決定する際に参照する画像を表示部150に表示しながら、主要被写体を撮像部100に対して相対的に静止させる処理を行うことができる。また、この場合、撮像部100は、表示部150に表示させる毎秒30コマの画像と他の画像とを、互いに異なる露光時間を用いて捕捉してもよい。具体的には、撮像部100は、表示部150に表示させる画像を捕捉する場合よりも短い露光時間を用いて、他の画像を捕捉してよい。一般に、露光時間を短くした場合、捕捉された画像における信号の出力レベル及び品質は低下する。しかし、後述する、主要被写体の選択、並びに変位ベクトル、大きさの変化率、及び回転角度の算出といった画像処理を行う場合に必要とされる画像信号の出力レベル及び品質が、表示部150において表示される場合に必要とされる画像信号の出力レベル及び品質より低い場合、撮像部100は、他の画像を捕捉する場合に、より短い露光時間を用いることができる。そして、露光時間を短くして、所定の時間内により多くの画像を捕捉する、又は所定の枚数の画像をより短い時間で撮像することにより、後述する画像処理において、より精度の高い結果を得ることができる。   First, the imaging unit 100 captures a plurality of images (S1000). Here, the imaging unit 100 captures an image at a frequency higher than, for example, 30 frames per second, displays an image for 30 frames per second on the display unit 150, provides the image to the user, and uses other images, The following processing may be performed. In this way, the digital camera 10 can perform a process of making the main subject relatively stationary with respect to the imaging unit 100 while displaying an image to be referred to when the user determines the composition on the display unit 150. it can. In this case, the imaging unit 100 may capture an image of 30 frames per second displayed on the display unit 150 and another image using different exposure times. Specifically, the imaging unit 100 may capture another image using an exposure time shorter than when capturing an image to be displayed on the display unit 150. In general, when the exposure time is shortened, the output level and quality of the signal in the captured image decreases. However, the display unit 150 displays the output level and quality of an image signal required when performing image processing such as selection of a main subject and calculation of a displacement vector, a change rate of a size, and a rotation angle, which will be described later. If the output level and quality of the image signal required are lower than those required, the imaging unit 100 can use a shorter exposure time when capturing other images. Then, by shortening the exposure time and capturing more images within a predetermined time, or by capturing a predetermined number of images in a shorter time, a more accurate result is obtained in the image processing described later. be able to.

続いて、主要被写体選択部122は、撮像部100により捕捉された複数の画像のそれぞれについて、当該画像から主要被写体を示す領域を選択する(S1010)。例えば、主要被写体選択部122は、公知の方法を用いて、複数の画像から移動体を示す領域を検出し、当該移動体を示す領域を、主要被写体を示す領域として選択してよい。具体的には、主要被写体選択部122は、複数の画像の間で差分を抽出することにより、移動体を示す領域を検出してよく、また、複数の画像に基づいてオプティカルフローを算出し、画像の周辺部分等の背景領域における画素のオプティカルフローとは異なるオプティカルフローを示す画素の集合を、移動体を示す領域として検出してもよい。ここで、複数の移動体が検出された場合、主要被写体選択部122は、例えば、それぞれの移動体を示す領域の面積、及び画像内の位置等に基づいて、主要被写体を選択してよい。具体的には、主要被写体選択部122は、移動体を示す領域の面積がより大きく、また、レリーズスイッチ押下時により中央に近い位置に存在していた場合に、当該移動体により大きな重みを付加し、複数の移動体のうち、最も重みの大きな領域を主要被写体として選択する。   Subsequently, the main subject selection unit 122 selects an area indicating the main subject from each of the plurality of images captured by the imaging unit 100 (S1010). For example, the main subject selection unit 122 may detect a region indicating a moving body from a plurality of images using a known method, and select the region indicating the moving body as a region indicating the main subject. Specifically, the main subject selection unit 122 may detect a region indicating a moving body by extracting differences between a plurality of images, calculate an optical flow based on the plurality of images, A set of pixels exhibiting an optical flow different from the optical flow of the pixels in the background region such as the peripheral portion of the image may be detected as the region indicating the moving object. Here, when a plurality of moving objects are detected, the main subject selection unit 122 may select the main subject based on, for example, the area of the area indicating each moving object, the position in the image, and the like. Specifically, the main subject selection unit 122 adds a larger weight to the moving object when the area of the moving object is larger and the area is closer to the center when the release switch is pressed. Then, an area having the largest weight among the plurality of moving objects is selected as the main subject.

また、主要被写体選択部122は、撮像された画像に対してエッジ抽出処理を行うことにより、複数の被写体の輪郭形状を抽出し、利用者に何れの被写体が主要被写体であるかを指定させてもよい。ここで、主要被写体選択部122は、利用者に主要被写体を指定させるのに代えて、レリーズスイッチ押下時に、画像の中心等の所定位置に存在している被写体を主要被写体として選択してもよい。これらの場合、主要被写体選択部122は、捕捉された複数の画像のうち、何れかの画像に対して主要被写体を示す領域を選択した後、当該画像に前後して捕捉された画像に対して被写体の輪郭形状の抽出を行う。そして、主要被写体選択部122は、抽出された複数の被写体の中で、選択された主要被写体に最も近い輪郭形状を有する、又は重なる部分の面積が最も大きい被写体を、当該画像における主要被写体として選択する。このようにして、主要被写体選択部122は、複数の画像のそれぞれについて、主要被写体を示す領域を順次選択することができる。   Also, the main subject selection unit 122 extracts edge shapes of a plurality of subjects by performing edge extraction processing on the captured image, and allows the user to specify which subject is the main subject. Also good. Here, the main subject selection unit 122 may select a subject existing at a predetermined position such as the center of the image as the main subject when the release switch is pressed, instead of causing the user to designate the main subject. . In these cases, the main subject selection unit 122 selects an area indicating the main subject for any of the plurality of captured images, and then performs processing on the images captured before and after the image. Extract the contour shape of the subject. Then, the main subject selection unit 122 selects, as a main subject in the image, a subject having a contour shape closest to the selected main subject or having the largest overlapping portion area among the plurality of extracted subjects. To do. In this manner, the main subject selection unit 122 can sequentially select an area indicating the main subject for each of a plurality of images.

続いて、大きさ変化率算出部132は、捕捉された複数の画像における、主要被写体を示す領域の大きさの変化率を算出する(S1020)。具体的には、大きさ変化率算出部132は、複数の画像のうち、2枚の画像について、後に捕捉された画像における主要被写体を示す領域の面積を、先に捕捉された画像における主要被写体の面積で除算することにより、主要被写体を示す領域の大きさの変化率を算出する。ここで用いられる2枚の画像は、それぞれの画像を捕捉した時間間隔が、撮像部100が画像を撮像する場合の露光時間と略同一であることが好ましい。こうすることにより、大きさ変化率算出部132は、それらの画像が捕捉された時点で画像を撮像したと仮定した場合の、露光時間中における主要被写体を示す領域の大きさの変化率を算出することができるので、撮像制御部140において主要被写体を相対的に静止させるべく、より高い精度で撮像部100を制御することができる。更に、大きさ変化率算出部132は、複数の画像における主要被写体を示す領域の大きさの時間変化を、三角関数等を用いて近似することにより、所定時間後における変化率の予測値を算出してもよい。   Subsequently, the size change rate calculation unit 132 calculates the rate of change in the size of the region indicating the main subject in the captured images (S1020). Specifically, the size change rate calculation unit 132 calculates the area of the area indicating the main subject in the image captured later for two images out of the plurality of images, as the main subject in the previously captured image. To calculate the rate of change in the size of the area representing the main subject. In the two images used here, the time interval at which the respective images are captured is preferably substantially the same as the exposure time when the imaging unit 100 captures an image. By doing so, the size change rate calculation unit 132 calculates the rate of change in the size of the area indicating the main subject during the exposure time when it is assumed that the images have been captured when the images are captured. Therefore, the imaging control unit 140 can control the imaging unit 100 with higher accuracy so that the main subject is relatively stationary in the imaging control unit 140. Further, the size change rate calculation unit 132 calculates a predicted value of the change rate after a predetermined time by approximating the time change of the size of the region indicating the main subject in a plurality of images using a trigonometric function or the like. May be.

続いて、大きさ変化率算出部132により算出された変化率が、予め定められた基準値より大きい場合に、撮像制御部140は、算出された変化率の逆数に基づいて撮像部100の撮像倍率を制御する(S1030)。例えば、主要被写体を示す領域の大きさにおける単位時間あたりの変化率が2であると算出され、当該変化率が基準値より大きい場合、撮像制御部140は、当該変化率を補償するために必要な撮像倍率の単位時間あたりの変化率を1/2と算出する。そして、撮像制御部140は、撮像部100により複数の画像が捕捉された時点における撮像倍率の変化率、例えば1/3に、算出された変化率である1/2を乗じた変化率である1/6を算出する。そして、撮像制御部140は、光学系102における撮像倍率を単位時間あたり1/6の割合で減少させる。また、予め定められた基準値とは、移動している被写体を撮像した画像において被写体像に発生するブレが十分に小さいと考えられる場合の、被写体像の大きさの変化率における上限値であり、光学系102の特性等に基づいて定められた値である。また、大きさ変化率算出部132において、所定時間後、具体的には次に画像を捕捉するタイミングにおける変化率の予測値が算出されている場合、撮像制御部140は、当該予測値に基づいて撮像部100の撮像倍率を算出してもよい。これにより、撮像制御部140は、主要被写体を示す領域の大きさの変化率が時間に対して線形に変化していない場合であっても、主要被写体を撮像部100に対して相対的に静止させるべく、精度よく撮像倍率の制御を行うことができる。   Subsequently, when the change rate calculated by the magnitude change rate calculation unit 132 is larger than a predetermined reference value, the imaging control unit 140 captures the image of the imaging unit 100 based on the reciprocal of the calculated change rate. The magnification is controlled (S1030). For example, when the rate of change per unit time in the size of the area indicating the main subject is calculated to be 2 and the rate of change is greater than a reference value, the imaging control unit 140 is necessary to compensate for the rate of change. A rate of change per unit time of a large imaging magnification is calculated as ½. The imaging control unit 140 is a rate of change of the imaging magnification at the time when a plurality of images are captured by the imaging unit 100, for example, 1/3 multiplied by 1/2 that is the calculated rate of change. Calculate 1/6. Then, the imaging control unit 140 decreases the imaging magnification in the optical system 102 at a rate of 1/6 per unit time. The predetermined reference value is an upper limit value for the rate of change in the size of the subject image in the case where it is considered that the blur generated in the subject image is sufficiently small in the image obtained by imaging the moving subject. The value is determined based on the characteristics of the optical system 102. In addition, when the magnitude change rate calculation unit 132 calculates a predicted value of the change rate after a predetermined time, specifically at the next timing of capturing an image, the imaging control unit 140 performs the calculation based on the predicted value. Thus, the imaging magnification of the imaging unit 100 may be calculated. As a result, the imaging control unit 140 keeps the main subject relatively stationary with respect to the imaging unit 100 even when the rate of change in the size of the area indicating the main subject does not change linearly with respect to time. Therefore, the imaging magnification can be accurately controlled.

続いて、回転角度算出部134は、捕捉された複数の画像における、主要被写体を示す領域の、光学系102における光軸の周りの回転角度を算出する(S1040)。例えば、回転角度算出部134は、複数の画像のうち2枚の画像について、それぞれの画像における主要被写体を示す領域の画像を、それぞれの領域の重心で重ね合わせる。そして、回転角度算出部134は、2枚のうち先に捕捉された画像における主要被写体を示す領域の画像を、重心を中心に回転させつつ、パターンマッチング等の方法を用いてそれぞれの領域の画像が一致するか否かを判定し、一致する場合の回転角度を検出する。そして、回転角度算出部134は、検出した重心を中心とする回転角度と、それぞれの画像における主要被写体を示す領域の重心の、画像内における位置とに基づいて、2枚のうち先に捕捉された画像を光軸を中心に回転させることによって、それぞれの画像における主要被写体を示す領域の画像を一致させることができるか否かを判定する。そして、一致させることができる場合に、回転角度算出部134は、光軸を中心とした回転における回転角度を、撮像制御部140に出力すべき回転角度として算出する。   Subsequently, the rotation angle calculation unit 134 calculates the rotation angle around the optical axis of the optical system 102 in the region indicating the main subject in the plurality of captured images (S1040). For example, the rotation angle calculation unit 134 superimposes the images of the areas indicating the main subject in each of the two images among the plurality of images at the center of gravity of each of the areas. Then, the rotation angle calculation unit 134 rotates the image of the area indicating the main subject in the previously captured image of the two images around the center of gravity, and uses an image of each area using a method such as pattern matching. Are determined to match, and the rotation angle in the case of matching is detected. Then, the rotation angle calculation unit 134 is captured first of the two images based on the detected rotation angle around the center of gravity and the position in the image of the center of gravity of the area indicating the main subject in each image. By rotating the obtained images around the optical axis, it is determined whether or not the images in the area indicating the main subject in each image can be matched. If the rotation angles can be matched, the rotation angle calculation unit 134 calculates the rotation angle in rotation about the optical axis as the rotation angle to be output to the imaging control unit 140.

ここで、既に、大きさ変化率算出部132により算出された変化率を補償するべく撮像倍率が制御されている場合、回転角度算出部134は、それぞれの主要被写体を示す領域の大きさ及び画像内の位置を、撮像倍率の変化により生じる大きさ及び画像内の位置の変化に基づいて補正した画像を用いて、回転角度を算出してよい。また、ここで用いられる2枚の画像は、それぞれの画像を捕捉した時間間隔が、撮像部100が画像を撮像する場合の露光時間と略同一であることが好ましい。こうすることにより、回転角度算出部134は、それらの画像が捕捉された時点で画像を撮像したと仮定した場合の、露光時間中における主要被写体を示す領域の回転角度を算出することができるので、撮像制御部140において主要被写体を相対的に静止させるべく、より高い精度で撮像部100を制御することができる。更に、回転角度算出部134は、複数の画像における主要被写体を示す領域の回転角度の時間変化を、三角関数等を用いて近似することにより、所定時間後における回転角度の予測値を算出してもよい。   Here, when the imaging magnification is already controlled to compensate for the change rate calculated by the size change rate calculation unit 132, the rotation angle calculation unit 134 determines the size and image of the area indicating each main subject. The rotation angle may be calculated using an image obtained by correcting the position in the image based on the size caused by the change in the imaging magnification and the change in the position in the image. Moreover, it is preferable that the time interval which captured each image of the two images used here is substantially the same as the exposure time when the imaging unit 100 captures an image. By doing so, the rotation angle calculation unit 134 can calculate the rotation angle of the region indicating the main subject during the exposure time when it is assumed that the images have been captured when the images are captured. The imaging control unit 140 can control the imaging unit 100 with higher accuracy so that the main subject is relatively stationary. Further, the rotation angle calculation unit 134 calculates a predicted value of the rotation angle after a predetermined time by approximating the time change of the rotation angle of the region indicating the main subject in the plurality of images using a trigonometric function or the like. Also good.

続いて、回転角度算出部134により算出された主要被写体を示す領域の回転角度が、予め定められた基準値より大きい場合に、撮像制御部140は、算出された回転角度に基づいて撮像部100を回転させる(S1050)。具体的には、算出された回転角度が基準値より大きい場合、撮像制御部140は、撮像部100により複数の画像が捕捉された時点の回転角度に、算出された回転角度を加算した回転角度を用いて、CCD104を回転させる。また、予め定められた基準値とは、回転している被写体を撮像した画像において被写体像に発生するブレが十分に小さいと考えられる場合の、被写体像の回転角度の大きさにおける上限値であり、CCD104の特性等に基づいて定められた値である。また、回転角度算出部134において、所定時間後、具体的には次に画像を捕捉するタイミングにおける回転角度の予測値が算出されている場合に、撮像制御部140は、当該予測値に基づいてCCD104の回転角度を算出してもよい。これにより、撮像制御部140は、主要被写体を示す領域の回転角度が、時間に対して線形に変化していない場合であっても、主要被写体を撮像部100に対して相対的に静止させるべく、精度よくCCD104の回転を制御することができる。   Subsequently, when the rotation angle of the region indicating the main subject calculated by the rotation angle calculation unit 134 is larger than a predetermined reference value, the imaging control unit 140 performs the imaging unit 100 based on the calculated rotation angle. Is rotated (S1050). Specifically, when the calculated rotation angle is larger than the reference value, the imaging control unit 140 adds the calculated rotation angle to the rotation angle at the time when a plurality of images are captured by the imaging unit 100. To rotate the CCD 104. Further, the predetermined reference value is an upper limit value for the size of the rotation angle of the subject image when it is considered that the blur generated in the subject image is sufficiently small in the image obtained by imaging the rotating subject. The value is determined based on the characteristics of the CCD 104. In addition, when the rotation angle calculation unit 134 calculates a predicted value of the rotation angle after a predetermined time, specifically, at the next timing of capturing an image, the imaging control unit 140 performs the calculation based on the predicted value. The rotation angle of the CCD 104 may be calculated. Thereby, the imaging control unit 140 should make the main subject stationary relative to the imaging unit 100 even when the rotation angle of the region indicating the main subject does not change linearly with respect to time. The rotation of the CCD 104 can be controlled with high accuracy.

続いて、変位ベクトル算出部130は、捕捉された複数の画像における、主要被写体を示す領域の画像内での変位ベクトルを算出する(S1060)。例えば、変位ベクトル算出部130は、複数の画像のうち、2枚の画像について、先に捕捉された画像における主要被写体を示す領域の重心と、後に捕捉された画像における主要被写体の重心とを結ぶベクトルを、変位ベクトルとして算出する。ここで、既に、大きさ変化率算出部132により算出された変化率を補償するべく撮像倍率が制御されている場合、及び/又は回転角度算出部134により算出された回転角度を補償するべくCCD104が回転されている場合、変位ベクトル算出部130は、それぞれの主要被写体を示す領域の画像を、撮像倍率の変化及び/又はCCD104の回転により生じる画像の変化に基づいて補正した画像を用いて、変位ベクトルを算出してよい。   Subsequently, the displacement vector calculation unit 130 calculates a displacement vector in the image of the region indicating the main subject in the plurality of captured images (S1060). For example, the displacement vector calculation unit 130 connects, for two images of a plurality of images, the center of gravity of a region indicating the main subject in the previously captured image and the center of gravity of the main subject in the later captured image. The vector is calculated as a displacement vector. Here, when the imaging magnification has already been controlled to compensate for the change rate calculated by the magnitude change rate calculation unit 132 and / or the CCD 104 to compensate for the rotation angle calculated by the rotation angle calculation unit 134. Is rotated, the displacement vector calculation unit 130 uses an image obtained by correcting the image of the area indicating each main subject based on the change in the imaging magnification and / or the change in the image caused by the rotation of the CCD 104, A displacement vector may be calculated.

また、ここで用いられる2枚の画像は、それぞれの画像を捕捉した時間間隔が、撮像部100が画像を撮像する場合の露光時間と略同一であることが好ましい。こうすることにより、変位ベクトル算出部130は、それらの画像が捕捉された時点で画像を撮像したと仮定した場合の、露光時間中における主要被写体を示す領域の変位ベクトルを算出することができるので、撮像制御部140において主要被写体を相対的に静止させるべく、より高い精度で撮像部100を制御することができる。また、変位ベクトル算出部130は、主要被写体選択部122が主要被写体を示す領域を選択する際に、捕捉された複数の画像から移動体を示す領域を検出していた場合に、その結果を用いて変位ベクトルを算出してもよい。更に、変位ベクトル算出部130は、複数の画像における主要被写体を示す領域の変位ベクトルの時間変化を、成分毎に三角関数等を用いて近似することにより、所定時間後における変位ベクトルの予測値を算出してもよい。   Moreover, it is preferable that the time interval which captured each image of the two images used here is substantially the same as the exposure time when the imaging unit 100 captures an image. By doing so, the displacement vector calculation unit 130 can calculate the displacement vector of the region indicating the main subject during the exposure time when it is assumed that the images have been captured when the images are captured. The imaging control unit 140 can control the imaging unit 100 with higher accuracy so that the main subject is relatively stationary. In addition, when the main subject selection unit 122 selects a region indicating the main subject, the displacement vector calculation unit 130 uses the result when the region indicating the moving body is detected from the plurality of captured images. Thus, the displacement vector may be calculated. Furthermore, the displacement vector calculation unit 130 approximates the time variation of the displacement vector of the region indicating the main subject in the plurality of images using a trigonometric function or the like for each component, thereby obtaining a predicted value of the displacement vector after a predetermined time. It may be calculated.

続いて、変位ベクトル算出部130により算出された変位ベクトルの大きさが、予め定められた基準値より大きい場合に、撮像制御部140は、算出された変位ベクトルを補償する方向に撮像方向を変化させる(S1070)。例えば、主要被写体を示す領域が、光学系102における光学中心から見て、画像に向かって右方向に毎秒10°の速さで変位していると算出され、この変位量が基準値より大きい場合、撮像制御部140は、撮像部100により複数の画像が捕捉された時点における撮像方向の変化量に、右方向に毎秒10°という変化量を加算した変化量を用いて、撮像方向、即ち光軸の向きを変化させる。また、予め定められた基準値とは、移動している被写体を撮像した画像において被写体像に発生するブレが十分に小さいと考えられる場合の、被写体像の変位ベクトルの大きさにおける上限値であり、光学系102の特性等に基づいて定められた値である。また、変位ベクトル算出部130において、所定時間後、具体的には次に画像を捕捉するタイミングにおける変位ベクトルの予測値が算出されている場合に、撮像制御部140は、当該予測値を用いて光軸の向きを制御してもよい。これにより、撮像制御部140は、主要被写体を示す領域の変位ベクトルが、時間に対して線形に変化していない場合であっても、主要被写体を撮像部100に対して相対的に静止させるべく、精度よく光軸の向きの制御を行うことができる。   Subsequently, when the magnitude of the displacement vector calculated by the displacement vector calculation unit 130 is larger than a predetermined reference value, the imaging control unit 140 changes the imaging direction in a direction to compensate the calculated displacement vector. (S1070). For example, it is calculated that the area indicating the main subject is displaced at a speed of 10 ° per second in the right direction toward the image when viewed from the optical center in the optical system 102, and the amount of displacement is greater than the reference value. The imaging control unit 140 uses the change amount obtained by adding the change amount of 10 ° per second in the right direction to the change amount of the imaging direction when a plurality of images are captured by the imaging unit 100, and uses the change amount in the imaging direction, that is, the light. Change the direction of the axis. Further, the predetermined reference value is an upper limit value of the magnitude of the displacement vector of the subject image when it is considered that the blur generated in the subject image is sufficiently small in the image obtained by imaging the moving subject. The value is determined based on the characteristics of the optical system 102. In addition, when the displacement vector calculation unit 130 calculates a predicted value of the displacement vector after a predetermined time, specifically at the next timing of capturing an image, the imaging control unit 140 uses the predicted value. The direction of the optical axis may be controlled. Thereby, the imaging control unit 140 should make the main subject relatively stationary with respect to the imaging unit 100 even when the displacement vector of the region indicating the main subject does not change linearly with respect to time. The direction of the optical axis can be controlled with high accuracy.

続いて、撮像制御部140は、大きさ変化率算出部132により算出された変化率、回転角度算出部134により算出された回転角度、及び変位ベクトル算出部130により算出された変位ベクトルの大きさの何れか1つが、それぞれにおける予め定められた基準値より大きいか否かを判定する(S1080)。そして、変化率、回転角度、及び変位ベクトルの大きさの何れか1つが基準値より大きい場合(S1080:Yes)、デジタルカメラ10は、処理をS1000に戻して、再度撮像部に画像を捕捉させる。   Subsequently, the imaging control unit 140 determines the change rate calculated by the magnitude change rate calculation unit 132, the rotation angle calculated by the rotation angle calculation unit 134, and the magnitude of the displacement vector calculated by the displacement vector calculation unit 130. It is determined whether any one of these is larger than a predetermined reference value in each (S1080). If any one of the rate of change, the rotation angle, and the magnitude of the displacement vector is larger than the reference value (S1080: Yes), the digital camera 10 returns the process to S1000 and causes the imaging unit to capture an image again. .

一方、変化率、回転角度、及び変位ベクトルの大きさの何れもが基準値より小さい場合(S1080:No)、撮像制御部140は、主要被写体が撮像部100に対して相対的に静止していると判断し、S1000において複数の画像が捕捉された際の撮像倍率の変化率、CCD104の回転角度、及び光軸の向きの変化量を維持したまま、撮像部100に画像を撮像させる(S1090)。これに代えて、撮像制御部140は、大きさ変化率算出部132により算出された変化率の予測値、回転角度算出部134により算出された回転角度の予測値、及び変位ベクトル算出部130により算出された変位ベクトルの予測値に基づいて撮像部100を駆動させつつ、撮像部100に画像を撮像させてもよい。また、撮像部100は、静止画像を撮像するのに代えて、動画像を撮影してもよい。撮像部100が動画像を撮影する場合であっても、撮像制御部140の制御により、主要被写体が撮像部100に対して相対的に静止した状態で撮影することができるので、主要被写体像にブレの無い品質の高い動画像を撮影することができる。   On the other hand, when all of the change rate, the rotation angle, and the displacement vector are smaller than the reference value (S1080: No), the imaging control unit 140 causes the main subject to be relatively stationary with respect to the imaging unit 100. The image capturing unit 100 captures images while maintaining the rate of change in imaging magnification, the rotation angle of the CCD 104, and the amount of change in the direction of the optical axis when a plurality of images are captured in S1000 (S1090). ). Instead, the imaging control unit 140 uses the predicted change rate value calculated by the magnitude change rate calculation unit 132, the predicted rotation angle value calculated by the rotation angle calculation unit 134, and the displacement vector calculation unit 130. The image capturing unit 100 may be caused to capture an image while driving the image capturing unit 100 based on the calculated predicted value of the displacement vector. In addition, the imaging unit 100 may capture a moving image instead of capturing a still image. Even when the imaging unit 100 captures a moving image, the main subject image can be captured with the main subject relatively stationary with respect to the imaging unit 100 under the control of the imaging control unit 140. It is possible to shoot high-quality moving images without blurring.

本実施形態に係るデジタルカメラ10によれば、捕捉した画像における主要被写体を示す領域の変位ベクトル、大きさの変化率、及び回転角度に基づいて撮像部100を制御することにより、撮像方向に垂直な面内、平行な方向、及びその周りの回転について、主要被写体を撮像部100に対して相対的に静止させることができる。そして、算出した変位ベクトル、大きさの変化率、及び回転角度に基づいて、主要被写体が撮像部100に対して相対的に静止しているか否かを判定し、静止していると判定した場合に画像を撮像する、言い換えれば、主要被写体が撮像部100に対して相対的に静止するまで撮像を遅らせることにより、ブレの無い鮮明な画像を確実に撮像することができる。   According to the digital camera 10 according to the present embodiment, the imaging unit 100 is controlled based on the displacement vector, the change rate of the size, and the rotation angle of the region indicating the main subject in the captured image, thereby being perpendicular to the imaging direction. The main subject can be made relatively stationary with respect to the imaging unit 100 with respect to an in-plane, parallel direction, and rotation about the direction. Then, based on the calculated displacement vector, the rate of change of the size, and the rotation angle, it is determined whether or not the main subject is relatively stationary with respect to the imaging unit 100, and it is determined that the main subject is stationary By picking up an image, in other words, by delaying the image pickup until the main subject is relatively stationary with respect to the image pickup unit 100, it is possible to reliably pick up a clear image without blurring.

更に、本実施形態に係るデジタルカメラ10によれば、主要被写体選択部122が、移動体を主要被写体として認識するのでなく、利用者に指定させて、又は画像内における位置等に基づいて主要被写体を選択することにより、手振れ等によって、主要被写体を含む画像全体が撮像部100に対して相対的に移動する場合であっても、主要被写体を撮像部100に対して相対的に静止させることができるので、ブレの無い鮮明な画像を撮像することができる。   Furthermore, according to the digital camera 10 according to the present embodiment, the main subject selection unit 122 does not recognize the moving body as the main subject, but allows the user to specify the main subject based on the position in the image or the like. By selecting, the main subject can be made relatively stationary with respect to the imaging unit 100 even when the entire image including the main subject moves relative to the imaging unit 100 due to camera shake or the like. As a result, a clear image without blurring can be taken.

図3は、本発明の実施形態に係るコンピュータ1500のハードウェア構成の一例を示すブロック図である。本実施形態に係るコンピュータ1500は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、及び表示装置1580を有するCPU周辺部と、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する入出力部と、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、及び入出力チップ1570を有するレガシー入出力部とを備える。   FIG. 3 is a block diagram showing an example of a hardware configuration of a computer 1500 according to the embodiment of the present invention. The computer 1500 according to this embodiment is connected to the CPU peripheral unit including the CPU 1505, the RAM 1520, the graphic controller 1575, and the display device 1580 connected to each other by the host controller 1582, and connected to the host controller 1582 by the input / output controller 1584. Input / output unit having communication interface 1530, hard disk drive 1540, and CD-ROM drive 1560, and legacy input / output unit having ROM 1510, flexible disk drive 1550, and input / output chip 1570 connected to input / output controller 1584 With.

ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505及びグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510及びRAM1520に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。   The host controller 1582 connects the RAM 1520 to the CPU 1505 and the graphic controller 1575 that access the RAM 1520 at a high transfer rate. The CPU 1505 operates based on programs stored in the ROM 1510 and the RAM 1520 and controls each unit. The graphic controller 1575 acquires image data generated by the CPU 1505 and the like on a frame buffer provided in the RAM 1520 and displays the image data on the display device 1580. Alternatively, the graphic controller 1575 may include a frame buffer that stores image data generated by the CPU 1505 or the like.

入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、コンピュータ1500内のCPU1505が使用するプログラム及びデータを格納する。通信インターフェイス1530は、ネットワークを介してデジタルカメラ10と通信し、デジタルカメラ10にプログラム及びデータを提供する。CD−ROMドライブ1560は、CD−ROM1595からプログラム又はデータを読み取り、RAM1520を介してハードディスクドライブ1540及び通信インターフェイス1530に提供する。   The input / output controller 1584 connects the host controller 1582 to the hard disk drive 1540, the communication interface 1530, and the CD-ROM drive 1560, which are relatively high-speed input / output devices. The hard disk drive 1540 stores programs and data used by the CPU 1505 in the computer 1500. The communication interface 1530 communicates with the digital camera 10 via a network and provides programs and data to the digital camera 10. The CD-ROM drive 1560 reads a program or data from the CD-ROM 1595 and provides it to the hard disk drive 1540 and the communication interface 1530 via the RAM 1520.

また、入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、コンピュータ1500が起動時に実行するブート・プログラムや、コンピュータ1500のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラム又はデータを読み取り、RAM1520を介してハードディスクドライブ1540及び通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。   The input / output controller 1584 is connected to the ROM 1510, the flexible disk drive 1550, and the relatively low-speed input / output device of the input / output chip 1570. The ROM 1510 stores a boot program executed when the computer 1500 is started up, a program depending on the hardware of the computer 1500, and the like. The flexible disk drive 1550 reads a program or data from the flexible disk 1590 and provides it to the hard disk drive 1540 and the communication interface 1530 via the RAM 1520. The input / output chip 1570 connects various input / output devices via a flexible disk drive 1550 and, for example, a parallel port, a serial port, a keyboard port, a mouse port, and the like.

また、RAM1520を介して通信インターフェイス1530に提供されるプログラムは、フレキシブルディスク1590、CD−ROM1595、又はICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM1520を介して通信インターフェイス1530に提供され、ネットワークを介してデジタルカメラ10に送信される。デジタルカメラ10に送信されたプログラムは、デジタルカメラ10においてインストールされて実行される。デジタルカメラ10にインストールされて実行されるプログラムは、デジタルカメラ10を、図1から図2にかけて説明したデジタルカメラ10として機能させる。   A program provided to the communication interface 1530 via the RAM 1520 is stored in a recording medium such as the flexible disk 1590, the CD-ROM 1595, or an IC card and provided by the user. The program is read from the recording medium, provided to the communication interface 1530 via the RAM 1520, and transmitted to the digital camera 10 via the network. The program transmitted to the digital camera 10 is installed and executed in the digital camera 10. A program installed and executed in the digital camera 10 causes the digital camera 10 to function as the digital camera 10 described with reference to FIGS.

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDやPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ1500に提供してもよい。   The program shown above may be stored in an external storage medium. As the storage medium, in addition to the flexible disk 1590 and the CD-ROM 1595, an optical recording medium such as a DVD or PD, a magneto-optical recording medium such as an MD, a tape medium, a semiconductor memory such as an IC card, or the like can be used. Further, a storage device such as a hard disk or a RAM provided in a server system connected to a dedicated communication network or the Internet may be used as a recording medium, and the program may be provided to the computer 1500 via the network.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

本発明の実施形態に係るデジタルカメラ10の構成の一例を示すブロック図である。1 is a block diagram illustrating an example of a configuration of a digital camera 10 according to an embodiment of the present invention. 本発明の実施形態に係るデジタルカメラ10における処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of a process in the digital camera 10 which concerns on embodiment of this invention. 本発明の実施形態に係るコンピュータ1500のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of the computer 1500 concerning embodiment of this invention.

符号の説明Explanation of symbols

10 デジタルカメラ、100 撮像部、102 光学系、104 CCD、106 撮像信号処理部、110 1次メモリ、120 画像処理部、122 主要被写体選択部、124 動きベクトル算出部、130 変位ベクトル算出部、132 大きさ変化率算出部、134 回転角度算出部、140 撮像制御部、150 表示部、160 2次メモリ DESCRIPTION OF SYMBOLS 10 Digital camera, 100 Imaging part, 102 Optical system, 104 CCD, 106 Imaging signal processing part, 110 Primary memory, 120 Image processing part, 122 Main subject selection part, 124 Motion vector calculation part, 130 Displacement vector calculation part, 132 Size change rate calculation unit, 134 rotation angle calculation unit, 140 imaging control unit, 150 display unit, 160 secondary memory

Claims (9)

複数の画像を捕捉する撮像部と、
前記撮像部により捕捉された前記複数の画像のそれぞれについて、当該画像から主要被写体を示す領域を選択する主要被写体選択部と、
前記主要被写体選択部により選択された、前記複数の画像のそれぞれにおける前記主要被写体を示す領域に基づいて、前記主要被写体の動きベクトルを算出する動きベクトル算出部と、
前記動きベクトル算出部により算出された前記動きベクトルの大きさが予め定められた基準値より大きい場合に、当該動きベクトルを補償するべく前記撮像部を駆動させつつ、前記撮像部に前記複数の画像を捕捉させる撮像制御部と
を備える撮像装置。
An imaging unit for capturing a plurality of images;
For each of the plurality of images captured by the imaging unit, a main subject selection unit that selects a region indicating a main subject from the image;
A motion vector calculation unit that calculates a motion vector of the main subject based on an area indicating the main subject in each of the plurality of images selected by the main subject selection unit;
When the magnitude of the motion vector calculated by the motion vector calculation unit is larger than a predetermined reference value, the imaging unit drives the imaging unit to compensate for the motion vector, and the plurality of images are displayed on the imaging unit. An imaging apparatus comprising: an imaging control unit that captures the image.
前記撮像制御部は、更に、前記動きベクトル算出部により算出された前記動きベクトルの大きさが予め定められた基準値より小さい場合に、前記撮像部に画像を撮像させる請求項1に記載の撮像装置。   2. The imaging according to claim 1, wherein the imaging control unit further causes the imaging unit to capture an image when the magnitude of the motion vector calculated by the motion vector calculation unit is smaller than a predetermined reference value. apparatus. 前記動きベクトル算出部は、前記複数の画像における、前記主要被写体選択部により選択された前記主要被写体を示す領域の画像内での変位ベクトルを算出する変位ベクトル算出部を有し、
前記撮像制御部は、前記変位ベクトル算出部により算出された前記変位ベクトルの大きさが予め定められた基準値より大きい場合に、当該変位ベクトルを補償する方向に撮像方向を変化させつつ、前記撮像部に前記複数の画像を捕捉させる
請求項1に記載の撮像装置。
The motion vector calculation unit includes a displacement vector calculation unit that calculates a displacement vector in an image of an area indicating the main subject selected by the main subject selection unit in the plurality of images.
The imaging control unit changes the imaging direction in a direction to compensate for the displacement vector when the magnitude of the displacement vector calculated by the displacement vector calculation unit is larger than a predetermined reference value. The imaging apparatus according to claim 1, wherein the plurality of images are captured by a unit.
前記動きベクトル算出部は、前記複数の画像における、前記主要被写体選択部により選択された前記主要被写体を示す領域の大きさの変化率を算出する大きさ変化率算出部を有し、
前記撮像制御部は、前記大きさ変化率算出部により算出された変化率が予め定められた基準値より大きい場合に、算出された変化率の逆数に基づいて前記撮像部の撮像倍率を変化させつつ、前記撮像部に前記複数の画像を捕捉させる
請求項1に記載の撮像装置。
The motion vector calculation unit includes a size change rate calculation unit that calculates a rate of change of a size of an area indicating the main subject selected by the main subject selection unit in the plurality of images.
The imaging control unit changes the imaging magnification of the imaging unit based on the reciprocal of the calculated change rate when the change rate calculated by the magnitude change rate calculation unit is larger than a predetermined reference value. The imaging apparatus according to claim 1, wherein the imaging unit captures the plurality of images.
前記動きベクトル算出部は、前記複数の画像における、前記主要被写体選択部により選択された前記主要被写体を示す領域の、予め定められた中心軸の周りの回転角度を算出する回転角度算出部を有し、
前記撮像制御部は、前記回転角度算出部により算出された前記回転角度が予め定められた基準値より大きい場合に、前記撮像部を前記中心軸の周りに前記回転角度で回転させつつ、前記撮像部に前記複数の画像を捕捉させる
請求項1に記載の撮像装置。
The motion vector calculation unit includes a rotation angle calculation unit that calculates a rotation angle around a predetermined central axis of an area indicating the main subject selected by the main subject selection unit in the plurality of images. And
The imaging control unit rotates the imaging unit around the central axis at the rotation angle when the rotation angle calculated by the rotation angle calculation unit is larger than a predetermined reference value. The imaging apparatus according to claim 1, wherein the plurality of images are captured by a unit.
撮像部により複数の画像を捕捉する撮像段階と、
前記撮像段階において捕捉された前記複数の画像のそれぞれについて、当該画像から主要被写体を示す領域を選択する主要被写体選択段階と、
前記主要被写体選択段階において選択された、前記複数の画像のそれぞれにおける前記主要被写体を示す領域に基づいて、前記主要被写体の動きベクトルを算出する動きベクトル算出段階と、
前記動きベクトル算出段階において算出された前記動きベクトルの大きさが予め定められた基準値より大きい場合に、当該動きベクトルを補償するべく前記撮像部を駆動させつつ、前記撮像部により前記複数の画像を捕捉させる撮像制御段階と
を備える撮像方法。
An imaging stage for capturing a plurality of images by an imaging unit;
For each of the plurality of images captured in the imaging step, a main subject selection step of selecting a region indicating a main subject from the image;
A motion vector calculating step of calculating a motion vector of the main subject based on an area indicating the main subject in each of the plurality of images selected in the main subject selection step;
When the magnitude of the motion vector calculated in the motion vector calculation stage is larger than a predetermined reference value, the imaging unit drives the imaging unit to compensate for the motion vector, and the plurality of images are captured by the imaging unit. An imaging method comprising: an imaging control stage for capturing the image.
前記撮像制御段階は、更に、前記動きベクトル算出段階において算出された前記動きベクトルの大きさが予め定められた基準値より小さい場合に、前記撮像部により画像を撮像させる
請求項6に記載の撮像方法。
7. The imaging according to claim 6, wherein the imaging control step further causes the imaging unit to capture an image when the magnitude of the motion vector calculated in the motion vector calculation step is smaller than a predetermined reference value. 8. Method.
撮像装置を機能させる撮像プログラムであって、
当該撮像装置を、
複数の画像を捕捉する撮像部と、
前記撮像部により捕捉された前記複数の画像のそれぞれについて、当該画像から主要被写体を示す領域を選択する主要被写体選択部と、
前記主要被写体選択部により選択された、前記複数の画像のそれぞれにおける前記主要被写体を示す領域に基づいて、前記主要被写体の動きベクトルを算出する動きベクトル算出部と、
前記動きベクトル算出部により算出された前記動きベクトルの大きさが予め定められた基準値より大きい場合に、当該動きベクトルを補償するべく前記撮像部を駆動させつつ、前記撮像部に前記複数の画像を捕捉させる撮像制御部と
を備える撮像装置として機能させる撮像プログラム。
An imaging program for causing an imaging device to function,
The imaging device
An imaging unit for capturing a plurality of images;
For each of the plurality of images captured by the imaging unit, a main subject selection unit that selects a region indicating a main subject from the image;
A motion vector calculation unit that calculates a motion vector of the main subject based on an area indicating the main subject in each of the plurality of images selected by the main subject selection unit;
When the magnitude of the motion vector calculated by the motion vector calculation unit is larger than a predetermined reference value, the imaging unit drives the imaging unit to compensate for the motion vector, and the plurality of images are displayed on the imaging unit. An imaging program for causing an imaging apparatus to function as an imaging device.
前記撮像制御部は、更に、前記動きベクトル算出部により算出された前記動きベクトルの大きさが予め定められた基準値より小さい場合に、前記撮像部に画像を撮像させることを特徴とする請求項8に記載の撮像プログラム。
The imaging control unit further causes the imaging unit to capture an image when the magnitude of the motion vector calculated by the motion vector calculation unit is smaller than a predetermined reference value. 8. The imaging program according to 8.
JP2004073595A 2004-03-15 2004-03-15 Image pickup device, image pickup method, and image pickup program Pending JP2005260894A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004073595A JP2005260894A (en) 2004-03-15 2004-03-15 Image pickup device, image pickup method, and image pickup program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004073595A JP2005260894A (en) 2004-03-15 2004-03-15 Image pickup device, image pickup method, and image pickup program

Publications (1)

Publication Number Publication Date
JP2005260894A true JP2005260894A (en) 2005-09-22

Family

ID=35086155

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004073595A Pending JP2005260894A (en) 2004-03-15 2004-03-15 Image pickup device, image pickup method, and image pickup program

Country Status (1)

Country Link
JP (1) JP2005260894A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279940A (en) * 2005-03-03 2006-10-12 Fuji Photo Film Co Ltd Imaging apparatus, imaging method, imaging program, imaging output system and image recording output method
CN102625036A (en) * 2011-01-25 2012-08-01 株式会社尼康 Image processing apparatus, image capturing apparatus and recording medium
JP2013012993A (en) * 2011-06-30 2013-01-17 Nikon Corp Image processing device, imaging device, and image processing program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279940A (en) * 2005-03-03 2006-10-12 Fuji Photo Film Co Ltd Imaging apparatus, imaging method, imaging program, imaging output system and image recording output method
CN102625036A (en) * 2011-01-25 2012-08-01 株式会社尼康 Image processing apparatus, image capturing apparatus and recording medium
JP2012156704A (en) * 2011-01-25 2012-08-16 Nikon Corp Image processor, imaging apparatus, and program
JP2013012993A (en) * 2011-06-30 2013-01-17 Nikon Corp Image processing device, imaging device, and image processing program

Similar Documents

Publication Publication Date Title
JP4268220B2 (en) Imaging apparatus, imaging method, and program
TWI387330B (en) Imaging apparatus provided with panning mode for taking panned image
US20090284609A1 (en) Image capture apparatus and program
WO2008032442A1 (en) Image processing device, electronic camera and image processing program
US8310553B2 (en) Image capturing device, image capturing method, and storage medium having stored therein image capturing program
JP2008129554A (en) Imaging device and automatic focusing control method
JP5453573B2 (en) Imaging apparatus, imaging method, and program
JP2019080226A (en) Imaging apparatus, method for controlling imaging apparatus, and program
JP7320024B2 (en) IMAGE SENSOR, IMAGING DEVICE, IMAGE DATA PROCESSING METHOD, AND PROGRAM
JP5211589B2 (en) Image processing apparatus, electronic camera, and image processing program
JP2020017807A (en) Image processing apparatus, image processing method, and imaging apparatus
JP2011066827A (en) Image processing apparatus, image processing method and program
JP2007214620A (en) Image processing apparatus, image processing method, and program
JP2007049529A (en) Imaging apparatus, imaging method, and program
JP2005260894A (en) Image pickup device, image pickup method, and image pickup program
WO2005022915A1 (en) Image capture and projection device and image capture and projection method
JP4001233B2 (en) Panorama shooting method and image processing apparatus and image pickup apparatus capable of using the method
JP6896181B2 (en) Image sensor, image sensor, image data processing method, and program
JP2005080061A (en) Image processing apparatus
JP2009077321A (en) Image recording device and image recording processing method
WO2013065642A1 (en) Image processing device
JP2014153517A (en) Image processing device, image processing method, program, and storage medium
JP2016025639A (en) Imaging apparatus, image signal transfer control method, and program
JP2005311488A (en) Imaging apparatus, imaging method, and imaging program
WO2023185096A1 (en) Image blurriness determination method and device related thereto

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061207