JP2012002951A - Imaging device, method for detecting in-focus position and in-focus position detection program - Google Patents
Imaging device, method for detecting in-focus position and in-focus position detection program Download PDFInfo
- Publication number
- JP2012002951A JP2012002951A JP2010136503A JP2010136503A JP2012002951A JP 2012002951 A JP2012002951 A JP 2012002951A JP 2010136503 A JP2010136503 A JP 2010136503A JP 2010136503 A JP2010136503 A JP 2010136503A JP 2012002951 A JP2012002951 A JP 2012002951A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- movement
- photographer
- focus
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Abstract
Description
本発明は、被写体に対して自動的に焦点を合わせるオートフォーカス機能を有する撮像装置、合焦位置検出方法および合焦位置検出プログラムに関する。 The present invention relates to an imaging apparatus having an autofocus function for automatically focusing on a subject, a focus position detection method, and a focus position detection program.
デジタルスチルカメラ等の撮像装置は、被写体に対して自動的に焦点を合わせるオートフォーカス(以下、「AF」という。)機能を有するものが一般的である。AF動作の制御方法としては、山登りAF制御が広く知られている(例えば、特許文献1参照)。この山登りAF制御では、撮像素子から出力される画像データから近接画素の輝度差の積分値を求めて、この輝度差の積分値を、合焦度合いを示すAF評価値とする。合焦状態にあるときは被写体の輪郭部分がはっきりしており、近接画素間の輝度差が大きくなるのでAF評価値が大きくなる。一方、非合焦状態のときは被写体の輪郭部分がぼやけて画素間の輝度差は小さくなるので、AF評価値が小さくなる。AF動作の実行時は、フォーカスレンズを光軸方向に移動させながらこのAF評価値を順次取得していき、AF評価値が最も大きくなったところ、すなわちピーク位置を合焦位置として、フォーカスレンズを停止させる。 An imaging apparatus such as a digital still camera generally has an autofocus (hereinafter referred to as “AF”) function for automatically focusing on a subject. As a control method of the AF operation, hill-climbing AF control is widely known (for example, see Patent Document 1). In this hill-climbing AF control, an integrated value of the luminance difference of the neighboring pixels is obtained from the image data output from the image sensor, and this integrated value of the luminance difference is used as an AF evaluation value indicating the degree of focus. When the subject is in focus, the outline of the subject is clear and the brightness difference between adjacent pixels increases, so the AF evaluation value increases. On the other hand, in the out-of-focus state, the contour portion of the subject is blurred and the luminance difference between pixels becomes small, so the AF evaluation value becomes small. When executing the AF operation, the AF evaluation values are sequentially acquired while moving the focus lens in the optical axis direction. When the AF evaluation value becomes the largest, that is, with the peak position as the in-focus position, the focus lens is moved. Stop.
また、近年では、デジタルスチルカメラの技術として、画像における主要被写体を追尾する被写体追尾機能が実用化されている。被写体追尾機能は、例えば、追尾対象となる被写体像の画像データをテンプレートとして用いたテンプレートマッチングなどにより被写体の移動量および移動方向を検出し、被写体の移動に合わせてAF動作の対象とするエリア(以下、「AFエリア」という。)を移動させて、動きのある被写体に追従してAF動作や露光条件の演算などを行えるようにする機能である(例えば、特許文献2,3参照)。
In recent years, a subject tracking function for tracking a main subject in an image has been put to practical use as a digital still camera technique. The subject tracking function detects, for example, the amount and direction of movement of a subject by template matching using image data of a subject image to be tracked as a template, and an AF operation target area (in accordance with the movement of the subject) ( (Hereinafter referred to as “AF area”), and the AF operation and exposure condition calculation can be performed following the moving subject (see, for example,
しかしながら、従来の被写体追尾機能を有する撮像装置では、被写体の移動に追従して画像におけるAFエリアを移動させることはできるものの、被写体が画像の奥行き方向(撮影者に近づく方向や撮影者から遠ざかる方向)に移動している場合などにおいて、AF動作時に合焦位置を見失ってしまう場合があった。すなわち、追尾する被写体の位置をAFエリアとしてAF動作を実行する場合には、被写体の移動を考慮して高速にAF動作を実行するために、AF評価値を取得するフォーカスレンズの移動範囲を制限している。このとき、被写体が画像の奥行き方向に移動していると、被写体の合焦位置がフォーカスレンズの移動範囲外の位置となり、合焦位置を見失う結果となる場合があった。 However, in a conventional imaging apparatus having a subject tracking function, the AF area in the image can be moved following the movement of the subject, but the subject is in the depth direction of the image (the direction toward the photographer or the direction away from the photographer). ), The focus position may be lost during the AF operation. In other words, when the AF operation is executed using the position of the subject to be tracked as the AF area, the movement range of the focus lens for obtaining the AF evaluation value is limited in order to execute the AF operation at high speed in consideration of the movement of the subject. is doing. At this time, if the subject has moved in the depth direction of the image, the focus position of the subject may be outside the focus lens movement range, resulting in loss of focus position.
本発明は、上記に鑑みてなされたものであって、被写体位置に焦点の合う合焦位置を見失うことなくAF動作を適切に実行することができる撮像装置、合焦位置検出方法および合焦位置検出プログラムを提供することを目的としている。 The present invention has been made in view of the above, and an imaging apparatus, a focus position detection method, and a focus position that can appropriately execute an AF operation without losing sight of the focus position focused on the subject position. It aims to provide a detection program.
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、フォーカスレンズと、前記フォーカスレンズを介して入射する光を受光して画像データを出力する撮像素子と、前記撮像素子から時系列で出力される複数の画像データの差分に基づいて、画像の動きを検知する動き検知手段と、前記動き検知手段により検知された画像の動きに基づいて、被写体または撮影者の動きを推定する推定手段と、前記推定手段により推定された被写体または撮影者の動きに応じて、前記フォーカスレンズの移動範囲を設定する移動範囲設定手段と、前記移動範囲設定手段により設定された移動範囲内で前記フォーカスレンズを光軸方向に移動させて、画像の被写体位置に対して焦点の合う合焦位置を検出する合焦位置検出手段と、を備えることを特徴とする。 In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention includes a focus lens, an imaging element that receives light incident through the focus lens and outputs image data, and the imaging A motion detection unit that detects a motion of an image based on a difference between a plurality of image data output in time series from the element; and a motion of a subject or a photographer based on the motion of the image detected by the motion detection unit Estimating means for estimating the moving range setting means for setting the moving range of the focus lens in accordance with the movement of the subject or the photographer estimated by the estimating means, and the moving range set by the moving range setting means. A focus position detecting means for detecting a focus position in focus with respect to the subject position of the image by moving the focus lens in the optical axis direction And wherein the door.
また、本発明に係る合焦位置検出方法は、フォーカスレンズと、該フォーカスレンズを介して入射する光を受光して画像データを出力する撮像素子と、を備える撮像装置において実行される合焦位置検出方法であって、前記撮像素子から時系列で出力される複数の画像データの差分に基づいて、画像の動きを検知するステップと、検知した画像の動きに基づいて、被写体または撮影者の動きを推定するステップと、推定した被写体または撮影者の動きに応じて、前記フォーカスレンズの移動範囲を設定するステップと、設定した移動範囲内で前記フォーカスレンズを光軸方向に移動させて、画像の被写体位置に対して焦点の合う合焦位置を検出するステップと、を含むことを特徴とする。 In addition, a focus position detection method according to the present invention is a focus position that is executed in an imaging apparatus that includes a focus lens and an image sensor that receives light incident through the focus lens and outputs image data. A detection method comprising: detecting a motion of an image based on a difference between a plurality of image data output in time series from the imaging device; and a motion of a subject or a photographer based on the detected motion of the image Estimating the movement of the focus lens in accordance with the estimated movement of the subject or the photographer, moving the focus lens in the optical axis direction within the set movement range, and Detecting an in-focus position that is in focus with respect to the subject position.
また、本発明に係る合焦位置検出プログラムは、フォーカスレンズと、該フォーカスレンズを介して入射する光を受光して画像データを出力する撮像素子と、を備える撮像装置に、前記撮像素子から時系列で出力される複数の画像データの差分に基づいて、画像の動きを検知する機能と、検知した画像の動きに基づいて、被写体または撮影者の動きを推定する機能と、推定した被写体または撮影者の動きに応じて、前記フォーカスレンズの移動範囲を設定する機能と、設定した移動範囲内で前記フォーカスレンズを光軸方向に移動させて、画像の被写体位置に対して焦点の合う合焦位置を検出する機能と、を実現させるためのプログラムである。 In addition, an in-focus position detection program according to the present invention includes a focus lens and an imaging device that receives light incident through the focus lens and outputs image data. A function of detecting the movement of an image based on a difference between a plurality of image data output in series, a function of estimating the movement of a subject or a photographer based on the detected movement of the image, and the estimated subject or shooting A function for setting the movement range of the focus lens in accordance with the movement of the person, and a focus position where the focus lens is moved in the optical axis direction within the set movement range and focused on the subject position of the image Is a program for realizing
本発明によれば、画像の動きから推定した被写体または撮影者の動きに応じてフォーカスレンズの移動範囲を設定し、設定した移動範囲内でフォーカスレンズを移動させながら合焦位置を検出するようにしているので、被写体位置に焦点の合う合焦位置を見失うことなくAF動作を適切に実行することができるという効果を奏する。 According to the present invention, the movement range of the focus lens is set according to the movement of the subject or the photographer estimated from the movement of the image, and the in-focus position is detected while moving the focus lens within the set movement range. Therefore, there is an effect that the AF operation can be appropriately executed without losing sight of the in-focus position in focus on the subject position.
以下に添付図面を参照して、この発明に係る撮像装置、合焦位置検出方法および合焦位置検出プログラムの最良な実施の形態を詳細に説明する。なお、以下ではデジタルスチルカメラに本発明を適用した例について説明するが、本発明は、被写体を追尾しながらAF動作を実行する機能を有するあらゆるタイプの撮像装置に対して広く適用することができる。 Exemplary embodiments of an imaging apparatus, a focus position detection method, and a focus position detection program according to the present invention will be described below in detail with reference to the accompanying drawings. Although an example in which the present invention is applied to a digital still camera will be described below, the present invention can be widely applied to any type of imaging apparatus having a function of performing an AF operation while tracking a subject. .
(デジタルスチルカメラの構成)
図1は、本実施形態に係るデジタルスチルカメラの外観を示す図であり、図1−1は同デジタルスチルカメラの上面図、図1−2は同デジタルスチルカメラの正面図、図1−3は同デジタルスチルカメラの裏面図である。
(Configuration of digital still camera)
FIG. 1 is a diagram illustrating an appearance of a digital still camera according to the present embodiment, FIG. 1-1 is a top view of the digital still camera, FIG. 1-2 is a front view of the digital still camera, and FIG. Is a back view of the digital still camera.
本実施形態に係るデジタルスチルカメラは、図1−1に示すように、その上面に、静止画撮影が可能な枚数などを表示するサブ液晶ディスプレイ(以下、液晶ディスプレイを「LCD」という。)1と、静止画撮影の際に押圧操作されるレリーズシャッタSW1と、画像を記録する記録(撮影)モードや記録された画像を再生する再生モード、カメラ設定のためのSETUPモードなどの各種モードの切替えの際に操作されるモードダイアルSW2を有する。 As shown in FIG. 1A, the digital still camera according to the present embodiment has a sub liquid crystal display (hereinafter, the liquid crystal display is referred to as “LCD”) 1 that displays the number of still images that can be taken on its upper surface. And release shutter SW1 that is pressed during still image shooting, and switching between various modes such as a recording (shooting) mode for recording an image, a playback mode for playing back a recorded image, and a SETUP mode for camera settings. A mode dial SW2 that is operated during the operation.
また、本実施形態に係るデジタルスチルカメラは、図1−2に示すように、その正面に、ストロボを発光させるストロボ発光部2と、図示しないリモコン端末からの赤外線信号を受信するリモコン受光部3と、鏡胴ユニット4と、光学ファインダ(正面)5を有する。また、本実施形態に係るデジタルスチルカメラの側面には、後述するメモリカードを挿入するメモリカードスロットルや電池を収容する電池収容部が設けられており、これらメモリカードスロットルや電池収容部は蓋体6により閉塞されている。
Also, as shown in FIG. 1-2, the digital still camera according to the present embodiment has a strobe
また、本実施形態に係るデジタルスチルカメラは、図1−3に示すように、その裏面に、AF動作時に点灯するAFLED7と、ストロボ発光時に点灯するストロボLED8と、各種設定画面の表示や再生画像の表示および撮影時の電子ファインダとして用いられるLCDモニタ9と、光学ファインダ(裏面)10と、電源スイッチ11とを有する。
Also, as shown in FIG. 1C, the digital still camera according to the present embodiment has an
さらに、本実施形態に係るデジタルスチルカメラの裏面には、広角側ズーム時に操作されるズーム(WIDE)スイッチSW3、望遠側ズーム時に操作されるズーム(TELE)スイッチSW4、セルフタイマの作動時に操作されるセルフタイマ/削除スイッチSW5、メニュー選択の際に操作されるメニュースイッチSW6、ストロボのモード(自動、強制発光、赤目低減など)を切り替える際に操作されるとともにLCDモニタ9上のカーソルを上移動させる場合等に操作される上/ストロボスイッチSW7、LCDモニタ9上のカーソルを右移動させる場合等に操作される右スイッチSW8、LCDモニタ9の表示の切替え時に操作されるディスプレイスイッチSW9、マクロ撮影を行う際に操作されるとともにLCDモニタ9上のカーソルを下移動させる場合等に操作される下/マクロスイッチSW10、撮影した画像をLCDモニタ9で確認する際に操作されるとともにLCDモニタ9上のカーソルを左移動させる場合等に操作される左/画像確認スイッチSW11、選択した事項を確定させる際に操作されるOKスイッチSW12、登録したメニューを選択する際に操作されるクイックアクセススイッチSW13の各種スイッチが設けられている。
Further, on the back surface of the digital still camera according to the present embodiment, a zoom (WIDE) switch SW3 operated during wide-angle zoom, a zoom (TELE) switch SW4 operated during telephoto zoom, and a self-timer are operated. Self-timer / deletion switch SW5, menu switch SW6 operated when selecting a menu, operated when switching strobe modes (automatic, forced flash, red-eye reduction, etc.) and moving the cursor on the LCD monitor 9 up Up / strobe switch SW7, which is operated when moving the cursor, right switch SW8 which is operated when the cursor on the LCD monitor 9 is moved to the right, display switch SW9 which is operated when switching the display of the LCD monitor 9, and macro photography The LCD monitor 9 The down /
図2は、本実施形態に係るデジタルスチルカメラの制御系の構成を示すブロック図である。本実施形態に係るデジタルスチルカメラは、上述した鏡胴ユニット4を介して入射した光を光電変換して電気信号として出力するCCD101と、CCD101から出力されるアナログの電気信号を前処理してデジタル信号として出力するF/E(フロントエンド)−IC102と、F/E−IC102からのデジタル信号を処理してデジタルスチルカメラの各種動作を実行制御するデジタルスチルカメラプロセッサ(以下、単に「プロセッサ」という。)104とを備える。
FIG. 2 is a block diagram illustrating a configuration of a control system of the digital still camera according to the present embodiment. The digital still camera according to this embodiment performs digital processing by pre-processing an analog electrical signal output from the
鏡胴ユニット4は、被写体の光学画像を取り込むためのズームレンズ41a及びズームモータ41bからなるズーム光学系41、フォーカスレンズ42a及びフォーカスモータ42bからなるフォーカス光学系42、絞り43a及び絞りモータ43bからなる絞りユニット43、メカシャッタ44a及びメカシャッタモータ44bからなるメカシャッタユニット44、各モータを駆動するモータドライバ45を有する。モータドライバ45は、プロセッサ104内の後述するCPUブロック1043からの駆動指令によって駆動制御される。
The lens barrel unit 4 includes a zoom
CCD101は、鏡胴ユニット4を介して入射した光を受光し、その光学画像を光電変換して光学画像に対応した画像データを出力する固体撮像素子である。なお、本実施形態に係るデジタルスチルカメラでは、撮像素子としてCCD101を用いているが、CCD101の代わりにCMOSイメージセンサなどの他の撮像素子を用いるようにしてもよい。
The
F/E−IC102は、画像ノイズ除去用相関二重サンプリングを行うCDS1021、利得調整を行うAGC1022、アナログ信号をデジタル信号に変換するA/D1023、プロセッサ104内の後述する第1のCCD信号処理ブロック1041から供給される垂直同期信号(VD信号)及び水平同期信号(HD信号)に基づいてCCD101やCDS1021、AGC1022、A/D1023の駆動タイミング信号を発生するTG(Timing Generator)1024を有する。このF/E−IC102における各部の動作は、プロセッサ104内の後述するCPUブロック1043によって制御される。
The F /
プロセッサ104は、第1のCCD信号処理ブロック1041、第2のCCD信号処理ブロック1042、CPUブロック1043、ローカルSRAM1044、USBブロック1045、シリアルブロック1046、JPEG・CODECブロック1047、RESIZEブロック1048、TV信号表示ブロック1049、メモリカードコントローラブロック10410を有している。プロセッサ104における上記各部は、相互にバスラインで接続されている。
The
第1のCCD信号処理ブロック1041は、CCD101からF/E−IC102を介して入力された画像データに対してホワイトバランス補正やガンマ補正を行い、また、画像データのタイミングを制御する上述したVD信号およびHD信号をTG1024に供給する。第2のCCD信号処理ブロック1042は、入力された画像データに対するフィルタリング処理によって輝度データ・色差データへの変換を行う。
The first CCD
CPUブロック1043は、本実施形態に係るデジタルスチルカメラの各部の動作制御を司るものである。具体的には、CPUブロック1043は、音声記録回路1151による音声記録動作を制御する。音声記録回路1151は、マイク1153で変換されてマイクアンプ1152により増幅された音声信号を、CPUブロック1043からの指令に応じて記録する。また、CPUブロック1043は、音声再生回路1161による音声再生動作も制御する。音声再生回路1161は、CPUブロック1043からの指令により、適宜のメモリに記録されている音声信号を再生してオーディオアンプ1162に入力し、スピーカ1163から音声を出力させる。また、CPUブロック1043は、ストロボ回路114の動作を制御することによって、ストロボ発光部2から照明光を発光させる。そのほか、CPUブロック1043は、本実施形態において特徴的な処理として、被写体位置に対して焦点の合う合焦位置を検出する処理を行うが、これについては詳細を後述する。
The
CPUブロック1043は、プロセッサ104の外部に配置されたサブCPU109と接続されている。サブCPU109は、LCDドライバ111を介してサブLCD1による表示を制御する。また、サブCPU109は、AFLED7、ストロボLED8、リモコン受光部3、ブザー113、前記スイッチSW1〜SW13からなる操作キーユニットに接続されており、操作キーユニットやリモコン受光部3からの出力信号をユーザの操作情報として、ユーザ操作情報に応じてAFLED7、ストロボLED8、ブザー113の動作を制御し、また、ユーザ操作情報をプロセッサ104内のCPUブロック1043に伝達する。
The
ローカルSRAM1044は、制御に必要なデータ等を一時的に保存するメモリである。USBブロック1045は、USBコネクタ122に接続されたコンピュータ端末などの外部機器との間でUSB通信を行う。また、シリアルブロック1046は、RS−232Cコネクタ1232に接続されたコンピュータ端末などの外部機器との間で、シリアルドライバ回路1231を介してシリアル通信を行う。
The
JPEG・CODECブロック1047は、撮影された画像データをJPEG形式での圧縮し、またJPEG形式で圧縮された記録画像のデータを伸長する処理を行う。また、RESIZEブロック1048は、画像データのサイズを補間処理によって拡大・縮小する処理を行う。
The JPEG /
TV信号表示ブロック1049は、画像データをLCDモニタ9やTVなどの外部表示機器に表示させるためのビデオ信号に変換する。TV信号表示ブロック1049にはLCDドライバ117が接続されており、LCDドライバ117により駆動されるLCDモニタ9に画像を表示させる。また、TV信号表示ブロック1049にはビデオAMP118が接続されており、ビデオジャック119がTVなどの外部表示機器に接続されている場合に、この外部表示機器に画像を表示させる。
The TV
メモリカードコントローラブロック10410は、メモリカードスロットル121に接続され、このメモリカードスロットル121に挿入されたメモリカードや汎用のPCMCIAなどの制御を行う。
The memory
また、プロセッサ104の外部には、SDRAM103、RAM107、ROM108、内蔵メモリ120が配置されており、これらはプロセッサ104とバスラインによって接続されている。
Further, an
SDRAM103は、プロセッサ104で画像処理を施す際に画像データを一時的に保存するメモリである。保存される画像データは、例えば、CCD101からF/E−IC102を介してプロセッサ104に入力され、第1のCCD信号処理ブロック1041でホワイトバランス補正、ガンマ補正が行われた状態の「RAW?RGB画像データ」や、第2のCCD制御ブロック1042で輝度データ・色差データ変換が行われた状態の「YUV画像データ」、JPEG・CODECブロック1047でJPEG形式に圧縮された「JPEG画像データ」などである。
The
ROM108には、CPUブロック1043にて解読可能なコードで記述された制御プログラムや制御のためのパラメータが格納されている。なお、これらのパラメータは内蔵メモリ120に格納されていてもよい。デジタルスチルカメラの電源がオン状態になると、プログラムは不図示のメインメモリにロードされ、CPUブロック1043はそのプログラムに従って各部の動作を制御するとともに、制御に必要なデータ等を一時的にRAM107及びプロセッサ104内のローカルSRAM1044に保存する。このROM108として書き換え可能なフラッシュROMを用いるようにすれば、制御プログラムや制御のためのパラメータを変更することが可能となり、機能のバージョンアップを容易に行うことが可能となる。
The
内蔵メモリ120は、メモリカードスロットル121にメモリカードが挿入されていない場合に、撮影した画像データを記録しておくためのメモリである。また、RAM107は、CPUブロック1043が制御プログラムを実行する際のワークエリアとして利用されるメモリである。
The built-in
(デジタルスチルカメラの動作概要)
次に、以上のように構成されるデジタルスチルカメラの動作の概要を説明する。本実施形態に係るデジタルスチルカメラの動作モードには、画像を撮影して記録するモードである記録モードや、記録した画像を再生する再生モードがあり、記録モードでの動作時におけるAF動作のモードとして、さらに、被写体を追尾しながら被写体位置でAF動作を行う追尾AFモードと、画像中央の所定のAFエリアにおいてAF処理を行う通常AFモードがある。これらの動作モードは、モードダイアルSW2の操作により切り替えられる。なお、記録モード時における撮影待機状態(レリーズシャッタSW1が押される前の状態)では、モニタリング用の動画がLCDモニタ9に表示されるが、このような記録モード時における撮影待機状態を特にファインダモードと呼ぶ。
(Overview of digital still camera operation)
Next, an outline of the operation of the digital still camera configured as described above will be described. The operation mode of the digital still camera according to the present embodiment includes a recording mode that is a mode for capturing and recording an image, and a playback mode that reproduces the recorded image. The mode of the AF operation when operating in the recording mode. Further, there are a tracking AF mode in which an AF operation is performed at the subject position while tracking the subject, and a normal AF mode in which AF processing is performed in a predetermined AF area in the center of the image. These operation modes are switched by operating the mode dial SW2. Note that in the shooting standby state in the recording mode (the state before the release shutter SW1 is pressed), a moving image for monitoring is displayed on the LCD monitor 9, and the shooting standby state in the recording mode is particularly in the finder mode. Call it.
モードダイアルSW2が記録モードの状態で電源スイッチ11が押下されると、デジタルスチルカメラは記録モードで起動する。デジタルスチルカメラが記録モードで起動すると、プロセッサ104のCPUブロック1043がモータドライバ45を制御して、鏡胴ユニット4を撮影可能な位置に移動させる。さらにCCD101、F/E−IC102、LCDディスプレイ10等の各部に電源を投入して動作を開始させる。各部の電源が投入されると、ファインダモードの動作が開始される。
When the
ファインダモードでは、鏡胴ユニット4を通してCCD101に入射した光がCCD101により受光され、その光学像がアナログRGB信号に変換されて、F/E−IC102に入力される。このアナログRGB信号は、F/E−IC102のCDS1021とAGC1022によってノイズ低減の処理や利得調整の処理などの所定の処理がなされ、A/D1023によりデジタル信号に変換されて、プロセッサ104の第1のCCD信号処理ブロック1041に入力される。
In the finder mode, the light incident on the
第1のCCD信号処理ブロック1041に入力されたデジタルRGB信号は、第2のCCD信号処理ブロック1042に受け渡され、第2のCCD信号処理ブロック1042においてYUV画像データ(輝度データ・色差データ)に変換される。そして、このYUV画像データがSDRAM103のフレームメモリに書き込まれる。このYUV画像データは、フレームメモリから随時読み出され、TV信号表示ブロック1049へと送られてビデオ信号に変換される。そして、このビデオ信号がLCDモニタ9やTVなどの外部表示機器に供給され、画像の表示が行われる。ファインダモードでは、以上の処理が1/30秒間隔で行われ、LCDモニタ9等に表示される画像(以下、「ファインダ画像」という。)は1/30秒ごとに更新される。
The digital RGB signal input to the first CCD
ここで、レリーズシャッタSW1が押下されると、CPUブロック1043によって、プロセッサ104内に取り込まれた画像の合焦度合いを示すAF評価値、露光状態を示すAE評価値の算出が行われる。AF評価値は、AFエリア内における近接画素の輝度差の積分値である。この積分値はAFエリアが合焦状態にあるときに、AFエリアにおける画像のエッジ部分がはっきりするため高周波成分が一番高くなる。これを利用して、AF動作時には、フォーカスレンズ42aを光軸方向に移動させながらそれぞれのフォーカスレンズ42aの位置におけるAF評価値を取得して、その値が極大になる点(ピーク位置)を検出する。また、極大になる点が複数あることも考慮にいれ、複数あった場合はピーク位置のAF評価値の大きさや、その周辺のAF評価値との下降、上昇度合いを判断し、最も信頼性のある点を合焦位置とする。そして、この合焦位置にフォーカスレンズ42aを移動させた状態で記録画像の撮影を行う。
Here, when the release shutter SW1 is pressed, the
AF動作時にAF評価値を算出する対象となるAFエリアは、AF動作のモードにより異なる。AF動作のモードが通常AFモードの場合には、図3(a)に示すように、画像中央における所定の範囲、例えば画像全体に対する大きさの割合が水平方向に40%、垂直方向に30%の範囲(図中の斜線の領域)をAFエリアとする。一方、AF動作モードが追尾AFモードの場合には、図3(b)に示すように、例えば画像全体に対する大きさの割合が水平方向に20%、垂直方向に20%の範囲(図中の斜線の領域)をAFエリアとし、このAFエリアを被写体の動きに追従して画面内で移動させる。また、AF動作時にフォーカスレンズ42aを移動させる範囲(以下、「合焦位置検出範囲」という。)については、通常AFモードの場合はフォーカスレンズ42aの可動範囲の全域(至近位置〜無限望遠位置)としているが、追尾AFモードの場合は、高速のAF動作が求められるため、フォーカスレンズ42aの現在位置と焦点距離(Wide側かTele側か)に応じて限定された範囲に、合焦位置検出範囲を制限している。
The AF area for which the AF evaluation value is calculated during the AF operation differs depending on the AF operation mode. When the AF operation mode is the normal AF mode, as shown in FIG. 3A, a predetermined range in the center of the image, for example, the ratio of the size to the entire image is 40% in the horizontal direction and 30% in the vertical direction. (The hatched area in the figure) is the AF area. On the other hand, when the AF operation mode is the tracking AF mode, as shown in FIG. 3B, for example, the ratio of the size to the entire image is in the range of 20% in the horizontal direction and 20% in the vertical direction (in the figure, A hatched area) is set as an AF area, and the AF area is moved within the screen following the movement of the subject. Further, regarding the range in which the
ところで、追尾AFモードでのAF動作時には、上述したように合焦位置検出範囲を制限しているため、被写体が画像の奥行き方向に移動していると、被写体の位置に設定したAFエリアにおける合焦位置が合焦位置検出範囲から外れてしまって、合焦位置を見失う懸念がある。そこで、本実施形態に係るデジタルスチルカメラでは、プロセッサ104のCPUブロック1043が、CCD101からF/E−IC102を介して入力された画像データ(デジタルRGB信号)を解析して被写体または撮影者の動きを推定し、その推定結果に応じて追尾AFモードでのAF動作時における合焦位置検出範囲を設定して、被写体に焦点の合う合焦位置を適切に検出できるようにしている。
By the way, during the AF operation in the tracking AF mode, the focus position detection range is limited as described above. Therefore, when the subject moves in the depth direction of the image, the focus in the AF area set at the subject position is adjusted. There is a concern that the in-focus position may be lost because the in-focus position is out of the in-focus position detection range. Therefore, in the digital still camera according to the present embodiment, the
図4は、上述した機能を実現するためのCPUブロック1043の機能ブロック図である。CPUブロック1043は、例えば上述した制御プログラムの1つとしてROM108に格納され、メインメモリにロードされた合焦位置検出プログラムを実行することによって、図4に示すように、動き検知部201、推定部202、合焦位置検出範囲設定部203、合焦位置検出部204の各機能構成を実現する。
FIG. 4 is a functional block diagram of the
動き検知部201は、CCD101から時系列で出力され、F/E−IC102からプロセッサ104に入力される複数の画像データの差分に基づいて、画像の動き(動きベクトル)を検知する処理機能である。
The
推定部202は、動き検知部201により検知された画像の動きに基づいて、被写体または撮影者の動きを推定する処理機能である。
The
合焦位置検出範囲設定部203は、推定部202により推定された被写体または撮影者の動きに応じて、AF動作時におけるフォーカスレンズ42aの移動範囲である合焦位置検出範囲を設定する処理機能である。
The in-focus position detection
合焦位置検出部204は、合焦位置検出範囲設定部203により設定された合焦位置検出範囲内でフォーカスレンズ42aを光軸方向に移動させ、フォーカスレンズ42aの各移動位置におけるAF評価値を算出し、AF評価値が最大となるフォーカスレンズ42aの位置を、被写体に対して焦点の合う合焦位置として検出する処理機能である。
The focus
以下、CPUブロック1043が上記の動き検知部201、推定部202、合焦位置検出範囲設定部203、合焦位置検出部204としての機能を持つことにより実現されるデジタルスチルカメラの動作の具体例(実施例)について、さらに詳しく説明する。
Hereinafter, specific examples of operations of the digital still camera realized by the
(第1実施例)
図5は、本実施形態に係るデジタルスチルカメラにおいて実行されるAF動作の全体の流れを示すメインフローチャートである。この図5のフローは、デジタルスチルカメラが記録モードで起動したときに開始される。
(First embodiment)
FIG. 5 is a main flowchart showing the overall flow of the AF operation executed in the digital still camera according to the present embodiment. The flow in FIG. 5 is started when the digital still camera is activated in the recording mode.
図5のフローが開始されると、CPUブロック1043は、まずモードダイアルSW2の状態を確認し、AF動作のモードが追尾AFモードとなっているか、あるいは通常AFモードとなっているかを判定する(ステップS101)。そして、CPUブロック1043は、AF動作のモードが追尾AFモードとなっていれば(ステップS101:YES)、追尾AFモード用のAFエリアを設定する処理を行い(ステップS102)、通常AFモードとなっていれば(ステップS101:NO)、通常AFモード用のAFエリアを設定する処理を行う(ステップS103)。そして、CPUブロック1043は、ステップS102で設定されたAFエリアを明示するマーク(図3(b)参照)、あるいはステップS103で設定されたAFエリアを明示するマーク(図3(a)参照)を、ファインダ画像に重畳してLCDモニタ9等に表示させる(ステップS104)。
When the flow of FIG. 5 is started, the
次に、CPUブロック1043は、レリーズシャッタSW1の操作を監視し(ステップS105)、レリーズシャッタSW1が押下さていない間(ステップS105:NO)は以上の処理を繰り返し、レリーズシャッタSW1が押下されると(ステップS105:YES)、次のステップS106に処理を移行する。
Next, the
ステップS106では、CPUブロック1043は、追尾フラグがOFFとなっているかどうかを確認する。これは、レリーズシャッタSW1が押下されたときに、被写体追尾動作を実施しているかどうかを確認するためのものである。そして、CPUブロック1043は、追尾フラグがOFFとなっていれば(ステップS106:YES)、通常AFモードでの合焦位置検出処理を実施し(ステップS107)、追尾フラグがONとなっている場合には(ステップS106:NO)、追尾AFモードでの合焦位置検出処理を実施する(ステップS108)。ここで、合焦位置検出処理とは、フォーカスレンズ42aを合焦位置検出範囲で1ステップずつ移動させながら、フォーカスレンズ42aの各移動位置においてステップS102またはステップS103で設定したAFエリアにおけるAF評価値を取得してピークを検知することで合焦位置を探すものである。フォーカスレンズ42aを移動させる合焦位置検出範囲は、通常AFモードの場合には、上述したようにフォーカスレンズ42aをその可動範囲の全域(至近位置〜無限望遠位置)となっており、追尾AFモードの場合には、合焦位置(現在位置)周辺の制限された範囲となっている。図6は、合焦位置検出処理でのフォーカスレンズ42aの駆動方法と、通常AFモードの場合に取得されるAF評価値の一例を示している。なお、この図6の例では、通常AFモードの場合のフォーカスレンズ42aの移動開始位置を至近位置とし、至近位置をデジタルスチルカメラから30cmの位置としている。
In step S106, the
図7は、図5のステップS107の通常AFモードでの合焦位置検出処理の詳細を示すフローチャートである。通常AFモードでの合焦位置検出処理では、CPUブロック1043は、まず、開始位置移動処理(ステップS201)により、フォーカスレンズ42aの位置を移動開始位置へと移動させる。ここでは、移動開始位置が至近位置であるものとする。至近位置に関しては光学系によって異なる場合があるが、一般的には30cm前後が好ましい。
FIG. 7 is a flowchart showing details of the focus position detection process in the normal AF mode in step S107 of FIG. In the focus position detection process in the normal AF mode, the
次に、CPUブロック1043は、レンズ駆動処理(ステップS202)により、無限望遠位置に向かってフォーカスレンズ42aを1ステップずつ移動させる。そして、AF評価値取得処理(ステップS203)により、移動した各位置でAFエリアにおけるAF評価値を取得する。ここでは、フォーカスモータ42bとしてパルスモータを利用しているものとし、フォーカスレンズ42aの1ステップ分の移動距離をフォーカスモータ42bの駆動パルス数に換算している。具体的には、焦点距離がWideであればフォーカスモータ42bを1パルスずつ駆動し、焦点距離がTeleであればフォーカスモータ42bを2パルスずつ駆動して、フォーカスレンズ42aを無限望遠位置に向かって移動させる。CPUブロック1043は、ステップS202のレンズ駆動処理およびステップS203のAF評価値取得処理を、フォーカスレンズ42aが無限望遠位置に到達するまで(ステップS204:NO)繰り返し行い、フォーカスレンズ42aが無限望遠位置に到達したら(ステップS204:YES)、次のステップS205に処理を移行する。
Next, the
ステップS205では、CPUブロック1043は、合焦位置判定処理を行う。この合焦位置判定処理は、フォーカスレンズ42aの各移動位置において取得したAF評価値を用いて合焦位置が検出できるかどうかを判定する処理である。具体的には、取得したAF評価値に対して上述したような信頼性評価を行うとともに、AF評価値の中でのピーク位置を判定する。ここで、信頼性があるピーク位置が検出された場合は、そのフォーカスレンズ42aの位置を合焦位置としてローカルSRAM1044などに格納し、合焦OKと判定する。一方、信頼性があるピーク位置が検出されなかった場合は合焦NGと判定する。
In step S205, the
最後に、CPUブロック1043は、エリア表示処理(ステップS206)を行って、通常AFモードでの合焦位置検出処理を終了する。エリア表示処理は、ステップS205の合焦判定処理で合焦OKと判定した場合に、図8(a)に示すように、焦点の合っている位置を明示する合焦枠Fをファインダ画像に重畳してLCDモニタ9等に表示させ、ステップS205の合焦判定処理で合焦NGと判定した場合は、図8(b)に示すように、合焦枠を重畳していないファインダ画像をLCDモニタ9等に表示させる処理である。
Finally, the
図9は、図5のステップS108の追尾AFモードでの合焦位置検出処理の詳細を示すフローチャートである。追尾AFモードでの合焦位置検出処理では、CPUブロック1043は、まず、動き検知判定処理(ステップS301)を行う。つまり、追尾AFモードでは、動き検知部201によって画像の動きを検知する処理が行われているため、この動き検知部201による動き検知処理によってどのような画像の動きが検知されているかを判定する。画像の動き検知に関しては従来から様々な技術が提案されており、公知の技術をいずれも採用可能であるが、ここでは以下のようなテンプレートマッチングにより画像の動きを検知するものとする。
FIG. 9 is a flowchart showing details of the focus position detection process in the tracking AF mode in step S108 of FIG. In the focus position detection process in the tracking AF mode, the
動き検知部201は、画像を複数の分割領域に分割して各分割領域を単位として動き検知処理を実施する。具体的には、動き検知部201は、例えば図10に示すように、画像を縦方向および横方向にそれぞれ3等分して9つの分割領域A1〜A9に分割するものとする。そして、VD信号に同期したタイミングで連続的に取得された画像データ(CCD101から時系列で出力される複数の画像データ)をSDRAM103のバッファメモリに記憶し、9つの分割領域A1〜A9それぞれに対して、連続する複数の画像間でどれぐらい変化が生じているかを確認することで動きを検知する。具体的には、1つ前の画像データをバッファメモリに記憶し、この記憶された画像データの9つの分割領域と、最新のタイミングで取得された画像データの9つの分割領域のそれぞれを、数画素分だけ上下左右斜め方向に相対移動させて、それぞれの位置での画像データ間の画素差分をとる。そして、画素差分の結果が最も小さい位置への移動を画像の動きとする。ここで、何画素分移動させるかはCPUブロック1043の演算処理速度によって可変とすることが望ましいが、およそ10画素程度の範囲を移動させて確認すればよい。
The
図11は、分割領域A1における動き検知に関するイメージ図である。図11(a)のように動き検知した結果、どの位置での画素差分結果が最も小さくなるかを確認して、図11(b)のように動き方向を出力する。図11の例では、最新のタイミングで取得された画像データの分割領域A1を1つ前の画像データに対して右方向に移動させた位置で画素差分結果が最も小さくなるため、動き方向を右方向として出力している。なお、図11(b)では動き方向のみを出力しているが、画素差分結果が最も小さくなる位置が何画素ずれた位置かを検知して、画像の動き量も出力できるようにすることが望ましい。動き検知部201は、以上の処理を分割領域ごとに行い、分割領域ごとに画像の動きを検知する。そして、CPUブロック1043の推定部202が、以上の動き検知部201による動き検知処理の結果を用いて、図9のステップS301の動き検知判定処理を行う。
FIG. 11 is an image diagram regarding motion detection in the divided region A1. As a result of motion detection as shown in FIG. 11 (a), it is confirmed at which position the pixel difference result is the smallest, and the motion direction is output as shown in FIG. 11 (b). In the example of FIG. 11, the pixel difference result becomes the smallest at the position where the divided area A1 of the image data acquired at the latest timing is moved in the right direction with respect to the previous image data. Output as direction. Although only the movement direction is output in FIG. 11B, it is possible to detect how many pixels the position where the pixel difference result is smallest is shifted and output the amount of movement of the image. desirable. The
図12は、図9のステップS301の動き検知判定処理の詳細を示すフローチャートである。推定部202は、まず、動き検知領域の検索処理(ステップS401)を行う。これは、AFエリアが含まれる分割領域(ここでは画像中央の分割領域A5)に関して、その分割領域における画像の動き方向がどちらかを判断するものである。動きの方向に関しては、いくつかのパターンに振り分けることができる。図13はそのパターンの例であり、図13(a)のように重力方向とは反対方向(画像データとしては上側方向)の動きをパターンP1、図13(b)のように重力方向(画像データとしては下側方向)の動きをパターンP2、図13(c)のように左右方向の動きをパターンP3としている。判定部202は、AFエリアが含まれる分割領域での画像の動きが上記のパターンP1〜P3のいずれに該当するかを判断することによって、被写体が移動しているか否か、移動している場合に距離として撮影者に近づく方向に移動しているか、あるいは撮影者から遠ざかる方向に移動しているかを推定する。
FIG. 12 is a flowchart showing details of the motion detection determination process in step S301 of FIG. First, the
すなわち、推定部202は、まずAFエリアが含まれる分割領域での画像の動きがパターンP1に該当するか否かを判定し(ステップS402)、パターンP1に該当する場合は(ステップS402:YES)、被写体が撮影者に近づく方向に移動していると推定する(ステップS403)。一方、AFエリアが含まれる分割領域での画像の動きの方向がパターンP1に該当しない場合には(ステップS402:NO)、推定部202は、次に、AFエリアが含まれる分割領域での画像の動きがパターンP2に該当するか否かを判定し(ステップS404)、パターンP2に該当する場合は(ステップS404:YES)、被写体が撮影者から遠ざかる方向に移動していると推定する(ステップS405)。一方、AFエリアが含まれる分割領域での画像の動きの方向がパターンP2に該当しない場合には(ステップS404:NO)、推定部202は、次に、AFエリアが含まれる分割領域での画像の動きがパターンP3に該当するか否かを判定し(ステップS406)、パターンP3に該当する場合は(ステップS406:YES)、被写体が撮影者から同距離の位置を移動していると推定し(ステップS407)、パターンP3に該当しない場合は(ステップS406:NO)、被写体は移動していないと推定する(ステップS408)。
That is, the estimating
ステップS301の推定部202による動き検知判定処理が終了すると、CPUブロック1043は、次に、推定部202による動き検知判定処理によって被写体に動きがあると推定されたか否かを確認し(ステップS302)、被写体に動きがあると推定された場合に(ステップS302:YES)、次のステップS303に処理を移行する。一方、動き検知判定処理によって被写体が動いていないと推定された場合には(ステップS302:NO)、以降の処理を行うことなく追尾AFモードでの合焦位置検出処理を終了する。
When the motion detection determination process by the
ステップS303では、CPUブロック1043は、上述した動き検知部201による動き検知処理を一旦終了する。そして、CPUブロック1043は、被写体の追尾処理を行う(ステップS304)。被写体追尾に関しては、被写体が移動した方向に向かいながら、被写体の画像情報をテンプレートとして用いたテンプレートマッチングを行う。図14は、テンプレートマッチングを行う範囲となる追尾エリアの動きを示している。上述した動き検知処理によって被写体の移動した方向が出力されている(ここでは図14(a)のように左下方向に被写体が移動しているものとする)ためその方向へ追尾エリアを移動しながら、図14(b)のように追尾エリア内で被写体の画像データとの画素差分が最も小さくなる位置を上下左右斜め方向に探索し、被写体の画像データとの画素差分が最も小さくなる位置を現在の被写体の位置と判断する。追尾エリア内で全ての方向での画素差分が基準値以上に大きい場合は、さらに追尾エリアを動き検知方向へ動かしながらマッチングを行っていく。
In step S303, the
次に、CPUブロック1043は、ステップS304の追尾処理によって追尾した被写体位置にAFエリアを移動させる(ステップS305)。そして、CPUブロック1043の合焦位置検出範囲設定部203が、このAFエリアを対象にAF動作を行うための合焦位置検出範囲を設定する処理を行う(ステップS306)。
Next, the
図15は、図9のステップS306の合焦位置検出範囲設定部203による合焦位置検出範囲設定処理の詳細を示すフローチャートである。合焦位置検出範囲設定部203は、まず、追尾AFモードにおける合焦位置検出範囲の基準範囲を設定する(ステップS501)。AFモードにおける合焦位置検出範囲の基準範囲に関しては、デジタルスチルカメラの焦点距離やレンズのF値に依存するが、本実施例では、図16の表で示すように、焦点距離(WideかTeleか)と現在のフォーカスレンズ42aの位置によって、追尾モードにおける合焦位置検出範囲の基準範囲を設定する。例えば、焦点距離がWideであり、フォーカスレンズ42aの現在位置が無限望遠位置(∞)から2.5mの間である場合には、フォーカスレンズ42aの現在位置を中心としてフォーカスモータ42bの10パルス分を基準範囲として設定する。
FIG. 15 is a flowchart showing details of the focus position detection range setting process by the focus position detection
次に、合焦位置検出範囲設定部203は、上述した推定部202による動き検知判定処理によって被写体が撮影者から遠ざかっていると推定されているかどうかを確認し(ステップS502)、被写体が撮影者から遠ざかっていると推定されている場合は(ステップS502:YES)、ステップS501で設定した基準範囲に対して遠側方向のパルス数を加算して、合焦位置検出範囲とする(ステップS503)。一方、被写体が撮影者から遠ざかっていると推定されていない場合は(ステップS502:NO)、被写体が撮影者に近づいていると推定されているかどうかを確認し(ステップS504)、被写体が撮影者に近づいていると推定されている場合は(ステップS504:YES)、ステップS501で設定した基準範囲に対して近側方向のパルス数を加算して、合焦位置検出範囲とする(ステップS505)。一方、被写体が撮影者に近づいていると推定されていない場合(ステップS504:NO)、つまり、被写体が撮影者から同距離の位置を移動している、あるいは被写体が移動していないと推定されている場合は、ステップS501で設定した基準範囲をステップ数の追加を行うことなくそのまま合焦位置検出範囲とする(ステップS506)。
Next, the focus position detection
ステップS503やステップS505で加算するパルスに関しては、本実施例では、図17の表で示すように、焦点距離(WideかTeleか)と現在のフォーカスレンズ42aの位置に応じて決定する。例えば、焦点距離がWideであり、フォーカスレンズ42aの現在位置が無限望遠位置(∞)から2.5mの間にある場合は、被写体が遠ざかっていると推定されていれば遠側に2パルス、被写体が近づいていると推定されていれば近側に4パルス加算する。
In this embodiment, the pulses added in step S503 and step S505 are determined according to the focal length (Wide or Tele) and the current position of the
図18は、追尾AFモードでのAF時に被写体の動きに応じて合焦位置検出範囲を可変にした場合のフォーカスレンズ42aの駆動方法を示したものである。この図18に示すように、本実施例では、追尾AFモードでのAF時に被写体の動きに応じて合焦位置検出範囲(フォーカスレンズ42aの移動範囲)を遠側方向または近側方向に延長するようにしている。これにより、被写体が画面の奥行き方向に移動している場合でも、合焦位置を見失うことなく適切なAF動作を実現することができる。
FIG. 18 shows a driving method of the
ステップS306の合焦位置検出範囲設定部203による合焦位置検出範囲設定処理が終了すると、CPUブロック1043の合焦位置検出部203が、次に、開始位置移動処理(ステップS307)により、フォーカスレンズ42aの位置を移動開始位置へと移動させる。移動開始位置は、例えばフォーカスレンズ42aの現在位置から近側方向に合焦位置検出範囲の1/2分、さらに近側方向に上記加算パルスがあればそれを加算した位置となる。
When the focus position detection range setting process by the focus position detection
次に、合焦位置検出部204は、レンズ駆動処理(ステップS308)を行って、フォーカスレンズ42aを合焦位置検出範囲内で遠側方向に向かって1ステップずつ移動させる。そして、AF評価値取得処理(ステップS309)を実施し、移動した各位置でAFエリアにおけるAF評価値を取得する。ここでは、フォーカスレンズ42aの1ステップ分の移動距離を通常AFモード時と同様とし、焦点距離がWideであればフォーカスモータ42bを1パルスずつ駆動し、焦点距離がTeleであればフォーカスモータ42bを2パルスずつ駆動しながら、各位置におけるAF評価値を取得する。合焦位置検出部204は、ステップS308のレンズ駆動処理およびステップS309のAF評価値取得処理を、フォーカスレンズ42aが合焦位置検出範囲の終了位置に到達するまで(ステップS310:NO)繰り返し行い、フォーカスレンズ42aが合焦位置検出範囲の終了位置に到達したら(ステップS310:YES)、次のステップS311に処理を移行する。
Next, the focus
ステップS311では、合焦位置検出部204は、合焦位置判定処理を行う。この合焦位置判定処理では、通常AFモードにおける合焦位置判定処理と同様に、フォーカスレンズ42aの各移動位置において取得したAF評価値に対して上述したような信頼性評価を行うとともに、AF評価値の中でのピーク位置を判定する。ここで、信頼性があるピーク位置が検出された場合は、そのフォーカスレンズ42aの位置を合焦位置としてローカルSRAM1044などに格納し、合焦OKと判定する。一方、信頼性があるピーク位置が検出されなかった場合は合焦NGと判定する。
In step S311, the focus
最後に、CPUブロック1043は、エリア表示処理(ステップS312)を行って、追尾AFモードでの合焦位置検出処理を終了する。エリア表示処理では、通常AFモードにおけるエリア表示処理と同様に、ステップS311の合焦判定処理で合焦OKと判定した場合に、焦点の合っている位置を明示する合焦枠Fをファインダ画像に重畳してLCDモニタ9等に表示させ、ステップS311の合焦判定処理で合焦NGと判定した場合は、合焦枠を重畳していないファインダ画像をLCDモニタ9等に表示させる処理である。
Finally, the
図5のステップS107での通常AFモードでの合焦位置検出処理(図7のフローチャートで示した処理)、あるいは、ステップS108での追尾AFモードでの合焦位置検出処理(図9のフローチャートで示した処理)が終了すると、CPUブロック1043は、次に、上記の合焦位置検出処理で合焦OKとなったかどうかを確認し(ステップS109)、合焦OKとなっている場合には(ステップS109:YES)、さらに追尾AFモードでの合焦位置検出処理を行ったかどうかを確認する(ステップS110)。そして、CPUブロック1043は、追尾AFモードでの合焦位置検出処理により合焦OKとなっている場合には(ステップS109:YES、ステップS110:YES)、追尾フラグをONにし(ステップS111)、追尾AFモードでの合焦位置検出処理において一旦終了させた動き検知処理を再開させる(ステップS112)。
In-focus position detection processing in the normal AF mode in step S107 in FIG. 5 (processing shown in the flowchart in FIG. 7) or in-focus position detection processing in tracking AF mode in step S108 (in the flowchart in FIG. 9). When the processing (shown) is completed, the
一方、合焦位置検出処理で合焦NGとなっている場合や(ステップS109:NO)、通常AFモードでの合焦位置検出処理により合焦OKとなっている場合には(ステップS109:YES、ステップS110:NO)、CPUブロック1043は、追尾フラグをOFFにする(ステップS113)。
On the other hand, when the in-focus position detection process is in focus NG (step S109: NO), or when the in-focus position detection process in the normal AF mode is in focus (step S109: YES) Step S110: NO), the
最後に、CPUブロック1043は、合焦位置移動処理(ステップS114)を行って、合焦位置検出処理で合焦位置として検出された位置にフォーカスレンズ42aを移動させる。なお、合焦位置検出処理で合焦NGと判定されている場合には、NG距離に相当する位置へとフォーカスレンズ42aを移動させる。ここで、NG距離に関しては、一般的に過焦点距離を用いる場合があるが、本実施例では、例えば2.5mの位置へとフォーカスレンズ42aを移動させる。
Finally, the
図19〜図21は、本実施例による一連の処理のイメージを示したものであり、図19が上記のパターンP1の動きで被写体が移動している場合の例、図20が上記のパターンP2の動きで被写体が移動している場合の例、図21が上記のパターンP3の動きで被写体が移動している場合の例をそれぞれ示している。各図の(a)で示すように被写体が移動している場合、レリーズシャッタSW1が押下されたタイミングで各図の(b)で示すようにAFエリアが設定されると、AFエリアを含む分割ブロックにおける画像の動きが各図の(c)のように検知される。そして、各図の(d)で示すように追尾エリアを移動させてテンプレートマッチングによる被写体の追尾が行われ、各図の(e)で示すように追尾した被写体の位置にAFエリアが移動して、AF動作が実行される。このとき、AF時の合焦位置検出範囲(フォーカスレンズ42aの移動範囲)は、図19の例では遠側に延長され、図20の例では近側に延長される。図21の例では、AF時の合焦位置検出範囲の延長はない。
19 to 21 show an image of a series of processes according to the present embodiment. FIG. 19 shows an example in which the subject is moved by the movement of the pattern P1, and FIG. 20 shows the pattern P2. FIG. 21 shows an example where the subject is moving due to the movement of the pattern P3, and FIG. 21 shows an example where the subject is moving due to the movement of the pattern P3. When the subject is moving as shown in (a) of each figure, if the AF area is set as shown in (b) of each figure at the timing when the release shutter SW1 is pressed, the division including the AF area is performed. The motion of the image in the block is detected as shown in FIG. Then, the tracking area is moved as shown in (d) of each figure to track the subject by template matching, and the AF area is moved to the position of the tracked subject as shown in (e) of each figure. , AF operation is executed. At this time, the focus position detection range during AF (the movement range of the
(第2実施例)
次に、第2実施例について説明する。本実施例は、図9のフローチャートで示した追尾AFモードでの合焦位置検出処理の中で、ステップS301の判定部202による動き検知判定処理の内容と、ステップS306の合焦位置検出範囲設定部203による合焦位置検出範囲設定処理の内容が、第1実施例とは異なっている。それ以外は第1実施例と同様であるため、以下では第1実施例との相違点についてのみ説明する。
(Second embodiment)
Next, a second embodiment will be described. In the present embodiment, in the focus position detection process in the tracking AF mode shown in the flowchart of FIG. 9, the details of the motion detection determination process by the
図22は、第2実施例の判定部202による動き検知判定処理の詳細を示すフローチャートである。第2実施例の動き検知判定処理では、推定部202は、まず、動き検知領域の検索処理(ステップS601)を行う。これは、動き検知処理の対象とする9つの分割領域のそれぞれに関して、各分割領域における画像の動き方向がどちらかを判断することで、被写体または撮影者の動きを推定するものである。
FIG. 22 is a flowchart illustrating details of the motion detection determination process performed by the
具体的には、推定部202は、まず、9つの分割領域の全てで同じ方向の動きが検知されているかどうかを判定する(ステップS602)。これは、撮影者がデジタルスチルカメラを動かすことによって被写体の構図を変更するシーンを想定している。図23は、撮影者がデジタルスチルカメラを動かして被写体の構図変更を行った場合の各分割領域の動きのパターンを示したものである。図23の(a)〜(h)に示すように、撮影者がデジタルスチルカメラを動かして被写体の構図変更を行ったときは、9つの分割領域の全てにおいて同じ方向の動きが検知される。推定部202は、全ての分割領域で同じ方向の動きが検知されているかどうかを確認し、全ての分割領域で同じ方向の動きが検知されている場合には(ステップS602:YES)、撮影者がデジタルスチルカメラを動かして被写体の構図変更を行っていると推定する(ステップS603)。
Specifically, the estimating
一方、全ての分割領域で同じ方向の動きが検知されていない場合には(ステップS602:NO)、推定部202は、AFエリアが含まれる分割領域では動きが検知されず、AFエリアが含まれる分割領域以外の他の分割領域で同じ方向の動きが検知されているかどうかを判定する(ステップS604)。これは、撮影者が移動している被写体の流し撮りを行っているシーンを想定している。図24は、撮影者が移動している被写体の流し撮りを行った場合の各分割領域の動きのパターンを示したものである。この流し撮りの場合の各分割領域の動きは、図24(a)〜(c)のように、AFエリアが含まれる分割領域以外の他の分割領域で重力方向とは反対方向(画像データとしては上側方向)の動きが検知されているパターン(以下、パターンP4とする。)と、図24(d)〜(f)のように、AFエリアが含まれる分割領域以外の他の分割領域で重力方向(画像データとしては下側方向)の動きが検知されているパターン(以下、パターンP5とする。)と、図24(g),(h)のように、AFエリアが含まれる分割領域以外の他の分割領域で左右方向の動きが検知されているパターン(以下、パターンP6とする。)とに分類できる。
On the other hand, when the movement in the same direction is not detected in all the divided areas (step S602: NO), the
推定部202は、AFエリアが含まれる分割領域以外の他の分割領域で同じ方向の動きが検知されているかどうかを確認し、AFエリアが含まれる分割領域以外の他の分割領域で同じ方向の動きが検知されている場合には(ステップS604:YES)、その画像の動きがパターンP4に該当するか否かを判定する(ステップS605)。そして、パターンP4に該当する場合は(ステップS605:YES)、撮影者が近づいている被写体の流し撮りを行っていると推定する(ステップS606)。一方、画像の動きがパターンP4に該当しない場合には(ステップS605:NO)、推定部202は、画像の動きがパターンP5に該当するか否かを判定する(ステップS607)。そして、パターンP5に該当する場合は(ステップS607:YES)、撮影者が遠ざかっている被写体の流し撮りを行っていると推定し(ステップS608)、画像の動きがパターンP5に該当しない場合、つまりパターンP6に該当する場合は(ステップS607:NO)、撮影者が横移動している被写体の流し撮りを行っていると推定する(ステップS609)。
The
一方、AFエリアが含まれる分割領域以外の他の分割領域で同じ方向の動きが検知されていない場合には(ステップS604:NO)、推定部202は、AFエリアが含まれる分割領域以外の他の分割領域で検知される動きの方向が、AFエリアが含まれる分割領域に向かう方向または離れる方向となっているかどうかを判定する(ステップS610)。これは、撮影者が静止している被写体に対して近接離間する方向に移動しているシーンを想定している。図25は、撮影者が静止している被写体に対して近接離間する方向に移動した場合の各分割領域の動きのパターンを示したものである。撮影者がこのように移動した場合の各分割領域の動きは、図25(a)のように、AFエリアが含まれる分割領域以外の他の分割領域で、AFエリアが含まれる分割領域に向かう方向の動きが検知されているパターン(以下、パターンP7とする。)と、図25(b)のように、AFエリアが含まれる分割領域以外の他の分割領域で、AFエリアが含まれる分割領域から離れる方向の動きが検知されているパターン(以下、パターンP8とする。)とに分類できる。
On the other hand, when the movement in the same direction is not detected in other divided areas other than the divided area including the AF area (step S604: NO), the estimating
AFエリアが含まれる分割領域以外の他の分割領域で検知される動きの方向が、AFエリアが含まれる分割領域に向かう方向または離れる方向となっている場合(ステップS610:YES)、推定部202は、その画像の動きがパターンP7に該当するか否かを判定する(ステップS611)。そして、パターンP7に該当する場合は(ステップS611:YES)、撮影者が被写体から離れる方向に移動していると推定する(ステップS612)。一方、画像の動きがパターンP7に該当しない場合、つまりパターンP8に該当する場合は(ステップS611:NO)、撮影者が被写体に向かって移動していると推定する(ステップS613)。
When the direction of motion detected in another divided area other than the divided area including the AF area is a direction toward or away from the divided area including the AF area (step S610: YES), the
一方、AFエリアが含まれる分割領域以外の他の分割領域で、AFエリアが含まれる分割領域に向かう方向または離れる方向の動きが検知されていない場合には(ステップS610:NO)、推定部202は、AFエリアが含まれる分割領域に着目し、第1実施例と同様に、AFエリアが含まれる分割領域での画像の動きが、図13に示したパターンP1〜P3のいずれに該当するかを判断することによって、被写体が移動しているか否か、移動している場合に距離として撮影者に近づく方向に移動しているか、あるいは撮影者から遠ざかる方向に移動しているかを推定する。
On the other hand, if no movement in the direction toward or away from the divided area including the AF area is detected in other divided areas other than the divided area including the AF area (step S610: NO), the estimating
すなわち、推定部202は、まずAFエリアが含まれる分割領域での画像の動きがパターンP1に該当するか否かを判定し(ステップS614)、パターンP1に該当する場合は(ステップS614:YES)、被写体が撮影者に近づく方向に移動していると推定する(ステップS615)。一方、AFエリアが含まれる分割領域での画像の動きの方向がパターンP1に該当しない場合には(ステップS614:NO)、推定部202は、次に、AFエリアが含まれる分割領域での画像の動きがパターンP2に該当するか否かを判定し(ステップS616)、パターンP2に該当する場合は(ステップS616:YES)、被写体が撮影者から遠ざかる方向に移動していると推定する(ステップS617)。一方、AFエリアが含まれる分割領域での画像の動きの方向がパターンP2に該当しない場合には(ステップS616:NO)、推定部202は、次に、AFエリアが含まれる分割領域での画像の動きがパターンP3に該当するか否かを判定し(ステップS618)、パターンP3に該当する場合は(ステップS618:YES)、被写体が撮影者から同距離の位置を移動していると推定し(ステップS619)、パターンP3に該当しない場合は(ステップS618:NO)、撮影者も被写体も移動していないと推定する(ステップS620)。
That is, the
図26は、第2実施例の合焦位置検出範囲設定部203による合焦位置検出範囲設定処理の詳細を示すフローチャートである。第2実施例の合焦位置検出範囲設定処理では、合焦位置検出範囲設定部203は、まず、追尾AFモードにおける合焦位置検出範囲の基準範囲を設定する(ステップS701)。AFモードにおける合焦位置検出範囲の基準範囲は、第1実施例と同様に、焦点距離(WideかTeleか)と現在のフォーカスレンズ42aの位置とに応じて、図16の表で示したように設定する。例えば、焦点距離がWideであり、フォーカスレンズ42aの現在位置が無限望遠位置(∞)から2.5mの間である場合には、フォーカスレンズ42aの現在位置を中心としてフォーカスモータ42bの10パルス分を基準範囲として設定する。
FIG. 26 is a flowchart showing details of the focus position detection range setting process by the focus position detection
次に、合焦位置検出範囲設定部203は、上述した動き検知判定処理によって撮影者がデジタルスチルカメラを動かして被写体の構図変更を行っていると推定されているかどうかを確認し(ステップS702)、被写体が撮影者から遠ざかっていると推定されている場合は(ステップS702:YES)、ステップS701で設定した基準範囲をそのまま合焦位置検出範囲とする(ステップS703)。
Next, the focus position detection
一方、撮影者がデジタルスチルカメラを動かして被写体の構図変更を行っていると推定されていない場合は(ステップS702:NO)、合焦位置検出範囲設定部203は、撮影者が流し撮りを行っていると推定されているかどうかを確認する(ステップS704)。そして、撮影者が流し撮りを行っていると推定されている場合は(ステップS704:YES)、近づいている被写体の流し撮りかどうかを確認し(ステップS705)、近づいている被写体を流し撮りしていると推定されている場合は(ステップS705:YES)、ステップS701で設定した基準範囲に対して近側方向のパルス数を加算して、合焦位置検出範囲とする(ステップS706)。一方、近づいている被写体の流し撮りではない場合は(ステップS705:NO)、遠ざかっている被写体の流し撮りかどうかを確認し(ステップS707)、遠ざかっている被写体を流し撮りしていると推定されている場合は(ステップS707:YES)、ステップS701で設定した基準範囲に対して遠側方向のパルス数を加算して、合焦位置検出範囲とする(ステップS708)。また、遠ざかっている被写体の流し撮りではない場合、つまり横移動している被写体を流し撮りしていると推定されている場合は(ステップS707:NO)、ステップS701で設定した基準範囲をそのまま合焦位置検出範囲とする(ステップS703)。
On the other hand, when it is not estimated that the photographer moves the digital still camera and changes the composition of the subject (step S702: NO), the in-focus position detection
また、撮影者が流し撮りを行っていると推定されていない場合は(ステップS704:NO)、合焦位置検出範囲設定部203は、撮影者が静止している被写体に対して近接離間する方向に移動していると推定されているかどうかを確認する(ステップS709)。そして、撮影者が静止している被写体に対して近接離間する方向に移動していると推定されている場合は(ステップS709:YES)、被写体から離れる方向の移動かどうかを確認し(ステップS710)、撮影者が被写体から離れる方向に移動していると推定されている場合は(ステップS710:YES)、ステップS701で設定した基準範囲に対して遠側方向のパルス数を加算して、合焦位置検出範囲とする(ステップS708)。また、被写体から離れる方向の移動ではない場合、つまり撮影者が被写体に向かって移動していると推定される場合は(ステップS710:NO)、ステップS701で設定した基準範囲に対して近側方向のパルス数を加算して、合焦位置検出範囲とする(ステップS706)。
If it is not estimated that the photographer is taking a panning shot (step S704: NO), the in-focus position detection
また、撮影者が静止している被写体に対して近接離間する方向に移動していると推定されていない場合は(ステップS709:NO)、合焦位置検出範囲設定部203は、被写体が撮影者から遠ざかっていると推定されているかどうかを確認し(ステップS711)、被写体が撮影者から遠ざかっていると推定されている場合は(ステップS711:YES)、ステップS701で設定した基準範囲に対して遠側方向のパルス数を加算して、合焦位置検出範囲とする(ステップS708)。一方、被写体が撮影者から遠ざかっていると推定されていない場合は(ステップS711:NO)、被写体が撮影者に近づいていると推定されているかどうかを確認し(ステップS712)、被写体が撮影者に近づいていると推定されている場合は(ステップS712:YES)、ステップS701で設定した基準範囲に対して近側方向のパルス数を加算して、合焦位置検出範囲とする(ステップS706)。一方、被写体が撮影者に近づいていると推定されていない場合(ステップS712:NO)、つまり、被写体が撮影者から同距離の位置を移動している、あるいは撮影者も被写体も移動していないと推定されている場合は、ステップS701で設定した基準範囲をステップ数の追加を行うことなくそのまま合焦位置検出範囲とする(ステップS703)。
If it is not estimated that the photographer is moving in the direction of approaching or separating from the stationary subject (step S709: NO), the focus position detection
ステップS706やステップS708で加算するパルスに関しては、第1実施例と同様に、焦点距離(WideかTeleか)と現在のフォーカスレンズ42aの位置とに応じて、図17の表で示したように決定する。例えば、焦点距離がWideであり、フォーカスレンズ42aの現在位置が無限望遠位置(∞)から2.5mの間にある場合は、遠側の加算パルス数は2パルス、近側の加算パルス数は4パルスとする。以上のように、本実施例では、追尾AFモードでのAF時に、撮影者の動きや被写体の動きに応じて合焦位置検出範囲(フォーカスレンズ42aの移動範囲)を遠側方向または近側方向に延長するようにしている。これにより、撮影者または被写体の移動によって、被写体が相対的に画面の奥行き方向に移動している場合でも、合焦位置を見失うことなく適切なAF動作を実現することができる。
As for the pulses added in step S706 and step S708, as shown in the table of FIG. 17, according to the focal length (Wide or Tele) and the current position of the
図27〜図29は、本実施例による一連の処理のイメージを示したものであり、図27は撮影者がデジタルスチルカメラを動かして被写体の構図変更を行っている場合の例、図28は撮影者が遠ざかっている被写体の流し撮りを行っている場合の例、図29は撮影者が被写体に向かって移動している場合の例である。各図の(a)はそれぞれの状況のイメージを模式的に示している。レリーズシャッタSW1が押下されたタイミングで各図の(b)で示すようにAFエリアが設定されると、AFエリアを含む分割ブロックにおける画像の動きが各図の(c)のように検知される。そして、各図の(d)で示すように追尾エリアを移動させてテンプレートマッチングによる被写体の追尾が行われ、各図の(e)で示すように追尾した被写体の位置にAFエリアが移動して、AF動作が実行される。このとき、AF時の合焦位置検出範囲(フォーカスレンズ42aの移動範囲)は、図28の例では遠側に延長され、図29の例では近側に延長される。図27の例では、AF時の合焦位置検出範囲の延長はない。
27 to 29 show an image of a series of processes according to the present embodiment. FIG. 27 shows an example in which the photographer moves the digital still camera to change the composition of the subject. FIG. FIG. 29 shows an example in the case where the photographer is taking a panning shot of a subject that is moving away. FIG. 29 shows an example in which the photographer is moving toward the subject. (A) of each figure has shown typically the image of each condition. When the AF area is set as shown in (b) of each figure at the timing when the release shutter SW1 is pressed, the movement of the image in the divided block including the AF area is detected as shown in (c) of each figure. . Then, the tracking area is moved as shown in (d) of each figure to track the subject by template matching, and the AF area is moved to the position of the tracked subject as shown in (e) of each figure. , AF operation is executed. At this time, the focus position detection range during AF (the movement range of the
以上、具体的な例を挙げながら詳細に説明したように、本実施形態に係るデジタルスチルカメラでは、プロセッサ104内のCPUブロック1043が、CCD101から時系列で出力され、F/E−IC102を介してプロセッサ104内に入力される複数の画像データの差分に基づいて画像の動きを検知し(動き検知部201)、検知した画像の動きに基づいて被写体または撮影者の動きを推定している(推定部202)。そして、推定した被写体または撮影者の動きに応じて合焦位置検出、つまりフォーカスレンズ42aの移動範囲を設定し(合焦位置検出範囲設定部203)、設定した合焦位置検出範囲内でフォーカスレンズ42aを移動させながら合焦位置の検出を行うようにしている(合焦位置検出部204)。したがって、撮影者または被写体の移動によって、被写体が相対的に画面の奥行き方向に移動している場合でも、合焦位置を見失うことなくAF動作を適切に実行して、被写体位置に焦点の合う適切な画像を撮影することができる。
As described above in detail with reference to specific examples, in the digital still camera according to the present embodiment, the
以上、本発明の具体的な実施形態について説明したが、本発明は、上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。例えば、実施形態に係るデジタルスチルカメラの構成や動作はあくまで一例であり、用途や目的に応じて様々な変形が可能である。 The specific embodiments of the present invention have been described above. However, the present invention is not limited to the above-described embodiments as they are, and may be embodied by modifying constituent elements without departing from the scope of the invention in the implementation stage. can do. For example, the configuration and operation of the digital still camera according to the embodiment are merely examples, and various modifications can be made depending on the application and purpose.
42a フォーカスレンズ
42b フォーカスモータ
45 モータドライバ
101 CCD
102 F/E−IC
104 デジタルスチルカメラプロセッサ
1043 CPUブロック
201 動き検知部
202 推定部
203 合焦位置検出範囲設定部
204 合焦位置検出部
102 F / E-IC
104 Digital
Claims (11)
前記フォーカスレンズを介して入射する光を受光して画像データを出力する撮像素子と、
前記撮像素子から時系列で出力される複数の画像データの差分に基づいて、画像の動きを検知する動き検知手段と、
前記動き検知手段により検知された画像の動きに基づいて、被写体または撮影者の動きを推定する推定手段と、
前記推定手段により推定された被写体または撮影者の動きに応じて、前記フォーカスレンズの移動範囲を設定する移動範囲設定手段と、
前記移動範囲設定手段により設定された移動範囲内で前記フォーカスレンズを光軸方向に移動させて、画像の被写体位置に対して焦点の合う合焦位置を検出する合焦位置検出手段と、を備えることを特徴とする撮像装置。 A focus lens,
An image sensor that receives light incident through the focus lens and outputs image data;
Motion detection means for detecting the motion of an image based on a difference between a plurality of image data output in time series from the imaging device;
Estimating means for estimating the movement of the subject or the photographer based on the movement of the image detected by the movement detecting means;
A moving range setting means for setting a moving range of the focus lens in accordance with the movement of the subject or the photographer estimated by the estimating means;
In-focus position detecting means for detecting an in-focus position with respect to the subject position of the image by moving the focus lens in the optical axis direction within the movement range set by the movement range setting means. An imaging apparatus characterized by that.
前記推定手段は、前記動き検知手段により動きが検知された分割領域の位置と該分割領域における動きの方向とに基づいて、被写体と撮影者との相対的な動きを推定し、
前記移動範囲設定手段は、前記推定手段により推定された被写体と撮影者との相対的な動きが、被写体と撮影者との間の距離が小さくなる方向の動きの場合に、被写体と撮影者との間の距離が変化しない場合と比較して、前記フォーカスレンズの移動範囲を近側方向に大きくし、前記推定手段により推定された被写体と撮影者との相対的な動きが、被写体と撮影者との間の距離が大きくなる方向の動きの場合に、被写体と撮影者との間の距離が変化しない場合と比較して、前記フォーカスレンズの移動範囲を遠側方向に大きくすること、を特徴とする請求項1に記載の撮像装置。 The motion detection means divides the image data output from the image sensor into a plurality of divided areas, detects the movement of the image for each divided area,
The estimating means estimates a relative movement between the subject and the photographer based on the position of the divided area where the movement is detected by the movement detecting means and the direction of the movement in the divided area;
The movement range setting means may be configured such that when the relative movement between the subject and the photographer estimated by the estimation means is a movement in a direction in which the distance between the subject and the photographer becomes small, the subject and the photographer Compared to the case where the distance between the subject and the photographer does not change, the movement range of the focus lens is increased in the near side direction, and the relative movement between the subject and the photographer estimated by the estimation unit is When the movement in the direction in which the distance between the subject and the photographer increases, the movement range of the focus lens is increased in the far side direction compared to the case where the distance between the subject and the photographer does not change. The imaging apparatus according to claim 1.
前記移動範囲設定手段は、前記推定手段により被写体が撮影者に近づいていると推定された場合は、前記フォーカスレンズの移動範囲を、被写体が移動していない場合と比較して近側方向に大きくすること、を特徴とする請求項2に記載の撮像装置。 The estimation means detects the motion to the photographer when the motion is detected only in the divided area including the subject position by the motion detecting means and the direction of the motion detected in the divided area including the subject position is the gravitational direction. Presuming that they are approaching,
The movement range setting means increases the movement range of the focus lens in the near side direction when the estimation means estimates that the subject is approaching the photographer compared to when the subject is not moving. The imaging apparatus according to claim 2, wherein:
前記移動範囲設定手段は、前記推定手段により被写体が撮影者から遠ざかっていると推定された場合は、前記フォーカスレンズの移動範囲を、被写体が移動していない場合と比較して遠側方向に大きくすること、を特徴とする請求項2に記載の撮像装置。 The estimation means detects the subject when the motion detection means detects the motion only in the divided area including the subject position and the direction of the motion detected in the divided area including the subject position is opposite to the gravitational direction. Is estimated to be away from the photographer,
When the estimation unit estimates that the subject is moving away from the photographer, the movement range setting unit increases the movement range of the focus lens in the far side direction compared to the case where the subject is not moving. The imaging apparatus according to claim 2, wherein:
前記移動範囲設定手段は、撮影者が近づいている被写体の流し撮りを行っていると前記推定手段により推定された場合は、前記フォーカスレンズの移動範囲を、被写体が移動していない場合と比較して近側方向に大きくすること、を特徴とする請求項2に記載の撮像装置。 The estimating means detects motion in the same direction in a plurality of divided areas other than the divided area including the subject position by the motion detecting means, and in a plurality of divided areas other than the divided area including the subject position. If the detected direction of motion is the direction of gravity, it is assumed that the photographer is taking a panning shot of the subject that is approaching,
The movement range setting means compares the movement range of the focus lens with that when the subject is not moving when the estimation means estimates that the photographer is taking a panning shot of the subject that is approaching. The imaging device according to claim 2, wherein the imaging device is enlarged in the near direction.
前記移動範囲設定手段は、撮影者が遠ざかっている被写体の流し撮りを行っていると前記推定手段により推定された場合は、前記フォーカスレンズの移動範囲を、被写体が移動していない場合と比較して遠側方向に大きくすること、を特徴とする請求項2に記載の撮像装置。 The estimating means detects motion in the same direction in a plurality of divided areas other than the divided area including the subject position by the motion detecting means, and in a plurality of divided areas other than the divided area including the subject position. If the detected direction of motion is opposite to the direction of gravity, assume that the photographer is taking a panning shot of the subject moving away,
The movement range setting means compares the movement range of the focus lens with that when the subject is not moving when the estimation means estimates that the photographer is taking a panning shot of a subject that is moving away. The image pickup apparatus according to claim 2, wherein the image pickup apparatus is enlarged in a far side direction.
前記移動範囲設定手段は、撮影者が被写体に向かって移動していると前記推定手段により推定された場合は、前記フォーカスレンズの移動範囲を、撮影者が移動していない場合と比較して近側方向に大きくすること、を特徴とする請求項2に記載の撮像装置。 The estimation unit is configured to detect the movement of the photographer toward the subject when movement in a direction away from the divided region including the subject position is detected in the plurality of divided regions other than the divided region including the subject position by the motion detecting unit. Estimated to have moved,
The movement range setting means, when the estimation means estimates that the photographer is moving toward the subject, the movement range of the focus lens is closer than that when the photographer is not moving. The imaging apparatus according to claim 2, wherein the imaging apparatus is increased in a lateral direction.
前記移動範囲設定手段は、撮影者が被写体から離れる方向に移動していると前記推定手段により推定された場合は、前記フォーカスレンズの移動範囲を、撮影者が移動していない場合と比較して遠側方向に大きくすること、を特徴とする請求項2に記載の撮像装置。 The estimation unit causes the photographer to move away from the subject when movement in a direction toward the divided region including the subject position is detected in the plurality of divided regions other than the divided region including the subject position by the motion detection unit. Presumed moving in the direction,
The movement range setting means, when the estimation means estimates that the photographer is moving in a direction away from the subject, the movement range of the focus lens is compared with the case where the photographer is not moving. The imaging apparatus according to claim 2, wherein the imaging apparatus is increased in the far side direction.
前記撮像素子から時系列で出力される複数の画像データの差分に基づいて、画像の動きを検知するステップと、
検知した画像の動きに基づいて、被写体または撮影者の動きを推定するステップと、
推定した被写体または撮影者の動きに応じて、前記フォーカスレンズの移動範囲を設定するステップと、
設定した移動範囲内で前記フォーカスレンズを光軸方向に移動させて、画像の被写体位置に対して焦点の合う合焦位置を検出するステップと、を含むことを特徴とする合焦位置検出方法。 An in-focus position detection method executed in an imaging device including a focus lens and an image sensor that receives light incident through the focus lens and outputs image data,
Detecting a movement of an image based on a difference between a plurality of image data output in time series from the imaging device;
Estimating the movement of the subject or the photographer based on the detected movement of the image;
Setting a moving range of the focus lens in accordance with the estimated subject or photographer movement;
A focus position detecting method comprising: moving the focus lens in the optical axis direction within a set movement range to detect a focus position that is in focus with respect to the subject position of the image.
前記撮像素子から時系列で出力される複数の画像データの差分に基づいて、画像の動きを検知する機能と、
検知した画像の動きに基づいて、被写体または撮影者の動きを推定する機能と、
推定した被写体または撮影者の動きに応じて、前記フォーカスレンズの移動範囲を設定する機能と、
設定した移動範囲内で前記フォーカスレンズを光軸方向に移動させて、画像の被写体位置に対して焦点の合う合焦位置を検出する機能と、を実現させるための合焦位置検出プログラム。 An imaging apparatus comprising: a focus lens; and an image sensor that receives light incident through the focus lens and outputs image data;
A function of detecting the movement of an image based on a difference between a plurality of image data output in time series from the imaging device;
A function that estimates the movement of the subject or the photographer based on the detected movement of the image,
A function for setting the moving range of the focus lens in accordance with the estimated subject or photographer movement;
An in-focus position detection program for realizing a function of moving the focus lens in the optical axis direction within a set movement range to detect an in-focus position with respect to a subject position of an image.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010136503A JP2012002951A (en) | 2010-06-15 | 2010-06-15 | Imaging device, method for detecting in-focus position and in-focus position detection program |
US13/155,617 US8724981B2 (en) | 2010-06-15 | 2011-06-08 | Imaging apparatus, focus position detecting method, and computer program product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010136503A JP2012002951A (en) | 2010-06-15 | 2010-06-15 | Imaging device, method for detecting in-focus position and in-focus position detection program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012002951A true JP2012002951A (en) | 2012-01-05 |
Family
ID=45096291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010136503A Pending JP2012002951A (en) | 2010-06-15 | 2010-06-15 | Imaging device, method for detecting in-focus position and in-focus position detection program |
Country Status (2)
Country | Link |
---|---|
US (1) | US8724981B2 (en) |
JP (1) | JP2012002951A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014021318A (en) * | 2012-07-19 | 2014-02-03 | Casio Comput Co Ltd | Imaging device, imaging method, and program |
EP2763395A1 (en) | 2013-01-31 | 2014-08-06 | Ricoh Imaging Company, Ltd. | Imaging apparatus |
US8928799B2 (en) | 2011-10-13 | 2015-01-06 | Ricoh Company, Ltd. | Imaging device and imaging method to perform autofocus operation to a subject |
JP2015194671A (en) * | 2014-03-28 | 2015-11-05 | パナソニックIpマネジメント株式会社 | Imaging apparatus |
WO2022209341A1 (en) * | 2021-03-30 | 2022-10-06 | ソニーグループ株式会社 | Imaging device, focus control method, and program |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012002951A (en) * | 2010-06-15 | 2012-01-05 | Ricoh Co Ltd | Imaging device, method for detecting in-focus position and in-focus position detection program |
WO2012008630A1 (en) * | 2010-07-14 | 2012-01-19 | 엘지전자 주식회사 | Autofocus device and a method therefor |
CN103123718B (en) * | 2011-11-21 | 2016-06-22 | 腾讯科技(深圳)有限公司 | A kind of image processing method and system |
US9438785B2 (en) * | 2012-03-09 | 2016-09-06 | Htc Corporation | Electronic device and focus adjustment method thereof |
EP3010224A4 (en) * | 2013-08-01 | 2016-06-15 | Huawei Device Co Ltd | Photographing method and device |
JP6245892B2 (en) | 2013-08-21 | 2017-12-13 | キヤノン株式会社 | Image processing apparatus, control method therefor, and program |
DE112014007145T5 (en) * | 2014-12-02 | 2017-08-03 | Olympus Corporation | A focus control device, endoscope device and method of controlling the focus control device |
DE112014007147T5 (en) * | 2014-12-02 | 2017-08-03 | Olympus Corporation | A focus control device, endoscope device and method of controlling the focus control device |
JP6576171B2 (en) * | 2015-09-02 | 2019-09-18 | キヤノン株式会社 | Video processing apparatus, video processing method, and program |
FR3042367A1 (en) * | 2015-10-12 | 2017-04-14 | Stmicroelectronics (Grenoble 2) Sas | METHOD FOR CAPTURING IMAGES OF A MOVING OBJECT AND CORRESPONDING APPARATUS |
JP2017146559A (en) * | 2016-02-19 | 2017-08-24 | キヤノン株式会社 | Imaging apparatus, control method therefor, program and storage medium |
US20180070010A1 (en) * | 2016-09-02 | 2018-03-08 | Altek Semiconductor Corp. | Image capturing apparatus and image zooming method thereof |
CN107124556B (en) * | 2017-05-31 | 2021-03-02 | Oppo广东移动通信有限公司 | Focusing method, focusing device, computer readable storage medium and mobile terminal |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01194684A (en) * | 1988-01-29 | 1989-08-04 | Sony Corp | Focus control circuit |
JPH02205810A (en) * | 1989-02-06 | 1990-08-15 | Canon Inc | Automatic focus adjusting device |
JPH04113500A (en) * | 1990-09-03 | 1992-04-14 | Mitsubishi Electric Corp | Automatic stoppage/departure device for vehicle |
JP2004301607A (en) * | 2003-03-31 | 2004-10-28 | Honda Motor Co Ltd | Moving object detection device, moving object detection method, and moving object detection program |
JP2005031200A (en) * | 2003-07-08 | 2005-02-03 | Minolta Co Ltd | Imaging apparatus |
JP2008165044A (en) * | 2006-12-28 | 2008-07-17 | Samsung Techwin Co Ltd | Imaging apparatus and imaging method |
JP2009117956A (en) * | 2007-11-02 | 2009-05-28 | Hitachi Kokusai Electric Inc | Video processor |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04158322A (en) | 1990-10-23 | 1992-06-01 | Ricoh Co Ltd | Automatic focus adjusting device |
JP2851713B2 (en) * | 1991-04-03 | 1999-01-27 | シャープ株式会社 | Auto focus device |
JP3500539B2 (en) * | 1993-02-25 | 2004-02-23 | 富士通株式会社 | Automatic focus adjustment method for infrared camera |
JP4255186B2 (en) * | 1999-10-20 | 2009-04-15 | イーストマン コダック カンパニー | Focusing device |
US7391461B2 (en) * | 2002-03-06 | 2008-06-24 | Canon Kabushiki Kaisha | Apparatus, method and control computer program for imaging a plurality of objects at different distances |
JP2003333411A (en) * | 2002-03-06 | 2003-11-21 | Canon Inc | Imaging apparatus, method therefor and imaging control computer program |
JP2004289214A (en) * | 2003-03-19 | 2004-10-14 | Minolta Co Ltd | Imaging apparatus |
EP1601189A2 (en) * | 2004-05-26 | 2005-11-30 | Fujinon Corporation | Autofocus system |
JP2006058405A (en) * | 2004-08-18 | 2006-03-02 | Casio Comput Co Ltd | Camera apparatus and automatic focusing control method |
JP2006086952A (en) * | 2004-09-17 | 2006-03-30 | Casio Comput Co Ltd | Digital camera and program |
US20060182433A1 (en) * | 2005-02-15 | 2006-08-17 | Nikon Corporation | Electronic camera |
JP4557758B2 (en) * | 2005-03-14 | 2010-10-06 | 三洋電機株式会社 | Imaging device |
JP4182117B2 (en) * | 2006-05-10 | 2008-11-19 | キヤノン株式会社 | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM |
JP4218720B2 (en) * | 2006-09-22 | 2009-02-04 | ソニー株式会社 | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM |
EP1909229B1 (en) * | 2006-10-03 | 2014-02-19 | Nikon Corporation | Tracking device and image-capturing apparatus |
JP5188071B2 (en) * | 2007-02-08 | 2013-04-24 | キヤノン株式会社 | Focus adjustment device, imaging device, and focus adjustment method |
JP4872834B2 (en) * | 2007-07-04 | 2012-02-08 | 株式会社ニコン | Image recognition device, focus adjustment device, and imaging device |
JP4544282B2 (en) * | 2007-09-14 | 2010-09-15 | ソニー株式会社 | Data processing apparatus, data processing method, and program |
JP5217451B2 (en) | 2008-01-24 | 2013-06-19 | 株式会社ニコン | Imaging device |
JP4582152B2 (en) * | 2008-01-25 | 2010-11-17 | ソニー株式会社 | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM |
JP5387949B2 (en) * | 2009-03-03 | 2014-01-15 | 株式会社リコー | Imaging apparatus, reproduction display apparatus, imaging recording method, and reproduction display method |
US8717490B2 (en) * | 2009-06-19 | 2014-05-06 | Casio Computer Co., Ltd | Imaging apparatus, focusing method, and computer-readable recording medium recording program |
JP5483953B2 (en) * | 2009-08-18 | 2014-05-07 | キヤノン株式会社 | Focus adjustment device, focus adjustment method and program |
JP2012002951A (en) * | 2010-06-15 | 2012-01-05 | Ricoh Co Ltd | Imaging device, method for detecting in-focus position and in-focus position detection program |
-
2010
- 2010-06-15 JP JP2010136503A patent/JP2012002951A/en active Pending
-
2011
- 2011-06-08 US US13/155,617 patent/US8724981B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01194684A (en) * | 1988-01-29 | 1989-08-04 | Sony Corp | Focus control circuit |
JPH02205810A (en) * | 1989-02-06 | 1990-08-15 | Canon Inc | Automatic focus adjusting device |
JPH04113500A (en) * | 1990-09-03 | 1992-04-14 | Mitsubishi Electric Corp | Automatic stoppage/departure device for vehicle |
JP2004301607A (en) * | 2003-03-31 | 2004-10-28 | Honda Motor Co Ltd | Moving object detection device, moving object detection method, and moving object detection program |
JP2005031200A (en) * | 2003-07-08 | 2005-02-03 | Minolta Co Ltd | Imaging apparatus |
JP2008165044A (en) * | 2006-12-28 | 2008-07-17 | Samsung Techwin Co Ltd | Imaging apparatus and imaging method |
JP2009117956A (en) * | 2007-11-02 | 2009-05-28 | Hitachi Kokusai Electric Inc | Video processor |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8928799B2 (en) | 2011-10-13 | 2015-01-06 | Ricoh Company, Ltd. | Imaging device and imaging method to perform autofocus operation to a subject |
JP2014021318A (en) * | 2012-07-19 | 2014-02-03 | Casio Comput Co Ltd | Imaging device, imaging method, and program |
EP2763395A1 (en) | 2013-01-31 | 2014-08-06 | Ricoh Imaging Company, Ltd. | Imaging apparatus |
US9467615B2 (en) | 2013-01-31 | 2016-10-11 | Ricoh Imaging Company, Ltd. | Imaging apparatus including dynamic image focus detection |
JP2015194671A (en) * | 2014-03-28 | 2015-11-05 | パナソニックIpマネジメント株式会社 | Imaging apparatus |
WO2022209341A1 (en) * | 2021-03-30 | 2022-10-06 | ソニーグループ株式会社 | Imaging device, focus control method, and program |
Also Published As
Publication number | Publication date |
---|---|
US8724981B2 (en) | 2014-05-13 |
US20110305446A1 (en) | 2011-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012002951A (en) | Imaging device, method for detecting in-focus position and in-focus position detection program | |
JP4980982B2 (en) | Imaging apparatus, imaging method, focus control method, and program | |
JP5005570B2 (en) | Image processing apparatus and program | |
EP1998558B1 (en) | Image pickup apparatus equipped with function of detecting image shaking | |
US7706674B2 (en) | Device and method for controlling flash | |
JP5054583B2 (en) | Imaging device | |
KR101643321B1 (en) | A digital photographing apparatus, a method for controlling the same, and a computer-readable medium | |
US7961228B2 (en) | Imaging apparatus and method for controlling exposure by determining backlight situations and detecting a face | |
JP2008009263A (en) | Imaging device and program therefor | |
KR20120114191A (en) | Imaging apparatus, subject tracking method and storage medium | |
JP2010147786A (en) | Imaging device and image processing method | |
JP2011217103A (en) | Compound eye photographing method and apparatus | |
JP2007129310A (en) | Imaging apparatus | |
KR101630304B1 (en) | A digital photographing apparatus, a method for controlling the same, and a computer-readable medium | |
JP4807582B2 (en) | Image processing apparatus, imaging apparatus, and program thereof | |
JP2007225897A (en) | Focusing position determination device and method | |
JP2012019341A (en) | Imaging device, and method and program for controlling the same | |
JP2011217334A (en) | Imaging apparatus and method of controlling the same | |
JP4714561B2 (en) | Imaging apparatus and imaging method | |
JP2012003029A (en) | Imaging device | |
JP2003319246A (en) | Digital camera | |
JP5091091B2 (en) | Imaging apparatus, autofocus control method thereof, and control program | |
JP2008219367A (en) | Imaging apparatus and imaging method | |
JP2014138378A (en) | Image pickup device, control method thereof, and control program thereof | |
KR101109593B1 (en) | Auto focusing method of digital image processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130404 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140414 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140715 |