JP2015194686A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2015194686A
JP2015194686A JP2014224815A JP2014224815A JP2015194686A JP 2015194686 A JP2015194686 A JP 2015194686A JP 2014224815 A JP2014224815 A JP 2014224815A JP 2014224815 A JP2014224815 A JP 2014224815A JP 2015194686 A JP2015194686 A JP 2015194686A
Authority
JP
Japan
Prior art keywords
dfd
distance information
amount
image
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014224815A
Other languages
English (en)
Other versions
JP6432038B2 (ja
Inventor
剛治 澁野
Koji Shibuno
剛治 澁野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014224815A priority Critical patent/JP6432038B2/ja
Priority to US14/572,834 priority patent/US10250805B2/en
Publication of JP2015194686A publication Critical patent/JP2015194686A/ja
Application granted granted Critical
Publication of JP6432038B2 publication Critical patent/JP6432038B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Abstract

【課題】適切なタイミングで、DFD処理可能な撮像装置を提供する。【解決手段】本開示における撮像装置は、フォーカスレンズを含む光学系と、光学系により得られる像に基づいて画像データを生成する撮像系と、複数のボケ信号とフォーカスレンズの駆動に伴って撮像系から得られた合焦位置の異なる複数の画像データとに基づいて被写体距離に関するDFD距離情報を算出するDFD処理部と、画像データの被写体像の変化量を計測する計測部と、変化量が所定値以上であるとき、DFD処理部にDFD距離情報を算出させる制御部と、を備える。【選択図】図1

Description

本開示は、デジタルカメラや携帯電話などの撮像装置に関する。
3次元シーンの奥行き、即ち各被写体までの距離を非接触で計測するための様々な方法が提案されている。その方法は、能動的手法と受動的手法とに大別される。能動的手法では、赤外線、超音波、又はレーザーなどを照射し、反射波が戻ってくるまでの時間、又は、反射波の角度などをもとに距離を算出する。受動的手法では、被写体の像に基づいて距離を算出する。特にカメラでは、赤外線などを照射するための装置を必要としない受動的手法が広く用いられている。
受動的手法の一つとして、DFD(Depth from Defocus)方式(以降、DFDという)が開示されている。DFDは、被写体距離によって大きさや形状が変化するボケの情報に基づいて距離を計測する。DFDは、複数のカメラを必要としないこと、少数の画像から距離計測が可能であること、などの特徴がある。DFDを用いて被写体までの距離を計測する処理を、DFD処理という。
以下、DFDの原理について簡単に説明する。DFDは、合焦位置の異なる複数枚の画像から、ボケの情報に基づいて距離を計測する方法である。ボケを含んだ撮影画像は、レンズによるボケのない状態を表す全焦点画像に、被写体距離の関数である点像分布関数を畳み込んだ画像となる。点像分布関数は被写体距離を変数とする関数であるので、DFDではボケ画像からボケを検出することによって、被写体距離を求めることができる。
このとき、全焦点画像と被写体距離とが未知数である。ボケ画像1枚に対して、ボケ画像、全焦点画像、及び、被写体距離に関する式が1つ成立する。合焦位置の異なるボケ画像を新たに撮影することで、新たな式が得られるので、得られた複数の式を解くことで被写体距離を求める。式の獲得の方法、又は、その式を解く方法等に関しては、特許文献1をはじめとして、様々な方法が開示されている。
特許第2963990号
DFD処理を常に行うと、電力消費量が増加するだけでなく、フォーカスレンズの駆動に伴って被写体像の合焦状態が変化し、使用者の視認性が低下する。
本開示は、適切なタイミングでDFD処理可能な撮像装置の提供を目的とする。
本開示における撮像装置は、フォーカスレンズを含む光学系と、光学系により得られる像に基づいて画像データを生成する撮像系と、複数のボケ信号とフォーカスレンズの駆動に伴って撮像系から得られた合焦位置の異なる複数の画像データとに基づいて被写体距離に関するDFD距離情報を算出するDFD処理部と、画像データの被写体像の変化量を計測する計測部と、変化量が所定値以上であるとき、DFD処理部にDFD距離情報を算出させる制御部とを備える。
本開示によれば、適切なタイミングでDFD処理可能な撮像装置の提供が可能となる。
図1は、実施の形態1に係る撮像装置の構成を示すブロック図である。 図2は、図1の撮像装置のうち撮影動作に関する構成を中心に取り出したブロック図である。 図3Aは、実施の形態1に係るDFD距離情報を更新するフローチャートである。 図3Bは、実施の形態1に係る撮影動作のフローチャートである。 図4は、実施の形態1に係る被写体像の変化量を説明する図である。 図5Aは、実施の形態2に係る撮像装置の動画撮影のフローチャートである。 図5Bは、実施の形態2に係る撮像装置の動画撮影時のAF制御処理のフローチャートである。 図6Aは、実施の形態2に係る液晶モニタに表示される、記録中の動画像の一例を示す図である。 図6Bは、実施の形態2に係る液晶モニタに表示される、記録中の動画像の別の一例を示す図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
〔1.実施の形態1〕
図1〜図4を用いて、実施の形態1について説明する。
〔1−1.構成〕
本実施の形態における撮像装置100の電気的構成について説明する。
図1は、本実施の形態における撮像装置100の構成を示すブロック図である。撮像装置100は、光学系110と、ズームモータ120と、OIS(Optical Image Stabilizer)アクチュエータ130と、フォーカスモータ140と、CCD(Charge Coupled Device)イメージセンサ150と、映像処理部160と、メモリ170と、コントローラ180と、カードスロット190と、メモリカード200と、操作部材210と、ズームレバー220と、液晶モニタ230と、角速度センサ240を備える。本実施の形態において撮像装置100は、デジタルカメラである。
光学系110は、ズームレンズ111と、OIS112と、フォーカスレンズ113と、メモリ114とを有する。
ズームレンズ111は、光学系110の破線で示す光軸に沿って移動することにより、CCDイメージセンサ150に結像する被写体像を拡大又は縮小するためのレンズである。ズームレンズ111は、コントローラ180からの制御信号に基づき、ズームモータ120によって光学系110内における位置が変更される。
なお、ズームレンズ111は、ズーム機能がなくてもよく、単なるレンズであってもよい。
OIS112は、光軸に垂直な面内で移動可能な補正レンズを内部に有する。OIS112は、撮像装置100のブレを相殺する方向に補正レンズを駆動することにより、光学系110で形成される被写体像のブレを低減する。補正レンズは、OIS112内の光学系110の光軸と垂直な面内において、光軸を中心として移動することができる。OIS112は、OISアクチュエータ130によって制御される。
フォーカスレンズ113は、光学系110の光軸に沿って移動することにより、被写体像のピントを調整するためのレンズである。フォーカスレンズ113は、フォーカスモータ140によって制御される。
メモリ114は、光学系110に固有のレンズパラメータ情報を保持する。
ズームモータ120は、ズームレンズ111を駆動制御する。ズームモータ120は、パルスモータ、DCモータ、リニアモータ、又は、サーボモータなどで実現してもよいし、カム機構又はボールネジなどの機構を介してズームレンズ111を駆動するようにしてもよい。
OISアクチュエータ130は、OIS112内の補正レンズを光軸と垂直な面内で駆動制御する。OISアクチュエータ130は、平面コイル又は超音波モータなどで実現できる。
フォーカスモータ140は、フォーカスレンズ113を駆動制御する。フォーカスモータ140は、パルスモータ、DCモータ、リニアモータ、又は、サーボモータなどで実現してもよいし、カム機構又はボールネジなどの機構を介してフォーカスレンズ113を駆動するようにしてもよい。
CCDイメージセンサ150は、光学系110により形成された像を撮影して、画像信号を生成する。CCDイメージセンサ150は、露光、転送、電子シャッタなどの動作を行う。CCDイメージセンサ150は、撮像素子に相当する。
なお、CCDイメージセンサ150の代わりに、CMOS(Complementary Metal−Oxide Semiconductor)イメージセンサを用いてもよい。
映像処理部160は、CCDイメージセンサ150で生成された画像信号に対して各種の処理を施す。映像処理部160は、画像信号に対して処理を施し、液晶モニタ230に表示するための画像データ(以下、スルー画像と称す)を生成する。また、映像処理部160は、メモリカード200に格納するための映像信号を生成する。さらに、映像処理部160は、画像信号に対してガンマ補正、ホワイトバランス補正、又は、傷補正などの映像処理を行う。映像処理部160は、後述するDFD処理も行う。
映像処理部160は、DSP(Digital Signal Processor)又はマイコンなどで実現可能である。スルー画像の解像度は、液晶モニタ230の画面解像度に設定してもよいし、JPEG(Joint Photographic Experts Group)規格に準拠した圧縮形式等により圧縮され形成される画像データの解像度に設定してもよい。
メモリ170は、映像処理部160及びコントローラ180のワークメモリとして機能する。メモリ170は、例えば、映像処理部160で処理された映像信号、若しくは、映像処理部160で処理される前のCCDイメージセンサ150から入力される画像データを一時的に蓄積する。
また、メモリ170は、撮影時における光学系110及びCCDイメージセンサ150の撮影条件を一時的に蓄積する。撮影条件とは、画角情報、ISO(International Organization for Standardization)感度、シャッタースピード、EV(Exposure Value)値、F値(絞り値)、レンズ間距離、撮影時刻、OISシフト量、フォーカスレンズ113の光学系110における位置情報等である。
さらに、メモリ170は、光学系110を交換可能とした際に、複数の光学系110に共通して使用することができるボケ信号(以下、基本ボケ信号とよぶ)を、インデックス(ボケ信号インデックス)と対応付けて格納する。ここで、基本ボケ信号のそれぞれは、ボケ形状に対応している。また、基本ボケ信号は複数あり、複数の基本ボケ信号をまとめて、基本ボケセットという。
また、メモリ170は、コントローラ180が取得した光学系110のレンズパラメータ情報を格納する。メモリ170は、例えば、DRAM(Dynamic Random Access Memory)、又は、強誘電体メモリなどで実現できる。
コントローラ180は、撮像装置100全体を制御する。コントローラ180は、半導体素子などで実現可能である。コントローラ180は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ180は、マイコンなどで実現できる。
コントローラ180は、光学系110により像が形成された被写体について、距離に関する情報を算出するように制御する。具体的には、コントローラ180は、光学系110のレンズパラメータ情報を取得する。そして、コントローラ180は、メモリ170に格納される複数枚のボケ信号と、光学系110のレンズパラメータ情報と、CCDイメージセンサ150で撮影されて得られる合焦位置の異なる複数の画像信号とに基づいて、映像処理部160にDFD処理するように制御し、距離に関する情報を算出する。距離に関する情報とは、例えば、撮像装置100から被写体までの距離である。言い換えれば、距離に関する情報とは、CCDイメージセンサ150で撮影された被写体についての、撮像装置100から見た奥行き方向の距離である。距離の基準点は任意に設定することができるが、例えば、光学系110に含まれるレンズのうち所定のレンズの位置にとる。以下では、距離に関する情報を、DFD距離情報と称する。
なお、コントローラ180は、DFD処理の制御を行う前に、予め光学系110からレンズパラメータ情報を取得しておき、メモリ170に格納してもよいし、DFD処理を制御する際に、レンズパラメータ情報を光学系110から読み出す構成にしてもよい。また、光学系110のレンズパラメータ情報すべてをメモリ170に蓄積しておくように制御してもよい。この場合、操作部材210を介して入力される使用者の操作により、メモリ170に蓄積するレンズパラメータ情報の一部を削除するようにしてもよい。
なお、レンズパラメータ情報は、これまでに装着された光学系110のレンズパラメータ情報を含むとしてもよいし、さらに、装着したことのないレンズのレンズパラメータ情報を含んでもよい。
コントローラ180は、被写体からの光をCCDイメージセンサ150に導くための光学系110に固有のレンズパラメータ情報であって、複数の基本ボケ信号のうちの一部を特定する情報を含むレンズパラメータ情報を取得し、メモリ170に保持されている複数の基本ボケ信号のうち、取得したレンズパラメータ情報により特定される複数の測距用ボケ信号に基づいて、CCDイメージセンサ150により撮像された被写体についての距離に関する情報を算出するように制御する。
カードスロット190は、機械的及び電気的にメモリカード200と接続可能であり、メモリカード200に情報を書き込み、メモリカード200から情報を読み出す。カードスロット190は、メモリカード200を着脱可能である。
メモリカード200は、フラッシュメモリ又は強誘電体メモリなどを内部に含む記録媒体である。メモリカード200は、カードスロット190に着脱可能である。
操作部材210は、レリーズボタンを含む。レリーズボタンは、使用者の押圧操作を受け付ける。レリーズボタンを半押しした場合、コントローラ180を介してAF(AutoFocus)制御及び、AE(Automatic Exposure)制御を開始する。また、使用者がレリーズボタンを全押しした場合は、被写体の撮影を行う。
ズームレバー220は、使用者からズーム倍率の変更指示を受け付ける部材である。
液晶モニタ230は、CCDイメージセンサ150で生成した画像信号、又は、メモリカード200から読み出した画像信号を表示する表示デバイスである。また、液晶モニタ230は、撮像装置100の各種の設定情報を表示可能である。例えば、液晶モニタ230は、撮影時における撮影条件である、EV値、F値、シャッタースピード、又は、ISO感度等を表示可能である。
〔1−2.静止画撮影時の動作〕
実施の形態1における撮像装置100の撮影動作を説明する。図2は、図1で説明した撮像装置100のうち、撮影動作に関する構成を中心に取り出したブロック図であり、映像処理部160とコントローラ180の構成を詳細に示している。図3Aは、DFD距離情報更新のフローチャートであり、図3Bは、撮像装置100の撮影動作のフローチャートである。
図2において、映像処理部160は、DFD処理部161を含み、コントローラ180は、計測部181、制御部182とAF処理部183を含む。
使用者が、撮像装置100の電源をオン(ON)にすると、撮像装置100は、光学系110によってCCDイメージセンサ150に結像された被写体像を、映像処理部160、コントローラ180を介して液晶モニタ230に表示する。このとき、液晶モニタ230に表示される被写体像であるスルー画像は、CCDイメージセンサ150から得られる画像データを順次表示することで実現される動画像である。撮像装置100は、CCDイメージセンサ150により得られた画像データを、所定の時間間隔であるフレームレート毎に更新して、スルー画像として液晶モニタ230に表示する。以下では、スルー画像として表示される動画像データの内の一枚を、1フレームと称する。
(S101)計測部181は、被写体像の変化量を計測し、閾値xを超えたかどうかを判定する。ここで、被写体像の変化量とは、例えば、ズームレンズ111の移動量である画角の変化量や、OIS112で補正されるブレ量や、CCDイメージセンサ150に結像される光の輝度の変化量や、操作部材210によって切り替えられるオートフォーカスの測距ポイントであるAF枠の移動量や、映像処理部160で生成される被写体像のコントラスト値の変化量等である。計測部181は、スルー画像の各フレーム間において、被写体像の変化量を検出する。具体的には、計測部181は、画角をズームレンズ111から得て画角の変化量を計測し、ブレ量を角速度センサ240から得てブレ量の変化量を計測し、輝度を映像処理部160から得て輝度の変化量を検出し、AFの枠の位置を操作部材210から得てAF枠の移動量を計測し、コントラスト値を映像処理部160から得てコントラスト値の変化量を計測する。計測部181で計測した変化量は制御部182へ通知される。
制御部182は、計測部181から通知された各種の変化量のうち、全ての変化量がそれぞれの閾値xより小さい値であった場合(Nの場合)、S101の処理に戻るように制御する。計測部181から通知された各種の変化量のうち、少なくとも1つの変化量が閾値x以上の場合(Yの場合)、S102の処理に進めるように制御する。
(S102)制御部182は、メモリ170に保持しているDFD距離情報をクリアするように制御する。
(S103)制御部182は、被写体像の変化量が安定しているか否かを判定するよう制御する。被写体像の変化量が安定しているか否かは、計測部181から通知される変化量が、所定時間内において、所定範囲内であるかどうかを確認することにより、判定することができる。制御部182は、計測部181から通知された各種の変化量のうち1つでも所定時間内において安定していないと判定した場合(Nの場合)、S103の処理に戻るように制御する。制御部182は、計測部181から通知された各種の変化量の全てが所定時間内において変化量が安定していると判定した場合(Yの場合)、S104の処理へ進むように制御する。
ここで、被写体像の変化量の一例として、AF枠の移動量について図を用いて説明する。図4は、AF枠の移動量を説明する図である。ここで、デジタルカメラ100は特定の被写体の移動に伴ってAF枠が追従して移動する、追尾AFモードで動作しているものとする。図4において、フレームF1はスルー画像における1フレームを示しており、フレームF1にはAF枠の位置が示されている。このAF枠の位置を、基準位置とする。フレームF1において、AF枠の位置は基準位置であるのでAF枠の移動量は0である。次に、フレームF2において、AF枠が基準位置から左側に移動しており、閾値x以上に移動していることを示している。次に、フレームF3において、フレームF2のAF枠の位置から左側に移動しているが、フレームF2とフレームF3の間のAF枠の移動量は、フレームF1とフレームF2の間のAF枠の移動量より少ない。最後に、フレームF4において、フレームF3のAF枠の位置から左側に移動しているが、移動は所定時間内で所定範囲内におさまっており、AF枠の移動量が安定していることを示している。AF枠の移動量が安定すると、S104のDFD処理へ進む。
(S104)制御部182は、DFD処理部161でDFD処理を行うように制御する。
ここで、被写体像の変化量が安定しているか否かを判定する理由は、使用者がピントを合わせたい被写体像を捉えているか否かを判断するためである。即ち、被写体像の変化量が安定しないときは、使用者がピントを合わせたい被写体像を捉えていない可能性が高い。そのような場合にDFD処理を行っても、後からDFD距離情報を利用する可能性が低いため、被写体像の変化量が安定するまで、DFD処理は行わない。
(S105)制御部182は、得られたDFD距離情報をメモリ170に格納するように制御し、DFD距離情報を更新する。
図3Aの動作は、撮像装置100の電源をONした後、スルー画像を表示している間、繰り返し行う。
図3Bの撮像装置100の静止画の撮影動作が開始されると、図3Aの処理はS101〜S105のいずれのステップであっても、制御部182によって中断される。使用者によってレリーズボタンが操作されると、図3Aの動作は中断される。即ち、本実施の形態における撮像装置100において、使用者がレリーズボタンを操作すると、図3Aの処理は中断され、図3Bの撮影動作が行われる。
(S111)制御部182は、使用者が、操作部材210にあるレリーズボタンを半押ししているかどうか判定する、すなわち、計測部181は、操作部材210に含まれるレリーズボタンを使用者が押しているか否か、押している場合は押している量を計測し、その結果を制御部182に通知する。制御部182は通知された結果をもとに、レリーズボタンが半押しされているか否かを判断する。レリーズボタンが半押しされていない場合(Nの場合)、制御部182は、S111の処理に戻るように制御する。レリーズボタンが半押しされている場合(Yの場合)、制御部182は、S112へ進むように制御する。
(S112)制御部182は、メモリ170にDFD距離情報が存在しているかどうかを判定する。制御部182は、DFD距離情報が存在しない場合(Nの場合)、S114へ進むように制御する。DFD距離情報が存在しない場合としては、図3Bの動作が、図3AのS102の処理でDFD距離情報がクリアされ、S105の処理でDFD距離情報が更新されるまでの間に撮影動作が開始された場合である。制御部182は、メモリ170にDFD距離情報が存在する場合(Yの場合)、S113へ進むように制御する。
(S113)制御部182はAF処理部183を制御して、メモリ170のDFD距離情報に対応したフォーカスレンズ113の位置を算出させ、フォーカスモータ140を駆動してフォーカスレンズ113を算出された位置まで移動させる。
(S114)制御部182は、AF処理部183を制御して、映像処理部160から得られる被写体像のコントラスト値が最大値になるように、フォーカスレンズ113を移動させるコントラストAF処理を行わせる。
S112において、メモリ170にDFD距離情報が存在する場合は、S114の処理を実施する時に、既にフォーカスレンズ113はコントラスト値が最大値になる位置の付近にいる可能性が高い。従って、S112の処理でメモリ170にDFD距離情報が存在しない場合に比べて、短時間でコントラストAF処理を行うことができる。
(S115)次に、制御部182は、使用者が、操作部材210にあるレリーズボタンを全押ししているかどうか判定する、すなわち、計測部181は、操作部材210に含まれるレリーズボタンを使用者が押しているか否か、押している場合は押している量を計測し、その結果を制御部182に通知する。制御部182は通知された結果をもとに、レリーズボタンが全押しされているか否かを判断する。レリーズボタンが全押しされていない場合(Nの場合)、制御部182は、S115の処理に戻るように制御する。レリーズボタンが全押しされている場合(Yの場合)、制御部182は、S116の処理に進むように制御する。
(S116)コントローラ180は、撮影動作を行うよう、光学系110及びCCDイメージセンサ150、映像処理部160を制御し、撮影した静止画をメモリカード200に記録するように制御する。
〔1−3.効果等〕
以上のように、本実施の形態における撮像装置100は、静止画撮影において、被写体像の変化量を計測し、その変化量が安定した後にDFD処理を行う。これによって、被写体像にピントが合った適切なタイミングでDFD距離情報が得られ、DFD処理を行わない場合に比べて、コントラストAF処理の速度を高速にできる。さらに、被写体像の変化量が閾値より小さい間はDFD処理を行わないため、映像処理部160、メモリ170、コントローラ180等で発生する電力消費を抑えることができる。また、DFD処理において、フォーカスレンズ113が移動することによる、液晶モニタ230に表示されるスルー画像の視認性が低下する頻度を抑えることもできる。
なお、本実施の形態では、静止画撮影時の動作として説明したが、本開示は、これには限らない。例えば、動画撮影時に、使用者の操作により、AF動作を行う場合にも、有効である。
また、本実施の形態では、スルー画像のフレーム間の変化量を検出する構成としたが、本開示はこれに限定されるものではない。複数のフレームについて、基準のフレームに対する変化量をそれぞれ検出し、全ての変化量が所定の閾値を超えた時にDFD距離情報をクリアするようにしても構わない。このとき、基準のフレームは、複数のフレームのうちの先頭のフレームとする。また、複数のフレーム全てのフレームではなく、一部のフレームに対して変化量を検出するようにしてもよい。
さらに、本実施の形態では、被写体像の変化量として、画角の変化量、ブレ量の変化量、輝度の変化量、AF枠の移動量、コントラスト値の変化量の全てを計測したが、これに限られない。これら変化量のうち、少なくとも一つの変化量を計測するようにしても構わない。
〔2.実施の形態2〕
実施の形態2では、実施の形態1で説明した撮像装置100の動画撮影動作について説明する。撮像装置100の構成は、実施の形態1で説明した図1、図2と同じ構成である。
図5A、図5B、図6Aと図6Bを用いて、実施の形態2の動画撮影動作について説明する。
〔2−1.動画撮影時の動作〕
図5Aは、撮像装置100の動画撮影のフローチャートであり、図5Bは、動画撮影時のAF制御処理のフローチャートである。使用者による操作部材210の動画撮影操作により、動画撮影が開始される。
(S201)コントローラ180は、映像処理部160で生成された映像信号をメモリカード200へ記録する記録処理を行う。
(S202)S201の記録処理と並列して、コントローラ180は、AF制御処理を実施する。
(S203)使用者の操作部材210による動画撮影の停止指示を受けて、コントローラ180は、映像処理部160で生成された映像信号のメモリカード200への記録を停止する。
次に、S202のAF制御処理の説明を、図5Bを用いて説明する。
(S211)映像処理部160より得られる、AF枠内のコントラスト値を参照し、コントラスト値が閾値y以下になっているかどうかを判定する。AF枠内のコントラスト値は、コントラストAFを行う際に用いる。AF枠内のコントラスト値が閾値yより小さい場合(Yの場合)、制御部182は、S212へ進むように制御する。AF枠内のコントラスト値が閾値y以上の場合(Nの場合)、制御部182は、S213へ進むように制御する。
(S212)制御部182は、DFD処理部161を制御して、DFD処理を行わせる。
(S213)制御部182は、AF処理部183を制御して、映像処理部160から得られる被写体像のコントラスト値が最大値になるように、フォーカスレンズ113を移動させる、コントラストAF処理を行わせる。
(S214)次に、計測部181は、被写体像の変化量を計測し、変化量が閾値zを超えたかどうかを判定する。ここでの変化量の判定は実施の形態1のS101と同じ処理である。制御部182は、計測部181から通知された各種の変化量のうち、全ての変化量がそれぞれの閾値zより小さい値であった場合(Nの場合)、S214の処理に戻るように制御する。計測部181から通知された各種の変化量のうち、少なくとも1つの変化量が閾値z以上の場合(Yの場合)、S211の処理に進めるように制御する。
ここで、被写体像の変化量が閾値zを超えるか否かを判断することで、被写体が変化していない際の不要なフォーカスレンズ113の駆動を抑制することができる。
図5Aにおいて、使用者の操作部材210による動画撮影の停止指示を受けると、図5BにおけるAF制御処理は、S211〜S214のいずれのステップを処理していても、制御部182によって中断される。
〔2−2.効果等〕
以上により、本実施の形態の撮像装置100の動画撮影動作において、AF枠内のコントラスト値が低い場合にDFD処理を行うことによって、コントラストAFが比較的苦手な大ボケ状態においてDFD距離情報が得られ、後のコントラストAF処理を滑らかに行うことができる。
即ち、コントローラ180は、DFD距離情報からフォーカスレンズ113の駆動方向および、駆動位置に関する情報を取得する。この情報に基づいてフォーカスレンズ113を駆動することにより、フォーカスレンズ113を誤った方向に駆動することを抑制することができる。また、フォーカスレンズ113を合焦点まで駆動する時間を削減することができる。
また、DFD処理は大ボケ状態の時に行われるため、DFD処理においてフォーカスレンズ113が移動することによる、記録される動画像の視認性の低下を抑えることができる。すなわち、記録された動画像を再生した際に、フォーカスレンズ113の駆動による合焦状態の変化が、使用者のピントを合わせたい被写体が大きくボケ状態であるとき以外には生じないようにすることができる。
上記のような状況が生じうる一例を、図6A、図6Bを用いて説明する。
図6Aは、液晶モニタ230に表示される、記録中の動画像の一例を示す図である。図6Bは、液晶モニタ230に表示される、記録中の動画像の別の一例を示す図である。図6Aにおいて、フォーカスレンズ113は、枠P内で合焦するような位置にある。使用者が、図6Bに示すように合焦する枠を枠Qに変更した場合、枠P内の被写体と枠Q内の被写体のフォーカスレンズ113からの距離が異なるため、枠Q内においてコントラスト値が低くなっている可能性が高い。このようなときにDFD処理を行うので、フォーカスレンズ113を駆動しても、使用者がピントを合わせたい被写体への影響は少ない。
なお、実施の形態2では、動画撮影時の動作として説明したが、本開示は、これには限らない。例えば、静止画撮影時に、自動でAF動作を行い、ピントを合わせ続けるコンティニュアスAF等のモードにおいても、有効である。
〔3.他の実施形態〕
以上のように、本開示の技術の例示として、実施の形態1、2を説明した。しかしながら、本開示は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、実施の形態1、2で説明した各構成を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
実施の形態1、2では、光学系110は撮像装置100と一体となっているが、本開示は、これには限らない。例えば、光学系110を着脱可能なレンズ交換式としても良いし、光学系110とCCDイメージセンサ150、映像処理部160が一体となっているユニット交換式としても良い。
さらに、実施の形態1、2では、撮像装置としてデジタルカメラを用いて説明したが、本開示はこれに限定されるものではない。本開示は、測距及び合焦動作が必要な、電子望遠鏡や電子顕微鏡などにも適用可能である。
本開示は、デジタルカメラや携帯電話などの撮像装置、電子顕微鏡、電子望遠鏡などに適用可能である。
100 撮像装置
110 光学系
111 ズームレンズ
112 OIS
113 フォーカスレンズ
114 メモリ
120 ズームモータ
130 OISアクチュエータ
140 フォーカスモータ
150 CCDイメージセンサ
160 映像処理部
161 DFD処理部
170 メモリ
180 コントローラ
181 計測部
182 制御部
183 AF処理部
190 カードスロット
200 メモリカード
210 操作部材
220 ズームレバー
230 液晶モニタ
240 角速度センサ

Claims (6)

  1. フォーカスレンズを含む光学系と、
    前記光学系により得られる像に基づいて画像データを生成する撮像系と、
    複数のボケ信号と前記フォーカスレンズの駆動に伴って前記撮像系から得られた合焦位置の異なる複数の画像データとに基づいて被写体距離に関するDFD(Depth from Defocus)距離情報を算出するDFD処理部と、
    前記画像データの被写体像の変化量を計測する計測部と、
    前記変化量が所定値以上であるとき、前記DFD処理部にDFD距離情報を算出させる制御部と、
    を備えた撮像装置。
  2. 前記制御部は、前記計測部が所定値以上の前記変化量を計測した後、当該変化量が所定時間内において所定範囲内である場合に、前記DFD処理部にDFD距離情報を算出させる、
    請求項1に記載の撮像装置。
  3. 画像データの所定の枠内でコントラストAF(AutoFocus)処理を行うAF処理部を更に備え、
    前記制御部は、前記フォーカスレンズを前記DFD距離情報に対応した位置まで駆動した後、前記AF処理部にコントラストAF処理を行わせる、
    請求項1に記載の撮像装置。
  4. 前記DFD距離情報を記憶するメモリと、
    画像データの所定の枠内でコントラストAF処理を行うAF処理部と、を更に備え、
    前記制御部は、
    前記変化量が所定値以上であるとき、前記メモリのDFD距離情報をクリアし、前記DFD処理部に前記DFD距離情報を算出させ、前記メモリのDFD距離情報を更新し、
    静止画撮影時に、前記メモリにDFD距離情報が格納されている場合、前記フォーカスレンズを前記DFD距離情報に対応した位置まで駆動した後、前記AF処理部にコントラストAF処理を行わせる、
    請求項1に記載の撮像装置。
  5. 前記計測部は、前記被写体像のコントラスト値の変化量、輝度の変化量、画角の変化量、ブレ量の変化量とAF枠の移動量の内、少なくとも一つの変化量を計測する、
    請求項1に記載の撮像装置。
  6. 前記計測部は、前記画像データの所定の枠内におけるコントラスト値を計測し、
    前記制御部は、動画撮影時に、前記コントラスト値が所定値以下であるとき、前記DFD処理部にDFD距離情報を算出させる、
    請求項1に記載の撮像装置。
JP2014224815A 2014-03-19 2014-11-05 撮像装置 Active JP6432038B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014224815A JP6432038B2 (ja) 2014-03-19 2014-11-05 撮像装置
US14/572,834 US10250805B2 (en) 2014-03-19 2014-12-17 Imaging device for performing DFD processing at appropriate timing

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014055936 2014-03-19
JP2014055936 2014-03-19
JP2014224815A JP6432038B2 (ja) 2014-03-19 2014-11-05 撮像装置

Publications (2)

Publication Number Publication Date
JP2015194686A true JP2015194686A (ja) 2015-11-05
JP6432038B2 JP6432038B2 (ja) 2018-12-05

Family

ID=54143310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014224815A Active JP6432038B2 (ja) 2014-03-19 2014-11-05 撮像装置

Country Status (2)

Country Link
US (1) US10250805B2 (ja)
JP (1) JP6432038B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190009104A (ko) * 2017-07-18 2019-01-28 삼성전자주식회사 렌즈의 포커스를 제어하기 위한 전자 장치 및 전자 장치 제어 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015129846A (ja) * 2014-01-07 2015-07-16 キヤノン株式会社 撮像装置およびその制御方法
JP5895270B2 (ja) * 2014-03-28 2016-03-30 パナソニックIpマネジメント株式会社 撮像装置
JP6598028B2 (ja) * 2016-02-22 2019-10-30 パナソニックIpマネジメント株式会社 撮像装置
CN108459417B (zh) * 2018-02-05 2020-06-26 华侨大学 一种单目窄带多光谱立体视觉系统及其使用方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2963990B1 (ja) * 1998-05-25 1999-10-18 京都大学長 距離計測装置及び方法並びに画像復元装置及び方法
WO2007086378A1 (ja) * 2006-01-30 2007-08-02 Olympus Corporation 合焦検出装置
JP2010062987A (ja) * 2008-09-05 2010-03-18 Fujifilm Corp 撮像装置及び方法
JP2013044844A (ja) * 2011-08-23 2013-03-04 Panasonic Corp 画像処理装置および画像処理方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5367353A (en) * 1988-02-10 1994-11-22 Nikon Corporation Operation control device for a camera
JP2005136727A (ja) 2003-10-30 2005-05-26 Canon Inc 電子カメラ装置、電子カメラ装置の制御方法、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体
JP2007139893A (ja) 2005-11-15 2007-06-07 Olympus Corp 合焦検出装置
JP4655054B2 (ja) * 2007-02-26 2011-03-23 富士フイルム株式会社 撮像装置
US8274596B2 (en) * 2008-04-30 2012-09-25 Motorola Mobility Llc Method and apparatus for motion detection in auto-focus applications
US8218061B2 (en) * 2008-09-04 2012-07-10 Csr Technology Inc. Apparatus, method, and manufacture for iterative auto-focus using depth-from-defocus
JP5178553B2 (ja) 2009-01-27 2013-04-10 オリンパス株式会社 撮像装置
US8964103B2 (en) * 2010-02-16 2015-02-24 Blackberry Limited Method and apparatus for reducing continuous autofocus power consumption
US8615123B2 (en) * 2010-09-15 2013-12-24 Identicoin, Inc. Coin identification method and apparatus
JP5934929B2 (ja) * 2011-05-27 2016-06-15 パナソニックIpマネジメント株式会社 画像処理装置および画像処理方法
TWI525505B (zh) * 2011-12-06 2016-03-11 緯創資通股份有限公司 無邊框光學觸控裝置及用於無邊框光學觸控裝置之影像處理方法
CN104137529B (zh) * 2012-02-13 2018-05-01 诺基亚技术有限公司 用于数字摄影的焦点、曝光和白平衡的增强型自动调节的方法和装置
JP6202927B2 (ja) * 2012-08-31 2017-09-27 キヤノン株式会社 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法
KR101979803B1 (ko) * 2013-01-02 2019-05-17 삼성전자주식회사 고속 연사 가능한 디지털 촬영장치 및 그 제어방법
JP6214236B2 (ja) * 2013-03-05 2017-10-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2015036632A (ja) * 2013-08-12 2015-02-23 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法
JP2015041988A (ja) * 2013-08-23 2015-03-02 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
US9582887B2 (en) * 2013-10-09 2017-02-28 Sony Corporation Methods and apparatus for determining field of view dependent depth map correction values
TWI524108B (zh) * 2014-04-24 2016-03-01 瑞昱半導體股份有限公司 被動式自動對焦裝置與方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2963990B1 (ja) * 1998-05-25 1999-10-18 京都大学長 距離計測装置及び方法並びに画像復元装置及び方法
WO2007086378A1 (ja) * 2006-01-30 2007-08-02 Olympus Corporation 合焦検出装置
JP2010062987A (ja) * 2008-09-05 2010-03-18 Fujifilm Corp 撮像装置及び方法
JP2013044844A (ja) * 2011-08-23 2013-03-04 Panasonic Corp 画像処理装置および画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190009104A (ko) * 2017-07-18 2019-01-28 삼성전자주식회사 렌즈의 포커스를 제어하기 위한 전자 장치 및 전자 장치 제어 방법
KR102382871B1 (ko) 2017-07-18 2022-04-05 삼성전자주식회사 렌즈의 포커스를 제어하기 위한 전자 장치 및 전자 장치 제어 방법

Also Published As

Publication number Publication date
JP6432038B2 (ja) 2018-12-05
US20150271475A1 (en) 2015-09-24
US10250805B2 (en) 2019-04-02

Similar Documents

Publication Publication Date Title
JP6700872B2 (ja) 像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
US9998650B2 (en) Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map
JP5895270B2 (ja) 撮像装置
JP2016072965A (ja) 撮像装置
JP6432038B2 (ja) 撮像装置
US20150326772A1 (en) Image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
JP2017211487A (ja) 撮像装置及び自動焦点調節方法
JP2012060371A (ja) 撮像システムおよび画素信号読出し方法
JP2015230414A (ja) 撮像装置、制御方法およびプログラム
US20160275657A1 (en) Imaging apparatus, image processing apparatus and method of processing image
JP2011239131A (ja) 撮像装置
JP6326631B2 (ja) 撮像装置
JP6040422B2 (ja) 撮像装置
WO2013069279A1 (ja) 撮像装置
US10917556B2 (en) Imaging apparatus
JP2016118636A (ja) 撮像装置及びその制御方法
JP6136019B2 (ja) 動画像撮影装置、および、動画像撮影装置の合焦方法
JP6032967B2 (ja) 撮像装置、レンズ装置および撮像装置の制御方法
JP5215818B2 (ja) 撮像装置及びその制御方法及びプログラム
JP2014134697A (ja) 撮像装置
JP2008158028A (ja) 電子スチルカメラ
JP2008141675A (ja) 撮像装置及びその制御方法
JP6089232B2 (ja) 撮像装置
JP2007199668A (ja) 撮像装置、撮像装置の制御方法および制御プログラム
JP2012054919A (ja) 撮像装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20160520

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181008

R151 Written notification of patent or utility model registration

Ref document number: 6432038

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151