JP2015022085A - 撮像装置、撮像方法および撮像システム - Google Patents

撮像装置、撮像方法および撮像システム Download PDF

Info

Publication number
JP2015022085A
JP2015022085A JP2013149025A JP2013149025A JP2015022085A JP 2015022085 A JP2015022085 A JP 2015022085A JP 2013149025 A JP2013149025 A JP 2013149025A JP 2013149025 A JP2013149025 A JP 2013149025A JP 2015022085 A JP2015022085 A JP 2015022085A
Authority
JP
Japan
Prior art keywords
lens
focus
effective
focusing
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013149025A
Other languages
English (en)
Other versions
JP6072632B2 (ja
Inventor
媛 李
En Ri
媛 李
三好 雅則
Masanori Miyoshi
雅則 三好
友明 西口
Tomoaki Nishiguchi
友明 西口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Industry and Control Solutions Co Ltd
Original Assignee
Hitachi Industry and Control Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Industry and Control Solutions Co Ltd filed Critical Hitachi Industry and Control Solutions Co Ltd
Priority to JP2013149025A priority Critical patent/JP6072632B2/ja
Priority to US14/311,685 priority patent/US9282236B2/en
Priority to CN201410330933.7A priority patent/CN104301603B/zh
Publication of JP2015022085A publication Critical patent/JP2015022085A/ja
Application granted granted Critical
Publication of JP6072632B2 publication Critical patent/JP6072632B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

【課題】本発明は、レンズ移動可能の範囲から合焦に適切なレンズ位置範囲を選別し、精度よく高速に合焦できる撮像装置、撮像方法および撮像システムを実現することを目的とする。【解決手段】フォーカス制御を行う撮像装置において、被写体像を映像信号に変換する信号変換処理部と、信号変換処理部から出力される映像信号を取得する画像取得部と、画像取得部で取得した撮像画面に評価値算出エリアとなる合焦エリアを設定する合焦エリア設定部と、レンズを移動させながら各レンズ位置毎に合焦エリアの画像における有効符号密度を求め、有効符号密度に基づいてレンズの位置が合焦に適した有効範囲か否かを判定する有効範囲選別部と、有効範囲選別部においてレンズの位置が有効範囲に位置すると判断する場合には、レンズ位置における合焦度を求める合焦度算出部と、を備えることを特徴とする。【選択図】 図1

Description

本発明は、撮像装置、撮像方法および撮像システムに関するものである。
オートフォーカスとは、カメラの合焦(ピント合わせ)を自動化する機能である。
オートフォーカスは、大きく分けて,二つのステップからなる制御動作によって行われる。
まず、ステップ1にて,合焦を判断するための合焦エリアにおける合焦度の計測を行う。
次に、ステップ2では、ステップ1で計測された合焦度を用いて、合焦度が最大値になる合焦位置の探索が行われる。従来より、山登り探索が多く用いられている。この探索方法は、合焦度が所定の閾値レベル以上のレンズ位置の領域を決め、その範囲から、合焦度の値の勾配が増加する方向へレンズを移動する方法が採られている。そして、ピーク付近で細かく探索し、ピークになるレンズ位置を探索する。
本技術分野の背景技術として、特開2009-42621(特許文献1)には、「被写体像を電気信号に変換する撮像手段と、撮像手段から出力される信号から算出され、画像の鮮鋭度を示す評価値に基づきレンズの焦点位置を調節する焦点調節機構を有する。撮像画面に評価値算出エリアとなるフォーカスエリアを設定するフォーカスエリア設定手段と、レンズを焦点調節の範囲内で移動させるレンズ移動手段と、レンズ移動手段により移動されるレンズ位置毎に評価値を算出する評価値算出手段と、を備え、レンズを移動させながら各レンズ位置で評価値を取得する評価値取得動作を近距離側から開始し、評価値が所定の閾値以上となるレンズ位置で撮影を行う。」と記載されている。
特開2009−42621号公報
前記特許文献1に記載のオートフォーカス制御では、以下の問題点がある。
まず、低照度の場合などのコントラストの値が低い撮像環境では、合焦度の値がノイズの影響を受けやすく、ノイズによって本来のピークの位置を誤認してしまう場合がある。このため、レンズ位置を適切な合焦位置に制御することが出来ず、被写体がピンボケになってしまう。
そこで本発明は、レンズ移動可能の範囲から合焦に適切なレンズ位置範囲を選別し、精度よく合焦できる撮像装置、撮像方法および撮像システムを実現することを目的とする。
上記課題を解決するために、本発明は、フォーカス制御を行う撮像装置において、
被写体像を映像信号に変換する信号変換処理部と、信号変換処理部から出力される映像信号を取得する画像取得部と、画像取得部で取得した撮像画面に評価値算出エリアとなる合焦エリアを設定する合焦エリア設定部と、レンズを移動させながら各レンズ位置毎に合焦エリアの画像における有効符号密度を求め、有効符号密度に基づいてレンズの位置が合焦に適した有効範囲か否かを判定する有効範囲選別部と、有効範囲選別部においてレンズの位置が有効範囲に位置すると判断する場合には、レンズ位置における合焦度を求める合焦度算出部と、を備えることを特徴とする。
本発明は、レンズ移動可能の範囲から合焦に適切なレンズ位置範囲を選別し、精度よく合焦できる撮像装置、撮像方法および撮像システムを実現することができる。
本実施例の撮像装置の構成図の例である。 本実施例の合焦エリア設定部で行われる画像処理について説明する図である。 合焦位置が48stepである場合のカメラのレンズの移動可能範囲における合焦度、移動範囲可能範囲における(1)有効範囲および(2)無効範囲、および任意のレンズ位置における取得画像の例を示す図である。 任意の評価領域(x,y)のうち、任意の画素P(x,y)を方向符号化する例を示している。 有効符号、無効符号に基づいた方向符号画像である。 レンズの移動可能範囲に対して,評価領域における局所領域内の有効符号密度をプロットしたものである。 合焦度算出部において求められた評価領域の合焦度および統計合焦度を説明する図である。 黄金分割法を用いた最大値の探索方法を説明した図である。 本実施例における処理フローを示している。 実施例2に係る発明を搭載した監視システムを示す。
以下、実施例を図面を用いて説明する。
本実施例では、撮像装置の例を説明する。
図1は、本実施例の撮像装置の構成図の例である。
撮像装置は、カメラ信号処理部10、レンズユニット11、撮像素子12、ノイズ除去部13、A/D変換部14、レンズ制御部17、モータドライバ部18を有する。
レンズユニット11は、レンズ20とレンズ20を駆動させるモータ19を有し、レンズ20を駆動させることによりフォーカス制御を行っている。
レンズ20から入射された画像は撮像素子12に入力され、受光面に結像された被写体の光学像を光電変換し、得られた撮像信号をノイズ除去部13に送出する。その後、ノイズ除去部13において所定のノイズ除去処理が施され、A/D変換部11においてデジタル変換された後、デジタル撮像信号としてカメラ信号処理部10に与えられる。
カメラ信号処理部10は、信号変換処理部15および画像処理部16を有している。信号変換処理部15は、供給されるデジタル撮像信号に対して所定の信号処理を施すことにより、デジタル撮像信号を例えばNTSC(National Television Standards Committee)規格やPAL(Phase Alternating Line)規格等に準拠した標準的な信号形式の映像信号に変換して外部または画像処理部16に出力される。
画像処理部16は、画像取得部16A、合焦エリア設定部16B、有効範囲選別部16Cおよび合焦度算出部16Dから構成される。
画像取得部16Aは、監視カメラなどの撮像デバイスであり、カメラで撮影された画像を取り込み、映像信号を合焦エリア設定部16Bへ入力する。
合焦エリア設定部16Bは、入力されたカメラの画像映像信号の領域から、合焦を評価するための評価領域を設定し、その評価領域の画像情報を有効範囲選別部16Cおよび、合焦度算出部16Dへ出力する。
有効範囲選別部16Cは、合焦エリア設定部16Bから得られる合焦エリアの情報および画像取得部16Aから得られる画像情報を用いて、現在のレンズ位置が、合焦に適しているか(以下、有効範囲と称する)又は合焦に適していないか(以下、無効範囲と称する)を判断する。この判断方法についての詳細は後述する。判断結果は、合焦度算出部16Dまたは/およびレンズ制御部17へ出力される。
合焦度算出部16Dは、合焦エリア設定部16Bで設定される合焦エリアの画像情報に基づいて、カメラで撮影された画像の合焦度を計測する。計測された合焦度は、レンズ制御部17へ出力される。
レンズ制御部17は、有効範囲選別部16Cから入力される有効範囲および無効範囲の情報と、合焦度算出部16Dから入力される合焦度の結果に基づいて、レンズ位置の制御を行う。詳細は後述するが、具体的には、現在のレンズ位置が有効範囲ではない場合は、合焦度を求めずにレンズを移動させ、レンズ位置が有効範囲にある場合は、有効範囲内で合焦度の最大値を探索し、レンズを合焦位置に移動させる。本構成を採用することにより、レンズ移動可能の範囲から合焦に適切なレンズ位置範囲を選別し、精度よく合焦できるとともに、合焦位置決定のための制御をより高速に行うことができる。なお、レンズ位置が有効範囲にない場合にも合焦度を求める構成としてもよい。
レンズ制御部17から出力されるレンズ制御指令は、モータドライバ18に出力され、モータドライバ18は、レンズ制御指令に基づき、レンズ20を駆動するモータ19を駆動させ、フォーカス制御を行う。
以下、画像処理部16に設けられている、画像取得部16A、合焦エリア設定部16B、有効範囲判断部16Cおよび合焦度算出部16Dについて、詳細に説明する。
まず、合焦エリア設定部16Bについて、図2および適宜図1を用いて説明する。
図2は、本実施例の合焦エリア設定部16Bで行われる画像処理について説明する図である。
図2(a)は、画像取得部16Aから取得された画像20のうち、合焦エリア21およびサンプリング点22(三角形を付した点)を示している。図2(b)は、サンプリング点22のうち各種手法を用いて選別した評価点23を示している。図2(c)は、選別した評価点23を中心として設定される評価領域24を示している。
合焦エリア設定部16Bでは、まず、図2(a)に示すように、画像入力部10で取得された画像20が入力され、合焦を行う場合に用いる合焦エリア21を設定する。この合焦エリア21は任意に設定することが可能である。そして、合焦エリア21のうち、サンプリング点22を設定する。サンプリング点22の設定方法としては、例えば図2(a)に示すように、合焦エリア21において格子状にサンプリング点22を設定することができる。なお、サンプリング点22の設定はこの方法に限らない。
次に、図2(b)に示すように、サンプリング点22のうち、取得された画像20の合焦評価に用いる評価点23を設定する。ここで、評価点23を設定する手法として、sobel手法による画像上被写体のエッジ情報を用いて設定することが考えられる。以下、sobel手法による評価点23の設定について説明する。
まず、式(1)より画像をサンプリングし処理画像20を設定する。
ここで,(H×L)は、x、y方向の画像のサイズである。(x,y)は、サンプリングされた画素の位置情報である。Sxは、サンプリングされた処理画像20のx方向のサンプリング幅であり,Sxは、サンプリングされた処理画像30のy方向のサンプリング幅である。(a,b)は、x、y方向のサンプリング幅の個数である。このようにサンプリング点22を設定することで、合焦評価における計算コスト低減が可能となる。
次に、サンプリング点22のうち、式(3)および式(4)を用いて画像から合焦評価に有効な評価点23を抽出する。
ここで、hxは水平方向フィルタである。hyは垂直方向フィルタである。この二つのフィルタを用いて,局所積和演算でエッジの強度hxyを求める。
数式2で求めたエッジの強度は、数式3を用いて、しきい値(Threshold)を超えた場合は,評価点23として選択する。このように、数式2および数式3を用いることで、エッジ強度が大きい部分を評価点23として抽出することが出来る。エッジ強度が大きい評価点を選択することで、非合焦から合焦に変化した際にその変化が認識しやすいというメリットがある。
なお、合焦エリア設定部16Bにおける、エリア設定の方法は上述のSobel手法に限らず、例えば、画像全部の領域をエリアとして設定することもできる。また、画像の中心を被写体が存在すると予測し、中心の領域として設定することも可能である。また、現在多くのカメラで利用されている、9点、5点評価点の設定方法も考えられる。
続いて、図2(c)は、設定された評価点23に基づいて、評価点23を中心として設定される評価領域24を示したものである。評価領域24は、評価点23を中心として任意の画素数からなる領域である。設定された評価領域24の情報は、合焦度算出部16Dに出力される。
なお、合焦度を算出するにあたり、合焦エリア21の画像情報を用いてもよいし、1箇所または複数箇所の評価領域24の画像情報を用いることも可能である。
次に、有効範囲選別部16Cについて説明する。
まず図3を用いて、カメラレンズの移動可能範囲内における、合焦に適した有効範囲と合焦に適さない無効範囲について説明する。
図3は、合焦位置が48stepである場合のカメラのレンズの移動可能範囲における合焦度、移動範囲可能範囲における(1)有効範囲および(2)無効範囲、および任意のレンズ位置における取得画像20の例を示す図である。
図3に示すように、レンズの移動可能範囲は、以下の二つの範囲に大別できる。
(1)有効範囲:有効範囲は、画像のエッジ情報がある程度存在する範囲を指す。ここでは、有効範囲が0step〜141stepの例を示す。レンズがNear位置から合焦位置までに位置する場合は、合焦度が増加傾向にあり、画像は非合焦状態から合焦状態になる。取得画像20が、0stepにおける取得画像20ではややぼける状態であって、48stepにおける取得画像20では合焦状態にあることからも明らかである。次に、合焦位置(48step)では、合焦度が最大値に到達する。続いて、合焦位置からFar方向に移動すると,合焦度が減少傾向にあるため、画像は合焦状態から再びぼける状態に戻る。48stepでは取得画像20が合焦状態にあるが、149stepの取得画像20では非合焦状態にあることからも明らかである。
(2)無効範囲:無効範囲は,合焦位置(図4における48step)が存在しない範囲であり,エッジ情報が少ない範囲を指している。無効範囲では、レンズがfarに近づくと、画像は更にぼける。48stepにおける取得画像20では合焦状態にあるのに対し、148stepから262stepに進むにつれ、取得画像20がぼける状態になることからも明らかである。
ところで、前述したように、低照度等のコントラストの値が低い撮像環境では、合焦度の値がノイズの影響を受けやすいため、本来のピークの位置でないレンズ位置で合焦度が高くなり、合焦位置を誤認してしまう場合がある。例えば、図5における155step付近のピークがその一例である。また、ピントがぼけている画像では,エッジなどの情報量が減少するために、合焦評価する画素とその近傍画素の明度変化の方向の変化がなくなり,合焦度が全体的に高くなってしまう場合がある。この場合、従来の合焦探索手法では,レンズをレンズ移動可能範囲で移動させ、レンズ位置毎に合焦度を算出して合焦度の最大値を探索するために、無効範囲内に存在するノイズを合焦位置におけるピークとして誤って認識してしまう場合や、合焦位置を適切に探索できない場合がある。
そこで本実施例では、上述のようなピークを誤って合焦位置として認識することを防ぐために、レンズの位置が有効範囲にあるか否かを判定し、有効範囲にある場合にはレンズ位置のフォーカス制御を行う。本構成により、無効範囲において高い合焦度が存在する場合でも、有効範囲の合焦度を参照して合焦位置の探索を行う構成とするので、レンズの合焦位置の誤認識を防ぎ、レンズ移動可能の範囲から合焦に適切なレンズ位置範囲を選別し、精度よく合焦できる。
また、有効範囲にある場合には、合焦値を求めて合焦度の最大値を探索し、無効範囲にある場合には合焦度を求めない構成を採用することで、レンズの合焦位置の誤認識を防ぐとともに、合焦までの時間の短縮を図ることが出来る。
以下、有効範囲選別部16Cにおいて、有効範囲と無効範囲を認定する方法について説明する。有効範囲と無効範囲の認定にあたっては、有効範囲では画像のエッジ情報が多く存在するが、無効範囲では画像のエッジ情報が損失するという特徴を用いて認定する。具体的には、合焦エリア設定部11で求めた評価領域24のエッジ情報を定量的に評価することが考えられる。
ところで、エッジ情報を定量的に評価する場合に、エッジの輝度勾配を用いた方法が多く用いられる。しかし,輝度勾配は画素の明度変化の強さを計測するものであるので、照明によって変動し、特に低照度環境下では適切ではない。
そこで本実施例では、輝度自体ではなく、任意の画素と任意の画素の近傍画素との明度変化が最大となる輝度勾配方向を量子化した「方向符号」を用いて、エッジ情報を定量的に評価する。方向符号を用いることにより、照度が変動してもエッジ情報の定量化において影響を受けにくいという特徴を有する。
以下、有効範囲選別部16Cで求める方向符号について、図4を用いて簡単に説明する。
図4は、任意の評価領域40(x,y)のうち、任意の画素P(x,y)41を方向符号化する例を示している。
図4(a)は、任意の評価領域40(x,y)のうち、任意の画素P(x,y)41を中心とし、近傍3×3の9画素を局所領域42として設定した図である。
図4(b)は、任意の画素P(x,y)41を中心とした近傍3×3の9画素の局所領域42を示している。
図4(c)は、局所領域42の各画素における輝度値を示したものである。輝度勾配方向43は、中心画素41と中心画素41の近傍画素44との輝度差分の方向および大きさを表したものであり、図4(c)において求められる輝度差分のうち、輝度差分の大きさが最大となる輝度勾配方向である。この輝度勾配方向43を量子化したものが方向符号として求められる(図4(e))。
図4(d)は、方向符号を求める際に用いる方向符号チャート45を示している。方向符号は、時計が一回りすると12時から0時に進むのと同様に巡回的に定義され、方向符号i (i=0,1,...,N)に変換される。ここではN=16の例を示している。図4(c)に示した輝度差分方向43を方向符号化すると、図4(d)に示すi=14に変換される。方向符号は、各画素ごとに求められる。
各画素において定義される方向符号iのうち、画素近傍の輝度差分が閾値より小さいとしてN(本実施例ではN=16)に方向符号化される符号を「無効符号」とする。一方、その他の輝度変化の輝度勾配方向を表した方向符号i(i=0, 1,...,N-1) (本実施例ではi=0,1、・・・15)を「有効符号」と呼ぶことにする。有効符号に符号化された画素は、輝度差分が閾値より大きいことから、エッジ情報量が多い場合であることが分かる。一方、無効符号は、画素近傍のコントラストが閾値より低い、すなわち、エッジ情報量が少ないことがわかる。
以上の方向符号化の処理を、評価領域40の画素について行い、各画素毎に有効符号、無効符号の設定を行う。
図5は,図4の手法を用いて各画素毎に求められた有効符号、無効符号に基づいた方向符号画像である。図5(a)は、合焦状態における合焦画像50および合焦画像50の方向符号画像51、図5(b)は、非合焦状態における非合焦画像52および非合焦画像52の方向符号画像53を示したものである。
方向符号画像51、53では、白い画素は、方向符号のうちNに符号化された無効符号を表している。一方、黒い画素は、有効符号を表している。方向符号画像51と方向符号画像53とを比較すると、合焦画像51のほうが非合焦画像52よりも画素領域に対する有効符号(黒い画素)の割合が高いことが分かる。すなわち、有効符号の割合が大きい場合は,この領域内合焦判断に利用できるエッジ情報量が多く、合焦に適した状態にあると判断することが出来る。一方,有効符号の割合が小さい場合は,この領域内合焦判断に利用できるエッジ情報量が少ないため、合焦に適さない非合焦状態にあることがわかる。このように、本実施例では、画素毎に有効符号または無効符号を設定することで、低照度下においても画像のエッジ情報量を適切に認識することが可能になる。
エッジ情報量を定量的に評価するため,本実施例の一例として局所領域内に有効符号の密度を評価する。有効符号の密度ρxyは、式(5)より定義することができる。ここでは,Mは評価領域50の総ピクセル数、hxy(N)は無効符号と判断された画素の出現頻度である。
式(5)では無効符号の出現頻度をカウントすることにより、有効符号密度ρxyを求めているが、これは有効符号の出現頻度が高い場合に、処理時間の短縮化が期待できるためである。なお、直接有効符号の出現頻度を求めることにより、有効符号密度ρxyを求めてもよい。このように、有効符号密度ρxyを用いることにより、評価領域の大きさに寄らずエッジ情報を定量的に評価することができる。
なお、予め決めた評価領域の大きさである場合には、有効符号密度ρxyに代えて、有効符号または無効符合の絶対値を用いてもよい。
図6は,レンズの移動可能範囲に対して,式(5)に基づいて求めた評価領域における局所領域内の有効符号密度をプロットしたものである。
無効範囲または有効範囲の判断は、有効符号密度に閾値を設定し、この閾値よりも有効符号密度が大きいレンズ位置範囲は有効範囲、一方、小さいレンズ位置範囲は無効範囲と判定する。これらの判定に際しては、レンズのNearまたはFar両端からそれぞれ判断を行う。
ここで,Thresholdは有効符号密度の閾値である。
このように、合焦に適した有効範囲が判定された場合には、レンズ制御部17および合焦度算出部16Dへ出力される。有効範囲または無効範囲の判断に当たって用いる有効符号密度は、複数の評価領域の統計値を用いてもよいし、任意の評価領域の有効符号密度を用いてもよい。
図7は、合焦度算出部16Dにおいて求められた評価領域24の合焦度および統計合焦度を説明する図である。
合焦度算出部16Dは、合焦エリア設定部16Bからの合焦エリアの情報と、後述する有効範囲選別部16Cからの有効範囲選別結果が入力される。有効範囲であると判定された場合には、以下のように合焦値を求める。
図7(a)は、合焦エリア設定部11で設定された評価点23のうち、任意の評価領域である評価領域3点(以下の説明では、評価領域1〜3と称する)のそれぞれの合焦度70〜72を示している。図7(b)は、評価領域1〜3におけるそれぞれの合焦度70〜72の統計合焦度33を示している。統計合焦度73は、合焦度算出部13において、合焦度70〜72から数式3に基づいて求める。式(7)では、合焦度70〜72における全ての評価領域の合焦度の平均値を取ることによって代表値を計算する。
このように求められた統計合焦度73は、レンズ制御部17に出力される。
レンズ制御部17は、有効範囲選別部16Cで求められた有効範囲において、合焦度算出部16Dで計測された合焦値を用いて合焦値の最大値を探索する。一方、有効範囲選別部16Cで無効範囲と求められた場合は、合焦値を求めることなくレンズを移動させる。なお、無効範囲と求められた場合、合焦値を求めレンズを移動させる構成としてもよい。
この最大値に達したレンズの位置は合焦位置として出力する。レンズ制御部14は、山登り算出手法や、単純な合焦度の最大値を探索する手法も利用できる。
なお、従来の山登り手法は、低照度の場合は、局所最大値を合焦位置として認識する可能性があった。この問題を解決するため、擬似山にロバストかつ,探索回数が安定する黄金分割法を利用することが考えられる。黄金分割法は,山登り手法と異なり勾配の増加を利用せず、合焦値のみを用いて探索方向を決める方法である。そして、黄金比を用いて,探索領域を狭めていくことで最大値を求める。ここで、「黄金比」は1:1.61803(((√5-1))/2)とし、この比率を内分点で分けると0.38197:0.61803と表すことができる。そのため、この方法は、局所での値の微小な変動にロバストであり、探索領域から最大値を探索できる。また,探索範囲が決めれば,同じ探索位置に到達することが特徴を持つ。
図8は、黄金分割法を用いた最大値の探索方法を説明した図である。
ステップ1:aはNearから絞り込んだ有効領域の開始位置,bをFarから絞り込んだ有効領域の終了位置を指定し,τ=0.61803>0を定める。
ステップ2:p =b-τ(b-a) q =a+τ(b-a) とおき,p, qの位置での合焦度AF(p), AF(q)を計算する。
ステップ3:b-a<εならば終了する。
ステップ4: AF(p)>AF(q) であれば,a=p ,p=q,q=a+τ(b-a)
AF(p)<AF(q) であれば,b=q ,q=p,p=b-τ(b-a)
AF(x)は合焦度の算出手法
ステップ3で終了するまで,ステップ1からステップ4を繰り返すことで,最大値を得ることができる。
図9は、本実施例における処理フローを示している。
まず、画像取得部10において、撮像装置が取得した画像を入力する(S90)。
次に、合焦エリア設定部11において、合焦を評価する合焦エリアを設定する(S91)。そして、有効範囲選別部16において、合焦エリアの画像に対して、有効符号密度を求める(S92)。有効範囲選別部16では、S92で求めた有効符号密度が、閾値以上か否かを判断する(S93)。
密度が閾値以上の場合は、現時点でのレンズ位置は有効範囲であると考えられる(S93のYes)ため、合焦度算出部16Dにおいて合焦度を求め(S94)、求めた合焦度が最大値であるか否かを判断する(S96)。最大値の場合は、合焦位置が求められたとして制御を終了する。一方、最大値でない場合は、レンズを移動させ(S95)、再びS90から処理を繰り返す。
密度が閾値以下の場合は、現時点でのレンズ位置は無効範囲であると考えられる(S93のNo)ため、合焦に適切なレンズ位置ではないことが分かる。よって、レンズをさらに移動させる(S95)。このように、レンズ位置が無効範囲にある場合には、合焦度の算出を行わずにレンズを移動させるようにすることで、合焦までの処理時間を短縮することができる。なお、無効範囲においても合焦度を算出しても構わない。
従来技術においては、レンズ位置の有効範囲または無効範囲を判定することなく、合焦度に基づいたフォーカスレンズ位置を求めていたため、レンズ位置を精度よく合焦求めることが出来なかった。また、レンズ移動可能範囲内全てで合焦度を算出する構成を採用しているため、合焦までに時間を要していた。一方、本発明では、レンズ位置が有効範囲または無効範囲にあるかを求めることにより、レンズ合焦位置を精度よく求めることができる。また、有効範囲と判定されたレンズ位置においては合焦度を算出し、無効範囲と判定されたレンズ位置においては合焦度を算出しない構成を有することにより、合焦までのレンズ制御時間を短くすることが可能となる。
また本実施例は、特に、ノイズなどに影響を受けた合焦値が得られる低照度等の状況下において、合焦位置を適切得られ、処理時間、コストを削減できる点で効果を有する。よって、低照度状況下にあると判断される場合に本実施例を採用することが考えられるが、低照度下以外の状況下においても本発明を採用することは可能である。
実施例1では、カメラ信号処理部10が撮像装置内に設けられている例を示したが、図10に示すようなネットワークを介して接続される管理装置101等にカメラ信号処理部10設けることも可能である。
図10は、実施例2に係る発明を搭載した監視システムを示す。以下、図1と同様の構成については説明を省略する。複数の撮像装置100はネットワークを介して監視装置101に接続されている。管理装置101にはカメラ信号処理部102が設けられており、本構成を採用することにより、本発明に係るカメラ信号処理部101を撮像装置100に新たに設けることなく、監視装置101に設けることで本発明を実施することが出来る。
10 カメラ信号処理部
11 レンズユニット
12 撮像素子
13 ノイズ除去部
14 A/D部
15 信号変換処理部
16 画像処理部
16A 画像取得部
16B 合焦エリア設定部
16C 有効範囲選別部
16D 合焦度算出部
17 レンズ制御部
18 モータドライバ
19 モータ
20 レンズ

Claims (8)

  1. フォーカス制御を行う撮像装置において、
    被写体像を映像信号に変換する信号変換処理部と、
    前記信号変換処理部から出力される映像信号を取得する画像取得部と、
    前記画像取得部で取得した撮像画面に評価値算出エリアとなる合焦エリアを設定する合焦エリア設定部と、
    レンズを移動させながら各レンズ位置毎に前記合焦エリアの画像における有効符号密度を求め、前記有効符号密度に基づいて前記レンズの位置が合焦に適した有効範囲か否かを判定する有効範囲選別部と、
    前記有効範囲選別部において前記レンズの位置が前記有効範囲に位置すると判断する場合には、前記レンズ位置における合焦度を求める合焦度算出部と、
    前記合焦度に基づいて前記レンズ位置の制御を行うレンズ制御部と、
    を備えることを特徴とする撮像装置。
  2. 請求項1に記載の撮像装置において、
    前記合焦度算出部は、前記有効範囲判断部においてレンズの位置が前記有効範囲以外に位置すると判断する場合には、前記レンズ位置における合焦度を求めないことを特徴とする撮像装置。
  3. 請求項1または2に記載の撮像装置において、
    前記有効範囲選別部は、前記有効符号密度に変えて有効符号の大きさに基づいて前記レンズの位置が合焦に適した有効範囲か否かを判定することを特徴とする撮像装置。
  4. 請求項1〜3のいずれかに記載の撮像装置において、
    前記有効符号密度は、任意の画素と任意の画素の近傍画素との明度変化が最大となる輝度勾配方向を量子化した方向符号のうち、前記任意の画素と前記任意の画素の近傍画素との輝度差分が閾値より大きい符号を有効符号とし、前記合焦エリアにおける前記有効符号の密度の値であることを特徴とする撮像装置。
  5. 請求項1〜4のいずれかに記載の撮像装置において、
    前記合焦度算出部において前記合焦度に基づいて合焦位置を求める場合に、黄金分割法を用いることを特徴とする撮像装置。
  6. フォーカス制御を行う撮像装置において、
    被写体像を映像信号に変換する信号変換処理部と、
    前記信号変換処理部から出力される映像信号を取得する画像取得部と、
    前記画像取得部で取得した撮像画面に評価値算出エリアとなる合焦エリアを設定する合焦エリア設定部と、
    レンズを移動させながら各レンズ位置毎に前記合焦エリアの画像における有効符号密度を求め、前記有効符号密度に基づいて前記レンズの位置が合焦に適した第一の範囲にあるか否かを判定する有効範囲選別部と、
    前記有効範囲選別部において前記レンズの位置が前記第一の範囲に位置すると判断する場合には、前記レンズ位置における合焦度を求める合焦度算出部と、
    前記合焦度に基づいて前記レンズ位置の制御を行うレンズ制御部と、
    を備えることを特徴とする撮像装置。
  7. フォーカス制御を行う撮像方法において、
    被写体像を映像信号に変換するステップと、
    前記映像信号に基づいて取得した撮像画面に評価値算出エリアとなる合焦エリアを設定するステップと、
    レンズを移動させながら各レンズ位置毎に前記合焦エリアの画像における有効符号密度を求め、前記有効符号密度に基づいて前記レンズの位置が合焦に適した有効範囲か否かを判定するステップと、
    前記レンズの位置が前記有効範囲に位置すると判断する場合には、前記レンズ位置における合焦値を求めるステップと、
    を有することを特徴とする撮像方法。
  8. 監視エリア内を撮像する撮像装置と、
    被写体像を映像信号に変換する信号変換処理部と、
    前記信号変換処理部から出力される映像信号を取得する画像取得部と、
    前記画像取得部で取得した撮像画面に評価値算出エリアとなる合焦エリアを設定する合焦エリア設定部と、
    レンズを移動させながら各レンズ位置毎に前記合焦エリアの画像における有効符号密度を求め、前記有効符号密度に基づいて前記レンズの位置が合焦に適した有効範囲か否かを判定する有効範囲判断部と、
    前記有効範囲判断部において前記レンズの位置が前記有効範囲に位置すると判断する場合には、前記レンズ位置における合焦値を求める合焦度算出部と、
    を備えることを特徴とする撮像システム。
JP2013149025A 2013-07-18 2013-07-18 撮像装置、撮像方法および撮像システム Expired - Fee Related JP6072632B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013149025A JP6072632B2 (ja) 2013-07-18 2013-07-18 撮像装置、撮像方法および撮像システム
US14/311,685 US9282236B2 (en) 2013-07-18 2014-06-23 Imaging apparatus, imaging method and imaging system
CN201410330933.7A CN104301603B (zh) 2013-07-18 2014-07-11 摄像装置、摄像方法以及摄像系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013149025A JP6072632B2 (ja) 2013-07-18 2013-07-18 撮像装置、撮像方法および撮像システム

Publications (2)

Publication Number Publication Date
JP2015022085A true JP2015022085A (ja) 2015-02-02
JP6072632B2 JP6072632B2 (ja) 2017-02-01

Family

ID=52321149

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013149025A Expired - Fee Related JP6072632B2 (ja) 2013-07-18 2013-07-18 撮像装置、撮像方法および撮像システム

Country Status (3)

Country Link
US (1) US9282236B2 (ja)
JP (1) JP6072632B2 (ja)
CN (1) CN104301603B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948920B2 (en) * 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
CN108259737A (zh) * 2016-12-29 2018-07-06 深圳超多维光电子有限公司 聚焦检测方法、装置、计算机可读存储介质及电子设备
CN115220176B (zh) * 2022-07-25 2024-05-03 浙江天铂云科光电股份有限公司 一种基于fpga的扫描全程式聚焦方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003195157A (ja) * 2001-12-21 2003-07-09 Agilent Technol Inc イメージング・システムの自動焦点調節
JP2005333587A (ja) * 2004-05-21 2005-12-02 Seiko Epson Corp 撮影装置およびこの制御方法
JP2008072696A (ja) * 2006-08-14 2008-03-27 Seiko Epson Corp 合焦情報の視覚化装置、その方法、プログラム及び記録媒体
JP2008281887A (ja) * 2007-05-14 2008-11-20 Hokkaido 合焦検出装置、合焦検出方法および合焦検出プログラム
JP2009159593A (ja) * 2007-12-05 2009-07-16 Panasonic Corp オートフォーカス機能付撮像装置、撮像方法、プログラムおよび集積回路
JP2010204860A (ja) * 2009-03-02 2010-09-16 Hitachi Ltd 映像監視システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009342A (ja) * 2006-06-30 2008-01-17 Sony Corp オートフォーカス装置、撮像装置及びオートフォーカス方法
JP4712661B2 (ja) * 2006-09-22 2011-06-29 オリンパスイメージング株式会社 撮像装置
JP4871231B2 (ja) 2007-08-10 2012-02-08 株式会社リコー 撮像装置および撮像方法
JP2009085657A (ja) * 2007-09-28 2009-04-23 Hitachi High-Technologies Corp 走査型電子顕微鏡を用いた試料の観察方法およびそのシステム
JP2010044210A (ja) * 2008-08-12 2010-02-25 Canon Inc 焦点調節装置及び焦点調節方法
JP5325802B2 (ja) * 2010-01-28 2013-10-23 株式会社日立ハイテクノロジーズ 観察方法および観察装置
JP2011248181A (ja) 2010-05-28 2011-12-08 Hitachi Ltd 撮像装置
JP5379118B2 (ja) 2010-12-17 2013-12-25 株式会社日立製作所 撮像装置、撮像装置制御方法およびそのプログラム
JP5271346B2 (ja) 2010-12-27 2013-08-21 株式会社日立製作所 撮像装置、画像処理装置、画像処理方法および画像処理プログラム
JP5993133B2 (ja) * 2011-11-24 2016-09-14 株式会社キーエンス 画像処理センサ、フォーカス調整方法及びコンピュータプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003195157A (ja) * 2001-12-21 2003-07-09 Agilent Technol Inc イメージング・システムの自動焦点調節
JP2005333587A (ja) * 2004-05-21 2005-12-02 Seiko Epson Corp 撮影装置およびこの制御方法
JP2008072696A (ja) * 2006-08-14 2008-03-27 Seiko Epson Corp 合焦情報の視覚化装置、その方法、プログラム及び記録媒体
JP2008281887A (ja) * 2007-05-14 2008-11-20 Hokkaido 合焦検出装置、合焦検出方法および合焦検出プログラム
JP2009159593A (ja) * 2007-12-05 2009-07-16 Panasonic Corp オートフォーカス機能付撮像装置、撮像方法、プログラムおよび集積回路
JP2010204860A (ja) * 2009-03-02 2010-09-16 Hitachi Ltd 映像監視システム

Also Published As

Publication number Publication date
CN104301603A (zh) 2015-01-21
US20150022708A1 (en) 2015-01-22
JP6072632B2 (ja) 2017-02-01
CN104301603B (zh) 2017-07-28
US9282236B2 (en) 2016-03-08

Similar Documents

Publication Publication Date Title
US7382411B2 (en) Method for focus adjusting and camera
US6738197B2 (en) Autofocusing apparatus
US8520130B2 (en) Image capturing apparatus and auto-focus control method thereof
JP5374119B2 (ja) 距離情報取得装置、撮像装置、及びプログラム
CN103516988A (zh) 利用透镜移动的增强图像处理
US7957633B2 (en) Focus adjusting apparatus and focus adjusting method
US8964101B2 (en) Imaging apparatus and method for controlling the same
JP4647885B2 (ja) カメラ
JP7271188B2 (ja) 制御装置、撮像装置、制御方法、および、プログラム
JP2011150281A (ja) 撮像装置、撮像装置の制御方法、およびコンピュータプログラム
CN105592258B (zh) 自动聚焦方法及装置
US8295605B2 (en) Method for identifying dimensions of shot subject
JP2005173269A (ja) 光学機器
JP6072632B2 (ja) 撮像装置、撮像方法および撮像システム
JP2019101359A (ja) 観察装置および焦点検出方法
JP2019176424A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、および、撮像装置の制御方法
JP6234016B2 (ja) 焦点調節装置、撮像装置及びその制御方法
JP5454392B2 (ja) 測距装置及び撮像装置
JP2008185823A (ja) 焦点検出装置およびカメラ
JP2007171807A (ja) 焦点検出装置およびカメラ
CN115297262A (zh) 对焦方法、对焦装置、存储介质与电子设备
JP2008281887A (ja) 合焦検出装置、合焦検出方法および合焦検出プログラム
JP2007256463A (ja) オートフォーカス装置およびカメラ
JP5322842B2 (ja) 自動合焦装置、自動合焦方法及びプログラム
TWI395047B (zh) 自動對焦方法以及使用該方法之影像擷取裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161228

R150 Certificate of patent or registration of utility model

Ref document number: 6072632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees