JP2011064498A - 測距装置、測距方法、及びそのプログラム - Google Patents

測距装置、測距方法、及びそのプログラム Download PDF

Info

Publication number
JP2011064498A
JP2011064498A JP2009213420A JP2009213420A JP2011064498A JP 2011064498 A JP2011064498 A JP 2011064498A JP 2009213420 A JP2009213420 A JP 2009213420A JP 2009213420 A JP2009213420 A JP 2009213420A JP 2011064498 A JP2011064498 A JP 2011064498A
Authority
JP
Japan
Prior art keywords
distance
imaging
subject
imaging condition
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009213420A
Other languages
English (en)
Other versions
JP5743390B2 (ja
Inventor
Keisuke Koresumi
圭祐 是角
Tomoyuki Kamiyama
智幸 神山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2009213420A priority Critical patent/JP5743390B2/ja
Priority to PCT/JP2010/065368 priority patent/WO2011033971A1/ja
Priority to DE112010003649.7T priority patent/DE112010003649B4/de
Priority to US13/496,137 priority patent/US8768010B2/en
Publication of JP2011064498A publication Critical patent/JP2011064498A/ja
Application granted granted Critical
Publication of JP5743390B2 publication Critical patent/JP5743390B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4915Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/30Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • G02B7/32Systems for automatic generation of focusing signals using parallactic triangle with a base line using active means, e.g. light emitter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

【課題】被写体の測距の高精度化を図ることができる測距装置、測距方法、及びそのプログラムを提供する。
【解決手段】測距装置は、光を発光する光源と、前記光源により発光されて、被写体で反射された反射光を撮像する撮像部と、前記撮像部が撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換部と、前記距離情報に基づいて第1の撮像条件を設定する撮像条件設定部と、前記光源及び前記撮像部を制御して、前記第1の撮像条件で前記被写体を撮像させる撮像制御部と、を備える。
【選択図】図1

Description

本発明は、測距装置、及びそのプログラムに係り、特に、撮像素子を用いて被写体を測距する測距装置、測距方法、及びそのプログラムに関する。
従来、タイムオブフライト(TOF)法を用いて、撮像素子を測距センサとして用いることが知られている(特許文献1、2)。TOF法は、被写体に対して光を照射し、光が放射されてから、被写体からの戻り光が戻ってくるまでの時間を測定することで、被写体の距離を測定する。
また、撮像素子を用いた輝度の濃淡画像のセンシングにおいて、長時間露光と、短時間露光の2種類の画像を撮像して得られた2枚の画像データを合成することで、輝度差の大きい濃淡画像であってもS/N比の高い、広ダイナミックレンジの画像データを得ることが知られている(特許文献3、4)。
特開2001−281336 特開平8−313215 特許第3074967号 特開2002−64449
撮像素子を測距センサとして用いる場合は、光源により被写体に光を照射するため、被写体に届く光は、光源と被写体との距離の2乗に比例して減衰してしまう。したがって、近距離の被写体に合わせて光を照射すると、遠距離の被写体に届く光が少なくなり、遠距離の被写体の測距精度が低下する。逆に、遠距離の被写体に合わせて光を照射すると、近距離の被写体に届く光は多くなり、画素の電荷が飽和してしまうので、近距離の被写体の測距が不可能になる。
そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、被写体の測距の高精度化を図ることができる測距装置、測距方法、及びそのプログラムを提供することを目的とする。
上記目的を達成するために、本発明は、測距装置であって、光を発光する光源と、前記光源により発光されて、被写体で反射された反射光を撮像する撮像部と、前記撮像部が撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換部と、前記距離情報に基づいて第1の撮像条件を設定する撮像条件設定部と、前記光源及び前記撮像部を制御して、前記第1の撮像条件で前記被写体を撮像させる撮像制御部と、を備える。
前記撮像条件設定部は、最も距離が近い被写体の反射光を受光する画素の画素値が第1閾値となるように、前記第1の撮像条件を設定してよい。
前記第1の撮像条件下における測距精度を解析して、前記測距精度が所定値より小さくなる精度低下距離を特定する測距精度解析部をさらに備え、前記撮像条件設定部は、前記精度低下距離以上遠くにある被写体がある場合は、前記第1の撮像条件より明るい輝度情報を得ることができる第2の撮像条件を設定し、前記撮像制御部は、前記光源及び前記撮像部を制御して、前記第1の撮像条件及び前記第2の撮像条件で前記被写体を撮像させてよい。
前記第1の撮像条件で撮像されて変換された前記距離情報と、前記第2の撮像条件で撮像されて変換された前記距離情報とを合成する距離情報合成部をさらに備えてよい。
前記撮像条件設定部は、前記精度低下距離以上遠くにある前記被写体のうち、最も距離が近い被写体の反射光を受光する画素の画素値が第2閾値となるように、前記第2の撮像条件を設定してよい。
被写体の距離変化の度合いを算出する距離変化算出部と、前記距離変化の度合いに応じて前記第1閾値及び前記第2閾値の少なくとも1つを変更する閾値変更部と、をさらに備え、前記撮像部は2次元に配列された複数の画素を有しており、前記距離情報変換部は、前記撮像部が撮像することにより得られた前記複数の画素値のそれぞれを距離情報に変換して1枚の画像距離データを得、前記距離変化算出部は、複数枚の前記画像距離データを比較して、被写体の距離変化の度合いを算出してよい。
前記第2閾値と画素飽和値との差は、前記第1閾値と画素飽和値の差よりも大きくてもよい。
前記被写体は、ユーザによって選択された被写体または、前記撮像部の所定の領域で撮像された被写体であってよい。
上記目的を達成するために、本発明は、光源により光を発光する発光工程と、前記光源により発光されて、被写体で反射された反射光を撮像部が撮像する撮像工程と、距離情報変換部が、撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換工程と、撮像条件設定部が、前記距離情報に基づいて第1の撮像条件を設定する撮像条件設定工程と、撮像制御部が、前記光源及び前記撮像部を制御して前記第1の撮像条件で前記被写体を撮像させる撮像制御工程と、を備えることを特徴とする。
上記目的を達成するために、本発明は、プログラムであって、光を発光する光源と、前記光源により発光されて、被写体で反射された反射光を撮像する撮像部とを備えた測距装置を、前記撮像部が撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換部、前記距離情報に基づいて第1の撮像条件を設定する撮像条件設定部、前記光源及び前記撮像部を制御して、前記第1の撮像条件で前記被写体を撮像させる撮像制御部、として機能させることを特徴とする。
本願発明によれば、測距精度を向上させることができ、正確に被写体までの距離を測距することができる。
本発明の実施の形態に係る測距装置の電気的な概略構成を示すブロック図である。 制御部18の撮像条件の設定方法の原理を説明する図である。 被写体が複数ある場合に、合成処理に必要な画像距離データを得るために必要な、撮像条件の特性を説明するための図である。 被写体が近距離と遠距離との広範囲に跨る場合に、合成処理に必要な画像距離データを得るために必要な、撮像条件の特性を説明するための図である。 露光タイミングを示すタイムチャートである。 蓄積された電荷の揺らぎを距離の測定誤差に換算することを説明するための図である。 測距装置10の動作を示すフローチャートである。 それぞれの画像距離データから生成される合成画像距離データを模式的に示した図である。
本発明に係る測距装置について、好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。
図1は、本発明の実施の形態に係る測距装置の電気的な概略構成を示すブロック図である。測距装置10は、発光装置12、撮像部14、画像距離データ変換部16、制御部18、画像距離データ合成部20、及び画像距離データ出力部22を備える。発光装置12は、光を発光する光源30、光源30を発光させる駆動部32を有する。駆動部32は、制御部18から送られてきた撮像条件にしたがって、光源30を発光させる。これにより、光源30の発光強度、発光時間、発光タイミング等が制御される。発光装置12は、被写体に対して、光源30が発光した光を照射する。なお、発光装置12は、強度変調された光を照射しれもよい。
撮像部14は、レンズ40、絞り42、絞り42を駆動させる絞り駆動回路(図示略)、撮像素子44、及びユニット回路46を有する。絞り42は、撮像素子44に入射する光の量を制御する。絞り駆動回路は、制御部が設定した撮像条件にしたがって、絞り42を駆動させる。撮像素子44に入射する光量は、絞り42による絞りの度合い(絞り値)、及び露光時間、発光装置12の発光量によって変わる。
撮像素子44は、レンズ40、絞り42を介して被写体を撮像する。撮像素子44は、一定周期(一定のフレームレート)毎に、たとえば、30fpsで被写体を撮像して画像データを得るように制御される。なお、一定周期間隔で被写体を撮像しなくてもよい。例えば、撮像して得られる画像の時間間隔は異なってもよい。撮像条件の異なる画像を撮像する場合は、一定周期間隔でなくてもよい。撮像とは、受光した光を光電変換して、電荷を蓄積することをいい、光電変換及び電荷の蓄積は、撮像素子44のそれぞれの画素が行う。画像データとは、それぞれの画素が蓄積した電荷量(それぞれの画素が受光した画素値)の集合である。撮像素子44は、電子シャッターとしての機能を有し、この電子シャッターにより撮像素子44の露光時間を調整できる。撮像素子44は、一定周期間隔、たとえば、30fpsで蓄積した電荷をユニット回路46に出力してよい。撮像素子44は、CCDであってもよく、CMOSであってもよい。
ユニット回路46は、撮像素子44から出力されるアナログ信号の画像データをデジタル信号に変換(A/D変換)するA/D変換器を有する。A/D変換器は、画素毎にデジタル変換を行う。A/D変換器はゲイン(変換利得)を変更可能であってもよい。撮像部14は、それぞれの画素の電荷量を画像画像距離データ変換部16に出力する。
画像距離データ変換部(距離情報変換部)16は、TOF手法により、撮像された画像データを画像距離データに変換する。具体的には、それぞれの画素の画素値を距離データに変換する。これにより、それぞれの画素が受光した被写体までの距離を示す距離データを画素毎に得ることができる。ここでは、便宜上それぞれの画素における距離データを画素距離データ(距離情報)と呼ぶ。画素距離データが集まって画像距離データとなる。つまり、画像距離データは、画像データではないが、それぞれの画素距離データがマトリクス状に配置されたデータであるので、画像距離データと呼ぶ。
これにより、被写体までの距離を画素毎に得ることができる。画像距離データ変換部16は、画像距離データを制御部18、画像距離データ合成部20、及び画像距離データ出力部(距離情報出力部)22に出力する。なお、また、1フレーム期間に得られた画像データを変換することで、1つの画像距離データが得られる。つまり、撮像素子44が撮像する撮像間隔で、画像距離データが得られることになる。画像距離データ変換部16は、DSPなどのプロセッサによって構成されてよい。
制御部18は、撮像条件設定部50、撮像制御部52、及び測距精度解析部54を備える。制御部18は、CPU等のプロセッサで構成されてよい。撮像条件設定部50は、画像距離データのそれぞれの画素距離データを解析して、被写体のヒストグラムを作成する。ヒストグラムは、被写体の距離と、画素数とを表したものである。そして、撮像条件設定部50は作成したヒストグラムに基づいて、撮像した被写体までの距離に合わせた最適な撮像条件を設定する。撮像条件としては、発光装置12が被写体に対して発光する光量、つまり、光源30が発光する光の光量、撮像素子44の1フレーム期間の露光時間、絞り42の絞り値、ゲイン値を含む。
撮像制御部52は、設定された撮像条件で光を発光するように発光装置12を制御する。また、撮像制御部52は、設定された撮像条件で、被写体を撮像させるように撮像部14を制御する。具体的には、設定された絞り値に応じて絞り42を制御し、設定された露光時間で撮像素子44に露光させる。また、ユニット回路46で設定されたゲイン値で利得調整を行わせる。これにより、撮像部14は、被写体の距離に応じた撮像を行うことができる。たとえば、近距離用の撮像と、遠距離用の撮像を行うことができる。
また、測距精度解析部54は、撮像条件設定部50が設定した撮像条件を解析して測距精度が所定値より低くなる距離(距離の位置)を特定する。また、測距精度解析部54は、解析した測距精度に基づいて、画像距離データを合成するか否かを判断する。画像距離データを合成する場合としては、測距精度が所定値より低くなる位置より遠い位置に被写体が存在する場合は、合成すると判断する。
画像距離データ合成部(距離情報合成部)20は、撮像部14により異なる距離の被写体に応じて、異なる撮像条件で撮像され、画像距離データ変換部16により変換された複数の画像距離データを合成する。つまり、複数の画像距離データから合成画像距離データを作成する。画像距離データ合成部20は、DSP等のプロセッサで構成されてよい。
図2は、制御部18の撮像条件の設定方法の原理を説明する図である。図2Aは、距離Z2〜Z3の間に分布する被写体111のヒストグラムを示す。ヒストグラムの縦軸は、画素数を表している。この被写体111をより高精度に測距するために撮像条件を調整する。なお、高精度な測距を行うために、まず、所定の撮像条件、または、任意の撮像条件で被写体を撮像して、予め被写体の測距(プレ測距、予備測距)を行う必要があり、図2Aは、プレ測距により得られたものである。したがって、プレ測距によって得られた被写体111の距離は、実際の距離とずれている(測定精度が低い)可能性がある。ここで、被写体は、人、ビル、橋、猫等のそれぞれのオブジェクトを指すのではなく、撮像部14が撮像したものを被写体と呼ぶ。したがって、被写体111には、人やビル等の複数のオブジェクトが含まれてよい。
図2Bは、撮像条件によって撮像素子の画素に蓄積される電荷量の特性を示す。上述したように、発光装置12が照射する光の強度は、距離の二乗に比例して減衰するので、特性は、距離が遠くなればなるほど、単位距離あたりの電荷量の変動が少なくなる。特性112は、Z1にある被写体を撮像した場合に画素の電荷量(画素値)が閾値となる特性である。画素値が高いと、特性の絶対値の傾きが大きいので、画素値がA/D変換された場合、画素値が高い方が画素値の分解能を高く維持できる。逆に、画素値が低いと、特性の絶対値の傾きが小さくなるので、A/D変換によって画素値の分解能は低くなってしまい、高精度な測距を行うことができない。
被写体111がZ1〜Z2に間にない場合は、被写体111の反射光を受光した画素の画素値は、分解能が高い範囲になく、測距の高精度化を図れない。つまり、実際に撮像される被写体111は、Z2からZ3の間に分布しているので、被写体111の反射光を受光した画素の画素値の範囲122は、分解能が低い範囲となる。
また、特性114は、Z4にある被写体を撮像した場合に画素値が閾値となる特性である。被写体111は、Z4より距離が短いZ2〜Z3の間にあるので、被写体111の反射光を受光した画素は、飽和して蓄積した電荷量が溢れ出てしまう(オーバーフローしてしまう)ために、有効な画素値が得られなくなる。
そこで、被写体111のうち、最も近い位置Z2の被写体からの反射光を受光した画素の画素値が閾値となる特性113を示す撮像条件に変更する。これにより、被写体111からの反射光を受光することで画素に蓄積される電荷量の範囲121は、画素値の分解能が高い範囲となり、測距精度を高くすることができる。撮像素子44の複数の画素の画素値から、最も近い位置の被写体からの反射光を受光した画素を特定する。例えば、画素値が最大の画素を最も近い被写体からの反射光を受光した画素と特定してもよい。特性112を特性113にする場合は、発光装置12が照射する光量を多くする、露光時間を長くする、絞り値を小さくすることにより調整することができる。また、特性114を特性113にする場合は、発光装置12が照射する光量を小さくする、露光時間を短く、絞り値を大きくすることにより調整することができる。なお、特性112から特性113にする、あるいは特性114を特性113にするのは、必ずしも次の撮像の撮像条件でなくてよく、連続した複数回の撮像を経て特性112から特性113、あるいは特性114から特性113に一定割合で徐々にあわせるように調節してもよい。
ここで、被写体111のうち、最も近い位置Z2の被写体からの反射光を受光した画素の画素値が、ちょうど飽和する値となる特性を示す撮像条件に変更してもよい。しかし、上述したように、プレ測距で被写体111までの距離を測っているので、測距した被写体までの距離が正確でない可能性がある。また、時間経過により被写体が移動することも想定されるので、プレ測距したZ2よりも実際は近い位置にある可能性がある。このような場合には、被写体111を受光した画素の電荷がオーバーフローしてしまう。したがって、閾値を用いたほうが好ましい。閾値は、画素が飽和する値から、一定値、又は、一定割合減算した値である。
また、画素値は距離のみではなく被写体の反射率にも依存するので、被写体111が反射率の分布を持つような場合は、最も近い距離Z2を示す画素と、画素値が最大になる画素が必ずしも一致するとは限らない。その場合、画素値が最大の画素が閾値となるように特性113を調節する。したがって、最も距離が近いとは、得られる画素値が最大であることを分かりやすく説明するための表現であることをここで断っておく。
図3は、被写体が複数ある場合に、合成処理に必要な画像距離データを得るために必要な、撮像条件の特性を説明するための図である。図3Aは、距離Z5〜Z6の間に分布する被写体131、及び、距離Z7〜Z8の間に分布する被写体132のヒストグラムを示す。図3Aのヒストグラムは、プレ測距により得られたものである。
図3Bは、被写体131、及び被写体132を測距するために最適な撮像条件を示す。被写体131を精度良く測距するために、被写体131のうち、最も近いZ5の被写体からの反射光を受光した画素の画素値が閾値となる特性141の撮像条件で撮像を行う。これにより、被写体131の反射光を受光した画素の画素値は、分解能が高く、測距の高精度化を図れる。また、特性141の撮像条件で撮像すると、測距精度が所定値より低くなる距離に、または該距離より遠い位置に存在する被写体132を精度良く測距するために、被写体132のうち、最も近いZ7の被写体からの反射光を受光した画素の画素値が閾値となる特性142の撮像条件で撮像を行う。
これにより、被写体132の反射光を受光して画素に蓄積された電荷量は、画素値の分解能が高く、測距の高精度化を図れる。このように、複数の被写体が近距離や遠距離等の長い距離範囲に混在する場合において、近距離も遠距離も高精度に測距するためには、2種類以上の異なる撮像条件で撮像した画素値を選択的に組み合わせて広ダイナミックレンジの画像距離を生成する必要がある。
たとえば、特性141の撮像条件では、Z5〜Z6に存在する被写体131では高精度に測距可能であるが、Z7〜Z8に存在する被写体132は精度良く測距できない。つまり、Z7〜Z8に存在する被写体132の測距精度は低くなってしまう。また、特性142の撮像条件では、Z7〜Z8に存在する被写体132では高精度に測距可能であるが、Z5〜Z6に存在する被写体131の反射光を受光した画素はオーバーフローしてしまい、被写体131を測距できない。したがって、被写体131、及び被写体132にそれぞれに適した撮像条件でそれぞれ撮像する。ここで、Z5からの反射光を受光した画素値が閾値となる撮像条件で撮像すると、測距精度が所定値より低くなる距離以上遠い位置に被写体132は存在するものとする。
そして、画像距離データ合成部20が、特性141の撮像条件で撮像して得られ変換された被写体131の画像距離データと、特性142の撮像条件で得られ変換された被写体132の画像距離データとを合成することで、広ダイナミックレンジの画像距離データを得ることができる。具体的には、この被写体131の画像領域を、特性141の撮像条件で得られた画像距離データから特定し、被写体132の画像領域を、特性142の撮像条件で得られた画像距離データから特定する。そして、特定した画像領域の画像距離データを合成すれば、広ダイナミックレンジの画像距離データを生成することができる。
図4は、被写体が近距離と遠距離との広範囲に跨る場合に、合成処理に必要な画像距離データを得るために必要な、撮像条件の特性を説明するための図である。図4Aは、Z9〜Z11の近距離から遠距離に分布する被写体151のヒストグラムを示す。図4Aのヒストグラムは、プレ測距により得られたものである。
図4Bは、被写体151を測距するための最適な撮像条件を示す。被写体151を精度良く測距するために、被写体151のうち、最も近いZ9の被写体からの反射光を受光した画素の画素値が閾値となる特性161の撮像条件で撮像を行う。しかしながら、特性161の撮像条件での撮像は、Z9〜Z11の距離のうち、Z10より遠い被写体に対しては測距の高精度化を図ることができない。Z10は、特性161による画素値の分解能が低くなる距離である。つまり、Z10は、測距精度が所定値より低くなってしまう距離である。したがって、被写体151のうち、Z10以上離れている被写体に対しても測距の高精度化を図るために、Z10の被写体からの反射光を受光した画素の画素値が閾値となる特性162の撮像条件で撮像を行う。そして、画像距離データ合成部20が、特性161の撮像条件で得られ変換された被写体151のZ9〜Z10までの画像距離データと、特性162の撮像条件で得られ変換された被写体151のZ10〜Z11までの画像距離データとを合成することで、広ダイナミックレンジの画像距離データを得ることができる。
具体的には、被写体のZ9〜Z10までの画像領域を、特性161の撮像条件で得られた画像距離データから特定し、被写体のZ10〜Z11までの画像領域を、特性162の撮像条件で得られた画像距離データから特定する。そして、特定した画像領域の画像距離データを合成すれば、広ダイナミックレンジの画像距離データを生成することができる。
ここで、測距精度の算出方法について説明する。測距精度とは、同一の撮像条件で画像を撮像した際の複数のフレーム間での揺らぎをさすものとする。もっとも直接的な方法としては、複数のフレームから画素値の分散値を求め、その標準偏差を揺らぎとして、距離に変換することで距離換算の測定誤差を求める方法が挙げられる。測距精度の算出にこの方法を用いてもよいが、複数のフレームの保持が必要となるので、本実施の形態では、距離の測定精度を論理的に計算して予測する手法を用いる。
距離の測定精度について説明する前に、TOF法で距離を測定する原理を説明する。説明に用いる手法や計算式は、距測原理を簡単に説明するためのものであり、あくまでTOF法の一形態である。上述したように、放射光の光量は、距離の二乗に比例して減衰する。したがって、光源が定常的に発光している場合は、反射光により撮像素子44で光電変換される電荷量Q1は、
1=k/z2 ・・・ (1)
と表すことができる。ここで、zは光源から被写体までの距離、kは、撮像条件、被写体の反射率、レンズ40の透過率、撮像素子44の光電変換率等で決まる係数とする。(1)式を変形すると、
z=(k/Q11/2 ・・・(2)
となる。また、図5に示すように、発光終了と同時のタイミングで露光を開始することで、照射光が被写体で反射して戻ってくるまでの遅延時間Tdの期間反射光で露光され得られる電荷量Q2を測定する。光の遅延時間Tdは、
Td=2z/c ・・・(3)
で表すことできる。cは光速を表す。光強度測定用の露光タイミングの露光時間をTsとすると、露光タイミングで蓄積される電荷量Q2は、Q1との比で表すことができ、
2=Q1×Td/Ts ・・・(4)となる。
(4)式に(1)式、(3)式を代入すると、
2=2/(Ts×c) ×k/z ・・・(5)
となる。したがって、電荷量Q2は距離zに依存して減衰することがわかる。また(4)式に(3)式を代入すると、
2=Q1×2z/(Ts×c)となり、変形して、
z=(Ts×c)/2 × Q2/Q1 ・・・(6)
となり、蓄積電荷量Q1とQ2の比により、被写体までの距離が測定できる。
また、1フレーム期間中に図5に示すような発光と露光とのパターンを繰り返し、光電変換で得られる電荷量を積分していくことでS/N比の高い画素値を得ることができる。したがって、発光と露光との繰り返し回数により、実質的な露光時間の調整を行う。撮像素子44は複数の電荷量を保持可能な構成を用いても良い。具体的には、図5に示す発光と露光とのパターンにより、撮像素子44で蓄積電荷Q1とQ2を同時に保持し、そして蓄積電荷Q1とQ2を読み出してもよい。なお、便宜上、太陽や室内照明等の環境光の影響を無視したが、光源の照射光のないときの撮像結果を用いることで、環境光の影響を除去できることは明らかであり、本実施の形態においても環境光の影響を排除した測距測定を実施することができることは言うまでもない。
蓄積電荷量Q1、Q2、露光時間Tsの揺らぎは、予め測定、予測することが可能である。したがって、距離zの測距精度は、(6)式に基づいて、誤差伝播の法則で算出できる。誤差伝播の法則は、既知の測定値(例えば、蓄積電荷量Q1、Q2、露光時間Ts)の分散から、間接的に求められる値(例えば、距離z)の分散を求める手法であり、一般的に広く知られた法則であるのでここでは説明しない。したがって、距離zの測距精度が所定値より低くなる距離を距離Z10としてよい。
また、電荷量Q1、Q2、露光時間Tsの揺らぎをそれぞれ距離zの誤差に換算し、換算値の総和を算出してもよい。以下、この方法について説明する。まず、電荷量Q1の揺らぎ量(標準偏差)をΔQ1とし、ΔQ1で生じる測定誤差Δz1を求める。(2)式をQ1で微分して、
Δz1/ΔQ1=k1/2×(−1/2)×Q1 -3/2
に(1)式を代入して、
Δz1/ΔQ1=k1/2×(−1/2)×(k/z2-3/2
=−1/(2k) ×z3となる。
したがって、
|Δz1/ΔQ1|=(1/2)×k-1×z3 ・・・(7)
となる。
図6は、蓄積された電荷の揺らぎを距離の測定誤差に換算することを説明するための図である。図6で示した特性191が(2)式で表される特性を表すとすると、(7)式は、特性191の傾きを表す。揺らぎ量ΔQ1の間の傾きを線形近似して距離の測定誤差Δz1を求めると、
|Δz1|=(1/2)×k-1×z3×|ΔQ1| ・・・(8)
となる。ΔQ1は、撮像素子44から出力される蓄積電荷量Q1の揺らぎ量であり、たとえば、光ショットノイズ、回路起因ノイズ、量子化ノイズ等で発生する揺らぎ量の総和である。
次に、電荷量Q2の揺らぎ量(標準偏差)をΔQ2とし、ΔQ2で生じる測定誤差Δz2を求める。(5)式を変形して、
z=2/(Ts×c)×k/Q2 ・・・(9)
となる。(9)式をQ2で微分して、
Δz2/ΔQ2=−2k/(Ts×c)×1/Q2 2
=−2k/(Ts×c)×1/(k/z×2/(Ts×c))2
=−2k/(Ts×c)×(z×Ts×c)2/(2k)2
=−(1/2)×Ts×c×k-1×z2
したがって、
|Δz2/ΔQ2|=(1/2)×Ts×c×k-1×z2 ・・・(10)
となる。揺らぎ量ΔQ2の間の傾きを線形近似して距離の測定誤差Δz2を求めると、
|Δz2|=(1/2)×Ts×c×k-1×z2×|ΔQ2| ・・・(11)
となる。
最後に、信号のジッタなどで生じるTsの揺らぎ(標準偏差)をΔTsとする。光の遅延を測定するので、ΔTsの間に光の進む距離が距離換算の誤差となる。したがって、ΔTsを距離の測定誤差に換算した値をΔz3とすると、
Δz3=c×ΔTs ・・・(12)
となる。
そして、(8)式、(11)式、(12)式で求まる値の総和が距離の測定誤差(標準偏差)Δzとなる。したがって、
Δz=(|Δz12+|Δz22+|Δz321/2 ・・・(13)
となる。
このΔzが測距精度を示す。すなわち(6)式で距離zが求まり、それに対応したΔzも求まる。Δzが大きくなると、測距精度が低くなるので、所定値より大きくなるΔzに対応する距離を、例えば、図4の距離Z10としてよい。
なお、計算コスト削減のため、ΔzをΔz1あるいはΔz2のいずれか片方で代表させてもよい。すなわち、電荷量Q1、Q2のいずれか片方の特性の傾きの絶対値であっても、測距精度を簡易的に示しているといえるので、設定された撮像条件が示す特性の傾きの絶対値が一定値より小さくとなる距離の位置を、測距精度が所定値より小さくなる距離の位置としてもよい。また、被写体の反射光を受光した画素の画素値が一定値より小さくなる被写体の距離の位置を、測距精度が所定値より小さくなる距離の位置としてもよい。
次に、測距装置10の動作を図7のフローチャートにしたがって説明する。
撮像制御部52は、所定の撮像条件で、被写体を撮像部14に撮像させる(ステップS2)。撮像制御部52は、任意の撮像条件で、被写体を撮像部14に撮像させてもよい。撮像された画像データは、画像距離データ変換部16で変換され、撮像条件設定部50に出力される。
次いで、撮像条件設定部50は、画像距離データに基づいて、被写体のヒストグラムを作成して、解析する(ステップS4)。つまり、作成したヒストグラムを解析して、最も近い被写体を特定する。つまり、複数の画素距離データのうち、最も短い(近い)画素距離データが示す距離を特定する。図2の場合はZ2が最も近い位置となり、図3の場合はZ5が最も近い位置となり、図4の場合はZ9が最も近い位置となる。
なお、撮像条件設定部50は、画像距離領域データの全領域の中からではなく、全領域の一部である所定領域の中から、最も近い画素距離データを特定してもよい。所定領域は、ユーザによって選択された領域であってもよいし、予め定められた領域(例えば、画像の中央領域)であってもよい。通常、ユーザは、測距したい被写体が画像の所定領域にくるようにして撮像するからである。
次いで、撮像条件設定部50は、特定した距離に基づいて第1の撮像条件を設定する(ステップS6)。撮像条件設定部50は、特定した距離からの被写体の反射光を受光した画素の画素値が閾値となるように第1の撮像条件を設定する。つまり、画素距離データが最も短い距離を表す画素の画素値が、閾値となるように第1の撮像条件を設定する。撮像条件設定部50は、設定した第1の撮像条件を測距精度解析部54に出力する。
次いで、測距精度解析部54は、ステップS4で生成したヒストグラム、及び第1の撮像条件を解析して、測距精度が所定値より小さくなる距離(距離の位置)を推定する(ステップS8)。上述した方法で、距離の測距精度を推定することができるので、測距精度が所定値より小さくなる距離を推定することができる。
次いで、測距精度解析部54は、合成処理を行うか否かを判断する(ステップS10)。測距精度解析部54は、ステップS8で推定した距離以上遠い位置に被写体が存在するか否かを判断し、存在する場合は合成処理を行うと判断する。この判断は、ステップS8で推定した距離以上遠い距離の画素距離データが存在するか否かで判断する。測距精度解析部54は、合成処理を行うか否かの判断結果を撮像条件設定部50に出力する。
例えば、図3に示すように、推定した距離がZ6以上Z7以下となる場合は、推定した距離、及び該距離より遠い位置に被写体132が存在するので、合成処理を行うと判断する。また、図4に示すように、推定した距離がZ10となる場合は、被写体151の一部は、該推定した距離、及び該距離より遠い位置にあるので、合成処理を行うと判断する。なお、所定領域を考慮する場合は、所定領域内に、特定した位置より遠い被写体があるか否かを判断する。つまり、所定領域内の画素距離データの中で、特定した位置より遠い画素距離データがあるか否かを判断してよい。
ステップS10で、合成処理を行わないと判断すると、撮像条件設定部50は、ステップS6で設定した第1の撮像条件で撮像することができるフレームレートが所定のフレームレート以上か否かを判断する(ステップS12)。この所定のフレームレートは、予め決められていてもよいし、ユーザが任意に決めてもよい。
ステップS12で、所定のフレームレート以上でないと判断すると、撮像条件設定部50は、ステップS6で設定した第1の撮像条件の設定を変更することで、露光時間を短縮して(ステップS14)、ステップS16に進む。このとき、露光時間が短くなると露光量が減ってしまうので、それを補うべく、撮像条件設定部50は、絞り度合いを小さくしたり、ゲイン値を上げたり、発光強度を上げてもよい。この場合は、撮像条件設定部50は、ステップS14の設定変更後の第1の撮像条件を撮像制御部52に出力する。
一方、ステップS12で、所定のフレームレート以上であると判断すると、そのままステップS16に進む。この場合は、撮像条件設定部50は、ステップS6で設定した第1の撮像条件を撮像制御部52に出力する。
ステップS16に進むと、撮像制御部52は、直近に設定された第1の撮像条件で撮像部14に被写体を撮像させる。この第1の撮像条件で撮像された画像データは、画像距離データ変換部16により画像距離データに変換され、画像距離データ出力部22から出力される。これにより、測距精度を高く維持できる画像データを撮像することができる。ステップS16で被写体を撮像すると、ステップS4に戻り、上記した動作を繰り返す。ステップS16を経た後の、ステップS4の動作は、ステップS16で撮像された画像データに基づいてヒストグラムを生成して解析してよい。
一方、ステップS10で、合成処理をすると判断すると、撮像条件設定部50は、第1の撮像条件より明るい画像を得ることができる第2の撮像条件を設定する(ステップS18)。具体的には、ステップS8で推定した距離以上遠い位置に存在する被写体のうち、最も近い被写体の距離がどの位置であるかを特定し、該特定した距離の位置に基づいて第2の撮像条件を設定する。つまり、該特定した位置からの被写体の反射光を受光した画素の画素値が閾値となるように第2の撮像条件を設定する。詳しく説明するならば、推定した距離以上遠い複数の画素距離データのうち、最も近い画素距離データの画素の画素値が、閾値となるように第2の撮像条件を設定する。なお、明るい画像を得ることができるとは、同一の環境下で、同一の被写体を同一の距離から撮像した場合に明るいということである。具体的には、ゲイン値が高い、又は、露光時間が長い、または、絞り度合いが小さい、または光源の発光強度が強いことをいう。
このステップS18で特定される被写体の位置は、例えば、図3に示すように、推定した距離がZ6以上Z7以下となる場合は、距離Z7を特定し、該特定した位置からの被写体132の反射光を受光した画素の画素値が閾値となるように第2の撮像条件を設定する。また、図4に示すように、推定した距離がZ10となる場合は、距離Z10を特定し、該特定したZ10からの被写体151の反射光を受光した画素の画素値が閾値となるように第2の撮像条件を設定する。
次いで、撮像条件設定部50は、ステップS6で設定した第1の撮像条件で撮像することができるフレームレート及びステップS18で設定した第2の撮像条件で撮像することができるフレームレートを合算したフレームレートが、所定のフレームレート以上か否かを判断する(ステップS20)。ステップS20の所定のフレームレートは、ステップS12の所定フレームレートと異なっていてもよい。後述するように、第1撮像条件で得られた画像距離データと第2撮像条件で得られた画像距離データとを合成するので、合成後のフレームの時間間隔は撮像の時間間隔より長くなる。
ステップS20で、所定のフレームレート以上でないと判断すると、ステップS6で設定した第1の撮像条件及びステップS18で設定した第2の撮像条件のうち少なくとも一方の設定を変更することで、第1の撮像条件及び第2の撮像条件の合計露光時間を短縮して(ステップS22)、ステップS24に進む。このとき、露光時間が短くなると露光量が減ってしまうので、それを補うべく、撮像条件設定部50は、絞り度合いを小さくしたり、ゲイン値を上げたり、発光強度を上げてもよい。撮像条件設定部50は、ステップS22の設定変更後の第1の撮像条件及び第2の撮像条件を撮像制御部52に出力する。
一方、ステップS20で、合算したフレームレートが所定のフレームレート以上であると判断すると、そのままステップS24に進む。この場合は、撮像条件設定部50は、ステップS6で設定した第1の撮像条件及びステップS18で設定した第2の撮像条件を撮像制御部52に出力する。
ステップS24に進むと、撮像制御部52は、直近に設定された第1の撮像条件と第2の撮像条件で撮像部14に被写体をそれぞれ撮像させる。
次いで、画像距離データ合成部20は、第1の撮像条件で撮像され画像距離データに変換された画像距離データと、第2の撮像条件で撮像され画像距離データに変換された画像距離データとを合成する(ステップS26)。画像距離データ合成部20は、ステップS8で推定した距離より短い被写体の画像距離データは、第1の撮像条件で得られた画像距離データを用い、推定した距離以上の被写体の画像距離データは、第2の撮像条件で得られた画像距離データを用いて、合成画像距離データを生成する。この生成された合成画像距離データは、画像距離データ出力部22から出力される。これにより、画像距離データの広ダイナミックレンジ化を図ることができ、測距精度を高く維持できる画像データを得ることができる。
なお、上記実施の形態は、以下のような変形も可能である。
(1)ステップS8で推定した距離を跨って被写体が移動している場合に、単に第1の撮像条件で得られた画像距離データと、第2の撮像条件で得られた画像距離データとを、合成してしまうと、合成画像距離データに被写体の不連続性が生じてしまう。つまり、被写体の距離データが不連続となってしまう。したがって、第1の撮像条件で得られた画像距離データの被写体の距離データと、第2の撮像条件で得られた画像距離データの被写体の距離データとを重み付けして合成してもよい。これにより、滑らかな被写体の距離データを得ることができる。
(2)上記実施の形態では、閾値を一定にしたが、被写体の距離の変化度合いに応じて閾値を変更してもよい。例えば、被写体の距離の変化度合いが高い場合は、つまり、前に撮像され得られた画像距離データと後に撮像され得られた画像距離データとを比較して、距離の変化の度合いが大きいほど、閾値を画素飽和値から離してもよい。つまり、被写体の距離変化の度合い大きいほど、得られた画像距離データは正確でない可能性が高く、このような場合に閾値を画素飽和値に近づけてしまうと、上述したようにオーバーフローが起きてしまうからである。この場合は、制御部は、距離変化算出部及び閾値変更部をさらに備え、該距離変化算出部が被写体の距離変化の度合いを算出する。距離変化算出部は、画像距離データを比較することで、距離変化の度合いを算出することができる。閾値変更部は、算出された距離変化の度合いに応じて閾値を変更してよい。そして、撮像条件設定部は、閾値変更部が変更した閾値を用いて第1の撮像条件及び第2の撮像条件の少なくとも1つを設定する。
(3)上記実施の形態では、第1の撮像条件の設定に用いられる閾値(第1閾値と呼ぶ)と第2の撮像条件の設定に用いられる閾値(第2閾値と呼ぶ)とを同じにしたが、異なる閾値を用いてもよい。被写体が遠ければ遠いほど測距精度が低くなりがちである。したがって、第2閾値と画素飽和値との差は、第1閾値と画素飽和値の差よりも大きくするようにしてもよい。
(4)上記変形例(2)及び(3)において、閾値変更部は、距離変化の度合いに応じて第1閾値及び第2閾値の少なくとも1つを変更してよい。この場合、閾値変更部は、第2閾値と画素飽和値との差が第1閾値と画素飽和値の差よりも大きくなるように変更してもよい。
(5)上記変形例(2)、(3)及び(4)では、閾値を距離変化の度合いに応じて変更するとしたが、実際は被写体の反射率にも依存するので、被写体の反射率の分布度合いに応じた閾値変更を付け加えてもよい。例えば、反射率の分布度合いが大きい被写体の場合、得られる画素値の分布も大きくなるので、閾値も画素飽和に対し余裕を持つようにしたほうが、被写体の変化に対応しやすい。なお、反射率の分布は、(2)式から導くことができるし、また光源の照射光のないときの撮像結果を用いてもよい。
(6)上記実施の形態では、直前に撮像され得られた1枚の距離画像データ(合成画像距離データを含む)を用いて、撮像条件を設定するようにしたが、同一の撮像条件で複数枚連続して撮像して得られた複数の画像距離データを用いて、撮像条件を設定するようにしてもよい。1枚の画像距離データで撮像条件を設定するより、複数枚の画像距離データから被写体の距離を判断して撮像条件を設定したほうが、測距精度を高めることができるからである。また、この方法は、被写体が移動体でないときに特に有効である。したがって、制御部18が被写体の距離変化の度合いを算出して、距離変化の度合い応じて、撮像条件の設定に用いられる画像距離データの枚数を変えてもよい。被写体の距離変化が少ない場合は、例えば、20回連続撮像して得られた20枚の画像距離データを得てから撮像条件を設定する。この場合は、20回撮像する毎に撮像条件が変わる。被写体の距離変化が比較的大きい場合は、例えば、2回連続撮像して得られた2枚の画像距離データで次の撮像条件を設定する。この場合は、2回撮像する毎に撮像条件が変わる。
(7)上記実施の形態では、第1の撮像条件、第2の撮像条件を用いて得られた2枚の画像距離データを合成する例を説明したが、3つ以上の撮像条件を用いて得られた3枚の画像距離データを合成するようにしてもよい。例えば、第1の撮像条件下における測距精度が所定値より低くなる位置以上離れた被写体が存在する場合は、第2の撮像条件で画像距離データを得る。そして、第2の撮像条件下における測距精度が所定値より低くなる位置以上離れた被写体が存在する場合には、第3の撮像条件で画像距離データを得るという具合に、複数の撮像条件を用いて画像距離データを得て、該得られた複数の画像距離データを合成してよい。
(8)ステップS16及びステップS26で得られた画像距離データは、測距精度が高い画像距離データなので、ステップS16及びステップS26の動作のうち、いずれか一方の動作を経て、ステップS4に戻った場合は、以後、ステップS6及びステップS18で撮像条件の設定に用いる閾値に代えて、画素が飽和する画素飽和値か、画素飽和値により近い値を用いてもよい。また、段階的に閾値を画素飽和値に近づけるようにしてもよい。これにより、分解能がよい画素値の範囲を広げることができる。
(9)上記実施の形態では、第1の撮像条件で得られた画像距離データと第2の撮像条件で得られた画像距離データとを合成した後、第1の撮像条件で再び得られた画像距離データと第2の撮像条件で再び得られた画像距離データとを合成するようにしたが、この方法では、合成後に得られる時間間隔は、撮像したフレームの時間間隔よりも長くなってしまう。したがって、撮像部14の撮像によって得られて変換されたそれぞれの画像距離データと、その直後に得られた画像距離データとを合成するようにしてもよい。
図8は、それぞれの画像距離データから生成される合成画像距離データを模式的に示した図である。フレームA1、フレームB1、フレームA2、フレームB2、フレームA3・・・、という具合に、撮像部14によって順次得られ変換された画像距離データが得られる。フレームAは、第1の撮像条件で得られた画像距離データを示し、フレームBは、第2の撮像条件で得られた画像距離データを示す。画像距離データ合成部は、フレームA1とフレームB1から合成画像距離データC1を生成し、フレームB1とフレームA2から合成画像距離データC2を生成する。また、フレームA2とフレームB2から合成画像距離データC3を生成し、フレームB2とフレームA3から合成画像距離データC4を生成するという具合に、それぞれ順次得られた画像距離データと、その直後に得られた画像距離データとをから順次合成画像距離データを生成する。
(10)上記実施の形態では、撮像条件設定部50は、ヒストグラムを生成するようにしたが、ヒストグラムを生成しなくてもよい。要は、撮像条件設定部50が、被写体の距離に対する分布がわかる方法であればよい。
(11)上記実施の形態では、第1の撮像条件で得られた画像距離データと第2の撮像条件で得られた画像距離データとを合成するようにしたが、合成しなくてもよい。合成しなくても、測距精度を向上させることができるからである。
(12)上記実施形態では、フレームレートが所定のフレームレート以上になるようにしたが、所定のフレームレート以上が実現できる場合であっても、データ出力後、なにもしない(ブランキング)期間を設け、ブランキング期間を調節することで、常に等間隔の所定のフレームレート(例えば30fps)でデータ出力するようにしてもよい。ユーザは被写体の変化に応じてフレームレートが変化するよりも、固定フレームレートの方が扱いやすい場合もあるからである。一方、当然であるが、被写体が近距離であればあるほど、測距精度を確保したまま、露光時間が短くできフレームレートも高速化できるので、より近距離の被写体に対してはより高速なフレームレートを出力できるようにしてもよい。危険回避等のアプリケーションを考えれば、被写体が近距離であればあるほど危険のリスクが高くなるため、より高速なフレームレートを必要とするからである。
(13)上記実施形態では、2次元の画像距離データを用いたが、1次元の距離画像データの撮像であってもよい。
(14)また、画素がマトリクス状に2次元配列された撮像素子でなくてもよい。単独あるいは1次元状に配列された撮像素子を用いて、光学的あるいは機械的な走査(スキャン)で1次元あるいは2次元の画像距離データを得ることもできるからである。
(15)上記実施形態では、連続動画的な撮像を想定したが、例えば、連続動画的な撮像から、最適な撮像条件を予測し、その後、予測された最適な撮像条件で複数枚の画像距離データを取得してもよい。同一の撮像条件で撮像した複数の画像距離データを積分すれば、より高精度な1枚の画像距離データを取得できるからである。
(16)上記実施の形態では、2次元配列された画素を有する撮像素子を用いるようにしたが、1次元配列された画素を有する撮像素子を用いてもよい。この場合は、1次元配列された画素を有する撮像素子を用いることで、距離情報がマトリクス状に配置された画像距離データを得ることができる
(17)上記変形例(1)〜(16)を矛盾が生じない範囲内で、適宜組み合わせた態様であってもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
10…測距装置 12…発光装置
14…撮像部 16…画像距離データ変換部
18…制御部 20…画像距離データ合成部
22…画像距離データ出力部 30…光源
32…駆動部 40…レンズ
42…絞り 44…撮像素子
46…ユニット回路 50…撮像条件設定部
52…撮像制御部 54…測距精度解析部

Claims (10)

  1. 光を発光する光源と、
    前記光源により発光されて、被写体で反射された反射光を撮像する撮像部と、
    前記撮像部が撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換部と、
    前記距離情報に基づいて第1の撮像条件を設定する撮像条件設定部と、
    前記光源及び前記撮像部を制御して、前記第1の撮像条件で前記被写体を撮像させる撮像制御部と、
    を備える測距装置。
  2. 請求項1に記載の測距装置であって、
    前記撮像条件設定部は、最も距離が近い被写体の反射光を受光する画素の画素値が第1閾値となるように、前記第1の撮像条件を設定することを特徴とする測距装置。
  3. 請求項1または2に記載の測距装置であって、
    前記第1の撮像条件下における測距精度を解析して、前記測距精度が所定値より小さくなる精度低下距離を特定する測距精度解析部をさらに備え、
    前記撮像条件設定部は、前記精度低下距離以上遠くにある被写体がある場合は、前記第1の撮像条件より明るい輝度情報を得ることができる第2の撮像条件を設定し、
    前記撮像制御部は、前記光源及び前記撮像部を制御して、前記第1の撮像条件及び前記第2の撮像条件で前記被写体を撮像させることを特徴とする測距装置。
  4. 請求項3に記載の測距装置であって、
    前記第1の撮像条件で撮像されて変換された前記距離情報と、前記第2の撮像条件で撮像されて変換された前記距離情報とを合成する距離情報合成部をさらに備えることを特徴とする測距装置。
  5. 請求項3または4に記載の測距装置であって、
    前記撮像条件設定部は、前記精度低下距離以上遠くにある前記被写体のうち、最も距離が近い被写体の反射光を受光する画素の画素値が第2閾値となるように、前記第2の撮像条件を設定することを特徴とする測距装置。
  6. 請求項2または5に記載の測距装置であって、
    被写体の距離変化の度合いを算出する距離変化算出部と、
    前記距離変化の度合いに応じて前記第1閾値及び前記第2閾値の少なくとも1つを変更する閾値変更部と、
    をさらに備え、
    前記撮像部は2次元に配列された複数の画素を有しており、
    前記距離情報変換部は、前記撮像部が撮像することにより得られた前記複数の画素値のそれぞれを距離情報に変換して1枚の画像距離データを得、
    前記距離変化算出部は、複数枚の前記画像距離データを比較して、被写体の距離変化の度合いを算出することを特徴とする測距装置。
  7. 請求項2、5、または6に記載の測距装置であって、
    前記第2閾値と画素飽和値との差は、前記第1閾値と画素飽和値の差よりも大きくすることを特徴とする測距装置。
  8. 請求項1〜6のいずれか1項に記載の測距装置であって、
    前記被写体は、前記撮像部の所定の領域で撮像された被写体であることを特徴とする測距装置。
  9. 測距装置が被写体の距離を測定する測距方法であって、
    光源により光を発光する発光工程と、
    前記光源により発光されて、被写体で反射された反射光を撮像部が撮像する撮像工程と、
    距離情報変換部が、撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換工程と、
    撮像条件設定部が、前記距離情報に基づいて第1の撮像条件を設定する撮像条件設定工程と、
    撮像制御部が、前記光源及び前記撮像部を制御して前記第1の撮像条件で前記被写体を撮像させる撮像制御工程と、
    を備えることを特徴とする測距方法。
  10. 光を発光する光源と、前記光源により発光されて、被写体で反射された反射光を撮像する撮像部とを備えた測距装置を、
    前記撮像部が撮像することにより得られた画素の画素値を、被写体までの距離を示す距離情報に変換する距離情報変換部、
    前記距離情報に基づいて第1の撮像条件を設定する撮像条件設定部、
    前記光源及び前記撮像部を制御して、前記第1の撮像条件で前記被写体を撮像させる撮像制御部、
    として機能させることを特徴とするプログラム。
JP2009213420A 2009-09-15 2009-09-15 測距装置、及び測距方法 Expired - Fee Related JP5743390B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009213420A JP5743390B2 (ja) 2009-09-15 2009-09-15 測距装置、及び測距方法
PCT/JP2010/065368 WO2011033971A1 (ja) 2009-09-15 2010-09-08 測距装置、測距方法、及びプログラム
DE112010003649.7T DE112010003649B4 (de) 2009-09-15 2010-09-08 Distanzmessvorrichtung, Distanzmessverfahren und Programm
US13/496,137 US8768010B2 (en) 2009-09-15 2010-09-08 Distance measuring apparatus, distance measuring method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009213420A JP5743390B2 (ja) 2009-09-15 2009-09-15 測距装置、及び測距方法

Publications (2)

Publication Number Publication Date
JP2011064498A true JP2011064498A (ja) 2011-03-31
JP5743390B2 JP5743390B2 (ja) 2015-07-01

Family

ID=43758579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009213420A Expired - Fee Related JP5743390B2 (ja) 2009-09-15 2009-09-15 測距装置、及び測距方法

Country Status (4)

Country Link
US (1) US8768010B2 (ja)
JP (1) JP5743390B2 (ja)
DE (1) DE112010003649B4 (ja)
WO (1) WO2011033971A1 (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013134173A (ja) * 2011-12-27 2013-07-08 Honda Motor Co Ltd 測距システム及び測距方法
JP2013137242A (ja) * 2011-12-28 2013-07-11 Hamamatsu Photonics Kk 距離測定装置
WO2014207983A1 (ja) * 2013-06-27 2014-12-31 パナソニックIpマネジメント株式会社 距離測定装置
KR20150038032A (ko) * 2012-07-09 2015-04-08 브라이트웨이 비젼 엘티디. 스테레오 게이트된 영상 시스템 및 방법
WO2015107869A1 (ja) * 2014-01-14 2015-07-23 パナソニックIpマネジメント株式会社 距離画像生成装置及び距離画像生成方法
JP2015526927A (ja) * 2012-07-31 2015-09-10 インテル コーポレイション カメラ・パラメータのコンテキスト駆動型調整
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
JPWO2015182135A1 (ja) * 2014-05-30 2017-04-20 パナソニックIpマネジメント株式会社 センシングシステム及び運転支援システム
WO2017141715A1 (ja) * 2016-02-16 2017-08-24 ソニー株式会社 撮像装置及び撮像制御方法
WO2018101187A1 (ja) 2016-11-29 2018-06-07 パナソニックIpマネジメント株式会社 距離測定装置
WO2018105476A1 (ja) 2016-12-05 2018-06-14 パナソニックIpマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
CN110446942A (zh) * 2017-03-30 2019-11-12 松下知识产权经营株式会社 距离图像生成装置以及距离图像生成方法
WO2020008962A1 (ja) * 2018-07-02 2020-01-09 株式会社ブルックマンテクノロジ 測距装置、カメラ、検査調整装置、測距装置の駆動調整方法及び検査調整方法
WO2020059565A1 (ja) 2018-09-18 2020-03-26 パナソニックIpマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
WO2020059448A1 (ja) 2018-09-18 2020-03-26 パナソニックIpマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
WO2020066637A1 (ja) 2018-09-28 2020-04-02 パナソニックIpマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
WO2020066236A1 (ja) 2018-09-27 2020-04-02 パナソニックIpマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
US10739446B2 (en) 2016-01-25 2020-08-11 Ricoh Company, Ltd. Range-finding device
WO2020170969A1 (ja) * 2019-02-22 2020-08-27 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距装置の制御方法、並びに、電子機器
US10775502B2 (en) 2016-11-10 2020-09-15 Ricoh Company, Ltd Distance-measuring apparatus, mobile object, robot, three-dimensional measuring device, surveillance camera, and distance-measuring method
JPWO2020241294A1 (ja) * 2019-05-31 2020-12-03
US11328442B2 (en) 2019-11-25 2022-05-10 Fanuc Corporation Object detection system using TOF sensor
WO2022137919A1 (ja) * 2020-12-22 2022-06-30 パナソニックIpマネジメント株式会社 撮像装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2719160A2 (en) 2011-06-06 2014-04-16 3Shape A/S Dual-resolution 3d scanner
DE102014206236B4 (de) * 2013-04-04 2020-11-19 pmdtechnologies ag Lichtlaufzeitkamera für ein Fahrzeug
DE102014206898B4 (de) * 2013-04-10 2020-11-19 pmdtechnologies ag Lichtlaufzeitkamera für ein Fahrzeug
DE102014004787A1 (de) * 2014-04-02 2015-10-08 Audi Ag Erfassungseinrichtung, insbesondere zur Nutzung in einem Kraftfahrzeug und Kraftfahrzeug
DE112015005163T5 (de) * 2014-11-14 2017-07-27 Denso Corporation Flugzeitabstandsmessvorrichtung
US9881235B1 (en) * 2014-11-21 2018-01-30 Mahmoud Narimanzadeh System, apparatus, and method for determining physical dimensions in digital images
DE102014117399B4 (de) * 2014-11-27 2017-05-11 Sick Ag Sensorsystem
DE102015106140A1 (de) * 2015-04-22 2016-10-27 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines optoelektronischen Sensors für ein Kraftfahrzeug mit Anpassung des Aussendens der Sendesignale, optoelektronischer Sensor, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102015218822A1 (de) 2015-09-30 2017-03-30 Ifm Electronic Gmbh Lichtlaufzeitkamera mit verstellbarer Blende
JP6846708B2 (ja) * 2017-03-30 2021-03-24 パナソニックIpマネジメント株式会社 画像認識装置および距離画像生成方法
JP2018185179A (ja) * 2017-04-25 2018-11-22 株式会社リコー 測距装置、監視装置、3次元計測装置、移動体、ロボット及び測距方法
US10999524B1 (en) 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
US10708484B2 (en) 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
US10915783B1 (en) * 2018-12-14 2021-02-09 Amazon Technologies, Inc. Detecting and locating actors in scenes based on degraded or supersaturated depth data
WO2020240323A1 (en) * 2019-05-31 2020-12-03 Ricoh Company, Ltd. Imaging system, imaging method, and carrier means
JP2021050988A (ja) * 2019-09-25 2021-04-01 ソニーセミコンダクタソリューションズ株式会社 測距装置及び電子機器
CN116068568B (zh) * 2023-04-07 2023-07-28 天津宜科自动化股份有限公司 一种获取物体距离的数据处理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09197045A (ja) * 1996-01-24 1997-07-31 Nissan Motor Co Ltd 車両用レーダ装置
JP2007122507A (ja) * 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
JP2008145263A (ja) * 2006-12-11 2008-06-26 Fujifilm Corp 撮影装置および方法並びにプログラム
JP2008241435A (ja) * 2007-03-27 2008-10-09 Stanley Electric Co Ltd 距離画像生成装置
JP2009047460A (ja) * 2007-08-15 2009-03-05 Lasertec Corp 共焦点顕微鏡

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0374967A (ja) 1989-08-17 1991-03-29 Toshiba Corp 画像補正回路
JP3074967B2 (ja) * 1992-10-27 2000-08-07 松下電器産業株式会社 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
JPH08313215A (ja) 1995-05-23 1996-11-29 Olympus Optical Co Ltd 2次元距離センサ
JP2000098478A (ja) * 1998-09-22 2000-04-07 Casio Comput Co Ltd 電子カメラ及びその制御方法
JP2001281336A (ja) 2000-03-31 2001-10-10 Olympus Optical Co Ltd 距離画像撮像装置
JP3901434B2 (ja) 2000-08-23 2007-04-04 株式会社日立製作所 情報配信システム及び情報表示装置
JP4235729B2 (ja) * 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE102006060108A1 (de) 2006-12-20 2008-06-26 Sick Ag Laserscanner

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09197045A (ja) * 1996-01-24 1997-07-31 Nissan Motor Co Ltd 車両用レーダ装置
JP2007122507A (ja) * 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
JP2008145263A (ja) * 2006-12-11 2008-06-26 Fujifilm Corp 撮影装置および方法並びにプログラム
JP2008241435A (ja) * 2007-03-27 2008-10-09 Stanley Electric Co Ltd 距離画像生成装置
JP2009047460A (ja) * 2007-08-15 2009-03-05 Lasertec Corp 共焦点顕微鏡

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013134173A (ja) * 2011-12-27 2013-07-08 Honda Motor Co Ltd 測距システム及び測距方法
JP2013137242A (ja) * 2011-12-28 2013-07-11 Hamamatsu Photonics Kk 距離測定装置
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US10390004B2 (en) 2012-07-09 2019-08-20 Brightway Vision Ltd. Stereo gated imaging system and method
KR20150038032A (ko) * 2012-07-09 2015-04-08 브라이트웨이 비젼 엘티디. 스테레오 게이트된 영상 시스템 및 방법
JP2015525035A (ja) * 2012-07-09 2015-08-27 ブライトウェイ ビジョン リミテッド 立体ゲーテッド画像システム及び方法
JP2015526927A (ja) * 2012-07-31 2015-09-10 インテル コーポレイション カメラ・パラメータのコンテキスト駆動型調整
WO2014207983A1 (ja) * 2013-06-27 2014-12-31 パナソニックIpマネジメント株式会社 距離測定装置
JPWO2014207983A1 (ja) * 2013-06-27 2017-02-23 パナソニックIpマネジメント株式会社 距離測定装置および固体撮像素子
WO2015107869A1 (ja) * 2014-01-14 2015-07-23 パナソニックIpマネジメント株式会社 距離画像生成装置及び距離画像生成方法
US10310084B2 (en) 2014-01-14 2019-06-04 Panasonic Intellectual Property Management Co., Ltd. Range imaging apparatus and range imaging method
JPWO2015107869A1 (ja) * 2014-01-14 2017-03-23 パナソニックIpマネジメント株式会社 距離画像生成装置及び距離画像生成方法
JPWO2015182135A1 (ja) * 2014-05-30 2017-04-20 パナソニックIpマネジメント株式会社 センシングシステム及び運転支援システム
US10739446B2 (en) 2016-01-25 2020-08-11 Ricoh Company, Ltd. Range-finding device
WO2017141715A1 (ja) * 2016-02-16 2017-08-24 ソニー株式会社 撮像装置及び撮像制御方法
US10816667B2 (en) 2016-02-16 2020-10-27 Sony Corporation Imaging apparatus and imaging control method
US10775502B2 (en) 2016-11-10 2020-09-15 Ricoh Company, Ltd Distance-measuring apparatus, mobile object, robot, three-dimensional measuring device, surveillance camera, and distance-measuring method
WO2018101187A1 (ja) 2016-11-29 2018-06-07 パナソニックIpマネジメント株式会社 距離測定装置
US11448757B2 (en) 2016-11-29 2022-09-20 Nuvoton Technology Corporation Japan Distance measuring device
US11200688B2 (en) 2016-12-05 2021-12-14 Nuvoton Technology Corporation Japan Imaging apparatus and solid-state imaging device used therein
WO2018105476A1 (ja) 2016-12-05 2018-06-14 パナソニックIpマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
JPWO2018181250A1 (ja) * 2017-03-30 2020-02-06 パナソニックIpマネジメント株式会社 距離画像生成装置及び距離画像生成方法
US11561290B2 (en) 2017-03-30 2023-01-24 Nuvoton Technology Corporation Japan Distance image generating device and distance image generating method
CN110446942A (zh) * 2017-03-30 2019-11-12 松下知识产权经营株式会社 距离图像生成装置以及距离图像生成方法
JP7363782B2 (ja) 2018-07-02 2023-10-18 Toppanホールディングス株式会社 測距装置、カメラ、検査調整装置、測距装置の駆動調整方法及び検査調整方法
WO2020008962A1 (ja) * 2018-07-02 2020-01-09 株式会社ブルックマンテクノロジ 測距装置、カメラ、検査調整装置、測距装置の駆動調整方法及び検査調整方法
JPWO2020008962A1 (ja) * 2018-07-02 2021-08-02 株式会社ブルックマンテクノロジ 測距装置、カメラ、検査調整装置、測距装置の駆動調整方法及び検査調整方法
WO2020059448A1 (ja) 2018-09-18 2020-03-26 パナソニックIpマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
US11514595B2 (en) 2018-09-18 2022-11-29 Panasonic Intellectual Property Management Co., Ltd. Depth acquisition device and depth acquisition method including estimating a depth of a dust region based on a visible light image
US12026904B2 (en) 2018-09-18 2024-07-02 Panasonic Intellectual Property Management Co., Ltd. Depth acquisition device and depth acquisition method
EP4390835A2 (en) 2018-09-18 2024-06-26 Panasonic Intellectual Property Management Co., Ltd. Depth acquisition device, depth acquisition method and program
WO2020059565A1 (ja) 2018-09-18 2020-03-26 パナソニックIpマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
US11636615B2 (en) 2018-09-18 2023-04-25 Panasonic Intellectual Property Management Co., Ltd. Depth acquisition device and depth acquisition method
US11373324B2 (en) 2018-09-27 2022-06-28 Panasonic Intellectual Property Management Co., Ltd. Depth acquisition device and depth acquisition method for providing a corrected depth image
WO2020066236A1 (ja) 2018-09-27 2020-04-02 パナソニックIpマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
EP4386674A2 (en) 2018-09-27 2024-06-19 Panasonic Intellectual Property Management Co., Ltd. Depth acquisition device, depth acquisition method, and program
WO2020066637A1 (ja) 2018-09-28 2020-04-02 パナソニックIpマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
US11758247B2 (en) 2018-09-28 2023-09-12 Panasonic intellectual property Management co., Ltd Depth acquisition device and depth acquisition method
WO2020170969A1 (ja) * 2019-02-22 2020-08-27 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距装置の制御方法、並びに、電子機器
JPWO2020241294A1 (ja) * 2019-05-31 2020-12-03
JP7517335B2 (ja) 2019-05-31 2024-07-17 ソニーグループ株式会社 信号処理装置、信号処理方法、および、測距モジュール
US11328442B2 (en) 2019-11-25 2022-05-10 Fanuc Corporation Object detection system using TOF sensor
WO2022137919A1 (ja) * 2020-12-22 2022-06-30 パナソニックIpマネジメント株式会社 撮像装置

Also Published As

Publication number Publication date
WO2011033971A1 (ja) 2011-03-24
DE112010003649B4 (de) 2014-08-21
JP5743390B2 (ja) 2015-07-01
US20120177252A1 (en) 2012-07-12
DE112010003649T5 (de) 2012-08-02
US8768010B2 (en) 2014-07-01

Similar Documents

Publication Publication Date Title
JP5743390B2 (ja) 測距装置、及び測距方法
US10928518B2 (en) Range image generation apparatus and range image generation method
US8159598B2 (en) Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera
JP5367640B2 (ja) 撮像装置および撮像方法
US9068831B2 (en) Image processing apparatus and image processing method
US9927516B2 (en) Distance measuring apparatus and distance measuring method
JP4420909B2 (ja) 撮像装置
US20160320486A1 (en) Range imaging apparatus and range imaging method
JP5256745B2 (ja) 三次元形状計測装置
JP2007074163A (ja) 撮像装置および撮像方法
TWI512270B (zh) 具動態曝光時間的光學測距系統
JP2008276017A (ja) 撮像装置および方法、並びにプログラム
US20160266347A1 (en) Imaging apparatus and method, and program
JP2010190675A (ja) 距離画像センサシステムおよび距離画像生成方法
JP2012225807A (ja) 距離画像カメラおよび距離画像合成方法
US20220099836A1 (en) Method for measuring depth using a time-of-flight depth sensor
JP2020052001A (ja) 奥行取得装置、奥行取得方法およびプログラム
JP2007155356A (ja) 測距装置および測距方法
JP2003185412A (ja) 画像取得装置および画像取得方法
JP4369574B2 (ja) 3次元画像検出装置
JP4369575B2 (ja) 3次元画像検出装置
JP2020051991A (ja) 奥行取得装置、奥行取得方法およびプログラム
JP4604112B2 (ja) 被写体情報測定方法及び被写体情報測定装置、並びに露光制御方法及び、露光制御装置
JP5482560B2 (ja) 測光装置、撮像装置、およびフリッカの検出方法
US20190170502A1 (en) Position designation device and position designation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150428

R150 Certificate of patent or registration of utility model

Ref document number: 5743390

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees