JP2014029268A - 半導体集積回路および物体距離計測装置 - Google Patents

半導体集積回路および物体距離計測装置 Download PDF

Info

Publication number
JP2014029268A
JP2014029268A JP2012169102A JP2012169102A JP2014029268A JP 2014029268 A JP2014029268 A JP 2014029268A JP 2012169102 A JP2012169102 A JP 2012169102A JP 2012169102 A JP2012169102 A JP 2012169102A JP 2014029268 A JP2014029268 A JP 2014029268A
Authority
JP
Japan
Prior art keywords
light source
camera
light
distance
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012169102A
Other languages
English (en)
Other versions
JP5989443B2 (ja
Inventor
Takeshi Nagasaki
健 長崎
Shinji Toda
真志 戸田
Satoshi Otsuka
聡 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Future University Hakodate
Original Assignee
Renesas Electronics Corp
Future University Hakodate
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp, Future University Hakodate filed Critical Renesas Electronics Corp
Priority to JP2012169102A priority Critical patent/JP5989443B2/ja
Priority to US13/754,948 priority patent/US9109887B2/en
Publication of JP2014029268A publication Critical patent/JP2014029268A/ja
Application granted granted Critical
Publication of JP5989443B2 publication Critical patent/JP5989443B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】擬似スリット光を用いた光切断法による物体の距離計測において、物体の形状や位置によっては、拡散光が物体に照射されることにより距離計測の結果に誤差が生じる場合があった。
【解決手段】光源11からの拡散光が照射された物体2をカメラ12により撮像して得た撮像データにおける撮像面上に、棒状物に前記拡散光が照射された状態とみなせる領域が存在するか否かを判定する補正対象物判定部21と、前記撮像データにおける前記拡散光の輝度分布の情報に基づいて前記拡散光の光源中心位置を推定し、前記光源中心位置を第1の測量点とする測量点計算部22と、前記撮像データにおける撮像面の中央と前記第1の測量点との間の水平方向距離と、カメラ12と光源11の位置、およびカメラ12の撮像方向角度とに基づいて、三角測量により前記第1の測量点における物体2とカメラ12との間の距離を計算する距離計算部23とを有する。
【選択図】図1

Description

本発明は、光切断法を利用した物体との間の距離の計測技術に関し、例えば、車載環境における周辺監視手段等での利用に適した物体距離計測装置および当該装置における処理を行う半導体集積回路に適用して有効な技術に関するものである。
自動車等の車両において、運転の補助や事故の削減に資するため、車両の周辺物体の存在を認識・検知できるようにする技術が検討されている。例えば、スリット光による光切断法を用いたものとして、特開2011−7711号公報(特許文献1)には、光源列と、監視領域を撮像するカメラと、画像認識部とを有し、車両周辺の立体物の形状を光切断法により計測する三次元形状計測装置が記載されている。
特許文献1に記載された技術では、光源列から照射された光を各光源から照射された光の光源中心を結ぶ線分を含む照射パターンで照射する擬似スリット光とみなす。画像認識部では、擬似スリット光が照射された監視領域について撮像された画像データから、各画素ラインの輝度データに基づいて推定した擬似スリット光の照射位置の情報と照射パターンとの差分に基づいて、三角測量の原理により立体物上での照射位置におけるカメラからの距離を算出する。
特開2011−7711号公報
特許文献1に記載された技術では、擬似スリット光の光源として、レーザ等の光源ではなく既存の車載のランプ等を用いることができ、また、擬似スリット光が照射された領域を撮影するカメラについても、後方認識用カメラなどの既存の車載カメラを利用することが可能であるため、安全かつ低コストで計測装置を構築することが可能である。
しかしながら、特許文献1に記載された技術では、光源として車載ランプ等の拡散光を用いて、ここから擬似的なスリット光を得ている。このため、計測対象の物体の形状(例えば棒状物など)や位置によっては、拡散光が物体に照射されることにより擬似スリット光の正しい照射位置を把握できず、距離計測の結果に誤差が生じる場合があるという課題を有する。その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
一実施の形態による物体距離計測装置は、光源からの拡散光が照射された物体をカメラにより撮像して得た撮像データにおける撮像面上に、棒状物に前記拡散光が照射された状態とみなせる領域が存在するか否かを判定する補正対象物判定部と、前記撮像データにおける前記拡散光の輝度分布の情報に基づいて前記拡散光の光源中心位置を推定し、前記光源中心位置を測量点とする測量点計算部と、前記撮像データにおける撮像面の中央と前記測量点との間の水平方向距離と、前記カメラと前記光源の位置、および前記カメラの撮像方向角度とに基づいて、三角測量により前記測量点における前記物体と前記カメラもしくは前記光源との間の距離を計算する距離計算部とを有する。
前記一実施の形態によれば、光源に拡散光を用いるために計測対象の物体の形状や位置によって生じ得る距離計測の結果の誤差を低減することができる。
一実施の形態による物体距離計測装置の構成例について概要を示した図である。 一実施の形態による擬似スリット光の取り扱いと測量点の概要について説明する図である。 一実施の形態による光切断法における三角測量の概要について説明する図である。 一実施の形態による物体との間の距離の測定の例について概要を示した図である。 (a)〜(c)は、一実施の形態による測量点のずれの例について説明する図である。 従来技術における距離計測の誤差を生ずる例について概要を示した図である。 一実施の形態による光源の中心位置を推定する手法の例について概要を説明する図である。 一実施の形態による棒状の物体の軸を推定する手法の例について概要を説明する図である。 一実施の形態による物体との間の距離を計測する処理の流れの例について示したフローチャートである。
以下、実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。
本実施の形態の物体距離計測装置は、拡散光の光源と、当該光源からの光が照射する領域を撮像して画像データを得るカメラとを用いて、光が照射される領域に存在する物体とカメラとの間の距離を、拡散光から得た擬似的なスリット光を利用して光切断法により計測するものである。光源としては、例えば、自動車等の車両に搭載されているテールランプやブレーキランプ、バックランプ等を用いることができ、また、カメラとしては、車両の後方確認用として搭載されているカメラがある場合にはこれを用いることができる。従って、当該物体距離計測装置を、自動車等の車両に搭載された既存の装備を用いて低コストで構築することが可能である。
さらに、本実施の形態の物体距離計測装置は、後述するように、物体の形状が例えば棒状物等である場合や、物体の位置が擬似的なスリット光の位置からずれている場合など、拡散光が物体に照射されることにより距離計測の結果に誤差が生じ得る場合を検知し、所定の補正を行った上で距離を計測することで誤差を低減することが可能である。
図1は、本実施の形態による物体距離計測装置の構成例について概要を示した図である。物体距離計測装置1は、例えば、半導体集積回路やソフトウェアとして実装される制御部10、画像処理部20および出力部30などの各部と、光源11およびカメラ12を有し、光切断法を用いて周辺の物体2との間の距離を計測する装置である。計測結果を表示するモニタ31をさらに有していてもよい。当該物体距離計測装置1は、上述したように、例えば、自動車等の車両に搭載され、車両周辺の監視領域にある物体2との間の距離を計測し、計測結果をモニタ31に表示する。表示に限らず、計測結果に基づいて当該車両が自身の挙動を制御するようにしてもよい。
光源11は、例えば、車載のランプ等にも利用が拡がっているLED(Light Emitting Diode)照明などによって構成され、光切断法を行うためのスリット光を発生して監視領域を照射する。光源11から照射される光はレーザ光とは異なり拡散光であるため、後述する手法によりこれをスリット光と見立てた擬似スリット光として取り扱うものとする。カメラ12は、監視領域において光源11が物体2を照射している状況を撮影し、画像データとして取得することができるデジタルビデオカメラやデジタルカメラであり、例えば、車載の後方監視カメラなどを流用することが可能である。制御部10は、上記の光源11やカメラ12の動作(例えば、光源11の点灯・消灯やカメラ12の撮影)を制御する。
画像処理部20は、例えば、補正対象物判定部21、測量点計算部22、および距離計算部23などの各部を有する。これら各部により、カメラ12によって撮像した画像データ(物体2に光源11からの光が照射されている状態が撮像されている画像データ)について解析し、光切断法を用いて三角測量の原理によって物体2との間の距離を計算するという、物体距離計測装置1における中心的な処理を行う。
補正対象物判定部21は、カメラ12によって撮像した画像データを解析して、物体2について距離計測の結果に誤差が生じ得る状態であるか否か(補正が必要な物体2であるか否か)を判定する。測量点計算部22は、カメラ12によって撮像した画像データについて解析し、水平方向の走査線毎に、物体2に光源11からの擬似スリット光が照射されている位置を特定し、この位置を三角測量により距離を計測するための測量点とする。補正対象物判定部21において距離計測の結果に誤差が生じ得る状態であると判定された場合は、測量点について所定の補正を行う。距離計算部23は、測量点計算部23により計算した各測量点に基づいて、三角測量により物体2との間の距離を計算する。画像処理部20の各部での処理内容の詳細については後述する。
出力部30は、画像処理部20での物体2との間の距離計測の結果をモニタ31等に対して出力する。モニタ31には、例えば、カメラ12によって撮像した(している)車両後方の監視領域の画像と合わせて、計測した距離の情報等を表示することができる。また、例えば、図示しない車両の挙動制御を行う機構等に対して距離計測の結果を出力することで、物体2に車両が接近し過ぎている場合に車両を停止させたり等の制御を行うことも可能である。
図2は、本実施の形態による擬似スリット光の取り扱いと測量点の概要について説明する図である。なお、以降の図も含めて、光源11が光を照射する方向をz方向とし、これに垂直な平面をxy平面(x軸は水平方向)として説明する。図2の例では、xy平面上に平板状の物体2が存在するような場合、すなわち、xy平面上に光源11からの拡散光全体が光源中心11bを中心として照射されている場合における、カメラ12により撮像した画像データを示している。
このような拡散光のままではスリット光を用いた光切断法は適用することができない。そこで、本実施の形態では、光源11からの拡散光のうち、中心付近の最も輝度が高い部分の垂直方向(y方向)のラインを擬似スリット光11aとして取り扱い、光切断法を適用する。
すなわち、拡散光の輝度はxyの二次元の正規分布であると仮定し、x方向に沿って複数の走査線12aをとり、各走査線12a上での輝度分布12b(正規分布)を算出する。ここでは、走査線12a上の各画素の実際の輝度データの分布から、例えば、EM(Expectation-maximization)アルゴリズム等を使用して正規分布曲線を最尤推定する。さらに、各走査線12a上での正規分布の頂点に対応する位置を算出し、これらを結んだものを擬似スリット光11aとして取り扱う。従って、物体2に擬似スリット光11aを照射した場合、各走査線12a上での輝度の正規分布の頂点に対応する位置が、三角測量における測量点12c(擬似スリット光11aの物体2に対する照射位置)となる。
図3は、本実施の形態による光切断法における三角測量の概要について説明する図である。図では、xz平面上の状態を示しており、光源11とカメラ12がx軸方向に沿って位置Lと位置Cにそれぞれ配置されており、光源11は、x軸と直行するz軸方向に図2に示したような擬似スリット光11aを照射することを示している。カメラ12は、光源11の擬似スリット光11aの照射方向を撮像するように向きが調整されており、カメラ12の撮像面13上における画像中心Fが、三角測量による距離計測の基準点となる。
すなわち、測量点12cが画像中央(図3の例では画像中心Fとしている)の位置にある場合は、物体2はOの位置にあることになり、カメラ12と物体2との間の距離COは、光源11とカメラ12の間の距離LCと、カメラ12の撮像方向の角度θという既知のパラメータから算出することができる既知の値となる(焦点位置が擬似スリット光11aの光軸上にある場合は焦点距離CFと同じになる)。
一方、測量点12cが画像中央よりも水平方向左側のO’の位置にある場合は、物体2はよりカメラ12に近いOの位置にあることになり、カメラ12と物体2との間の距離COは、距離LCと角度(θ−φ)から算出することができる。なお、角度φは、撮像面13上での画像中央と位置O’との間の水平方向距離lと焦点距離CFから算出することができる。同様に、測量点12cが画像中心Fよりも水平方向右側のO’の位置にある場合は、物体2はよりカメラ12から遠いOの位置にあることになり、カメラ12と物体2との間の距離COは、距離LCと角度(θ+φ)から算出することができる。なお、本実施の形態では、物体2との距離をカメラ12からの距離として計測しているが、光源11からの距離として計測してもよい。
図4は、本実施の形態による物体2との間の距離の測定の例について概要を示した図である。図4の例では、本実施の形態による物体距離計測装置1を車両3に実装し、テールランプを光源11、後方確認用カメラをカメラ12として用いている。また、物体2の形状が棒状物であることを示している。このような棒状の障害物が車両周辺に存在することは珍しいことではない。なお、図4に示すような、光源11からの光の投影面上に棒状物である物体2が存在する場合に限らず、投影面上に棒状物として投影される状態(光源11からの光が棒状物に照射されているのと同様である状態)であってもよい。これらの状態では、光源11からの擬似スリット光11aが実際には拡散光であることから、測量点12cの把握にずれが生じて距離計測に誤差が生じる場合がある。
図5は、本実施の形態による測量点12cのずれの例について説明する図である。図5(a)は、図2と同様に、例えば、撮像面13のxy平面上にある平板状の物体2に対して光源11からの拡散光を照射した状態を示している。この場合、各測量点12cは擬似スリット光11aとして把握される部分に算出される。すなわち、各測量点12cは、擬似スリット光11aが実際に物体2に照射されたことにより得られたものであるため、これ基づいて平板状の物体2までの距離を適切に計測することができる。
一方、図5(b)は、図4の例に示したような状態で存在する棒状物の物体2に対して光源11からの拡散光を照射した状態を示している。この場合、各走査線12a上において、擬似スリット光11aとして把握される部分に物体2の領域が存在せず、他の部分に物体2の領域が存在するという箇所が生じる。これらの箇所は、拡散光ではない本来のスリット光であれば照射されることがないため、測量点12cとして算出されるべきではなく、従って、これらの各走査線12a上では測量点12cがない状態となるべきである。しかしながら、擬似スリット光11aが実際は拡散光であることから、図示するように、物体2に拡散光の拡散部分が照射された位置を測量点12cとして算出してしまうことになる。
その結果、これらの測量点12cが画像中心より右側の位置にくることから、従来技術では、図3に示すように、より遠い位置に物体2が存在するものと判断してしまうことになり、距離計測の結果に誤差が生じてしまう。図6は、従来技術における距離計測の誤差を生ずる例について概要を示した図である。すなわち、上記の図5(b)の例の場合は、図6に示すように、例えば、平板状の物体4が光源11およびカメラ12側に上部を傾けた状態で存在しているのと同様の計測結果となってしまう。
図5(b)では、物体2が棒状物の場合を例として示しているが、棒状物ではない場合であってもこのような状況は生じ得る。図5(c)は、棒状ではない形状として、例えば直方体状の物体2が擬似スリット光11aとして把握される部分から右側にずれて存在している状態を示している。この場合も、上記と同様に、擬似スリット光11aが実際には拡散光であることから、擬似スリット光11aとして把握される部分には含まれない物体2の左側端部を測量点12cとして算出してしまうことになり、その結果、上記と同様に、距離計測の結果に誤差が生じてしまう。
このように、撮像面13の各走査線12a上において、擬似スリット光11aとして把握される部分の照射位置に物体2の領域が存在せず、他の部分に物体2の領域が存在する状態が生じるような、物体2の形状もしくは配置状況では、三角測量で距離を計測する際の測量点12cを正しく計測することができない。その結果として、走査線12aの高さ位置における物体2の距離の計測結果に誤差を生じることになる。
そこで、本実施の形態では、物体2に対する拡散光の照射の状況(輝度分布)から、光源11の照射の中心位置を推定し、これを測量点12cとする。すなわち、物体2の位置に図5(a)の例のような平板が存在したと仮定した場合に、当該平板に照射される光源11からの拡散光の中心(擬似スリット光11aの中心)となる位置を推定し、これを物体2についての測量点12cとする。これにより、従来技術を用いた場合に各走査線12a上に算出されることになる複数の測量点12cは、1つの測量点12c(光源11の中心位置)に変換されることになる。
図7は、本実施の形態による光源11の中心位置を推定する手法の例について概要を説明する図である。例えば、撮像面13上に、図5(b)の例のように棒状の物体2が存在する(撮像されている)場合、棒状の物体2の軸方向に沿って輝度分布を正規分布推定して軸上輝度分布12dを得る。物体2の軸上における軸上輝度分布12dの頂点の位置を通り、物体2の軸方向に直交する法線と、撮像面13上において光源11の中心位置がとり得る軌跡を示す光源中心軌跡12eとの交点を、当該物体2についての推定光源中心12f(すなわち測量点12c)とする。
ここで光源中心軌跡12eは、物体2の距離に応じた光源中心の照射位置の軌跡を示す直線であり、例えば、図5(a)の例のように、仮に平板状の物体2をxy平面上に配置して光源11からの拡散光を照射した状態で、物体2の距離を変えた(例えば、平板状の物体2をz軸に沿って移動させた)場合の、光源11の中心位置の移動軌跡を示している。例えば、事前に少なくとも距離が異なる2ヶ所以上で平板状の物体2に対して光源11からの拡散光を照射した場合の光源11の中心位置をそれぞれ求めておくことで、これらの中心位置から近似的に光源中心軌跡12eの直線を求めることができる。
図8は、本実施の形態による棒状の物体2の軸を推定する手法の例について概要を説明する図である。図7の例に示した手法により推定光源中心12f(すなわちこの場合の測量点12c)を求める際、棒状の物体2の軸を推定する必要がある。本実施の形態では、例えば、撮像面13上での棒状の物体2の領域の輝度分布は物体2の軸方向に最も長くなる特徴を有することを利用し、輝度分布の幅が最も広くなる角度から物体2の軸を推定する。
具体的には、例えば、各画素について輝度値が所定の閾値を超えるものを注目画素12gとして抽出し、各注目画素12gについて、当該注目画素12gを中心とする0度から179度の回転角(例えば1度単位)を有する複数の直線を考える。各直線について、それぞれ直線上の画素の輝度分布を正規分布推定し、正規分布の幅が最も広くなる角度を求めて、これを当該注目画素12gの推定軸角度12hとする。
各注目画素12gについて推定軸角度12hを求め、最も出現頻度の高い推定軸角度12hの値(もしくはこれを中心とした一定範囲の値)と同じ値を推定軸角度12hとして有する注目画素12gを抽出する。抽出した注目画素12gの集合を直線近似することで物体推定軸2’を求めることができる。その後は、上述したように、物体推定軸2’上の輝度分布を正規分布推定して軸上輝度分布12dを取得し、正規分布の頂点に対応する位置から物体推定軸2’に対する法線を引く。当該法線と光源中心軌跡12eとの交点を推定光源中心12fとする。
上記の手法では、各注目画素12gを通る直線上での輝度分布に基づいて棒状の物体2の軸を推定している。当該手法によれば、物体2が直線状の棒状物である場合に限らず、曲線や折れ曲がりなどを有していても、直線近似により仮想的に物体推定軸2’を求めることができる。また、図5(c)の例に示すような、物体2の位置により補正が必要となる場合であっても、測量点12cを含む位置にあたかも棒状の物体2があるものとみなして、同様の手法により物体推定軸2’および推定光源中心12fを求めることができる。なお、上記の推定光源中心12fの推定手法(物体推定軸2’などの推定手法も含む)は一例であり、他の推定手法を用いてもよいことは当然である。
図9は、本実施の形態による物体2との間の距離を計測する処理の流れの例について示したフローチャートである。距離計測の処理を開始すると、まず、物体距離計測装置1は、制御部10により、光源11を点灯して監視領域にある物体2を照射するとともに、照射されている物体2の状態をカメラ12により撮影する(S01)。得られた撮像データは、画像処理部20に受け渡す。光源11やカメラ12の動作は必要に応じて継続させてもよいし、停止させてもよい。
撮像データを取得した画像処理部20は、補正対象物判定部21により、図8に示した手法により、撮像データの中に補正対象となる棒状の物体2が存在するかを判定する。具体的には、上述したように、まず、撮像データの各画素について、輝度値が所定の閾値以上であるものを注目画素12gとして抽出する(S02)。次に、ステップS02で抽出した各注目画素12gについて、それぞれ当該注目画素12gを中心とする0度から179度の回転角(1度単位)を有する複数の直線を設定し、各直線上の輝度分布を正規分布推定して、正規分布の幅が最も広くなる角度を当該注目画素12gにおける推定軸角度12hとして決定する(S03)。
その後、ステップS03で抽出した注目画素12gについて、最も出現頻度の高い推定軸角度12hの値(もしくはこれを中心とした一定範囲の値)と同じ値を推定軸角度12hとして有する注目画素12gを抽出する(S04)。さらに、ステップS04で抽出した注目画素12gの集合を任意の手法により直線近似することで、物体推定軸2’を算出する(S05)。その後、ステップS05で推定した物体推定軸2’が妥当なものであるか否かを判定する(S06)。
例えば、得られた近似直線からの各注目画素12gの分散の程度が所定の閾値以上に大きい場合や、抽出された注目画素12gの数が所定の数より少ない場合など、直線近似が妥当でないような場合は、棒状の物体2に拡散光が照射された状態であるとみなせる領域が検出できない(補正対象となる棒状の物体2が存在しない)ものとして、本実施の形態による補正を行わず、従来技術と同様の手法で物体2の距離を計測するものとする。すなわち、測量点計算部22により、各走査線12a上での画素の輝度分布を正規分布推定し、正規分布の頂点の位置を測量点12cとして(S07)、距離計算部23により、各測量点12cについてそれぞれ三角測量により物体2との間の距離を計算する(S10)。
一方、ステップS05で推定した物体推定軸2’が妥当なものである場合(もしくは妥当でないもの以外の場合)は、棒状の物体2に拡散光が照射された状態であるとみなせる領域が検出できたものとして、次に、測量点計算部22により、物体推定軸2’上の画素の輝度分布を正規分布推定して軸上輝度分布12dを取得し、正規分布の頂点に対応する位置を計算する(S08)。さらに、ステップS08で得た頂点位置から物体推定軸2’に対する法線を算出し、当該法線と、予め算出されている光源中心軌跡12eの直線との交点から推定光源中心12fを求め、これを測量点12cとして設定する(S09)。
その後、距離計算部23により、測量点12cについて三角測量により物体2との間の距離を計算する(S10)。得られた距離の情報は、例えば、カメラ12での撮像データと合わせて出力部30によってモニタ31上に表示したり、車両の制御に用いたりすることができる。
このように、物体2が棒状物であったり、配置位置がずれていたり等の状況に応じて、光源11の中心位置を推定して測量点12cとする補正を行うことで、物体2との間の距離をより適切に測定することが可能となる。この点を確認すべく、本願の出願人は上記の補正処理の手法を用いた場合と用いなかった場合(従来技術を用いた場合)とで物体2との間の距離をそれぞれ計測する実験を行った。
実験では、光源11に一般的なLEDランプを用い、また、カメラ12にはUSB(Universal Serial Bus)によりPC等に接続して使用する一般的なWebカメラ(128×96ピクセルで撮像データを取得)を用いた。これらを図2の例に示したのと同様な位置関係で相互に17cm離れた位置に固定し、(1)カメラ12から44cm離れた位置に棒状の物体2を配置した場合と、(2)35cm離れた位置に配置した場合とについて、従来技術による距離の計測と、本実施の形態の補正手法を用いた距離の計測とをそれぞれ行なって計測結果を比較した。
なお、物体2の配置状況は、上記(1)の実験では、図5(b)と同様であり、擬似スリット光11aとして把握される部分よりも右側に物体2の部分が存在する場合である。また、上記(2)の実験では、図5(b)とは左右逆とし、擬似スリット光11aよりも左側に物体2の部分が存在する場合としている。
距離計測の結果、従来技術では、各走査線12a上の測量点12c毎に異なる距離が計測されるため、(1)の実験では、86cm〜137cm、(2)の実験では24cm〜37cmとバラツキが生じる結果となった。また、(1)の実験では誤差も非常に大きくなった。これに対し、本実施の形態の手法では、測量点12cが推定光源中心12fの1点となるためバラツキはなく、(1)の実験では47cm、(2)の実験では29cmと少ない誤差で距離を計測することができた。
以上に説明したように、本実施の形態による物体距離計測装置1によれば、例えば、自動車等の車両に搭載されているテールランプ等を光源11として擬似スリット光11aを得て監視領域に存在する物体2を照射し、同じく車両に搭載されている後方確認用等のカメラをカメラ12として用いて、光切断法により物体2とカメラ12との間の距離を計測することができる。このとき、例えば、物体2の形状が棒状である場合や、物体2の位置が擬似スリット光11aの位置からずれている場合など、距離計測の結果に誤差が生じ得る場合を検知し、測量点12cの位置を推定光源中心12fの位置に補正することで、これらの場合における誤差を低減することが可能となる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
1…物体距離計測装置、2…物体、2’…物体推定軸、3…車両、4…物体、
10…制御部、11…光源、11a…擬似スリット光、11b…光源中心、12…カメラ、12a…走査線、12b…輝度分布、12c…測量点、12d…軸上輝度分布、12e…光源中心軌跡、12f…推定光源中心、12g…注目画素、12h…推定軸角度、13…撮像面、
20…画像処理部、21…補正対象判定部、22…測量点計算部、23…距離計算部、
30…出力部、31…モニタ。

Claims (7)

  1. 光源からの拡散光が照射された物体をカメラにより撮像して得た撮像データにおける撮像面上に、棒状物に前記拡散光が照射された状態とみなせる領域が存在するか否かを判定する補正対象物判定部と、
    前記撮像データにおける撮像面上に棒状物に前記拡散光が照射された状態とみなせる領域が存在する場合に、前記撮像データにおける前記拡散光の輝度分布の情報に基づいて前記拡散光の光源中心位置を推定し、前記光源中心位置を第1の測量点とする測量点計算部と、
    前記撮像データにおける撮像面の中央と前記第1の測量点との間の水平方向距離と、前記カメラと前記光源の位置、および前記カメラの撮像方向角度とに基づいて、三角測量により前記第1の測量点における前記物体と前記カメラもしくは前記光源との間の距離を計算する距離計算部とを有する、半導体集積回路。
  2. 前記測量点計算部は、前記撮像データにおける撮像面上に棒状物に前記拡散光が照射された状態とみなせる領域が存在しない場合に、前記撮像データにおける水平方向の複数の走査線上での前記拡散光の輝度分布の頂点位置をそれぞれ第2の測量点とし、
    前記距離計算部は、前記撮像データにおける撮像面の中央と前記各第2の測量点との間の水平方向距離と、前記カメラと前記光源の位置、および前記カメラの撮像方向角度とに基づいて、三角測量により前記各第2の測量点における前記物体と前記カメラもしくは前記光源との間の距離を計算する、請求項1に記載の半導体集積回路。
  3. 前記補正対象物判定部は、前記撮像データにおける所定の閾値以上の輝度を有する注目画素について、前記注目画素を通る直線のうち、直線上の画素の輝度分布曲線の幅が最も広くなる場合の角度を推定軸角度として算出し、
    前記各注目画素について、最頻の前記推定軸角度と同じ値の前記推定軸角度を有する前記注目画素を抽出し、抽出した前記注目画素の位置について直線近似が可能である場合に、前記撮像データにおける前記撮像面上に棒状物に前記拡散光が照射された状態とみなせる領域が存在するものと判断する、請求項1に記載の半導体集積回路。
  4. 前記補正対象物判定部は、抽出した前記注目画素から直線近似により得た物体推定軸について、前記物体推定軸上の画素の輝度分布の頂点に対応する位置を通り前記物体推定軸と直交する法線と、予め得ている、物体の距離に応じた前記拡散光の光源中心の照射位置の前記撮像面上における軌跡を示す直線との交点を、前記光源中心位置として推定する、請求項3に記載の半導体集積回路。
  5. 物体に対して拡散光を照射する光源と、
    前記拡散光が照射された前記物体を撮像して撮像データを得るカメラと、
    前記光源および前記カメラの動作を制御する制御部と、
    請求項1〜4のいずれか1項に記載の半導体集積回路とを有する、物体距離計測装置。
  6. 前記半導体集積回路により計算された、前記物体と前記カメラもしくは前記光源との間の距離に係る情報を所定の方式で出力する出力部をさらに有する、請求項5に記載の物体距離計測装置。
  7. 前記光源は、車両に設置されているバックランプもしくはブレーキランプもしくはテールランプもしくは前記車両の外部を照射する他のランプを構成するLEDランプであり、
    前記カメラは、前記車両に設置されている後方認識用カメラである、請求項5に記載の物体距離計測装置。
JP2012169102A 2012-07-31 2012-07-31 半導体集積回路および物体距離計測装置 Expired - Fee Related JP5989443B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012169102A JP5989443B2 (ja) 2012-07-31 2012-07-31 半導体集積回路および物体距離計測装置
US13/754,948 US9109887B2 (en) 2012-07-31 2013-01-31 Semiconductor integrated circuit and object-distance measuring apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012169102A JP5989443B2 (ja) 2012-07-31 2012-07-31 半導体集積回路および物体距離計測装置

Publications (2)

Publication Number Publication Date
JP2014029268A true JP2014029268A (ja) 2014-02-13
JP5989443B2 JP5989443B2 (ja) 2016-09-07

Family

ID=50025103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012169102A Expired - Fee Related JP5989443B2 (ja) 2012-07-31 2012-07-31 半導体集積回路および物体距離計測装置

Country Status (2)

Country Link
US (1) US9109887B2 (ja)
JP (1) JP5989443B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019197428A (ja) * 2018-05-10 2019-11-14 株式会社イージスモスジャパン 障害物検知システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007825B2 (en) * 2014-12-29 2018-06-26 Automotive Research & Testing Center Positioning system using triangulation positioning based on three pixel positions, a focal length and the two-dimensional coordinates
JP6869002B2 (ja) * 2016-10-21 2021-05-12 キヤノン株式会社 計測装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030628A (ja) * 2001-07-18 2003-01-31 Fujitsu Ltd 相対位置計測装置
JP2005352718A (ja) * 2004-06-10 2005-12-22 Nippon Telegr & Teleph Corp <Ntt> 代表画像選択装置,代表画像選択方法および代表画像選択プログラム
JP2009074814A (ja) * 2007-09-19 2009-04-09 Kyonan Seiki Kk 光切断法による3次元形状測定装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2276446B (en) * 1993-03-26 1996-07-03 Honda Motor Co Ltd Method of measuring the position of a hole
WO1999042900A1 (en) * 1998-02-06 1999-08-26 Videometer Aps An apparatus and a method of recording an image of an object
EP2306229A1 (en) * 1998-05-25 2011-04-06 Panasonic Corporation Range finder device and camera
EP1220596A1 (en) * 2000-12-29 2002-07-03 Icos Vision Systems N.V. A method and an apparatus for measuring positions of contact elements of an electronic component
US6826362B2 (en) * 2002-12-10 2004-11-30 Olympus Corporation Camera having distance measuring apparatus
US7002699B2 (en) * 2004-02-23 2006-02-21 Delphi Technologies, Inc. Identification and labeling of beam images of a structured beam matrix
US7095002B2 (en) * 2004-02-23 2006-08-22 Delphi Technologies, Inc. Adaptive lighting control for vision-based occupant sensing
JP4485904B2 (ja) * 2004-10-18 2010-06-23 株式会社日立ハイテクノロジーズ 検査装置及び検査方法
JP2006162288A (ja) * 2004-12-02 2006-06-22 Nippon Sheet Glass Co Ltd ロッドの反り検査方法および検査装置
US20080106794A1 (en) * 2006-09-27 2008-05-08 Messina Michael C Co-axial diffuse light methods
US8032017B2 (en) * 2006-09-29 2011-10-04 Microscan Systems, Inc. Methods for providing diffuse light
US8248465B2 (en) * 2007-12-27 2012-08-21 Olympus Corporation Measuring endoscope apparatus and program
US8531479B2 (en) * 2009-06-12 2013-09-10 Olympus Corporation Endoscope apparatus and program
JP5330120B2 (ja) 2009-06-29 2013-10-30 公立大学法人公立はこだて未来大学 三次元形状計測装置および半導体集積回路

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030628A (ja) * 2001-07-18 2003-01-31 Fujitsu Ltd 相対位置計測装置
JP2005352718A (ja) * 2004-06-10 2005-12-22 Nippon Telegr & Teleph Corp <Ntt> 代表画像選択装置,代表画像選択方法および代表画像選択プログラム
JP2009074814A (ja) * 2007-09-19 2009-04-09 Kyonan Seiki Kk 光切断法による3次元形状測定装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019197428A (ja) * 2018-05-10 2019-11-14 株式会社イージスモスジャパン 障害物検知システム

Also Published As

Publication number Publication date
US20140036067A1 (en) 2014-02-06
JP5989443B2 (ja) 2016-09-07
US9109887B2 (en) 2015-08-18

Similar Documents

Publication Publication Date Title
JP2020098151A5 (ja)
US20160084649A1 (en) Elevator shaft inner dimension measuring device, elevator shaft inner dimension measurement controller, and elevator shaft inner dimension measurement method
US8451878B2 (en) Surface profile inspection device
US20160300356A1 (en) Measurement device that measures shape of object to be measured, measurement method, system, and article production method
JP2010185769A (ja) 物体検出装置
JP6237875B2 (ja) 自己位置算出装置及び自己位置算出方法
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP2008107194A (ja) 車輌のホイールアライメント測定装置
WO2015125300A1 (ja) 自己位置算出装置及び自己位置算出方法
CN112130158B (zh) 对象距离测量装置和方法
WO2015125296A1 (ja) 自己位置算出装置及び自己位置算出方法
JP2015184929A (ja) 立体物検出装置、立体物検出方法、および立体物検出プログラム
JP5989443B2 (ja) 半導体集積回路および物体距離計測装置
JP2008292278A (ja) 距離検出装置の光学ずれ検出方法及び距離検出装置
US10016862B2 (en) Measurement apparatus, calculation method, system, and method of manufacturing article
JP2017198470A (ja) 計測装置、計測方法、システム及び物品の製造方法
JP5187068B2 (ja) 3次元形状測定装置および3次元形状測定方法
US20180158205A1 (en) Apparatus and method for generating three-dimensional information
WO2016179798A1 (en) A system and a computer-implemented method for calibrating at least one senser
JP5272431B2 (ja) 対象物測距装置及びプログラム
JP2018179654A (ja) 距離画像の異常を検出する撮像装置
JP5330120B2 (ja) 三次元形状計測装置および半導体集積回路
US10068350B2 (en) Measurement apparatus, system, measurement method, determination method, and non-transitory computer-readable storage medium
KR102441048B1 (ko) 근접 차량 검출 장치 및 방법
JP2008002818A (ja) 車両識別システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160810

R150 Certificate of patent or registration of utility model

Ref document number: 5989443

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees