JP2020067388A - 異常検出装置と異常検出方法およびプログラムと測距装置 - Google Patents

異常検出装置と異常検出方法およびプログラムと測距装置 Download PDF

Info

Publication number
JP2020067388A
JP2020067388A JP2018200734A JP2018200734A JP2020067388A JP 2020067388 A JP2020067388 A JP 2020067388A JP 2018200734 A JP2018200734 A JP 2018200734A JP 2018200734 A JP2018200734 A JP 2018200734A JP 2020067388 A JP2020067388 A JP 2020067388A
Authority
JP
Japan
Prior art keywords
light
unit
pulsed light
light receiving
pulsed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018200734A
Other languages
English (en)
Inventor
大木 光晴
Mitsuharu Oki
光晴 大木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2018200734A priority Critical patent/JP2020067388A/ja
Priority to PCT/JP2019/036327 priority patent/WO2020084957A1/ja
Publication of JP2020067388A publication Critical patent/JP2020067388A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】パルス光を出射する発光部や反射されたパルス光が入射される受光部の異常を容易に検出できるようにする。【解決手段】発光部11からパルス光を物体に照射して、物体で反射されたパルス光を受光部12で受光する。距離算出部15は、パルス光の発光タイミングと受光部12における反射されたパルス光の受光結果に基づき、パルス光を反射した物体までの距離を算出する。検出部16は、パルス光が照射されていないときの受光部12の第1の受光量と、パルス光が照射されているときの受光部12の第2の受光量、あるいは第1の受光量と第2の受光量と物体までの距離を用いての相関関係を判別する。検出部16は、相関関係における変動が所定範囲を超えた場合にパルス光を出射する発光部または受光部の異常と判別する。また、検出部16は、第2の受光量が大きいために相関関係における変動が所定範囲を超えた場合、パルス光の出射を停止させる。【選択図】 図3

Description

この技術は、異常検出装置と異常検出方法およびプログラムと測距装置に関し、パルス光を出射する発光部や反射されたパルス光が入射される受光部の異常を容易に検出できるようにする。
従来、物体までの距離を精度よく計測するため、例えば特許文献1では、レーザ光を対象物に照射して、この対象物で反射されたレーザ光を受光手段で所定のタイミングで受光して、受光量に対応する測定値に基づき対象物までの距離を算出することが行われている。
特開2000−146523号公報
ところで、パルス光を出射する発光部では、雨や雪,木の葉などの外的要因によってパルス光が遮光されてしまうことがないように、拡散板を用いてパルス光のビーム径や拡がり角を大きくする場合、拡散板の破損等によって所定よりも光量の高いパルス光が出力されるおそれがある。また、発光素子や拡散板の劣化等によって、パルス光の照射領域内に光量の低い領域が生じるおそれもある。さらに、物体で反射されたパルス光(反射パルス光)を受光する受光部では、例えば二次元画素配置の受光素子の劣化等によって反射パルス光に応じた受光信号を出力できない画素を生じるおそれもある。
そこで、この技術ではパルス光を出射する発光部や反射されたパルス光が入射される受光部の異常を容易に検出できる異常検出装置と異常検出方法およびプログラムと測距装置を提供することを目的とする。
この技術の第1の側面は、
物体で反射されたパルス光を受光する受光部における前記パルス光が前記物体に照射されていないときの第1の受光量と、前記パルス光が前記物体に照射されているときの第2の受光量の相関関係に基づいて、前記パルス光を出射する発光部または前記受光部の異常を検出する検出部
を備える異常検出装置にある。
この技術においては、パルス光を物体に照射して、物体で反射されたパルス光を受光部で受光する。検出部は、物体におけるパルス光の入射角と反射されたパルス光の反射角が等しい領域を除く領域について、パルス光が照射されていないときの受光部の第1の受光量と、パルス光が照射されているときの受光部の第2の受光量の相関関係を判別する。例えば、距離算出部によって、パルス光を反射した物体までの距離が、パルス光の発光タイミングと受光部における反射されたパルス光の受光結果に基づき算出されており、検出部は、パルス光を反射した物体までの距離を用いて第1の受光量と第2の受光量の相関を判別する。また、物体までの距離は、パルス光を反射した物体を撮像部で撮像した撮像画と受光部で反射されたパルス光を受光して生成された撮像画に基づいて算出してもよい。また、パルス光を出射する発光部では、物体までの距離を算出しない場合、物体までの距離を算出する場合よりもパルス光の光量を低減させてもよい。
検出部は、相関関係における変動が所定範囲を超えた場合にパルス光を出射する発光部または反射されたパルス光を受光する受光部の異常と判別する。また、検出部は、第2の受光量が大きいために相関関係における変動が所定範囲を超えた場合、パルス光の出射を停止させる。さらに、検出部は、第2の受光量が小さいために相関関係における変動が所定範囲を超えた場合、発光部または受光部の異常をユーザに通知させる。
この技術の第2の側面は、
物体で反射されたパルス光を受光する受光部における前記パルス光が前記物体に照射されていないときの第1の受光量と、前記パルス光が前記物体に照射されているときの第2の受光量の相関関係に基づいて、前記パルス光を出射する発光部または前記受光部の異常を検出部で検出すること
を含む異常検出方法にある。
この技術の第3の側面は、
物体で反射されたパルス光を受光部で受光して得られた受光結果の処理をコンピュータで実行させるプログラムであって、
前記パルス光が前記物体に照射されていないときの前記受光部の第1の受光量と、前記パルス光が前記物体に照射されているときの前記受光部の第2の受光量の相関関係に基づいて、前記パルス光を出射する発光部または前記受光部の異常を検出する手順
を前記コンピュータで実行させるプログラムにある。
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
この技術の第4の側面は、
パルス光を出射する発光部と、
測距対象物で反射された前記パルス光を受光する受光部と、
前記パルス光の発光タイミングと前記受光部における前記反射されたパルス光の受光結果に基づいて前記パルス光を反射した前記測距対象物までの距離を算出する距離算出部と、
前記パルス光が前記測距対象物に照射されていないときの前記受光部の第1の受光量と、前記パルス光が前記測距対象物に照射されているときの前記受光部の第2の受光量の相関関係に基づいて、前記パルス光を出射する発光部または前記受光部の異常を検出する検出部と
を備える測距装置にある。
パルス光と反射パルス光および距離の関係を説明するための図である。 発光部Txと受光部Rxと物体OBの配置を例示した図である。 本技術の異常検出装置を用いた測距装置の構成を例示した図である。 検出部の動作を示すフローチャートである。 第1の動作例を示すフローチャートである。 発光部11と受光部12と物体OBを示した図である。 注目画素と近傍画素における画素値Iconfとパラメータ値(Ipix/d)の関係(変動が所定範囲内である場合)を例示した図である。 注目画素と近傍画素における画素値Iconfとパラメータ値(Ipix/d)の関係(素値Ictが小さいために変動Vrが所定範囲を超えた場合)を例示した図である。 注目画素と近傍画素における画素値Iconfとパラメータ値(Ipix/d)の関係(素値Ictが大きいために変動Vrが所定範囲を超えた場合)を例示した図である。 第2の動作例を示すフローチャートである。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
1.パルス光と反射パルス光および距離の関係について
2.実施の形態の構成と動作
3.第1の動作例
4.第2の動作例
4.変形例
5.応用例
<1.パルス光と反射パルス光および距離の関係について>
図1は、パルス光と反射パルス光および距離の関係を説明するための図である。発光部Txから出射されたパルス光Ltは物体OBで反射される。また、物体OBで反射されたアクティブ光である反射パルス光Lrは受光部Rxに入射する。パルス光Ltと反射パルス光Lrは、距離の二乗に反比例して光量が減衰する。また、物体OBで反射された光は、物体の反射率に依存して光量が決定される。
したがって、反射パルス光Lrの光量Ir、パルス光Ltの光量It、発光部Txおよび受光部Rxから物体OBまでの距離d、物体の反射率RFの関係は、例えば式(1)となる。
Ir ∝ It × RF × (1/d) ・・・(1)
距離dは、直接ToF(Time of Flight)方式または間接ToF(Time of Flight)方式等を用いることで、光量Irや光量Itが変化しても測定可能である。また、発光部Txからパルス光Ltを出射しない場合、外光(例えば太陽光)のみの反射光が受光部Rxで受光される。したがって、物体の反射率RFは、発光部Txからパルス光Ltを出射しないときに受光部Rxで生成された例えば撮像画から知ることができる。具体的には、黒い物体(反射率:低)であれば、受光部Rxで生成された撮像画では黒く写り、白い物体(反射率:高)であれば、受光部Rxで生成された撮像画では白く写る。
また、外光(太陽光)の下で同じ物体(同じ反射率の物体)を受光部Rxで撮影した場合、日向部分と日陰部分とでは受光部Rxで生成された画素値に明暗差が生じる。しかし、時空間方向の近傍領域では画素値の差が少ないことから、反射率は一定とみなすことが可能である。
さらに、発光部Txと受光部Rxと物体OBの配置を例示した図2のように、発光部Txと受光部Rxが一体に設けられており、発光部Txからパルス光Ltを出射して反射パルス光Lrを受光部Rxに入射する場合、物体OBにおいてパルス光Ltの入射角と反射パルス光Lrの反射角が等しい領域、すなわち発光部Txと受光部Rxに正対する正対領域(物体OBの表面の法線方向が発光部Txと受光部Rxの方向NVLとなる領域)からの反射パルス光Lrには鏡面反射成分が多く含まれる。
そこで、本技術では、パルス光Ltの入射角と反射パルス光Lrの反射角が等しい領域(本技術では正対領域ともいう)を例えば測距結果に基づき判別して、正対領域を除いた他領域の近傍領域におけるパルス光が照射されていないときの第1の受光量と、パルス光が照射されているとき第2の受光量の相関関係に基づいて、パルス光Ltを出射する発光部Txや反射パルス光Lrが入射される受光部Rxの異常を検出する。
<2.実施の形態の構成と動作>
図3は、本技術の異常検出装置を用いた測距装置の構成を例示している。測距装置10は、発光部11、受光部12、距離算出部15、検出部16、制御部17、異常通知部18を有している。また、測距装置10には撮像部13を設けてもよく、詳細は後述する。
発光部11は、パルス光としてレーザ光を出射する場合、例えばレーザ発光素子とレーザ光源から出射されるレーザ光のビーム径や拡がり角を大きくするための拡散板を用いて構成されている。レーザ光源は、制御部17からの制御信号に基づきレーザ光を物体OBへ照射する。また、パルス光はレーザ光に限らず、近赤外光を含む赤外光(IR光)や、可視光における選択した波長領域の光を用いてもよい。
受光部12は、例えば受光レンズと光検出器を用いて構成されている。物体OBからの反射光は、受光レンズを介して光検出器に入力される。光検出器は光検出画素が二次元配置されている。光検出画素は、反射パルス光とパルス光が出射されていないときに物体OBで反射された光の波長領域に感度を有しており、光検出画素では反射パルス光やパルス光が出射されていないときの物体OBからの反射光の光量に応じた画素信号を生成する。すなわち、受光部12は、反射パルス光またはパルス光が出射されていないときの物体OBからの反射光に応じた撮像画の画像信号を生成する。受光部12で生成された画像信号は距離算出部15と検出部16に出力される。
距離算出部15は、後述する制御部17から供給されたパルス光出射タイミング信号と受光部12から供給された画像信号を用いて、出射したパルス光が物体OBで反射されて戻ってくるまでの往復時間(ToF:Time Of Flight)に基づき、物体OBまでの距離を算出する。具体的には直接ToF(Time of Flight)方式または間接ToF(Time of Flight)方式等を用いて物体OBまでの距離を計測する。距離算出部15は、算出した距離を示す測距情報を出力する。また、距離算出部15は、算出した距離に基づき物体OBの三次元形状を判別して、物体OBにおいて発光部11および受光部12に対する正対領域を示す正対領域情報を検出部16へ出力する。
検出部16は、パルス光が出射されていないときに受光部12で取得された撮像画とパルス光が出射されているときに受光部12で取得された撮像画において、正対領域を除く領域における時空間方向に隣接する検出画素の相関関係に基づいて、発光部11または受光部12の異常を検出する。検出部16は異常の検出結果を示す異常検出信号を制御部17と異常通知部18へ出力する。
制御部17は、制御信号を発光部11に出力して、発光部11からのパルス光の出射を制御する。また、制御部17は、パルス光の出射タイミングを示すパルス光出射タイミング信号を生成して距離算出部15へ出力する。さらに、制御部17は、検出部16から供給された異常検出信号によって、パルス光の光量が大きい異常状態であることが示された場合、発光部11からのパルス光の出射を停止させる。
異常通知部18は、検出部16からの異常検出信号に基づき、ユーザに対して異常通知を行う。例えば異常通知部18は表示素子を用いて構成されており、検出部16からの異常検出信号に基づき、どのような異常が検出されているかを表示する。また、異常通知部18は音声出力素子を用いて構成して、検出部16からの異常検出信号に基づき、どのような異常が検出されているかを音声で通知してもよい。
図4は、検出部の動作を示すフローチャートである。ステップST1で検出部16はパルス光の出射動作に応じた測定情報を取得する。検出部16はパルス光が照射されていないときに受光部12で生成された撮像画とパルス光が照射されているときに受光部12で生成された撮像画、およびパルス光を照射して計測された物体までの距離を測定情報として取得してステップST2に進む。
ステップST2で検出部は測定情報の相関関係に基づいた異常検出処理を行う。上述したように、近接する画素間では物体の反射率は等しく、パルス光が照射されていないときの画素値Ipixは物体の反射率に対応している。したがって、検出部16は、パルス光が物体に照射されているときの画素値Iconfとパルス光が物体に照射されていないときの画素値Ipixと物体までの距離dは、近接画素間で式(2)の相関関係が成り立つとして、式(2)の相関関係における変動が所定範囲内である場合は異常がないと判別する。また、検出部16は、式(2)の相関関係における変動が所定範囲を超えた場合に、発光部または受光部の異常と判別する。このように、検出部は相関関係における変動に応じて異常の検出を行いステップST3に進む。
Iconf ∝ Ipix/d ・・・(2)
ステップST3で検出部は異常が検出されているか判別する。検出部16はステップST2で異常が発生していると判別された場合ステップST4に進み、異常が発生していると判別されていない場合、動作を終了する。
ステップST4で検出部は異常対応処理を行う。検出部16は、相関関係における変動に応じて異常発生通知や異常対応制御を行う。
なお、図4の処理は、繰り返し行うようにしてもよく、所定のタイミングあるいは所定の時間間隔で行うようにしてもよい。
<3.第1の動作例>
次に、検出部の第1の動作例について説明する。第1の動作例では、所定領域内の画素毎に異常検出を行い、パルス光の光量が大きい異常状態を検出した場合、パルス光の出射を停止させる。また、第1の動作例では相関関係として回帰直線を用いて異常の検出を行う場合について例示する。
図5は、第1の動作例を示すフローチャートである。ステップST11で検出部はパルス光非照射時の撮像画を取得する。図6は、発光部11と受光部12と物体OBを示している。検出部16は、図6の(a)に示すように、発光部11からパルス光が照射されていないときに受光部12で受光された光Lsに基づき生成された撮像画を取得してステップST12に進む。
ステップST12で検出部はパルス光照射時の撮像画を取得する。検出部16は、図6の(b)に示すように、発光部11からパルス光Ltが照射されているときに受光部12で受光された反射パルス光Lrに基づいて生成された撮像画を取得してステップST13に進む。
ステップST13で検出部は距離情報を取得する。距離算出部15では、ステップST12における発光部11からのパルス光の出射タイミングと受光部12での反射パルス光の受光結果に基づき、受光部12で生成された撮像画に含まれている物体までの距離を示す距離情報が生成されている。検出部16は、距離算出部15で生成された距離情報を取得してステップST14に進む。
ステップST14で検出部は注目画素を設定する。検出部16は受光部12から取得した撮像画における所定領域内に注目画素を設定してステップST15に進む。なお、撮像画における所定領域は全画素領域あるいは予め指定された一部の画素領域であってもよい。
ステップST15で検出部はパルス光非照射時の画素値(受光量)が閾値よりも大きいか判別する。検出部16は、注目画素の画素値が予め設定された閾値よりも大きい場合、注目画素に対応する物体の表面位置は反射率が高く、受光部12に入射される反射パルス光の光量は少なくないと判別してステップST16に進む。また、検出部16は、注目画素の画素値が予め設定された閾値以下である場合、注目画素に対応する物体の表面位置は反射率が低く、受光部12に入射される反射パルス光の光量は少ないと判別してステップST23に進む。
ステップST16で検出部は注目画素が正対領域外の画素であるか判別する。検出部16は、ステップST13で取得された距離情報に基づき注目画素を含む領域の物体表面形状を判別して、注目画素に対応する物体表面が正対領域外の画素であるか判別する。検出部16は、注目画素が物体の正対領域外の画素であると判別した場合ステップST17に進み、正対領域外の画素でない場合、すなわち鏡面反射が大きい正対領域内の画素と判別した場合ステップST23に進む。
ステップST17で検出部は近傍画素の画素値を取得する。検出部16は注目画素に近傍する画素の画素値(受光量)を取得してステップST18に進む。
ステップST18で検出部は相関関係について変動を算出する。検出部16は上述の式(2)に示す相関関係の判別を行い、例えば画素値Iconfとパラメータ値(Ipix/d)の関係を示す回帰直線を算出する。図7〜図9は、注目画素と近傍画素における画素値Iconfとパラメータ値(Ipix/d)の関係を例示している。検出部16は、注目画素のパラメータ値(Ipix/d)=Jmにおいて回帰直線RLで示される画素値Ivcと注目画素の画素値Ictとの差を注目画素の変動Vrとして算出してステップST19に進む。
ステップST19で検出部は変動が所定範囲内であるか判別する。検出部16はステップST18で算出した変動Vrと所定範囲を比較する。所定範囲は、例えば(回帰直線RL±閾値Tj)の範囲とする。検出部16は、図7に示すように変動Vrが所定範囲内である場合はステップST23に進み、図8や図9に示すように、変動Vrが所定範囲を超えている場合はステップST20に進む。
ステップST20で検出部は画素値Ictが小さいために変動が所定範囲を超えたか判別する。検出部16は、図8に示すように画素値Ictが小さいために変動Vrが所定範囲を超えた場合、ステップST21に進む。また、検出部16は、図9に示すように画素値Ictが大きいために変動Vrが所定範囲を超えた場合、ステップST22に進む。
ステップST21で検出部は警告処理を行う。検出部16は、画素値Ictが小さいために変動Vrが所定範囲を超えていることから、異常通知部18に対して警告指示を行い、発光部11あるいは受光部12が故障している旨等の警告を画像や文字あるいは音声等で異常通知部18からユーザに通知してステップST23に進む。
ステップST22で検出部はパルス光照射停止処理を行う。検出部16は、画素値Ictが大きいために変動Vrが所定範囲を超えていることから、光量の大きいパルス光を出射しないように、制御部17に対してパルス光出射停止指示を行い、発光部11からのパルス光の出射を停止させる。
ステップST23で検出部は所定領域内の各画素が注目画素として設定されたか判別する。検出部16は、注目画素に設定されていない画素が所定領域内に含まれている場合ステップST24に進み、所定領域内の各画素が注目画素として設定されている場合は処理を終了する。
ステップST24で検出部は注目画素の更新処理を行う。検出部16は、注目画素に設定されていない所定領域内の画素を、新たな注目画素に設定してステップST15に戻る。
このような処理を検出部で行うことにより、例えば発光部の拡散板の破損等によって、出射されるパルス光の光量が大きくなっている場合に、速やかにパルス光の出射が停止させることができる。また、受光部12の受光量が低下した場合に警告が行われるので、ユーザは発光部や受光部の劣化等が生じていることを容易に判別できるようになる。さらに、注目画素毎に異常検出を行うことができるので、パルス光や受光部の一部の領域で異常が生じた場合であっても、この異常を検出できるようになる。
<4.第2の動作例>
次に、検出部の第2の動作例について説明する。第2の動作例では、第1の動作例と同様に、所定領域内の画素毎に異常検出を行い、異常検出では回帰直線を用いる。また、第2の動作例では、異常を検出したとき通知のみを行う。
図10は、第2の動作例を示すフローチャートである。ステップST31で検出部はパルス光非照射時の撮像画を取得する。検出部16は、第1の動作例のステップST11と同様に、発光部11からパルス光が照射されていないときに受光部12で受光された光Lsに基づき生成された撮像画を取得してステップST32に進む。
ステップST32で検出部はパルス光照射時の撮像画を取得する。検出部16は、第1の動作例のステップST12と同様に、発光部11からパルス光Ltが照射されているときに受光部12で受光された反射パルス光Lrに基づいて生成された撮像画を取得してステップST33に進む。
ステップST33で検出部は距離情報を取得する。距離算出部15では、ステップST32における発光部11からのパルス光の出射タイミングと受光部12での反射パルス光の受光結果に基づき、受光部12で生成された撮像画に含まれている物体までの距離を示す距離情報が生成されている。検出部16は、距離算出部15で生成された距離情報を取得してステップST34に進む。
ステップST34で検出部は注目画素を設定する。検出部16は受光部12から取得した撮像画における所定領域内に注目画素を設定してステップST35に進む。なお、撮像画における所定領域は全画素領域あるいは予め指定された一部の画素領域であってもよい。
ステップST35で検出部はパルス光非照射時の画素値(受光量)が閾値よりも大きいか判別する。検出部16は、注目画素の画素値が予め設定された閾値よりも大きい場合、注目画素に対応する物体の表面位置は反射率が高く、受光部12に入射される反射パルス光の光量は少なくないと判別してステップST36に進む。また、検出部16は、注目画素の画素値が予め設定された閾値以下である場合、注目画素に対応する物体の表面位置は反射率が低く、受光部12に入射される反射パルス光の光量は少ないと判別してステップST40に進む。
ステップST36で検出部は注目画素が正対領域外の画素であるか判別する。検出部16は、ステップST33で取得された距離情報に基づき注目画素を含む領域の物体表面形状を判別して、注目画素に対応する物体表面が正対領域外の画素であるか判別する。検出部16は、注目画素が物体の正対領域外の画素であると判別した場合ステップST37に進み、正対領域外の画素でない場合、すなわち鏡面反射が大きい正対領域内の画素と判別した場合ステップST40に進む。
ステップST37で検出部は近傍画素の受光量を取得する。検出部16は注目画素に近傍する画素の画素値(受光値)を取得してステップST38に進む。
ステップST38で検出部は相関関係について変動を算出する。検出部16は第1の動作例のステップST18と同様に、注目画素のパラメータ値(Ipix/d)=Jmにおいて回帰直線RLで示される画素値Ivcと注目画素の画素値Ictとの差を注目画素の変動Vrとして算出してステップST39に進む。
ステップST39で検出部は変動が所定範囲内であるか判別する。検出部16はステップST38で算出した変動Vrと所定範囲を比較する。所定範囲は、上述のように例えば(回帰直線RL±閾値Tj)の範囲とする。検出部16は、変動Vrが所定範囲内である場合ステップST40に進み、変動Vrが所定範囲を超えている場合ステップST43に進む。
ステップST40で検出部は所定領域内の各画素が注目画素として設定されたか判別する。検出部16は、注目画素に設定されていない画素が所定領域内に含まれている場合ステップST41に進み、所定領域内の各画素が注目画素として設定されている場合はステップST42に進む。
ステップST41で検出部は注目画素の更新処理を行う。検出部16は、注目画素に設定されていない所定領域内の画素を、新たな注目画素に設定してステップST35に戻る。
ステップST42で検出部は正常通知処理を行う。検出部16は、所定領域内の全画素の画素毎の変動が所定範囲内であることから異常通知部18に対して正常通知指示を行い、発光部11あるいは受光部12が正常に動作している旨等の通知を画像や文字あるいは音声等で異常通知部18からユーザに通知させる。
ステップST39からステップST43に進むと、検出部は異常通知処理を行う。検出部16は、所定領域内のいずれかの画素の画素毎の変動が閾値Tjを超えていることから異常通知部18に対して異常検出通知指示を行い、発光部11または受光部12が故障している旨等の警告を画像や文字あるいは音声等で異常通知部18からユーザに通知させる。
このような処理を検出部で行うことにより、発光部あるいは受光部で異常が生じた場合、異常通知部で異常通知処理が行われるので、ユーザは異常が発生したことを容易に把握できるようになる。
<4.変形例>
上述の実施の形態では、発光部から物体にパルス光を照射して、物体からの反射光に基づき距離算出部で距離を算出する場合を例示したが、物体までの距離は他の方法を用いてもよい。例えば、図3の撮像部13は、可視領域に感度を有するカラーイメージセンサを用いて構成する。撮像部13は生成した撮像画を距離算出部15へ出力する。距離算出部15は、受光部12で生成された撮像画と視点位置が異なる撮像部13で生成された撮像画をステレオ画像として用いる。また、距離算出部13は、受光部12と撮像部13の間隔(基線長)と受光部12と撮像部13の焦点距離を用いて、物体までの距離を算出する。このようにして距離を算出すれば、パルス光の出射タイミングと受光部12で反射パルス光を受光して得られた受光結果に基づいて距離を算出できない場合でも、異常検出処理を行うことができる。
また、発光部または受光部の異常検出において、パルス光と反射光の光量と距離の相関関係は、パルス光の光量を低減させても成り立つことから、測距を行わない場合には発光部から物体に照射するパルス光の光量を低減させてもよい。このように、パルス光の光量を低減させることで消費電力を少なくできる。
また、照明光を出射する照明部が設けられている場合、パルス光が照射されていないときに照明光を照射すれば、物体に太陽光が照射されていない場合でもパルス光未照射状態での撮像画を取得できるようになる。
また、相関関係は、式(2)に示すように画素値Iconfとパラメータ値(Ipix/d)との相関関係に限られない。例えば、近傍画素においては距離がほぼ等しいとみなして問題ないことから、「1/d」の演算を省略して、画素値Iconfと画素値Ipixの相関関係を用いて、変動が所定範囲を超えたことに応じて異常と判定してもよい。このように、画素値Iconfと画素値Ipixの相関関係を用いるようにすれば、式(2)の関係を用いる場合に比べて計算量を削減できる。
さらに、物体からの反射光の偏光特性に基づき、反射光から鏡面反射成分を分離できる場合には、正対領域における鏡面反射成分を除いた受光量を用いて、相関関係の判別を行うようにしてもよい。
<5.応用例>
本開示に係る技術は、パルス光を出射して物体からの反射パルス光を用いる様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、ドローン、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよく、内視鏡手術システム等に適用されてもよい。
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやSSD(Solid State Drive)、ROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、BD(Blu-Ray Disc(登録商標))、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからLAN(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
また、本技術の異常検出装置は以下のような構成も取ることができる。
(1) 物体で反射されたパルス光を受光する受光部における前記パルス光が前記物体に照射されていないときの第1の受光量と、前記パルス光が前記物体に照射されているときの第2の受光量の相関関係に基づいて、前記パルス光を出射する発光部または前記受光部の異常を検出する検出部
を備える異常検出装置。
(2) 前記検出部は、前記相関関係における変動が所定範囲を超えた場合に前記発光部または前記受光部の異常と判別する(1)に記載の異常検出装置。
(3) 前記検出部は、前記第2の受光量が大きいために前記相関関係における変動が所定範囲を超えた場合、前記パルス光の出射を停止させる(2)に記載の異常検出装置。
(4) 前記検出部は、前記第2の受光量が小さいために前記相関関係における変動が所定範囲を超えた場合、前記発光部または前記受光部の異常をユーザに通知させる(2)または(3)に記載の異常検出装置。
(5) 前記検出部は、前記物体における前記パルス光の入射角と前記反射されたパルス光の反射角が等しい領域を除く領域における受光量を用いて相関関係を判別する(1)乃至(4)のいずれかに記載の異常検出装置。
(6) 前記検出部は、前記パルス光を反射した前記物体までの距離を用いて前記第1の受光量と前記第2の受光量の相関関係を判別する(1)乃至(5)のいずれかに記載の異常検出装置。
(7) 前記パルス光の発光タイミングと前記受光部における前記反射されたパルス光の受光結果に基づいて前記パルス光を反射した前記物体までの距離を算出する距離算出部を備え、
前記検出部は、前記距離算出部で算出された距離を用いて前記相関関係を判別する(6)に記載の異常検出装置。
(8) 前記パルス光を反射した物体を撮像する撮像部をさらに備え、
前記距離算出部は、前記撮像部で生成された撮像画と前記受光部で前記反射されたパルス光を受光して生成された撮像画に基づき前記物体までの距離を算出する(6)に記載の異常検出装置。
(9) 前記パルス光を出射する発光部と、前記物体で反射されたパルス光を受光する前記受光部をさらに備える(1)乃至(8)のいずれかに記載の異常検出装置。
(10) 前記発光部は、前記物体までの距離を算出しない場合、前記物体までの距離を算出する場合よりも前記パルス光の光量を低減させる(9)に記載の異常検出装置。
10・・・測距装置
11・・・発光部
12・・・受光部
15・・・距離算出部
16・・・検出部
17・・・制御部
18・・・異常通知部

Claims (13)

  1. 物体で反射されたパルス光を受光する受光部における前記パルス光が前記物体に照射されていないときの第1の受光量と、前記パルス光が前記物体に照射されているときの第2の受光量の相関関係に基づいて、前記パルス光を出射する発光部または前記受光部の異常を検出する検出部
    を備える異常検出装置。
  2. 前記検出部は、前記相関関係における変動が所定範囲を超えた場合に前記発光部または前記受光部の異常と判別する
    請求項1に記載の異常検出装置。
  3. 前記検出部は、前記第2の受光量が大きいために前記相関関係における変動が所定範囲を超えた場合、前記パルス光の出射を停止させる
    請求項2に記載の異常検出装置。
  4. 前記検出部は、前記第2の受光量が小さいために前記相関関係における変動が所定範囲を超えた場合、前記発光部または前記受光部の異常をユーザに通知させる
    請求項2に記載の異常検出装置。
  5. 前記検出部は、前記物体における前記パルス光の入射角と前記反射されたパルス光の反射角が等しい領域を除く領域における受光量を用いて相関関係を判別する
    請求項1に記載の異常検出装置。
  6. 前記検出部は、前記パルス光を反射した前記物体までの距離を用いて前記第1の受光量と前記第2の受光量の相関関係を判別する
    請求項1に記載の異常検出装置。
  7. 前記パルス光の発光タイミングと前記受光部における前記反射されたパルス光の受光結果に基づいて前記パルス光を反射した前記物体までの距離を算出する距離算出部を備え、
    前記検出部は、前記距離算出部で算出された距離を用いて前記相関関係を判別する
    請求項6に記載の異常検出装置。
  8. 前記パルス光を反射した物体を撮像する撮像部をさらに備え、
    前記距離算出部は、前記撮像部で生成された撮像画と前記受光部で前記反射されたパルス光を受光して生成された撮像画に基づき前記物体までの距離を算出する
    請求項7に記載の異常検出装置。
  9. 前記パルス光を出射する前記発光部と、
    前記物体で反射されたパルス光を受光する前記受光部をさらに備える
    請求項1に記載の異常検出装置。
  10. 前記発光部は、前記物体までの距離を算出しない場合、前記物体までの距離を算出する場合よりも前記パルス光の光量を低減させる
    請求項9に記載の異常検出装置。
  11. 物体で反射されたパルス光を受光する受光部における前記パルス光が前記物体に照射されていないときの第1の受光量と、前記パルス光が前記物体に照射されているときの第2の受光量の相関関係に基づいて、前記パルス光を出射する発光部または前記受光部の異常を検出部で検出すること
    を含む異常検出方法。
  12. 物体で反射されたパルス光を受光部で受光して得られた受光結果の処理をコンピュータで実行させるプログラムであって、
    前記パルス光が前記物体に照射されていないときの前記受光部の第1の受光量と、前記パルス光が前記物体に照射されているときの前記受光部の第2の受光量の相関関係に基づいて、前記パルス光を出射する発光部または前記受光部の異常を検出する手順
    を前記コンピュータで実行させるプログラム。
  13. パルス光を出射する発光部と、
    測距対象物で反射された前記パルス光を受光する受光部と、
    前記パルス光の発光タイミングと前記受光部における前記反射されたパルス光の受光結果に基づいて前記パルス光を反射した前記測距対象物までの距離を算出する距離算出部と、
    前記パルス光が前記測距対象物に照射されていないときの前記受光部の第1の受光量と、前記パルス光が前記測距対象物に照射されているときの前記受光部の第2の受光量の相関関係に基づいて、前記発光部または前記受光部の異常を検出する検出部と
    を備える測距装置。
JP2018200734A 2018-10-25 2018-10-25 異常検出装置と異常検出方法およびプログラムと測距装置 Pending JP2020067388A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018200734A JP2020067388A (ja) 2018-10-25 2018-10-25 異常検出装置と異常検出方法およびプログラムと測距装置
PCT/JP2019/036327 WO2020084957A1 (ja) 2018-10-25 2019-09-17 異常検出装置と異常検出方法およびプログラムと測距装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018200734A JP2020067388A (ja) 2018-10-25 2018-10-25 異常検出装置と異常検出方法およびプログラムと測距装置

Publications (1)

Publication Number Publication Date
JP2020067388A true JP2020067388A (ja) 2020-04-30

Family

ID=70331557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018200734A Pending JP2020067388A (ja) 2018-10-25 2018-10-25 異常検出装置と異常検出方法およびプログラムと測距装置

Country Status (2)

Country Link
JP (1) JP2020067388A (ja)
WO (1) WO2020084957A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021181952A (ja) * 2020-05-20 2021-11-25 株式会社日立エルジーデータストレージ 測距装置及び光源の発光診断方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023023482A (ja) * 2021-08-05 2023-02-16 ソニーセミコンダクタソリューションズ株式会社 光源駆動装置、発光装置及び測距装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3213211B2 (ja) * 1995-07-20 2001-10-02 ホーチキ株式会社 光電式煙感知器
JP4601222B2 (ja) * 2001-09-11 2010-12-22 セコム株式会社 撮像装置
JP2006038686A (ja) * 2004-07-28 2006-02-09 Nissan Motor Co Ltd 距離計測機能付きランプ装置
JP5486150B2 (ja) * 2007-03-30 2014-05-07 富士フイルム株式会社 測距装置、測距方法及び測距システム
JP2016170061A (ja) * 2015-03-13 2016-09-23 オムロン株式会社 撮像光学系の状態検知装置、撮像光学系の状態検知方法、および撮像光学系の状態検知プログラム
US11119198B2 (en) * 2017-03-28 2021-09-14 Luminar, Llc Increasing operational safety of a lidar system
US10684360B2 (en) * 2017-03-30 2020-06-16 Luminar Technologies, Inc. Protecting detector in a lidar system using off-axis illumination
JP2019041201A (ja) * 2017-08-24 2019-03-14 ソニーセミコンダクタソリューションズ株式会社 駆動装置、駆動方法、及び、発光装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021181952A (ja) * 2020-05-20 2021-11-25 株式会社日立エルジーデータストレージ 測距装置及び光源の発光診断方法
CN113702951A (zh) * 2020-05-20 2021-11-26 日立乐金光科技株式会社 测距装置以及光源的发光诊断方法
JP7297714B2 (ja) 2020-05-20 2023-06-26 株式会社日立エルジーデータストレージ 測距装置及び光源の発光診断方法
CN113702951B (zh) * 2020-05-20 2024-03-12 日立乐金光科技株式会社 测距装置以及光源的发光诊断方法

Also Published As

Publication number Publication date
WO2020084957A1 (ja) 2020-04-30

Similar Documents

Publication Publication Date Title
CN108139483B (zh) 用于确定到对象的距离的系统和方法
EP3185037B1 (en) Depth imaging system
JP6977045B2 (ja) 物体までの距離を決定するためのシステム及び方法
JP7203217B2 (ja) 構造化光照明付き飛行時間型センサ
WO2017213052A1 (ja) 測距システム及び測距方法
WO2019163673A1 (ja) 光測距装置
US7408627B2 (en) Methods and system to quantify depth data accuracy in three-dimensional sensors using single frame capture
JP7028878B2 (ja) 物体までの距離を測定するためのシステム
JP6863342B2 (ja) 光測距装置
JP2018531374A6 (ja) 物体までの距離を測定するためのシステムおよび方法
US20120307046A1 (en) Methods and apparatus for thermographic measurements
JP4321540B2 (ja) 物体検出装置
JP2019144186A (ja) 光学的測距装置およびその方法
JP2008020203A (ja) レーダ装置
US9258548B2 (en) Apparatus and method for generating depth image
EP3040754B1 (en) Imaging device, method, and program
WO2020084957A1 (ja) 異常検出装置と異常検出方法およびプログラムと測距装置
JP7180398B2 (ja) 光測距装置およびその制御方法
JP2008020204A (ja) レーダ
JP2019144184A (ja) 光学的測距装置およびその方法
JP2005249723A (ja) 温度分布を含む画像の出力装置およびその制御方法
US10887563B2 (en) Projection system, projection method, and program recording medium
WO2015145599A1 (ja) 映像投影装置
JP6605244B2 (ja) 架空線撮影装置および架空線撮影方法
US20210181349A1 (en) Electronic apparatus and method for controlling thereof