JP2017173298A - 物体検出装置及び移動体装置 - Google Patents

物体検出装置及び移動体装置 Download PDF

Info

Publication number
JP2017173298A
JP2017173298A JP2017010080A JP2017010080A JP2017173298A JP 2017173298 A JP2017173298 A JP 2017173298A JP 2017010080 A JP2017010080 A JP 2017010080A JP 2017010080 A JP2017010080 A JP 2017010080A JP 2017173298 A JP2017173298 A JP 2017173298A
Authority
JP
Japan
Prior art keywords
light
signal
area
object detection
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017010080A
Other languages
English (en)
Other versions
JP6942966B2 (ja
Inventor
忠司 仲村
Tadashi Nakamura
忠司 仲村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to EP17159434.4A priority Critical patent/EP3223034B1/en
Priority to US15/454,709 priority patent/US10398006B2/en
Publication of JP2017173298A publication Critical patent/JP2017173298A/ja
Application granted granted Critical
Publication of JP6942966B2 publication Critical patent/JP6942966B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】 特定の物体に関する情報の検出精度を向上できる。【解決手段】 物体検出装置は、LD21a(光源)を含む投光系21と、該投光系21から投光され物体で反射された光を受光する、受光素子22a及び電流電圧変換器22cを含む光検出器と、該光検出器の出力信号又は該出力信号に基づく信号が入力される二値化処理部24b(信号検出部)を含む信号処理系24と、投光系21の投光範囲における物体が存在する少なくとも1つの領域を注目領域として設定し、該注目領域に対する投光系21の投光条件及び信号処理系24の処理条件の少なくとも一方を、注目領域へ投光するときと非注目領域(投光範囲における注目領域以外の領域)に投光するときとで異ならせる制御系23と、を備えている。【選択図】図2

Description

本発明は、物体検出装置及び移動体装置に関する。
近年、投光し、物体で反射された光を光検出器で受光して物体の有無、物体までの距離等の物体に関する情報を検出する装置の開発が盛んに行われている。
例えば、特許文献1に開示されている技術では、特定の物体(例えば低反射物体)に関する情報を検出するときに、光検出器の出力信号を検出するための閾値を下げている。
しかしながら、特許文献1に開示されている装置では、特定の物体に関する情報の検出精度を向上することに関して改善の余地があった。
本発明は、光源を含む投光系と、前記投光系から投光され物体で反射された光を受光する光検出器を含む受光系と、前記光検出器の出力信号又は該出力信号に基づく信号が入力される信号検出部を含む信号処理系と、前記投光系の投光範囲内の少なくとも1つの領域を注目領域として設定し、前記注目領域に対する前記投光系の投光条件及び前記信号処理系の処理条件の少なくとも一方を、前記注目領域へ投光するときと前記投光範囲における前記注目領域以外の領域に投光するときとで異ならせる制御系と、を備える物体検出装置である。
本発明によれば、特定の物体に関する情報の検出精度を向上できる。
本発明の第1実施形態の物体検出装置としてのライダ(非走査型)が搭載された車両の外観図である。 第1実施形態の監視システムの構成を説明するためのブロック図である。 投光波形と受光波形を示す図である。 投光系、受光系を説明するための図である。 光源、受光素子、光学系、検出領域の関係を説明するための図である。 ライダによって生成された距離画像を示す図である。 図7(a)〜図7(c)は、それぞれ光源に面発光レーザアレイを用いたときのchの点灯パターン(その1〜その3)を説明するための図である。 図8(a)及び図8(b)は、それぞれ受光信号の信号レベルとノイズレベルの一般的な関係(その1及びその2)を示す図である。 図9(a)は受光信号の第1の信号レベルとノイズレベルの関係を示す図であり、図9(b)は受光信号の第2の信号レベルとノイズレベルの関係を示す図である。 閾値設定処理を説明するためのフローチャートである。 物体検出処理1を説明するためのフローチャートである。 SN比維持向上処理1を説明するためのフローチャートである。 SN比維持向上処理2を説明するためのフローチャートである。 SN比維持向上処理3を説明するためのフローチャートである。 物体検出処理2を説明するためのフローチャートである。 物体検出処理3を説明するためのフローチャートである。 物体検出処理4を説明するためのフローチャートである。 物体検出処理5を説明するためのフローチャートである。 物体検出処理6を説明するためのフローチャートである。 図20(a)及び図20(b)は、それぞれ第2実施形態の物体検出装置としてのライダ(走査型)を説明するための図である。 図21(a)及び図21(b)は、それぞれ第3実施形態のライダとステレオカメラを備える物体検出装置が搭載された車両の側面図及び正面図である。 第3実施形態の物体検出装置の投光範囲と撮像範囲を示す図である。 ライダとステレオカメラがユニット化された物体検出装置を示す図である。 第4実施形態の物体検出装置の外観構成及び取り付け例を示す図である。 第4実施形態の物体検出装置のハードウェア構成の一例を示す図である。 第4実施形態の物体検出装置の制御装置のソフトウェア構成の一例を示すブロック図である。 第4実施形態の物体検出装置の制御装置のハードウェア構成の一例を示すブロック図である。 物体検出処理7を説明するためのフローチャートである。
以下、本発明の第1実施形態を図面に基づいて説明する。
[第1実施形態]
先ず、第1実施形態の物体検出装置100の一例としてのライダ20Aの概要について説明する。
〈概要〉
図1には、ライダ(Lidar:Light detecting and ranging)20Aが車両本体(移動体)に搭載される車両1(移動体装置)の外観が示されている。ライダ20Aは、レーザ光を出射して反射光を検知することで測距を行う測距装置であり、レーザレーダとも呼ばれる。第1実施形態のライダ20Aは、非走査型のライダである。
ライダ20Aは、一例として、車両1の前方のナンバープレート近傍に取り付けられている。なお、ライダ20Aは、車両1の例えばバックミラー近傍に配置されても良い。ライダ20Aは、例えば車両1のバッテリーから電力の供給を受ける。
なお、本明細書では、XYZ3次元直交座標系において、路面に直交する方向をZ軸方向、車両1の前進方向を+X方向として説明する。
図2には、ライダ20Aと監視制御装置30を備える監視システム10の構成がブロック図にて示されている。監視制御装置30は、車両1内に配備されている。すなわち、監視システム10は、車両1に搭載されている。
ライダ20Aは、一例として、図2に示されるように、光源としてのLD21a及びLD駆動部21bを含む投光系21と、受光素子22a、結像光学系22b及び電流電圧変換器22cを含む受光系22と、平均化/積算処理部24a及び二値化処理部24bを含む信号処理系24と、投光系21及び信号処理系24を制御する制御系23と、を備えている。なお、「LD」はレーザダイオードの略称である。
監視システム10では、ライダ20Aの制御系23と監視制御装置30が電気的に接続されている。監視制御装置30は、ライダ20Aを動作させ、該ライダ20Aで検出された情報に基づいて、物体の形状や大きさの決定、物体の位置情報の算出、移動情報の算出、物体の種類の認識等の処理を行って、危険の有無を判断する。危険があると判断された場合には、警報を出したり、ハンドルを切って危険を回避したり、ブレーキを踏んだりするための指令を出す。これらの指令は、それぞれ車両1が有する警報装置、操舵装置、制動装置等に送られる。
《物体検出及び測距の原理》
第1実施形態において、ライダ20Aを用いる物体検出、距離測定(測距)の基本的な原理は、いわゆる直接TOF法を用いている。この直接TOF法について、概念図である図3を用いて簡単に説明する。
制御系23は、投光系21から発光パルス(信号光)を含む投光波を投光したときの受光系22で受光される受光波における反射光パルス(信号光)の有無によって、投光範囲における物体の有無を判定することができる。
さらに、制御系23は、LD21aをパルス発光させたタイミング(投光波において発光パルスが射出されたタイミング)から、受光素子22aの受光タイミングまで(受光波において反射光パルスが受光素子22aに到達するまで)の時間を測定し、その測定値と光速を掛け合わせることで、ライダ20Aと物体の間を光が往復した距離を求めることができる。
投光系21と受光系22は物体に対してほぼ同一距離にあり、LD21aから物体までの距離と該物体から受光素子22aまでの距離はほぼ同一とみなせるため、制御系23は上述のようにして求めた距離の半分を、ライダ20Aから物体までの距離として算出する。
なお、光時間差法や光位相差法など時間計測の方法は種々あり、公知例が多数あるため割愛する。その公知例の中に、間接TOF法と呼ばれる方式(例えば特表2015-501927号公報、特表2013-538342号公報、特許5089289号公報参照)もある。本発明では、いずれの方式でも適用可能である。
ここで、角度分解能を得るために、投光系21、受光系22どちらで分解しても良い。投光系21で分解する場合、光源に独立に発光する発光エリアを複数設け、複数の発光エリアを順次点灯させる。これにより、投光している角度範囲を確定することができ、各発光エリアの発光タイミングから、受光素子の受光タイミングまでの時間によって該発光エリアに対応するエリアに存在する物体までの距離を測定することができる。
特に、長距離検出を狙う場合は、ハイパワーの端面発光型LDは複数の発光エリアを持つことが難しいため、面発光レーザアレイを適用することが好ましく、図5に示されるように、カップリングレンズなどを含む光学系を用いて、検出領域(投光範囲)の各エリアに投光する領域を設定することが好ましい。
受光系22で分解する場合、受光素子に複数の受光エリアを設けると良い。この場合、検出領域を一斉に照射しても受光素子で受光エリア毎に独立に信号を検知できるので、検出領域を角度毎に分解することが可能となる。この場合、図4に示されるように、光源から射出され物体で反射された光を受光素子の複数の受光エリアへ集光する結像光学系22bを用いて、各受光エリアが検出する領域を設定することが好ましい。
図5では、光源もしくは受光素子の各エリアをY軸方向のみの1次元的な配列でしか示していないが、YZ平面に沿った2次元的な配列とし、Y軸方向及びZ軸方向の各方向で角度分解能を付与することも可能である。
このように、Y軸方向及びZ軸方向の各方向での角度分解能が得られると、検出領域のエリア毎の距離情報を得ることができ、ひいては検出領域の距離画像を生成することができる。すなわち、検出領域を光源もしくは受光素子のエリア分割数だけ分割して測距でき、検出領域の分割された各エリアに対する1回の測距によって、1フレームの距離画像を生成することができる。例えば、光源の発光エリアもしくは受光素子の受光エリアが画素毎にエリア分割されている場合、検出領域の分割された各エリアが距離画像の各画素に1対1で対応する。そこで、検出領域の分割された各エリアを「画素領域」とも呼ぶ。
そこで、第1実施形態のライダ20Aでは、光源もしくは受光素子の複数のエリア(発光エリア又は受光エリア)がYZ平面に沿って2次元配列されている。
図6には、ライダ20Aのあるフレームでの物体までの距離情報の検出結果(距離画像)が示されている。
図6では、検出領域にある3つの物体A、物体B、物体Cのうち、物体Aがライダ20Aから最も近くにあり、物体Cがライダ20Aから最も遠くにある。すなわち、物体Aが最近接物体である。
そこで、例えばライダ20Aから物体Aまでの距離が所定距離(例えば100m〜200mの所定距離)未満の場合に、投光範囲全域を均一な投光条件でサーチする非注目モードから、例えば投光範囲における最近接物体(ライダ20Aに最も近接する物体)である物体Aが存在する領域のみを高精度に検出するための注目モードに移行させる。注目モードに移行すると、制御系23により物体Aが存在する領域が注目領域として設定される。
この際、路面、構造物等の静止物体(恒常的に静止している物体)を同時に検出している場合は、制御系23は、該静止物体を認識して、それを除いた検出結果に基づいて、複数の物体のうちいずれが最近接物体であるかを判断する。
ここでは、図6に示されるフレームに基づいて注目領域を決定しているが、このフレームよりも前のフレームも含めて、参照するフレームの数を増やすことも可能である。例えば、周囲の移動物体の経時的な動きを認識しながら、検出範囲内の物体の次フレーム以降の動線を予測し、車両1等の移動体の制御に反映させることや、静止物体と移動物体の別を判断することが可能となる。
制御系23は、注目モードに移行すると、受光系22の出力信号(受光信号)について、SN比を向上させるために、例えば光源における注目領域へ投光する発光エリアの発光光量を増加させる。発光光量の増加は、当該発光エリアへの駆動電流の振幅やデューティを増加することによってもできるし(前者)、複数の発光点にて1つの発光エリアを構成する光源の場合は、そのうち点灯する発光点数を増やすことでも発光光量を増加させることもできる(後者)。なお、発光エリアへの駆動電流は、変調信号のパルス振幅やデューティ(パルス幅/パルス周期)を調整することにより制御できる。
ここで、後者の制御について、図7を用いて詳しく説明する。図7には、検出領域の1エリアに投光するための発光点(以下では「ch」と呼ぶ)を36chとしたときの例が示されている。図7(a)及び図7(b)がそれぞれ非注目モードの点灯パターンであり、互いに異なる18chを点灯させる。
非注目モードの点灯パターンは、消灯しているch(発光点)の部分が照射抜けにならないように、光学系で弱発散光にするなどして適宜設定することが望ましい。また、chの寿命などの観点から、同じ非注目モードでも、図7(a)の点灯パターンと図7(b)の点灯パターンを交互に切り替えるようchを駆動するのが望ましい。
非注目モードから、当該エリアが注目領域と判断されたときの点灯パターンが図7(c)に一例として示されている。この点灯パターンは、全36chを点灯させており、注目領域への投光光量を増加させることが可能となる。なお、各chに対応する照射領域(各chから照射される領域)を予め定め、注目領域に照射される投光光量が増加するように点灯するchを制御しても良い。
ここで、フレームレートが同一の条件下では、1フレームの間に、注目領域を照射する発光エリアの発光周期(発光パルスのパルス周期)を短くしたり、発光デューティ(発光パルスのパルス幅/パルス周期)を大きくすることでも、1フレーム毎の投光光量(1フレーム毎に投光される光の光量)を増加させることが可能である。なお、発光エリアの発光周期や発光デューティは、LD21aを駆動するLD駆動部21bに入力される変調信号のパルス周期やデューティ(パルス幅/パルス周期)を調整することで制御できる。
また、発光周期を変えずに、注目領域に対してのみフレームレートを下げて、1フレーム毎の投光光量を増加することも考えられる。
そして、非注目モードにおいて受光系22の受光信号をモニタし、注目モードに移行したときに、受光信号の信号レベルが閾値を上回るまで注目領域への投光(照射)を繰り返すことで、物体の有無や、物体までの距離等の物体に関する情報(物体情報)を高精度に検出することができる。
また、受光信号の信号レベルをノイズレベルに対して考慮しても良い。例えば図8(b)に示されるように、ノイズレベルに対して信号レベルがあまり突出していない場合は、注目領域の画素領域毎に連続して複数回の投光を行い、該複数回の受光による受光系22の複数の受光信号を、後段の平均化/積算処理部24aで積算及び又は平均化することにより、信号成分が増大するとともに、ランダムノイズが時間的に積算及び/又は平均化して、ノイズレベルがゼロに近づいていくので、得られた信号(受光信号に基づく信号)のSN比を向上することが可能となる。すなわち、図8(a)に示されるような、ノイズレベルに対して受光信号の信号レベルが十分確保された状態と同様の状態となる。
閾値は、図8(b)の状態からそのまま下げるだけでは、ノイズが検出されるだけで、物体が検出できなくなってしまう。そこで、図8(b)に示されるように、予め想定されている最大のノイズレベルを基準に閾値を設定するのが好ましく、その設定値よりも閾値を下げるためには、受光信号の積算回数を増やして平均化処理をすることによりノイズレベルを下げることが必要となる。もしくは、積算する場合は、積算する回数に応じて、閾値を上下させると同様の効果を奏することができる。具体的には、積算する回数が多いほど閾値を上げ、少ないほど閾値を下げることが好ましい。
また、受光系22の検出信号のSN比の向上は、予め光源を点灯させていない状態のノイズレベルを保持しておき、光源を点灯させたときの受光波形から保持したノイズレベル差し引いて反射光パルスの波形(信号光の波形)を抽出することでも実現可能である。
以上説明したような制御を行うことにより、ノイズなどに対して、注目領域から十分な信号光が得られるため、注目領域に存在する物体Aのノイズによる測距ばらつきを低減し、物体Aまでの距離情報をより高精度に検出することができる。そして、この距離情報により、移動体の減速・停止制御(制動制御)や回避制御(操舵制御)をより精緻に行うことが可能となる。
以上では、物体が検出されている場合について述べてきたが、物体が検出されていない場合に、検出できない物体が存在するかどうかを見極めるために、非注目モードのときに、検出領域全域を注目領域と見做して、高精度にサーチすることが好ましい。
これにより、注目領域を設定しなければ検出が困難な、例えば、黒布のような光の反射率が小さいターゲットや、正反射成分が大きくライダ20Aへ反射・散乱してくる光の光量が少ないミラーやガラスのようなもの、角度分解能に対してサイズが小さく光量のロスが大きい小物体なども検出可能となる。これらの物体は、ライダ20Aにある程度近づけば検出できるが、至近距離で検出した場合の措置は、移動体を停止させることに限られてしまう。しかし、移動速度の減速が、許容される停止時間に応じた速度までに制限されてしまい、物体との衝突が懸念される。そこで、物体が至近距離まで近づくよりも前に検出することで、移動体の移動速度の上限を上げることが可能になる上、移動速度を落とさずに回避走行することも可能になる。
また、例えば、図9(a)に示されるように、注目領域に存在する物体からの信号光を受光したときの受光信号である第1の受光信号の信号レベルが、ノイズレベルよりも充分に大きく設定された閾値1を上回るようにLD21a及び平均化/積算処理部24aの少なくとも一方を制御しても良い。この場合、第1の受光信号の信号レベルのSN比を格段に向上させることができる。さらに、例えば、図9(b)に示されるように、非注目領域に存在する物体からの信号光を受光したときの受光信号である第2の受光信号の信号レベルが、ノイズレベルよりも大きく、かつ閾値1よりも小さく設定された閾値2を上回り、閾値1を下回るようにLD21a及び平均化/積算処理部24aの少なくとも一方を制御しても良い。
結果として、第1の受光信号の信号レベルを第2の受光信号の信号レベルよりも大きくできる。また、第1の受光信号のSN比を第2の受光信号のSN比よりも大きくできる。
なお、第1の受光信号の信号レベルを、閾値1に代えて閾値2を基準に制御しても良い。
以下に、第1実施形態のライダ20Aについて、より詳細な説明を行う。
〈詳細〉
《投光系》
図2に戻り、投光系21は、一例として、YZ平面に沿って2次元配置された複数の発光点から成る発光点アレイを有するLD21a(レーザダイオード)と、各発光点を独立に駆動可能なLD駆動部21bとを含む。LD駆動部21bには、制御系23から発光点毎の変調信号(パルス信号)が入力される。LD駆動部21bは、発光点毎の変調信号が入力されると該変調信号に応じた駆動電流を該発光点に供給する。このとき、発光点から車両1の前方である+X方向に発光パルスが射出される。LD21aから射出された光が投光系21から投光された光である。各発光点からの光は、所定の拡散角で広がりながら進行する。LD21aからの全ての光の光路上であってYZ平面に平行な領域を「検出領域」や「投光範囲」と呼ぶ。複数の発光点は、検出領域の複数の画素領域に1対1で対応する。
なお、LD21aの安全性やLD21aの耐久性の観点からLD21aの各発光点の発光デューティ(発光時間/発光周期)が制限されるため、発光パルスはパルス幅が狭い方が望ましく、該パルス幅は、一般に数ns〜数十ns程度に設定される。また、発光パルスのパルス間隔は一般に数十μ秒程度である。
また、LD21aからの光を例えばレンズを介して投光することにより、検出領域の大きさを調整することができる。例えば、検出領域を広げたい場合は凹パワーのカップリングレンズをLD21aからの光の光路上に設け、狭めたい場合は凸パワーのカップリングレンズをLD21aからの光の光路上に設けても良い。
また、LD21aの発光点が持つ発光領域が無視できない場合は、検出領域に応じて、無限遠でLD発光領域の共役像が現れるようなカップリング状態とし、投光分布を均一にしやすくすることもできる。投光分布に関しては、切妻型の面など、種々の光学素子形状を用いて、制御することが可能である。
また、検出領域を広げる場合は、マイクロレンズアレイやすりガラスのような拡散板の機能を持つ光学素子をLD21aからの光の光路上に配置しても良い。
ここで、光源としては、LDに限らず、例えば面発光レーザ(VCSEL)、LEDなど、種々の光源が代用可能である。
《受光系》
受光系22は、一例として、単一の受光エリアを有する受光素子22a、結像光学系22b、電流電圧変換器22cを含む。
図4では、投光系21と受光系22が、Y軸方向に並置されているが、Z軸方向に積層されても良い。
受光素子としては、PD(photodiode)やAPD(avalanche photodiode)、ガイガーモードAPDであるSPAD(single photon avalanche diode)、TOF(Time of Flight)演算機能を画素毎に有するCMOS撮像素子(以降、TOFセンサ)等がある。APDやSPADはPDに対して感度が高いため、検出精度や検出距離の点で有利であり、望ましい。そこで、第1実施形態では、受光素子22aとしてAPDを用いている。
ここで、検出領域内に物体がある場合、光源からの光ビームが、物体で反射したり散乱したりする。その反射光や散乱光は、結像光学系22bによって受光素子22aに集光する。結像光学系22bはレンズ系やミラー系、その他、受光素子22aへ光を集光可能な構成であれば良い。受光素子22aの出力電流は、電流電圧変換器22cで電圧信号(受光信号)に変換され、該電圧信号は信号処理系24に送られる。ここでは、受光素子22a及び電流電圧変換器22cを含んで「光検出器」が構成される。なお、光検出器は、光検出可能な構成を有するものであれば良く、例えば光入射により生じた熱を検知して光検出するものであっても良い。
LD21aの複数の発光点を順次点灯し、点灯毎に受光信号の有無をモニタすることにより、受光信号に対応する発光点(物体からの反射光に対応する発光点)を特定することができる。そこで、特定された発光点のアレイ内における位置から、検出領域における物体が存在する画素領域を特定でき、ひいては該物体の位置情報を求めることができる。
《信号処理系》
信号処理系24は、一例として、平均化/積算処理部24a、二値化処理部24bを含む。
平均化/積算処理部24aは、受光系22から順次出力される複数の受光信号を平均化及び/又は積算し、得られた信号を二値化処理部24bに出力する。
二値化処理部24bは、信号検出用の閾値が設定され、入力信号の信号レベルが閾値よりも大きい場合に入力信号を二値化し(検出し)、その二値化信号を検出信号として制御系23に出力する。
なお、信号処理系24において、平均化/積算処理部24aを省略することもできる。すなわち、受光系22から受光信号を二値化処理部24bに直接出力しても良い。
《制御系》
制御系23は、一例として、測定制御部23a、注目領域設定部23c、時間計測部23d、距離演算部23eを含む。
測定制御部23aは、監視制御装置30から測定開始要求を受けると、変調信号(パルス信号)を生成し、該変調信号をLD駆動部21b及び時間計測部23dに出力する。測定制御部23aは、必要に応じて変調信号のパルス振幅、パルス周期及びパルス幅の少なくとも1つを調整する。
また、測定制御部23aは、後述する閾値設定処理において、受光信号を二値化(検出)するための閾値を設定し、その設定情報(閾値設定情報)を二値化処理部24bに出力する。
また、測定制御部23aは、信号処理系24からの検出信号の有無によって検出領域における物体の有無を判定し「有り」と判定した場合に該検出信号に基づいて物体の位置情報を求め、必要に応じて注目領域設定要求と物体の位置情報を注目領域設定部23cに送る。
注目領域設定部23cは、測定制御部23aからの注目領域設定要求及び物体の位置情報を受け取ると、該位置情報に基づいて検出領域における物体が存在する少なくとも1つの領域を注目領域として設定し、その設定情報である注目領域設定情報を測定制御部23aに出力する。
時間計測部23dは、二値化処理部24bからの、画素領域毎の検出信号(二値化信号)に基づいて受光素子22aでの受光タイミングを求め、該受光タイミングと測定制御部23aからの変調信号の立ち上がりタイミングとの時間差を求め、該時間差を計測時間として距離演算部23eに出力する。受光タイミングの求め方としては、例えば受光信号が閾値を横切る2つのタイミングの間のタイミング(例えば中間タイミング)や、受光信号が閾値を下から上に横切るタイミングとすることが考えられる。
距離演算部23eは、時間計測部23dからの画素領域毎の計測時間を距離に変換することで物体までの往復距離を求め、該往復距離の1/2を距離データとして監視制御装置30に出力し、さらに必要に応じて測定制御部23aにも出力する。距離演算部23eからの画素領域毎の距離データは、全体として上述した距離画像を構成する。
監視制御装置30は、距離演算部23eからの距離データ(距離画像)に基づいて例えば車両1の操舵制御(例えばオートステアリング)、速度制御(例えばオートブレーキ)等を行う。
以下に、測定制御部23aによって実施される閾値設定処理について、図10のフローチャートを参照して説明する。この閾値設定処理は定期的に(例えば数分〜数時間毎に)行われる。
《閾値設定処理》
最初のステップU1では、外乱ノイズレベルを取得する。具体的には、LD21aが発光していないときの受光素子22aの出力を外乱ノイズ(例えば太陽光、照明光等の外乱光によるノイズ、回路ノイズ等)のノイズレベルとして取得する。
次のステップU2では、取得した外乱ノイズレベルをメモリに保存する。
次のステップU3では、受光信号を二値化するための閾値を設定する。具体的には、投光範囲全域に対して外乱ノイズレベル(より正確には外乱ノイズレベルの最大値)よりも大きい閾値thを一律に設定し、その設定情報を二値化処理部24bに送る。
以下に、上記第1実施形態のライダ20Aを用いて物体に関する情報を検出する物体検出処理1について説明する。
《物体検出処理1》
物体検出処理1を、図11を参照して説明する。図11のフローチャートは、測定制御部23aによって実行される処理アルゴリズムに基づいている。物体検出処理1は、監視制御装置30から測定開始要求を受けたときに開始される。監視制御装置30は、例えばライダ20Aが搭載された車両1の電気系統がONになったときにライダ20Aに測定開始要求を送る。
最初のステップS1では、投光範囲全域へパルス光を投光する。具体的には、投光系21のLD21aの複数の発光点を順次パルス発光させる。すなわち、発光点間でパルス振幅、パルス幅、パルス周期が同一の変調信号をLD駆動部21bに異なるタイミングで印加して、LD21aの各発光点を同一の発光光量で異なるタイミングで発光させる。
次のステップS2では、投光範囲(検出領域)に物体があるか否かを判断する。具体的には、二値化処理部24bからの検出信号の有無をモニタし、検出信号が「有り」のときは「物体あり」、「無し」のときは「物体なし」と判断する。ステップS2での判断が肯定されるとステップS3に移行し、否定されると同じ判断を再び行う。
ステップS3では、物体が存在する領域を特定する。具体的には、ステップS2における検出信号の生成に関与した複数の発光点に対応する複数の画素領域を特定する。すなわち、物体の位置情報を特定する。
次のステップS4では、物体が複数か否かを判断する。具体的には、ステップS3で特定された複数の画素領域から成る箇所が複数箇所あるか否かで判断する。ここでの判断が否定されるとステップS5に移行し、肯定されるとステップS8に移行する。
ステップS5では、物体までの距離を取得する。具体的には、ステップS2における検出信号に基づいて距離演算部22eで算出された距離データを取得する。
ステップS6では、物体までの距離が所定距離(例えば100m)未満か否かを判断する。ここでの判断が肯定されるとステップS7に移行し、否定されるとステップS13に移行する。
ステップS7では、物体が存在する領域を注目領域として設定する。ステップS7が実行されると、ステップS11に移行する。具体的には、注目領域設定部23cに注目領域設定要求と物体の位置情報を送る。このとき、注目領域設定部23cは、物体を囲む該物体よりも幾分大きい領域を注目領域として設定し、その設定情報を測定制御部23aに出力する。
ステップS8では、各物体までの距離を取得する。具体的には、ステップS2における検出信号に基づいて距離演算部22eで算出された距離データを取得する。
次のステップS9では、最近接物体(ライダ20Aに最も近い物体)までの距離が所定距離(例えば100m)未満か否かを判断する。ここでの判断が肯定されるとステップS10に移行し、否定されるとステップS13に移行する。
ステップS10では、最近接物体が存在する領域を注目領域として設定する。具体的には、注目領域設定部23cに注目領域設定要求と最近接物体の位置情報を送る。このとき、注目領域設定部23cは、最近接物体を囲む該最近接物体よりも幾分大きい領域を注目領域として設定する(図6参照)。ステップS10が実行されると、ステップS11に移行する。
ステップS11では、「SN比維持向上処理」を実施する。SN比維持向上処理の詳細は後述する。
ステップS12では、注目物体(注目領域に存在する物体)の各画素領域までの距離を算出する。算出された距離を総合したものが、注目物体の距離画像となる。ステップS12が実行されると、ステップS13に移行する。
ステップS13では、処理を終了するか否かを判断する。ここでの判断は、監視制御装置30から測定終了要求を受けているときに肯定され、受けていないときに否定される。監視制御装置30は、例えば、ライダ20Aが搭載された車両1の電気系統がOFFになったときに測定制御部23aに測定終了要求を送る。ステップS13での判断が肯定されるとフローは終了し、否定されるとステップS2に戻る。
以上説明した物体検出処理1では、特にライダ20Aの射程範囲(射程距離)にある最近接物体に対してSN比を上げながら重点的に測定を行うことで、該最近接物体の位置、大きさ、形状等の情報を精度良く検出できる。
次に、上記ステップS11における「SN比維持向上処理」の具体例である「SN比維持向上処理1」、「SN比維持向上処理2」、「SN比維持向上処理3」について説明する。
《SN比維持向上処理1》
以下に、SN比維持向上処理1について図12を参照して説明する。図12のフローチャートは、測定制御部23aによって実行される処理アルゴリズムに基づいている。ここでは、信号処理系24は、平均化/積算処理部24aを有していない。
最初のステップT1では、注目物体からの反射光による受光信号が検出されたか否かを判断する。具体的には、二値化処理部24bからの検出信号の有無をモニタする。二値化処理部24bでは、閾値thよりも信号レベルが大きい受光信号が入力されたときに該受光信号が二値化され、その二値化信号が検出信号として出力される。ステップT1での判断が肯定されるとフローは終了し、否定されるとステップT2に移行する。
ステップT2では、注目領域に対する投光光量を上げる。具体的には、注目領域に対応する全ての発光点に対応する変調信号のパルス振幅を大きくする。ここでは、注目領域に対する投光光量を、上記物体検出処理1のステップS1での投光光量である通常の投光光量よりも大きくする。なお、上記物体検出処理1のステップS1において一部の発光点のみを発光させる場合、ステップT2において発光させる発光点の数を多くしても良い。
次のステップT3では、注目物体からの反射光による受光信号が検出されたか否かを判断する。具体的には、二値化処理部24bからの検出信号の有無をモニタする。二値化処理部24bでは、閾値thよりも信号レベルが大きい受光信号が入力されたときに該受光信号が二値化され、その二値化信号が検出信号として出力される。ステップT3での判断が肯定されるとステップT4に移行し、否定されるとステップT2に戻る。
このように、ステップT2、T3によって、注目物体からの反射光による受光信号が検出されるまで、注目領域への投光光量が上げられる。この結果、受光信号のSN比を向上させることができる。一方、ステップT1での判断が肯定されたときは、受光信号のSN比が維持されることになる。なお、ステップT2を複数回行う場合には、回を追うごとに投光光量が上がることになる。
次のステップT4では、注目領域に対する投光光量を通常の投光光量に戻す。ステップT4が実行されると、フローは終了する。
《SN比維持向上処理2》
以下に、SN比維持向上処理2について図13を参照して説明する。図13のフローチャートは、測定制御部23aによって実行される処理アルゴリズムに基づいている。ここでは、信号処理系24は、平均化/積算処理部24aを有している。
最初のステップT11では、注目物体からの反射光による受光信号が検出されたか否かを判断する。具体的には、二値化処理部24bからの検出信号の有無をモニタする。二値化処理部24bでは、閾値thよりも信号レベルが大きい受光信号が入力されたときに該受光信号が二値化され、その二値化信号が検出信号として出力される。ステップT11での判断が肯定されるとフローは終了し、否定されるとステップT12に移行する。
ステップT12では、注目領域に対する投光周期を短くする。具体的には、注目領域に対応する全ての発光点に対応する変調信号のパルス周期を短くする(周波数を高くする)。ここでは、注目領域に対する投光周期を、物体検出処理1のステップS1での投光周期である通常の投光周期では1フレーム毎に1回投光するところ、1フレーム毎に複数回投光されるように投光周期が短く設定される。
次のステップT13では、注目物体からの反射光による受光信号を平均化及び/又は積算する。具体的には、1フレーム毎に、複数回の投光による複数回の受光で得られた複数の受光信号を平均化及び/又は積算する。これにより、受光信号のSN比を向上させることができる。一方、ステップT11での判断が肯定されたときは、受光信号のSN比が維持されることになる。なお、受光素子22aからの信号電荷を蓄積するコンデンサを設ければ、1フレーム毎に、複数の受光信号の信号電荷をコンデンサに蓄積し、蓄積された信号電荷を一気に出力することができる。
次のステップT14では、注目物体からの反射光による受光信号が検出されたか否かを判断する。具体的には、二値化処理部24bからの検出信号の有無をモニタする。二値化処理部24bでは、閾値thよりも信号レベルが大きい受光信号が入力されたときに該受光信号が二値化され、その二値化信号が検出信号として出力される。ステップT14での判断が肯定されるとステップT15に移行し、否定されるとステップT12に戻る。
このように、ステップT12〜T14によって、注目物体からの反射光による受光信号が検出されるまで、注目領域に対する投光周期が短くされる。すなわち、1フレーム毎に平均化及び/又は積算される受光信号の数が増加される。ステップT12を複数回行う場合は、回を追うごとに、1フレーム毎の投光周期が短くなり受光回数が増えて平均化及び/又は積算される受光信号の数も増えることになる。
次のステップT15では、注目領域に対する投光周期を元の値(通常の投光周期)に戻す。ステップT15が実行されると、フローは終了する。
《SN比維持向上処理3》
以下に、SN比維持向上処理3について図14を参照して説明する。図14のフローチャートは、測定制御部23aによって実行される処理アルゴリズムに基づいている。ここでは、信号処理系24は、平均化/積算処理部24aを有している。
最初のステップT21では、注目物体からの反射光による受光信号が検出されたか否かを判断する。具体的には、二値化処理部24bからの検出信号の有無をモニタする。二値化処理部24bでは、閾値thよりも信号レベルが大きい受光信号が入力されたときに該受光信号が二値化され、その二値化信号が検出信号として出力される。ステップT21での判断が肯定されるとフローは終了し、否定されるとステップT22に移行する。
ステップT22では、注目領域に対するフレームレートを下げる。具体的には、注目領域に対するフレームレートを、物体検出処理1のステップS1でのフレームレートである通常のフレームレートでは1フレーム毎に1回受光するところ、注目領域において1フレーム毎に複数回受光するようにフレームレートを下げる。
次のステップT23では、注目物体からの反射光による受光信号を平均化及び/又は積算する。具体的には、1フレーム毎に、複数回の受光で得られた複数の受光信号を平均化及び/又は積算する。これにより、受光信号のSN比を向上させることができる。一方、ステップT21での判断が肯定されたときは、受光信号のSN比が維持されることになる。なお、受光素子22aからの電荷を蓄積するコンデンサを設ければ、1フレーム毎に、複数の受光信号の信号電荷をコンデンサに蓄積し、蓄積された信号電荷を一気に出力することができる。
次のステップT24では、注目物体からの反射光による受光信号が検出されたか否かを判断する。具体的には、二値化処理部24bからの検出信号の有無をモニタする。二値化処理部24bでは、閾値thよりも信号レベルが大きい受光信号が入力されたときに該受光信号が二値化され、その二値化信号が検出信号として出力される。ステップT24での判断が肯定されるとステップT25に移行し、否定されるとステップT22に戻る。
このように、ステップT22〜T24によって、注目物体からの反射光による受光信号が検出されるまで、注目領域に対するフレームレートが下げられる。この結果、受光信号のSN比を向上させることができる。すなわち、1フレーム毎に平均化及び/又は積算される受光信号の数が増加される。ステップT22を複数回行う場合は、回を追うごとにフレームレートが下げられ受光回数が増えて平均化及び/又は積算される受光信号の数も増えることになる。
次のステップT25では、注目領域に対するフレームレートを元の値(通常のフレームレート)に戻す。ステップT25が実行されると、フローは終了する。
なお、SN比維持向上処理1の投光光量を上げることと、SN比維持向上処理2の投光周期を短くすることと、SN比維持向上処理3のフレームレートを下げることと、の少なくとも2つを組み合わせて、SN比維持向上処理4を構成しても良い。
以下に、第1実施形態のライダ20Aを用いて物体に関する情報を検出する物体検出処理2〜6について説明する。
《物体検出処理2》
物体検出処理2を、図15を参照して説明する。図15のフローチャートは、測定制御部23aによって実行される処理アルゴリズムに基づいている。物体検出処理2は、監視制御装置30から測定開始要求を受けたときに開始される。監視制御装置30は、例えばライダ20Aが搭載された車両1の電気系統がONになったときにライダ20Aに測定開始要求を送る。
最初のステップS21では、投光範囲全域へパルス光を投光する。具体的には、投光系21のLDの複数の発光点を順次パルス発光させる。すなわち、発光点間でパルス振幅、パルス幅、パルス周期が同一の変調信号をLD駆動部21bに異なるタイミングで印加して、LD21aの各発光点を同一の発光光量で異なるタイミングで発光させる。
次のステップS22では、投光範囲(検出領域)に物体があるか否かを判断する。具体的には、二値化処理部24bからの検出信号の有無をモニタし、検出信号が「有り」のときは「物体あり」、検出信号が「無し」のときは「物体なし」と判断する。ステップS22での判断が肯定されるとステップS22.5に移行し、否定されると同じ判断を再び行う。
ステップS22.5では、物体が存在する領域を特定する。具体的には、ステップS22における検出信号の生成に関わった複数の発光点に対応する複数の画素領域を特定する。すなわち、物体の位置情報を特定する。
ステップS23では、移動物体があるか否かを判断する。例えば距離画像の連続する複数のフレームにおける物体の位置とフレームレートから、物体とライダ20Aの相対速度の変化を算出し、該変化が基準値以上の場合に該物体を「移動物体」と判定し、該基準値未満の場合に該物体を「静止物体」と判定する。ステップS23での判断が否定されるとステップS24に移行し、肯定されるとステップS27に移行する。
ステップS24では、物体までの距離を取得する。具体的には、ステップS22における検出信号に基づいて距離演算部22eで算出された距離データを取得する。
次のステップS25では、物体までの距離が所定距離(例えば100m)未満か否かを判断する。ここでの判断が肯定されるとステップS26に移行し、否定されるとステップS33に移行する。
次のステップS26では、物体が存在する領域を注目領域として設定する。具体的には、注目領域設定部23cに注目領域設定要求と物体の位置情報を送る。このとき、注目領域設定部23cは、物体を囲む該物体よりも幾分大きい領域を注目領域として設定し、その設定情報を測定制御部23aに出力する。ステップS26が実行されると、ステップS31に移行する。
ステップS27では、移動物体が複数か否かを判断する。具体的には、ステップS23で判定された移動物体の数が複数か否かを判断する。ここでの判断が否定されるとステップS24に移行し、肯定されるとステップS28に移行する。
ステップS28では、各物体までの距離を取得する。具体的には、ステップS22における検出信号に基づいて距離演算部22eで算出された距離データを取得する。
次のステップS29では、最近接移動物体(ライダ20Aに最も近い移動物体)までの距離が所定距離(例えば100m)未満か否かを判断する。ここでの判断が肯定されるとステップS30に移行し、否定されるとステップS33に移行する。
ステップS30では、最近接移動物体が存在する領域を注目領域として設定する。具体的には、注目領域設定部23cに注目領域設定要求と最近接移動物体の位置情報を送る。このとき、注目領域設定部23cは、最近接移動物体を囲む該最近接移動物体よりも幾分大きい領域を注目領域として設定する(図6参照)。
次のステップS31では、「SN比維持向上処理」を実施する。ここでは、例えば前述したSN比維持向上処理1〜3のいずれかを実施する。
ステップS32では、注目物体(注目領域に存在する物体)の各画素領域までの距離を算出する。算出された距離を総合したものが、注目物体の距離画像となる。ステップS32が実行されると、ステップS33に移行する。
ステップS33では、処理を終了するか否かを判断する。ここでの判断は、監視制御装置30から、測定終了要求を受けているときに肯定され、受けていないときに否定される。監視制御装置30は、例えば、ライダ20Aが搭載された車両1の電気系統がOFFになったときに測定制御部23aに測定終了要求を送る。ステップS33での判断が肯定されるとフローは終了し、否定されるとステップS22に戻る。
以上説明した物体検出処理2では、特にライダ20Aの射程範囲にある最近接移動物体に対してSN比を上げながら重点的に計測を行うことで、該最近接移動物体の位置、大きさ、形状等の情報を精度良く検出できる。
《物体検出処理3》
物体検出処理3を、図16を参照して説明する。図16のフローチャートは、測定制御部23aによって実行される処理アルゴリズムに基づいている。物体検出処理3は、監視制御装置30から測定開始要求を受けたときに開始される。監視制御装置30は、例えばライダ20Aが搭載された車両1の電気系統がONになったときにライダ20Aに測定開始要求を送る。
最初のステップS41では、投光範囲全域へパルス光を投光する。具体的には、投光系21のLDの複数の発光点を順次パルス発光させる。すなわち、発光点間でパルス振幅、パルス幅、パルス周期が同一の変調信号をLD駆動部21bに異なるタイミングで印加して、LD21aの各発光点を同一の発光光量で異なるタイミングで発光させる。
次のステップS42では、投光範囲(検出領域)に物体があるか否かを判断する。具体的には、二値化処理部24bからの検出信号の有無をモニタし、検出信号が「有り」のときは「物体あり」、検出信号が「無し」のときは「物体なし」と判断する。ステップS42での判断が肯定されるとステップS42.5に移行し、否定されると同じ判断を再び行う。
ステップS42.5では、物体が存在する領域を特定する。具体的には、ステップS42における検出信号の生成に関わった複数の発光点に対応する複数の画素領域を特定する。すなわち、物体の位置情報を特定する。
ステップS43では、移動物体があるか否かを判断する。具体的には、例えば距離画像の連続する複数のフレームにおける物体の位置とフレームレートから、物体とライダ20Aの相対速度の変化を算出し、該変化が基準値以上の場合に該物体を「移動物体」と判定し、該基準値未満の場合に該物体を「静止物体」と判定する。ステップS43での判断が否定されるとステップS45に移行し、肯定されるとステップS44に移行する。
ステップS45では、物体までの距離を取得する。具体的には、ステップS42における検出信号に基づいて距離演算部22eで算出された距離データを取得する。
次のステップS46では、物体までの距離が所定距離(例えば100m)未満か否かを判断する。ここでの判断が肯定されるとステップS47に移行し、否定されるとステップS53に移行する。
次のステップS47では、物体が存在する領域を注目領域として設定する。具体的には、注目領域設定部23cに注目領域設定要求と物体の位置情報を送る。このとき、注目領域設定部23cは、物体を囲む該物体よりも幾分大きい領域を注目領域として設定し、その設定情報を測定制御部23aに出力する。ステップS47が実行されると、ステップS51に移行する。
ステップS44では、移動物体が複数か否かを判断する。具体的には、ステップS43で判定された移動物体の数が複数か否かを判断する。ここでの判断が否定されるとステップS45に移行し、肯定されるとステップS48に移行する。
ステップS48では、各物体までの距離を取得する。具体的には、ステップS42における検出信号に基づいて距離演算部22eで算出された距離データを取得する。
次のステップS49では、距離が所定距離(例えば100m)未満の移動物体があるか否かを判断する。ここでの判断が肯定されるとステップS50に移行し、否定されるとステップS53に移行する。
ステップS50では、距離が所定距離未満の移動物体が存在する全ての領域を注目領域として設定する。具体的には、注目領域設定部23cに注目領域設定要求と移動物体の位置情報を送る。このとき、注目領域設定部23cは、距離が所定距離未満の移動物体を囲む該移動物体よりも幾分大きい領域を注目領域として設定する。
次のステップS51では、「SN比維持向上処理」を実施する。ここでは、例えば前述したSN比維持向上処理1〜3のいずれかを実施する。
ステップS52では、注目物体(注目領域に存在する物体)の各画素領域までの距離を算出する。算出された距離を総合したものが、注目物体の距離画像となる。ステップS52が実行されると、ステップS53に移行する。
ステップS53では、処理を終了するか否かを判断する。ここでの判断は、監視制御装置30から、測定終了要求を受けているときに肯定され、受けていないときに否定される。監視制御装置30は、例えば、ライダ20Aが搭載された車両1の電気系統がOFFになったときに測定制御部23aに測定終了要求を送る。ステップS53での判断が肯定されるとフローは終了し、否定されるとステップS42に戻る。
以上説明した物体検出処理3では、特にライダ20Aの射程距離にある全ての移動物体に対してSN比を上げながら重点的に計測を行うことで、該移動物体の位置、大きさ、形状等の情報を精度良く検出できる。
《物体検出処理4》
物体検出処理4を、図17を参照して説明する。図17のフローチャートは、測定制御部23aによって実行される処理アルゴリズムに基づいている。物体検出処理4は、監視制御装置30から測定開始要求を受けたときに開始される。監視制御装置30は、例えばライダ20Aが搭載された車両1の電気系統がONになったときにライダ20Aに測定開始要求を送る。
最初のステップS61では、投光範囲全域へパルス光を投光する。具体的には、投光系21のLDの複数の発光点を順次パルス発光させる。すなわち、発光点間でパルス振幅、パルス幅、パルス周期が同一の変調信号をLD駆動部21bに異なるタイミングで印加して、LD21aの各発光点を同一の発光光量で異なるタイミングで発光させる。
次のステップS62では、投光範囲(検出領域)に物体があるか否かを判断する。具体的には、二値化処理部24bからの検出信号の有無をモニタし、検出信号が「有り」のときは「物体あり」、検出信号が「無し」のときは「物体なし」と判断する。ステップS62での判断が肯定されるとステップS62.5に移行し、否定されると同じ判断を再び行う。
ステップS62.5では、物体が存在する領域を特定する。具体的には、ステップS62における検出信号の生成に関わった複数の発光点に対応する複数の画素領域を特定する。すなわち、物体の位置情報を特定する。
次のステップS63では、移動物体があるか否かを判断する。例えば距離画像の連続する複数のフレームにおける物体の位置とフレームレートから、物体とライダ20Aの相対速度の変化が基準値以上の場合に該物体を「移動物体」と判定し、該基準値未満の場合に該物体を「静止物体」と判定する。ステップS63での判断が否定されるとステップS64に移行し、肯定されるとステップS67に移行する。
ステップS64では、物体までの距離を取得する。具体的には、ステップS62における検出信号に基づいて距離演算部22eで算出された距離データを取得する。
次のステップS65では、物体までの距離が所定距離(例えば100m)未満か否かを判断する。ここでの判断が肯定されるとステップS66に移行し、否定されるとステップS74に移行する。
ステップS66では、物体が存在する領域を注目領域として設定する。具体的には、注目領域設定部23cに注目領域設定要求と物体の位置情報を送る。このとき、注目領域設定部23cは、物体を囲む該物体よりも幾分大きい領域を注目領域として設定し、その設定情報を測定制御部23aに出力する。ステップS66が実行されると、ステップS71に移行する。
ステップS67では、移動物体が複数か否かを判断する。具体的には、ステップS63で判定された移動物体の数が複数か否かを判断する。ここでの判断が否定されるとステップS64に移行し、肯定されるとステップS68に移行する。
ステップS68では、各物体までの距離を取得する。具体的には、ステップS62における検出信号に基づいて距離演算部22eで算出された距離データを取得する。
次のステップS69では、距離が所定距離(例えば100m)未満の移動物体があるか否かを判断する。ここでの判断が肯定されるとステップS70に移行し、否定されるとステップS74に移行する。
ステップS70では、距離が所定距離未満の全ての移動物体のライダ20Aへの接近速度を算出する。具体的には、距離画像の連続するフレーム間での物体の位置の変化とフレームレートから、該物体の接近速度を算出する。なお、「接近速度」は、例えば、移動物体がライダ20Aに接近している場合を+、離間している場合を−とする。
次のステップS71では、接近速度が最速の移動物体が存在する領域を注目領域として設定する。具体的には、注目領域設定部23cに注目領域設定要求と接近速度が最速の移動物体の位置情報を送る。このとき、注目領域設定部23cは、接近速度が最速の移動物体を囲む該移動物体よりも幾分大きい領域を注目領域として設定する。
次のステップS72では、「SN比維持向上処理」を実施する。ここでは、例えば前述したSN比維持向上処理1〜3のいずれかを実施する。
次のステップS73では、注目物体(注目領域に存在する物体)の各画素領域までの距離を算出する。算出された距離を総合したものが、注目物体の距離画像となる。
ステップS74では、処理を終了するか否かを判断する。ここでの判断は、監視制御装置30から、測定終了要求を受けているときに肯定され、受けていないときに否定される。監視制御装置30は、例えば、ライダ20Aが搭載された車両1の電気系統がOFFになったときに測定制御部23aに測定終了要求を送る。ステップS74での判断が肯定されるとフローは終了し、否定されるとステップS62に戻る。
以上説明した物体検出処理4では、特にライダ20Aの射程範囲にある接近速度が最速の移動物体に対してSN比を上げながら重点的に測定を行うことで、該移動物体の位置、大きさ、形状、移動速度等の情報を精度良く検出できる。
《物体検出処理5》
物体検出処理5を、図18を参照して説明する。図18のフローチャートは、測定制御部23aによって実行される処理アルゴリズムに基づいている。物体検出処理5は、監視制御装置30から測定開始要求を受けたときに開始される。監視制御装置30は、例えばライダ20Aが搭載された車両1の電気系統がONになったときにライダ20Aに測定開始要求を送る。
最初のステップS81では、投光範囲全域へパルス光を投光する。具体的には、投光系21のLDの複数の発光点を順次パルス発光させる。すなわち、発光点間でパルス振幅、パルス幅、パルス周期が同一の変調信号をLD駆動部21bに異なるタイミングで印加して、LD21aの各発光点を同一の発光光量で異なるタイミングで発光させる。
次のステップS82では、投光範囲(検出領域)に物体があるか否かを判断する。具体的には、二値化処理部24bからの検出信号の有無をモニタし、検出信号が「有り」のときは「物体あり」、検出信号が「無し」のときは「物体なし」と判断する。ステップS82での判断が肯定されるとステップS82.5に移行し、否定されると同じ判断を再び行う。
ステップS82.5では、物体が存在する領域を特定する。具体的には、ステップS82における検出信号の生成に関わった複数の発光点に対応する複数の画素領域を特定する。すなわち、物体の位置情報を求める。
次のステップS83では、低反射物体があるか否かを判断する。ここでは、ステップS82における検出信号の元となる受光信号の信号レベル(受光量)を取得し、該信号レベルの、ステップS82.5で求めた物体の位置情報から得られる該物体までの距離に対する比が所定値未満の場合に、該物体を低反射物体と見做す。ステップS83での判断が否定されるとステップS84に移行し、肯定されるとステップS87に移行する。
ステップS84では、物体までの距離を取得する。具体的には、ステップS82における検出信号に基づいて距離演算部22eで算出された距離データを取得する。
次のステップS85では、物体までの距離が所定距離(例えば100m)未満か否かを判断する。ここでの判断が肯定されるとステップS86に移行し、否定されるとステップS93に移行する。
ステップS86では、物体が存在する領域を注目領域として設定する。具体的には、注目領域設定部23cに注目領域設定要求と物体の位置情報を送る。このとき、注目領域設定部23cは、物体を囲む該物体よりも幾分大きい領域を注目領域として設定し、その設定情報を測定制御部23aに出力する。ステップS86が実行されると、ステップS91に移行する。
ステップS87では、低反射物体が複数か否かを判断する。具体的には、ステップS82.5で求めた比が所定値未満の物体が複数あるか否かで判断する。ここでの判断が否定されるとステップS84に移行し、肯定されるとステップS88に移行する。
ステップS88では、各低反射物体までの距離を取得する。具体的には、ステップS82における検出信号に基づいて距離演算部22eで算出された距離データを取得する。
次のステップS89では、最近接低反射物体(ライダ20Aに最も近い低反射物体)までの距離が所定距離(例えば200m)未満か否かを判断する。ここでの判断が肯定されるとステップS90に移行し、否定されるとステップS93に移行する。
ステップS90では、最近接低反射物体が存在する領域を注目領域として設定する。具体的には、注目領域設定部23cに注目領域設定要求と最近接低反射物体の位置情報を送る。このとき、注目領域設定部23cは、最近接低反射物体を囲む該最近接低反射物体よりも幾分大きい領域を注目領域として設定する。
次のステップS91では、「SN比維持向上処理」を実施する。ここでは、例えば前述したSN比維持向上処理1〜3のいずれかを実施する。
次のステップS92では、注目物体(注目領域に存在する物体)の各画素領域までの距離を算出する。算出された距離を総合したものが、注目物体の距離画像となる。
次のステップS93では、処理を終了するか否かを判断する。ここでの判断は、監視制御装置30から、測定終了要求を受けているときに肯定され、受けていないときに否定される。監視制御装置30は、例えば、ライダ20Aが搭載された車両1の電気系統がOFFになったときに測定制御部23aに測定終了要求を送る。ステップS93での判断が肯定されるとフローは終了し、否定されるとステップS82に戻る。
以上の説明した物体検出処理5では、特にライダ20Aの射程距離にある最近接低反射物体に対してSN比を上げながら重点的に測定を行うことで、該最近接低反射物体の位置、大きさ、形状等の情報を精度良く検出できる。
《物体検出処理6》
物体検出処理5を、図19を参照して説明する。図19のフローチャートは、測定制御部23aによって実行される処理アルゴリズムに基づいている。物体検出処理6は、監視制御装置30から測定開始要求を受けたときに開始される。監視制御装置30は、例えばライダ20Aが搭載された車両1の電気系統がONになったときにライダ20Aに測定開始要求を送る。
最初のステップS101では、投光範囲全域へパルス光を投光する。具体的には、投光系21のLDの複数の発光点を順次パルス発光させる。すなわち、発光点間でパルス振幅、パルス幅、パルス周期が同一の変調信号をLD駆動部21bに異なるタイミングで印加して、LD21aの各発光点を同一の発光光量で異なるタイミングで発光させる。
次のステップS102では、投光範囲(検出領域)に物体があるか否かを判断する。具体的には、二値化処理部24bからの検出信号の有無をモニタし、検出信号が「有り」のときは「物体あり」、検出信号が「無し」のときは「物体なし」と判断する。ステップS102での判断が肯定されるとステップS102.5に移行し、否定されると同じ判断を再び行う。
ステップS102.5では、物体が存在する領域を特定する。具体的には、ステップS102における検出信号の生成に関わった複数の発光点に対応する複数の画素領域を特定する。すなわち、物体の位置情報を求める。
次のステップS103では、低反射物体があるか否かを判断する。ここでは、ステップS102における検出信号の元となる受光信号の信号レベル(受光量)を取得し、該信号レベルの、ステップS102.5で求めた物体の位置情報から得られる該物体までの距離に対する比が所定値未満の場合に、該物体を低反射物体と見做す。ステップS103での判断が否定されるとステップS104に移行し、肯定されるとステップS107に移行する。
ステップS104では、物体までの距離を取得する。具体的には、ステップS102における検出信号に基づいて距離演算部22eで算出された距離データを取得する。
次のステップS105では、物体までの距離が所定距離(例えば100m)未満か否かを判断する。ここでの判断が肯定されるとステップS106に移行し、否定されるとステップS113に移行する。
次のステップS106では、物体が存在する領域を注目領域として設定する。具体的には、注目領域設定部23cに注目領域設定要求と物体の位置情報を送る。このとき、注目領域設定部23cは、物体を囲む該物体よりも幾分大きい領域を注目領域として設定し、その設定情報を測定制御部23aに出力する。ステップS106が実行されると、ステップS111に移行する。
ステップS107では、低反射物体が複数か否かを判断する。具体的には、ステップS103で求めた比が所定値未満の物体が複数あるか否かで判断する。ここでの判断が否定されるとステップS104に移行し、肯定されるとステップS108に移行する。
ステップS108では、各低反射物体までの距離を取得する。具体的には、ステップS102における検出信号に基づいて距離演算部22eで算出された距離データを取得する。
次のステップS109では、距離が所定距離(例えば100m)未満の低反射物体があるか否かを判断する。ここでの判断が肯定されるとステップS110に移行し、否定されるとステップS113に移行する。
ステップS110では、距離が所定距離未満の低反射物体が存在する全ての領域を注目領域として設定する。具体的には、注目領域設定部23cに注目領域設定要求と低反射物体の位置情報を送る。このとき、注目領域設定部23cは、低反射物体を囲む該低反射物体よりも幾分大きい領域を注目領域として設定する。
次のステップS111では、「SN比維持向上処理」を実施する。ここでは、例えば前述したSN比維持向上処理1〜3のいずれかを実施する。
次のステップS112では、注目物体(注目領域に存在する物体)の各画素領域までの距離を算出する。算出された距離を総合したものが、注目物体の距離画像となる。
次のステップS113では、処理を終了するか否かを判断する。ここでの判断は、監視制御装置30から、測定終了要求を受けているときに肯定され、受けていないときに否定される。監視制御装置30は、例えば、ライダ20Aが搭載された車両1の電気系統がOFFになったときに測定制御部23aに測定終了要求を送る。ステップS113での判断が肯定されるとフローは終了し、否定されるとステップS102に戻る。
以上説明した物体検出処理6では、特にライダ20Aの射程範囲にある全ての低反射物体に対してSN比を上げながら重点的に測定を行うことで、該低反射物体の位置、大きさ、形状等の情報を精度良く検出できる。
なお、上記物体検出処理4において「移動物体」を「低反射物体」に置き換えた物体検出処理4´を行っても良い。
また、上記各物体検出処理において、2番目のステップ(物体があるか否かを判断するステップ)での判断が否定されたときに、投光範囲全域に対して「SN比維持向上処理」を行うステップを追加し、該ステップの後、2番目のステップに戻しても良い。この場合、SN比を向上させないと検出が困難な遠距離物体、低反射物体、小物体なども検出することが可能となる。
また、上記各物体検出処理において、注目領域を設定するための一連の処理に並行して、非注目領域への投光により非注目領域を粗く、もしくはフレームレートを下げて検出を行うことが好ましい。そして、ある非注目領域で検出対象の特定の物体が検出されたときに、該非注目領域を注目領域に切り替えて検出を行うことが好ましい。
[第2実施形態]
図20(a)及び図20(b)には、第2実施形態の物体検出装置200の一例としてのライダ20Bの投光系及び受光系の構成が示されている。
ライダ20Bは、投光系が、光源からの光を有効走査領域に向けて偏向走査する走査ミラーを有している点が上記第1実施形態のライダ20Aと異なる。すなわち、第2実施形態のライダ20Bは、走査型のライダである。
ここでは、この走査ミラーにMEMS機構でミラー部を駆動するMEMSミラーを用いているが、モータによって多面鏡を回転させるポリゴンミラー、その他ガルバノミラーなど種々の変形が可能である。
第2実施形態では、MEMSミラーによって走査される光(走査光)を検出する光検出部(例えばフォトダイオードやフォトトランジスタ)が有効走査領域を含む投光範囲(検出領域)に設けられ、測定制御部は、光検出部の出力に基づいて走査光の位置(走査位置)を検出し、該走査位置に基づいて投光系の光源を制御する。なお、MEMSミラーにミラー部の振れ角を検知する振れ角検知部が設けられる場合には、測定制御部は該振れ角検知部の出力に基づいて走査位置を検出しても良い。
また、走査する構成としては、投光系、受光系をZ軸方向に重ねた構成にしており、ともに図20のようにZ軸方向から見たときに同軸で走査ミラーに入射して走査することにより、投光系で光を投射している領域と、受光系で光を取り込む領域を一致させ、安定した物体検出を実現している。
第2実施形態の変形例として、投光系においてのみ走査ミラーで走査し、受光系は走査ミラーを介さず、上記第1実施形態のように、有効走査領域全体を結像光学系によって観察する構成もとりうる。
この場合、受光系において走査ミラーの設置スペースが不要となり、投光系において走査ミラーのサイズを小さくすることによって、高速駆動や広角駆動とすることも可能である。
図20では、座標軸は、有効走査領域がYZ平面となるようにとっており、走査ミラーは、図20では図示されていないが、Y軸方向とZ軸方向の2軸方向に独立して走査可能な構成とされている。走査ミラーをポリゴンミラーなどで代用する場合は、複数の反射面を回転軸に対してそれぞれ異なった角度で傾けて配置して、走査・検出する領域をZ軸方向に切り替えることも可能である。
第2実施形態における、注目領域への光の照射方法を以下に説明する。
上記第1実施形態と同様に、図6のような物体検出結果(距離画像)に基づき、物体Aが存在する領域を注目領域とする場合、走査手段としてのMEMSミラーの駆動を非共振モードに切り替えて、注目領域に光を偏向させる角度のみに限定してミラーを駆動させる。
注目領域までの距離について精度良く検知したい場合は、注目領域を繰返し走査して信号を取得することによって、SN比を増加させることができる。物体Aを回避するように移動体を制御する場合は、距離情報よりも物体Aのサイズ、形状の輪郭の方をより精度良く検知して、移動可能領域を判定する必要があるため、MEMSミラーの駆動を物体Aの輪郭部分を照射するようさらに絞って、より高速にSN比を向上させても良い。
また、非共振モードに切り替えず、共振モードで有効走査領域全体を走査するモードのままで、注目領域を走査するときの光源の発光周期を短くしたり、発光デューティを大きくしたり、光源への駆動電流の振幅を増加させて発光パルスのピーク光量を増大させることで受光信号のSN比を上げても良い。この方法は、ポリゴンミラーなど、ある領域に限定して偏向させるような駆動ができない光偏向器の場合でも有効である。
また、光源の駆動条件の制約などにより、光源の発光周期や発光デューティを変えることができない場合は、前述のようにMEMSミラーを非共振モードとし、注目領域を照射しても良いし、走査速度を遅くすることでも実質的に注目領域への投光回数(照射回数)を増やすことが可能となる。
以上説明した第2実施形態のライダ20Bを用いて、前述した閾値設定処理、SN比維持向上処理1〜3、物体検出処理1〜6を行うこともできる。
[第3実施形態]
図21(a)及び図21(b)には、第3実施形態のライダ300aとステレオカメラ300bを備える物体検出装置300が車両本体(移動体)に搭載される車両1´(移動体装置)の側面図及び正面図がそれぞれ示されている。
ライダ300aは、上記第1実施形態のライダ20A又は第2実施形態のライダ20Bと同様の構成を有しており、例えば車両1´の前側のナンバープレート近傍に取り付けられている。なお、ライダ300aを例えば車両1´内に取り付けても良いが、その場合、ライダ300aからの投射光の一部がフロントガラスで反射することが懸念される。
ステレオカメラ300bは、例えば車両1´内のバックミラー近傍に取り付けられおり、撮像部1(左眼)と撮像部2(右眼)の撮像結果から得られる視差画像により検出領域の距離情報を検出する。なお、ステレオカメラ300bを車両1´外に取り付けても良いが、その場合、ステレオカメラ300bのレンズが汚れることが懸念される。
図22には、ライダ300aの投光範囲とステレオカメラ300bの撮像範囲が示されている。
図22に示されるように、撮像部1の撮像範囲(左眼撮像範囲)と撮像部2の撮像範囲(右眼撮像範囲)は、オーバーラップ領域(重なり部分)を有し、そのオーバーラップ領域にライダ300aの投光範囲が含まれている。なお、該オーバーラップ領域が投光範囲に一致又は投光範囲に含まれても良い。
第3実施形態では、注目領域を設定するために、ステレオカメラ300bの撮像結果を用いる。
一般に、ステレオカメラは、ライダに比べて、角度分解能を高くしやすく、より小さい物体などへの検知に優れるが、遠方になればなるほど距離分解能を高めることが難しく、物体までの距離を精度よく検出できない。
そこで、ステレオカメラ300bを用いて投光範囲全域における物体の有無を検出し、注目領域を設定した後(注目モードに移行した後)、ライダ300aによって注目領域のSN比を上げながら物体までの距離の検出を行うことにより、非注目モードよりも、遠距離物体や低反射物体に関する情報を高精度に検出することができる。
なお、上記第3実施形態では、ライダとステレオカメラを組み合わせる例を説明したが、ライダと単眼カメラを組み合わせても同様の効果が得られる。単眼カメラの場合、例えば光学フィルタを介して撮像することにより画素毎にボケやズレを生じさせ、そのボケ具合やズレ具合によって画素毎の被写体までの距離情報を得る。また、ライダとその他のセンシングデバイスとの組み合わせることも可能である。ミリ波レーダに関しては、ライダに比べて、雨や霧のときの検出信頼性、つまり耐候性が優れるが、検出領域の広角化と角度分解能の向上の両立が難しい。このため、悪天候時のおおまかな物体検出をミリ波レーダで行って注目領域を判断した後、ライダによって注目領域のSN比を上げながら物体検出を行うことにより、非注目モードに比べてより悪天候時での高精度な物体検出を実現できる。
また、上記第3実施形態の物体検出装置300では、ライダ300aとステレオカメラ300bを別体に構成しているが、図23に示されるようにライダ300aとステレオカメラ300bを一体的に構成し、車両外のナンバープレート近傍や車両内のバックミラー近傍に取り付けても良い。
以上説明した第3実施形態の物体検出装置300を用いて、前述した閾値設定処理、SN比維持向上処理1〜3、物体検出処理1〜6を行うこともできる。
[第4実施形態]
図23に示される一体的に構成されたライダ300aとステレオカメラ300bを備える第4実施形態の物体検出装置400について説明する。図24は、物体検出装置400の外観構成及び取り付け例を示す図である。
図24の上部(外観構成)に示すように、物体検出装置400は、周囲環境を3次元情報として取得するためのセンサ装置(3次元センサ)として、ステレオカメラ110と、ライダ(レーザレーダ)120とを備える。ステレオカメラ110は、単眼カメラ部111(第1撮像系)と単眼カメラ部112(第2撮像系)とを備え、ライダ120は、単眼カメラ部111と単眼カメラ部112との間に配置される。
単眼カメラ部111、112は、同期をとりながら所定のフレーム周期でそれぞれが撮影を行い、撮影画像を生成する。
ライダ120は、レーザ光を照射し、その反射光を受光することで、レーザ光の照射位置(オブジェクト)までの距離を測定する。
図24の下部(取り付け例)に示すように、物体検出装置400は、例えば、車両140のフロントウィンドウの内側中央位置に取り付けられる。このとき、ステレオカメラ110及びライダ120は、いずれも車両140の前方方向に向かって取り付けられる。つまり、車両140において、物体検出装置400は、ステレオカメラ110の撮影方向と、ライダ120のレーザ光の出射方向とが、同じ方向になるように取り付けられる。
《物体検出装置400のハードウェア構成》
次に、物体検出装置400のハードウェア構成の一例について図25を参照して説明する。
図25に示されるように、物体検出装置400は、カメラステイ201と制御基板収納部202とを有する。
カメラステイ201には、単眼カメラ部111、112とライダ120とが一体的に取り付けられている。これにより、物体検出装置400の小型化及び低コスト化を実現している。
制御基板収納部202には、レーザ信号処理部240から構成される信号処理系、距離計算処理部250、メモリ260、MPU(Micro Processing Unit)270から構成される制御装置(制御系)が収納されている。レーザ信号処理部240をライダ120とは別体に構成することで、ライダ120のサイズを小さくすることができる。これにより、第4実施形態では、単眼カメラ部111と単眼カメラ部112との間への、ライダ120の配置を実現している。
なお、図25の例では、レーザ信号処理部240と距離計算処理部250とを、別の回路基板として構成しているが、レーザ信号処理部240と距離計算処理部250とは、共通の回路基板により構成してもよい。回路基板の枚数を削減することで、低コスト化を図ることが可能となるからである。
続いて、カメラステイ201側の各部の詳細について説明する。図25に示されるように、単眼カメラ部111(第1撮像系)は、カメラレンズ211と、撮像素子212と、センサ基板213とを備える。カメラレンズ211を介して入射された外部の光は、撮像素子212において受光され、所定のフレーム周期で光電変換される。光電変換により得られた信号は、センサ基板213において処理され、1フレームごとの撮影画像が生成される。生成された撮影画像は、比較画像として、順次、距離計算処理部250に送信される。
なお、単眼カメラ部112(第2撮像系)も、単眼カメラ部111と同様の構成を有しており、同期制御信号に基づいて単眼カメラ部111と同期して生成された撮影画像は、基準画像として、順次、距離計算処理部250に送信される。
ライダ120は、光源駆動回路231と、レーザ光源232と、投光レンズ233とで構成される投光系を備える。光源駆動回路231は、レーザ信号処理部240からの同期制御信号に基づいて動作し、レーザ光源232に対して変調電流(光源発光信号)を印加する。これにより、レーザ光源232からレーザ光が出射される。レーザ光源232から出射されたレーザ光は、投光レンズ233を介して外部に出射される。
なお、第4実施形態では、レーザ光源232として、赤外半導体レーザダイオード(LD:Laser Diode)が用いられ、レーザ光として波長800nm〜950nmの近赤外光が出射されるものとする。また、レーザ光源232は、光源駆動回路231により印加された変調電流(光源発光信号)に応じて、パルス状の波形を有するレーザ光を周期的に出射するものとする。更に、レーザ光源232は、数ナノ秒から数百ナノ秒程度の短いパルス幅を有するパルス状のレーザ光を周期的に出射するものとする。
レーザ光源232から出射されたパルス状のレーザ光は、投光レンズ233を介して投射ビームとして外部に出射された後、所定の照射範囲に照射される。照射範囲は、単眼カメラ部111、単眼カメラ部112の撮像範囲よりも広いことが好ましい。なお、照射範囲を広げる場合には、投光系や受光系の角度分解能を上げる必要があるため、レーザ光源としてマルチchの面発光レーザアレイを用いたり、フォトダイオードをアレイ状に多数敷き詰めることで受光エリアが多数設定可能な受光素子を用いたりすることが好ましい。
ライダ120は、更に、受光レンズ234と、受光素子235と、受光信号増幅回路236とで構成される受光系を備える。所定のオブジェクトに照射されたレーザ光は、該オブジェクトにて散乱する。そして、ライダ120から出射されたレーザ光と同じ光路をたどって反射してくる光成分が、反射光として、受光レンズ234を介して受光素子235に導かれる。
第4実施形態では、受光素子235として、シリコンPINフォトダイオードやアバランシェフォトダイオードが用いられる。受光素子235は、反射光を光電変換することでレーザ受光信号を生成し、受光信号増幅回路236は、生成されたレーザ受光信号を増幅した後、レーザ信号処理部240に送信する。
続いて、制御基板収納部202側の各部の詳細について説明する。レーザ信号処理部240は、ライダ120より送信されたレーザ受光信号に基づいて、平均化/積算処理部及び二値化処理部を含む信号処理系である。レーザ信号処理部240は、処理後の信号を検出信号として距離計算処理部250に送信する。
距離計算処理部250は、例えば、FPGA(Field-Programmable gate array)や、ASIC(Application Specific Integrated Circuit)等の専用の集積回路により構成される。距離計算処理部250は、単眼カメラ部111、112及びレーザ信号処理部240に対して、撮影タイミング及びレーザ光の投受光タイミングを制御するための同期制御信号を出力する。なお、距離計算処理部250をCPU、ROM、RAM等で構成された情報処理基盤によって構成してもよい。
距離計算処理部250は、単眼カメラ部111より送信された比較画像、単眼カメラ部112より送信された基準画像をもとに視差画像を生成する。視差画像の生成方法は、公知のマッチング処理技術を用いることが可能であり、例えば、SSD(Sum of Squared Difference)、ZSSD(Zero-mean Sum of Squared Difference)、SAD(Sum of Absolute Difference)、ZSAD(Zero-mean Sum of Absolute Difference)等のマッチング方法を用いることができる。また、距離計算処理部250は、後述のMPU270によって解析された視差画像のクラスタ情報から、注目領域を設定し、レーザ信号処理部240に同期制御信号として送信し、レーザ光源およびレーザ信号処理部240の制御を行う。また、距離計算処理部250は、レーザ信号処理部240より送信された検出信号に基づいて、距離情報を生成する。距離計算処理部250は、生成した視差画像、距離情報をメモリ260に格納する。なお、レーザ信号処理部240からの検出信号に基づく距離の算出方法は、第1実施形態と同様である。
メモリ260は、距離計算処理部250にて生成された視差画像、距離情報を格納する。また、メモリ260は、距離計算処理部250及びMPU270が各種処理を実行する際のワークエリアを提供する。
MPU270は、制御基板収納部202に収納された各部を制御するとともに、メモリ260に格納された視差画像、距離情報を解析する解析処理を行う。解析処理の一つとして、クラスタリング処理と物体検出処理を含むものがある。クラスタリング処理は、例えば、視差画像の視差値が近い画素を一つのクラスタとして連結し、視差画素のクラスタ分けを行う処理である。なお、視差画像の各画素の視差を実空間の単位に置き換え、三次元情報として変換処理をした後にクラスタリング処理を行ってもよい。クラスタリング処理により算出されたクラスタ情報には、各クラスタとして存在する物体のサイズ情報や位置情報、色情報(RGB情報)が含まれる。さらに、複数フレームのクラスタに用いることで各クラスタの移動情報(速度情報や移動ベクトル情報を含む移動に関する情報)をクラスタ情報に含めてもよい。MPU270は、距離画像に対してもクラスタリング処理を行い、視差画像および距離情報から算出されたクラスタ情報を用いて物体検出処理を行う。視差画像や距離画像から物体を検出するクラスタリング処理は、上記以外の方法でも良く、例えば、K−MEANS法、CLARANS法、BIRCH法、CURE法などのクラスタリング方法を使用しても良い。
《制御装置のソフトウェア構成》
次に、物体検出装置400の制御装置(制御系)の機能について説明する。図26は、物体検出装置400の制御装置の機能の一例を示す機能ブロック図である。
制御装置の機能は、図26に示されるように、測定制御部、注目領域設定部、視差画像生成部、解析処理部、時間計測部、距離演算部で構成される。それぞれの機能は、距離計算処理部(FPGA)250、メモリ260、MPU270により実現される。測定制御部は、監視制御装置の制御にしたがって起動し、第1撮像系、第2撮像系、投光系、受光系、信号処理系のそれぞれから信号を受信するとともに、それぞれを制御する。また、注目領域設定部により設定された注目領域に応じて、受光系、投光系、信号処理系のいずれか少なくとも1つに対して、注目領域の検出精度向上処理(例えば、注目領域に対して投光光量を上げる、注目領域に対して投光周期を短くする、注目領域に対して受光信号の積算回数を増やす、注目領域に対してフレームレートを下げる)を行う。視差画像生成部は、第1撮像系、第2撮像系から取得した基準画像および比較画像から視差画像を生成する。解析処理部は、視差画像生成部が生成した視差画像に対してクラスタリング処理を行い、クラスタ情報を注目領域設定部に送信する。さらに、注目領域に対する検出精度向上処理後の信号処理系から取得した距離情報およびクラスタ情報から、物体検出処理を行う。注目領域設定部は、解析処理部から取得したクラスタ情報をもとに注目領域を設定する。時間計測部と距離演算部の機能は、第1実施形態で説明したのと概ね同様である。第4実施形態では、距離演算部が測定制御部にのみ距離データを送り、測定制御部が、受け取った距離データを監視制御装置に送る点が第1実施形態と異なる。
《制御装置のハードウェア構成》
次に、物体検出装置400の制御装置(制御系)のハードウェア構成について簡単に説明する。図27は、物体検出装置400の制御装置のハードウェア構成の一例を示すブロック図である。
物体検出装置400の制御装置は、図27に示されるように、CPU、RAM、ROM、FPGA、外部I/Fにより実現される。詳述すると、図26の視差画像生成部、時間計測部及び距離演算部はFPGAにより実現され、図26の測定制御部、注目領域設定部及び解析処理部はCPUにより実現される。
《物体検出処理7》
第4実施形態の物体検出処理の一例である物体検出処理7について図28を参照して説明する。
図28のフローチャートは、測定制御部によって実行される処理アルゴリズムに基づいている。物体検出処理7は、監視制御装置から測定開始要求を受けたときに開始される。監視制御装置は、例えば物体検出装置が搭載された車両の電気系統がONになったときに、物体検出装置に測定開始要求を送る。
最初のステップS201では、第1撮像系により基準画像を撮像し、第1撮像系と同期した第2撮像系により比較画像を撮像する。
次のステップS202では、視差画像生成部が基準画像と比較画像に対してマッチング処理を行い、視差を算出し、視差画像を生成する。
ステップS203では、解析処理部がクラスタリング処理を行う。具体的には、視差画像内の視差をクラスタ分けし、各クラスタのサイズ情報、位置情報、移動情報を含むクラスタ情報を生成し、注目領域設定部に出力する。
ステップS204では、測定制御部が、解析処理部から出力されたクラスタ情報が存在するか否かを判断する。クラスタ情報が存在しない場合はステップS207に移行し、クラスタ情報が存在する場合はステップS205に移行する。
ステップS205では、注目領域設定部がクラスタ情報に基づいて注目領域を設定する。
ステップS206では、測定制御部が、受光系、投光系、信号処理系のいずれか少なくとも1つに対して、注目領域の検出精度が向上するようにライダを設定する。例えば、注目領域に対して投光光量を上げる、注目領域に対して投光周期を短くする、注目領域に対して受光信号の積算回数を増やす、注目領域に対してフレームレートを下げる等の設定を行う。
ステップS207では、測定制御部の制御にしたがってライダ(投光系、受光系、信号処理系)による測距を行い、距離情報を取得する。
ステップS208では、クラスタ情報および距離情報から、検出領域に存在する物体までの距離を測定する。なお、クラスタ情報および距離情報のうち、所定の物体までの距離が異なる場合は、距離情報を優先する。
ステップS209では、処理を終了するか否かを判断する。ここでの判断は、監視制御装置から測定終了要求を受けているときに肯定され、受けていないときに否定される。
以上の物体検出処理により、クラスタ情報を用いて注目領域を設定し、注目領域におけるライダの測距精度を向上させる処理を行うことで、注目したクラスタに対して高精度に測距を行うことができる。例えば、クラスタ情報のうち、最接近しているクラスタの存在している領域に対してライダの測距精度が高くなるように測定を行うことで、衝突可能性が高い最接近物体領域に対して高精度のライダ測距を行うことが可能となる。なお、第4実施形態では、第1実施形態と同様の非走査型のライダを例にとって説明したが、第2実施形態と同様の走査型のライダを採用しても良い。
以上説明した第1〜第4実施形態の物体検出装置100、200、300、400は、第1の観点からすると、光源を含む投光系と、該投光系から投光され物体で反射された光を受光する、受光素子を有する光検出器を含む受光系と、光検出器の出力信号又は該出力信号に基づく信号が入力される信号処理系と、投光系の投光範囲内の少なくとも1つの領域を注目領域として設定し、該注目領域に対する投光系の投光条件及び信号処理系の処理条件の少なくとも一方を、注目領域へ投光するときと非注目領域(投光範囲における注目領域以外の領域)に投光するときとで異ならせる制御系と、を備える物体検出装置である。
この場合、例えば、制御系が、投光条件及び処理条件の少なくとも一方を、注目領域へ投光するときの方が非注目領域へ投光するときよりも物体に関する情報を検出するのに有利な条件に設定することにより、注目領域に存在する物体(特定の物体)に関する情報を、非注目領域に存在する物体に関する情報よりも精度良く検出することができる。
この結果、特定の物体に関する情報(物体情報)の検出精度を向上できる。
また、第1〜第4実施形態の物体検出装置100、200、300、400は、第2の観点からすると、光源を含む投光系と、該投光系から投光され物体で反射された光を受光する、受光素子を有する光検出器を含む受光系と、光検出器の出力信号又は該出力信号に基づく信号が入力される二値化処理部(信号検出部)を含む信号処理系と、投光系の投光範囲内の少なくとも1つの領域を注目領域として設定し、該注目領域への投光による光検出器の出力信号又は該出力信号に基づく信号が二値化処理部で二値化(検出)されるように投光系及び信号処理系の少なくとも一方を制御する制御系と、を備える物体検出装置である。
この場合、注目領域への投光による光検出器の出力信号(注目領域に存在する物体からの反射光に基づく信号)を高い精度で検出できる。
この結果、特定の物体に関する情報(物体情報)の検出精度を向上できる。
すなわち、第1〜第4実施形態の物体検出装置100、200、300、400によれば、物体までの距離や、物体の移動の有無、物体の反射率、大きさ、形状等によらず、物体の有無、物体までの距離、物体の位置、物体の大きさ、物体の形状等の物体に関する情報を精度良く検出することが可能となる。特に、遠距離物体、低反射物体、小物体などは、光量のロスが大きく、従来は検出することが困難であったが、物体検出装置100、200、300によれば、確実に検出することが可能である。
要するに、第1〜第4実施形態の物体検出装置100、200、300、400は、注目領域を決定後、システム的な制御によって、SN比を向上させ、これまで検出困難だった物体も検出可能とする。つまりは、より遠距離、より低反射、より小さな物体に関する情報を検出可能となる。
また、制御系は、注目領域に対する投光光量が非注目領域に対する投光光量よりも大きくなるように投光系を制御しても良い。
この場合、注目領域からの反射光の光量を増加させ、受光信号のSN比を向上させることが可能となる。
また、制御系は、注目領域に対する投光周期が非注目領域に対する投光周期よりも短くなるように投光系制御しても良い。
この場合、注目領域からの反射光の1フレーム毎の受光回数を増やすことができ、受光信号のSN比を向上させることができる。
また、制御系は、投光系を制御して注目領域に対して連続して複数回の投光を行い、信号処理系は、複数回の投光による光検出器の複数の出力信号を平均化及び/又は積算し、得られた信号を二値化処理部に出力する平均化/積算処理部を更に含んでも良い。具体的には、光検出器が受光し光電変換した信号電荷を容量(コンデンサ)に蓄積し、1フレームを構成する際の、蓄積回数を増加させる。この際、注目領域において、フレームレートを下げても良いし、発光周波数を上げても良い(投光周期を短くしても良い)。
この場合、注目領域に存在する物体からの信号光(反射光)を連続して複数回受光することにより、信号光レベルを向上させることができ、SN比の向上が可能となる。
また、二値化処理部に信号検出用の閾値thが設定され、制御系は、投光系から投光されていないときの光検出器の出力から外乱ノイズレベル(ノイズレベル)を取得し、該外乱ノイズレベルを基準に閾値thを設定する。
この場合、注目領域に存在する物体からの信号光(反射光)の信号レベルを外乱ノイズレベルよりも十分に大きくなるように制御することが可能となり、SN比の向上が可能となる。また、閾値が外乱ノイズレベルよりも大きく設定されることで、誤検出を防止できる。
なお、ノイズレベルを判別するために、例えば、光源を消灯している状態の受光信号レベルであるノイズレベルを保持しておき、光源を点灯している状態の受光信号レベルからノイズレベルを差し引いた後のレベルを信号光のレベルとし、これが基準値をクリアするように投光光量、投光周期、電荷蓄積時間を増やしてSN比を増加させても良い。もしくは、ノイズを差し引かなくとも、ノイズレベルが判別できていれば、ノイズレベルと信号光レベルを比較することができ、その比率、つまりSN比が所定の基準値を上回るように駆動してSN比を上げることが可能となる。
また、制御系は、投光範囲に物体が存在しないとき、投光範囲全域に対する投光系の投光条件及び信号処理系の処理条件を、注目領域に対する投光系の投光条件及び信号処理系の処理条件と同等にすることが好ましい。検出領域全域で物体が検出されない場合、つまり、近くに物体がない場合、急いで物体情報の検出を行う必要がないため、例えばフレームレートを落としてSN比を稼ぎ、より長距離、より低反射、より小さな物体の検出が可能となる。この結果、より長期的視野での周囲環境予測を可能となる。
また、制御系は、注目領域設定後、該注目領域にのみ投光しても良い。この場合、光源の長寿命化及び省電力化を図ることができる。
また、制御系は、投光系からの投光による信号処理系の出力に基づいて注目領域を設定することができる。具体的には、ライダ自身の前フレームの検出結果を利用して物体の有無、物体の位置情報、移動情報を求めて、注目領域を設定することができる。
この場合、他のセンシングデバイスを別途設けることなく、注目領域を設定できる。
また、第2実施形態の物体検出装置200では、投光系は、光源からの光を走査する走査手段を更に含み、制御系は、光源及び走査手段の少なくとも一方を制御する。
なお、走査手段としては、MEMSミラーやポリゴンミラーが想定される。MEMSミラーの場合は、注目領域のみを走査、もしくは、注目領域が一点のみであれば、その一点に光ビームが偏向される角度で静止させても良い。ポリゴンミラーの場合は、回転させ続ける間、注目領域を走査しているときのみ光源を点灯させることによって、光源の点灯時間を抑えて、光源の高寿命化をはかるとともに、注目領域のみ光量を上げたり蓄積時間を上げたりすることで注目領域のSN比を増加させることが可能となる。
また、光源の駆動条件を一定として、走査手段による注目領域の走査速度を非注目領域の走査速度より遅くしても良い。この場合、注目領域への光ビームの照射回数を増やすことができ、注目領域への光量密度を増加させて、受光信号のSN比を向上することが可能となる。
また、走査手段の動作条件を一定として、前記注目領域に対する光源の発光周期を短くしても良い。この場合、注目領域への光ビームの照射回数を増やすことができ、注目領域への光量密度を増加させて、受光信号のSN比を向上することが可能となる。
また、第3実施形態の物体検出装置300は、投光範囲をセンシングするセンシング装置を更に備え、制御系は、センシング装置の出力に基づいて注目領域を設定する。
この場合、物体検出装置300とは異なる特性を有するセンシング装置を用いることにより、注目領域をより精度良く設定することが可能となる。
センシング装置として、カメラ、ミリ波レーダ、赤外線センサなどが挙げられる。カメラに関しては、ライダに比べて、角度分解能が高くより小さい物体などへの検知に優れるが、距離分解能が低く物体までの距離を精度よく検出できない。このため、注目領域をより精度良くカメラで判断した後、ライダによって注目領域のSN比を上げながら物体検出を行うことにより、非注目状態に比べてより遠距離・高精度な物体検出を実現できる。ミリ波レーダに関しては、ライダに比べて、雨や霧のときの検出信頼性、つまり耐候性が優れるが、検出領域の広角化と角度分解能の向上の両立が難しい。このため、悪天候時のおおまかな物体検出をミリ波レーダで行って注目領域を判断した後、ライダによって注目領域のSN比を上げながら物体検出を行うことにより、非注目状態に比べてより悪天候時での高精度な物体検出を実現できる。赤外線センサは、ライダに比べて低コストであるが、検出距離が短く、精度も低い。このため、上述したシステムの廉価版として、コストアップを抑えつつ実現することができる。また、センシング装置の検出結果に加えて、ライダ自身の前フレーム以前の検出結果も加味して注目領域を設定しても良い。
また、注目領域は、当該物体検出装置からの距離が所定距離(例えば200m)未満の物体(ライダの射程範囲にある物体)が存在する領域であっても良い。
すなわち、ライダの射程範囲から外れた物体は、重点的に検出する必要性に乏しいため、検出対象から除外しても良い。
なお、減衰により受光量が弱くなりやすい遠距離の領域を注目領域として設定して遠距離の領域に対する検出精度を上げることで、遠距離に存在する物体の検出精度を上げることができる。このとき、遠距離の物体かどうかの判断は、例えば、ステレオカメラにより取得したクラスタ情報に含まれる位置情報を使用して判断することができる。そこで、ライダの射程範囲によっては(例えば射程範囲が200m以上のときは)、該ライダからの距離が200m以上の領域を注目領域として設定しても良い。
また、注目領域は、投光範囲に存在する複数の物体のうち当該物体検出装置に最も近い物体が存在する領域であることが好ましい。
例えばロボット等の自律移動体や、安全運転支援システム(ADAS)において、最も検出を急がないといけないのは、移動体の最も近くにある物体である。この結果に基づいて、衝突を回避、または軽減する車体制御を行うため、最も近くの物体の3次元情報をより精度良く取得することが必要となる。そこで、注目領域を当該物体検出装置に最も近い物体が存在する領域に設定することで、最も近くの物体の三次元情報を精度良く取得し、車両の制御等による回避精度を上げることができる。このとき、最も近くの物体かどうかの判断は、例えば、ステレオカメラにより取得したクラスタ情報に含まれる位置情報を使用して判断することができる。
また、注目領域は、移動物体が存在する領域であることが好ましい。移動物体は静止物体に比べて相対位置変化の予測性が低く、衝突危険性が高いからである。このとき、移動物体かどうかの判断は、例えば、ステレオカメラにより取得したクラスタ情報に含まれる移動情報を使用して判断することができる。
また、注目領域は、投光範囲における複数の移動物体が存在する領域のうち当該物体検出装置への接近速度が最速の移動物体が存在する領域であることが好ましい。このような移動物体は、衝突危険性が特に高いからである。このとき、最速の移動物体かどうかの判断は、例えば、ステレオカメラにより取得したクラスタ情報に含まれる移動情報を使用して判断することができる。
また、注目領域は、低反射物体が存在する領域であることが好ましい。低反射物体は、検出漏れのリスクが高いからである。このとき、低反射物体かどうかの判断は、例えば、ステレオカメラにより取得したクラスタ情報に含まれる色情報を使用して判断することができる。
また、第1〜第4実施形態の物体検出装置100、200、300、400と、該物体検出装置が搭載される移動体と、を備える移動体装置によれば、衝突安全性に優れた移動装置を提供できる。
なお、制御系は、注目領域への投光による光検出器の出力信号を検出するための閾値である第1の閾値と、注目領域以外の領域への投光による光検出器の出力信号を検出するための閾値である、第1の閾値よりも小さい第2の閾値を設定しても良い。この際、制御系は、注目領域への投光に関与する発光部と非注目領域への投光に関与する発光部を特定する情報を二値化処理部に送る必要がある。具体的には、各SN比維持向上処理の冒頭に「注目領域に対する閾値を上げる。」という処理を加えれば良い。
この場合、注目領域からの信号光の信号レベルを非注目領域からの信号光の信号レベルよりも確実に高くでき、注目領域に対するSN比を向上させることができる。
また、物体検出装置における注目領域の設定方法は、上記各実施形態で説明した方法に限られない。要は、移動体の速度や周辺環境等に応じて注目すべき優先度の高い領域を注目領域として設定することが好ましい。
例えば、物体検出装置が搭載された移動体の移動速度が速い場合(例えば車両が高速走行中)に、特に前方を注目する必要性が高いため、投光範囲の中央領域を注目領域として設定しても良い。具体的には、投光範囲を上側領域、中央領域、下側領域のように移動体の移動面に略垂直な方向に3分割し、中央領域を注目領域として設定し、中央領域に対するライダの投光量を上げる。これにより、移動速度が速いときに注視する必要性が高い領域である中央領域において、物体検出を高精度化することができる。
例えば、移動体の移動速度が遅い場合(例えば車両が低速走行中)に、特に両側を注目する必要性が高いため(飛び出し等に対処するため)、投光範囲の両側領域を注目領域として設定しても良い。具体的には、投光範囲を左側領域、中央領域、右側領域のように移動体の移動面に略平行な方向に3分割し、左側領域と右側領域を注目領域として設定し、左側領域と右側領域に対するライダの投光量を上げる。これにより、移動速度が遅いときに注視する必要性が高い領域である左側領域および右側領域において、物体検出を高精度化することができる。
例えば、物体検出装置がライダとカメラを有する場合に、投光範囲の中央領域に対してはカメラの撮像結果を用いて注目領域を設定し、投光範囲の両側領域に対してはライダの検出結果を用いて注目領域を設定しても良い。
例えば、物体検出装置がライダとカメラを有する場合に、投光範囲の遠距離レンジに対してはライダの検出結果を用いて注目領域を設定し、投光範囲の短距離レンジに対してはカメラの撮像結果を用いて注目領域を設定しても良い。
例えば、物体検出装置がライダとステレオカメラを有する場合に、視差マッチングの精度が低い領域(例えばテクスチャ量の少ない領域等)に移動物体や小物体があると推定し、該領域を注目領域として設定しても良い。なお、テクスチャ量が多い領域は、路面や巨大な構造物等であると推定できる。
例えば、物体検出装置がライダと、単眼カメラもしくはステレオカメラを有する場合に、カメラの輝度画像から、テクスチャ量が少ないと判定された領域を注目領域として設定しても良い。ステレオカメラは、テクスチャ量が少ない領域は視差マッチング精度が低くなるため、テクスチャ量と精度があまり関係しないライダを用いて、その領域を集中的に見ることで、物体検出を高精度化することができる。
例えば、物体検出装置がライダとステレオカメラを有する場合に、エッジであると判断された領域を注目領域として設定しても良い。具体的には、ステレオカメラにより生成された視差画像に例えば微分エッジ検出法によるエッジ検出処理を行い、エッジであると判断された領域(類似の視差が連なっている領域)を注目領域とする。このように、エッジを高精度に検出することで、物体の存在領域をより高精度に検出することが可能となる。
例えば、ライダとカメラを有する物体検出装置が搭載される車両のヘッドライトで照明される領域(明るい領域)に対してはカメラの撮像結果を用いて注目領域を設定し、暗い領域に対してはライダの検出結果を用いて注目領域を設定しても良い。暗い領域に対してもライダは検出精度が高いからである。明るい領域に対しては、カメラの撮像結果を用いても高精度に検出が可能である。
また、カメラの撮像結果を用いて明るい領域(輝度値が所定値より大きい領域)と暗い領域(輝度値が所定値より小さい領域)を検出し、暗い領域を注目領域として設定してもよい。これは、明るい領域に対しては低反射物体でも検出可能なカメラの方がライダよりも検出精度が高いためライダで集中的に調べる必要性は低いが、暗い領域に対しては原理的にライダの方がカメラより検出精度が高いためにライダで集中的に調べる必要があるためある。このように、暗い領域を注目領域としてライダで集中的に検出することで、カメラ単体またはライダ単体のときよりも物体検出の高精度化が可能である。
また、上記各実施形態では、物体検出装置を車両に搭載する例について説明してきたが、例えば遠隔操作や自動操縦が可能な無人航空機(例えばドローン)に搭載しても良い。この場合も、注目領域を設定することで、特定の物体に関する情報を精度良く検出できる。このとき、飛行中の無人航空機のバランスを保つため、無人航空機の重心軸と物体検出装置300の重心軸とが同一の軸となるように、機体の下部に物体検出装置が設けることで、無人航空機の飛行をより安定させることができる。また、上記無人航空機に上記第1〜第4実施形態の物体検出装置100、200、300、400のいずれかを搭載しても良い。この場合も、注目領域を設定することで、特定の物体に関する情報を精度良く検出できる。
また、上記第1〜第4実施形態の物体検出装置100、200、300、400を自律して移動可能なロボットに搭載しても良い。この場合も、注目領域を設定することで、特定の物体に関する情報を精度良く検出でき、ひいてはロボットを特定の物体に対して高精度に動作させることができる。
すなわち、本発明の物体検出装置は、TOF(タイム オブ フライト)を利用した物体情報の検出技術全般に広く適用することが可能である。
また、本発明の物体検出装置は、移動体に搭載される用途に限らず、静止物体に搭載される用途や、装置単独でも用いることができる。
また、上記各実施形態の説明で用いた数値、形状等は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
以下に、発明者が上記各実施形態を発案するに至った思考プロセスを説明する。
物体検出装置として、例えば、車載用途では、走行中の車両前方における物体の有無や、その物体までの距離を検出するライダが知られている。ライダは、光源を点灯させて投光し、物体から反射もしくは散乱された光を光検出器で検出することで、所望の範囲における物体の有無やその物体までの距離を検出できる。これと、ステレオカメラなど、他の測距方式を組み合わせたものがこれまでに開示されている。
特許文献1(特開2006−284293号公報)では、低反射率の物体(低反射物体)がある領域で、信号を検出する閾値を下げることで、低反射物体の検出率を向上させている。
しかしながら、特許文献1では、その測距性能が、それぞれの測距デバイスの性能の限界により限られてしまう。おもに、検出距離と精度に関わるSN比において、測距デバイスの限界性能より向上させることは困難である。
特許文献1は、低反射物体のときに閾値を下げているが、外光などのノイズが大きい場合は、そもそも信号光がノイズよりも小さくなってしまい、閾値を下げてもノイズが検出されるだけで、物体が検出できなくなってしまう。システムとしては、最初から想定している最大のノイズレベルを狙って閾値を設定するのが最適であり、それより閾値を下げることは現実的ではない。
そこで、発明者は、以上の課題を解決するべく、物体検出装置において、注目状態を判断した上で、注目する領域についてのSN比を向上させ、より遠距離、より低反射、より小さな物体に関する情報を高精度に検出すべく、上記各実施形態を発案するに至った。
1、1´…車両(移動体装置)、21…投光系、22a…受光素子(光検出器の一部)、22c…電流電圧変換器(光検出器の一部)、23…制御系、24…信号処理系、24a…平均化/積算処理部(信号処理部)、24b…二値化処理部(信号検出部)、100、200、300…物体検出装置。
特開2006−284293号公報

Claims (20)

  1. 光源を含む投光系と、
    前記投光系から投光され物体で反射された光を受光する光検出器を含む受光系と、
    前記光検出器の出力信号又は該出力信号に基づく信号が入力される信号検出部を含む信号処理系と、
    前記投光系の投光範囲内の少なくとも1つの領域を注目領域として設定し、前記投光系の投光条件及び前記信号処理系の処理条件の少なくとも一方を、前記注目領域へ投光するときと前記投光範囲における前記注目領域以外の領域に投光するときとで異ならせる制御系と、を備える物体検出装置。
  2. 前記制御系は、前記投光条件及び前記処理条件の少なくとも一方を、前記注目領域へ投光するときの方が前記注目領域以外の領域へ投光するときよりも物体に関する情報を検出するのに有利な条件に設定することを特徴とする請求項1に記載の物体検出装置。
  3. 光源を含む投光系と、
    前記投光系から投光され物体で反射された光を受光する光検出器を含む受光系と、
    前記光検出器の出力信号又は該出力信号に基づく信号が入力される信号検出部を含む信号処理系と、
    前記投光系の投光範囲内の少なくとも1つの領域を注目領域として設定し、前記注目領域への投光による前記光検出器の出力信号又は該出力信号に基づく信号が前記信号検出部で検出されるように前記投光系及び前記信号処理系の少なくとも一方を制御する制御系と、を備える物体検出装置。
  4. 前記制御系は、前記注目領域に対する投光光量が前記投光範囲における前記注目領域以外の領域に対する投光光量よりも大きくなるように前記投光系を制御することを特徴とする請求項1〜3のいずれか一項に記載の物体検出装置。
  5. 前記制御系は、前記注目領域に対する投光周期が前記投光範囲における前記注目領域以外の領域に対する投光周期よりも短くなるように前記投光系を制御することを特徴とする請求項1〜4のいずれか一項に記載の物体検出装置。
  6. 前記制御系は、前記投光系を制御して前記注目領域に対して連続して複数回の投光を行い、
    前記信号処理系は、前記複数回の投光による前記光検出器の複数の出力信号を平均化及び/又は積算し、得られた信号を前記信号検出部に出力する信号処理部を更に含むことを特徴とする請求項1〜5のいずれか一項に記載の物体検出装置。
  7. 前記信号検出部に信号検出用の閾値が設定され、
    前記制御系は、前記投光系から投光されていないときの前記光検出器の出力からノイズレベルを取得し、該ノイズレベルを基準に前記閾値を設定することを特徴とする請求項1〜6のいずれか一項に記載の物体検出装置。
  8. 前記制御系は、前記投光範囲に物体が存在しないとき、前記投光範囲全域に対する前記投光系の投光条件及び前記信号処理系の処理条件を、前記注目領域に対する前記投光系の投光条件及び前記信号処理系の処理条件と同等にすることを特徴とする1〜7のいずれか一項に記載の物体検出装置。
  9. 前記光源は、アレイ状に配置された複数の発光部を含み、
    前記制御系は、前記複数の発光部を個別に制御することを特徴とする請求項1〜8のいずれか一項に記載の物体検出装置。
  10. 光検出器は、アレイ状に配置された複数の受光部を含むことを特徴とする請求項1〜8のいずれか一項に記載の物体検出装置。
  11. 前記投光系は、前記光源からの光を走査する走査手段を更に含み、
    前記制御系は、前記光源及び前記走査手段の少なくとも一方を制御することを特徴とする請求項1〜8のいずれか一項に記載の物体検出装置。
  12. 前記制御系は、前記投光系からの投光による前記信号処理系の出力に基づいて前記注目領域を設定することを特徴とする請求項1〜11のいずれか一項に記載の物体検出装置。
  13. 前記投光範囲をセンシングするセンシング装置を更に備え、
    前記制御系は、前記センシング装置の出力に基づいて前記注目領域を設定することを特徴とする請求項1〜11のいずれか一項に記載の物体検出装置。
  14. 前記センシング装置は、カメラを含むことを特徴とする請求項13に記載の物体検出装置。
  15. 前記センシング装置は、ミリ波レーダを含むことを特徴とする請求項13に記載の物体検出装置。
  16. 前記注目領域は、前記投光範囲に存在する複数の物体のうち当該物体検出装置に最も近い物体が存在する領域であることを特徴とする請求項1〜15のいずれか一項に記載の物体検出装置。
  17. 前記注目領域は、移動物体が存在する領域であることを特徴とする請求項1〜16のいずれか一項に記載の物体検出装置。
  18. 前記注目領域は、投光範囲における複数の移動物体が存在する領域のうち当該物体検出装置への接近速度が最速の移動物体が存在する領域であることを特徴とする請求項1〜17のいずれか一項に記載の物体検出装置。
  19. 前記注目領域は、低反射物体が存在する領域であることを特徴とする請求項1〜18のいずれか一項に記載の物体検出装置。
  20. 請求項1〜19のいずれか一項に記載の物体検出装置と、
    前記物体検出装置が搭載される移動体と、を備える移動体装置。
JP2017010080A 2016-03-16 2017-01-24 物体検出装置及び移動体装置 Active JP6942966B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17159434.4A EP3223034B1 (en) 2016-03-16 2017-03-06 Object detection apparatus and moveable apparatus
US15/454,709 US10398006B2 (en) 2016-03-16 2017-03-09 Object detection apparatus and moveable apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016052725 2016-03-16
JP2016052725 2016-03-16

Publications (2)

Publication Number Publication Date
JP2017173298A true JP2017173298A (ja) 2017-09-28
JP6942966B2 JP6942966B2 (ja) 2021-09-29

Family

ID=59970989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017010080A Active JP6942966B2 (ja) 2016-03-16 2017-01-24 物体検出装置及び移動体装置

Country Status (1)

Country Link
JP (1) JP6942966B2 (ja)

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019124177A1 (ja) * 2017-12-19 2019-06-27 パイオニア株式会社 光走査装置及び測距装置
JP2019113530A (ja) * 2017-12-22 2019-07-11 株式会社デンソー 距離測定装置、認識装置、及び距離測定方法
JP2019158693A (ja) * 2018-03-15 2019-09-19 株式会社リコー 受光装置、物体検出装置、距離測定装置、移動体装置、ノイズ計測方法、物体検出方法及び距離測定方法
JP2019200177A (ja) * 2018-05-18 2019-11-21 株式会社小糸製作所 センサシステム
JP2019207161A (ja) * 2018-05-29 2019-12-05 株式会社Soken 物体検知装置
DE102019216084A1 (de) 2018-10-25 2020-04-30 Mitsubishi Electric Corporation Laser-entfernungsmessvorrichtung
WO2020095603A1 (ja) * 2018-11-07 2020-05-14 ソニーセミコンダクタソリューションズ株式会社 投光制御装置、投光制御方法
WO2020116104A1 (ja) * 2018-12-06 2020-06-11 マクセル株式会社 照射システムおよび照射方法
JP2020148747A (ja) * 2019-03-15 2020-09-17 株式会社リコー 物体検出装置
JP2020153796A (ja) * 2019-03-19 2020-09-24 株式会社リコー 測距装置、及び測距方法
JP2020153797A (ja) * 2019-03-19 2020-09-24 株式会社リコー 検出装置、測距装置、検出方法、プログラム、移動体
JP2020160044A (ja) * 2019-03-20 2020-10-01 株式会社リコー 測距装置および測距方法
CN111788495A (zh) * 2018-03-13 2020-10-16 欧姆龙株式会社 光检测装置、光检测方法以及激光雷达装置
WO2021019880A1 (ja) * 2019-07-31 2021-02-04 ソニーセミコンダクタソリューションズ株式会社 レーザ駆動装置、パルス幅調整方法、センシングモジュール
JP2021032794A (ja) * 2019-08-28 2021-03-01 パイオニア株式会社 計測装置、制御方法、プログラム及び記憶媒体
WO2021065138A1 (ja) 2019-10-01 2021-04-08 パナソニックIpマネジメント株式会社 測距装置および制御方法
KR20210039832A (ko) * 2019-10-02 2021-04-12 현대오트론 주식회사 라이다 시스템 및 그 제어 방법
JPWO2019193642A1 (ja) * 2018-04-03 2021-04-30 株式会社自律制御システム研究所 無人航空機用の自己位置推定装置及び自己位置推定方法
WO2021124730A1 (ja) * 2019-12-17 2021-06-24 富士フイルム株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム
CN113281781A (zh) * 2020-01-31 2021-08-20 株式会社电装 光学检测器
WO2021181841A1 (ja) 2020-03-11 2021-09-16 パナソニックIpマネジメント株式会社 測距装置
JP2021139836A (ja) * 2020-03-09 2021-09-16 ソニーセミコンダクタソリューションズ株式会社 測距センサ及び距離測定方法
JP2021187346A (ja) * 2020-06-01 2021-12-13 日本信号株式会社 車両位置特定システム
WO2022054532A1 (ja) * 2020-09-11 2022-03-17 株式会社デンソー 車両制御装置、車両制御方法、車両制御プログラム
WO2022054531A1 (ja) * 2020-09-11 2022-03-17 株式会社デンソー 洗浄制御装置、洗浄制御方法、洗浄制御プログラム
JP2022050239A (ja) * 2020-09-17 2022-03-30 株式会社東芝 距離計測装置、及び距離計測方法
JP2022105771A (ja) * 2017-12-22 2022-07-14 株式会社デンソー 距離測定装置
US11391840B2 (en) 2018-06-25 2022-07-19 Ricoh Company, Ltd. Distance-measuring apparatus, mobile object, distance-measuring method, and distance measuring system
JP2022538246A (ja) * 2019-07-02 2022-09-01 イベオ オートモーティブ システムズ ゲーエムベーハー 調整装置およびライダー測定装置
JP2023504361A (ja) * 2019-12-04 2023-02-03 ウェイモ エルエルシー 関心領域およびサーマルバジェットに基づく光検出および測距(lidar)デバイスのためのパルスエネルギー計画
JP2023509068A (ja) * 2020-01-03 2023-03-06 華為技術有限公司 Tof深度センシング・モジュール及び画像生成方法
JP2023036935A (ja) * 2018-11-13 2023-03-14 ブラックモア センサーズ アンド アナリティクス エルエルシー 位相エンコーディングlidarにおける内部反射減算のためのレーザー位相追跡方法およびシステム
US11619720B2 (en) 2019-03-14 2023-04-04 Kabushiki Kaisha Toshiba Distance measuring device, distance measuring method, and signal processing method
JP2023518123A (ja) * 2020-05-19 2023-04-27 イェノプティック オプティカル システムズ ゲーエムベーハー 対物レンズ、対物レンズの使用、対物レンズを含む計測システム及び対物レンズにおける両面非球面プラスチックレンズの使用
WO2023153139A1 (ja) * 2022-02-09 2023-08-17 株式会社小糸製作所 投光器、及び測定装置
US11828878B2 (en) 2018-07-20 2023-11-28 Hyundai Mobis Co., Ltd. LiDAR system and operating method thereof
JP7467562B1 (ja) 2022-10-07 2024-04-15 本田技研工業株式会社 外界認識装置
JP7567343B2 (ja) 2019-10-25 2024-10-16 株式会社リコー 検出装置及び検出方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000028720A (ja) * 1998-07-13 2000-01-28 Omron Corp 距離計測装置
JP2006329971A (ja) * 2005-04-27 2006-12-07 Sanyo Electric Co Ltd 検出装置
JP2007139594A (ja) * 2005-11-18 2007-06-07 Omron Corp 物体検出装置
JP2008224621A (ja) * 2007-03-15 2008-09-25 Omron Corp 移動体用物体検出装置
JP2009192499A (ja) * 2008-02-18 2009-08-27 Stanley Electric Co Ltd 距離画像生成装置
US20120038903A1 (en) * 2010-08-16 2012-02-16 Ball Aerospace & Technologies Corp. Electronically steered flash lidar
JP2012063236A (ja) * 2010-09-16 2012-03-29 Ricoh Co Ltd レーザレーダ装置
JP2013015338A (ja) * 2011-06-30 2013-01-24 Fujitsu Ltd 監視装置および監視方法
JP2013096905A (ja) * 2011-11-02 2013-05-20 Denso Corp 測距装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000028720A (ja) * 1998-07-13 2000-01-28 Omron Corp 距離計測装置
JP2006329971A (ja) * 2005-04-27 2006-12-07 Sanyo Electric Co Ltd 検出装置
JP2007139594A (ja) * 2005-11-18 2007-06-07 Omron Corp 物体検出装置
JP2008224621A (ja) * 2007-03-15 2008-09-25 Omron Corp 移動体用物体検出装置
JP2009192499A (ja) * 2008-02-18 2009-08-27 Stanley Electric Co Ltd 距離画像生成装置
US20120038903A1 (en) * 2010-08-16 2012-02-16 Ball Aerospace & Technologies Corp. Electronically steered flash lidar
JP2012063236A (ja) * 2010-09-16 2012-03-29 Ricoh Co Ltd レーザレーダ装置
JP2013015338A (ja) * 2011-06-30 2013-01-24 Fujitsu Ltd 監視装置および監視方法
JP2013096905A (ja) * 2011-11-02 2013-05-20 Denso Corp 測距装置

Cited By (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019124177A1 (ja) * 2017-12-19 2019-06-27 パイオニア株式会社 光走査装置及び測距装置
JP7347585B2 (ja) 2017-12-22 2023-09-20 株式会社デンソー 距離測定装置
JP2019113530A (ja) * 2017-12-22 2019-07-11 株式会社デンソー 距離測定装置、認識装置、及び距離測定方法
JP2022105771A (ja) * 2017-12-22 2022-07-14 株式会社デンソー 距離測定装置
JP7238343B2 (ja) 2017-12-22 2023-03-14 株式会社デンソー 距離測定装置及び距離測定方法
US12025746B2 (en) 2018-03-13 2024-07-02 Omron Corporation Light detection device, light detection method, and lidar device
CN111788495B (zh) * 2018-03-13 2023-08-29 欧姆龙株式会社 光检测装置、光检测方法以及激光雷达装置
CN111788495A (zh) * 2018-03-13 2020-10-16 欧姆龙株式会社 光检测装置、光检测方法以及激光雷达装置
JP2019158693A (ja) * 2018-03-15 2019-09-19 株式会社リコー 受光装置、物体検出装置、距離測定装置、移動体装置、ノイズ計測方法、物体検出方法及び距離測定方法
JPWO2019193642A1 (ja) * 2018-04-03 2021-04-30 株式会社自律制御システム研究所 無人航空機用の自己位置推定装置及び自己位置推定方法
CN110501698A (zh) * 2018-05-18 2019-11-26 株式会社小糸制作所 传感器系统
JP7141242B2 (ja) 2018-05-18 2022-09-22 株式会社小糸製作所 センサシステム
JP2019200177A (ja) * 2018-05-18 2019-11-21 株式会社小糸製作所 センサシステム
JP2019207161A (ja) * 2018-05-29 2019-12-05 株式会社Soken 物体検知装置
US11391840B2 (en) 2018-06-25 2022-07-19 Ricoh Company, Ltd. Distance-measuring apparatus, mobile object, distance-measuring method, and distance measuring system
US11828878B2 (en) 2018-07-20 2023-11-28 Hyundai Mobis Co., Ltd. LiDAR system and operating method thereof
DE102019216084A1 (de) 2018-10-25 2020-04-30 Mitsubishi Electric Corporation Laser-entfernungsmessvorrichtung
US11592513B2 (en) 2018-10-25 2023-02-28 Mitsubishi Electric Corporation Laser distance measuring apparatus
CN113039456A (zh) * 2018-11-07 2021-06-25 索尼半导体解决方案公司 投光控制设备及投光控制方法
WO2020095603A1 (ja) * 2018-11-07 2020-05-14 ソニーセミコンダクタソリューションズ株式会社 投光制御装置、投光制御方法
JP2023036935A (ja) * 2018-11-13 2023-03-14 ブラックモア センサーズ アンド アナリティクス エルエルシー 位相エンコーディングlidarにおける内部反射減算のためのレーザー位相追跡方法およびシステム
US11656343B2 (en) 2018-11-13 2023-05-23 Blackmore Sensors & Analytics, Llc Method and system for laser phase tracking for internal reflection subtraction in phase-encoded lidar
WO2020116104A1 (ja) * 2018-12-06 2020-06-11 マクセル株式会社 照射システムおよび照射方法
US11619720B2 (en) 2019-03-14 2023-04-04 Kabushiki Kaisha Toshiba Distance measuring device, distance measuring method, and signal processing method
JP2020148747A (ja) * 2019-03-15 2020-09-17 株式会社リコー 物体検出装置
JP2020153796A (ja) * 2019-03-19 2020-09-24 株式会社リコー 測距装置、及び測距方法
JP7255259B2 (ja) 2019-03-19 2023-04-11 株式会社リコー 検出装置、測距装置、時間測定方法、プログラム、移動体
JP2020153797A (ja) * 2019-03-19 2020-09-24 株式会社リコー 検出装置、測距装置、検出方法、プログラム、移動体
JP7388064B2 (ja) 2019-03-20 2023-11-29 株式会社リコー 測距装置および測距方法
JP2020160044A (ja) * 2019-03-20 2020-10-01 株式会社リコー 測距装置および測距方法
JP2022538246A (ja) * 2019-07-02 2022-09-01 イベオ オートモーティブ システムズ ゲーエムベーハー 調整装置およびライダー測定装置
JP7376149B2 (ja) 2019-07-02 2023-11-08 マイクロビジョン,インク. 調整装置およびライダー測定装置
WO2021019880A1 (ja) * 2019-07-31 2021-02-04 ソニーセミコンダクタソリューションズ株式会社 レーザ駆動装置、パルス幅調整方法、センシングモジュール
JP2021032794A (ja) * 2019-08-28 2021-03-01 パイオニア株式会社 計測装置、制御方法、プログラム及び記憶媒体
WO2021065138A1 (ja) 2019-10-01 2021-04-08 パナソニックIpマネジメント株式会社 測距装置および制御方法
KR102343294B1 (ko) * 2019-10-02 2021-12-24 현대모비스 주식회사 라이다 시스템 및 그 제어 방법
KR20210039832A (ko) * 2019-10-02 2021-04-12 현대오트론 주식회사 라이다 시스템 및 그 제어 방법
JP7567343B2 (ja) 2019-10-25 2024-10-16 株式会社リコー 検出装置及び検出方法
US11740333B2 (en) 2019-12-04 2023-08-29 Waymo Llc Pulse energy plan for light detection and ranging (lidar) devices based on areas of interest and thermal budgets
JP2023504361A (ja) * 2019-12-04 2023-02-03 ウェイモ エルエルシー 関心領域およびサーマルバジェットに基づく光検出および測距(lidar)デバイスのためのパルスエネルギー計画
CN114868037A (zh) * 2019-12-17 2022-08-05 富士胶片株式会社 信息处理装置、摄像装置、信息处理方法及程序
WO2021124730A1 (ja) * 2019-12-17 2021-06-24 富士フイルム株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム
JPWO2021124730A1 (ja) * 2019-12-17 2021-06-24
US12120425B2 (en) 2019-12-17 2024-10-15 Fujifilm Corporation Information processing device, imaging device, information processing method, and program
JP7436509B2 (ja) 2019-12-17 2024-02-21 富士フイルム株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム
JP2023509068A (ja) * 2020-01-03 2023-03-06 華為技術有限公司 Tof深度センシング・モジュール及び画像生成方法
JP7417748B2 (ja) 2020-01-03 2024-01-18 華為技術有限公司 Tof深度センシング・モジュール及び画像生成方法
JP7452044B2 (ja) 2020-01-31 2024-03-19 株式会社デンソー 光検出装置
JP2021121790A (ja) * 2020-01-31 2021-08-26 株式会社デンソー 光検出装置
CN113281781A (zh) * 2020-01-31 2021-08-20 株式会社电装 光学检测器
JP7382858B2 (ja) 2020-03-09 2023-11-17 ソニーセミコンダクタソリューションズ株式会社 測距センサ
JP2021139836A (ja) * 2020-03-09 2021-09-16 ソニーセミコンダクタソリューションズ株式会社 測距センサ及び距離測定方法
WO2021181868A1 (ja) * 2020-03-09 2021-09-16 ソニーセミコンダクタソリューションズ株式会社 測距センサ及び距離測定方法
WO2021181841A1 (ja) 2020-03-11 2021-09-16 パナソニックIpマネジメント株式会社 測距装置
JP2023518123A (ja) * 2020-05-19 2023-04-27 イェノプティック オプティカル システムズ ゲーエムベーハー 対物レンズ、対物レンズの使用、対物レンズを含む計測システム及び対物レンズにおける両面非球面プラスチックレンズの使用
JP2021187346A (ja) * 2020-06-01 2021-12-13 日本信号株式会社 車両位置特定システム
JP7456855B2 (ja) 2020-06-01 2024-03-27 日本信号株式会社 車両位置特定システム
JP7452341B2 (ja) 2020-09-11 2024-03-19 株式会社デンソー 洗浄制御装置、洗浄制御方法、洗浄制御プログラム
WO2022054532A1 (ja) * 2020-09-11 2022-03-17 株式会社デンソー 車両制御装置、車両制御方法、車両制御プログラム
WO2022054531A1 (ja) * 2020-09-11 2022-03-17 株式会社デンソー 洗浄制御装置、洗浄制御方法、洗浄制御プログラム
JP7425702B2 (ja) 2020-09-17 2024-01-31 株式会社東芝 距離計測装置、及び距離計測方法
JP2022050239A (ja) * 2020-09-17 2022-03-30 株式会社東芝 距離計測装置、及び距離計測方法
WO2023153139A1 (ja) * 2022-02-09 2023-08-17 株式会社小糸製作所 投光器、及び測定装置
JP7467562B1 (ja) 2022-10-07 2024-04-15 本田技研工業株式会社 外界認識装置

Also Published As

Publication number Publication date
JP6942966B2 (ja) 2021-09-29

Similar Documents

Publication Publication Date Title
JP6942966B2 (ja) 物体検出装置及び移動体装置
EP3223034B1 (en) Object detection apparatus and moveable apparatus
USRE47134E1 (en) Multiple-field-of-view scannerless optical rangefinder in high ambient background light
US20180203122A1 (en) Gated structured imaging
US12025745B2 (en) Photonics device
JP2016530503A (ja) 周辺検知システム
EP3705913B1 (en) Lidar imaging apparatus for a motor vehicle
JP2017032552A (ja) パルス光検出装置、物体検出装置、センシング装置、移動体装置及びパルス光検出方法
JP6874592B2 (ja) 時間測定装置、距離測定装置、移動体、時間測定方法、及び距離測定方法
JP2019035690A (ja) 物体検出装置、センシング装置、移動体装置及び物体検出方法
WO2022150129A1 (en) Systems and methods for controlling laser power in light detection and ranging (lidar) systems
JP2019109193A (ja) 距離測定装置、移動体装置及び距離測定方法
CN114935743B (zh) 发射模组、光电检测装置及电子设备
CN116660868B (zh) 电子设备
JP7040042B2 (ja) 時間測定装置、距離測定装置、移動体装置、時間測定方法及び距離測定方法
CN114935742B (zh) 发射模组、光电检测装置及电子设备
CN114924257B (zh) 接收模组、光电检测装置及电子设备
KR20240104671A (ko) 수신 신호에서 외부 노이즈를 제거하는 라이다 장치 및 방법
JP2019007892A (ja) 情報取得装置、プログラムおよび情報取得システム
KR20230099402A (ko) 3차원 이미지 획득 장치
CN115993608A (zh) 三维成像系统、三维成像方法、车载系统以及车辆
JP2020176983A (ja) 検知装置、測距方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191105

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210823

R151 Written notification of patent or utility model registration

Ref document number: 6942966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151