JP2023078488A

JP2023078488A - 物体検出装置、情報処理装置および物体検出方法

Info

Publication number: JP2023078488A
Application number: JP2020071594A
Authority: JP
Inventors: 有慈飯田; Yuji Iida
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2020-04-13
Filing date: 2020-04-13
Publication date: 2023-06-07
Also published as: WO2021210268A1; US20230152441A1

Abstract

【課題】正確に物体検出することができる物体検出装置、情報処理装置および物体検出方法を提供する。【解決手段】本開示による物体検出装置は、第１領域に電波を送信して該第１領域内にある検出対象候補を検出するレーダと、第１領域を撮像して画像データを生成する撮像部と、画像データに基づいて前記検出対象候補の中から検出対象を識別する識別部と、検出対象を含み第１領域よりも狭い第２領域に対して電波を照射するように前記レーダを制御するレーダ制御部と、を備える。【選択図】図１

Description

本開示は、物体検出装置、情報処理装置および物体検出方法に関する。

従来より自動走行制御システム（ＡＣＣ（Adoptive Cruise Control）は、前方（又は、後方、側方）の物体を認識するために、ミリ波レーダ、又は、カメラを用いた画像センサを用いている。ミリ波レーダは、物体までの距離を正確に測定するが、物体の形（大きさ、幅）を正確に認識することが困難である。一方、画像センサは、物体の形状や大きさを正確に認識するが、測距を正確に行うことは困難である。

特開２００１－９９９３０号公報

そこで、ミリ波レーダとカメラとを組み合わせる装置が考えられている（特許文献１）。

しかし、ミリ波レーダで検出した測定結果とカメラで検出した測定結果とを単純に組み合わせても物体検出の精度は不充分であり、より正確に物体検出することが望まれている。

そこで、本開示は、正確に物体検出することができる物体検出装置、情報処理装置および物体検出方法を提供する。

本実施形態による物体検出装置は、第１領域に電波を送信して該第１領域内にある検出対象候補を検出するレーダと、第１領域を撮像して画像データを生成する撮像部と、画像データに基づいて検出対象候補の中から検出対象を識別する識別部と、検出対象を含み第１領域よりも狭い第２領域に対して電波を照射するようにレーダを制御するレーダ制御部と、を備える。

レーダは、第１領域において電波を送信し、反射されてきた電波の送受信点を検出し、送受信点をクラスタリングして検出対象候補を生成するデータ処理部をさらに備えてもよい。

レーダに対する検出対象候補の方向および相対距離から画像データにおける検出対象候補の座標へ変換する座標変換部と、画像データ上での検出対象候補の座標に基づいて、画像データから検出対象候補の画像部分を抽出する抽出部とをさらに備え、識別部は、抽出された検出対象候補の画像部分を用いて検出対象候補が検出対象であるか否かを識別し、レーダ制御部は、検出対象と判定された検出対象候補の方向および距離に基づいて、検出対象が第２領域に入るようにレーダを制御してもよい。

検出対象を特定するために照合の基準となる参照画像を格納するデータベースをさらに備え、識別部は、抽出された検出対象候補の画像部分と参照画像とを比較し、類似する参照画像のある検出対象候補を検出対象と識別してもよい。

レーダ制御部は、第１領域に電波を照射する第１モードと、第２領域に電波を照射する第２モードとの間で切り替えるようにレーダを制御してもよい。

レーダ制御部は、第１モードで識別された検出対象に対して、次の第２モードにおいて電波を照射するようにレーダを制御してもよい。

レーダ制御部は、第１モードおよび第２モードを交互に繰り返してもよい。

本開示による情報処理装置は、レーダから第１領域に電波を送信することによって検出された検出対象候補と撮像部から得られた画像データとに基づいて、検出対象候補の中から検出対象を識別する識別部と、検出対象を含み第１領域よりも狭い第２領域に対して電波を照射するようにレーダを制御するレーダ制御部と、を備える。

レーダから第１領域において電波を送信し、反射されてきた電波の送受信点をクラスタリングして検出対象候補を生成するデータ処理部をさらに備えてもよい。

電波を送信するレーダと、画像を撮像する撮像部と、レーダからの検出情報および撮像部からの画像データを処理してレーダを制御する情報処理装置とを備えた物体検出装置を用いた物体検出方法であって、第１領域に電波を送信して該第１領域内にある検出対象候補を検出し、第１領域を撮像して画像データを生成し、画像データに基づいて検出対象候補の中から検出対象を識別し、検出対象を含み第１領域よりも狭い第２領域に対して電波を照射するようにレーダを制御する。

検出対象候補の検出は、第１領域において電波を送信し、反射されてきた電波の送受信点を検出し、送受信点をクラスタリングして検出対象候補を生成することを含んでもよい。

検出対象の識別は、レーダに対する検出対象候補の方向および相対距離から画像データにおける検出対象候補の座標へ変換し、画像データ上での検出対象候補の座標に基づいて、画像データから検出対象候補の画像部分を抽出し、抽出された検出対象候補の画像部分を用いて検出対象候補が検出対象であるか否かを識別することを含み、レーダの制御は、検出対象と判定された検出対象候補の方向および距離に基づいて、検出対象が第２領域に入るようにレーダを制御することを含んでもよい。

物体検出装置は、検出対象を特定するために照合の基準となる参照画像を格納するデータベースをさらに備え、検出対象の識別は、抽出された検出対象候補の画像部分と参照画像とを比較し、類似する参照画像のある検出対象候補を検出対象と識別することを含んでもよい。

レーダの制御は、第１領域に電波を照射する第１モードと、第２領域に電波を照射する第２モードとの間で周期的に交互に繰り返すように切り替えてもよい。

レーダの制御は、第１モードで識別された検出対象に対して、次の第２モードにおいて電波を照射してもよい。

第１実施形態による物体検出装置の構成例を示すブロック図。本開示による物体検出方法の一例を示すフロー図。ミリ波レーダからの電波の照射範囲を示す該略図。広域モードと狭域モードとの実行パターンを示すタイミング図。第２実施形態による広域モードと狭域モードとの他の実行パターンを示すタイミング図。本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図。撮像部の設置位置の例を示す図。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（第１実施形態）
図１は、第１実施形態による物体検出装置の構成例を示すブロック図である。物体検出装置１００は、自動走行制御システムに用いられる装置であるが、これに限定されず、監視装置システム等の物体検出にも適用可能である。以下、本開示を自動車の自動走行制御システムに適用した例を説明するが、本開示の適用例はこれに限定されない。

物体検出装置１００は、情報処理装置１０と、ミリ波レーダ２０と、撮像部３０とを備えている。

ミリ波レーダ２０は、送信回路２１と、受信回路２２と、制御回路２３と、送信アンテナＡＮＴｔと、受信アンテナＡＮＴｒとを備える。送信回路２１は、送信アンテナＡＮＴｔから電波を送信する回路である。受信回路２２は、物体から反射してきた電波を、受信アンテナＡＮＴｒを介して受信する回路である。つまり、電波は、送信回路２１から送信された後、物体に反射して受信回路２２で受信される。

制御回路２３は、送信回路２１から送信される電波の強度（出力）、送信アンテナＡＮＴｔの放射角（指向性）および送受信のタイミング等を制御する。これにより、制御回路２３は、物体検出可能な距離を制御することができ、かつ、電波の照射領域（広域または狭域等）を制御する。即ち、制御回路２３は、電波の走査範囲を制御し、物体検出の領域を変更することができる。

ミリ波レーダ２０は、ミリ波の電波を前方に送信して反射波を受信し、この反射波を生じさせた物体の情報を検出する。ミリ波レーダ２０は、例えば、物体の距離、角度、速度を精度良く測定可能であり、雨、霧などの影響を受けることが少ない。一方、ミリ波レーダ２０は、例えば、物体の大きさ、形状を正確に測定することが困難である。ミリ波レーダ２０は、受信したミリ波信号から信号強度を検出し、物体の相対距離、方向（角度）、相対速度などを得る。物体の相対距離および角度は、検出された物体の位置（極座標）を示す。相対速度は、ミリ波レーダ２０に対する物体の相対速度である。

ミリ波レーダ２０は、電波の送受信によって物体の相対距離、方向、相対速度および信号強度を、その電波を送受信した点（送受信点）ごとに検出する。そして、ミリ波レーダ２０または情報処理装置１０は、複数の送受信点の相対距離、方向、相対速度および信号強度を用いて、ほぼ等しい相対距離、相対速度および信号強度を有する複数の送受信点の集合体をクラスタリングして物体として検出する。即ち、ミリ波レーダ２０は、電波の送受信によって得られる複数の送受信点の集合体として物体を検出する。ミリ波レーダ２０は、周期的に電波を送信し、反射されてきた電波の送受信点の信号強度によって物体の有無を検出する。

ここで、ミリ波レーダ２０で検出された電波は、実際に物体が存在しなくても、何らかの要因で、ほぼ等しい相対距離、相対速度および信号強度を有する送受信点の集合体を検出する場合もある。このような場合には、ミリ波レーダ２０または情報処理装置１０は、その送受信点の集合体を物体として検出してしまう。また、物体として存在していても、検出対象ではない物体を含む場合もある。例えば、自車の前方に走行する他車、人あるいは落下物等の障害物を検出対象とする場合、ガードレール、沿道の植樹またはトンネル等は検出対象ではない。つまり、非検出対象は、物体ではない虚像および検出対象ではない物体を含み、ミリ波レーダ２０は、一旦、検出対象および非検出対象を区別なく検出する。従って、以下、検出された送受信点の集合体は、検出対象候補と呼ぶ。

撮像部３０は、カメラ等により車両の前方の画像データを取得し、この画像データを処理することにより、前方にある物体の情報を検出する。撮像部３０は、例えば、物体自体の大きさ、形、色等を精度良く撮像できる。一方、撮像部３０は、例えば、雨、霧など環境の影響を受け易く、距離測定の精度が低い。撮像部３０のカメラは、ミリ波レーダ２０の電波の照射方向に向かっており、ミリ波レーダ２０の電波の照射範囲を撮像する。

情報処理装置１０は、データ処理部１１と、抽出部１２と、座標変換部１３と、データベース１４と、識別部１５と、メモリ１６と、レーダ制御部１７とを含む。情報処理装置１０は、１つまたは複数のＣＰＵ、ＲＡＭ、ＲＯＭ等で構成すればよい。

データ処理部１１は、ミリ波レーダ２０で検出された各送受信点の検出情報（相対距離、方向、相対速度および信号強度）を用いて、複数の送受信点の集合体をクラスタリングして検出対象候補を生成する。また、データ処理部１１は、撮像部３０で撮像された画像データの画像処理を行う。

メモリ１６は、データ処理部１１で処理された検出対象候補のデータおよび画像データ等を格納する。データベース１４は、検出対象を特定するために照合の基準となる参照画像を格納する。参照画像は、検出対象として認識すべき物体の画像であり、例えば、様々な自動車、人等の画像である。また、参照画像は、非検出対象として認識すべき物体の画像であってもよい。参照画像は、予め準備してデータベース１４へ格納しておいて、走行中に得られた画像データを用いて参照画像を生成し、データベース１４へ登録してもよい。尚、検出対象候補が検出対象であるか否かを判断する方法は、下記の通り、参照画像と検出対象候補の画像部分とを直接比較するだけでなく、検出対象を見つけることができる方法であれば、特に限定しない。

座標変換部１３は、ミリ波レーダ２０からの検出対象候補の検出情報に基づいて、ミリ波レーダ２０に対する検出対象候補の方向および相対距離（極座標）から、画像データ上における検出対象候補の座標に変換する。座標変換の方法は特に限定しない。

抽出部１２は、座標変換部１３で変換された検出対象候補の座標に基づいて、撮像部３０で撮像された画像データから検出対象候補の画像部分を抽出する。例えば、複数の検出対象候補が検出された場合、抽出部１２は、該複数の検出対象候補の輪郭に沿って画像データから各画像部分を切り出し、抽出する。抽出された検出対象候補の画像部分は、識別部１５へ転送される。ミリ波レーダ２０において、検出対象候補が検出されていない場合には、抽出部１２は、検出対象候補の画像部分を画像データから抽出しない。

識別部１５は、検出対象候補の画像部分の中から検出対象を識別する。このとき、識別部１５は、データベース１４に格納されたデータベースから検出対象の参照画像を参照する。検出対象候補の画像部分は、画像データの一部であるので、形状、大きさ、色等において比較的正確に把握することができる。よって、識別部１５は、参照画像と検出対象候補の画像部分とを比較し、検出対象候補にほぼ等しいまたは類似する参照画像を検索することができる。そして、識別部１５は、この検索でヒットした参照画像に基づき、検出対象候補が検出対象であるか否かを判断する。このように、識別部１５は、各検出対象候補が検出対象であるか否かを識別することができる。尚、検出対象候補が検出対象であるか否かを判断する方法は、参照画像と検出対象候補の画像部分とを直接比較するだけでなく、検出対象を見つけることができる方法であれば、特に限定しない。例えば、画像部分から或る特徴量を抽出して予め決めたルールで検出対象を識別してもよい。ＳＳＤ (Single Shot MultiBox Detector)、ＹＯＬＯ (You Only Look Once)等の物体検出モデルを用いて検出対象を検出してもよい。

検出対象として識別された検出対象候補の検出情報（相対距離、方向、相対速度および信号強度）は、その検出対象の検出情報としてそのまま適用され得る。従って、検出対象の画像情報（形状、大きさ、色等）だけでなく、検出対象の検出情報（相対距離、方向、相対速度および信号強度等）も判明する。つまり、識別部１５は、検出対象の属性、距離、位置を正確に把握することができる。属性は、検出対象がどのようなものであるかを示す。例えば、検出対象の属性は、自動車、人、自転車、箱等である。

レーダ制御部１７は、検出対象の検出情報をもとに、電波の照射方向を検出対象の方向にし、かつ、照射範囲を狭域にするようにミリ波レーダ２０を制御する。制御回路２３は、レーダ制御部１７からの指令に従って、送信アンテナＡＮＴｔからの電波の照射方向を決定し、照射範囲を狭域にする。検出対象の検出情報が正確に把握できるので、ミリ波レーダ２０は、電波を狭域で送信しても、検出対象に対するビームフォーミングを確実に実行することができる。検出対象に対するビームフォーミングを行うことによって、情報処理装置１０は、検出対象の高精度な検出情報（相対距離、方向（角度）、相対速度等）を得ることができる。尚、レーダ制御部１７は、電波の照射範囲を広域と狭域の２段階に切り替えてもよく、３段階以上に切り替えてもよい。また、レーダ制御部１７は、電波の照射範囲を連続的に変更できるように構成してもよい。

このように、本実施形態による物体検出装置１００は、画像データからミリ波レーダ２０で検出された検出対象候補の画像部分を抽出し、検出対象候補の画像部分を用いて検出対象を識別する。そして、物体検出装置１００は、その検出対象に対して狭域で電波を送信しつつ、ビームフォーミングを行う。これにより、遠方に存在するような検出対象の検出精度を高めることができる。

次に、物体検出装置１００を用いた物体検出方法を説明する。

図２は、本開示による物体検出方法の一例を示すフロー図である。図３は、ミリ波レーダ２０からの電波の照射範囲を示す該略図である。

まず、ミリ波レーダ２０は、広域モード（第１モード）で電波を送信し、反射波を受信する（Ｓ１０）。広域モードは、電波を比較的広い範囲（第１領域）にスキャンして検出対象候補の検出を実行するモードである。例えば、図３に示すように、自車の位置（ミリ波レーダ２０の位置）を原点Ｏとして、ミリ波レーダ２０は、原点Ｏから１５０ｍまでの物体を検出可能であるものとする。広域モードでは、ミリ波レーダ２０は、原点Ｏから１５０ｍの距離において、比較的広角の角度θ_Ｗで挟まれた扇型の範囲Ａｗに電波をスキャンする。

ミリ波レーダ２０が、各送受信点の検出情報を情報処理装置１０へ送信する（Ｓ２０）。この検出情報は、メモリ１６へ格納される。電波の送受信と併行して、撮像部３０が、電波の照射範囲（第１領域）を含む領域の画像を撮像し、画像データを生成する（Ｓ３０）。この画像データは、情報処理装置１０へ送信され、メモリ１６へ格納される（Ｓ４０）。

次に、データ処理部１１が、各送受信点の検出情報に基づいて、複数の送受信点をクラスタリングして検出対象候補を生成する（Ｓ５０）。このとき、例えば、図３では、複数の送受信点Ｐは、３つの検出対象候補Ｃ１～Ｃ３にクラスタリングされている。また、データ処理部１１は、撮像部３０で撮像された画像データの画像処理を行う。

次に、座標変換部１３が、検出対象候補Ｃ１～Ｃ３の方向および相対距離を、画像データ上における座標へ変換する（Ｓ６０）。このとき、検出対象候補Ｃ１～Ｃ３に含まれる全ての送受信点の方向および相対距離が画像データ上における座標に変換される。あるいは、検出対象候補Ｃ１～Ｃ３の外縁に位置する送受信点のみの方向および相対距離が、画像データ上における座標に変換されてもよい。この場合、検出対象候補Ｃ１～Ｃ３の輪郭が画像データにおいて把握でき、尚且つ、座標変換部１３の負荷を軽減し、座標変換時間を短縮することができる。

次に、抽出部１２が、検出対象候補Ｃ１～Ｃ３の画像データ上の座標に基づいて、画像データから検出対象候補Ｃ１～Ｃ３の画像部分をそれぞれ抽出する（Ｓ７０）。このとき、検出対象候補Ｃ１～Ｃ３のそれぞれの画像部分が画像データから切り出される。

次に、識別部１５が、検出対象候補Ｃ１～Ｃ３の画像部分と参照画像とを比較し、検出対象候補に等しいまたは類似する参照画像を検索する（Ｓ８０）。検索により、参照画像が検出対象候補Ｃ１～Ｃ３の画像部分のいずれかにヒットした場合、識別部１５は、その参照画像に関連付けられた属性に基づいて、検出対象候補Ｃ１～Ｃ３が検出対象であるか否かを識別する。例えば、検出対象候補Ｃ３に類似するとしてヒットした参照画像が検出対象（例えば、自動車、歩行者等）である場合、識別部１５は、検出対象候補Ｃ３を検出対象として識別する（Ｓ８５）。一方、検出対象候補Ｃ３に類似するとしてヒットした参照画像が非検出対象（例えば、ガードレール、沿道の植樹等）である場合、識別部１５は、検出対象候補Ｃ３を非検出対象として識別する。あるいは、いずれの参照画像も検出対象候補Ｃ３にヒットしなかった場合も、識別部１５は、検出対象候補Ｃ３を非検出対象として識別する。

次に、レーダ制御部１７は、検出対象として識別された検出対象候補に電波を照射するように、ミリ波レーダ２０を狭域モード（第２モード）に切り替える（Ｓ９０）。例えば、検出対象候補Ｃ１、Ｃ２が非検出対象であり、検出対象候補Ｃ３が検出対象である場合、レーダ制御部１７は、検出対象候補Ｃ３の検出情報をもとに、電波の照射方向を検出対象候補Ｃ３の方向にし、かつ、照射範囲を狭域モードにするようにミリ波レーダ２０を制御する。尚、検出対象が無い場合、レーダ制御部１７は、ミリ波レーダ２０を狭域モードに切り替える必要は無く、広域モードを継続してもよい。

次に、ミリ波レーダ２０は、レーダ制御部１７の指示に従って、狭域モードで検出対象Ｃ３の方向へ電波を照射する（Ｓ１００）。狭域モードは、電波を比較的狭い範囲（第２領域）にスキャンして検出対象の検出を実行するモードである。例えば、図３に示すように、狭域モードでは、ミリ波レーダ２０は、原点Ｏから検出対象Ｃ３の距離において、比較的狹角の角度θ_ｎで挟まれた扇型の範囲Ａｎに電波をスキャンする。

ミリ波レーダ２０は、狭域モードで得られた送受信点の検出情報をもとに、検出対象Ｃ３の検出情報を得る（Ｓ１１０）。これにより、ミリ波レーダ２０は、非検出対象Ｃ１、Ｃ２へ電波を照射すること無く、必要最小限の検出対象Ｃ３へ電波を照射し、検出情報を得ることができる。その結果、検出対象を正確に検出することができるとともに、情報処理装置１０の負荷を軽減し、検出対象Ｃ３の検出時間（検出サイクル）を短縮することができる。

広域モードから狭域モードへ切り替えた後、狭域モードから広域モードへ戻すタイミングは、任意の時点でよい。例えば、物体検出装置１００は、広域モードから狭域モードへ切り替わってから所定期間が経過したときに、狭域モードから広域モードへ戻してもよい。また、物体検出装置１００は、狭域モードにおいて検出対象が検出されなくなったときに、狭域モードから広域モードへ戻してもよい。そのまま、物体検出装置１００は、広域モードにおいてステップＳ１０～Ｓ８５を再度実行して、検出対象を更新してもよい。

図４は、広域モードと狭域モードとの実行パターンを示すタイミング図である。図４の横軸は、時間を示す。また、図４では、情報処理装置１０、ミリ波レーダ２０および撮像部３０の動作内容を示している。

まず、ｔ０において、ミリ波レーダ２０は、広域モードで電波の送受信を行う。送受信点の検出情報は、情報処理装置１０へ送信される。一方、撮像部３０は、広域モードにおける電波の照射範囲（第１領域）を含む領域を撮像し、画像データを生成する。画像データも、情報処理装置１０へ送信される。

ｔ０～ｔ１における検出情報および画像データが情報処理装置１０へ送られると、ｔ１～ｔ２において、情報処理装置１０が、送受信点の検出情報に基づいて、複数の送受信点をクラスタリングして検出対象候補を生成する。また、情報処理装置１０は、検出対象候補の座標を、画像データ上における座標へ変換し、画像データから検出対象候補の画像部分を抽出する。さらに、情報処理装置１０は、検出対象候補が検出対象であるか否かを識別する。ｔ１～ｔ２において、これらのデータ処理を実行する。

ｔ２～ｔ３において、ミリ波レーダ２０は、広域モードから狭域モードへ切り替えて、狭域モードで検出対象に対して電波の送受信を行う。狭域モードでは、画像データを用いた検出対象の識別処理は実行しないので、撮像部３０は検出対象を撮像する必要は必ずしも無い。

その後、物体検出装置１００は、ｔ０～ｔ３の動作を繰り返し実行する。即ち、レーダ制御部１７は、広域モードと狭域モードとを交互に繰り返す。レーダ制御部１７は、広域モードで識別された検出対象に対して、次の狭域モードにおいて電波を照射するようにミリ波レーダ２０を制御する。これにより、自車の周囲の状況が変化しても、物体検出装置１００は、状況の変化に対応して検出対象を逐次更新し、狭域モードにおける電波の照射方向を適切に変更することができる。ｔ０～ｔ３の時間（広域モードおよび狭域モードの１周期）は、周囲の状況変化の速さに応じて設定すればよい。例えば、渋滞していない高速道路では、歩行者、自転車の走行および飛び出しを考慮する必要がないので、ｔ０～ｔ３の時間は、比較的長くすることができる。一方、人通りの多い一般道では、歩行者、自転車の走行および飛び出しを考慮する必要があるので、ｔ０～ｔ３の時間は、比較的短くし、頻繁に検出対象を更新する必要がある。

以上のように、本開示による物体検出装置１００は、ミリ波レーダ２０で検出された検出対象候補の検出情報と撮像部３０で撮像された画像データとを用いて、検出対象候補の画像部分を用いて、検出対象候補から検出対象を特定する。そして、物体検出装置１００は、検出対象の検出情報をミリ波レーダ２０へフィードバックして、狭域モードでも検出対象を精度良く検出することを可能にする。物体検出装置１００は、検出対象に対して狭域モードで電波を送信しつつ、ビームフォーミングを行い、遠方の検出対象の検出精度を高めることができる。

（第２実施形態）
図５は、第２実施形態による広域モードと狭域モードとの他の実行パターンを示すタイミング図である。図５の実行パターンでは、情報処理装置１０がデータ処理（図３のステップＳ５０～Ｓ９０）を実行している期間に併行して、ミリ波レーダ２０は電波の送受信を行って検出対象候補の検出情報を生成し、かつ、撮像部３０は画像データを生成する。

例えば、まず、ｔ１０～ｔ１１において、ミリ波レーダ２０は、広域モードで電波の送受信を行う。送受信点の検出情報は、情報処理装置１０へ送信される。一方、撮像部３０は、広域モードにおける電波の照射範囲（第１領域）を含む領域を撮像し、画像データを生成する。画像データも、情報処理装置１０へ送信される。

検出情報および画像データが情報処理装置１０へ送られると、ｔ１１～ｔ１３において、情報処理装置１０が、送受信点の検出情報に基づいて、検出対象候補を生成し、検出対象候補が検出対象であるか否かを識別する。ｔ１１～ｔ１３において、これらのデータ処理を実行する。ｔ１１～ｔ１３におけるデータ処理は、ｔ１０～ｔ１１において得られた検出情報および画像データ（第１フェーズのデータ）の処理である。

尚、ｔ１１以前において、情報処理装置１０がデータ処理している場合、ミリ波レーダ２０は、ｔ１１～ｔ１２において、情報処理装置１０のデータ処理と併行して、広域モードから狭域モードへ切り替えて、そのｔ１１以前に識別された検出対象に対して電波の送受信を行う。

ｔ１２～ｔ１３において、情報処理装置１０は、第１フェーズデータのデータ処理を続ける。ミリ波レーダ２０は、狭域モードから広域モードへ戻り、検出対象を更新するために、送受信点の検出情報を生成する。ｔ１３において、送受信点の検出情報は、情報処理装置１０へ送信される。また、撮像部３０は、広域モードにおける電波の照射範囲（第１領域）を含む領域を撮像し、画像データを生成する。ｔ１３において、画像データは、情報処理装置１０へ送信される。このとき、送信される検出情報および画像データは、第２フェーズのデータである。

ｔ１３において、第２フェーズデータが情報処理装置１０へ送られると、ｔ１３～ｔ１５において、情報処理装置１０は、第２フェーズデータに基づいて、同様に検出対象を識別する。ｔ１３～ｔ１５におけるデータ処理は、第２フェーズデータのデータ処理である。

ｔ１３～ｔ１４において、情報処理装置１０のデータ処理と併行して、ミリ波レーダ２０は、広域モードから狭域モードへ切り替えて、第１フェーズデータを用いて得られた検出対象に対し、電波の送受信を行う。撮像部３０も、ｔ１３～ｔ１４において、情報処理装置１０のデータ処理と併行して、画像データを生成する。

ｔ１４～ｔ１５において、情報処理装置１０は、第２フェーズデータのデータ処理を続ける。ミリ波レーダ２０は、狭域モードから広域モードへ戻り、検出対象を更新するために、送受信点の検出情報を生成する。ｔ１５において、送受信点の検出情報は、情報処理装置１０へ送信される。また、撮像部３０は、広域モードにおける電波の照射範囲（第１領域）を含む領域を撮像し、画像データを生成する。ｔ１５において、画像データは、情報処理装置１０へ送信される。このとき、送信される検出情報および画像データは、第３フェーズのデータである。

ｔ１５において、第３フェーズデータが情報処理装置１０へ送られると、ｔ１５以降において、情報処理装置１０は、第３フェーズデータに基づいて、同様に検出対象を識別する。ｔ１５以降におけるデータ処理は、第３フェーズデータのデータ処理である。

ｔ１５以降において、情報処理装置１０のデータ処理と併行して、ミリ波レーダ２０は、広域モードから狭域モードへ切り替えて、第２フェーズデータを用いて得られた検出対象に対し、電波の送受信を行う。撮像部３０も、ｔ１５以降において、情報処理装置１０のデータ処理と併行して、画像データを生成する。

このように、物体検出装置１００は、例えば、ｔ１０～ｔ１２を１つの周期として、狭域モードおよび広域モードでの検出動作交互に連続して実行し、それと併行してデータ処理を実行する。このとき、物体検出装置１００でのデータ処理は、その１周期前に生成された前フェーズの検出対象候補の検出情報と画像データを用いて実行される。これにより、物体検出装置１００は、狭域モードおよび広域モードでの検出動作がシームレスに連続して実行することができる。その結果、物体の検出精度を向上させつつ、物体検出時間を短縮することができる。

本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。本開示による物体検出装置１００または情報処理装置１０は、車外情報検出ユニット１２０３０に備えられていてもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。本開示による撮像部３０は、撮像部１２０３１であってもよく、あるいは、撮像部１２０３１とは別体として設けられていてもよい。本開示による物体検出装置１００または情報処理装置１０は、撮像部１２０３１に備えられていてもよい。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（ＡｄｖａｎｃｅｄＤｒｉｖｅｒＡｓｓｉｓｔａｎｃｅＳｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図７は、撮像部１２０３１の設置位置の例を示す図である。

図７では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。また、車両１２１００は、物体検出装置１００を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術は、例えば、車外情報検出ユニット１２０３０に適用され得る。具体的には、車外情報検出ユニット１２０３０に、上述の物体検出装置１００を実装することができる。撮像部１２０３１に、本開示に係る技術を適用することにより、幅広い明るさダイナミックレンジの環境において、正確な距離情報を得ることができ、車両１２１００の機能性および安全性を高めることができる。

なお、本技術は、以下のような構成をとることができる。
（１）
第１領域に電波を送信して該第１領域内にある検出対象候補を検出するレーダと、
前記第１領域を撮像して画像データを生成する撮像部と、
前記画像データに基づいて前記検出対象候補の中から検出対象を識別する識別部と、
前記検出対象を含み前記第１領域よりも狭い第２領域に対して電波を照射するように前記レーダを制御するレーダ制御部と、を備える物体検出装置。
（２）
前記レーダは、前記第１領域において電波を送信し、反射されてきた電波の送受信点を検出し、
前記送受信点をクラスタリングして前記検出対象候補を生成するデータ処理部をさらに備える、（１）に記載の物体検出装置。
（３）
前記レーダに対する前記検出対象候補の方向および相対距離から前記画像データにおける前記検出対象候補の座標へ変換する座標変換部と、
前記画像データ上での前記検出対象候補の座標に基づいて、前記画像データから前記検出対象候補の画像部分を抽出する抽出部とをさらに備え、
前記識別部は、抽出された前記検出対象候補の画像部分を用いて前記検出対象候補が前記検出対象であるか否かを識別し、
前記レーダ制御部は、前記検出対象と判定された前記検出対象候補の方向および距離に基づいて、前記検出対象が前記第２領域に入るように前記レーダを制御する、（１）または（２）に記載の物体検出装置。
（４）
前記検出対象を特定するために照合の基準となる参照画像を格納するデータベースをさらに備え、
前記識別部は、抽出された前記検出対象候補の画像部分と前記参照画像とを比較し、類似する参照画像のある前記検出対象候補を前記検出対象と識別する、（３）に記載の物体検出装置。
（５）
前記レーダ制御部は、前記第１領域に電波を照射する第１モードと、前記第２領域に電波を照射する第２モードとの間で切り替えるように前記レーダを制御する、（１）から（４）のいずれか一項に記載の物体検出装置。
（６）
前記レーダ制御部は、前記第１モードで識別された前記検出対象に対して、次の前記第２モードにおいて電波を照射するように前記レーダを制御する、（５）に記載の物体検出装置。
（７）
前記レーダ制御部は、前記第１モードおよび前記第２モードを交互に繰り返す、（５）または（６）に記載の物体検出装置。
（８）
レーダから第１領域に電波を送信することによって検出された検出対象候補と撮像部から得られた画像データとに基づいて、前記検出対象候補の中から検出対象を識別する識別部と、
前記検出対象を含み前記第１領域よりも狭い第２領域に対して電波を照射するように前記レーダを制御するレーダ制御部と、を備える情報処理装置。
（９）
前記レーダから前記第１領域において電波を送信し、反射されてきた電波の送受信点をクラスタリングして前記検出対象候補を生成するデータ処理部をさらに備える、（８）に記載の情報処理装置。
（１０）
前記レーダに対する前記検出対象候補の方向および相対距離から前記画像データにおける前記検出対象候補の座標へ変換する座標変換部と、
前記画像データ上での前記検出対象候補の座標に基づいて、前記画像データから前記検出対象候補の画像部分を抽出する抽出部とをさらに備え、
前記識別部は、抽出された前記検出対象候補の画像部分を用いて前記検出対象候補が前記検出対象であるか否かを識別し、
前記レーダ制御部は、前記検出対象と判定された前記検出対象候補の方向および距離に基づいて、前記検出対象が前記第２領域に入るように前記レーダを制御する、（８）または（９）に記載の情報処理装置。
（１１）
前記検出対象を特定するために照合の基準となる参照画像を格納するデータベースをさらに備え、
前記識別部は、抽出された前記検出対象候補の画像部分と前記参照画像とを比較し、類似する参照画像のある前記検出対象候補を前記検出対象と識別する、（１０）に記載の情報処理装置。
（１２）
前記レーダ制御部は、前記第１領域に電波を照射する第１モードと、前記第２領域に電波を照射する第２モードとの間で切り替えるように前記レーダを制御する、（８）から（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記レーダ制御部は、前記第１モードで識別された前記検出対象に対して、次の前記第２モードにおいて電波を照射するように前記レーダを制御する、（１２）に記載の情報処理装置。
（１４）
前記レーダ制御部は、前記第１モードおよび前記第２モードを交互に繰り返す、（１２）または（１３）に記載の情報処理装置。
（１５）
電波を送信するレーダと、画像を撮像する撮像部と、前記レーダからの検出情報および前記撮像部からの画像データを処理して前記レーダを制御する情報処理装置とを備えた物体検出装置を用いた物体検出方法であって、
第１領域に電波を送信して該第１領域内にある検出対象候補を検出し、
前記第１領域を撮像して画像データを生成し、
前記画像データに基づいて前記検出対象候補の中から検出対象を識別し、
前記検出対象を含み前記第１領域よりも狭い第２領域に対して電波を照射するように前記レーダを制御することを具備する物体検出方法。
（１６）
前記検出対象候補の検出は、
前記第１領域において電波を送信し、反射されてきた電波の送受信点を検出し、
前記送受信点をクラスタリングして前記検出対象候補を生成することを含む、（１５）に記載の方法。
（１７）
前記検出対象の識別は、
前記レーダに対する前記検出対象候補の方向および相対距離から前記画像データにおける前記検出対象候補の座標へ変換し、
前記画像データ上での前記検出対象候補の座標に基づいて、前記画像データから前記検出対象候補の画像部分を抽出し、
抽出された前記検出対象候補の画像部分を用いて前記検出対象候補が前記検出対象であるか否かを識別することを含み、
前記レーダの制御は、
前記検出対象と判定された前記検出対象候補の方向および距離に基づいて、前記検出対象が前記第２領域に入るように前記レーダを制御することを含む、（１５）または（１６）に記載の方法。
（１８）
前記物体検出装置は、前記検出対象を特定するために照合の基準となる参照画像を格納するデータベースをさらに備え、
前記検出対象の識別は、
抽出された前記検出対象候補の画像部分と前記参照画像とを比較し、
類似する参照画像のある前記検出対象候補を前記検出対象と識別することを含む、（１７）に記載の方法。
（１９）
前記レーダの制御は、前記第１領域に電波を照射する第１モードと、前記第２領域に電波を照射する第２モードとの間で周期的に交互に繰り返すように切り替える、（１５）から（１８）のいずれか一項に記載の方法。
（２０）
前記レーダの制御は、前記第１モードで識別された前記検出対象に対して、次の前記第２モードにおいて電波を照射する、（１９）に記載の方法。

本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

１００物体検出装置、１０情報処理装置、２０ミリ波レーダ、３０撮像部、２１送信回路、２２受信回路、２３制御回路、ＡＮＴｔ送信アンテナ、ＡＮＴｒ受信アンテナ、１１データ処理部、１２抽出部、１３座標変換部、１４データベース、１５識別部、１６メモリ、１７レーダ制御部

Claims

第１領域に電波を送信して該第１領域内にある検出対象候補を検出するレーダと、
前記第１領域を撮像して画像データを生成する撮像部と、
前記画像データに基づいて前記検出対象候補の中から検出対象を識別する識別部と、
前記検出対象を含み前記第１領域よりも狭い第２領域に対して電波を照射するように前記レーダを制御するレーダ制御部と、を備える物体検出装置。
前記レーダは、前記第１領域において電波を送信し、反射されてきた電波の送受信点を検出し、
前記送受信点をクラスタリングして前記検出対象候補を生成するデータ処理部をさらに備える、請求項１に記載の物体検出装置。
前記レーダに対する前記検出対象候補の方向および相対距離から前記画像データにおける前記検出対象候補の座標へ変換する座標変換部と、
前記画像データ上での前記検出対象候補の座標に基づいて、前記画像データから前記検出対象候補の画像部分を抽出する抽出部とをさらに備え、
前記識別部は、抽出された前記検出対象候補の画像部分を用いて前記検出対象候補が前記検出対象であるか否かを識別し、
前記レーダ制御部は、前記検出対象と判定された前記検出対象候補の方向および距離に基づいて、前記検出対象が前記第２領域に入るように前記レーダを制御する、請求項１に記載の物体検出装置。
前記検出対象を特定するために照合の基準となる参照画像を格納するデータベースをさらに備え、
前記識別部は、抽出された前記検出対象候補の画像部分と前記参照画像とを比較し、類似する参照画像のある前記検出対象候補を前記検出対象と識別する、請求項３に記載の物体検出装置。
前記レーダ制御部は、前記第１領域に電波を照射する第１モードと、前記第２領域に電波を照射する第２モードとの間で切り替えるように前記レーダを制御する、請求項１に記載の物体検出装置。
前記レーダ制御部は、前記第１モードで識別された前記検出対象に対して、次の前記第２モードにおいて電波を照射するように前記レーダを制御する、請求項５に記載の物体検出装置。
前記レーダ制御部は、前記第１モードおよび前記第２モードを交互に繰り返す、請求項５に記載の物体検出装置。
レーダから第１領域に電波を送信することによって検出された検出対象候補と撮像部から得られた画像データとに基づいて、前記検出対象候補の中から検出対象を識別する識別部と、
前記検出対象を含み前記第１領域よりも狭い第２領域に対して電波を照射するように前記レーダを制御するレーダ制御部と、を備える情報処理装置。
前記レーダから前記第１領域において電波を送信し、反射されてきた電波の送受信点をクラスタリングして前記検出対象候補を生成するデータ処理部をさらに備える、請求項８に記載の情報処理装置。
前記レーダに対する前記検出対象候補の方向および相対距離から前記画像データにおける前記検出対象候補の座標へ変換する座標変換部と、
前記画像データ上での前記検出対象候補の座標に基づいて、前記画像データから前記検出対象候補の画像部分を抽出する抽出部とをさらに備え、
前記識別部は、抽出された前記検出対象候補の画像部分を用いて前記検出対象候補が前記検出対象であるか否かを識別し、
前記レーダ制御部は、前記検出対象と判定された前記検出対象候補の方向および距離に基づいて、前記検出対象が前記第２領域に入るように前記レーダを制御する、請求項８に記載の情報処理装置。
前記検出対象を特定するために照合の基準となる参照画像を格納するデータベースをさらに備え、
前記識別部は、抽出された前記検出対象候補の画像部分と前記参照画像とを比較し、類似する参照画像のある前記検出対象候補を前記検出対象と識別する、請求項１０に記載の情報処理装置。
前記レーダ制御部は、前記第１領域に電波を照射する第１モードと、前記第２領域に電波を照射する第２モードとの間で切り替えるように前記レーダを制御する、請求項８に記載の情報処理装置。
前記レーダ制御部は、前記第１モードで識別された前記検出対象に対して、次の前記第２モードにおいて電波を照射するように前記レーダを制御する、請求項１２に記載の情報処理装置。
前記レーダ制御部は、前記第１モードおよび前記第２モードを交互に繰り返す、請求項１２に記載の情報処理装置。
電波を送信するレーダと、画像を撮像する撮像部と、前記レーダからの検出情報および前記撮像部からの画像データを処理して前記レーダを制御する情報処理装置とを備えた物体検出装置を用いた物体検出方法であって、
第１領域に電波を送信して該第１領域内にある検出対象候補を検出し、
前記第１領域を撮像して画像データを生成し、
前記画像データに基づいて前記検出対象候補の中から検出対象を識別し、
前記検出対象を含み前記第１領域よりも狭い第２領域に対して電波を照射するように前記レーダを制御することを具備する物体検出方法。
前記検出対象候補の検出は、
前記第１領域において電波を送信し、反射されてきた電波の送受信点を検出し、
前記送受信点をクラスタリングして前記検出対象候補を生成することを含む、請求項１５に記載の方法。
前記検出対象の識別は、
前記レーダに対する前記検出対象候補の方向および相対距離から前記画像データにおける前記検出対象候補の座標へ変換し、
前記画像データ上での前記検出対象候補の座標に基づいて、前記画像データから前記検出対象候補の画像部分を抽出し、
抽出された前記検出対象候補の画像部分を用いて前記検出対象候補が前記検出対象であるか否かを識別することを含み、
前記レーダの制御は、
前記検出対象と判定された前記検出対象候補の方向および距離に基づいて、前記検出対象が前記第２領域に入るように前記レーダを制御することを含む、請求項１５に記載の方法。
前記物体検出装置は、前記検出対象を特定するために照合の基準となる参照画像を格納するデータベースをさらに備え、
前記検出対象の識別は、
抽出された前記検出対象候補の画像部分と前記参照画像とを比較し、
類似する参照画像のある前記検出対象候補を前記検出対象と識別することを含む、請求項１７に記載の方法。
前記レーダの制御は、前記第１領域に電波を照射する第１モードと、前記第２領域に電波を照射する第２モードとの間で周期的に交互に繰り返すように切り替える、請求項１５に記載の方法。
前記レーダの制御は、前記第１モードで識別された前記検出対象に対して、次の前記第２モードにおいて電波を照射する、請求項１９に記載の方法。