JP2016153775A - 物体検出装置および物体検出方法 - Google Patents

Abstract

【課題】レーダ装置のセンシング機能とカメラ装置のセンシング機能とを効果的に重畳して、物体の検出精度を向上させること。
【解決手段】捕捉領域算出部３２は、電力プロファイル情報から反射強度の極大点である捕捉点を算出し、捕捉点を囲む捕捉領域を算出する。エッジ算出部３４は、画像データから１つ以上の物体のエッジを算出する。マーカー算出部３５は、捕捉領域からマーカーを算出する。コンポーネント領域算出部３６は、エッジを用いてマーカーを拡張してコンポーネント領域を算出する。グループ化処理部３７は、コンポーネント領域のうち、同一の物体に属するコンポーネント領域をグルーピング化する。物体確定部３８は、グルーピングの結果である対象物体領域に基づいて、１つ以上の物体の種別（例えば、大型車両、小型車両、二輪車、歩行者、飛行体、鳥など）を判定する。
【選択図】図３

Description

本開示は、物体検出装置および物体検出方法に関し、より特定的には、車両、道路インフラシステム、または、特定施設の監視システムに搭載され、周辺に存在する物体を個別にかつ正確に検出することのできる物体検出装置および物体検出方法に関する。

近年、乗用車などの車両には、当該車両の周囲に存在する、他車両、歩行者、二輪車、路上にある設置物などを検出する車載用レーダ装置または車載用カメラ装置が搭載されている。車載用レーダ装置または車載用カメラ装置は、自車両の前方や側方から接近してくる対象物体を検出し、自車両との相対位置、相対速度などを測定する。そして、車載用レーダ装置は、測定結果に基づき、自車両と対象物体とが衝突する危険性が無いかを判断する。車載用レーダ装置は、危険性があると判断した場合、更に、運転手に警告を出したり、自動的に自車両を制御したりすることによって、衝突を回避させる。

例えば、特許文献１には、車載用レーダ装置および車載用カメラ装置を共に用いて、物体の検出を行う技術が開示されている。具体的に、特許文献１では、カメラ装置の測定情報を利用し、対象物体の数および方位角の範囲を確定し、対象物体の数および方位角の範囲に基づいて、レーダ装置の測定情報を修正している。

また、特許文献２には、道路周辺に設置されるカメラ装置とレーダ装置を共に用いて、交通量を監視する技術が開示されている。具体的に、特許文献２では、遠方車両の位置およびスピードの情報をレーダ装置で検知し、当該車両のカメラ画像における位置を確定の後、カメラ画像より当該車両より遠近両方の車両の状況を提示し、交通監視と交通管理を行っている。

また、従来、空港、港、鉄道駅、又は、建物などの特定施設を監視するために、レーダ装置またはカメラ装置が設置され、地上又は空中（地上より上の空間）からの侵入する物体を検知し、関連セキュリティシステム又は表示部に情報を提供し、不審物体（不審者を含む）の侵入を防いでいる。

特開２０１０−１５１６２１号公報 米国特許出願公開第２０１３／０３００８７０号明細書

R.C.Gonzalez and R.E.Woods, Digital Image Processing, Prentice Hall, 2001.

しかしながら、上述した特許文献１の従来技術では、対象物体の数および各対象物体の方位角の範囲を車載されたカメラ装置の測定情報によって確定しなければならない。つまり、車載用カメラ装置に対して、高度な物体検出性能を必要とする。

また、特許文献２の従来技術では、レーダ装置が１つの車両から複数の検出結果を取得してしまった場合に、当該車両の位置の確定が困難になってしまう。

つまり、上記の従来技術では、車両に搭載する、道路インフラシステムに利用する、または、特定施設の監視システムに利用する、といった場合であっても、物体の検出精度がカメラ装置とレーダ装置のうちの一方の性能に依存している。つまり、レーダ装置のセンシング機能とカメラ装置のセンシング機能とを効果的に重畳して、物体の検出精度を向上させることが困難である。

本開示は、レーダ装置のセンシング機能とカメラ装置のセンシング機能とを効果的に重畳して、物体の検出精度を向上させることを可能とする物体検出装置および物体検出方法を提供することを目的とする。

本開示の物体検出装置は、レーダ装置が送信したレーダ信号の各送信方向について前記レーダ装置からの距離を所定の間隔毎に区切った複数のセルに対して、前記レーダ信号が１つ以上の物体によって反射された反射信号を前記レーダ装置が受信した受信信号の電力の代表値である反射強度をそれぞれ算出し、前記反射強度を用いて、前記複数のセルに対して電力プロファイル情報をそれぞれ生成する情報生成部と、前記複数のセルの前記電力プロファイル情報の中から前記反射強度の極大値を示すセルを、前記１つ以上の物体を捕捉する捕捉点として算出し、前記捕捉点を囲む１つ以上のセルである捕捉領域を算出する捕捉領域算出部と、カメラ装置が取得した画像に含まれる前記１つ以上の物体のエッジを抽出するエッジ抽出部と、前記レーダ装置の測定範囲および前記カメラ装置の撮影範囲に基づいて、前記捕捉領域を前記画像における部分領域に変換し、前記部分領域を、前記捕捉領域に対応する前記画像の領域であるマーカーとして算出するマーカー算出部と、前記エッジを境界として前記マーカーを拡張することによって、前記１つ以上の物体を構成する一部分に対応するコンポーネント領域を算出するコンポーネント領域算出部と、前記コンポーネント領域を対象物体領域としてグループ化するグループ化処理部と、前記対象物体領域から前記１つ以上の物体を判定し、前記判定結果を出力する物体確定部と、を具備する。

本開示の物体検出方法は、レーダ装置が送信したレーダ信号の各送信方向について前記レーダ装置からの距離を所定の間隔毎に区切った複数のセルに対して、前記レーダ信号が１つ以上の物体によって反射された反射信号を前記レーダ装置が受信した受信信号の電力の代表値である反射強度をそれぞれ算出し、前記反射強度を用いて、前記複数のセルに対して電力プロファイル情報をそれぞれ生成し、前記複数のセルの前記電力プロファイル情報の中から前記反射強度の極大値を示すセルを、前記１つ以上の物体を捕捉する捕捉点として算出し、前記捕捉点を囲む１つ以上のセルである捕捉領域を算出し、カメラ装置が取得した画像に含まれる前記１つ以上の物体のエッジを抽出し、前記レーダ装置の測定範囲および前記カメラ装置の撮影範囲に基づいて、前記捕捉領域を前記画像における部分領域に変換し、前記部分領域を、前記捕捉領域に対応する前記画像の領域であるマーカーとして算出し、前記エッジを境界として前記マーカーを拡張することによって、前記１つ以上の物体を構成する一部分に対応するコンポーネント領域を算出し、前記コンポーネント領域を対象物体領域としてグループ化し、前記対象物体領域から前記１つ以上の物体を判定し、前記判定結果を出力する。

本開示によれば、レーダ装置のセンシング機能とカメラ装置のセンシング機能とを効果的に重畳して、物体の検出精度を向上させることができる。

本開示に係る物体検出装置を用いたセンシングユニットの構成の概念図 本開示に係る物体検出装置を用いたセンシングユニットの構成の概念図 本開示に係る物体検出装置の設置場所についての概念図 本開示に係る物体検出装置の設置場所についての概念図 本開示の実施の形態１に係る物体検出装置の主要構成を示すブロック図 本開示の実施の形態１における電力プロファイル情報の一例を示す図 本開示の実施の形態１における捕捉領域の算出結果の一例を示す図 レーダ測定三次元空間の座標系の一例を示す図 距離、最大可能高さ、および、地面距離の関係を示す図 カメラ三次元空間の座標からカメラ画像平面の座標への変換の説明に供する図 カメラ画像平面の一例を示す図 図５に示す捕捉領域に対応するマーカーの算出結果の一例を示す図 コンポーネント領域算出部がマーカーを分割する場合の一例を示す図 コンポーネント算出部による領域拡張の結果の一例を示す図 コンポーネント領域をレーダ測定平面上の領域に座標変換した結果の一例を示す図 グループ化処理部によるグルーピングの結果の一例を示す図 本開示の実施の形態２に係る物体検出装置の主要構成を示すブロック図 本開示の実施の形態３に係る物体検出装置の主要構成を示すブロック図 本開示の実施の形態４に係る物体検出装置の主要構成を示すブロック図

（本開示に至る経緯）
まず、本開示に至る経緯について説明する。本開示は、車載用レーダ装置およびカメラ装置、道路インフラシステム用レーダ装置およびカメラ装置、ならびに、特定施設の監視システムに、用いられる物体検出装置に関する。

車載用レーダ装置およびカメラ装置は、既に多くの車両に搭載されつつあるが、道路インフラシステム用レーダ装置およびカメラ装置も道路のインフラシステムに導入されつつあり、また、特定施設の監視システムとして、従来、レーダ装置又はカメラ装置のいずれかが単独に利用されてきたが、レーダ装置及びカメラ装置を併用して利用される場合も多くなりつつある。

道路インフラシステム用レーダ装置およびカメラ装置は、交差点等の道路の周辺に設置され、道路および道路周辺に存在する車両、歩行者、二輪車などを検出し、交通状況の監視と交通の管理を行う。

道路インフラシステム用レーダ装置およびカメラ装置は、交通状況の監視として、交通量の検出、車両のスピード違反や信号無視などの検出を行う。また、道路インフラシステム用レーダ装置およびカメラ装置は、交通の管理として、検出した交通量に基づいて、信号機の制御を行う。あるいは、道路インフラシステム用レーダ装置およびカメラ装置は、車両の死角に存在する物体を検出し、検出した物体の情報を車両の運転手に通知する。このように、道路インフラシステム用レーダ装置およびカメラ装置は、交通の効率化と交通事故の防止を実現することができる。

車載用レーダ装置およびカメラ装置においても、あるいは、道路インフラシステム用レーダ装置およびカメラ装置においても、車両、歩行者、自転車、バイクなどの特徴の異なる対象物体は、正確に検出される必要がある。また、監視システム用レーダ装置およびカメラ装置においても、地上を監視領域とした場合は各種車両や歩行者を、また、空中を監視領域とした場合は各種飛行体や鳥を正確に検出する必要がある。

各対象物体が正確に検出されることによって、空間に物体が存在する状態、交通量の状態を正確に把握し、被侵入、又は、衝突の可能性を正確に予測することができる。各対象物体が正確に検出されなければ、対象物体の検出漏れや誤検出が発生し、空間に物体が存在する状態や交通量の状態の把握が困難になり、被侵入、又は、衝突の可能性の予測が困難になる。

一般に、レーダ装置における測定では、１つの対象物体から複数の強い反射点（以下、捕捉点という）を取得する。そのため、測定結果から対象物体を検出するために、同一物体に対応する捕捉点をグループ化する必要がある。

特許文献１では、車載されたカメラ装置の測定情報によって対象物体の数および各対象物体の方位角の範囲を確定し、グループ化した捕捉点を対象物体の数および各対象物体の方位角の範囲に基づいて、再グループ化またはグループの解除を行う。このような処理によって、特許文献１の開示する技術では誤検出や検出漏れを回避する。

しかしながら、特許文献１の開示する技術では、対象物体の数および各対象物体の方位角の範囲の精度、つまり、カメラ装置のセンシング機能の精度によって、物体の検出精度が変わってしまう。

また、特許文献２では、複数の捕捉点を取得した際に対象物体である車両を検出することが困難になり、結果的に、特許文献２の開示する技術が利用困難である。

このような事情に鑑み、カメラ装置の測定情報とレーダ装置の測定情報の違いを考慮すればこれらの測定情報を効果的に重畳できることに着目し、本開示に至った。

本開示によれば、車載用レーダ装置およびカメラ装置において、自車両周辺に存在する車両、二輪車、および、歩行者を正確に検出し、自車両との衝突危険性を予測し、危険回避のための警告や制御を行うことができる。その結果、交通事故の防止が実現される。

また、本開示によれば、空港、港、鉄道駅、又は、建物などの特定施設の監視システム用レーダ装置およびカメラ装置において、空中からは飛行体や鳥、地上からは各種車両や侵入者を正確に検出し、外部のセキュリティシステムと連動し、不審者の侵入を防止し施設の安全が確保される。

また、本開示によれば、道路インフラシステム用レーダ装置およびカメラ装置において、交差点を含む道路周辺に存在する車両、二輪車、および、歩行者を正確に検出し、衝突の可能性の予測、衝突の回避、および、交通量の把握と管理を行うことができる。その結果、交通事故の防止とともに交通管理の効率化が実現される。

（本開示の利用イメージ）
ここで、本開示に係る物体検出装置の接続方法および設置場所について図面を用いて説明する。

図１Ａ、図１Ｂは、本開示に係る物体検出装置を用いたセンシングユニットの構成の概念図である。図１Ａ、図１Ｂにおいて、ＲおよびＣは、それぞれ、レーダ装置およびカメラ装置を示す。Ｗは、本開示に係る物体検出装置を示す。図１Ａは、レーダ装置Ｒとカメラ装置Ｃが同一の筐体に設けられ、物体検出装置Ｗと接続する場合を示す。図１Ｂは、レーダ装置Ｒとカメラ装置Ｃが別々の筐体に設けられ、物体検出装置Ｗと接続する場合を示す。なお、図１Ａ及び図１Ｂの物体検出装置Ｗは更に、外部のセキュリティシステム又は表示部に接続されている。

本開示は、レーダ装置Ｒとカメラ装置Ｃの設置する方法、場所、および、相対的な位置関係を制限しない。また、レーダ装置Ｒの検知範囲とカメラ装置Ｃの検知範囲の位置関係についても制限しない。ただし、本開示はレーダ装置Ｒの検知範囲とカメラ装置Ｃの検知範囲の重畳範囲に対して適用するため、レーダ装置Ｒとカメラ装置Ｃは、重畳範囲が大きくなるように設置されるのが好ましい。

本開示は、レーダ装置Ｒの測定情報とカメラ装置Ｃの測定情報を重畳して処理する物体検出装置Ｗを提供する。本開示に係る物体検出装置Ｗは、レーダ装置Ｒの構成、および、カメラ装置Ｃの構成についても制限しない。レーダ装置Ｒおよびカメラ装置Ｃは、いずれも既存の市販品や公知技術で構成される製品でもよい。

また、図１Ａ及び図１Ｂに示す概念図において、物体検出装置Ｗは、レーダ装置Ｒおよびカメラ装置Ｃと別々に設けられるとしたが、レーダ装置Ｒまたはカメラ装置Ｃに含まれるとしてもよい。

また、本開示において、レーダ装置Ｒおよびカメラ装置Ｃは、物体検出装置Ｗと接続して、測定情報を物体検出装置Ｗに伝送するが、その伝送方式は限定されない。伝送方式は、有線通信方式であっても無線通信方式であってもよい。

次に、本開示に係る物体検出装置Ｗの設置場所について図２Ａ、図２Ｂを用いて説明する。図２Ａ、図２Ｂは、本開示に係る物体検出装置Ｗの設置場所についての概念図である。図２Ａは、物体検出装置Ｗがレーダ装置Ｒおよびカメラ装置Ｃとともに車両に搭載される概念図であり、図２Ｂは、物体検出装置Ｗがレーダ装置Ｒおよびカメラ装置Ｃとともに道路インフラシステムで利用される概念図である。

図２Ａにおいて、Ｖは自車両、Ｒ／Ｃは自車両に搭載されるレーダ装置Ｒおよびカメラ装置Ｃを含む測定装置、Ｔ１およびＴ２は２つの異なる対象物体を示す。実装上、物体検出装置Ｗは、測定装置Ｒ／Ｃと一体としてもよいし、測定装置Ｒ／Ｃと設置位置が異なっていてもよいが、自車両Ｖの前方または側方の周辺にある物体を検出できれば好都合である。

図２Ｂにおいて、Ｒ／Ｃは道路インフラに搭載されるレーダ装置Ｒおよびカメラ装置Ｃを含む測定装置、Ｐは路面、Ｌは測定装置Ｒ/Ｃが設置されるポールなどのサポート装置、Ｔ１およびＴ２は２つの異なる対象物体を示す。図２Ｂは、測定装置Ｒ／Ｃが設置された位置付近の斜視したイメージ図である。

路面Ｐは、直進の道路でもよいし、交差点の一部であってもよい。また、測定装置Ｒ／Ｃが設置される位置は、道路の上方、路側、交差点の上方、または、交差点の各コーナーであってもよい。なお、本開示は、測定装置Ｒ／Ｃを設置する位置や設置する方法を限定しない。測定装置Ｒ／Ｃが交差点にある横断歩道の周囲に存在する車両、歩行者、二輪車などを検出できれば好都合である。

図２Ａおよび図２Ｂにおいて、対象物体Ｔ１は、対象物体Ｔ２よりも大きい物体であり、例えば、車両などの物体に該当する。また、対象物体Ｔ２は、例えば、バイク、自転車、歩行者などに該当する。また、図２Ａおよび図２Ｂに示す概念図では、対象物体Ｔ２は、対象物体Ｔ１よりもレーダ装置に近い位置に存在する。本開示に係る物体検出装置Ｗは、対象物体Ｔ１とＴ２を分離して個別に検出する。

また、図示していないが、本開示に係る物体検出装置Ｗの設置場所は、空港、港、鉄道駅、又は建物などの特定施設を監視できる場所でもよい。本開示に係る物体検出装置Ｗの測定領域も地上領域に限定せず、空中に対する監視又は測定でも利用可能である。

次に、本開示の実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する各実施の形態は一例であり、本開示はこれらの実施の形態により限定されるものではない。

（実施の形態１）
まず、本開示の実施の形態１に係る物体検出装置について図面を用いて説明する。図３は、本開示の実施の形態１に係る物体検出装置３０の主要構成を示すブロック図である。

本開示の実施の形態１に係る物体検出装置３０は、レーダ装置Ｒおよびカメラ装置Ｃに接続される。レーダ装置Ｒは、所定の角度間隔で順次方向を変えながらレーダ信号を送信する送信部と、レーダ信号が対象物体に反射した反射信号を受信する受信部と、反射信号をベースバンドに変換し、レーダ信号の送信方向毎の遅延プロファイル（伝搬遅延特性）を取得する信号処理部と、を有する。カメラ装置Ｃは、被写体（対象物体）を撮像し、画像データを取得する。

物体検出装置３０は、情報生成部３１、補足領域算出部３２、カメラ画像取得部３３、エッジ算出部３４、マーカー算出部３５、コンポーネント領域算出部３６、グループ化処理部３７、および、物体確定部３８を有する。物体検出装置３０の各構成は、ＬＳＩ回路などのハードウェアで実現可能である。あるいは、物体検出装置３０の各構成は、車両を制御する電子制御ユニット（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ：ＥＣＵ）の一部としても実現可能である。

情報生成部３１は、レーダ装置の信号処理部から出力された遅延プロファイルにより、レーダ信号の送信方向毎に、レーダ装置からの距離を所定の間隔で区切ったセル毎に、反射信号の受信電力の代表値（以下、「反射強度」と云う）を測定する。そして、情報生成部３１は、各セルの反射強度を示す電力プロファイル情報を生成し、捕捉点算出部３２へ出力する。なお、反射強度は、一般的に連続値であるが、処理を簡単にするために情報生成部３１が量子化処理を行ってもよい。なお、情報生成部３１が生成する電力プロファイル情報の詳細については、後述する。

捕捉領域算出部３２は、まず、電力プロファイル情報から反射強度の極大点を算出する。捕捉領域算出部３２によって算出される極大点は、対象物体を捕捉する捕捉点となる。具体的に、捕捉領域算出部３２は、電力プロファイル情報を画像として取り扱い、公知の方法で極大点を算出する。次に、捕捉領域算出部３２は、公知の画像処理の方法を用いて、捕捉点に対する捕捉領域を算出する。捕捉領域は、捕捉点を囲む局所領域であり、捕捉点の周囲の点のうち、所定の値以上の反射強度を有する点で構成される。なお、捕捉領域算出部３２における捕捉領域の算出方法については後述する。

カメラ画像取得部３３は、カメラ装置Ｃから画像データを受け取り、画質改善等の前処理を行い、エッジ算出部３４に出力する。

エッジ算出部３４は、公知のエッジ抽出手法を用いて、カメラ画像取得部３３から出力された画像データから対象物体のエッジ（輪郭）を算出する。

マーカー算出部３５は、捕捉領域算出部３２が算出した捕捉領域からマーカーを算出する。マーカーは、捕捉領域に対応するカメラ画像の部分領域である。マーカー算出部３５におけるマーカーの算出方法については後述する。

コンポーネント領域算出部３６は、エッジ算出部３４が算出したカメラ画像のエッジを用いて、マーカー算出部３５が算出したマーカーを拡張してコンポーネント領域を算出する。コンポーネント領域算出部３６におけるコンポーネント領域の算出方法については後述する。

グループ化処理部３７は、コンポーネント領域算出部３６が算出したコンポーネント領域のうち、同一の物体に属するコンポーネント領域をグルーピングする。グループ化処理部３７は、グルーピングの結果、対象物体領域を取得する。グループ化処理部３７におけるコンポーネント領域のグルーピングの方法については後述する。

物体確定部３８は、グループ化処理部３７におけるグループ化処理の結果である対象物体領域に基づいて、対象物体の位置、大きさ、形状、更に、物体の種別（例えば、大型車両、小型車両、二輪車、歩行者など）を判別する。物体確定部３８における対象物体の判別方法については後述する。物体確定部３８は、判別結果を外部のセキュリティシステムまたは表示部に出力する。

次に、情報生成部３１が生成する電力プロファイル情報について説明する。図４は、本開示の実施の形態１における電力プロファイル情報の一例を示す図である。図４の横軸は、レーダ装置Ｒの方位角を示し、縦軸は、レーダ装置Ｒからの距離を示す。以降の説明では、レーダ装置Ｒの方位角とレーダ装置Ｒからの距離とにより規定される平面をレーダ測定平面と呼ぶ。

図４の例では、横軸の方位角を１０°毎に区切り、縦軸の距離を１０ｍ毎に区切ってセルを構成している。なお、本実施の形態において、セルの角度範囲および距離範囲は、上記のものに限定されない。各範囲は、高い分解能を得られるという点で、より小さい方が好ましい。

また、図４において、電力プロファイル情報における各セルの濃淡は、反射強度を示し、色が濃い程反射強度が強いことを示している。なお、説明を簡単にするために、特定のセル以外のセルの色は同じ白色としている。

また、本実施の形態では、各セルの反射強度（代表値）は、そのセルの範囲における受信電力の最大値とする。ただし、本開示はこれに限られず、各セルの反射強度（代表値）を、そのセルの範囲における受信電力の平均値等、他の値を用いてもよい。

また、以下では、図４に示すような電力プロファイル情報の各セルを、適宜、１つの点として取り扱って説明を行う。

次に、捕捉領域算出部３２における捕捉領域の算出方法について図４および図５を用いて説明する。

捕捉領域算出部３２は、まず、図４に示す電力プロファイル情報から捕捉点を算出する。捕捉点は、電力プロファイル情報における反射強度の極大点である。反射強度の極大点の算出方法は、公知の方法を用いてよい。例えば、ある特定の点とその点に隣接する点の反射強度を比較し、当該特定の点の反射強度が、隣接する点の反射強度よりも一定値以上大きければ、当該特定の点を反射強度の極大点としてよい。

図４に示す電力プロファイル情報の場合、捕捉領域算出部３２は、反射強度の極大点である捕捉点ａ１、ａ２、および、ａ３を算出する。

次に、捕捉領域算出部３２は、電力プロファイル情報を画像として取り扱い、ｒｅｇｉｏｎ ｇｒｏｗｉｎｇ画像処理手法などの公知の画像処理手法を用いて、捕捉点ａ１、ａ２、および、ａ３それぞれを取り囲む捕捉領域を算出する。ｒｅｇｉｏｎ ｇｒｏｗｉｎｇ画像処理手法の詳細については、非特許文献１を参照されたい。

図５は、本開示の実施の形態１における捕捉領域の算出結果の一例を示す図である。図５の横方向は、レーダ装置Ｒの方位角に対応し、縦方向は、レーダ装置Ｒからの距離に対応する。図５に示す捕捉領域Ａ１、Ａ２、および、Ａ３は、それぞれ、捕捉点ａ１、ａ２、および、ａ３を取り囲む局所領域である。また、捕捉領域Ａ１、Ａ２、および、Ａ３は、レーダ測定平面上の局所領域である。通常、捕捉点よりも捕捉領域の方がノイズの影響を受けにくい。

次に、マーカー算出部３５におけるマーカーの算出方法について説明する。マーカー算出部３５は、レーダ測定平面上の局所領域である捕捉領域から、カメラ画像の平面上の部分領域であるマーカーを算出する。以降の説明では、カメラ画像の水平方向および垂直方向により規定される平面をカメラ画像平面と呼ぶ。なお、レーダ測定平面の座標とカメラ画像平面の座標は、一致しない。そのため、マーカー算出部３５は、座標変換を行って、捕捉領域からマーカーを算出する。以下では、マーカー算出部３５が対象物体Ｔ１に対応する捕捉領域Ａから、マーカーを算出する場合を説明する。

具体的に、マーカー算出部３５は、レーダ測定平面の座標からレーダ測定三次元空間の座標への変換、レーダ測定三次元空間の座標からカメラ三次元空間の座標への変換、および、カメラ三次元空間の座標からカメラ画像平面の座標への変換、の３つの座標変換を順に行う。

レーダ測定三次元空間は、レーダ装置Ｒがスキャンする空間であり、カメラ三次元空間は、カメラ装置Ｃが撮影を行う空間である。レーダ装置Ｒとカメラ装置Ｃの設置位置が異なれば、レーダ測定三次元空間とカメラ三次元空間は、一致しない場合もある。

ここで、レーダ測定平面における捕捉領域Ａの方位角範囲をθ１〜θ２、距離範囲をｄ１〜ｄ２とする。方位角範囲は、捕捉領域Ａの最小方位角θ１および最大方位角θ２から決定され、距離範囲は、捕捉領域Ａの最小距離ｄ１および最大距離ｄ２から決定される。

（レーダ測定平面の座標からレーダ測定三次元空間の座標への変換）
まず、レーダ測定平面の座標からレーダ測定三次元空間の座標への変換について説明する。この変換は、捕捉領域Ａの方位角範囲θ１〜θ２および距離範囲ｄ１〜ｄ２から、捕捉領域Ａに対応するレーダ測定三次元空間の位置および大きさを算出する変換である。

図６は、レーダ測定三次元空間の座標系の一例を示す図である。図６に示す原点ＯおよびＸｒ−Ｙｒ−Ｚｒは、レーダ測定三次元空間の座標系を示している。レーダ装置Ｒは、Ｚｒ軸上に設置される。高さＨｒは、レーダ装置Ｒが設置される高さに対応する。また、図７に示すレーダ装置Ｒからの距離ｄは、レーダ測定平面における縦軸の距離ｄと対応する。地面距離Ｌは、Ｘｒ−Ｙｒ平面上の対象物体Ｔ１までの地面（路面）上の距離である。高さｈは、対象物体Ｔ１の高さである。なお、対象物体Ｔ１の位置および形状は、模式的なものである。

レーダ装置Ｒは、Ｘｒ＝０におけるＹｒ−Ｚｒ平面を方位角θ＝０°の方向とし、Ｚｒ軸を軸として、図６に示すレーダ測定三次元空間をスキャンする。このとき、レーダ測定平面における横軸の方位角θは、レーダ装置Ｒのスキャン面のレーダ測定三次元空間のＸｒ−Ｙｒ平面上に対する投影位置に対応する。例えば、スキャン面の投影位置とＹｒ軸となす角が、方位角θに対応する。図６は、方位角θが０°に対応する位置に対象物体Ｔ１が存在する場合を示している。

通常、レーダ装置Ｒは、方位角θおよび距離ｄに対応する反射強度を測定するが、一方で、レーダ装置Ｒは、図６のＺｒ軸の方向、より詳細には図６における俯仰角φを精度よく検知しない。つまり、レーダ装置Ｒは、反射強度から対象物体Ｔ１の高さｈを検知することができず、その結果、対象物体Ｔ１までの地面距離Ｌを検知困難である。

そこで、本実施の形態におけるマーカー算出部３５は、対象物体Ｔ１の最大可能高さｈｐを予め設定しておく。最大可能高さｈｐは、対象物体Ｔ１の高さとして最大限可能な値である。例えば、対象物体Ｔ１が歩行者である場合には、最大可能高さｈｐを２ｍとする。なお、この段階において、対象物体Ｔ１が何であるかは確定されていないが、最大可能高さｈｐは、対象物体Ｔ１に対応する捕捉領域の大きさや反射強度等に基づいて設定される。

マーカー算出部３５は、最大可能高さｈｐを用いて、レーダ測定平面上の距離ｄからレーダ測定三次元空間における対象物体Ｔ１までの地面距離Ｌの範囲を算出する。

図７は、距離ｄ、最大可能高さｈｐ、および、地面距離Ｌの関係を示す図である。図７は、対象物体Ｔ１で反射する信号が対象物体Ｔ１の地面付近（図７におけるＺｒ＝０）で反射する場合と、対象物体Ｔ１で反射する信号が対象物体Ｔ１の最大可能高さｈｐ付近で反射する場合とを示す。

図７に示すように、地面距離Ｌは、１つの反射強度の距離ｄに対して、地面付近で反射する場合の地面距離Ｌ１と最大可能高さｈｐ付近で反射する場合の地面距離Ｌ２の間の範囲になる。

マーカー算出部３５は、捕捉領域Ａの距離範囲ｄ１〜ｄ２について、距離ｄ１に対する地面距離Ｌ１（Ｌ１１）および距離ｄ１に対する地面距離Ｌ２（Ｌ１２）を算出し、距離ｄ２に対する地面距離Ｌ１（Ｌ２１）および距離ｄ２に対する地面距離Ｌ２（Ｌ２２）を算出する。そして、マーカー算出部３５は、Ｌ１１、Ｌ１２、Ｌ２１、および、Ｌ２２の中の最小値Ｌｍｉｎおよび最大値Ｌｍａｘを判定する。その結果、マーカー算出部３５は、捕捉領域Ａの距離範囲ｄ１〜ｄ２から、Ｙｒ軸方向の地面距離範囲Ｌｍｉｎ〜Ｌｍａｘを算出する。

また、上記の通り、レーダ測定平面における横軸の方位角θは、レーダ装置Ｒのスキャン面のＸｒ−Ｙｒ平面上における投影位置に対応するので、マーカー算出部３５は、方位角範囲θ１〜θ２からＸｒ−Ｙｒ平面上における対象物体Ｔ１の方位角範囲θ１〜θ２を算出する。

（レーダ測定三次元空間の座標からカメラ三次元空間の座標への変換）
次に、レーダ測定三次元空間の座標からカメラ三次元空間の座標への変換について説明する。レーダ装置Ｒの設置位置およびカメラ装置Ｃの設置位置はそれぞれ既知であるため、レーダ測定三次元空間の座標からカメラ三次元空間の座標への変換は、標準の座標変換方式を用いて行われる。

この変換を行うことによって、レーダ装置Ｒの設置位置とカメラ装置Ｃの設置位置が異なる場合においても、レーダ測定平面上の局所領域である捕捉領域から、カメラ画像の平面上の部分領域であるマーカーを算出できる。

以下では、説明を簡単にするため、カメラ三次元空間は、Ｘｒ−Ｙｒ−Ｚｒの座標系を有するレーダ測定三次元空間と同一であるとする。つまり、レーダ測定三次元空間における方位角範囲θ１〜θ２およびＹｒ軸方向の地面距離範囲Ｌｍｉｎ〜Ｌｍａｘは、カメラ三次元空間においてそのまま用いて説明することとする。

（カメラ三次元空間の座標からカメラ画像平面の座標への変換）
次に、カメラ三次元空間の座標からカメラ画像平面の座標への変換について説明する。この変換は、カメラ三次元空間（以下の説明では、レーダ測定三次元空間と同一）における方位角範囲θ１〜θ２およびＹｒ軸方向の地面距離範囲Ｌｍｉｎ〜Ｌｍａｘから、カメラ画像平面上のそれぞれに対応する範囲を算出する変換である。この変換によって得られるカメラ画像平面上の範囲、つまり、部分領域が捕捉領域Ａに対するマーカーである。

ここでは、まず、カメラ三次元空間におけるＹｒ軸方向の地面距離範囲Ｌｍｉｎ〜Ｌｍａｘから、対応するカメラ画像平面上の範囲を算出する方法について説明する。

図８は、カメラ三次元空間の座標からカメラ画像平面の座標への変換の説明に供する図である。図９は、カメラ画像平面の一例を示す図である。図９は、図８に示す空間において、カメラ装置Ｃが撮影する画像を模式的に示すものである。ここでは、説明のため、図９のカメラ画像平面を示しており、マーカー算出部３５は、実際に撮影される画像、つまり、カメラ画像取得部３３が取得した画像を用いている。

図８に示す原点Ｏ及びＸｒ−Ｙｒ−Ｚｒは、カメラ三次元空間の座標系を示している。カメラ装置Ｃは、Ｚｒ軸上に設置される。高さＨｃは、カメラ装置Ｃが設置される高さに対応する。以下では、カメラ装置Ｃの位置、より詳細にはカメラ装置Ｃが画像を撮影する中心点を点Ｃとし、点ＣがＺｒ軸の高さＨｃの位置にあるとして説明する。

図８に示す角度∠ＰＣＱは、カメラ装置Ｃの垂直方向の画角範囲である。図８および図９に示す点Ｐおよび点Ｑは、それぞれ、カメラ装置Ｃの画角範囲の下限と上限に対応する。点Ｐおよび点Ｑは、カメラ装置Ｃの画角範囲から算出される。

また、図８におけるＸｒ＝０におけるＹｒ−Ｚｒ平面は、図９におけるＰＱ線分に対応する。また、図８におけるＸｒ＝０は、カメラ装置Ｃの水平方向の画角範囲の中央に対応する。

図８に示す消失点Ｆは、図９に示すように、カメラ画像平面における路面ｐの無限遠点である。消失点Ｆは、公知の方法で算出される。

図８に示す地面距離範囲Ｌｍｉｎ〜Ｌｍａｘは、レーダ測定平面の座標からレーダ測定三次元空間の座標への変換において得られた地面距離範囲である。以下では、地面距離範囲Ｌｍｉｎ〜Ｌｍａｘは、Ｙｒ軸上の点Ｋ〜点Ｊの範囲として説明する。

図８および図９に示すように、点Ｊおよび点Ｋに対応するカメラ画像平面上の点を、それぞれ点Ｖおよび点Ｕとする。Ｙｒ軸方向の地面距離範囲Ｌｍｉｎ〜Ｌｍａｘから対応するカメラ画像平面上の範囲の算出は、すなわち、カメラ画像平面上における点Ｕおよび点Ｖの位置を算出することである。

まず、カメラ画像平面上における点Ｕの位置を算出する方法を説明する。

消失点Ｆ、点Ｐ、および、点Ｑについて、∠ＰＣＦ：∠ＰＣＱ＝ＰＦ：ＰＱの関係が成り立つ。∠ＰＣＦおよび∠ＰＣＱは、図８に示すカメラ画像三次元空間における角度であり、ＰＦおよびＰＱは、図９に示すカメラ画像平面における長さである。ここで、∠ＰＣＱはカメラ装置Ｃの垂直方向の画角範囲であり、ＰＱはカメラ画像の縦幅なので、いずれもカメラ装置Ｃの仕様によって定まる既知の値である。また、消失点Ｆは公知の方法で算出されるので、ＰＦも既知である。∠ＰＣＦは、上記の関係から算出される。

次に、図８に示すように、ＯＣの長さである高さＨｃ、および、ＯＫの長さである地面距離Ｌｍｉｎから三角関数等を用いて、∠ＯＫＣを算出する。図８の点Ｃと点Ｆを結ぶ直線がＹｒ軸に平行なので、算出した∠ＯＫＣは、∠ＵＣＦと同一である。

次に、算出した∠ＰＣＦおよび∠ＵＣＦについて、∠ＵＣＦ：∠ＰＣＦ＝ＵＦ：ＰＦという関係が成り立つ。ＰＦおよびＵＦは、図９に示すカメラ画像平面における長さである。ＵＦの長さは、この関係から算出される。

算出したＵＦから図９に示すカメラ画像平面における点Ｕの位置が算出される。図９に示すカメラ画像平面における点Ｖについても、点Ｕと同様の手順で算出される。

上記の通り、マーカー算出部３５は、Ｙｒ軸方向の地面距離範囲Ｌｍｉｎ〜Ｌｍａｘから、カメラ画像平面上における点Ｕおよび点Ｖの位置を算出する。

次に、カメラ三次元空間における方位角範囲θ１〜θ２から、対応するカメラ画像平面上の範囲を算出する方法について説明する。

カメラ三次元空間における方位角は、図９に示すカメラ画像平面における水平方向のＰＱからの距離に対応する。また、カメラ装置Ｃの水平方向の画角範囲は、仕様で定められる既知の範囲であり、カメラ画像平面の水平方向の左端および右端に対応する。マーカー算出部３５は、方位角範囲θ１〜θ２およびカメラ装置Ｃの水平方向の画角範囲に基づいて、対応するカメラ画像平面上における範囲、つまり、水平方向のＰＱからの距離を算出する。

図９に示す垂直方向の線θ１およびθ２は、方位角範囲のθ１およびθ２に対応する。

上記で説明したように、マーカー算出部３５は、カメラ三次元空間における方位角範囲θ１〜θ２およびＹｒ軸方向の地面距離範囲Ｌｍｉｎ〜Ｌｍａｘから、カメラ画像平面上のそれぞれに対応する範囲を算出する。そして、マーカー算出部３５は、算出した範囲を囲む矩形枠をマーカーとする。図９のマーカーＢは、捕捉領域Ａに対応するマーカーである。マーカーＢは、算出した点Ｕおよび点Ｖを通る水平方向の直線と線θ１および線θ２によって囲まれる矩形である。

図１０は、図５に示す捕捉領域に対応するマーカーの算出結果の一例を示す図である。図１０は、図５に示す捕捉領域Ａ１、Ａ２、および、Ａ３にそれぞれ対応する、カメラ画像平面上におけるマーカーＢ１、Ｂ２、および、Ｂ３を示す。また、図１０では、マーカーＢ１、Ｂ２、および、Ｂ３は、エッジ算出部３４によって算出されたカメラ画像のエッジと重畳されている。図１０に示すように、レーダ測定平面上の各捕捉領域から、カメラ画像平面上のマーカーが矩形として算出される。

なお、上記で説明した各座標変換によるマーカーの算出方法は一例であり、本開示はこれに限定されない。マーカー算出部３５は、実空間におけるレーダ装置Ｒが測定可能な方位角の範囲、および、距離の範囲、ならびに、カメラ装置Ｃが撮影可能な範囲に基づいて、捕捉領域を変換し、マーカーを算出することができる。なお、実空間におけるレーダ装置Ｒが測定可能な方位角の範囲、および、距離の範囲は、レーダ装置Ｒの設置位置、および、レーダ装置Ｒの仕様で予め決定される。また、カメラ装置Ｃが撮影可能な範囲は、カメラ装置Ｃの設置位置、および、カメラ装置Ｃの仕様で予め決定される。

また、上記で説明したマーカーは、矩形であるとしたが、本開示はこれに限定されない。マーカーは、矩形ではない形状であってもよい。

次に、コンポーネント領域算出部３６におけるコンポーネント領域の算出方法について説明する。

まず、コンポーネント領域算出部３６は、マーカーとエッジを重畳し、１つのマーカーがエッジに重なる場合に、マーカーを分割する。図１０の場合、マーカーＢ２がエッジに重なっているので、コンポーネント領域算出部３５は、マーカーＢ２を分割する。

図１１は、コンポーネント領域算出部３６がマーカーを分割する場合の一例を示す図である。図１１に示すように、図１０において、エッジに重なっていたマーカーＢ２は、マーカーＢ２１およびマーカーＢ２２に分割される。

次に、コンポーネント領域算出部３６は、各マーカーを領域拡張のシードとし、エッジを領域拡張の境界として、ウォーターシェッド（Ｗａｔｅｒｓｈｅｄ）アルゴリズムなどの公知の画像処理手法を利用して領域拡張を行い、コンポーネント領域を算出する。コンポーネント領域とは、物体を構成する一部分に対応するカメラ画像平面上の部分領域である。

図１２は、コンポーネント算出部３６による領域拡張の結果の一例を示す図である。領域拡張の結果、マーカーＢ１とマーカーＢ２２からコンポーネント領域Ｃ１が算出され、マーカーＢ２１からコンポーネント領域Ｃ２が算出され、マーカーＢ３からコンポーネント領域Ｃ３が算出される。

次に、グループ化処理部３７におけるコンポーネント領域のグルーピングの方法について説明する。

グループ化処理部３７は、コンポーネント領域算出部３６が算出したコンポーネント領域のうち、同一の物体に属するコンポーネント領域をグルーピングする。コンポーネント領域が同一の物体に属するか否かは、カメラ画像から得られる情報およびレーダ測定から得られる情報の一方または両方によって判定される。

カメラ画像から得られる情報としては、例えば、カメラ画像における各コンポーネント領域のテクスチャである。グループ化処理部３７は、隣り合うコンポーネント領域のテクスチャを比較し、テクスチャが類似する場合に、隣り合うコンポーネント領域をグルーピングする。テクスチャが類似するか否かは、所定の閾値などによって判定されてもよい。

レーダ測定から得られる情報としては、例えば、ドップラー情報がある。ドップラー情報は、レーダ測定平面における各点の速度の情報である。ここで、ドップラー情報はレーダ測定平面における情報であり、コンポーネント領域はカメラ画像平面上の領域である。そのため、コンポーネント領域が同一の物体に属するか否かをドップラー情報によって判定する場合、コンポーネント領域をレーダ測定平面上の領域に座標変換を行う必要がある。

コンポーネント領域をレーダ測定平面上の領域に座標変換する方法は、上記で説明した捕捉領域からマーカーを算出する方法の逆の手順で行えばよい。

図１３は、コンポーネント領域をレーダ測定平面上の領域に座標変換した結果の一例を示す図である。図１３の横方向は、レーダ装置Ｒの方位角に対応し、縦方向は、レーダ装置Ｒからの距離に対応し、各点（各セル）にはドップラー情報が含まれる。図１３の領域Ｄ１、Ｄ２、および、Ｄ３は、それぞれ、図１２に示すコンポーネント領域Ｃ１、Ｃ２、および、Ｃ３に対応する。

グループ化処理部３７は、領域Ｄ１、Ｄ２、および、Ｄ３に含まれるドップラー情報を比較し、ドップラー情報が類似する場合に、カメラ画像平面上で隣り合うコンポーネント領域をグルーピングする。ドップラー情報が類似するか否かは、所定の閾値などによって判定されてもよい。

図１４は、グループ化処理部３７によるグルーピングの結果の一例を示す図である。図１４に示すように、図１２のコンポーネント領域Ｃ１およびＣ２がグルーピングされて、対象物体領域Ｅ１となり、図１２のコンポーネント領域Ｃ３が他とグルーピングされずに、対象物体領域Ｅ２となる。

図１４に示す例では、グループ化処理部３７は、グルーピングの結果、２つの対象物体領域Ｅ１およびＥ２を取得する。

次に、物体確定部３８における対象物体の判別方法について説明する。

物体確定部３８は、グループ化処理部３７のグルーピングの結果である対象物体領域に基づいて、対象物体の位置、大きさ、形状、更に、物体の種別を判別する。本開示の実施の形態１では、物体確定部３８における具体的な判別方法を限定しない。例えば、物体確定部３８は、物体の種別に対応する対象物体領域のサイズおよび形状のテンプレートモデルを予め保持し、テンプレートモデルとグループ化処理部３７のグルーピングの結果である対象物体領域を比較することによって、判別を行ってもよい。あるいは、物体確定部３８は、物体の種別に対応する反射強度の分布のテンプレートモデルと比較することによって、判別を行ってもよい。

例えば、図１４に示す対象物体領域Ｅ１およびＥ２に対してテンプレートモデルを用いて判別する場合を説明する。物体確定部３８は、対象物体領域Ｅ１と保持する複数のテンプレートモデルを比較し、対象物体領域Ｅ１が車両のテンプレートモデルと一致すると判定する。また、物体確定部３８は、対象物体領域Ｅ２と保持する複数のテンプレートモデルを比較し、対象物体領域Ｅ２が歩行者のテンプレートモデルと一致すると判定する。

上記で説明した本実施の形態によれば、レーダ測定平面上における捕捉領域をカメラ画像平面上におけるマーカーに変換し、マーカーをカメラ画像に重畳することによって、対象物体の検出精度を向上させることができる。つまり、レーダの測定情報とカメラの測定情報とを効果的に重畳することによって、対象物体の検出精度を向上させることができる。

（実施の形態２）
図１５は、本開示の実施の形態２に係る物体検出装置１５０の主要構成を示すブロック図である。図１５において、図３と共通する構成には、図３と同一の符号を付しその詳しい説明を省略する。図１５に示す物体検出装置１５０は、図３に示す物体検出装置３０の情報生成部３１および捕捉領域算出部３２がそれぞれ情報生成部１５１および捕捉領域算出部１５２に置き換わる構成を有する。

情報生成部１５１は、実施の形態１の情報生成部３１と同様に、電力プロファイル情報を生成する。更に、情報生成部１５１は、レーダ装置Ｒから受け取る遅延プロファイルから、各セルのドップラー速度を示すドップラープロファイル情報を生成する。ドップラープロファイル情報は、横軸が方位角、縦軸が距離を示す。

捕捉領域算出部１５２は、電力プロファイル情報およびドップラープロファイル情報に基づいて、捕捉領域を算出する。

具体的には、捕捉領域算出部１５２は、実施の形態１で説明した方法によって、電力プロファイル情報から捕捉領域を算出する。そして、捕捉領域算出部１５２は、捕捉領域に含まれる各点（各セル）のドップラー速度を比較し、ドップラー速度が一致するか否かを判定する。捕捉領域算出部１５２は、ドップラープロファイルの値が一致しない点（セル）を捕捉領域から除外する。

捕捉領域算出部１５２は、算出した捕捉領域をマーカー算出部３５へ出力する。マーカー算出部３５以降では、実施の形態１で説明した処理と同様の処理を実行する。

上記で説明した本実施の形態によれば、ドップラー速度を用いて捕捉領域から一部の点（セル）を除外することによって、異なる物体から反射される反射強度が１つの捕捉領域に含まれてしまうことを避けることをできる。

なお、本実施の形態では、捕捉領域算出部１５２は、電力プロファイル情報およびドップラープロファイル情報に基づいて捕捉領域を算出するとしたが、ドップラープロファイル情報に基づいて捕捉領域を算出してもよい。

（実施の形態３）
図１６は、本開示の実施の形態３に係る物体検出装置１６０の主要構成を示すブロック図である。図１６において、図３と共通する構成には、図３と同一の符号を付しその詳しい説明を省略する。図１６に示す物体検出装置１６０は、図３に示す物体検出装置３０のグループ化処理部３７と物体確定部３８の間に規範枠確定部１６１が挿入される構成を有する。

規範枠確定部１６１は、グループ化処理部３７におけるグルーピングの結果である対象物体領域をカバーする規範枠を求める。規範枠は、対象物体の形状を反映した枠であり、例えば、矩形の枠である。

規範枠確定部１６１は、求めた規範枠で対象物体領域を囲い、グループ化処理部３７においてグルーピングが困難であった対象物体領域のグルーピングを補間する。

上記で説明した本実施の形態によれば、規範枠を用いてグルーピングの補間を行うことによって、対象物体領域の形状をより物体の形状に近づけることができ、物体確定部３８における物体の確定の精度を向上させることができる。

（実施の形態４）
図１７は、本開示の実施の形態４に係る物体検出装置１７０の主要構成を示すブロック図である。図１７において、図３と共通する構成には、図３と同一の符号を付しその詳しい説明を省略する。図１７に示す物体検出装置１７０は、図３に示す物体検出装置３０のグループ化処理部３７と物体確定部３８の間に領域追跡部１７１が挿入される構成を有する。

領域追跡部１７１は、異なる時刻間で、グループ化処理部３７のグルーピングの結果である対象物体領域の位置および形状を追跡する。

具体的に、領域追跡部１７１は、ある検出タイミングｔ１における対象物体領域を保持する。領域追跡部１７１は、次の検出タイミングｔ２における対象物体領域をグループ化処理部３７から受け取り、検出タイミングｔ１における対象物体領域と検出タイミングｔ２における対象物体領域をリンクさせる。そして、領域追跡部１７１は、リンクさせた対象物体領域の形状の変化や位置の変化を追跡し、対象物体領域の動きを検出する。

領域追跡部１７１は、対象物体領域の動きに関する情報を物体確定部３８へ出力する。物体確定部３８は、対象物体領域から対象物体を判別する際に、対象物体領域の動きに関する情報を参照してもよい。また、物体確定部３８は、対象物体を判別した後、対象物体の情報と共に当該対象物体の動きに関する情報を外部の表示部又はセキュリティシステム等に出力してもよい。

上記で説明した本実施の形態によれば、異なる検出タイミングにおける対象物体領域の位置および形状を追跡し、対象物体領域の動きを検出することによって、物体の判別の精度を向上させることができ、さらに、物体の動きに関する情報を得ることができる。

なお、上記で説明した各実施の形態は、適宜組み合わせてもよい。例えば、実施の形態４に係る物体検出装置１７１において、グループ化処理部３７と領域追跡部１７１の間に実施の形態３にて説明した規範枠確定部１６１が挿入されてもよい。このような構成の場合、対象物体領域の形状をより物体の形状に近づけることができ、領域追跡部１７１による対象物体の動きの検出精度を向上させることができる。

なお、上記各実施の形態では、本開示をハードウェアで構成する場合を例にとって説明したが、本開示はソフトウェアで実現することも可能である。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュアラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

本開示に係る物体検出装置、および、物体検出方法は、車載用レーダ装置およびカメラ装置、ならびに、道路インフラシステム用レーダ装置およびカメラ装置、ならびに、施設監視システム用レーダ装置およびカメラ装置に用いるのに好適である。車載用レーダ装置およびカメラ装置に用いる場合、自車両周辺にいる歩行者、二輪車、他車両を検出し、自車両の運転手に警報したりまたは運転システムを制御したりし、衝突の危険を回避することを実現できる。また、インフラシステム用レーダ装置およびカメラ装置に用いる場合、道路および交差点にいる歩行者、二輪車、車両などを検出し、交通状況を監視すると共に、インフラシステムを制御したり車両運転者に情報伝達したりし、交通量の管理と交通事故の回避を行うことを実現できる。特定施設の監視システム用レーダ装置およびカメラ装置に用いる場合、空中からの飛行体や鳥、または地上からの各種車両や侵入者を検出し、セキュリティシステムに情報を伝達し、不審者の侵入を防止することができる。

３０、１５０、１６０、１７０ 物体検出装置
３１、１５１ 情報生成部
３２、１５２ 捕捉領域算出部
３３ カメラ画像取得部
３４ エッジ算出部
３５ マーカー算出部
３６ コンポーネント領域算出部
３７ グループ化処理部
３８ 物体確定部
１６１ 規範枠確定部
１７１ 領域追跡部

Claims (10)

1. レーダ装置が送信したレーダ信号の各送信方向について前記レーダ装置からの距離を所定の間隔毎に区切った複数のセルに対して、前記レーダ信号が１つ以上の物体によって反射された反射信号を前記レーダ装置が受信した受信信号の電力の代表値である反射強度をそれぞれ算出し、前記反射強度を用いて、前記複数のセルに対して電力プロファイル情報をそれぞれ生成する情報生成部と、
   前記複数のセルの前記電力プロファイル情報の中から前記反射強度の極大値を示すセルを、前記１つ以上の物体を捕捉する捕捉点として算出し、前記捕捉点を囲む１つ以上のセルである捕捉領域を算出する捕捉領域算出部と、
   カメラ装置が取得した画像に含まれる前記１つ以上の物体のエッジを抽出するエッジ抽出部と、
   前記レーダ装置の測定範囲および前記カメラ装置の撮影範囲に基づいて、前記捕捉領域を前記画像における部分領域に変換し、前記部分領域を、前記捕捉領域に対応する前記画像の領域であるマーカーとして算出するマーカー算出部と、
   前記エッジを境界として前記マーカーを拡張することによって、前記１つ以上の物体を構成する一部分に対応するコンポーネント領域を算出するコンポーネント領域算出部と、
   前記コンポーネント領域を対象物体領域としてグループ化するグループ化処理部と、
   前記対象物体領域から前記１つ以上の物体を判定し、前記判定結果を出力する物体確定部と、
   を具備する物体検出装置。
2. 前記マーカー算出部は、前記１つ以上の物体の高さとして最大限可能な値を示す高さ情報を予め有し、前記高さ情報を前記１つ以上の物体の高さとして用いて前記捕捉領域を変換し、前記マーカー領域を算出する、
   請求項１に記載の物体検出装置。
3. 前記コンポーネント領域算出部は、前記マーカーを前記エッジと重畳し、前記マーカーを分割する、
   請求項１または請求項２に記載の物体検出装置。
4. 前記情報生成部は、前記受信信号から前記レーダ装置が求めた遅延プロファイルに基づいて前記セル毎にドップラー速度を算出し、前記各セルの前記ドップラー速度を示すドップラープロファイル情報を生成し、
   前記捕捉領域算出部は、前記捕捉領域に含まれる前記１つ以上のセルの前記ドップラー速度を比較し、前記ドップラープロファイルの値が一致しないセルを前記捕捉領域から除外する、
   請求項１から請求項３のいずれか一項に記載の物体検出装置。
5. 前記対象物体領域を含む規範枠を設け、前記規範枠を用いて前記対象物体領域のグループ化の補間を行う規範枠確定部を更に具備する、
   請求項１から請求項４のいずれか一項に記載の物体検出装置。
6. 時間経過に伴う前記対象物体領域の形状の変化を追跡し、前記対象物体領域の動きに関する情報を検出する領域追跡部を更に具備する、
   請求項１から請求項５のいずれか一項に記載の物体検出装置。
7. 請求項１から請求項６のいずれか一項に記載の物体検出装置と、
   前記物体検出装置に接続されるレーダ装置と、
   を有する車載レーダ装置。
8. 請求項１から請求項６のいずれか一項に記載の物体検出装置と、
   前記物体検出装置に接続されるレーダ装置と、
   と有する道路インフラシステム用レーダ装置。
9. 請求項１から請求項６のいずれか一項に記載の物体検出装置と、
   前記物体検出装置に接続されるレーダ装置と、
   と有する監視システム用レーダ装置。
10. レーダ装置が送信したレーダ信号の各送信方向について前記レーダ装置からの距離を所定の間隔毎に区切った複数のセルに対して、前記レーダ信号が１つ以上の物体によって反射された反射信号を前記レーダ装置が受信した受信信号の電力の代表値である反射強度をそれぞれ算出し、前記反射強度を用いて、前記複数のセルに対して電力プロファイル情報をそれぞれ生成し、
    前記複数のセルの前記電力プロファイル情報の中から前記反射強度の極大値を示すセルを、前記１つ以上の物体を捕捉する捕捉点として算出し、前記捕捉点を囲む１つ以上のセルである捕捉領域を算出し、
    カメラ装置が取得した画像に含まれる前記１つ以上の物体のエッジを抽出し、
    前記レーダ装置の測定範囲および前記カメラ装置の撮影範囲に基づいて、前記捕捉領域を前記画像における部分領域に変換し、前記部分領域を、前記捕捉領域に対応する前記画像の領域であるマーカーとして算出し、
    前記エッジを境界として前記マーカーを拡張することによって、前記１つ以上の物体を構成する一部分に対応するコンポーネント領域を算出し、
    前記コンポーネント領域を対象物体領域としてグループ化し、
    前記対象物体領域から前記１つ以上の物体を判定し、前記判定結果を出力する、
    物体検出方法。