JP2010020414A

JP2010020414A - 物体検出装置、物体検出プログラム、および物体検出方法

Info

Publication number: JP2010020414A
Application number: JP2008178247A
Authority: JP
Inventors: Masayoshi Shimizu; 雅芳清水; Hiroyuki Kobayashi; 弘幸小林
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2008-07-08
Filing date: 2008-07-08
Publication date: 2010-01-28
Anticipated expiration: 2028-07-08
Also published as: JP5470762B2

Abstract

【課題】複数のセンサを用いて物体の有無を検出する検出精度を向上すること。
【解決手段】車両検出部１２０は、カメラ部１１０によって取得された画像を用いて、検出対象領域の車両の有無を検出する。車両検出部１４０は、レーダ部１３０によって受信された反射波の強度分布を用いて、検出対象領域の車両の有無を検出する。車両位置比較部１５１は、車両検出部１２０および車両検出部１４０から通知される車両位置を比較し、それぞれの車両位置の対応関係を確認する。融合判定部１５２は、車両検出部１２０から通知された車両位置において車両検出部１４０が車両を検出していない場合は、レーダ部１３０から反射波の強度分布を取得する。そして、融合判定部１５２は、車両検出部１２０から通知された車両位置における反射波の強度を参照し、反射波の強度が０でなければ車両があると判定する。
【選択図】図１

Description

本発明は、物体検出装置、物体検出プログラム、および物体検出方法に関する。

近年、交通事故や渋滞などの道路交通問題を解決する取り組みとして、ＩＴＳ（Intelligent Transport Systems：高度道路交通システム）に関連する技術が数多く検討されている。具体的には、例えばミリ波レーダや可視光カメラなどのセンサを用いて車両の有無を検出し、車間距離を監視したり車両間の衝突を防止したりする技術が一般に知られている。

このようにセンサを用いて車両の有無を検出する場合、誤検出が生じると重大な事故を引き起こす虞があるため、車両の検出精度を向上することが非常に重要となる。そこで、１つのセンサのみを用いて車両の有無を検出するのではなく、複数のセンサを組み合わせて車両の有無を検出するセンサフュージョンと呼ばれる方法が注目されている。センサフュージョンにおいては、例えば照射したミリ波の反射波を受信するミリ波レーダと通常の可視光線を検知する可視光カメラとの組み合わせなど、互いに異なる特徴量を検知するセンサを組み合わせ、相補的に車両などの物体の有無が検出される。このため、たとえ１つのセンサが物体を検出不可能な条件下でも、他のセンサは物体を検出することが可能であり、検出漏れを防止することができる。

また、センサフュージョンの一例として、複数のセンサそれぞれの出力から、車両が存在する予測領域や確率密度を算出し、検出確率が高いセンサの出力を用いて車両を追尾し、車両の異常走行や停止を判定することが開示されている。

特開２０００−９９８７５号公報

しかしながら、従来のセンサフュージョンにおいては、複数のセンサがそれぞれ独立して用いられて物体の有無が検出されており、複数のセンサを用いているにも拘らず、物体の検出精度の向上には一定の限界があるという問題がある。すなわち、複数のセンサは、それぞれ異なる特徴量を検知するが、それぞれの特徴量から独立に物体の有無が検出されるため、結局は、各センサが個別に特徴量を検知して物体の有無を検出する場合と同程度の検出精度が得られるのみである。

そして、物体がないという検出結果に対応するセンサが得た原データについては、特に使用されることなく棄却されてしまう。したがって、厳密には、複数のセンサを融合して物体を検出しているわけではなく、それぞれのセンサを個別に用いて独立に物体を検出しているに過ぎない。このため、複数のセンサを用いて物体を検出したとしても、最終的な検出精度は１つ１つのセンサによる検出精度を超えることはなく、検出精度の向上が困難となっている。

本発明はかかる点に鑑みてなされたものであり、複数のセンサを用いて物体の有無を検出する検出精度を向上することができる物体検出装置、物体検出プログラム、および物体検出方法を提供することを目的とする。

上記課題を解決するために、物体検出装置は、第１のセンサによって検知された特徴量の原データを取得する第１取得部と、第２のセンサによって検知され、前記第１のセンサによって検知された特徴量とは異なる特徴量の原データを取得する第２取得部と、前記第１取得部によって取得された原データから物体の有無を検出する第１検出部と、前記第２取得部によって取得された原データから物体の有無を検出する第２検出部と、前記第１検出部によって物体が検出され、かつ前記第２検出部によって物体が検出されなかった場合、前記第１取得部または前記第２取得部によって取得された原データを参照して物体の有無を判定する判定部とを有する構成を採る。

また、物体検出プログラムは、コンピュータによって実行される物質検出プログラムであって、前記コンピュータに、第１のセンサによって検知された特徴量の原データを取得する第１取得ステップと、第２のセンサによって検知され、前記第１のセンサによって検知された特徴量とは異なる特徴量の原データを取得する第２取得ステップと、前記第１取得ステップにて取得された原データから物体の有無を検出する第１検出ステップと、前記第２取得ステップにて取得された原データから物体の有無を検出する第２検出ステップと、前記第１検出ステップおよび前記第２検出ステップにおける検出結果が互いに相反する場合、前記第１取得ステップまたは前記第２取得ステップにて取得された原データを参照して物体の有無を判定する判定ステップとを実行させるようにした。

また、物体検出方法は、第１のセンサによって検知された特徴量の原データを取得する第１取得ステップと、第２のセンサによって検知され、前記第１のセンサによって検知された特徴量とは異なる特徴量の原データを取得する第２取得ステップと、前記第１取得ステップにて取得された原データから物体の有無を検出する第１検出ステップと、前記第２取得ステップにて取得された原データから物体の有無を検出する第２検出ステップと、前記第１検出ステップおよび前記第２検出ステップにおける検出結果が互いに相反する場合、前記第１取得ステップまたは前記第２取得ステップにて取得された原データを参照して物体の有無を判定する判定ステップとを有するようにした。

これらによれば、２つのセンサを用いたそれぞれの物体検出結果が互いに相反する場合は、センサの原データを参照して物体の有無を判定するため、特に、物体なしとの検出結果に対応するセンサの原データを参照することにより、個々のセンサを独立に用いた検出結果のみではなく、より詳細な情報に基づく物体検出を実行することができる。換言すれば、２つのセンサを融合して相補的に利用し、精度良く物体を検出することができる。

本明細書に開示された物体検出装置、物体検出プログラム、および物体検出方法によれば、複数のセンサを用いて物体の有無を検出する検出精度を向上することができる。

本発明の骨子は、２つのセンサそれぞれによって得られた原データから物体の有無を検出した結果、一方のセンサの原データからは物体があるという検出結果が得られ、他方のセンサの原データからは物体がないという検出結果が得られた場合、物体がないという検出結果に対応するセンサの原データを参照し、物体の検出位置における信号強度が０でなければ、最終的に物体があると判断することである。以下、本発明の実施の形態について、図面を参照して詳細に説明する。以下においては、物体の一例として車両を検出する場合の処理について説明する。

（実施の形態１）
図１は、実施の形態１に係る物体検出装置の要部構成を示すブロック図である。同図に示す物体検出装置は、カメラ部１１０、車両検出部１２０、レーダ部１３０、車両検出部１４０、および融合部１５０を有している。さらに、融合部１５０は、車両位置比較部１５１および融合判定部１５２を有している。

カメラ部１１０は、車両の検出対象領域を撮像し、検出対象領域の画像を取得する。換言すれば、カメラ部１１０は、検出対象領域から反射する可視光線を特徴量として検知する。そして、カメラ部１１０は、取得された画像を車両検出部１２０へ出力する。なお、カメラ部１１０によって取得される画像は、可視光線を検知するセンサの原データに相当する。

車両検出部１２０は、カメラ部１１０によって取得された画像を用いて、検出対象領域に車両があるか否かを検出する。具体的には、車両検出部１２０は、例えば異なる時刻に撮像して得られた２画像から差分画像を作成し、差分画像における変化部分の大きさから車両の有無を検出する。すなわち、車両検出部１２０は、差分画像における変化部分の大きさが所定の閾値以上である場合に、移動中の車両があることを検出する。そして、車両検出部１２０は、検出対象領域中に車両がある場合には、それぞれの車両位置を融合部１５０の車両位置比較部１５１へ通知する。ただし、車両位置比較部１５１へ通知される車両位置には、誤検出の結果も含まれており、必ずしもすべての車両位置に実際に車両があるとは限らない。

レーダ部１３０は、車両の検出対象領域に対して例えばミリ波などの電磁波を照射し、検出対象領域からの反射波を受信する。換言すれば、レーダ部１３０は、検出対象領域から反射するミリ波を特徴量として検知する。そして、レーダ部１３０は、受信された反射波の強度分布を車両検出部１４０へ出力する。なお、レーダ部１３０によって受信される反射波の強度分布は、ミリ波を検知するセンサの原データに相当する。

車両検出部１４０は、レーダ部１３０によって受信された反射波の強度分布を用いて、検出対象領域に車両があるか否かを検出する。具体的には、車両検出部１４０は、反射波の強度が所定の閾値以上である範囲に車両があることを検出する。そして、車両検出部１４０は、検出対象領域中に車両がある場合に、それぞれの車両位置を融合部１５０の車両位置比較部１５１へ通知する。ただし、車両位置比較部１５１へ通知される車両位置には、誤検出の結果も含まれており、必ずしもすべての車両位置に実際に車両があるとは限らない。

融合部１５０は、車両検出部１２０および車両検出部１４０による車両検出結果を融合し、最終的に車両があると判断される位置を示す車両位置情報を出力する。このとき、融合部１５０は、車両検出部１２０および車両検出部１４０による車両検出結果が互いに相反する場合、カメラ部１１０またはレーダ部１３０における原データを参照し、最終的に車両があるか否かを判断する。

具体的には、車両位置比較部１５１は、車両検出部１２０から通知される車両位置と車両検出部１４０から通知される車両位置とを比較し、それぞれの車両位置の対応関係を確認する。すなわち、車両位置比較部１５１は、車両検出部１２０および車両検出部１４０によって同一の位置に車両があると検出されたか否かを判定する。この判定の結果、２つの車両検出部１２０、１４０によって同一の位置に車両があると検出されていれば、この位置には車両がある可能性が高いことになる。

融合判定部１５２は、車両検出部１２０および車両検出部１４０のいずれか一方のみによって車両があると検出されている車両位置について、車両が検出されなかったセンサ（カメラ部１１０またはレーダ部１３０）の原データを取得し、最終的な車両の有無を判定する。

具体的には、融合判定部１５２は、車両検出部１２０から通知された車両位置において車両検出部１４０が車両を検出していない場合は、車両検出部１４０に対応するレーダ部１３０から反射波の強度分布を取得する。そして、融合判定部１５２は、車両検出部１２０から通知された車両位置における反射波の強度を参照し、反射波の強度が０でなければ車両があると判定する。すなわち、融合判定部１５２は、レーダ部１３０の原データに対応する信号強度が０でなければ、車両検出部１４０による車両検出結果を破棄し、最終的に車両があると判定する。また、融合判定部１５２は、車両検出部１２０から通知された車両位置における反射波の強度が０であれば、車両検出部１２０における検出が誤検出であると判断し、車両がないと判定する。すなわち、融合判定部１５２は、レーダ部１３０の原データに対応する信号強度が０であると、車両検出部１４０による車両検出結果を維持し、最終的に車両がないと判定する。

一方、融合判定部１５２は、車両検出部１４０から通知された車両位置において車両検出部１２０が車両を検出していない場合は、車両検出部１２０に対応するカメラ部１１０から異なる時刻の２画像を取得する。そして、融合判定部１５２は、車両検出部１４０から通知された車両位置における２画像間の差分値を算出し、差分値が０でなければ車両があると判定する。すなわち、融合判定部１５２は、カメラ部１１０の原データに対応する信号強度が０でなければ、車両検出部１２０による車両検出結果を破棄し、最終的に車両があると判定する。また、融合判定部１５２は、車両検出部１４０から通知された車両位置における差分値が０であれば、車両検出部１４０における検出が誤検出であると判断し、車両がないと判定する。すなわち、融合判定部１５２は、カメラ部１１０の原データに対応する信号強度が０であると、車両検出部１２０による車両検出結果を維持し、最終的に車両がないと判定する。

なお、一般に、カメラとレーダを比較すると、レーダの方が天候などの環境とは無関係に物体の有無を検出することができるため、融合判定部１５２は、車両検出部１４０によって検出された車両位置には、無条件に車両があると判定するようにしても良い。この場合には、融合判定部１５２は、カメラ部１１０の原データに対応する信号強度が０であっても、車両検出部１２０による車両検出結果を破棄し、最終的に車両があると判定する。

融合判定部１５２は、上述したように、カメラ部１１０およびレーダ部１３０における原データを用いて最終的な車両位置を決定すると、決定された車両位置を示す車両位置情報を出力する。

次いで、上記のように構成された物体検出装置の動作について、図２に示すフロー図を参照して、具体的に例を挙げながら説明する。

まず、カメラ部１１０によって、車両の検出対象領域が異なる時刻に２回撮像され（ステップＳ１０１）、検出対象領域の２画像が取得される。そして、車両検出部１２０によって、２画像の差分画像が作成され（ステップＳ１０２）、差分画像から変化部分が抽出されることにより、検出対象領域内の車両位置が検出される（ステップＳ１０３）。具体的には、差分画像における変化部分は、物体の移動によって変化があったと考えられるため、車両検出部１２０によって、所定の閾値以上の大きさの変化部分が移動中の車両位置として検出される。

すなわち、例えば図３上段に示すように、カメラ部１１０によって画像２００ａが撮像されると、車両２０１ａ〜２０４ａが走行中であるため、これらの車両２０１ａ〜２０４ａが車両検出部１２０によって検出される。このため、図３下段に示すように、検出結果２００ｂにおいては、車両２０１ａ〜２０４ａに対応する車両位置２０１ｂ〜２０４ｂが示されている。また、画像２００ａにおいて、車両２０４ａの影２０５ａが車両２０４ａに伴って移動するため、車両検出部１２０によって、影２０５ａも車両として誤検出され、検出結果２００ｂにおいては、車両位置２０５ｂにも車両があるという結果が示されている。

このように、１つのセンサ（カメラ部１１０）のみによる車両検出では、車両の影などを車両として誤検出することがあり、検出結果２００ｂは、実際の車両位置を正確に示したものではない。

一方、カメラ部１１０によって撮像されるのと同時に、レーダ部１３０によって、車両の検出対象領域へミリ波が照射され（ステップＳ１０４）、車両からの反射波が受信される（ステップＳ１０５）。そして、車両検出部１４０によって、反射波の強度が所定の閾値と比較されることにより、検出対象領域内の車両位置が検出される（ステップＳ１０６）。具体的には、車両がある位置からは強い反射波が受信されると考えられるため、車両検出部１４０によって、反射波の強度が所定の閾値以上の位置が車両位置として検出される。

すなわち、例えば図４上段に示すように、レーダ部１３０によって反射波の強度分布２１０ａが得られると、反射波２１１ａおよび反射波２１２ａの強度が所定の閾値以上であるため、これらの反射波２１１ａ、２１２ａが車両検出部１４０によって車両として検出される。ここで、図４上段に示す反射波の強度分布２１０ａは、図３上段に示す画像２００ａとして撮像された検出対象領域からの反射波を表したものであり、反射波２１１ａは車両２０１ａからの反射波であり、反射波２１２ａは車両２０４ａからの反射波である。しかし、車両２０２ａ、２０３ａに関しては、反射波２１３ａのようなノイズ程度の反射波しか得られていない。したがって、車両２０２ａ、２０３ａは、車両検出部１４０においては車両として検出されない。結果として、図４下段に示すように、検出結果２１０ｂにおいては、車両位置２１１ｂ、２１２ｂにのみ車両があるという結果が示されることになる。上述したように、車両位置２１１ｂ、２１２ｂは、図３上段の画像２００ａに示す車両２０１ａ、２０４ａの車両位置である。

このように、１つのセンサ（レーダ部１３０）のみによる車両検出では、照射する電磁波の反射特性や検出対象の車両の形状によって車両の検出漏れが生じることがあり、検出結果２１０ｂは、実際の車両位置を正確に示したものではない。

車両検出部１２０および車両検出部１４０によって、それぞれ車両位置が検出されると、検出された車両位置が融合部１５０の車両位置比較部１５１へ通知される。そして、車両位置比較部１５１によって、車両検出部１２０によって検出された車両位置と車両検出部１４０によって検出された車両位置とが比較され、それぞれの車両位置が１対１に対応するか否かが判断される（ステップＳ１０７）。この判断の結果、すべての車両位置が一致している場合は（ステップＳ１０７Ｎｏ）、２つのセンサ（カメラ部１１０およびレーダ部１３０）による車両検出結果が完全に一致したことになるため、その旨が融合判定部１５２へ通知され、融合判定部１５２によって、検出された車両位置を示す車両位置情報が出力される（ステップＳ１１５）。

一方、車両位置の比較の結果、２つのセンサ（カメラ部１１０およびレーダ部１３０）由来の検出結果において、一致しない車両位置がある場合は（ステップＳ１０７Ｙｅｓ）、該当する車両位置が融合判定部１５２へ通知される。そして、融合判定部１５２によって、車両位置が画像のみから検出されたか、反射波の強度分布のみから検出されたかが判定される（ステップＳ１０８）。

この判定の結果、画像のみから検出され、反射波の強度分布からは検出されなかった車両位置については（ステップＳ１０８Ｙｅｓ）、レーダ部１３０から原データが取得される（ステップＳ１０９）。すなわち、融合判定部１５２によって、例えば図４上段に示した反射波の強度分布２１０ａが取得される。そして、融合判定部１５２によって、画像のみから検出された車両位置における反射波の強度が０であるか否かが判定される（ステップＳ１１０）。換言すれば、レーダ部１３０における原データに対応する信号強度が０であるか否かが判定される。

具体的には、図３下段の検出結果２００ｂにおいて、車両位置２０２ｂ、２０３ｂ、２０５ｂは、画像のみから検出された車両位置であるため、これらの車両位置における反射波の強度が０であるか否かが判定される。この結果、図４上段に示す反射波の強度分布２１０ａにおいて、車両位置２０２ｂ、２０３ｂにおける反射波２１３ａの強度が０ではないため（ステップＳ１１０Ｙｅｓ）、融合判定部１５２によって、車両位置２０２ｂ、２０３ｂには車両があると判定される（ステップＳ１１１）。また、図４上段に示す反射波の強度分布２１０ａにおいて、車両位置２０５ｂにおける反射波の強度は０であるため（ステップＳ１１０Ｎｏ）、融合判定部１５２によって、車両位置２０５ｂには車両がないと判定される（ステップＳ１１４）。

この結果、融合判定部１５２によって、画像および反射波の強度の双方から検出された車両位置２０１ｂ（２１１ｂ）、２０４ｂ（２１２ｂ）と、画像のみから検出された車両位置２０２ｂ、２０３ｂとが最終的な車両位置と決定される。そして、融合判定部１５２によって、図５に示すように、これらの車両位置を示す車両位置情報２２０が出力される（ステップＳ１１５）。図５に示す車両位置情報２２０において、車両位置２２１は、検出結果２００ｂの車両位置２０１ｂおよび検出結果２１０ｂの車両位置２１１ｂに対応し、車両位置２２２は、検出結果２００ｂの車両位置２０２ｂに対応する。同様に、車両位置２２３は、検出結果２００ｂの車両位置２０３ｂに対応し、車両位置２２４は、検出結果２００ｂの車両位置２０４ｂおよび検出結果２１０ｂの車両位置２１２ｂに対応する。

図５に示す車両位置情報と図３上段に示す画像２００ａを比較すれば明らかなように、図５に示す車両位置情報は、実際の車両位置を正確に表している。すなわち、画像のみからの検出では誤検出された影２０５ａや、反射波の強度分布のみからの検出では検出されなかった車両２０２ａ、２０３ａについても、最終的には高精度な検出結果が得られることがわかる。

ところで、車両位置が反射波の強度分布のみから検出され、画像からは検出されていない場合は（ステップＳ１０８Ｎｏ）、カメラ部１１０から原データが取得される（ステップＳ１１２）。すなわち、融合判定部１５２によって、例えば図３上段に示した画像２００ａと、異なる時刻に撮像された画像との２画像が取得される。そして、融合判定部１５２によって、反射波の強度分布のみから検出された車両位置における２画像間の差分値が求められ、差分値が０であるか否かが判定される（ステップＳ１１３）。換言すれば、カメラ部１１０における原データに対応する信号強度が０であるか否かが判定される。

この判定の結果、差分値が０ではない車両位置については（ステップＳ１１３Ｙｅｓ）、融合判定部１５２によって、車両があると判定される（ステップＳ１１１）。また、差分値が０である車両位置については（ステップＳ１１３Ｎｏ）、融合判定部１５２によって、車両がないと判定される（ステップＳ１１４）。この結果、融合判定部１５２によって、画像および反射波の強度の双方から検出された車両位置と、反射波の強度のみから検出された車両位置のうちカメラ部１１０の原データに対応する信号強度が０ではない車両位置とが最終的な車両位置と決定される。そして、融合判定部１５２によって、最終的な車両位置を示す車両位置情報が出力される（ステップＳ１１５）。

なお、上述したように、通常の物体検出に関しては、カメラよりもレーダの方が信頼度が高いため、レーダ部１３０に対応する車両検出部１４０のみによって検出された車両位置については、車両検出部１２０による検出結果に拘わらず無条件に車両があると判定されるようにしても良い。この場合には、融合判定部１５２によって、カメラ部１１０から原データが取得されることもなく、車両検出部１４０によって検出されたすべての車両位置を示す車両位置情報が出力される。

また、図２において、ステップＳ１０１〜Ｓ１０３の車両検出部１２０による車両位置検出と、ステップＳ１０４〜Ｓ１０６の車両検出部１４０による車両位置検出とは、同時あるいはほぼ同じタイミングで実行されるものとする。すなわち、カメラを用いた車両位置検出と、レーダを用いた車両位置検出とは、ほぼ同一の状態にある検出対象領域に対して実行される。したがって、処理順序は図２に示す順序に限るものではなく、ステップＳ１０１〜Ｓ１０３とステップＳ１０４〜Ｓ１０６とは、同時もしくはほぼ同じタイミングで並行的に行われても良いし、ステップＳ１０４〜Ｓ１０６が先に行われても良い。

以上のように、本実施の形態によれば、カメラおよびレーダの原データからそれぞれ車両の位置を検出し、一方の原データからは車両が検出され、他方の原データからは車両が検出されなかった車両位置については、車両が検出されなかった原データを取得し、原データに対応する信号強度が０であるか否かを判定する。そして、信号強度が０でない場合には、最終的に車両があると判断し、信号強度が０である場合には、最終的に車両がないと判断する。このため、カメラおよびレーダなどの２つのセンサそれぞれを用いた物体の有無の検出結果が相反する場合は、物体が検出されなかったセンサの原データを棄却することなく、原データに対応する信号強度から最終的な物体の有無を判断することができ、複数のセンサを用いて物体の有無を検出する検出精度を向上することができる。

（実施の形態２）
本発明の実施の形態２の特徴は、カメラによる画像のみから検出された車両位置において、レーダによって得られる反射波の強度が０である場合、カメラに比べてレーダの分解能が低いことを考慮し、画像から車両幅を求め、車両幅が所定の閾値未満であれば、最終的に車両があると判定する点である。なお、通常の物体検出に関しては、カメラよりもレーダの方が信頼度が高いため、本実施の形態においては、レーダによって車両があると検出された車両位置については、無条件に車両があると判定するものとする。したがって、以下においては、カメラのみによって車両があると検出された車両位置について、レーダおよびカメラの原データを用いて車両の有無を最終的に判断する場合を説明する。

図６は、本実施の形態に係る物質検出装置の要部構成を示すブロック図である。同図において、図１と同じ部分には同じ符号を付し、その説明を省略する。図６に示す物質検出装置は、図１に示す物質検出装置の融合部１５０に代えて融合部３００を有している。すなわち、図６に示す物質検出装置は、図１に示す融合判定部１５２を融合判定部３０１に代え、車両幅算出部３０２および閾値比較部３０３を付加した構成を有している。

融合判定部３０１は、車両検出部１２０のみによって車両があると検出されている車両位置について、車両が検出されなかったセンサ（レーダ部１３０）の原データを取得し、車両の有無を判定する。このとき、融合判定部３０１は、レーダ部１３０から反射波の強度分布を取得し、車両検出部１２０から通知された車両位置における反射波の強度が０でなければ車両があると判定する。

また、融合判定部３０１は、車両検出部１２０から通知された車両位置における反射波の強度が０であれば、車両幅算出部３０２へその旨を通知する。そして、融合判定部３０１は、閾値比較部３０３において車両幅と所定の閾値とが比較された結果から、最終的に車両の有無を判定する。具体的には、融合判定部３０１は、車両幅が所定の閾値未満であれば、反射波の強度が０であっても車両があると判定し、車両幅が所定の閾値以上であれば、反射波の強度が０であれば車両がないと判定する。

融合判定部３０１は、上述したように、カメラ部１１０およびレーダ部１３０における原データを用いて最終的な車両位置を決定すると、決定された車両位置を示す車両位置情報を出力する。

車両幅算出部３０２は、車両検出部１２０によって検出された車両位置における反射波の強度が０である旨が融合判定部３０１から通知されると、カメラ部１１０から異なる時刻の２画像を取得する。そして、車両幅算出部３０２は、２画像の差分画像を作成し、反射波の強度が０である車両位置における変化部分の幅を算出する。ここでは、車両検出部１２０によって検出された車両位置を対象としているため、差分画像における変化部分は必ず存在し、車両幅算出部３０２は、変化部分の幅を車両幅として算出することが可能である。

閾値比較部３０３は、車両幅算出部３０２によって算出された車両幅を所定の閾値と比較し、車両幅が所定の閾値未満であるか否かを示す比較結果を融合判定部３０１へ通知する。閾値比較部３０３が車両幅と比較する閾値は、レーダ部１３０の分解能に応じて定められており、レーダ部１３０が検出可能な最小の物体幅に相当する値となっている。したがって、閾値比較部３０３による比較の結果、車両幅が所定の閾値未満であれば、レーダ部１３０の分解能では車両を検出することが不可能であり、反射波の強度が０となるのは当然であると言える。

次いで、上記のように構成された物体検出装置の動作について、図７に示すフロー図を参照して、具体的に例を挙げながら説明する。なお、図７において、図２と同じ部分には同じ符号を付し、その詳しい説明を省略する。

まず、カメラ部１１０によって、車両の検出対象領域が異なる時刻に２回撮像され（ステップＳ１０１）、検出対象領域の２画像が取得される。そして、車両検出部１２０によって、２画像の差分画像が作成され（ステップＳ１０２）、差分画像から変化部分が抽出されることにより、検出対象領域内の車両位置が検出される（ステップＳ１０３）。

すなわち、例えば図８上段に示すように、カメラ部１１０によって画像４００ａが撮像されると、車両４０１ａ、４０２ａが走行中であるため、これらの車両４０１ａ、４０２ａが車両検出部１２０によって検出される。このため、図８下段に示すように、検出結果４００ｂにおいては、車両４０１ａ、４０２ａに対応する車両位置４０１ｂ、４０２ｂが示されている。なお、車両４０１ａは、例えばバイクなどの車両であり、車両４０２ａなどの通常の車両よりも車両幅が著しく小さい。

一方、カメラ部１１０によって撮像されるのと同時に、レーダ部１３０によって、車両の検出対象領域へミリ波が照射され（ステップＳ１０４）、車両からの反射波が受信される（ステップＳ１０５）。そして、車両検出部１４０によって、反射波の強度が所定の閾値と比較されることにより、検出対象領域内の車両位置が検出される（ステップＳ１０６）。

すなわち、例えば図９上段に示すように、レーダ部１３０によって反射波の強度分布４１０ａが得られると、反射波４１１ａの強度が所定の閾値以上であるため、この反射波４１１ａが車両検出部１４０によって車両として検出される。ここで、図９上段に示す反射波の強度分布４１０ａは、図８上段に示す画像４００ａとして撮像された検出対象領域からの反射波を表したものであり、反射波４１１ａは、車両４０２ａからの反射波である。しかし、車両４０１ａに関しては、車両幅がレーダ部１３０の分解能未満であるため、反射波がまったく得られていない。したがって、車両４０１ａは、車両検出部１４０においては車両として検出されない。結果として、図９下段に示すように、検出結果４１０ｂにおいては、車両位置４１１ｂにのみ車両があるという結果が示されることになる。上述したように、車両位置４１１ｂは、図８上段の画像４００ａに示す車両４０２ａの車両位置である。

車両検出部１２０および車両検出部１４０によって、それぞれ車両位置が検出されると、検出された車両位置が融合部３００の車両位置比較部１５１へ通知される。そして、車両位置比較部１５１によって、車両検出部１２０によって検出された車両位置と車両検出部１４０によって検出された車両位置とが比較されるが、本実施の形態においては、車両検出部１２０のみによって検出された車両位置があるものとする。換言すれば、画像のみから検出され、反射波の強度分布からは検出されなかった車両位置があるものとする（ステップＳ２０１）。

この場合、融合判定部３０１によって、反射波の強度分布からは検出されなかった車両位置について、レーダ部１３０から原データが取得される（ステップＳ１０９）。すなわち、融合判定部３０１によって、例えば図９上段に示した反射波の強度分布４１０ａが取得される。そして、融合判定部３０１によって、画像のみから検出された車両位置における反射波の強度が０であるか否かが判定される（ステップＳ１１０）。換言すれば、レーダ部１３０における原データに対応する信号強度が０であるか否かが判定される。

この判定の結果、反射波の強度が０でない車両位置については（ステップＳ１１０Ｙｅｓ）、融合判定部３０１によって、車両があると判定される（ステップＳ１１１）。また、反射波の強度が０である車両位置については（ステップＳ１１０Ｎｏ）、該当する車両位置があることが車両幅算出部３０２へ通知される。そして、車両幅算出部３０２によって、カメラ部１１０の原データが取得され、画像のみから検出された車両の車両幅が算出される（ステップＳ２０２）。

具体的には、例えば図８下段に示す検出結果４００ｂと図９下段に示す検出結果４１０ｂとを比較すると、検出結果４１０ｂにおいては、検出結果４００ｂにおける車両位置４０１ｂに対応する車両位置が検出されていない。このため、融合判定部３０１によって、図９上段に示す反射波の強度分布４１０ａがレーダ部１３０から取得されるが、車両位置４０１ｂにおける反射波の強度は０である。そこで、車両幅算出部３０２によって、図８上段に示す画像４００ａと、異なる時刻に撮像された画像との２画像が取得される。そして、車両幅算出部３０２によって、例えば図１０上段に示すような、２画像の差分画像４２０ａが作成され、変化部分４２１ａ、４２２ａが抽出される。これらの変化部分４２１ａ、４２２ａは、それぞれ車両４０１ａ、４０２ａに対応している。

そして、車両幅算出部３０２によって、画像のみから検出された車両に対応する変化部分４２１ａの幅が算出される。すなわち、例えば変化部分４２１ａの最大幅が車両幅として算出される。この結果、図１０下段に示す算出結果４２０ｂのように、車両幅４２１ｂが得られる。なお、算出結果４２０ｂにおいては、比較のために変化部分４２２ａに対応する車両幅４２２ｂも同時に示している。この算出結果４２０ｂからわかるように、車両幅４２１ｂは、車両幅４２２ｂよりも著しく小さい。

算出された車両幅４２１ｂは、閾値比較部３０３へ出力され、閾値比較部３０３によって、所定の閾値と比較される（ステップＳ２０３）。上述したように、ここで車両幅４２１ｂと比較される閾値は、レーダ部１３０が検出可能な最小の物体幅に相当する。したがって、比較の結果、車両幅４２１ｂが所定の閾値未満であれば、反射波の強度分布４１０ａにおいて、車両４０１ａに対応する反射波の強度が０であるのは当然であることになる。換言すれば、反射波の強度が０であっても、車両がないということにはならない。

そこで、閾値比較部３０３による比較の結果が融合判定部３０１へ出力され、車両幅４２１ｂが所定の閾値未満である場合は（ステップＳ２０３Ｙｅｓ）、融合判定部３０１によって、車両位置４０１ｂには車両があると判定される（ステップＳ１１１）。この結果、融合判定部３０１によって、画像および反射波の強度の双方から検出された車両位置４０２ｂ（４１１ｂ）と、画像のみから検出された車両位置４０１ｂとが最終的な車両位置と決定される。ここで、実施の形態１とは異なり、車両位置４０１ｂについては、反射波の強度が０であるにも拘らず、車両があると判定されていることになる。そして、融合判定部３０１によって、図１１に示すように、車両があると判定された車両位置を示す車両位置情報４３０が出力される（ステップＳ１１５）。図１１に示す車両位置情報４３０において、車両位置４３１は、検出結果４００ｂの車両位置４０１ｂに対応し、車両位置４３２は、検出結果４００ｂの車両位置４０２ｂおよび検出結果４１０ｂの車両位置４１１ｂに対応する。

ところで、車両幅が所定の閾値以上である場合は（ステップＳ２０３Ｎｏ）、画像のみから検出された車両位置における車両幅は、レーダ部１３０によって十分検出可能な幅であるにも拘わらず、実際には検出されなかったことになる。このため、画像からの検出が誤検出であると判定され、画像のみから検出された車両位置には、車両がないと判定される（ステップＳ１１４）。この結果、融合判定部３０１によって、反射波の強度から検出された車両位置が最終的な車両位置と決定される。そして、融合判定部３０１によって、最終的な車両位置を示す車両位置情報が出力される（ステップＳ１１５）。

以上のように、本実施の形態によれば、カメラおよびレーダの原データからそれぞれ車両の位置を検出し、カメラの原データからは車両が検出され、レーダの原データからは車両が検出されなかった場合、レーダの原データを取得し、原データに対応する信号強度が０であるか否かを判定する。そして、信号強度が０でない場合には、最終的に車両があると判定し、信号強度が０である場合には、カメラの原データから車両幅を算出し、所定の閾値と比較する。この結果、車両幅が所定の閾値未満であれば、最終的に車両がないと判定する。このため、カメラおよびレーダなどの２つのセンサそれぞれを用いた物体の有無の検出結果が相反する場合は、センサの分解能を考慮しながらセンサの原データを参照し、より正確に最終的な物体の有無を判断することができる。

なお、上記各実施の形態においては、可視光線を特徴量として検知するカメラとミリ波を特徴量として検知するレーダとの２つのセンサを融合して物体を検出する場合について説明したが、本発明はこれに限定されない。すなわち、例えば赤外線を特徴量として検知する赤外線カメラなどをセンサとして用いる場合にも、本発明を同様に適用することができる。つまり、異なる特徴量を検知する２つのセンサによって物体を検出する場合に、検出結果が互いに相反すると、物体が検出されなかったセンサの原データを参照して最終的に物体の有無を判断することが可能である。

具体的には、例えば可視光線を検知するカメラと赤外線を検知する赤外線カメラとの２つを用いる場合、カメラの原データからは物体が検出され、赤外線カメラの原データからは物体が検出されないと、赤外線カメラの原データが取得され、この原データに対応する信号強度が０でなければ、最終的には物体があると判定されることになる。赤外線カメラの原データに対応する信号強度とは、例えば上記各実施の形態におけるカメラ部１１０の原データに対応する信号強度と同様に、２時点の赤外画像の差分値などである。そのほかにも、信号強度としては、差分画像における変化部分の大きさなどでも良い。要するに、信号強度とは、センサの原データにおいて物体の有無の指標となる物理量であり、上記各実施の形態における車両検出部１２０、１４０は、信号強度が所定の閾値以上である場合に車両があると判定している。

また、上記各実施の形態においては、カメラとレーダの２つのセンサのみを用いるものとしたが、３つ以上のセンサを同時に用いる場合に、本発明を適用することも可能である。すなわち、３つ以上のセンサによってそれぞれ物体の有無を検出したときに、検出結果が完全に一致しない場合、物体が検出されなかったセンサの原データを取得し、原データに対応する信号強度によって最終的な物体の有無を判断するようにしても良い。

さらに、上記各実施の形態においては、物体が検出されなかったセンサの原データにおいて、信号強度が０でなければ物体があると判定するものとしたが、必ずしも信号強度を０と比較する必要はない。すなわち、信号強度が所定の閾値以上であれば物体があると判定するようにしても良い。この場合に信号強度と比較される閾値は、一方のセンサの原データのみを用いる車両検出部１２０、１４０において信号強度と比較される閾値以下である。換言すれば、一方のセンサによって物体があると検出された場合は、他方のセンサの信号強度と比較される閾値を小さくし、物体があるという検出結果が得られやすくすることと等価である。

なお、上記各実施の形態においては、物体検出装置によって、カメラおよびレーダの原データを利用した物体検出が行われることとしたが、上述した処理をコンピュータが読み取り可能なプログラムとして記述し、このプログラムをコンピュータに実行させることにより、本発明を実施することも可能である。

以上の実施の形態に関して、さらに以下の付記を開示する。

（付記１）第１のセンサによって検知された特徴量の原データを取得する第１取得部と、
第２のセンサによって検知され、前記第１のセンサによって検知された特徴量とは異なる特徴量の原データを取得する第２取得部と、
前記第１取得部によって取得された原データから物体の有無を検出する第１検出部と、
前記第２取得部によって取得された原データから物体の有無を検出する第２検出部と、
前記第１検出部によって物体が検出され、かつ前記第２検出部によって物体が検出されなかった場合、前記第１取得部または前記第２取得部によって取得された原データを参照して物体の有無を判定する判定部と
を有することを特徴とする物体検出装置。

（付記２）前記判定部は、
前記第２取得部によって取得された原データを参照し、物体の有無の指標となる信号強度が０ではない場合に物体があると判定することを特徴とする付記１記載の物体検出装置。

（付記３）前記判定部は、
前記第２取得部によって取得された原データの信号強度が０である場合、前記第１取得部によって取得された原データを参照し、前記第１検出部によって検出された物体の大きさを算出する算出部と、
前記算出部によって算出された物体の大きさと所定の閾値とを比較する比較部とを含み、
前記比較部による比較の結果、物体の大きさが所定の閾値未満である場合に物体があると判定する一方、物体の大きさが所定の閾値以上である場合に物体がないと判定することを特徴とする付記２記載の物体検出装置。

（付記４）前記比較部は、
前記算出部によって算出された物体の大きさと前記第２のセンサの分解能に応じた閾値とを比較することを特徴とする付記３記載の物体検出装置。

（付記５）前記判定部は、
前記第２取得部によって取得された原データを参照し、物体の有無の指標となる信号強度が所定の閾値以上である場合に物体があると判定することを特徴とする付記１記載の物体検出装置。

（付記６）コンピュータによって実行される物質検出プログラムであって、前記コンピュータに、
第１のセンサによって検知された特徴量の原データを取得する第１取得ステップと、
第２のセンサによって検知され、前記第１のセンサによって検知された特徴量とは異なる特徴量の原データを取得する第２取得ステップと、
前記第１取得ステップにて取得された原データから物体の有無を検出する第１検出ステップと、
前記第２取得ステップにて取得された原データから物体の有無を検出する第２検出ステップと、
前記第１検出ステップおよび前記第２検出ステップにおける検出結果が互いに相反する場合、前記第１取得ステップまたは前記第２取得ステップにて取得された原データを参照して物体の有無を判定する判定ステップと
を実行させることを特徴とする物体検出プログラム。

（付記７）第１のセンサによって検知された特徴量の原データを取得する第１取得ステップと、
第２のセンサによって検知され、前記第１のセンサによって検知された特徴量とは異なる特徴量の原データを取得する第２取得ステップと、
前記第１取得ステップにて取得された原データから物体の有無を検出する第１検出ステップと、
前記第２取得ステップにて取得された原データから物体の有無を検出する第２検出ステップと、
前記第１検出ステップおよび前記第２検出ステップにおける検出結果が互いに相反する場合、前記第１取得ステップまたは前記第２取得ステップにて取得された原データを参照して物体の有無を判定する判定ステップと
を有することを特徴とする物体検出方法。

実施の形態１に係る物体検出装置の要部構成を示すブロック図である。実施の形態１に係る物体検出装置の動作を示すフロー図である。実施の形態１に係るカメラを用いた車両検出の一例を示す図である。実施の形態１に係るレーダを用いた車両検出の一例を示す図である。実施の形態１に係る車両位置情報の一例を示す図である。実施の形態２に係る物体検出装置の要部構成を示すブロック図である。実施の形態２に係る物体検出装置の動作を示すフロー図である。実施の形態２に係るカメラを用いた車両検出の一例を示す図である。実施の形態２に係るレーダを用いた車両検出の一例を示す図である。実施の形態２に係る車両幅算出の一例を示す図である。実施の形態２に係る車両位置情報の一例を示す図である。

符号の説明

１１０カメラ部
１２０、１４０車両検出部
１３０レーダ部
１５０、３００融合部
１５１車両位置比較部
１５２、３０１融合判定部
３０２車両幅算出部
３０３閾値比較部

Claims

第１のセンサによって検知された特徴量の原データを取得する第１取得部と、
第２のセンサによって検知され、前記第１のセンサによって検知された特徴量とは異なる特徴量の原データを取得する第２取得部と、
前記第１取得部によって取得された原データから物体の有無を検出する第１検出部と、
前記第２取得部によって取得された原データから物体の有無を検出する第２検出部と、
前記第１検出部によって物体が検出され、かつ前記第２検出部によって物体が検出されなかった場合、前記第１取得部または前記第２取得部によって取得された原データを参照して物体の有無を判定する判定部と
を有することを特徴とする物体検出装置。
前記判定部は、
前記第２取得部によって取得された原データを参照し、物体の有無の指標となる信号強度が０ではない場合に物体があると判定することを特徴とする請求項１記載の物体検出装置。
前記判定部は、
前記第２取得部によって取得された原データの信号強度が０である場合、前記第１取得部によって取得された原データを参照し、前記第１検出部によって検出された物体の大きさを算出する算出部と、
前記算出部によって算出された物体の大きさと所定の閾値とを比較する比較部とを含み、
前記比較部による比較の結果、物体の大きさが所定の閾値未満である場合に物体があると判定する一方、物体の大きさが所定の閾値以上である場合に物体がないと判定することを特徴とする請求項２記載の物体検出装置。
前記比較部は、
前記算出部によって算出された物体の大きさと前記第２のセンサの分解能に応じた閾値とを比較することを特徴とする請求項３記載の物体検出装置。
前記判定部は、
前記第２取得部によって取得された原データを参照し、物体の有無の指標となる信号強度が所定の閾値以上である場合に物体があると判定することを特徴とする請求項１記載の物体検出装置。
コンピュータによって実行される物質検出プログラムであって、前記コンピュータに、
第１のセンサによって検知された特徴量の原データを取得する第１取得ステップと、
第２のセンサによって検知され、前記第１のセンサによって検知された特徴量とは異なる特徴量の原データを取得する第２取得ステップと、
前記第１取得ステップにて取得された原データから物体の有無を検出する第１検出ステップと、
前記第２取得ステップにて取得された原データから物体の有無を検出する第２検出ステップと、
前記第１検出ステップおよび前記第２検出ステップにおける検出結果が互いに相反する場合、前記第１取得ステップまたは前記第２取得ステップにて取得された原データを参照して物体の有無を判定する判定ステップと
を実行させることを特徴とする物体検出プログラム。
第１のセンサによって検知された特徴量の原データを取得する第１取得ステップと、
第２のセンサによって検知され、前記第１のセンサによって検知された特徴量とは異なる特徴量の原データを取得する第２取得ステップと、
前記第１取得ステップにて取得された原データから物体の有無を検出する第１検出ステップと、
前記第２取得ステップにて取得された原データから物体の有無を検出する第２検出ステップと、
前記第１検出ステップおよび前記第２検出ステップにおける検出結果が互いに相反する場合、前記第１取得ステップまたは前記第２取得ステップにて取得された原データを参照して物体の有無を判定する判定ステップと
を有することを特徴とする物体検出方法。