JP2021077061A

JP2021077061A - 障害物検知装置及び障害物検知方法

Info

Publication number: JP2021077061A
Application number: JP2019202911A
Authority: JP
Inventors: 清水　浩一; Koichi Shimizu; 浩一清水; 宏樹藤好; Hiroki Fujiyoshi
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-11-08
Filing date: 2019-11-08
Publication date: 2021-05-20
Anticipated expiration: 2039-11-08
Also published as: JP6949090B2; CN112784671A; DE102020213799A1

Abstract

【課題】障害物に対する検出精度を向上させた障害物検知装置を得ること。
【解決手段】車両に設置され、車両の周囲を撮影して、時系列で複数の画像を取得する撮像部と、複数の画像から抽出した特徴点のオプティカルフローの演算から、車両に接近する特徴点を接近特徴点として抽出して接近特徴点の情報を出力するオプティカルフロー演算部と、複数の画像のそれぞれの画像において、車両の周囲を路面と判断できる路面領域と路面以外の物が写っている障害物領域に分けた結果を出力する路面検出部と、接近特徴点の情報と路面領域の情報に基づいて、車両の周囲の障害物を検知する障害物検知部とを備えた。
【選択図】図１

Description

本願は、障害物検知装置および障害物検知方法に関するものである。

近年、車載監視装置の一つとして、物体の形状を認識するセンサである車載カメラ装置を用いた技術の開発が進んでいる。車載カメラ装置は、車両の周辺に複数台の車載カメラを装着することで死角をなくしている。車載カメラ装置が障害物などの撮影対象物を専用の認識処理装置で画像認識することで、障害物との接触を回避して車両を運行することが可能となっている。

車両の周辺監視を目的としたカメラは、小型のカメラモジュールとして車両の取り付け場所に取り付けられる。取り付け場所は、車両前後に設けられたグリルガード、およびドアミラーなどが中心となる。死角を補うために、カメラモジュールのレンズ画角および車両取り付け角度などが車両毎に最適化される場合が多い。

このカメラを使用した障害物の認識の手法としては、障害物として撮影されたオブジェクトの特徴点をとらえ、映像フレームである個々の画像間でどのようにその特徴点が移動したかを調べるオプティカルフロー手法が開示されており、例えば、撮像画像のオプティカルフローに基づいて障害物との相対的な位置関係を算出している（例えば特許文献１参照）。

特開２０１１−２０３７６６号公報

上記特許文献１においては、オプティカルフローに基づいて障害物との相対的な位置関係を算出することはできる。しかしながら、オプティカルフローによる障害物検知では路面のひび割れ、汚れ、あるいは等間隔の路面標示および模様に対してもオプティカルフローが発生し誤検知するため、検出精度の向上が必要になるという課題があった。

本願は前記のような課題を解決するためになされたものであり、カメラ以外の他のセンサを追加して設けることなく、障害物に対する検出精度を向上させた障害物検知装置を得ることを目的としている。

本願に開示される障害物検知装置は、車両に設置され、車両の周囲を撮影して、時系列で複数の画像を取得する撮像部と、複数の画像から抽出した特徴点のオプティカルフローの演算から、車両に接近する特徴点を接近特徴点として抽出して接近特徴点の情報を出力するオプティカルフロー演算部と、複数の画像のそれぞれの画像において、車両の周囲を路面と判断できる路面領域と路面以外の物が写っている障害物領域に分けた結果を出力する路面検出部と、接近特徴点の情報と路面領域の情報に基づいて、車両の周囲の障害物を検知する障害物検知部とを備えたものである。

本願に開示される障害物検知装置によれば、カメラ以外の他のセンサを追加して設けることなく、障害物に対する検出精度が向上される。

実施の形態１に係る障害物検知装置の構成の概要を示す図である。実施の形態１に係る障害物検知装置の処理の概要を示す図である。実施の形態１に係る障害物検知装置の撮影範囲の例を示す図である。実施の形態１に係る障害物検知装置で撮影された画像の例を示す図である。実施の形態１に係る障害物検知装置のオプティカルフロー処理の概要を示す図である。実施の形態１に係る障害物検知装置の路面検出処理の概要を示す図である。実施の形態１に係る障害物検知装置の路面検出処理のヒストグラムのパターンの例を示す図である。実施の形態１に係る障害物検知装置の路面検出処理のヒストグラムの別のパターンの例を示す図である。実施の形態１に係る障害物検知装置の路面検出処理のヒストグラムの別のパターンの例を示す図である。実施の形態１に係る障害物検知装置の障害物検知処理の概要を示す図である。実施の形態１に係る障害物検知装置で撮影された画像の別の例を示す図である。実施の形態２に係る障害物検知装置に追加した処理の概要を示す図である。実施の形態２に係る障害物検知装置で撮影された画像の例を示す図である。実施の形態３に係る障害物検知装置の構成の概要を示す図である。実施の形態４に係る障害物検知装置の構成の概要を示す図である。実施の形態４に係る障害物検知装置で撮影された画像の例を示す図である。実施の形態５に係る障害物検知装置で撮影された画像の例を示す図である。実施の形態５に係る障害物検知装置で撮影された画像の別の例を示す図である。障害物検知ＥＣＵのハードウエアの一例を示す構成図である。

以下、本願の実施の形態による障害物検知装置及および障害物検知方法を図に基づいて説明する。各図において同一、または相当部材、部位については同一符号を付して説明する。

実施の形態１．
図１は実施の形態１に係る障害物検知装置１００の構成の概要を示す図、図２は障害物検知装置１００の処理の概要を示す図、図３は障害物検知装置１００の撮像部１であるカメラ１１の撮影範囲１２の例を示す図、図４は障害物検知装置１００で撮影された画像の例を示す図である。障害物検知装置１００は、ドライバーが運転する車両（以下、自車両１０と記す）に搭載され、自車両１０に接近する障害物を検知する装置である。障害物とは、例えば図４に示すように、二輪車を含む他の車両（以下、接近車両２２と記す）などの移動物体である。障害物検知装置１００は、図１に示すように、自車両１０の周囲を撮影する撮像部１、時系列で撮影された画像データを蓄積するフレームバッファ２、自車両１０に接近する特徴点を接近特徴点として抽出して接近特徴点の情報を抽出するオプティカルフロー演算部３、自車両１０の周囲の路面領域を抽出する路面検出部４、自車両１０の周囲の障害物を検知する障害物検知部５、および障害物の検知結果を利用する映像表示部６、警報部７、制御部８を備える。これらの構成要素の中で、フレームバッファ２、オプティカルフロー演算部３、路面検出部４、および障害物検知部５で行われる処理は、画像処理機能を備えた障害物検知ＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）９において、プログラムにより実行される。制御部８は、障害物検知ＥＣＵ９に含まれていないため、車載ネットワークを介して障害物検知ＥＣＵ９と接続されている。

なお、障害物検知ＥＣＵ９のハードウエアの一例は図１９に示すように、プロセッサ１１０と記憶装置１１１から構成される。障害物検知ＥＣＵ９が実行するプログラム、およびフレームバッファ２等に収納された画像データ等を備えた記憶装置１１１は、例えば、ランダムアクセスメモリ等の揮発性記憶装置と、フラッシュメモリ等の不揮発性の補助記憶装置とを具備する。また、フラッシュメモリの代わりにハードディスクの補助記憶装置を具備してもよい。プロセッサ１１０は記憶装置１１１から入力されたプログラムを実行し、障害物検知ＥＣＵ９が備えた障害物検知部５は自車両１０の周囲の障害物を検知する。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ１１０にプログラムが入力される。また、プロセッサ１１０は、演算結果等のデータを記憶装置１１１の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。

図１に示す障害物検知装置１００の各部が行う障害物を検知する処理の概要を、図２を用いて説明する。検知処理は、ステップＳ１からステップＳ４の４つのステップを備える。撮像部１が行うステップＳ１は、自車両１０の周囲を撮影して、時系列で複数の画像を取得して出力するステップである。オプティカルフロー演算部３が行うステップＳ２は、複数の画像から抽出した特徴点のオプティカルフローの演算から、自車両１０に接近する特徴点を接近特徴点として抽出して接近特徴点の情報を出力するステップである。路面検出部４が行うステップＳ３は、例えば図４に示される取得された画像において、自車両１０の周囲に検出対象路面として設定した警報検出エリア１４を分割して複数の路面検出領域１５〜１７とし、それぞれの路面検出領域の輝度値のヒストグラムを作成し、路面と判断できるリファレンスデータとしてのヒストグラムと比較して、複数の路面検出領域１５〜１７から路面領域を抽出し、警報検出エリア１４を路面領域と路面以外の物が写っている障害物領域に分けた結果を出力するステップである。障害物検知部５が行うステップＳ４は、接近特徴点の情報と路面領域の情報に基づいて、障害物座標で囲まれた障害物情報領域としてバウンディングボックス１９を作成して自車両１０の周囲の障害物を検知するステップである。自車両１０の周囲に障害物が検知されたときは、ドライバーに対して音または振動で警告するステップ（Ｓ５）、ドライバーに対して映像で表示して通知するステップ（Ｓ６）、自車両１０とバウンディングボックス１９で示された障害物との接触が回避されるように自車両１０を制御するステップ（Ｓ７）が、警報部７、映像表示部６、制御部８のそれぞれで実施される。Ｓ５、Ｓ６、Ｓ７の各ステップは、全てを実施せず、何れかの実施であっても構わない。また、自車両１０の周囲に障害物が検知されたときを、作成されたバウンディングボックス１９の中に警報検出エリア１４の少なくとも一部が含まれるときと定めてもよい。以下、障害物検知装置１００の構成の詳細と、処理の詳細について説明する。

撮像部１は、自車両１０に設置され、自車両１０の周囲を撮影して、時系列で複数の画像を取得するカメラ１１である。図３に示すように、ドアミラーの位置に設置されたカメラ１１の撮影範囲１２は、自車両１０の左側後方である。この撮影範囲１２は、自車両１０が右ハンドルの車両である場合の、ドライバーの死角を補う目的で設定されている。カメラ１１の設置箇所は、ドアミラーの位置に限るものではなく、自車両１０の左側側面の他の箇所に設置箇所を設けて左側後方を撮影しても構わない。また撮影範囲１２も、自車両１０の左側後方に限るものではなく、自車両１０の右側後方、もしくは自車両１０の後方などを撮影して障害物を検知する領域を変更しても構わない。

図４を用いて、撮像部１が取得した画像について説明する。図４に示した画像の例には、障害物を検知する処理に必要な領域を破線で示している。画像の画角は、自車両１０の側面１０ａが入る設定としている。自車両１０の側面１０ａを基準にして、警報検出エリア１４およびオプティカルフローの演算に利用するオプティカルフロー演算領域２０を定めるためである。警報検出エリア１４は、自車両１０の周辺の障害物の検知に必要なエリアとして、予め定めておくエリアである。本実施の形態における警報検出エリア１４は、画像に示された自車両１０の側面１０ａから側方に１ｍ、カメラ１１から自車両１０の後方に３０ｍに相当するエリアとする。画像における警報検出エリア１４を延長した終端は、消失点１３となる。警報検出エリア１４には、非障害物２１であるひび割れ２１ａ、および白線２１ｂが含まれる。なお、警報検出エリア１４はこれに限るものではなく、変更しても構わず、特に定めなくてもよい。例えば、警報検出エリア１４を特に定めずに障害物検知を行う対象領域を画像に映る領域の全てとする場合は、警報検出エリア１４を図４における自車両１０を除いた右側の領域、かつ消失点１３より下の領域としても良い。これは、画像では路面が消失点１３よりも下の領域に現れるためである。警報検出エリア１４は、自車両１０から後方の距離に応じて複数のブロックに分けられる。自車両１０に近い方から路面検出領域１５、路面検出領域１６、路面検出領域１７とする。

カメラ１１で撮影された画像データは、フレームバッファ２に出力される。フレームバッファ２は、過去数フレーム分の画像データを蓄積する。画像データは、フレームバッファ２を経由して、後段のオプティカルフロー演算部３、および路面検出部４のそれぞれに出力される。

オプティカルフロー演算部３は、複数の画像から抽出した特徴点のオプティカルフローの演算から、自車両１０に接近する特徴点を接近特徴点として抽出して接近特徴点の情報を出力する。図５は、実施の形態１に係る障害物検知装置１００のオプティカルフロー処理の概要を示す図である。図５に基づいて、オプティカルフロー演算部３で行われる処理の詳細を説明する。最初に、画像の中から、オプティカルフローの演算に利用するオプティカルフロー演算領域２０を部分画像として取得する（ステップＳ１０１）。本実施の形態では、オプティカルフロー演算領域２０は自車両１０を除いた画像右側のエリアとしたが、障害物を検知する領域であれば、画像の中のどの領域でも構わない。次に、オプティカルフロー演算領域２０に対して、画像上のエッジが交差する点であるコーナー点の検出を行い、コーナー点を特徴点として抽出する（ステップＳ１０２）。なお、コーナー点を検出する手法は、例えばＨａｒｒｉｓのコーナー検出アルゴリズムなど多数あるが、どの手法を用いても構わない。

次に、最新の画像から抽出した特徴点と、過去の画像から抽出した特徴点とのマッチングを行い、オプティカルフローの演算を行う（ステップＳ１０３）。最後に、演算した結果から、自車両１０に接近するオプティカルフローの抽出を行う（ステップＳ１０４）。図３において、上下方向をＹ方向とし下方向を正、左右方向をＸ方向とし右方向を正とする。この定義において、自車両１０に後方から接近する障害物のオプティカルフローは、Ｙ成分が正のオプティカルフローを有する。反対に、建物および路上に駐車された車両などの、自車両１０から遠ざかる構造物のオプティカルフローは、Ｙ成分が負のオプティカルフローを有する。そのため、オプティカルフローの抽出では、Ｙ成分が正のオプティカルフローを抽出する。オプティカルフロー演算部３は、抽出されたオプティカルフローの備える接近特徴点の情報を、障害物検知部５に出力する（ステップＳ１０５）。接近特徴点の情報とは、接近特徴点の座標、オプティカルフローのＹ成分長さ、Ｘ成分長さ、向き、移動量の長さなどである。

路面検出部４は、複数の画像のそれぞれの画像において、自車両１０の周囲に検出対象路面として設定した警報検出エリア１４を分割して複数の路面検出領域１５〜１７とし、それぞれの路面検出領域の輝度値のヒストグラムを作成し、路面と判断できるリファレンスデータとしてのヒストグラムと比較して、複数の路面検出領域１５〜１７から路面領域を抽出し、警報検出エリア１４を路面領域と路面以外の物が写っている障害物領域に分けた結果を出力する。図６は、実施の形態１に係る障害物検知装置１００の路面検出処理の概要を示す図である。図６に基づいて、路面検出部４で行われる処理の詳細を説明する。最初に、画像の中から、警報検出エリア１４を部分画像として取得する（ステップＳ２０１）。次に、路面ヒストグラム抽出エリアを設定する（ステップＳ２０２）。自車両１０の直近に設定された路面検出領域を路面ヒストグラム抽出エリアとし、路面ヒストグラム抽出エリアから得られたヒストグラムをリファレンスデータとして用いる。本実施の形態における路面の検出手法では、自車両１０の直近の領域は路面であるということを前提とする。そのため、自車両１０の直近の領域を撮影した画像から作成したヒストグラムをリファレンスデータとして利用する。図３に示した警報検出エリア１４では、自車両１０に最も近い領域である路面検出領域１５をヒストグラム抽出エリアとして設定する。なお、ヒストグラム抽出エリアは、取得した画像における自車両１０の直近の領域であればよいため、カメラの画角、カメラの設置位置、またはカメラの向きに応じて設定を変更して構わない。

次に、警報検出エリア１４の路面検出領域１５〜１７のそれぞれにおけるヒストグラムを作成する（ステップＳ２０３）。路面検出領域１５〜１７に各画素に輝度値を割り当てて、横軸を輝度値、縦軸を度数とした輝度値のヒストグラムが作成される。輝度値は、例えば０（黒）から２５５（白）の範囲で表される。図７は、実施の形態１に係る障害物検知装置１００の路面検出処理で作成されたヒストグラムのパターンの例として、路面検出領域１５についてのヒストグラムを示す図である。路面検出領域１５は路面の領域が大半を占めているため、グレーの輝度が多く、Ｇ１の度数ピークが現れる。なお、ヒストグラムは横軸の輝度値を階級、その頻度を縦軸に示して画像の特徴を捉えた図であるが、路面には白線の他に黄色線、さらには赤もしくは青ペイントで塗られた路面もあるため、Ｒ、Ｇ、Ｂを組み合わせて階級を作り、その階級毎に頻度をとって色も含めて路面の特徴を捉えても構わない。

図８は実施の形態１に係る障害物検知装置１００の路面検出処理で作成されたヒストグラムのパターンの例として、路面検出領域１６についてのヒストグラムを示す図、図９は路面検出領域１７についてのヒストグラムを示す図である。路面検出領域１６のヒストグラムには、路面検出領域１５のＧ１と同様に、路面としての特徴輝度を示すＧ２の度数ピークが現れる。また、路面検出領域１６には白線２１ｂが含まれているため、白線２１ｂの輝度に対応したＧ３の度数ピークが現れている。図９に示すように、路面検出領域１７のヒストグラムには、路面検出領域１５のＧ１、路面検出領域１６のＧ２と同様に路面としての特徴輝度を示すＧ５の度数ピークが現れ、白線２１ｂの輝度に対応したＧ６の度数ピークが現れている。さらに、路面検出領域１７には自車両１０に接近する接近車両２２が含まれているため、接近車両２２に対応した２つの度数ピークＧ４、Ｇ７が現れる。Ｇ４は、接近車両２２と路面との境界で接近車両２２のタイヤおよび影となっている輝度の最も低い度数ピークである。Ｇ７は、一般的に光を反射しやすい色になっている自車両１０の側面で、輝度の高い度数ピークである。

最後に、路面検出領域１５のヒストグラムをリファレンスデータとして、警報検出エリア１４の中から路面である領域を抽出する（ステップＳ２０４）。ヒストグラムを利用して路面領域を抽出する方法は多数あるが、ここではリファレンスデータのヒストグラムと他の領域のヒストグラムとを比較し、リファレンスデータに類似するヒストグラムの領域を路面として判定し、路面領域として抽出する。ヒストグラムの類似度は、ヒストグラムの形状および分布している輝度値の範囲から判定することができるが、ヒストグラムの類似度を判定する手法はこの手法に限定するものではない。路面と判定された領域の輝度値を２５５、路面でないと判定された領域（以下、障害物領域と記す）の輝度値を０として、二値化画像を作成する。路面検出部４は、警報検出エリア１４を路面領域と障害物領域に分けた結果である二値化画像を障害物検知部５に出力する（ステップＳ２０５）。また、路面検出部４は、後述するバウンディングボックスの四隅の障害物座標の補正に用いるために、ヒストグラムの作成に利用した警報検出エリア１４の各画素の輝度値の情報を障害物検知部５に出力する。

なお、警報検出エリア１４を３つに分割して路面検出領域１５〜１７を定義したが、この路面検出領域をさらに分割した小さな領域に対して路面領域を抽出しても構わない。小さな領域の輝度値からヒストグラムを作成してヒストグラムの類似度から路面か判定することによって、路面と自車両との距離分解能が高くなる。また、小さな領域ごとにヒストグラムを作成するのではなく、一般的に既知であるヒストグラムの逆投影法を用いて、警報検出エリア１４内の各画素の輝度値から画素毎に路面判定をしても構わない。路面検出に求める距離分解能に応じて、最適な路面抽出方法を選択するのがよい。

本実施の形態では、警報検出エリア１４を路面領域と障害物領域に分ける路面検出の手法を、ヒストグラムを利用した例で説明しているが、路面検出の手法はこの手法に限るものではない。本手法の要件満たしていれば、路面検出の手法は問わない。その他の路面検出の手法としては、モーションステレオによる路面検出手法、路面の色特徴量を学習した路面検出手法、またはディープラーニングを利用した画像セグメンテーションによる路面検出手法などがある。

障害物検知部５は、オプティカルフロー演算部３から出力された接近特徴点の情報と路面検出部４から出力された路面領域の情報に基づいて、障害物座標で囲まれた障害物情報領域であるバウンディングボックスを作成して、自車両１０の周囲の障害物である接近車両２２を検知する。図１０は、実施の形態１に係る障害物検知装置１００の障害物検知処理の概要を示す図である。図１０に基づいて、障害物検知部５で行われる処理の詳細を説明する。最初に、入力された接近特徴点の情報から、路面領域にある接近特徴点の情報を削除する（ステップＳ３０１）。接近特徴点の座標が路面領域にある場合、その特徴点の情報は、路面上の模様、またはひび割れといった非障害物から発生した誤フローであると判定して削除する。次に、削除されずに残された接近特徴点の座標および接近特徴点のフローの方向から、近接した位置にあり、フローの方向が一致する接近特徴点をまとめて、グループ化を行う（ステップＳ３０２）。グループ化して生じた複数の接近特徴点のグループを分類して、接近特徴点を囲う矩形のバウンディングボックスを作成する（ステップＳ３０３）。このようにバウンディングボックスは、路面領域以外の領域に含まれる、接近特徴点の情報を用いて作成される。作成したそれぞれのバウンディングボックスの情報を、自車両１０の周囲の障害物の検知結果として、映像表示部６、警報部７、制御部８に出力する（ステップＳ３０４）。図４では、作成されたバウンディングボックス１９の情報が出力される。バウンディングボックスの情報とは、座標、サイズ、個数、フローの平均長、フローの平均向きである。

自車両１０の周囲に障害物が検知されたとき、警報部７は自車両１０のドライバーに対して音または振動で通知する。振動で通知する場合、例えば、ＥＰＳ（ｅｌｅｃｔｒｉｃｐｏｗｅｒｓｔｅｅｒｉｎｇ）に信号を送り、ＥＰＳに高周波の振動を発生させることでハンドルを振動させ、ドライバーに通知する。なお、ハンドルを振動させるために、ハンドル振動用モータをハンドルに取り付けて、モータを振動させることでハンドルを振動させても構わない。また、音または振動での通知を使い分けてもよい。例えば、バウンディングボックスの中に警報検出エリア１４の少なくとも一部が含まれるときはまず音で通知し、接近車両２２が自車両１０に接触の可能性があるところまで接近したときに振動で通知してもよい。

自車両１０の周囲に障害物が検知されたとき、映像表示部６は、自車両１０のドライバーに対してバウンディングボックスの位置を映像で表示して通知する。また制御部８は、自車両１０とバウンディングボックスで示された障害物である接近車両２２との接触が回避されるように自車両１０を制御する。自車両１０は、映像表示部６、警報部７、制御部８の全てを備えていなくてもよく、何れか１つまたは２つを備えてもよい。

接近特徴点の座標が路面領域にある場合、その接近特徴点の情報を削除することで、図３に示されたひび割れ２１ａ、白線２１ｂに係る接近特徴点は削除される。削除される接近特徴点はこれらの例に限るものではなく、路面領域の中の水たまり、路面に描かれたゼブラパターンに係る接近特徴点も削除される。図１１は、実施の形態１に係る障害物検知装置１００で撮影された画像の別の例を示す図である。警報検出エリア１４の端部に、路肩の縁石２１ｃが規則正しく繰り返して形成されている。縁石２１ｃについての特徴点も接近特徴点の情報に含まれる場合があるが、規則正しく形成された縁石２１ｃのような非障害物であっても、接近特徴点の座標が路面検出領域にある場合、その接近特徴点の情報は削除される。

以上では、入力された画像に対して、オプティカルフローの演算と路面の抽出を並列して行っているが、まず路面領域の抽出を行い、出力された結果を基に、障害物領域に対してオプティカルフローの演算を行うことで、路面領域の模様等による誤フローを削減しても構わない。また、バウンディングボックスは、路面領域に含まれる接近特徴点を削除した後に作成したがこれに限るものではなく、接近特徴点を削除せずにバウンディングボックスを作成し、その後、路面領域のみに含まれるバウンディングボックスを削除して誤フローを除いても構わない。また、バウンディングボックスを作成することで障害物を検知したが、障害物の検知はバウンディングボックスの作成に限るものではなく、点群もしくは二値化画像などを利用した障害物の検知であっても構わない。

以上のように、この障害物検知装置１００は、オプティカルフロー演算部３から出力された接近特徴点の情報と路面検出部４から出力された路面領域の情報に基づいて、自車両１０の周囲の障害物である接近車両２２を検知するため、カメラ以外の他のセンサを追加して設けることなく、障害物である接近車両２２に対する検出精度を向上させることができる。また、路面領域以外の領域に含まれる接近特徴点の情報に基づいてバウンディングボックスを作成するため、路面領域に含まれる接近特徴点の情報は削除され、障害物の検出精度を向上させることができる。また、自車両１０の周囲に障害物が検知されたとき、自車両１０のドライバーに対して音または振動で通知する警報部７を備えたため、ドライバーに接近車両２２の存在を適正なタイミングで知らせることができる。また、自車両１０の周囲に障害物が検知されたとき、自車両１０のドライバーに対してバウンディングボックスの位置を映像で表示して通知する映像表示部６を備えたため、ドライバーに接近車両２２の位置を適正なタイミングで知らせることができる。また、接近車両２２に対する検出精度が向上しているため、誤警報が軽減される。また、自車両１０の周囲に障害物が検知されたとき、自車両１０とバウンディングボックスで示された障害物との接触が回避されるように自車両１０を制御する制御部８を備えたため、ドライバーの操作を介さずに障害物との接触を適正なタイミングで回避することができる。

実施の形態２．
実施の形態２に係る障害物検知装置１００について説明する。図１２は障害物検知装置１００に追加した処理の概要を示す図である。実施の形態２に係る障害物検知装置１００の処理は、実施の形態１の処理に加えて、検知された障害物の座標を補正する処理を加えた構成になっている。

障害物検知部５は、検知された障害物の座標を路面検出部４から出力された路面領域と障害物領域に基づいて補正する。具体的には、例えばステップＳ３０３で作成したバウンディングボックスの四隅の障害物座標を路面検出部４から出力された路面検出領域の一部の輝度値の情報を利用して補正する（ステップＳ４０１）。図４に示した画像の例において、図１０に示したステップＳ３０３では、バウンディングボックス１９が作成される。図６に示したステップＳ２０３では、各路面検出領域の各画素に輝度値を割り当てて、各路面検出領域のヒストグラムが作成される。接近車両２２の特徴を備えた度数ピークを含む路面検出領域１７のヒストグラムと接近車両２２の度数ピークを持たない路面検出領域１６のヒストグラムとの比較から、接近車両２２のタイヤおよび影となっている輝度の最も低い度数ピークＧ４が路面検出領域１７にのみあることがわかる。ヒストグラムを作成する際に路面検出領域の各画素に割り当てられた輝度値から、警報検出エリア１４の路面検出領域１７と路面検出領域１６の境界付近になんらか路面以外の障害物、つまりＧ４が得られた領域があると認識できる。この情報に基づいて、バウンディングボックス１９の障害物座標がバウンディングボックス１８の障害物座標にあると推測した方が、路面検出処理で得たヒストグラムと一致すると判断できる。接近車両２２のバウンディングボックス１９の四隅の障害物座標をバウンディングボックス１８の四隅の障害物座標に補正し、修正後のバウンディングボックス１８の情報を障害物検知部５の処理結果として出力する（ステップＳ４０２）。これにより、自車両１０と接近車両２２の距離の精度を高めることができる。なお、補正は輝度値の情報を利用した手法に限るものではなく、ヒストグラムを利用しない路面検出手法を用いた場合は、用いた手法に応じた補正で構わない。

図１３は、実施の形態２に係る障害物検知装置１００で撮影された画像の例を示す図である。図１３における接近車両は、二輪車２２ａである。オプティカルフロー演算部３の処理において、二輪車２２ａの場合、タイヤのコーナー点が特に抽出されにくい。そのため、図１３に示した画像の例において、図１０に示したステップＳ３０３では、バウンディングボックス２４が作成される。図６に示したステップＳ２０３では、路面検出領域１５〜１７のヒストグラムが作成される。二輪車２２ａの特徴を備えた度数ピークを含む路面検出領域１６のヒストグラムと二輪車２２ａの度数ピークを持たない路面検出領域１５のヒストグラムとの比較から、二輪車２２ａのタイヤおよび影となっている輝度の最も低い度数ピークが路面検出領域１６にのみあることがわかる。ヒストグラムを作成する際に路面検出領域の各画素に割り当てられた輝度値から、警報検出エリア１４の路面検出領域１６と路面検出領域１５の境界付近になんらか路面以外の障害物があると認識できる。この情報に基づいて、バウンディングボックス２４の四隅の障害物座標がバウンディングボックス２３の四隅の障害物座標にあると推測した方が、路面検出処理で得たヒストグラムと一致すると判断できる。二輪車２２ａのバウンディングボックス２４の四隅の障害物座標をバウンディングボックス２３の四隅の障害物座標に補正し、修正後のバウンディングボックス２３の情報を障害物検知部５の処理結果として出力する。バウンディングボックス２３の下端の座標は自車両１０からの距離推定に使用されることから、警報検出エリア１４の中で二輪車２２ａの位置を１ｍ以上近くに修正することで、ドライバーに対して正確な障害物の位置を伝えることができる。

以上のように、この障害物検知装置１００は、障害物検知部５がオプティカルフロー演算部３の作成したバウンディングボックスの四隅の障害物座標を路面検出部４から出力された路面検出領域の一部の輝度値の情報を利用して補正するため、自車両１０と接近車両２２との距離の精度を高めることができる。

実施の形態３．
実施の形態３に係る障害物検知装置１００について説明する。図１４は障害物検知装置１００の構成の概要を示す図である。実施の形態３に係る障害物検知装置１００は、実施の形態１の構成に加えて、車両情報取得部２５を備えた構成になっている。

車両情報取得部２５は、自車両１０の走行情報を取得する。走行情報とは、自車両１０の車速、ヨーレート、ＧＰＳなどの情報である。車両情報取得部２５は、例えば自車両１０の車載ネットワークを介して走行情報を取得する。取得した走行情報は、オプティカルフロー演算部３、路面検出部４、障害物検知部５のそれぞれに出力される。オプティカルフロー演算部３は、走行情報を用いて、複数の画像から抽出した特徴点のオプティカルフロー演算から、接近特徴点を抽出する。障害物の検知処理に走行情報を用いることで、障害物の誤検出または未検出を防ぎ、障害物検知の精度が向上される。以下、走行情報を利用した具体例について説明する。

車両の旋回時は、車両が直進している場合と比べてオプティカルフローが異なる。車両の旋回時に、建物などの構造物から、接近する障害物の様な画面下方向のオプティカルフローが検出される場合がある。そのため、走行情報としてヨーレートを利用して自車両１０の旋回を判定し、ヨーレートの値に応じてオプティカルフロー演算時に車両の旋回に応じた向きのオプティカルフローを除去することで誤検出は軽減し、障害物の検出精度は改善される。

以上のように、この障害物検知装置１００は、自車両１０の走行情報を取得する車両情報取得部２５を備え、オプティカルフロー演算部３は、走行情報を用いて、複数の画像から抽出した特徴点のオプティカルフロー演算から、接近特徴点の情報を抽出するため、障害物の検出精度を向上させることができる。

実施の形態４．
実施の形態４に係る障害物検知装置１００について説明する。図１５は障害物検知装置１００の構成の概要を示す図である。実施の形態４に係る障害物検知装置１００は、実施の形態３の構成に加えて、路面境界線追跡部２６を備えた構成になっている。

路面境界線追跡部２６は、路面検出部４と障害物検知部５の間に設けられ、路面検出部４が出力した二値化画像に基づいて、警報検出エリア１４の中の路面領域と障害物領域との間に位置する路面境界線を連続した複数の画像において記録する。路面境界線追跡部２６は、路面検出部４が出力した二値化画像と共に、複数の画像の路面境界線を障害物検知部５に出力する。

障害物検知部５は、複数の画像のうち連続した２つの画像の間で、２つの画像のそれぞれにおいて作成されたバウンディングボックスの対応付けを行って障害物の対応付けを行う処理を行い、この処理において、２つの画像で対応付けされていたバウンディングボックスが最新の画像において対応付けできない場合、路面境界線追跡部２６が記録した連続した２つの画像の路面境界線の位置を比較する。２つの画像の路面境界線の位置に変化がない場合は、最新の画像において、最新の画像のひとつ前の画像のバウンディングボックスの位置と同じ位置にバウンディングボックスを作成して、障害物が存在すると判定する。以下、路面境界線を利用した具体例について説明する。

図１６は、実施の形態４に係る障害物検知装置１００で撮影された画像の例を示す図である。図１６における接近車両は、自車両１０と並走している二輪車２２ｂである。二輪車２２ｂが並走している場合、自車両１０と二輪車２２ｂとの間に相対速度が生じていないためオプティカルフローの演算ができず、障害物検知部５はオプティカルフローを用いて障害物を検出できない。時系列で障害物を捉えた場合、自車両１０への接近時は相対速度が生じていたため、過去の画像ではオプティカルフローから障害物は検出できている。過去の画像で検出していた路面境界線を記録しておくことで、バウンディングボックスの出現、または消失までの流れは追跡できる。

警報検出エリア１４の路面検出領域１５、１７からは、二輪車２２ｂの影響を受けないため、路面の特徴を備えた図７のヒストグラムが作成される。路面検出領域１６からは、二輪車２２ｂの特徴を備えた図９に類似するヒストグラムが生じる。自車両１０と二輪車２２ｂが並走している場合、自車両１０と二輪車２２ｂ位置が変わらなければヒストグラムのパターンの特徴は大きく変わることはないと考えられる。オプティカルフローにより障害物を検出できない状態でも、連続した複数の画像の路面境界線と最新の画像の路面境界線とを比較することで、二輪車２２ｂの存在と位置を推定することができる。

障害物があると推定ができるのは、既にバウンディングボックスが作成されていて障害物が認識されている場合である。バウンディングボックスが突然消えた時でも、路面境界線追跡部２６によって記録された過去の路面境界線と、現在の路面境界線に変化が無ければ、障害物は前の画像から相対速度０で存在すると判定し、前の画像で作成されたバウンディングボックスと同じ位置にバウンディングボックスを作成してバウンディングボックスの情報を出力する。これにより、並走状態になった障害物が引き続き検知可能になるため、障害物の未検知が軽減される。

以上のように、この障害物検知装置１００は、路面境界線追跡部２６を備え、複数の画像の路面境界線の位置と最新の画像の路面境界線の位置に変化がない場合はバウンディングボックスが最新の画像のひとつ前の画像と同じ位置に存在すると判定し、最新の画像においてひとつ前の画像と同じ位置にバウンディングボックスを作成して障害物が存在すると判定するため、接近車両が並走状態となりオプティカルフローにより障害物を検出できない状態でも、障害物が引き続き検知可能であり、障害物の未検知を軽減することができる。

なお、２つの画像の路面境界線の位置に変化がない場合について説明したが、変化があった場合は以下の処理を行う。路面境界線の位置がひとつ前の画像に比べて後退した場合、障害物は後退したと判断して、最新の画像の路面境界線の位置にバウンディングを作成する。路面境界線がなくなった場合、障害物は警報検出エリアから脱したと判定し、バウンディングボックスの情報を破棄する。路面境界線の位置がひとつ前の画像に比べて前進した場合、ひとつ前の画像における障害物の移動速度から、最新の画像の障害物の位置を推定する。推定した位置より、路面境界線が画像における上側、実座標上で自車両の後方側にある場合は、オプティカルフローは検出されないが僅かに前進していると判断してバウンディングボックスを路面境界線上に作成する。推定した位置より、路面境界線が前にある場合は別の車両が車両前方より後退してきたと判定して、路面境界線上にバウンディングボックスを作成する。

実施の形態５．
実施の形態５に係る障害物検知装置１００について説明する。実施の形態５に係る障害物検知装置１００の処理は、実施の形態４の処理に加えて、バウンディングボックスが作成されず障害物が検知できない場合の処理を加えた構成になっている。

オプティカルフロー演算部３において接近特徴点を抽出できず、障害物検知部５においてバウンディングボックスが作成されず障害物が検知できない場合、障害物検知部５は、連続した複数の画像の路面境界線の位置と自車両１０との距離を比較し、距離が縮まっているときは、路面境界線の座標を障害物の座標として検知する。以下、この処理の具体例について説明する。

図１７は実施の形態５に係る障害物検知装置１００で撮影された画像の例を示す図、図１８は画像の別の例を示す図である。図１７および図１８における接近車両は、画像の消失点の近傍から自車両１０に接近する二輪車２２ｃである。消失点の近傍からカメラに向かって真っ直ぐに接近する障害物については、オプティカルフロー演算部３において接近特徴点の抽出ができず、障害物検知部５はバウンディングボックスを作成して障害物を検出することができない。カメラに向かって真っ直ぐに接近するため、オプティカルフローの演算ができないためである。バウンディングボックスが作成されず障害物が検知できない場合、路面境界線を利用することで障害物を検知する。

消失点の近傍では警報検出エリア１４の輝度階調の分解能を高めておき、さらに画像中の警報検出エリア１４を狭く分割しておく。二輪車２２ｃが路面検出領域１７に含まれる場合、タイヤ接地付近は路面の輝度よりも低い輝度となり、図９に類似するヒストグラムが生じる。このヒストグラムが図１７から図１８で、路面検出領域１７から路面検出領域１６へと移動する。それに伴い路面境界線の位置も移動する。このように路面境界線の位置と自車両１０との距離が縮まっている場合は、路面境界線の座標の位置に障害物があると推定し、路面境界線の座標を障害物の座標とする。この路面境界線が近づく状態を認識することによりオプティカルフロー演算部３でバウンディングボックスの作成が困難な場合でも、自車両１０に対する接近車両を推定して検知することが可能となる。

以上のように、この障害物検知装置１００は、接近特徴点の抽出ができずにバウンディングボックスが作成されず障害物が検知できない場合においても、複数の画像の路面境界線の位置と自車両１０との距離が縮まっているときは、路面境界線の座標を障害物の座標として検知するため、障害物を検知することができる。

また本願は、様々な例示的な実施の形態及び実施例が記載されているが、１つ、または複数の実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。

１撮像部、２フレームバッファ、３オプティカルフロー演算部、４路面検出部、５障害物検知部、６映像表示部、７警報部、８制御部、９障害物検知ＥＣＵ、１０自車両、１０ａ側面、１１カメラ、１２撮影範囲、１３消失点、１４警報検出エリア、１５路面検出領域、１６路面検出領域、１７路面検出領域、１８バウンディングボックス、１９バウンディングボックス、２０オプティカルフロー演算領域、２１非障害物、２１ａひび割れ、２１ｂ白線、２１ｃ縁石、２２接近車両、２２ａ二輪車、２２ｂ二輪車、２２ｃ二輪車、２３バウンディングボックス、２４バウンディングボックス、２５車両情報取得部、２６路面境界線追跡部、１００障害物検知装置、１１０プロセッサ、１１１記憶装置

本願に開示される障害物検知装置は、車両に設置され、車両の周囲を撮影して、時系列で複数の画像を取得する撮像部と、複数の画像から抽出した特徴点のオプティカルフローの演算から、車両に接近する特徴点を接近特徴点として抽出して接近特徴点の情報を出力するオプティカルフロー演算部と、複数の画像のそれぞれの画像において、車両の周囲を路面と判断できる路面領域と路面以外の物が写っている障害物領域に分けた結果を出力する路面検出部と、接近特徴点の情報と路面領域の情報に基づいて、車両の周囲の障害物を検知する障害物検知部とを備え、障害物検知部は、検知された障害物を囲う矩形のバウンディングボックスの四隅の座標を路面検出部から出力された路面領域と障害物領域に基づいて補正する。

Claims

車両に設置され、前記車両の周囲を撮影して、時系列で複数の画像を取得する撮像部と、
前記複数の画像から抽出した特徴点のオプティカルフローの演算から、前記車両に接近する特徴点を接近特徴点として抽出して前記接近特徴点の情報を出力するオプティカルフロー演算部と、
前記複数の画像のそれぞれの画像において、前記車両の周囲を路面と判断できる路面領域と前記路面以外の物が写っている障害物領域に分けた結果を出力する路面検出部と、
前記接近特徴点の情報と前記路面領域の情報に基づいて、前記車両の周囲の障害物を検知する障害物検知部と、を備えたことを特徴とする障害物検知装置。
前記障害物検知部は、前記路面領域以外の領域に含まれる、前記接近特徴点の情報を用いて前記障害物を検知することを特徴とする請求項１に記載の障害物検知装置。
前記障害物検知部は、検知された前記障害物の座標を前記路面検出部から出力された前記路面領域と前記障害物領域に基づいて補正することを特徴とする請求項１または請求項２に記載の障害物検知装置。
前記車両の走行情報を取得する車両情報取得部を備え、
前記オプティカルフロー演算部は、前記走行情報を用いて、前記複数の画像から抽出した特徴点のオプティカルフロー演算から、前記接近特徴点を抽出することを特徴とする請求項１から請求項３のいずれか１項に記載の障害物検知装置。
前記路面領域と前記障害物領域との間の路面境界線を連続した複数の画像において記録する路面境界線追跡部を備え、
前記障害物検知部は、前記複数の画像のうち連続した２つの画像の間で、前記２つの画像のそれぞれにおいて検出された前記障害物の対応付けを行う処理を行い、前記処理において、前記２つの画像で対応付けされていた前記障害物が最新の画像において対応付けできない場合、
前記路面境界線追跡部が記録した連続した前記２つの画像の前記路面境界線の位置を比較し、
前記２つの画像の前記路面境界線の位置に変化がない場合は、前記最新の画像において、前記最新の画像のひとつ前の画像の前記障害物の位置と同じ位置に前記障害物が存在すると判定することを特徴とする請求項１から請求項４のいずれか１項に記載の障害物検知装置。
前記オプティカルフロー演算部において前記接近特徴点を抽出できず、前記障害物検知部において前記障害物が検知できない場合、
前記障害物検知部は、連続した前記複数の画像の前記路面境界線の位置と前記車両との距離を比較し、前記距離が縮まっているときは、前記路面境界線の座標を前記障害物の座標として検知することを特徴とする請求項５に記載の障害物検知装置。
前記車両の周囲に前記障害物が検知されたとき、前記車両のドライバーに対して音で通知する警報部を備えたことを特徴とする請求項１から請求項６のいずれか１項に記載の障害物検知装置。
前記車両の周囲に前記障害物が検知されたとき、前記車両のドライバーに対してハンドルを振動させて通知する警報部を備えたことを特徴とする請求項１から請求項６のいずれか１項に記載の障害物検知装置。
前記車両の周囲に前記障害物が検知されたとき、前記車両のドライバーに対して前記障害物領域の位置を映像で表示して通知する映像表示部を備えたことを特徴とする請求項１から請求項８のいずれか１項に記載の障害物検知装置。
前記車両の周囲に前記障害物が検知されたとき、前記車両と前記障害物領域で示された障害物との接触が回避されるように前記車両を制御する制御部を備えたことを特徴とする請求項１から請求項９のいずれか１項に記載の障害物検知装置。
車両に接近する障害物を検知する障害物検知方法であって、
前記車両の周囲を撮影して時系列で複数の画像を取得して出力するステップと、
複数の前記画像から抽出した特徴点のオプティカルフローの演算から、前記車両に接近する特徴点を接近特徴点として抽出して前記接近特徴点の情報を出力するステップと、
前記複数の画像のそれぞれの画像において、前記車両の周囲を路面と判断できる路面領域と前記路面以外の物が写っている障害物領域に分けた結果を出力するステップと、
前記接近特徴点の情報と前記路面領域の情報に基づいて、前記車両の周囲の前記障害物を検知するステップと、
を備えたことを特徴とする障害物検知方法。