JP2018206214A

JP2018206214A - 他車監視システム

Info

Publication number: JP2018206214A
Application number: JP2017112913A
Authority: JP
Inventors: 哲金森; Satoru Kanamori; 伸吾片桐; Shingo Katagiri
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2017-06-07
Filing date: 2017-06-07
Publication date: 2018-12-27
Anticipated expiration: 2037-06-07
Also published as: JP6841725B2

Abstract

【課題】雨滴による他車の誤検出を抑止する「他車監視システム」を提供する。【解決手段】他車検出部２は、リアカメラ１が撮影した画像中に映り込んだ他車のタイヤを画像認識によって識別し他車の相対位置を検出し、警告制御部３は、他車検出停止モードが解除されているときには、他車の相対位置に基づいて他車を検出し、警告を出力する。また、警告制御部３は、他車検出部２が検出した他車の相対位置が示す、過去所定期間中における、自車の左右方向についての自車と他車との距離の分散が、所定のしきい値より大きくなったならば、他車の検出を抑止し、警告の出力を停止する。【選択図】図１

Description

本発明は、自動車の周辺を走行する他車を監視する技術に関するものである。

自動車の周辺を走行する他車を監視する技術としては、自車の側方を撮影するカメラを設け、カメラで撮影した画像に映り込んだ他車のタイヤをパターンマッチングによって認識すると共に、画像認識したタイヤの位置や大きさ等に基づいて、当該他車の相対位置や相対速度や大きさを検出する技術が知られている（たとえば、特許文献１）。

また、自動車に搭載された自動車周辺を撮影するカメラに関する技術としては、予め各道路区間について当該道路区間の路面標示のパターンを登録しておき、走行中の道路区間について登録されている路面標示のパターンと、実際にカメラで撮影された路面上のパターンとの相違に基づいて、カメラの光学系に付着した水滴や汚れを検出する技術が知られている（たとえば、特許文献２）。

特開２０１６-１９２１７７号公報特開２００８- ６０８７４号公報

カメラで撮影した画像に映り込んだ他車のタイヤをパターンマッチングによって認識し、認識したタイヤに基づいて他車を検出する技術においては、カメラのレンズの前玉や、カメラのレンズの前方に設けた光学窓などの、撮像光学系の入射側端の光学部品に雨滴が付着したときに、当該雨滴をパターンマッチングによってタイヤとして認識してしまい、他車を誤検出してしまうことがある。

また、このような他車の誤検出は、タイヤに代えて、雨滴の形状と類似性のある自動車の特定の形状の外観部分をパターンマッチングによって認識し、認識した外観部分に基づいて他車を検出する場合にも同様に生じ得る
一方で、雨滴の付着を検出して他車の検出を抑止すれば、他車の誤検出を抑止することができるが、上述したカメラの光学系に付着した水滴や汚れを検出する技術では、路面標示が存在し、かつ、当該路面標示のパターンが予め登録されている道路区間でしか雨滴付着を検出することができない。

そこで、本発明は、カメラに付着した雨滴による他車の誤検出を抑止することを課題とする。

前記課題達成のために、本発明は、自動車に搭載される、当該自動車の周辺の他車を監視する他車監視システムに、本発明は、自動車に搭載される、当該自動車の周辺の他車を監視する他車監視システムに、前記自動車の周辺を撮影するカメラと、前記カメラが撮影した画像中の他車の外観に円形に表れる部分の像を認識する画像認識手段と、前記画像認識手段の認識結果に基づいて他車を検出する他車検出手段と、前記画像認識手段が認識した前記部分の像の前記画像中の配置に基づいて、他車の相対位置を算定する算定手段と、前記算定手段が算定した他車の相対位置が示す、前記自動車と当該他車との間の前記自動車の左右方向の距離のばらつきの程度が所定のレベルより大きくなったときに、前記他車検出手段の他車の検出を停止させる他車検出抑止手段とを備えたものである。

また、前記課題達成のために、自動車に搭載される、当該自動車の周辺の他車を監視する他車監視システムに、
前記自動車の周辺を撮影するカメラと、前記カメラが撮影した画像中の他車の外観に円形に表れる部分の像を認識する画像認識手段と、前記画像認識手段の認識結果に基づいて他車を検出する他車検出手段と、前記画像認識手段が認識した前記部分の像の前記画像中の配置に基づいて、前記部分の相対位置を算定する算定手段と、前記算定手段が算定した前記部分の相対位置が示す、前記自動車と当該部分との間の前記自動車の左右方向の距離のばらつきの程度が所定のレベルより大きくなったときに、前記他車検出手段の他車の検出を停止させる他車検出抑止手段を備えたものである。

また、本発明は、前記課題達成のために、自動車に搭載される、当該自動車の周辺の他車を監視する他車監視システムに、前記自動車の周辺を撮影するカメラと、前記カメラが撮影した画像中の他車の外観に円形に表れる部分の像を認識する画像認識手段と、前記画像認識手段の認識結果に基づいて他車を検出する他車検出手段と、前記画像認識手段が認識した前記部分の像の前記画像中の配置に基づいて、他車の相対位置を算定する算定手段と、前記算定手段が算定した他車の相対位置が示す、過去所定期間における、前記自動車と当該他車との間の前記自動車の左右方向の距離の分散または標準偏差である不審度が所定のしきい値より大きくなったときに、前記他車検出手段の他車の検出を停止させる他車検出抑止手段とを備えたものである。

また、前記課題達成のために、本発明は、自動車に搭載される、当該自動車の周辺の他車を監視する他車監視システムに、前記自動車の周辺を撮影するカメラと、前記カメラが撮影した画像中の他車の外観に円形に表れる部分の像を認識する画像認識手段と、前記画像認識手段の認識結果に基づいて他車を検出する他車検出手段と、前記画像認識手段が認識した前記部分の像の前記画像中の配置に基づいて、前記部分の相対位置を算定する算定手段と、前記算定手段が算定した前記部分の相対位置が示す、過去所定期間における、前記自動車と当該部分との間の前記自動車の左右方向の距離の分散または標準偏差である不審度が所定のしきい値より大きくなったときに、前記他車検出手段の他車の検出を停止させる他車検出抑止手段とを備えたものである。

ここで、以上のような不審度に応じて他車検出手段の他車の検出を停止させる他車監視システムにおいては、前記他車検出抑止手段において、前記他車検出手段の他車の検出を停止させた後、前記不審度が所定のレベルより小さくなったならば、前記他車検出手段の他車の検出を再開させるようにしてもよい。

また、以上のような他車監視システムにおいて、前記部分は、タイヤであってよい。
また、以上のような、他車監視システムに、さらに、前記他車検出手段が検出した他車の存在をユーザに対して提示する他車提示手段を備えるようにしてもよい。
また、以上のような他車監視システムは、前記他車検出抑止手段において、前記他車検出手段の他車の検出を停止させる際に、当該停止の旨をユーザに対して警告するように構成してもよい。

また、以上のような他車監視システムに、さらに、前記カメラの撮像光学系に付着した水滴を除去する清掃機構と、前記他車検出抑止手段が前記他車検出手段の他車の検出を停止させたときに、前記清掃機構に前記水滴の除去を行わせる水滴除去制御手段とを設けるようにしてもよい。

以上のような他車監視システムによれば、識別された他車や他車の前記部分の相対位置のばらつきが大きい場合には、他車の検出が抑止される。また、通常、自車と同じ道路を走行している他車や前記部分の、前記相対位置のばらつきは小さいのに対して、カメラに付着した雨滴を前記部分として誤認識とした場合の、前記相対位置のばらつきは、雨滴が移動、変形するために一般的に大きくなる。
したがって、本発明によれば、カメラが撮影した画像中の他車の外観に円形に表れる部分の像に基づいて他車を検出する他車監視システムにおいて、カメラに付着した雨滴の像を当該部分の像として誤認識してしまうことによる、他車の誤検出を抑止することができる。

以上のように、本発明によれば、カメラに付着した雨滴による他車の誤検出を抑止することができる。

本発明の実施形態に係る他車監視システムの構成を示すブロック図である。本発明の実施形態に係る他車監視システムのリアカメラの配置を示す図である。本発明の実施形態に係る他車監視システムのリアカメラで撮影される画像の例を示す図である。本発明の実施形態に係る警告抑止処理を示すフローチャートである。本発明の実施形態に係る他車監視システムで検出される他車の検出座標の推移を示す図である。

以下、本発明の実施形態について、自動車に搭載された、自車の側方を走行する他車を監視する他車監視システムへの適用を例にとり説明する。
図１に、本実施形態に係る他車監視システムの構成を示す。
図示するように、他車監視システムは、リアカメラ１、他車検出部２、警告制御部３、音声出力装置４、表示装置５、入力装置６を備えている。
ここで、図２に示すように、リアカメラ１は、自動車の後部に設置されており、自車の後方を撮影する。
次に、他車検出部２は、リアカメラ１が撮影した画像中に映り込んだ他車のタイヤを画像中のエッジとのパターンマッチング等による画像認識によって識別すると共に、識別したタイヤの自車に対する相対位置、タイヤの大きさ等を、画像中のタイヤの位置や大きさに基づいて算出する。

また、他車検出部２は、算出したタイヤの相対位置、タイヤの大きさや、その推移等に基づいて、他車の自車に対する相対位置や、他車の自車に対する相対速度を算定して、警告制御部３に通知する。

但し、他車検出部２は、識別したタイヤの相対位置や、識別したタイヤの自車に対する相対速度を、他車の自車に対する相対位置や、他車の自車に対する相対速度として、警告制御部３に通知するようにしてもよい。

警告制御部３は、他車検出部２から通知された、他車の自車に対する相対位置や、他車の自車に対する相対速度に基づいて他車を検出し、検出した他車についての警告や警報を出力する処理を行う。

すなわち、たとえば、警告制御部３は、他車検出部２から、他車の自車に対する相対位置や、他車の自車に対する相対速度を通知されたならば、他車を検出する。
そして、警告制御部３は、検出した他車の自車に対する相対位置が、自車から所定距離内に、自車の側方を走行している他車が存在していることを表している期間中、表示装置５の表示を用いて側方車が存在していることを運転者に提示する警告出力を行う。

また、警告制御部３は、検出した他車の自車に対する相対位置や、他車の自車に対する相対速度が、所定期間内に他車が自車に所定レベル以上接近することを表しているときに、側方車の異常接近を知らせる所定の警報音や音声メッセージを音声出力装置４から出力する警報出力を行う。

さて、ここで、図３に、リアカメラ１で撮影される画像の例を示す。
図中、図３ａは、リアカメラ１のレンズの前玉や、カメラのレンズの前方に設けた光学窓などの、撮像光学系の入射側端の光学部品に雨滴が付着していないときにリアカメラ１によって撮影される画像を示し、図３ｂは、撮像光学系の入射側端の光学部品に雨滴が付着しているときにリアカメラ１によって撮影される画像を示している。

図３ｂに示すように、雨滴が付着しているときには、雨滴による円形や楕円形のパターンが画像中に表れ、他車検出部２において、このパターンが他車のタイヤとして識別されてしまうことがある。

そして、他車検出部２において、このように雨滴が他車のタイヤとして識別されてしまうと、警告制御部３において、他車が誤検出されてしまい、不要な警告出力や警報出力が行われてしまうこととなる。

そこで、警告制御部３は、図４に示す警告抑止処理を行う。
図示するように、警告制御部３は、警告抑止処理において、過去所定期間内（たとえば、過去５秒以内）に他車検出部２から通知された、他車の自車に対する相対位置の座標の不審度Ｍを算定する処理（ステップ４０２）を、しきい値Th1超の不審度Ｍが算定されるまで（ステップ４０４）繰り返す。

ここで、自車の左右方向の軸をＸ軸として、不審度Ｍとしては、他車の自車に対する相対位置のＸ軸方向（自車の左右方向）の座標をｘ、Avg(ｘ)を座標ｘの平均値として、下式によって示される分散σ²を用いる。なお、座標ｘは、自車の左右方向についての自車と他車との距離を表す。

そして、しきい値Th1超の不審度Ｍが算定されたならば（ステップ４０４）、他車検出停止モードを設定する（ステップ４０６）。なお、他車検出停止モードは初期状態では設定されておらず、解除されている。
ここで、他車検出停止モードが設定されている期間中、警告制御部３は、他車の検出を抑止し、警告出力と警報出力を停止する。

そして、次に、他車の検出を停止することを運転者に警告する（ステップ４０８）。
ここで、ステップ４０８では、たとえば、音声出力装置４から他車の検出を停止することを伝える音声メッセージを出力すると共に、表示装置５の表示による他車の検出を停止していることの運転者への提示を開始する。または、ステップ４０８では、音声メッセージを出力する代わりに、入力装置６に対してユーザが解除操作を行うまで警告音を音声出力装置４から出力するようにしてもよい。

そして、過去所定期間内（たとえば、過去５秒以内）に他車検出部２から通知された、他車の自車に対する相対位置の座標の不審度Ｍを算定する処理（ステップ４１０）を、しきい値Th2未満の不審度Ｍが算定されるまで（ステップ４１２）繰り返す。ここで、Th2は、Th2＜Th1を満たす値を設定する。

そして、しきい値Th2未満の不審度Ｍが算定されたならば（ステップ４１２）、他車検出停止モードを解除する（ステップ４１４）。
ここで、他車検出停止モードが解除されると、以降、警告制御部３は、他車検出部２から、他車の自車に対する相対位置や、他車の自車に対する相対速度を通知されたならば、他車を検出し、検出した他車についての警告出力や警報出力を上述のように行う。

そして、次に、他車の検出を再開したことを運転者に通知し（ステップ４１６）、ステップ４０２からの処理に戻る。
ここで、ステップ４１６では、たとえば、音声出力装置４から他車の検出を再開することを伝える音声メッセージを出力すると共に、表示装置５の表示による他車の検出を停止していることの運転者への提示を消去する。

以上、警告制御部３が行う警告抑止処理について説明した。
さて、ここで、図３ａのように雨滴が付着していない映像がリアカメラ１によって撮影されている期間中の、他車検出部２において検出された他車の自車に対する相対位置のＸ軸方向（自車の左右方向）の座標ｘの推移を図５ａに示し、図３ｂのように雨滴が付着している映像がリアカメラ１によって撮影されている期間中の、他車検出部２において検出された他車の自車に対する相対位置のＸ軸方向（自車の左右方向）の座標ｘの推移を図５ｂに示す。

ただし、図５ａ、ｂにおいては、他車を検出していないときの座標ｘの値を０としている。
他車は自車と同じ道路を走行しているので、他車の自車対する左右方向の相対位置は頻繁に大きく変動することがなく、雨滴が付着していないときには他車検出部２で正しく他車の相対位置を検出できるので、他車検出部２で検出される他車の自車に対する相対位置のＸ軸方向（自車の左右方向）の座標ｘは、図５ａに示されるように、安定的に、特定の値の周辺の値となる。

一方、雨滴が付着しており、他車検出部２が雨滴をタイヤと誤認識している場合、付着した雨滴は自動車の走行に伴い頻繁に移動したり形状が変化したりするので、他車検出部２で検出される他車の自車に対する相対位置のＸ軸方向（自車の左右方向）の座標ｘは、図５ｂに示されるように頻繁に大きく変動する。

したがって、他車検出部２において検出された他車の自車に対する相対位置のＸ軸方向（自車の左右方向）の座標ｘの分散σ²は、雨滴が付着していないときには小さい値となり、付着した雨滴による誤認識が発生しているときには大きい値となる。
よって、上述した警告抑止処理によって、過去所定期間内において、他車検出部２において検出された他車の自車に対する相対位置のＸ軸方向（自車の左右方向）の座標ｘの分散σ²が大きい期間中、他車の検出を抑止して、警告出力や警報出力を停止することにより、リアカメラ１に付着した雨滴による他車の誤検出や、当該誤検出に基づく警告出力や警報出力を抑止することができる。

以上、本発明の実施形態について説明した。
ここで、以上の実施形態では、図４の警告抑止処理のステップ４０２、ステップ４１０において、不審度Ｍとして、他車検出部２から通知された他車の自車に対する相対位置のＸ軸方向（自車の左右方向）の座標ｘの分散を算出したが、これは、ステップ４０２、４１０において、他車検出部２が算出した他車のタイヤの自車に対する相対位置のＸ軸方向（自車の左右方向）の座標ｘの分散を算出するようにしてもよい。

また、以上の実施形態では、不審度Ｍとして、座標ｘの分散σ²を用いたが、不審度Ｍとしては、座標ｘのばらつきの程度が大きいほど大きくなる値であれば他の指標を用いるようにしてもよい。すなわち、たとえば、不審度Ｍとしては、標準偏差や、過去所定期間中に、座標ｘが所定の大きさ以上大きく変化した回数などを用いるようにしてもよい。
また、以上の実施形態の他車監視システムに、リアカメラ１の撮像光学系の入射側端の光学部品に付着した雨滴等の水滴を拭き取るワイパーや、当該水滴を吹き飛ばす送風機などの、当該水滴を除去する清掃機構を設け、図４の警告抑止処理のステップ４０６で他車検出停止モードを設定したならば、ステップ４０８において、他車の検出を停止することを運転者に警告すると共に、清掃機構に水滴を除去する動作である除去動作（清掃機構がワイパーであればワイパーの駆動、清掃機が送風機であれば送風）を開始させるようにしてもよい。なお、この場合、ステップ４１４において、他車検出停止モードを解除する際に、清掃機構の水滴の除去動作を停止するようにする。

また、以上の実施形態は、リアカメラ１を用いて自車側方の他車を検出する場合について説明したが、本実施形態は、自動車の前方や側方に設けたカメラを用いて他車を検出する場合について同様に適用することができる。

また、以上の実施形態は、タイヤを画像認識して他車を検出する場合について説明したが、本実施形態は、タイヤ以外の、自動車の雨滴と類似する形状の外観部分を画像認識して他車を検出する場合について同様に適用することができる。すなわち、本実施形態は、たとえば、自動車のヘッドライトやその照明光の像などの、自動車の外観に円形に表れる部分を画像認識して他車を検出する場合等について同様に適用することができる。

１…リアカメラ、２…他車検出部、３…警告制御部、４…音声出力装置、５…表示装置、６…入力装置。

Claims

自動車に搭載される、当該自動車の周辺の他車を監視する他車監視システムであって、
前記自動車の周辺を撮影するカメラと、
前記カメラが撮影した画像中の他車の外観に円形に表れる部分の像を認識する画像認識手段と、
前記画像認識手段の認識結果に基づいて他車を検出する他車検出手段と、
前記画像認識手段が認識した前記部分の像の前記画像中の配置に基づいて、他車の相対位置を算定する算定手段と、
前記算定手段が算定した他車の相対位置が示す、前記自動車と当該他車との間の前記自動車の左右方向の距離のばらつきの程度が所定のレベルより大きくなったときに、前記他車検出手段の他車の検出を停止させる他車検出抑止手段とを有することを特徴とする他車監視システム。
自動車に搭載される、当該自動車の周辺の他車を監視する他車監視システムであって、
前記自動車の周辺を撮影するカメラと、
前記カメラが撮影した画像中の他車の外観に円形に表れる部分の像を認識する画像認識手段と、
前記画像認識手段の認識結果に基づいて他車を検出する他車検出手段と、
前記画像認識手段が認識した前記部分の像の前記画像中の配置に基づいて、前記部分の相対位置を算定する算定手段と、
前記算定手段が算定した前記部分の相対位置が示す、前記自動車と当該部分との間の前記自動車の左右方向の距離のばらつきの程度が所定のレベルより大きくなったときに、前記他車検出手段の他車の検出を停止させる他車検出抑止手段とを有することを特徴とする他車監視システム。
自動車に搭載される、当該自動車の周辺の他車を監視する他車監視システムであって、
前記自動車の周辺を撮影するカメラと、
前記カメラが撮影した画像中の他車の外観に円形に表れる部分の像を認識する画像認識手段と、
前記画像認識手段の認識結果に基づいて他車を検出する他車検出手段と、
前記画像認識手段が認識した前記部分の像の前記画像中の配置に基づいて、他車の相対位置を算定する算定手段と、
前記算定手段が算定した他車の相対位置が示す、過去所定期間における、前記自動車と当該他車との間の前記自動車の左右方向の距離の分散または標準偏差である不審度が所定のしきい値より大きくなったときに、前記他車検出手段の他車の検出を停止させる他車検出抑止手段とを有することを特徴とする他車監視システム。
自動車に搭載される、当該自動車の周辺の他車を監視する他車監視システムであって、
前記自動車の周辺を撮影するカメラと、
前記カメラが撮影した画像中の他車の外観に円形に表れる部分の像を認識する画像認識手段と、
前記画像認識手段の認識結果に基づいて他車を検出する他車検出手段と、
前記画像認識手段が認識した前記部分の像の前記画像中の配置に基づいて、前記部分の相対位置を算定する算定手段と、
前記算定手段が算定した前記部分の相対位置が示す、過去所定期間における、前記自動車と当該部分との間の前記自動車の左右方向の距離の分散または標準偏差である不審度が所定のしきい値より大きくなったときに、前記他車検出手段の他車の検出を停止させる他車検出抑止手段とを有することを特徴とする他車監視システム。
請求項３または４記載の他車監視システムであって、
前記他車検出抑止手段は、前記他車検出手段の他車の検出を停止させた後、前記不審度が所定のレベルより小さくなったならば、前記他車検出手段の他車の検出を再開させることを特徴とする他車監視システム。
請求項１、２、３、４または５記載の他車監視システムであって、
前記部分は、タイヤであることを特徴とする他車監視システム。
請求項１、２、３、４、５または６記載の他車監視システムであって、
前記他車検出手段が検出した他車の存在をユーザに対して提示する他車提示手段を有することを特徴とする他車監視システム。
請求項１、２、３、４、５、６または７記載の他車監視システムであって、
前記他車検出抑止手段は、前記他車検出手段の他車の検出を停止させる際に、当該停止の旨をユーザに対して警告することを特徴とする他車監視システム。
請求項１、２、３、４、５、６、７または８記載の他車監視システムであって、
前記カメラの撮像光学系に付着した水滴を除去する清掃機構と、
前記他車検出抑止手段が前記他車検出手段の他車の検出を停止させたときに、前記清掃機構に前記水滴の除去を行わせる水滴除去制御手段とを有することを特徴とする他車監視システム。