JP2020060531A - 異常検出装置、異常検出システム、および、異常検出方法 - Google Patents

異常検出装置、異常検出システム、および、異常検出方法 Download PDF

Info

Publication number
JP2020060531A
JP2020060531A JP2018193686A JP2018193686A JP2020060531A JP 2020060531 A JP2020060531 A JP 2020060531A JP 2018193686 A JP2018193686 A JP 2018193686A JP 2018193686 A JP2018193686 A JP 2018193686A JP 2020060531 A JP2020060531 A JP 2020060531A
Authority
JP
Japan
Prior art keywords
camera
abnormality detection
determination
detection device
update cycle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018193686A
Other languages
English (en)
Inventor
直士 垣田
Naoshi Kakita
直士 垣田
康司 大西
Yasushi Onishi
康司 大西
隆幸 小笹
Takayuki Ozasa
隆幸 小笹
輝彦 上林
Teruhiko Kamibayashi
輝彦 上林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2018193686A priority Critical patent/JP2020060531A/ja
Priority to US16/556,446 priority patent/US10750166B2/en
Publication of JP2020060531A publication Critical patent/JP2020060531A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/28Mobile studios

Abstract

【課題】移動体に搭載されるカメラの異常を誤検出することを抑制できる技術を提供する。【解決手段】移動体に搭載されるカメラの異常を検出する異常検出装置は、前記カメラの異常の有無を、前記カメラで撮影されたフレーム画像から抽出される特徴点の位置の時間変化に基づき判定する判定処理を行う判定部と、前記判定処理を行う際に前記カメラのAGC(Automatic Gain Control)回路におけるゲインの変化幅を抑制する制御を行うAGC制御部と、を備える。【選択図】図1

Description

本発明は、異常検出装置、異常検出システム、および、異常検出方法に関する。
従来、自動車等の車両には、駐車支援等に利用されるカメラが搭載されている。例えば車両に搭載される車載カメラは、車両を工場から出荷する前に、車両に固定した状態で取り付けられる。しかしながら、車載カメラは、例えば不意の接触や経年変化等によって、工場出荷時の取付け状態からずれを起こすことがある。車載カメラの取付け位置や角度がずれると、カメラ画像を利用して判断されるハンドルの操舵量等に誤差が生じるために、車載カメラの取付けのずれを検出することは重要である。
特許文献1には、車両に取り付けられた映像出力装置から投影されるパターンを使い、車載カメラのキャリブレーションを行うことが開示される。また、パターン投影に必要なスペースを確保するため、車両制御部が、前方障害との距離が一定以上空くようにブレーキ等の車両装置を制御することが開示される。その他、特許文献1には、横断歩道や自車ボディから取得する特徴点を使って車載カメラのキャリブレーションが行われることが開示される。
特開2016−171509号公報
例えば車両の走行状態等によって、車載カメラが置かれる環境は変動し易い。特徴点を利用して車載カメラの取付けのずれを検出する場合、車載カメラが置かれる環境の変動が大きいと、車載カメラの取付けのずれを誤検出することがある。
本発明は、移動体に搭載されるカメラの異常を誤検出することを抑制できる技術を提供することを目的とする。
上記目的を達成するために本発明の異常検出装置は、移動体に搭載されるカメラの異常を検出する異常検出装置であって、前記カメラの異常の有無を、前記カメラで撮影されたフレーム画像から抽出される特徴点の位置の時間変化に基づき判定する判定処理を行う判定部と、前記判定処理を行う際に前記カメラのAGC(Automatic Gain Control)回路におけるゲインの変化幅を抑制する制御を行うAGC制御部と、を備える構成(第1の構成)になっている。
上記第1の構成の異常検出装置において、前記AGC制御部はゲインの更新周期を制御し、前記判定部は、前記AGC回路のゲインが一定である期間に取得した前記フレーム画像を用いて、前記カメラの異常の有無を判定する構成(第2の構成)であることが好ましい。
上記第2の構成の異常検出装置において、前記AGC制御部は、前記判定処理を行わない場合に前記更新周期として使用される通常更新周期と、前記判定処理を行う場合に前記更新周期として使用され、前記通常更新周期より期間が長い判定処理用更新周期と、を選択可能に設けられる構成(第3の構成)であることが好ましい。
上記第3の構成の異常検出装置において、前記判定処理用更新周期の長さは、前記カメラで前記判定処理用の前記フレーム画像を少なくとも2つ取得するのに要する時間以上である構成(第4の構成)が好ましい。
上記第3又は第4の構成の異常検出装置において、前記AGC制御部は、前記判定処理用更新周期を選択中に、前記AGC回路におけるゲインのフィードバック制御量が所定量以上になった場合に、前記更新周期の設定を強制的に前記通常更新周期に切り替える構成(第5の構成)であることが好ましい。
上記第5の構成の異常検出装置において、前記判定部は、前記更新周期の設定を強制的に前記通常更新周期に切り替えた場合に、当該切替えの少なくとも直前に得られた前記フレーム画像に対する処理結果の信頼度を下げる構成(第6の構成)であることが好ましい。
上記第6の構成の異常検出装置において、前記判定部は、信頼度を下げた前記処理結果を破棄する構成(第7の構成)であってよい。
上記第1から第7のいずれかの構成の異常検出装置は、前記判定処理を行う際に、前記移動体のサスペンションの設定を制御するサスペンション制御部を更に備える構成(第8の構成)であってよい。
上記第1から第8のいずれかの構成の異常検出装置は、前記判定処理を行う際に、前記移動体の点滅表示灯を制御する点滅表示灯制御部を更に備える構成(第9の構成)であってよい。
上記第1から第9のいずれかの構成の異常検出装置は、前記移動体に搭載された光照射装置から照射された光の前記フレーム画像における照射位置が所定範囲内に位置するか否かを判断する照射位置判断部を更に備える構成(第10の構成)であってよい。
上記目的を達成するために本発明の異常検出システムは、上記異常検出装置と、前記AGC回路を有する前記カメラと、を備える構成(第11の構成)になっている。
上記目的を達成するために本発明の異常検出システムは、上記異常検出装置と、前記AGC回路を有する前記カメラと、前記移動体が移動する路面と前記カメラとの距離を制御可能に前記移動体に設けられるサスペンション装置、オンオフ制御可能に前記移動体に設けられる点滅表示灯装置、および、前記移動体に前記カメラと対になって設けられるとともに所定位置を照射する光照射装置のうちの少なくともいずれか1つの装置と、を備える構成(第12の構成)になっている。
上記目的を達成するために本発明の異常検出方法は、装置によって、移動体に搭載されるカメラの異常を検出する異常検出方法であって、前記カメラの異常の有無を、前記カメラで撮影されたフレーム画像から抽出される特徴点の位置の時間変化に基づき判定する判定処理を行う判定工程と、前記判定処理を行う際に、前記カメラのAGC(Automatic Gain Control)回路におけるゲインの変化幅を抑制する制御を行うAGC制御工程と、を備える構成(第13の構成)になっている。
本発明によると、移動体に搭載されるカメラの異常を誤検出することを抑制できる。
異常検出システムの構成を示すブロック図 AGC回路の概略構成を示す図 AGC制御部とフィードバック回路との関係を示す概略図 カメラずれの検出処理の一例を示すフローチャート AGC制御部による制御処理の一例を示すフローチャート 判定処理の一例を示すフローチャート 特徴点を抽出する手法を説明するための図 オプティカルフローを求める手法を説明するための図 座標変換処理を説明するための図 第1ヒストグラムの一例を示す図 第2ヒストグラムの一例を示す図 ずれ判定の一例を示すフローチャート 変形例に係る異常検出システムの構成を示すブロック図 照射位置判断部の機能を説明するための模式図 カメラずれの検出処理の変形例を示すフローチャート
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、本発明が適用される移動体が車両である場合を例にとり説明するが、本発明が適用される移動体は車両に限定される趣旨ではない。本発明は、例えばロボット等に適用されてもよい。車両には、例えば自動車、電車、無人搬送車等の車輪を有する乗り物が広く含まれる。
また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。なお、前後左右の方向は、単に説明のために用いられる名称であって、実際の位置関係及び方向を限定する趣旨ではない。
<1.異常検出システム>
図1は、本発明の実施形態に係る異常検出システムSYS1の構成を示すブロック図である。図1に示すように、異常検出システムSYS1は、異常検出装置1と、撮影部2と、センサ部3とを備える。なお、本実施形態において、異常は、車両に搭載するカメラの取付けのずれ(以下、「カメラずれ」と表現する)が生じた状態を指す。すなわち、異常検出システムSYS1は、車両に搭載されるカメラのカメラずれを検出するシステムである。詳細には、異常検出システムSYS1は、例えば、工場出荷時における車両へのカメラの取付け状態等の基準となる取付け状態からのカメラずれを検出するシステムである。カメラずれには、軸ずれや、軸周りの回転によるずれ等が広く含まれる。軸ずれには、取付け位置のずれや取付け角度のずれ等が含まれる。異常検出システムSYS1は、カメラずれの有無の判定を行い易い環境を作り出してから、カメラずれの有無の判定を行う構成であるために、カメラずれを誤検出する可能性を低減することができる。当該、効果は、以下の説明により明らかになる。
撮影部2は、車両周辺の状況を認識する目的で車両に設けられる。撮影部2はカメラ21を備える。すなわち、異常検出システムSYS1はカメラを備える。カメラ21は車載カメラである。カメラ21は例えば魚眼レンズを用いて構成される。カメラ21は、異常検出装置1に有線又は無線により接続され、撮影した映像を異常検出装置1に出力する。
なお、本実施形態では、撮影部2は複数のカメラ21を備える。複数のカメラ21は、フロントカメラ、バックカメラ、左サイドカメラ、右サイドカメラの4つのカメラである。フロントカメラは車両の前方を撮影するカメラである。バックカメラは車両の後方を撮影するカメラである。左サイドカメラは車両の左方を撮影するカメラである。右サイドカメラは車両の右方を撮影するカメラである。4つのカメラ21により、車両の水平方向における全周囲を撮影することができる。これにより、例えば、車両の駐車支援を安全に行うことができる。ただし、撮影部2が備えるカメラ21の数は単数でもよいし、4つ以外の複数であってもよい。
カメラ21は、AGC(Automatic Gain Control)回路22を有する。4つのカメラ21のそれぞれにAGC回路22が設けられる。AGC回路22は、入力された映像信号のレベルにかかわらず、出力される映像信号のレベルが一定に保たれるように制御を行う。本実施形態では、AGC回路22は、出力される映像の明るさ(輝度)が一定に保たれるように制御を行う。なお、AGC回路22は、出力される映像の色味が一定に保たれるように制御を行うものであってもよい。
図2は、AGC回路22の概略構成を示す図である。AGC回路22は、ゲインコントローラ221と、フィードバック回路222とを備える。ゲインコントローラ221は、映像入力信号のゲインを、フィードバック回路222から入力されるゲイン制御信号S1に応じて増減し、映像出力信号として出力する。フィードバック回路222には、ゲインコントローラ221から出力される映像出力信号に従うフィードバック信号S2が入力される。フィードバック回路222には、レベル比較器等が含まれる。フィードバック回路222は、フィードバック信号に所定の処理を施して得られた信号のレベルを基準目標値と比較し、比較結果に応じたゲイン制御信号S1を算出する。ゲイン制御信号S1は、ゲインコントローラ221に送出される。
異常検出装置1は、移動体に搭載されるカメラ21の異常を検出する装置である。詳細には、異常検出装置1は、車両に搭載されたカメラ21からの情報に基づき、当該カメラ21自身のカメラずれを検出する。すなわち、異常検出装置1はカメラずれ検出装置である。異常検出装置1を用いることによって、車両を走行させながらカメラずれを迅速に検出することができる。異常検出装置1により、例えば、カメラずれが生じた状態で駐車支援等の運転支援が行われることを防止できる。本実施形態では、撮影部2が複数のカメラ21を有するために、異常検出装置1は、カメラ21毎にカメラずれの検出を行う。
本実施形態では、異常検出装置1は、カメラずれの検出対象となるカメラを搭載する車両に搭載される。以下、異常検出装置1を搭載する車両のことを自車両と呼ぶことがある。ただし、異常検出装置1は、カメラずれの検出対象となるカメラを搭載する車両以外の場所に配置されてもよい。例えば、異常検出装置1は、カメラ21を有する車両と通信可能なデータセンタ等に配置されてもよい。
センサ部3は、カメラ21が搭載される車両に関する情報を検出する複数のセンサを有する。本実施形態では、センサ部3は、車速センサ31と舵角センサ32とを含む。車速センサ31は、車両の速度を検出し、その検出値に応じた電気信号を出力する。舵角センサ32は、車両のステアリングホイール(ハンドル)の回転角を検出し、その検出値に応じた電気信号を出力する。車速センサ31および舵角センサ32は、通信バス4を介して異常検出装置1に接続される。すなわち、車速センサ31で取得された車両の速度情報は、通信バス4を介して異常検出装置1に入力される。舵角センサ32で取得された車両のステアリングホイールの回転角情報は、通信バス4を介して異常検出装置1に入力される。なお、通信バス4は、例えばCAN(Controller Area Network)バスであってよい。
<2.異常検出装置>
図1に示すように、異常検出装置1は、画像取得部11と、制御部12と、記憶部13とを備える。
画像取得部11は、自車両のカメラ21からアナログ又はデジタルの撮影画像(フレーム画像)を所定周期(例えば1/30秒周期)で周期的に取得する。本実施形態では、撮影部2が複数のカメラ21を有するために、画像取得部11は各カメラ21からフレーム画像を取得する。取得したフレーム画像がアナログの場合には、そのアナログのフレーム画像をデジタルのフレーム画像に変換(A/D変換)する。画像取得部11は、取得したフレーム画像に対して所定の画像処理を行い、処理後のフレーム画像を制御部12に出力する。
制御部12は、例えばマイクロコンピュータであり、異常検出装置1の全体を統括的に制御する。制御部12は、CPU、RAMおよびROM等を備える。記憶部13は、例えば、フラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部13は、各種のコンピュータプログラムや各種のデータを記憶する。
詳細には、制御部12は、判定部121と、AGC制御部122とを備える。制御部12が備えるこれら各部121、122の機能は、例えば記憶部13に記憶されるコンピュータプログラムに従ってCPUが演算処理を行うことによって実現される。換言すると、異常検出装置1は、判定部121と、AGC制御部122とを備える。
なお、制御部12が備える各部121、122の少なくともいずれか1つは、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成されてもよい。また、制御部12が備える各部121、122は、概念的な構成要素である。1つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を1つの構成要素に統合したりしてよい。また、画像取得部11は、制御部12のCPUがコンピュータプログラムに従って演算処理を行うことによって実現される構成でもよい。
判定部121は、カメラ21の異常の有無を、カメラ21で撮影されたフレーム画像から抽出される特徴点の位置の時間変化に基づき判定する判定処理を行う。特徴点は、例えばフレーム画像中のエッジの交点など、フレーム画像において際立って検出できる点である。特徴点は、例えば白線等で描かれる路面標示のコーナー、路面上のひび、路面上のしみ、路面上の砂利等から抽出される。特徴点は、例えば、ハリスオペレータ等の公知の手法を用いて抽出することができる。
本実施形態では、判定部121は、カメラ21より入力されたフレーム画像ごとに特徴点の抽出処理を行う。判定部121は、所定の時間間隔をあけて入力される2つのフレーム画像間における特徴点の動きであるオプティカルフローを求め、当該オプティカルフローに基づき車両の移動量を推定する。車速センサ31から得られる車両の速度に基づき求められる移動量を正解値として、当該正解値に対する推定値のずれの大きさが判断される。当該ずれの大きさが所定の閾値を超える場合に、カメラずれが発生していると判断される。なお、判定部121による判定処理の詳細例については後述する。
AGC制御部122は、判定部121による判定処理を行う際に、カメラ21のAGC回路22におけるゲインの変化幅を抑制する制御を行う。詳細には、AGC制御部122は、判定処理用のフレーム画像の取得のために、AGC回路22におけるゲインの更新周期を切り替える。
特徴点の位置を追跡する2つのフレーム画像の一方を第1フレーム画像、他方を第2フレーム画像とする。カメラ21が第1フレーム画像を出力した後、第2フレーム画像を出力するまでの間にAGC回路22によってゲインの更新が行われた場合、第1フレーム画像と第2フレーム画像との間で輝度差が大きくなり、第1フレーム画像と第2フレーム画像との間で正確に特徴点の追跡を行えなくなる場合がある。この点、本実施形態では、AGC制御部122によってゲインの更新周期を制御することができる。このために、カメラ21で判定処理用のフレーム画像を取得する間にゲインの更新が行われない構成とすることができ、AGC回路22によるゲイン調整が原因となって特徴点の追跡が不適切となることを抑制することができる。上記では、判定処理の際にゲインの変化幅を抑制する制御形態の一例として更新周期を制御する構成としたが、判定処理を行っている間のゲインの変化が、通常処理時の幅よりも小さな所定の幅に収まるような制御としてもよい。例えばフィードバック制御量に対するゲインの変化量を通常処理時よりも小さくする制御とするとよい。また、ゲインの変化量を所定の値にクリップさせる制御としてもよい。また更新周期と変化幅との両方を変化させる制御としてもよい。
図3は、AGC制御部122とフィードバック回路222との関係を示す概略図である。なお、フィードバック回路222は、AGC回路22に含まれる。図3に示すように、フィードバック回路222は、フィードバック制御量算出部2221と、通常更新周期回路2222と、判定処理用更新周期回路2223と、スイッチ2224とを備える。
フィードバック制御量算出部2221は、入力されたフィードバック信号S2に基づきフィードバック制御量を求める。フィードバック制御量算出部2221は、レベル比較器を含む。本実施形態において、フィードバック制御量は、ゲインコントローラ221のゲインを制御する量であり、上述のゲイン制御信号S1である。フィードバック制御量算出部2221は、算出したフィードバック制御量をAGC制御部122へ出力する。
通常更新周期回路2222は、フィードバック制御量算出部2221で求められたゲイン制御信号S1を通常更新周期でゲインコントローラ221に出力する。通常更新周期は、判定処理を行わない場合に、AGC回路22におけるゲインの更新周期として使用される。詳細には、通常更新周期は、判定処理用のフレーム画像の取得を行わない通常時に使用される。
判定処理用更新周期回路2223は、フィードバック制御量算出部2221で求められたゲイン制御信号S1を判定処理用更新周期でゲインコントローラ221に出力する。判定処理用更新周期は、判定処理を行う場合にAGC回路22におけるゲインの更新周期として使用される。判定処理用更新周期は、通常更新周期より期間が長い。詳細には、判定処理用更新周期は、判定処理用のフレーム画像の取得を行う際に使用される。
スイッチ2224は、通常更新周期回路2222と判定処理用更新周期回路2223とを切り替える。スイッチ2224により、通常更新周期回路2222が選択された場合、ゲイン制御信号S1が通常更新周期でゲインコントローラ221に入力される。すなわち、AGC回路22は、通常更新周期でゲインの更新を行う。一方、スイッチ2224により、判定処理用更新周期回路2223が選択された場合、ゲイン制御信号S1が判定処理用更新周期でゲインコントローラ221に入力される。すなわち、AGC回路22は、判定処理用更新周期でゲインの更新を行う。
なお、判定処理用更新周期の長さは、カメラ21で判定処理用のフレーム画像を少なくとも2つ取得するのに要する時間以上である。これによれば、特徴点の追跡を行うための2つのフレーム画像をカメラ21で得る間にAGC回路22によるゲインの更新が行われることを避けられる。すなわち、AGC回路22の動作が原因となって特徴点の追跡が不正確になることを避けられる。判定処理用更新周期の長さを長くすると、AGC回路22のゲインが一定である間に、判定処理用のフレーム画像を多く得ることができる。ただし、判定処理用更新周期の長さをあまり長くすると、AGC回路22を停止した状態と同様の状態となり好ましくない。判定処理用更新周期の長さは、カメラ21で判定処理用のフレーム画像を16個程度取得するのに要する時間以下であることが好ましい。
スイッチ2224は、AGC制御部122からの指令によって切替可能に設けられる。換言すると、AGC制御部122は、通常更新周期と判定処理用更新周期とを選択可能に設けられる。これによれば、異常検出装置1は、カメラずれの有無の判定処理を行いたい場合に、AGC回路22のゲインの更新周期を切り替えて、カメラずれの有無の判定を行い易い環境を作り出すことができる。AGC制御部122は、判定処理用のフレーム画像の取得が行われない場合には、スイッチ2224により通常更新周期を選択して、AGC回路22を適切に動作させることができる。
また、AGC制御部122は、判定処理用更新周期を選択中に、AGC回路22におけるゲインの制御量であるフィードバック制御量が所定量以上になった場合に、AGC回路22におけるゲインの更新周期の設定を強制的に通常更新周期に切り替える。フィードバック制御量は、現在のゲインを増やす量あるともあるし、現在のゲインを減らす量であることもある。AGC制御部122は、当該増やす量又は減らす量が所定量以上になった場合に強制的に通常更新周期に切り替える。
本実施形態において、フィードバック制御量が所定量以上になった状態は、カメラ21が置かれる明るさ環境が大きく変化した状態と推定される。このような状態で判定処理用のフレーム画像を取得しても、特徴点の追跡を正しく行えない可能性が高い。このために、AGC制御部122はAGC回路22におけるゲインの更新周期を通常更新周期に戻し、判定処理用のフレーム画像の取得を一旦中止する。すなわち、特徴点の追跡が不適切になる可能性がある状態で判定処理が行われることを避けられ、カメラずれの誤検出の発生を抑制することができる。
図4は、異常検出装置1によるカメラずれの検出処理の一例を示すフローチャートである。異常検出装置1によるカメラずれの検出処理は、例えば、所定期間毎(1週間毎等)、所定走行距離毎(100km毎等)、エンジン起動毎(イグニッション(IG)オン毎)、エンジン起動が所定回数に達した時点毎等に実行されてよい。なお、本実施形態では、撮影部2が4つのカメラ21を備えるために、各カメラ21について、図4に示すカメラずれの検出処理が実施される。重複説明を避けるために、カメラ21がフロントカメラである場合を代表例として、以下、カメラずれの検出処理について説明する。
図4に示すように、まず、カメラ21を搭載する車両が直進しているか否かが監視される(ステップS1)。車両が直進しているか否かは、例えば、舵角センサ32から得られるステアリングホイールの回転角情報に基づいて判断することができる。なお、直進には、前進方向の直進と、後退方向の直進との両方が含まれる。
ステップS1の監視は、車両の直進が検出するまで繰り返される。すなわち、車両が直進走行を行っていることを条件としてカメラずれに関する処理が進められる。これによれば、車両の進行方向が曲がっている場合の情報を用いることなく処理を行うことができるために、情報処理が複雑になることを避けられる。
車両が直進していると判断される場合(ステップS1でYes)、車両の速度が所定速度範囲内であるか否かが確認される(ステップS2)。所定速度範囲は、例えば時速3km以上5km以下とされる。車両の速度範囲が速すぎると、特徴点の追跡が難しくなる。このために、特に限定する趣旨ではないが、車両の速度は時速30km以下であることが好ましい。また、車両の速度が遅すぎると、車速センサ31による車両の速度の測定が難しくなる。このために、特に限定する趣旨ではないが、車両の速度は時速3km以上であることが好ましい。
車両の速度が所定速度範囲外である場合(ステップS2でNo)、ステップS1に戻ってステップS1以降の処理が行われる。すなわち、車両が直進走行を行っていること、および、車両の速度が所定速度範囲内であることを条件として、カメラずれに関する処理が進められる。
車両が所定速度範囲内で走行していると判断される場合(ステップS2でYes)、AGC制御部122がAGC回路22のゲインの更新周期の制御を開始する(ステップS3)。図5は、AGC制御部122による制御処理の一例を示すフローチャートである。図5は、図4に示すステップS3の詳細例を示すフローチャートである。
AGC制御部122は、まず、スイッチ2224を利用して、ゲインの更新周期として判定処理用更新処理周期を選択する(ステップS31)。これにより、AGC回路22においては、ゲインの更新周期が通常更新周期から判定処理用更新周期に変更される。
次に、AGC制御部122は、フィードバック回路222から取得されるフィードバック制御量が所定量以上であるか否かを確認する(ステップS32)。フィードバック制御量が、所定量以上である場合(ステップS32でYes)、スイッチ2224を利用して、ゲインの更新周期として通常更新周期を選択する(ステップS33)。これにより、AGC回路22においては、ゲインの更新周期が判定処理用更新周期から通常更新周期に変更される。フィードバック制御量が所定量以上である場合には、カメラ21の置かれる明るさ環境が大きく変動していることが推定される。このために、ゲインの更新周期を通常更新周期に戻して、一旦、判定処理用のフレーム画像の取得処理を中止する趣旨である。判定処理用のフレーム画像の取得処理は、AGC回路22におけるゲインが安定した時点で再開されればよい。
一方、フィードバック制御量が所定量より小さい場合(ステップS32でNo)、AGC制御部122は、判定処理用のフレーム画像の取得期間が終了したか否かを確認する(ステップS34)。判定処理用のフレーム画像の取得期間は、判定処理用のフレーム画像を少なくとも2つ以上取得することができる期間である。判定処理用のフレーム画像の取得期間が終了していない場合(ステップS34でNo)には、AGC制御部122は、判定処理用更新周期の選択を維持し、ステップS32の処理に戻る。判定処理用のフレーム画像の取得期間が終了している場合(ステップS34でNo)には、通常更新周期を選択する(ステップS33)。この場合には、判定処理用のフレーム画像の取得が正常に行われたことになる。判定処理用のフレーム画像が正常に取得されると、AGC制御部122は、ゲインの更新周期の制御処理を終了する。AGC制御部122は、判定処理用のフレーム画像の取得が必要となった時点で、ゲインの更新周期の制御処理を再開する。
図4に戻って、AGC制御部122によるゲインの更新周期の制御が開始されると、判定部121は判定処理を開始する。図6は、判定部121による判定処理の一例を示すフローチャートである。図6に示すように、まず、判定処理に用いるフレーム画像が取得される(ステップS41)。詳細には、判定処理用のフレーム画像は、AGC回路22のゲインが更新されることなく一定である期間に得られる。すなわち、判定部121は、AGC回路22のゲインが一定である期間に取得したフレーム画像を用いて、カメラの異常の有無を判定する。ゲインの更新周期が判定処理用更新周期に変更されて長くなっているために、複数のフレーム画像をゲインが一定である期間に取得することができる。これにより、特徴点の追跡を行うフレーム画像間で、AGC回路22におけるゲインの更新処理が原因となって明るさ(輝度)に大きな差が生じることを防止できる。この結果、特徴点の追跡を精度良く行うことが可能になる。
なお、上述のように、判定処理用更新周期は強制的に通常更新周期に戻されることがある。強制的に通常更新周期に戻された場合には、通常更新周期に戻された以降のフレーム画像は判定処理に用いられない。通常更新周期に切り替える前に取得できたフレーム画像が判定処理に用いられる。
判定処理用のフレーム画像が取得されると、判定部121は、当該フレーム画像から特徴点を抽出する処理を行う(ステップS42)。図7は、特徴点FPを抽出する手法を説明するための図である。図7は、カメラ21(フロントカメラ)で撮影されたフレーム画像Pを模式的に示す。図7に示すように、判定部121は、フレーム画像Pに所定の抽出領域ERを設定する。判定部121は、所定の抽出領域ERから特徴点FPを抽出する。所定の抽出領域ERは、路面RS部分が映る位置に設定される。所定の抽出領域ERは、フレーム画像Pの中心部Cを含む広範囲に設定されることが好ましい。これにより、特徴点FPの発生箇所が均一でなく偏った範囲に偏在する場合でも、特徴点FPを抽出することができる。
なお、図7においては、特徴点FPの数は2つとされているが、この数は便宜的なものであり、実際の数を示すものではない。例えばアスファルト路面のように表面に凹凸が多い路面からは多くの特徴点FPが抽出される。
図6に戻って、特徴点FPが抽出されると、判定部121は、所定の時間間隔をあけて撮影された2つのフレーム画像間における特徴点FPの動きを示すオプティカルフローを算出する(ステップS43)。所定の時間間隔は、画像取得部11の撮影画像の取得周期(例えば1/30秒)と同じであってよい。
図8は、オプティカルフローOFを求める手法を説明するための図である。図8は、図7と同様に便宜的に示された模式図である。図8は、図7に示すフレーム画像(前回フレーム画像)Pの撮影後、所定の時間間隔が経過した後にカメラ21で撮影されたフレーム画像(今回フレーム画像)P´である。前回フレーム画像Pと今回フレーム画像P´とは時間的に連続して得られる画像である。図7に示すフレーム画像Pの撮影後、所定時間間隔が経過するまでの間に、自車両は後退している。図8に示す破線の丸印は、図7に示す前回フレーム画像Pにおいて抽出された特徴点FPの位置を示す。
図8に示すように、自車両が後退すると、自車両の前方に存在する特徴点FPは自車両から離れる。すなわち、特徴点FPは、今回フレーム画像P´と前回フレーム画像Pとで異なる位置に現れる。判定部121は、今回フレーム画像P´の特徴点FPと前回フレーム画像Pの特徴点FPとを、その近傍の画素値も考慮に入れて対応付け、対応付けた特徴点FPのそれぞれの位置に基づいてオプティカルフローOFを求める。なお、判定部121は、前回フレーム画像がない場合にはオプティカルフローOFの算出処理を行わない。この場合、カメラずれの有無は判定されない。また、フレーム画像Pから複数の特徴点FPが抽出された場合には、各特徴点FPに対してオプティカルフローOFの算出処理が行われる。
図6に戻って、特徴点FPのオプティカルフローOFが算出されると、判定部121は、カメラ座標系で与えられるオプティカルフローOFの座標変換を行って移動ベクトルVを算出する(ステップS44)。座標変換は、カメラ座標系を路面上の座標系に変換する処理である。なお、判定部121は、フレーム画像Pから抽出された特徴点FPの座標について先に路面上の座標に変換し、オプティカルフローOFを求めることなく移動ベクトルVを求めてもよい。
図9は、座標変換処理を説明するための図である。図9に示すように、判定部121は、カメラ21の位置(視点VP1)から見たオプティカルフローOFを、自車両が存在する路面RSの上方の視点VP2から見た移動ベクトルVに変換する。判定部121は、フレーム画像上のオプティカルフローOFを、路面に相当する仮想平面RS_Vに投影することで移動ベクトルVに変換する。移動ベクトルVの大きさは、自車両の路面RS上の移動量(移動距離)を示す。なお、本実施形態では、カメラ21が魚眼レンズであるために座標変換処理には歪補正が含まれることが好ましい。また、複数のオプティカルフローOFが求められた場合には、各オプティカルフローOFに対して移動ベクトルVの算出処理が行われる。
図6に戻って、路面RS上の動きを示す移動ベクトルVが算出されると、判定部121は、移動ベクトルVに基づき移動量(移動距離)の推定を行う(ステップS45)。本実施形態では、判定部121は、移動ベクトルVを統計処理して移動量の推定値を求める。詳細には、判定部121は、移動ベクトルVに基づいてヒストグラムを生成する。判定部121は、各移動ベクトルVを前後方向と左右方向との2成分に分けて、第1ヒストグラムと第2ヒストグラムとを生成する。
図10は、判定部121によって生成された第1ヒストグラムHG1の一例を示す図である。図11は、判定部121によって生成された第2ヒストグラムHG2の一例を示す図である。なお、判定部121は、ヒストグラムHG1、HG2の生成の前後において、先に求められた全ての移動ベクトルVの中から所定の条件に該当する移動ベクトルVを処理対象から除外する処理を行ってもよい。例えば、自車両の速度、舵角、シフトレバー位置等から予想される大きさや方向と大きくずれる移動ベクトルVは除外されてよい。また、例えば、ヒストグラムHG1、HG2において、度数が極端に低い階級に属する移動ベクトルVは除外されてよい。
図10に示す第1ヒストグラムHG1は、移動ベクトルVの前後方向成分に基づいて得られたヒストグラムである。第1ヒストグラムHG1は、移動ベクトルVの数を度数とし、前後方向への移動量(移動ベクトルの前後方向成分の長さ)を階級とするヒストグラムである。図11に示す第2ヒストグラムHG2は、移動ベクトルVの左右方向成分に基づいて得られたヒストグラムである。第2ヒストグラムHG2は、移動ベクトルVの数を度数とし、左右方向への移動量(移動ベクトルの左右方向成分の長さ)を階級とするヒストグラムである。
図10および図11は、自車両が後方に直進した場合に得られたヒストグラムである。図10および図11は、カメラずれが生じていない場合のヒストグラムの一例である。第1ヒストグラムHG1は、後方側の特定の移動量(階級)に偏って度数が多くなる正規分布形状になっている。一方、第2ヒストグラムHG2は、移動量ゼロの近傍の階級に偏って度数が多くなる正規分布形状になっている。カメラずれが生じると、ヒストグラムの形状に変化が見られる。
本実施形態では、判定部121は、第1ヒストグラムHG1の中央値(メジアン)を前後方向の移動量の推定値とする。判定部121は、第2ヒストグラムHG2の中央値を左右方向の移動量の推定値とする。ただし、判定部121による推定値の決定方法は、これに限定されない。判定部121は、例えば、各ヒストグラムHG1、HG2の度数が最大となる階級の移動量(最頻値)を推定値としてもよい。
図6に戻って、移動量の推定値が得られると、判定部121は、当該推定値と、センサ部3からの情報によって得られる比較値とを比較してカメラずれの有無を判定する(ステップS46)。本実施形態では、前後方向の移動量について推定値と比較値との比較が行われる。また、左右方向の移動量について推定値と比較値との比較が行われる。比較値を正解値として、当該正解値に対する推定値のずれの大きさを判断する。当該ずれの大きさが所定の閾値を超える場合に、カメラずれが発生していると判断される。
前後方向の比較値(移動量)は、オプティカルフローOFを導出するための2つのフレーム画像の撮影時間間隔と、当該時間間隔における車速センサ31から得られる自車両の速度とによって算出することができる。また、本実施形態では、自車両が前後方向に直進している場合に得られるフレーム画像に基づいてカメラずれの有無が判定される。このために、左右方向の比較値(移動量)はゼロになる。
なお、比較値は、センサ部3以外からの情報に基づいて求められてもよい。例えば、GPSセンサや、カメラずれの判定対象以外のカメラから得られる情報に基づいて比較値が求められてもよい。また、推定値および比較値は、移動量でなくてもよく、例えば速度であってもよい。
図12は、判定部121によって行われるずれ判定の一例を示すフローチャートである。なお、図12に示す処理は、図6のステップS46の詳細処理例である。
まず、判定部121は、自車両の前後方向の移動量について、推定値と比較値との差の大きさ(前後方向のずれ量)が、第1ずれ閾値より小さいか否かを確認する(ステップS461)。前後方向のずれ量が第1ずれ閾値以上である場合(ステップS461でNo)、判定部121は、カメラずれ有りと判定する(ステップS464)。
一方、前後方向のずれ量が第1ずれ閾値より小さい場合(ステップS461でYes)、判定部121は、自車両の左右方向の移動量について、推定値と比較値との差の大きさ(左右方向のずれ量)が、第2ずれ閾値より小さいか否かを確認する(ステップS462)。左右方向のずれ量が第2ずれ閾値以上である場合(ステップS462でNo)、判定部121は、カメラずれ有りと判定する(ステップS464)。
一方、左右方向のずれ量が第2ずれ閾値より小さい場合(ステップS462でYes)、判定部121はカメラずれ無しと判定する(ステップS463)。
本実施形態では、前後方向の移動量および左右方向の移動量のうち、いずれか1つでも、ずれ量が大きくなると、カメラずれが発生していると判定する。これによれば、カメラずれが発生しているにもかかわらず、カメラずれが発生していないと判定する可能性を低減できる。ただし、これは例示である。例えば、前後方向の移動量および左右方向の移動量の両方においてずれ量が大きくなった場合に限って、カメラずれが発生していると判定する構成としてもよい。また、カメラずれの判定は、前後方向および左右方向の移動量だけでなく、例えばこれらを組み合わせた指標(例えば、前後方向の移動量の二乗値と、左右方向の移動量の二乗値との和)に基づいて判定されてもよい。カメラずれの判定は、前後方向の移動量と、左右方向の移動量とのいずれか一方のみを用いて判定されてもよい。
また、本実施形態では、前後方向の移動量および左右方向の移動量について、順番に比較を行う構成としたが、これらの比較は同じタイミングで行われてもよい。また、前後方向の移動量および左右方向の移動量について順番に比較を行う構成の場合、その順番は特に限定されず、図12に示す順番とは異なる順番で比較が行われてもよい。
図6に戻って、ずれ判定が終了すると、判定部121は、ずれ判定の結果に対して信頼度確認を行う(ステップS47)。詳細には、判定部121は、ずれ判定の結果を得たフレーム画像の取得後に、ゲインの更新周期の設定を通常更新周期に強制的に切り替える処理(強制切替処理)があったか否かを確認する。判定部121は、強制切替処理があった場合には、通常更新周期への切替えの少なくとも直前に得られたフレーム画像に対する処理結果の信頼度を下げる。これによれば、判定処理用のフレーム画像の取得期間中にカメラ21が置かれる照明環境の変化が起こり、特徴点の追跡が正しく行われていない可能性がある処理結果を、他の処理結果と区別することができる。
本実施形態では、判定部121は、通常更新周期への切替えの直前に取得したフレーム画像から得られたずれ判定の結果の信頼度を下げる。ただし、通常更新周期への切替えの直前に得られたフレーム画像だけでなく、当該直前に得られたフレーム画像より前に得られたフレーム画像についても信頼度を下げてよい。
なお、判定部121は、信頼度を下げた処理結果を破棄してよい。これによれば、信頼性の低い処理結果を、その後取り扱う必要がなく、処理負担を軽減することができる。また、判定部121は、ずれ判定より前の段階で処理結果の信頼度の確認処理を行ってもよい。例えば、特徴点FPの抽出処理や移動量推定の後などに信頼度の確認処理が行われてよく、信頼度が低い特徴点FPの抽出処理結果や移動量推定結果等が破棄されてもよい。また、判定部121は、特徴点FPの抽出処理を行う前に信頼度の確認を行ってもよく、信頼度の低いフレーム画像そのものを破棄してもよい。
異常検出装置1は、判定処理の結果が得られると、カメラずれの有無を確定させる。異常検出装置1は、1つのフレーム画像を処理して得られたずれ判定の結果に基づきカメラずれの有無を確定してもよい。ただし、異常検出装置1は、複数のフレーム画像を処理して得られた結果に基づきカメラずれの有無を確定させることが好ましい。これにより、カメラずれを誤検出する可能性を低減することができる。
例えば、複数のフレーム画像について、フレーム画像ごとにずれ判定結果を求めて、ずれの有無の判定回数等に応じてカメラずれの有無を確定してもよい。また、別の例として、各フレーム画像において得られる移動ベクトルVを車両の速度に依存しないように正規化し、当該正規化した移動ベクトルを複数のフレーム画像にわたって蓄積し、当該蓄積結果に応じてカメラずれの有無を確定してもよい。
異常検出装置1は、カメラずれを検出した場合は、車室内に配置される表示装置(不図示)を利用してカメラずれの発生を運転者等に知らせることが好ましい。また、異常検出装置1は、カメラ21からの情報を用いて運転支援を行う機能(例えば自動駐車機能等)を停止(オフ)するための処理を行うことが好ましい。この際、運転支援機能を停止したことを表示装置に表示させることが好ましい。車両に複数のカメラ21が搭載される場合、複数のカメラ21のうちの1つでもカメラずれが発生した場合には、上述した運転者等への報知処理、および、運転支援装機能の停止処理を行うことが好ましい。
異常検出装置1は、カメラずれを検出しなかった場合には、一旦カメラずれの検出処理を終了する。そして、その後、所定のタイミングでカメラずれの検出処理を再度開始する。
本実施形態では、AGC回路22のゲインの更新周期を制御して、カメラずれの有無の判定処理を行い易い環境を作り出してカメラずれの有無の判定処理を行うことができる。このために、カメラずれの誤検出を低減することができる。
<3.変形例>
図13は、本実施形態の変形例に係る異常検出システムSYS1Aの構成を示すブロック図である。図13に示すように、異常検出システムSYS1Aは、上述した異常検出システムSYS1の構成に加えて、サスペンション装置5、点滅表示灯装置6、および、光照射装置7を備える。すなわち、異常検出システムSYS1Aは、異常検出装置1Aと、AGC回路22を有するカメラ21と、サスペンション装置5と、点滅表示灯装置6と、光照射装置7とを備える。
なお、異常検出システムSYS1Aは、サスペンション装置5、点滅表示灯装置6、および、光照射装置7のうちの全ての装置を備える必要はない。すなわち、異常検出システムSYS1Aは、異常検出装置1Aと、AGC回路22を有するカメラ21と、サスペンション装置5、点滅表示灯装置6、および、光照射装置7のうちの少なくともいずれか1つの装置と、を備えればよい。
サスペンション装置5は車両に設けられる。サスペンション装置5は、車両が移動する路面RSとカメラ21との距離を制御可能に設けられる。サスペンション装置5は、車両の各車輪に対応して設けられるサスペンションと、サスペンションの減衰力を調整する減衰力調整部とを含む。減衰力調整部は、例えば段階的に減衰力を調整できる構成であってよい。
減衰力調整部によって、減衰力が高く(硬く)設定されると、カメラ21が取り付けられる車体の路面RSに対する上下動を低減することができる。すなわち、路面RSと、カメラ21との位置関係を一定に保ち易くすることができる。一方、減衰力調整部によって、減衰力が低く設定されると、車体の路面RSに対する上下動が起り易くなり、路面RSとカメラ21との位置関係が変動し易くなる。
なお、サスペンション装置5は、エアサスペンションと、エアの出し入れによりサスペンションの高さ位置を調整する高さ調整部とを含む構成としてもよい。この構成では、高さ調整部によって適宜エアの出し入れを行うことにより、路面と車体との距離を一定に制御することができる。
点滅表示灯装置6は、オンオフ制御可能に車両に設けられる。点滅表示灯装置6は、点滅表示灯と、点滅表示灯のオンオフを切り替えるオンオフ部とを含む。点滅表示灯は、本変形例では、車両のハザードランプである。
光照射装置7は、車両にカメラ21と対になって設けられる。本実施形態では、前後左右にカメラ21が1つずつ配置されている。このために、光照射装置7も前後左右に1つずつ設けられる。すなわち、本実施形態において、光照射装置7の数は4つである。光照射装置7は所定位置を照射する。詳細には、光照射装置7は、当該装置から照射された光のパターンが、対になって設けられるカメラ21の所定範囲に映るように車両に固定配置されている。光のパターンは、例えば円形等のスポット形状でもよいし、スポット形状以外のパターンであってもよい。光照射装置7は、例えばレーザ装置やプロジェクタ装置等であってよい。
異常検出装置1Aは、上述した異常検出装置1と同様に、画像取得部11と、制御部12Aと、記憶部13とを備える。制御部12Aは、判定部121およびAGC制御部122の他に、サスペンション制御部123、点滅表示灯制御部124、および、照射位置判断部125を備える。サスペンション制御部123、点滅表示灯制御部124、および、照射位置判断部125は、例えば記憶部13に記憶されるコンピュータプログラムに従ってCPUが演算処理を行うことによって実現される機能部である。換言すると、異常検出装置1Aは、サスペンション制御部123と、点滅表示灯制御部124と、照射位置判断部125とを更に備える。
なお、サスペンション制御部123、点滅表示灯制御部124、および、照射位置判断部125の少なくともいずれか1つは、上述した判定部121およびAGC制御部122と同様に、ASICやFPGA等のハードウェアで構成されてもよい。また、異常検出装置1Aは、サスペンション制御部123、点滅表示灯制御部124、および、照射位置判断部125のうち、いずれか1つ、或いは、いずれか2つを備えなくてもよい。
サスペンション制御部123は、判定処理を行う際に、車両のサスペンションの設定を制御する。サスペンション制御部123は、判定処理用のフレーム画像を取得するために、車両のサスペンションの設定を制御する。サスペンション制御部123は、カメラ21と路面RSとの距離が一定となるように、サスペンション装置5の減衰力調整部を制御する。
例えば、自車両が減速する場合や下り坂を下る場合等には、自車両は、通常、前方が沈み込む。例えば、自車両が加速する場合や上り坂を上る場合等には、自車両は、通常、後方が沈み込む。このような沈み込みが起こると、カメラ21と路面RSとの距離が変動し、特徴点FPの追跡の精度が悪くなる可能性がある。そこで、本変形例では、サスペンション制御部123は、判定処理を行う際に、サスペンションの減衰力が高く(硬く)なるように、減衰力調整部を制御する。これにより、加減速や路面RSの傾き等が原因となって車体の沈み込みが発生することを低減して、カメラ21と路面RSとの位置関係を一定とすることができる。この結果、特徴点FPの追跡精度の低下を抑制することができる。
なお、サスペンション制御部123は、サスペンション装置5がエアサスペンションを含む場合には、エアサスペンションの高さ調整部を制御して、カメラ21と路面RSとの位置関係が一定となるように制御してもよい。
点滅表示灯制御部124は、判定処理を行う際に、車両の点滅表示灯を制御する。点滅表示灯制御部124は、判定処理用のフレーム画像を取得するために、車両の点滅表示灯を制御する。車両の点滅表示灯が作動状態である場合、車両周辺の照明環境が変動するために、特徴点FPの追跡精度が低下する可能性がある。そこで、本変形例では、点滅表示灯制御部124は、判定処理を行う際に、点滅表示灯のオンオフ部を制御して、点滅表示灯をオフさせる。これによれば、判定処理用のフレーム画像を取得する際に、照明環境の変動を抑制することができ、特徴点FPの追跡精度の低下を抑制することができる。
照射位置判断部125は、車両に搭載された光照射装置7から照射された光のフレーム画像における照射位置が所定範囲内に位置するか否かを判断する。図14は、照射位置判断部125の機能を説明するための模式図である。照射位置判断部125は、判定処理を行う際に、光照射装置7に路面RSに向けて光を照射させる。これにより、路面RSに例えばスポット形状の光パターンが形成される。照射位置判断部125は、光照射装置7によって路面RSに形成された光パターンLSが、カメラ21で撮影されたフレーム画像Pの所定範囲PR内に位置するか否かを判断する。
例えば、車両に上述した沈み込みが発生した場合等に、光パターンLSのフレーム画像Pにおける照射位置が所定範囲PRからずれるように構成することができる。このために、光パターンLSのフレーム画像Pにおける位置を確認することよって、判定処理用のフレーム画像を取得するのに適切なタイミングであるか否かを判断することができる。
図15は、変形例の異常検出装置1Aによるカメラずれの検出処理の一例を示すフローチャートである。図15に示すように、まず、サスペンション制御部123が、サスペンションの設定の制御を行う(ステップS0A)。これにより、サスペンションの減衰力が高く設定され、車体の上下動を抑制することができる。
次に、点滅表示灯制御部124が、点滅表示灯の制御を行う(ステップS0B)。点滅表示灯がオン状態である場合には、点滅表示灯がオフされる。点滅表示灯がオフ状態である場合には、点滅表示灯のオフが継続される。点滅表示灯がオフされることにより、自車両周辺の照明環境の変化を抑制することができる。
次に、照射位置判断部125が、光パターンLSがフレーム画像Pの所定範囲PRに位置するか否かを確認する(ステップS0C)。光パターンLSが所定範囲PR内である場合(ステップS0CでYes)、図4のステップS1以降の処理が行われる。一方、光パターンLSが所定範囲PR外である場合(ステップS0CでNo)、カメラずれの検出処理を一旦中止する。この中止により、サスペンションの減衰力設定や、点滅表示灯のオンオフ設定は、カメラずれの検出処理が開始される前の状態に戻されてよい。
なお、光パターンLSが所定範囲PR外となる状況は、カメラ21ずれが発生している場合にも生じ得る。このために、例えば、光パターンLSが所定範囲PR外となる状況が複数回連続して生じた場合には、カメラずれの発生の可能性があることを自車両の乗員に通知するように構成してもよい。
また、ステップS0A、ステップS0B、および、ステップS0Cの順番は、図15に示す順番に限定されない。これらの順番は適宜変更されてよい。例えば、ステップS0Cが最初に行われる構成等としてよい。
本変形例の構成では、判定処理を行うに際して、AGC回路22のゲインの更新周期の制御に加えて、サスペンションおよび点滅表示灯の制御を行う。このために、カメラずれの有無の判定処理を行い易い環境を作り出してカメラずれの有無の判定処理を行うことができる。また、本変形例の構成では、光照射装置7を用いた確認処理を行うことによって、判定処理に適していない状況で判定処理が行われることを避けることができる。したがって、本変形例によれば、カメラずれの誤検出を低減することができる。なお、本変形例において、異常検出装置1Aは、AGC制御部122を備えない構成としてもよい。この場合でも、カメラずれの有無の判定処理を行い易い環境を作り出してカメラずれの有無の判定処理を行うことができる。
<4.留意事項>
本明細書における実施形態や変形例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。
以上においては、カメラ21の異常検出に用いるデータは、自車両が直進走行している場合に収集される構成とした。ただし、これは例示であり、カメラ21の異常検出に用いるデータは、自車両が直進走行していない場合に収集されてもよい。
1、1A・・・異常検出装置
5・・・サスペンション装置
6・・・点滅表示灯装置
7・・・光照射装置
21・・・カメラ
22・・・AGC回路
121・・・判定部
122・・・AGC制御部
123・・・サスペンション制御部
124・・・点滅表示灯制御部
125・・・照射位置判断部
FP・・・特徴点
SYS1、SYS1A・・・異常検出システム

Claims (13)

  1. 移動体に搭載されるカメラの異常を検出する異常検出装置であって、
    前記カメラの異常の有無を、前記カメラで撮影されたフレーム画像から抽出される特徴点の位置の時間変化に基づき判定する判定処理を行う判定部と、
    前記判定処理を行う際に前記カメラのAGC(Automatic Gain Control)回路におけるゲインの変化幅を抑制する制御を行うAGC制御部と、
    を備える、異常検出装置。
  2. 前記AGC制御部はゲインの更新周期を制御し、
    前記判定部は、前記AGC回路のゲインが一定である期間に取得した前記フレーム画像を用いて、前記カメラの異常の有無を判定する、請求項1に記載の異常検出装置。
  3. 前記AGC制御部は、
    前記判定処理を行わない場合に前記更新周期として使用される通常更新周期と、
    前記判定処理を行う場合に前記更新周期として使用され、前記通常更新周期より期間が長い判定処理用更新周期と、
    を選択可能に設けられる、請求項2に記載の異常検出装置。
  4. 前記判定処理用更新周期の長さは、前記カメラで前記判定処理用の前記フレーム画像を少なくとも2つ取得するのに要する時間以上である、請求項3に記載の異常検出装置。
  5. 前記AGC制御部は、前記判定処理用更新周期を選択中に、前記AGC回路におけるゲインの制御量であるフィードバック制御量が所定量以上になった場合に、前記更新周期の設定を強制的に前記通常更新周期に切り替える、請求項3又は4に記載の異常検出装置。
  6. 前記判定部は、前記更新周期の設定を強制的に前記通常更新周期に切り替えた場合に、当該切替えの少なくとも直前に得られた前記フレーム画像に対する処理結果の信頼度を下げる、請求項5に記載の異常検出装置。
  7. 前記判定部は、信頼度を下げた前記処理結果を破棄する、請求項6に記載の異常検出装置。
  8. 前記判定処理を行う際に、前記移動体のサスペンションの設定を制御するサスペンション制御部を更に備える、請求項1から7のいずれか1項に記載の異常検出装置。
  9. 前記判定処理を行う際に、前記移動体の点滅表示灯を制御する点滅表示灯制御部を更に備える、請求項1から8のいずれか1項に記載の異常検出装置。
  10. 前記移動体に搭載された光照射装置から照射された光の前記フレーム画像における照射位置が所定範囲内に位置するか否かを判断する照射位置判断部を更に備える、請求項1から9のいずれか1項に記載の異常検出装置。
  11. 請求項1から7のいずれか1項に記載の異常検出装置と、
    前記AGC回路を有する前記カメラと、
    を備える、異常検出システム。
  12. 請求項8から10のいずれか1項に記載の異常検出装置と、
    前記AGC回路を有する前記カメラと、
    前記移動体が移動する路面と前記カメラとの距離を制御可能に前記移動体に設けられるサスペンション装置、オンオフ制御可能に前記移動体に設けられる点滅表示灯装置、および、前記移動体に前記カメラと対になって設けられるとともに所定位置を照射する光照射装置のうちの少なくともいずれか1つの装置と、
    を備える、異常検出システム。
  13. 装置によって、移動体に搭載されるカメラの異常を検出する異常検出方法であって、
    前記カメラの異常の有無を、前記カメラで撮影されたフレーム画像から抽出される特徴点の位置の時間変化に基づき判定する判定処理を行う判定工程と、
    前記判定処理を行う際に、前記カメラのAGC(Automatic Gain Control)回路におけるゲインの変化幅を抑制する制御を行うAGC制御工程と、
    を備える、異常検出方法。
JP2018193686A 2018-10-12 2018-10-12 異常検出装置、異常検出システム、および、異常検出方法 Pending JP2020060531A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018193686A JP2020060531A (ja) 2018-10-12 2018-10-12 異常検出装置、異常検出システム、および、異常検出方法
US16/556,446 US10750166B2 (en) 2018-10-12 2019-08-30 Abnormality detection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018193686A JP2020060531A (ja) 2018-10-12 2018-10-12 異常検出装置、異常検出システム、および、異常検出方法

Publications (1)

Publication Number Publication Date
JP2020060531A true JP2020060531A (ja) 2020-04-16

Family

ID=70161005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018193686A Pending JP2020060531A (ja) 2018-10-12 2018-10-12 異常検出装置、異常検出システム、および、異常検出方法

Country Status (2)

Country Link
US (1) US10750166B2 (ja)
JP (1) JP2020060531A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012458A (zh) * 2021-02-07 2021-06-22 启迪云控(上海)汽车科技有限公司 一种多点位路侧感知目标的状态监控管理方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111447437A (zh) * 2020-05-14 2020-07-24 苏州星克人工智能科技有限公司 适用于视频设备用智能运维平台维护方法
JP2023040890A (ja) * 2021-09-10 2023-03-23 キヤノン株式会社 像ブレ抑制装置およびその制御方法
CN114095725B (zh) * 2022-01-19 2022-05-03 上海兴容信息技术有限公司 一种判断摄像头是否异常的方法和系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006128B2 (en) * 2002-05-30 2006-02-28 Siemens Corporate Research, Inc. Object detection for sudden illumination changes using order consistency
US20050128309A1 (en) * 2003-07-25 2005-06-16 Nikon Corporation Shooting lens having vibration reducing function and camera system for same
CN100559884C (zh) * 2003-10-31 2009-11-11 三菱电机株式会社 摄像装置
JP2005354278A (ja) * 2004-06-09 2005-12-22 Seiko Epson Corp 撮像手段の撮像した画像の画像データを処理する画像データ処理
US7663662B2 (en) * 2005-02-09 2010-02-16 Flir Systems, Inc. High and low resolution camera systems and methods
US7596280B2 (en) * 2005-09-29 2009-09-29 Apple Inc. Video acquisition with integrated GPU processing
US7711200B2 (en) * 2005-09-29 2010-05-04 Apple Inc. Video acquisition with integrated GPU processing
US8098256B2 (en) * 2005-09-29 2012-01-17 Apple Inc. Video acquisition with integrated GPU processing
US20100324437A1 (en) * 2007-09-12 2010-12-23 Freeman Jenny E Device and method for assessing physiological parameters
JP5241782B2 (ja) * 2010-07-30 2013-07-17 株式会社日立製作所 カメラ異常検出装置を有する監視カメラシステム
US8792679B2 (en) * 2011-09-09 2014-07-29 Imprivata, Inc. Low-light face detection
CN104823444A (zh) * 2012-11-12 2015-08-05 行为识别系统公司 用于视频监控系统的图像稳定技术
WO2015123173A1 (en) * 2014-02-11 2015-08-20 Robert Bosch Gmbh Brightness and color matching video from multiple-camera system
US10277805B2 (en) * 2014-05-30 2019-04-30 Hitachi Kokusai Electric Inc. Monitoring system and camera device
JP6368618B2 (ja) * 2014-10-30 2018-08-01 オリンパス株式会社 撮像装置、撮像装置の制御方法、およびプログラム
US9508156B1 (en) * 2014-12-23 2016-11-29 Ambarella, Inc. Level-based motion detection in a sequence of pictures
JP6483485B2 (ja) * 2015-03-13 2019-03-13 株式会社東芝 人物認証方法
JP2016171509A (ja) 2015-03-13 2016-09-23 三菱電機株式会社 キャリブレーション装置
KR102321110B1 (ko) * 2015-04-17 2021-11-03 엘지전자 주식회사 촬영 장치 및 촬영 장치의 제어 방법
JP6618767B2 (ja) * 2015-10-27 2019-12-11 株式会社デンソーテン 画像処理装置および画像処理方法
WO2018156986A1 (en) * 2017-02-26 2018-08-30 Ring Inc. Automatic exposure control for audio/video recording and communication devices
EP3410688B1 (en) * 2017-06-01 2019-03-06 Axis AB Method for improving image quality in images acquired by a near-infrared sensitive video camera and such a camera
JP7308440B2 (ja) * 2017-09-28 2023-07-14 パナソニックIpマネジメント株式会社 撮像装置、およびカメラシステム
US10657654B2 (en) * 2017-12-28 2020-05-19 Denso Ten Limited Abnormality detection device and abnormality detection method
JP2019191806A (ja) * 2018-04-23 2019-10-31 株式会社デンソーテン 異常検出装置および異常検出方法
JP2019191807A (ja) * 2018-04-23 2019-10-31 株式会社デンソーテン 異常検出装置および異常検出方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012458A (zh) * 2021-02-07 2021-06-22 启迪云控(上海)汽车科技有限公司 一种多点位路侧感知目标的状态监控管理方法及系统

Also Published As

Publication number Publication date
US20200120331A1 (en) 2020-04-16
US10750166B2 (en) 2020-08-18

Similar Documents

Publication Publication Date Title
JP2020060531A (ja) 異常検出装置、異常検出システム、および、異常検出方法
JP4914233B2 (ja) 車外監視装置
US9014904B2 (en) Driver assistance system for vehicle
KR100391442B1 (ko) 차선 이탈 방지용 영상 처리방법
JP4130434B2 (ja) 撮像装置の異常検知装置
JP5947268B2 (ja) 車両のロール角推定装置
US7638747B2 (en) Vehicular auto light system
JP4556777B2 (ja) 夜間運転視界支援装置
JP2006157740A (ja) 撮像装置の異常検知装置
JP2019191806A (ja) 異常検出装置および異常検出方法
US20200090347A1 (en) Apparatus for estimating movement information
JP2008213819A (ja) 車両光源の方向を動的に修正するシステム及び修正方法
JP2020504052A (ja) オートバイバンキングのための画像補正
JP2008098858A (ja) 車両周辺監視装置
JP2019191807A (ja) 異常検出装置および異常検出方法
JP2020060550A (ja) 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム
JP2019219719A (ja) 異常検出装置および異常検出方法
JP2015151046A (ja) 軸方向制御装置、および軸方向制御プログラム
JP7009209B2 (ja) カメラずれ検出装置、カメラずれ検出方法および異常検出装置
JP2019191808A (ja) 異常検出装置および異常検出方法
KR101912102B1 (ko) 와이퍼 구동 제어시스템 및 제어방법
JP6986962B2 (ja) カメラずれ検出装置およびカメラずれ検出方法
KR20180081966A (ko) 차량 인식을 통한 영상 교정 방법
JP2020042716A (ja) 異常検出装置および異常検出方法
JP2019129403A (ja) カメラずれ検出装置およびカメラずれ検出方法