JP2023067021A - 画像処理装置および車載制御装置 - Google Patents
画像処理装置および車載制御装置 Download PDFInfo
- Publication number
- JP2023067021A JP2023067021A JP2021177943A JP2021177943A JP2023067021A JP 2023067021 A JP2023067021 A JP 2023067021A JP 2021177943 A JP2021177943 A JP 2021177943A JP 2021177943 A JP2021177943 A JP 2021177943A JP 2023067021 A JP2023067021 A JP 2023067021A
- Authority
- JP
- Japan
- Prior art keywords
- likelihood
- camera
- image processing
- processing device
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 130
- 230000007257 malfunction Effects 0.000 claims abstract description 55
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 97
- 238000003384 imaging method Methods 0.000 claims description 33
- 238000004140 cleaning Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 25
- 238000000034 method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 238000004886 process control Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
【課題】撮影画像の撮影状態に不調が発生していることを示す尤度の正確性を高めることができない。【解決手段】車両に設置された複数のカメラからの各撮影画像を取得する入力部と、前記各撮影画像の撮影状態に不調が発生しているかを検知する撮影状態検知部と、前記各撮影画像に基づいて撮影状態の不調の程度を示す尤度を前記カメラごとに算出する尤度算出部と、前記尤度算出部で算出された前記カメラごとの前記尤度を統合した判定に基づいて、新たな尤度に更新する尤度更新部と、を備え、前記尤度更新部により更新された尤度を前記カメラごとの尤度として出力する画像処理装置。【選択図】図1
Description
本発明は、画像処理装置および車載制御装置に関する。
近年、車両に設置されたカメラの撮影画像に基づいて、車両の周囲の環境を画像認識し、認識結果に基づいて運転支援を行う技術の開発が進められている。画像認識処理において、カメラで撮影した撮影画像に認識を妨げる水滴、泥、逆光等により不調が有れば、誤った認識や、認識できない等の事例が発生する。
そこで、撮影画像からカメラの不調を検知する手法が考案されている。例えば、特許文献1では、カメラによる撮影画像内の輝度値によりハレーションを、エッジ特徴量により水滴や汚れを検知している。また、特許文献2では、ステレオカメラの左右のカメラの撮影画像を比較し、視差以外の差が発生している領域に汚れがあると判別している。また、特許文献3では、白線領域の画像特徴量から信頼度を定義し、各カメラの信頼度の履歴を比較して、相対的に信頼度の低いカメラのレンズに異常が発生していると判別している。
特許文献1に開示されている技術では、カメラのレンズ全体に水膜が付着した場合、水膜付着の影響がエッジ特徴量に現れないため、水膜が付着していることを検知出来ない。また、特許文献2に開示されている技術では、左右のカメラに等しく水膜が付着し、左右の撮影画像間に視差以外の差は発生しない場合に、水膜が付着していることを検知出来ない。これらの場合、水膜がレンズのように光を歪めてしまい、カメラによる撮影画像上の水膜付着領域が拡大して見えるため、画像認識処理等において真値とは異なる値が算出されてしまう。特許文献3に開示されている技術では、撮影画像の撮影状態に不調が発生していることを示す尤度の正確性を高めることができない課題がある。
本発明による画像処理装置は、車両に設置された複数のカメラからの各撮影画像を取得する入力部と、前記各撮影画像の撮影状態に不調が発生しているかを検知する撮影状態検知部と、前記各撮影画像に基づいて撮影状態の不調の程度を示す尤度を前記カメラごとに算出する尤度算出部と、前記尤度算出部で算出された前記カメラごとの前記尤度を統合した判定に基づいて、新たな尤度に更新する尤度更新部と、を備え、前記尤度更新部により更新された尤度を前記カメラごとの尤度として出力する。
本発明による車載制御装置は、画像処理装置と、前記尤度更新部で更新された尤度に基づく処理制御を実行する制御処理装置とを備える。
本発明による車載制御装置は、画像処理装置と、前記尤度更新部で更新された尤度に基づく処理制御を実行する制御処理装置とを備える。
本発明によれば、カメラによる撮影画像の撮影状態に不調が発生していることを示す尤度の正確性を高めることができる。
以下、図面を参照して本発明の実施例を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。
図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
同一あるいは同様な機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
[第1の実施例]
図1は、第1の実施例における車載制御装置1000の構成図である。車載制御装置1000は、画像処理装置100および制御処理装置200を備える。
図1は、第1の実施例における車載制御装置1000の構成図である。車載制御装置1000は、画像処理装置100および制御処理装置200を備える。
画像処理装置100には、複数のカメラ2が接続され、また、車両諸元データ3、CANデータ4、時刻データ5を取得し、詳細は後述するが、撮影状態の不調の程度を示す尤度を算出、更新し、更新した尤度を制御処理装置200へ出力する。
カメラ2は、車両に設置された複数の車載カメラであり、車両の所定の取り付け位置、例えば車両の前後左右などに、それぞれ所定の角度で設置され、車両の周囲を撮影する。カメラ2の設置は車室外でも車室内でもよい。各カメラ2により得られた撮影画像は、アナログデータのまま、又はA/D変換して、専用線などの伝送路を経由して画像処理装置100に出力される。
車両諸元データ3は、車両の寸法やカメラ2の取り付け位置や角度、画角等についての情報を含み、これらの各値は主に画像処理装置100における尤度の算出等で使用される。車両諸元データ3は、各値を記録した媒体を画像処理装置100に内蔵してもよいし、伝送路を経由して取得しても良い。
CANデータ4は、車両の車速、舵角、ワイパーの動作情報等、車両の挙動に関する車両情報であり、CAN(Controller Area Network)を経由して画像処理装置100へ入力される。画像処理装置100は、入力された車両情報を用いることにより、車両が走行中か否か、直進走行中か曲線走行中か等を判別する。
時刻データ5は、GPSや時計等から画像処理装置100へ入力される。時刻データ5は、画像処理装置100がカメラ2で撮影した撮影画像の時系列変化を調べる際に用いる。GPSや時計等は画像処理装置100に内蔵してもよい。
画像処理装置100は、各カメラ2に対応して、入力部101、撮影状態検知部102、尤度算出部103を備える。さらに、画像処理装置100は、尤度更新部104、出力部105を備える。
入力部101は、カメラ2から撮影画像を取得し、撮影状態検知部102へ渡す。
撮影状態検知部102は、各カメラ2により撮影された各撮影画像を解析して、撮影状態に不調が発生しているかをカメラ2ごとに検知する。撮影状態が良くない場合は、その撮影画像を撮影したカメラ2が不調であると検知する。そして、不調が発生している場合は、不調の原因となっている不調の種別を判別する。不調の種別は、例えば、水滴、水膜、泥、雪等の付着や、逆光等が含まれる。これらの検知や判別のために、撮影画像上の位置や領域の広さ等を求めて、これらを基にして不調の発生や不調の種別を判別してもよい。なお、カメラ2のレンズ等への付着物の検知や逆光の検知には、公知の技術が使用できる。
撮影状態検知部102は、各カメラ2により撮影された各撮影画像を解析して、撮影状態に不調が発生しているかをカメラ2ごとに検知する。撮影状態が良くない場合は、その撮影画像を撮影したカメラ2が不調であると検知する。そして、不調が発生している場合は、不調の原因となっている不調の種別を判別する。不調の種別は、例えば、水滴、水膜、泥、雪等の付着や、逆光等が含まれる。これらの検知や判別のために、撮影画像上の位置や領域の広さ等を求めて、これらを基にして不調の発生や不調の種別を判別してもよい。なお、カメラ2のレンズ等への付着物の検知や逆光の検知には、公知の技術が使用できる。
尤度算出部103は、撮影状態検知部102で検知した各カメラ2により撮影された各撮影画像に基づいて、不調の種別ごとに撮影状態の不調の程度を示す尤度をカメラ2ごとに算出する。尤度とは、撮影状態をどの程度の不調と見做すかを示す値である。この尤度は、撮影画像の撮影状態から、機械学習や画像特徴量を用いた公知の撮影状態の判定手法により算出できる。本実施例では、尤度を%で表す。例えば、尤度が80%であれば、不調である可能性は高いと見做される。尤度が20%であれば、不調である可能性は低いと見做される。尤度が0%であれば、不調である可能性は極めて低い(或いは、正常)と見做される。なお、尤度は、%に限らずその他の単位や値で示してもよい。
尤度更新部104は、尤度算出部103で算出されたカメラ2ごとの尤度を統合した判定に基づいて、新たな尤度に更新する。例えば、水滴を検知したカメラ2が複数存在する場合、カメラ2ごとの尤度を統合して雨天の中を走行中または洗車直後であると判定し、水滴を検知したカメラ2の水滴に関する撮影状態の尤度を増加して、このカメラ2の新たな尤度とする。
出力部105は、尤度更新部104により更新された新たな尤度を、カメラ2ごとの尤度として制御処理装置200へ出力する。この際に、不調が発生している場合は、カメラ2ごとに、不調の種別や発生しているカメラ2による撮影画像上の位置、領域を出力してもよい。
制御処理装置200は、運転支援装置201や洗浄制御装置202等であり、更新された尤度に基づいて、処理制御を実行する。例えば、カメラ2の撮影状態に各種別の不調が発生しているか否かの判別は更新された尤度に基づいて行う。また、更新された尤度に応じて処理制御を変更する。
運転支援装置201は、カメラ2によって撮影された撮影画像に基づいて、周辺車両、二輪車、歩行者、自転車、静止物体、標識、白線、縁石、ガードレール等、種々の物体を認識し、この認識結果と更新された尤度とに基づいてユーザに対して警報を発したり、車両の挙動を制御したりする。なお、認識を行うカメラ2による撮影画像上の領域は、対象とする物体ごとに異なる。特に、運転支援装置201は、画像処理装置100より出力される尤度を参照して、処理の継続や中断、運転支援機能を段階的に機能制限する機能縮退等を行う。
例えば、運転支援装置201は、更新された尤度が閾値より低い場合に、運転支援の処理制御を実行する。画像認識の対象により不調の影響度合いが異なると考えられることから、閾値は認識対象ごと、不調の種別ごとに設定されるものとする。例えば、画像認識処理による白線検知結果に基づいた車線逸脱警報装置を考えた場合、不調の尤度が所定の閾値よりも高い場合には画像認識処理が正常に動作出来ないと判別して単純に警報処理を停止してもよいし、不調の尤度が所定の閾値よりも高くても、白線検知に用いる撮影画像上の領域と不調が発生している領域が重複しているか否かに基づいて、警報処理を停止するか続行するかを決定してもよい。
洗浄制御装置202は、カメラ2等の光学系入出力装置のガラス面の水滴等を払拭するワイパーや、汚れを洗浄するウォッシャ等を備える。そして、画像処理装置100より出力される尤度等に基づいて、払拭や洗浄の開始、継続、終了等を制御する。光学系入出力装置は、カメラ2、ヘッドライト、バックライト、ドライブレコーダなどである。
例えば、洗浄制御装置202は、更新された尤度が閾値より高い場合に、車両に備えられた光学系入出力装置の洗浄制御を実行する。具体的には、水滴や水膜に関する尤度が所定の閾値よりも高い場合には対象のカメラ2に装着されたワイパーを稼働させ、泥の尤度が別の所定の閾値よりも高い場合にはウォッシャを稼働させる。
このように、撮影状態の尤度は、運転支援装置201や洗浄制御装置202等の制御処理装置200の処理制御の挙動を決める重要なパラメータであるため、高精度に算出することが必要である。本実施例では、後述するように、カメラによる撮影画像の撮影状態に不調が発生していることを示す尤度の正確性を高めることができる。
図2は、画像処理装置100の処理を示すフローチャートである。
処理S201では、各カメラ2による撮影画像を入力部101より取得する。
処理S201では、各カメラ2による撮影画像を入力部101より取得する。
処理S202では、撮影状態検知部102は、取得した各カメラ2の撮影画像から各カメラ2の撮影状態(正常、水滴、水膜、泥、雪、逆光等)を検知する。正常以外の場合、すなわちカメラ2に不調が発生していると判別した場合は、不調が発生しているカメラ2による撮影画像上の領域を特定し、水滴、水膜、泥、雪、逆光等などその位置や大きさ等を抽出して撮影状態を検知する。撮影状態の特定には公知の技術が利用できる。
処理S203では、尤度算出部103は、検知した各カメラ2の各撮影状態の尤度を各々算出する。
処理S204では、尤度更新部104は、各カメラ2の各撮影状態の尤度を統合した判定に基づいて、各カメラ2の各撮影状態の尤度を更新する。尤度の更新について、その詳細は後述する。
処理S205では、出力部105は、更新した各カメラ2の各撮影状態の尤度を、制御処理装置200へ出力する。
図3は、尤度更新部104による尤度の更新処理を説明する図である。撮影状態検知部102により同じ種別の不調を検知したカメラ2が複数存在する場合、尤度更新部104は、各カメラ2による撮影状態の尤度を更新する。
図3の例では、前後左右の4つのカメラ2a、2b、2l、2rが画像処理装置100に接続されており、処理S203により判別された尤度が、前カメラ2aは水滴Rの尤度が50%、左カメラ2lの水滴Rの尤度が50%、右カメラ2rの水滴Rの尤度が60%、後カメラ2bの水滴Rの尤度が10%とする。この際、例えば尤度50%以上の場合に水滴の付着の可能性ありとし、水滴の付着の可能性があるカメラが複数存在する場合は雨天時の走行または洗車直後であると判別し、各カメラ2a、2b、2l、2rの水滴Rの尤度をそれぞれ30%増加させる。このようにして更新した各カメラ2a、2b、2l、2rの尤度を、画像処理装置100の出力とする。但し、水滴Rの尤度の増分30%は一例であり、どの程度の増分が適当であるかは実データを用いて決めるものとする。また、図3の例では、各カメラ2の水滴Rの尤度の増分を等しく設定したが、例えば車線逸脱警報等の後段の機能に用いられることの多い前カメラ2aや後カメラ2bによる撮影状態の尤度の増分を、左カメラ2lや右カメラ2rに比べて大きく設定しても良い。
なお、尤度更新の条件は水滴付着の可能性があるカメラ2の個数に限らず、例えばCANデータのワイパー情報を用い、ワイパー動作中は雨天または洗車後の可能性が高いと判別して、水滴や水膜の尤度を増加させてもよい。また、水滴や水膜に限らず、例えば舗装されていない道路を走行中には巻き上げにより複数のカメラ2に泥が付着することが予想され、降雪中の走行では複数のカメラ2に雪が付着することが予想されることから、これらの不調についても同様に、付着の可能性が高いカメラ2が複数存在する場合に尤度を増加させてもよい。
以上説明したように、各カメラ2の各撮影画像に基づく尤度を統合した判定に基づいて、新たな尤度に更新することにより、各カメラ2の各撮影画像に基づく尤度の正確性を高めることができ、後段の処理である制御処理装置200の処理制御において、カメラ2の撮影状態が原因で発生する誤った処理制御を回避できる。
[第2の実施例]
図4は、第2の実施例における車載制御装置1000の構成図である。第1の実施例と比較して、第2の実施例では、物標認識部106を備えた点が相違する。図1に示した第1の実施例と同一箇所には同一の符号を付して、その説明は省略する。
図4は、第2の実施例における車載制御装置1000の構成図である。第1の実施例と比較して、第2の実施例では、物標認識部106を備えた点が相違する。図1に示した第1の実施例と同一箇所には同一の符号を付して、その説明は省略する。
図4に示すように、画像処理装置100は入力部101、撮影状態検知部102、尤度算出部103、尤度更新部104、出力部105、物標認識部106をそれぞれ備える。
物標認識部106は、複数のカメラ2による各撮影画像上に存在する白線、標識、縁石、ガードレール等の物標を認識する。各物標の認識処理には公知の技術が使用できる。物標認識部106による物標の認識結果は、尤度更新部104へ出力される。
尤度更新部104は、撮影状態検知部102により同じ種別の不調を検知したカメラ2が複数存在する場合、各カメラ2における物標の認識結果を比較して、各カメラ2による撮影状態の尤度を更新する。
図5は、尤度更新部104による尤度の更新処理を説明する図である。
図5の例では、車両の前後左右の4つのカメラ2a、2b、2l、2rが画像処理装置100に接続されており、後カメラ2bのレンズや車両の窓に付着した水膜Wが撮影画像上に写り、水膜Wがレンズのように光を歪めてしまった状態で撮影された場合、後カメラ2bによる撮影画像上の水膜付着領域が拡大されるが、尤度を更新しない場合は、後段の処理制御において誤った動作が行われてしてしまい、単独のカメラ2では水膜の検知が困難な場合が存在する。
図5の例では、車両の前後左右の4つのカメラ2a、2b、2l、2rが画像処理装置100に接続されており、後カメラ2bのレンズや車両の窓に付着した水膜Wが撮影画像上に写り、水膜Wがレンズのように光を歪めてしまった状態で撮影された場合、後カメラ2bによる撮影画像上の水膜付着領域が拡大されるが、尤度を更新しない場合は、後段の処理制御において誤った動作が行われてしてしまい、単独のカメラ2では水膜の検知が困難な場合が存在する。
本実施例では、尤度更新部104は、物標認識部106により認識した白線Lの幅を各カメラ2a、2b、2l、2r間で比較し、比較結果に基づいて後カメラ2bによる水膜Wに関する撮影状態の尤度を更新する。具体的には、図5に示すように、尤度算出部103により前後左右4つのカメラ2a、2b、2l、2rの撮影状態の尤度が、また、物標認識部106により各カメラ2a、2b、2l、2rによる撮影画像上の白線幅がそれぞれ得られているものとする。
具体的には、尤度算出部103による尤度は、後カメラ2bのみ20%、その他のカメラ2a、2l、2rではいずれも10%である。物標認識部106による白線Lの幅は、後カメラ2bのみ20cm、その他のカメラ2a、2l、2rではいずれも15cmである。この場合、尤度更新部104は、白線Lの幅が後カメラ2bのみ20cm、その他のカメラ2a、2l、2rではいずれも15cmであることから、後カメラ2bに水膜Wが付着している可能性ありと判別し、後カメラ2bの水膜Wの尤度を20%から80%に増加する。これにより、後段の処理制御において、後カメラ2bによる水膜Wの付着の影響を抑えることができる。但し、水膜Wの尤度の増分60%は一例であり、どの程度の増分を適当とするかは実データを用いて決めるものとする。
なお、画像処理装置100に接続されているカメラ2のすべてに同様に水膜Wが付着している場合、各カメラ2における白線Lの幅の認識結果を比較しても差異がなく水膜Wの検知は困難であるが、白線Lの幅には法令で定められた規定値が存在するため、この規定値から外れた白線Lの幅を認識したカメラ2に水膜Wの付着の可能性ありとして尤度を更新することは可能である。
このように、尤度更新部104は、物標認識部106による物標の認識結果を各カメラ2の間で比較することにより撮影状態の尤度を更新する。具体的には、単独のカメラ2では検知困難な水膜Wの付着を、複数のカメラ2における物標の認識結果から、例えば、多数のカメラ2における物標の認識結果を正とするなど、統合して判別する。したがって、水膜Wの付着の可能性のあるカメラ2の水膜Wの撮影状態に関する尤度を更新することにより、後段の処理である制御処理装置200の処理制御において、カメラ2の撮影状態が原因で発生する誤った処理制御を回避できる。
[第3の実施例]
図6は、第3の実施例における車載制御装置1000の構成図である。第2の実施例と比較して、第3の実施例では、地図データ6を参照する点が相違する。図4に示した第2の実施例と同一箇所には同一の符号を付して、その説明は省略する。
図6は、第3の実施例における車載制御装置1000の構成図である。第2の実施例と比較して、第3の実施例では、地図データ6を参照する点が相違する。図4に示した第2の実施例と同一箇所には同一の符号を付して、その説明は省略する。
図6に示すように、画像処理装置100は、地図データベースなどより地図データ6を参照する。地図データベースなどには、各道路のレーン幅(白線と白線の間の幅)や曲率等の物標に関する値が格納されている。
物標認識部106はカメラ2による撮影画像上の白線等の物標を認識し、走行中の道路のレーン幅を算出する。
尤度更新部104は、各カメラ2における物標の認識結果と地図データ6の物標に関する値とを比較してカメラ2に不調が発生しているか否かを判定し、不調が発生していると判定されたカメラ2による撮影状態の尤度を更新する。
物標が道路のレーン幅の場合を例に説明する。尤度更新部104は、物標認識部106により認識したレーン幅を各カメラ2間で比較し、比較結果に基づいてカメラ2による水膜に関する撮影状態の尤度を更新する。すなわち、尤度更新部104は各カメラ2のレーン幅の算出値を比較し、他と比べてレーン幅の大きいカメラ2に水膜付着の可能性ありと判別して、当該カメラ2の水膜の尤度を増加させる。さらに、カメラ2の間で算出したレーン幅の値の差が小さい場合は、各カメラ2にそれぞれ水膜付着の可能性ありと判別して、算出したレーン幅の値と地図データ6に記録された走行中の道路のレーン幅とを比較する。その結果、値が大きく異なる場合には、各カメラ2にそれぞれ水膜が付着していると判別して、各カメラ2の水膜に関する撮影状態の尤度をそれぞれ増加させる。
物標が道路の曲率の場合を例に説明する。物標認識部106は、白線やガードレール、縁石等の物標から走行中の道路の曲率を算出する。尤度更新部104は、各カメラ2の曲率の算出値を比較し、他と比べて曲率が外れた値のカメラ2に水膜付着の可能性ありと判別して、当該カメラ2の水膜に関する撮影状態の尤度を増加させる。これは、水膜の付着によりカメラ2による撮影画像上の物標の輪郭が歪んだ結果、算出した曲率値が真値と異なる現象を利用したものである。さらに、カメラ2の間で算出した曲率の値の差が小さい場合は、算出した曲率と地図データ6に記録された走行中の道路の曲率とを比較する。その結果、値が大きく異なる場合には、各カメラ2にそれぞれ水膜が付着していると判別して、各カメラ2の水膜に関する撮影状態の尤度をそれぞれ増加させる。
このように、地図データ6を参照して、水膜Wの付着の可能性のあるカメラ2の水膜Wの撮影状態に関する尤度を更新することにより、水膜Wの付着をより正確に尤度に反映できるので、後段の処理である制御処理装置200の処理制御において、カメラ2の撮影状態が原因で発生する誤った処理制御を回避できる。
[第4の実施例]
本実施例では、水滴の時系列変化を監視して、尤度を更新する。本実施例における車載制御装置1000の構成図は、第1の実施例で示した図1、または第2の実施例で示した図4、または第3の実施例で示した図6と同様であるので、図示を省略する。
本実施例では、水滴の時系列変化を監視して、尤度を更新する。本実施例における車載制御装置1000の構成図は、第1の実施例で示した図1、または第2の実施例で示した図4、または第3の実施例で示した図6と同様であるので、図示を省略する。
図7は、尤度更新部104による尤度の更新処理を説明する図である。
尤度更新部104は、撮影状態検知部102により検知した各カメラ2の撮影画像の水滴Rの時系列変化を監視して、水滴Rの時系列変化と予め定義した水滴Rの時系列変化のパターンと比較し、パターンと類似する水滴Rの時系列変化を示すカメラ2の撮影画像が複数存在する場合に各カメラ2に共通する外部要因が発生したと判定し、判定された外部要因に基づいて各カメラ2による撮影状態の尤度を更新する。ここで、予め定義した水滴Rの時系列変化のパターンとは、例えば、車両を試験走行して取得した水滴Rの時系列変化のパターンである。各カメラ2に共通する外部要因とは、降雨、降雪等である。
尤度更新部104は、撮影状態検知部102により検知した各カメラ2の撮影画像の水滴Rの時系列変化を監視して、水滴Rの時系列変化と予め定義した水滴Rの時系列変化のパターンと比較し、パターンと類似する水滴Rの時系列変化を示すカメラ2の撮影画像が複数存在する場合に各カメラ2に共通する外部要因が発生したと判定し、判定された外部要因に基づいて各カメラ2による撮影状態の尤度を更新する。ここで、予め定義した水滴Rの時系列変化のパターンとは、例えば、車両を試験走行して取得した水滴Rの時系列変化のパターンである。各カメラ2に共通する外部要因とは、降雨、降雪等である。
図7の例では、車両の前カメラ2aと右カメラ2rが画像処理装置100に接続されている。そして、前カメラ2aと右カメラ2rのレンズや車両の窓に付着した水滴Rが撮影画像上に写り、車両が走行中は風圧により水滴Rの位置が移動する。車両が走行中か否かは、CANデータ4の車速の値が予め定めた閾値以上か否かで判別する。
車両の走行中は、付着した水滴Rの位置が移動するため、時刻t、t+1、t+2と経過するにつれ、これがカメラ2の撮影画像に基づいて水滴Rが撮影状態検知部102により検知され、各カメラ2による撮影画像上の水滴Rの位置も徐々に移動する。
図7に示すように、尤度更新部104は、時刻tから時刻t+2までの各カメラ2による撮影画像上の水滴Rの位置の動きから水滴Rの移動方向を算出する。そして、予め走行実験などで取得した各カメラ2による撮影画像における水滴Rの移動方向と比較することにより、移動方向が近い場合は外部要因として水滴Rらしいと判別する。水滴Rの移動方向は、例えば各時刻における水滴R領域の位置から最小二乗法等により算出することができ、方向が近いか否かは、例えば算出した水滴Rの移動方向と予め取得した水滴Rの移動方向との内積値の絶対値が所定の閾値未満か否かで判定する。
水滴Rらしいと判別したカメラ2が複数存在する場合は、すなわち、各カメラ2に共通して外部要因が発生した場合は、例えば雨天の走行中と判定し、各カメラ2の水滴Rの撮影状態に関する尤度を増加させる。図7の例では、前カメラ2aでは水滴Rの尤度を60%から90%に、右カメラ2rでは60%から80%に、それぞれ増加させている。但し、水滴Rの尤度の増分は一例であり、どの程度の増分を適当とするかは実データを用いて決めるものとする。なお、図7ではカメラ2のうち前カメラ2aと右カメラ2rの2個に注目したが、カメラ2を3個以上備えた構成でも同様に尤度の更新処理を実現してもよい。また、本実施例では水滴Rの場合を挙げたが、融けかけた雪のように、同じく走行中にカメラ2の撮影画像上を移動する付着物の場合についても、同様に尤度の更新処理を行うことができる。
このように、カメラ2の撮影画像上を移動する水滴Rや雪といった付着物を検知して尤度を更新することにより、付着物を正確に尤度に反映できるので、後段の処理である制御処理装置200の処理制御において、カメラ2の撮影状態が原因で発生する誤った処理制御を回避できる。
[第5の実施例]
本実施例では、逆光を検知して、尤度を更新する。本実施例における車載制御装置1000の構成図は、第1の実施例で示した図1、または第2の実施例で示した図4、または第3の実施例で示した図6と同様であるので、図示を省略する。
本実施例では、逆光を検知して、尤度を更新する。本実施例における車載制御装置1000の構成図は、第1の実施例で示した図1、または第2の実施例で示した図4、または第3の実施例で示した図6と同様であるので、図示を省略する。
図8は、尤度更新部104による尤度の更新処理を説明する図である。
図8の上の図には、昼間、車両100aの後方から日光300が射し込み、カメラ2のうち後カメラ2bにおいて逆光に関する撮影状態の尤度が高くなっている場合の例を示す。昼間か否かは時刻データ5から判定する。昼間の場合、逆光が発生しているカメラ2bと設置方向が逆向きのカメラ2aでは逆光は発生しない。
図8の下の図には、前カメラ2aの撮像画像には、白線Lが、後カメラ2bの撮像画像には白線Lと逆光領域RFが含まれている例を示す。
尤度更新部104は、後カメラ2bによる逆光領域RFに基づいて、逆光の尤度が予め定めた閾値以上であるかを判定する。例えば、この例では閾値が70%以上の場合に、逆方向に設置されている前カメラ2aでは逆光が発生する可能性が低いと判別し、前カメラ2aの逆光に関する撮影状態の尤度を減少させる。図8の例では前カメラ2aの逆光の尤度を30%から10%に減少させている。後カメラ2bの逆光の尤度は70%と、変わらない。但し、逆光の尤度の減少値は一例であり、どの程度の値を適当とするかは実データを用いて決めるものとする。
図8の上の図には、昼間、車両100aの後方から日光300が射し込み、カメラ2のうち後カメラ2bにおいて逆光に関する撮影状態の尤度が高くなっている場合の例を示す。昼間か否かは時刻データ5から判定する。昼間の場合、逆光が発生しているカメラ2bと設置方向が逆向きのカメラ2aでは逆光は発生しない。
図8の下の図には、前カメラ2aの撮像画像には、白線Lが、後カメラ2bの撮像画像には白線Lと逆光領域RFが含まれている例を示す。
尤度更新部104は、後カメラ2bによる逆光領域RFに基づいて、逆光の尤度が予め定めた閾値以上であるかを判定する。例えば、この例では閾値が70%以上の場合に、逆方向に設置されている前カメラ2aでは逆光が発生する可能性が低いと判別し、前カメラ2aの逆光に関する撮影状態の尤度を減少させる。図8の例では前カメラ2aの逆光の尤度を30%から10%に減少させている。後カメラ2bの逆光の尤度は70%と、変わらない。但し、逆光の尤度の減少値は一例であり、どの程度の値を適当とするかは実データを用いて決めるものとする。
すなわち、撮影状態検知部102により、不調の種別として逆光が検知された場合に、尤度更新部104は、逆光が検知されたカメラ2bとは向きが逆方向に設置されているカメラ2aによる逆光に関する撮影状態の尤度を減少するように更新する。これにより、逆光の向きであるか否かに応じて尤度を更新できるので、カメラ2の逆光下においても、後段の処理である制御処理装置200の処理制御の誤りを回避できる。
なお、尤度更新部104は、カメラ2の車両における設置位置に応じて、撮影状態の尤度を切り替えて更新するようにしてもよい。例えば、後カメラ2bによる撮影状態の尤度を前カメラ2aによる撮影状態の尤度より増加する、または、車両の前進後退に応じて進行方向に位置することになるカメラによる撮影状態の尤度を減少する、または、車両の方位と時刻に応じて逆方向に位置するカメラ2による撮影状態の尤度を減少する。
[第6の実施例]
本実施例では、信頼性の高いカメラ2の撮影状態を正として、尤度を更新する。本実施例における車載制御装置1000の構成図は、第1の実施例で示した図1、または第2の実施例で示した図4、または第3の実施例で示した図6と同様であるので、図示を省略する。
本実施例では、信頼性の高いカメラ2の撮影状態を正として、尤度を更新する。本実施例における車載制御装置1000の構成図は、第1の実施例で示した図1、または第2の実施例で示した図4、または第3の実施例で示した図6と同様であるので、図示を省略する。
カメラ2を車両の室内に設置した場合、特にワイパー付の窓の内側にカメラ2を設置した場合は、ワイパーにより水滴、水膜、泥、雪といった付着物が除去された環境で撮影することができ、車両の室外に設置されたカメラ2に比べて付着物に起因する撮影状態の不調は発生しにくい。すなわち、車両の室内に設置されたカメラ2による撮影状態は、車両の室外に設置されたカメラ2による撮影状態よりも信頼性が高い。
尤度更新部104は、車両の室内に設置されたカメラ2における撮影状態および物標の認識結果を正として、各カメラ2における撮影状態および物標の認識結果を比較して、カメラ2の撮影状態に不調が発生しているかを判定し、不調が発生していると判定されたカメラ2による撮影状態の尤度を更新する。具体的には、不調が発生していると判定されたカメラ2による撮影状態の尤度を増加する。
また、尤度更新部104は、車両の室外に設置されたカメラ2であっても、ワイパー等の付着物を払拭する払拭機能を備えたカメラ2が存在する場合は、当該カメラ2の撮影画像を入力とした際の撮影状態や物標の認識結果を正として比較を行い、各カメラ2の撮影状態の尤度を更新してもよい。具体的には、不調が発生していると判定されたカメラ2による撮影状態の尤度を増加する。
また、車両の室外または室内に設置されたカメラ2であって、ワイパー等の付着物を払拭する払拭機能を備えたカメラ2が存在する場合について説明する。この場合は、尤度更新部104は、払拭機能の作動状態を示す信号を受け取り、払拭機能が動作した直後の所定時間内における当該カメラ2の撮影画像を入力とした際の撮影状態を正として比較を行い、各カメラ2の撮影状態の尤度を更新してもよい。具体的には、不調が発生していると判定されたカメラ2による撮影状態の尤度を増加する。
あるいは、尤度更新部104は、予め走行実験等によって過去の撮影状態に不調が発生しにくかったカメラ2の撮影画像を正として、各カメラ2における現在の撮影画像と比較してカメラ2に不調が発生しているか否かを判定し、不調が発生していると判定されたカメラ2による撮影状態の尤度を更新してもよい。具体的には、不調が発生していると判定されたカメラ2による撮影状態の尤度を増加する。
さらに、尤度更新部104は、過去にカメラ2の撮影状態が正常だった際の物標の認識結果を正として、各カメラ2における現在の物標の認識結果と比較してカメラ2に不調が発生しているか否かを判定し、不調が発生していると判定されたカメラ2による撮影状態の尤度を更新してもよい。具体的には、不調が発生していると判定されたカメラ2による撮影状態の尤度を増加する。
このように、信頼性の高いカメラ2の撮影状態を正として撮影画像を比較することにより、カメラ2の撮影状態に関する尤度を更新するので、後段の処理である制御処理装置200の処理制御において、カメラ2の撮影状態が原因で発生する誤った処理制御を回避できる。
[第7の実施例]
本実施例では、予め記録した正常時の物標の認識結果を用いて、尤度を更新する。本実施例における車載制御装置1000の構成図は、第1の実施例で示した図1、または第2の実施例で示した図4、または第3の実施例で示した図6と同様であるので、図示を省略する。
本実施例では、予め記録した正常時の物標の認識結果を用いて、尤度を更新する。本実施例における車載制御装置1000の構成図は、第1の実施例で示した図1、または第2の実施例で示した図4、または第3の実施例で示した図6と同様であるので、図示を省略する。
第2の実施例、第3の実施例、第6の実施例において、撮影状態の尤度の更新に物標の認識結果を用いているが、白線幅やレーン幅は多くの場合は時間が経過しても値が変わらない。本実施例では、尤度更新部104は、撮影状態が正常である場合の物標の認識結果を予め記憶部に記録しておき、当該記憶しておいた物標の認識を正として、現在の物標の認識結果と比較を行い、各カメラ2の撮影状態の尤度を更新する。具体的には、不調が発生していると判定されたカメラ2による撮影状態の尤度を増加する。
このように、予め記録した正常時の物標の認識結果を用いることにより、白線幅の規定値や地図データ6が存在しない場合であっても、カメラ2の撮影状態に関する尤度を適切に更新するので、後段の処理である制御処理装置200の処理制御において、カメラ2の撮影状態が原因で発生する誤った処理制御を回避できる。
[第8の実施例]
本実施例では、撮影画像上の共通撮像領域の撮影状態を用いて、尤度を更新する。本実施例における車載制御装置1000の構成図は、第1の実施例で示した図1、または第2の実施例で示した図4、または第3の実施例で示した図6と同様であるので、図示を省略する。
本実施例では、撮影画像上の共通撮像領域の撮影状態を用いて、尤度を更新する。本実施例における車載制御装置1000の構成図は、第1の実施例で示した図1、または第2の実施例で示した図4、または第3の実施例で示した図6と同様であるので、図示を省略する。
図9は、尤度更新部104による尤度の更新処理を説明する図である。
カメラ2の組の中には、カメラ2の設置位置や方向、画角によっては共通の3次元空間上の領域を撮影する組が存在する場合がある。各カメラ2による撮影画像上において当該領域が映る領域を共通撮像領域Cと呼ぶ。なお、共通撮像領域Cは車両諸元データ3を用いて算出することができ、実際には複雑な形状となるが、図9では説明を簡単にするため矩形としている。
カメラ2の組の中には、カメラ2の設置位置や方向、画角によっては共通の3次元空間上の領域を撮影する組が存在する場合がある。各カメラ2による撮影画像上において当該領域が映る領域を共通撮像領域Cと呼ぶ。なお、共通撮像領域Cは車両諸元データ3を用いて算出することができ、実際には複雑な形状となるが、図9では説明を簡単にするため矩形としている。
尤度更新部104は、カメラ2の撮影画像上に共通撮像領域Cをそれぞれ持つカメラ2の組であって、片方のカメラ2の共通撮像領域Cにのみ不調が検知されている場合に、この片方のカメラ2の撮影状態の尤度を増加するように更新する。
具体的には、図9に示すように、カメラ2のうち前カメラ2aと右カメラ2rが共通撮像領域Cを持つ場合を表している。右カメラ2rでは共通撮像領域C上に水滴Rは存在せず、その撮影画像の撮影状態は尤度10%と略正常である。一方、前カメラ2aでは撮影状態が水滴であり尤度60%と高く、かつ水滴Rが共通撮像領域C上に存在する。3次元空間の物体が共通撮像領域C上に撮影される際は、前カメラ2aの撮影画像上の共通撮像領域Cと右カメラ2rの共通撮像領域Cの両方に物体が現れる。したがって、いずれか一方の共通撮像領域Cのみに物体が現れる場合は、対応するカメラ2の撮影状態の不調が発生している領域である可能性が高いと判別する。
図9に示す例では、尤度更新部104は、前カメラ2aの共通撮像領域C上に水滴Rが映っている可能性が高いと判別し、前カメラ2aの撮影状態の尤度を60%から80%に増加している。但し、水滴Rによる尤度の増分は一例であり、どの程度の値を適当とするかは実データを用いて決めるものとする。なお、図9では水滴Rの例を示したが、カメラ2の他の種別による不調が共通撮像領域Cに発生した場合にも、同様に不調の尤度を更新してもよい。
このように、撮影画像上の共通撮像領域の撮影状態を用いることにより、カメラ2の撮影状態に関する尤度を適切に更新するので、後段の処理である制御処理装置200の処理制御において、カメラ2の撮影状態が原因で発生する誤った処理制御を回避できる。
[第9の実施例]
本実施例では、撮影画像上の共通撮像領域内の物標を用いて、尤度を更新する。本実施例における車載制御装置1000の構成図は、第1の実施例で示した図1、または第2の実施例で示した図4、または第3の実施例で示した図6と同様であるので、図示を省略する。
本実施例では、撮影画像上の共通撮像領域内の物標を用いて、尤度を更新する。本実施例における車載制御装置1000の構成図は、第1の実施例で示した図1、または第2の実施例で示した図4、または第3の実施例で示した図6と同様であるので、図示を省略する。
図10は、尤度更新部104による尤度の更新処理を説明する図である。
第8の実施例の場合と同様に、カメラ2の組が共通撮像領域Cを持つものとし、図10では前カメラ2aと右カメラ2rに共通撮像領域Cが存在する例を示した。
第8の実施例の場合と同様に、カメラ2の組が共通撮像領域Cを持つものとし、図10では前カメラ2aと右カメラ2rに共通撮像領域Cが存在する例を示した。
尤度更新部104は、カメラ2の撮影画像上に共通撮像領域Cをそれぞれ持つカメラ2の組であって、物標認識部106により認識した物標が片方のカメラ2の共通撮像領域Cにのみ存在している場合に、物標が存在していないカメラ2の撮影状態の尤度を増加する。
具体的には、図10に示すように、前カメラ2aと右カメラ2rの撮影状態がともに正常の場合、物標認識部106により右カメラ2rによる撮影画像の共通撮像領域Cから白線Lが認識された場合、前カメラ2aによる撮影画像の共通撮像領域Cからも白線Lが認識されるはずである。尤度更新部104は、右カメラ2rによる撮影画像の共通撮像領域Cから白線Lが認識されたにもかかわらず、前カメラ2aによる撮影画像の共通撮像領域Cからは白線Lが認識されなかった場合、前カメラ2aの共通撮像領域C上に不調が発生している可能性があると判別する。但し、物標の認識有無だけでは、カメラ2にどの種別の不調が発生しているかまでは特定できない。従って、尤度更新部104は前カメラ2aの各種別の尤度を増加させる。なお、尤度の増分について、どの程度の値を適当とするかは実データを用いて決めるものとする。
このように、撮影画像上の共通撮像領域内の物標を用いることにより、カメラ2の撮影状態に関する尤度を適切に更新するので、後段の処理である制御処理装置200の処理制御において、カメラ2の撮影状態が原因で発生する誤った処理制御を回避できる。
[第10の実施例]
図11は、第10の実施例における車載制御装置1000の構成図である。第2の実施例と比較して、第10の実施例では、レーダ7を備える点が相違する。図4に示した第2の実施例と同一箇所には同一の符号を付して、その説明は省略する。
図11は、第10の実施例における車載制御装置1000の構成図である。第2の実施例と比較して、第10の実施例では、レーダ7を備える点が相違する。図4に示した第2の実施例と同一箇所には同一の符号を付して、その説明は省略する。
図11に示すように、画像処理装置100には、レーダ7が接続される。レーダ7は、車両の周辺に存在する物標の3次元情報を検知する3次元情報検知部である。
尤度更新部104は、3次元情報検知部により検知された物標の3次元情報をカメラ2の撮影画像と照合して、3次元情報対応する物標が撮影画像に無い場合に、撮影画像の撮影状態の尤度を増加する。
尤度更新部104は、3次元情報検知部により検知された物標の3次元情報をカメラ2の撮影画像と照合して、3次元情報対応する物標が撮影画像に無い場合に、撮影画像の撮影状態の尤度を増加する。
具体的には、図11に示すように、尤度更新部104は、物標認識部106により認識した各物標のカメラ2による撮影画像と、レーダ7から得られた物標の3次元情報とを比較する。そして、レーダ7では検知出来ているがカメラ2による撮影画像上には無い物標が存在する場合には、この撮影画像を撮影したカメラ2において撮影状態が不調であると判別し、カメラ2による撮影画像の撮影状態の尤度を増加する。なお、物標の比較だけでは、不調の種別までは特定できないため、尤度更新部104は各種別において尤度を増加させる。なお、尤度の増分について、どの程度の値を適当とするかは実データを用いて決めるものとする。また、3次元情報検知部はレーダ7の例で説明したが、物標の3次元情報を取得できるミリ波や超音波などの他の手段を用いても良い。
このように、3次元情報検知部を用いることにより、カメラ2の撮影状態に関する尤度を適切に更新するので、後段の処理である制御処理装置200の処理制御において、カメラ2の撮影状態が原因で発生する誤った処理制御を回避できる。
以上の各実施例で示した画像処理装置100は、入力部101、撮影状態検知部102、尤度算出部103、尤度更新部104、出力部105、物標認識部106を備えた構成として説明した。しかし、これらの構成の一部もしくは全てを、プロセッサ(例えばCPU、GPU)とこのプロセッサで実行されるプログラムにより実現してもよい。プログラムは、プロセッサによって実行されることで、定められた処理を、適宜に記憶資源(例えばメモリ)および/またはインターフェースデバイス(例えば通信ポート)等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路(例えばFPGAやASIC)を含んでいてもよい。
プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、プログラムは、2以上のプログラムが1つのプログラムとして実現されてもよいし、1つのプログラムが2以上のプログラムとして実現されてもよい。
画像処理装置100の構成の一部もしくは全ての機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、SSD(Solid State Drive)等の記憶装置、又は、ICカード、SDカード、DVD等の記録媒体に格納することができる。また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
以上説明した実施例によれば、次の作用効果が得られる。
(1)画像処理装置100は、車両に設置された複数のカメラ2からの各撮影画像を取得する入力部101と、各撮影画像の撮影状態に不調が発生しているかを検知する撮影状態検知部102と、各撮影画像に基づいて撮影状態の不調の程度を示す尤度をカメラ2ごとに算出する尤度算出部103と、尤度算出部103で算出されたカメラ2ごとの尤度を統合した判定に基づいて、新たな尤度に更新する尤度更新部104と、を備え、尤度更新部104により更新された尤度をカメラ2ごとの尤度として出力する。これにより、カメラによる撮影画像の撮影状態に不調が発生していることを示す尤度の正確性を高めることができる。
(1)画像処理装置100は、車両に設置された複数のカメラ2からの各撮影画像を取得する入力部101と、各撮影画像の撮影状態に不調が発生しているかを検知する撮影状態検知部102と、各撮影画像に基づいて撮影状態の不調の程度を示す尤度をカメラ2ごとに算出する尤度算出部103と、尤度算出部103で算出されたカメラ2ごとの尤度を統合した判定に基づいて、新たな尤度に更新する尤度更新部104と、を備え、尤度更新部104により更新された尤度をカメラ2ごとの尤度として出力する。これにより、カメラによる撮影画像の撮影状態に不調が発生していることを示す尤度の正確性を高めることができる。
本発明は、上述の各実施例に限定されるものではなく、本発明の特徴を損なわない限り、本発明の技術思想の範囲内で考えられる種々の様態についても、本発明の範囲内に含まれる。また、上述の各実施例を組み合わせた構成としてもよい。例えば、上述した各実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
2・・・カメラ、3・・・車両諸元データ、4・・・CANデータ、5・・・時刻データ、100・・・画像処理装置、101・・・入力部、102・・・撮影状態検知部、103・・・尤度算出部、104・・・尤度更新部、105・・・出力部、200・・・制御処理装置、201・・・運転支援装置、202・・・洗浄制御装置、1000・・・車載制御装置。
Claims (23)
- 車両に設置された複数のカメラからの各撮影画像を取得する入力部と、前記各撮影画像の撮影状態に不調が発生しているかを検知する撮影状態検知部と、前記各撮影画像に基づいて撮影状態の不調の程度を示す尤度を前記カメラごとに算出する尤度算出部と、前記尤度算出部で算出された前記カメラごとの前記尤度を統合した判定に基づいて、新たな尤度に更新する尤度更新部と、を備え、前記尤度更新部により更新された尤度を前記カメラごとの尤度として出力する画像処理装置。
- 請求項1に記載の画像処理装置において、
前記複数のカメラからの各撮影画像上に存在する物標を認識する物標認識部を備え、
前記尤度更新部は、前記物標認識部による前記物標の認識結果を前記各カメラの間で比較することにより前記尤度を更新する画像処理装置。 - 請求項2に記載の画像処理装置において、
前記尤度更新部は、前記各カメラ間で比較した前記物標の認識結果に基づいて前記カメラに不調が発生しているか否かを判定し、前記不調が発生していると判定されたカメラによる撮影状態の尤度を更新する画像処理装置。 - 請求項1に記載の画像処理装置において、
前記撮影状態検知部は、前記撮影状態に基づいて前記カメラの不調を検知するとともに、前記不調の種別を判別し、前記尤度算出部は、前記不調の種別ごとに前記不調に関する尤度を算出する画像処理装置。 - 請求項1に記載の画像処理装置において、
前記撮影状態検知部は、前記撮影状態に基づいて前記カメラの不調を検知し、
前記尤度更新部は、前記撮影状態検知部により検知した各カメラの撮影状態の時系列変化を監視して、前記撮影状態の時系列変化を所定の不調に関する時系列変化のパターンと比較することにより各カメラに共通する外部要因が発生したと判定し、前記判定された外部要因に基づいて各カメラによる撮影状態の前記尤度を更新する画像処理装置。 - 請求項4に記載の画像処理装置において、
前記撮影状態検知部により同種別の不調を検知したカメラが複数存在する場合、前記尤度更新部は、各カメラによる撮影状態の前記尤度を更新する画像処理装置。 - 請求項3に記載の画像処理装置において、
前記尤度更新部は、前記各カメラにおける前記物標の認識結果と地図データの物標に関する値とを比較して前記カメラに不調が発生しているか否かを判定し、前記不調が発生していると判定されたカメラによる撮影状態の尤度を更新する画像処理装置。 - 請求項4に記載の画像処理装置において、
前記撮影状態検知部により、前記不調の種別として逆光が検知された場合に、前記尤度更新部は、前記逆光が検知された前記カメラとは向きが逆方向に設置されているカメラによる逆光に関する撮影状態の尤度を減少するように更新する画像処理装置。 - 請求項3に記載の画像処理装置において、
前記尤度更新部は、車両の室内に設置された前記カメラにおける前記撮影状態および前記物標の認識結果を正として、前記各カメラにおける前記撮影状態および前記物標の認識結果を比較して前記カメラに不調が発生しているか否かを判定し、前記不調が発生していると判定されたカメラによる撮影状態の尤度を更新する画像処理装置。 - 請求項3に記載の画像処理装置において、
前記尤度更新部は、前記カメラのうち付着物を払拭する払拭機能を備えたカメラにおける前記撮影状態および前記物標の認識結果を正として、前記各カメラにおける前記撮影状態および前記物標の認識結果を比較して前記カメラに不調が発生しているか否かを判定し、前記不調が発生していると判定されたカメラによる撮影状態の尤度を更新する画像処理装置。 - 請求項3に記載の画像処理装置において、
前記尤度更新部は、過去の撮影状態に不調が発生しにくかった前記カメラの撮影画像を正として、前記各カメラにおける現在の撮影画像と比較して前記カメラに不調が発生しているか否かを判定し、前記不調が発生していると判定されたカメラによる撮影状態の尤度を更新する画像処理装置。 - 請求項3に記載の画像処理装置において、
前記尤度更新部は、過去に前記カメラの撮影状態が正常だった際の前記物標の認識結果を正として、前記各カメラにおける現在の前記物標の認識結果と比較して前記カメラに不調が発生しているか否かを判定し、前記不調が発生していると判定されたカメラによる撮影状態の尤度を更新する画像処理装置。 - 請求項4に記載の画像処理装置において、
前記尤度更新部は、前記カメラの撮影画像上に共通撮像領域をそれぞれ持つ前記カメラの組であって、片方の前記カメラの前記共通撮像領域にのみ不調が検知されている場合に、前記片方のカメラの撮影状態の尤度を増加するように更新する画像処理装置。 - 請求項3に記載の画像処理装置において、
前記尤度更新部は、前記カメラの撮影画像上に共通撮像領域をそれぞれ持つ前記カメラの組であって、前記物標認識部により認識した物標が片方の前記カメラの前記共通撮像領域にのみ存在している場合に、前記物標が存在していない前記カメラの撮影状態の尤度を増加する画像処理装置。 - 請求項1に記載の画像処理装置において、
前記車両の周辺に存在する物標の3次元情報を検知する3次元情報検知部を備え、
前記尤度更新部は、前記3次元情報検知部により検知された物標の3次元情報を前記カメラの撮影画像と照合して、前記3次元情報に対応する物標が前記撮影画像に無い場合に、前記撮影画像の撮影状態の尤度を増加する画像処理装置。 - 請求項1に記載の画像処理装置において、
前記尤度更新部は、前記カメラの設置位置に応じて、前記撮影状態の尤度を切り替えて更新する画像処理装置。 - 請求項3に記載の画像処理装置において、
前記尤度更新部は、前記物標認識部により認識した白線の幅を前記各カメラ間で比較し、比較結果に基づいて前記カメラによる水膜に関する前記撮影状態の尤度を更新する画像処理装置。 - 請求項3に記載の画像処理装置において、
前記尤度更新部は、前記物標認識部により認識したレーン幅を前記各カメラ間で比較し、比較結果に基づいて前記カメラの水膜に関する前記撮影状態の尤度を更新する画像処理装置。 - 請求項7に記載の画像処理装置において、
前記尤度更新部は、前記物標認識部により認識した物標から算出した、走行中の道路の曲率を前記カメラ間で比較し、比較結果に基づいて前記カメラの水膜の尤度を更新する画像処理装置。 - 請求項5に記載の画像処理装置において、
前記尤度更新部は、前記撮影状態検知部により検知した各カメラの撮影画像の水滴の時系列変化を監視して、前記水滴の時系列変化と予め定義した水滴の時系列変化のパターンと比較し、前記パターンと類似する前記水滴の時系列変化を示すカメラの撮影画像が複数存在する場合に各カメラに共通する外部要因が発生したと判定し、前記判定された外部要因に基づいて各カメラによる撮影状態の前記尤度を更新する画像処理装置。 - 請求項1から請求項20までのいずれか一項に記載の画像処理装置と、
前記尤度更新部で更新された尤度に基づく処理制御を実行する制御処理装置とを備える車載制御装置。 - 請求項21に記載の車載制御装置において、
前記制御処理装置は運転支援装置であり、前記運転支援装置は、前記更新された尤度が閾値より低い場合に、運転支援の処理制御を実行する車載制御装置。 - 請求項21に記載の車載制御装置において、
前記制御処理装置は洗浄制御装置であり、前記洗浄制御装置は、前記更新された尤度が閾値より高い場合に、車両に備えられた光学系入出力装置の洗浄制御を実行する車載制御装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021177943A JP2023067021A (ja) | 2021-10-29 | 2021-10-29 | 画像処理装置および車載制御装置 |
PCT/JP2022/032105 WO2023074103A1 (ja) | 2021-10-29 | 2022-08-25 | 画像処理装置および車載制御装置 |
DE112022003881.0T DE112022003881T5 (de) | 2021-10-29 | 2022-08-25 | Bildverarbeitungsvorrichtung und fahrzeuginterne steuervorrichtung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021177943A JP2023067021A (ja) | 2021-10-29 | 2021-10-29 | 画像処理装置および車載制御装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023067021A true JP2023067021A (ja) | 2023-05-16 |
Family
ID=86159359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021177943A Pending JP2023067021A (ja) | 2021-10-29 | 2021-10-29 | 画像処理装置および車載制御装置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2023067021A (ja) |
DE (1) | DE112022003881T5 (ja) |
WO (1) | WO2023074103A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5677900B2 (ja) * | 2011-06-29 | 2015-02-25 | 株式会社日本自動車部品総合研究所 | 車載白線認識装置 |
JP6011935B2 (ja) * | 2012-12-10 | 2016-10-25 | アルパイン株式会社 | 車載カメラシステムおよびカメラレンズ異常検知方法 |
JP6514624B2 (ja) * | 2015-11-02 | 2019-05-15 | クラリオン株式会社 | 障害物検知装置 |
-
2021
- 2021-10-29 JP JP2021177943A patent/JP2023067021A/ja active Pending
-
2022
- 2022-08-25 DE DE112022003881.0T patent/DE112022003881T5/de active Pending
- 2022-08-25 WO PCT/JP2022/032105 patent/WO2023074103A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
DE112022003881T5 (de) | 2024-05-29 |
WO2023074103A1 (ja) | 2023-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6174975B2 (ja) | 周囲環境認識装置 | |
JP6365477B2 (ja) | 物体認識装置及び汚れ検出方法 | |
JP6246014B2 (ja) | 外界認識システム、車両、及びカメラの汚れ検出方法 | |
US7619668B2 (en) | Abnormality detecting apparatus for imaging apparatus | |
JP6120395B2 (ja) | 車載装置 | |
US7580548B2 (en) | Abnormality detecting apparatus for imaging apparatus | |
EP2871629B1 (en) | Vehicle-mounted environment recognition device | |
JP4856612B2 (ja) | 物体検出装置 | |
CN104732233B (zh) | 用于识别对象反射的方法和装置 | |
EP2928178B1 (en) | On-board control device | |
EP2698981B1 (en) | Driving assistance system comprising raindrop detection | |
JP2007228448A (ja) | 撮像環境認識装置 | |
WO2017122086A1 (en) | Systems and methods for augmenting upright object detection | |
WO2019181591A1 (ja) | 車載ステレオカメラ | |
CN113253254A (zh) | 用于多个对象跟踪的成像和雷达融合 | |
WO2023074103A1 (ja) | 画像処理装置および車載制御装置 | |
KR20140068475A (ko) | 차선 인식 시스템 | |
JP7151387B2 (ja) | 自車挙動推定装置、自車挙動推定プログラム、記憶媒体および自車挙動推定装置の制御方法 | |
JP2006107000A (ja) | 画像異常判定方法及び画像異常判定装置 | |
CN113939826A (zh) | 地图系统、地图生成程序、存储介质、车辆用装置以及服务器 | |
JP2021018465A (ja) | 物体認識装置 | |
JP6429101B2 (ja) | 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体 | |
US20230410318A1 (en) | Vehicle and method of controlling the same | |
WO2023112127A1 (ja) | 画像認識装置、および、画像認識方法 | |
JP7446445B2 (ja) | 画像処理装置、画像処理方法、及び車載電子制御装置 |