JP2014043121A - 車載カメラ装置 - Google Patents

車載カメラ装置 Download PDF

Info

Publication number
JP2014043121A
JP2014043121A JP2012184843A JP2012184843A JP2014043121A JP 2014043121 A JP2014043121 A JP 2014043121A JP 2012184843 A JP2012184843 A JP 2012184843A JP 2012184843 A JP2012184843 A JP 2012184843A JP 2014043121 A JP2014043121 A JP 2014043121A
Authority
JP
Japan
Prior art keywords
image
imaging unit
camera device
light source
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012184843A
Other languages
English (en)
Other versions
JP5759950B2 (ja
Inventor
Aya Hayakawa
絢 早川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to JP2012184843A priority Critical patent/JP5759950B2/ja
Publication of JP2014043121A publication Critical patent/JP2014043121A/ja
Application granted granted Critical
Publication of JP5759950B2 publication Critical patent/JP5759950B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】
すばやく撮像部の光学面の汚れを検出し、誤制御を抑制または停止する車載カメラ装置を提供する。
【解決手段】
第1撮像部と、第2撮像部と、一方端に第1撮像部を有し、他方端に第2撮像部を有する筐体と、を有し、第1撮像部と第2撮像部で撮像した画像から距離情報を取得する車載カメラ装置において、光学面が汚れていない撮像部で撮像した撮像画像に2値化処理を施した理想画像を予め記憶する記憶部と、第1撮像部又は、第2撮像部で撮像した撮像画像に対して、予め定めた2つの閾値に基づいて2値化処理し、2値化処理された画像と、記憶部で記憶された理想画像とを比較し、比較した結果に基づいて汚れ検出を行う処理部と、を有する。
【選択図】 図8

Description

本発明は、自動車に搭載する車載カメラ装置に関する。
近年、車載安全装置の一つとして、外界認識センサである車載カメラ装置を用いた技術開発が進んでいる。特に、2つの撮像部を持つステレオカメラ技術の開発が進んでいる。
ステレオカメラは、高性能に対象物までの距離を測定することが出来るセンサであり、様々なアプリケーションへの応用が期待されている。
ステレオカメラは、左右のカメラの画像から三角測量の要領で対象物までの距離を測定する。左右のカメラの画像を用いて正確な測距をするためには、左右のカメラの撮像性能を合わせこむ必要がある。左右のカメラの撮像性能の合わせこみの手法は、「光軸・ピント調整」、「感度補正」、「幾何補正」の調整・補正がある。この左右のカメラの撮像性能の合わせこみをすることで、左右のカメラのマッチング処理が正確に実行でき、視差(左右のカメラの見え方の違い)の算出によって対象物までの測距を正確に測ることができる。
しかしながら、意図せずにドライバーが誤って、レンズや光学フィルタ等の撮像部に手を触れ撮像部を汚してしまう、車内からフロントガラスを掃除している際に水滴が撮像部に付着してしまう等、人的要因によって撮像部の光学面が汚れてしまうことがよくある。
また、雨、ホコリ、塵等によって自然にフロントガラス表面に汚れが付着する等、自然要因によって撮像部の光学面が汚れてしまうこともある。
このように、フロントガラスや撮像部の光学部分が汚れた状態になると、撮像部に入ってきた光が汚れによって乱反射する。光の乱反射が無い場合の画像に対して、光の乱反射があると、画像がピンボケしたような現象を引き起こす。さらに、汚れ方によって光の乱反射の程度も異なり、汚れが多いほどボケ具合も大きくなる。ステレオカメラの場合、左右のカメラの撮像部の汚れ方が異なると、左右のカメラに入る光が異なり、左右の画像の撮像性能はアンマッチとなる。そのため、ステレオカメラのマッチング処理時でミスマッチングを発生し、正確な距離の算出が困難となる。
汚れで正確な距離の算出が困難となると、車両の制御が不安定となる。具体的には、ACC(Adaptive Cruise Control)のブレーキのタイミングが遅くなったり、先行車の検出が遅くなったり、意図しない箇所で加速・減速をするといったことが発生してしまう。
そこで、汚れに関しては、いち早く検知することがもっとも重要な課題と言える。さらには汚れを検知した場合、ドライバーの汚れているという情報を知らせ、カメラの機能を停止させることが次に重要である。
特許文献1には、監視用の映像が規格に満たない異常状態の映像か否かを診断することができるように、映像を撮像する撮像手段と、この撮像手段による撮像映像から白線を検出する検出手段と、この検出手段により検出した白線を基準に、かつ自車両からの相対的な距離、時間の異なる複数の検出領域を撮像映像から抽出する抽出手段と、この抽出手段により抽出される複数の検出領域それぞれに対応する正常輝度分布と異常輝度分布とを記憶する記憶手段と、上記抽出手段により抽出される複数の検出領域の各輝度分布と上記記憶手段に記憶されている複数の検出領域ごとの正常輝度分布と異常輝度分布のそれぞれと比較し、各検出領域の輝度分布の少なくとも1つが異常輝度分布に類似する際に、輝度異常を診断する診断手段と、を備えることが開示されている。
特開2003−312408号公報
上記した特許文献1に示すような手法で汚れを検出する技術があるが、汚れを検出するためには、白線を検知する必要がある。また時間の異なる複数の検出領域が必要であり、確率的に汚れを算出しているため、検出までに時間が掛かる。
バックモニタ等の確認用の車載カメラ用途においては、特許文献1に示す手段でも汚れが検出できると考えるが、車両や人等を認識して車両を制御するような車載カメラ装置においては、すばやく汚れを検出し、誤制御を抑制または停止することが必要である。
本発明の目的は、すばやく撮像部の光学面の汚れを検出し、誤制御を抑制または停止する車載カメラ装置を提供することである。
上記課題を解決するために、本発明は、第1撮像部と、第2撮像部と、一方端に第1撮像部を有し、他方端に第2撮像部を有する筐体と、を有し、第1撮像部と第2撮像部で撮像した画像から距離情報を取得する車載カメラ装置において、光学面が汚れていない撮像部で撮像した撮像画像に2値化処理を施した理想画像を予め記憶する記憶部と、第1撮像部又は、第2撮像部で撮像した撮像画像に対して、予め定めた2つの閾値に基づいて2値化処理し、2値化処理された画像と、記憶部で記憶された理想画像とを比較し、比較した結果に基づいて汚れ検出を行う処理部と、を有する構成とする。
すばやく撮像部の光学面の汚れを検出し、誤制御を抑制または停止する車載カメラ装置を提供できる。
本発明に係る車載カメラ装置の概略構成の一例を示す図である。 本発明の撮像部の各構成の一例を示す図である。 本発明の撮像部の光学面の汚れが及ぼす影響について説明する図である。 撮像部の光学面の汚れの有無による撮像画像の一例を示す図である。 対向車及び先行車の光源の検知を説明する図である。 夜間における汚れ検知に有利な光源を含む撮像画像の一例を示す図である。 夜間における汚れ検知に有利な光源を含む撮像画像の他の例を示す図である。 夜間におけるボヤケが発生した光源を含む撮像画像の一例を示す図である。 2値化処理前の汚れがある場合の光源の撮像画像の一例を示す図である。 2値化処理後の汚れがある場合の光源の撮像画像の一例を示す図である。 2値化処理後の汚れがない場合の光源の撮像画像の一例を示す図である。 汚れがない場合のボヤケが発生する領域を記憶することを説明する図である。
本発明は、車載カメラ装置であるステレオカメラで撮像している走行中の環境の明るさに対して、十分に明るい光源を1つ以上検出し、その光源の周辺の輝度分布から、光源のボヤケ具合を検出し、ボヤケ具合の大きさによって汚れを検出する方法を取ることでいち早く検出が可能となる。
つまり、本発明は、第1撮像部と、第2撮像部と、一方端に第1撮像部を有し、他方端に第2撮像部を有する筐体と、を有し、第1撮像部と第2撮像部で撮像した画像から距離情報を取得する車載カメラ装置において、光学面が汚れていない撮像部で撮像した撮像画像に2値化処理を施した理想画像を予め記憶する記憶部と、第1撮像部又は、第2撮像部で撮像した撮像画像に対して、予め定めた2つの閾値に基づいて2値化処理し、2値化処理された画像と、記憶部で記憶された理想画像とを比較し、比較した結果に基づいて汚れ検出を行う処理部と、を有する構成とすることで、すばやく撮像部の光学面の汚れを検出し、誤制御を抑制または停止する車載カメラ装置を提供できる。
光源のボヤケ具合の検出には、2値化法を用いてボヤケが発生しているエリアを算出する。エリアの算出には、複数フレームの画像を用いることで平均化するほうが望ましい。複数のフレームを用いても、1フレームあたりの時間は33ms程度であるので平均化しても1sも掛からずに算出が出来る。
(片方のカメラの撮像部が汚れている場合)
(1)左右のカメラで同じ光源に対してボヤケが発生しているエリアの面積を比較することで,左右どちらのカメラが汚れているか瞬時に見分けることが出来る。
(両方のカメラの撮像部が汚れている場合)
(2)撮像部の光学面が汚れていない時に、ボヤケ具合のバラツキが少ない特定の光源(ヘッドライト、テールランプ等)を対象にして、左右のカメラでボヤケが発生しているエリアの面積を計算し、汚れていない時のボヤケ具合と比較することで瞬時に両方のカメラが汚れているか検出することが出来る。
この(2)手法の方が、光源を限定しなくても良いので早く汚れの検出ができる。一方、(2)手法では光源が限定される為、シーンによっては(1)に比べ、汚れの検出速度が遅くなることが考えられる。よって、(1)(2)を両方実行する手法が最も望ましい。
以上のように本発明では、汚れの検出結果に基づいて、車両側に警報を出すことでユーザーにいち早く知らせ、カメラの機能を停止させることが出来る。
さらに、汚れが解消(掃除等)されれば、車両側に出した警報を解除しユーザーにいち早く知らせ、カメラの機能を復活させることが出来る。
以下、図面を用いて、実施例について説明する。
図1に本発明の車載カメラ装置であるステレオカメラの概略構成を示す。
ステレオカメラは、図1に示すように、電源回路や画像処理回路が搭載された基板を有する筐体100の一方端部に、第1撮像部の筐体である左撮像部筐体101を設け、他方端部に、第2撮像部の筐体である右撮像部筐体102を設けている。第1撮像部である左撮像部には、第1撮像素子である左撮像素子103と、第1レンズである左レンズ105と、第1光学フィルタである左光学フィルタ107と、第1フードである左フード109と、がある。
同様に第2撮像部である右撮像部には、第2撮像素子である右撮像素子104と、第2レンズである右レンズ106と、第2光学フィルタである右光学フィルタ108と、第2フードである右フード110と、がある。
ステレオカメラは、左右の撮像部から得た画像を用いて視差(左右の見え方の違い)を算出するマッチング処理をして、三角法の原理で距離を計算している。正確な距離を計算ためには、左右の撮像部の撮像性能を同一にしてあげる必要がある。左右の撮像部の撮像性能の合わせこみの手法は、「光軸・ピント調整」、「感度補正」「幾何補正」の調整・補正がある。この左右の撮像部の撮像性能の合わせこみをすることで、左右の撮像部のマッチング処理が正確に実行でき、視差(左右のカメラの見え方の違い)の算出によって対象物までの測距を正確に測ることができる。
しかしながら、図2に示すように意図せずにドライバーが誤って、撮像素子121、レンズ122、光学フィルタ123、等の撮像部に手を触れ、撮像部の光学面を汚してしまうことがある。また、車内からフロントガラスを掃除している際に、水滴や手垢が撮像部(光学フィルタ123や社室内側のフロントガラス125)に付着してしまう等、人的要因によって撮像部の光学面が汚れてしまうことがよくある。
一方で、自然に雨、ホコリ、塵が車室外側のフロントガラス125に積もり、汚れが付着する等、自然要因によって撮像部の光学面が汚れてしまうこともある。
図3を用いて、本発明の撮像部の光学面の汚れが及ぼす影響について説明する。
図3では、例として、レンズの表面に汚れが付着している場合で説明をする。
車室外からの光源131から出た光133は、車両のフロントガラス125を通過、さらに光学フィルタ123を通過した後、レンズ122の表面にある汚れ132に当たる。このとき光は、汚れによって拡散光134が発生する。拡散光134は、汚れの度合い、粒子の細かさ、汚れの材料等によって、拡散する方向や量が異なる。
そのため、撮像素子121で立体物を撮像すると、汚れが無いときの立体物の撮像画像に比べ、汚れがある時の立体物の撮像画像は、ボヤケが発生する。
図4に「汚れが有る場合の撮像画像」と「汚れが無い場合の撮像画像」を示す。
汚れが無い場合、光源141を撮像すると,撮像画像上の撮像光源領域142のように、光源141が撮像される。同様に汚れが有る場合、光源143を撮像すると、撮像画像上の撮像光源領域144のように、光源143が撮像される。
汚れが無い場合の撮像光源領域142に対して、汚れが有る場合の撮像光源領域144は、光源の周辺にボヤケが発生した画像が、撮像される。
認識をする車載カメラ装置において、特にステレオカメラの場合、左右の撮像部(第1撮像部、第2撮像部)の光学面で汚れ方が異なると、左右の撮像部で同じ対象物を撮像しても、左右の撮像部に入る光が異なり、左右の画像の撮像性能はアンマッチとなる。そのため、ステレオカメラのマッチング処理時でミスマッチングを発生し、正確な距離の算出が困難となる。
汚れで正確な距離の算出が困難となると、車両の制御が不安定となる。
具体的には、ACC(Adaptive Cruise Control)のブレーキのタイミングが遅くなったり、先行車の検出が遅くなったり、意図しない箇所で加速・減速をするといったことが発生してしまう。
そこで、汚れに関しては、いち早く検知することがもっとも重要な課題と言える。さらには汚れを検知した場合、ドライバーの汚れているという情報を知らせ、カメラの機能を停止させることが次に重要である。
この課題に対して、ステレオカメラで撮像している走行中の環境の明るさに対して、十分に明るい光源を1つ以上検出し、その光源の周辺の輝度分布から、光源のボヤケ具合を検出し、ボヤケ具合の大きさによって汚れを検出する方法を取ることでいち早く検出が可能となる。
図5を用いて具体的に説明する。夜間の場合、図5に示すように対向車のヘッドライト151や先行車のテールランプ152のように、走行中の環境の平均的な明るさに対して、十分に明るい光源を1つ以上検出する。この十分に明るい光源の検出法は、「パターンマッチングを用いた特徴点検出」や「画面上の輝度から明るい点を抽出する手法」等がある。
また、汚れを検出するのに有利な検出光源は、光源の中心輝度が高く、光源の周辺が暗い方が望ましい。例で言うと、図6のように真っ暗な暗闇161で懐中電灯162を照らしているようなシーンである。夜間でいうと、図5に示すように、対向車のヘッドライト151や先行車のテールランプ152が理想である。さらに、街灯や信号機等も理想である。
昼間であれば、信号機が理想であると言える。また、停止中の先行車両のブレーキランプ等でも可能と考える。
検出する光源は、1つ以上であるほうが良い。それは、汚れが光学面のどこに付着するかによって、画面上のどこにボヤケが発生するのか分からない。例えば、光学フィルタの周辺だけに汚れが付着していた場合、画面上の周辺に大きくボヤケが発生し、中心付近はボヤケの発生は少ない。よって、検出する光源が複数あり、画面全体に散らばっていた方がより正確な汚れの検出が可能である。理想としては、図7に示すように、暗闇171の環境に十分に明るい光源が、中心付近172に1箇所、画面周辺173〜176の4箇所にあれば理想である。
次に、検出した光源に対して、ボヤケ具合を算出する手法について述べる。図7のような画像は、汚れが無い場合の撮像画像である。例えば、仮に光学面全体に汚れが有ったと仮定すると、撮像画像は、図8のような画像になる。
暗闇181の環境に十分な明るい光源が、中心付近182に1箇所、画面周辺183〜186の4箇所撮像された場合、各光源領域において、その光源の周辺にボヤケが発生している。
つまり、本来図7のように撮像されるべき画像が、図8のような光源の周辺にボヤケが発生した撮像画像になる。具体的には後述するが、ボヤケが発生した撮像光源領域は、中心部のような最も明るい領域(第1領域)、暗闇181の領域(第3領域)、第1領域と第3領域間に、ボヤケが発生している領域(第2領域)が存在する。明るさの大小関係は、大きい順に、第1領域、第2領域、第3領域の順になっている。
図9に具体的な手法を示す。図9(a)は、汚れがある場合の光源の撮像画像(2値化前の生画像)を示す。図9(a)は、主に以下の3つの領域に分類できる。
(1)撮像部中心付近領域191(第1領域:最も明るい領域で、汚れが無い場合に撮像される領域。殆ど飽和状態に近い。)
(2)ボヤケが発生している領域193(第2領域)
(3)ボヤケが発生していない、光源から離れた領域192(第3領域:暗闇の領域。)
この光源の周辺のボヤケを抽出するために、2値化処理を実行する。2値化処理手法は、2つの閾値を用いた2値化をする。
例えば、2値化は、1つ目の閾値(上限)である第1閾値を設け、撮像部中心付近領域191の明るさ以上の画面上の輝度値を0とする。また、2つ目の閾値(下限)である第2閾値を設け、ボヤケが発生していない、光源から離れた領域192の明るさ以下の輝度値を0とする。それ以外の輝度値は、輝度値最大となるように2値化処理することである。
図9(b)は、汚れがある場合の光源の撮像画像(2値化後の画像)を示す。図9(b)に示すように2値化をすると、ボヤケが発生している領域193が輝度値1領域195のように真っ白い撮像画像となり、撮像部中心付近領域191及びボヤケが発生していない、光源から離れた領域192が、輝度値0領域194、196のように真っ黒い撮像画像となる。ボヤケが発生している領域が輝度値1領域195の総画素数を求めることで、ボヤケが発生している領域の範囲が算出できる。
汚れが無い場合は、図9(c)の汚れが無い場合の光源の撮像画像(2値化後の画像)のように、2値化をすると、真っ白と真っ黒の間に多少グラデーション領域(ボヤケが発生しているような領域)が存在するため、その領域のみ輝度値1領域199のように真っ白い撮像画像となり、それ以外のボヤケが発生していない領域が輝度値0領域197、198のように真っ黒い撮像画像となる。さらに、汚れているときと比較してボヤケが発生している領域が小さいことがわかる。
2値化によって、ボヤケが発生した領域だけを確実に抽出できる。
2値化する閾値は、走行中の周辺の環境によって可変させることが望ましい。検出する光源の明るさと走行中の周辺環境の明るさによって閾値を可変させる。走行中の周辺環境が明るければ、2つ目の閾値(下限)(第2閾値)を明るめに設定する。逆に走行中の周辺の環境が暗ければ、2つ目の閾値(下限)(第2閾値)を暗めに設定する。一方、光源の明るさが相当明るければ、1つ目の閾値(上限)(第1閾値)を明るめに設定する。逆に光源の明るさが暗ければ、1つ目の閾値(上限)(第1閾値)を暗めに設定する。
ボヤケが発生している領域の抽出は、1枚のフレームの画像だけでも可能であるため、汚れ判定までの時間は短い。しかしながら、実際はノイズの影響等もあるため平均化するほうが望ましく、複数フレーム分を撮像して2値化後のボヤケが発生している領域を算出した方が良い。4.5フレーム分を平均化しても計算時間は、1s以内と短い。
2値化後のボヤケが発生している領域を抽出した後は、汚れの判定を実施する。
ステレオカメラの場合、汚れの判定は簡単である。左右の撮像部で同一の対象物を見ているため、一致する光源の2値化後のボヤケが発生している領域を比較することで汚れが発生しているかを判断できる。例えば、第1撮像部の光学面だけが汚れていた場合は、第1撮像部が撮像した画像の2値化画像が図9(b)で、第2撮像部が撮像した画像の2値化画像が図9(c)のような状態となる。
両方の撮像部の光学面だけが汚れていた場合は、汚れが無い場合のボヤケが発生する領域(グラデーション領域)を予めカメラ内部の記憶部であるROMに記憶しておき、走行中に撮像した光源のボヤケが発生している領域と比較することで、汚れを検出する。例えば、図9(c)の撮像画像、又は輝度値1領域の大きさ、幅などの情報を予めROMに記憶しておき、図9(b)の撮像画像と比較することで、汚れの大きさ、幅などの汚れ情報を検知することができる。
図10に示すように「対向車のヘッドライト」の撮像画像204、「先行者のテールライト」の撮像画像205、「信号機のライト」の撮像画像206、のように光源として特徴的なに対して、汚れが無い場合のボヤケが発生する領域の値や、その領域を含む予め定めたブロックサイズ(複数画素)からなる理想画像や、全体の理想画像などを記憶部であるフラッシュROM201に記憶しておく。このように記憶部には、様々な光源に対応する複数の理想画像や様々な光源の大きさに対応する複数の理想画像を記憶しておく。汚れが無い場合のボヤケが発生する領域の値は、予め走行試験等を実施して最適値を見つけておく。
汚れを検出する処理マイコン202は、撮像素子203で撮像した画像から光源を検出し、ボヤケが発生している領域を算出する。その後、処理マイコン202は、撮像素子203で撮像した画像から光源のボヤケが発生している領域とフラッシュROM201に記憶されている汚れが無い場合のボヤケが発生する領域の値とを比較、又は、撮像した画像から光源のボヤケが発生している2値化された全体画像と記憶された予め定めたブロックサイズからなる2値化された理想画像とを比較して、汚れの有無を判断する。つまり、処理部である処理マイコン202は、撮像部で撮像した撮像画像に対して、予め定めた2つの閾値である第1閾値と第2閾値に基づいて2値化処理し、2値化処理された画像と、記憶部であるフラッシュROM201で記憶された理想画像(理想の全体画像、又は予め定めたブロックサイズからなる理想画像)とを比較し、比較した結果に基づいて汚れ検出を行う。
光源の見え方は、同じ光源でも撮像部までの距離によって見え方が異なる。近くにある光源は大きく見え、遠くにある光源は小さく見える。そのためボヤケが発生する領域も光源までの距離によって変化する。具体的には、遠い光源はボヤケが発生しにくく、近い光源ほどボヤケが発生しやすい。そこで、汚れが無い場合のボヤケが発生する領域の閾値を光源までの距離に応じて補正を掛けた後、処理マイコン202は、撮像素子203で撮像した画像から光源のボヤケが発生している領域とフラッシュROM201に記憶されている汚れが無い場合のボヤケが発生する領域の値とを比較、又は、撮像した画像から光源のボヤケが発生している2値化された全体画像と記憶された予め定めたブロックサイズからなる2値化された理想画像とを比較して汚れの有無を判断することが理想である。
ステレオカメラであれば、光源までの距離は算出することが出来るので、光源までの距離に応じて、ボヤケが発生する領域に補正を掛けることは容易である。
以上のような構成にすることで、すばやく撮像部の汚れを検出し、誤制御を抑制または停止する車載カメラ装置を提供できる。
100 筐体
101 左撮像部筐体
102 右撮像部筐体
103 左撮像素子
104 右撮像素子
105 左レンズ
106 右レンズ
107 左光学フィルタ
108 右光学フィルタ
109 左フード
110 右フード
121 撮像素子
122 レンズ
123 光学フィルタ
125 フロントガラス
131 光源
132 汚れ
133 光
134 拡散光

Claims (6)

  1. 第1撮像部と、第2撮像部と、一方端に前記第1撮像部を有し、他方端に前記第2撮像部を有する筐体と、を有し、前記第1撮像部と前記第2撮像部で撮像した画像から距離情報を取得する車載カメラ装置において、
    光学面が汚れていない撮像部で撮像した撮像画像に2値化処理を施した理想画像を予め記憶する記憶部と、
    前記第1撮像部又は、前記第2撮像部で撮像した撮像画像に対して、予め定めた2つの閾値に基づいて2値化処理し、2値化処理された画像と、前記記憶部で記憶された前記理想画像とを比較し、比較した結果に基づいて汚れ検出を行う処理部と、を有する車載カメラ装置。
  2. 請求項1記載の車載カメラ装置において、
    前記2値化処理を施した理想画像は、撮像された全体画像、又は前記全体画像に対して予め定めたブロックサイズの画像である車載カメラ装置。
  3. 請求項1記載の車載カメラ装置において、
    前記撮像画像は、複数フレームを用い、
    前記処理部は、前記複数フレームの平均化した画像に対して、汚れ検知を行う車載カメラ装置。
  4. 請求項1記載の車載カメラ装置において、
    前記2つの閾値は、光源の中心部付近の画像の輝度値である第1閾値、光源が無い画像の輝度値である第2閾値、であり、前記第1閾値と前記第2閾値の間に、ボヤケ領域が存在するよう設定する車載カメラ装置。
  5. 請求項1記載の車載カメラ装置において、
    前記処理部は、前記第1撮像部及び前記第2撮像部で、共通の光源を撮像したそれぞれの撮像画像に対して、予め定めた2つの閾値に基づいて2値化処理し、2値化処理された画像と、前記記憶部で記憶された前記理想画像とを比較し、比較した結果に基づいて汚れ検出を行う車載カメラ装置。
  6. 請求項1記載の車載カメラ装置において、
    前記記憶部は、予め複数種類の光源を撮像した理想画像が記憶された車載カメラ装置。
JP2012184843A 2012-08-24 2012-08-24 車載カメラ装置 Active JP5759950B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012184843A JP5759950B2 (ja) 2012-08-24 2012-08-24 車載カメラ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012184843A JP5759950B2 (ja) 2012-08-24 2012-08-24 車載カメラ装置

Publications (2)

Publication Number Publication Date
JP2014043121A true JP2014043121A (ja) 2014-03-13
JP5759950B2 JP5759950B2 (ja) 2015-08-05

Family

ID=50394737

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012184843A Active JP5759950B2 (ja) 2012-08-24 2012-08-24 車載カメラ装置

Country Status (1)

Country Link
JP (1) JP5759950B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018098745A (ja) * 2016-12-16 2018-06-21 株式会社富士通ゼネラル 車載カメラシステム
GB2559371A (en) * 2017-02-03 2018-08-08 Continental Automotive Gmbh System for detecting a status of a vehicle
JP2018149058A (ja) * 2017-03-13 2018-09-27 三菱電機株式会社 加熱調理器
WO2018230335A1 (ja) * 2017-06-13 2018-12-20 日本ワイパブレード株式会社 ワイパー装置
WO2019142675A1 (ja) * 2018-01-17 2019-07-25 京セラ株式会社 画像処理装置、撮像システム、移動体、および画像処理方法
JP2021051802A (ja) * 2016-10-24 2021-04-01 株式会社デンソーテン 付着物検出装置、付着物検出方法
CN112771858A (zh) * 2018-08-20 2021-05-07 伟摩有限责任公司 自动车辆的相机评估技术
US20210287403A1 (en) * 2020-03-13 2021-09-16 Mekra Lang Gmbh & Co. Kg Method for verifying an indirect view system
CN114450203A (zh) * 2019-10-18 2022-05-06 株式会社小糸制作所 车辆用灯具系统、异物判定装置以及异物判定方法
CN114785960A (zh) * 2022-06-16 2022-07-22 鹰驾科技(深圳)有限公司 一种基于无线传输技术的360度全景行车记录仪系统
JP2022154605A (ja) * 2021-03-30 2022-10-13 本田技研工業株式会社 検知装置、検知方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08104199A (ja) * 1994-10-03 1996-04-23 Nissan Motor Co Ltd エアバッグ制御装置
JPH11234543A (ja) * 1998-02-17 1999-08-27 Sony Corp ビデオカメラ装置
JP2007001536A (ja) * 2005-06-27 2007-01-11 Calsonic Kansei Corp 乗員保護装置
JP2008064630A (ja) * 2006-09-07 2008-03-21 Hitachi Ltd 付着物検知機能付き車載用撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08104199A (ja) * 1994-10-03 1996-04-23 Nissan Motor Co Ltd エアバッグ制御装置
JPH11234543A (ja) * 1998-02-17 1999-08-27 Sony Corp ビデオカメラ装置
JP2007001536A (ja) * 2005-06-27 2007-01-11 Calsonic Kansei Corp 乗員保護装置
JP2008064630A (ja) * 2006-09-07 2008-03-21 Hitachi Ltd 付着物検知機能付き車載用撮像装置

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021051802A (ja) * 2016-10-24 2021-04-01 株式会社デンソーテン 付着物検出装置、付着物検出方法
JP7122364B2 (ja) 2016-10-24 2022-08-19 株式会社デンソーテン 付着物検出装置、付着物検出方法
JP2018098745A (ja) * 2016-12-16 2018-06-21 株式会社富士通ゼネラル 車載カメラシステム
GB2559371A (en) * 2017-02-03 2018-08-08 Continental Automotive Gmbh System for detecting a status of a vehicle
JP2018149058A (ja) * 2017-03-13 2018-09-27 三菱電機株式会社 加熱調理器
WO2018230335A1 (ja) * 2017-06-13 2018-12-20 日本ワイパブレード株式会社 ワイパー装置
JP2019001251A (ja) * 2017-06-13 2019-01-10 日本ワイパブレード株式会社 ワイパー装置
CN110799386A (zh) * 2017-06-13 2020-02-14 株式会社电装雨刷系统 雨刷装置
CN111567028B (zh) * 2018-01-17 2021-09-21 京瓷株式会社 图像处理装置、拍摄系统、移动体、以及图像处理方法
JP7074482B2 (ja) 2018-01-17 2022-05-24 京セラ株式会社 画像処理装置、撮像システム、移動体、および画像処理方法
US11551340B2 (en) 2018-01-17 2023-01-10 Kyocera Corporation Image processing apparatus, imaging system, mobile body, and image processing method
WO2019142675A1 (ja) * 2018-01-17 2019-07-25 京セラ株式会社 画像処理装置、撮像システム、移動体、および画像処理方法
JP2019125942A (ja) * 2018-01-17 2019-07-25 京セラ株式会社 画像処理装置、撮像システム、移動体、および画像処理方法
CN111567028A (zh) * 2018-01-17 2020-08-21 京瓷株式会社 图像处理装置、拍摄系统、移动体、以及图像处理方法
JP2021534494A (ja) * 2018-08-20 2021-12-09 ウェイモ エルエルシー 自律型車両用のカメラ評価技術
JP7183390B2 (ja) 2018-08-20 2022-12-05 ウェイモ エルエルシー 自律型車両用のカメラ評価技術
CN112771858A (zh) * 2018-08-20 2021-05-07 伟摩有限责任公司 自动车辆的相机评估技术
US11699207B2 (en) 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
CN114450203A (zh) * 2019-10-18 2022-05-06 株式会社小糸制作所 车辆用灯具系统、异物判定装置以及异物判定方法
JP7478747B2 (ja) 2019-10-18 2024-05-07 株式会社小糸製作所 車両用灯具システム、異物判定装置および異物判定方法
US20210287403A1 (en) * 2020-03-13 2021-09-16 Mekra Lang Gmbh & Co. Kg Method for verifying an indirect view system
JP2022154605A (ja) * 2021-03-30 2022-10-13 本田技研工業株式会社 検知装置、検知方法、およびプログラム
CN114785960A (zh) * 2022-06-16 2022-07-22 鹰驾科技(深圳)有限公司 一种基于无线传输技术的360度全景行车记录仪系统
CN114785960B (zh) * 2022-06-16 2022-09-02 鹰驾科技(深圳)有限公司 一种基于无线传输技术的360度全景行车记录仪系统

Also Published As

Publication number Publication date
JP5759950B2 (ja) 2015-08-05

Similar Documents

Publication Publication Date Title
JP5759950B2 (ja) 車載カメラ装置
US9424462B2 (en) Object detection device and object detection method
JP6257792B2 (ja) カメラの被覆状態の認識方法、カメラシステム、及び自動車
US10220782B2 (en) Image analysis apparatus and image analysis method
WO2017158958A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP2005515565A (ja) 画像センサシステムにおける視界妨害物の識別方法および識別装置
JP2017027220A (ja) 車載環境認識装置
JP5902049B2 (ja) レンズ白濁状態診断装置
US10791252B2 (en) Image monitoring device, image monitoring method, and recording medium
JP5772714B2 (ja) 灯火検出装置及び車両制御システム
WO2014002692A1 (ja) ステレオカメラ
US20150085118A1 (en) Method and camera assembly for detecting raindrops on a windscreen of a vehicle
JP2013235436A (ja) 車両光源検出装置および車両光源検出プログラム
WO2011016257A1 (ja) 車両用距離算出装置
JP4798576B2 (ja) 付着物検出装置
US20140055641A1 (en) System for recognizing surroundings of vehicle
JP2015061163A (ja) 遮蔽検知装置
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP6204844B2 (ja) 車両のステレオカメラシステム
JP2014013452A (ja) 画像処理装置
JP4601376B2 (ja) 画像異常判定装置
JP2002230563A (ja) 車両用カメラの映り込み検出方法および画像処理装置
JP4532089B2 (ja) 車外監視装置
JP2014067320A (ja) ステレオカメラ装置
JP5145194B2 (ja) 顔検出システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150608

R150 Certificate of patent or registration of utility model

Ref document number: 5759950

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250