JP2020160735A - 車両および撮像装置 - Google Patents

Abstract

【課題】汚れの検知精度を向上する技術を提供する。【解決手段】撮像装置１０は、映像を撮像する際に付着している汚れを検知するための汚れ検知処理を実行可能である。取得部３０は、車両に搭載された降雨検知回路からの情報を取得可能である。取得部３０は、取得した情報が降雨状態であることを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第１判定基準を使用し、取得した情報が降雨状態でないことを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第２判定基準を使用する。第２判定基準では、第１判定基準よりも汚れの判定がなされにくい。【選択図】図２

Description

本開示は、撮像した映像から汚れを検知する車両および撮像装置に関する。

撮像した映像から、人あるいは立体物等の対象物を検知する機能を有する撮像装置において、撮像装置のレンズ部分に汚れが付着すると、対象物が異物の陰になって見えなくなる。これにより、映像から対象物が検知されなくなる。その対策として、映像における汚れの部分は時間が経過しても変化しないことを利用して、映像から汚れの部分が検知される（例えば、特許文献１参照）。

特開２０１４−１３４５５号公報

映像における汚れの部分は時間が経過しても変化しないことを利用する場合、例えば高速道路の走行などのような状況において、後続車両のヘッドライトが連続して同じ位置に映れば、ヘッドライトで見えない部分を「汚れ」と間違って検知してしまう。

本開示はこうした状況に鑑みてなされたものであり、その目的は、汚れの検知精度を向上する技術を提供することにある。

上記課題を解決するために、本開示のある態様の車両は、映像を撮像する際に付着している汚れを検知するための汚れ検知処理を実行可能な撮像装置と、撮像装置において撮像した映像を表示する表示装置とを備える車両であって、撮像装置は、車両に搭載された降雨検知回路からの情報を取得可能な取得部と、取得部において取得した情報が降雨状態であることを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第１判定基準を使用し、取得部において取得した情報が降雨状態でないことを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第２判定基準を使用する処理部とを備える。第２判定基準では、第１判定基準よりも汚れの判定がなされにくい。

本開示の別の態様は、撮像装置である。この装置は、映像を撮像する際に付着している汚れを検知するための汚れ検知処理を実行可能な撮像装置であって、車両に搭載された降雨検知回路からの情報を取得可能な取得部と、取得部において取得した情報が降雨状態であることを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第１判定基準を使用し、取得部において取得した情報が降雨状態でないことを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第２判定基準を使用する処理部とを備える。第２判定基準では、第１判定基準よりも汚れの判定がなされにくい。

なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。

本開示によれば、汚れの検知精度を向上できる。

実施例に係る車両の構成を示す図である。 図１の撮像装置の構成を示す図である。 図３（ａ）−（ｂ）は、図２の記憶装置に記憶されるテーブルのデータ構造を示す図である。 図２の記憶装置に記憶される別のテーブルのデータ構造を示す図である。 図５（ａ）−（ｂ）は、図２の処理部における処理の概要を示す図である。 図６（ａ）−（ｂ）は、図２の処理部における別の処理の概要を示す図である。 図７（ａ）−（ｂ）は、図１の表示装置に表示される画面を示す図である。 図２の撮像装置による処理の手順を示すフローチャートである。

本開示を具体的に説明する前に、概要を述べる。本開示の実施例は、車両に搭載されたリアビューカメラのような撮像装置であって、かつ車両の近くに存在する人等の対象物を検知する撮像装置に関する。前述のごとく、撮像装置のレンズ部分に付着した汚れを検知するために、映像における汚れの部分は時間が経過しても変化しないことを利用する場合、汚れでないものを汚れであると誤検知するおそれがある。一方、汚れの付着しやすさは天候によって異なる。例えば、降雨の場合において汚れが付着する可能性は、晴天の場合において汚れが付着する可能性よりも高い。そのため、このような状況を考慮すれば、汚れの検知精度の向上が可能になる。

本実施例では、車両のワイパーが動作しているか否かの情報、あるいは降雨センサに応じて検知した降雨量の情報をもとに、降雨状態であるか否かが判定される。降雨状態である場合、第１判定基準を使用しながら汚れ検知処理が実行され、降雨状態でない場合、第２判定基準を使用しながら汚れ検知処理が実行される。ここで、第２判定基準では、第１判定基準よりも汚れの判定がなされにくい。つまり、「汚れが付着しにくい状況」では汚れ検知処理における汚れ検知度合いを低く変化することによって、「汚れ付着」の誤った警告の発生が軽減される。以下、本開示の実施例について、図面を参照して詳細に説明する。なお、以下に説明する各実施例は一例であり、本開示はこれらの実施例により限定されるものではない。

図１は、車両１００の構成を示す。車両１００は、撮像装置１０、表示装置１２、降雨検知回路１４を含み、降雨検知回路１４は、ワイパー制御装置２０、降雨センサ２２を含む。撮像装置１０、表示装置１２、ワイパー制御装置２０、降雨センサ２２は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の車載ネットワークにより接続される。撮像装置１０は、例えば、リアビューカメラであり、車両１００の後部に設置され、後方の景色を撮像する。撮像装置１０のレンズには、泥などの汚れが付着している可能性がある。撮像装置１０は、映像を撮像する際に付着している汚れを検知するための汚れ検知処理を実行する。汚れ検知処理の詳細は後述するが、レンズの表面に汚れが付着していると焦点が合わずに映像に「ボケ」が発生するとともに、レンズに汚れが付着していると、車両１００が移動しても映像の上では同じ位置に汚れが固定されることに着目して汚れが検知される。

表示装置１２は、車内に設置され、撮像装置１０において撮像した映像を表示する。表示装置１２は例えばナビゲーション装置に含まれる。ワイパー制御装置２０は、ワイパーの動作を制御する。降雨センサ２２は、ワイパーが動作しているか否かに関する情報（以下、「ワイパー動作情報」という）を撮像装置１０に出力する。ここで、ワイパーは、降雨センサ２２により降雨が検知された場合に自動的に動作したり、乗員の操作によって動作したりする。降雨センサ２２は、例えば、車両１００のフロントガラス面の上端に搭載され、降雨量を測定する。降雨センサ２２は、降雨量の情報を撮像装置１０に出力する。撮像装置１０は、汚れ検知処理を実行する差異に、ワイパー動作情報あるいは降雨量の情報を使用するが、詳細は後述する。

図２は、撮像装置１０の構成を示す。撮像装置１０は、取得部３０、処理部３２、記憶装置３４、撮像部３６、出力部３８を含む。取得部３０は、図１の降雨センサ２２からの降雨量の情報を取得したり、ワイパー制御装置２０からのワイパー動作情報を取得したりする。取得部３０は、取得した降雨量の情報あるいはワイパー動作情報を処理部３２に出力する。取得部３０は、降雨量の情報とワイパー動作情報の一方だけを取得してもよい。

処理部３２は、ワイパー動作情報あるいは降雨量の情報を取得部３０から受けつける。処理部３２は、記憶装置３４に記憶したテーブルを参照して、ワイパー動作情報あるいは降雨量の情報をもとに第１判定基準あるいは第２判定基準を選択する。図３（ａ）−（ｂ）は、記憶装置３４に記憶されるテーブルのデータ構造を示す。図３（ａ）は、ワイパー動作情報に対するテーブルを示す。ワイパー動作情報「動作」が「第１判定基準」に対応し、ワイパー動作情報「停止」が「第２判定基準」に対応する。図３（ａ）は、降雨量に対するテーブルを示す。降雨量「しきい値以上」が「第１判定基準」に対応し、降雨量「しきい値より下」が「第２判定基準」に対応する。図２に戻る。

処理部３２は、このようなテーブルを参照することによって、ワイパー動作情報が動作を示す場合に第１判定基準を選択し、ワイパー動作情報が停止を示す場合に第２判定基準を選択する。また、処理部３２は、このようなテーブルを参照することによって、降雨量がしきい値以上である場合に第１判定基準を選択し、降雨量がしきい値より下である場合に第２判定基準を選択する。ワイパー動作情報による選択結果と、降雨量による選択結果が異なる場合、処理部３２は、第１判定基準を選択すればよいが、これ以外の動作であってもかまわない。ここで、ワイパー動作情報が動作を示す場合、あるいは降雨量がしきい値以上である場合は、降雨状態であることに相当する。また、ワイパー動作情報が停止を示す場合、あるいは降雨量がしきい値より下である場合は、降雨状態でないことに相当する。

これに続いて、処理部３２は、記憶装置３４に記憶したテーブルを参照して、第１判定基準あるいは第２判定基準に対応した使用値を取得する。図４は、記憶装置３４に記憶される別のテーブルのデータ構造を示す。第１判定基準には、使用値「第１しきい値、第２しきい値、第１期間」が対応づけられ、第２判定基準には使用値「第３しきい値、第４しきい値、第２期間」が対応づけられる。これらの使用値の詳細は後述する。図２に戻る。処理部３２は、このようなテーブルを参照することによって、第１判定基準に場合に使用値「第１しきい値、第２しきい値、第１期間」を取得し、第２判定基準に場合に使用値「第３しきい値、第４しきい値、第２期間」を取得する。

撮像部３６は、撮像を実行することによって映像を生成する。映像では、複数のカラー画像が時系列に並べられる。これらのカラー画像は複数の画素により形成される。撮像部３６は、映像を処理部３２に出力する。

処理部３２は、映像を撮像部３６から受けつける。処理部３２は、汚れ検知処理として、映像に対して、（１）グレースケール画像への変換処理、（２）輝度勾配値画像への変換処理、（３）３値化処理、（４）比較処理を順に実行する。これらのうち、（１）グレースケール画像への変換処理、（２）輝度勾配値画像への変換処理は、第１判定基準を選択した場合と、第２判定基準を選択した場合とにおいて共通である。

（１）グレースケール画像への変換処理
処理部３２は、映像において並べられる複数のカラー画像のそれぞれをグレースケール画像に変換する。この変換は画素単位に実行され、各画素は輝度を示す。ここで、処理部３２は、映像において並べられる複数のカラー画像の一部をグレースケール画像に変換してもよい。

（２）輝度勾配値画像への変換処理
処理部３２は、複数のグレースケール画像の各画素に対して、隣接画素との輝度勾配値を導出する。輝度勾配値とは、着目する画素と隣接画素との輝度の差である。立体物の輪郭、路面の描画物のフチなどのエッジでは画素間の輝度の差が大きいので、輝度勾配値が「大」になる。一方、画像に「ボケ」が発生する部分では、エッジよりも画素間の輝度の差が小さくなるので、輝度勾配値が「中」になる。また、画像における「汚れ」の部分、あるいは輪郭以外の部分では、画素間の輝度の差がさらに小さくなるので、輝度勾配値が「小」になる。このような処理の結果、グレースケール画像は、各画素が輝度勾配値を示す輝度勾配値画像に変換される。

（３）３値化処理
処理部３２は、輝度勾配値画像の各画素における輝度勾配値を３値化することによって、輝度勾配値画像を３値化画像に変換する。図５（ａ）−（ｂ）は、処理部３２における処理の概要を示す。図５（ａ）は、第１判定基準の第１しきい値と第２しきい値とを使用する場合を示す。ここで、第２しきい値は、第１しきい値よりも大きくされる。処理部３２は、輝度勾配値が第１しきい値以下である画素を第１値と特定し、輝度勾配値が第１しきい値よりも大きく第２しきい値以下である画素を第２値と特定し、それ以外を第３値と特定する。ここで、第１値は「汚れ」に相当する値、第２値は「ボケ」に相当する値、第３値は「エッジ」に相当する値といえる。例えば、第１値の画素が「灰色」で示され、第２値の画素が「白色」で示され、第３値の画素が「黒色」で示されてもよい。図５（ａ）では、輝度勾配値画像中の画素Ｐ１から画素Ｐ２へわたる輝度勾配値の変化を示す。このように変化する輝度勾配値が３値化されることによって、３値化画像が生成される。

一方、図５（ｂ）は、第２判定基準の第３しきい値と第４しきい値とを使用する場合を示す。ここで、第４しきい値は、第３しきい値よりも大きくされる。また、第３しきい値は第１しきい値よりも小さく、第４しきい値は第２しきい値よりも小さい。処理部３２は、輝度勾配値が第３しきい値以下である画素を第１値と特定し、輝度勾配値が第３しきい値よりも大きく第４しきい値以下である画素を第２値と特定し、それ以外を第３値と特定する。つまり、図５（ａ）の場合と比較して、第１値と特定される輝度勾配値の範囲が狭くなり、第２値と特定される輝度勾配値の最大値が小さくなり、第３値と特定される輝度勾配値の範囲が広くなる。図５（ｂ）では、図５（ａ）輝度勾配値画像中の画素Ｐ１から画素Ｐ２へわたる輝度勾配値の変化を示すが、図５（ａ）と比較して、第１値、第２値に変換されにくくなる。つまり、第２判定基準では、第１判定基準と比較して、「ボケ」、「汚れ」と特定するためのしきい値を小さくして、「汚れ」と判定しにくい方向への調整がなされる。図２に戻る。

（４）比較処理
処理部３２は、複数の３値化画像にわたって、第１値から第３値の比較を画素単位で実行する。図６（ａ）−（ｂ）は、処理部３２における別の処理の概要を示す。図６（ａ）は、第１判定基準の第１期間を使用する場合を示す。図示のごとく、複数の３値化画像において、基準画像と、当該基準画像から第１期間だけ後の対象画像との組合せが複数定義される。処理部３２は、基準画像と対象画像とを画素単位で比較する。また、このような比較は各組合せにおいてなされる。その結果、処理部３２は、所定の頻度以上で第１値となる画素を汚れ部分５０と判定し、所定の頻度以上で第２値となる画素をボケ部分５２と判定する。

図６（ｂ）は、第２判定基準の第２期間を使用する場合を示す。図示のごとく、複数の３値化画像において、基準画像と、当該基準画像から第２期間だけ後の対象画像との組合せが複数定義される。ここで、第２期間は第１期間よりも長くされる。処理部３２は、基準画像と対象画像とを画素単位で比較する。また、このような比較は各組合せにおいてなされる。その結果、処理部３２は、所定の頻度以上で第１値となる画素を汚れ部分５０と判定し、所定の頻度以上で第２値となる画素をボケ部分５２と判定する。つまり、第２判定基準では、第１判定基準と比較して、「汚れ判定」を行うための期間を長くして判定する頻度を下げることによって、「汚れ」と判定しにくい方向への調整がなされる。図２に戻る。

このように処理部３２は、降雨状態の場合、撮像した映像に対して汚れ検知処理を実行する際に第１判定基準を使用し、降雨状態でない場合、撮像した映像に対して汚れ検知処理を実行する際に第２判定基準を使用する。ここで、第２判定基準では、第１判定基準よりも汚れの判定がなされにくくされる。

処理部３２は、汚れ部分５０あるいはボケ部分５２を検知した場合、汚れ部分５０あるいはボケ部分５２の画像を映像に重畳する。出力部３８は、映像を図１の表示装置１２に表示させる。図７（ａ）−（ｂ）は、表示装置１２に表示される画面を示す。図７（ａ）は、汚れ部分５０およびボケ部分５２の画像が重畳された映像を示す。汚れ部分５０とボケ部分５２は例えば互いに異なった色で着色される。例えば、汚れ部分５０は黄色で示され、ボケ部分５２は緑色で示される。これが警告の報知に相当する。図７（ｂ）は後述し、図２に戻る。処理部３２は、映像、あるいは汚れ部分５０あるいはボケ部分５２の画像が重畳された映像をもとに、対象物の検知処理を実行してもよいが、ここでは説明を省略する。

処理部３２は、汚れ部分５０あるいはボケ部分５２を検知した場合、汚れがあることを知らせるためのメッセージが含まれる画面を生成してもよい。出力部３８は、画面を図１の表示装置１２に表示させる。図７（ｂ）は、汚れがあることを知らせるためのメッセージが含まれる画面を示す。図示のごとく、「レンズが汚れています」とのメッセージが表示される。

この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリ、その他のＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）で実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ハードウエアとソフトウエアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

以上の構成による撮像装置１０の動作を説明する。図８は、撮像装置１０による処理の手順を示すフローチャートである。取得部３０は情報を受けつける（Ｓ１０）。情報が降雨状態を示す場合（Ｓ１２のＹ）、処理部３２は第１判定基準を使用する（Ｓ１４）。情報が降雨状態を示さない場合（Ｓ１２のＮ）、処理部３２は第２判定基準を使用する（Ｓ１６）。処理部３２は、汚れ検知処理を実行する（Ｓ１８）。

本実施例によれば、降雨状態でない場合、降雨状態において使用する第１判定基準よりも汚れの判定がなされにくい第２判定基準を使用して汚れ検知処理を実行するので、降雨状態でない場合に汚れの誤検知の発生を抑制できる。また、降雨状態でない場合に汚れの誤検知の発生が抑制されるので、汚れの検知精度を向上できる。また、ワイパーが動作する場合に降雨状態とするので、降雨状態を正確に認識できる。また、降雨量がしきい値以上である場合に降雨状態であるとするので、降雨状態を正確に認識できる。また、第１判定基準と第２判定基準とにおいてしきい値と期間とを変更するので、汚れの判定のしやすさを調節できる。

本開示の一態様は、次の通りである。本発明のある態様の車両は、映像を撮像する際に付着している汚れを検知するための汚れ検知処理を実行可能な撮像装置と、撮像装置において撮像した映像を表示する表示装置とを備える車両であって、撮像装置は、車両に搭載された降雨検知回路からの情報を取得可能な取得部と、取得部において取得した情報が降雨状態であることを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第１判定基準を使用し、取得部において取得した情報が降雨状態でないことを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第２判定基準を使用する処理部とを備える。第２判定基準では、第１判定基準よりも汚れの判定がなされにくい。

この態様によると、降雨状態でない場合、降雨状態において使用する第１判定基準よりも汚れの判定がなされにくい第２判定基準を使用して汚れ検知処理を実行するので、汚れの検知精度を向上できる。

車両であって、取得部において取得した情報は、車両のワイパー動作情報であり、処理部は、情報がワイパーの動作を示す場合に、情報が降雨状態であることを示すとしてもよい。この場合、ワイパーが動作する場合に降雨状態とするので、降雨状態を正確に認識できる。

車両であって、取得部において取得した情報は、降雨量の情報であり、処理部は、情報において示された降雨量がしきい値以上である場合に、情報が降雨状態であることを示すとしてもよい。この場合、降雨量がしきい値以上である場合に降雨状態であるとするので、降雨状態を正確に認識できる。

車両であって、汚れ検知処理は、第１判定基準において、（１）映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第１しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第１しきい値よりも大きく第２しきい値以下である画素を第２値と特定し、（２）第１期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、汚れ検知処理は、第２判定基準において、（１）映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第３しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第３しきい値よりも大きく第４しきい値以下である画素を第２値と特定し、（２）第２期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、第３しきい値は第１しきい値よりも小さく、第４しきい値は第２しきい値よりも小さく、第２期間は第１期間よりも長い。この場合、第１判定基準と第２判定基準とにおいてしきい値と期間とを変更するので、汚れの判定のしやすさを調節できる。

車両であって、汚れ検知処理は、第１判定基準において、（１）映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第１しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第１しきい値よりも大きく第２しきい値以下である画素を第２値と特定し、（２）所定の期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、汚れ検知処理は、第２判定基準において、（１）映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第３しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第３しきい値よりも大きく第４しきい値以下である画素を第２値と特定し、（２）所定の期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、第３しきい値は第１しきい値よりも小さく、第４しきい値は第２しきい値よりも小さい。この場合、第１判定基準と第２判定基準とにおいてしきい値を変更するので、汚れの判定のしやすさを調節できる。

車両であって、汚れ検知処理は、第１判定基準において、（１）映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第１しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第１しきい値よりも大きく第２しきい値以下である画素を第２値と特定し、（２）第１期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、汚れ検知処理は、第２判定基準において、（１）映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第１しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第１しきい値よりも大きく第２しきい値以下である画素を第２値と特定し、（２）第２期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、第２期間は第１期間よりも長い。この場合、第１判定基準と第２判定基準とにおいて期間を変更するので、汚れの判定のしやすさを調節できる。

本発明の別の態様は、撮像装置である。この装置は、映像を撮像する際に付着している汚れを検知するための汚れ検知処理を実行可能な撮像装置であって、車両に搭載された降雨検知回路からの情報を取得可能な取得部と、取得部において取得した情報が降雨状態であることを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第１判定基準を使用し、取得部において取得した情報が降雨状態でないことを示す場合、撮像した映像に対して汚れ検知処理を実行する際に、汚れと判定するための第２判定基準を使用する処理部とを備える。第２判定基準では、第１判定基準よりも汚れの判定がなされにくい。

この態様によると、降雨状態でない場合、降雨状態において使用する第１判定基準よりも汚れの判定がなされにくい第２判定基準を使用して汚れ検知処理を実行するので、汚れの検知精度を向上できる。

撮像装置であって、取得部において取得した情報は、車両のワイパー動作情報であり、処理部は、情報がワイパーの動作を示す場合に、情報が降雨状態であることを示すとしてもよい。この場合、ワイパーが動作する場合に降雨状態とするので、降雨状態を正確に認識できる。

撮像装置であって、取得部において取得した情報は、降雨量の情報であり、処理部は、情報において示された降雨量がしきい値以上である場合に、情報が降雨状態であることを示すとしてもよい。この場合、降雨量がしきい値以上である場合に降雨状態であるとするので、降雨状態を正確に認識できる。

撮像装置であって、汚れ検知処理は、第１判定基準において、（１）映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第１しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第１しきい値よりも大きく第２しきい値以下である画素を第２値と特定し、（２）第１期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、汚れ検知処理は、第２判定基準において、（１）映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第３しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第３しきい値よりも大きく第４しきい値以下である画素を第２値と特定し、（２）第２期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、第３しきい値は第１しきい値よりも小さく、第４しきい値は第２しきい値よりも小さく、第２期間は第１期間よりも長い。この場合、第１判定基準と第２判定基準とにおいてしきい値と期間とを変更するので、汚れの判定のしやすさを調節できる。

撮像装置であって、汚れ検知処理は、第１判定基準において、（１）映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第１しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第１しきい値よりも大きく第２しきい値以下である画素を第２値と特定し、（２）所定の期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、汚れ検知処理は、第２判定基準において、（１）映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第３しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第３しきい値よりも大きく第４しきい値以下である画素を第２値と特定し、（２）所定の期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、第３しきい値は第１しきい値よりも小さく、第４しきい値は第２しきい値よりも小さい。この場合、第１判定基準と第２判定基準とにおいてしきい値を変更するので、汚れの判定のしやすさを調節できる。

撮像装置であって、汚れ検知処理は、第１判定基準において、（１）映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第１しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第１しきい値よりも大きく第２しきい値以下である画素を第２値と特定し、（２）第１期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、汚れ検知処理は、第２判定基準において、（１）映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第１しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第１しきい値よりも大きく第２しきい値以下である画素を第２値と特定し、（２）第２期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、第２期間は第１期間よりも長い。この場合、第１判定基準と第２判定基準とにおいて期間を変更するので、汚れの判定のしやすさを調節できる。

以上、本開示を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

本実施例において、第１判定基準において「第１しきい値、第２しきい値、第１期間」を使用し、第２判定基準において「第３しきい値、第４しきい値、第２期間」を使用している。しかしながらこれに限らず例えば、第１判定基準において「第１しきい値、第２しきい値」を使用し、第２判定基準において「第３しきい値、第４しきい値」を使用してもよい。また、第１判定基準において「第１期間」を使用し、第２判定基準において「第２期間」を使用してもよい。本変形例によれば、処理を簡易化できる。

１０ 撮像装置、 １２ 表示装置、 １４ 降雨検知回路、 ２０ ワイパー制御装置、 ２２ 降雨センサ、 ３０ 取得部、 ３２ 処理部、 ３４ 記憶装置、 ３６ 撮像部、 ３８ 出力部、 １００ 車両。

Claims (12)

1. 映像を撮像する際に付着している汚れを検知するための汚れ検知処理を実行可能な撮像装置と、
   前記撮像装置において撮像した映像を表示する表示装置とを備える車両であって、
   前記撮像装置は、
   前記車両に搭載された降雨検知回路からの情報を取得可能な取得部と、
   前記取得部において取得した前記情報が降雨状態であることを示す場合、撮像した映像に対して前記汚れ検知処理を実行する際に、汚れと判定するための第１判定基準を使用し、前記取得部において取得した前記情報が降雨状態でないことを示す場合、撮像した映像に対して前記汚れ検知処理を実行する際に、汚れと判定するための第２判定基準を使用する処理部とを備え、
   前記第２判定基準では、前記第１判定基準よりも汚れの判定がなされにくい、
   車両。
2. 請求項１に記載の車両であって、
   前記取得部において取得した前記情報は、前記車両のワイパー動作情報であり、
   前記処理部は、前記情報がワイパーの動作を示す場合に、前記情報が降雨状態であることを示すとする、
   車両。
3. 請求項１に記載の車両であって、
   前記取得部において取得した前記情報は、降雨量の情報であり、
   前記処理部は、前記情報において示された降雨量がしきい値以上である場合に、前記情報が降雨状態であることを示すとする、
   車両。
4. 請求項１から３のいずれか１項に記載の車両であって、
   前記汚れ検知処理は、前記第１判定基準において、（１）前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第１しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第１しきい値よりも大きく第２しきい値以下である画素を第２値と特定し、（２）第１期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、
   前記汚れ検知処理は、前記第２判定基準において、（１）前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第３しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第３しきい値よりも大きく第４しきい値以下である画素を第２値と特定し、（２）第２期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、
   前記第３しきい値は前記第１しきい値よりも小さく、
   前記第４しきい値は前記第２しきい値よりも小さく、
   前記第２期間は前記第１期間よりも長い、
   車両。
5. 請求項１から３のいずれか１項に記載の車両であって、
   前記汚れ検知処理は、前記第１判定基準において、（１）前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第１しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第１しきい値よりも大きく第２しきい値以下である画素を第２値と特定し、（２）所定の期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、
   前記汚れ検知処理は、前記第２判定基準において、（１）前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第３しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第３しきい値よりも大きく第４しきい値以下である画素を第２値と特定し、（２）所定の期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、
   前記第３しきい値は前記第１しきい値よりも小さく、
   前記第４しきい値は前記第２しきい値よりも小さい、
   車両。
6. 請求項１から３のいずれか１項に記載の車両であって、
   前記汚れ検知処理は、前記第１判定基準において、（１）前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第１しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第１しきい値よりも大きく第２しきい値以下である画素を第２値と特定し、（２）第１期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、
   前記汚れ検知処理は、前記第２判定基準において、（１）前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第１しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第１しきい値よりも大きく第２しきい値以下である画素を第２値と特定し、（２）第２期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、
   前記第２期間は前記第１期間よりも長い、
   車両。
7. 映像を撮像する際に付着している汚れを検知するための汚れ検知処理を実行可能な撮像装置であって、
   車両に搭載された降雨検知回路からの情報を取得可能な取得部と、
   前記取得部において取得した前記情報が降雨状態であることを示す場合、撮像した映像に対して前記汚れ検知処理を実行する際に、汚れと判定するための第１判定基準を使用し、前記取得部において取得した前記情報が降雨状態でないことを示す場合、撮像した映像に対して前記汚れ検知処理を実行する際に、汚れと判定するための第２判定基準を使用する処理部とを備え、
   前記第２判定基準では、前記第１判定基準よりも汚れの判定がなされにくい、
   撮像装置。
8. 請求項７に記載の撮像装置であって、
   前記取得部において取得した前記情報は、前記車両のワイパー動作情報であり、
   前記処理部は、前記情報がワイパーの動作を示す場合に、前記情報が降雨状態であることを示すとする、
   撮像装置。
9. 請求項７に記載の撮像装置であって、
   前記取得部において取得した前記情報は、降雨量の情報であり、
   前記処理部は、前記情報において示された降雨量がしきい値以上である場合に、前記情報が降雨状態であることを示すとする、
   撮像装置。
10. 請求項７から９のいずれか１項に記載の撮像装置であって、
    前記汚れ検知処理は、前記第１判定基準において、（１）前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第１しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第１しきい値よりも大きく第２しきい値以下である画素を第２値と特定し、（２）第１期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、
    前記汚れ検知処理は、前記第２判定基準において、（１）前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第３しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第３しきい値よりも大きく第４しきい値以下である画素を第２値と特定し、（２）第２期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、
    前記第３しきい値は前記第１しきい値よりも小さく、
    前記第４しきい値は前記第２しきい値よりも小さく、
    前記第２期間は前記第１期間よりも長い、
    撮像装置。
11. 請求項７から９のいずれか１項に記載の撮像装置であって、
    前記汚れ検知処理は、前記第１判定基準において、（１）前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第１しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第１しきい値よりも大きく第２しきい値以下である画素を第２値と特定し、（２）所定の期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、
    前記汚れ検知処理は、前記第２判定基準において、（１）前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第３しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第３しきい値よりも大きく第４しきい値以下である画素を第２値と特定し、（２）所定の期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、
    前記第３しきい値は前記第１しきい値よりも小さく、
    前記第４しきい値は前記第２しきい値よりも小さい、
    撮像装置。
12. 請求項７から９のいずれか１項に記載の撮像装置であって、
    前記汚れ検知処理は、前記第１判定基準において、（１）前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第１しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第１しきい値よりも大きく第２しきい値以下である画素を第２値と特定し、（２）第１期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、
    前記汚れ検知処理は、前記第２判定基準において、（１）前記映像に含まれる複数の画像の各画素に対して、隣接画素との輝度勾配値が第１しきい値以下である画素を第１値と特定し、隣接画素との輝度勾配値が第１しきい値よりも大きく第２しきい値以下である画素を第２値と特定し、（２）第２期間の画像間において、所定の頻度以上で第１値となる画素を汚れ部分と判定し、所定の頻度以上で第２値となる画素をボケ部分と判定し、
    前記第２期間は前記第１期間よりも長い、
    撮像装置。

Images