JP2015232824A - 検出装置 - Google Patents

Abstract

【課題】カメラにより撮影された画像の異常を正確に検出する。【解決手段】検出装置は、遮蔽領域検出処理において、位置、或いは、向きが変化する１台のカメラにより撮影された画像であって、異なった画質設定がなされている複数の撮影画像を取得する（Ｓ１０５）。そして、検出装置は、Ｓ１０５において取得された複数の撮影画像に基づき、カメラにより撮影された画像のうち、撮影が遮られている遮蔽領域を検出する（Ｓ１３０）。【選択図】図２

Description

本発明は、カメラにより撮影された画像の異常を検出する技術に関する。

カメラで撮影された画像を所定の時間間隔で取得すると共に、これらの撮影画像を平均化し、新たに取得した撮影画像と平均化した撮影画像との差異により、異常を検出することが知られている（例えば、特許文献１）。

特開平７−２９６１６８号公報

しかしながら、特許文献１に記載されている方法では、撮影画像が逐次変化するような環境では、平均化された画像と新たに取得された画像との間に常に差異が存在するため、異常が誤検出される恐れがある。このため、この方法では、運転支援を行うために車両周辺を撮影するカメラ等で撮影された画像の異常を正確に検出することはできない。

本願発明は、カメラにより撮影された画像の異常を正確に検出することを目的とする。

上記課題に鑑みてなされた請求項１に記載の検出装置（１０）は、位置又は向きが変化する１台のカメラ（１１）により撮影された画像であって、異なる画質設定がなされている複数の撮影画像を取得する取得手段（Ｓ１０５）と、取得手段により取得された複数の撮影画像に基づき、カメラにより撮影された画像のうち、撮影が遮られている遮蔽領域を検出する検出手段（Ｓ１３０）と、を備える。

カメラのレンズに異物が付着した場合等には、撮影が遮られ、撮影画像の全部又は一部に、常時所定の色（例えば黒色）になっている領域（遮蔽領域）が生じる。一方、画質設定の内容によって撮影画像の色合い等が異なるものとなるため、カメラのレンズに異物が付着した際、画質設定の異なる複数の撮影画像では、遮蔽領域の範囲が異なる場合がある。

このため、異なる画質設定がなされている複数の撮影画像に基づき遮蔽領域を検出することで、画質設定の影響を排除した状態で遮蔽領域を検出することができ、遮蔽領域を精度良く検出することが可能となる。したがって、カメラにより撮影された画像の異常を正確に検出することができる。

また、請求項２に記載されているように、検出装置は、撮影画像において、色に関する条件である遮蔽条件を継続的に充足している領域を、充足領域とし、取得手段は、それぞれの画質設定について、該画質設定がなされている撮影画像を複数取得し、それぞれの画質設定に関して、該画質設定がなされている複数の撮影画像に基づき、該撮影画像における充足領域を特定する特定手段（Ｓ１２０，Ｓ１２５）をさらに備えても良い。そして、検出手段は、それぞれの画質設定がなされている撮影画像から特定された充足領域に基づき、遮蔽領域を検出しても良い。

このような構成によれば、画質設定の異なる複数の撮影画像の各々において、異物等により撮影が遮られている領域（充足領域）が特定され、各撮影画像について特定された充足領域に基づき遮蔽領域が検出される。このため、遮蔽領域を精度良く検出することが可能となり、撮影画像の異常を正確に検出することができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

車載システムの構成を示すブロック図である。 遮蔽領域検出処理のフローチャートである。

以下、本発明の実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

［構成の説明］
本実施形態の車載システム１０は、車両に搭載されており、カメラ１１と、速度センサ１２と、昼夜情報出力部１３と、処理部１４と、出力部１５とを備える（図１参照）。車載システム１０は、カメラ１１により撮影された撮影画像（動画又は静止画）に基づき、運転支援を行うよう構成されている。

カメラ１１は、自車両の前方を含む自車両の周囲を撮影し、撮影画像を処理部１４に提供する。なお、カメラ１１の位置や向きは固定されていても良いし、処理部１４等からの指示に応じて変更可能となっていても良い。

速度センサ１２は、自車両の車速を検出し、処理部１４に提供する。
昼夜情報出力部１３は、昼であるか夜であるかを判定する部位である。具体的には、昼夜情報出力部１３は、例えば、照度センサとして構成されていても良く、このような場合であれば、昼夜情報出力部１３から処理部１４に照度を提供し、処理部１４にて該照度に基づき昼，夜を判定することが考えられる。

また、昼夜情報出力部１３は、例えば、ヘッドライトをＯＮ／ＯＦＦするスイッチや、ヘッドライトを制御するライト制御部として構成されていても良い。このような場合であれば、昼夜情報出力部１３から処理部１４にヘッドライトのＯＮ／ＯＦＦ状態を提供し、処理部１４では、ヘッドライトがＯＮならば夜、ＯＦＦならば昼と判定することが考えられる。

なお、車載システム１０は、速度センサ１２や昼夜情報出力部１３を備えず、これらから提供される情報を、車内ＬＡＮ（図示なし）等を介して他のＥＣＵから取得する構成としても良い。

出力部１５は、例えば、液晶ディスプレイ等の表示装置やスピーカ等として構成されており、処理部１４からの指示に応じて各種情報を出力する部位である。
処理部１４は、車載システム１０を統括制御する部位であり、ＣＰＵ１４ａや、Ｉ／Ｏ（図示無し）や、ＲＯＭ，ＲＡＭ等のメモリ１４ｂ等から構成されるコンピュータとして構成されている。処理部１４は、ＣＰＵ１４ａが、メモリ１４ｂに保存されているプログラムに従って動作することで、各種機能を実現する。

処理部１４は、カメラ１１から自車両周辺の撮影画像を取得すると共に、該撮影画像に基づき運転支援を行うための各種情報を生成し、出力部１５から出力する。なお、処理部１４は、撮影画像に基づき図示しないブレーキやエンジンやステアリング等を制御し、運転操作に介入することで、運転支援を行っても良い。

［動作の説明］
車載システム１０では、処理部１４は、運転支援に際して、１台のカメラ１１により、撮影対象の異なる４種類の撮影画像１〜４を撮影する。撮影画像１は歩行者が、撮影画像２は道路標識が、撮影画像３は他の車両が、撮影画像４は道路に描かれた白線や黄線等が、撮影対象となっている。無論、これ以外の物体を、撮影対象としても良い。

処理部１４は、各撮影対象を撮影する際、撮影画像から撮影対象が精度良く認識可能となるように画質設定を行う。つまり、撮影画像１からは歩行者を、撮影画像２からは道路標識を、撮影画像３からは他の車両を、撮影画像４からは白線や黄線等を、精度良く認識できるようになっている。

処理部１４は、撮影画像１に基づき自車両周辺の歩行者を、撮影画像２に基づき自車両前方の道路標識を、撮影画像３に基づき自車両周辺の車両を、撮影画像４に基づき路面に描かれた白線等を、それぞれ認識する。そして、処理部１４は、認識結果に基づき、出力部１５等を用いた各種警告や運転操作への介入等を行う。

ここで、画質設定の内容として、カメラ１１のハードウェアに関する設定と、カメラ１１の撮像素子により生成された画像データから運転支援に用いられる撮影画像を生成する画像処理に関する設定が考えられる。なお、このような画像処理は、カメラ１１と処理部１４の双方又は一方にて行われる。

ハードウェアに関する設定としては、例えば、カメラ１１のＦ値や、シャッター速度（露光時間）や、ＩＳＯ感度等の設定が考えられる。
一方、画像処理に関する画質設定としては、例えば、色深度や、ホワイトバランスや、色合いや、明度や、彩度や、コントラストや、シャープネス等に関するパラメータの設定等が考えられる。

また、車載システム１０では、カメラ１１による撮影画像の中から、異物等の存在により撮影が妨げられている遮蔽領域が検出される。
以下では、撮影画像における遮蔽領域を検出する遮蔽領域検出処理について説明する（図２参照）。なお、本処理は、処理部１４により周期的なタイミングで実行される。

Ｓ１００では、処理部１４は、速度センサ１２から取得した自車両の速度に基づき、自車両が走行中であるか否かを判定する。なお、処理部１４は、例えば、サイドブレーキの状態や、シフトレバーの位置等に基づき、自車両が走行中であるか否かを判定しても良い。

Ｓ１０５では、処理部１４は、カメラ１１にて撮影され、カメラ１１又は処理部１４にて画像処理が施された撮影画像１〜４（静止画）を取得する。
Ｓ１１０では、処理部１４は、Ｓ１０５にて取得した撮影画像１〜４を予め定められたサイズに縮小する。このとき、どのような大きさや形状の遮蔽領域を検出可能とするかに応じて、撮影画像の縮小率を定めても良い。

Ｓ１１５では、処理部１４は、撮影画像１〜４の各々について、遮蔽領域の検出を行う検出エリアを設定する。具体的には、処理部１４は、例えば、昼夜情報出力部１３から提供された情報により夜であると判定される場合には、撮影画像のうち、夜空が映っていると推定される部分以外のエリア（一例として、撮影画像の下半分のエリア）を、検出エリアとしても良い。無論、夜空以外の部分を検出エリアとする場合、カメラ１１の設置状況等に応じて検出エリアを任意に定めることができ、検出エリアは、撮影画像の下半分のエリアに限定されることは無い。

Ｓ１２０では、処理部１４は、撮影画像１〜４の各々について、検出エリアを構成する各画素の色情報を特定すると共に、特定結果に基づき、各撮影画像の検出エリアを構成する各画素における色情報の時間的変化を示す色情報データを更新する。

Ｓ１２５では、処理部１４は、撮影画像１〜４の各々についての色情報データに基づき、各撮影画像の検出エリアを構成する各画素のうち、予め定められた期間にわたり遮蔽条件を充足している画素（充足画素）を特定する。

遮蔽条件としては、例えば、当該画素が黒色（例えば、Ｒ，Ｇ，Ｂの各色成分の輝度が全て閾値以下）であるという条件（遮蔽条件１）が考えられる。なお、この閾値とは、例えば、最大輝度の半分程度の輝度とすることが考えられる。無論、当該画素が黒色以外の所定の色であるという条件を、遮蔽条件としても良い。

この他にも、遮蔽条件とは、例えば、前回遮蔽領域検出処理が実行された時点からの当該画素の色（例えば、Ｒ，Ｇ，Ｂの各色成分の輝度）の変動幅が閾値以下であるという条件（遮蔽条件２）が考えられる。なお、処理部１４は、遮蔽条件１，２の一方を充足する画素を充足画素としても良いし、遮蔽条件１，２の双方を充足する画素を充足画素としても良い。

Ｓ１３０では、処理部１４は、撮影画像１〜４の各々から特定された充足画素に基づき、撮影画像１〜４における遮蔽領域を検出し、本処理を終了する。
具体的には、処理部１４は、例えば、撮影画像１〜４の全てから特定された充足画素を、遮蔽領域を構成する画素とみなしても良いし、撮影画像１〜４のうちの例えば３つ以上から特定された充足画素を、遮蔽領域を構成する画素とみなしても良い。

そして、処理部１４は、遮蔽領域を構成するとみなされた充足画素に基づき、縮小前の状態の撮影画像１〜４の各々における遮蔽領域を算出する。具体的には、例えば、当該充足画素が密集している領域を、遮蔽領域とみなしても良いし、所定値以下の距離を隔てて隣接する当該充足画素により囲まれている領域を、遮蔽領域としても良い。

［効果］
カメラ１１のレンズに異物が付着した場合や、レンズの前方に異物が配された状態となった場合等には、撮影が遮られ、撮影画像の全部又は一部に、常時所定の色（例えば黒色）になっている領域（遮蔽領域）が生じる。一方、画質設定の内容によっては、撮影画像の色合い等が異なるため、画質設定の異なる複数の撮影画像では、このような領域の範囲が異なる。

これに対し、上記実施形態の車載システム１０では、画質設定の異なる撮影画像１〜４の各々において、遮蔽条件を充足する充足画素が特定されると共に、各々の撮影画像から特定された充足画素を比較することで、遮蔽領域を構成する充足画素が特定される。そして、遮蔽領域を構成するとみなされた充足画素に基づき、縮小前の各撮影画像における遮蔽領域が検出される。

これにより、画質設定の影響を排除した状態で遮蔽領域が検出されるようになるため、遮蔽領域を精度良く検出することができ、カメラの異常を正確に検出することができる。
また、カメラ１１の位置や向きが一定である場合には、異物により撮影が遮断されていなくても、撮影画像に変化しない部分が生じる。このため、上記実施形態における遮蔽領域検出処理により遮蔽領域を検出しようとすると、撮影画像における変化のない部分に黒色の領域が存在する場合等には、該領域が遮蔽領域として誤検出される恐れがある。これに対し、上記実施形態の車載システム１０では、自車両が走行中である場合に限り遮蔽領域の検出がなされる。このため、遮蔽領域の誤検出を防ぐことができる。

また、夜間にカメラ１１にて撮影を行った場合、撮影画像に映し出された夜空の部分は、常時黒色となり、遮蔽領域として誤検出される恐れがある。これに対し、上記実施形態では、夜間に遮断領域検出処理が行われる場合には、撮影画像１〜４に検出エリアが設定され、撮影画像における夜空が映っていない部分を対象に遮蔽領域の検出がなされる。このため、夜空の部分が遮蔽領域として誤検出されるのを防ぐことができる。

［他の実施形態］
（１）上記実施形態では、車載システム１０を例に挙げて、画質設定の異なる複数の撮影画像１〜４に基づき遮蔽領域を検出する遮蔽領域検出処理について説明した。しかしながら、本発明は、車両以外の移動体に搭載されたカメラにより撮影を行うシステムに適用した場合であっても、同様の効果を得ることができる。また、本発明は、移動体には搭載されていないが、カメラの向きや位置を変化させながら撮影を行うシステムに適用した場合であっても、同様の効果を得ることができる。

（２）上記実施形態の遮蔽領域検出処理では、縮小された撮影画像１〜４から特定された充足画素に基づき、遮蔽領域を検出している。しかしながら、縮小前の撮影画像１〜４から特定された充足画素に基づき、遮蔽領域を検出する場合であっても、同様の効果を得ることができる。

（３）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしても良い。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えても良い。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略しても良い。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換しても良い。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（４）上述した車載システム１０の他、当該車載システム１０としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、車載システム１０により実行される遮蔽領域検出処理に相当する方法など、種々の形態で本発明を実現することもできる。

［特許請求の範囲との対応］
上記実施形態の説明で用いた用語と、特許請求の範囲の記載に用いた用語との対応を示す。

本実施形態における車載システム１０が、検出装置の一例に相当する。
また、遮蔽領域検出処理のＳ１０５が取得手段の一例に、Ｓ１２０，Ｓ１２５が特定手段の一例に、Ｓ１３０が検出手段の一例に相当する。

１０…車載システム、１１…カメラ、１２…速度センサ、１３…昼夜情報出力部、…処理部１４、１５…出力部。

Claims (4)

1. 位置又は向きが変化する１台のカメラ（１１）により撮影された画像であって、異なる画質設定がなされている複数の撮影画像を取得する取得手段（Ｓ１０５）と、
   前記取得手段により取得された複数の前記撮影画像に基づき、前記カメラにより撮影された画像のうち、撮影が遮られている遮蔽領域を検出する検出手段（Ｓ１３０）と、
   を備えることを特徴とする検出装置（１０）。
2. 請求項１に記載の検出装置において、
   前記撮影画像において、色に関する条件である遮蔽条件を継続的に充足している領域を、充足領域とし、
   前記取得手段は、それぞれの前記画質設定について、該画質設定がなされている前記撮影画像を複数取得し、
   それぞれの前記画質設定に関して、該画質設定がなされている複数の前記撮影画像に基づき、該撮影画像における前記充足領域を特定する特定手段（Ｓ１２０，Ｓ１２５）をさらに備え、
   前記検出手段は、それぞれの前記画質設定がなされている前記撮影画像から特定された前記充足領域に基づき、前記遮蔽領域を検出すること、
   を特徴とする検出装置。
3. 請求項２に記載の検出装置において、
   前記特定手段は、それぞれの前記画質設定に関して、該画質設定がなされている複数の前記撮影画像に基づき、該撮影画像の各画素が前記遮蔽条件を継続的に充足しているか否かを判定し、肯定判定が得られた前記画素を前記充足領域として特定すること、
   を特徴とする検出装置。
4. 請求項１から請求項３のうちのいずれか１項に記載の検出装置において、
   前記カメラは、移動体に搭載されていること、
   を特徴とする検出装置。

Images