JP2005072767A

JP2005072767A - 画像処理装置

Info

Publication number: JP2005072767A
Application number: JP2003297382A
Authority: JP
Inventors: Atsuo Shibuya; 篤郎渋谷; Hajime Sugano; 肇菅野; Hiroshi Watabe; 浩渡部
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2003-08-21
Filing date: 2003-08-21
Publication date: 2005-03-17

Abstract

【課題】ＬＥＤの寿命を適切に判断することにより、ＬＥＤの寿命を使い切ると共にＬＥＤ交換保守の準備を行うこと、レンズ汚れ等、外的要因により画像処理の性能低下状態を即座に認識し、適切な保守を素早く行うことのできる画像処理装置を提供する。
【解決手段】撮像画像を出力するカメラと該カメラの撮像対象物を照明する夜間照明用光源を含む撮像装置の撮像画像を処理する画像処理装置において、夜間照明用光源の点灯／消灯を制御する光源制御部と、光源制御部の制御により夜間照明用光源が夜間において点灯しているときの、カメラが撮像した撮像画像である明画像を取り込む明画像取込部と、光源制御部の制御により夜間照明用光源が夜間において消灯しているときの、カメラが撮像した撮像画像である暗画像を取り込む暗画像取込部と、明画像と暗画像の対応する所定領域の輝度差を計算する輝度差演算部と、所定領域の輝度差に基づいて、夜間照明用光源の寿命を判定する光源寿命判定部とを具備して構成する。
【選択図】図１

Description

本発明は、画像処理装置に関し、特に、ＬＥＤが正常に動作をしているかを判定するＬＥＤ正常動作判定装置に関する。

車両等から車両番号などの特定文字／パターンを検出・認識する画像処理装置において、夜間等暗い環境下で画像処理する場合には、照明用としてＬＥＤを用い、処理対象物へＬＥＤにより光を照射して行っている。ＬＥＤには寿命があり、定期的に交換する必要がある。従来、主に三つの方式によりＬＥＤの交換時期を判断していた。

（ａ）製品スペックの寿命を参考にＬＥＤの交換時期の判断を行う方式である。しかし、ＬＥＤの寿命には個体差があり、ＬＥＤの寿命前に交換されてしまうことがあった。

（ｂ）ＬＥＤ点灯時間を積算し、積算時間が閾値時間を越えたときを交換時間と判断する方式である。しかし、これは、寿命判断をコンピュータが行っているだけで、ＬＥＤの個体の寿命を適切に判断することはできない。

（ｃ）ＬＥＤから発光した光の濃度をＣＣＤ等の読み取りセンサで計測し、計測値と濃度閾値との比較で交換時期の判断を行う方式である。しかし、屋外等、明るさが環境に左右される場所では、適切にＬＥＤの交換時期を判断することはできない。

この出願の発明に関連する先行技術文献情報しては次の特許文献１がある。

特許文献１はバーコードリーダの読取口の周辺からの反射光を光学センサの異なる二つの領域における光度測定を行うことにより照明用赤色発光ダイオードが劣化により輝度が低下したことを検出することを開示している。
特開平１０−３３４１７８号公報

上述のように、ＬＥＤのそれぞれに寿命があるが、上述した従来の方式では、ＬＥＤの寿命前に交換されてしまうことがある。また、従来、カメラ・レンズの汚れや故障等、ＬＥＤ以外の外的要因により正常に画像処理が行われていない場合、画像処理の不具合発見が遅れていた。

また、特許文献１は、バーコードリーダの読取口の反射光を測定するものであるため、車両番号等の認識に使用する照明用ＬＥＤの寿命の測定には使用することができず、使用範囲が限定される。

また、特許文献１は、環境光のよる影響がある場合、正確な寿命判定ができない。また、環境光の影響があった場合、各領域における環境光の影響度が不定であるので、同一の領域でなければ正確な寿命判定ができない。また、装置の微妙な変形により反射領域が変化した場合も正確な寿命判定ができない。

更に、カメラが外に配置される場合には、カメラのレンズ汚れにより輝度が低下することがあるが、レンズ汚れによるものであるか、照明用ＬＥＤの寿命によるものであるか判定することはできない。

本発明は、ＬＥＤの寿命を適切に判断することにより、ＬＥＤの寿命を使い切ると共にＬＥＤ交換保守の準備を行うこと、レンズ汚れ等、外的要因により画像処理の性能低下状態を即座に認識し、適切な保守を素早く行うことのできる画像処理装置を提供することを目的とする。

図１は本発明の原理図である。図１に示すように、画像処理装置は、明画像取込部１０、暗画像取込部１２、光源制御部１４、輝度差演算部１６及び光源寿命判定部１８を具備する。

光源制御部１４は、夜間照明用光源２４の点灯／消灯を制御する。明画像取込部１２は、光源制御部１４の制御により夜間照明用光源２４が点灯しているときの、撮像装置２０内のカメラ２２が撮像した撮像画像である明画像を取り込む。

暗画像取込部１２は、光源制御部１４の制御により夜間照明用光源２４が夜間において消灯しているときの、カメラ２２が撮像した撮像画像である暗画像を取り込む。輝度素演算部１６は、明画像と暗画像の対応する所定領域の輝度差を計算する。

このとき、環境光があっても、明画像及び暗画像の双方に同じだけ環境光により輝度が上昇するので、輝度差によりその環境光による影響がキャンセルされ、輝度差が夜間照明用光源２４の性能を示すものとなる。光源寿命判定部１８は、所定領域の輝度差に基づいて、夜間照明用光源２２の寿命を判定する。

本発明によれば、明画像と暗画像の所定領域の輝度差に基づいて、夜間照明用光源の寿命を判断するので、寿命を無駄なく判断することができる。また、環境光の影響を受けることなく寿命を判断できる。更に、夜間照明用光源の個体差に関係なく正確に寿命を判断することができる。

第１実施形態
図２は本発明の第１実施形態による画像処理システムの構成例を示す図である。図２に示すように、画像処理システムは、撮像装置５０、画像処理装置５２及びセンタ装置５４を具備する。

撮像装置５０は、車両番号を認識するために、車両番号が撮像されるように、野外の特定の位置に配置されものであり、撮像装置５０は、内部クロック１００、カメラ１０２及び夜間照明用ＬＥＤ１０４を有する。

内部クロック１００は、夜間照明用ＬＥＤ１０４の点灯／消灯及びカメラ１０２のシャッタスピードを制御するためのクロックである。カメラ１０２は、画像処理装置５２により制御される、シャッタスピード、ズーム、撮像開始／停止に従って、撮像画像を所定のインタフェース、例えば、アナログカメラの場合はＮＴＳＣ信号、デジタルカメラの場合はＲＥＣ６００などにより出力する。

夜間照明用ＬＥＤ１０４は、処理対象物が暗いとき、車両の車両番号等、移動体の特定領域の特定文字やパターン部分を照射するためのものであり、画像処理装置５２により点灯／消灯が制御される。

画像処理装置５２は、明画像取込部１５０、暗画像取込部１５２、ＬＥＤ制御部１５４、撮像装置制御部１５６、領域選択部１５８、輝度差演算部１６０及びＬＥＤ寿命判定部１６２を有する。

明画像取込部１５０は、夜間照明用ＬＥＤ１０４が点灯しているときのカメラ１００の出力撮像画像（明画像）を取り込む。暗画像取込部１５２は、夜間照明用ＬＥＤ１０４が消灯しているときのカメラ１００の出力撮像画像（暗画像）を取り込む。

明画像取込部１５０は、夜間照明用ＬＥＤ１０４の点灯に同期して、カメラ１０２の出力画像を取り込み、暗画像取込部１５２は、夜間照明用ＬＥＤ１０４の消灯に同期して、カメラ１０２の出力画像を取り込む必要があることから、例えば、明画像取込部１５０が明画像を取り込む際にＬＥＤ制御部１５４に点灯を指示する。

明画像取込部１５０は、明画像を夜間に取り込む必要があることから、夜間である、例えば、暗画像の所定領域の輝度の平均値が一定以下であるとき、夜間照明用ＬＥＤ１０４の点灯をＬＥＤ制御部１５４に指示して、明画像を取り込み、バッファメモリに格納してから、輝度差演算部１６０に出力する。

暗画像取込部１５２は、夜間以外又は夜間においては夜間照明用ＬＥＤ１０４を消灯して暗画像を取り込むとき、夜間照明用ＬＥＤ１０４の消灯をＬＥＤ制御部１５４に指示してから、夜間における暗画像を取り込み、バッファメモリに格納してから、輝度差演算部１６０に出力する。

夜間照明用ＬＥＤ１０４の消灯は運用中に行われることから、夜間の消灯により車両番号が認識できない場合も有りうることから、その認識に支障を来たさすことのないよう、例えば、１フレーム画像の時間だけ消灯を行い、これを一定の周期で行うようにする。一定の周期は、ＬＥＤ寿命判定をリアルタイムに行いその判定結果を迅速に通知して、最適に交換時期を判定するためである。

図３は夜間照明用ＬＥＤ１０４の消灯／点灯の一例を示すタイムチャートである。図３に示すように、夜間以外の日中において、夜間照明用ＬＥＤ１０４は消灯されており、夜間において、一定の周期で一定時間だけ点灯される。

ＬＥＤ制御部１５４は、暗画像取込部１５２の指示に従って、夜間照明用ＬＥＤ１０４の点灯を撮像装置制御部１５６に通知し、明画像取込部１５０の指示に従って、夜間照明用ＬＥＤ１０４の点灯を撮像装置制御部１５６に通知する。即ち、ＬＥＤ制御部１５４は、夜間以外は常に消灯、夜間においては、暗画像を取り込む場合に点灯、それ以外は点灯するように、撮像装置制御部１５６に通知する。

撮像装置制御部１５６は、ＬＥＤ制御部１５４の通知に従って、夜間照明用ＬＥＤ１０４の点灯／消灯の制御を行うとともに、カメラ１０２のシャッタスピード、フォーカス及びズームの制御をする。

領域選択部１５８は、入力部５４やセンタ装置５６から、輝度差を算出するべき領域（選択領域）を入力して、輝度差演算部１６０に出力する。ここでは、輝度差を算出するべき画像領域は、明画像と暗画像の輝度差が顕著である夜間照明用ＬＥＤ１０４の照射の中心部分の領域、例えば、車両番号が撮像されるべき領域とする。

輝度差演算部１６０は、次の処理を行う。

（１）領域選択部１５８により画像の選択領域を入力して、明画像取込部１５０より出力される明画像及び暗画像取込部１５２より出力される、この明画像の直後に出力される暗画像に対して、選択領域内の明画像の各画素の輝度と該明画像の画素に対応する暗画像の画素の輝度との輝度差を算出する。

（２）選択領域について輝度差の平均値を算出して、ＬＥＤ寿命判定部１６２に出力する。

（３）ＬＥ寿命判定部１６２よりログ退避の通知を受けると、選択領域内の明画像及び暗画像の画素の輝度、輝度差の平均値及び現在時刻等のログを退避する。

ＬＥＤ寿命判定部１６２は、次の処理をする。

（１）輝度差演算部１６０より出力される輝度差の平均値が寿命閾値（第１閾値）よりも小さいとき、夜間照明用ＬＥＤ１０４が寿命であると判断する。

（２）輝度差の平均値が寿命閾値よりも小さく且つ間近閾値（第２閾値）よりも小さいとき、夜間照明用ＬＥＤ１０４が寿命間近であると判断する。尚、寿命間近である判断を選択領域の明画像の輝度値の平均値が一定値以上且つ輝度差の平均値が寿命閾値よりも小さく且つ間近閾値よりも小さい場合としても良い。

（３）輝度差の平均値が間近閾値よりも大きいとき、夜間照明用ＬＥＤ１０４が正常であると判断する。例えば、輝度の範囲を０〜２５６であるとき、寿命閾値を２０、間近閾値を５０とする。即ち、０≦輝度差平均値≦２０であるとき、夜間照明用ＬＥＤ１０４が寿命、２０＜輝度差平均値≦５０であるとき、夜間照明用ＬＥＤ１０４が寿命間近、５０＜輝度差平均値≦２５６であるとき、夜間照明用ＬＥＤ１０４が正常であると判断する。

（４）誤差による影響を考慮して、数枚についての輝度差の平均値に対する上記判定により最終判定を行う。

（５）判定結果通知、例えば、ＬＥＤ寿命又はＬＥＤ寿命間近並びに性能低下をセンタ装置５６に通知する。

（６）ＬＥＤの寿命／寿命間近であると判定される場合には、輝度差演算部１６０にログ退避を通知する又は画像処理装置５２側でアラームを上げるようにする。

画像処理装置５２は、図示しないが、明画像取込部１５０により取り込まれてバッファメモリに格納されている明画像（夜間以外の画像も含む）を読み出し、車両番号を認識し、認識結果をセンタ装置５６に通知する、画像認識部を有する。

本実施形態では、画像処理装置５２における夜間照明用ＬＥＤ１０４の点灯／消灯の制御や寿命判定に関わる処理などはプロセッサ上を動作するソフトウェアにより実現するものとする。

入力部５４は、画像処理装置５２への選択領域の入力をオペレータにより行うものであり、例えば、画像処理装置５２に接続されたキーボート等である。センタ装置５６はネットワーク回線を通して画像処理装置５２に接続されており、入力部２００、通知取り込み部２０２及び通知表示部２０４を有する。

入力部２００は入力部５４と実質的に同一である。通知取り込み部２０２は、画像処理装置５２より送信されたＬＥＤ寿命判定結果及び車両番号等の認識通知を通信回線より受信する。

通知表示部２０４はＬＥＤ寿命判定結果通知をディスプレイなどの表示装置に表示する。尚、複数の画像処理装置５２からＬＥＤ寿命判定結果通知がなされる場合には、画像処理装置５２よりその固有番号、例えば、ＩＰアドレスなどの画像処理装置５２を特定する情報、例えば、どこに設置されている撮像装置５０についての通知であるかを示す情報とともにＬＥＤ寿命判定結果通知を表示する。

図４は画像処理システムの一例を示す図である。図４に示す画像処理システムは、高速道路を通行する車両２５０の車両番号を認識して、料金自動支払い等の場合のシステムの構成例を示しており、撮像装置５０が外部に配置され、夜間照明用ＬＥＤ１０４が車両の前面を照射し、カメラ１０２が車両番号を撮像するように配置されている。撮像装置５０には画像処理装置５２がケーブルにより接続されている。画像処理装置５２はネットワーク回線６０を通して、センタ装置５６に接続される。

図５は明画像の取込みを示す図であり、同図（ａ）は夜間照明用ＬＥＤ１０４が点灯している状態を示す図、同図（ｂ）は明画像を示す図である。図６は暗画像の取込みを示す図であり、同図（ａ）は夜間照明用ＬＥＤ１０４が消灯している状態を示す図、同図（ｂ）は暗画像を示す図である。図７は明画像及び暗画像の取り込みを示すフローチャートである。図８はＬＥＤ寿命判定処理フローチャートである。図９は選択領域の輝度差を示す図である。

（ａ）明画像及び暗画像の取込み
明画像取込部１５０は、夜間、ＬＥＤ制御部１５４を通して、夜間照明用ＬＥＤ１０４を点灯する。図５（ａ）に示すように、カメラ１０２は夜間照明用ＬＥＤ１０４が照射している部分を撮像して、図５（ｂ）に示す明画像を出力する。

図７中のステップＳ１０において、明画像取込部１５０は、カメラ１０２より出力される明画像を取り込み、バッファメモリに格納する。暗画像取込部１５２は、夜間以外常時、ＬＥＤ制御部１５４を通して、夜間照明用ＬＥＤ１０４を消灯する。

また、ステップＳ１２において、夜間において、車両番号の認識に支障のでないように、一定周期で一定時間、夜間照明用ＬＥＤ１０４を消灯する。図６（ａ）に示すように、カメラ１０２は撮像して、カメラ１０２は夜間照明用ＬＥＤ１０４が消灯しているとき、図６（ｂ）に示す暗画像を出力する。

ステップＳ１４において、暗画像取込部１５２はカメラ１０２より出力される明画像を取り込み、バッファメモリに格納する。ステップＳ１６において、明画像取込部１５０及び暗画像取込部１５２は、輝度差演算部１６０に明画像及び暗画像をバッファメモリから読み出して渡す。ステップＳ１８において、夜間照明用ＬＥＤ１０４を点灯する。ステップＳ１０〜ステップＳ１８を定期的に繰り返す。

（ｂ）寿命判定
図８中のステップＳ３０において、領域選択部１５８は、入力部５４，２００より領域選択、例えば、図５（ｂ）及び図６（ｂ）に示すように、車両番号が撮像されると予想される画像領域Ａを示す矩形領域（（２２３，１７），（２４１，１７），（２２３，８８），（２４１，８８））の指示を受けると、輝度差演算部１６０に通知する。

ステップＳ３２において、輝度差演算部１６０は、明画像取込部１５０より出力される図５（ｂ）に示す明画像データ、暗画像取込部１５２より出力される暗画像データを受け取る。

ステップＳ３４において、輝度差演算部１６０は、領域選択部１５８により領域選択された画像領域Ａに含まれる各画素の輝度差を算出してから、その平均値を求める。例えば、図９に示すように、夜間照明用ＬＥＤ１０４が正常である場合には、輝度差は間近閾値、例えば、５０よりも大きな値、例えば、６９となる。

このとき、輝度差の平均値を算出しているので、夜間照明用ＬＥＤ１０４の撮像対象物への照射角度の違い等による誤差を平均化できるので、より精度よく輝度差を算出することができる。

また、撮像装置５０が環境光の下に配置されることがあるが、この環境光により輝度値が上昇するが、明画像・暗画像ともに同じ値だけ輝度値が上昇するので、輝度差にはこの環境光による影響分がキャンセルされることとなり、輝度差が夜間照明用ＬＥＤ１０４の照明によるものだけとなり、環境光の影響を受けない。同様に天候にも影響を受けない。

ステップＳ３６において、ＬＥＤ寿命判定部１６２は、輝度差平均値が寿命閾値、例えば、輝度を２５６としたとき、３０以下であるか否かを判定する。寿命閾値以下であれば、夜間照明用ＬＥＤ１０４が寿命であると判断して、ステップＳ４０に進む。輝度差平均値が寿命閾値よりも大きければ、ステップＳ３８に進む。

ステップＳ４０において、ＬＥＤ寿命判定部１６２は、ＬＥＤ寿命、性能低下通知を通知取り込み部２０２に通知すると共に輝度差演算部１６０にログ退避を通知する又は画像処理装置５２側でアラームを上げるようにする。輝度差演算部１６０は明画像及び暗画像の選択領域の輝度及び輝度差並びに輝度差の平均値等のログを退避する。

ステップＳ３８において、ＬＥＤ寿命判定部１６２は、輝度差平均値が間近閾値、例えば、輝度を２００としたとき、５０以下であるか否かを判定する。輝度差平均値が間近閾値以下であれば、夜間照明用ＬＥＤ１０４が寿命間近であると判断して、ステップＳ５０に進む。

輝度差平均値が間近閾値よりも大であれば、夜間照明用ＬＥＤ１０４が正常であると判断して、ステップＳ３２に戻る。ステップＳ５０において、ＬＥＤ寿命判定部１６２は、ＬＥＤ寿命間近、性能低下通知を通知取り込み部２０２に通知すると共に輝度差演算部１６０にログ退避を通知する又は画像処理装置５２側でアラームを上げる。

輝度差演算部１６０は、明画像及び暗画像の選択領域の輝度及び輝度差並びに輝度差の平均値を退避する。図示しない画像認識部は、明画像（夜間以外の画像も含む）より、例えば、車両番号を認識して、センタ装置５６に通知する。

以上説明した本実施形態によれば、リアルタイムなデータを用いて寿命判定を行うので、ＬＥＤ個体それぞれの正確な交換時期を特定することができる。ＬＥＤの寿命判定を行う際に、対象ＬＥＤそれぞれの適切な交換時期を特定することができる。

ＬＥＤの寿命判定を行う際に、対象ＬＥＤが存在する環境下で、明画像と暗画像の輝度差により判断するので、天候条件や外灯の有無などの環境条件に左右されることなく、ＬＥＤそれぞれの適切な交換時期を特定することができる。

撮像装置やＬＥＤ内に設けた受光センサ等のハードウェアにより寿命を判定するのではなく、画像処理を行うプロセッサに搭載したソフトウェアにより寿命を判定するので、ハードウェアが壊れた時も即座に交換時期を特定することができる。ＬＥＤ寿命間近となった場合には警告をするので、ＬＥＤの交換の準備ができて、突然寿命になることがないので運用に支障を来たすことがない。

第２実施形態
図１０は本発明の第２実施形態による画像処理システムの構成図であり、図２中の構成要素と実質的に同一の構成要素には同一の符号を付している。カメラ１０２は、奇数フィールドの画像と偶数フィールドの画像を交互に出力するものとして、画像処理装置３００は、これに同期して、夜間照明ＬＥＤ１０４の寿命を判定する際に、点灯／消灯の制御を行うものとする。

また、この点灯／消灯の時間は、１フレームの半分、例えば、１／６０秒とする。これは、明画像と暗画像のタイムラグをできるだけ少なくして、天候等の同一撮像環境下で同一撮像対象物を撮像するためである。

明画像取込部３５０は、夜間において、夜間照明用ＬＥＤ１０４を点灯するようＬＥＤ制御部１５４に指示する。暗画像取込部３５２は、昼間は常時、夜間はＬＥＤ寿命を判定する際に、奇数フィールド又は偶数フィールドに暗画像が撮像される、例えば、偶数フィールドに暗画像が撮像されるように、カメラ１０２より出力される同期信号、例えば、１ラインの区切りを示す垂直同期信号、偶数・奇数フィールドの区切りを示す水平同期信号及び各画素の区切りを示すクロック信号に同期して、ＬＥＤ１０４を消灯するようＬＥＤ制御部１５４に指示する。

夜間におけるＬＥＤの消灯の制御は、暗画像取込部３５０が有するカメラ１０２の出力とインタフェースするインタフェース部（ハードウェア）が司るものとする。

図１１は夜間照明用ＬＥＤ１０４の点灯／消灯のタイムチャートである。図１１に示すように、夜間以外の日中において、夜間照明用ＬＥＤ１０４は消灯されており、夜間において、一定の周期で、一定時間、例えば、偶数フィールドの暗画像が出力されるように、偶数フィールドの画像の転送時間だけ点灯される。

輝度差演算部３５４は、暗画像取込部３５２より出力される偶数又は奇数フィールドの暗画像とその直前又は直後の奇数又は偶数フィールドの明画像に対して、領域選択部１５８により選択された画像領域において、対応する画素同士の輝度差を求め、その平均値を算出して、ＬＥＤ寿命判定部１６２に出力する。

以上説明した本実施形態によれば、第１実施形態と同様の効果がある上に、比較する明画像と暗画像の撮像時刻のタイムラグを小さくして、同一環境下での及び同一対象物の明画像及び暗画像によりＬＥＤの寿命を判定するので、より正確にＬＥＤの寿命を判断することができる。

第３実施形態
図１２は本発明の第３実施形態による画像処理システムの構成図であり、図２中の構成要素と実質的に同一の構成要素には同一の符号を付している。本実施形態では、入力部５４，２００より、領域選択部４５２は、複数の選択領域を入力する。

複数の領域を選択するのは、例えば、選択領域が１個のみであるとき、選択領域を撮像したカメラ１０２のレンズがゴミの付着により汚れていた場合、木などの障害物が撮像対象物の手前に立ってした場合（以下これらを外的要因と呼ぶ）などには、明画像と暗画像の輝度値が低下することによりその輝度差が小さくなって、夜間照明用ＬＥＤ１０４が正常であるにもかかわらず、寿命間近や寿命であると誤って判断される恐れがある。

そこで、選択領域を複数個として、複数の選択領域についての輝度値の差に基づいて、寿命判断することにより誤判断の防止と外的要因による性能劣化が検出された場合はその旨を通知するようにしている。

図１３は明画像の取込みを示す図であり、同図（ａ）は夜間照明用ＬＥＤ１０４が点灯している状態を示す図、同図（ｂ）は明画像を示す図である。図１４は暗画像の取込みを示す図であり、同図（ａ）は夜間照明用ＬＥＤ１０４が消灯している状態を示す図、同図（ｂ）は暗画像を示す図である。

図１３（ｂ）及び図１４（ｂ）及び示すように、複数の選択領域、例えば、画像の上の左ＵＬ，右ＵＲ，中央ＵＣに３個、画像の下のＤＬ，右ＤＲ，中央ＤＣに３個選択されている。

このとき、例えば、夜間照明用ＬＥＤ１０４が正常であるにもかかわらず、カメラ１０２の外的要因により選択領域ＵＬの明画像と暗画像の輝度差の平均値が寿命閾値や間近閾値より小さくなっても、他の選択ＵＲ，ＵＣ，ＤＬ，ＤＲ，ＤＣにカメラ１０２の外的要因の影響がない場合には、これらの領域の輝度差の平均値が間近閾値よりも大きな値となり、夜間照明用ＬＥＤ１０４が正常であると判断することが可能となるとともに外的要因による性能劣化も判断することが可能となる。

輝度差演算部４５４は、領域選択部４５２により選択された複数の選択領域について、明画像と暗画像の輝度差を算出する。このとき、複数の選択領域の輝度差を同一の明画像及び暗画像に対して求めても良いし、異なる明画像及び暗画像に対して求めても良い。次に、輝度値の平均値を算出する。平均値は、複数の選択領域についてのもの及び各選択領域についてのものを求めて、ＬＥＤ寿命判定部４５６に出力する。

ＬＥＤ寿命判定部４５６は、複数の選択領域の輝度差の平均値と寿命閾値及び間近閾値とを比較して、夜間照明用ＬＥＤ１０４が正常／寿命間近／寿命のいずれであるかを判断する。

更に、外的要因による性能劣化の有無を判断して、外的要因による性能劣化していると判断される場合には、外的要因による性能劣化を通知する。外的要因による性能劣化と判断される場合には、次の場合がある。

（１）夜間照明用ＬＥＤ１０４が正常であると判断されるにも関わらず、ある選択領域についての輝度差の平均値が第３閾値、例えば、寿命閾値や間近閾値よりも小さい場合、（２）選択領域の明画像の輝度値の平均値が一定以下の場合、（３）輝度差の平均値が第３閾値よりも小さく且つ明画像の輝度値の平均値が一定（第４閾値）以下である場合などである。

図１５は、図１３（ｂ）及び図１４（ｂ）に示す複数の選択領域の暗画像及び明画像の輝度値及び輝度差を示す図である。図１５中の（２２３，１０），（２２３，１１）は選択領域ＤＲ，（１１４，１７８）は選択領域ＵＣ，（４５，１５５），（４５，１５６）は選択領域ＵＬ，（２３１，５９），（２３１，６０）は選択領域ＤＲである。図１５では、輝度値の平均値は、暗画像の平均値が６６，明画像の平均値が７７，輝度差の平均値が１０となり、夜間照明用ＬＥＤ１０４が寿命であると判断される。

以上説明した本実施形態によれば、第１実施形態と同様の効果がある上に、選択領域を複数としたので、より正確にＬＥＤの寿命を判断できるとともに、外的要因による性能劣化を判別することができ、迅速に対処できる。

第４実施形態
図１６は本発明の第４実施形態による画像処理システムの構成図であり、図２中の構成要素と実質的に同一の構成要素には同一の符号を付している。本実施形態では、明画像から画像認識部５５０により認識された車両番号の撮像領域を選択領域として領域選択５５２に入力する構成して、図２中の入力部５４及びセンタ装置５０２から入力部を無くしている。

領域選択部５５２は、画像認識部５５０より入力された選択領域を輝度差演算部６０６に出力する。輝度差演算部５５４は領域選択部５５２により入力された選択領域について明画像と暗画像の輝度差の平均値を求める。

このように、目的とする画像認識対象領域を動的に求めて選択領域とすることにより、より効果的に夜間照明用ＬＥＤ１０４の寿命判定を行うことができる。以上説明した本実施形態によれば、第１実施形態と同様の効果がある上に、より効果的にＬＥＤの寿命判定を行うことができる。

本発明の付記として以下のものがある。
（付記１）
撮像画像を出力するカメラと該カメラの撮像対象物を照明する夜間照明用光源を含む撮像装置の前記撮像画像を処理する画像処理装置において、
前記夜間照明用光源の点灯／消灯を制御する光源制御部と、
前記光源制御部の制御により前記夜間照明用光源が夜間において点灯しているときの、前記カメラが撮像した撮像画像である明画像を取り込む明画像取込部と、
前記光源制御部の制御により前記夜間照明用光源が夜間において消灯しているときの、前記カメラが撮像した撮像画像である暗画像を取り込む暗画像取込部と、
前記明画像と前記暗画像の対応する所定領域の輝度差を計算する輝度差演算部と、
前記所定領域の前記輝度差に基づいて、前記夜間照明用光源の寿命を判定する光源寿命判定部と、
を具備したことを特徴とする画像処理装置。
（付記２）
前記光源寿命判定部は、前記輝度差の前記所定領域についての平均値が第１閾値よりも小さいとき前記光源の寿命であると判定し、前記平均値が前記第１閾値よりも大きく第２閾値よりも小さいときに、前記光源の寿命間近であると判断することを特徴とする付記１記載の画像処理装置。
（付記３）
前記輝度差演算部は、前記明画像及び前記暗画像の複数の所定領域の輝度差を算出し、前記光源寿命判定部は、前記輝度差の前記複数の所定領域についての平均値に基づいて、前記夜間照明用光源の寿命を判定することを特徴とする付記２記載の画像処理装置。
（付記４）
前記輝度差演算部は前記各所定領域の輝度差の平均値を算出し、前記光源寿命判定部は、前記夜間照明用光源が正常であると判断される場合に、前記各所定領域の輝度差の平均値が第３閾値よりも小さい場合は、当該所定領域の撮像に関わる前記夜間照明用光源以外の外的要因による性能劣化であると判断することを特徴とする付記３記載の画像処理装置。
（付記５）
前記明画像から車両番号を含む領域を認識する画像認識部を更に具備し、前記輝度差演算部は前記画像認識部が認識した領域を前記所定領域として前記輝度差を計算することを特徴とする付記１記載の画像処理装置。
（付記６）
前記カメラより奇数フィールドの画像と偶数フィールドの画像が交互に出力されるとき、前記光源制御部は前記カメラより出力される前記奇数フィールドの前記画像と前記偶数フィールドの前記画像が出力されるタイミングに同期して前記夜間照明用光源の点灯／消灯を制御することを特徴とする付記１記載の画像処理装置。

本発明の原理図である。本発明の第１実施形態による画像処理システムの構成図である。ＬＥＤの点灯／消灯の制御を示すタイムチャートである。画像処理システムの一例を示す図である。明画像の取り込みを示す図である。暗画像の取り込みを示す図である。明画像及び暗画像の取り込みのフローチャートである。ＬＥＤ寿命判定のフローチャートである。選択領域の輝度値及び輝度差を示す図である。本発明の第２実施形態による画像処理システムの構成図である。夜間照明用ＬＥＤの点灯／消灯の制御を示すタイムチャートである。本発明の第３実施形態による画像処理システムの構成図である。明画像の取り込みを示す図である。暗画像の取り込みを示す図である。複数の選択領域の輝度値及び輝度差を示す図である。本発明の第４実施形態による画像処理システムの構成図である。

符号の説明

１０明画像取込部
１２暗画像取込部
１４光源制御部
１６輝度差演算部
１８光源寿命判定部
２０撮像装置
２２カメラ
２４夜間照明用光源

Claims

撮像画像を出力するカメラと該カメラの撮像対象物を照明する夜間照明用光源を含む撮像装置の前記撮像画像を処理する画像処理装置において、
前記夜間照明用光源の点灯／消灯を制御する光源制御部と、
前記光源制御部の制御により前記夜間照明用光源が夜間において点灯しているときの、前記カメラが撮像した撮像画像である明画像を取り込む明画像取込部と、
前記光源制御部の制御により前記夜間照明用光源が夜間において消灯しているときの、前記カメラが撮像した撮像画像である暗画像を取り込む暗画像取込部と、
前記明画像と前記暗画像の対応する所定領域の輝度差を計算する輝度差演算部と、
前記所定領域の前記輝度差に基づいて、前記夜間照明用光源の寿命を判定する光源寿命判定部と、
を具備したことを特徴とする画像処理装置。
前記光源寿命判定部は、前記輝度差の前記所定領域についての平均値が第１閾値よりも小さいとき前記光源の寿命であると判定し、前記平均値が前記第１閾値よりも大きく第２閾値よりも小さいときに、前記光源の寿命間近であると判断することを特徴とする請求項１記載の画像処理装置。
前記輝度差演算部は、前記明画像及び前記暗画像の複数の所定領域の輝度差を算出し、前記光源寿命判定部は、前記輝度差の前記複数の所定領域についての平均値に基づいて、前記夜間照明用光源の寿命を判定することを特徴とする請求項２記載の画像処理装置。
前記輝度差演算部は前記各所定領域の輝度差の平均値を算出し、前記光源寿命判定部は、前記夜間照明用光源が正常であると判断される場合に、前記各所定領域の輝度差の平均値が第３閾値よりも小さい場合は、当該所定領域の撮像に関わる前記夜間照明用光源以外の外的要因による性能劣化であると判断することを特徴とする請求項３記載の画像処理装置。
前記カメラより奇数フィールドの画像と偶数フィールドの画像が交互に出力されるとき、前記光源制御部は前記カメラより出力される前記奇数フィールドの前記画像と前記偶数フィールドの前記画像が出力されるタイミングに同期して前記夜間照明用光源の点灯／消灯を制御することを特徴とする請求項１記載の画像処理装置。