JP2009278340A - 画像判断装置および画像判断方法 - Google Patents

画像判断装置および画像判断方法 Download PDF

Info

Publication number
JP2009278340A
JP2009278340A JP2008127154A JP2008127154A JP2009278340A JP 2009278340 A JP2009278340 A JP 2009278340A JP 2008127154 A JP2008127154 A JP 2008127154A JP 2008127154 A JP2008127154 A JP 2008127154A JP 2009278340 A JP2009278340 A JP 2009278340A
Authority
JP
Japan
Prior art keywords
image
output
total amount
difference
amount calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008127154A
Other languages
English (en)
Other versions
JP5207823B2 (ja
Inventor
Shoichi Tsuboi
正一 坪井
Hirosumi Morizaki
広純 森崎
Takeshi Aikawa
健 相川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2008127154A priority Critical patent/JP5207823B2/ja
Publication of JP2009278340A publication Critical patent/JP2009278340A/ja
Application granted granted Critical
Publication of JP5207823B2 publication Critical patent/JP5207823B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】車載モニタに出力されている映像がフリーズしている旨を搭乗者に直ちに報知することができる「画像判断装置および画像判断方法」を提供する。
【解決手段】2以上の所定数連続して取得した検査画像から総和量算出部152が全画素に係る画素値の総和を算出した2以上の総和量から差分量算出部162が算出した1以上の差分量のそれぞれがゼロであるか否かを判断部172が判断して、1以上の差分量の何れもがゼロであると判断部172にて判断した場合に、報知部180が、フリーズ報知情報をモニタ190に出力することにより、検査画像の画素毎の画素値を比較する場合に比べ、モニタ190に出力されている映像がフリーズしているか否かを少ない計算量で判断できるようにしている。
【選択図】 図1

Description

本発明は、画像判断装置および画像判断方法に関し、特に、検査画像の全画素に係る画素値の総和量を算出することによって、画像に異常がある旨を報知する画像判断装置および画像判断方法に関するものである。
現在、車両周辺を連続撮像する車載カメラから撮像画像を取得し、車内モニタに映像(動画)として出力することによって車両の運転を支援するシステムが普及しつつある。当該システムでは、何らかの故障が発生した場合、車載モニタに同一の画像が繰り返し出力される場合がある。この場合、車載モニタに出力される映像がフリーズする(変化せず停止した状態となる)。車載モニタに出力される映像がフリーズした場合、フリーズしている映像によって搭乗者が車両周辺の様子を誤認する危険性がある。従って、車載モニタに同一の画像が繰り返し出力された場合に、車載モニタに出力されている映像がフリーズしている旨を搭乗者に直ちに報知する必要がある。映像がフリーズしていることを搭乗者に直ちに気付かせて、搭乗者が車両周辺の様子を誤認しないようにするためである。
車載モニタに出力されている映像がフリーズしている旨を搭乗者に報知する技術に関連して、車載カメラから出力される撮像画像が変化していないことを報知する撮像表示システムが知られている(例えば、特許文献1参照)。特許文献1に記載の撮像表示システムは、今回及び前回の撮像画像の各画素の輝度値を比較することによって車載カメラから出力されている撮像画像が変化していないことを報知する。
特開2004−064440号公報
しかしながら、特許文献1に記載の撮像表示システムは、撮像画像の画素毎の画素値(輝度値)を比較しているため処理負荷が高い。従って、特許文献1に記載の撮像表示システムは、車載カメラから出力されている撮像画像が変化していない旨、つまり、その結果として、車載モニタに出力されている映像がフリーズしている旨を搭乗者に直ちに報知できない可能性があるという問題がある。特に、車載カメラの撮像速度が速い場合または撮像画像の画素数が多い場合に、処理負荷がより一層高くなるため深刻となる。
本発明は、このような問題を解決するために成されたものである。すなわち、車載モニタに同一の画像が繰り返し出力される旨、つまり、車載モニタに出力されている映像がフリーズしている旨を搭乗者に直ちに報知することができるようにすることを目的とする。
上記した課題を解決するために、本発明では、外部から連続して取得される画像または当該画像に基づいて連続して生成される画像を検査画像として連続して取得し、取得した検査画像の全画素に係る画素値の総和である総和量を算出する総和量算出部と、前回および今回取得した両検査画像から総和量算出部が算出した両総和量の差分量を算出する差分量算出部と、2以上の所定数連続して取得した検査画像から総和量算出部が算出した2以上の総和量から差分量算出部が算出した1以上の差分量のそれぞれがゼロであるか否かを判断する判断部と、判断部が1以上の差分量の何れもがゼロであると判断した場合に、画像に異常がある旨を報知する報知部とを設けている。
上記のように構成した本発明によれば、両検査画像(特許文献1に記載の撮像表示システムにおいては両撮像画像)の画素毎の画素値を比較する方法に比べて、両検査画像の全画素の画素値の総和量を比較するだけで良いので、車載モニタに出力されている映像がフリーズしているか否かを少ない計算量で判断することができる。従って、車載モニタに出力されている映像がフリーズしている旨を搭乗者に直ちに報知することができるようになる。
以下、本発明の一実施形態を図面に基づいて説明する。図1は、本発明の第1の実施形態である画像判断装置10の構成例を示す図である。画像判断装置10は、車両に搭載される。画像判断装置10は、車載カメラ5、モニタ190およびスピーカ192と車載ネットワークを介して接続する。画像判断装置10は、図1に示すように、撮像画像取得部100、入力バッファ110、出力画像生成部120、出力バッファ130、出力制御部140、総和量算出部152、差分量算出部162、判断部172、報知部180および報知情報記憶部182を備えて構成される。なお、車載カメラ5は、所定のタイミング(例えば、30フレーム/秒)で車両周辺を連続撮像する。
撮像画像取得部100は、車載カメラ5によって連続撮像された撮像画像を連続して取得する。撮像画像取得部100は、車載カメラ5から撮像画像を取得する度に、車載カメラ5から取得した撮像画像を入力バッファ110に記憶する。また、撮像画像取得部100は、車載カメラ5から撮像画像を取得する度に、車載カメラ5から取得した撮像画像を総和量算出部152に供給する。
出力画像生成部120は、入力バッファ110に逐次記憶される撮像画像を逐次読み出して、読み出した撮像画像からモニタ190(出力画面)上に出力する形式の画像(以下、「出力画像」という)を生成する。出力画像生成部120は、出力画像を生成する度に、生成した出力画像を出力バッファ130に記憶する。
出力制御部140は、出力バッファ130に逐次記憶される出力画像を逐次読み出して、読み出した出力画像をモニタ190に出力する。つまり、車載カメラ5によって連続撮像された撮像画像が、撮像画像取得部100、入力バッファ110、出力画像生成部120、出力バッファ130および出力制御部140によって、モニタ190に映像(動画)として出力される。
報知情報記憶部182は、モニタ190に出力されている映像がフリーズしている旨を報知するための情報(以下、「フリーズ報知情報」という)を記憶する。具体的には、報知情報記憶部182は、モニタ190に出力すべきテキスト形式のフリーズ報知情報(例えば、「映像フリーズ中」なる文言)を記憶する。
総和量算出部152は、モニタ190に出力されている映像がフリーズしているか否かを検査するための画像(以下、「検査画像」という)として、撮像画像を撮像画像取得部100から逐次取得する。総和量算出部152は、撮像画像取得部100から撮像画像を取得する度に、撮像画像取得部100から取得した各撮像画像について、全画素に係る画素値の総和である総和量を算出する。
具体的には、総和量算出部152は、撮像画像取得部100から有色(カラー)の撮像画像を取得したときは、画像のフォーマットにより、RGB色空間におけるG成分の値(以下、「G値」という)、または、YUV色空間におけるY成分(輝度値)の値を全画素数分合計して各撮像画像について総和量を算出する。また、総和量算出部152は、撮像画像取得部100から無色(モノクロ)の撮像画像を取得したときは、濃淡値(階調値)を用いて総和量を算出する。総和量算出部152は、各撮像画像について総和量を算出する度に、算出した総和量を差分量算出部162に逐次供給する。
差分量算出部162は、各撮像画像に係る全画素値の総和量を総和量算出部152から逐次取得する。差分量算出部162は、総和量算出部152から取得した総和量を一時記憶する。差分量算出部162は、総和量算出部152から総和量を取得する度に、差分量算出部162が前回取得した総和量(総和量算出部152によって前回算出された総和量。以下、「前回の総和量」という)と差分量算出部162が今回取得した総和量(総和量算出部152によって今回算出された総和量。以下、「今回の総和量」という)との差である差分量を算出する。差分量算出部162は、差分量を算出する度に、算出した差分量を判断部172に逐次供給する。
判断部172は、差分量算出部162から差分量を逐次取得する。判断部172は、差分量算出部162から差分量を取得する度に、総和量算出部152が2以上の所定数連続して取得した撮像画像から算出した2以上の総和量から差分量算出部162が算出した1以上の差分量のそれぞれがゼロであるか否かを判断する。つまり、判断部172は、差分量算出部162から連続して取得した1以上の差分量のそれぞれがゼロであるか否かを判断する。
例えば、所定数が2の場合、判断部172は、判断部172が今回取得した差分量(差分量算出部162が前回の総和量と今回の総和量から今回算出した差分量。以下、「今回の差分量」という)がゼロであるか否かを判断する。また、所定数が3の場合、判断部172は、判断部172が前回取得した差分量(差分量算出部162が前々回の総和量と前回の総和量から前回算出した差分量。以下、「前回の差分量」という)がゼロであるか否か、および、今回の差分量がゼロであるか否かを判断する。つまり、判断部172は、撮像画像取得部100が車載カメラ5から連続して取得した所定数n(nは2以上の整数)個の撮像画像におけるn−1個の差分量のそれぞれがゼロであるか否かを判断する。なお、所定数が3以上の場合、判断部172は、差分量算出部162から取得した差分量を一時記憶する。
判断部172は、総和量算出部152が2以上の所定数連続して取得した撮像画像から算出した2以上の総和量から差分量算出部162が算出した1以上の差分量の何れもがゼロであると判断した場合、総和量が一定である旨を示す通知(以下、「総和量一定通知」という)を報知部180に供給(通知)する。
報知部180は、総和量一定通知を判断部172から取得する。報知部180は、総和量一定通知を判断部172から取得した場合、テキスト形式のフリーズ報知情報を報知情報記憶部182から読み出してモニタ190に出力する。
以下、画像判断装置10の動作について説明する。図2は、図1に示す画像判断装置10の動作例を示すフローチャートである。なお、図2に示すフローチャートは、撮像画像取得部100が車載カメラ5から撮像画像を取得してから報知部180がフリーズ報知情報を報知するまでの動作を示す。
図2において、総和量算出部152は、撮像画像取得部100から検査画像として撮像画像を取得する(ステップS100)。総和量算出部152は、撮像画像取得部100から取得した撮像画像の全画素に係る画素値の総和量を算出する(ステップS110)。総和量算出部152は、算出した総和量を差分量算出部162に供給する。差分量算出部162は、総和量算出部152から総和量を取得する。差分量算出部162は、前回の総和量と今回の総和量との差分量を算出する(ステップS120)。差分量算出部162は、算出した差分量を判断部172に供給する。
判断部172は、差分量算出部162から差分量を取得する。判断部172は、総和量算出部152が2以上の所定数連続して取得した撮像画像から算出した2以上の総和量から差分量算出部162が算出した1以上の差分量の何れもがゼロであるか否かを判断する(ステップS130)。
上記1以上の差分量の何れもがゼロであると判断部172にて判断した場合(ステップS130:Yes)、判断部172は、総和量一定通知を報知部180に供給する。総和量一定通知を判断部172から取得した報知部180は、報知情報記憶部182に記憶されたテキスト形式のフリーズ報知情報「映像フリーズ中」を読み出してモニタ190に出力する(ステップS140)。一方、上記1以上の差分量の何れかがゼロでないと判断部172にて判断した場合(ステップS130:No)、ステップS140を飛ばしてステップS150に進む。
ステップS130(No)またはステップS140に続いて、非図示の終了判断部は、フリーズ報知情報の出力機能を停止するか否かを判断する(ステップS150)。フリーズ報知情報の出力機能を停止すると終了判断部にて判断した場合(ステップS150:Yes)、本フローチャートは終了する。一方、フリーズ報知情報の出力機能を停止しないと終了判断部にて判断した場合(ステップS150:No)、ステップS100に戻る。なお、終了判断部は、例えば、キーオフを検知した場合などにフリーズ報知情報の出力機能を停止する判断する。
以上、画像判断装置10によれば、検査画像の全画素の画素値の総和量を比較するだけで良いので、検査画像(撮像画像)の画素毎の画素値を比較する場合に比べ、モニタ190に出力されている映像がフリーズしているか否かを少ない計算量で判断することができる。従って、モニタ190に出力されている映像がフリーズしている旨を搭乗者に直ちに報知することができるようになる。
続いて、本発明の他の実施形態を図面に基づいて説明する。図3は、本発明の第2の実施形態である画像判断装置20の構成例を示す図である。図4は、図3に示す報知情報記憶部282に記憶されている情報の一例を示す図である。画像判断装置20は、画像判断装置10と同様、車両に搭載され、車載カメラ5、モニタ290およびスピーカ292と車載ネットワークを介して接続する。
画像判断装置20は、図3に示すように、撮像画像取得部200、入力バッファ210、出力画像生成部220、出力バッファ230、出力制御部240、総和量算出部250、差分量算出部260、判断部270、報知部280および報知情報記憶部282を備えて構成される。総和量算出部250は、第1総和量算出部252、第2総和量算出部254、第3総和量算出部256および第4総和量算出部258から更に構成される。差分量算出部260は、第1差分量算出部262、第2差分量算出部264、第3差分量算出部266および第4差分量算出部268から更に構成される。判断部270は、第1判断部272、第2判断部274、第3判断部276および第4判断部278から更に構成される。
撮像画像取得部200は、図1に示す画像判断装置10の撮像画像取得部100と同様、車載カメラ5によって連続撮像された撮像画像を連続して取得する。撮像画像取得部200は、車載カメラ5から撮像画像を取得する度に、車載カメラ5から取得した撮像画像を入力バッファ210に記憶する。また、撮像画像取得部200は、車載カメラ5から撮像画像を取得する度に、車載カメラ5から取得した撮像画像を第1総和量算出部252に供給する。
出力画像生成部220は、入力バッファ210に逐次記憶される撮像画像を逐次読み出して出力画像を生成する。出力画像生成部220は、出力画像を生成する度に、生成した出力画像を出力バッファ230に記憶する。また、出力画像生成部220は、出力画像を生成する度に、生成した出力画像を第3総和量算出部256に供給する。
出力制御部240は、図1に示す画像判断装置10の出力制御部140と同様、出力バッファ230に逐次記憶される出力画像を逐次読み出して、読み出した出力画像をモニタ290に出力する。つまり、車載カメラ5によって連続撮像された撮像画像が、撮像画像取得部200、入力バッファ210、出力画像生成部220、出力バッファ230および出力制御部240によって、モニタ290に映像(動画)として出力される。
報知情報記憶部282は、フリーズ報知情報、および、フリーズの原因とみなせる故障箇所を報知するための情報(以下、「故障箇所報知情報」という)を記憶する。具体的には、報知情報記憶部282は、図4に示すように、第1判断部272、第2判断部274、第3判断部276または第4判断部278からの総和量一定通知の有無に基づく通知有無パターンに対応付けて、テキスト形式のフリーズ報知情報および故障箇所報知情報を記憶する。
図4に示す例において、報知情報記憶部282は、通知有無パターン1に対応付けて、テキスト形式のフリーズ報知情報(「映像フリーズ中」なる文言)、および、テキスト形式の故障箇所報知情報(「車載カメラまたは撮像画像取得部の何れかに異常あり」なる文言)を記憶している。また、報知情報記憶部282は、通知有無パターン2に対応付けて、テキスト形式のフリーズ報知情報(「映像フリーズ中」なる文言)、および、テキスト形式の故障箇所報知情報(「入力バッファに異常あり」なる文言)を記憶している。また、報知情報記憶部282は、通知有無パターン3に対応付けて、テキスト形式のフリーズ報知情報(「映像フリーズ中」なる文言)、および、テキスト形式の故障箇所報知情報(「出力画像生成部に異常あり」なる文言)を記憶している。また、報知情報記憶部282は、通知有無パターン4に対応付けて、テキスト形式のフリーズ報知情報(「映像フリーズ中」なる文言)、および、テキスト形式の故障箇所報知情報(「出力バッファに異常あり」なる文言)を記憶している。
第1総和量算出部252は、検査画像として撮像画像を撮像画像取得部200から逐次取得する。第2総和量算出部254は、入力バッファ210から逐次読み出される撮像画像を検査画像として逐次取得する。第3総和量算出部256は、検査画像として出力画像を出力画像生成部220から逐次取得する。第4総和量算出部258は、出力バッファ230から逐次読み出される出力画像を検査画像として逐次取得する。
第1総和量算出部252は、撮像画像取得部200から撮像画像を取得する度に、画像判断装置10の総和量算出部152と同様、各撮像画像について全画素数値の総和量を算出して第1差分量算出部262に逐次供給する。同様に、第2総和量算出部254は、入力バッファ210から撮像画像を取得する度に、各撮像画像について全画素数値の総和量を算出して第2差分量算出部264に逐次供給する。第3総和量算出部256は、出力画像生成部220から出力画像を取得する度に、各出力画像について全画素数値の総和量を算出して第3差分量算出部266に逐次供給する。第4総和量算出部258は、出力バッファ230から出力画像を取得する度に、各出力画像について全画素数値の総和量を算出して第4差分量算出部268に逐次供給する。
第1差分量算出部262は、第1総和量算出部252から各撮像画像に係る総和量を逐次取得し一時記憶する。同様に、第2差分量算出部264は、第2総和量算出部254から各撮像画像に係る総和量を逐次取得し一時記憶する。第3差分量算出部266は、第3総和量算出部256から各出力画像に係る総和量を逐次取得し一時記憶する。第4差分量算出部268は、第4総和量算出部258から各出力画像に係る総和量を逐次取得し一時記憶する。
第1差分量算出部262は、第1総和量算出部252から総和量を取得する度に、画像判断装置10の差分量算出部162と同様、差分量を算出して第1判断部272に逐次供給する。同様に、第2差分量算出部264は、第2総和量算出部254から総和量を取得する度に、差分量を算出して第2判断部274に逐次供給する。第3差分量算出部266は、第3総和量算出部256から総和量を取得する度に、差分量を算出して第3判断部276に逐次供給する。第4差分量算出部268は、第4総和量算出部258から総和量を取得する度に、差分量を算出して第4判断部278に逐次供給する。
第1判断部272は、第1差分量算出部262から差分量を逐次取得する。同様に、第2判断部274は、第2差分量算出部264から差分量を逐次取得する。第3判断部276は、第3差分量算出部266から差分量を逐次取得する。第4判断部278は、第4差分量算出部268から差分量を逐次取得する。
第1判断部272は、第1差分量算出部262から差分量を取得する度に、画像判断装置10の判断部172と同様、第1総和量算出部252が2以上の所定数連続して取得した撮像画像から算出した2以上の総和量から第1差分量算出部262が算出した1以上の差分量のそれぞれがゼロであるか否かを判断し、差分量の何れもがゼロであると判断した場合、総和量一定通知を報知部280に供給する。
同様に、第2判断部274は、第2差分量算出部264から差分量を取得する度に、第2総和量算出部254が2以上の所定数連続して取得した撮像画像から算出した2以上の総和量から第2差分量算出部264が算出した1以上の差分量のそれぞれがゼロであるか否かを判断し、差分量の何れもがゼロであると判断した場合、総和量一定通知を報知部280に供給する。
第3判断部276は、第3差分量算出部266から差分量を取得する度に、第3総和量算出部256が2以上の所定数連続して取得した出力画像から算出した2以上の総和量から第3差分量算出部266が算出した1以上の差分量のそれぞれがゼロであるか否かを判断し、差分量の何れもがゼロであると判断した場合、総和量一定通知を報知部280に供給する。
第4判断部278は、第4差分量算出部268から差分量を取得する度に、第4総和量算出部258が2以上の所定数連続して取得した出力画像から算出した2以上の総和量から第4差分量算出部268が算出した1以上の差分量のそれぞれがゼロであるか否かを判断し、差分量の何れもがゼロであると判断した場合、総和量一定通知を報知部280に供給する。なお、判断部270(第1判断部272、第2判断部274、第3判断部276および第4判断部278)は、図1に示す画像判断装置10の判断部172と同様、所定数が3以上の場合、取得した差分量を一時記憶する。
報知部280は、総和量一定通知を判断部270(第1判断部272、第2判断部274、第3判断部276および第4判断部278)から取得する。報知部280は、総和量一定通知を第1判断部272から取得した場合(第2判断部274、第3判断部276および第4判断部278からの取得の有無は問わない)、通知有無パターン1に対応付けて報知情報記憶部282に記憶されたテキスト形式のフリーズ報知情報「映像フリーズ中」およびテキスト形式の故障箇所報知情報「車載カメラまたは撮像画像取得部の何れかに異常あり」を読み出してモニタ290に出力する。
一方、報知部280は、総和量一定通知を第1判断部272から取得せず、かつ、第2判断部274から取得した場合(第3判断部276および第4判断部278からの取得の有無は問わない)、通知有無パターン2に対応付けて報知情報記憶部282に記憶されたテキスト形式のフリーズ報知情報「映像フリーズ中」およびテキスト形式の故障箇所報知情報「入力バッファに異常あり」を読み出してモニタ290に出力する。
また、報知部280は、総和量一定通知を第2判断部274から取得せず、かつ、第3判断部276から取得した場合(第1判断部272および第4判断部278からの取得の有無は問わない)、通知有無パターン3に対応付けて報知情報記憶部282に記憶されたテキスト形式のフリーズ報知情報「映像フリーズ中」およびテキスト形式の故障箇所報知情報「出力画像生成部に異常あり」を読み出してモニタ290に出力する。
さらに、報知部280は、総和量一定通知を第3判断部276から取得せず、かつ、第4判断部278から取得した場合(第1判断部272および第2判断部274からの取得の有無は問わない)、通知有無パターン4に対応付けて報知情報記憶部282に記憶されたテキスト形式のフリーズ報知情報「映像フリーズ中」およびテキスト形式の故障箇所報知情報「出力バッファに異常あり」を読み出してモニタ290に出力する。
以下、画像判断装置20の動作について説明する。図5は、図3に示す画像判断装置20の動作例を示すフローチャートである。なお、図5に示すフローチャートは、撮像画像取得部200が車載カメラ5から撮像画像を取得してから報知部280がフリーズ報知情報および故障箇所報知情報を報知するまでの動作を示す。
図5において、ステップS10は、入力バッファ210に記憶される前の撮像画像に基づいて差分量を算出する処理である。具体的には、まず、第1総和量算出部252は、検査画像として撮像画像を撮像画像取得部200から取得する。第1総和量算出部252は、撮像画像取得部200から取得した撮像画像について全画素値の総和量を算出して第1差分量算出部262に供給する。そして、第1総和量算出部252から総和量を取得した第1差分量算出部262は差分量を算出する(ステップS10)。第1差分量算出部262は、算出した差分量を第1判断部272に供給する。
第1差分量算出部262から差分量を取得した第1判断部272は、第1総和量算出部252が2以上の所定数連続して取得した撮像画像から算出した2以上の総和量から第1差分量算出部262が算出した1以上の差分量の何れもがゼロであるか否かを判断する(ステップS12)。上記1以上の差分量の何れもがゼロであると第1判断部272にて判断した場合(ステップS12:Yes)、第1判断部272は、総和量一定通知を報知部280に供給する。
総和量一定通知を第1判断部272から取得した報知部280は、通知有無パターン1に対応付けて報知情報記憶部282に記憶されたテキスト形式のフリーズ報知情報「映像フリーズ中」およびテキスト形式の故障箇所報知情報「車載カメラまたは撮像画像取得部の何れかに異常あり」を読み出してモニタ290に出力する(ステップS14)。そして、ステップS20からステップS44を飛ばしてステップS50に進む。
一方、上記1以上の差分量の何れかがゼロでないと第1判断部272にて判断した場合(ステップS12:No)、ステップS20に進む。ステップS20は、入力バッファ210から読み出された撮像画像に基づいて差分量を算出する処理である。具体的には、まず、第2総和量算出部254は、入力バッファ210から読み出された撮像画像を検査画像として取得する。第2総和量算出部254は、入力バッファ210から取得した撮像画像について全画素値の総和量を算出して第2差分量算出部264に供給する。そして、第2総和量算出部254から総和量を取得した第2差分量算出部264は差分量を算出する(ステップS20)。第2差分量算出部264は、算出した差分量を第2判断部274に供給する。
第2差分量算出部264から差分量を取得した第2判断部274は、第2総和量算出部254が2以上の所定数連続して取得した撮像画像から算出した2以上の総和量から第2差分量算出部264が算出した1以上の差分量の何れもがゼロであるか否かを判断する(ステップS22)。上記1以上の差分量の何れもがゼロであると第2判断部274にて判断した場合(ステップS22:Yes)、第2判断部274は、総和量一定通知を報知部280に供給する。
総和量一定通知を第2判断部274から取得した報知部280は、通知有無パターン2に対応付けて報知情報記憶部282に記憶されたテキスト形式のフリーズ報知情報「映像フリーズ中」およびテキスト形式の故障箇所報知情報「入力バッファに異常あり」を読み出してモニタ290に出力する(ステップS24)。そして、ステップS30からステップS44を飛ばしてステップS50に進む。
一方、上記1以上の差分量の何れかがゼロでないと第2判断部274にて判断した場合(ステップS22:No)、ステップS30に進む。ステップS30は、出力バッファ230に記憶される前の出力画像に基づいて差分量を算出する処理である。具体的には、まず、第3総和量算出部256は、検査画像として出力画像を出力画像生成部220から取得する。第3総和量算出部256は、出力画像生成部220から取得した出力画像について全画素値の総和量を算出して第3差分量算出部266に供給する。そして、第3総和量算出部256から総和量を取得した第3差分量算出部266は差分量を算出する(ステップS30)。第3差分量算出部266は、算出した差分量を第3判断部276に供給する。
第3差分量算出部266から差分量を取得した第3判断部276は、第3総和量算出部256が2以上の所定数連続して取得した出力画像から算出した2以上の総和量から第3差分量算出部266が算出した1以上の差分量の何れもがゼロであるか否かを判断する(ステップS32)。上記1以上の差分量の何れもがゼロであると第3判断部276にて判断した場合(ステップS32:Yes)、第3判断部276は、総和量一定通知を報知部280に供給する。
総和量一定通知を第3判断部276から取得した報知部280は、通知有無パターン3に対応付けて報知情報記憶部282に記憶されたテキスト形式のフリーズ報知情報「映像フリーズ中」およびテキスト形式の故障箇所報知情報「出力画像生成部に異常あり」を読み出してモニタ290に出力する(ステップS34)。そして、ステップS40からステップS44を飛ばしてステップS50に進む。
一方、上記1以上の差分量の何れかがゼロでないと第3判断部276にて判断した場合(ステップS32:No)、ステップS40に進む。ステップS40は、出力バッファ230から読み出された出力画像に基づいて差分量を算出する処理である。具体的には、まず、第4総和量算出部258は、出力バッファ230から読み出された出力画像を検査画像として取得する。第4総和量算出部258は、出力バッファ230から取得した出力画像について全画素値の総和量を算出して第4差分量算出部268に供給する。そして、第4総和量算出部258から総和量を取得した第4差分量算出部268は差分量を算出する(ステップS40)。第4差分量算出部268は、算出した差分量を第4判断部278に供給する。
第4差分量算出部268から差分量を取得した第4判断部278は、第4総和量算出部258が2以上の所定数連続して取得した出力画像から算出した2以上の総和量から第4差分量算出部268が算出した1以上の差分量の何れもがゼロであるか否かを判断する(ステップS42)。上記1以上の差分量の何れもがゼロであると第4判断部278にて判断した場合(ステップS42:Yes)、第4判断部278は、総和量一定通知を報知部280に供給する。
総和量一定通知を第4判断部278から取得した報知部280は、通知有無パターン4に対応付けて報知情報記憶部282に記憶されたテキスト形式のフリーズ報知情報「映像フリーズ中」およびテキスト形式の故障箇所報知情報「出力バッファに異常あり」を読み出してモニタ290に出力する(ステップS44)。一方、上記1以上の差分量の何れかがゼロでないと第4判断部278にて判断した場合(ステップS42:No)、ステップS44を飛ばしてステップS50に進む。
ステップS14、ステップS24、ステップS34、ステップS42(No)またはステップS44に続いて、非図示の終了判断部は、図2に示すフローチャートのステップS150と同様、フリーズ報知情報の出力機能を停止するか否かを判断する(ステップS50)。フリーズ報知情報の出力機能を停止すると終了判断部にて判断した場合(ステップS50:Yes)、本フローチャートは終了する。一方、フリーズ報知情報の出力機能を停止しないと終了判断部にて判断した場合(ステップS50:No)、ステップS10に戻る。
なお、画像判断装置20が複数の出力バッファを備える場合には、第4総和量算出部258は、複数の出力バッファのうち何れか1つの出力バッファに逐次記憶された出力画像を検査画像として連続して取得し、総和量を算出する。図6は、図3に示す画像判断装置20が2つの出力バッファ231、232を備える場合における第4総和量算出部258の動作を説明するための図である。
出力画像生成部220は、図6(a)に示すように、生成した出力画像を出力バッファ231および出力バッファ232に記憶する。具体的には、出力画像生成部220は、今回生成した出力画像を、前回生成した出力画像を記憶した一方の出力バッファと異なる他方の出力バッファに記憶する。例えば、図6(b)に示すように、出力画像生成部220は、1番目に生成した出力画像1を出力バッファ231に記憶し、2番目に生成した出力画像2を出力バッファ232に記憶し、3番目に生成した出力画像3を再度出力バッファ231に記憶するという動作を繰り返す。
出力制御部240は、図6(a)に示すように、出力バッファ231および出力バッファ232に記憶されている出力画像を読み出してモニタ290に出力する。このとき、出力制御部240は、出力画像生成部220によって出力画像の書き込みが行われていない方の出力バッファから、書き込みの2倍の速度(60フレーム/秒の速度)で出力画像を2回ずつ続けて読み出してモニタ290に出力する。
例えば、出力画像生成部220によって図6(b)に示すように出力画像が出力バッファ231および出力バッファ232に記憶された場合には、出力制御部240は、出力画像生成部220が出力バッファ232に出力画像2を書き込んでいる間に、出力バッファ231から出力画像1を2回続けて倍速で読み出してモニタ290に出力する。次に、出力制御部240は、出力画像生成部220が出力バッファ231に出力画像3を書き込んでいる間に、出力バッファ232から出力画像2を2回続けて倍速で読み出してモニタ290に出力する。以下、同様の動作を繰り返す。
第4総和量算出部258は、図6(a)に示すように、出力バッファ231から読み出される出力画像を検査画像として連続して取得し、総和量を算出する。例えば、出力画像生成部220によって図6(b)に示すように出力画像が出力バッファ231および出力バッファ232に記憶される場合には、第4総和量算出部258は、出力バッファ231から、出力画像1、出力画像1、出力画像3、出力画像3(以下同様)を順番に取得し、それぞれの総和量を算出するという動作を繰り返す。
なお、図6(a)に示す場合、後段の第4判断部278は、第4総和量算出部258が3以上の所定数連続して取得した出力画像から算出した3以上の総和量から第4差分量算出部268が算出した2以上の差分量のそれぞれがゼロであるか否かを判断する。図6(a)に示す場合では、出力バッファ231から同一の出力画像が2回続けて読み出されるため、所定数を2とした場合、第4差分量算出部268が算出する1つの差分量は常にゼロとなり、正しい判断ができなくなるからである。
以上、画像判断装置20によれば、画像判断装置10と同様、モニタ290に出力されている映像がフリーズしているか否かを少ない計算量で判断することができる。従って、モニタ290に出力されている映像がフリーズしている旨を搭乗者に直ちに報知することができるようになる。更に、故障箇所報知情報が出力されるので、フリーズの原因と考えられる故障箇所を簡易に特定することができるようになる。
また、画像判断装置20が複数の出力バッファ231、232を備える場合、第4総和量算出部258は、何れか1つの出力バッファ231(出力バッファ232でもよい)から出力画像を取得して総和量を算出するようにしている。出力バッファが複数ある場合、モニタ290に出力されている映像が実質的にフリーズしている場合であっても、それぞれは変化しない複数の出力画像が出力バッファ231、232から交互に出力され続ける。このため、両方のバッファ231、232から出力される画像を検査対象(検査画像)にすると、出力画像が変化し続けていると誤認識してしまう。これに対して、何れか1つの出力バッファの出力画像のみを検査対象にすれば、モニタ290に出力されている映像がフリーズしていることを確実に報知することができる。
すなわち、複数の出力バッファ231、232のそれぞれに記憶された出力画像同士は互いに異なるが、各出力バッファ231、232に記憶された出力画像が時間的に変化しないときに、モニタ290に出力されている映像は実質的にフリーズする。仮に、第4総和量算出部258が出力バッファ231、232の双方から出力画像を取得している場合に映像が実質的にフリーズしても、第4判断部278は、総和量一定通知を報知部280に供給することができない。所定数を2とした場合を除き、出力バッファ231から取得した出力画像と出力バッファ232から取得した出力画像間の差分量がゼロとならないからである。なお、所定数を2とした場合、上述の通り、第4差分量算出部268が算出する1つの差分量は常にゼロとなるため、意味をなさない。一方、第4総和量算出部258が出力バッファ231のみから出力画像を取得している場合に映像が実質的にフリーズしたときは、第4判断部278は、総和量一定通知を報知部280に供給ことができる。出力バッファ231から取得した出力画像間の差分量がゼロとなるからである。
なお、画像判断装置20は、検査画像として4種類の画像(撮像画像取得部200から供給される撮像画像、入力バッファ210から読み出される撮像画像、出力画像生成装置220から供給される出力画像、および、出力バッファ230から読み出される出力画像)を用いてモニタ290に出力されている映像がフリーズしているか否かを判断しているが、上記4種類の画像全てを用いなくてもよい。
例えば、画像判断装置20は、上記4種類の画像のうち何れか1種類の画像のみを用いて上記を判断してもよい。画像判断装置20が入力バッファ210から読み出される撮像画像のみを用いて上記を判断する場合、総和量算出部250は第2総和量算出部254のみから構成され、差分量算出部260は第2差分量算出部264のみから構成され、判断部270は第2判断部274のみから構成される。また、画像判断装置20が出力画像生成装置220から供給される出力画像のみを用いて上記を判断する場合、総和量算出部250は第3総和量算出部256のみから構成され、差分量算出部260は第3差分量算出部266のみから構成され、判断部270は第3判断部276のみから構成される。
また、画像判断装置20が出力バッファ230から読み出される出力画像のみを用いて上記を判断する場合、総和量算出部250は第4総和量算出部258のみから構成され、差分量算出部260は第4差分量算出部268のみから構成され、判断部270は第4判断部278のみから構成される。なお、画像判断装置20が撮像画像取得部200から供給される撮像画像のみを用いて上記を判断する場合は、画像判断装置10と同様、総和量算出部250は第1総和量算出部252のみから構成され、差分量算出部260は第1差分量算出部262のみから構成され、判断部270は第1判断部272のみから構成される。
また、画像判断装置20は、上記4種類の画像のうち何れか2種類の画像、または何れか3種類の画像を用いてモニタ290に出力されている映像がフリーズしているか否かを判断してもよい。一例として、画像判断装置20が撮像画像取得部200から供給される撮像画像および出力画像生成装置220から供給される出力画像を用いて上記を判断する場合、総和量算出部250は第1総和量算出部252および第3総和量算出部256から構成され、差分量算出部260は第1差分量算出部262および第3差分量算出部266から構成され、判断部270は第1判断部272および第3判断部276から構成される。
この場合、報知部280は、第1判断部272からのみ総和量一定通知を取得した場合、テキスト形式のフリーズ報知情報「映像フリーズ中」およびテキスト形式の故障箇所報知情報「車載カメラまたは撮像画像取得部の何れかに異常あり」をモニタ290に出力する。また、報知部280は、第3判断部276のみから総和量一定通知を取得した場合、テキスト形式のフリーズ報知情報「映像フリーズ中」およびテキスト形式の故障箇所報知情報「入力バッファまたは出力映像生成部の何れかに異常あり」をモニタ290に出力する。
他の一例として、画像判断装置20が入力バッファ210から読み出される撮像画像および出力バッファ230から読み出される出力画像を用いて上記を判断する場合、総和量算出部250は第2総和量算出部254および第4総和量算出部258から構成され、差分量算出部260は第2差分量算出部264および第4差分量算出部268から構成され、判断部270は第2判断部274および第4判断部278から構成される。
この場合、報知部280は、第2判断部274のみから総和量一定通知を取得した場合、テキスト形式のフリーズ報知情報「映像フリーズ中」およびテキスト形式の故障箇所報知情報「車載カメラ、撮像画像取得部または入力バッファの何れかに異常あり」をモニタ290に出力する。また、報知部280は、第4判断部278のみから総和量一定通知を取得した場合、テキスト形式のフリーズ報知情報「映像フリーズ中」およびテキスト形式の故障箇所報知情報「出力映像生成部または出力バッファの何れかに異常あり」をモニタ290に出力する。
また、画像判断装置10の報知情報記憶部182は、テキスト形式のフリーズ報知情報に代えてまたは加えて画像形式のフリーズ報知情報(例えば、「映像フリーズ中」なる文言を描いた画像)を記憶してもよい。また、報知情報記憶部182は、テキスト形式のフリーズ報知情報に代えてまたは加えて、スピーカ192に出力すべき音声形式のフリーズ報知情報(「映像フリーズ中」と発する音声メッセージ)を記憶してもよい。また、この場合、画像判断装置10の報知部180は、テキスト形式のフリーズ報知情報に代えてまたは加えて画像形式のフリーズ報知情報をモニタ190に出力してもよい。また、報知部180は、テキスト形式のフリーズ報知情報に代えてまたは加えて音声形式のフリーズ報知情報をスピーカ192に出力してもよい。
同様に、画像判断装置20の報知情報記憶部282は、テキスト形式に代えてまたは加えて、画像形式または音声形式のフリーズ報知情報および故障箇所報知情報を記憶してもよい。また、この場合、画像判断装置20の報知部280は、テキスト形式に代えてまたは加えて、画像形式または音声形式のフリーズ報知情報および故障箇所報知情報をモニタ290またはスピーカ292に出力してもよい。
また、画像判断装置10の総和量算出部152は、撮像画像取得部100から有色の撮像画像を取得したときは、G値に代えてR成分の値(以下、「R値」という)またはB成分の値(以下、「B値」という)を用いて総和量を算出してもよい。また、総和量算出部152は、R値、G値、B値の何れか2つ以上を用いて総和量を算出してもよい。画像判断装置20の第1総和量算出部252、第2総和量算出部254、第3総和量算出部256および第4総和量算出部258についても同様である。
また、所定数は一定でもよいが、車両の走行速度に応じて変化させるようにしてもよい。これにより、車両の速度が速い場合において、映像がフリーズしている旨を搭乗者に一層早く報知することができるようになる。車両の速度が速い場合は、遅い場合に比べ、車両周辺の景色が大幅に変わるため、検査画像を少なくすることができるからである。
車両の走行速度に応じて所定数を変化させる一例として、画像判断装置10は、車両の走行速度を取得する走行速度取得部(非図示)を更に備える。そして、判断部172は、走行速度取得部から取得した車両の走行速度が閾値未満の場合、X個(2以上の整数)の検査画像(撮像画像)におけるX−1個の差分量のそれぞれがゼロであるか否かを判断し、閾値以上の場合は、Y個(2以上X未満の整数)の検査画像(撮像画像)におけるY−1個の差分量のそれぞれがゼロであるか否かを判断する。画像判断装置20の場合も同様である。
また、所定数は、車両周辺の明るさに応じて変化させてもよい。これにより、車両の周辺が明るい場合において、映像がフリーズしている旨を搭乗者に一層早く報知することができるようになる。車両の周辺が明るい場合は、暗い場合に比べ、互いに異なる複数の検査画像(同一画素位置の各画素のうち1以上の画素の画素値が互いに異なる複数の検査画像)の各総和量が偶然に一致する確率が一層低くなるため、検査画像の数を少なくすることができるからである。明るい場合に、複数の検査画像の各総和量が偶然に一致する確率が一層低くなるのは、車両の周辺が暗い場合に撮像した撮像画像の画素値は低値に集中するのに対し、車両の周辺が明るい場合に撮像した撮像画像の画素値は低値から高値の広範に分布するからである。
明るさに応じて所定数を変化させる一例として、判断部172は、総和量算出部152から総和量を取得し、総和量算出部152から取得した総和量が閾値未満の場合、X個(Xは2以上の整数)の検査画像(撮像画像)におけるX−1個の差分量のそれぞれがゼロであるか否かを判断し、閾値以上の場合は、Y個(2以上X未満の整数)の検査画像(撮像画像)におけるY−1個の差分量のそれぞれがゼロであるか否かを判断する。画像判断装置20の場合も同様である。
明るさに応じて所定数を変化させる他の例として、画像判断装置10は、車両の周辺の明るさを検知する車載センサから車両の周辺の明るさを取得する明るさ取得部(非図示)を更に備える。そして、判断部172は、明るさ取得部から取得した車両の周辺の明るさの値が閾値未満の場合、X個(Xは2以上の整数)の検査画像(撮像画像)におけるX−1個の差分量のそれぞれがゼロであるか否かを判断し、閾値以上の場合は、Y個(2以上X未満の整数)の検査画像(撮像画像)におけるY−1個の差分量のそれぞれがゼロであるか否かを判断する。画像判断装置20の場合も同様である。
明るさに応じて所定数を変化させる他の例として、画像判断装置10は、現在時刻を取得する時刻取得部(非図示)を更に備える。そして、判断部172は、時刻取得部から取得した現在時刻が所定の範囲内(例えば、夕刻18:00〜早朝6:00)である場合、X個(Xは2以上の整数)の検査画像(撮像画像)におけるX−1個の差分量のそれぞれがゼロであるか否かを判断し、所定の範囲外である場合、Y個(2以上X未満の整数)の検査画像(撮像画像)におけるY−1個の差分量のそれぞれがゼロであるか否かを判断する。画像判断装置20の場合も同様である。
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
本発明の第1の実施形態である画像判断装置の構成例を示す図である。 図1に示す画像判断装置の動作例を示すフローチャートである。 本発明の第2の実施形態である画像判断装置の構成例を示す図である。 図3に示す報知情報記憶部に記憶されている情報の一例を示す図である。 図3に示す画像判断装置の動作例を示すフローチャートである。 図3に示す画像判断装置が2つの出力バッファを備える場合における第4総和量算出部の動作を説明するための図である。
符号の説明
10、20 画像判断装置
100、200 撮像画像取得部
110、210 入力バッファ
120、220 出力画像生成部
130、230 出力バッファ
140、240 出力制御部
152、250 総和量算出部
162、260 差分量算出部
172、270 判断部
180、280 報知部
182、282 報知情報記憶部
231 出力バッファ
232 出力バッファ
252 第1総和量算出部
254 第2総和量算出部
256 第3総和量算出部
258 第4総和量算出部
262 第1差分量算出部
264 第2差分量算出部
266 第3差分量算出部
268 第4差分量算出部
272 第1判断部
274 第2判断部
276 第3判断部
278 第4判断部

Claims (12)

  1. 外部から連続して取得される画像または上記画像に基づいて連続して生成される画像を検査画像として連続して取得し、取得した上記検査画像の全画素に係る画素値の総和である総和量を算出する総和量算出部と、
    前回および今回取得した両検査画像から上記総和量算出部が算出した両総和量の差分量を算出する差分量算出部と、
    2以上の所定数連続して取得した上記検査画像から上記総和量算出部が算出した2以上の総和量から上記差分量算出部が算出した1以上の上記差分量のそれぞれがゼロであるか否かを判断する判断部と、
    上記判断部が上記1以上の差分量の何れもがゼロであると判断した場合に、上記画像に異常がある旨を報知する報知部とを備えたことを特徴とする画像判断装置。
  2. 所定のタイミングで車両周辺を連続撮像する車載カメラから撮像画像を連続して取得する撮像画像取得部を更に備え、
    上記総和量算出部は、上記撮像画像取得部によって連続して取得された上記撮像画像を上記検査画像として連続して取得し、上記総和量を算出することを特徴とする請求項1に記載の画像判断装置。
  3. 所定のタイミングで車両周辺を連続撮像する車載カメラから連続して取得される撮像画像を逐次記憶する入力バッファを更に備え、
    上記総和量算出部は、上記入力バッファに逐次記憶された上記撮像画像を上記検査画像として連続して取得し、上記総和量を算出することを特徴とする請求項1に記載の画像判断装置。
  4. 所定のタイミングで車両周辺を連続撮像する車載カメラから連続して取得される上記撮像画像に基づいて出力画面上に出力する出力画像を連続して生成する出力画像生成部を更に備え、
    上記総和量算出部は、上記出力画像生成部によって連続して生成された上記出力画像を上記検査画像として連続して取得し、上記総和量を算出することを特徴とする請求項1に記載の画像判断装置。
  5. 所定のタイミングで車両周辺を連続撮像する車載カメラから連続して取得された上記撮像画像に基づいて、出力画面上に出力される画像として連続して生成される出力画像を逐次記憶する出力バッファを更に備え、
    上記総和量算出部は、上記出力バッファに逐次記憶された上記出力画像を上記検査画像として連続して取得し、上記総和量を算出することを特徴とする請求項1に記載の画像判断装置。
  6. 上記総和量算出部は、上記出力バッファが複数である場合には、上記複数の出力バッファのうち何れか1つの出力バッファに逐次記憶された上記出力画像を上記検査画像として連続して取得し、上記総和量を算出することを特徴とする請求項5に記載の画像判断装置。
  7. 所定のタイミングで車両周辺を連続撮像する車載カメラから撮像画像を連続して取得する撮像画像取得部と、
    上記撮像画像取得部によって取得された上記撮像画像に基づいて出力画面上に出力する出力画像を連続して生成する出力画像生成部とを更に備え、
    上記総和量算出部は、上記撮像画像取得部によって連続して取得された上記撮像画像を上記検査画像として連続して取得して撮像画像総和量として上記撮像画像に係る上記総和量を算出するとともに、上記出力画像生成部によって連続して生成された上記出力画像を上記検査画像として連続して取得して出力画像総和量として上記出力画像に係る上記総和量を算出し、
    上記差分量算出部は、上記撮像画像取得部によって前回および今回取得された両撮像画像から上記総和量算出部が算出した両撮像画像総和量に係る上記差分量である撮像画像差分量を算出するとともに、上記出力画像生成部によって前回および今回生成された両出力画像から上記総和量算出部が算出した両出力画像総和量に係る上記差分量である出力画像差分量を算出し、
    上記判断部は、上記撮像画像取得部によって上記所定数連続して取得された上記撮像画像から上記総和量算出部が算出した2以上の上記撮像画像総和量から上記差分量算出部が算出した1以上の上記撮像画像差分量のそれぞれがゼロであるか否かを判断するとともに、上記出力画像生成部によって上記所定数連続して生成された上記出力画像から上記総和量算出部が算出した2以上の上記出力画像総和量から上記差分量算出部が算出した1以上の上記出力画像差分量のそれぞれがゼロであるか否かを判断し、
    上記報知部は、上記判断部が上記1以上の撮像画像差分量の何れもがゼロであると判断した場合、または、上記1以上の出力画像差分量の何れもがゼロであると判断した場合に、異常がある旨を報知することを特徴とする請求項1に記載の画像判断装置。
  8. 所定のタイミングで車両周辺を連続撮像する車載カメラから連続して取得される撮像画像を逐次記憶する入力バッファと、
    上記入力バッファに逐次記憶された上記撮像画像に基づいて、出力画面上に出力される画像として連続して生成される出力画像を逐次記憶する出力バッファとを更に備え、
    上記総和量算出部は、上記入力バッファに逐次記憶された上記撮像画像を上記検査画像として連続して取得して撮像画像総和量として上記撮像画像に係る上記総和量を算出するとともに、上記出力バッファに逐次記憶された上記出力画像を上記検査画像として連続して取得して出力画像総和量として上記出力画像に係る上記総和量を算出し、
    上記差分量算出部は、上記入力バッファから前回および今回取得した両撮像画像から上記総和量算出部が算出した両撮像画像総和量に係る上記差分量である撮像画像差分量を算出するとともに、上記出力バッファから前回および今回取得した両出力画像から上記総和量算出部が算出した両出力画像総和量に係る上記差分量である出力画像差分量を算出し、
    上記判断部は、上記入力バッファから上記所定数連続して取得された上記撮像画像から上記総和量算出部が算出した2以上の上記撮像画像総和量から上記差分量算出部が算出した1以上の上記撮像画像差分量のそれぞれがゼロであるか否かを判断するとともに、上記出力バッファから上記所定数連続して取得された上記出力画像から上記総和量算出部が算出した2以上の上記出力画像総和量から上記差分量算出部が算出した1以上の上記出力画像差分量のそれぞれがゼロであるか否かを判断し、
    上記報知部は、上記判断部が上記1以上の撮像画像差分量の何れもがゼロであると判断した場合、または、上記1以上の出力画像差分量の何れもがゼロであると判断した場合に、異常がある旨を報知することを特徴とする請求項1に記載の画像判断装置。
  9. 上記報知部は、上記判断部が上記1以上の撮像画像差分量の何れもがゼロであると判断した場合、上記車載カメラまたは上記入力バッファの何れかに異常がある旨を報知し、
    上記報知部は、上記判断部が上記1以上の撮像画像差分量の何れかがゼロでなく、かつ、上記1以上の出力画像差分量の何れもがゼロであると判断した場合に、上記出力バッファに異常がある旨を報知することを特徴とする請求項8に記載の画像判断装置。
  10. 所定のタイミングで車両周辺を連続撮像する車載カメラから撮像画像を連続して取得する撮像画像取得部と、
    上記撮像画像取得部によって連続して取得された上記撮像画像を逐次記憶する入力バッファと、
    上記入力バッファに逐次記憶された上記撮像画像に基づいて出力画面上に出力する出力画像を連続して生成する出力画像生成部と、
    上記出力画像生成部によって連続して生成される上記出力画像を逐次記憶する出力バッファとを更に備え、
    上記総和量算出部は、上記撮像画像取得部によって連続して取得された上記撮像画像を上記検査画像として連続して取得して第1撮像画像総和量として上記撮像画像に係る上記総和量を算出し、上記入力バッファに逐次記憶された上記撮像画像を上記検査画像として連続して取得して第2撮像画像総和量として上記撮像画像に係る上記総和量を算出し、上記出力画像生成部によって連続して生成された上記出力画像を上記検査画像として連続して取得して第1出力画像総和量として上記出力画像に係る上記総和量を算出し、上記出力バッファに逐次記憶された上記出力画像を上記検査画像として連続して取得して第2出力画像総和量として上記出力画像に係る上記総和量を算出し、
    上記差分量算出部は、上記撮像画像取得部によって前回および今回取得された両撮像画像から上記総和量算出部が算出した両第1撮像画像総和量に係る上記差分量である第1撮像画像差分量を算出し、上記入力バッファから前回および今回取得した両撮像画像から上記総和量算出部が算出した両第2撮像画像総和量に係る上記差分量である第2撮像画像差分量を算出し、上記出力画像生成部によって前回および今回生成された両出力画像から上記総和量算出部が算出した両第1出力画像総和量に係る上記差分量である第1出力画像差分量を算出し、上記出力バッファから前回および今回取得した両出力画像から上記総和量算出部が算出した両第2出力画像総和量に係る上記差分量である第2出力画像差分量を算出し、
    上記判断部は、上記撮像画像取得部によって上記所定数連続して取得された上記撮像画像から上記総和量算出部が算出した2以上の上記第1撮像画像総和量から上記差分量算出部が算出した1以上の上記第1撮像画像差分量のそれぞれがゼロであるか否かを判断し、上記入力バッファから上記所定数連続して取得された上記撮像画像から上記総和量算出部が算出した2以上の上記第2撮像画像総和量から上記差分量算出部が算出した1以上の上記第2撮像画像差分量のそれぞれがゼロであるか否かを判断し、上記出力画像生成部によって上記所定数連続して生成された上記出力画像から上記総和量算出部が算出した2以上の上記第1出力画像総和量から上記差分量算出部が算出した1以上の上記第1出力画像差分量のそれぞれがゼロであるか否かを判断し、上記出力バッファから上記所定数連続して取得された上記出力画像から上記総和量算出部が算出した2以上の上記第2出力画像総和量から上記差分量算出部が算出した1以上の上記第2出力画像差分量のそれぞれがゼロであるか否かを判断し、
    上記報知部は、上記判断部が上記1以上の第1撮像画像差分量の何れもがゼロであると判断した場合、上記1以上の第2撮像画像差分量の何れもがゼロであると判断した場合、上記1以上の第1出力画像差分量の何れもがゼロであると判断した場合、または、上記1以上の第2出力画像差分量の何れもがゼロであると判断した場合に、異常がある旨を報知することを特徴とする請求項1に記載の画像判断装置。
  11. 上記報知部は、上記判断部が上記1以上の第1撮像画像差分量の何れもがゼロであると判断した場合、上記車載カメラまたは上記撮像画像取得部の何れかに異常がある旨を報知し、
    上記報知部は、上記判断部が上記1以上の第1撮像画像差分量の何れかがゼロでなく、かつ、上記1以上の第2撮像画像差分量の何れもがゼロであると判断した場合、上記入力バッファに異常がある旨を報知し、
    上記報知部は、上記判断部が上記1以上の第2撮像画像差分量の何れかがゼロでなく、かつ、上記1以上の第1出力画像差分量の何れもがゼロであると判断した場合、上記出力画像生成部に異常がある旨を報知し、
    上記報知部は、上記判断部が上記1以上の第1出力画像差分量の何れかがゼロでなく、かつ、上記1以上の第2出力画像差分量の何れもがゼロであると判断した場合に、上記出力バッファに異常がある旨を報知することを特徴とする請求項10に記載の画像判断装置。
  12. 外部から連続して取得される画像または上記画像に基づいて連続して生成される画像を検査画像として連続して取得する検査画像取得ステップと、
    上記検査画像取得ステップにより取得された上記検査画像の全画素に係る画素値の総和である総和量を算出する総和量算出ステップと、
    前回および今回取得した両検査画像から上記総和量算出ステップにより算出された両総和量の差分量を算出する差分量算出ステップと、
    2以上の所定数連続して取得した上記検査画像から上記総和量算出ステップにより算出された2以上の総和量から上記差分量算出ステップにより算出された1以上の上記差分量のそれぞれがゼロであるか否かを判断する判断ステップと、
    上記判断ステップにより上記1以上の差分量の何れもがゼロであると判断した場合に、異常がある旨を報知する報知ステップとを備えたことを特徴とする画像判断方法。
JP2008127154A 2008-05-14 2008-05-14 画像判断装置および画像判断方法 Expired - Fee Related JP5207823B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008127154A JP5207823B2 (ja) 2008-05-14 2008-05-14 画像判断装置および画像判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008127154A JP5207823B2 (ja) 2008-05-14 2008-05-14 画像判断装置および画像判断方法

Publications (2)

Publication Number Publication Date
JP2009278340A true JP2009278340A (ja) 2009-11-26
JP5207823B2 JP5207823B2 (ja) 2013-06-12

Family

ID=41443359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008127154A Expired - Fee Related JP5207823B2 (ja) 2008-05-14 2008-05-14 画像判断装置および画像判断方法

Country Status (1)

Country Link
JP (1) JP5207823B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9241157B2 (en) 2012-03-30 2016-01-19 Denso Corporation Imaging apparatus
WO2016021127A1 (ja) * 2014-08-07 2016-02-11 株式会社デンソー 表示機器
JP2018079839A (ja) * 2016-11-17 2018-05-24 株式会社デンソー 車両用表示システムおよびフリーズ検出装置
WO2020246117A1 (ja) * 2019-06-03 2020-12-10 株式会社デンソー 固着判断装置および固着判断方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004214970A (ja) * 2002-12-27 2004-07-29 Sumitomo Electric Ind Ltd 画像表示システム、画像表示方法及び画像処理装置
JP2006352644A (ja) * 2005-06-17 2006-12-28 Hitachi Building Systems Co Ltd 監視カメラの画像異常検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004214970A (ja) * 2002-12-27 2004-07-29 Sumitomo Electric Ind Ltd 画像表示システム、画像表示方法及び画像処理装置
JP2006352644A (ja) * 2005-06-17 2006-12-28 Hitachi Building Systems Co Ltd 監視カメラの画像異常検出装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9241157B2 (en) 2012-03-30 2016-01-19 Denso Corporation Imaging apparatus
WO2016021127A1 (ja) * 2014-08-07 2016-02-11 株式会社デンソー 表示機器
JP2016039508A (ja) * 2014-08-07 2016-03-22 株式会社デンソー 表示装置
JP2018079839A (ja) * 2016-11-17 2018-05-24 株式会社デンソー 車両用表示システムおよびフリーズ検出装置
WO2020246117A1 (ja) * 2019-06-03 2020-12-10 株式会社デンソー 固着判断装置および固着判断方法
JP2020198551A (ja) * 2019-06-03 2020-12-10 株式会社デンソー 固着判断装置および固着判断方法
JP7247760B2 (ja) 2019-06-03 2023-03-29 株式会社デンソー 固着判断装置および固着判断方法

Also Published As

Publication number Publication date
JP5207823B2 (ja) 2013-06-12

Similar Documents

Publication Publication Date Title
JP4868968B2 (ja) 補間フレーム作成方法及び補間フレーム作成装置
JP2013530466A (ja) ステレオカメラシステムの光学式自己診断
JP2008283431A (ja) 画像処理装置
JP5207823B2 (ja) 画像判断装置および画像判断方法
JP2008252307A (ja) 画像表示システム
US6348930B1 (en) Motion vector processing circuit
JP2011151792A (ja) 画像処理装置及び方法
US8797308B2 (en) Method of driving display apparatus and driving circuit for display apparatus using the same
US20080080790A1 (en) Video signal processing apparatus and video signal processing method
JP6707476B2 (ja) ディスプレイの表示制御装置および表示映像フリーズ報知方法
JP7385484B2 (ja) 映像信号処理装置、映像フリーズ検出回路及び映像フリーズの検出方法
JP2006121642A (ja) 画像検知装置および画素検知データ修正方法
JP5562473B1 (ja) 航空障害灯の故障検出システム及び故障検出方法
US20220058412A1 (en) Sticking determination device and sticking determination method
US7770098B2 (en) Signal processing apparatus and method therefor
JP2006082653A (ja) ランプ点灯状態検出装置
JP2010117818A (ja) 画像処理装置および画像処理プログラム
JP4987819B2 (ja) 交通監視装置及び交通監視方法
JP2016225904A (ja) 画像信号処理装置
US20230328223A1 (en) Video signal processing device
US8625025B2 (en) Apparatus and method for detecting flexible video cadence
CN110784685B (zh) 车辆清洁状况的监控方法及装置、存储介质、终端
KR101076478B1 (ko) 스트레칭 기법을 활용한 평판 디스플레이 패널의 화상결함 검사 방법 및 기록매체
JP7333135B2 (ja) 信号処理回路
JP2008242932A (ja) 道路管理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130219

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160301

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5207823

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees