JP2017092774A - 映像検査装置 - Google Patents

Abstract

【課題】撮像装置の故障を簡易に検出する技術を提供する。【解決手段】入力部４０は、撮像装置１０において撮像した映像を入力する。圧縮部４２は、入力部４０において入力した映像に対して、離散コサイン変換（ＤＣＴ）を実行する。制御部４４は、圧縮部４２においてＤＣＴを実行した映像を記憶部３２に記憶させる。検出部４６は、圧縮部４２が実行したＤＣＴによって生成されたＤＣＴ係数における有意値の分布であって、かつ直流成分からの有意値の分布がしきい値よりも狭い場合に、撮像装置１０の故障を検出する。【選択図】図１

Description

本発明は、映像検査技術に関し、特に撮像装置の故障を検査する映像検査装置に関する。

遠隔操作で制御するデジタルカメラや、監視目的のデジタルカメラのような自動制御されるデジタルカメラの故障を検出することが求められる。例えば、デジタルカメラにおいて撮像したデジタル画像の画素値がすべて同一である場合、デジタルカメラの故障が検出される（例えば、特許文献１参照）。

特開２００１−３６９２７号公報

光学系に異常が生じている場合に撮像された画像では、一般的に、輪郭がぼやけるだけで、画素値がすべて同一にはならない。このような場合であっても、故障が検出される方が望ましい。一方、故障を検出するための付加的な構成は小さい方が好ましい。

本発明はこうした状況に鑑みなされたものであり、その目的は、撮像装置の故障を簡易に検出する技術を提供することにある。

上記課題を解決するために、本発明のある態様の映像検査装置は、撮像装置において撮像した映像を入力する入力部と、入力部において入力した映像に対して、離散コサイン変換（ＤＣＴ）を実行する圧縮部と、圧縮部においてＤＣＴを実行した映像を記憶装置に記憶させる制御部と、圧縮部が実行したＤＣＴによって生成されたＤＣＴ係数における有意値の分布であって、かつ直流成分からの有意値の分布がしきい値よりも狭い場合に、撮像装置の故障を検出する検出部と、を備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、またはコンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、撮像装置の故障を簡易に検出できる。

本発明の実施例１に係る撮像システムの構成を示す図である。 図２（ａ）−（ｃ）は、図１の撮像装置において撮像した映像が正常である場合の映像記録装置による処理概要を示す図である。 図３（ａ）−（ｃ）は、図１の撮像装置において撮像した映像がぼやけている場合の映像記録装置による処理概要を示す図である。 図４（ａ）−（ｃ）は、図１の撮像装置において撮像した映像が黒一色である場合の映像記録装置による処理概要を示す図である。 図５（ａ）−（ｃ）は、図１の撮像装置において撮像した映像が白一色である場合の映像記録装置による処理概要を示す図である。 図１の映像記録装置による故障の検出手順を示すフローチャートである。 本発明の実施例２に係る撮像システムの構成を示す図である。

（実施例１）
本発明の実施例を具体的に説明する前に、実施例の概要を説明する。実施例１は、車両等に搭載され、セキュリティ・事故の証拠としての映像を記憶する撮像システムに関する。このような撮像システムは、車両等が走行している場合に動作することによって、撮像および記憶を実行する。一般的に、ユーザは、撮像システムが正常に動作するかを日常的に確認しない。しかしながら、記憶の必要性が生じた場合に、撮像システムが故障していれば何の役にも立たない。このような撮像システムの故障検知の技術は確立していないので、自動的な故障検知と、それを確実に管理できる仕組みが望まれる。

カメラ等の撮像装置は、動作している場合にｓｙｎｃ信号を出力している場合が多い。ｓｙｎｃ信号は、映像信号を伝送する場合に、受信側に信号の読み出しタイミングを伝えるために送られる同期信号である。ｓｙｎｃ信号の有無を確認する程度のことは既になされている。しかしながら、ｓｙｎｃ信号の有無によって確認できることは、ｓｙｎｃ信号生成部の故障、またはそれの動作を妨げる要因であり、映像が本当に価値あるものになっているか否かはわからない。

本実施例における撮像システムは、映像の内容を確認することによって、光学系異常、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）およびＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）異常、回路異常を検出することを目的とする。撮像装置で撮像された映像を記憶する場合、一般的に映像に対する圧縮がなされる。この圧縮には、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）が使用され、ＤＣＴによって、離散信号が周波数領域に変換される。本実施例では、ＤＣＴにおいて生成されたＤＣＴ係数を監視することによって、前述の異常、つまり撮像装置の故障を検出する。

図１は、本発明の実施例１に係る撮像システム１００の構成を示す。撮像システム１００は、撮像装置１０、映像記録装置２０を含む。映像記録装置２０は、映像検査部３０、記憶部３２を含み、映像検査部３０は、入力部４０、圧縮部４２、制御部４４、検出部４６を含む。

撮像装置１０は、カメラ等によって映像を撮像する。映像が動画像である場合、映像は、時間軸に沿って並んだ複数の画像を含む。また、映像は、動画像に限定されず、静止画像であってもよい。撮像装置１０は、映像をアナログ信号あるいはデジタル信号に変換し、アナログ信号あるいはデジタル信号に変換した映像（以下、「映像信号」という）を映像記録装置２０に出力する。なお、映像信号がアナログ信号である場合、入力部４０の前段には、ＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）が配置される。入力部４０は、撮像装置１０からの映像信号を入力する。これは、撮像装置１０において撮像した映像を入力することに相当する。入力部４０は、映像信号を圧縮部４２に出力する。

圧縮部４２は、入力部４０からの映像信号に対して、離散コサイン変換（ＤＣＴ）を実行する。ここで、圧縮部４２は、映像信号に含まれる各画像を複数のマクロブロックに分割する。例えば、１つのマクロブロックは、８×８の画素によって構成される。圧縮部４２は、各マクロブロックに対してＤＣＴを実行し、その結果を量子化することによってエントロピー圧縮する。ＤＣＴの結果、各マクロブロックは、８×８の要素によって構成される。

このマクロブロックにおいて、要素(０，０)は直流成分を示すとともに、他の要素は、行・列とも、添字が大きくなるほど垂直ないし水平方向の空間周波数が高い成分を示す。また、各要素の成分は、ＤＣＴ係数と呼ばれる。さらに、要素(０，０)は、行列の左上端に配置される。なお、マクロブロックのサイズは、８×８に限定されない。圧縮部４２は、ＤＣＴを実行した映像信号、つまり圧縮した映像信号（以下、これもまた「映像信号」という）を制御部４４に出力する。

制御部４４は、圧縮部４２からの映像信号を入力する。制御部４４は、映像信号を記憶部３２に記憶させる。また、記憶部３２は、映像記録装置２０内に備えられた記憶媒体であってもよく、映像記録装置２０外に備えられた記憶媒体であってもよい。さらに、記憶部３２は、着脱自在の記録メディアであってもよい。このような記憶部３２は、記憶装置ともいえる。

検出部４６は、圧縮部４２からＤＣＴ係数を取得する。ＤＣＴ係数は、各画像における複数のマクロブロックのそれぞれに対して複数導出されている。ＤＣＴ係数は整数である。そのため、ＤＣＴ係数は、正の整数、負の整数、０のいずれかになる。隣接して配置される要素のＤＣＴ係数がいずれも「０」である場合、それらの要素には実質的な周波数成分が含まれないので、それらのＤＣＴ係数は有意でないといえる。また、有意でないＤＣＴ係数を有する要素が、「１」、「−１」のＤＣＴ係数を有する要素を囲んでいる場合、「１」、「−１」のＤＣＴ係数は誤差であるので、「１」、「−１」のＤＣＴ係数も有意でないといえる。一方、これ以外の場合、要素には実質的な周波数成分が含まれるので、ＤＣＴ係数は有意であるといえる。つまり、ＤＣＴ係数が有意であるとは、当該ＤＣＴ係数に対応した垂直ないし水平方向の空間周波数の成分が含まれることを意味する。

ここでは、図２（ａ）−（ｃ）から図５（ａ）−（ｃ）を使用しながら、検出部４６での処理を具体的に説明する。図２（ａ）−（ｃ）は、撮像装置１０において撮像した映像が正常である場合の映像記録装置２０による処理概要を示す。図２（ａ）は、撮像装置１０において撮像した映像を示す。図示のごとく、先鋭感あるきれいな画像が示される。一例として、図２（ａ）におけるマクロブロック６０での画素値が図２（ｂ）に示される。前述のごとく、１つのマクロブロック６０は、８×８の画素によって構成され、各画素に対する画素値が示される。

図２（ｃ）は、図２（ｂ）に示したマクロブロック６０の画素値に対してＤＣＴを実行した場合のＤＣＴ係数を示す。ＤＣＴの前後においてマクロブロック６０のサイズは変更されず、マクロブロック６０は８×８の要素で構成される。左上端の要素、つまり（０，０）と示された要素が、直流成分を示す。要素（０，０）から右方向に進むことは、水平方向の空間周波数が高くなることに相当する。一方、要素（０，０）から下方向に進むことは、垂直方向の空間周波数が高くなることに相当する。図示のごとく、ＤＣＴ係数の有意な値（以下、「有意値」という）は、低周波数から高周波数まで広い範囲に分布している。

図３（ａ）−（ｃ）は、撮像システム１００において撮像した映像がぼやけている場合の映像記録装置２０による処理概要を示す。図３（ａ）は、撮像装置１０において撮像した映像を示す。図示のごとく、図２（ａ）と比較して、輪郭のぼやけた画像が示されており、これは、撮像装置１０の光学系が異常である場合に撮像される画像に相当する。光学系の異常には、レンズくもり、レンズ破損、フォーカス異常等が含まれる。例えば、レンズの破損の場合には映像のピントが合わず、輪郭のぼやけた眠い映像が撮像される。

一例として、図３（ａ）におけるマクロブロック６０での画素値が図３（ｂ）に示される。ここでは、図２（ｂ）と同様に、各画素に対する画素値が示される。図３（ｃ）は、図３（ｂ）に示したマクロブロック６０の画素値に対してＤＣＴを実行した場合のＤＣＴ係数を示す。ＤＣＴ係数は、図２（ｃ）と同様に示されるが、有意値は、図２（ｃ）の場合と比較して、要素（０，０）の近傍に局在する。これは、有意値は、低周波数に存在し、高周波数に存在しないことを示す。つまり、ぼやけた映像では、ＤＣＴ係数の分布が低周波数領域に集中する。

図４（ａ）−（ｃ）は、撮像装置１０において撮像した映像が黒一色である場合の映像記録装置２０による処理概要を示す。図４（ａ）は、撮像装置１０において撮像した映像を示す。図示のごとく、黒色単色の画像が示されており、これは、撮像装置１０におけるカメラモジュールの異常、ＡＤＣの故障の場合に撮像される画像に相当する。カメラモジュールの異常には、ＣＣＤ／ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ ｆｉｅｌｄ−ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）素子の破損、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）の故障等が含まれる。このような場合、光学映像が正しく取り込めず、黒一色になる。

一例として、図４（ａ）におけるマクロブロック６０での画素値が図４（ｂ）に示される。ここでは、すべての画素値が「１６」になる。図４（ｃ）は、図４（ｂ）に示したマクロブロック６０の画素値に対してＤＣＴを実行した場合のＤＣＴ係数を示す。有意値は、要素（０，０）、つまり直流成分のみになり、他の要素は「０」になる。

図５（ａ）−（ｃ）は、撮像装置１０において撮像した映像が白一色である場合の映像記録装置２０による処理概要を示す。図５（ａ）は、撮像装置１０において撮像した映像を示す。図示のごとく、白色単色の画像が示されており、これは、撮像装置１０における回路異常の場合に撮像される画像に相当する。この場合も、図４（ａ）の場合と同様に、光学映像が正しく取り込めない。一例として、図５（ａ）におけるマクロブロック６０での画素値が図５（ｂ）に示される。ここでは、すべての画素値が「２３５」になる。図５（ｃ）は、図５（ｂ）に示したマクロブロック６０の画素値に対してＤＣＴを実行した場合のＤＣＴ係数を示す。有意値は、要素（０，０）、つまり直流成分のみになり、他の要素は「０」になる。

図２（ｃ）、図３（ｃ）、図４（ｃ）、図５（ｃ）を比較すると、マクロブロック６０において有意値が含まれる範囲である有意値領域６２は、図２（ｃ）の場合に最も広い。一方、図３（ｃ）における有意値領域６２は、水平方向の空間周波数、垂直方向の空間周波数のそれぞれにおいて、図２（ｃ）の場合の約半分以下になる。さらに、図４（ｃ）、図５（ｃ）における有意値領域６２は、直流成分だけになる。このように、撮像装置１０が正常である場合の有意値領域６２は、撮像装置１０が故障している場合の有意値領域６２よりも広くなる。つまり、映像の周波数成分の分布を解析すれば映像の妥当性が判断可能になる。図１に戻る。

検出部４６は、圧縮部４２が実行したＤＣＴによって生成されたＤＣＴ係数における有意値の分布を画像ごとに導出する。例えば、マクロブロック６０において、隣接した要素がいずれも「０」のＤＣＴ係数を有する場合、検出部４６は、それらの要素を特定する。特定した要素は、「特定要素」と呼ばれる。また、特定要素に囲まれた要素が、「１」、「−１」のＤＣＴ係数を有する場合、検出部４６は、「１」、「−１」のＤＣＴ係数を有する要素も特定要素に含める。ここで、特定要素によって形成された領域、つまり有意でない領域は、「非有意値領域」と呼ばれる。さらに、検出部４６は、画像のうち、非有意値領域を除いた部分を有意値領域６２とする。

その際、検出部４６は、図２（ｃ）、図３（ｃ）のように、有意値領域６２の形状が扇形になるように、有意値領域６２の形状を調節してもよい。その際、検出部４６は、最初に導出した有意値領域６２を大きくしたり、小さくしたりするように調節を実行する。一方、検出部４６は、しきい値を予め保持する。しきい値は、例えば、扇形に形成された有意値領域６２の半径に対する値として規定される。また、しきい値は、有意値領域６２に含まれる要素の数として規定されてもよい。

検出部４６は、１つのマクロブロックにおける有意値領域６２としきい値とを比較し、有意値領域６２がしきい値よりも小さくなければ、当該マクロブロックに対するフラグを「１」とする。一方、検出部４６は、有意値領域６２がしきい値よりも小さければ、当該マクロブロックに対するフラグを「０」とする。検出部４６は、このような判定をすべてのマクロブロックに対して実行するとともに、一定時間内に含まれる複数の画像に対しても実行する。検出部４６は、一定時間以上にわたって、すべてのマクロブロックにおいてフラグが「０」である場合、撮像装置１０の故障を検出する。なお、この条件において、各画像におけるすべてのマクロブロックを評価対象とするのではなく、各画像において予め定めた数のマクロブロックを評価対象にしてもよい。さらに、一定時間に含まれるすべての画像を評価対象とせず、所定の間隔で到来する画像を評価対象としてもよい。

これは、映像に含まれる複数のマクロブロックのうちの２つ以上において、一定時間以上にわたって、ＤＣＴ係数における有意値の分布がしきい値よりも狭い場合に、撮像装置１０の故障を検出することに相当する。検出部４６は、なお、有意値の分布は、直流成分からの有意値の分布である。例えば、図２（ｃ）、図３（ｃ）、図４（ｃ）、図５（ｃ）において、しきい値は、「Ｔ」として示され、マクロブロックの一辺の「１／２」になるように設定される。しきい値は、撮像装置１０において撮像される対象に応じて設定されればよく、「１／２」に限定されない。

この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ハードウエアとソフトウエアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

以上の構成による映像記録装置２０の動作を説明する。図６は、映像記録装置２０による故障の検出手順を示すフローチャートである。検出部４６は、変数ｎに「０」を設定する（Ｓ１０）。検出部４６は、ループ始点より、ループ処理を開始する（Ｓ１２）。検出部４６は、マクロブロック［ｎ］のＤＣＴ係数を取得し（Ｓ１４）、係数分布を解析する（Ｓ１６）。検出部４６は、変数ｎをインクリメントする（Ｓ１８）。検出部４６は、ループ終点において、変数ｎが評価マクロブロック数到達していなければ、ステップ１４に戻り、到達していれば終了する（Ｓ２０）。分布がしきい値よりも小さくなければ（Ｓ２２のＮ）、検出部４６は、信頼性カウンタに「１」を加算する（Ｓ２４）。信頼性カウンタとは、故障判定にヒステリシスを持たせるためのカウンタである。一方、分布がしきい値よりも小さければ（Ｓ２２のＹ）、検出部４６は、信頼性カウンタから「１」を減算する（Ｓ２６）。信頼性カウンタがしきい値以下である場合（Ｓ２８のＹ）、検出部４６は、故障を確定する（Ｓ３０）。一方、信頼性カウンタがしきい値以下でない場合（Ｓ２８のＮ）、ステップ３０はスキップされる。

本実施例によれば、ＤＣＴ係数における有意値の分布を使用するので、映像の内容を評価できる。また、映像の内容が評価されるので、光学系の異常等も検出できる。また、映像の圧縮において生成されたＤＣＴ係数を使用するので、新たな係数の導出を不要にできる。また、新たな係数の導出が不要になるので、撮像装置の故障を簡易に検出できる。また、２つ以上のマクロブロックにおいて、一定時間以上にわたって、有意値の分布としきい値との比較によって故障を検出するので、検出精度を向上できる。また、圧縮部からＤＣＴ係数を取得するので、処理を簡易にできる。

（実施例２）
次に、実施例２を説明する。実施例２は、実施例１と同様に、車両等に搭載され、セキュリティ・事故の証拠としての映像を記憶する撮像システムに関する。また、実施例２でも、ＤＣＴにおいて生成されたＤＣＴ係数を監視することによって、撮像装置の故障を検出する。実施例１において検出部は、圧縮部において生成したＤＣＴ係数を当該圧縮部から取得している。一方、実施例２は、圧縮部からＤＣＴ係数を取得できない場合を説明の対象とする。実施例２において検出部は、記憶部に記憶されたＤＣＴ係数を取得し、前述の処理を実行する。

図７は、本発明の実施例２に係る撮像システム１００の構成を示す。撮像システム１００は、図１と同様の構成要素を含む。しかしながら、検出部４６は、圧縮部４２ではなく制御部４４に接続される。制御部４４は、前述のごとく、圧縮した映像信号を記憶部３２に記憶させる。圧縮した映像信号には、量子化テーブルが含まれる。検出部４６は、制御部４４を介して、記憶部３２からの量子化テーブルを取得し、これを逆量子化することによって、ＤＣＴ係数を取得する。これは、検出部４６が、記憶部３２からＤＣＴ係数を取得することに相当する。この場合、圧縮の過程で高周波成分をカットするので、ＤＣＴ変換した直後のＤＣＴ値ほど広くは有意値が分布していないこともある。そのため、しきい値は、実施例１の場合よりも小さくなるように設定される。これにつづく処理は、これまでと同様であるので、ここでは説明を省略する。

本実施例によれば、記憶部からＤＣＴ係数を取得するので、圧縮部からＤＣＴ係数を取得できない場合であっても、ＤＣＴ係数を取得できる。また、圧縮部からＤＣＴ係数を取得できない場合であっても、ＤＣＴ係数が取得されるので、適用範囲を拡大できる。

本発明の一態様の概要は、次の通りである。本発明のある態様の映像検査装置は、撮像装置において撮像した映像を入力する入力部と、入力部において入力した映像に対して、離散コサイン変換（ＤＣＴ）を実行する圧縮部と、圧縮部においてＤＣＴを実行した映像を記憶装置に記憶させる制御部と、圧縮部が実行したＤＣＴによって生成されたＤＣＴ係数における有意値の分布であって、かつ直流成分からの有意値の分布がしきい値よりも狭い場合に、撮像装置の故障を検出する検出部と、を備える。

この態様によると、ＤＣＴ係数における有意値の分布を使用するので、撮像装置の故障を簡易に検出できる。

検出部は、映像に含まれる複数のマクロブロックのうちの２つ以上において、一定時間以上にわたって、ＤＣＴ係数における有意値の分布がしきい値よりも狭い場合に、撮像装置の故障を検出してもよい。この場合、２つ以上のマクロブロックにおいて、一定時間以上にわたって、有意値の分布がしきい値よりも狭い場合に故障を検出するので、検出精度を向上できる。

検出部は、圧縮部からＤＣＴ係数を取得してもよい。この場合、圧縮部からＤＣＴ係数を取得するので、処理を簡易にできる。

検出部は、記憶装置からＤＣＴ係数を取得してもよい。この場合、記憶装置からＤＣＴ係数を取得するので、圧縮部からＤＣＴ係数を取得できない場合であっても、ＤＣＴ係数を取得できる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０ 撮像装置、 ２０ 映像記録装置、 ３０ 映像検査部、 ３２ 記憶部、 ４０ 入力部、 ４２ 圧縮部、 ４４ 制御部、 ４６ 検出部、 １００ 撮像システム。

Claims (4)

1. 撮像装置において撮像した映像を入力する入力部と、
   前記入力部において入力した映像に対して、離散コサイン変換（ＤＣＴ）を実行する圧縮部と、
   前記圧縮部においてＤＣＴを実行した映像を記憶装置に記憶させる制御部と、
   前記圧縮部が実行したＤＣＴによって生成されたＤＣＴ係数における有意値の分布であって、かつ直流成分からの有意値の分布がしきい値よりも狭い場合に、前記撮像装置の故障を検出する検出部と、
   を備えることを特徴とする映像検査装置。
2. 前記検出部は、映像に含まれる複数のマクロブロックのうちの２つ以上において、一定時間以上にわたって、ＤＣＴ係数における有意値の分布がしきい値よりも狭い場合に、前記撮像装置の故障を検出することを特徴とする請求項１に記載の映像検査装置。
3. 前記検出部は、前記圧縮部からＤＣＴ係数を取得することを特徴とする請求項１または２に記載の映像検査装置。
4. 前記検出部は、前記記憶装置からＤＣＴ係数を取得することを特徴とする請求項１または２に記載の映像検査装置。