JP2006135523A - 画像状態判定装置、画像状態判定方法及び画像状態判定用プログラム - Google Patents

Abstract

【課題】比較的簡易な処理によって画像が不正常か正常かを判定する。
【解決手段】監視対象から得られる画像データに対してぼかし処理を行うぼかし処理手段１１と、前記ぼかし処理の前後の画像データについてエッジ情報を得る処理を行うエッジ情報生成手段１２と、前記ぼかし処理の前後の画像データに対応する１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行う統計処理手段１３と、前記ぼかし処理の前後の画像データに係るエッジ情報から得た統計処理結果の差と予め設定された閾値との比較を行う比較手段１４と、上記比較の結果に基づき、対応する画像データが不正常か正常かを判定する画像状態判定手段１５とを具備する。
【選択図】 図１

Description

この発明は、監視対象から得られる画像データについて、不正常か正常かを判定して、その画像データを画像処理すべきか、照明が適切か、天候が適切か、カメラ窓の汚れがないかなどの通知を可能とする画像状態判定装置、画像状態判定方法及び画像状態判定用プログラムに関するものである。

従来、カメラを用いて撮像した映像を元に画像処埋を行うシステムにては、その映像が画像処埋に適切な状況にあるか否かは人間が介在して判断していた。また、ピントずれ、レンズ汚れ、濃霧時などの、映像が画像処理に適さない状況になった場合にも、画像処理結果の信憑性判断は人間により実施されていた。

上記に対し、センサを用いてカメラの視界が遮られていることなどを人手によらずに検出するシステムが特許文献１に記載されている。また、道路を撮像した画像を処理してボケ度合い比の距離という特徴量を算出し、これに基づきウインドウガラスの汚れや、降雨状態などといった撮像環境を推定する装置が特許文献２に記載されている。
特開２００−１４６６７５号公報 特開平１１−３２６５４１号公報

本発明の課題は、監視対象から得られる画像データについて、比較的簡易な処理を施すことによって画像が不正常か正常かを判定して、その画像データを画像処理すべきかなどを通知可能とすることにある。

本発明に係る画像状態判定装置は、監視対象から得られる画像データに対してぼかし処理を行うぼかし処理手段と、前記ぼかし処理の前後の画像データについてエッジ情報を得る処理を行うエッジ情報生成手段と、前記ぼかし処理の前後の画像データに対応する１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行う統計処理手段と、前記ぼかし処理の前後の画像データに係るエッジ情報から得た統計処理結果の差と予め設定された閾値との比較を行う比較手段と、上記比較の結果に基づき、対応する画像データが不正常か正常かを判定する画像状態判定手段とを具備することを特徴とする。

本発明に係る画像状態判定装置は、監視対象から得られる画像データについてエッジ情報を得る処理を行うエッジ情報生成手段と、生成された１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行う統計処理手段と、前記エッジ情報から得た統計処理結果と予め設定された閾値との比較を行う比較手段と、上記比較の結果に基づき、対応する画像データが不正常か正常かを判定する画像状態判定手段とを具備することを特徴とする。

本発明に係る画像状態判定装置は、監視対象から得られる画像データに対してぼかし処理を行うぼかし処理手段と、前記ぼかし処理の前後の画像データについてエッジ情報を得る処理を行うエッジ情報生成手段と、前記ぼかし処理の前後の画像データに対応する１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行う統計処理手段と、前記ぼかし処理の前後の画像データに係るエッジ情報から得た統計処理結果の差と予め設定された閾値との比較を行う第１の比較手段と、上記第１の比較手段による比較の結果に基づき、対応する画像データが不正常か正常かを判定する第１の画像状態判定手段と前記エッジ情報生成手段により生成されたぼかし前の１画面内の各画素に係るエッジ情報を用いて、前記統計処理手段が該エッジ情報の平均値、合計、分散、標準偏差の少なくとも１つを求めた統計処理結果と予め設定された閾値との比較を行う第２の比較手段と、上記第２の比較手段による比較の結果に基づき、対応する画像データが不正常か正常かを判定する第２の画像状態判定手段と、前記第１の画像状態判定手段と前記第２の画像状態判定手段とによる判定結果に基づき最終的な判定を行う第３の画像状態判定手段とを具備することを特徴とする。

本発明に係る画像状態判定装置では、ぼかし処理を、ガウシアンフィルタにより行うことを特徴とする。

本発明に係る画像状態判定装置では、エッジ情報生成手段は、ソベルフィルタ、ロバーツフィルタ、ラプラシアンフィルタのいずれかを用いてエッジ情報の生成を行うことを特徴とする。

本発明に係る画像状態判定装置では、エッジ情報生成手段は、エッジ強度、エッジベクトル、エッジベクトルの方向の少なくとも１つを生成することを特徴とする。

本発明に係る画像状態判定方法は、監視対象から得られる画像データに対してぼかし処理を行うぼかし処理ステップと、前記ぼかし処理の前後の画像データについてエッジ情報を得る処理を行うエッジ情報生成ステップと、前記ぼかし処理の前後の画像データに対応する１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行う統計処理ステップと、前記ぼかし処理の前後の画像データに係るエッジ情報から得た統計処理結果の差と予め設定された閾値との比較を行う比較ステップと、上記比較の結果に基づき、対応する画像データが不正常か正常かを判定する画像状態判定ステップとを具備することを特徴とする。

本発明に係る画像状態判定方法は、監視対象から得られる画像データについてエッジ情報を得る処理を行うエッジ情報生成ステップと、生成された１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行う統計処理ステップと、前記エッジ情報から得た統計処理結果と予め設定された閾値との比較を行う比較ステップと、上記比較の結果に基づき、対応する画像データが不正常か正常かを判定する画像状態判定ステップとを具備することを特徴とする。

本発明に係る画像状態判定方法は、監視対象から得られる画像データに対してぼかし処理を行うぼかし処理ステップと、前記ぼかし処理の前後の画像データについてエッジ情報を得る処理を行うエッジ情報生成ステップと、前記ぼかし処理の前後の画像データに対応する１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行う統計処理ステップと、前記ぼかし処理の前後の画像データに係るエッジ情報から得た統計処理結果の差と予め設定された閾値との比較を行う第１の比較ステップと、上記第１の比較ステップによる比較の結果に基づき、対応する画像データが不正常か正常かを判定する第１の画像状態判定ステップと前記エッジ情報生成ステップにより生成されたぼかし前の１画面内の各画素に係るエッジ情報を用いて、前記統計処理ステップが該エッジ情報の平均値、合計、分散、標準偏差の少なくとも１つを求めた統計処理結果と予め設定された閾値との比較を行う第２の比較ステップと、上記第２の比較ステップによる比較の結果に基づき、対応する画像データが不正常か正常かを判定する第２の画像状態判定ステップと、前記第１の画像状態判定ステップと前記第２の画像状態判定ステップとによる判定結果に基づき最終的な判定を行う第３の画像状態判定ステップとを具備することを特徴とする。

本発明に係る画像状態判定方法では、ぼかし処理を、ガウシアンフィルタにより行うことを特徴とする。

本発明に係る画像状態判定方法では、エッジ情報生成ステップは、ソベルフィルタ、ロバーツフィルタ、ラプラシアンフィルタのいずれかを用いてエッジ情報の生成を行うことを特徴とする。

本発明に係る画像状態判定方法では、エッジ情報生成ステップは、エッジ強度、エッジベクトル、エッジベクトルの方向の少なくとも１つを生成することを特徴とする。

本発明に係る画像状態判定用プログラムは、コンピュータにより実行される画像状態判定用プログラムであって、コンピュータが、監視対象から得られる画像データを取り込み、監視対象から得られる画像データに対してぼかし処理を行うぼかし処理ステップと、前記ぼかし処理の前後の画像データについてエッジ情報を得る処理を行うエッジ情報生成ステップと、前記ぼかし処理の前後の画像データに対応する１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行う統計処理ステップと、前記ぼかし処理の前後の画像データに係るエッジ情報から得た統計処理結果の差と予め設定された閾値との比較を行う比較ステップと、上記比較の結果に基づき、対応する画像データが不正常か正常かを判定する画像状態判定ステップとを実現することを特徴とする。

本発明に係る画像状態判定用プログラムは、コンピュータにより実行される画像状態判定用プログラムであって、コンピュータが、監視対象から得られる画像データを取り込み、監視対象から得られる画像データについてエッジ情報を得る処理を行うエッジ情報生成ステップと、生成された１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行う統計処理ステップと、前記エッジ情報から得た統計処理結果と予め設定された閾値との比較を行う比較ステップと、上記比較の結果に基づき、対応する画像データが不正常か正常かを判定する画像状態判定ステップとを実現することを特徴とする。

本発明に係る画像状態判定用プログラムは、コンピュータにより実行される画像状態判定用プログラムであって、コンピュータが、監視対象から得られる画像データを取り込み、監視対象から得られる画像データに対してぼかし処理を行うぼかし処理ステップと、前記ぼかし処理の前後の画像データについてエッジ情報を得る処理を行うエッジ情報生成ステップと、前記ぼかし処理の前後の画像データに対応する１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行う統計処理ステップと、前記ぼかし処理の前後の画像データに係るエッジ情報から得た統計処理結果の差と予め設定された閾値との比較を行う第１の比較ステップと、上記第１の比較ステップによる比較の結果に基づき、対応する画像データが不正常か正常かを判定する第１の画像状態判定ステップと前記エッジ情報生成ステップにより生成されたぼかし前の１画面内の各画素に係るエッジ情報を用いて、前記統計処理ステップが該エッジ情報の平均値、合計、分散、標準偏差の少なくとも１つを求めた統計処理結果と予め設定された閾値との比較を行う第２の比較ステップと、上記第２の比較ステップによる比較の結果に基づき、対応する画像データが不正常か正常かを判定する第２の画像状態判定ステップと、前記第１の画像状態判定ステップと前記第２の画像状態判定ステップとによる判定結果に基づき最終的な判定を行う第３の画像状態判定ステップとを実現することを特徴とする。

本発明に係る画像状態判定用プログラムでは、ぼかし処理を、ガウシアンフィルタにより行うことを特徴とする。

本発明に係る画像状態判定用プログラムでは、エッジ情報生成ステップは、ソベルフィルタ、ロバーツフィルタ、ラプラシアンフィルタのいずれかを用いてエッジ情報の生成を行うことを特徴とする。

本発明に係る画像状態判定用プログラムでは、エッジ情報生成ステップは、エッジ強度、エッジベクトル、エッジベクトルの方向の少なくとも１つを生成することを特徴としている。

以上の通り本発明では、監視対象から得られる画像データに対してぼかし処理を行い、ぼかし処理の前後の画像データについてエッジ情報を得て、ぼかし処理の前後の画像データに対応する１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求め、ぼかし処理の前後の画像データに係るエッジ情報から得た統計処理結果の差と予め設定された閾値との比較を行い、上記比較の結果に基づき、対応する画像データが不正常か正常かを判定するので、正常な画像についてぼかし処理を行った場合に大きく画質が変化するのに対し、不正常な画像についてぼかし処理を行った場合には画質が大きく変化せず、容易に画像データが不正常か正常かを判定可能となる。

また本発明では、監視対象から得られる画像データについてエッジ情報を得て、生成された１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求め、エッジ情報から得た統計処理結果と予め設定された閾値との比較を行って、上記比較の結果に基づき、対応する画像データが不正常か正常かを判定するので、不正常な画像についてエッジ情報を求めた場合と正常な画像についてエッジ情報を求めた場合には、その統計的値が大きく異なり、容易に画像データが不正常か正常かを判定可能となる。

以上の通り本発明では、監視対象から得られる画像データに対してぼかし処理を行い、ぼかし処理の前後の画像データについてエッジ情報を得て、ぼかし処理の前後の画像データに対応する１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求め、ぼかし処理の前後の画像データに係るエッジ情報から得た統計処理結果の差と予め設定された閾値との比較を行い、上記比較の結果に基づき、対応する画像データが不正常か正常かを判定し、更に、ぼかし処理を行うことない画像データについてエッジ情報を得て、生成された１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求め、エッジ情報から得た統計処理結果と予め設定された閾値との比較を行って、上記比較の結果に基づき、対応する画像データが不正常か正常かを判定し、上記２つの判定を用いて最終判定するので、多角的な判定が可能となる。

本発明では、監視対象から得られる画像データについて、比較的簡易な処理を施すことによって画像が不正常か正常かを判定できるようにするという目的を、ぼかし処理の前後に係る画像データについてエッジ情報を得て統計的処理を行うことにより実現した。また、エッジ情報を得て統計的処理を行い、閾値との比較を行うことにより実現した。更に、ぼかし処理の前後に係る画像データについてエッジ情報を得て統計的処理を行って閾値との比較を行うと共に、ぼかし処理を行うことなく、エッジ情報を得て統計的処理を行い、閾値との比較を行い、両比較結果に基づき最終判定を行うことにより実現した。以下添付図面を参照して、本発明の画像状態判定装置、画像状態判定方法及び画像状態判定用プログラムの実施例を説明する。各図において同一構成要素には同一の符号を付して重複する説明を省略する。

図１に、第１の実施例に係る画像状態判定装置の構成例を示す。テレビカメラ２から得た監視対象の画像信号（ＮＴＳＣ信号などのアナログ信号）を画像変換部３にてディジタル多値化の輝度データとして画像状態判定装置１に対して送る。画像状態判定装置１による判定結果の出力は、例えば、画像データの認識処理を行う画像データ使用処理装置４へ送られる。

画像状態判定装置１には、ぼかし処理手段１１、エッジ情報生成手段１２、統計処理手段１３、比較手段１４、画像状態判定手段１５、閾値記憶部１６が備えられている。ぼかし処理手段１１は、監視対象から得られる画像データ（画像変換部３から到来するデータ）に対してぼかし処理を行うものである。エッジ情報生成手段１２は、上記ぼかし処理手段１１によるぼかし処理の前後の画像データについてエッジ情報を得る処理を行うものである。

統計処理手段１３は、上記ぼかし処理手段１１によるぼかし処理の前後の画像データに対応する１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行うものである。比較手段１４は、上記ぼかし処理手段１１によるぼかし処理の前後の画像データに係るエッジ情報から得た統計処理結果の差と予め設定された閾値との比較を行うものである。ここで、比較手段１４が用いる閾値情報は、閾値記憶部１６に予め記憶されている。画像状態判定手段１５は、上記比較手段１４による比較の結果に基づき、対応する画像データが不正常か正常かを判定するものである。

上記の画像状態判定装置１は、例えば、図２に示されるコンピュータが画像状態判定用プログラムを実行することにより実現される。図２のコンピュータは、バス２０に画像変換部３を接続して、テレビカメラ２から得られる監視対象の画像信号を画像変換部３にてディジタル多値化の輝度データとしてＣＰＵ２１が取り込むように構成されたシステムである。

ＣＰＵ２１には、主記憶装置２２が接続されており、この主記憶装置２２には、ＣＰＵ２１が実行するプログラムが記憶され、ワークメモリの領域が設けられており、閾値記憶部１６を備えて閾値データが記憶されている。バス２０には、ＣＰＵ２１の他に、外部記憶装置制御部２３と出力ポート２４とが接続されている。

外部記憶装置制御部２３には、磁気ディスク装置などの外部記憶装置２５が接続されており、外部記憶装置２５には主記憶装置２２へロードされる画像状態判定用プログラムや閾値情報が記憶されている。

上記ＣＰＵ２１が実行する画像状態判定用プログラムは図３に示されるフローチャートに対応するものである。このプログラム実行により本発明の実施例に係る画像状態判定方法が実現されるので、上記フローチャートに従って動作説明を行う。テレビカメラ１により撮像された画像に係る画像信号が画像変換部３にてディジタル多値化の輝度データとされて到来する。これをＣＰＵ２１が取り込む（Ｓ１）。ディジタル多値化の輝度データは、１画面分、つまり１フィールド分を１つの単位として処理する。１フィールドにおいて、画素が横方向（ｘ方向）にＭドット並び、縦方向（ｙ方向）にＮドット並ぶとすると、Ｍ×Ｎドットの画素が１フィールドに存在している。

次に、ＣＰＵ２１は、ぼかしフィルタ処理を行う（Ｓ２）。ここで、ぼかしフィルタ処理としては、ガウシアンフィルタにより行うものであり、例えば、図４に示すように３×３にて構成されるガウシアンフィルタのパラメータを、３×３の中央に位置する注目画素に対し周辺の３×３に入る範囲内の画素に適用して注目画素の輝度値を変更する（フィルタを掛ける）。

上記のガウシアンフィルタは、ガウス分布に基づくものであり、標準偏差がσの２次元ガウス分布は次の（式１）に示すようになる。そして、図４の各値は、σを１として得たものである。

上記のガウシアンフィルタを掛ける処理を１フレーム中の全ての画素を注目画素として実行する。なお、本実施例では、ガウシアンフィルタを用いたが、ぼかしを掛けることができるものであれば他のフィルタによることも可能である。

次に、ＣＰＵ２１は、ぼかし処理を行う前の１フレームの原画像と、この原画像に対し上記ぼかし処理を行った後の１フレームのぼかし後画像とについて、夫々エッジ強度画像を得る（Ｓ３）。エッジ強度画像を得るために、本実施例では、ソベルフィルタを適用する。

図５（ａ）にｙ方向フィルタを示し、図５（ｂ）にｘ方向フィルタを示す。ｙ方向フィルタを用いたパラメータを図５（ｃ）に示す３×３の中心の注目画素Ｃ５に適用して、エッジ強度ＫHを、ＫH＝−１・Ｃ１−２・Ｃ４−１・Ｃ７＋１・Ｃ３＋２・Ｃ６＋１・Ｃ９の計算式により得る。また、ｘ方向フィルタを用いたパラメータを図５（ｃ）に示す３×３の中心の注目画素Ｃ５に適用して、エッジ強度ＫVを、ＫV＝−１・Ｃ１−２・Ｃ２−１・Ｃ３＋１・Ｃ７＋２・Ｃ８＋１・Ｃ９の計算式により得る。

そして、最終的に注目画素Ｃ５についてのエッジ強度Ｋ（Ｃ５）は、ＫHとＫVの絶対値を用いて、Ｋ＝｜ＫH｜＋｜ＫV｜から得る。ソベルフィルタを掛ける処理を１フレーム中の全ての画素を注目画素として実行する。本実施例では、ソベル（Sobel）フィルタを用いたが、エッジ強度を得ることができるものであれば、ロバーツ（Roberts）フィルタ、ラプラシアン（Laplacian）フィルタのいずれかを用いることも可能であり、或いは他のフィルタによることも可能である。

更に、この実施例においては、エッジ情報としてエッジ強度を生成したが、エッジ強度、エッジベクトル、エッジベクトルの方向の内、少なくとも１つを生成するようにしても良い。エッジベクトルは、エッジ強度ＫHをｘ方向の大きさとし、エッジ強度ＫVをｙ方向の大きさとしたもので、次の（式２）により与えられる。

また、エッジ情報としてエッジベクトルの方向を用いる場合には、注目画素Ｃ５に対して、（ＫH，ＫV）を用いることができる。エッジベクトル、エッジベクトルの方向を用いる場合においても、生成処理を１フレーム中の全ての画素を注目画素として実行することは勿論である。

以上のようにして、この実施例ではエッジ強度を得ると、次に統計処理として標準偏差を算出する（Ｓ４）。１フレームにおけるＮ×Ｍの画素について得られたぼかし処理前の輝度に対するエッジ強度をＫi-befとするとき（ｉ＝１〜Ｎ×Ｍ）、その標準偏差σbefは、次の（式３）における分散σ²befの平方根として求められる。

また、１フレームにおけるＮ×Ｍの画素について得られたぼかし処理後の輝度に対するエッジ強度をＫi-aftとするとき（ｉ＝１〜Ｎ×Ｍ）、その標準偏差σaftは、次の（式４）における分散σ²aftより求められる。

次に、ＣＰＵ２１は、上記において求めたぼかし処理前後の標準偏差σbef、σaftの差を閾値と比較し（Ｓ５）、標準偏差σbef、σaftの差が閾値以上であるかを検出する（Ｓ６）。そして、標準偏差σbef、σaftの差が閾値以上であることが検出されると、当該画像（１フレーム）は適切な画像である旨を出力ポート２４を介して画像データ使用処理装置４へ送出し（Ｓ７）、次の１フレームの処理へリターンする。上記の処理に対し、標準偏差σbef、σaftの差が閾値以上でないことが検出されると、当該画像（１フレーム）は不適切な画像である旨を出力ポート２４を介して画像データ使用処理装置４へ送出し（Ｓ８）、次の１フレームの処理へリターンする。

上記処理について、具体的な画像の例を示して説明する。例えば、図６（ａ）に示される標準的な適切な画像が得られた場合に、エッジ強度を生成した画像は図６（ｂ）に示されるようになる。また、ぼかしフィルタ処理を行った後に、エッジ強度を生成した画像は図６（ｃ）に示されるようになる。

そして、上記のようにぼかしフィルタ処理を行うことなく、エッジ強度を生成した画像（図６（ｂ））について標準偏差を求めると、３２．９となった。これに対し、ぼかしフィルタ処理を行った後に、エッジ強度を生成した画像（図６（ｃ））について標準偏差を求めると、１１．３となった。例えば、閾値を１５．０とした場合においては、ぼかし処理前後の画像についてのエッジ強度の差は２１．６であり、閾値１５．０以上であるから、適切な画像と判定される。

また、例えば、図７（ａ）に示されるピンぼけした不適切な画像が得られた場合に、エッジ強度を生成した画像は図７（ｂ）に示されるようになる。また、ぼかしフィルタ処理を行った後に、エッジ強度を生成した画像は図７（ｃ）に示されるようになる。

係る例において、ぼかしフィルタ処理を行うことなく、エッジ強度を生成した画像（図７（ｂ））について標準偏差を求めると、１７．６となった。これに対し、ぼかしフィルタ処理を行った後に、エッジ強度を生成した画像（図７（ｃ））について標準偏差を求めると、９．８となった。上記の通り、閾値を１５．０とした場合においては、ぼかし処理前後の画像についてのエッジ強度の差は７．８であり、閾値１５．０より小さいものであるから、不適切な画像と判定される。

更に、例えば、図８（ａ）に示されるように暗画像が得られた場合に、エッジ強度を生成した画像及び、ぼかしフィルタ処理を行った後に、エッジ強度を生成した画像は、共に図８（ｂ）に示されるようになる。ぼかし処理前後の画像についてのエッジ強度は共に８．２であり、その差は０となって閾値１５．０より小さいものであるから、不適切な画像と判定される。

なお、ここでは、標準偏差を求めたが、平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行って、求めた値を用いるようにしても良い。また、ぼかし前後の差を求めたが、比（割合）を求めるようにして、比（割合）の閾値と比較して適切・不適切を判定するようにしても良い。既に述べた通りこの実施例では、エッジ強度、エッジベクトル、エッジベクトルの方向の少なくとも１つを生成するのであるから、統計処理の手法との組み合わせにより多種の手法を採用することができる。夫々について、閾値は実験的に求めて適切な値をプログラム内にセットしておくこととする。また、複数の手法を用いた場合に、基本的には多数決により画像の適否を判定するが、適否の判定が同数に別れた場合には、予め定めた手法による判定結果を採用するものとする。

図９に、第２の実施例に係る画像状態判定装置の構成例を示す。画像状態判定装置１Ａには、エッジ情報生成手段１２、統計処理手段１３、比較手段１４、画像状態判定手段１５、閾値記憶部１６が備えられている。本実施例では、ぼかし処理手段１１は備えられないが、その他の構成は第１の実施例と同様である。上記の画像状態判定装置１Ａは、例えば、図２に示されるコンピュータが画像状態判定用プログラムを実行することにより実現されることも第１の実施例と同様である。

この第２の実施例において、上記ＣＰＵ２１が実行する画像状態判定用プログラムは図１０に示されるフローチャートに対応するものである。このプログラム実行により本発明の実施例に係る画像状態判定方法が実現されるので、上記フローチャートに従って動作説明を行う。

テレビカメラ１により撮像された画像に係る画像信号が画像変換部３にてディジタル多値化の輝度データとされて到来する。これをＣＰＵ２１が取り込む（Ｓ１）。ディジタル多値化の輝度データは、１画面分、つまり１フィールド分を１つの単位として処理する。１フィールドにおいて、画素が横方向（ｘ方向）にＭドット並び、縦方向（ｙ方向）にＮドット並ぶとすると、Ｍ×Ｎドットの画素が１フィールドに存在している。

ＣＰＵ２１は、ぼかし処理を行うことなく１フレームの原画像に対しエッジ強度画像を得る（Ｓ１２）。エッジ強度画像を得るために、本実施例では、ソベルフィルタを適用する。ソベルフィルタについては、第１の実施例において説明した通りであり、ソベル（Sobel）フィルタ以外にエッジ強度を得ることができるものであれば、ロバーツ（Roberts）フィルタ、ラプラシアン（Laplacian）フィルタのいずれかを用いることも可能であり、或いは他のフィルタによることも可能である。

本実施例ではエッジ強度を得ると、次に統計処理として標準偏差を算出する（Ｓ１３）。１フレームにおけるＮ×Ｍの画素について得られたぼかし処理していない輝度に対するエッジ強度をＫi-befとするとき（ｉ＝１〜Ｎ×Ｍ）、その標準偏差σbefは、前述の（式３）における分散σ²befの平方根として求められる。

次に、ＣＰＵ２１は、上記において求めた標準偏差σbefと閾値と比較し、標準偏差σbefが閾値以上であるかを検出する（Ｓ１４）。そして、標準偏差σbefが閾値以上であることが検出されると、当該画像（１フレーム）は適切な画像である旨を出力ポート２４を介して画像データ使用処理装置４へ送出し（Ｓ１５）、次の１フレームの処理へリターンする。上記の処理に対し、標準偏差σbefが閾値以上でないことが検出されると、当該画像（１フレーム）は不適切な画像である旨を出力ポート２４を介して画像データ使用処理装置４へ送出し（Ｓ１６）、次の１フレームの処理へリターンする。なお、ここにおいて用いる閾値は、第１の実施において用いた閾値とは異なるものである。

上記処理について、既に第１の実施例を適用した具体的な画像の例をについて説明する。例えば、図６（ａ）に示される標準的な適切な画像が得られた場合に、エッジ強度を生成した画像は図６（ｂ）に示されるようになる。このエッジ強度を生成した画像（図６（ｂ））について標準偏差を求めると、３２．９となった。また、図７（ａ）に示されるピンぼけした不適切な画像が得られた場合に、エッジ強度を生成した画像は図７（ｂ）に示されるようになる。係る例において、ぼかしフィルタ処理を行うことなく、エッジ強度を生成した画像（図７（ｂ））について標準偏差を求めると、１７．６となった。例えば、標準的な適切な画像の場合に標準偏差が２０．０以上となることが実験的に得られていると、これを閾値として、上記標準偏差３２．９や１７．６と比較する。図６（ａ）の場合には、閾値２０．０以上となるから、適切な画像と判定され、図７（ａ）の場合には、閾値２０．０より小さいから、不適切な画像と判定される。また、エッジ強度についての標準偏差が８．２となる図８（ａ）に示されるように暗画像が得られた場合にも、閾値２０．０より小さいから、不適切な画像と判定される。

なお、この実施例においても、標準偏差を求めたが、平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行って、求めた値を用いるようにしても良い。既に述べた通りこの実施例では、エッジ強度、エッジベクトル、エッジベクトルの方向の少なくとも１つを生成するのであるから、統計処理の手法との組み合わせにより多種の手法を採用することができる。夫々について、閾値は実験的に求めて適切な値をプログラム内にセットしておくこととする。また、複数の手法を用いた場合に、基本的には多数決により画像の適否を判定するが、適否の判定が同数に別れた場合には、予め定めた手法による判定結果を採用するものとする。

次に、第３の実施例に係る画像状態判定装置の構成例を説明する。本実施例に係る画像状態判定装置は、図１に示した画像状態判定装置１の構成であり、これには、ぼかし処理手段１１、エッジ情報生成手段１２、統計処理手段１３、比較手段１４、画像状態判定手段１５、閾値記憶部１６が備えられている。上記の画像状態判定装置１は、例えば、図２に示されるコンピュータが画像状態判定用プログラムを実行することにより実現されることも第１の実施例と同様である。但し、ぼかし処理の前後の画像データに係るエッジ情報から得た統計処理結果の差と予め設定された閾値との比較を行う第１の比較手段と、上記第１の比較手段による比較の結果に基づき、対応する画像データが不正常か正常かを判定する第１の画像状態判定手段とエッジ情報生成手段により生成されたぼかし前の１画面内の各画素に係るエッジ情報を用いて、前記統計処理手段が該エッジ情報の平均値、合計、分散、標準偏差の少なくとも１つを求めた統計処理結果と予め設定された閾値との比較を行う第２の比較手段と、上記第２の比較手段による比較の結果に基づき、対応する画像データが不正常か正常かを判定する第２の画像状態判定手段と、前記第１の画像状態判定手段と前記第２の画像状態判定手段とによる判定結果に基づき最終的な判定を行う第３の画像状態判定手段とを具備する。

この第３の実施例において、上記ＣＰＵ２１が実行する画像状態判定用プログラムは図１１及び図１２に示されるフローチャートに対応するものである。このプログラム実行により本発明の実施例に係る画像状態判定方法が実現されるので、上記フローチャートに従って動作説明を行う。

テレビカメラ１により撮像された画像に係る画像信号が画像変換部３にてディジタル多値化の輝度データとされて到来する。これをＣＰＵ２１が取り込む（Ｓ１）。ディジタル多値化の輝度データは、１画面分、つまり１フィールド分を１つの単位として処理する。１フィールドにおいて、画素が横方向（ｘ方向）にＭドット並び、縦方向（ｙ方向）にＮドット並ぶとすると、Ｍ×Ｎドットの画素が１フィールドに存在している。

次に、ＣＰＵ２１は、ぼかしフィルタ処理を行う（Ｓ２）。ここで、ぼかしフィルタ処理としては、ガウシアンフィルタにより行うものであり、例えば、図４に示すように３×３にて構成されるガウシアンフィルタのパラメータを、３×３の中央に位置する注目画素に対し周辺の３×３に入る範囲内の画素に適用して注目画素の輝度値を変更する（フィルタを掛ける）。この処理は、第１の実施例の場合と同様である。

次に、ＣＰＵ２１は、ぼかし処理を行う前の１フレームの原画像と、この原画像に対し上記ぼかし処理を行った後の１フレームのぼかし後画像とについて、夫々エッジ強度画像を得る（Ｓ３）。エッジ強度画像を得るために、本実施例では、ソベルフィルタを適用する。この処理も第１の実施例における処理と同様である。この実施例ではエッジ強度を得ると、次に統計処理として標準偏差を第１の実施例における処理と同様にして算出する（Ｓ４）。

次に、ＣＰＵ２１は、上記において求めたぼかし処理前後の標準偏差σbef、σaftの差を閾値と比較し（Ｓ５）、標準偏差σbef、σaftの差(又は比)が閾値以上であるかを検出する（Ｓ６）。そして、標準偏差σbef、σaftの差(又は比)が閾値以上であることが検出されると、当該画像（１フレーム）は適切な画像である旨を仮出力する（Ｓ７Ａ）。上記の処理に対し、標準偏差σbef、σaftの差(又は比)が閾値以上でないことが検出されると、当該画像（１フレーム）は不適切な画像である旨を仮出力する（Ｓ８Ａ）。

ＣＰＵ２１は、上記ステップＳ４を終了すると、例えば並列処理として、図１２に示すステップＳ２３へ進む。つまり、本実施例では既にぼかし処理を行う前の１フレームのぼかし後画像とについてエッジ強度が得られており、次に統計処理として標準偏差σbefが算出されているので、これを取り込む（Ｓ２３）。

次に、ＣＰＵ２１は、上記において取り込んだ標準偏差σbefと閾値と比較し、標準偏差σbefが閾値以上であるかを検出する（Ｓ２４）。そして、標準偏差σbefが閾値以上であることが検出されると、当該画像（１フレーム）は適切な画像である旨を仮出力する（Ｓ２５）。上記の処理に対し、標準偏差σbefが閾値以上でないことが検出されると、当該画像（１フレーム）は不適切な画像である旨を仮出力する（Ｓ２６）。なお、ここにおいて用いる閾値は、第１の実施において用いた閾値とは異なるもので、第２の実施例において用いた閾値と同じであってよい。

ステップＳ７Ａ、Ｓ８Ａ、Ｓ２５、Ｓ２６による仮出力結果は、ＣＰＵ２１による第３の画像状態判定手段(ステップ)による判定において、多数決、アンド(両方が適切出力の場合にのみ適切と判断)、オア(一方が適切であれば適切と判断)、或いは一方の判断(又は両方の判断)に重みをつけて(例えば、一方に０.９を掛け、他方に１.１を掛けるなど)の処理による多数決を行い、結果を出力ポート２４を介して画像データ使用処理装置４へ送出し（Ｓ１６）、次の１フレームの処理へリターンする。

なお、この実施例においても、標準偏差を求めたが、平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行って、求めた値を用いるようにしても良い。既に述べた通りこの実施例では、エッジ強度、エッジベクトル、エッジベクトルの方向の少なくとも１つを生成するのであるから、統計処理の手法との組み合わせにより多種の手法を採用することができる。夫々について、閾値は実験的に求めて適切な値をプログラム内にセットしておくこととする。また、複数の手法を用いた場合に、基本的には多数決により画像の適否を判定するが、適否の判定が同数に別れた場合には、予め定めた手法による判定結果を採用する等とする。

本発明に係る画像状態判定装置の第１の実施例における構成図。 本発明に係る画像状態判定装置を実現するコンピュータの構成図。 本発明に係る画像状態判定装置の第１の実施例の動作を示すフローチャート。 本発明に係る画像状態判定装置に用いるガウシアンフィルタのパラメータの一例を示す図。 本発明に係る画像状態判定装置に用いるソベルフィルタのパラメータの一例を示す図。 本発明に係る画像状態判定装置により明瞭で適切な画像を処理した場合の例を示す図。 本発明に係る画像状態判定装置によりボケた画像を処理した場合の例を示す図。 本発明に係る画像状態判定装置により暗画像を処理した場合の例を示す図。 本発明に係る画像状態判定装置の第２の実施例における構成図。 本発明に係る画像状態判定装置の第２の実施例の動作を示すフローチャート。 本発明に係る画像状態判定装置の第３の実施例の動作を示すフローチャート。 本発明に係る画像状態判定装置の第３の実施例の動作を示すフローチャート。

符号の説明

１ 画像状態判定装置
２ テレビカメラ
３ 画像変換部
４ 画像データ使用処理装置
１１ ぼかし処理手段
１２ エッジ情報生成手段
１３ 統計処理手段
１４ 比較手段
１５ 画像状態判定手段
１６ 閾値記憶部
２１ ＣＰＵ
２２ 主記憶装置
２３ 外部記憶制御部
２４ 出力ポート
２５ 外部記憶装置

Claims (18)

1. 監視対象から得られる画像データに対してぼかし処理を行うぼかし処理手段と、
   前記ぼかし処理の前後の画像データについてエッジ情報を得る処理を行うエッジ情報生成手段と、
   前記ぼかし処理の前後の画像データに対応する１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行う統計処理手段と、
   前記ぼかし処理の前後の画像データに係るエッジ情報から得た統計処理結果の差と予め設定された閾値との比較を行う比較手段と、
   上記比較の結果に基づき、対応する画像データが不正常か正常かを判定する画像状態判定手段と
   を具備することを特徴とする画像状態判定装置。
2. 監視対象から得られる画像データについてエッジ情報を得る処理を行うエッジ情報生成手段と、
   生成された１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行う統計処理手段と、
   前記エッジ情報から得た統計処理結果と予め設定された閾値との比較を行う比較手段と、
   上記比較の結果に基づき、対応する画像データが不正常か正常かを判定する画像状態判定手段と
   を具備することを特徴とする画像状態判定装置。
3. 監視対象から得られる画像データに対してぼかし処理を行うぼかし処理手段と、
   前記ぼかし処理の前後の画像データについてエッジ情報を得る処理を行うエッジ情報生成手段と、
   前記ぼかし処理の前後の画像データに対応する１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行う統計処理手段と、
   前記ぼかし処理の前後の画像データに係るエッジ情報から得た統計処理結果の差と予め設定された閾値との比較を行う第１の比較手段と、
   上記第１の比較手段による比較の結果に基づき、対応する画像データが不正常か正常かを判定する第１の画像状態判定手段と
   前記エッジ情報生成手段により生成されたぼかし前の１画面内の各画素に係るエッジ情報を用いて、前記統計処理手段が該エッジ情報の平均値、合計、分散、標準偏差の少なくとも１つを求めた統計処理結果と予め設定された閾値との比較を行う第２の比較手段と、
   上記第２の比較手段による比較の結果に基づき、対応する画像データが不正常か正常かを判定する第２の画像状態判定手段と、
   前記第１の画像状態判定手段と前記第２の画像状態判定手段とによる判定結果に基づき最終的な判定を行う第３の画像状態判定手段と
   を具備することを特徴とする画像状態判定装置。
4. ぼかし処理を、ガウシアンフィルタにより行うことを特徴とする請求項１又は請求項３に記載の画像状態判定装置。
5. エッジ情報生成手段は、ソベルフィルタ、ロバーツフィルタ、ラプラシアンフィルタのいずれかを用いてエッジ情報の生成を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像状態判定装置。
6. エッジ情報生成手段は、エッジ強度、エッジベクトル、エッジベクトルの方向の少なくとも１つを生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像状態判定装置。
7. 監視対象から得られる画像データに対してぼかし処理を行うぼかし処理ステップと、
   前記ぼかし処理の前後の画像データについてエッジ情報を得る処理を行うエッジ情報生成ステップと、
   前記ぼかし処理の前後の画像データに対応する１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行う統計処理ステップと、
   前記ぼかし処理の前後の画像データに係るエッジ情報から得た統計処理結果の差と予め設定された閾値との比較を行う比較ステップと、
   上記比較の結果に基づき、対応する画像データが不正常か正常かを判定する画像状態判定ステップと
   を具備することを特徴とする画像状態判定方法。
8. 監視対象から得られる画像データについてエッジ情報を得る処理を行うエッジ情報生成ステップと、
   生成された１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行う統計処理ステップと、
   前記エッジ情報から得た統計処理結果と予め設定された閾値との比較を行う比較ステップと、
   上記比較の結果に基づき、対応する画像データが不正常か正常かを判定する画像状態判定ステップと
   を具備することを特徴とする画像状態判定方法。
9. 監視対象から得られる画像データに対してぼかし処理を行うぼかし処理ステップと、
   前記ぼかし処理の前後の画像データについてエッジ情報を得る処理を行うエッジ情報生成ステップと、
   前記ぼかし処理の前後の画像データに対応する１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行う統計処理ステップと、
   前記ぼかし処理の前後の画像データに係るエッジ情報から得た統計処理結果の差と予め設定された閾値との比較を行う第１の比較ステップと、
   上記第１の比較ステップによる比較の結果に基づき、対応する画像データが不正常か正常かを判定する第１の画像状態判定ステップと
   前記エッジ情報生成ステップにより生成されたぼかし前の１画面内の各画素に係るエッジ情報を用いて、前記統計処理ステップが該エッジ情報の平均値、合計、分散、標準偏差の少なくとも１つを求めた統計処理結果と予め設定された閾値との比較を行う第２の比較ステップと、
   上記第２の比較ステップによる比較の結果に基づき、対応する画像データが不正常か正常かを判定する第２の画像状態判定ステップと、
   前記第１の画像状態判定ステップと前記第２の画像状態判定ステップとによる判定結果に基づき最終的な判定を行う第３の画像状態判定ステップと
   を具備することを特徴とする画像状態判定方法。
10. ぼかし処理を、ガウシアンフィルタにより行うことを特徴とする請求項７又は請求項９に記載の画像状態判定方法。
11. エッジ情報生成ステップは、ソベルフィルタ、ロバーツフィルタ、ラプラシアンフィルタのいずれかを用いてエッジ情報の生成を行うことを特徴とする請求項７乃至９のいずれか１項に記載の画像状態判定方法。
12. エッジ情報生成ステップでは、エッジ強度、エッジベクトル、エッジベクトルの方向の少なくとも１つを生成することを特徴とする請求項７乃至９のいずれか１項に記載の画像状態判定方法。
13. コンピュータにより実行される画像状態判定用プログラムであって、コンピュータが、監視対象から得られる画像データを取り込み、
    監視対象から得られる画像データに対してぼかし処理を行うぼかし処理ステップと、
    前記ぼかし処理の前後の画像データについてエッジ情報を得る処理を行うエッジ情報生成ステップと、
    前記ぼかし処理の前後の画像データに対応する１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行う統計処理ステップと、
    前記ぼかし処理の前後の画像データに係るエッジ情報から得た統計処理結果の差と予め設定された閾値との比較を行う比較ステップと、
    上記比較の結果に基づき、対応する画像データが不正常か正常かを判定する画像状態判定ステップと
    を実現することを特徴とする画像状態判定用プログラム。
14. コンピュータにより実行される画像状態判定用プログラムであって、コンピュータが、監視対象から得られる画像データを取り込み、
    監視対象から得られる画像データについてエッジ情報を得る処理を行うエッジ情報生成ステップと、
    生成された１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行う統計処理ステップと、
    前記エッジ情報から得た統計処理結果と予め設定された閾値との比較を行う比較ステップと、
    上記比較の結果に基づき、対応する画像データが不正常か正常かを判定する画像状態判定ステップと
    を実現することを特徴とする画像状態判定用プログラム。
15. コンピュータにより実行される画像状態判定用プログラムであって、コンピュータが、監視対象から得られる画像データを取り込み、
    監視対象から得られる画像データに対してぼかし処理を行うぼかし処理ステップと、
    前記ぼかし処理の前後の画像データについてエッジ情報を得る処理を行うエッジ情報生成ステップと、
    前記ぼかし処理の前後の画像データに対応する１画面内の各画素に係るエッジ情報を用いて、その平均値、合計、分散、標準偏差の少なくとも１つを求める統計処理を行う統計処理ステップと、
    前記ぼかし処理の前後の画像データに係るエッジ情報から得た統計処理結果の差と予め設定された閾値との比較を行う第１の比較ステップと、
    上記第１の比較ステップによる比較の結果に基づき、対応する画像データが不正常か正常かを判定する第１の画像状態判定ステップと
    前記エッジ情報生成ステップにより生成されたぼかし前の１画面内の各画素に係るエッジ情報を用いて、前記統計処理ステップが該エッジ情報の平均値、合計、分散、標準偏差の少なくとも１つを求めた統計処理結果と予め設定された閾値との比較を行う第２の比較ステップと、
    上記第２の比較ステップによる比較の結果に基づき、対応する画像データが不正常か正常かを判定する第２の画像状態判定ステップと、
    前記第１の画像状態判定ステップと前記第２の画像状態判定ステップとによる判定結果に基づき最終的な判定を行う第３の画像状態判定ステップと
    を実現することを特徴とする画像状態判定用プログラム。
16. ぼかし処理を、ガウシアンフィルタにより行うことを特徴とする請求項１３又は請求項１５に記載の画像状態判定用プログラム。
17. エッジ情報生成ステップは、ソベルフィルタ、ロバーツフィルタ、ラプラシアンフィルタのいずれかを用いてエッジ情報の生成を行うことを特徴とする請求項１３乃至１５のいずれか１項に記載の画像状態判定用プログラム。
18. エッジ情報生成ステップは、エッジ強度、エッジベクトル、エッジベクトルの方向の少なくとも１つを生成することを特徴とする請求項１３乃至１５のいずれか１項に記載の画像状態判定用プログラム。