JP2011242980A

JP2011242980A - 画像処理装置、画像処理方法、プログラムおよび記録媒体

Info

Publication number: JP2011242980A
Application number: JP2010114186A
Authority: JP
Inventors: Naoki Ito; 直己伊藤; Hiroyuki Arai; 啓之新井; Hidenori Tanaka; 秀典田中; Hideki Koike; 秀樹小池
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2010-05-18
Filing date: 2010-05-18
Publication date: 2011-12-01
Anticipated expiration: 2030-05-18
Also published as: JP5430492B2

Abstract

【課題】空間的な連続性を確保した人物対象の検出を行うこと。
【解決手段】時系列に連続する画像データの画像内に存在する移動対象を当該画像データの分散値に基づき検出する画像処理装置において、前記時系列に連続する画像データに基づき画素毎の分散値を算出するとともに、各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を膨張させる膨張処理と、各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を収縮させる収縮処理を行い、前記膨張処理および収縮処理がなされた分散値を含む分散値画像データを生成する分散値画像生成部と、を備えることを特徴とする。
【選択図】図１

Description

本発明は、画像内に存在する移動対象を分散値に基づき検出する画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。

画像や映像から移動物として、例えば、人物らしい領域を計測する方法として、人物が長時間静止しないという仮定を用い、人物らしい領域として動き検出を使用する方法がある。この動き検出の一つの例として、特許文献１に記載された動き検出方法は、撮影した時系列画像から過去複数フレームの映像を蓄積し、各フレームの画素値を対数変換し、変換された各画素のフレーム間の時間微分値が閾値を満たす場合に、該当するフレーム番号を評価値として、動きパターン画像を生成する。また、画素値の対数変換を行わず、フレーム間の画素値の比を算出し、比の値をフレーム間隔で除算し、除算した値が閾値を満たす場合に該当する動きパターン画像を生成する。
つまり、フレーム間の各画素に対して処理を施した後、その結果に対して閾値処理を行うことで、人物対象を含む領域であるか、それ以外の領域であるかを判断するものである。

特許第４２６８９５３号公報

しかしながら、単に閾値処理を用いて画像内の移動物を検出しているため、例えばフレーム間の時間微分値が閾値に近い値を持つ画素が空間的に近い領域に存在する場合、画素間の連続性が失われてしまう問題があった。また、同一画素に対する時間微分値が複数フレームに渡って閾値に近い値を持つ場合、フレーム間の連続性が失われてしまう場合があった。
本発明は、上記課題を解決するものであり、空間的な連続性を確保した人物対象の検出を行うことができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することを目的とする。

上述の課題を鑑み、本発明に係る画像処理装置は、時系列に連続する画像データの画像内に存在する移動対象を当該画像データの分散値に基づき検出する画像処理装置において、前記時系列に連続する画像データに基づき画素毎の分散値を算出するとともに、各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を膨張させる膨張処理と、各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を収縮させる収縮処理を行い、前記膨張処理および収縮処理がなされた分散値を含む分散値画像データを生成する分散値画像生成部と、を備えることを特徴とする。

また、上述の画像処理装置は、処理対象画像であるフレーム画像データに対して荷重平均フィルタを用いて低周波数成分画像データを生成するとともに、前記フレーム画像データと前記低周波数成分画像データとの差分を算出して高周波数成分画像データを生成する周波数成分分離部と、前記分散値画像データが示す分散の大きさに応じて、前記高周波数成分画像データの各画素値を抑制して抑制高周波成分画像データを生成する高周波数成分抑制部と、前記低周波数成分画像データと前記抑制高周波数成分画像データを合成する結果画像合成部とをさらに備えることを特徴とする。

また、上述の画像処理装置において、前記分散値画像生成部は、前記連続する画像データの画素値に基づき画素毎に前記画素値の平均値を算出し、前記平均値と前記連続する画像データのそれぞれの画素値を比較して、前記平均値に基づき決められる規定範囲から外れる外れ値を除去する外れ除去処理を画素毎に行い、当該外れ値を除去した画素値に基づき前記分散値を算出することを特徴とする。

また、上述の画像処理装置において、前記分散値画像生成部は、前記連続する画像データの画素値を画素毎に昇順あるは降順に並び替えて、当該並びにおける中央値を算出し、前記中央値と前記連続する画像データのそれぞれの画素値を比較して、前記中央値に基づき決められる規定範囲から外れる外れ値を除去する外れ除去処理を画素毎に行い、当該外れ値を除去した画素値に基づき前記分散値を算出することを特徴とする。

また、上述の画像処理装置において、前記分散値画像データの分散値が示す分散の大きさに応じて、前記分散値画像データの高周波数成分を抑制する高周波数成分抑制部をさらに備えることを特徴とする。

上述の課題を鑑み、本発明に係る画像処理方法は、時系列に連続する画像データの画像内に存在する移動対象を当該画像データの分散値に基づき検出する画像処理方法において、前記時系列に連続する画像データに基づき画素毎の分散値を算出するステップと、各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を膨張させる膨張処理を行うステップと、各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を収縮させる収縮処理を行うステップと、前記膨張処理および収縮処理がなされた分散値を含む分散値画像データを生成するステップと、処理対象画像であるフレーム画像データに対して荷重平均フィルタを用いて低周波数成分画像データを生成するステップと、前記フレーム画像データと前記低周波数成分画像データとの差分を算出して高周波数成分画像データを生成するステップと、前記分散値画像データが示す分散の大きさに応じて、前記高周波数成分画像データの各画素値を抑制して抑制高周波成分画像データを生成するステップと、前記低周波数成分画像データと前記抑制高周波数成分画像データを合成するステップと、を備えることを特徴とする。

上述の課題を鑑み、本発明に係るプログラムは、コンピュータに、前記時系列に連続する画像データに基づき画素毎の分散値を算出する手順、各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を膨張させる膨張処理を行う手順、各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を収縮させる収縮処理を行う手順、前記膨張処理および収縮処理がなされた分散値を含む分散値画像データを生成する手順、処理対象画像であるフレーム画像データに対して荷重平均フィルタを用いて低周波数成分画像データを生成する手順、前記フレーム画像データと前記低周波数成分画像データとの差分を算出して高周波数成分画像データを生成する手順、前記分散値画像データが示す分散の大きさに応じて、前記高周波数成分画像データの各画素値を抑制して抑制高周波成分画像データを生成する手順、前記低周波数成分画像データと前記抑制高周波数成分画像データを合成する手順、を実行させるためのプログラムであることを特徴とする。

上述の課題を鑑み、本発明に係る記録媒体は、コンピュータに、前記時系列に連続する画像データに基づき画素毎の分散値を算出する手順、各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を膨張させる膨張処理を行う手順、各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を収縮させる収縮処理を行う手順、前記膨張処理および収縮処理がなされた分散値を含む分散値画像データを生成する手順、処理対象画像であるフレーム画像データに対して荷重平均フィルタを用いて低周波数成分画像データを生成する手順、前記フレーム画像データと前記低周波数成分画像データとの差分を算出して高周波数成分画像データを生成する手順、前記分散値画像データが示す分散の大きさに応じて、前記高周波数成分画像データの各画素値を抑制して抑制高周波成分画像データを生成する手順、前記低周波数成分画像データと前記抑制高周波数成分画像データを合成する手順、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。

本発明によれば、空間的な連続性を確保した人物対象の検出を行うことができる。

本発明の実施形態にかかる画像処理装置の一例を示す概略図である。本発明の実施形態にかかる画像処理装置が「人物らしさ」を示す情報を算出する第一段階について説明するための概念図を示す。本発明の実施形態にかかる画像処理装置が「人物らしさ」を示す情報を算出する第二段階について説明するための概念図を示す。本発明の実施形態にかかる画像処理装置の処理フローの一例を示すフローチャートである。本発明の実施形態にかかる画像処理装置の処理フローの他の例を示すフローチャートである。

［第１実施形態］
以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明の第１実施形態に係る画像処理装置の一例を示す概略図である。
本実施形態に係る画像処理装置１００は、連続する画像データの時間的および空間的な連続性を保ちつつ、画像データの画像内に存在する移動対象（例えば人物対象）を検出画像処理装置である。この画像処理装置１００は、人物が一般的には完全な静止状態になることはほとんど無く、画像データ内においても、ふらつきなどにより微少な動きの変化が現れることを利用して、画像データの分散値が示す分散が大きい画像領域を検出する。ここで、画像処理装置１００は、分散値を算出する際に、複数枚の画像データの各画素値の変化から「人物らしさ」を示す分散値を算出し、各フレーム画像データの画素毎に、「人物らしさ」に応じた画像変換を全画素に対して行うことで、時間的および空間的に連続性を保つ画像処理を行う。

図１に示す通り、画像処理装置１００は、カメラ（画像入力装置）１と、画像蓄積部２と、分散値画像生成部３と、周波数成分分離部４と、高周波数成分抑制部５と、結果画像生成部６と、結果画像出力部７を含む。なお、以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。

カメラ１は、画像入力装置の一例であって、例えば、撮影対象を撮影した画像を表わすフレーム画像データを入力する装置である。このカメラ１は、撮影対象として、レンズに映る光景を撮影し、人物や風景を含む画像を示すフレーム画像データを取得し、画像蓄積部２に出力する。なお、カメラ１で撮影された画像は、時系列に連続する画像（以下、映像という）であって、時系列順にフレーム番号ｋが付与されている。

画像蓄積部２は、カメラ１が取得したフレーム画像データを入力し、フレーム番号ｋを対応付けてフレーム画像データを蓄積する。

分散値画像生成部３は、フレーム画像データに対して分散値算出処理を行うことで、フレーム画像データに含まれる「人物らしさ」を示す画像領域（人物対象）を検出する。ここで、分散値画像生成部３は、外れ値除去処理を行ったフレーム画像データに基づき分散値算出処理を行うことで、時間的に連続性を保つ画像処理を行うことができる。また、分散値画像生成部３は、分散値算出処理を行って得られた分散値に対して、膨張処理および収縮処理を行うことで、空間的に連続性を保つ画像処理を行うことができる。

この分散値画像生成部３は、連続するフレーム画像データの画素値のうち規定範囲から外れる外れ値を除去する外れ除去処理を画素毎に行い、外れ値を除去したフレーム画像データに基づき画素毎の分散値を算出する。
例えば、分散値画像生成部３は、画像蓄積部２に蓄積されているフレーム画像データＦ_ｋ（ｋ＝フレーム番号）を読み出し、例えば、フレーム画像データＦ_ｋに含まれる各画素に対応するデータ値（以下、画素値Ｉ_ｋ（ｘ，ｙ）という）の平均値Ｉ￣（ｘ，ｙ）を算出する。この分散値画像生成部３は、この平均値Ｉ￣（ｘ，ｙ）に基づき決められる規定範囲から外れる外れ値を除去する外れ値除去処理を行う。

ここで、分散値画像生成部３による外れ値除去処理の一例について詳細に説明する。
分散値画像生成部３は、画像蓄積部２から、処理対象画像であるフレーム画像データＦ_Ｎと、このフレーム画像データＦ_Ｎと時系列に連続するＭ個のフレーム画像データを読み出す。この分散値画像生成部３は、例えば、処理対象画像であるフレーム画像データＦ_Ｎよりも過去にカメラ１によって撮影されたＭ枚のフレーム画像データＦ_Ｎ―Ｍ，Ｆ_{Ｎ―Ｍ＋１}，・・・，Ｆ_Ｎ―１を読み出す。つまり、分散値画像生成部３は、画像蓄積部２から処理対象画像を含む連続するＭ＋１枚の画像のフレーム画像データＦ_Ｎ―Ｍ〜Ｆ_Ｎを取得する。なお、取得するフレーム画像データの数Ｍ＋１は、任意の枚数とする。

この分散値画像生成部３は、連続するＭ＋１枚の画像のフレーム画像データＦ_Ｎ―Ｍ〜Ｆ_Ｎの各画素値に基づき、各座標（ｘ，ｙ）に対応する画素の画素値Ｉ（ｘ，ｙ）に基づき、連続するＭ＋１枚の平均値Ｉ￣（ｘ，ｙ）を、式（１）に従って算出する。

ただし、ｋは、処理対象画像のフレーム画像データを０フレーム目とし、過去Ｍフレーム目までのフレーム画像データを示すフレーム番号である。また、Ｉ_ｋ（ｘ，ｙ）は、各フレーム画像データＦ_Ｎ―Ｍ〜Ｆ_Ｎのうちフレーム番号ｋの座標（ｘ，ｙ）における画素値を示す。

また、分散値画像生成部３は、各画素（ｘ，ｙ）の平均値Ｉ￣（ｘ，ｙ）を算出した後、この平均値Ｉ￣（ｘ，ｙ）と、連続するＭ＋１枚の各画素値Ｉ_ｋ（ｘ，ｙ）とを、それぞれ比較して、外れ値を除去する外れ値除去処理を行う。この分散値画像生成部３は、例えば、平均値Ｉ￣（ｘ，ｙ）との差分が一定の閾値以上である各画素値Ｉ_ｋ（ｘ，ｙ）のうち、平均値Ｉ￣（ｘ，ｙ）との差分の大きい任意の点数の各画素値Ｉ_ｋ（ｘ，ｙ）を、平均値Ｉ￣（ｘ，ｙ）から外れている外れ値として除去する。なお、分散値画像生成部３は、平均値Ｉ￣（ｘ，ｙ）との差分が一定の閾値以上である各画素値Ｉ_ｋ（ｘ，ｙ）を全て外れ値として除去してもよく、予め決められた数だけ、平均値Ｉ￣（ｘ，ｙ）との差分が大きい各画素値Ｉ_ｋ（ｘ，ｙ）を外れ値として除去するものであってもよい。

また、分散値画像生成部３は、処理対象画像であるフレーム画像データＦ_Ｎに対応する画素値Ｉ_０（ｘ，ｙ）は、平均値Ｉ￣（ｘ，ｙ）との差分が一定の閾値以上であったとしても、外れ値として選択しない。
このように、分散値画像生成部３は、外れ値を規定する規定範囲として、平均値との差分が閾値以上外れている画素値を外れ値として規定するものであってもよく、平均値との差分が閾値以上外れている画素値の中から平均値との差分の大きい任意の点数の画素値を外れ値として規定するものであってもよい。

なお、本発明はこれに限られず、瞬間的な動きに対して分散値が大きく変動しない範囲として規定される規定範囲であればよく、例えば、次のような規定範囲であってもよい。
例えば、分散値画像生成部３は、複数のフレーム画像データの画素毎に、含まれる画素値を小さい順に並べ替えて中央値を算出する。規定範囲としては、この中央値との差分が閾値以上の外れている画素値を外れ値として規定するものであってもよく、中央値との差分が閾値以上の外れている画素値の中から中央値との差分の大きい任意の点数の画素値を外れ値として規定するものであってもよい。これにより、分散値画像生成部３は、平均値との差分ではなく中央値とそれぞれのフレーム画像データの該当画素の画素値との差分を算出し、この差分に基づき、中央値から大きく外れている画素値を取り除くことができる。

この分散値画像生成部３は、外れ値除去処理の後、残った複数の画素値Ｉ_ｋ（ｘ，ｙ）に基づき、式（２）に従って分散値Ｓ（ｘ，ｙ）を算出する。

分散値画像生成部３は、全ての画素（ｘ，ｙ）に対して外れ値除去処理を行った後、各画素に対応する分散値Ｓ（ｘ，ｙ）を算出する。この分散値画像生成部３は、全ての画素に対応する分散値Ｓ（ｘ，ｙ）を算出した後、例えば、モルフォロジー（ｍｏｒｐｈｏｌｏｇｙ）演算を用いて、分散値Ｓ（ｘ，ｙ）に対して膨張処理および収縮処理を行う。
分散値画像生成部３は、各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を膨張させる膨張処理と、各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を収縮させる収縮処理を行い、膨張処理および収縮処理がなされた分散値を含む分散値画像データを生成し、この分散値画像データを高周波数成分抑制部５に出力する。

この膨張処理は、例えば、任意の画素（ｉ，ｊ）に対応する分散値Ｓ（ｉ，ｊ）に対して、隣接する８画素の中から最大の分散値を当該画素に対応する分散値Ｓ（ｉ，ｊ）の値とする演算を、分散値画像生成部３が、任意の回数実施する処理である。
また、収縮処理は、例えば、任意の画素に対応する分散値Ｓ（ｉ，ｊ）に対して、隣接する８画素の中から最小となる画素の値を、当該画素に対応する分散値Ｓ（ｉ，ｊ）の値とする演算を、分散値画像生成部３が、任意の回数実施する処理である。
なお、膨張処理および収縮処理の実行回数は同じ回数とする。また、隣接する８画素とは、任意の画素（ｉ，ｊ）に対して、例えば、画素（ｉ―１，ｊ＋１）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ＋１）、（ｉ―１，ｊ）、（ｉ＋１，ｊ）、（ｉ―１，ｊ−１）、（ｉ，ｊ−１）、（ｉ＋１，ｊ−１）である。

例えば、分散値画像生成部３は、任意の画素（ｉ，ｊ）に対応する分散値Ｓ（ｉ，ｊ）と、隣接する８つ画素に対応する分散値を比較して、分散値Ｓ（ｉ，ｊ）が最大である場合、任意の画素（ｉ，ｊ）に対応する分散値Ｓ（ｉ，ｊ）はそのままとする。
一方、隣接する８つ画素に対応する分散値のうち、任意の画素（ｉ，ｊ）に対応する分散値Ｓ（ｉ，ｊ）よりも大きい分散値Ｓがあった場合、この最大の分散値を分散値Ｓ（ｉ，ｊ）とする演算を行う。

周波数成分分離部４は、画像蓄積部２に蓄積されているフレーム画像データのうち、処理対象であるフレーム画像データＦ_Ｎを読み出し、このフレーム画像データＦ_Ｎから、低周波数成分を含む低周波数成分画像データと、高周波数成分を含む高周波数成分画像データを生成する。また、周波数成分分離部４は、生成した高周波数成分画像データを高周波数成分抑制部５に出力するとともに、生成した低周波数成分画像データを結果画像生成部６に出力する。なお、周波数成分分離部４は、高周波数成分画像データおよび低周波数成分画像データのそれぞれに対して、元となる画像データの識別番号（例えば、フレーム番号）を対応付けて出力する。

この周波数成分分離部４は、分散値画像生成部３の処理と並行して、あるいは分散値画像生成部３の処理終了後、低周波数成分画像データを生成する。
周波数成分分離部４は、例えば、処理対象画像であるフレーム画像データＦ_Ｎに対して荷重平均フィルタを使用して、低周波数成分画像データを生成することができる。この低周波数成分画像データは、各画素値に対応する画素低周波数成分Ｌ（ｘ，ｙ）を含む。
なお、周波数成分分離部４は、低周波数成分画像データを生成する際に一般的に画像処理として使用される加重平均フィルタや、荷重値の一例としてはガウス関数を使用したガウシアンフィルタ等を使用するものであってもよい。また、フレーム画像データを小領域毎に分割し、該当する小領域に含まれる画素値の平均値を、小領域内の各画素値とするモザイク画像とするものであってもよい。

この周波数成分分離部４は、例えば、処理対象画像であるフレーム画像データＦ_Ｎに含まれる各画素値と、当該画素に対応する画素低周波数成分Ｌ_Ｎ（ｘ，ｙ）との差分を算出することにより、高周波数成分画像データを生成することができる。この高周波数成分画像データは、各画素値に対応する画素高周波数成分Ｈ_Ｎ（ｘ，ｙ）を含む。
つまり、周波数成分分離部４は、式（３）に従って、画素高周波数成分Ｈ_Ｎ（ｘ，ｙ）を算出することができる。

ただし、Ｉ_０（ｘ，ｙ）は、処理対象画像であるフレーム画像データＦ_Ｎの座標（ｘ，ｙ）における画素値を表す。また、Ｌ（ｘ，ｙ）は、低周波数成分画像データに含まれる画素（ｘ，ｙ）ごとの画素低周波数成分を示す。Ｈ（ｘ，ｙ）は、高周波数成分画像データに含まれる画素（ｘ，ｙ）ごとの画素高周波数成分を示す。

高周波数成分抑制部５は、分散値画像生成部３から入力する分散値画像データが表わす画素ごとの分散値に基づき、周波数成分分離部４から入力する高周波数成分画像データの高周波数成分を抑制し、高周波数成分が抑制された高周波数成分画像データを結果画像生成部６に出力する。つまり、高周波数成分抑制部５は、分散値画像データの分散値が示す分散の大きさに応じて高周波数成分画像データの画素値を抑制することで、人物対象に対応する分散値画像データの高周波数成分を抑制する。

この高周波数成分抑制部５は、分散値画像データに含まれる分散値に応じて、分散値が大きいほど処理対象画像であるフレーム画像データの高周波数成分のみを抑制する。高周波数成分抑制部５は、例えば、分散値が閾値以上である場合、人物対象を含む画像領域であると判断し、当該画素に対応する画素値の高周波数成分を抑制する。一方、分散値が閾値未満である場合、高周波数成分抑制部５は、人物対象以外を含む画像領域であると判断し、当該画素に対応する画素値の高周波数成分をそのままとする。
ここで、高周波数成分抑制部５は、予め決められている人物対象の動きに応じた分散値特性に基づき、高周波数成分を抑制する対象である分散値の閾値が設定されている。

なお、高周波数成分には、人物の形状や、顔の輪郭、目や鼻、口の輪郭情報が多く含まれており、これらの輪郭情報を抑制することにより個人を識別するための特徴も少なくなることができる。よって、高周波数成分抑制部５は、高周波数成分を抑制することで個人を特定しにくい画像変換を実現する。

高周波数成分抑制部５は、分散値画像データにおいて分散値が閾値未満の領域（つまり、人物として検出されていない領域）に対しては、高周波数成分の抑制を行われないため、元の高周波数成分がそのまま保存される。よって、元の処理対象画像であるフレーム画像データの画素値がそのまま再現される。
一方、高周波数成分抑制部５は、分散値画像データにおける分散値が閾値以上の領域（つまり、人物として検出された領域）に対しては、高周波数成分を抑制するための画像変換を行う。よって、輪郭情報を抑制することにより個人を識別するための特徴を少なくすることができる。

また、高周波数成分抑制部５はこれに限られず、分散値と閾値の比較することなく、分散値画像データに含まれる各画素に対応する分散値が大きいほど高周波数成分の抑制の度合いが強くなる関数を使用して、高周波数成分抑制を行うものであってもよい。この関数の一つの例として、例えば、式（４）（５）に示す関数が利用可能である。高周波数成分抑制部５は、例えば、式（４）により算出される係数に基づき、式（５）に示すように、高周波数成分画像データの画素値を除算する方法を実行する。

ただし、ａ、ｂは任意の定数である。Ｈ´（ｘ，ｙ）は、高周波数成分抑制後に得られる高周波数成分画像データの座標（ｘ，ｙ）に対応する画素値とする。

結果画像生成部６は、周波数成分分離部４から入力する低周波数成分画像データと、高周波数成分抑制部５から入力する高周波数成分画像データを合成して結果画像データを生成し、結果画像出力部７に出力する。
この結果画像生成部６は、例えば、高周波数成分抑制部５から入力する高周波数成分画像データの画素高周波数成分Ｈ´（ｘ，ｙ）と、周波数成分分離部４から入力される低周波数成分画像データの画素低周波数成分Ｌ（ｘ，ｙ）を、式（６）に従って合成し、結果画像データＩ´（ｘ，ｙ）を生成する。

結果画像出力部７は、結果画像生成部６から入力する結果画像データＩ´（ｘ，ｙ）を外部の他の装置に出力する。

なお、分散値画像生成部３、周波数成分分離部４、高周波数成分抑制部５、および結果画像生成部６における各処理は、たとえばコンピュータにより実行されるプログラムであってもよい。
また、画像蓄積部２として、例えば、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭ等の記録媒体が利用可能である。または、画像データは、画像蓄積部２に蓄積されるものに限られず、例えば、ネットワークを介して分散値画像生成部３や周波数成分分離部４に入力するリモートなデータ資源であってもよい。

次に、図２、３を参照して、上記分散値画像生成部３による分散値の算出と、膨張処理および収縮処理について説明する。このような処理をすることによって、分散値画像生成部３は、フレーム画像データにおける「人物らしい」画像領域を検出することができる。

図２は、本発明に係る画像処理装置１００による画像処理において、「人物らしい」画像領域が示す「人物らしさ」を示す情報を算出する第一段階について説明するための概念図を示す。
上述の通り、画像処理装置１００は、時系列に連続する複数のフレーム画像データをカメラ１から入力して、最新のフレーム画像データから過去に取得された複数枚のフレーム画像データにわたって複数枚のフレーム画像データを画像蓄積部２に蓄積する。この画像処理装置１００は、画像蓄積部２に蓄積されているフレーム画像データから、任意の枚のフレーム画像データを使用し、当該フレーム画像データに含まれる人物対象の「人物らしさ」を示す情報を、画素毎の分散値を算出することで得る。

分散値画像生成部３による分散値の算出には、処理対象画像であるフレーム画像データを含め、複数枚のフレーム画像データを使用するが、図２に示す例では、処理対象となるフレーム画像データＦ_Ｎ（Ｎ枚目の画像）とし、このフレーム画像データＦ_Ｎを基準に過去Ｍ枚目までの画像であるフレーム画像データＦ_Ｎ―Ｍ，Ｆ_{Ｎ―Ｍ＋１}，・・・，Ｆ_Ｎ―１を使用して分散値を算出している。

図２に示すように、色をつけて示す動く図形は、画面内における移動対象のオブジェクトＯである。このオブジェクトＯは、Ｎ−Ｍフレーム目からＮフレーム目にかけて、紙面の左から右に移動している。よって、オブジェクトＯに対応する画素値の平均値Ｉ￣についてみると、フレーム画像データＦ_Ｎ―Ｍ〜Ｆ_ＮにわたってオブジェクトＯの中心を含む画像領域では、その平均値Ｉ￣の変動が少ない。一方、オブジェクトＯの外郭を含む画像領域では、オブジェクトＯの動きによって当該画像領域における画像が変化するためその平均値Ｉ￣も変動する。
このため、フレーム画像データにおいて、動きのある対象を含む画像領域では、分散値は大きくなるが、動きの無い対象を含む画像領域では、画素値の変動が少ないため分散値は非常に小さな値となる。
このようにして、画像処理装置１００は、分散値の変化を時系列に分析することによって、動く対象である「人物らしさ」を示す情報を含む画像領域を、人物対象の画像領域であると判断することができる。

なお、分散値の算出に使用したフレーム画像データの枚数が少ない場合、１枚の画像による寄与率が大きくなり、瞬間的な動きに対して分散値が大きく変動する。そのため、本来は対象の動きが少ない画像領域であっても、分散値が大きく変動してしまう。そこで、分散値の算出には十分多くの枚数のフレーム画像データを使用することが好ましい。
また、分散値画像生成部３は、上述の通り、比較的少数のフレーム画像データでの動き検出があった画素に対して、該当フレームの値を外れ値として取り除いた後、分散値を再算出する。このとき、処理対象画像であるフレーム画像データＦ_Ｎに関しては、瞬間的な動きのあった場合においても外れ値として取り除かないことで、処理対象画像以前に瞬間的な動きのあった画素は分散値を抑制しつつ、処理対象画像において瞬間的な動きのあった画素では分散値を保存することができる。

次に、図３を用いて、「人物らしい」画像領域が示す「人物らしさ」を示す情報を算出する第二段階について説明する。
例えば、長時間、同じ個所に留まっている人物をカメラ１が撮影した場合、人物の周辺領域には人物のふらつきによる動きが発生しているため、人物周辺の画像領域の分散値も他の静止している対象の画像領域の分散値よりも大きくなる。しかしながら、空間的に画素値の変動が少ない人物中心付近の領域では、分散値も小さくなり、人物らしさを示す情報（例えば分散値）も小さな値となってしまう。

そこで、分散値画像生成部３は、上述の通り、算出した分散値に対して、図３に示すようなモルフォロジー演算の膨張処理および収縮処理を行い、分散値の小さくなる人物中心付近の穴埋め処理を行う。分散値画像生成部３が膨張処理を行うことにより、人物中心あるいは人物の外側の領域（つまり、人物周辺の領域以外の領域）に対しても、人物周辺の領域と同じ大きさの分散値を検出することができる。また、分散値画像生成部３が収縮処理を行うことにより、人物の外側領域のみ分散値を元の小さな値に戻すことができる。

このようにして、分散値画像生成部３が生成する分散値画像データは、動きの多い人物領域では大きな値を示し、それ以外の領域では小さな値となる。つまり、長時間同じ個所に留まっている人物は、固定物のように完全に動かないオブジェクトと比較すると、そのふらつきから、人物周辺の領域の分散値が大きくなる。この分散値が示す大きさに応じて、膨張処理および収縮処理により、その人物中心（つまり、人物周辺の領域によって決定される画像領域）も人物対象を含む画像領域として検出することができる。よって、分散値画像生成部３は、長時間、同じ個所に留まっている人物対象であっても、この「人物らしさ」を含む人物の画像であると判断することができる。

次に、図４を参照して、本実施形態に係る画像処理方法の処理フローの一例について説明する。図４は、本実施形態に係る画像処理方法の処理フローの一例を示すフローチャートである。
このフローチャートは、本発明は蓄積されている処理対象画像を含む連続した複数枚のフレーム画像データから画像中の動きに着目して「人物らしさ」に相当する分散値画像を算出するフローと、処理対象画像であるフレーム画像データから低周波数成分画像データと高周波数成分画像データを生成するフローと、分散値画像データ、高周波数成分画像データ、および低周波数成分画像データから「人物らしさ」の高い領域に対してより強い画像変換を行うフローからなる。

図４に示す通り、カメラ１が撮影し、画像蓄積部２に蓄積されたフレーム画像データから、処理対象画像であるフレーム画像データＦ_ｋと、このフレーム画像データＦ_ｋと時系列に連続する複数枚のフレーム画像データを取り込む（ステップＳＴ１）。つまり、カメラ１が撮影したフレーム画像データが画像蓄積部２に入力され、蓄積される。そして、分散値画像生成部３および周波数成分分離部４は、画像蓄積部２からフレーム画像データＦ_ｋと、フレーム画像データＦ_Ｎよりも過去にカメラ１によって撮影されたＭ枚のフレーム画像データＦ_Ｎ―Ｍ，Ｆ_{Ｎ―Ｍ＋１}，・・・，Ｆ_Ｎ―１を読み出す。

次いで、分散値画像生成部３は、複数のフレーム画像データＦ_Ｎ―Ｍ，Ｆ_{Ｎ―Ｍ＋１}，・・・，Ｆ_Ｎ―１に基づき、各フレーム画像データに含まれる画素毎のデータ値（つまり、画素値Ｉ_ｋ（ｘ，ｙ））の平均値Ｉ￣（ｘ，ｙ）を算出する（ステップＳＴ２）。

そして、分散値画像生成部３は、各フレーム画像データＦ_Ｎ―Ｍ，Ｆ_{Ｎ―Ｍ＋１}，・・・，Ｆ_Ｎ―１に含まれる画素値Ｉ_ｋ（ｘ，ｙ）と平均値Ｉ￣（ｘ，ｙ）をそれぞれ比較して、画素値が平均値から大きく外れている場合、該当する画素値を外れ値と判断し、当該画素を含むフレーム画像データから外れ値を除去する（ステップＳＴ３）。なお、分散値画像生成部３は、処理対象画像であるフレーム画像データＦ_ｋに含まれる画素値Ｉ_ｋ（ｘ，ｙ）が外れ値であったとしても、フレーム画像データＦ_ｋから除去しない。

次いで、分散値画像生成部３は、外れ値を除去したフレーム画像データＦ_Ｎ―Ｍ，Ｆ_{Ｎ―Ｍ＋１}，・・・，Ｆ_Ｎ―１と、外れ値を除去していないフレーム画像データＦ_ｋに基づき、分散値Ｓ（ｘ，ｙ）を、画素毎に算出する（ステップＳＴ４）。

そして、分散値画像生成部３は、全ての画素に対する分散値Ｓ（ｘ，ｙ）を算出したかどうかを判断し（ステップＳＴ５）、未処理の画素が残されている場合は、該当画素の処理を行う（ステップＳＴ５−有り）。
一方、全ての画素に対応する分散値Ｓ（ｘ，ｙ）を算出した場合（ステップＳＴ５−無し）、分散値画像生成部３は、ステップＳＴ５までに処理された結果に対して、モルフォロジー演算に基づき、膨張処理および収縮処理を行う（ステップＳＴ６）。つまり、全ての画素に対応する分散値Ｓ（ｘ，ｙ）に基づき、分散値画像生成部３は、各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値が示す分散の大きさに応じた膨張処理および収縮処理を行う。そして、分散値画像生成部３は、この膨張処理および収縮処理を行った後に得られる分散値から分散値画像データを生成し、高周波数成分抑制部５に出力する。なお、ステップＳＴ２からステップＳＴ６までの処理は、分散値画像生成部３の処理に相当する。

また、ステップＳＴ２からステップＳＴ６までの処理と並行、あるいは逐次的に、周波数成分分離部４が、ステップＳ１において取得した処理対象画像であるフレーム画像データＦ_ｋに基づき、低周波数成分画像データを生成する（ステップＳＴ７）。

そして、周波数成分分離部４は、ステップＳＴ７において生成された低周波数成分画像データと、ステップＳ１において取得した処理対象画像であるフレーム画像データＦ_Ｎの各画素値Ｉ_ｋ（ｘ，ｙ）の差分を算出し、高周波数成分画像データを生成する（ステップＳＴ８）。なお、ステップＳＴ７、ＳＴ８の処理は、周波数成分分離部４による処理に相当する。

次いで、高周波数成分抑制部５は、ステップＳＴ６で生成された分散値画像データに基づき、分散値が示す分散の大きさに応じて、ステップＳＴ８にて生成された高周波数成分画像データの各画素に対応する画素値を抑制する。つまり、高周波数成分抑制部５は、処理対象画像であるフレーム画像データＦ_Ｎの高周波数成分を、分散値が示す分散の大きさに応じて減衰させる。なお、高周波数成分抑制部５は、高周波数成分画像データの各画素の抑制には、ステップＳＴ６で生成された分散値画像データの各画素値（分散値）を用いて、分散値が大きいほど強く抑制する。ステップＳＴ９の処理は、高周波数成分抑制部５による処理に相当する。

次に、結果画像生成部６は、ステップＳＴ７にて生成した低周波数成分画像データと、ステップＳＴ９にて生成した抑制後の高周波数成分画像データを合成する。これにより、人物対象に対応する画像領域の高周波数成分が減衰されたフレーム画像データＦ_Ｎを生成する。なお、ステップＳＴ１０、結果画像合成部６による処理に相当する。

最後に、結果画像出力部７が、人物対象に対応する画像領域の高周波数成分が減衰されたフレーム画像データＦ_Ｎを出力する。

このようにして、本実施形態に係る画像処理装置１００の分散値画像生成部３は、時系列に連続するフレーム画像データにおいて、同一画素において、その画素値が平均値や中央値と離れている画素値を外れ除去処理により除去した後に、この外れ値除去処理を行ったフレーム画像データに基づき分散値算出処理を行うことで、時間的に連続性を保つ画像処理を行うことができる。
また、分散値画像生成部３は、分散値算出処理を行って得られた各画素の分散値に対して、当該画素の周辺にある画素の分散値に応じた膨張処理および収縮処理を行うことで、空間的に連続性を保つ画像処理を行うことができる。

さらに、本実施形態に係る画像処理装置１００の高周波数成分抑制部５は、分散値画像生成部３によって算出された分散値に基づき、フレーム画像データの高周波数成分画像データを減衰することで、輪郭情報を抑制することにより個人を識別するための特徴を少なくなることができる。
よって、高周波数成分抑制部５は、高周波数成分を抑制することで個人を特定しにくい画像に変換する画像処理を実現し、プライバシーの保護に役立てることができる。
これにより、例えば、公共の場所に設置されたカメラ１（例えば、監視カメラ等）で撮影された時系列に連続する画像から、人物らしい領域に対して個人を特定できないような画像を生成する画像処理を行うことができる。

［第２実施形態］
また、図４では、分散値画像生成部３が分散値画像データを算出するフローにおいて、平均値に基づき外れ値除去処理を行う例を用いて説明したが、本発明はこれに限られず、例えば、図５に示すように、平均値の代わりに、中央値を用いるものであってもよい。
つまり、分散値画像生成部３は、複数のフレーム画像データＦ_Ｎ―Ｍ，Ｆ_{Ｎ―Ｍ＋１}，・・・，Ｆ_Ｎに基づき、各フレーム画像データＦ_Ｎ―Ｍ，Ｆ_{Ｎ―Ｍ＋１}，・・・，Ｆ_Ｎに含まれる画素値Ｉ_ｋ（ｘ，ｙ）を、画素毎に昇順または降順に並び変える並び替え処理を行う（ステップＳＴ１２）。そして、分散値画像生成部３は、並び替えられた画素値Ｉ_ｋ（ｘ，ｙ）のうち、中央に位置する中央値を算出する（ステップＳＴ１３）。

そして、分散値画像生成部３は、各フレーム画像データＦ_Ｎ―Ｍ，Ｆ_{Ｎ―Ｍ＋１}，・・・，Ｆ_Ｎ―１に含まれる画素値Ｉ_ｋ（ｘ，ｙ）と中央値をそれぞれ比較して、画素値が中央値から大きく外れている場合、該当する画素値を外れ値と判断し、当該画素を含むフレーム画像データから外れ値を除去する（ステップＳＴ３）。なお、分散値画像生成部３は、処理対象画像であるフレーム画像データＦ_ｋに含まれる画素値Ｉ_ｋ（ｘ，ｙ）が外れ値であったとしても、フレーム画像データＦ_ｋから除去しない。

また、本発明は上述の構成に限られず、以下のような構成であってもよい。
例えば、本実施形態において、画像入力装置として、カメラ１を例に説明したが、本発明はこれに限られず、時系列に連続する画像（映像）を示す画像データを入力する装置であればよく、例えば、外部のカメラやビデオカメラによって撮影された画像データをネットワークやケーブルを介して入力するインターフェースを備える入力装置であってもよい。

なお、分散値画像データを算出するフローについて、処理対象画像であるフレーム画像データＦ_Ｎを含む処理対象画像以前の複数枚のフレーム画像データＦ_Ｎ―Ｍ，Ｆ_{Ｎ―Ｍ＋１}，・・・，Ｆ_Ｎ―１を使用して、分散値画像を生成する例を用いて説明した。
これにより、カメラ１が取得したフレーム画像データを処理対象画像として使用し、画像取得間隔以下の時間内に全ての処理を行うことができ、これにより、実時間（リアルタイム）での処理を行うことができる。

また、本実施形態では、移動対象として、人物対象を例に説明したが、本発明はこれに限られず、移動する対象であればよく、例えば、動物や車、電車、飛行機、自転車、バイク等であってもよい。
例えば、車の動きに応じた分散値の変化特性を予め調べておき、当該変化特性を有するが分散値を有する画像領域を車に対応する画像領域であると判断し、当該車に対応する画像領域の高周波数成分画像データの高周波数成分を、高周波数成分抑制部５が抑制する構成であってもよい。

また、本実施形態に係る画像処理装置１００は、これに限られず、画像蓄積装置２より処理対象画像であるフレーム画像データＦ_Ｎを含む前後複数枚の画像を使用するものであってもよい。例えば、処理対象画像であるフレーム画像データＦ_Ｎを中心として、Ｐ枚画像分だけ過去のフレーム画像データＦ_Ｎ―Ｐ，Ｆ_{Ｎ―Ｐ＋１}，・・・，Ｆ_Ｎ―１と、Ｐ枚画像分未来のフレーム画像データＦ_Ｎ＋１，Ｆ_Ｎ＋２，・・・，Ｆ_{Ｎ＋Ｐ−１}，Ｆ_Ｎ＋Ｐを使用するものであってもよい。これにより、実時間での処理はできなくなるが、過去だけでなく未来の動きも含めた分散値画像を算出することができる。

なお、上述した第１〜２実施形態において、画像処理装置による機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１カメラ、２画像蓄積部、３分散値画像生成部、４周波数成分分離部、５高周波数成分抑制部、６結果画像生成部、７結果画像出力部

Claims

時系列に連続する画像データの画像内に存在する移動対象を当該画像データの分散値に基づき検出する画像処理装置において、
前記時系列に連続する画像データに基づき画素毎の分散値を算出するとともに、各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を膨張させる膨張処理と、各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を収縮させる収縮処理を行い、前記膨張処理および収縮処理がなされた分散値を含む分散値画像データを生成する分散値画像生成部と、を備えることを特徴とする画像処理装置。
処理対象画像であるフレーム画像データに対して荷重平均フィルタを用いて低周波数成分画像データを生成するとともに、前記フレーム画像データと前記低周波数成分画像データとの差分を算出して高周波数成分画像データを生成する周波数成分分離部と、
前記分散値画像データが示す分散の大きさに応じて、前記高周波数成分画像データの各画素値を抑制して抑制高周波成分画像データを生成する高周波数成分抑制部と、
前記低周波数成分画像データと前記抑制高周波数成分画像データを合成する結果画像合成部とをさらに備えることを特徴とする請求項１に記載の画像処理装置。
前記分散値画像生成部は、
前記連続する画像データの画素値に基づき画素毎に前記画素値の平均値を算出し、前記平均値と前記連続する画像データのそれぞれの画素値を比較して、前記平均値に基づき決められる規定範囲から外れる外れ値を除去する外れ除去処理を画素毎に行い、当該外れ値を除去した画素値に基づき前記分散値を算出することを特徴とする請求項１あるいは２に記載の画像処理装置。
前記分散値画像生成部は、
前記連続する画像データの画素値を画素毎に昇順あるは降順に並び替えて、当該並びにおける中央値を算出し、前記中央値と前記連続する画像データのそれぞれの画素値を比較して、前記中央値に基づき決められる規定範囲から外れる外れ値を除去する外れ除去処理を画素毎に行い、当該外れ値を除去した画素値に基づき前記分散値を算出することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
時系列に連続する画像データの画像内に存在する移動対象を当該画像データの分散値に基づき検出する画像処理方法において、
前記時系列に連続する画像データに基づき画素毎の分散値を算出するステップと、
各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を膨張させる膨張処理を行うステップと、
各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を収縮させる収縮処理を行うステップと、
前記膨張処理および収縮処理がなされた分散値を含む分散値画像データを生成するステップと、
処理対象画像であるフレーム画像データに対して荷重平均フィルタを用いて低周波数成分画像データを生成するステップと、
前記フレーム画像データと前記低周波数成分画像データとの差分を算出して高周波数成分画像データを生成するステップと、
前記分散値画像データが示す分散の大きさに応じて、前記高周波数成分画像データの各画素値を抑制して抑制高周波成分画像データを生成するステップと、
前記低周波数成分画像データと前記抑制高周波数成分画像データを合成するステップと、を備えることを特徴とする画像処理方法。
コンピュータに、
前記時系列に連続する画像データに基づき画素毎の分散値を算出する手順、
各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を膨張させる膨張処理を行う手順、
各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を収縮させる収縮処理を行う手順、
前記膨張処理および収縮処理がなされた分散値を含む分散値画像データを生成する手順、
処理対象画像であるフレーム画像データに対して荷重平均フィルタを用いて低周波数成分画像データを生成する手順、
前記フレーム画像データと前記低周波数成分画像データとの差分を算出して高周波数成分画像データを生成する手順、
前記分散値画像データが示す分散の大きさに応じて、前記高周波数成分画像データの各画素値を抑制して抑制高周波成分画像データを生成する手順、
前記低周波数成分画像データと前記抑制高周波数成分画像データを合成する手順、
を実行させるためのプログラム。
コンピュータに、
前記時系列に連続する画像データに基づき画素毎の分散値を算出する手順、
各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を膨張させる膨張処理を行う手順、
各画素の分散値に対して当該画素の周辺にある画素の分散値に応じた割合で当該画素の分散値を収縮させる収縮処理を行う手順、
前記膨張処理および収縮処理がなされた分散値を含む分散値画像データを生成する手順、
処理対象画像であるフレーム画像データに対して荷重平均フィルタを用いて低周波数成分画像データを生成する手順、
前記フレーム画像データと前記低周波数成分画像データとの差分を算出して高周波数成分画像データを生成する手順、
前記分散値画像データが示す分散の大きさに応じて、前記高周波数成分画像データの各画素値を抑制して抑制高周波成分画像データを生成する手順、
前記低周波数成分画像データと前記抑制高周波数成分画像データを合成する手順、
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。