JP2020170252A - 画像処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】より高速な画像解析処理の実現を支援することを目的とする。【解決手段】入力画像に設定された複数の部分領域のそれぞれについて、部分領域と部分領域に対応づけられた対応画像とに基づいて、第１の画像解析処理の優先度を決定し、決定された優先度に応じて定まる一部の部分領域それぞれについて、第１の画像解析処理を実行する。【選択図】図３

Description

本発明は、画像処理装置、情報処理方法及びプログラムに関する。

近年、防犯カメラ等の撮影装置で撮影された画像に対して、人数推定処理、人流推定処理、異常検知処理等の画像解析処理を行う技術が提案されている。このような技術の活用により、公共の空間での混雑の検知、混雑時の人の流れの把握等が可能となり、イベント時の混雑解消や災害時の適切な避難誘導の実現が期待されている。
画像中の人数を推定する方法として、機械学習によって得られた認識モデルを用いて、画像の所定の領域に映る人数を推定する方法が提案されている。特許文献１には、人体検出手段によって検出した人物の数を計数する方法が開示されている。また、特許文献２には、画像からコーナーやエッジ、高周波数帯域の強度等の特徴量を抽出し、抽出した特徴量から画像の混雑度を推定する技術が開示されている。

また、非特許文献１には、対象物体の密度マップを推定する密度マップ推定器を機械学習により学習し、入力画像の密度マップを求め、密度マップの各要素の和を取ることで物体数を推定する技術が開示されている。
また、非特許文献２には、固定サイズの小画像を入力とし、小画像中の人数を出力する回帰器を機械学習により学習し、画像中の各小領域を示す各小画像中の人数を回帰器で求め、その和をとることで人数を推定する技術が開示されている。

また、画像中の人流を推定する方法には、特許文献３がある。特許文献３には、群衆の流速推定結果と、群衆の人数推定結果と、から、群衆の通過数を推定する技術が開示されている。
また、画像中の異常を検知する方法には、特許文献４がある。特許文献４には、時系列画像を複数の時空間セグメントに分割し、時空間セグメントのそれぞれに対して動き特徴量を算出し、時空間セグメントごとに、正常セグメントか異常セグメントの何れかに分類する技術が開示されている。

特開２００７−２０１５５６号公報 特開２００９−１８１３０７号公報 特開２０１８−７４２９９号公報 特開２０１７−６８５９８号公報

Ｌｅｍｐｉｔｓｋｙ ａｎｄ Ｚｉｓｓｅｒｍａｎ． Ｌｅａｒｎｉｎｇ Ｔｏ Ｃｏｕｎｔ Ｏｂｊｅｃｔｓ ｉｎ Ｉｍａｇｅｓ． Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ （ＮＩＰＳ）、 ２０１０ 池田浩雄、 大網亮磨、 宮野博義． ＣＮＮ を用いた群衆パッチ学習に基づく人数推定の高精度化． ＦＩＴ２０１４ 第１３回情報科学技術フォーラム、２０１４

深層学習等の機械学習を用いる画像解析処理では、解析処理時間が過大になる場合がある。例えば、画像全体の人数を推定する場合、推定処理の結果を更新するのに数秒から数十秒以上の処理時間がかかる場合がある。また、単体の画像処理装置で、複数の撮影装置からの画像に対して、画像解析処理を行う場合、更に処理時間が増加してしまう。このように画像解析処理にかかる時間が過大となる場合、刻々と変化する状況に追従して画像解析処理を行うことができない場合がある。
そこで、本発明は、より高速な画像解析処理の実現を支援することを目的とする。

本発明の画像処理装置は、入力画像に設定された複数の部分領域のそれぞれについて、前記部分領域と前記部分領域に対応づけられた対応画像とに基づいて、第１の画像解析処理の優先度を決定する決定手段と、前記複数の部分領域のうちの前記決定手段により決定された前記優先度に応じて定まる一部の部分領域それぞれについて、前記第１の画像解析処理を実行する解析手段と、を有する。

本発明によれば、より高速な画像解析処理の実現を支援することができる。

画像処理装置のハードウェア構成の一例を示す図である。 画像処理装置の機能構成の一例を示す図である。 画像処理装置の処理の一例を示すフローチャートである。 入力画像の一例を示す図である。 管理情報の一例を示す図である。 入力画像の一例を示す図である。 求められた優先度の一例を示す図である。 管理情報の一例を示す図である。 表示される画像の一例を示す図である。 画像処理装置の処理の一例を示すフローチャートである。 管理情報の一例を示す図である。 求められた優先度の一例を示す図である。 管理情報の一例を示す図である。

以下に、本発明の実施の形態を、図面に基づいて詳細に説明する。

＜実施形態１＞
図１は、本実施形態の画像処理装置１００のハードウェア構成の一例を示す図である。画像処理装置１００は、入力された画像に対して画像解析処理を実行する情報処理装置である。本実施形態では、画像処理装置１００は、パーソナルコンピュータ（ＰＣ）であることとするが、サーバ装置、タブレット装置等の他の情報処理装置であってもよい。
本実施形態では、画像処理装置１００は、画像解析処理として、画像中の人数推定処理を実行する。

画像処理装置１００は、ＣＰＵ１０と、メモリ１１と、ネットワークＩ／Ｆ１２と、表示装置１３と、入力装置１４と、を含む。各要素は、システムバスを介して、相互に通信可能に接続されている。
ＣＰＵ１０は、画像処理装置１００の全体の制御を司る中央演算装置である。メモリ１１は、ＣＰＵ１０が処理に利用するデータ、プログラム等を記憶する記憶装置である。本実施形態では、メモリ１１は、ＣＰＵ１０のワークエリアとして機能するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）と、各種プログラム、各種データを記憶するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）と、を含む。ただし、メモリ１１は、更に、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等の補助記憶装置を含むこととしてもよい。また、メモリ１１は、着脱可能な半導体メモリ等の着脱可能な補助記憶装置を含むこととしてもよい。メモリ１１は、記憶部の一例である。

ネットワークＩ／Ｆ１２は、ネットワークを介した外部の装置との間での通信に用いられるインタフェースである。表示装置１３は、ＣＰＵ１０による処理の結果等が表示される表示装置である。表示装置１３は、ディスプレイ、モニタ、タッチパネル等である。本実施形態では、表示装置１３は、液晶型の表示装置であるとするが、有機ＥＬ型等の他の表示装置であってもよい。表示装置１３は、表示部の一例である。入力装置１４は、マウス、ハードボタン等の入力装置である。ＣＰＵ１０は、ユーザによる入力装置１４を介した情報の入力を受付ける。
ＣＰＵ１０がメモリ１１に記憶されたプログラムにしたがって処理を実行することで、図２で後述する画像処理装置１００の各機能、及び、図３で後述するフローチャートの処理が実現される。ただし、他の例として、ＣＰＵ１０が外部の装置からダウンロードしたプログラムにしたがって処理を実行することで、図２で後述する画像処理装置１００の各機能、及び、図３で後述するフローチャートの処理が実現されることとしてもよい。

図２は、本実施形態の画像処理装置１００の機能構成の一例を示す図である。画像処理装置１００は、取得部２０１、生成部２０２、決定部２０３、解析部２０４、管理部２０５、表示制御部２０６を含む。
取得部２０１は、画像解析処理の対象として入力される画像（以下では、入力画像とする）と、入力画像のタイムスタンプと、を取得する。タイムスタンプとは、対応する入力画像が撮影された時刻を示す情報である。取得部２０１は、取得した入力画像を生成部２０２に送信する。
本実施形態では、取得部２０１が取得する入力画像のサイズは、一定であるとする。また、本実施形態では、取得部２０１が取得する入力画像内の領域には、複数の領域が予め設定されている。以下では、この複数の領域それぞれを、部分領域とする。本実施形態では、入力画像内の領域に設定されている部分領域の個数を、Ｎ個とおく。また、本実施形態では、各部分領域には、１番からＮ番までの番号が設定されている。

本実施形態では、画像処理装置１００は、ネットワークＩ／Ｆ１２を介して、外部の撮影装置（例えば、ネットワーク機能を有する防犯カメラ等）と接続されている。以下では、ネットワークＩ／Ｆ１２を介して接続された撮影装置を、接続撮影装置とする。
本実施形態では、取得部２０１は、接続撮影装置から、接続撮影装置により撮影された画像を入力画像として取得する。ただし、他の例として、取得部２０１は、他の方法で入力画像を取得してもよい。例えば、取得部２０１は、メモリ１１に記憶された画像を、入力画像として取得してもよい。また、例えば、取得部２０１は、ネットワークＩ／Ｆ１２を介して、外部の装置から受信した画像を、入力画像として取得してもよい。

生成部２０２は、取得部２０１により取得された入力画像から、入力画像における各部分領域の画像を取得する。そして、生成部２０２は、取得した各部分領域の画像それぞれを、予め定められた固定のサイズにリサイズすることで、入力画像における各部分領域を示す画像を生成する。以下では、生成部２０２により生成された入力画像における各部分領域を示す画像を、部分画像とする。
決定部２０３は、生成部２０２が生成した各部分画像に対して、画像解析処理の優先度を決定する。画像解析処理の優先度とは、対応する部分画像に対して、どの程度優先して画像解析処理を行うかを示す指標である。

解析部２０４は、決定部２０３により付与された優先度に応じた態様で、生成部２０２により生成された一部の部分画像に対して画像解析処理を行う。
管理部２０５は、解析部２０４により得られた画像解析処理の結果の情報、決定部２０３による優先度の決定に用いられる情報等を含む管理情報を、メモリ１１に記憶し、管理する。管理情報は、入力画像に対する画像解析処理の結果の情報が格納される結果情報の一例である。管理情報の詳細については、図５で後述する。
表示制御部２０６は、取得部２０１により取得された入力画像と、管理部２０５により管理される画像解析処理の結果と、を表示装置１３に表示する。

図３は、本実施形態の画像処理装置１００の処理の一例を示すフローチャートである。
Ｓ３０１において、取得部２０１は、接続撮影装置から、入力画像と入力画像が撮影された時刻を示すタイムスタンプとを取得する。以下では、Ｓ３０１で取得された入力画像を、Ｉ１とおく。また、以下では、Ｓ３０１で取得された入力画像Ｉ１のタイムスタンプをＴ１とおく。
Ｓ３０２において、生成部２０２は、取得部２０１が取得した入力画像Ｉ１におけるＮ個の部分領域それぞれの画像を取得する。

図４は、Ｎ個の部分領域の一例を示す図である。画像４００は、入力画像Ｉ１を示す。図４に示される矩形の枠で示される領域それぞれは、部分領域である。本実施形態では、各部分領域の大きさと各部分領域内に映る人体の大きさとの比率が予め定められた範囲に収まるように、Ｎ個の部分領域が設定されている。
生成部２０２は、取得した各部分領域の画像を、固定サイズにリサイズして部分画像を生成する。

Ｓ３０３において、解析部２０４は、Ｓ３０２で生成された部分画像それぞれに対して画像解析処理（本実施形態では人数推定処理）を行う。解析部２０４は、特許文献１、特許文献２、非特許文献１、非特許文献２等に開示される既知の手法を用いて、人数推定処理を実行することで、各部分画像内の人数の推定値を取得する。
本実施形態では、画像処理装置１００は、予め、写っている人数が既知の画像を学習データとして、人の密度マップを推定する推定器を、サポートベクターマシンや深層学習等の既知の機械学習手法に基づいて学習する。そして、解析部２０４は、Ｓ３０２で生成された部分画像を、学習した推定器に入力することで、対応する密度マップを取得する。解析部２０４は、取得した密度マップの各画素の和を取ることで、入力画像Ｉ１におけるｉ番目の部分領域に存在する人の人数の推定値を取得する。

本実施形態では、部分領域ごとに画像解析処理の結果を格納するテーブルである管理情報がメモリ１１に、予め記憶されている。
図５は、管理情報の一例を示す図である。管理情報は、インデックス、対応画像、推定人数、タイムスタンプの項目を含む。
インデックスは、部分領域の番号を示す項目である。また、対応画像は、部分領域に対応付けられた画像を示す項目であり、取得部２０１により取得された入力画像における対応する部分領域の部分画像を示す。また、推定人数は、部分領域に対応付けられた人数推定処理（本実施形態の画像解析処理）の結果を示す項目であり、対応する対応画像に対する人数推定処理の結果を示す。また、タイムスタンプは、対応する対応画像が撮影された時刻を示す項目である。即ち、タイムスタンプは、対応する対応画像の基となった入力画像が撮影された時刻を示す。

管理部２０５は、部分領域それぞれについて、入力画像Ｉ１における部分領域の画像である部分画像と、解析部２０４による部分画像に対する画像解析処理の結果と、部分画像のタイムスタンプと、を管理情報に登録する。
本実施形態では、管理情報に登録されているｉ番目の部分領域に対応する対応画像を、ｓ_iとおく。また、管理情報に登録されているｉ番目の部分領域に対応する推定人数を、ｅ_iとおく。また、管理情報に登録されているｉ番目の部分領域に対応するタイムスタンプを、ｔ_iとおく。
図５に示される管理情報は、本実施形態におけるＳ３０３の処理の終了時刻における管理情報の内容を示す。

Ｓ３０４において、取得部２０１は、改めて、接続撮影装置から、入力画像とこの入力画像のタイムスタンプとを取得する。以下では、Ｓ３０４で取得された入力画像をＩ２とおく。また、以下では、入力画像Ｉ２のタイムスタンプをＴ２とおく。
Ｓ３０５において、生成部２０２は、入力画像Ｉ２に対して、Ｓ３０２と同様の処理を行うことで、入力画像Ｉ２における各部分領域に対応する部分画像を生成する。以下では、Ｓ３０５で生成されたｉ番目の部分領域に対応する部分画像をｓ'_iとおく。
入力画像Ｉ２における各部分領域の様子を図６に示す。画像６００は、入力画像Ｉ２を示す。図６に示される矩形の枠で示される領域それぞれが、部分領域である。

Ｓ３０６において、決定部２０３は、Ｓ３０５で入力画像Ｉ２から生成された部分画像それぞれに対して、画像解析処理の優先度を決定する。以下では、部分画像ｓ'_iに対して決定された画像解析処理の優先度を、ｐ_iとおく。
部分画像ｓ'_iについての画像解析処理の優先度ｐ_iは、管理情報に登録されている対応画像ｓ_iと、部分画像ｓ'_iと、の差異が大きいほど多くなるように定められた指標である。管理情報に登録されている対応画像ｓ_iと部分画像ｓ'_iとの差異が大きい程、部分画像ｓ'_iに対する画像解析処理の結果と、管理情報に登録されている対応画像ｓ_iに対する画像解析処理の結果と、の相違が大きくなると考えられる。また、対応画像ｓ_iと部分画像ｓ'_iとの差異が小さい程、部分画像ｓ'_iに対する画像解析処理の結果と、管理情報に登録されている対応画像ｓ_iに対する画像解析処理の結果と、は似通っていると考えられる。

そこで、本実施形態では、画像処理装置１００は、入力画像Ｉ２から生成された部分画像に対して、優先度に応じて定まる一部の部分画像に対して画像解析処理を実行し、他の部分画像に対して画像解析処理を実行しないようにする。そして、画像処理装置１００は、画像解析処理を実行しなかった部分画像についての解析結果として、管理情報に登録された推定人数を用いる。
このようにすることで、画像処理装置１００は、入力画像Ｉ２から生成された全ての部分画像について画像解析処理を実行する場合に比べて、入力画像Ｉ２に対するより高速な画像解析処理を実現できることとなる。

Ｓ３０６の処理の詳細を説明する。
本実施形態では、優先度ｐｉは、以下の式１で定義される指標である。
ｐ_i＝ｆ（ｓ_i、ｓ'_i）＋λｇ（ｔ_i、Ｔ２） （式１）
式１で、関数ｆは、２つの画像を引数として受け取り、引数である２つの画像間の変動量を出力する関数である。本実施形態では、関数ｆは、２つの画像のそれぞれ対応する各画素の画素値の差分の絶対値の合計を、この２つの画像間の変動量として出力する関数である。即ち、本実施形態では、２つの画像間の変動量は、２つの画像それぞれの対応する各画素の画素値の差分の絶対値の合計である。これにより、決定部２０３は、部分画像に対応する管理情報に登録された対応画像と、この部分画像と、の画素値の変動が大きいほど、その部分画像の優先度を高く決定できる。更に、決定部２０３は、照明変動等により部分画像の画素値が全体的に変化する場合にも対応できるよう、各部分画像について画素値を正規化する前処理を事前に行ってから、ｆを用いて変動量を求めてもよい。

本実施形態では、本実施形態では、２つの画像間の変動量は、２つの画像それぞれの対応する各画素の画素値の差分の絶対値の合計であるとした。
ただし、他の例として、２つの画像間の変動量は、２つの画像それぞれから作成された輝度のヒストグラム間の各ビンの値の差分の絶対値の合計であってもよい。その場合、関数ｆは、引数となる２つの画像それぞれから作成された輝度のヒストグラム間の各ビンの値の差分の絶対値の合計を出力する関数である。
また、２つの画像間の変動量は、２つの画像間の動きベクトルの長さの和であることとしてもよい。その場合、関数ｆは、引数となる２つの画像から、２つの画像間の動きベクトルを求めて、求めた動きベクトルの長さの合計を出力する関数である。

式１のλは、二つの項の重み付けを行う予め定められたパラメータである。
式１の関数ｇは、２つのタイムスタンプを引数にとり、一方のタイムスタンプと、他方のタイムスタンプと、の差分が大きいほど大きい値を出力する関数である。決定部２０３は、式１におけるｇ（ｔ_i、Ｔ２）により、管理情報に登録されているタイムスタンプが示す時刻からの経過時間が大きいタイムスタンプＴ２に対応する部分画像ほど、優先度を高く決定できる。

本実施形態では、決定部２０３は、式１を用いて、部分画像ｓ_iそれぞれの優先度を決定することとした。ただし、他の例として、決定部２０３は、他の方法で部分画像の優先度を決定してもよい。例えば、決定部２０３は、ｇ（ｔ_i、Ｔ２）の値が予め定められた閾値を超える場合、ｓ'_iの優先度を、優先度の最大値として設定された値に決定してもよい。これにより、画像処理装置１００は、どの部分領域も画像解析処理が実行されずに一定時間が経過した場合、必ず画像解析処理が実行されるようにすることができる。
また、例えば、決定部２０３は、予め指定された部分領域の部分画像に対しては、一定値を更に加えるように、優先度を決定してもよい。これにより、画像処理装置１００は、頻繁に群衆の人数や流れが変化することが分かっている部分領域や、重要な部分領域に対して、画像解析処理が行われる頻度を高くすることができる。

図７に、決定部２０３により各部分画像について決定された優先度の一例を示す。図７の例では、１番目の部分領域に対応する部分画像ｓ'₁、３番目の部分領域に対応する部分画像ｓ'₃それぞれについての優先度は、０．１である。また、２番目の部分領域に対応する部分画像ｓ'₂についての優先度は、０．５である。また、Ｎ番目の部分領域に対応する部分画像ｓ'_Nについての優先度は、０．８である。
図７の例では、１番目の部分領域、３番目の部分領域それぞれについては、対応画像と部分画像との変動が他の部分領域に比べて小さいため、部分画像の優先度も他の部分領域に対応する部分画像よりも小さい値となる。

Ｓ３０７において、解析部２０４は、Ｓ３０６で決定された優先度の中から、値が最大のものから順に予め定められた個数（１以上、Ｎ未満の個数）を特定する。解析部２０４は、特定した優先度それぞれに対応する部分画像に対して、画像解析処理を実行する。
ただし、他の例として、解析部２０４は、Ｓ３０７で、予め定められた期間の間、対応する優先度が高いものから順に部分画像の画像解析処理を実行し続けることとしてもよい。また、解析部２０４は、対応する優先度が予め定められた閾値以上である部分画像全てに対して、画像解析処理を実行することとしてもよい。

そして、管理部２０５は、画像解析処理が行われた各部分画像の解析結果を用いて、メモリ１１に記憶された管理情報を更新する。より具体的には、管理部２０５は、解析部２０４により画像解析処理が行われた部分画像が示す部分領域に対応する推定人数を、この部分画像に対する画像解析処理の結果に変更する。また、管理部２０５は、画像解析処理が行われた部分画像が示す部分領域に対応する対応画像を、この部分画像に変更する。また、管理部２０５は、画像解析処理が行われた部分画像が示す部分領域に対応するタイムスタンプを、この部分画像に対応する入力画像Ｉ２のタイムスタンプに変更する。
管理部２０５による更新後の管理情報の一例を図８に示す。図８の例では、２番目の部分領域、Ｎ番目の部分領域等に対応する部分画像には、画像解析処理が実行された。また、１番目の部分領域、３番目の部分領域それぞれに対応する部分画像には、画像解析処理が実行されなかった。図８の管理情報には、２番目の部分領域、Ｎ番目の部分領域それぞれに対応する各項目の情報が、図５、７に示す状態から更新されていることが示されている。また、図８の管理情報には、１番目の部分領域、３番目の部分領域それぞれに対応する各項目の情報は、図５、７に示す状態から更新されていないことが示されている。
画像処理装置１００は、以上の処理により更新された管理情報に示される各部分領域に対応する推定人数の値を、入力画像Ｉ２における各部分領域に対応する画像解析処理の結果として扱う。

Ｓ３０８において、表示制御部２０６は、取得部２０１によりＳ３０４で取得された入力画像Ｉ２と、管理情報が示す各部分領域に対応する推定人数の情報と、を、表示装置１３に表示する。
図９（ａ）に、Ｓ３０８で表示制御部２０６により表示される画像の一例を示す。表示制御部２０６は、入力画像Ｉ２に重畳して各部分領域を示す枠を表示し、各部分領域の中央に、対応する推定人数を示す数値を表示する。
本実施形態では、更に、表示制御部２０６は、画像上で混雑する部分領域を視覚的に明らかにするため、各部分領域を、対応する推定人数に応じた色で着色する。また、表示制御部２０６は、画像の上部のテキスト領域９０１に、各部分領域に対応する推定人数の合計を表示する。

また、本実施形態では、更に、表示制御部２０６は、各部分領域に対応する推定人数の表示を、対応する部分画像に実際に画像解析が行われたタイミングに応じた態様で行う。より具体的には、表示制御部２０６は、最新の入力画像Ｉ２に対する画像解析処理によって推定人数が更新された部分領域に対して、その部分領域を、予め定められた態様（例えば、一瞬明滅させる態様、効果９０２を重畳して表示する態様等）で表示する。これによりユーザは、各部分領域の画像解析結果が更新されたタイミングを把握できる。

画像全体が大きく変動するような場合、優先度が閾値以上となる部分領域が増加する。これにより、Ｓ３０７における解析部２０４による画像解析処理の実行が、所定の期間何に終わらないことがありえる。そこで、本実施形態では、表示制御部２０６は、Ｓ３０６で決定された優先度が閾値以上にもかかわらず、Ｓ３０７において画像解析処理が行われなかった部分画像が存在する場合、画像解析処理の結果の信頼度が低下していることを示す情報を表示する。
より具体的には、表示制御部２０６は、優先度が閾値以上にもかかわらず画像解析処理が行われなかった部分画像に対応する部分領域に、図９（ｂ）に示す記号９０３を表示装置１３に表示する。また、表示制御部２０６は、優先度が閾値以上にもかかわらず画像解析処理が行われなかった部分画像の数が、所定の閾値（例えば、１、２、５等）以上存在する場合、更に、画像全体の画像解析処理の結果の信頼度が低下していることを示す情報を表示する。本実施形態では、表示制御部２０６は、テキスト９０４を表示装置１３に表示する。

Ｓ３０９において、表示制御部２０６は、入力装置１４を介して画像解析処理の終了の指示を受け付けたか否かを判定する。表示制御部２０６は、画像解析処理の終了の指示を受け付けたと判定した場合、図３の処理を終了し、画像解析処理の終了の指示を受け付けていないと判定した場合、処理をＳ３０４に進める。

以上、本実施形態では、画像処理装置１００は、入力画像Ｉ２における各部分領域について、管理情報に登録された対応画像との間での変動に基づいて、画像解析処理の優先度を決定した。そして、画像処理装置１００は、優先度に応じて定まる一部の部分画像それぞれに対して、画像解析処理を実行した。
その後、画像処理装置１００は、実行した画像解析処理の結果を用いて更新された管理情報を入力画像Ｉ２に対する画像解析処理の結果として扱うこととした。これにより、画像処理装置１００は、全ての部分画像に対して画像解析処理を実行する場合よりも高速に画像解析処理を実行できる。即ち、画像処理装置１００は、優先度に応じて定まる一部の部分画像それぞれに対して、画像解析処理を実行することで、より高速な入力画像Ｉ２に対する画像解析処理の実現を支援できる。

＜実施形態２＞
本実施形態では、画像処理装置１００は、２種類の方式の画像解析処理を用いて各部分画像の優先度を決定する。本実施形態では、画像処理装置１００が実行する画像解析処理は、実施形態１と同様に画像内の人数推定処理である。
本実施形態の画像処理装置１００のハードウェア構成及び機能構成は、実施形態１と同様である。

図１０は、本実施形態の画像処理装置１００の処理の一例を示すフローチャートである。図１０のＳ３０１、Ｓ３０２、Ｓ３０４、Ｓ３０５、Ｓ３０９それぞれの処理は、図３と同様である。図１０の処理のうち、図３と異なる点を説明する。
Ｓ１００３において、解析部２０４は、生成部２０２によりＳ３０２で生成された部分画像の全てに対して、２つの方式で画像解析処理を行う。一方の方式は、実施形態１と同様の方式であり、実施形態１と同様の画像解析器を用いて画像解析処理を行う方式である。以下では、この方式を第１の方式とする。また、以下では、第１の方式で用いられる画像解析器を、第１の解析器とする。第１の方式での画像解析処理は、第１の画像解析処理の一例である。

他方の方式は、実施形態１で用いられた画像解析器よりも処理量が少ない画像解析器を用いて、画像解析処理を行う方式である。以下では、この方式を第２の方式とする。また、以下では、第２の方式で用いられる画像解析器を、第２の解析器とする。第２の方式での画像解析処理は、第２の画像解析処理の一例である。
第２の解析器は、第１の解析器よりも処理量が少なく、第１の解析器よりも高速であるが、解析の精度が低い。
第１の解析器は、例えば、深層学習等の演算量が比較的大きい手法を用いた解析器である。第２の解析器は、例えば、画像中の動体量やエッジ量等の比較的小さい演算量で求められる特徴量から回帰によって人数を推定する解析器である。

本実施形態では、メモリ１１に記憶された管理情報は、部分領域ごとに、インデックス、対応画像、第１の解析器による推定人数、第２の解析器による推定人数、タイムスタンプの項目の情報を格納するテーブルである。
インデックス、対応画像、タイムスタンプそれぞれは、図５と同様である。また、第１の解析器による推定人数は、対応する対応画像に対する第１の解析器を用いた人数推定処理の結果を示す。また、第２の解析器による推定人数は、対応する対応画像に対する第２の解析器を用いた人数推定処理の結果を示す。
本実施形態では、実施形態１と同様に、管理情報に登録されているｉ番目の部分領域に対応する対応画像、タイムスタンプそれぞれを、ｓ_i、ｔ_iとおく。
また、本実施形態では、管理情報に登録されているｉ番目の部分領域に対応する第１の解析器による推定人数を、ｅ_iとおく。また、管理情報に登録されているｉ番目の部分領域に対応する第２の解析器による推定人数を、ε_iとおく。

次いで、管理部２０５は、部分領域それぞれについて、対応する部分画像と、部分画像に対する解析部２０４による第１の方式での画像解析処理の結果と、第２の方式での画像解析処理の結果と、部分画像のタイムスタンプと、を管理情報に登録する。
図１１に示される管理情報は、本実施形態におけるＳ１００３の処理の終了時刻における管理情報の内容を示す。

Ｓ１００６において、決定部２０３は、Ｓ３０５で生成されたＮ個の部分画像それぞれに対して、画像解析を行う優先度を決定する。優先度の値が大きいほど、対応する部分画像の画像解析処理を優先して行うことが望ましいことを意味する。
本実施形態では、決定部２０３は、ｉ番目の部分領域に対応する部分画像ｓ'_iの優先度を、管理情報に登録されたε_iと、部分画像ｓ'_iに対する第２の方式での画像解析処理の結果と、に基づいて決定する。
即ち、画像処理装置１００は、部分画像ｓ'_iに対して第２の方式での画像解析処理を行い、個の解析結果と、管理情報に登録されたε_iと、に基づいて、部分画像ｓ'_iと対応画像ｓ_iとの間の変動を評価する。

ここで、本実施形態での決定部２０３による優先度ｐ_iの決定処理について説明する。決定部２０３は、Ｓ３０５において生成された部分画像ｓ'_iに対して第２の方式で画像解析処理を実行する。以下では、部分画像ｓ'_iに対する第２の方式での画像解析処理の結果（推定人数）を、ε'_iとおく。
そして、決定部２０３は、部分画像ｓ'_iの優先度ｐ_iを、以下の式２を用いて求める。
ｐ_i＝ｈ（ε_i， ε'_i）＋λｇ（ｔ_i， Ｔ２） （式２）
式２の関数ｈは、２つの第２の方式での画像解析処理の結果を引数にとり、これらの２つの結果から、部分画像ｓ'_iと対応画像ｓ_iとの間の変動の大きさを示し評価値を出力する関数である。本実施形態では、関数ｈは、以下の式３で示される関数である。
ｈ（ε_i， ε'_i） ＝ ｜ε_i−ε'_i｜ （式３）
また、式２の関数ｇは、式１の関数ｇと同じ関数である。また、λは、二つの項の重み付けを行う予め定められたパラメータである。

本実施形態では、決定部２０３は、式２を用いて、部分画像ｓ_iの優先度を決定することとした。ただし、他の例として、決定部２０３は、他の方法で部分画像の優先度を決定してもよい。例えば、決定部２０３は、３変数ｅ_i，ε_iおよびε'_iに関する多項式を関数ｈとして用いて、学習データを用いたフィッティングを行うこととしてもよい。また、決定部２０３は、式２の右辺に実施形態１で説明した関数ｆを加えた式を用いて、優先度ｐ_iを求めてもよい。
図１２に、決定部２０３により各部分画像について決定された優先度の一例を示す。図１２の例では、１番目の部分領域に対応する部分画像ｓ'₁についての優先度は、０．２である。また、２番目の部分領域に対応する部分画像ｓ'₂についての優先度は、１．２である。また、３番目の部分領域に対応する部分画像ｓ'₃についての優先度は、０．１である。また、Ｎ番目の部分領域に対応する部分画像ｓ'_Nについての優先度は、２．８である。図１２の例では、部分画像ｓ'₁、部分画像ｓ'₃それぞれについての優先度が、他の部分画像についての優先度よりも相対的に低い値となっていることが分かる。

Ｓ１００７において、解析部２０４は、Ｓ１００６で決定された優先度の中から、値が最大のものから順に予め定められた個数を特定する。解析部２０４は、特定した優先度それぞれに対応する部分画像に対して、第１の方式での画像解析処理を実行する。
ただし、他の例として、解析部２０４は、Ｓ１００７で、予め定められた期間の間、対応する優先度が高いものから順に部分画像の第１の方式での画像解析処理を実行し続けることとしてもよい。また、解析部２０４は、対応する優先度が予め定められた閾値以上である部分画像全てに対して、第１の方式での画像解析処理を実行することとしてもよい。

そして、管理部２０５は、第１の方式での画像解析処理が行われた各部分画像の解析結果を用いて、メモリ１１に記憶された管理情報における各部分画像に対応する部分領域の情報を更新する。より具体的には、管理部２０５は、画像解析処理が行われた部分画像が示す部分領域に対応する第１の解析器による推定人数を、この部分画像に対する第１の方式での画像解析処理の結果に変更する。また、管理部２０５は、画像解析処理が行われた部分画像が示す部分領域に対応する第２の解析器による推定人数を、この部分画像に対する第２の方式での画像解析処理の結果に変更する。
また、管理部２０５は、画像解析処理が行われた部分画像が示す部分領域に対応する対応画像を、この部分画像に変更する。また、管理部２０５は、画像解析処理が行われた部分画像が示す部分領域に対応するタイムスタンプを、この部分画像に対応する入力画像Ｉ２のタイムスタンプに変更する。

更新後の管理情報の一例を図１３に示す。図１３の例では、２番目の部分領域、Ｎ番目の部分領域それぞれに対応する部分画像には、第１の方式での画像解析処理が実行された。また、１番目の部分領域、３番目の部分領域それぞれに対応する部分画像には、第１の方式での画像解析処理が実行されなかった。
図１３の管理情報には、２番目の部分領域、Ｎ番目の部分領域それぞれに対応する各項目の情報が、図１１、１２に示される状態から更新されていることが示されている。また、１３の管理情報には、１番目の部分領域、３番目の部分領域それぞれに対応する各項目の情報は、図１１、１２に示される状態から更新されていないことが示されている。

画像処理装置１００は、以上の処理により更新された管理情報に示される各部分領域に対応する第１の解析器による推定人数の値を、入力画像Ｉ２における各部分領域に対応する画像解析処理の結果として扱う。
Ｓ１００８において、表示制御部２０６は、取得部２０１により取得された画像と、管理情報に登録された第１の解析器による推定人数とを、表示装置１３に表示する。

＜実施形態３＞
本実施形態では、画像処理装置１００は、複数の撮影装置から取得した複数の画像に対して画像解析処理を行う。
本実施形態の画像処理装置１００のハードウェア構成及び機能構成は、実施形態１と同様である。

本実施形態では、接続撮影装置は、Ｍ個の撮影装置（以下では、カメラ１〜カメラＭ）である。即ち、画像処理装置１００は、カメラ１〜カメラＭそれぞれと接続されている。本実施形態では、Ｓ３０１、Ｓ３０４で取得部２０１が取得する入力画像は、カメラ１〜カメラＭそれぞれから取得したＭ個の画像である。
本実施形態では、カメラ１〜カメラＭそれぞれにより撮影される画像それぞれの中に、予めそれぞれＮ１〜ＮＭ個の部分領域が設定されている。即ち、入力画像内に設定された部分領域の個数Ｎは、（Ｎ１＋Ｎ２＋．．．＋ＮＭ）個となる。

生成部２０２は、Ｓ３０５で、カメラ１〜カメラＭそれぞれから取得された画像それぞれから、Ｎ１〜ＮＭ個の部分領域に対応する部分画像を生成することでＮ個の生成画像を生成する。
画像処理装置１００は、このＮ個の部分画像について、通しで１からＮまでのインデックスを振る。そして、画像処理装置１００は、実施形態１、又は実施形態２で説明した方法を用いて、各部分画像に対して優先度を決定し、その優先度に従って画像解析処理を行う。

ある時間帯において、カメラａから取得された画像では人数や人流が素早く変化する一方でカメラｂから取得された画像では人数や人流がほとんど変化しないような場合がある。このような場合、本実施形態では、決定部２０３は、カメラａの画像から生成された部分画像に対して、カメラｂの画像から生成された部分画像よりも高い優先度を決定することとしてもよい。これにより、解析部２０４は、カメラａの画像から生成された部分画像に対して、カメラｂの画像から生成された部分画像よりも優先的に画像解析処理を施すことができる。

＜その他の実施形態＞
実施形態１〜３では、画像処理装置１００が実行する画像解析処理は、画像中の人数推定処理であるとした。ただし、他の例として、画像処理装置１００が実行する画像解析処理は、部分画像に対して独立に行えるような画像解析処理であれば、他の画像解析処理でよい。例えば、画像処理装置１００が実行する画像解析処理は、人流推定処理（人流の向きを推定する処理）や、群衆の異常判定処理（異常なふるまいを判定する処理）等の処理であってもよい。
例えば、画像処理装置１００が画像解析処理として、人流の向きを推定する処理を行う場合を考える。このとき、優先度として、メモリ１１に保存された人流の解析結果と、これから人流の解析が行われた結果得られる人流解析結果と、の差分が大きくなりそうな部分領域に対応する部分画像ほど高い値を持つように定義することとしてもよい。これにより、画像処理装置１００は、現実の人流の変化に素早く追従できる、高速な画像解析処理が可能となる。
また、実施形態で１〜３では、画像解析処理の対象物は、人物であるとした。ただし、他の例として、画像解析処理の対象物は、例えば、自動車等の乗り物や、所定の動物等の人物以外であってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

例えば、上述した画像処理装置１００の機能構成の一部又は全てをハードウェアとして画像処理装置１００に実装してもよい。以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した各実施形態を任意に組み合わせる等してもよい。

１００ 画像処理装置
１０ ＣＰＵ

Claims (13)

1. 入力画像に設定された複数の部分領域のそれぞれについて、前記部分領域と前記部分領域に対応づけられた対応画像とに基づいて、第１の画像解析処理の優先度を決定する決定手段と、
   前記複数の部分領域のうちの前記決定手段により決定された前記優先度に応じて定まる一部の部分領域それぞれについて、前記第１の画像解析処理を実行する解析手段と、
   を有する画像処理装置。
2. 前記対応画像は、前記入力画像よりも前に前記第１の画像解析処理が実行された画像における前記対応画像に対応する部分領域を示す画像である請求項１に記載の画像処理装置。
3. 前記決定手段は、前記複数の部分領域のそれぞれについて、前記部分領域に対応する前記対応画像と前記部分領域との変動量に基づいて、前記優先度を決定する請求項１又は２に記載の画像処理装置。
4. 前記決定手段は、前記複数の部分領域のそれぞれについて、前記部分領域と前記部分領域に対応する前記対応画像との各画素の画素値の差分の絶対値の合計と、前記部分領域から作成された輝度のヒストグラムと前記対応画像から作成された輝度のヒストグラムとの各ビンの差分の絶対値の合計と、前記部分領域と前記対応画像とに基づいて推定された動きベクトルの長さの合計と、のうちの少なくとも１つに基づいて、前記対応画像と前記部分領域との前記変動量を決定し、決定した前記変動量に基づいて、前記優先度を決定する請求項３に記載の画像処理装置。
5. 前記決定手段は、前記複数の部分領域のそれぞれについて、前記部分領域に対する、前記第１の画像解析処理よりも処理量が少ない第２の画像解析処理の結果と、前記部分領域に対応する前記対応画像に対する前記第２の画像解析処理の結果と、に基づいて、前記優先度を決定する請求項１又は２に記載の画像処理装置。
6. 前記入力画像は、複数の撮影装置から取得された複数の画像である請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記第１の画像解析処理は、画像中の人数推定処理、画像中の人流の推定処理、画像中の異常の判定処理のうちの少なくとも１つの処理である請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記一部の部分領域それぞれについての前記第１の画像解析処理の結果に基づいて、記憶部に記憶された前記複数の部分領域それぞれについての前記第１の画像解析処理の結果を示す結果情報を更新する更新手段をさらに有する請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記結果情報が示す前記複数の部分領域それぞれについての前記第１の画像解析処理の結果を表示部に表示する表示制御手段を更に有する請求項８に記載の画像処理装置。
10. 前記表示制御手段は、前記結果情報が示す前記複数の部分領域それぞれについての前記第１の画像解析処理の結果を、前記複数の部分領域それぞれについて前記第１の画像解析処理が実行されたタイミングに応じた態様で、前記表示部に表示する請求項９に記載の画像処理装置。
11. 前記表示制御手段は、前記複数の部分領域のうちの前記優先度が設定された閾値以上の部分領域であって、前記第１の画像解析処理が実行されなかった部分領域が存在する場合、前記第１の画像解析処理の精度が低下していることを示す情報を、前記表示部に表示する請求項９又は１０に記載の画像処理装置。
12. 画像処理装置が実行する情報処理方法であって、
    入力画像に設定された複数の部分領域のそれぞれについて、前記部分領域と前記部分領域に対応づけられた対応画像とに基づいて、第１の画像解析処理の優先度を決定する決定ステップと、
    前記複数の部分領域のうちの前記決定ステップで決定された前記優先度に応じて定まる一部の部分領域それぞれについて、前記第１の画像解析処理を実行する解析ステップと、
    を含む情報処理方法。
13. コンピュータを、請求項１乃至１１の何れか１項に記載の画像処理装置の各手段として、機能させるためのプログラム。

Images