JP2020197847A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】 撮像された画像に含まれる特定の物体の数を推定する処理負荷の増大を抑制することを目的とする。【解決手段】 第１推定手段は、撮像手段により撮像された第１画像における複数の分割領域に対し特定の物体の数を推定する推定処理を実行する。第２推定手段は、第１画像よりも後に撮像された第２画像における複数の分割領域のうち、推定処理の対象とする対象領域に対して推定処理を実行する。決定手段は、第２画像における複数の分割領域のうち対象領域以外の非対象領域における特定の物体の数を、非対象領域に対応する第１画像における分割領域に対し推定処理により推定された特定の物体の数に基づき決定する。【選択図】 図３

Description

本発明は、画像処理技術に関する。

従来技術として、撮像装置により撮像された画像を解析することによって画像中の人物の数を推定する技術がある。このような技術を活用することで、スタジアムやショッピングモール等の空間における混雑状態の把握が可能となり、混雑状態に応じた従業員の配置や災害時の適切な避難誘導などの応用に期待できる。

画像に含まれる人数を推定する方法として、機械学習によって得た認識モデルを用いる技術が提案されている。非特許文献１では、固定サイズの小画像を入力とし、小画像中の人数を出力する回帰器を機械学習により学習する。そして、画像を小領域に分割した後、各小領域を固定サイズにリサイズして小画像とし、各小画像中の人数を回帰器で求め、その和をとることで人数を推定している。

池田浩雄，大網亮磨，宮野博義．ＣＮＮを用いた群衆パッチ学習に基づく人数推定の高精度化．ＦＩＴ２０１４ 第１３回情報科学技術フォーラム，２０１４

しかしながら、非特許文献１の技術では、画像を複数に分割して得られた小領域の各々について機械学習を用いた人数の推定をしているため、処理負荷が大きいことがある。

そこで、本発明は、画像に含まれる物体の数の推定にかかる処理負荷の増大を抑制することを目的としている。

上記課題を解決するために、例えば、本発明に係る画像処理装置は、以下の構成を備える。すなわち、撮像手段により撮像された画像を分割した複数の分割領域における特定の物体の数を推定する画像処理装置であって、前記撮像手段により撮像された第１画像における前記複数の分割領域に対し前記特定の物体の数を推定する推定処理を実行する第１推定手段と、前記第１画像よりも後に撮像された第２画像における前記複数の分割領域のうち、前記推定処理の対象とする対象領域に対して前記推定処理を実行する第２推定手段と、前記第２画像における前記複数の分割領域のうち前記対象領域以外の非対象領域における前記特定の物体の数を、前記非対象領域に対応する前記第１画像における分割領域に対し前記推定処理により推定された前記特定の物体の数に基づき決定する決定手段とを有する。

本発明によれば、画像に含まれる物体の数の推定にかかる処理負荷の増大を抑制することができる。

システム構成の一例を示す図である。 画像処理装置の機能ブロックを示す図である。 人数の推定処理の流れを示すフローチャートである。 設定された複数の分割領域について説明するための図である。 推定処理の結果について説明するための図である。 対象領域および候補領域について説明するための図である。 対象領域に対する推定処理について説明するための図である。 設定画面を説明するための図である。 各装置のハードウェア構成を示す図である。

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、画像処理装置１００、撮像装置１１０、記録装置１２０、およびディスプレイ１３０を有している。

画像処理装置１００、撮像装置１１０、および記録装置１２０は、ネットワーク１４０を介して相互に接続されている。ネットワーク１４０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

なお、ネットワーク１４０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

画像処理装置１００は、例えば、後述する画像処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。撮像装置１１０は、画像を撮像する装置である。撮像装置１１０は、撮像した画像の画像データと、画像を撮像した撮像時刻の情報と、撮像装置１１０を識別する情報である識別情報とを関連付けて、ネットワーク１４０を介し、画像処理装置１００や記録装置１２０等の外部装置へ送信する。なお、本実施形態に係るシステムにおいて、撮像装置１１０は１つとするが、複数であってもよい。

記録装置１２０は、撮像装置１１０が撮像した画像の画像データと、画像を撮像した撮像時刻の情報と、撮像装置１１０を識別する識別情報とを関連付けて記録する。そして、画像処理装置１００からの要求に従って、記録装置１２０は、記録したデータ（画像、識別情報など）を画像処理装置１００へ送信する。

ディスプレイ１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されており、画像処理装置１００の画像処理の結果や、撮像装置１１０が撮像した画像などを表示する。ディスプレイ１３０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して画像処理装置１００と接続されている。

また、ディスプレイ１３０は、表示手段として機能し、撮像装置１１０が撮像した画像や、後述する画像処理による結果等を表示する。なお、ディスプレイ１３０、画像処理装置１００、および記録装置１２０の少なくともいずれか２つ又は全ては、単一の筐体に設けられてもよい。

なお、画像処理装置１００の画像処理の結果や、撮像装置１１０により撮像された画像は、画像処理装置１００にディスプレイケーブルを介して接続されたディスプレイ１３０に限らず、例えば、次のような外部装置が有するディスプレイに表示されてもよい。すなわち、ネットワーク１４０を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。

次に、図２に示す本実施形態に係る画像処理装置１００の機能ブロックを参照して、本実施形態に係る画像処理装置１００の画像処理について説明する。なお、図２に示す各機能は、本実施形態の場合、図９を参照して後述するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９２０とＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９００とを用いて、次のようにして実現されるものとする。図２に示す各機能は、画像処理装置１００のＲＯＭ９２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ９００が実行することにより実現される。

通信部２００は、図９を参照して後述するＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）９４０によって実現でき、ネットワーク１４０を介して、撮像装置１１０や記録装置１２０と通信を行う。通信部２００は、例えば、撮像装置１１０が撮像した画像の画像データを受信したり、撮像装置１１０を制御するための制御コマンドを撮像装置１１０へ送信したりする。なお、制御コマンドは、例えば、撮像装置１１０に対して画像を撮像するよう指示を行うコマンドなどを含む。

記憶部２０１は、図９を参照して後述するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９１０やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）９３０等によって実現でき、画像処理装置１００による画像処理に関わる情報やデータを記憶する。例えば、記憶部２０１は、画像から検出された特定の物体の位置に関する情報を記憶する。

出力制御部２０２は、撮像装置１１０が撮像した画像、本実施形態に係る画像処理に関する設定を行う設定画面、または、画像処理の結果を示す情報などを外部装置に出力したり、ディスプレイ１３０に表示させたりする。なお、出力制御部２０２による情報の出力先である外部装置は、例えば、他の画像処理装置（不図示）や記録装置１２０を含む。操作受付部２０３は、キーボードやマウス等の入力装置（不図示）を介して、ユーザが行った操作を受け付ける。

設定部２０４は、撮像装置１１０により撮像された画像を分割することで複数の分割領域を設定する。なお、設定部２０４は、例えば、操作受付部２０３が受け付けた分割領域を指定する操作に基づき、画像に対し複数の分割領域を設定する。

また、設定部２０４は、分割領域のサイズと人物のサイズとの比率が略一定となる制約を加えることで、後述する分割領域に対する推定処理の精度向上を図ることもできる。設定部２０４は、画像上の任意の位置における人物のサイズの情報を取得し、分割領域における人物のサイズの平均値と当該分割領域のサイズとの比率が略一定となるよう画像に対し複数の分割領域を設定する。

推定部２０５は、設定部２０４により設定された画像における複数の分割領域の各々に対し、特定の物体の数を推定する推定処理を実行する。本実施形態における推定部２０５は、ある固定サイズＳの小画像を入力とし、その小画像に写っている特定の物体の数を出力とする回帰器を用いることで分割領域における特定の物体の数を推定する。推定部２０５による特定の物体の数を推定する推定処理の詳細な説明については後述する。

推定部２０５は、撮像装置１１０により撮像された画像である第１画像における設定部２０４により設定された複数の分割領域に対し特定の物体の数を推定する推定処理を実行する。また、推定部２０５は、上記第１画像より後に撮像された第２画像における設定部２０４により設定された複数の分割領域のうち、特定の物体の数を推定する推定処理の対象とする対象領域に対して推定処理を実行する。対象領域を決定する方法についての詳細な説明は後述する。

決定部２０６は、全ての分割領域について推定処理が実行されてない第２画像における複数の分割領域のうち対象領域以外の非対象領域の各々における特定の物体の数を次のようにして決定する。すなわち、決定部２０６は、第２画像における非対象領域の各々における特定の物体の数を、非対象領域に対応する第１画像における領域に対し推定処理により推定された特定の物体の数に基づき決定する。例えば、決定部２０６は、第２画像における非対象領域の各々における特定の物体の数を、非対象領域に対応する第１画像における領域に対し推定処理により推定された特定の物体の数として決定する。また、決定部２０６は、第２画像における非対象領域の各々における特定の物体の数を、非対象領域に対応する第１画像における領域に対し推定処理により推定された特定の物体の数を補正した数として決定してもよい。

検出部２０７は、通信部２００が取得した画像に含まれる特定の物体を検出する処理を実行する。例えば、検出部２０７は、パターンマッチング処理により、画像に含まれる人物を検出する処理を実行する。また、検出部２０７は、例えば、背景差分法やフレーム間差分等の処理により画像から動体を検出してもよい。

次に、図３を参照して、画像に含まれる特定の物体の数を推定する処理について説明する。なお、以降の説明において特定の物体を人物として説明するが、車や動物など他の物体であってもよい。

Ｓ３０１にて、通信部２００は、Ｉ／Ｆ９４０を介して撮像装置１１０が撮像した第１画像を取得する。なお、通信部２００は、記録装置１２０が記録した画像を第１画像として取得してもよい。

次に、Ｓ３０２にて、設定部２０４は、撮像装置１１０により撮像された画像を分割することで複数の分割領域を設定する。設定部２０４は、画像上の任意の位置における人物のサイズの情報を取得し、分割領域における人物のサイズの平均値と当該分割領域のサイズとの比率が略一定となるよう画像に対し複数の分割領域を設定する。

このとき、設定部２０４は、画像上の任意の位置における人物のサイズを次のように取得する。操作受付部２０３は、画像上の複数の地点における人物の平均的なサイズを指定するユーザ操作を受け付ける。そして設定部２０４は、操作受付部２０３が受け付けた当該複数の地点における人物の平均的なサイズに基づき、画像上の任意の地点における人物の平均的なサイズを補間により推定することで、画像上の任意の位置における人物のサイズを取得する。

また、設定部２０４は、画像上の任意の位置における人物のサイズを、統計処理により推定してもよい。例えば、検出部２０７は、所定の学習画像群に対して画像全体にパターンマッチング等の処理により人物を検出する検出処理を行い、人物の位置およびサイズを示す人物枠の集合を取得する。画像左上の端点を原点とした画像上の座標（ｘ，ｙ）における人体枠のサイズをｓとしたとき、ｓは、ｘ、ｙ及び未知の１個以上のパラメータによって表せると仮定する。例えば、ｓ＝ａｘ＋ｂｙ＋ｃと仮定する。この例では、未知のパラメータはａ、ｂ及びｃである。設定部２０４は、所定の学習画像群から検出部２０７により取得された人体枠の集合を用いて、未知のパラメータを、例えば最小二乗法等の統計処理により求めることで、画像上の任意の位置における人物のサイズを推定する。

図４は、撮像装置１１０により撮像された複数の人物を含む画像に対して設定部２０４により複数の分割領域が設定された様子を示す一例である。撮像装置１１０により近い位置である画像の下方における人物のサイズは、撮像装置１１０により遠い位置である画像の上方における人物のサイズに比べて大きい。そのため、設定部２０４により設定される分割領域のサイズは、画像の下方において大きく、画像の上方において小さくなる。

図３に示すフローの説明に戻り、Ｓ３０３にて、推定部２０５は、第１画像に対して設定部２０５により設定された複数の分割領域の各々に対し人数を推定する推定処理を実行する。ここで、本実施形態における推定部２０５による人数を推定する推定処理について説明する。推定部２０５は、予め、頭部など人物の位置が既知である大量の小画像を学習データとして、サポートベクターマシンや深層学習等の既知の機械学習手法に基づいて回帰器を学習しておく。このとき、回帰器の精度向上を図るため、学習データである小画像として、小画像に映る人物のサイズと当該小画像のサイズとの比率が略一定であることが望ましい。そして、推定部２０５は、学習済みの回帰器を用いて、設定部２０４により設定された複数の分割領域の各々について、次のような処理を実行する。すなわち、推定部２０５は、分割領域の画像を固定サイズＳにリサイズしたものを小画像とし、該小画像を学習した回帰器に入力することで「該分割領域における人物の位置」を回帰器からの出力として求める。回帰器からの出力結果の精度を向上させるためには、分割領域のサイズと当該分割領域に映る人物のサイズとの比率は、学習データとして用いた小画像のサイズと当該小画像に映る人物のサイズとの比率と略同一であることが望ましい。なお、推定部２０５による分割領域に対する人数の推定処理の出力結果である数値は、当該分割領域における人物の位置の個数を示す。なお、推定部２０５による分割領域に対する人数の推定処理の出力結果である数値は必ずしも整数とは限らず、実数を取ることもありえる。推定部２０５は、出力結果である実数を四捨五入により整数に丸めて扱ってもよいし、実数のまま扱ってもよい。

次に、Ｓ３０４にて、出力制御部２０２は、Ｓ３０３で実行された推定処理の結果を示す情報を出力する。例えば、出力制御部２０２は、複数の分割領域の各々に対しＳ３０３にて推定された人数の合計値を示す情報をディスプレイ１３０に表示させてもよい。また、出力制御部２０２は、推定処理の結果として図５に示すような情報をディスプレイ１３０に表示させてもよい。図５に示す表示５００は、図４に示す第１画像に対する複数の分割領域の各々に対して推定された人数の結果を示す情報である。図５に示すように、設定部２０４により設定された分割領域の各々について、推定処理により推定された分割領域に含まれる人数を示す数値が示されている。Ｓ３０４にて、出力制御部２０２は、表示５００を第１画像に重畳させてディスプレイ１３０に表示させてもよい。なお、推定処理の結果として出力された数値は必ずしも整数とは限らず、実数や丸め情報を用いてもよい。なお、図８に示す設定画面８００は、本実施形態に係る画像処理に関する設定を行うための画面を示し、表示制御部２０２によりディスプレイ１３０に表示される。分割領域に対する推定処理の結果として出力される数値を実数とするか、小数点以下第Ｎ位（Ｎは自然数）で四捨五入した値とするか、または、小数点を切り捨てた整数とするか等を、プルダウンメニュー８０１により選択できる。

次に、Ｓ３０５にて、決定部２０６は、各分割領域に対応する最大人数（閾値）を取得し、記憶部２０１に格納する。このとき、各分割領域に対応する最大人数は、各分割領域に存在し得る人物の最大数である。例えば、分割領域のサイズを、当該分割領域における人物のサイズの平均値で割って算出された数値を、当該分割領域に存在可能な最大人数とする。なお、図８に示す設定画面８００において、ユーザがラジオボタン８０２の「自動」を選択すると上述の計算方法により自動で分割領域に対する最大人数を設定し、ユーザが「手動」を選択すると、ユーザによる指定により最大人数を設定できる。

次に、Ｓ３０６において、通信部２００は、撮像装置１１０が撮像した画像であって第１画像より後に撮像された画像である第２画像を取得する。第２画像は、例えば、第１画像の次に撮像されたフレームの画像である。

次に、Ｓ３０７にて、決定部２０６は、Ｓ３０２にて設定した複数の分割領域のうち、推定処理を実行する対象領域、および、推定処理を実行しない非対象領域の候補となる候補領域を決定する。図６は、Ｓ３０７にて推定部２０５により決定された対象領域および候補領域の一例を示す。図６において、グレーで塗りつぶされていない分割領域（分割領域６０１等）は、推定部２０５により推定処理が実行される対象領域を示す。一方、グレーで塗りつぶされた分割領域（分割領域６０２等）は、推定部２０５により推定処理が実行されない非対象領域の候補となる候補領域を示す。なお、Ｓ３０７における対象領域および候補領域の決定方法は、図６に示す例に限らない。図６に示すように格子状に設定された複数の分割領域において水平方向に交互に対象領域および候補領域を決定してもよいし、少なくとも２つの分割領域を結合させた対象領域や候補領域を決定してもよい。また、設定部２０４により設定された複数の分割領域のうち、当該複数の分割領域の外縁にあたる分割領域、すなわち最も外側の分割領域を少なくとも対象領域として決定するようにしてもよい。そのうえで、決定部２０６は、例えば、複数の分割領域のうち、最も外側にあたる分割領域より内側の複数の分割領域を対し、対象領域および候補領域を格子状に決定してもよい。図８に示す設定画面８００において、ユーザがスライドバー８０３を操作することで、設定部２０４により設定された複数の分割領域における候補領域の割合を変更することができる。なおこの場合、記憶部２０１は、複数の分割領域における候補領域の割合と、候補領域および対象領域の配置とを関連付けたテーブルを予め記憶している。そして、図８に示すスライドバー８０３の操作によりユーザが候補領域の割合を指定した場合に、決定部２０６は、記憶部２０１が記憶するテーブルを参照して、ユーザが指定した候補領域の割合に対応する候補領域および対象領域の配置を設定する。

次に、Ｓ３０８にて、推定部２０５は、Ｓ３０７にて決定部２０６により決定された対象領域の各々に対して人数の推定処理を実行する。図７は、決定部２０６により決定された対象領域の各々に対し人数の推定処理が実行された様子を示している。図７に示すように、対象領域の各々には推定処理の結果である数値が表示されている。

次に、Ｓ３０９にて、決定部２０６は、Ｓ３０７にて決定された候補領域のうち注目対象とする候補領域を決定する。なおこのとき、決定部２０６は、Ｓ３０７にて決定された候補領域のうち注目対象としていない候補領域のいずれか１つを注目対象として決定する。図７に示す例において、例えば、決定部２０６は、複数の候補領域のうち、まだ注目対象としていない候補領域７０１を注目対象として決定する。

次に、Ｓ３１０にて、決定部２０６は、Ｓ３０９で注目対象とした候補領域の周辺の対象領域における推定された人数を取得し、取得した人数が最大人数以上（閾値以上）かを判定する。この場合、例えば、決定部２０６は、注目対象としている候補領域に隣接する対象領域の各々が最大人数以上かを判定する。ここで、図７を参照して、Ｓ３１０における決定部２０６の処理について説明する。なお、以降の説明において、Ｓ３０５にて決定部２０６が取得した各分割領域に対応する最大人数は“８．０人”であるものとする。なお、本実施形態において各分割領域に対し設定された最大人数は一律同じ値とするが、これに限らない。例えば、各分割領域に対し設定された最大人数は、分割領域のサイズや位置に応じて分割領域ごとに異なる値であってもよい。

図７に示す例において候補領域７０１を注目対象としている場合、Ｓ３１０にて、決定部２０６は、注目対象とした候補領域７０１に隣接する対象領域における推定された人数を取得し、取得した人数が最大人数以上かを判定する。この場合、図７に示されるように、決定部２０６は、候補領域７０１に隣接する対象領域７０１ａ、対象領域７０１ｂ、対象領域７０１ｃの人数をそれぞれ０．１人、１０．１人、２．２人として取得する。なお、候補領域７０１は画像の上端なので、候補領域７０１の上側の推定人数は取得されていない。候補領域７０１に隣接する対象領域７０１ａ〜７０１ｃの全てが最大人数（８．０人）以上ではないため（Ｓ３１０にてＮｏ）、決定部２０６は候補領域７０１を推定処理が実行される対象領域として決定し、Ｓ３１３の処理に遷移する。そして、Ｓ３１３にて、推定部２０５は、注目対象としている候補領域に対し、人数を推定する処理を実行する。候補領域７０１を注目対象としている場合、推定部２０５は、候補領域７０１に対し人数を推定する処理を実行する。Ｓ３１３にて注目対象に対し人数の推定処理が実行されたのち、Ｓ３１４に遷移する。そして、全ての候補領域を注目対象としていなければ（Ｓ３１４にてＮｏ）、Ｓ３０９へ遷移し、決定部２０６は、まだ注目対象としていない候補領域のいずれか１つを注目対象として決定する。Ｓ３１４にて、全ての候補領域を注目対象としていれば（Ｓ３１４にてＹｅｓ）、Ｓ３１５へ遷移する。

次に、図７に示す例において候補領域７０２を注目対象としている場合について説明する。この場合、Ｓ３１０にて、決定部２０６は、注目対象とした候補領域７０２に隣接する対象領域７０２ａ〜７０２ｄにおける推定された人数を取得し、取得した人数が最大人数以上かを判定する。図７に示されるように、決定部２０６は、候補領域７０２に隣接する対象領域７０２ａの人数は８．５人、対象領域７０２ｂの人数は８．５人、対象領域７０２ｃの人数は８．２人、対象領域７０２ｄの人数は９．６人として取得する。候補領域７０２に隣接する対象領域７０２ａ〜７０２ｄの全てが最大人数（８．０人）以上であるため（Ｓ３１０にてＹｅｓ）、Ｓ３１１の処理に遷移する。

Ｓ３１１にて、決定部２０６は、注目対象としている候補領域と、当該候補領域の周辺の分割領域に対する前回推定処理により推定された人数（以下、前回値）が最大人数以上かを判定する。ここで、第２画像における候補領域７０２を注目対象としている場合について説明する。第１画像に対する人数の推定処理の結果を示す図５において、分割領域５０２は候補領域７０２と同位置である。よって、候補領域７０２に対する前回値は、候補領域７０２に対応する分割領域５０２の推定処理の結果である８．２人である。また、注目対象としている候補領域７０２の周辺の対象領域７０２ａ〜７０２ｄに対する前回値は、当該周辺の対象領域に対応する第１画像における分割領域５０２ａ〜５０２ｄに対し推定された人数である。図５に示す例において、決定部２０６は、対象領域７０２ａの前回値として分割領域５０２ａの人数（８．５人）、対象領域７０２ｂの前回値として分割領域５０２ｂの人数（８．５人）を取得する。さらに、決定部２０６は、対象領域７０２ｃの前回値として分割領域５０２ｃの人数（８．０人）、対象領域７０２ｄの前回値として分割領域５０２ｄの人数（９．６人）を取得する。

以上より、決定部２０６は、候補領域７０２に対する前回値（８．２人）および候補領域の周辺の対象領域７０２ａ〜７０２ｄに対する前回値（８．５人、８．５人、８．０人、９．６人）がそれぞれ最大人数以上であると判定する（Ｓ３１１にてＹｅｓ）。なお、このとき、決定部２０６は、候補領域７０２を推定処理が実行されない非対象領域として決定する。そして、Ｓ３１２にて、決定部２０６は、第２画像の非対象領域における人数を、当該非対象領域に対する前回値であるとして決定する。すなわち、決定部２０６は、第２画像の非対象領域における人数を、当該非対象領域に対応する第１画像における分割領域に対し推定処理により推定された人数として決定する。候補領域７０２が非対象領域として決定された場合において、決定部２０６は、非対象領域（候補領域７０２）に対する前回値（８．２人）を非対象領域（候補領域７０２）の人数として決定する。

なお、Ｓ３１１にて、注目対象としている候補領域、および、当該候補領域の周辺の対象領域に対する前回値が最大人数以上ではなかった場合（Ｓ３１１にてＮｏ）、Ｓ３１３へ遷移する。このとき、決定部２０６は、注目対象としている候補領域を対象領域として決定し、Ｓ３１３にて推定部２０５は、当該対象領域に対し人数を推定する推定処理を実行する。

第２画像において注目している候補領域の周辺の分割領域に対する推定された人数が最大人数以上、かつ、当該候補領域および当該周辺の分割領域に対する前回値が最大人数以上という条件を満たす場合、当該候補領域における人数の変動はしていないと判定する。これは、分割領域に対する最大人数が、当該分割領域に存在可能な人数によって定められていることに起因する。よって、上記条件を満たす場合、第２画像において注目している候補領域の人数を、当該候補領域に対応する第１画像における人数として決定することで、推定処理を実行する回数を削減することが可能となる。

ここで、Ｓ３０９にて、図７に示す第２画像における候補領域７０３を注目対象する場合について説明する。なおこの場合、候補領域７０３は候補領域７０４と連結しているため、決定部２０６は、候補領域７０３および候補領域７０４を同時に注目対象として決定するものとする。本実施形態において、図７に示されるように候補領域７０３に隣接する対象領域７０３ａの人数は８．４人、対象領域７０３ｃの人数は１０．３人、対象領域７０３ｄの人数は１０．２人である。また、候補領域７０４に隣接する対象領域７０４ａの人数は９．９人、対象領域７０４ｂの人数は８．８人、対象領域７０４ｃの人数は１０．３人である。よって、Ｓ３１０にて、注目対象である候補領域７０３および候補領域７０４の周辺の分割領域における推定された人数は最大人数（８．０人）以上であるとして、Ｓ３１１の処理へ進む。

Ｓ３１０にて、決定部２０６は、注目対象としている候補領域、および、当該候補領域の周辺の対象領域に対する前回値が最大人数以上かを判定する。第２画像における候補領域７０３に対する前回値は、第１画像において候補領域７０３と同じ位置である候補領域５０３に対する推定処理による推定された人数となる。同様に、第２画像における候補領域７０４に対する前回値は、第１画像において候補領域７０４と同じ位置である候補領域５０４に対する推定処理による推定された人数となる。以上より、候補領域７０３および候補領域７０４に対する前回値は、９．０人および９．８人となる。

また、候補領域７０３の周辺の対象領域７０３ａ，７０３ｃ，７０３ｄに対する前回値は、分割領域５０３ａの人数（８．２人），分割領域５０３ｃの人数（１０．０人）、分割領域５０３ｄの人数（１０．２人）である。同様に、候補領域７０４の周辺の対象領域７０４ａ〜７０４ｃに対する前回値は、分割領域５０４ａの人数（９．４人），分割領域５０４ｂの人数（８．４人）、分割領域５０４ｃの人数（９．８人）である。以上より、Ｓ３１１にて、決定部２０６は、注目対象としている候補領域７０３および７０４に対する前回値、および、当該候補領域の周辺の分割領域に対する前回値のそれぞれが最大人数以上であるとして、Ｓ３１２へ遷移する。このとき、決定部２０６は、候補領域７０３および候補領域７０４を非対象領域として決定する。Ｓ３１２にて、決定部２０６は、非対象領域（候補領域７０３、７０４）に対する前回値（９．０人、９，８人）を非対象領域（候補領域７０３、７０４）の人数として決定する。

次に、Ｓ３１４にて、第２画像において全ての候補領域を注目対象とした場合、Ｓ３１５へ遷移し、Ｓ３１５にて、出力制御部２０２は、第２画像に対し推定された人数の結果を示す情報を出力する。例えば、出力制御部２０２は、第２画像における対象領域および非対象領域における人数の合計値を示す情報をディスプレイ１３０に表示させる。Ｓ３１５の処理を実行したのち、Ｓ３０１へ遷移し、Ｓ３０１にて、通信部２００は、次のフレームの第１画像を取得する。そして、Ｓ３０１〜３１５の処理を繰り返す。

ここで、Ｓ３０１〜Ｓ３０４までの処理を全分割領域に対し推定処理を実行する全体処理とし、Ｓ３０５〜Ｓ３１５までの処理を一部の分割領域に対し推定処理を実行する間引き処理とする。この場合、本実施形態では、順次通信部２００が取得するフレームの画像に対し、全体処理と間引き処理とを交互に実行するが、例えば、次のような処理を実行してもよい。すなわち、間引き処理をＮフレーム（Ｎは自然数）に対し実行し、次のフレームに対し全体処理を実行し、その後新たなＮフレームに対し間引き処理を実行する。このように、間引き処理を実行するフレーム数を変更させてもよい。図８に示す設定画面８００において、ユーザはスライドバー８０４を操作し、間引き処理を連続で実行するフレーム数Ｎを任意に変更することができる。

以上説明したように、本実施形態における画像処理装置１００は、第２画像における複数の分割領域のうち対象領域以外の非対象領域における特定の物体の数として、非対象領域に対する前回値を流用する。このようにすることで、特定の物体の数を推定する推定処理の負荷の増大を抑制することができる。

（その他の実施形態）
次に図９を参照して、各実施形態の各機能を実現するための画像処理装置１００のハードウェア構成を説明する。なお、以降の説明において画像処理装置１００のハードウェア構成について説明するが、記録装置１２０および撮像装置１１０も同様のハードウェア構成によって実現されるものとする。

本実施形態における画像処理装置１００は、ＣＰＵ９００と、ＲＡＭ９１０と、ＲＯＭ９２０、ＨＤＤ９３０と、Ｉ／Ｆ９４０と、を有している。

ＣＰＵ９００は画像処理装置１００を統括制御する中央処理装置である。ＲＡＭ９１０は、ＣＰＵ９００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ９１０は、ＣＰＵ９００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ９１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ９２０は、ＣＰＵ９００が画像処理装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ９３０は、画像データ等を記録する記憶装置である。

Ｉ／Ｆ９４０は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

なお、上述した各実施形態の説明では、ＣＰＵ９００が処理を実行する例について説明するが、ＣＰＵ９００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ１３０にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＲＯＭ９２０からプログラムコードを読み出してＲＡＭ９１０に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、画像処理装置１００の各部は、図９に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

なお、上述した各実施形態に係る画像処理装置１００の１以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る画像処理装置１００の１以上の機能を撮像装置１１０が有していてもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

１００ 画像処理装置
１１０ 撮像装置
２００ 通信部
２０１ 記憶部
２０２ 出力制御部
２０３ 操作受付部
２０４ 設定部
２０５ 推定部
２０６ 決定部

Claims (15)

1. 撮像手段により撮像された画像を分割した複数の分割領域における特定の物体の数を推定する画像処理装置であって、
   前記撮像手段により撮像された第１画像における前記複数の分割領域に対し前記特定の物体の数を推定する推定処理を実行する第１推定手段と、
   前記第１画像よりも後に撮像された第２画像における前記複数の分割領域のうち、前記推定処理の対象とする対象領域に対して前記推定処理を実行する第２推定手段と、
   前記第２画像における前記複数の分割領域のうち前記対象領域以外の非対象領域における前記特定の物体の数を、前記非対象領域に対応する前記第１画像における分割領域に対し前記推定処理により推定された前記特定の物体の数に基づき決定する決定手段とを有することを特徴とする画像処理装置。
2. 前記非対象領域に隣接する対象領域において前記推定処理により推定された前記特定の物体の数が閾値以上であることを特徴とする請求項１に記載の画像処理装置。
3. 前記非対象領域に隣接する対象領域において前記推定処理により推定された前記特定の物体の数が閾値以上であり、かつ、前記第１画像における当該非対象領域および当該隣接する対象領域に対応する分割領域において前記推定処理により推定された前記特定の物体の数が前記閾値以上であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記決定手段は、前記第２画像における前記複数の分割領域のうち前記対象領域以外の非対象領域における前記特定の物体の数を、前記非対象領域に対応する前記第１画像における領域に対し前記推定処理により推定された前記特定の物体の数として決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記撮像手段により撮像された画像を複数の分割領域に分割する分割手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. パターンマッチングを用いて、前記撮像手段により撮像された画像に含まれる特定の物体を検出する検出手段を更に有し、
   前記分割手段は、前記検出手段により検出された特定の物体のサイズに基づいて、前記撮像手段により撮像された画像を複数の分割領域に分割することを特徴とする請求項５に記載の画像処理装置。
7. 前記特定の物体は人物であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 撮像手段により撮像された画像を分割した複数の分割領域における特定の物体の数を推定する画像処理方法であって、
   前記撮像手段により撮像された第１画像における前記複数の分割領域に対し前記特定の物体の数を推定する推定処理を実行する第１推定工程と、
   前記第１画像よりも後に撮像された第２画像における前記複数の分割領域のうち、前記推定処理の対象とする対象領域に対して前記推定処理を実行する第２推定工程と、
   前記第２画像における前記複数の分割領域のうち前記対象領域以外の非対象領域における前記特定の物体の数を、前記非対象領域に対応する前記第１画像における分割領域に対し前記推定処理により推定された前記特定の物体の数に基づき決定する決定工程とを有することを特徴とする画像処理方法。
9. 前記非対象領域に隣接する対象領域において前記推定処理により推定された前記特定の物体の数が閾値以上であることを特徴とする請求項８に記載の画像処理方法。
10. 前記非対象領域に隣接する対象領域において前記推定処理により推定された前記特定の物体の数が閾値以上であり、かつ、前記第１画像における当該非対象領域および当該隣接する対象領域に対応する分割領域において前記推定処理により推定された前記特定の物体の数が前記閾値以上であることを特徴とする請求項８または９に記載の画像処理方法。
11. 前記決定工程において、前記第２画像における前記複数の分割領域のうち前記対象領域以外の非対象領域における前記特定の物体の数を、前記非対象領域に対応する前記第１画像における分割領域に対し前記推定処理により推定された前記特定の物体の数として決定することを特徴とする請求項８乃至１０のいずれか１項に記載の画像処理方法。
12. 前記撮像手段により撮像された画像を複数の分割領域に分割する分割工程を更に有することを特徴とする請求項８乃至１１のいずれか１項に記載の画像処理方法。
13. パターンマッチングを用いて、前記撮像手段により撮像された画像に含まれる特定の物体を検出する検出工程を更に有し、
    前記分割工程において、前記検出工程において検出された特定の物体のサイズに基づいて、前記撮像手段により撮像された画像を複数の分割領域に分割することを特徴とする請求項１２に記載の画像処理方法。
14. 前記特定の物体は人物であることを特徴とする請求項８乃至１３のいずれか１項に記載の画像処理方法。
15. コンピュータを、請求項１乃至７のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。

Images