JP2021071907A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】 認識対象である特定の物体の計数結果に認識対象ではない物体が含まれてしまうことの抑制を目的としている。【解決手段】 推定手段は、撮像手段により撮像された画像に対し設定された複数の領域の各々に含まれる特定物体の数を推定する推定処理を実行する。判定手段は、撮像手段により撮像された複数の画像の各々に対する推定処理の結果に基づき、複数の領域の各々について、複数の画像における特定物体の数の変化の度合いが第１閾値未満かを判定する。設定手段は、判定手段により変化の度合いが第１閾値未満であると判定された領域を計数結果に含めない対象外領域として設定する。【選択図】 図３

Description

本発明は、画像処理技術に関する。

近年、撮像装置で所定の領域を撮像し、撮像した画像を解析することによって画像中の人物を計数するシステムが提案されている。このようなシステムは、公共の空間での混雑の検知及び混雑時の人の流れを把握することでイベント時の混雑解消や災害時の避難誘導への活用が期待されている。

非特許文献１では、機械学習によって得た認識モデルを用いて、画像の所定の領域に映る人数を直接推定する方法が開示されている。

また、特許文献１では、画像に対し複数の小領域を設定し、機械学習手法に基づいて学習した回帰器を用いて、当該複数の小領域ごとに回帰器を用いて人数を推定する方法が開示されている。

特開２０１８−２２３４０

池田浩雄，大網亮磨，宮野博義．ＣＮＮを用いた群衆パッチ学習に基づく人数推定の高精度化．ＦＩＴ，２０１４

しかしながら、上記の従来技術では、本来認識対象ではない物体を誤って認識対象であると認識してしまい、認識対象である特定の物体の計数結果に当該物体が含まれてしまうことがある。

そこで、本発明は、認識対象である特定の物体の計数結果に認識対象ではない物体が含まれてしまうことの抑制を目的としている。

上記課題を解決するために、本発明の画像処理装置は以下の構成を備える。すなわち、撮像手段により撮像された画像に含まれる特定物体の数を示す計数結果を出力する画像処理装置であって、前記撮像手段により撮像された画像に対し設定された複数の領域の各々に含まれる前記特定物体の数を推定する推定処理を実行する推定手段と、前記撮像手段により撮像された複数の画像の各々に対する前記推定処理の結果に基づき、前記複数の領域の各々について、前記複数の画像における前記特定物体の数の変化の度合いが第１閾値未満かを判定する判定手段と、前記判定手段により前記変化の度合いが前記第１閾値未満であると判定された領域を前記計数結果に含めない対象外領域として設定する設定手段とを有する。

本発明によれば、認識対象である特定の物体の計数結果に認識対象ではない物体が含まれてしまうことを抑制することができる。

システム構成の一例を示す図である。 画像処理装置の機能ブロックを示す図である。 対象外領域を決定する処理を説明するための図である。 画像処理の流れを示すフローチャートである。 複数の画像における推定処理の結果を保持するテーブルを示す図である。 対象外領域の設定を変更する処理を説明するための図である。 対象領域および対象外領域を設定するための設定画面を示す図である。 各装置のハードウェア構成を示す図である。

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、画像処理装置１００、撮像装置１１０、記録装置１２０、およびディスプレイ１３０を有している。

画像処理装置１００、撮像装置１１０、および記録装置１２０は、ネットワーク１４０を介して相互に接続されている。ネットワーク１４０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

なお、ネットワーク１４０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

画像処理装置１００は、例えば、後述する画像処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。撮像装置１１０は、画像を撮像する装置である。撮像装置１１０は、撮像した画像の画像データと、画像を撮像した撮像時刻の情報と、撮像装置１１０を識別する情報である識別情報とを関連付けて、ネットワーク１４０を介し、画像処理装置１００や記録装置１２０等の外部装置へ送信する。なお、本実施形態に係るシステムにおいて、撮像装置１１０は１つとするが、複数であってもよい。

記録装置１２０は、撮像装置１１０が撮像した画像の画像データと、画像を撮像した撮像時刻の情報と、撮像装置１１０を識別する識別情報とを関連付けて記録する。そして、画像処理装置１００からの要求に従って、記録装置１２０は、記録したデータ（画像、識別情報など）を画像処理装置１００へ送信する。

ディスプレイ１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されており、画像処理装置１００の画像処理の結果や、撮像装置１１０が撮像した画像などを表示する。ディスプレイ１３０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して画像処理装置１００と接続されている。

また、ディスプレイ１３０は、表示手段として機能し、撮像装置１１０が撮像した画像や、後述する画像処理による結果等を表示する。なお、ディスプレイ１３０、画像処理装置１００、および記録装置１２０の少なくともいずれか２つ又は全ては、単一の筐体に設けられてもよい。また、画像処理装置１００および撮像装置１１０は単一の筐体に設けられていてもよい。すなわち、撮像装置１１０が後述する画像処理装置１００の機能および構成を有していてもよい。

なお、画像処理装置１００の画像処理の結果や、撮像装置１１０により撮像された画像は、画像処理装置１００にディスプレイケーブルを介して接続されたディスプレイ１３０に限らず、例えば、次のような外部装置が有するディスプレイに表示されてもよい。すなわち、ネットワーク１４０を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。

次に、図２に示す本実施形態に係る画像処理装置１００の機能ブロックを参照して、本実施形態に係る画像処理装置１００の画像処理について説明する。なお、図２に示す各機能は、本実施形態の場合、図８を参照して後述するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８０２とＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８００とを用いて、次のようにして実現されるものとする。図２に示す各機能は、画像処理装置１００のＲＯＭ８０２に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ８００が実行することにより実現される。

通信部２００は、図８を参照して後述するＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）８０４によって実現でき、ネットワーク１４０を介して、撮像装置１１０や記録装置１２０と通信を行う。通信部２００は、例えば、撮像装置１１０が撮像した画像の画像データを受信したり、撮像装置１１０を制御するための制御コマンドを撮像装置１１０へ送信したりする。なお、制御コマンドは、例えば、撮像装置１１０に対して画像を撮像するよう指示を行うコマンドなどを含む。

記憶部２０１は、図８を参照して後述するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０１やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）８０３等によって実現でき、画像処理装置１００による画像処理に関わる情報やデータを記憶する。例えば、記憶部２０１は、画像から推定された特定物体の位置に関する情報を記憶する。

出力制御部２０２は、撮像装置１１０が撮像した画像、本実施形態に係る画像処理に関する設定を行う設定画面、または、画像処理の結果を示す情報などを外部装置に出力したり、ディスプレイ１３０に表示させたりする。なお、出力制御部２０２による情報の出力先である外部装置は、例えば、他の画像処理装置（不図示）や記録装置１２０を含む。操作受付部２０３は、キーボードやマウス等の入力装置（不図示）を介して、ユーザが行った操作を受け付ける。

設定部２０４は、撮像装置１１０により撮像された画像に対し複数の小領域を設定する。設定部２０４は、例えば、画像を分割することで複数の小領域を設定する。なお、設定部２０４は、例えば、操作受付部２０３が受け付けた小領域を指定するユーザの操作に基づき、画像に対し複数の小領域を設定する。

また、設定部２０４は、小領域のサイズと検出対象である特定物体のサイズとの比率が略一定となる制約を加えることで、後述する小領域に対する推定処理の精度向上を図ることもできる。設定部２０４は、例えば、画像上の任意の位置における特定物体のサイズの情報を取得し、小領域における特定物体のサイズの平均値と当該小領域のサイズとの比率が略一定となるよう画像に対し複数の小領域を設定する。

推定部２０５は、設定部２０４により設定された画像における複数の小領域の各々に含まれる特定物体の数を推定する推定処理を実行する。本実施形態における推定部２０５は、ある固定サイズＳの小画像を入力とし、その小画像に写っている特定物体の数を出力とする回帰器を用いることで小領域における特定物体の数を推定する。推定部２０５による特定物体の数を推定する推定処理の詳細な説明については後述する。

判定部２０６は、撮像された複数の画像の各々に対する推定処理の結果に基づき、設定部２０４により設定された複数の小領域の各々について、当該複数の画像における特定物体の数の変化の度合いが第１閾値未満かを判定する判定処理を実行する。そして、設定部２０４は、判定部２０６により特定物体の数の変化の度合いが第１閾値未満であると判定された領域を計数結果に含めない対象外領域として設定する。

計数部２０７は、撮像された画像に対し設定された小領域のうち設定部２０４により設定された対象外領域以外の小領域である対象領域に対し実行された推定処理の結果を合算することで計数結果を取得する。出力制御部２０２は、対象領域に対する推定処理の結果を合算した計数結果を示す情報を外部装置（ディスプレイ１３０等）へ出力する。

ここで、図３を参照して本実施形態に係る画像処理について具体的に説明する。なお、以降の説明において認識対象の特定物体を人物として説明するが、人物に限定されるものではない。例えば、認識対象の物体は、道路等を走行している各種車両、工場内のコンベアー上を流れている部品や製品、その他、動物等であってもよい。

図３（ａ）に示す画像３００は、撮像装置１１０により撮像された画像の一例である。図３（ａ）に示すように、画像３００には複数の人物３０１、看板３０２、窓３０３、および木３０４などが含まれている。設定部２０４は、画像３００に対して複数の小領域を設定する。図３（ｂ）は、画像３００に対し設定部２０４により設定された複数の小領域を示している。図３（ｂ）に示すように、複数の小領域３１０が画像３００に対し設定されている。

図３（ｃ）は、画像３００に対し設定された複数の小領域の各々に対する推定処理の結果を示している。ここで、本実施形態における推定部２０５による推定処理についてより具体的に説明する。本実施形態における推定部２０５は、ある固定サイズＳの小画像を入力とし、その小画像に映っている特定物体の数を出力とする回帰器（学習済みモデル）を用いることで小領域における特定物体の数を推定する。本実施形態では特定物体を人物としているが、この場合は予め、人物の頭部などの位置が既知である大量の小画像を学習データとして、サポートベクターマシンや深層学習等の既知の機械学習手法に基づいて回帰器を学習しておく。このとき、回帰器の精度向上を図るため、学習データは、小画像のサイズと映っている人物のサイズとの比率がほぼ一定であることが望ましい。推定部２０５は、複数の小領域の各々について、該小領域の画像を固定サイズＳにリサイズしたものを小画像とし、該小画像を回帰器に入力することで「該小領域内の人物の位置」を回帰器からの出力として求める。回帰器からの出力結果の精度を向上させるためには、人物のサイズに応じて画像に対し複数の小領域を設定することが望ましい。つまり設定部２０４は、小領域のサイズと認識対象である人物のサイズとの比率が、学習データにおける小画像の固定サイズＳと当該小画像における人物のサイズとの比率と略一定となるように制約を加えることで、回帰器の出力値の精度向上を図ることができる。

図３（ｃ）に示すように、小領域内に示している数値３２０は、当該小領域に対する推定部２０５の推定処理により推定された当該小領域における人物の位置の個数（＝人物の数）を示す情報である。なお、推定部２０５が推定する特定物体の数は必ずしも整数とは限らず、実数を取ることもありえる。推定部２０５は、実数を四捨五入により整数に丸めて扱ってもよいし、実数のまま扱ってもよい。

なお、出力制御部２０２は、図３（ｃ）に示すような、複数の小領域と、当該複数の小領域の各々に対する推定処理の結果を示す情報とを画像３００に重畳した出力画像を生成し、当該出力画像を外部装置（ディスプレイ１３０等）に出力してもよい。例えば、出力制御部２０２は、複数の小領域と、当該複数の小領域の各々に対する推定処理の結果を示す情報とを画像３００に重畳することで生成した出力画像をディスプレイ１３０に表示するようにしてもよい。図３（ｄ）に示す画像３３０は、画像３００が撮像された時刻（撮像時刻）よりも後に撮像された画像を示す。また、本実施形態における設定部２０４は、画像３３０に設定された小領域のうち、判定部２０６の判定処理により複数の画像における人物の数の変化の度合いが第１閾値未満であると判定された小領域を対象外領域として設定する。図３（ｄ）に示す対象外領域３２１〜３２３は、設定部２０４により設定された対象外領域を示している。対象外領域が設定された場合、本実施形態における計数部２０７は、対象外領域に対する推定処理により推定された人物の数は計数結果に含めず、対象外領域以外の領域である対象領域に対する推定処理により推定された人物の数を計数結果に含める。図３（ｄ）に示す例では、計数部２０７は、画像に対し設定された複数の小領域のうち対象外領域３２１〜３２３以外の小領域に対する推定処理により推定された人物の数を合算した計数結果を取得する。なお、本実施形態における出力制御部２０２は、図３（ｄ）に示すように、複数の小領域における対象外領域と、対象領域と、対象領域各々に対する推定処理によりされた人物の数を示す情報とを画像３３０に重畳した出力画像を生成する。またこのとき、出力制御部２０２は、対象外領域と対象領域とを画像に重畳した出力画像を生成するにあたって、対象外領域の表示態様と対象領域の表示態様とを異ならせてもよい。具体的には、出力制御部２０２は、例えば、図３（ｄ）に示すように、対象外領域の色と、対象領域の色とを異ならせてもよい。

次に、図４に示すフローを参照して本実施形態における画像処理について更に詳細に説明する。なお、図４（ａ）に示すフローを実行することで、複数の小領域において対象領域および対象外領域を設定することができる。また、図４（ｂ）に示すフローを実行することで、画像における対象領域に対する推定処理により推定された人物の数を合算した計数結果を出力することができる。なお、図４（ａ）に示すフローの処理は、例えば、ユーザによる指示に従って、開始又は終了するものとする。そして、図４（ｂ）に示すフローの処理は、図４（ａ）に示すフロー処理が実行され対象領域および対象外領域が決定されたのちに実行される。なお、図４に示すフローチャートの処理は、画像処理装置１００のＲＯＭ８０２に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ８００が実行して実現される図２に示す機能ブロックにより実行されるものとする。

まず、図４（ａ）に示すフローの処理について説明する。Ｓ４０１にて、通信部２００は、撮像装置１１０により撮像された処理対象の画像を取得する。なお、通信部２００は、ネットワーク１４０を介して撮像装置１１０や記憶装置１２０から処理対象の画像を取得してもよいし、画像処理装置１００の記憶部２０１から処理対象の画像を取得してもよい。

次に、Ｓ４０２にて、設定部２０４は、画像に対して複数の小領域を設定する。このとき、設定部２０４は、例えば、操作受付部２０３が受け付けた小領域を指定するユーザの操作に基づき、画像に対し複数の小領域を設定する。

次に、Ｓ４０３にて、推定部２０５は、設定部２０４により設定された複数の小領域の各々に対し人物の数を推定する推定処理を実行する。本実施形態における推定部２０５は、複数の小領域の各々について、固定サイズＳにリサイズした小領域の画像を入力とし、その小画像に映っている人物の数を出力とする回帰器を用いることで小領域における人物の数を推定する。

次に、Ｓ４０４にて、記憶部２０１は、Ｓ４０３にて推定された複数の小領域ごとの推定結果と、現在処理対象とする画像を識別する識別情報とを関連付けて記憶する。図５に示すテーブル５５０は、Ｓ４０４にて記憶部２０１により作成および記憶されるテーブルを示す。テーブル５５０における画像ＩＤ５００の列には、処理対象とした画像を識別する識別情報が格納される。記憶部２０１は、Ｓ４０１で通信部２００により取得された画像に対し識別情報を付与し画像ＩＤ５００に当該識別情報を格納する。例えば、記憶部２０１は、図４（ａ）に示すフローの処理を開始して最初にＳ４０１で取得された画像に対し画像ＩＤ５００として“１”を付与しテーブル５５０にその識別情報を格納する。また、記憶部２０１は、現在処理対象とする画像における複数の小領域に対する推定処理の結果をテーブル５５０に記憶する。例えば、現在処理対象とする画像が画像ＩＤ“１”の画像である場合を想定する。このとき、Ｓ４０４にて、記憶部２０１は、画像ＩＤ５００として“１”が付与された現在処理対象とする画像における複数の小領域の各々に対する推定処理により推定された人物の数をテーブル５５０に格納する。なお、本実施形態では図３（ｂ）に示すように１２個の小領域が画像に対し設定されているものとし、当該１２個の小領域の各々に対し小領域を識別する識別情報が付与されているものとする。よって、図５に示すテーブル５５０における小領域Ａ５０１〜小領域Ｌ５１２のそれぞれは、異なる小領域に対応する。例えば、図３（ｂ）に示す画像に設定された複数の小領域のうち左端かつ上端に位置する小領域には識別情報として“小領域Ａ”が付与され、当該小領域の右に隣接する小領域には識別情報として“小領域Ｂ”が付与される。図５に示すテーブル５００の例では、画像ＩＤ“１”について、例えば、小領域Ａに対して推定された値は“２．０”であり、小領域Ｂに対して推定された値は“３．０”であることを示す。

次に、Ｓ４０５にて、判定部２０６は、現在処理対象とした画像のフレーム数が所定値Ｎ（Ｎは整数）に達したかを判定する。現在処理対象とした画像のフレーム数が所定値に達していないと判定された場合（Ｓ４０５にてＮｏ）、Ｓ４０１に遷移し、Ｓ４０１にて、通信部２００は、次のフレームの画像を処理対象の画像として取得する。このとき、記憶部２０１は、通信部２００により取得された当該次のフレームの画像に対し新規の画像ＩＤ５００を付与する。このように、処理対象とした画像のフレーム数が所定値に達するまでＳ４０１〜Ｓ４０４の処理が繰り返される。なお、Ｓ４０２の処理が繰り返されるにあたって、複数の撮像画像の各々に対し複数の小領域が設定されることになる。このとき、複数の撮像画像の各々に設定される複数の小領域の位置およびサイズは当該複数の撮像画像において変化しないものとする。

Ｓ４０５にて、現在処理対象とした画像のフレーム数が所定値に達したと判定された場合（Ｓ４０５にてＹｅｓ）、Ｓ４０６へ遷移する。Ｓ４０６にて、判定部２０６は、設定部２０４により設定された複数の小領域のうち、まだ注目対象としていない小領域から１つの小領域を注目対象として決定する。例えば、図３に示すような１２個の小領域が設定されている場合、画像のより上部、かつ、画像のより左端に位置する小領域を注目対象として決定する。

Ｓ４０７にて、現在注目対象としている小領域について、複数の画像における人物の数の変化の度合いが第１閾値未満かを判定する判定処理を実行する。このとき、判定部２０６は、Ｎ個（Ｎは整数）のフレームの画像にわたって注目対象の小領域に対し推定された人物の数の変化の度合いが第１閾値未満かを判定する。なお変化の度合いは、例えば、Ｎ個のフレームの画像にわたって注目対象の小領域に対し推定された人物の数の最小値と最大値との差分値である。また、変化の度合いは、例えば、Ｎ個のフレームの画像にわたって注目対象の小領域に対し推定された人物の数の標準偏差や分散であってもよい。また、ここでの人物の数の変化の度合いとの比較対象となる第１閾値は、予め設定された数であってもよいし、ユーザによる指示に応じて変更されてもよい。

Ｓ４０８にて、設定部２０４は、Ｓ４０７における注目対象の小領域に対する判定処理の結果に基づき、当該小領域を対象領域または対象外領域として設定する。このとき、設定部２０４は、Ｓ４０７にて注目対象の小領域における人物の数の変化の度合いが第１閾値未満であると判定された場合、当該小領域を対象外領域として設定する。一方、設定部２０４は、Ｓ４０７にて注目対象の小領域における人物の数の変化の度合いが第１閾値以上であると判定された場合、当該小領域を対象領域として設定する。

Ｓ４０９にて、判定部２０６は、設定部２０４により設定された複数の小領域の全てを注目対象として決定したかを判定する。設定部２０４により設定された複数の小領域の全てを注目対象として決定してないと判定された場合（Ｓ４０９にてＮｏ）、Ｓ４０６へ遷移し、注目対象としていない小領域から次の注目対象を決定する。一方、設定部２０４により設定された複数の小領域の全てを注目対象として決定したと判定された場合（Ｓ４０９にてＹｅｓ）、図４（ａ）に示すフローの処理を終了する。

次に、図４（ｂ）に示すフローの処理について説明する。なお、上述したように、図４（ｂ）に示す処理は、図４（ｂ）に示すフローの処理をへて複数の小領域について対象領域または対象外領域が設定されたあとで実行されるものとする。

まずＳ４４１にて、通信部２００は、撮像装置１１０により撮像された処理対象の画像を取得する。なお、通信部２００は、ネットワーク１４０を介して撮像装置１１０や記憶装置１２０から処理対象の画像を取得してもよいし、画像処理装置１００の記憶部２０１から処理対象の画像を取得してもよい。

次に、Ｓ４４２にて、設定部２０４は、画像に対して複数の小領域を設定する。なおこのとき設定される複数の小領域は、Ｓ４０２で設定される複数の小領域と位置およびサイズが同一である。

次に、Ｓ４４３にて、推定部２０５は、設定部２０４により設定された複数の小領域のうちＳ４０８にて対象領域として設定された小領域に対し推定処理を実行する。本実施形態における推定部２０５は、固定サイズＳにリサイズした小領域の画像を入力とし、その小画像に映っている人物の数を出力とする回帰器を用いることで小領域における人物の数を推定する。

次に、Ｓ４４４にて、計数部２０７は、現在処理対象とする画像において設定された複数の小領域のうち対象領域に対し実行された推定処理の結果を合算することで計数結果を取得する。次に、Ｓ４４５にて、出力制御部２０２は、対象領域に対する推定処理の結果を合算した計数結果を示す情報を外部装置（ディスプレイ１３０等）へ出力する。

Ｓ４４６にて、終了指示がない場合（Ｓ４４６にてＮｏ）、Ｓ４４１へ遷移し、通信部２００は次のフレームの画像を処理対象の画像として取得する。一方、終了指示がある場合（Ｓ４４６にてＹｅｓ）、図４（ｂ）に示すフローの処理を終了する。

なお、本実施形態において、撮像された複数の画像の各々について、複数の画像において推定された人物の数の変化の度合いが第１閾値未満であるかを判定し、第１閾値未満であると判定された小領域は対象外領域として設定されるが、これに限らない。例えば、判定部２０６は、撮像された複数の画像の各々について、複数の画像において推定された人物の数の変化の度合いが第１閾値未満、かつ、当該複数の画像において推定された人物の数の平均値が第２閾値未満かを判定するようにしてもよい。この場合、複数の画像において推定された人物の数の変化の度合いが第１閾値未満、かつ、当該複数の画像において推定された人物の数の平均値が第２閾値未満であると判定された小領域は対象外領域であると設定部２０４により設定される。一方、複数の画像において推定された人物の数の変化の度合いが第１閾値未満、かつ、当該複数の画像において推定された人物の数の平均値が第２閾値未満であると判定されなかった小領域は対象領域であると設定部２０４により設定される。なお、このとき、複数の画像において推定された人物の数の平均値と第２閾値とを比較するものとしたが、これに限らない。例えば、複数の画像において推定された人物の数における最大値または中央値と第２閾値とを比較するようにしてもよい。

なお、図４（ａ）に示す対象領域または対象外領域を設定する設定処理が実行される頻度は、ユーザによって設定されるようにしてもよい。例えば、一定時間ごとに当該設定処理が実行されてもよいし、図４（ｂ）に示す処理において推定処理が実行されるフレーム数が所定値に達するたびに当該設定処理が実行されてもよい。また、図６に示すように、画像６００における複数の小領域において対象外領域６０１と隣接する小領域の全てが小領域である場合、図４（ａ）に示す設定処理が実行される頻度を高めるようにしてもよい。また、図６に示すように、画像６００における複数の小領域において対象外領域６０１と隣接する小領域の全てが小領域である場合、対象外領域６０１を対象領域に変更するようにしてもよい。

なお、複数の小領域各々が対象領域または対象外領域として設定部２０４により設定されたのち、ユーザによる操作に基づき、対象領域または対象外領域の設定が変更されてもよい。ここで、この処理について図７に示す設定画面を参照して説明する。図７に示す設定画面７００は、対象領域または対象外領域の設定を変更するための画面であり、出力制御部２０２によりディスプレイ１３０に表示される。設定画面７００には、対象領域と対象外領域とが設定された画像３３０が表示されている。このとき、ユーザは、例えば、小領域のいずれかを選択し、ボタン７０１を押下することで当該小領域を対象外領域に設定することができる。同様に、ユーザは、小領域のいずれかを選択し、ボタン７０２を押下することで、当該小領域を対象領域に設定することができる。なお、図３（ｄ）を参照して説明したように、出力制御部２０２は、対象外領域と対象領域とで表示態様を異ならせて表示する。最後に、ユーザはＯＫボタン７０３を押下することで、対象領域および対象外領域の設定が保存され、ダイアログは閉じられる。一方、キャンセルボタン７０４が押下された場合は、ユーザによる設定は保存されずにダイアログが閉じられる。

以上説明したように、本実施形態における画像処理装置１００は、複数の小領域の各々について、複数のフレームの画像にわたって推定された特定物体の数の変化の度合いが第１閾値未満かを判定する。そして、本実施形態における画像処理装置１００は、特定物体の数の変化の度合いが第１閾値未満であると判定された小領域は対象外領域として決定し、当該対象外領域に対する推定処理の結果は計数結果から除外する。図３（ａ）に示す検出対象ではない看板３０２、窓３０３、および木３０４などの物体を誤って検出対象として推定してしまっても当該推定の結果を計数結果から除外することができる。

（その他の実施形態）
次に図８を参照して、各実施形態の各機能を実現するための画像処理装置１００のハードウェア構成を説明する。なお、以降の説明において画像処理装置１００のハードウェア構成について説明するが、記録装置１２０および撮像装置１１０も同様のハードウェア構成によって実現されるものとする。

本実施形態における画像処理装置１００は、ＣＰＵ８００と、ＲＡＭ８０１と、ＲＯＭ８０２、ＨＤＤ８０３と、Ｉ／Ｆ８０４と、を有している。

ＣＰＵ８００は画像処理装置１００を統括制御する中央処理装置である。ＲＡＭ８０１は、ＣＰＵ８００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ８０１は、ＣＰＵ８００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ８０１は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ８０２は、ＣＰＵ８００が画像処理装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ８０３は、画像データ等を記録する記憶装置である。

Ｉ／Ｆ８０４は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

なお、上述した各実施形態の説明では、ＣＰＵ８００が処理を実行する例について説明するが、ＣＰＵ８００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ１３０にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＲＯＭ８０２からプログラムコードを読み出してＲＡＭ８０１に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、画像処理装置１００の各部は、図７に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

なお、上述した各実施形態に係る画像処理装置１００の１以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る画像処理装置１００の１以上の機能を撮像装置１１０が有していてもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

１００ 画像処理装置
１１０ 撮像装置
１２０ 記憶装置
１３０ ディスプレイ
２００ 通信部
２０１ 記憶部
２０２ 出力制御部
２０３ 操作受付部
２０４ 設定部
２０５ 推定部
２０６ 判定部
２０７ 計数部

Claims (17)

1. 撮像手段により撮像された画像に含まれる特定物体の数を示す計数結果を出力する画像処理装置であって、
   前記撮像手段により撮像された画像に対し設定された複数の領域の各々に含まれる前記特定物体の数を推定する推定処理を実行する推定手段と、
   前記撮像手段により撮像された複数の画像の各々に対する前記推定処理の結果に基づき、前記複数の領域の各々について、前記複数の画像における前記特定物体の数の変化の度合いが第１閾値未満かを判定する判定手段と、
   前記判定手段により前記変化の度合いが前記第１閾値未満であると判定された領域を前記計数結果に含めない対象外領域として設定する設定手段とを有することを特徴とする画像処理装置。
2. 前記設定手段は、
   前記判定手段により前記変化の度合いが前記第１閾値未満ではないと判定された領域を前記計数結果に含める対象領域として設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記計数結果は、前記撮像手段により撮像された画像における前記複数の領域のうち前記対象領域に対して前記推定処理により推定された前記特定物体の数を合算した数であることを特徴とする請求項２に記載の画像処理装置。
4. 前記判定手段は、前記複数の領域の各々について、前記複数の画像における前記特定物体の数の変化の度合いが前記第１閾値未満、かつ、前記複数の画像における前記特定物体の数の平均値が第２閾値未満かを判定し、
   前記設定手段は、前記判定手段により前記変化の度合いが前記第１閾値未満であり、前記平均値が前記第２閾値未満である判定された領域を前記対象外領域として設定することを特徴とする請求項１に記載の画像処理装置。
5. 前記設定手段は、前記撮像手段により撮像された画像に対し前記複数の領域を設定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記変化の度合いは、前記複数の画像における前記特定物体の数のうち最大値と最小値との差分値、前記複数の画像における前記特定物体の数の標準偏差、または、前記複数の画像における前記特定物体の数の分散であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記推定手段は、前記特定物体に関する学習済みモデルを用いて、前記領域に含まれる人物の数を推定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記特定物体は人物であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 撮像手段により撮像された画像に含まれる特定物体の数を示す計数結果を出力する画像処理方法であって、
   前記撮像手段により撮像された画像に対し設定された複数の領域の各々に含まれる前記特定物体の数を推定する推定処理を実行する推定工程と、
   前記撮像手段により撮像された複数の画像の各々に対する前記推定処理の結果に基づき、前記複数の領域の各々について、前記複数の画像における前記特定物体の数の変化の度合いが第１閾値未満かを判定する判定工程と、
   前記判定工程において前記変化の度合いが前記第１閾値未満であると判定された領域を前記計数結果に含めない対象外領域として設定する設定工程とを有することを特徴とする画像処理方法。
10. 前記設定工程において、
    前記判定工程において前記変化の度合いが前記第１閾値未満ではないと判定された領域を前記計数結果に含める対象領域として設定することを特徴とする請求項９に記載の画像処理方法。
11. 前記計数結果は、前記撮像手段により撮像された画像における前記複数の領域のうち前記対象領域に対して前記推定処理により推定された前記特定物体の数を合算した数であることを特徴とする請求項１０に記載の画像処理方法。
12. 前記判定工程において、前記複数の領域の各々について、前記複数の画像における前記特定物体の数の変化の度合いが前記第１閾値未満、かつ、前記複数の画像における前記特定物体の数の平均値が第２閾値未満かを判定し、
    前記設定工程において、前記判定工程において前記変化の度合いが前記第１閾値未満であり、前記平均値が前記第２閾値未満である判定された領域を前記対象外領域として設定することを特徴とする請求項９に記載の画像処理方法。
13. 前記設定工程において、前記撮像手段により撮像された画像に対し前記複数の領域を設定することを特徴とする請求項９乃至１２のいずれか１項に記載の画像処理方法。
14. 前記変化の度合いは、前記複数の画像における前記特定物体の数のうち最大値と最小値との差分値、前記複数の画像における前記特定物体の数の標準偏差、または、前記複数の画像における前記特定物体の数の分散であることを特徴とする請求項９乃至１３のいずれか１項に記載の画像処理方法。
15. 前記推定工程において、前記特定物体に関する学習済みモデルを用いて、前記領域に含まれる人物の数を推定することを特徴とする請求項９乃至１４のいずれか１項に記載の画像処理方法。
16. 前記特定物体は人物であることを特徴とする請求項９乃至１５のいずれか１項に記載の画像処理方法。
17. コンピュータを、請求項１乃至８のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム

Images