JP2020036196A - 画像処理装置、撮像装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】 対象領域における一部の部分領域にて人数の変化があった場合、その変化を反映させる処理時間を削減することを目的としている。
【解決手段】 対象領域を複数の部分領域に分けて撮像手段により撮像された画像に含まれる人物を検出する検出手段と、検出手段により検出された人物の合計数を計数する計数手段と、撮像手段の撮像範囲を変更する制御手段と、計数手段により計数された合計数を更新する更新手段と、を有する。制御手段は、対象領域が撮像された画像から動体を検知する動体検知手段により検知された動体の位置に対応する部分領域を撮像するよう撮像手段の撮像範囲を変更する。検出手段は、制御手段により撮像範囲が変更された撮像手段により撮像された、動体の位置に対応する部分領域の画像に含まれる人物を検出する。更新手段は、動体の位置に対応する部分領域の画像に含まれる人物の数に基づいて、合計数を更新する。
【選択図】 図５

Description

本発明は、画像に含まれる人物の数を計数する技術に関する。

従来、駅のホームや小売店で、或る領域に存在する人物の数を計数したいというニーズがあった。このようなニーズに対し、撮像装置が撮像した画像を解析することにより、画像に含まれる人数を計数する技術がある。

一方、スタジアムやコンサートホールなど、より広い領域に大勢の人物が集まるような場所においても、人物の数を計数したいという同様のニーズがある。しかし、できる限り広い領域が画角に収まるように、撮像装置のズーム倍率を低くした場合、撮像した画像に含まれる人物のサイズ（画素数）が小さくなってしまうことがある。

ここで、一般的な人物検出技術において人物を検出するには、画像に含まれる人物が一定のサイズ（画素数）以上である必要がある。しかし、広域での人数の計数を行う場合、撮像装置からみて奥行き方向には、人物検出が可能なサイズよりも小さいサイズで人物が分布する場合が考えられる。

こうした課題に対し、人数の計数が行われる対象の領域である対象領域を複数の部分領域に分けて、撮像装置の撮像方向およびズーム倍率を変更し、部分領域の各々を撮像した画像から対象領域に含まれる人物の数を計数する技術がある。

また、複数の部分領域のうち一部の部分領域を撮像した画像に対して計数された人数に基づいて、対象領域全体の人数を推測する技術がある。特許文献１では、対象領域の一部を撮像した画像に対する人数カウントの結果から、対象領域全体の人数を推測している。

特開２０１７−２０４８３８号公報

しかしながら特許文献１では、対象領域全体の画像を取得しているわけでないため、対象領域における人数を計数する精度（以下、計数精度）が高くない。また、特許文献１にて、複数の部分領域からなる対象領域にて一部の部分領域を撮像した画像から対象領域に含まれる人数を推測したのち、再度、一部の部分領域を撮像してから、対象領域に含まれる人数を再度推測する場合がある。このとき、対象領域のうち撮像されていない部分領域にて人数に変化があった場合、その変化を反映させることができない。

一方、計数精度を上げるため、対象領域を複数の部分領域に分けて、部分領域の各々を撮像し、対象領域全体の画像を取得したうえで、対象領域に含まれる人数を計数することが考えられる。この場合、対象領域全体の画像を取得して対象領域に含まれる人数を計数したのち、対象領域に含まれる人数を再度計数しようとすると、再度部分領域の各々を撮像して人数を計数し直す必要がある。そのため、対象領域における一部の部分領域でのみ人数の変化があった場合でも、その変化を反映させる処理に時間がかかってしまう。

以上より本発明は、対象領域における一部の部分領域にて人数の変化があった場合、その変化を反映させる処理時間を削減することを目的としている。

対象領域を複数の部分領域に分けて撮像手段により撮像された画像に含まれる人物を検出する検出手段と、前記検出手段により検出された人物の合計数を計数する計数手段と、前記撮像手段の撮像範囲を変更する制御手段と、前記計数手段により計数された合計数を更新する更新手段と、を有し、前記制御手段は、前記対象領域が撮像された画像から動体を検知する動体検知手段により検知された動体の位置に対応する部分領域を撮像するよう前記撮像手段の撮像範囲を変更し、前記検出手段は、前記制御手段により撮像範囲が変更された前記撮像手段により撮像された、前記動体の位置に対応する部分領域の画像に含まれる人物を検出し、前記更新手段は、前記部分領域の画像に含まれる人物の数に基づいて、前記合計数を更新することを特徴とする。

本発明によれば、対象領域における一部の部分領域にて人数の変化があった場合、その変化を反映させる処理時間を削減することができる。

システム構成を示す図である。 撮像装置の外観図である。 撮像装置の機能ブロックを示す図である。 画像処理装置の機能ブロックを示す図である。 画像処理の流れを示すフローチャートである。 画像処理を説明するための模式図である。 画像処理にて用いられるテーブルである。 画像処理の流れを示すフローチャートである。 設定画面の一例を示す図である。 クライアント装置および撮像装置の機能ブロックを示す図である。 各装置のハードウェア構成を示す図である。

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、画像処理装置１００、撮像装置１１０、記録装置１２０、およびディスプレイ１３０を有している。

画像処理装置１００、撮像装置１１０、および記録装置１２０は、ネットワーク１４０を介して相互に接続されている。ネットワーク１４０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

なお、ネットワーク１４０は、インターネットや有線ＬＡＮ（ＬＯＣＡＬ ＡＲＥＡ ＮＥＴＷＯＲＫ）、無線ＬＡＮ（ＷＩＲＥＬＥＳＳ ＬＡＮ）、ＷＡＮ（ＷＩＤＥ ＡＲＥＡ ＮＥＴＷＯＲＫ）等により実現されてもよい。

画像処理装置１００は、撮像装置１１０が撮像した画像に対して後述する画像処理を実行する装置である。なお、画像処理装置１００は、例えば、後述する画像処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。

撮像装置１１０は、画像を撮像する装置である。撮像装置１１０が撮像した画像に基づく画像データと、当該画像を撮像した時刻に関する情報と、当該画像を撮像した際の後述する撮像情報とが、ネットワーク１４０を介して、画像処理装置１００および記録装置１２０へ送信される。

記録装置１２０は、撮像装置１１０が撮像した画像の画像データと、当該画像を撮像した時刻と、当該画像を撮像した際の撮像情報と、を関連付けて記録する。そして、画像処理装置１００からの要求に従って、記録装置１２０は、撮像装置１１０が撮像した画像の画像データ等を画像処理装置１００へ送信するようにしてもよい。

ディスプレイ１３０は、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）等により構成されている。また、ディスプレイ１３０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して画像処理装置１００と接続されている。

また、ディスプレイ１３０は、表示手段として機能し、撮像装置１１０が撮像した画像や、後述する画像処理に係る設定画面を表示する。なお、ディスプレイ１３０は、画像処理装置１００の筐体と一体であってもよい。

次に、図２および図３を参照して、本実施形態における撮像装置１１０について説明する。図２は本実施形態における撮像装置１１０の外観図である。また図３は、本実施形態における撮像装置１１０の機能ブロックを示す図である。

レンズ２０２の光軸の向く方向が撮像装置１１０の撮像方向であり、レンズ２０２を通過した光束は、撮像部２０５の撮像素子に結像する。

また、レンズ駆動部２１０は、レンズ２０２を駆動させる駆動系により構成され、レンズ２０２の焦点距離を変更する。レンズ駆動部２１０は、パンチルトズーム制御部２０８により制御される。

パン駆動部２００は、パン動作を行うメカ駆動系及び駆動源のモータにより構成され、撮像装置１１０の撮像方向をパン方向２０３に回転させるための回転駆動を行う。なお、パン駆動部２００は、パンチルトズーム制御部２０８により制御される。

チルト駆動部２０１は、チルト動作を行うメカ駆動及び駆動源のモータにより構成され、撮像装置１１０の撮像方向をチルト方向２０４に回転させるための回転駆動を行う。なお、チルト駆動部２０１は、パンチルトズーム制御部２０８により制御される。

撮像部２０５は、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）センサやＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子（不図示）により構成される。そして、撮像部２０５は、レンズ２０２を通って結像された被写体像を光電変換して電気信号を生成する。

画像処理部２０６は、撮像部２０５において光電変換された電気信号を所定のデジタル信号へ変換する処理や、圧縮符号化処理などを行い、画像データを生成する。

パンチルトズーム制御部２０８は、システム制御部２０７から伝達された指示に基づいて、パン駆動部２００、チルト駆動部２０１及びレンズ駆動部２１０の制御を行う。

通信部２０９は、図１１を参照して後述するＩ／Ｆ１１４０によって実現でき、画像処理装置１００および記録装置１２０との通信を行う。

例えば、通信部２０９は、生成された画像データを画像処理装置１００に送信する。また、通信部２０９は、画像処理装置１００が送信するコマンドを受信し、システム制御部２０７へ伝達する。

システム制御部２０７は、図１１を参照して後述するＣＰＵ１１００によって実現でき、撮像装置１１０の全体を制御し、例えば、次のような処理を行う。すなわち、システム制御部２０７は、通信部２０９から伝達された撮像装置１１０の撮像方向やズーム倍率等を制御するコマンドを解析し、コマンドに応じた処理を行う。また、システム制御部２０７は、パンチルトズーム制御部２０８に対してパンチルトズーム動作の指示を行う。

また、システム制御部２０７は、通信部２０９を制御して、画像の画像データと、当該画像を撮像した時刻の情報と、当該画像を撮像した際の撮像情報と、を関連付けて送信させる。

本実施形態における撮像情報は、撮像装置１１０が画像を撮像した際の撮像装置１１０のパン角度とチルト角度とズーム倍率と、を示す情報を含む。

なお、パン角度は、パン駆動部２００の駆動端の一方を０°としたときの、撮像装置１１０のパン方向２０３における撮像方向（光軸）の角度である。また、チルト角度は、チルト駆動部２０１の駆動端の一方を０°としたときの、撮像装置１１０のチルト方向２０４における撮像方向（光軸）の角度である。なお、撮像装置１１０により画像が撮像されるときの撮像装置１１０のズーム倍率は、レンズ２０２の焦点距離から算出される。

次に、図４に示す画像処理装置１００の機能ブロック図を参照して、本実施形態における画像処理装置１００について説明する。なお、図４に示す各機能は、例えば、画像処理装置１００のＲＯＭ１１２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ１１００が実行することにより実現される。

実施形態における画像処理装置１００は、通信部４００と、記憶部４１０と、表示制御部４２０と、操作受付部４３０と、設定部４４０と、コマンド管理部４５０と、検出部４６０と、計数部４７０と、動体検知部４８０と、更新部４９０と、を有している。

通信部４００は、図１１を参照して後述するＩ／Ｆ１１４０によって実現でき、ネットワーク１４０を介して、撮像装置１１０や記録装置１２０と通信を行う。通信部４００は、例えば、撮像装置１１０が撮像した画像の画像データを受信したり、撮像装置１１０を制御するための制御コマンドを撮像装置１１０へ送信したりする。

記憶部４１０は、図１１を参照して後述するＲＡＭ１１１０やＨＤＤ１１３０等によって実現でき、通信部４００が受信した画像データや、本実施形態における画像処理の結果等を記憶する。

表示制御部４２０は、撮像装置１１０が撮像した画像や、画像処理にかかる設定を行う設定画面などをディスプレイ１３０に表示させる。

操作受付部４３０は、キーボードやマウス等の入力装置（不図示）を介して、ユーザが行った操作に関する情報を受け付ける。操作受付部４３０は、例えば、人数の計数を行う対象となる領域である対象領域の位置を示す情報を受け付ける。

設定部４４０は、本実施形態における画像処理に関する設定を行う。例えば、設定部４４０は、操作受付部４３０が受け付けたユーザによる操作の情報に基づき、対象領域を設定する。

コマンド管理部４５０は、撮像装置１１０が撮像する範囲である撮像範囲を変更するコマンドや、画像を撮像する制御をするためのコマンドを生成する。なお、撮像装置１１０の撮像方向（パン角度およびチルト角度）やズーム倍率を変更することで、撮像装置１１０の撮像範囲を変更する。本実施形態におけるコマンド管理部４５０は、例えば、複数の部分領域の各々を撮像するよう撮像装置１１０の撮像範囲を変更するコマンドを生成する。コマンド管理部４５０により生成されたコマンドは、通信部４００を介して、撮像装置１１０へ送信される。

検出部４６０は、照合パターン（辞書）を使用して、パターンマッチング等の処理を行うことで、画像に含まれる人物の検出を行う。計数部４７０は、検出部４６０が検出した画像に含まれる人物の数を計数する。

動体検知部４８０は、通信部４００が受信した画像の画像データから、動体の検知（以下、動体検知）を行う。なお、本実施形態において、動体検知の方法としては、撮像された時間が異なる複数のフレームでフレーム間差分処理を行ってもよいし、撮像された画像と事前に取得した背景画像とで比較を行う背景差分処理を行ってもよい。なお、本実施形態において、フレーム間差分処理を用いて、動体検知を行うものとする。

更新部４９０は、動体検知部４８０により検知された動体の位置に対応する部分領域の画像における人物の数に基づいて、計数部４７０により計数された人物の合計数を更新する。

次に、図５〜７を参照して、本実施形態に係る画像処理装置１００が行う画像処理について説明する。なお、図５は、本実施形態に係る画像処理の流れを示すフローチャートである。また、図６は、本実施形態に係る画像処理を説明するための図である。また、図７は、本実施形態に係る画像処理にて用いられるデータテーブルである。

なお、図５に示すフローチャートの処理は、画像処理装置１００のＲＯＭ１１２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ１１１０が実行することにより実現される図４に示す各機能ブロックにより実行されるものとして説明する。なお、図５に示すフローチャートの処理は、ユーザによる指示に従って開始されるものとする。

なお、図５に示すフローチャートの処理が開始される前に、設定部４４０によって第１設定〜第３設定の３つの設定がなされているものとする。なお、後述する第１設定〜第３設定により設定された情報は、記憶部４１０によって記憶される。

第１設定は、画像に含まれる人物の計数を行う対象となる領域（対象領域）の設定である。第１設定としては、ズーム倍率が最も低くなるよう、すなわち、最大画角となるよう制御された撮像装置１１０が撮像可能な範囲を対象領域として設定してもよい。また、第１設定としては、撮像装置１１０の撮像可能な範囲のうちユーザによって指定された領域の情報を操作受付部４３０が受け付けた場合、当該指定された領域を対象領域として設定してもよい。

なお、図６は、本実施形態における画像処理を説明するための模式図である。本実施形態において、図６に示す領域６００は、所定の撮像方向に制御されるとともに最大画角となるよう制御された撮像装置１１０の撮像可能な領域であり、領域６０１は、ユーザによって設定された対象領域であるものとする。

なお、対象領域の位置は、当該対象領域の重心点を向く撮像装置１１０の撮像方向（パン角度、チルト角度）と、当該対象領域のサイズと略同一サイズの領域を撮像する撮像装置１１０のズーム倍率と、で示される。

第２設定は、対象領域を複数の部分領域に分けるための設定である。図６において、対象領域６０１に対して、部分領域Ｆ１〜Ｆ１２まで設定されている。対象領域を一度に撮像するよう撮像装置１１０を制御した場合、画像に含まれる人物のサイズが小さいため、人物の検出精度が低下する。しかし、図６において、部分領域Ｆ１〜Ｆ１２のうち、一つの部分領域が撮像装置１１０の撮像範囲となるようズーム倍率を高くすれば、人物が検出可能となる。設定部４４０は、操作受付部４３０が受け付けたユーザによる操作に基づいて、部分領域Ｆ１〜Ｆ１２を設定してもよいし、対象領域の位置に基づいて、対象領域において隙間なく自動的に部分領域Ｆ１〜Ｆ１２を設定してもよい。

なお、設定部４４０により設定される部分領域を示す情報は、図７に示すテーブル７０１に格納される。テーブル７０１は、部分領域を特定する部分領域ＩＤと、部分領域の位置と、を対応付けて保持する。なお、部分領域の位置は、当該部分領域の重心点を向く撮像装置１１０の撮像方向（パン角度、チルト角度）と、当該部分領域のサイズと略同一サイズの範囲を撮像する撮像装置１１０のズーム倍率と、で示される。したがって、テーブル７０１にて、部分領域の位置は、パン角度、チルト角度、ズーム倍率によって定められる。

なお、部分領域ＩＤは、部分領域を特定すると共に、部分領域の各々を撮像装置１１０が巡回して撮像する際の、撮像順序を示している。図７に示すテーブル７０１の例では、部分領域ＩＤ「Ｆ１」から始まり、「Ｆ２」、「Ｆ３」・・・と順番に遷移する。

第３設定は、動体検知部４８０によって動体検知が行われる対象となる領域（動体検知領域）の設定である。なお、動体検知領域は、撮像装置１１０が一度に撮像可能な範囲内に収まるものとする。本実施形態において、設定部４４０は、対象領域６０１を動体検知領域として設定する。なお、動体検知領域は、パターンマッチングによる処理ではなく、フレーム間差分等の動体検知の処理が行われる領域であるため、部分領域より大きくてもよい。

以下、図５に示すフローチャートの処理について説明する。ステップＳ５０１にて、コマンド管理部４５０は、記憶部４１０に記憶されている第１設定〜第３設定の情報を取得する。即ち、コマンド管理部４５０は、対象領域、部分領域、および動体検知領域に関する情報（位置等）を取得する。

次に、ステップＳ５０２にて、全ての部分領域が撮像されている場合、ステップＳ５０７へ遷移し、撮像されていない部分領域がある場合、ステップＳ５０３へ遷移する。

ステップＳ５０３にて、コマンド管理部４５０は、記憶部４１０に記憶されたテーブル７０２の情報に基づいて、未撮像の部分領域を撮像するよう撮像装置１１０の撮像範囲を変更するコマンドを生成する。このとき、撮像装置１１０の撮像方向およびズーム倍率が変更されることで撮像範囲が変更される。

テーブル７０２は、撮像済みの部分領域に対して、撮像された時刻の情報と、撮像された部分領域に含まれる人数と、が格納される。したがって、テーブル７０２に示す例において、コマンド管理部４５０は、撮像済みである部分領域Ｆ１およびＦ２の次の順序にあたる部分領域Ｆ３を撮像するよう撮像装置１１０の撮像方向およびズーム倍率を変更するコマンドを生成する。ステップＳ５０３にて生成されたコマンドは、画像処理装置１００の通信部４００を介して、撮像装置１１０へ送信される。

次に、ステップＳ５０４にて、検出部４６０は、未撮像の部分領域を撮像するよう制御された撮像装置１１０が撮像した画像に含まれる人物を検出する。

次に、ステップＳ５０５にて、計数部４７０は、検出部４６０により検出された人物の数を計数する。

次に、ステップＳ５０６にて、記憶部４１０は、ステップＳ５０５にて計数された人数を、テーブル７０２に格納して、記憶する。例えば、ステップＳ５０５にて、部分領域Ｆ３を撮像した画像に人物が２人いると計数された場合、記憶部４１０は、テーブル７０２にて、“部分領域Ｆ３”の行に対応する“人数”の列に“２”と格納して記憶する。

以上のように、ステップＳ５０３〜ステップ５０６の処理を、全ての部分領域が撮像されるまで繰り返す。ステップＳ５０２にてＹｅｓの場合、ステップＳ５０７へ遷移する。なお、テーブル７０３は、図６（ａ）に示す例において、全ての部分領域の各々について、撮像された時刻と人数とを格納されたテーブルの一例である。

ステップＳ５０７にて、計数部４７０は、対象領域における合計数を計数する。図６（ａ）に示す例では、計数部４７０は、対象領域における合計数を“２２”と計数する。

ステップＳ５０８にて、記憶部４１０は、計数部４７０により計数された合計数を記憶する。図６（ａ）に示す例では、記憶部４１０は、計数部４７０により計数された合計数として“２２”を記憶する。

ステップＳ５０９にて、コマンド管理部４５０は、記憶部４１０が記憶する第３設定の情報に基づき、動体検知領域を撮像するよう撮像装置１１０の撮像範囲を変更するコマンドを生成する。なお、このとき生成されるコマンドは、少なくとも動画像を撮像するよう撮像装置１１０を制御するコマンドである。なお、本実施形態において対象領域と動体検知領域とを同一としているため、図６に示す例では、対象領域６０１を一度に撮像するよう撮像装置１１０の撮像範囲を変更するコマンドが生成される。このとき生成されたコマンドは、画像処理装置１００の通信部４００を介して撮像装置１１０へ送信される。

次に、ステップＳ５１０にて、動体検知部４８０は、ステップＳ５０９の処理によって制御された撮像装置１１０が撮像した画像に対して動体検知を行う。なお、本実施形態において、動体検知の方法としては、撮像された時間が異なる複数のフレームでフレーム間差分処理を行って、動体検知を行うものとする。なお、本実施形態において、画像における動体の位置は、画像における動体の領域の重心点とし、パン角度およびチルト角度によって定められる。また、動体のサイズは、当該動体の画像における領域のサイズ（画素数）で定められる。

図６に示す例では、動体検知部４８０は、対象領域６０１における動体を検知する。なお、図６（ｂ）は、ステップＳ５０９で撮像された動画像において、人物６０２が部分領域Ｆ６からＦ２へ、人物６０３が対象領域６０１の外から部分領域Ｆ９へ移動した様子を示す図である。

次に、ステップＳ５１１にて、動体が検知されていない場合、ステップＳ５０９へ遷移し、動体が検知されている場合、ステップＳ５１２へ遷移する。

ステップＳ５１２にて、コマンド管理部４５０は、動体検知部４８０により検知された動体の位置に対応する部分領域を撮像するよう撮像装置１１０の撮像範囲を変更するコマンドを生成する。図６（ｂ）に示す例では、動体検知部４８０によって人物６０２、６０３が動体として検知される。コマンド管理部４５０は、動体の位置に対応する部分領域である部分領域Ｆ２、Ｆ６、Ｆ９の各々を巡回して撮像するよう撮像装置１１０の撮像範囲を変更するコマンドを生成する。

このとき、例えば、撮像装置１１０の撮像範囲と部分領域Ｆ２とが略同一となるよう、ズーム倍率および撮像方向を変更するコマンドが生成される。その後、部分領域Ｆ６およびＦ９それぞれに対しても、撮像装置１１０の撮像範囲と、撮像対象となる部分領域と、が略同一となるよう、ズーム倍率および撮像方向を変更するコマンドが生成される。

なお、動体の位置に対応する部分領域は、動画像における動体の領域の重心点が描く軌跡と重なる部分領域であるものとする。

ステップＳ５１３にて、検出部４６０は、ステップＳ５１２にて制御された撮像装置１１０が撮像した画像に含まれる人物を検出する。図６（ｂ）に示す例では、検出部４６０は、部分領域Ｆ２、Ｆ６、Ｆ９の各々を撮像した画像に含まれる人物を検出する。

ステップＳ５１４にて、計数部４７０は、検出部４６０によって検出された人物の数を計数する。図６（ｂ）に示す例では、計数部４７０は、部分領域Ｆ２、Ｆ６、Ｆ９に含まれる人物の数を計数する。

ステップＳ５１５にて、更新部４９０は、動体検知部４８０により検知された動体の位置に対応する部分領域の画像における人物の数に基づいて、計数部４７０により計数された合計数を更新する。図６（ｂ）に示す例では、部分領域Ｆ２、Ｆ６、Ｆ９が動体の位置に対応する部分領域となる。したがって、更新部４９０は、部分領域Ｆ２における人数を“１”から“２”、部分領域Ｆ６における人数を“２”から“１”、部分領域Ｆ９における人数を“１”から“２”へテーブル７０３に格納されたデータを更新する。テーブル７０４は、更新部４９０によって、テーブル７０３における部分領域Ｆ２、Ｆ６、Ｆ９の各々について、撮像時刻および人数が更新されたテーブルを示している。なお、テーブル７０４では、便宜的に、更新箇所が灰色で示されている。そして、更新部４９０は、ステップＳ５０７にて計数部４７０により計数されて記憶部４１０に記憶されている合計数を“２２”から“２３”へと更新する。

ステップＳ５１６にて、ユーザより終了指示が出ている場合は、処理を終了し、終了指示が出ていなければステップＳ５０９へ遷移する。

なお、撮像装置１１０から奥行き方向に向かって、人物のサイズが徐々に小さくなるような場合がある。このとき、本実施形態において、対象領域６０１を一度に撮像するズーム倍率でも、撮像装置１１０に近い位置、つまり、画像の下側に位置する人物のサイズは検出可能サイズを満たすことがある。このとき、ステップＳ５１２にて、動体検知部４８０により検知された動体の位置に対応する部分領域が画像の下側、例えば、部分領域Ｆ１〜Ｆ４のいずれかの場合、部分領域を撮像するよう撮像装置１１０のズーム倍率を高くする制御は必ずしも行わなくてもよい。この場合、例えば、対象領域を撮像した画像から動体の位置に対応する部分領域（例えば、部分領域Ｆ２）を切り出し、切り出された画像に含まれる人数に基づいて、合計人数を更新するようにしてもよい。

なお、本実施形態において、動体検知領域と、部分領域の各々と、が単一の撮像装置１１０によって撮像されたが、これに限らない。例えば、図３に示す撮像装置１１０と同様の機能によって実現される撮像装置である撮像装置１１０ａ（不図示）および撮像装置１１０ｂ（不図示）がある場合を想定する。

このとき、部分領域の各々は、撮像装置１１０ａの撮像方向およびズーム倍率を変更することによって撮像されるようにする。動体検知領域は、撮像装置１１０ｂによって撮像されるように撮像する。そして、撮像装置１１０ａおよび撮像装置１１０ｂの各々によって撮像された画像は、画像処理装置１００へ送信される。このように、複数の撮像装置を用いて、動体検知領域と、部分領域の各々と、を撮像するようにしてもよい。

なお、動体検知領域を撮像する撮像装置１１０ｂは、パン駆動部２００、チルト駆動部２０１は有していなくてもよい。なお、撮像装置１１０ａの筐体と、撮像装置１１０ｂの筐体とが一体になっていてもよい。

なお、本実施形態における画像処理装置１００は動体検知部４８０を有しているが、撮像装置１１０が動体検知部４８０を有していてもよい。この場合、撮像装置１１０の動体検知部４８０は、ステップＳ５０９の処理によって制御された撮像装置１１０が撮像した画像に対して動体検知を行う。このとき撮像装置１１０の動体検知部４８０によって検知された動体の位置およびサイズ（画素数）の情報は、通信部２０９および通信部４００を介して画像処理装置１００へ送信される。

以上説明したように、本実施形態における画像処理装置１００は、対象領域における合計数を計数した後、動体検知領域に対して動体検知を行い、検知された動体の位置に対応する部分領域を撮像して、当該部分領域の人数に基づき、対象領域の合計数を更新する。

対象領域に含まれる人数を計数するにあたって、当該対象領域を一度に撮像しようとすると画像内の人物のサイズが小さくなり、人物の検出が出来なくなることがあった。そこで、撮像装置１１０のパンチルトズームを制御して当該対象領域を複数の部分領域に分けて撮像する場合がある。この場合、複数の部分領域の各々を撮像することで対象領域全体の画像を取得して対象領域に含まれる人数を計数したのち、対象領域に含まれる人数を再度計数しようとすると、再度部分領域の各々を撮像して人数を計数し直す必要がある。そのため、対象領域における一部の部分領域でのみ人数の変化があった場合でも、その変化を反映させる処理に時間がかかってしまう。

しかし、本実施形態における画像処理装置１００によれば、動体の位置に対応する部分領域のみ撮像すればよいので、対象領域における一部の部分領域にて人数の変化があった際、その変化を反映させる処理時間を削減することができる。

（実施形態２）
本実施形態における画像処理装置１００の画像処理では、動体の位置に対応する部分領域を撮像するよう撮像装置１１０を制御するにあたって、撮像対象とする部分領域の優先度を設定する。以下、本実施形態における画像処理装置１００による画像処理について説明する。なお、実施形態１と同一または同等の機能構成および処理には、同一の符号を付すとともに、重複する説明は適宜省略する。

まず、図４に示す画像処理装置１００の機能ブロック図を参照して、本実施形態における画像処理について説明する。

本実施形態における設定部４４０は、動体検知部４８０により検知された動体の位置に対応する部分領域に対して撮像対象とする優先度（以下、撮像優先度）を設定する。なお、撮像優先度が低く設定された部分領域に対しては撮像装置１１０によって撮像しないようにする。

撮像優先度の設定方法としては、例えば、画像における動体の領域のサイズ（画素数）がある閾値未満の場合、人物の微小な動作によるものであるとして、当該動体の位置に対応する部分領域の撮像優先度を低く設定する。

また、撮像優先度の設定方法として、撮像された画像に含まれる動体が一つの部分領域内に留まっている場合、当該部分領域の撮像優先度を低く設定するようにしてもよい。具体的には、撮像された動画像における動体の領域の重心点が描く軌跡が一つの部分領域内に留まっている場合、当該部分領域の撮像優先度を低く設定する。

本実施形態におけるコマンド管理部４５０は、動体検知部４８０により検知された動体の位置に対応する部分領域のうち、撮像優先度が低い部分領域を除いた部分領域を撮像するよう撮像装置１１０の撮像範囲を変更するコマンドを生成する。

なお、通信部４００、記憶部４１０、表示制御部４２０、操作受付部４３０、検出部４６０、計数部４７０、動体検知部４８０、および更新部４９０は、実施形態１と同様であるため説明を省略する。

次に、図８に示すフローを参照して、本実施形態における画像処理について説明する。なお、図８に示すフローチャートの処理は、画像処理装置１００のＲＯＭ１５０２に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ１５００が実行することにより実現される図４に示す各機能ブロックにより実行されるものとして説明する。なお、図８に示すフローチャートの処理は、ユーザによる指示に従って開始されるものとする。

図８において、ステップＳ５０１〜５１１の処理は、実施形態１と同様であるため説明を省略する。

ステップＳ８０１にて、設定部４４０は、動体検知部４８０により検知された動体の位置に対応する部分領域に対して撮像優先度を設定する。なお、本実施形態において、画像における動体の領域のサイズがある閾値未満の場合、当該動体の位置に対応する部分領域の撮像優先度を低く設定する。

ステップＳ８０２にて、コマンド管理部４５０は、動体検知部４８０により検知された動体の位置に対応する部分領域のうち、撮像優先度が低い部分領域を除いた部分領域を撮像するよう撮像装置１１０の撮像範囲を変更するコマンドを生成する。

なお、このとき生成されたコマンドは、画像処理装置１００の通信部４００を介して撮像装置１１０へ送信される。ステップＳ５１３〜５１６の処理は、実施形態１と同様であるため説明を省略する。

ここで、図９を参照して、第１設定〜第３設定の設定、および撮像優先度の設定を行うための設定画面について説明する。図９は、画像処理に関わる設定を行うための設定画面の一例を示す図である。

設定画面９００は、画像処理に関わる設定を行うためのものであり、表示制御部４２０によってディスプレイ１３０に表示される。設定画面９００に含まれるウィンドウ９０１は、ズーム倍率が最も低い、すなわち最大画角の撮像装置１１０が撮像可能な範囲を示している。ウィンドウ９０１には、所定の撮像方向に制御されるとともに最大画角に制御された撮像装置１１０によって撮像された画像を表示させてもよい。

領域９０２は、人数を計数する対象となる対象領域を示している。ユーザは、ボタン９０５を押下することで、ウィンドウ９０１上に領域９０２を表示させ、表示された領域９０２の位置およびサイズをマウス等の入力装置（不図示）を介して変更することで、対象領域を設定することができる。

領域９０３は、部分領域を示している。ユーザは、ボタン９０６を押下することで、例えば、ウィンドウ９０１上に部分領域を表示させ、表示された部分領域の位置およびサイズをマウス等の入力装置（不図示）を介して変更して、部分領域を設定することができる。

領域９０４は、動体検知領域を示している。ユーザは、ボタン９０７を押下することで、ウィンドウ９０１上に領域９０４を表示させ、表示された領域９０４の位置およびサイズをマウス等の入力装置（不図示）を介して変更することで、動体検知領域を設定することができる。

選択ボックス９０８は、撮像対象とする部分領域の優先度を設定するか否かについて選択できる。例えば、選択ボックス９０８にて“有”が選択されている場合、図８に示すフローの画像処理が行われ、“無”が選択されている場合、図５に示すフローの画像処理が行われる。

ユーザによってＯＫボタン９０９が押下されると、設定された項目が記憶部４１０に記憶される。キャンセルボタン９１０が押下されると、設定された項目は記憶されない。

以上説明したように、本実施形態における画像処理装置１００の画像処理では、動体の位置に対応する部分領域を撮像するよう撮像装置１１０を制御するにあたって、撮像対象とする部分領域の優先度を設定する。こうすることにより、人数の更新を行う必要がない優先度の低い部分領域は撮像されなくなるため、対象領域における一部の部分領域にて人数の変化があった際、その変化を反映させる処理時間を削減することができる。

（実施形態３）
本実施形態では、各実施形態に係る画像処理装置１００の１以上の機能を、撮影装置１１０が有する実施形態について説明する。つまり、撮影装置１１０が画像処理装置としての機能も有する実施形態について説明する。以下、他の実施形態と異なる部分を主に説明し、実施形態１および２と同一または同等の機能構成および処理には、同一の符号を付すとともに、重複する説明は適宜省略する。

例えば、図４に示す、記憶部４１０、設定部４４０、コマンド管理部４５０、検出部４６０、計数部４７０、動体検知部４８０、および更新部４９０は、撮像装置１１０が有していてもよい。なお、この場合、表示制御部４２０および操作受付部４３０は、後述する図１１に示すハードウェア構成によって実現されるクライアント装置１０００が有する。

図１０の機能ブロックを参照して本実施形態における撮像装置１１０およびクライアント装置１０００について説明する。なお、図１０は、本実施形態における撮像装置１１０およびクライアント装置１０００の機能ブロック図である。

クライアント装置１０００の通信部１０１０は、操作受付部４３０が受け付けたユーザ操作に関する情報を撮像装置１１０へ送信したり、撮像装置１１０が撮像した画像や撮像装置１１０による画像処理の結果に関する情報を受信したりする。

表示制御部４２０は、通信部２０９および通信部１０１０を介して撮像装置１１０から送信された画像や、画像処理にかかる設定（第１設定〜第３設定等）を行う設定画面などをディスプレイ１３０に表示させる。

操作受付部４３０は、キーボードやマウス等の入力装置（不図示）を介して、ユーザが行った操作に関する情報を受け付ける。操作受付部４３０は、例えば、画像処理にかかる設定（第１設定〜第３設定等）に関する情報を受け付ける。このとき、操作受付部４３０が受け付けた情報は、通信部１０１０および通信部２０９を介して撮像装置１１０へ送信され、撮像装置１１０の設定部４４０は送信された情報に基づき、画像処理にかかる設定を行う。

撮像装置１１０の通信部２０９は、ネットワーク１４０を介して、クライアント装置１０００や記録装置１２０と通信を行う。通信部２０９は、例えば、撮像装置１１０が撮像した画像の画像データをクライアント装置１０００や記録装置１２０へ送信したり、ユーザによる操作に関する情報を受信したりする。

記憶部４１０は、図１１を参照して後述するＲＡＭ１１１０等によって実現でき、通信部２０９が受信したユーザによる操作に関する情報や、本実施形態における画像処理に関わる設定等を記憶する。

コマンド管理部４５０は、撮像装置１１０の撮像方向（パン角度およびチルト角度）やズーム倍率を変更するためのコマンドや、画像を撮像する制御をするためのコマンドを生成する。システム制御部２０７は、コマンド管理部４５０により生成されたコマンドを解析して、コマンドに応じた処理を行う。例えば、システム制御部２０７は、パンチルトズーム制御部２０８へ、撮像方向およびズーム倍率を制御する指示を行う。

撮像部２０５、画像処理部２０６、検出部４６０、計数部４７０、動体検知部４８０、更新部４９０の処理は実施形態１および実施形態２と同様であるため説明を省略する。

撮像装置１１０による画像処理によって得られた情報、例えば、計数部４７０により計数された合計数や、更新部４９０により人数が更新された合計数に関する情報は、通信部２０９および通信部１０１０を介して、クライアント装置１０００へ送信される。クライアント装置１０００の表示制御部４２０は、送信された情報（対象領域における合計数等）をディスプレイ１３０に表示させる。

以上説明したように各実施形態に係る画像処理装置１００の１以上の機能は、撮影装置１１０が有していてもよい。

（その他の実施形態）
次に図１１を参照して、各実施形態の各機能を実現するための画像処理装置１００のハードウェア構成を説明する。なお、以降の説明において画像処理装置１００のハードウェア構成について説明するが、記録装置１２０およびクライアント装置１０００も同様のハードウェア構成によって実現される。また、撮像装置１１０の画像処理部２０６、システム制御部２０７、パンチルトズーム制御部２０８、通信部２０９等の機能も同様のハードウェア構成により実現される。

本実施形態における画像処理装置１００は、ＣＰＵ１１００と、ＲＡＭ１１１０と、ＲＯＭ１１２０、ＨＤＤ１１３０と、Ｉ／Ｆ１１４０と、を有している。

ＣＰＵ（ＣＥＮＴＲＡＬ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）１１００は画像処理装置１００を統括制御する中央処理装置である。

ＲＡＭ（ＲＡＮＤＯＭ ＡＣＣＥＳＳ ＭＥＭＯＲＹ）１１１０は、ＣＰＵ１１００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ１１１０は、ＣＰＵ１１００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ１１１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ（ＲＥＡＤ ＯＮＬＹ ＭＥＭＯＲＹ）１１２０は、ＣＰＵ１１００が画像処理装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ（ＨＡＲＤ ＤＩＳＫ ＤＲＩＶＥ）１１３０は、画像データ等を記録する記憶装置である。

Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１１４０は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

なお、上述した各実施形態の説明では、ＣＰＵ１１００が処理を実行する例について説明するが、ＣＰＵ１１００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ１３０にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＲＯＭ１１２０からプログラムコードを読み出してＲＡＭ１５０１に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、画像処理装置１００の各部は、図１１に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

４００ 通信部
４１０ 記憶部
４２０ 表示制御部
４３０ 操作受付部
４４０ 設定部
４５０ コマンド管理部
４６０ 検出部
４７０ 計数部
４８０ 動体検知部
４９０ 更新部

Claims (13)

1. 対象領域を複数の部分領域に分けて撮像手段により撮像された画像に含まれる人物を検出する検出手段と、
   前記検出手段により検出された人物の合計数を計数する計数手段と、
   前記撮像手段の撮像範囲を変更する制御手段と、
   前記計数手段により計数された合計数を更新する更新手段と、を有し、
   前記制御手段は、前記対象領域が撮像された画像から動体を検知する動体検知手段により検知された動体の位置に対応する部分領域を撮像するよう前記撮像手段の撮像範囲を変更し、
   前記検出手段は、前記制御手段により撮像範囲が変更された前記撮像手段により撮像された、前記動体の位置に対応する部分領域の画像に含まれる人物を検出し、
   前記更新手段は、前記部分領域の画像に含まれる人物の数に基づいて、前記合計数を更新することを特徴とする画像処理装置。
2. 前記動体検知手段により検知された動体の位置に対応する部分領域のうち、前記撮像手段が撮像対象とする部分領域の優先度を設定する設定手段を有し、
   前記制御手段は、前記動体検知手段により検知された動体の位置に対応する部分領域のうち、前記設定手段により設定される優先度に基づいて、特定の部分領域を撮像するよう前記撮像手段の撮像範囲を変更することを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、撮像された画像に含まれる動体の領域のサイズが閾値未満の場合、当該動体の位置に対応する部分領域の優先度を低く設定し、
   前記制御手段は、前記動体検知手段により検知された動体の位置に対応する部分領域のうち、前記設定手段により設定された優先度が低い部分領域を除いた部分領域を撮像するよう前記撮像手段の撮像範囲を変更することを特徴とする請求項２に記載の画像処理装置。
4. 前記設定手段は、撮像された画像に含まれる動体が一つの部分領域内に留まっている場合、当該部分領域の優先度を低く設定し、
   前記制御手段は、前記動体検知手段により検知された動体の位置に対応する部分領域のうち、前記設定手段により設定された優先度が低い部分領域を除いた部分領域を撮像するよう前記撮像手段の撮像範囲を変更することを特徴とする請求項２に記載の画像処理装置。
5. 前記制御手段は、前記動体検知手段により検知された動体の位置に対応する部分領域を撮像するよう前記撮像手段の撮像方向およびズーム倍率を変更することで、前記撮像範囲を変更することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 画像を撮像する撮像手段と、
   対象領域を複数の部分領域に分けて前記撮像手段により撮像された画像に含まれる人物を検出する検出手段と、
   前記検出手段により検出された人物の合計数を計数する計数手段と、
   前記撮像手段の撮像範囲を変更する制御手段と、
   前記計数手段により計数された合計数を更新する更新手段と、を有し、
   前記制御手段は、前記対象領域が撮像された画像から動体を検知する動体検知手段により検知された動体の位置に対応する部分領域を撮像するよう前記撮像手段の撮像範囲を変更し、
   前記検出手段は、前記制御手段により撮像範囲が変更された前記撮像手段により撮像された、前記動体の位置に対応する部分領域の画像に含まれる人物を検出し、
   前記更新手段は、前記部分領域の画像に含まれる人物の数に基づいて、前記合計数を更新することを特徴とする撮像装置。
7. 対象領域を複数の部分領域に分けて撮像手段により撮像された画像に含まれる人物を検出する検出工程と、
   前記検出工程により検出された人物の合計数を計数する計数工程と、
   前記撮像手段の撮像範囲を変更する制御工程と、
   前記計数工程により計数された合計数を更新する更新工程と、を有し、
   前記制御工程は、前記対象領域が撮像された画像から動体を検知する動体検知手段により検知された動体の位置に対応する部分領域を撮像するよう前記撮像手段の撮像範囲を変更し、
   前記検出工程は、前記制御工程により撮像範囲が変更された前記撮像手段により撮像された、前記動体の位置に対応する部分領域の画像に含まれる人物を検出し、
   前記更新工程は、前記部分領域の画像に含まれる人物の数に基づいて、前記合計数を更新することを特徴とする画像処理方法。
8. 前記動体検知手段により検知された動体の位置に対応する部分領域のうち、前記撮像手段が撮像対象とする部分領域の優先度を設定する設定工程を有し、
   前記制御工程は、前記動体検知手段により検知された動体の位置に対応する部分領域のうち、前記設定工程により設定される優先度に基づいて、特定の部分領域を撮像するよう前記撮像手段の撮像範囲を変更することを特徴とする請求項７に記載の画像処理方法。
9. 前記設定工程は、撮像された画像に含まれる動体の領域のサイズが閾値未満の場合、当該動体の位置に対応する部分領域の優先度を低く設定し、
   前記制御工程は、前記動体検知手段により検知された動体の位置に対応する部分領域のうち、前記設定工程により設定された優先度が低い部分領域を除いた部分領域を撮像するよう前記撮像手段の撮像範囲を変更することを特徴とする請求項８に記載の画像処理方法。
10. 前記設定工程は、撮像された画像に含まれる動体が一つの部分領域内に留まっている場合、当該部分領域の優先度を低く設定し、
    前記制御工程は、前記動体検知手段により検知された動体の位置に対応する部分領域のうち、前記設定工程により設定された優先度が低い部分領域を除いた部分領域を撮像するよう前記撮像手段の撮像範囲を変更することを特徴とする請求項８に記載の画像処理方法。
11. 前記制御工程は、前記動体検知手段により検知された動体の位置に対応する部分領域を撮像するよう前記撮像手段の撮像方向およびズーム倍率を変更することで、前記撮像範囲を変更することを特徴とする請求項７乃至１０のいずれか一項に記載の画像処理方法。
12. コンピュータを請求項１乃至５のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
13. コンピュータを請求項６に記載の撮像装置の各手段として機能させるためのプログラム。

Images