JP2021145303A

JP2021145303A - 画像処理装置、画像処理方法

Info

Publication number: JP2021145303A
Application number: JP2020044386A
Authority: JP
Inventors: 康夫馬塲; Yasuo Baba; 元牟田; Hajime Muta
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-03-13
Filing date: 2020-03-13
Publication date: 2021-09-24
Also published as: US20210287374A1; US11887309B2; CN113393552A; KR20210116247A

Abstract

【課題】検知線を通過するオブジェクトの数をより正確に計数するための技術を提供すること。【解決手段】表示画面内に設定されている検知線に基づいて、該表示画面内にパッチ領域を設定する。表示画面内を移動しているオブジェクトのパッチ領域内における移動ベクトルもしくは該移動ベクトルに基づく軌跡と、該パッチ領域内における検知線と、の交点を計数する。【選択図】図３

Description

本発明は、動画像の解析技術に関するものである。

近年、カメラ等で撮影した画像を元に、撮影領域における人流を解析する装置が提案されている。人流を解析する具体的な方法として、画像上に引かれた仮想の線である検知線の上を通過した人の数を計数する方法が存在する。

人が多く集まる施設において、その出入口の入退出者数を計数することで、その施設内の滞在人数を推定できる。また、混雑度が高い出入口や滞留が発生した出入口を特定して、混雑に伴う事故や犯罪等を未然に防ぐことが期待される。

非特許文献１では、複数フレームにわたって、各時刻において検出された点同士を対応付けることで、複数の点の追跡を行う方法が開示されている。特許文献１では、時系列上で連続する画像を複数の局所領域に分割して複数の分割領域を得、分割領域ごとに、オブジェクトの数と動き特徴を抽出し、それらを統合することで、分割領域におけるオブジェクトの流れを推定することが開示されている。

特開２０１８−１８０６１９号公報

ＫｈｕｒｒａｍＳｈａｆｉｑｕｅａｎｄＭｕｂａｒａｋＳｈａｈ．ＡＮｏｎ−ＩｔｅｒａｔｉｖｅＧｒｅｅｄｙＡｌｇｏｒｉｔｈｍｆｏｒＭｕｌｔｉ−ｆｒａｍｅＰｏｉｎｔＣｏｒｒｅｓｐｏｎｄｅｎｃｅ．ＩＥＥＥｔｒａｎｓａｃｔｉｏｎｓｏｎｐａｔｔｅｒｎａｎａｌｙｓｉｓａｎｄｍａｃｈｉｎｅｉｎｔｅｌｌｉｇｅｎｃｅ（２００５）．

非特許文献１に開示されている技術では、検知線の場所に応じて点の検出範囲を絞ることはせず、画面全体に対して点の検出を行うため、通過数計数の処理時間が大きくなる、という課題がある。通過数計数を高速に行うためには、検知線の周囲のみに対して人流を解析し、その人流と検知線との交わりを求めることが考えられる。

特許文献１に開示されている技術では、分割領域ごとにオブジェクトの流れを推定する手法を採用している。この考えに基づき、検知線が通過する分割領域のみにおいてオブジェクトの通過数を計数し、その結果を足し合わせることで、検知線全体のオブジェクトの通過数を取得できる。ここで、分割領域ごとに独立に通過数の計数が可能であるため、分割領域ごとの処理の並列化により、高速に人数計数を実現することができる。

しかしながら、特許文献１では、検知線の位置に関わらず画像の分割方法が一定である。画像の分割方法を一定にする場合、検知線と分割領域との関係によっては、通過数計数の結果が不正確になる、という課題がある。図１にその例を示す。

図１は、ユーザにより検知線１０１が設定された入力画像１００の一例を示す。この場合、検知線１０１におけるオブジェクトの通過数を計数するために、分割領域１０２、１０３、１０４のそれぞれにおいてオブジェクトの通過数を計数することになる。矢印１０５、１０６、１０７、１０８のそれぞれは、あるオブジェクトの時刻ｔ１における位置（始点）から時刻ｔ２における位置（終点）への、該オブジェクトの動きを示す移動ベクトルである。矢印１０５のように、始点と終点が両方とも同じ分割領域１０４に入っているオブジェクトであれば、分割領域１０４にてこのオブジェクトの通過を検出できる。しかし、始点と終点が異なる分割領域に位置する矢印１０６に対応するオブジェクトや始点および終点の少なくとも一方が分割領域外に位置する矢印１０７、１０８に対応するオブジェクトは分割領域１０２、１０３、１０４の何れにおいても通過を検出できない。そのため、検知線全体の通過数が、実際の通過数よりも小さくなる、という問題が生じる。本発明では、検知線を通過するオブジェクトの数をより正確に計数するための技術を提供する。

本発明の一様態は、表示画面内に設定されている検知線に基づいて、該表示画面内にパッチ領域を設定する設定手段と、前記表示画面内を移動しているオブジェクトの前記パッチ領域内における移動ベクトルもしくは該移動ベクトルに基づく軌跡と、該パッチ領域内における前記検知線と、の交点を計数する計数手段とを備えることを特徴とする。

本発明の構成によれば、検知線を通過するオブジェクトの数をより正確に計数することができる。

従来技術における問題を説明するための図。画像処理装置のハードウェア構成例を示すブロック図。画像処理装置２００の機能構成例を示すブロック図。画像処理装置２００が行う処理のフローチャート。（ａ）はパッチ領域を説明する図、（ｂ）は検知線に基づくパッチ領域の設定を説明する図。第１の実施形態に係るパッチ領域による効果を説明する図。第１の実施形態に係るパッチ領域による効果を説明する図。（ａ）は計数領域を検出領域とほぼ同じ大きさにとったパッチ領域の例を示す図、（ｂ）は計数領域を図８（ａ）に示した計数領域よりも小さくしたパッチ領域の一例を示す図。パッチ領域の位置を決定する順序を説明する図。画像内における人物の移動ベクトルの推定を説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
本実施形態では、監視対象領域を撮像した動画像を表示画面に表示する際に、該表示画面内に設定された検知線の上を通過するオブジェクトの数（通過数）を計数する画像処理装置について説明する。以下では「オブジェクト」（つまり計数対象）が「人物」であるケースについて説明するが、「オブジェクト」は「人物」に限らず、他の移動体であってもよい。

まず、本実施形態に係る画像処理装置のハードウェア構成例について、図２のブロック図を用いて説明する。図２に示す画像処理装置２００は、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット端末装置などのコンピュータ装置である。

制御装置２１は、ＣＰＵなどのプロセッサ、ＲＡＭやＲＯＭなどのメモリ装置、などを有する。プロセッサは、該メモリ装置に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これにより、制御装置２１は、画像処理装置２００全体の動作制御を行うとともに、画像処理装置２００が行うものとして後述する各処理を実行もしくは制御する。

記憶装置２２は、不揮発性メモリであり、ＯＳ（オペレーティングシステム）や、画像処理装置２００が行うものとして後述する各種理を制御装置２１（プロセッサ）に実行もしくは制御させるためのコンピュープログラムやデータが保存されている。記憶装置２２に保存されているコンピュータプログラムやデータは、制御装置２１（プロセッサ）による制御に従ってメモリ装置（ＲＡＭ）にロードされ、制御装置２１（プロセッサ）による処理対象となる。

演算装置２３は、制御装置２１からの指示に基づいて各種の演算処理を行う。入力装置２４は、キーボード、マウス、タッチパネル画面などのユーザインターフェースであり、ユーザが操作することで各種の指示を制御装置２１（プロセッサ）に対して入力することができる。

出力装置２５は、液晶画面やタッチパネル画面を表示画面として有する表示装置であり、制御装置２１による処理結果を画像や文字などでもって表示することができる。Ｉ／Ｆ（インターフェース）２６は、監視対象領域を撮像する撮像装置、監視対象領域を撮像した動画像を保持する装置、各種のコンピュータプログラムやデータを保持する装置、などとのデータ通信を行うための通信インターフェースである。画像処理装置２００は、Ｉ／Ｆ２６を介してこれらの装置との間のデータ通信を行う。Ｉ／Ｆ２６は、例えば、ユニバーサルシリアルバス、イーサネット（登録商標）、光ケーブル等の有線インターフェースや、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線インターフェースである。

次に、本実施形態に係る画像処理装置２００の機能構成例について、図３のブロック図を用いて説明する。以下では、図３に示す機能部を処理の主体として説明するが、実際には、該機能部の機能を制御装置２１（プロセッサ）や演算装置２３に実行させるためのコンピュータプログラムを該プロセッサや演算装置２３が実行することで、該機能部の機能が実現される。このように、図３に示した機能部は、ソフトウェア（コンピュータプログラム）で実装してもよいが、ハードウェアで実装してもよい。

検知線設定部３０１は、出力装置２５における表示画面に検知線を設定する。画像取得部３０２は、Ｉ／Ｆ２６を介して外部から、監視対象領域を撮像した動画像における各フレームの画像（撮像画像）を取得する。該動画像における各フレームの画像は、出力装置２５における表示画面に表示される。

パッチ抽出部３０３は、出力装置２５における表示画面上に設定された検知線に基づいて該表示画面上にパッチ領域を設定し、該表示画面内に表示されている撮像画像から該設定したパッチ領域内における部分画像を「パッチ」として抽出する。

推定部３０４は、パッチ抽出部３０３が設定したパッチ領域ごとに（独立に）、出力装置２５における表示画面内を移動している人物の該パッチ領域内における移動ベクトルを推定する。

座標追跡部３０５は、パッチ抽出部３０３が設定したパッチ領域ごとに（独立に）、該パッチ領域について推定部３０４が推定した人物の移動ベクトルに基づいて、出力装置２５における表示画面内の該人物の軌跡を取得する。

通過数計数部３０６は、パッチ抽出部３０３が設定したパッチ領域ごとに（独立に）、推定部３０４が推定した人物の移動ベクトルもしくは座標追跡部３０５が取得した人物の軌跡に基づいて、検知線の上を通過する人物の数（通過数）を計数する。そして通過数計数部３０６は、パッチ領域ごとに計数した通過数の合計を、検知線全体における通過数として求める。

次に、画像処理装置２００が、出力装置２５における表示画面内に設定されている検知線の上を通過した人物の数（通過数）を計数するために行う処理について、図４のフローチャートに従って説明する。

＜ステップＳ４０１＞
検知線設定部３０１は、出力装置２５における表示画面内に検知線を設定する。検知線の設定方法は特定の設定方法に限らない。例えば、出力装置２５における表示画面に監視対象領域を撮像した動画像を再生表示して、該動画像を見ながらユーザが入力装置２４を操作して表示画面に検知線を設定してもよい。また例えば、検知線設定部３０１は、出力装置２５における表示画面に監視対象領域を撮像した動画像を再生表示し、該表示画面においてドアや改札など人の出入りを伴う物体の画像領域を検出し、該画像領域の付近に検知線を設定してもよい。また例えば、検知線設定部３０１は、出力装置２５における表示画面の端部（表示画面における上下左右の１つ以上の端部）に検知線を設定してもよい。また例えば、検知線設定部３０１は、出力装置２５における表示画面に監視対象領域を撮像した動画像を再生表示し、該表示画面において人の出入りが多い領域を検出し、該領域の付近に検知線を設定してもよい。

＜ステップＳ４０２＞
画像取得部３０２は、Ｉ／Ｆ２６を介して外部から、監視対象領域を撮像した動画像における各フレームの画像（撮像画像）を入力画像として取得する。上記のごとく、動画像における各フレームの画像は、順次出力装置２５における表示画面に表示される。

ここで、動画像とは、例えば、ストリーミング、動画ファイル、フレーム毎に保存された一連の画像ファイル、メディアに保存された動画等である。動画像の取得元は、特定の取得元に限らない。例えば、画像取得部３０２は、ＣＭＯＳセンサやＣＣＤセンサ等の固体撮像素子、あるいはこれらの固体撮像素子を搭載する撮像装置が監視対象領域を撮像した動画像における各フレームの画像を取得しても良い。また例えば、画像取得部３０２は、サーバ装置、ハードディスク、ＳＳＤ等の記憶装置や記録メディアから、監視対象領域を撮像した動画像における各フレームの画像を取得してもよい。

＜ステップＳ４０３＞
パッチ抽出部３０３は、ステップＳ４０１で設定された検知線に基づいて、出力装置２５における表示画面上にパッチ領域を設定し、該表示画面内に表示されている入力画像から該パッチ領域内における部分画像を「パッチ」として抽出する。

ここで、パッチ領域について、図５（ａ）を用いて説明する。図５（ａ）に示す如く、パッチ領域５００は、「人物の位置を検出する領域である検出領域５０１の内部に、検知線を通過した人物の数を計数する領域である計数領域５０２が設けられている」という構成を有する領域である。計数領域５０２の中心位置と検出領域５０１の中心位置とは同じであり、計数領域５０２は、検出領域５０１と相似の縮小領域である。つまり、計数領域５０２は、検出領域５０１よりもサイズ（画素数）が小さく、かつ検出領域５０１に包含されている。以下では、この計数領域５０２と検出領域５０１との関係を「計数領域５０２は検出領域５０１に真に包含される」と称する。

次に、検知線に基づくパッチ領域の設定について、図５（ｂ）を用いて説明する。本実施形態では、パッチ抽出部３０３は、パッチ領域の計数領域により検知線の全体が被覆されるように、かつ計数領域同士が互いに重複しないように、表示画面におけるパッチ領域の位置を決定する。図５（ｂ）では、パッチ領域の計数領域により入力画像５１０上の検知線５１１の全体が被覆されるように、６つのパッチ領域の位置が決定されている。

ここで、パッチ領域の計数領域が検出領域に真に包含されるようにすることでなぜ人物の通過数の計数精度が上がるのかについて、図６を用いて説明する。図６（ａ）は、パッチ領域の全体領域が検出領域および計数領域であり（計数領域と検出領域とが完全に一致している）、このようなパッチ領域を表示画面に設定したケースを示している。図６（ａ）では、検知線６０１の全体が、パッチ領域６０４（＝計数領域）およびパッチ領域６０３（＝計数領域）によって被覆されている。矢印６０２は、ある人物の時刻ｔ１における位置（始点）から該人物の時刻ｔ２における位置（終点）への移動ベクトルを示す。図６（ａ）では矢印６０２は検知線６０１と交差しているため、時刻ｔ１と時刻ｔ２の間にこの人物がちょうど検知線６０１を跨いだところを表している。ここで、矢印６０２の始点（人物の時刻ｔ１における位置）はパッチ領域６０４内に位置しており、矢印６０２の終点（人物の時刻ｔ２における位置）はパッチ領域６０３内に位置している。そのため、パッチ領域ごとに、人物の移動ベクトル推定、人物の追跡を行うと、パッチ領域６０３およびパッチ領域６０４のいずれにおいても、矢印６０２に対応する人物の通過を検知することができない。つまり、図６（ａ）のようなケースの場合、通過数の計数漏れが発生する。

図６（ｂ）は、計数領域が検出領域に真に包含されているパッチ領域を表示画面に設定したケースを示している。図６（ｂ）では、検知線６１１の全体が、パッチ領域６１６（検出領域６１７および計数領域６１８を有する）の計数領域６１８およびパッチ領域６１３（検出領域６１４および計数領域６１５を有する）の計数領域６１５によって被覆されている。矢印６１２は、ある人物の時刻ｔ１における位置（始点）から該人物の時刻ｔ２における位置（終点）への移動ベクトルを示す。図６（ｂ）では矢印６１２は検知線６１１と交差しているため、時刻ｔ１と時刻ｔ２の間にこの人物がちょうど検知線６１１を跨いだところを表している。ここで、矢印６１２の始点（人物の時刻ｔ１における位置）および終点（人物の時刻ｔ２における位置）は何れも、パッチ領域６１３内にもパッチ領域６１６内にも位置している。そのため、パッチ領域ごとに、人物の移動ベクトル推定、人物の追跡を行っても、矢印６１２に対応する人物の通過を検知することができ、通過数の計数漏れは発生しない。

図６（ｂ）におけるパッチ領域６１３を図６（ｃ）に示す。検知線６２１は、上記の検知線６１１のうちパッチ領域６１３の計数領域６１５と重なる部分（線分）である。上記のごとく、矢印６１２の始点および終点はパッチ領域６１３内に位置しているため、パッチ領域６１３内で矢印６１２を特定することができ、その結果、パッチ領域６１３の計数領域６１５内で、矢印６１２は検知線６２１と交差しているか否かを判定することができる。図６（ｃ）では、矢印６１２は検知線６２１と、計数領域６１５内で交差しているため、時刻ｔ１と時刻ｔ２の間に１人の人物が検知線６２１を跨いだと判定できる。

図６（ｂ）におけるパッチ領域６１６を図６（ｄ）に示す。検知線６３１は、上記の検知線６１１のうちパッチ領域６１６の計数領域６１８と重なる部分（線分）である。上記のごとく、矢印６１２の始点および終点はパッチ領域６１６内に位置しているため、パッチ領域６１６内で矢印６１２を特定することができ、その結果、パッチ領域６１６の計数領域６１８内で、矢印６１２は検知線６３１と交差しているか否かを判定することができる。図６（ｄ）では、矢印６１２は検知線６３１と、計数領域６１８内で交差していないため、時刻ｔ１と時刻ｔ２の間に１人の人物が検知線６３１を跨いでいないと判定できる。

図６（ｃ）における計数結果として「通過数＝１」、図６（ｄ）における計数結果として「通過数＝０」、が独立に得られるため、これらの合計である「通過数＝１＋０＝１」が得られ、時刻ｔ１から時刻ｔ２の間に１人分の人物の検知線の通過があったと推定できる。これは真の通過数と等しい。

次に、パッチ領域の計数領域が検出領域に真に包含されるようにすることでなぜ人物の通過数の計数精度が上がるのかについて、別の例を示す図７を用いて説明する。図７（ａ）は、パッチ領域の全体領域が検出領域および計数領域であり（計数領域と検出領域とが完全に一致している）、このようなパッチ領域を表示画面に設定したケースを示している。図７（ａ）では、検知線７０１の全体が、パッチ領域７０５（＝計数領域）およびパッチ領域７０６（＝計数領域）によって被覆されている。矢印７０２、７０３，７０４はそれぞれ、人物Ａ，Ｂ，Ｃの時刻ｔ１における位置（始点）から該人物の時刻ｔ２における位置（終点）への移動ベクトルを示す。図７（ａ）では、矢印７０２は検知線１０１と交差しているため、時刻ｔ１と時刻ｔ２の間に人物Ａが検知線７０１を跨いだところを表している。また図７（ａ）では、矢印７０３は検知線１０１と交差しているため、時刻ｔ１と時刻ｔ２の間に人物Ｂが検知線７０１を跨いだところを表している。また図７（ａ）では、矢印７０４は検知線１０１と交差しているため、時刻ｔ１と時刻ｔ２の間に人物Ｃが検知線７０１を跨いだところを表している。

ここで、矢印７０２の終点（人物Ａの時刻ｔ２における位置）はパッチ領域７０６内に位置しており、矢印７０２の始点（人物Ａの時刻ｔ１における位置）はパッチ領域７０５およびパッチ領域７０６の何れにも属していない。また、矢印７０３の始点（人物Ｂの時刻ｔ１における位置）はパッチ領域７０５内に位置しており、矢印７０３の終点（人物Ｂの時刻ｔ２における位置）はパッチ領域７０５およびパッチ領域７０６の何れにも属していない。また矢印７０４の始点（人物Ｃの時刻ｔ１における位置）および終点（人物Ｃの時刻ｔ２における位置）は何れも、パッチ領域７０５およびパッチ領域７０６の何れにも属していない。

そのため、パッチ領域ごとに、人物の移動ベクトル推定、人物の追跡を行うと、パッチ領域７０５およびパッチ領域７０６のいずれにおいても、矢印７０２，７０３，７０４のそれぞれに対応する人物Ａ，Ｂ，Ｃの通過を検知することができない。つまり、図７（ａ）のようなケースの場合、通過数の計数漏れが発生する（通過数は０人と誤計数される）。

図７（ｂ）は、計数領域が検出領域に真に包含されているパッチ領域を表示画面に設定したケースを示している。図７（ｂ）では、検知線７１１の全体が、パッチ領域７１５（検出領域７１６および計数領域７１７を有する）の計数領域７１７、パッチ領域７１８（検出領域７１９および計数領域７２０を有する）の計数領域７２０、パッチ領域７２１（検出領域７２２および計数領域７２３を有する）の計数領域７２３、によって被覆されている。

図７（ｂ）におけるパッチ領域７１５を図７（ｃ）に示す。検知線７３１は、上記の検知線７１１のうちパッチ領域７１５の計数領域７１７と重なる部分（線分）である。矢印７１３は、ある人物の時刻ｔ１における位置（始点）から該人物の時刻ｔ２における位置（終点）への移動ベクトルを示す。矢印７１４は、ある人物の時刻ｔ１における位置（始点）から該人物の時刻ｔ２における位置（終点）への移動ベクトルを示す。矢印７１３の始点および終点はパッチ領域７１５内に位置しているため、パッチ領域７１５内で矢印７１３を特定することができ、その結果、パッチ領域７１５の計数領域７１７内で、矢印７１３は検知線７３１と交差しているか否かを判定することができる。また、矢印７１４の始点および終点はパッチ領域７１５内に位置しているため、パッチ領域７１５内で矢印７１４を特定することができ、その結果、パッチ領域７１５の計数領域７１７内で、矢印７１４は検知線７３１と交差しているか否かを判定することができる。図７（ｃ）では、矢印７１３は検知線７３１と交差しており、矢印７１４は検知線７３１と交差しているため、時刻ｔ１と時刻ｔ２の間に２人の人物が検知線７３１を跨いだと判定できる。

図７（ｂ）におけるパッチ領域７１８を図７（ｄ）に示す。検知線７３２は、上記の検知線７１１のうちパッチ領域７１８の計数領域７２０と重なる部分（線分）である。パッチ領域７１８からは移動ベクトルは検出されなかったため、時刻ｔ１と時刻ｔ２の間に検知線７３２を跨いだ人物の数は０人と判定できる。

図７（ｂ）におけるパッチ領域７２１を図７（ｅ）に示す。検知線７３３は、上記の検知線７１１のうちパッチ領域７２１の計数領域７２３と重なる部分（線分）である。矢印７１２は、ある人物の時刻ｔ１における位置（始点）から該人物の時刻ｔ２における位置（終点）への移動ベクトルを示す。矢印７１２の始点および終点はパッチ領域７２１内に位置しているため、パッチ領域７２１内で矢印７１２を特定することができ、その結果、パッチ領域７２１の計数領域７２３内で、矢印７１２は検知線７３３と交差しているか否かを判定することができる。図７（ｅ）では、矢印７１２は検知線７３３と交差しているため、時刻ｔ１と時刻ｔ２の間に１人の人物が検知線７３３を跨いだと判定できる。

図７（ｃ）における計数結果として「通過数＝２」、図７（ｄ）における計数結果として「通過数＝０」、図７（ｅ）における計数結果として「通過数＝１」、が独立に得られる。よって、これらの合計である「通過数＝２＋０＋１＝３」が得られ、時刻ｔ１から時刻ｔ２の間に３人分の人物の検知線の通過があったと推定できる。これは真の通過数と等しい。

このように、図６および図７を例にとり説明したように、パッチ領域の計数領域が検出領域に真に包含されるようにすることで、検知線を通過する人物の数の計数漏れを防ぐことができ、その結果、計数精度を上げることができる。

次に、パッチ抽出部３０３が検知線に基づいてパッチ領域の位置を決定する決定方法について説明する。上記のごとく、本実施形態では、パッチ領域における計数領域の中心位置と検出領域の中心位置とは一致しており、かつ計数領域は検出領域と相似の縮小領域である。

まずパッチ抽出部３０３は、パッチ領域における計数領域のサイズを決定する。そのためにパッチ抽出部３０３は、パッチ領域における検出領域のサイズを該パッチ領域における計数領域のサイズで割った比率ｒ１を決定する。

比率ｒ１にはトレードオフが存在する。計数領域を検出領域とほぼ同じ大きさにとったパッチ領域の例を図８（ａ）に示す。パッチ領域８０３は、検出領域８０４と計数領域８０５とを有する。矢印８０２は、その終点が検出領域８０４の外側にあるため、検知線８０１における通過を検知できない。次に、計数領域を図８（ａ）に示した計数領域よりも小さくしたパッチ領域の一例を図８（ｂ）に示す。パッチ領域８１３は、検出領域８１４と計数領域８１５とを有する。計数領域８１５のサイズに対する検出領域８１４のサイズの比率が、計数領域８０５のサイズに対する検出領域８０４のサイズの比率よりも大きい。そのため、矢印８１２の始点および終点の両方が検出領域８１４に含まれ、検知線８１１における通過を検知することができる。

比率ｒ１を大きくするほど、通過の計数漏れを防げるメリットがある。しかしながら、検知線の全体を被覆するために必要なパッチ領域の個数が増えるため、処理量が大きくなるというデメリットがある。

比率ｒ１を決める方法として、人物が時刻ｔ１から時刻ｔ２の間に動く距離に基づいて求める方法がある。人物が最大速度ｖで動くと仮定すると、時刻ｔ１から時刻ｔ２の間に人物が実世界で動く最大移動量が求まる。この実世界での最大移動量を、表示画面上での画素数（最大移動画素数）に換算する。検出領域の境界と計数領域との境界との間の画素数が、この最大移動画素数よりも大きくなるように比率ｒ１を決定することで、最大速度ｖ以下で動く人物を漏れなく計数できる。

比率ｒ１を決めるもう一つの方法として、学習期間における統計値に基づく方法がある。ある学習期間を設け、その学習期間中に推定部３０４により推定された人物の移動ベクトルを収集する。そして、収集した移動ベクトル群から、大きさ（移動ベクトルのサイズ）が上位ｐ％（例えばｐ＝５）に入る移動ベクトルを削除し、残った移動ベクトルの中でもっとも大きいサイズの移動ベクトルの長さをｌとする。そして、検出領域の境界と計数領域との境界との間の画素数がｌとなるように比率ｒ１を決定することで、移動ベクトルの少なくとも（１００−ｐ）％を漏れなく計数できる。

このように、人物の動く速度に基づいて比率ｒ１を決定することで、大多数の移動ベクトルを漏れなく計数しつつ、検知線の全体を被覆するために必要なパッチ領域の個数を必要最小限にできる。なお、比率ｒ１を決定するための方法には様々な方法を適用することができ、上記のような方法に限らない。

そしてパッチ抽出部３０３は、比率ｒ１を決定すると、パッチ領域における計数領域の縦横サイズを「パッチ領域における検出領域の縦横サイズをｒ１で割った縦横サイズ」として求める。パッチ領域における計数領域のサイズが確定すると、以降で用いるパッチ領域が「検出領域の内部に、検出領域の縦横サイズをｒ１で割った縦横サイズを有する計数領域が設けられている」という構成を有するパッチ領域として確定する。

次に、パッチ抽出部３０３は、検知線のすべての部分がパッチ領域における計数領域によって被覆されるように表示画面上に設定される１個以上のパッチ領域の位置を決定する。

出力装置２５の表示画面におけるパッチ領域の位置を決定するための方法の一例として、パッチ領域における検出領域のサイズと、パッチ領域内に映る人物のサイズと、の比率がほぼ一定となるように、それぞれのパッチ領域の位置を決定する方法がある。この方法の採用により、各パッチ領域内に映る人物のサイズのばらつきが小さくなるので、後述する移動ベクトル推定の精度を上げることができる。

この方法では、パッチ領域の位置を、検知線の一方の端から順に決めていく。検知線と、表示画面のＸ軸（水平方向の軸）の正方向と、がなす角をθと定義する。図９（ａ）に示す如く、θが４５度以上１３５度以下の場合は、検知線の下からパッチ領域の位置を決める。図９（ｂ）に示す如く、θが０度以上４５度未満の場合は、検知線の左からパッチ領域の位置を決める。図９（ｃ）に示す如く、θが１３５度より大きく１８０度未満の場合は、検知線の右からパッチ領域の位置を決める。

検出領域のサイズを計数領域のサイズで割った比率ｒ１が固定、かつ検出領域のサイズを表示画面内の人物のサイズで割った比率ｒ２が固定、であるとすると、計数領域のサイズを表示画面内の人物のサイズで割った比率はｒ２／ｒ１となり、固定となる。よって、検知線の端から順に、以下の条件１〜３をすべて満たすようにパッチ領域の位置を決めることを繰り返すことで、すべてのパッチ領域の位置を決定できる。

条件１ … 検知線においてまだ被覆されていない残りの線分の端点が、ちょうどパッチ領域の計数領域の境界に接する
条件２ … パッチ領域における計数領域の中心を、検知線または検知線を延長して得られる直線が通る
条件３ … パッチ領域における計数領域のサイズを計数領域に映る人物の大きさで割った比率がほぼｒ２／ｒ１に等しい（略一定）
計数領域に映る人物のサイズは、事前に人手でヒントを与えたり、事前に学習期間を設けて学習期間中に検出された人物から統計的に求めたりすることで推定できる。なお、パッチ領域の位置を決定する方法は上記の方法に限らず、例えば、他の方法として、各パッチ領域が表示画面上のどこに位置する場合でも固定の画素数を含む領域とするように、それぞれのパッチ領域の位置を決定するようにしてもよい。また、例えば、パッチ領域における計数領域同士が一部重なるようにそれぞれのパッチ領域の位置を決定するようにしてもよい。この場合は、後述するステップＳ４０７において各パッチ領域で得られた通過数の和をとるときに多重計数とならないように、計数領域同士が重なっている部分に関してはその平均をとった値を通過数とするなどの対応を行う必要がある。

そしてパッチ抽出部３０３は、検知線の全てが計数領域によって被覆されるようにパッチ領域の位置を決定すると、該決定した位置にパッチ領域を設定し、表示画面に表示されている入力画像において該パッチ領域内の部分画像をパッチとして抽出する。そしてパッチ抽出部３０３は、抽出したそれぞれのパッチを適当なサイズ（例えば、推定部３０４が求める固定サイズ）にリサイズする。

＜ステップＳ４０４＞
推定部３０４は、ステップＳ４０３でパッチ抽出部３０３が取得したそれぞれのパッチについて（独立に）、該パッチ内（検出領域内）における人物の位置に基づいて該人物の移動ベクトルを推定する。画像内における人物の移動ベクトルの推定には、種々の方法を用いることができる。図１０を用いてその一例を説明する。

図１０に示した方法では、推定部３０４はパッチから各時刻ｔｉにおける人物位置のリストを推定する。人物位置は、例えば人物の頭部中心や胴体中心など、人物の中のある特定の部位の位置として定義される。例えば、推定部３０４は、時刻ｔ１におけるフレームの入力画像から抽出されたパッチ１００１を入力として、時刻ｔ１におけるパッチ１００１内の人物位置（矩形１００２参照）のリストを推定する。リストにおける人物位置を模式的に示す矩形１００２内におけるマーカ１００８は、パッチ１００１における人物位置を示すマーカである。また、推定部３０４は、時刻ｔ２におけるフレームの入力画像から抽出されたパッチ１００３を入力として、時刻ｔ２におけるパッチ１００３内の人物位置（矩形１００４参照）のリストを推定する。リストにおける人物位置を模式的に示す矩形１００４内におけるマーカ１００９は、パッチ１００３における人物位置を示すマーカである。次いで、推定部３０４は、時刻ｔ（ｉ−１）に対応する人物位置のリストと、時刻ｔｉに対応する人物位置のリストと、の最適マッチングを行う。この最適マッチングの結果対応付いた人物の時刻ｔ（ｉ−１）における人物位置を始点、時刻ｔｉにおける人物位置を終点、とする「時刻ｔｉにおける移動ベクトル」を得る。例えば、推定部３０４は、時刻ｔ１に対応する人物位置のリスト（矩形１００２内のマーカ１００８の位置）と、時刻ｔ２に対応する人物位置のリスト（矩形１００４内のマーカ１００９の位置）と、を入力として、時刻ｔ２における移動ベクトル１０１１のリスト（リストにおける移動ベクトルを模式的に示す矩形１００５参照）を得る。

以下、各処理の詳細を説明する。人物位置の推定の詳細を説明する。人物位置の推定には、種々の手法を用いることができる。例えば、人物位置の推定に、人の特定部位の位置を特定する物体検出器を用いることができる。物体検出器は、物体の位置を矩形形式やマスク画像形式で出力する。物体検出器は、ディープラーニングなどの機械学習手法を用いて学習できる。出力結果の重心などの代表点を人物の位置とできる。

また、人物位置の推定に、密度分布を経由する方法を用いることができる。密度分布とは、ある入力画像において、人物が存在すると推定された箇所を表現したものである。密度分布としては、例えば、通過数計数の対象となる人物の大きさに応じた一様分布であってもよいし、人物が存在する可能性が高い位置に極大を持つような任意の分布であってもよい。後者の例としては、例えば、ガウス分布が挙げられる。密度分布を推定する密度分布推定器は、ディープラーニングなどの機械学習手法を用いて学習できる。さらに、密度分布推定器が推定する密度分布から、人物の位置を推定する人物位置推定器を、ディープラーニングなどの機械学習手法を用いて学習できる。つまり、密度分布推定器を用いて入力画像から密度分布を推定し、人物位置推定器を用いて密度分布から人物位置を推定できる。

図１０では、時刻ｔｉにおける人物位置の推定には、時刻ｔｉにおけるパッチを入力とする方法を取った。しかし、人物位置の推定には、複数の時刻におけるパッチを入力としたり、複数の時刻における人物位置を推定したりする推定器を用いてもよい。例えば、時刻ｔｉにおける人物位置を推定するために、時刻ｔ（ｉ−１）におけるパッチと時刻ｔｉにおけるパッチの両方を入力とし、時刻ｔ（ｉ−１）における人物の位置と時刻ｔｉにおける人物の位置とを出力とする物体検出器を用いてもよい。

時刻ｔ（ｉ−１）に対応する人物位置のリストと、時刻ｔｉに対応する人物位置のリストと、の最適マッチングの詳細を説明する。人物位置のマッチングでは、マッチングにおけるコストの総和をなるべく小さくすることが好ましい。このようなマッチングを行うためのアルゴリズムとしては、例えば、ハンガリアンマッチング、線形計画法、ニューラルネットワーク等が挙げられる。マッチングにおけるコストとして、例えば、マッチングで対応づいた人物位置のペアの距離や局所画像特徴量の差に基づくコストを定義できる。コストの総和が最小となるようなマッチングをとることで、全体最適を考慮した最適マッチングができる。

この最適マッチングの結果として対応付いた人物の時刻ｔ（ｉ−１）の人物位置を始点、時刻ｔｉの人物位置を終点、とすることで、該始点から該終点に向かうベクトルを、時刻ｔｉにおける該人物の移動ベクトルとして得る。

＜ステップＳ４０５＞
座標追跡部３０５は、パッチ抽出部３０３が取得したそれぞれのパッチについて（独立に）推定部３０４で推定した人物の移動ベクトルに基づき、該人物の位置を追跡する。

人物の位置を追跡した結果を軌跡と呼ぶ。軌跡は、移動ベクトルをつなぎ合わせることで生成される。例えば、「時刻ｔ（ｉ−１）の人物位置を始点、時刻ｔｉの人物位置を終点、とする時刻ｔｉにおける移動ベクトルＡ」と、「時刻ｔｉの人物位置を始点、時刻ｔ（ｉ＋１）の人物位置を終点、とする時刻ｔ（ｉ＋１）における移動ベクトルＢ」を推定したとする。移動ベクトルＡの終点と移動ベクトルＢの始点とが同一の位置（人物位置）であれば、座標追跡部３０５は、移動ベクトルＡと移動ベクトルＢとを繋いだものを軌跡とする。軌跡には軌跡同士を区別するためのＩＤ（例えば、それぞれの人物に固有のＩＤ）が付与される。

図１０を例にとり、座標追跡部３０５の動作を説明する。時刻ｔ２における移動ベクトル１０１１は、時刻ｔ１における人物位置（マーカ１００８）と時刻ｔ２における人物位置（マーカ１００９）とがマッチングされた結果から得られた移動ベクトルである。時刻ｔ３における移動ベクトル１０１２は、時刻ｔ２における人物位置（マーカ１００９）と時刻ｔ３における人物位置（マーカ１０１０）とがマッチングされた結果から得られた移動ベクトルである。時刻ｔ２における移動ベクトル１０１１の終点と時刻ｔ３における移動ベクトル１０１２の始点は同じ人物位置（マーカ１００９）であるため、これらの移動ベクトルから、軌跡１０１３が生成される。

＜ステップＳ４０６＞
通過数計数部３０６は、パッチ抽出部３０３が取得したそれぞれのパッチについて（独立に）推定部３０４で推定した人物の移動ベクトルもしくは座標追跡部３０５で計算した人物の軌跡に基づき、検知線を通過した人物の数（通過数）を計数する。

通過数の計数は、移動ベクトルを使う場合であっても、軌跡を使う場合であっても、ほぼ同様に求められる。通過数の計数は、人物の軌跡または移動ベクトルと、検知線と、の交点が、パッチ領域における計数領域内に存在するかを判定することで求められる。例えば図６（ｃ）で表されたパッチ領域６１３において、矢印６１２と検知線６２１との交点は計数領域６１５内に存在するため、１人分の通過があったと判定される。

このように、通過数計数部３０６は、それぞれのパッチ領域について、該パッチ領域の計数領域内における「移動ベクトルもしくは軌跡と、検知線と、の交点」の数を計数する。つまり通過数計数部３０６は、計数領域の内側における「移動ベクトルもしくは軌跡と、検知線と、の交点」のみを計数し、計数領域の外側における「移動ベクトルもしくは軌跡と、検知線と、の交点」については計数しない。

なお、通過数計数部３０６は、軌跡または移動ベクトルが検知線に対してどちら向きに通過をしたかを判定することで、通過の向きごとに通過数を計数することもできる。軌跡または移動ベクトルと検知線との交差判定は、例えば、線分と線分の交差判定等の幾何学的な方法で行うことが可能である。

軌跡を用いた通過数の計数を行う場合は、同一人物が繰り返し検知線をまたぐような動きをした場合に、通過数を多重に計数しないよう制限を加えることも可能である。これを実現するには、軌跡に付与されたＩＤごとに、検知線を通過した方向と回数を記憶しておけばよい。

＜ステップＳ４０７＞
通過数計数部３０６は、ステップＳ４０６においてパッチ領域ごとに計数した通過数の総和を、「検知線全体における人物の通過数」として求める。なお、通過数計数部３０６は、検知線に対する通過の向きごとに通過数を計数することもできる。

なお、上記のステップＳ４０４〜Ｓ４０６の処理は何れも、パッチごとに独立に実行できる処理であるため、ステップＳ４０４〜Ｓ４０６の一連の処理を、パッチごとに並列に実行することで、高速に通過数の計数を行うことができる。

このように、本実施形態によれば、与えられた検知線に基づき、パッチ領域の位置を動的に決定するようにした。このパッチ領域は、特定物体の推論を行う対象である検出領域と計数の対象となる計数領域の２つから構成される。検知線のすべての部分が、いずれかのパッチ領域の計数領域により被覆されるようにパッチ領域の位置を決定することで、検知線全体の通過数のずれを小さく保ったまま、並列化による高速処理が可能となる。

なお、上記のごとく、本実施形態では、通過数を計数する対象であるオブジェクトが人物である例について説明したが、このようなオブジェクトに適用可能な対象は人物に限らず、数を数えられる任意の物体が適用可能である。例えば、このようなオブジェクトには、自転車やバイク等の乗り物、車やトラック等の車両、家畜等の動物、細胞、微生物が挙げられる。

［第２の実施形態］
第１の実施形態では、検知線全体における通過数を計数するための構成について説明した。このように計数した通過数は、出力装置２５の表示画面に表示しても良いし、Ｉ／Ｆ２６を介して外部装置に対して送信してもよい。通過数を出力装置２５の表示画面に表示する場合、該通過数は文字列（通過数を表す数字）として表示しても良いし、通過数の増減に応じて大きさ、長さ、色などが変更されるアイコンとして表示してもよい。つまり、計数した通過数の出力先や出力形態は特定の出力先や出力形態に限らない。

また、画像処理装置２００は、動画像の供給元とは別個の装置であっても良いし、該供給元と一体化された装置であってもよい。後者の場合、例えば、監視対象領域を撮像する撮像装置に画像処理装置２００を組み込み、該撮像装置が自身で撮像した動画像について検知線を通過したオブジェクトの数を計数するようにしてもよい。

なお、上記の説明において使用した数値、処理タイミング、処理順などは、具体的な説明を行うために一例として挙げたものであり、これらの数値、処理タイミング、処理順などに限定することを意図したものではない。

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

３０１：検知線設定部３０２：画像取得部３０３：パッチ抽出部３０４：推定部３０５：座標追跡部３０６：通過数計数部

Claims

表示画面内に設定されている検知線に基づいて、該表示画面内にパッチ領域を設定する設定手段と、
前記表示画面内を移動しているオブジェクトの前記パッチ領域内における移動ベクトルもしくは該移動ベクトルに基づく軌跡と、該パッチ領域内における前記検知線と、の交点を計数する計数手段と
を備えることを特徴とする画像処理装置。
前記パッチ領域は、オブジェクトの位置を検出するための領域である検出領域と、該検出領域に包含されかつ前記交点を計数する領域である計数領域と、を有し、
前記計数手段は、前記表示画面内を移動しているオブジェクトの前記検出領域内における移動ベクトルもしくは該移動ベクトルに基づく軌跡と、該検出領域内における前記検知線と、の交点のうち前記計数領域内における交点を計数する
ことを特徴とする請求項１に記載の画像処理装置。
前記設定手段は、前記表示画面内におけるオブジェクトの速度に応じて前記パッチ領域における前記計数領域のサイズを決定することを特徴とする請求項２に記載の画像処理装置。
前記設定手段は、それぞれのパッチ領域における計数領域が重複しないように、前記表示画面における該それぞれのパッチ領域の位置を決定することを特徴とする請求項２または３に記載の画像処理装置。
前記設定手段は、前記検出領域のサイズと前記パッチ領域内に映るオブジェクトのサイズとの比率が略一定となるように、前記表示画面における前記パッチ領域の位置を決定することを特徴とする請求項２または３に記載の画像処理装置。
前記計数手段は、パッチ領域ごとに並列に前記計数を行うことを特徴とする請求項１ないし５の何れか１項に記載の画像処理装置。
前記計数手段は、パッチ領域ごとに計数した交点の数の合計を、前記検知線を通過したオブジェクトの数として求めることを特徴とする請求項１ないし６の何れか１項に記載の画像処理装置。
更に、
前記計数手段が求めた前記合計を出力する出力手段を備えることを特徴とする請求項７に記載の画像処理装置。
更に、
監視対象領域を撮像する撮像装置によって撮像された動画像を取得する取得手段を備え、
前記動画像における各フレームの画像は前記表示画面に表示される
ことを特徴とする請求項１ないし８の何れか１項に記載の画像処理装置。
前記画像処理装置は前記撮像装置と一体化されていることを特徴とする請求項９に記載の画像処理装置。
画像処理装置が行う画像処理方法であって、
前記画像処理装置の設定手段が、表示画面内に設定されている検知線に基づいて、該表示画面内にパッチ領域を設定する設定工程と、
前記画像処理装置の計数手段が、前記表示画面内を移動しているオブジェクトの前記パッチ領域内における移動ベクトルもしくは該移動ベクトルに基づく軌跡と、該パッチ領域内における前記検知線と、の交点を計数する計数工程と
を備えることを特徴とする画像処理方法。
コンピュータを、請求項１ないし１０の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。