JP2019061497A - カウント装置及びカウントプログラム - Google Patents

Abstract

【課題】映像データに基づき対象領域に存在する物体の数を精度よくカウントすることを目的とする。【解決手段】同定部２４は、映像データを構成する異なるフレーム画像から切り出され、かつ、対象領域に含まれると判定された物体画像間で、同一の物体を示す物体画像を特定する。物体特定部２５は、同一の物体を示すと判定された物体画像が１つのグループに属するようにグループ分けして、属する物体画像の数が対象基準数以上のグループを対象領域に存在する物体を示すグループとして特定する。カウント部２６は、グループの数を、対象領域に存在する物体の数としてカウントする。【選択図】図１

Description

この発明は、映像データに基づき対象領域に存在する物体の数をカウントする技術に関する。

店舗の入口を撮影した映像データに基づき、店舗に入った人数をカウントするといったことが行われている。
特許文献１には、映像データ内に境界線を設定して、映像データから切り出された人を追跡して得られた動線が境界線と交差した場合に人数をカウントすることが記載されている。

国際公開２０１２／１３２４３７号

特許文献１に記載された技術では、オクルージョンにより境界線付近で人の追跡が途切れてしまった場合と、境界線付近を人が行き来しているような場合と等には、正しく人数をカウントできない可能性がある。
この発明は、映像データに基づき対象領域に存在する物体の数を精度よくカウントすることを目的とする。

この発明に係るカウント装置は、
映像データを構成する複数のフレーム画像それぞれから対象とする物体を含む領域の画像を物体画像として切り出す切出部と、
前記切出部によって切出された前記物体画像が、前記映像データにおける対象領域に含まれるか否かを判定する領域判定部と、
前記切出部によって前記映像データを構成する異なるフレーム画像から切り出され、かつ、前記領域判定部によって前記物体画像が前記対象領域に含まれると判定された物体画像間で、同一の物体を示す物体画像を特定する同定部と、
前記同定部によって同一の物体を示すと判定された物体画像が１つのグループに属するようにグループ分けして、属する物体画像の数が対象基準数以上のグループを前記対象領域に存在する物体を示すグループとして特定する物体特定部と、
前記物体特定部によって特定された物体を示すグループの数を、前記対象領域に存在する物体の数としてカウントするカウント部と
を備える。

前記映像データには、前記対象領域として複数の部分領域が含まれ、
前記物体特定部は、
同一の物体を示すと判定され、かつ、同一の部分領域に含まれる物体画像が１つのグループに属するようにグループ分けして、各部分領域を対象として、属する物体画像の数が対象基準数以上のグループを対象の部分領域に存在する物体を示すグループとして特定する領域特定部と、
前記領域特定部によって特定されたグループのうち、同一の物体を示すと判定された物体画像のグループであって、異なる部分領域に存在する物体を示すグループを、部分領域間を移動した物体を示す１つの移動グループとして特定する移動特定部と
を備え、
前記カウント部は、前記移動特定部によって特定された移動グループの数を、部分領域間を移動した物体の数としてカウントする。

前記移動特定部は、グループに属する物体画像が切り出されたフレーム画像の前記映像データにおける前後関係から、前記物体の部分領域間の移動方向を特定し、
前記カウント部は、前記移動方向毎に移動した物体の数としてカウントする。

前記物体特定部は、各グループを対象として、対象のグループに属する各物体画像から物体の属性を特定し、属性基準数以上の物体画像から特定された属性を、対象のグループが示す物体の属性として特定し、
前記カウント部は、前記物体特定部によって特定された属性毎のグループの数を、属性毎の物体の数としてカウントする。

前記同定部は、各物体画像を対象として、対象の物体画像と基準画像との差分量を計算して、異なるフレーム画像から切り出され、かつ、前記領域判定部によって前記物体画像が前記対象領域に含まれると判定された物体画像間で前記差分量を比較することにより、同一の物体を示す物体画像を特定する。

前記同定部は、各物体画像を対象として、対象の物体画像と、複数の基準画像それぞれとの差分量を計算して、前記物体画像間で各基準画像について計算された差分量を比較することにより、同一の物体を示す物体画像を特定する。

前記切出部は、異なる位置から前記対象領域を含む領域を撮影する複数の撮影装置によって得られた複数の映像データそれぞれを構成する複数のフレーム画像それぞれから物体画像を切り出す。

この発明に係るカウントプログラムは、
映像データを構成する複数のフレーム画像それぞれから対象とする物体を含む領域の画像を物体画像として切り出す切出処理と、
前記切出処理によって切出された前記物体画像が、前記映像データにおける対象領域に含まれるか否かを判定する領域判定処理と、
前記切出処理によって前記映像データを構成する異なるフレーム画像から切り出され、かつ、前記領域判定処理によって前記物体画像が前記対象領域に含まれると判定された物体画像間で、同一の物体を示す物体画像を特定する同定処理と、
前記同定処理によって同一の物体を示すと判定された物体画像が１つのグループに属するようにグループ分けして、属する物体画像の数が対象基準数以上のグループを前記対象領域に存在する物体を示すグループとして特定する物体特定処理と、
前記物体特定処理によって特定された物体を示すグループの数を、前記対象領域に存在する物体の数としてカウントするカウント処理と
をコンピュータに実行させる。

この発明では、同一の物体を示すと判定された物体画像が１つのグループに属するようにグループ分けして、属する物体画像の数が対象基準数以上のグループを前記対象領域に存在する物体を示すグループとして特定し、特定された物体を示すグループの数を、物体の数としてカウントする。
これにより、オクルージョンにより一時的に認識されなくなった物体についても適切にカウントできるようにすることが可能である。その結果、物体の数を精度よくカウントすることができる。

実施の形態１に係るカウント装置１０の構成図。 実施の形態１に係るカウント装置１０の動作を示すフローチャート。 実施の形態１に係る映像データ３０の説明図。 実施の形態１に係る対象領域３３の説明図。 実施の形態１に係るフレーム画像３１の例を示す図。 実施の形態１に係るグループの例を示す図。 変形例１に係る撮影装置４０の配置を示す図。 変形例３に係るカウント装置１０の構成図。 実施の形態２に係るカウント装置１０の構成図。 実施の形態２に係るカウント装置１０の動作を示すフローチャート。 実施の形態２に係る部分領域３４の説明図。 実施の形態２に係るフレーム画像３１の例を示す図。 実施の形態２に係るグループの例を示す図。 実施の形態２に係る部分領域３４の設定例を示す図。 実施の形態２に係る物体が部分領域３４間を行き来した場合の動作の説明図。 実施の形態３に係るカウント装置１０の動作を示すフローチャート。 実施の形態４に係る同定処理を示すフローチャート。 実施の形態４に係る同定処理の動作例の説明図。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係るカウント装置１０の構成を説明する。
カウント装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ
Ｄｉｓｋ）といった可搬記録媒体であってもよい。

通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。
カウント装置１０は、通信インタフェース１４を介して、撮影装置４０と、表示装置４１に接続されている。表示装置４１は、タッチ式の入力機能を有するタッチパネルである。

カウント装置１０は、機能構成要素として、映像取得部２１と、切出部２２と、領域判定部２３と、同定部２４と、物体特定部２５と、カウント部２６とを備える。カウント装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、カウント装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、カウント装置１０の各機能構成要素の機能が実現される。

図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。

＊＊＊動作の説明＊＊＊
図２から図６を参照して、実施の形態１に係るカウント装置１０の動作を説明する。
実施の形態１に係るカウント装置１０の動作は、実施の形態１に係るカウント方法に相当する。また、実施の形態１に係るカウント装置１０の動作は、実施の形態１に係るカウントプログラムの処理に相当する。

（図２のステップＳ１１：映像取得処理）
映像取得部２１は、映像データ３０を取得する。
具体的には、映像取得部２１は、撮影装置４０によって撮影された映像データ３０を、通信インタフェース１４を介して取得する。映像取得部２１は、取得された映像データ３０をメモリ１２に書き込む。

（図２のステップＳ１２：切出処理）
切出部２２は、ステップＳ１１で取得された映像データ３０を構成する複数のフレーム画像３１それぞれから対象とする物体を含む領域の画像を物体画像３２として切り出す。図３に示すように、映像データ３０は複数のフレーム画像３１から構成される。各フレーム画像３１には、対象とする物体の画像が含まれている可能性がある。以下では、対象とする物体は人であるとする。但し、対象とする物体は、人に限らず、車両及び動物といった他の種別であってもよい。
具体的には、切出部２２は、メモリ１２から映像データ３０を読み出す。切出部２２は、読み出された映像データ３０を構成する複数のフレーム画像３１それぞれを対象として、画像局所特徴量を用いた統計的な手法等により、対象の物体である人がいる矩形領域を物体画像３２として切り出す。画像局所特徴量は、具体例としては、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）又はＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）である。切出部２２は、フレーム画像３１に複数の人がいる場合には、各人がいる矩形領域を物体画像３２として切出す。切出部２２は、切り出された物体画像３２をメモリ１２に書き込む。

（図２のステップＳ１３：領域判定処理）
領域判定部２３は、ステップＳ１２で切出された物体画像３２が、映像データ３０に含まれる対象領域３３に含まれるか否かを判定する。図４に示すように、対象領域３３は、撮影装置４０の撮影領域内の領域であり、事前にカウント装置１０の利用者によって設定された領域である。
具体的には、領域判定部２３は、メモリ１２から物体画像３２を読み出す。領域判定部２３は、読み出された各物体画像３２を順に対象として、対象の物体画像３２が対象領域３３に含まれるか否かを判定する。例えば、領域判定部２３は、物体画像３２の下端中央部の画像中における座標を、画像中における人がいる座標として特定する。そして、領域判定部２３は、特定された座標が対象領域３３に含まれるか否かを判定する。領域判定部２３は、判定結果を領域判定結果としてメモリ１２に書き込む。

（図２のステップＳ１４：同定処理）
同定部２４は、ステップＳ１２で映像データ３０を構成する異なるフレーム画像３１から切り出され、かつ、ステップＳ１３で物体画像３２が対象領域３３に含まれると判定された物体画像３２間で、同一の物体を示す物体画像３２を特定する。
具体的には、同定部２４は、物体画像３２及び領域判定結果をメモリ１２から読み出す。同定部２４は、あるフレーム画像３１から切り出され、対象領域３３に含まれると判定された物体画像３２を第１画像として選択し、あるフレーム画像３１の１つ前のフレーム画像３１から切り出され、対象領域３３に含まれると判定された物体画像３２を第２画像として選択する。同定部２４は、選択された第１画像と第２画像とを比較して、第１画像と第２画像とが同一の人を示すか否かを判定する。例えば、同定部２４は、第１画像と第２画像との画像局所特徴量の近さを計算して、近さが基準値以内であれば第１画像と第２画像とが同一の人を示すと判定する。同定部２４は、あるフレーム画像３１から切り出された物体画像３２と、１つ前のフレーム画像３１から切り出された物体画像３２との全ての組合せについて、比較を行う。同定部２４は、判定結果を同一性判定結果としてメモリ１２に書き込む。
なお、ここでは、あるフレーム画像３１と１つ前のフレーム画像３１との間で比較を行った。しかし、あるフレーム画像３１と１つ前から２つ以上前のフレーム画像３１それぞれとの間で比較を行うようにしてもよい。何フレーム前のフレーム画像３１とまで比較を行うかは、望むカウント精度と、計算量との関係から決定される。

（図２のステップＳ１５：物体特定処理）
物体特定部２５は、メモリ１２から同一性判定結果を読み出す。物体特定部２５は、同一性判定結果を参照して、ステップＳ１４で同一の物体を示すと判定された物体画像３２が１つのグループに属するようにグループ分けする。そして、物体特定部２５は、属する物体画像３２の数が対象基準数以上のグループを対象領域３３に存在する物体を示すグループとして特定する。物体特定部２５は、特定されたグループをメモリ１２に書き込む。
対象基準数は、事前にカウント装置１０の利用者によって定められた値である。対象基準数は、小さくすると、実際には存在しなかった人がカウントされる可能性が高くなり、大きくすると、実際に存在する人がカウントされない可能性が高くなる。したがって、対象基準数は、実証実験を行う等して適切な値が定められる。

（図２のステップＳ１６：カウント処理）
カウント部２６は、ステップＳ１５で特定された物体を示すグループの数を、対象領域３３に存在する物体の数としてカウントする。
具体的には、カウント部２６は、メモリ１２からステップＳ１５で書き込まれたグループを読み出す。そして、カウント部２６は、読み出されたグループの数を、対象領域３３に存在する物体の数としてカウントする。

つまり、ステップＳ１５では、対象基準数以上、対象領域３３にいると判定された人だけが、対象領域３３にいるものとして扱われる。そして、ステップＳ１６では、対象基準数以上、対象領域３３にいると判定された人だけがカウントされる。

図５及び図６を参照して具体例を説明する。
図５では、映像データ３０がフレーム画像３１Ａ〜フレーム画像３１Ｃの３つのフレーム画像３１で構成されるとする。また、ここでは、対象基準数は３であるとする。
この場合に、フレーム画像３１Ａでは物体画像３２Ａと物体画像３２Ｂとが対象領域３３に含まれる。フレーム画像３１Ｂでは、物体画像３２Ｃと物体画像３２Ｄとが対象領域３３に含まれる。フレーム画像３１Ｃでは、物体画像３２Ｆが対象領域３３に含まれる。ここで、物体画像３２Ａと物体画像３２Ｃと物体画像３２Ｅとが同一の人を示し、物体画像３２Ｂと物体画像３２Ｄと物体画像３２Ｆとが同一の人を示すとする。そうすると、図６に示すように、ステップＳ１５で、物体画像３２Ａと物体画像３２Ｃとが同じグループ１に分類され、物体画像３２Ｂと物体画像３２Ｄと物体画像３２Ｅとが同じグループ２に分類される。
その結果、グループ２は、属する物体画像３２の数が対象基準数である３以上であるため、対象領域３３に存在する物体を示すグループとして特定される。一方、グループ１は、属する物体画像３２の数が対象基準数である３未満であるため、対象領域３３に存在する物体を示すグループとして特定されない。したがって、ステップＳ１６で、グループ２だけがカウントされ、結果は１人になる。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係るカウント装置１０は、同一の物体を示すと判定された物体画像３２が１つのグループに属するようにグループ分けする。そして、カウント装置１０は、属する物体画像３２の数が対象基準数以上のグループを対象領域３３に存在する物体を示すグループとして特定し、特定された物体を示すグループの数を、物体の数としてカウントする。
これにより、精度よく対象領域３３に存在する物体の数をカウントすることが可能である。

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、１つの撮影装置４０で撮影された映像データ３０に基づき物体の数をカウントした。しかし、図７に示すように、異なる位置から対象領域３３を含む領域を撮影する複数の撮影装置４０で撮影された複数の映像データ３０に基づき物体の数をカウントしてもよい。図７に示すように同じ場所を撮影するとき、撮影装置４０と撮影場所との位置関係で、映像データ３０内の対象領域３３は異なる位置に設定される。具体的には、図７において、撮影される場所における破線で示された領域が各撮影装置４０で撮影される映像データ３０における対象領域３３になる。このとき、撮影装置４０Ａと撮影装置４０Ｂとの位置が異なるため、撮影装置４０Ａで撮影された映像データ３０に含まれる対象領域３３の映像データ３０における位置と、撮影装置４０Ｂで撮影された映像データ３０に含まれる対象領域３３の映像データ３０における位置とは、異なる位置になる。
この場合、図２のステップＳ１１で映像取得部２１は、複数の撮影装置４０で撮影された複数の映像データ３０を取得する。そして、図２のステップＳ１２で切出部２２は、複数の映像データ３０それぞれを構成する複数のフレーム画像３１それぞれから物体画像３２を切り出し、ステップＳ１３でそれぞれ映像データ３０の対象領域３３に含まれるかどうかを判定する。ステップＳ１４以降の処理は実施の形態１と同じである。
複数の撮影装置４０で撮影された複数の映像データ３０を用いることにより、よりカウントの精度を高くすることが可能である。

＜変形例２＞
実施の形態１では、対象領域３３は、カウント装置１０の利用者によって事前に設定されていた。しかし、利用者が映像データ３０を表示装置４１に表示し、利用者のタッチによる領域設定（マーキング）により対象領域３３を設定してもよい。また対象領域３３としたい実際の場所にパイロンのような特徴的な物体を複数配置し、それらの位置関係から自動的に対象領域３３を設定してもよい。

＜変形例３＞
実施の形態１では、同定処理を行った上で、数をカウントした。しかし、映像データに含まれる物体の数が１つだけで、同定処理を行わなくても、同一の物体であることが明らかな場合等には、同定処理を行わなくてもよい。この場合には、各フレームデータ３１に含まれる物体は同一であるとの前提で処理をすればよい。

＜変形例４＞
実施の形態１では、同定処理を行うときに、あるフレーム画像３１と１つ以上前のフレーム画像３１との比較により行った。しかし、既に撮影され録画されている映像データ３０に対して同定処理を行うときは、あるフレーム画像３１に対して１つ以上後のフレーム画像３１との比較により同定を行うこともできる。

＜変形例５＞
実施の形態１では、領域判定処理を行った後、同定処理を行った。しかし、同定処理を行った後、領域判定処理を行うこともできる。

＜変形例６＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例３として、各機能構成要素はハードウェアで実現されてもよい。この変形例３について、実施の形態１と異なる点を説明する。

図８を参照して、変形例３に係るカウント装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、カウント装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。

電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。

＜変形例４＞
変形例４として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。

実施の形態２．
実施の形態２は、ある領域から他の領域へ移動した物体の数をカウントする点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。

＊＊＊構成の説明＊＊＊
図９を参照して、実施の形態２に係るカウント装置１０の構成を説明する。
カウント装置１０は、物体特定部２５が領域特定部２５１と移動特定部２５２とを備える点が、図１に示すカウント装置１０と異なる。

＊＊＊動作の説明＊＊＊
図１０から図１３を参照して、実施の形態２に係るカウント装置１０の動作を説明する。
実施の形態２に係るカウント装置１０の動作は、実施の形態２に係るカウント方法に相当する。また、実施の形態２に係るカウント装置１０の動作は、実施の形態２に係るカウントプログラムの処理に相当する。

図１０のステップＳ２１からステップＳ２４の処理は、図２のステップＳ１１からステップＳ１４の処理と同じである。
実施の形態２では、図１１に示すように、映像データ３０には、対象領域３３として複数の部分領域３４が含まれる。

（図１０のステップＳ２５：領域特定処理）
領域特定部２５１は、メモリ１２から同一性判定結果を読み出す。物体特定部２５は、同一性判定結果を参照して、ステップＳ２４で同一の物体を示すと判定され、かつ、同一の部分領域３４に含まれる物体画像３２が１つのグループに属するようにグループ分けする。そして、領域特定部２５１は、各部分領域３４を対象として、属する物体画像３２の数が対象基準数以上のグループを対象の部分領域３４に存在する物体を示すグループとして特定する。領域特定部２５１は、特定されたグループをメモリ１２に書き込む。

（図１０のステップＳ２６：移動特定処理）
移動特定部２５２は、ステップＳ２５で特定されたグループのうち、同一の物体を示すと判定された物体画像３２のグループであって、異なる部分領域３４に存在する物体を示すグループを、部分領域３４間を移動した物体を示す１つの移動グループとして特定する。
具体的には、移動特定部２５２は、メモリ１２からステップＳ２５で書き込まれたグループを読み出す。移動特定部２５２は、読み出されたグループ間で同じ物体画像３２を示すグループを特定する。例えば、移動特定部２５２は、グループに属する少なくとも一部の物体画像３２を対象として、ステップＳ２４と同様の方法により、同一の物体を示すか否かを判定する。移動特定部２５２は、同一の物体を示すと判定されたグループのうち、異なる部分領域３４に存在する物体を示すグループの組を特定する。移動特定部２５２は、特定されたグループの組を１つの移動グループとしてメモリ１２に書き込む。

この際、移動特定部２５２は、グループに属する物体画像３２が切り出されたフレーム画像３１の映像データ３０における前後関係から、物体の部分領域３４間の移動方向を特定してもよい。つまり、移動特定部２５２は、前後関係が前のフレーム画像３１から切り出された物体画像３２が含まれる部分領域３４から、前後関係が後のフレーム画像３１から切り出された物体画像３２が含まれる部分領域３４に移動したと特定してもよい。例えば、２つのグループに属する物体画像３２の切り出し元のフレーム画像３１のうち、最前のフレーム画像３１から切り出された物体画像３２が含まれる部分領域３４から、最後のフレーム画像３１から切り出された物体画像３２が含まれる部分領域３４に移動したと特定してもよい。

（図１０のステップＳ２７：カウント処理）
カウント部２６は、ステップＳ２６で特定された移動グループの数を、部分領域３４間を移動した物体の数としてカウントする。
具体的には、カウント部２６は、メモリ１２からステップＳ２６で書き込まれた移動グループを読み出す。そして、カウント部２６は、読み出された移動グループの数を、部分領域３４間を移動した物体の数としてカウントする。

カウント部２６は、ステップＳ２６で物体の部分領域３４間の移動方向が特定されている場合には、移動方向毎にグループの数をカウントしてもよい。これにより、移動方向毎に、移動した物体の数がカウントされる。

図１２及び図１３を参照して具体例を説明する。
図１２では、映像データ３０がフレーム画像３１Ａ〜フレーム画像３１Ｇの７つのフレーム画像３１で構成されるとする。また、ここでは、対象基準数は３であるとする。
この場合に、フレーム画像３１Ａ〜フレーム画像３１Ｃでは、物体画像３２が部分領域３４Ａに含まれる。フレーム画像３１Ｄでは、物体画像３２はいずれの部分領域３４にも含まれない。フレーム画像３１Ｅ〜フレーム画像３１Ｇでは、物体画像３２は、部分領域３４Ｂに含まれる。フレーム画像３１Ａ〜フレーム画像３１Ｇにおける物体画像３２は同一の人を示すとする。そうすると、図１３に示すように、ステップＳ２５で、フレーム画像３１Ａ〜フレーム画像３１Ｃの物体画像３２がグループ１に分類され、フレーム画像３１Ｅ〜フレーム画像３１Ｇの物体画像３２がグループ２に分類される。
そして、ステップＳ２６で、グループ１とグループ２とが１つの移動グループとして特定される。その結果、ステップＳ２７で、部分領域３４間を移動した物体の数は１とカウントされる。

映像データ３０において、フレーム画像３１Ａ〜フレーム画像３１Ｃの方が、フレーム画像３１Ｅ〜フレーム画像３１Ｇよりも前のフレーム画像３１である。そのため、グループ１に属する物体画像３２が含まれる部分領域３４Ａから、グループ２に属する物体画像３２が含まれる部分領域３４Ｂに移動したと、移動方向が特定される。

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係るカウント装置１０は、部分領域３４間の移動を特定する。特に、カウント装置１０は、部分領域３４間の移動方向も特定可能である。
これにより、例えば、部分領域３４を店舗の外側と内側とに設定すれば、店舗に入った人の数と、店舗から出た人の数とを精度よくカウントすることが可能である。

なお、図１２及び図１３の例では、部分領域３４が２つだけであった。しかし、部分領域３４を３つ以上にしてもよい。例えば、図１４に示すように、店舗の外側と、内側の数か所に部分領域３４を設定してもよい。これにより、店舗の内部のどの辺りまで来た人が何人であったかをカウントすることが可能である。

＊＊＊補足＊＊＊
図１５に示すように、部分領域３４間を繰り返し行き来する場合がある。例えば、部分領域３４が店舗の外側と内側とに設定されている場合に、店舗の入口付近をふらふらと人が歩くような場合がある。
この場合、特許文献１に記載された技術では、店舗の入口の外側と内側とを行き来するたびに、繰り返しカウントされてしまう。その結果、店舗に入った人の数が現実よりも多くカウントされるといったことが起こる可能性がある。
これに対して、実施の形態２に係るカウント装置１０では、部分領域３４Ａにいる同一の人は１つのグループになり、部分領域３４Ｂにいる同一の人も１つのグループになる。そのため、図１５に示すケースでは、部分領域３４Ａから部分領域３４Ｂへの移動方向について１度だけカウントされることになる。

なお、部分領域３４Ａから部分領域３４Ｂへの移動Ｘをしてから、部分領域３４Ｂから部分領域３４Ａへの移動Ｙをするまでにある程度の時間が経過していたとする。また、部分領域３４Ｂから部分領域３４Ａへの移動Ｙをしてから、部分領域３４Ａから部分領域３４Ｂへの移動Ｚをするまでにある程度の時間が経過していたとする。
この場合には、移動Ｘ前のフレーム画像３１と、移動Ｙ後のフレーム画像３１とが離れている。ステップＳ２４では、対象のフレーム画像３１と、対象のフレーム画像３１の一定数前のフレーム画像３１とだけしか判定対象としない。したがって、フレーム画像３１が離れている場合には、ステップＳ２４において同一の物体を示すか否かの判定対象にならない。そのため、同じ部分領域３４Ａにいる同一の人であっても、物体画像３２Ａと物体画像３２Ｃとは、ステップＳ２５で同一のグループに分類されない。同様に、移動Ｙ前のフレーム画像３１と、移動Ｚ後のフレーム画像３１とが離れており、ステップＳ２４において同一の物体を示すか否かの判定対象にならない。そのため、同じ部分領域３４Ｂにいる同一の人であっても、物体画像３２Ｂと物体画像３２Ｄとは、ステップＳ２５で同一のグループに分類されない。
したがって、この場合には、部分領域３４Ａから部分領域３４Ｂへの移動方向について２度カウントされ、部分領域３４Ｂから部分領域３４Ａへの移動方向について１度カウントされる。

このように、ステップＳ２４で何フレーム前のフレーム画像３１とまで比較を行うかによって、部分領域３４間の行き来をどのようにカウントするかを制御することができる。

実施の形態３．
実施の形態３は、映像データ３０から物体の属性を特定し、特定された属性毎に物体の数をカウントする点が実施の形態１，２と異なる。実施の形態３では、この異なる点を説明し、同一の点については説明を省略する。

＊＊＊動作の説明＊＊＊
図１６を参照して、実施の形態３に係るカウント装置１０の動作を説明する。
実施の形態３に係るカウント装置１０の動作は、実施の形態３に係るカウント方法に相当する。また、実施の形態３に係るカウント装置１０の動作は、実施の形態３に係るカウントプログラムの処理に相当する。

ステップＳ３１からステップＳ３５の処理は、図２のステップＳ１１からステップＳ１５の処理と同じである。

（図１６のステップＳ３６：属性特定処理）
物体特定部２５は、各グループを対象として、対象のグループに属する各物体画像３２から物体の属性を特定する。物体特定部２５は、パターンマッチングといった既存の方法により物体の属性を特定すればよい。そして、物体特定部２５は、属性基準数以上の物体画像３２から特定された属性を、対象のグループが示す物体の属性として特定する。
属性基準数は、事前にカウント装置１０の利用者によって定められた値である。属性基準数は、小さくすると、誤った属性が特定される可能性が高くなり、大きくすると、正しい属性であるにも関わらず特定されない可能性が高くなる。

（図１６のステップＳ３７：カウント処理）
カウント部２６は、ステップＳ３６で特定された属性毎のグループの数を、属性毎の物体の数としてカウントする。

＊＊＊実施の形態３の効果＊＊＊
以上のように、実施の形態３に係るカウント装置１０は、物体の属性を特定して、属性毎の物体の数をカウントする。
これにより、例えば、店舗に入った人の分析等をより詳細に行うことが可能である。

なお、上記説明では、実施の形態１に機能を追加した場合を説明する。しかし、実施の形態２に機能を追加することも可能である。実施の形態２に機能を追加した場合には、属性毎及び移動方向毎の物体の数をカウントすることが可能である。

実施の形態４．
実施の形態４は、同一の物体を示す物体画像３２であるかの判定方法が実施の形態１〜３と異なる。つまり、実施の形態４は、同定処理（図２のステップＳ１４等）が異なる。実施の形態４では、この異なる点を説明し、同一の点については説明を省略する。
ここでは、実施の形態１の同定処理を変更した場合を説明するが、実施の形態２，３についても同様に変更を行うことが可能である。

＊＊＊動作の説明＊＊＊
図１７及び図１８を参照して、実施の形態４に係るカウント装置１０の動作を説明する。
実施の形態４に係るカウント装置１０の動作は、実施の形態４に係るカウント方法に相当する。また、実施の形態４に係るカウント装置１０の動作は、実施の形態４に係るカウントプログラムの処理に相当する。

（図１７のステップＳ４１：基準比較処理）
同定部２４は、各物体画像３２を対象として、対象の物体画像３２と基準画像との差分量を計算する。差分量は、具体例としては、画像局所特徴量の近さである。基準画像は、事前に用意された画像であり、対象の物体を示す参考画像である。例えば、対象の物体が人の場合には、人の画像である。基準画像は複数用意されていてもよい。例えば、対象の物体が人の場合には、男の人の画像と女の人の画像というように、属性毎の基準画像が用意されていてもよい。基準画像が複数用意されている場合には、同定部２４は、各物体画像３２を対象として、対象の物体画像３２と、複数の基準画像それぞれとの差分量を計算する。

（図１７のステップＳ４２：差分量比較処理）
同定部２４は、異なるフレーム画像３１から切り出され、かつ、ステップＳ１３で物体画像３２が対象領域３３に含まれると判定された物体画像３２間で、ステップＳ４１で計算された差分量を比較する。基準画像が複数用意されている場合には、同定部２４は、物体画像３２間で各基準画像について計算された差分量を比較する。
これにより、同定部２４は、同一の物体を示す物体画像３２を特定する。例えば、同定部２４は、差分量の差が基準値以内であれば、比較対象の２つの物体画像３２が同一の物体を示すと判定する。

図１８を参照して具体例を説明する。ここでは、基準画像Ｘ１と基準画像Ｘ２との２つの基準画像が用意されているとする。
同定部２４は、物体画像３２Ａと基準画像Ｘ１との差分量ＤＡ１と、物体画像３２Ａと基準画像Ｘ２との差分量ＤＡ２とを計算する。同様に、同定部２４は、物体画像３２Ｂと基準画像Ｘ１との差分量ＤＢ１と、物体画像３２Ｂと基準画像Ｘ２との差分量ＤＢ２とを計算する。図１８では、差分量を０以上１以下の値に正規化している。
同定部２４は、差分量ＤＡ１と差分量ＤＢ１との差Ｓ１と、差分量ＤＡ２と差分量ＤＢ２との差Ｓ２とを計算する。同定部２４は、差Ｓ１と差Ｓ２との合計値を計算する。同定部２４は、合計値が基準値以内であれば、比較対象の２つの物体画像３２が同一の物体を示すと判定する。

＊＊＊実施の形態４の効果＊＊＊
以上のように、実施の形態４に係るカウント装置１０は、基準画像との差分量を比較することにより、同一の物体を示す物体画像３２であるか判定する。
画像同士の比較処理は処理量が多く、計算時間がかかる。そのため、実施の形態１で説明した同定処理は、各フレーム画像３１に含まれる物体画像３２の数が多い場合と、比較を行うフレーム画像３１が多い場合とには、画像同士の比較回数が多くなり、計算時間がかかる。これに対して、実施の形態４で説明した同定処理では、これらの場合における画像同士の比較回数を少なくすることができ、計算時間を短くすることができる。

＊＊＊他の構成＊＊＊
＜変形例７＞
実施の形態１及び実施の形態４では、画像局所特徴量を用いて物体画像３２を比較した。これに限らず、物体画像３２の大きさや、物体画像３２の色の分布で同定処理を行っていもよい。例えば対象の物体が人の場合には、持ち物と衣服と等が一致するかといった情報を参照して、同一であるか否かを判定してもよい。
またフレーム画像３１の時間的な間隔が一定以上に狭い場合、物体画像３２の位置が近ければ（距離が狭ければ）、同一であるか否かを判定してもよい。

１０ カウント装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 映像取得部、２２ 切出部、２３ 領域判定部、２４ 同定部、２５ 物体特定部、２５１ 領域特定部、２５２ 移動特定部、２６
カウント部、３０ 映像データ、３１ フレーム画像、３２ 物体画像、３３ 対象領域、３４ 部分領域。

Claims (8)

1. 映像データを構成する複数のフレーム画像それぞれから対象とする物体を含む領域の画像を物体画像として切り出す切出部と、
   前記切出部によって切出された前記物体画像が、前記映像データにおける対象領域に含まれるか否かを判定する領域判定部と、
   前記切出部によって前記映像データを構成する異なるフレーム画像から切り出され、かつ、前記領域判定部によって前記物体画像が前記対象領域に含まれると判定された物体画像間で、同一の物体を示す物体画像を特定する同定部と、
   前記同定部によって同一の物体を示すと判定された物体画像が１つのグループに属するようにグループ分けして、属する物体画像の数が対象基準数以上のグループを前記対象領域に存在する物体を示すグループとして特定する物体特定部と、
   前記物体特定部によって特定された物体を示すグループの数を、前記対象領域に存在する物体の数としてカウントするカウント部と
   を備えるカウント装置。
2. 前記映像データには、前記対象領域として複数の部分領域が含まれ、
   前記物体特定部は、
   同一の物体を示すと判定され、かつ、同一の部分領域に含まれる物体画像が１つのグループに属するようにグループ分けして、各部分領域を対象として、属する物体画像の数が対象基準数以上のグループを対象の部分領域に存在する物体を示すグループとして特定する領域特定部と、
   前記領域特定部によって特定されたグループのうち、同一の物体を示すと判定された物体画像のグループであって、異なる部分領域に存在する物体を示すグループを、部分領域間を移動した物体を示す１つの移動グループとして特定する移動特定部と
   を備え、
   前記カウント部は、前記移動特定部によって特定された移動グループの数を、部分領域間を移動した物体の数としてカウントする
   請求項１に記載のカウント装置。
3. 前記移動特定部は、グループに属する物体画像が切り出されたフレーム画像の前記映像データにおける前後関係から、前記物体の部分領域間の移動方向を特定し、
   前記カウント部は、前記移動方向毎に移動した物体の数としてカウントする
   請求項２に記載のカウント装置。
4. 前記物体特定部は、各グループを対象として、対象のグループに属する各物体画像から物体の属性を特定し、属性基準数以上の物体画像から特定された属性を、対象のグループが示す物体の属性として特定し、
   前記カウント部は、前記物体特定部によって特定された属性毎のグループの数を、属性毎の物体の数としてカウントする
   請求項１に記載のカウント装置。
5. 前記同定部は、各物体画像を対象として、対象の物体画像と基準画像との差分量を計算して、異なるフレーム画像から切り出され、かつ、前記領域判定部によって前記物体画像が前記対象領域に含まれると判定された物体画像間で前記差分量を比較することにより、同一の物体を示す物体画像を特定する
   請求項１から４までのいずれか１項に記載のカウント装置。
6. 前記同定部は、各物体画像を対象として、対象の物体画像と、複数の基準画像それぞれとの差分量を計算して、前記物体画像間で各基準画像について計算された差分量を比較することにより、同一の物体を示す物体画像を特定する
   請求項５に記載のカウント装置。
7. 前記切出部は、異なる位置から前記対象領域を含む領域を撮影する複数の撮影装置によって得られた複数の映像データそれぞれを構成する複数のフレーム画像それぞれから物体画像を切り出す
   請求項１から６までのいずれか１項に記載のカウント装置。
8. 映像データを構成する複数のフレーム画像それぞれから対象とする物体を含む領域の画像を物体画像として切り出す切出処理と、
   前記切出処理によって切出された前記物体画像が、前記映像データにおける対象領域に含まれるか否かを判定する領域判定処理と、
   前記切出処理によって前記映像データを構成する異なるフレーム画像から切り出され、かつ、前記領域判定処理によって前記物体画像が前記対象領域に含まれると判定された物体画像間で、同一の物体を示す物体画像を特定する同定処理と、
   前記同定処理によって同一の物体を示すと判定された物体画像が１つのグループに属するようにグループ分けして、属する物体画像の数が対象基準数以上のグループを前記対象領域に存在する物体を示すグループとして特定する物体特定処理と、
   前記物体特定処理によって特定された物体を示すグループの数を、前記対象領域に存在する物体の数としてカウントするカウント処理と
   をコンピュータに実行させるカウントプログラム。

Images