JP2017076394A

JP2017076394A - 移動物体の計数装置及び方法

Info

Publication number: JP2017076394A
Application number: JP2016200086A
Authority: JP
Inventors: 炳融王; Bingrong Wang
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2015-10-13
Filing date: 2016-10-11
Publication date: 2017-04-20
Also published as: US20170103536A1; CN106570557A; EP3156972A1

Abstract

【課題】本発明の実施例は移動物体の計数装置及び方法を提供する。【解決手段】かかる計数装置及び方法は、線形回帰に基づいて各領域の移動物体の数量を計算し、オプティカルフローに基づいて確立された無向グラフに従って各領域で増加した移動物体の数量を計算し、また、各領域の移動物体数量及び増加した数量に基づいて計数を行うことにより、計数の重複を避け、迅速かつ正確なリアルタイム計数を実現することができる。【選択図】図１

Description

本発明は、情報技術分野に関し、特に、移動物体の計数装置及び方法に関する。

情報技術の発展に伴い、モニタリング（監視）ビデオを用いて歩行者や車両などの移動物体を計数することで、交通制御、スマート監視、及び、車両数統計などを行う技術は、非常に有用なものになる。従来の計数方法は、通常、検出に基づく計数、クラスタリングに基づく計数、及び回帰に基づく計数という３種類を含む。

検出に基づく計数方法では、一般的に、トレーニング（訓練）された検出器を用いて画像空間をスキャンすることにより、移動物体の実体を検出することができる。クラスタリングに基づく計数方法では、群体が個体からなり、且つ各個体が、クラスタリングされ得る連続運動パターンを有すると仮定することにより、移動物体の数量を推定することができる。また、回帰に基づく計数方法では、低レベル特徴の間の直接的なマッピングの取得を目指すが、個体に対しての分離やトラッキングを行わない。

従来の「検出に基づく計数方法」を用いる時に、検出プロセスに時間がかかり、移動物体密集のシナリオ下で検出失敗が生じやすい。従来の「クラスタリングに基づく計数方法」を用いる時に、ビデオのフレームレートへの要求が高く、移動物体密集のシナリオ下で検出漏れが発生しやすい。また、従来の「回帰に基づく計数方法」を用いる時に、シングルフレームのビデオ画像のみに対して計数を行うことができる。

本発明の目的は、線形回帰に基づいて各領域の移動物体の数量を計算し、オプティカルフローに従って確立された無向グラフ（undirected graph）に基づき各領域において増加した移動物体の数量を計算し、また、各領域の移動物体の数量及び増加した数量に基づいて計数を行うことにより、計数の重複を避け、迅速かつ正確なリアルタイム計数を実現することができる、移動物体の計数装置及び方法を提供することにある。

本発明の第一側面によれば、移動物体の計数装置が提供され、該計数装置は、
移動物体を有する画像を抽出するための第一抽出ユニット；
抽出された画像に対して背景モデリングを行い、２値画像を取得するための第一モデリングユニット；
前記２値画像に対してグループ分割（group segmentation）を行うための第一分割ユニット；
予め取得されたスケールパラメータに基づいて、グループ分割後の各領域の特徴を計算するための第一計算ユニット；
前記各領域の特徴及び予め取得された線形回帰係数に基づいて、前記各領域の移動物体の数量を計算するための第二計算ユニット；
オプティカルフローに基づいて確立された無向グラフに従って、前記各領域において増加した移動物体の数量を計算するための第三計算ユニット；及び
前記各領域の移動物体の数量及び増加した移動物体の数量に基づいて、前記画像中の移動物体の数量を確定するための第一確定ユニットを含む。

本発明の第二側面によれば、移動物体の計数方法が提供され、該計数方法は、
移動物体を有する画像を抽出し；
抽出された画像に対して背景モデリングを行い、２値画像を取得し；
前記２値画像に対してグループ分割を行い；
予め取得されたスケールパラメータに基づいて、グループ分割後の各領域の特徴を計算し；
前記各領域の特徴及び予め取得された線形回帰係数に基づいて、前記各領域の移動物体の数量を計算し；
オプティカルフローに基づいて確立された無向グラフに従って、前記各領域において増加した移動物体の数量を計算し；及び
前記各領域の移動物体の数量及び増加した移動物体の数量に基づいて、前記画像中の移動物体の数量を確定することを含む。

本発明の有益な効果は、線形回帰に基づいて各領域の移動物体の数量を計算し、オプティカルフローに基づいて確立された無向グラフに従って各領域で増加した移動物体の数量を計算し、また、各領域の移動物体数量及び増加した数量に基づいて計数を行うことにより、計数の重複を避け、迅速かつ正確なリアルタイム計数を実現することができる。

本発明の実施例1における移動物体の計数装置の構成図である。本発明の実施例1における第一分割ユニット103の構成図である。本発明の実施例1における２値画像のグループ分割方法のフローチャートである。本発明の実施例1における２値画像のグループ分割を示す図である。本発明の実施例1における画像の抽出から画像のグループ分割までのプロセスを示す図である。本発明の実施例1における第三計算ユニット106の構成図である。本発明の実施例1における各領域で増加した移動物体の数量の計算方法のフローチャートである。本発明の実施例1における第四計算ユニット602の構成図である。本発明の実施例1における連通域に基づいて得られた増加した移動物体の数量を示す図である。本発明の実施例1における取得ユニット108の構成図である。本発明の実施例1における線形回帰係数及びスケールパラメータの取得方法のフローチャートである。本発明の実施例2における電子機器の構成図である。本発明の実施例2における電子機器のシステム構成図である。本発明の実施例3における移動物体の計数方法のフローチャートである。

以下、添付した図面を参照しながら、本発明を実施するための形態を詳細に説明する。

図1は、本発明の実施例1における移動物体の計数装置の構成図である。図1に示すように、該装置100は、次のユニットを含み、即ち、
第一抽出ユニット101：移動物体を有する画像を抽出し；
第一モデリングユニット102：抽出された画像に対して背景モデリングを行い、２値画像を取得し；
第一分割ユニット103：該２値画像に対してグループ分割を行い；
第一計算ユニット104：予め取得されたスケールパラメータに基づいて、グループ分割後の各領域の特徴を計算し；
第二計算ユニット105：各領域の特徴及び予め取得された線形回帰係数に基づいて、各領域の移動物体の数量を計算し；
第三計算ユニット106：オプティカルフローに基づいて確立された無向グラフに従って、各領域で増加した移動物体の数量を計算し；
第一確定ユニット107：各領域の移動物体の数量及び増加した移動物体の数量に基づいて、該画像中の移動物体の数量を確定する。

この実施例から分かるように、線形回帰に基づいて各領域の移動物体の数量を計算し、オプティカルフローに基づいて確立された無向グラフに従って各領域で増加した移動物体の数量を計算し、また、各領域の移動物体数量及び増加した数量に基づいて計数を行うことにより、計数の重複を避け、迅速かつ正確なリアルタイム計数を実現することができる。

本実施例では、移動物体は、計数を行う必要のある、移動状態にある任意の物体であっても良く、例えば、移動物体は、道路上で走行している車又は歩いている人や動物などであっても良い。

本実施例では、第一抽出ユニット101は、監視ビデオから移動物体を有する画像を抽出することができ、そのうち、監視ビデオは、従来の方法で得ることができ、例えば、監視が必要な領域の上方に設置されているカメラにより得ることができる。

本実施例では、第一抽出ユニット101は、従来の方法で監視ビデオから移動物体を有する画像を抽出することができ、例えば、監視ビデオから、フレームを単位とする画像を抽出し、各フレームの画像上で所定の領域を定義し、そして、該所定の領域の画像を抽出することができる。

そのうち、該所定の領域は、実際のニーズに応じて設定されても良く、例えば、該所定の領域は、ROI（Region of Interest、ROI）であっても良い。

本実施例では、移動物体を有する画像を抽出した後に、第一モデリングユニット102は、抽出された画像に対して背景モデリングを行い、２値画像を取得することができる。そのうち、従来の背景モデリング方法を用いて２値画像を取得することができ、例えば、混合ガウスモデルを用いて背景モデリングを行うことができる。

本実施例では、２値画像を取得した後に、第一分割ユニット103は、該２値画像に対してグループ分割を行うことができる。そのうち、従来の方法を用いて２値画像に対してグループ分割を行うことができる。以下、本実施例の第一分割ユニット103の構成及び分割方法について例示的に説明する。

図2は、本発明の実施例1における第一分割ユニット103の構成図である。図2に示すように、第一分割ユニット103は、次のユニットを含み、即ち、
操作ユニット201：該２値画像に対してモーフォロジー操作を行い；
標識付けユニット202：モーフォロジー操作後の２値画像に対して連通域の標識付けを行い、複数の領域を取得し；
除去ユニット203：複数の領域のうちの、ピクセル数量が所定の閾値よりも小さい領域を除去することにより、グループ分割後の各領域を得る。

図3は、本発明の実施例1における２値画像のグループ分割方法のフローチャートである。図3に示すように、該方法は、次のステップを含み、即ち、
ステップ301：該２値画像に対してモーフォロジー操作を行い；
ステップ302：モーフォロジー操作後の２値画像に対して連通域の標識付けを行い、複数の領域を取得し；
ステップ303：複数の領域のうちの、ピクセル数量が所定の閾値よりも小さい領域を除去することで、グループ分割後の各領域を得る。

図4は、本発明の実施例1における２値画像のグループ分割を示す図である。図4に示すように、401は、入力された２値画像を示し、402は、モーフォロジー操作後の２値画像を示し、403は、連通域に対して標識付けを行った後の画像を示し、404は、ピクセル数量が所定の閾値よりも小さい領域を除去した後の画像を示す。

本実施例では、操作ユニット201は、従来の方法で該２値画像に対してモーフォロジー操作を行うことができ、例えば、まず、連結しないピクセルに対して“ブリッジング（bridging）”操作を行い、その後、“接近（close）”操作でノイズを除去し、最後に、２値画像中の孔を充填（fill）し、該孔は、画像のエッジ（辺縁）から背景を充填しても達することができない背景ピクセルである。

本実施例では、標識付けユニット202は、従来の方法を用いて連通域の標識付けを行うことができ、例えば、モーフォロジー操作後の２値画像に対して８連通域分割を行うことができる。

本実施例では、除去ユニット203は、複数の領域のうちの、ピクセル数量が所定の閾値よりも小さい領域を除去することで、移動物体を成すことができない領域を除去し、そのうち、該所定の閾値は、実際のニーズに応じて設定されても良い。

図5は、本発明の実施例1における画像の抽出から画像のグループ分割までのプロセスを示す図である。図5に示すように、501は、抽出された移動物体有りの画像を示し、502は、背景モデリングを行った後に得られた２値画像を示し、503は、グループ分割後の２値画像を示す。

本実施例では、グループ分割後の２値画像を得た後に、第一計算ユニット104は、予め取得されたスケールパラメータに基づいて、グループ分割後の各領域の特徴を計算することができる。そのうち、スケールパラメータに基づく特徴の計算は、従来の方法を用いることができ、例えば、以下の公式（1）を用いて特徴を計算することができ、即ち、

である。

そのうち、X_sは、スケール調整後の特徴ベクトルを示し、Xは、各領域で計算された特徴ベクトルを示し、μ及びθは、予め取得されたスケールパラメータを示す。

本実施例では、各領域の特徴は、該領域の面積、該領域の周長、該領域の周長と面積との比、該領域の各辺縁方向のヒストグラム、及び該領域の各辺縁のピクセルの数量の和、のうちの少なくとも一つを含んでも良い。

本実施例では、各領域の特徴を得た後に、第二計算ユニット105は、各領域の特徴及び予め取得された線形回帰係数に基づいて、各領域の移動物体の数量を計算することができ、そのうち、従来の方法により移動物体の数量を計算することができ、例えば、以下の公式（2）で計算することができ、即ち、

である。

そのうち、lは、移動物体の数量を示し、X_sは、特徴ベクトルを示し、βは、予め取得された線形回帰係数を示し、round関数は、四舎五入演算を示す。

本実施例では、全ての領域の移動物体の数量を計算した後に、第三計算ユニット106は、オプティカルフローに基づいて確立された無向グラフに従って、各領域で増加した移動物体の数量を計算することができる。以下、本実施例の第三計算ユニット106の構成及び各領域で増加した移動物体の数量を計算する方法について例示的に説明する。

図6は、本発明の実施例1における第三計算ユニット106の構成図である。図6に示すように、第三計算ユニット106は、次のユニットを含み、即ち、
確立ユニット601：現在のフレームの画像及び現在のフレームの前のKフレームのうちの１フレームの画像に基づいて、K個の無向グラフをそれぞれ確立し、そのうち、K≧2であり；
第四計算ユニット602：確立されたK個の無向グラフに基づいて、K個の増加した移動物体の数量をそれぞれ計算し；
第二確定ユニット603：K個の増加した移動物体の数量のうちの最小値を、増加した移動物体の数量とする。

図7は、本発明の実施例1における各領域で増加した移動物体の数量を計算する方法のフローチャートである。図7に示すように、該方法は、次のステップを含み、即ち、
ステップ701：現在のフレームの画像及び現在のフレームの前のKフレームのうちの１フレームの画像に基づいて、K個の無向グラフをそれぞれ確立し、そのうち、K≧2であり；
ステップ702：確立されたK個の無向グラフに基づいて、K個の増加した移動物体の数量をそれぞれ計算し；
ステップ703：K個の増加した移動物体の数量のうちの最小値を、増加した移動物体の数量とする。

このように、最小値を、増加した移動物体の数量とすることにより、計数の正確性を更に向上させることができる。

本実施例では、K＝2の場合を例として例示的に説明する。

本実施例では、確立ユニット601は、従来の方法で無向グラフを確立することができる。例えば、まず、現在のフレームの画像及び前の１フレームの画像に基づいて無向グラフを確立することができる。

現在のフレームの画像がn個の領域を含み、それぞれがA₁、A₂、…、A_nと記され、前の１フレームの画像がm個の領域を含み、それぞれがB₁、B₂、…、B_mと記され、n及びmは共に正の整数であるとすると、該無向グラフは、n＋m個の頂点を有する。

オプティカルフローに基づいて、現在のフレームの領域A_iがオプティカルフローVを以て前の１フレームに移動したときに対応する領域を計算することができ、例えば、以下の公式（3）で、現在のフレームの領域A_iがオプティカルフローVを以て前の１フレームに移動したときに対応する領域の座標を計算することができ、即ち、

である。

そのうち、X(A_i’)及びY(A_i’)は、それぞれ、現在のフレームの領域AiがオプティカルフローVを以て前の１フレームに移動したときに対応する領域のX座標及びY座標を示し、X(A’)及びY(A’)は、それぞれ、現在のフレームの領域A_iのX座標及びY座標を示し、V_x及びV_yは、現在のフレームと前の１フレームとの間のオプティカルフロー図のX座標及びY座標を示し、round関数は、四舎五入演算を示し、i＝1-nである。

その後、領域A_i’及びB_jの重複（overlap）ピクセルを計数し、そのうち、以下の公式（4）を以て頂点A_i及びB_j間に辺縁（エッジ）があるかを判断することができ、即ち、

である。

そのうち、N関数は、ピクセルの数量を示し、パラメータγは、実際のニーズに応じて設定されても良く、例えば、0.2であっても良い。

また、同じ方法を用いて現在のフレームと、前の１フレームの前の１フレームとの間の無向グラフを確立することもできる。公式（3）と同様に、以下の公式（5）により現在のフレームの領域A_iがオプティカルフローVを以て前の１フレームの前の１フレームに移動したときに対応する領域の座標を計算することができ、即ち、

である。

そのうち、そのうち、X(A_i’’)及びY(A_i’’)は、それぞれ、前の１フレームに対応する領域がオプティカルフローVを以て前の１フレームの前の１フレームに移動したときに対応する領域のX座標及びY座標を示し、X(A_i’)及びY(A_i’)は、それぞれ、現在のフレームの領域A_iがオプティカルフローVを以て前の１フレームに移動したときに対応する領域A_i’のX座標及びY座標を示し、V_x’及びV_y’は、前の１フレームと、前の１フレームの前の１フレームとの間のオプティカルフロー図のX座標及びY座標を示し、round関数は、四舎五入演算を示し、i＝1-nである。

現在のフレームと前の１フレームとの間の無向グラフ、及び、現在のフレームと前の１フレームの前の１フレームとの間の無向グラフを得た後に、第四計算ユニット602は、確立された2つの無向グラフに基づいて、増加した移動物体の数量を計算することができる。

図8は、本発明の実施例1における第四計算ユニット602の構成図である。図8に示すように、第四計算ユニット602は、次のユニットを含み、即ち、
検出ユニット801：該K個の無向グラフのうちの各無向グラフ中の連通域を検出し；
第五計算ユニット802：各連通域中の移動物体の数量の和をそれぞれ計算し、各連通域（全ての連通域）中の移動物体の数量の和の和を得ることで、増加した移動物体の数量を取得し、そのうち、現在のフレームの前のKフレームの各領域の移動物体の数量は、負の数と設定される。

本実施例では、検出ユニット801は、従来の方法で無向グラフ中の連通域を検出することができる。全ての連通域を検出した後に、現在のフレームの前のKフレームにおける移動物体の数量を負の数と設定し、そして、各連通域（全ての連通域）中の移動物体の数量の和の和を計算する。そのうち、ある連通域中の移動物体の数量の和が負の数である時に、該値を0と設定する。

図9は、本発明の実施例1における、連通域に基づいて得られた、増加した移動物体の数量を示す図である。図9に示すように、現在のフレームと前の１フレームとの間の無向グラフには２つの連通域が含まれ、それぞれ、第一連通域901及び第二連通域902である。第一連通域901では、現在のフレームの各領域内の移動物体の数量がそれぞれ為3、2、2であり；前の１フレームの各領域内の移動物体の数量がそれぞれ4及び1であり、それらを負の数、即ち、-4及び-1と設定し、また、第二連通域902では、現在のフレームの各領域内の移動物体の数量が3であり；前の１フレームの各領域内の移動物体の数量がそれぞれ3及び1であり、それらを負の数、即ち、-3及び-1と設定する。このように、第一連通域901の移動物体の数量の和が2であり；第二連通域902の移動物体の数量の和が-1であり、それが負の数であるため、それを0と設定し、このようにすると、第一連通域901及び第二連通域902の移動物体の数量の和は、2+0=2である。

以上は、現在のフレームと前の１フレームとの間の無向グラフに基づいて計算した、増加した移動物体の数量であり、S1と記される。また、同じ方法で、現在のフレームと、前の１フレームの前の１フレームとの間の無向グラフに基づいて、増加した移動物体の数量を計算することもでき、それはS2が記される。このようにすると、第二確定ユニット602は、S1及びS2のうちの最小値を、増加した移動物体の数量とすることができる。

以上は、K=2の場合を例示的説明したが、K≧3の場合は、類似した方法で、S3（現在のフレームと、前の１フレームの前の１フレームの前の１フレームとの間の無向グラフに基づいて計算した、増加した移動物体の数量）などのより多くの増加した移動物体の数量を計算し、そして、これらの数値のうちの最小値を、増加した移動物体の数量とすることもできる。

本実施例では、第三計算ユニット106が各領域で増加した移動物体の数量を計算した後に、第一確定ユニット107は、各領域の移動物体の数量及び増加した移動物体の数量に基づいて、該画像中の移動物体の数量を確定することができる。例えば、各領域の移動物体の数量に、増加した移動物体の数量を加算することで、該画像中の移動物体の数量を得ることができる。

本実施例では、スケールパラメータ及び線形回帰係数は予め得られても良い。以下、本実施例におけるスケールパラメータ及び線形回帰係数の取得方法について例示的に説明する。

本実施例では、該装置100はさらに取得ユニット108を含んでも良く、それは、該線形回帰係数及びスケールパラメータを得るために用いられる。そのうち、取得ユニット108は選択可能なユニットであり、図1中で点線の枠で表される。なお、取得ユニット108は、装置100の中に設置されなくても良い。

図10は、本発明の実施例1における取得ユニット108の構成図である。図10に示すように、取得ユニット108は、次のものを含み、即ち、
第二抽出ユニット1001：トレーニングのための画像を抽出し；
第二モデリングユニット1002：抽出された画像に対して背景モデリングを行い、２値画像を取得し；
第二分割ユニット1003：該２値画像に対してグループ分割を行い；
第六計算ユニット1004：グループ分割後の各領域の特徴を計算し；
第一取得ユニット1005：各領域の特徴に基づいて線形学習モデルに対してトレーニングを行い、線形回帰係数及びスケールパラメータを得る。

図11は、本発明の実施例1における線形回帰係数及びスケールパラメータの取得方法フローチャートである。図11に示すように、該方法は、次のステップを含み、即ち、
ステップ1101：トレーニングのための画像を抽出し；
ステップ1102：抽出された画像に対して背景モデリングを行い、２値画像を取得し；
ステップ1103：該２値画像に対してグループ分割を行い；
ステップ1104：グループ分割後の各領域の特徴を計算し；
ステップ1105：各領域の特徴に基づいて線形学習モデルに対してトレーニングを行い、線形回帰係数及びスケールパラメータを得る。

本実施例では、第二抽出ユニット1001の構成及び機能は、第一抽出ユニット101と同じであるため、ここではその詳しい説明を省略する。そのうち、トレーニングのための画像は、実際のニーズに応じて選択されても良く、例えば、5000よりも小さい数量のフレームの画像をトレーニングのために選択しても良い。

本実施例では、第二モデリングユニット1002及び第二分割ユニット1003の構成及び機能は、第一モデリングユニット102及び第一分割ユニット103の構成及び機能と同じであるため、ここではその詳しい説明を省略する。

本実施例では、第六計算ユニット1004が従来の方法で特徴を計算し得る且つ特徴を計算する前に、遠景が早めに出ることによる影響を考慮して、従来の方法を用いて特徴の重み（weight）を計算することができる。そのうち、領域に基づく特徴については、各ピクセルに対して重みを直接使用しても良く、辺縁（エッジ）に基づく特徴については、重みの平方根を用いても良い。

本実施例では、各領域の特徴は、該領域の面積、該領域の周長、該領域の周長と面積との比、該領域の各辺縁方向のヒストグラム、及び、該領域の各辺縁のピクセルの数量の和、のうちの少なくとも一つを含んでも良い。

本実施例では、各領域の特徴を得た後に、第一取得ユニット1005は、各領域の特徴に基づいて、線形学習モデルに対してトレーニングを行い、線形回帰係数及びスケールパラメータを得ることができる。そのうち、従来の方法でトレーニングを行っても良い。例えば、トレーニングのための特徴データを２つの部分に分け、一部分は、学習モデルのトレーニングのために用いられ、他の部分は、交差検証のために用いられても良い。

先ず、各特徴から全ての特徴の平均値を減算し、そして、得られた特徴値を各自の標準差（standard deviation）で除算し、そのうち、ベクトルμ及びθにより、それぞれ、全ての特徴の平均値及び標準差を表し、即ち、本実施例中の予め取得されたスケールパラメータである。

このとき、スケール調整後の学習特徴集X_ts及び交差検証特徴集X_csは、以下の公式（6）で計算することができ、即ち、

である。

そのうち、X_ts及びX_csは、スケール調整後の学習特徴集及び交差検証特徴集を示し、X_t及びX_cは、学習特徴集及び交差検証特徴集を示す。

本実施例では、線形回帰をマシン学習法としても良く、そのうち、コスト関数は、以下の公式（7）で示すことができ、即ち、

である。

そのうち、mは、特徴の数量を示し、本実施例では16であっても良く、Nは、トレーニングの数量を示し、例えば、Nは1000以上の整数であっても良く、β＝[β₀ β₁ β₂ ・・・ β_m]^Tであり、線形回帰係数を示し、モデルが学習すべきパラメータと記され；X_ts ⁽ⁱ⁾は、第i個目のトレーニングサンプルの特徴ベクトルを示し、y_t ⁽ⁱ⁾は、第i個目のトレーニングサンプルが標識付けた移動物体の数量を示し、γは、調整パラメータを示す。

本実施例では、調整パラメータγは、0、0.01、0.03、0.1、0.3、1、3、10、30、100と設定されても良く、各調整パラメータ値については、モデルをトレーニングし、βを計算することができる。その後、以下の公式（8）に基づいて、トレーニングされたβを用いて、交差検証特徴集の平均平方根偏差MSDを計算することができ、即ち、

である、
そのうち、MSDは、交差検証特徴集の平均平方根偏差を示し、Mは、交差検証の数量を示し、例えば、Mは、500以上の整数であっても良く、βは、線形回帰係数を示し、X_cs ⁽ⁱ⁾は、スケール調整後の第i個目の交差検証サンプルの特徴ベクトルを示し、y_c ⁽ⁱ⁾は、第i個目の交差検証サンプルの移動物体の数量を示す。

本実施例では、MSDが最小のときに対応するβを、予め取得された線形回帰係数として選択する。

このように、以上の例示的な方法により、線形回帰係数β及びスケールパラメータμ、γを得ることができる。

本発明の実施例はさらに電子機器を提供し、図12は本発明の実施例2における電子機器の構成図である。図12に示すように、電子機器1200は、移動物体の計数装置1201を含み、そのうち、移動物体の計数装置1201の構成及び機能は、実施例1中の記載と同じであるため、ここではその詳しい説明を省略する。

図13は、本発明の実施例2における電子機器のシステム構成図である。図13に示すように、電子機器1300は、中央処理装置1301及び記憶器1302を含んでも良く、記憶器1302は、中央処理装置1301に結合される。なお、該図は例示に過ぎず、他の類型の構成を用いて該構造に対して補充や代替を行うことで、電気通信や他の機能を実現することもできる。

図13に示すように、該電子機器1300はさらに入力ユニット1303、表示器1304、及び電源1305を含んでも良い。

一実施方式では、実施例1に記載の移動物体の計数装置の機能は、中央処理装置1301に統合することができる。そのうち、中央処理装置1301は、次のように構成されても良く、即ち、移動物体を有する画像を抽出し；抽出された画像に対して背景モデリングを行い、２値画像を取得し；前記２値画像に対してグループ分割を行い；予め取得されたスケールパラメータに基づいて、グループ分割後の各領域の特徴を計算し；前記各領域の特徴及び予め取得された線形回帰係数に基づいて、前記各領域の移動物体の数量を計算し；オプティカルフローに基づいて確立された無向グラフに従って、前記各領域において増加した移動物体の数量を計算し；及び、前記各領域の移動物体の数量及び増加した移動物体の数量に基づいて、前記画像中の移動物体の数量を確定する。

そのうち、前記オプティカルフローに基づいて確立された無向グラフに従って、前記各領域において増加した移動物体の数量を計算することは、現在のフレームの画像と現在のフレームの前のKフレームのうちの１フレーム画像に基づいて、K個の無向グラフをそれぞれ確立し、そのうち、K≧2であり；確立されたK個の無向グラフに基づいて、それぞれ、K個の増加した移動物体の数量を計算し；及び、前記K個の増加した移動物体の数量のうちの最小値を、前記増加した移動物体の数量とすることを含む。

そのうち、中央処理装置1301はさらに次のように構成されても良く、即ち、前記線形回帰係数及び前記スケールパラメータを取得し、なお、前記線形回帰係数及び前記スケールパラメータの取得は、トレーニングのための画像を抽出し；抽出された画像に対して背景モデリングを行い、２値画像を取得し；前記２値画像に対してグループ分割を行い；グループ分割後の各領域の特徴を計算し；及び、前記各領域の特徴に基づいて線形学習モデルに対してトレーニングを行い、前記線形回帰係数及び前記スケールパラメータを得ることを含む。

そのうち、前記２値画像に対してのグループ分割は、前記２値画像に対してモーフォロジー操作を行い；モーフォロジー操作後の２値画像に対して連通域の標識付けを行い、複数の領域を取得し；及び、前記複数の領域のうちの、ピクセル数量が所定の閾値よりも小さい領域を除去し、グループ分割後の各領域を得ることを含む。

そのうち、前記各領域の特徴は、前記領域の面積、前記領域の周長、前記領域の周長と面積との比、前記領域の各辺縁方向のヒストグラム、及び、前記領域の各辺縁のピクセルの数量の和、のうちの少なくとも一つを含む。

他の実施方式では、実施例1に記載の移動物体の計数装置は、中央処理装置1301と独立して構成されても良く、例えば、移動物体の計数装置は、中央処理装置1301に接続されるチップとして構成され、中央処理装置1301の制御により、移動物体の計数装置の機能を実現することができる。

本実施例では、電子機器1300は必ずしも図13に示す全ての部品を含む必要がない。

図13に示すように、中央処理装置1301は、制御器又はコントローラと称される場合もあり、マイクロプロセッサ又は他の処理装置及び/又は論理装置を含んでも良く、中央処理装置1301は、入力を受信し、また、電子機器1300の各部件の操作を制御する。

記憶器1302は、例えば、バッファ、フレッシュメモリ、HDD、移動可能な媒体、揮発性記憶器、不揮発性記憶器又は他の適切な装置のうちの一つ又は複数であって良く、中央処理装置1301は、該記憶器1302に記憶されたプログラムを実行することで、情報の記憶又は処理などを実現することができる。他の部品の機能は従来と同様であるため、ここではその詳しい説明を省略する。また、電子機器1300の各部品は、専用ハードウェア、ファームウェア、ソフトウェア又はその組み合わせにより実現することもでき、これらは全て本発明の範囲に属する。

本発明の実施例はさらに移動物体の計数方法を提供し、それは実施例1の移動物体の計数装置に対応する。図14は本発明の実施例3における移動物体の計数方法のフローチャートである。図14に示すように、該方法は次のステップを含み、即ち、
ステップ1401：移動物体を有する画像を抽出し；
ステップ1402：抽出された画像に対して背景モデリングを行い、２値画像を取得し；
ステップ1403：該２値画像に対してグループ分割を行い；
ステップ1404：予め取得されたスケールパラメータに基づいて、グループ分割後の各領域の特徴を計算し；
ステップ1405：各領域の特徴及び予め取得された線形回帰係数に基づいて、各領域の移動物体の数量を計算し；
ステップ1406：オプティカルフローに基づいて確立された無向グラフに従って、各領域で増加した移動物体の数量を計算し；
ステップ1407：各領域の移動物体の数量及び増加した移動物体の数量に基づいて、画像中の移動物体の数量を確定する。

本実施例では、画像抽出方法、背景モデリング方法、グループ分割方法、特徴計算方法、移動物体数量計算方法、増加した移動物体数量の計算方法及び移動物体数量の確定方法は、実施例1中の記載と同じであるため、ここではその詳しい説明を省略する。

本発明の実施例はさらにコンピュータ可読プログラムを提供し、そのうち、移動物体の計数装置又は電子機器中で前記プログラムを実行する時に、前記プログラムはコンピュータに、前記移動物体の計数装置又は電子機器中で実施例3に記載の移動物体の計数方法を実行させる。

本発明の実施例はさらにコンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムはコンピュータに、移動物体の計数装置又は電子機器中で実施例3に記載の移動物体の計数方法を実行させる。

また、本発明の実施例による装置及びび方法は、ソフトウェアにより実現されても良く、ハードウェアにより実現されてもよく、ハードウェア及びびソフトウェアの組み合わせにより実現されても良い。また、本発明はこのようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は上述のプログラムを記憶するための記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フラッシュメモリなどにも関する。

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims

移動物体の計数装置であって、
移動物体を有する画像を抽出するための第一抽出ユニット；
抽出された画像に対して背景モデリングを行い、２値画像を取得するための第一モデリングユニット；
前記２値画像に対してグループ分割を行うための第一分割ユニット；
予め取得されたスケールパラメータに基づいて、グループ分割後の各領域の特徴を計算するための第一計算ユニット；
前記各領域の特徴及び予め取得された線形回帰係数に基づいて、前記各領域の移動物体の数量を計算するための第二計算ユニット；
オプティカルフローに基づいて確立された無向グラフに従って、前記各領域において増加した移動物体の数量を計算するための第三計算ユニット；及び
前記各領域の移動物体の数量及び増加した移動物体の数量に基づいて、前記画像中の移動物体の数量を確定するための第一確定ユニットを含む、装置。
請求項1に記載の装置であって、
前記第三計算ユニットは、確立ユニット、第四計算ユニット及び第二確定ユニットを含み、
前記確立ユニットは、現在のフレームの画像及び現在のフレームの前のKフレームのうちの１フレームの画像に基づいて、K個の無向グラフをそれぞれ確立し、そのうち、K≧2であり、
前記第四計算ユニットは、確立されたK個の無向グラフに基づいて、それぞれ、K個の増加した移動物体の数量を計算し、
前記第二確定ユニットは、前記K個の増加した移動物体の数量のうちの最小値を前記増加した移動物体の数量とする、装置。
請求項2に記載の装置であって、
前記第四計算ユニットは、検出ユニット及び第五計算ユニットを含み、
前記検出ユニットは、前記K個の無向グラフのうちの各無向グラフ中の連通域を検出し；
前記第五計算ユニットは、各連通域中の移動物体の数量の和をそれぞれ計算し、そして、各連通域中の移動物体の数量の和の和を計算することにより、増加した移動物体の数量を取得し、そのうち、現在のフレームの前のK個のフレームの各領域の移動物体の数量を負の数と設定する、装置。
請求項1に記載の装置であって、
取得ユニットをさらに含み、
前記取得ユニットは、前記線形回帰係数及び前記スケールパラメータを取得し、
前記取得ユニットは、
トレーニングのための画像を抽出するための第二抽出ユニット；
抽出された画像に対して背景モデリングを行い、２値画像を取得するための第二モデリングユニット；
前記２値画像に対してグループ分割を行うための第二分割ユニット；
グループ分割後の各領域の特徴を計算するための第六計算ユニット；及び
前記各領域の特徴に基づいて線形学習モデルに対してトレーニングを行い、前記線形回帰係数及び前記スケールパラメータを得るための第一取得ユニットを含む、装置。
請求項1に記載の装置であって、
前記第一分割ユニット又は前記第二分割ユニットは、操作ユニット、標識付けユニット及び除去ユニットを含み、
前記操作ユニットは、前記２値画像に対してモーフォロジー操作を行い、
前記標識付けユニットは、モーフォロジー操作後の２値画像に対して連通域の標識付けを行い、複数の領域を取得し、
前記除去ユニットは、前記複数の領域のうちの、ピクセル数量が所定の閾値よりも小さい領域を除去し、グループ分割後の各領域を取得する、装置。
請求項1に記載の装置であて、
前記各領域の特徴は、前記領域の面積、前記領域の周長、前記領域の周長と面積との比、前記領域の各辺縁方向のヒストグラム、及び前記領域の各辺縁のピクセルの数量の和、のうちの少なくとも一つを含む、装置。
移動物体の計数方法であって、
移動物体を有する画像を抽出し；
抽出された画像に対して背景モデリングを行い、２値画像を取得し；
前記２値画像に対してグループ分割を行い；
予め取得されたスケールパラメータに基づいて、グループ分割後の各領域の特徴を計算し；
前記各領域の特徴及び予め取得された線形回帰係数に基づいて、前記各領域の移動物体の数量を計算し；
オプティカルフローに基づいて確立された無向グラフに従って、前記各領域において増加した移動物体の数量を計算し；及び
前記各領域の移動物体の数量及び増加した移動物体の数量に基づいて、前記画像中の移動物体の数量を確定することを含む、方法。
請求項7に記載の方法であって、
前記オプティカルフローに基づいて確立された無向グラフに従って、前記各領域において増加した移動物体の数量を計算することは、
現在のフレームの画像及び現在のフレームの前のKフレームのうちの１フレーム画像に基づいて、K個の無向グラフをそれぞれ確立し、そのうち、K≧2であり；
確立されたK個の無向グラフに基づいて、K個の増加した移動物体の数量をそれぞれ計算し；及び
前記K個の増加した移動物体の数量のうちの最小値を、前記増加した移動物体の数量とすることを含む、方法。
請求項8に記載の方法であって、
確立されたK個の無向グラフに基づいて、K個の増加した移動物体の数量をそれぞれ計算することは、
前記K個の無向グラフのうちの各無向グラフ中の連通域を検出し；
各連通域中の移動物体の数量の和をそれぞれ計算し、そして、各連通域中の移動物体の数量の和の和を計算することにより、増加した移動物体の数量を取得し、そのうち、現在のフレームの前のKフレームの各領域の移動物体の数量を負の数と設定することを含む、方法。
請求項7に記載の方法であって、
前記線形回帰係数及び前記スケールパラメータを得ることをさらに含み、
前記線形回帰係数及び前記スケールパラメータを得ることは、
トレーニングのための画像を抽出し；
抽出された画像に対して背景モデリングを行い、２値画像を取得し；
前記２値画像に対してグループ分割を行い；
グループ分割後の各領域の特徴を計算し；及び
前記各領域の特徴に基づいて線形学習モデルに対してトレーニングを行い、前記線形回帰係数及び前記スケールパラメータを得ることを含む、方法。
請求項7に記載の方法であって、
前記前記２値画像に対してグループ分割を行うことは、
前記２値画像に対してモーフォロジー操作を行い；
モーフォロジー操作後の２値画像に対して連通域の標識付けを行い、複数の領域を取得し；及び
前記複数の領域のうちの、ピクセル数量が所定の閾値よりも小さい領域を除去し、グループ分割後の各領域を得ることを含む、方法。
請求項7に記載の方法であって、
前記各領域の特徴は、前記領域の面積、前記領域の周長、前記領域の周長と面積との比、前記領域の各辺縁方向のヒストグラム、及び前記領域の各辺縁のピクセルの数量の和、のうちの少なくとも一つを含む、方法。