JP2017151582A - カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法 - Google Patents
カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法 Download PDFInfo
- Publication number
- JP2017151582A JP2017151582A JP2016031624A JP2016031624A JP2017151582A JP 2017151582 A JP2017151582 A JP 2017151582A JP 2016031624 A JP2016031624 A JP 2016031624A JP 2016031624 A JP2016031624 A JP 2016031624A JP 2017151582 A JP2017151582 A JP 2017151582A
- Authority
- JP
- Japan
- Prior art keywords
- person
- foreground image
- image
- area
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 34
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000010191 image analysis Methods 0.000 claims description 33
- 206010047571 Visual impairment Diseases 0.000 claims description 28
- 239000000284 extract Substances 0.000 claims description 11
- 238000003703 image analysis method Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 17
- 238000012545 processing Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
Description
また、複数のカメラで個々に追跡した人物動線を統合することにより、追跡の失敗や動線の入れ替わりを防ぐ技術もある(例えば特許文献3参照)。
更に、複数のカメラを用いることなく、連続的な追跡結果からオクルージョンが発生している前景画像を分割することによって個々の人物領域に分離して、人物間オクルージョンを解消する技術もある(例えば特許文献4参照)。
更に、オクルージョン領域を輝度変化に基づいて領域分割することにより、個々の人物領域に分離し、正確な人数を計測する技術もある(例えば特許文献5参照)。この技術によれば、天井に設置されたカメラを想定し、撮影画像から抽出した前景画像から、人物の頭部領域のみを検出する。これによって、非人物の雑音領域を除外し、人物領域を高精度に検出することができる。
連続的な撮影画像から、異なる頻度で更新される複数の背景画像を用いた背景差分によって、同一時刻のフレームに対して複数の前景画像i(i=1〜n、n>1)を抽出する前景画像抽出手段と、
最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまでの全ての前景画像から、人物領域を検出する人物領域検出手段と、
当該人物領域が映る更新頻度が最も高い前景画像iを、フレームの時間経過に応じて動線で結ぶ人物領域追跡手段と、
複数の人物領域同士でオクルージョンが発生した際に、人物領域毎の動線の相違によって人物を識別する人物領域識別手段と
を有することを特徴とする。
人物領域追跡手段は、当該人物領域が最低更新頻度の前景画像i=nから検出されない場合、当該人物領域の動線を除外することも好ましい。
人物領域検出手段は、同一時刻のフレームについて、当該前景画像iよりも更新頻度が高い先の前景画像(<i)で既に検出された人物領域で、当該前景画像iを画像的にマスクすることも好ましい。
人物領域追跡手段は、最低更新頻度の前景画像i=nに人物領域が最初に映り込んだ際に、当該人物領域の動線の追跡を開始することも好ましい。
人物領域識別手段は、
移動中の人物の後方で、静止中の人物が遮蔽された場合、移動中の人物における人物領域の動線は、静止中の人物における人物領域の動線と異なり、
次の時刻のフレームで、移動中の人物による遮蔽が解消した静止中の人物における人物領域の動線は、最高更新頻度の前景画像i=1に映り込む
ことによってオクルージョン発生時の人物を識別することも好ましい。
人物領域識別手段は、
静止中の人物の後方で、移動中の人物が遮蔽された場合、移動中の人物における人物領域の動線と、静止中の人物における人物領域の動線とが一致し、
次の時刻のフレームで、静止中の人物による遮蔽が解消した移動中の人物における人物領域の動線は、最高更新頻度の前景画像i=1に映り込む
ことによってオクルージョン発生時の人物を識別することも好ましい。
人物領域検出手段は、先の時刻のフレームの中で動線を結ぶ前景画像に映る当該人物領域の画像特徴量を用いて、次の時刻のフレームについて、最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまで順に、マッチングによって人物領域を検出することも好ましい。
前景画像抽出手段は、最低更新頻度の前景画像i=nの段階nについて、
人物領域追跡手段によって検出された動線の数(追跡中の人数)に応じて、
人物領域識別手段によって検出されたオクルージョン領域の最大人数に応じて、
又は、
人物領域識別手段によって検出されたオクルージョン領域の最大面積に応じて
可変されることも好ましい。
人物領域検出手段は、前景画像iについて、前景画像i=nに映る人物領域以外の部分を、残像領域として除外することも好ましい。
連続的な撮影画像から、異なる頻度で更新される複数の背景画像を用いた背景差分によって、同一時刻のフレームに対して複数の前景画像i(i=1〜n、n>1)を抽出する前景画像抽出手段と、
最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまでの全ての前景画像から、人物領域を検出する人物領域検出手段と、
当該人物領域が映る更新頻度が最も高い前景画像iを、フレームの時間経過に応じて動線で結ぶ人物領域追跡手段と、
複数の人物領域同士でオクルージョンが発生した際に、人物領域毎の動線の相違によって人物を識別する人物領域識別手段と
してコンピュータを機能させることを特徴とする。
装置は、
連続的な撮影画像から、異なる頻度で更新される複数の背景画像を用いた背景差分によって、同一時刻のフレームに対して複数の前景画像i(i=1〜n、n>1)を抽出する第1のステップと、
最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまでの全ての前景画像から、人物領域を検出する第2のステップと、
当該人物領域が映る更新頻度が最も高い前景画像iを、フレームの時間経過に応じて動線で結ぶ第3のステップと、
複数の人物領域同士でオクルージョンが発生した際に、人物領域毎の動線の相違によって人物を識別する第4のステップと
を実行することを特徴とする。
尚、これら機能構成部は、画像解析装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成からなる処理の流れは、装置における画像解析方法としても理解される。
前景画像抽出部11は、連続的な撮影画像から、異なる頻度で更新される複数の背景モデルを用いた背景差分によって、前景画像を抽出する。例えば背景差分やフレーム間差分のような公知技術を用いたものであってもよいし、前述した特許文献5の記載の技術を用いたものであってもよい。尚、背景差分法の中でも、例えば混合ガウス分布(MoG)を用いる場合、「学習率」や「サンプリングレート」が、「静止した前景画像が背景とみなされる速さ」を調整するパラメータに相当する。
前景画像i=1は、最高頻度で更新される(最も高い場合は毎フレーム更新される)背景画像に基づいて抽出される。
同様に、前景画像i=nは、最低頻度で更新される(最も低い場合は、実行中に一切更新されない)背景画像に基づいて抽出される。
前景画像i=1には、移動中の人物の人物領域のみが映り込むことが期待される(静止中の人物は背景画像となって検出されない)。前景画像i=1は、d1(d1>0)フレーム前の画像とのフレーム差分(d=d1)を取る。例えばd1=1とすることができる。
前景画像i=2は、d2(d2>d1)フレーム前の画像とのフレーム差分(d=2)を取る。例えばd2=2とすることができる。
・・・・・
前景画像i=nは、静止中及び移動中の全ての人物の人物領域が映り込むことが期待される。前景画像i=nによれば、前景画像nは、人物が存在しない過去(dnフレーム前)の背景画像とのフレーム差分(d=dn, dn>dn-1)を取る。又は、背景モデルを更新しない場合、dn=ts(tsは初期フレームからの経過時間)としてもよいし、別途入力される背景画像(事前に無人の撮影シーンを撮影することで取得することが望ましい)との差分を取ってもよい。
例えば、背景モデルの更新頻度や、フレーム差分の間隔d1、d2、・・・、dn[frame]を調整することによって、前景画像を抽出する人物の移動時間の範囲を調整することができる。また、実行中にd1、d2、・・・、dnを動的に調整することも可能である。
但し、前景画像の枚数が増えるほど処理負荷が増加するため、リアルタイム性が要求される。そのために、前景画像の枚数nは、必要最小限の数に抑えることが好ましい。勿論、撮影画像中の人物が1人である場合、オクルージョンは発生しないために、その時間帯に限っては前景画像n=1として処理することが好ましい。
前景画像抽出部11は、最低更新頻度の前景画像i=nの段階nについて、以下の3つの実施形態に応じて可変とすることも好ましい。これにより、処理負荷とロバスト性の両立が可能となる。
(段階制御1)人物領域追跡部13からフィードバックされた動線の数(追跡中の人数)に応じて、前景画像の段階nを可変する。例えば追跡人数が少ないほど、前景画像の段階を少なくする。
(段階制御2)人物領域識別部14からフィードバックされたオクルージョン領域の最大人数に応じて、前景画像の段階nを可変する。例えばオクルージョン領域の最大人数が少ないほど、前景画像の段階を少なくする。例えば、前景画像の段階nを、追跡人数と同数に設定してもよい。
(段階制御3)人物領域識別部14からフィードバックされたオクルージョン領域の最大面積に応じて、前景画像の段階nを可変する。例えばオクルージョン領域の最大面積が小さいほど、前景画像の段階を少なくする。
人物領域検出部12は、最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまでの全ての前景画像から、マッチングによって人物領域を検出する。
図6は、完全な人物間オクルージョンを表す説明図である。
撮影画像に移動中の人物が映る場合、更新頻度の高い前景画像ほど、実際に人物が存在する実像領域と、実際には人物が存在しない残像領域とが映り込む。残像領域とは、実際に人物が存在していないにも拘わらず、背景画像内の人物が移動したことによって前景画像として検出されたものである。
前景画像から人物領域候補のマッチングは、3次元距離最小のペアを対応付けてもよいし、以下のような式で表される領域の重複率に基づいて対応付けてもよい。
S12=(A1∩A2)/(A1∪A2)
S12:領域A1とA2との一致度(重複率)
A1∩A2:領域A1とA2との重複領域の面積
A1∪A2:領域A1とA2との包含領域の面積
即ち、マッチングとは、前景画像から抽出された人物領域の集合の中で、重複率が最も高い人物領域候補を探索することを意味する。
まず、人物領域の集合の中で、重複率が最も高い人物領域ペアを対応付ける。次に、選択したそのペアを人物領域の集合から取り除き、再び、重複率が最も高い人物領域ペアを対応付ける。これを、重複率が所定閾値を超えるペアが無くなるまで、又は、一方のフレームの人物領域の集合の全人物領域の選択を完了するまで、繰り返す。これによって、人物領域のフレーム間を追跡(対応付け)することできる。
尚、貪欲法以外にも、ハンガリアン法等、選択する全ペアの重複率の総和が最大となるようにマッチングする方法や、選択するペア数が最大となるようにマッチングする方法もある。
人物領域検出部12は、先の時刻のフレームt-1の中で動線を結ぶ前景画像に映る当該人物領域の画像特徴量を用いて、次の時刻のフレームtについて、最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまで順に、マッチングによって人物領域を検出する。ここで、画像特徴量は、人物領域の外縁形状又は面積であってもよい。
例えば図6によれば、人物Bの人物領域は、前景画像i=n=2ではマッチングによって検出されない。このとき、他の人物によって完全に遮蔽された可能性を考慮し、オクルージョンを判定する。具体的には、より上位の前景画像に映り込む人物Bの人物領域を用いて、例えば以下の式によって判定する。
C12=A1/(A1∪A2)
C12:領域A1とA2との包含率
A1:領域A1の面積(例えば上位の前景画像に映る人物Bの人物領域)
A1∪A2:領域A1とA2との包含領域の面積
(前景画像nに映るオクルージョン領域)
例えば図6によれば、人物Bの人物領域を、マッチング済みの人物Cの人物領域が包含するために、人物Bは人物Cに完全に遮蔽されたと判定する。
完全な遮蔽が発生している領域の構成人数がnpの場合、ある1通りのマッチング方法を、以下のものとする。
Mi=[m1,・・・,mj,・・・,mnp](i=1,・・・,NM)
ここで、以下の式のコスト最小化によって、類似度の総和(例えば総積)を最大化するマッチング方法を選択することができる。
cost=Σnp jD(mj)
D(mj)は、マッチングした1つのペアの距離を表し、画像特徴のユークリッド距離や、移動時間の差の絶対値、移動量の差のノルム等を用いることができる。人物の画像特徴の抽出については、HOG特徴量や色ヒストグラムなどの、公知の技術を用いることができる。
又は、遮蔽が発生する前の画像をテンプレートとして保存しておき、遮蔽される後方側の人物については、テンプレートの画像特徴と、人物領域候補の画像特徴との類似度を評価してもよい。
人物領域追跡部13は、最低更新頻度の前景画像i=nに人物領域が最初に映り込んだ際に、当該人物領域の動線の追跡を開始する。前景画像i=nについて、更新頻度が高い前景画像でマッチングされない(残っている)人物領域は、新規に撮影画像内に映り込んだ人物の可能性が高い。これらを新規の人物として動線の追跡を開始する。また、精度を高めるために、別途信頼性の高い人物判定の処理を実行し、人物と判定されたもののみを人物領域として検出してもよい。
人物領域識別部14は、複数の人物領域同士でオクルージョンが発生した際に、人物領域毎の動線の相違によって人物を識別する。即ち、人物間オクルージョンが発生しても、動線が相違する限り、各人物の動線を識別する。
(条件1)移動中の人物の後方で、静止中の人物が遮蔽された場合の条件
移動中の人物における人物領域の動線は、静止中の人物における人物領域の動線と異なる。この場合、次の時刻のフレームで、移動中の人物による遮蔽が解消した静止中の人物における人物領域の動線は、最高更新頻度の前景画像i=1に映り込む。
(条件2)静止中の人物の後方で、移動中の人物が遮蔽された場合の条件
移動中の人物における人物領域の動線と、静止中の人物における人物領域の動線とが一致する。この場合、次の時刻のフレームで、静止中の人物による遮蔽が解消した移動中の人物における人物領域の動線は、最高更新頻度の前景画像i=1に映り込む。
図7によれば、移動中の人物の後方で、静止中の人物が遮蔽された場合、移動中の人物における人物領域の動線と、静止中の人物における人物領域の動線とが一致する。
図8によれば、静止中の人物の後方で、移動中の人物が遮蔽された場合、移動中の人物における人物領域の動線は、静止中の人物における人物領域の動線と異なっている。
図7及び図8について、フレームt-5〜t-1までは全く同じ人物追跡となっている。
(前景画像i=1)人物Aの人物領域と、その近くに人物Aの残像領域とが映り込んでいる。人物Aの残像領域に当たる前景領域は、当該領域がi=3に映り込んでいないことで残像領域と判別できるため、人物領域とは見なされずに除外される。以下の説明でも、残像領域は、人物領域とは見なされずに除外されることとする。
(前景画像i=2)人物Aの人物領域のみが映り込んでいる。
(前景画像i=3)人物Aの人物領域のみが映り込んでいる。最低更新頻度の前景画像i=3に初めて人物検出を開始したために、その後、人物Aの動線の追跡を開始する。
(前景画像i=1)人物Aの人物領域と、その近くに残像領域とが映り込んでいる。
(前景画像i=2)人物Aの人物領域と、少し離れて残像領域とが映り込んでいる。ここで、前景画像i=2から、前景画像i=1に映り込む人物領域を、画像的にマスクする。
(前景画像i=3)人物Aの人物領域のみが映り込んでいるが、前景画像i=3から、前景画像i=1に映り込む人物領域を、画像的にマスクしている。このとき、当該人物領域が映る更新頻度が最も高い前景画像i=1を時間経過に応じて動線で結ぶ。人物Aについて、t-5の前景画像i=3から、t-4の前景画像i=1に動線を結ぶ。
(前景画像i=1)新たな人物Bの人物領域は検出されるが、人物Aの人物領域は、静止によって背景画像と一致して検出できない。
(前景画像i=2)人物A及びBの人物領域が検出されると共に、少し離れて残像領域も検出される。ここでは、前景画像i=2は、前景画像i=1よりも更新頻度が低いために、静止した人物Aはまだ検出できる。
(前景画像i=3)人物Aの人物領域と、人物Bの人物領域とが映り込んでいる。その上で、前景画像i=3から、前景画像i=2に映り込む人物Aの人物領域を、画像的にマスクする。
人物Aについて、t-4の前景画像i=1から、t-3の前景画像i=2に動線を結ぶ。
人物Bについて、最低更新頻度の前景画像i=3に初めてその人物領域(人物B)が映り込んだために、その後、当該人物Bの動線の追跡を開始する。
(前景画像i=1)人物B及びCの人物領域は検出されるが、人物Aの人物領域は、静止によって背景画像と一致して検出できない。また、人物Bの人物領域の左横には、その人物Bの残像領域が映り込んでいる。
(前景画像i=2)人物B及びCの人物領域が検出される。人物Aの人物領域は、静止によって背景画像と一致して検出できない。その上で、前景画像i=2から、前景画像i=1に映り込む人物Bの人物領域を、画像的にマスクする。
(前景画像i=3)人物A、B、Cの人物領域が映り込んでいる。その上で、前景画像i=3から、前景画像i=1に映り込む人物Bの人物領域を、画像的にマスクする。
前景画像i=3は、前景画像i=2よりも更新頻度が低いために、静止した人物Aの人物領域は、まだ検出できている。
人物Aについて、t-3の前景画像i=2から、t-2の前景画像i=3に動線を結ぶ。
人物Bについて、t-3の前景画像i=3から、t-2の前景画像i=1に動線を結ぶ。
人物Cについて、最低更新頻度の前景画像i=3に初めてその人物領域(人物C)が映り込んだために、その後、当該人物Cの動線の追跡を開始する。
(前景画像i=1)人物Cの人物領域は検出できるが、人物A及びBの人物領域は、静止によって背景画像と一致して検出できない。また、人物Cの左上には、その人物Cの残像領域が映り込んでいる。
(前景画像i=2)人物B及びCの人物領域が検出される。人物Aの人物領域は、静止によって背景画像と一致して検出できない。また、人物Bの人物領域の左横には、その人物Bの残像領域が映り込んでいる。その上で、前景画像i=2から、前景画像i=1に映り込む人物Cの人物領域を、画像的にマスクする。
(前景画像i=3)人物A、B、Cの人物領域が映り込んでいる。その上で、前景画像i=3から、前景画像i=1,2に映り込む人物B及びCの人物領域を、画像的にマスクする。
前景画像i=3は、前景画像i=2よりも更新頻度が低いために、静止した人物Aの人物領域は、まだ検出できている。
人物Aについて、t-2の前景画像i=3から、t-1の前景画像i=3に動線を結ぶ。
人物Bについて、t-2の前景画像i=1から、t-1の前景画像i=2に動線を結ぶ。
人物Cについて、t-2の前景画像i=3から、t-1の前景画像i=1に動線を結ぶ。
[フレームt]移動中の人物Cの後方で、静止中の人物Bが遮蔽されたとする。
(前景画像i=1)人物Cの人物領域は検出できるが、人物A及びBの人物領域は、静止によって背景画像と一致して検出できない。また、人物Cの人物領域の左横には、その人物Cの残像領域が映り込んでいる。
(前景画像i=2)人物Cの人物領域が検出される。人物A及びBの人物領域は、静止によって背景画像と一致して検出できない。また、人物Cの人物領域から少し離れて、その人物Cの残像領域が映り込んでいる。その上で、前景画像i=2から、前景画像i=1に映り込む人物Cの人物領域を、画像的にマスクする。
(前景画像i=3)人物A、B、Cの人物領域が映り込んでいるが、人物A及びCが完全なオクルージョンを発生している。ここで、前景画像i=3から、前景画像i=1に映り込む人物Cの人物領域を、画像的にマスクする。
人物Aについて、人物Cと完全なオクルージョンが発生したことを認識したために、t-1の前景画像i=3から、tの前景画像i=3のオクルージョン部分に動線を結ぶ。
人物Bについて、t-1の前景画像i=2から、tの前景画像i=3に動線を結ぶ。
人物Cについて、t-1の前景画像i=1から、tの前景画像i=1に動線を結ぶ。
(前景画像i=1)人物Cの人物領域が検出されると共に、オクルージョンが解消し、遮蔽されていた静止中の人物Aの人物領域が新たに映り込む。即ち、オクルージョン解消後の時刻t+1について、オクルージョンを発生していた人物A及び人物Cの両方が、前景画像i=1に映り込む。
(前景画像i=2)人物Cの人物領域が検出される。人物A及びBの人物領域は、静止によって背景画像と一致して検出できない。また、人物Cの人物領域から少し離れて、その人物Cの残像領域が映り込んでいる。その上で、前景画像i=2から、前景画像i=1に映り込む人物Cの人物領域を、画像的にマスクする。
(前景画像i=3)人物A、B、Cの人物領域が映り込んでいる。ここで、前景画像i=3から、前景画像i=1に映り込む人物B及びCの人物領域を、画像的にマスクする。
人物Aについて、tの前景画像i=3から、t+1の前景画像i=1に動線を結ぶ。
人物Bについて、tの前景画像i=3から、t+1の前景画像i=3に動線を結ぶ。
人物Cについて、tの前景画像i=1から、t+1の前景画像i=1に動線を結ぶ。
このように、フレームt及びフレームt+1から、完全なオクルージョンを発生した人物A及びCを識別して追跡することができる。
(前景画像i=1)人物Cの人物領域は検出されない。また、人物A及びBの人物領域は、静止によって背景画像と一致して検出できない。但し、人物Cの残像領域のみが映り込んでいる。
(前景画像i=2)人物Aの人物領域のみが検出される。人物Bの人物領域は、静止によって背景画像と一致して検出できない。
(前景画像i=3)人物A、Bの人物領域が映り込んでいる。その上で、前景画像i=3から、前景画像i=2に映り込む人物Aの人物領域を、画像的にマスクする。
人物Aについて、t+1の前景画像i=1から、t+2の前景画像i=2に動線を結ぶ。
人物Bについて、t+1の前景画像i=3から、t+2の前景画像i=3に動線を結ぶ。
人物Cについて、t+2の前景画像i=3にも映り込んでおらず、追跡が終了される。
(前景画像i=1)人物A及びBの人物領域は、静止によって背景画像と一致して検出できない。
(前景画像i=2)人物A及びBの人物領域は、静止によって背景画像と一致して検出できない。但し、人物Cの残像領域のみが映り込んでいる。
(前景画像i=3)人物A、Bの人物領域が映り込んでいる。
人物Aについて、t+2の前景画像i=2から、t+3の前景画像i=3に動線を結ぶ。
人物Bについて、t+2の前景画像i=3から、t+3の前景画像i=3に動線を結ぶ。
[フレームt]静止中の人物Aの後方で、移動中の人物Cが遮蔽されたとする。
(前景画像i=1)人物Cの人物領域は検出できない。人物A及びBの人物領域は、静止によって背景画像と一致して検出できない。但し、人物Cの残像領域のみが映り込んでいる。
(前景画像i=2)人物Cの人物領域は検出できない。人物A及びBの人物領域は、静止によって背景画像と一致して検出できない。但し、人物Cの残像領域のみが映り込んでいる。
(前景画像i=3)人物A、B、Cの人物領域が映り込んでいるが、人物A及びCが完全なオクルージョンを発生している。
人物Aについて、t-1の前景画像i=3から、tの前景画像i=3に動線を結ぶ。
人物Bについて、t-1の前景画像i=2から、tの前景画像i=3に動線を結ぶ。
人物Cについて、人物Aと完全なオクルージョンが発生したことを認識したために、t-1の前景画像i=3から、tの前景画像i=3のオクルージョン部分に動線を結ぶ。
(前景画像i=1)オクルージョンが解消し、遮蔽されていた人物Cの人物領域が検出される。人物A及びBの人物領域は、静止によって背景画像と一致して検出できない。即ち、オクルージョン解消後の時刻t+1について、オクルージョンの後方で遮蔽されていた人物Cのみが、前景画像i=1に映り込む。
(前景画像i=2)人物A及びBの人物領域は、静止によって背景画像と一致して検出できない。また、人物Cの人物領域から少し離れて、その人物Cの残像領域が映り込んでいる。その上で、前景画像i=2から、前景画像i=1に映り込む人物Cの人物領域を、画像的にマスクする。
(前景画像i=3)人物A、B、Cの人物領域が映り込んでいる。ここで、前景画像i=3から、前景画像i=1に映り込む人物Cの人物領域を、画像的にマスクする。
人物Aについて、tの前景画像i=3から、t+1の前景画像i=3に動線を結ぶ。
人物Bについて、tの前景画像i=3から、t+1の前景画像i=3に動線を結ぶ。
人物Cについて、tの前景画像i=3から、t+1の前景画像i=1に動線を結ぶ。
このように、フレームt及びフレームt+1から、完全なオクルージョンを発生した人物A及びCを識別して追跡することができる。
(前景画像i=1)人物Cの人物領域は検出されない。また、人物A及びBの人物領域は、静止によって背景画像と一致して検出できない。但し、人物Cの残像領域のみが映り込んでいる。
(前景画像i=2)人物A及びBの人物領域は、静止によって背景画像と一致して検出できない。
(前景画像i=3)人物A、Bの人物領域が映り込んでいる。
人物Aについて、t+1の前景画像i=3から、t+2の前景画像i=3に動線を結ぶ。
人物Bについて、t+1の前景画像i=3から、t+2の前景画像i=3に動線を結ぶ。
人物Cについて、t+1の前景画像i=3にも映り込んでおらず、追跡が終了される。
(前景画像i=1)人物A及びBの人物領域は、静止によって背景画像と一致して検出できない。
(前景画像i=2)人物A及びBの人物領域は、静止によって背景画像と一致して検出できない。但し、人物Cの残像領域のみが映り込んでいる。
(前景画像i=3)人物A、Bの人物領域が映り込んでいる。
人物Aについて、t+2の前景画像i=3から、t+3の前景画像i=3に動線を結ぶ。
人物Bについて、t+2の前景画像i=3から、t+3の前景画像i=3に動線を結ぶ。
11 前景画像抽出部
12 人物領域検出部
13 人物領域追跡部
14 人物領域識別部
2 全方位カメラ
Claims (11)
- カメラによる連続的な撮影画像の中から人物を追跡する画像解析装置において、
連続的な撮影画像から、異なる頻度で更新される複数の背景画像を用いた背景差分によって、同一時刻のフレームに対して複数の前景画像i(i=1〜n、n>1)を抽出する前景画像抽出手段と、
最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまでの全ての前景画像から、人物領域を検出する人物領域検出手段と、
当該人物領域が映る更新頻度が最も高い前景画像iを、フレームの時間経過に応じて動線で結ぶ人物領域追跡手段と、
複数の人物領域同士でオクルージョンが発生した際に、人物領域毎の動線の相違によって人物を識別する人物領域識別手段と
を有することを特徴とする画像解析装置。 - 前記人物領域追跡手段は、当該人物領域が最低更新頻度の前景画像i=nから検出されない場合、当該人物領域の動線を除外する
ことを特徴とする請求項1に記載の画像解析装置。 - 前記人物領域検出手段は、同一時刻のフレームについて、当該前景画像iよりも更新頻度が高い先の前景画像(<i)で既に検出された人物領域で、当該前景画像iを画像的にマスクする
ことを特徴とする請求項1又は2に記載の画像解析装置。 - 前記人物領域追跡手段は、最低更新頻度の前景画像i=nに人物領域が最初に映り込んだ際に、当該人物領域の動線の追跡を開始する
ことを特徴とする請求項1から3のいずれか1項に記載の画像解析装置。 - 前記人物領域識別手段は、
移動中の人物の後方で、静止中の人物が遮蔽された場合、移動中の人物における人物領域の動線は、静止中の人物における人物領域の動線と異なり、
次の時刻のフレームで、移動中の人物による遮蔽が解消した静止中の人物における人物領域の動線は、最高更新頻度の前景画像i=1に映り込む
ことによってオクルージョン発生時の人物を識別する
ことを特徴とする請求項4に記載の画像解析装置。 - 前記人物領域識別手段は、
静止中の人物の後方で、移動中の人物が遮蔽された場合、移動中の人物における人物領域の動線と、静止中の人物における人物領域の動線とが一致し、
次の時刻のフレームで、静止中の人物による遮蔽が解消した移動中の人物における人物領域の動線は、最高更新頻度の前景画像i=1に映り込む
ことによってオクルージョン発生時の人物を識別する
ことを特徴とする請求項4又は5に記載の画像解析装置。 - 前記人物領域検出手段は、先の時刻のフレームの中で動線を結ぶ前景画像に映る当該人物領域の画像特徴量を用いて、次の時刻のフレームについて、最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまで順に、マッチングによって人物領域を検出する
ことを特徴とする請求項1から6のいずれか1項に記載の画像解析装置。 - 前記前景画像抽出手段は、最低更新頻度の前景画像i=nの段階nについて、
前記人物領域追跡手段によって検出された動線の数(追跡中の人数)に応じて、
前記人物領域識別手段によって検出されたオクルージョン領域の最大人数に応じて、
又は、
前記人物領域識別手段によって検出されたオクルージョン領域の最大面積に応じて
可変される
ことを特徴とする請求項1から7のいずれか1項に記載の画像解析装置。 - 前記人物領域検出手段は、前景画像iについて、前景画像i=nに映る人物領域以外の部分を、残像領域として除外する
ことを特徴とする請求項1から8のいずれか1項に記載の画像解析装置。 - カメラによる連続的な撮影画像の中から人物を識別する装置に搭載されたコンピュータを機能させる画像解析用のプログラムにおいて、
連続的な撮影画像から、異なる頻度で更新される複数の背景画像を用いた背景差分によって、同一時刻のフレームに対して複数の前景画像i(i=1〜n、n>1)を抽出する前景画像抽出手段と、
最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまでの全ての前景画像から、人物領域を検出する人物領域検出手段と、
当該人物領域が映る更新頻度が最も高い前景画像iを、フレームの時間経過に応じて動線で結ぶ人物領域追跡手段と、
複数の人物領域同士でオクルージョンが発生した際に、人物領域毎の動線の相違によって人物を識別する人物領域識別手段と
してコンピュータを機能させることを特徴とする画像解析用のプログラム。 - カメラによる連続的な撮影画像の中から人物を識別する装置の画像解析方法において、
前記装置は、
連続的な撮影画像から、異なる頻度で更新される複数の背景画像を用いた背景差分によって、同一時刻のフレームに対して複数の前景画像i(i=1〜n、n>1)を抽出する第1のステップと、
最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまでの全ての前景画像から、人物領域を検出する第2のステップと、
当該人物領域が映る更新頻度が最も高い前景画像iを、フレームの時間経過に応じて動線で結ぶ第3のステップと、
複数の人物領域同士でオクルージョンが発生した際に、人物領域毎の動線の相違によって人物を識別する第4のステップと
を実行することを特徴とする装置の画像解析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016031624A JP6548306B2 (ja) | 2016-02-23 | 2016-02-23 | カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016031624A JP6548306B2 (ja) | 2016-02-23 | 2016-02-23 | カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017151582A true JP2017151582A (ja) | 2017-08-31 |
JP6548306B2 JP6548306B2 (ja) | 2019-07-24 |
Family
ID=59738927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016031624A Active JP6548306B2 (ja) | 2016-02-23 | 2016-02-23 | カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6548306B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021033374A (ja) * | 2019-08-15 | 2021-03-01 | セコム株式会社 | 対象物認識装置、対象物認識方法、及び対象物認識プログラム |
WO2021038800A1 (ja) | 2019-08-29 | 2021-03-04 | 富士通株式会社 | 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004007174A (ja) * | 2002-05-31 | 2004-01-08 | Toshiba Corp | 画像処理システム、画像処理方法、画像処理プログラム |
JP2009075802A (ja) * | 2007-09-20 | 2009-04-09 | Giken Torasutemu Kk | 人物行動検索装置 |
JP2010193458A (ja) * | 2009-02-19 | 2010-09-02 | Sony Europe Ltd | 画像処理装置、画像処理システム及び画像処理方法 |
JP2013033317A (ja) * | 2011-08-01 | 2013-02-14 | Sony Corp | 画像処理装置、画像処理方法、及び、プログラム |
JP2013240013A (ja) * | 2012-05-17 | 2013-11-28 | Canon Inc | 映像処理装置、追尾物体の管理方法、および、プログラム |
-
2016
- 2016-02-23 JP JP2016031624A patent/JP6548306B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004007174A (ja) * | 2002-05-31 | 2004-01-08 | Toshiba Corp | 画像処理システム、画像処理方法、画像処理プログラム |
JP2009075802A (ja) * | 2007-09-20 | 2009-04-09 | Giken Torasutemu Kk | 人物行動検索装置 |
JP2010193458A (ja) * | 2009-02-19 | 2010-09-02 | Sony Europe Ltd | 画像処理装置、画像処理システム及び画像処理方法 |
JP2013033317A (ja) * | 2011-08-01 | 2013-02-14 | Sony Corp | 画像処理装置、画像処理方法、及び、プログラム |
JP2013240013A (ja) * | 2012-05-17 | 2013-11-28 | Canon Inc | 映像処理装置、追尾物体の管理方法、および、プログラム |
Non-Patent Citations (1)
Title |
---|
和田 亮 AKIRA WADA: "複数人物の行動軌跡自動抽出法に関する一検討 An Automatic Extraction Method for Motion Loci of Severa", 映像情報メディア学会技術報告 VOL.23 NO.33 ITE TECHNICAL REPORT, vol. 第23巻, JPN6019015080, 18 May 1999 (1999-05-18), JP, pages 7 - 12, ISSN: 0004024806 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021033374A (ja) * | 2019-08-15 | 2021-03-01 | セコム株式会社 | 対象物認識装置、対象物認識方法、及び対象物認識プログラム |
JP7349290B2 (ja) | 2019-08-15 | 2023-09-22 | セコム株式会社 | 対象物認識装置、対象物認識方法、及び対象物認識プログラム |
WO2021038800A1 (ja) | 2019-08-29 | 2021-03-04 | 富士通株式会社 | 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6548306B2 (ja) | 2019-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10417503B2 (en) | Image processing apparatus and image processing method | |
CN110334569B (zh) | 客流量进出识别方法、装置、设备及存储介质 | |
JP4700477B2 (ja) | 移動体監視システムおよび移動体特徴量算出装置 | |
JP5001260B2 (ja) | オブジェクト追跡方法及びオブジェクト追跡装置 | |
CN112883819A (zh) | 多目标跟踪方法、装置、系统及计算机可读存储介质 | |
KR20180032400A (ko) | 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치 및 그 방법 | |
CN109784130B (zh) | 行人重识别方法及其装置和设备 | |
US9704264B2 (en) | Method for tracking a target in an image sequence, taking the dynamics of the target into consideration | |
JP5754990B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN108596157B (zh) | 一种基于运动检测的人群惊扰场景检测方法及系统 | |
JP6789601B2 (ja) | 所定画像領域をマスクした撮影映像を学習映像として選択する学習映像選択装置、プログラム及び方法 | |
CN110675426B (zh) | 人体跟踪方法、装置、设备及存储介质 | |
CN110175553B (zh) | 基于步态识别与人脸识别建立特征库的方法及装置 | |
CN106920250A (zh) | 基于rgb‑d视频的机器人目标识别与定位方法及系统 | |
JP2017117244A (ja) | カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法 | |
CN110334568B (zh) | 轨迹生成与监控方法、装置、设备及存储介质 | |
KR20230081016A (ko) | 복수의 카메라를 이용하여 객체를 추적하는 장치, 방법 및 컴퓨터 프로그램 | |
JP2017151582A (ja) | カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法 | |
Mohedano et al. | Robust 3d people tracking and positioning system in a semi-overlapped multi-camera environment | |
CN114677608A (zh) | 身份特征生成方法、设备及存储介质 | |
KR20080079506A (ko) | 촬영장치 및 이의 대상 추적방법 | |
Wang et al. | Automatic detection and tracking of precast walls from surveillance construction site videos | |
JP2017068375A (ja) | 複数のカメラ間での人物の追跡装置、追跡方法及びプログラム | |
JP6504711B2 (ja) | 画像処理装置 | |
CN111368608B (zh) | 一种人脸识别方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180306 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190313 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190612 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190621 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6548306 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |