JP2018093423A - 画像処理プログラム、画像処理装置および画像処理方法 - Google Patents

画像処理プログラム、画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP2018093423A
JP2018093423A JP2016236689A JP2016236689A JP2018093423A JP 2018093423 A JP2018093423 A JP 2018093423A JP 2016236689 A JP2016236689 A JP 2016236689A JP 2016236689 A JP2016236689 A JP 2016236689A JP 2018093423 A JP2018093423 A JP 2018093423A
Authority
JP
Japan
Prior art keywords
feature
region
person
similarity
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016236689A
Other languages
English (en)
Other versions
JP6844230B2 (ja
Inventor
明燮 鄭
Mingbian Zheng
明燮 鄭
馬場 孝之
Takayuki Baba
孝之 馬場
上原 祐介
Yusuke Uehara
祐介 上原
信浩 宮▲崎▼
Nobuhiro Miyazaki
信浩 宮▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016236689A priority Critical patent/JP6844230B2/ja
Publication of JP2018093423A publication Critical patent/JP2018093423A/ja
Application granted granted Critical
Publication of JP6844230B2 publication Critical patent/JP6844230B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 複数の撮像装置で撮像された同一の対象物の対応付けの精度の低下を抑制する。【解決手段】 画像処理プログラムは、複数の撮像装置で撮像される画像から検出した対象物の一部が遮蔽される場合、全体領域のうちの遮蔽物で遮蔽される領域を除く領域を対象物の特徴領域として抽出し、特徴領域が全体領域の面積に占める領域割合と、全体領域に対する特徴領域の相対位置とを算出し、処理対象の対象物の特徴領域の特徴量と比較対象の対象物の特徴領域の特徴量とを用いて、処理対象の対象物と比較対象の対象物との特徴領域の第1類似度を算出し、処理対象の対象物の複数の特徴領域を領域割合と相対位置とに基づいて組み合わせ、組み合わせた特徴領域の各々の領域割合と第1類似度とに基づいて、処理対象の対象物と比較対象の対象物との全体の類似度として第2類似度を算出し、同一の対象物を第2類似度に基づいて対応付ける処理をコンピュータに実行させる。【選択図】 図1

Description

本発明は、画像処理プログラム、画像処理装置および画像処理方法に関する。
監視カメラ等の撮像装置により異なる時刻に撮像された画像から人物を検出して追跡する方法が知られている(例えば、特許文献1、2、3参照)。人物の検出方法として、人の特徴量を学習し、入力画像から人の領域を検出する方法が提案されている(例えば、非特許文献1参照)。
また、複数の撮像装置により撮像された画像を用いて、人物を追跡する追跡方法が知られている(例えば、特許文献4参照)。この種の追跡方法では、例えば、検出した顔の画像を正面向きに補正して顔の特徴を抽出し、正面向きの顔画像の特徴データに基づいて顔の照合を実行する。また、照合対象の人物の向きが複数の撮像装置により撮像された画像間で異なる場合、各画像から検出した人物の領域のうちの重畳する部分を用いて、同一人物か否かを判定する画像処理方法が提案されている(例えば、特許文献5参照)。
また、異なる画像から検出された人物が同一人物か否かを判定する方法として、人物の全身を含む全身領域を分割した各領域の特徴量を学習し、全身領域の特徴量を照合することで同一人物か否かを判定する方法が提案されている(例えば、非特許文献2参照)。
特開2013−196034号公報 特開2010−157924号公報 特開2008−109552号公報 特開2010−56720号公報 特開2015−2547号公報
山内悠嗣, 山下隆義, 藤吉弘亘"Boostingに基づく特徴量の共起表現による人検出", 信学論D, Vol. J92-D, No. 8, pp. 1125-1134, 2009. Shengcai Liao, Yang Hu, Xiangyu Zhu, and Stan Z. Li, "Person Re-Identification by Local Maximal Occurrence Representation and Metric Learning", IEEE Conference on Computer Vision and Pattern Recognition, pp. 2197-2206, 2015.
撮像装置と照合対象の人物との間に、他の人物、看板等の遮蔽物が存在する場合がある。例えば、2つの撮像装置のうちの一方の撮像装置と照合対象の人物との間に遮蔽物が存在する場合、一方の撮像装置で撮像された画像から検出される照合対象の人物の領域は、照合対象の人物の全身領域のうち、遮蔽物で遮蔽される遮蔽領域を除いた領域である。この場合、一方の撮像装置で撮像された画像から検出された照合対象の人物の領域と他方の撮像装置で撮像された画像から検出された照合対象の人物の領域との互いに重畳する重畳部分の類似度が、2つの撮像装置で撮像された人物間の類似度として算出される。
このように、2つの撮像装置で撮像された人物間の類似度の算出に使用される重畳部分は、遮蔽領域が大きくなるほど、小さくなる。このため、遮蔽領域が大きくなるほど、2つの撮像装置で撮像された人物間の類似度の算出精度が低下し、2つの撮像装置で撮像された同一人物の対応付けの精度が低下する。
1つの側面では、本発明は、画像から検出した対象物の一部が遮蔽される場合であっても、複数の撮像装置で撮像された同一の対象物の対応付けの精度の低下を抑制することを目的とする。
プログラムの一観点によれば、複数の撮像装置によりそれぞれ撮像される画像から対象物を検出し、画像から検出した対象物が遮蔽されない場合、対象物の全体を含む全体領域を対象物の特徴領域として抽出し、画像から検出した対象物の一部が遮蔽される場合、全体領域のうちの遮蔽物で遮蔽される領域を除く領域を対象物の特徴領域として抽出し、特徴領域が全体領域の面積に占める割合である領域割合と、全体領域に対する特徴領域の相対的な位置である相対位置とを算出し、特徴領域の特徴量を算出し、複数の撮像装置のうちの同一の撮像装置により撮像された複数のフレームの画像から検出した同一の対象物のうちの処理対象の対象物の複数の特徴領域毎に、処理対象の対象物の特徴領域の特徴量と処理対象の対象物を撮像した撮像装置以外の撮像装置により撮像された比較対象の対象物の特徴領域の特徴量とを用いて、処理対象の対象物と比較対象の対象物との特徴領域の類似度である第1類似度を算出し、処理対象の対象物の複数の特徴領域を領域割合と相対位置とに基づいて組み合わせ、組み合わせた特徴領域の各々の領域割合と第1類似度とに基づいて、処理対象の対象物と比較対象の対象物との全体の類似度として第2類似度を算出し、複数の撮像装置によりそれぞれ撮像される同一の対象物を第2類似度に基づいて対応付ける処理をコンピュータに実行させるための画像処理プログラムが提供される。
1つの実施態様では、画像処理装置は、複数の撮像装置によりそれぞれ撮像される画像から対象物を検出する対象物領域検出部と、画像から検出した対象物が遮蔽されない場合、対象物の全体を含む全体領域を対象物の特徴領域として抽出し、画像から検出した対象物の一部が遮蔽される場合、全体領域のうちの遮蔽物で遮蔽される領域を除く領域を対象物の特徴領域として抽出し、特徴領域が全体領域の面積に占める割合である領域割合と、全体領域に対する特徴領域の相対的な位置である相対位置とを算出する特徴領域抽出部と、特徴領域の特徴量を算出する特徴量算出部と、複数の撮像装置のうちの同一の撮像装置により撮像された複数のフレームの画像から検出した同一の対象物のうちの処理対象の対象物の複数の特徴領域毎に、処理対象の対象物の特徴領域の特徴量と処理対象の対象物を撮像した撮像装置以外の撮像装置により撮像された比較対象の対象物の特徴領域の特徴量とを用いて、処理対象の対象物と比較対象の対象物との特徴領域の類似度である第1類似度を算出する第1類似度算出部と、処理対象の対象物の複数の特徴領域を領域割合と相対位置とに基づいて組み合わせ、組み合わせた特徴領域の各々の領域割合と第1類似度とに基づいて、処理対象の対象物と比較対象の対象物との全体の類似度として第2類似度を算出する第2類似度算出部と、複数の撮像装置によりそれぞれ撮像される同一の対象物を第2類似度に基づいて対応付ける対応付け部とを有する。
方法の一観点によれば、コンピュータが、複数の撮像装置によりそれぞれ撮像される画像から対象物を検出し、画像から検出した対象物が遮蔽されない場合、対象物の全体を含む全体領域を対象物の特徴領域として抽出し、画像から検出した対象物の一部が遮蔽される場合、全体領域のうちの遮蔽物で遮蔽される領域を除く領域を対象物の特徴領域として抽出し、特徴領域が全体領域の面積に占める割合である領域割合と、全体領域に対する特徴領域の相対的な位置である相対位置とを算出し、特徴領域の特徴量を算出し、複数の撮像装置のうちの同一の撮像装置により撮像された複数のフレームの画像から検出した同一の対象物のうちの処理対象の対象物の複数の特徴領域毎に、処理対象の対象物の特徴領域の特徴量と処理対象の対象物を撮像した撮像装置以外の撮像装置により撮像された比較対象の対象物の特徴領域の特徴量とを用いて、処理対象の対象物と比較対象の対象物との特徴領域の類似度である第1類似度を算出し、処理対象の対象物の複数の特徴領域を領域割合と相対位置とに基づいて組み合わせ、組み合わせた特徴領域の各々の領域割合と第1類似度とに基づいて、処理対象の対象物と比較対象の対象物との全体の類似度として第2類似度を算出し、複数の撮像装置によりそれぞれ撮像される同一の対象物を第2類似度に基づいて対応付ける画像処理方法が提供される。
1つの側面では、本発明は、画像から検出した対象物の一部が遮蔽される場合であっても、複数の撮像装置で撮像された同一の対象物の対応付けの精度の低下を抑制できる。
画像処理装置、画像処理方法および画像処理プログラムの一実施形態を示す図である。 画像処理装置、画像処理方法および画像処理プログラムの別の実施形態を示す図である。 図2に示した正規化部の動作の概要を示す図である。 図2に示した特徴領域抽出部の動作の概要を示す図である。 図2に示したデータベースの一例を示す図である。 重畳判定の概要を示す図である。 図2に示した選択部の動作の概要を示す図である。 図2に示した組み合わせ部の動作の概要を示す図である。 図2に示した画像処理装置の動作の一例を示す図である。 図9に示した重畳判定処理の一例を示す図である。 図9に示した組み合わせ処理の一例を示す図である。 画像処理装置、画像処理方法および画像処理プログラムの別の実施形態を示す図である。 図12に示した共通領域算出部の動作の概要を示す図である。 図12に示した画像処理装置の動作の一例を示す図である。 画像処理プログラムを実行するハードウェアの一例を示す図である。 画像処理プログラムを使用するシステムの一例を示す図である。
以下、実施形態について、図面を用いて説明する。以下では、画像の上下方向に人物の一部が遮蔽される例を用いて画像処理装置の動作を説明するが、画像処理装置の動作は、画像の上下方向に人物の一部が遮蔽される場合に限定されない。なお、人物は、対象物の一例である。
図1は、画像処理装置、画像処理方法および画像処理プログラムの一実施形態を示す。図1に示す画像処理装置10は、例えば、人物80を追跡するシステムに用いられ、複数の撮像装置60(60A、60B)間で撮像された同一人物を対応付ける画像処理を実行する。撮像装置60は、例えば、地点A、地点B等の監視対象の各地点に設置される監視カメラ等であり、インターネット等のネットワークを介して画像処理装置10に接続される。
なお、画像処理装置10は、ハードウェアのみで実現されてもよく、ハードウェアをソフトウェアで制御することにより実現されてもよい。例えば、画像処理プログラム等のソフトウェアで制御されるコンピュータが画像処理装置10の画像処理を実行してもよい。図1の括弧内に、画像処理の概要の一例を示す。
画像処理装置10は、人物領域検出部22、特徴領域抽出部26、特徴量算出部30、第1類似度算出部44、第2類似度算出部46および対応付け部50を有する。人物領域検出部22は、複数の撮像装置60によりそれぞれ撮像される画像70から対象物を検出する対象物領域検出部の一例である。例えば、人物領域検出部22は、複数の撮像装置60によりそれぞれ撮像される画像70(70i、70m、70n)から人物80(80o、80p、80q、80r、80s)を検出する。
図1に示す例では、人物領域検出部22は、撮像装置60Aにより撮像されたフレームiの画像70iから人物80r、80sを矩形の領域(画像70i内に示した破線の矩形)として検出する。また、人物領域検出部22は、撮像装置60Bにより撮像されたフレームmの画像70mから人物80o、80pを矩形の領域(画像70m内に示した破線の矩形)として検出する。さらに、人物領域検出部22は、撮像装置60Bにより撮像されたフレームnの画像70nから人物80o、80qを矩形の領域(画像70m内に示した破線の矩形)として検出する。なお、同一の撮像装置60で撮像された複数のフレームの画像70間では、人物領域検出部22は、同一の人物80を追跡可能である。
ここで、画像70から人物80を矩形の領域として検出する方法は、例えば、非特許文献1に開示されている。なお、画像70から人物80を検出する方法は、非特許文献1に開示されている方法に限定されない。例えば、人物領域検出部22は、人物80が存在しない背景画像を予め保持し、画像70から背景画像を差し引いた差分画像に基づいて人物80を検出してもよい。
図1に示すように、画像70から検出される人物80の領域(矩形の領域)は、人物80の全身を含む全身領域を示す。以下、画像70から検出される人物80の領域(矩形の領域)は、人物領域90または全身領域90とも称される。なお、人物80の全身を含む全身領域90は、対象物の全体を含む全体領域の一例である。
特徴領域抽出部26は、人物領域検出部22により検出された人物領域90から人物80の特徴領域92を抽出する。例えば、特徴領域抽出部26は、画像70から検出した人物80が遮蔽されない場合、人物80の全身を含む全身領域90を人物80の特徴領域92として抽出する。また、特徴領域抽出部26は、画像70から検出した人物80の一部が遮蔽される場合、全身領域90のうち、他の人物80、看板等の遮蔽物で遮蔽される領域94を除く領域を、人物80の特徴領域92として抽出する。以下、全身領域90のうち、遮蔽物で遮蔽される領域94は、遮蔽領域94とも称される。
図1に示す例では、特徴領域抽出部26は、画像70iから検出された人物80r、80sが遮蔽されていないため、全身領域90ri、90siを人物80r、80sの特徴領域92r1、92siとしてそれぞれ抽出する。また、特徴領域抽出部26は、画像70mから検出された人物80oが他の人物80pにより遮蔽されているため、全身領域90omのうち、人物80pで遮蔽される遮蔽領域94mを除く領域92omを、人物80oの特徴領域92omとして抽出する。同様に、特徴領域抽出部26は、画像70nから検出された人物80oが看板84により遮蔽されているため、全身領域90onのうち、看板84で遮蔽される遮蔽領域94nを除く領域92onを、人物80oの特徴領域92onとして抽出する。
そして、特徴領域抽出部26は、特徴領域92が全身領域90の面積に占める割合である領域割合と、全身領域90に対する特徴領域92の相対的な位置である相対位置とを算出する。
特徴量算出部30は、特徴領域抽出部26により抽出された特徴領域92の特徴量を算出する。例えば、特徴量算出部30は、色相(H)、彩度(S)、明度(V)の3つの成分を含む色空間であるHSVモデルの各成分のヒストグラム(以下、HSV色ヒストグラムとも称する)を特徴量として、特徴領域92毎に算出する。なお、特徴領域92の特徴量は、HSV色ヒストグラムに限定されない。
第1類似度算出部44は、処理対象の人物80の複数の特徴領域92毎に、処理対象の人物80の特徴領域92の特徴量と比較対象の人物80の特徴領域92の特徴量とを用いて、処理対象の人物80と比較対象の人物80との特徴領域92の類似度を算出する。処理対象の人物80は、例えば、追跡対象(対応付けの対象)の人物80であり、複数の撮像装置60のうちの同一の撮像装置60により撮像された複数のフレームの画像70から検出した同一の人物のうち一人である。また、比較対象の人物80は、処理対象の人物80と同一の人物80の候補であり、処理対象の人物80を撮像した撮像装置60以外の撮像装置60により撮像された人物80である。類似度は、値が高くなるほど対象の領域が互いに類似していることを示す。
図1に示す例では、処理対象の人物80は、撮像装置60Bにより撮像された複数のフレームm、nの画像70m、70nから検出された人物80oである。また、比較対象の人物80は、処理対象の人物80oを撮像した撮像装置60B以外の撮像装置60Aにより撮像された人物80r、80sである。なお、例えば、撮像装置60Bが処理対象の人物80oを最初に撮像した時刻(以下、撮像時刻とも称する)より後に、撮像装置60Aの撮像範囲外に移動した人物80は、処理対象の人物80oと同一の人物80の候補から除外される。すなわち、比較対象の人物80r、80sは、例えば、撮像装置60Bが処理対象の人物80oを最初に撮像した時刻より前に、撮像装置60Aの撮像範囲外に移動した人物80である。
例えば、第1類似度算出部44は、人物80oの特徴領域92omと人物80rの特徴領域92riとの互いに対応する部分の特徴量を照合し、照合結果に基づいて、人物80rに対する人物80oの特徴領域92omの類似度を算出する。また、第1類似度算出部44は、人物80oの特徴領域92onと人物80rの特徴領域92riとの互いに対応する部分の特徴量を照合し、照合結果に基づいて、人物80rに対する人物80oの特徴領域92onの類似度を算出する。これにより、処理対象の人物80oの特徴領域92o(92om、92on)毎に、処理対象の人物80oと比較対象の人物80rとの互いに対応する部分の類似度が、人物80oと人物80rとの特徴領域92oの類似度として算出される。
同様に、第1類似度算出部44は、人物80oの特徴領域92omと人物80sの特徴領域92siとの互いに対応する部分の特徴量を照合し、照合結果に基づいて、人物80sに対する人物80oの特徴領域92omの類似度を算出する。また、第1類似度算出部44は、人物80oの特徴領域92onと人物80sの特徴領域92siとの互いに対応する部分の特徴量を照合し、照合結果に基づいて、人物80sに対する人物80oの特徴領域92onの類似度を算出する。これにより、処理対象の人物80oの特徴領域92o(92om、92on)毎に、処理対象の人物80oと比較対象の人物80sとの互いに対応する部分の類似度が、人物80oと人物80sとの特徴領域92oの類似度として算出される。以下、処理対象の人物80と比較対象の人物80との特徴領域92の類似度は、第1類似度とも称される。
第2類似度算出部46は、処理対象の人物80の複数の特徴領域92を、特徴領域抽出部26で算出した領域割合および相対位置に基づいて組み合わせる。そして、第2類似度算出部46は、領域割合および相対位置に基づいて組み合わせた特徴領域92の各々の領域割合と第1類似度とに基づいて、処理対象の人物80と比較対象の人物80との全身の類似度として第2類似度を算出する。
例えば、第2類似度算出部46は、処理対象の人物80oの特徴領域92om、92onを、特徴領域92om、92onの領域割合と特徴領域92om、92onの相対位置とに基づいて組み合わせる。そして、第2類似度算出部46は、人物80oと人物80rとの特徴領域92om、92onのそれぞれの第1類似度を特徴領域92om、onの領域割合に応じて重み付け加算して、人物80oと人物80rとの第2類似度を算出する。同様に、第2類似度算出部46は、人物80oと人物80sとの特徴領域92om、92onのそれぞれの第1類似度を特徴領域92om、onの領域割合に応じて重み付け加算して、人物80oと人物80sとの第2類似度を算出する。
なお、第2類似度算出部46は、例えば、処理対象の人物80の複数の特徴領域92が互いに重なる場合、互いに重なる複数の特徴領域92のうち、第1類似度が最も高い特徴領域92を、第2類似度の算出に使用する特徴領域92として採用する。例えば、特徴領域92omと重なる特徴領域92oがフレームm以外のフレームの画像70から検出された場合、特徴領域92omと、特徴領域92omに重なる特徴領域92oとのうち、第1類似度が最も高い特徴領域92oが、第2類似度の算出に使用される。
対応付け部50は、複数の撮像装置60によりそれぞれ撮像される同一の人物80を第2類似度に基づいて対応付ける。例えば、特徴領域92omの第1類似度が人物80rと人物80sとでほぼ同じで、人物80sとの特徴領域92onの第1類似度が人物80rとの特徴領域92onの第1類似度より高い場合、第2類似度は、人物80rより人物80sの方が高くなる。この場合、対応付け部50は、比較対象の人物80r、80sのうち、第2類似度算出部46で算出した第2類似度が高い方の人物80sを、処理対象の人物80oと同一の人物80として対応付ける。
すなわち、対応付け部50は、比較対象の人物80r、80sのうち、第2類似度算出部46で算出した第2類似度が高い方の人物80を、処理対象の人物80oと同一の人物80として対応付ける。なお、対応付け部50は、比較対象の人物80が3人以上の場合、最も高い第2類似度の人物80を処理対象の人物80oと同一の人物80として対応付ける。また、対応付け部50は、最も高い第2類似度が予め決められた類似度より低い場合、処理対象の人物80oが他の撮像装置60で撮像されていないと判定してもよい。
このように、画像処理装置10は、処理対象の人物80の複数の特徴領域92を、特徴領域92の領域割合および相対位置に基づいて、全身領域90に近づくように組み合わせる。そして、画像処理装置10は、全身領域90に近づくように組み合わせた複数の特徴領域92の各々の第1類似度を領域割合に応じて重み付け加算して算出した第2類似度を、処理対象の人物80の全身の類似度として使用する。これにより、画像処理装置10は、処理対象の人物80の全身領域90が他の人物80等の遮蔽物で遮蔽される場合でも、複数の撮像装置60で撮像された処理対象の人物80(同一人物)の対応付けの精度の低下を抑制できる。
ここで、例えば、1つのフレームmの画像70mから検出された人物領域90omと比較対象の人物80の人物領域90との共通領域(例えば、人物領域90から遮蔽領域94を除いた領域)のみを用いた照合では、対応付けを失敗する場合がある。例えば、人物80rと人物80oとの特徴領域92omの第1類似度が人物80sと人物80oとの特徴領域92omの第1類似度とほぼ同じ場合、人物80rを処理対象の人物80oと同一の人物80として対応付けるおそれがある。また、1つのフレームnの画像70nから検出された人物領域90onと比較対象の人物80の人物領域90との共通領域のみを用いた照合では、人物80oと比較対象の人物80との類似度が低下し、人物80oと同一の人物を検出できないおそれがある。このように、互いに異なるフレームの複数の特徴領域92を組み合わせて算出した第2類似度を用いない方法では、遮蔽物により共通領域が小さくなると、対応付けを失敗する場合がある。
これに対し、画像処理装置10では、上述したように、互いに異なるフレームの複数の特徴領域92を組み合わせて算出した第2類似度に基づいて、複数の撮像装置60で撮像された処理対象の人物80(同一人物)の対応付けを実行する。これにより、人物領域90が遮蔽物に遮蔽されて1フレームでの共通領域(例えば、特徴領域92)が小さくなる場合でも、対応付けの失敗を抑制することができる。なお、画像処理装置10の構成および動作は、図1に示す例に限定されない。
以上、図1に示す実施形態では、画像処理装置10は、複数の撮像装置に60よりそれぞれ撮像される画像70から人物80を検出する。そして、画像処理装置10は、画像70から検出した人物80が遮蔽されない場合、人物80の全身を含む全身領域90を人物80の特徴領域92として抽出する。また、画像処理装置10は、画像70から検出した人物80の一部が遮蔽される場合、全身領域90のうちの遮蔽物で遮蔽される領域94を除く領域を人物80の特徴領域92として抽出する。そして、画像処理装置10は、特徴領域92が全身領域90の面積に占める割合である領域割合と、全身領域90に対する特徴領域92の相対的な位置である相対位置とを算出する。さらに、画像処理装置10は、特徴領域92の特徴量を算出する。
また、画像処理装置10は、処理対象の人物80の特徴領域92毎に、処理対象の人物80の特徴領域92の特徴量と比較対象の人物80の特徴領域92の特徴量とを用いて、処理対象の人物80と比較対象の人物80との特徴領域92の第1類似度を算出する。そして、画像処理装置10は、処理対象の人物80の複数の特徴領域92を領域割合と相対位置とに基づいて組み合わせ、組み合わせた特徴領域92の各々の領域割合と第1類似度とに基づいて、処理対象の人物80と比較対象の人物80との第2類似度を算出する。また、画像処理装置10は、複数の撮像装置60によりそれぞれ撮像される同一の人物80を第2類似度に基づいて対応付ける。なお、第2類似度は、上述したように、処理対象の人物80と比較対象の人物80との全身の類似度に相当する。
このように、画像処理装置10は、複数の特徴領域92を組み合わせて算出した第2類似度(人物80間の全身の類似度に相当する類似度)に基づいて、複数の撮像装置60で撮像された同一人物を対応付ける。このため、画像70から検出した人物80(対象物)の一部が遮蔽される場合であっても、複数の撮像装置60で撮像された同一人物(同一の対象物)の対応付けの精度の低下を抑制することができる。
図2は、画像処理装置、画像処理方法および画像処理プログラムの別の実施形態を示す。図1で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図2に示す画像処理装置100は、例えば、図1に示した画像処理装置10と同様に、地点A、地点B等の監視対象の各地点に設置される撮像装置60にインターネット等のネットワークを介して接続され、人物80を追跡するシステムに用いられる。例えば、画像処理装置100は、複数の撮像装置60(60A、60B)間で撮像された同一人物を対応付ける画像処理を実行する。なお、画像処理装置100は、ハードウェアのみで実現されてもよく、ハードウェアをソフトウェアで制御することにより実現されてもよい。例えば、画像処理プログラム等のソフトウェアで制御されるコンピュータが画像処理装置100の画像処理を実行してもよい。
画像処理装置100は、画像取得部120、人物検出部200、特徴量算出部300、照合部400、判定部500および出力部520を有する。画像取得部120は、各撮像装置60により撮像された画像70を取得し、各撮像装置60から取得した画像70を人物検出部200に転送する。なお、例えば、画像70の取得は、画像70のデータを取得することにより実現され、画像70の転送は、画像70のデータを転送することにより実現される。
人物検出部200は、画像70から人物80を検出し、検出した人物80の全身領域90から特徴領域92を抽出する。そして、人物検出部200は、人物80の特徴領域92に関する情報を特徴量算出部300に出力する。例えば、人物検出部200は、人物領域検出部220、正規化部240および特徴領域抽出部260を有する。
人物領域検出部220は、図1に示した人物領域検出部22と同一または同様である。例えば、人物領域検出部220は、画像70から人物80を矩形の領域として検出する処理を画像取得部120から受けた画像70に対して実行することにより、複数の撮像装置60によりそれぞれ撮像される画像70から人物80を検出する。そして、人物領域検出部220は、画像70から検出した人物80の全身領域90(人物領域90)に関する情報を正規化部240等に出力する。
正規化部240は、人物領域検出部220により検出された人物80の全身領域90のサイズを正規化する。例えば、正規化部240は、平均身長の人物80をモデル化して予め算出した基準サイズに基づいて、人物80の全身領域90のサイズを正規化する。そして、正規化部240は、正規化後の全身領域90に関する情報を特徴領域抽出部260等に出力する。なお、正規化部240の動作の詳細は、図3で説明する。
特徴領域抽出部260は、図1に示した特徴領域抽出部26と同一または同様である。例えば、特徴領域抽出部260は、人物領域検出部220により検出された人物80の全身領域90から人物80の特徴領域92を抽出する。そして、特徴領域抽出部260は、特徴領域92に関する情報を特徴量算出部300に出力する。なお、特徴領域抽出部260の動作の詳細は、図4で説明する。
特徴量算出部300は、図1に示した特徴量算出部30と同一または同様である。例えば、特徴量算出部300は、特徴領域92の特徴量等を登録するデータベース320を有する。そして、特徴量算出部300は、例えば、特徴領域抽出部260により抽出された特徴領域92毎にHSV色ヒストグラムを算出し、特徴領域92のHSV色ヒストグラムを特徴領域92の特徴量としてデータベース320に登録する。なお、特徴領域92の特徴量は、HSV色ヒストグラムに限定されない。データベース320は、図示しないメモリ等の記憶装置に格納され、照合部400等により参照される。データベース320に登録される項目の詳細は、図5で説明する。
照合部400は、処理対象の人物80と比較対象の人物80との照合を、特徴量算出部300で算出した特徴領域92の特徴量を用いて実行する。例えば、照合部400は、重畳判定部420、選択部440、組み合わせ部460および比較部480を有する。
重畳判定部420は、例えば、複数のフレームの画像70から算出された処理対象の人物80の複数の特徴領域92が互いに重畳するか否かを判定する重畳判定を実行する。そして、重畳判定部420は、重畳判定の結果を選択部440に出力する。なお、重畳判定の詳細は、図6で説明する。
選択部440は、処理対象の人物80と比較対象の人物80との特徴領域92の類似度である第1類似度を算出する第1類似度算出部の一例である。すなわち、選択部440は、図1に示した第1類似度算出部44と同一または同様の機能を有する。例えば、選択部440は、処理対象の人物80の複数の特徴領域92毎に、処理対象の人物80の特徴領域92の特徴量と比較対象の人物80の特徴領域92の特徴量とを用いて、処理対象の人物80と比較対象の人物80との第1類似度を算出する。そして、選択部440は、第1類似度に関する情報等を組み合わせ部460に出力する。
なお、選択部440は、処理対象の人物80の複数の特徴領域92のうちの少なくとも2つが互いに重畳する場合、互いに重畳する特徴領域92のうち、第1類似度が最も高い特徴領域92を、組み合わせ部460で使用する特徴領域92として選択する。互いに重畳する特徴領域92は、重畳判定部420による重畳判定の結果に基づいて特定される。なお、選択部440の動作の詳細は、図7で説明する。
組み合わせ部460は、処理対象の人物80と比較対象の人物80との全身の類似度として第2類似度を算出する第2類似度算出部の一例である。すなわち、組み合わせ部460は、図1に示した第2類似度算出部46と同一または同様の機能を有する。例えば、組み合わせ部460は、処理対象の人物80の複数の特徴領域92を、特徴領域抽出部260で算出した領域割合および相対位置に基づいて組み合わせる。そして、組み合わせ部460は、領域割合および相対位置に基づいて組み合わせた特徴領域92の各々の領域割合と第1類似度とに基づいて、処理対象の人物80と比較対象の人物80との全身の類似度として第2類似度を算出する。なお、組み合わせ部460の動作の詳細は、図8で説明する。
比較部480は、処理対象の人物80と比較対象の人物80との第2類似度に関する情報を組み合わせ部460から受ける。そして、比較部480は、処理対象の人物80と同一の人物80の候補となる全ての比較対象の人物80のうち、処理対象の人物80との第2類似度が最も高い比較対象の人物80を選択し、選択した比較対象の人物80に関する情報を判定部500に出力する。例えば、比較部480は、処理対象の人物80との第2類似度を、処理対象の人物80と同一の人物80の候補となる全ての比較対象の人物80で比較し、比較結果に基づいて、処理対象の人物80との第2類似度が最も高い比較対象の人物80を選択する。
判定部500は、複数の撮像装置60によりそれぞれ撮像される同一の人物80を第2類似度に基づいて対応付ける対応付け部の一例である。すなわち、判定部500は、図1に示した対応付け部50と同一または同様の機能を有する。例えば、判定部500は、処理対象の人物80と同一の人物80の候補となる全ての比較対象の人物80のうち、比較部480で選択された比較対象の人物80を、処理対象の人物80oと同一の人物80として対応付ける。すなわち、判定部500は、処理対象の人物80と同一の人物80の候補となる全ての比較対象の人物80のうち、処理対象の人物80との第2類似度が最も高い比較対象の人物80を、処理対象の人物80oと同一の人物80と判定する。そして、判定部500は、判定結果を出力部520に出力する。なお、判定部500は、比較部480で選択された比較対象の人物80の第2類似度が予め決められた類似度より低い場合、処理対象の人物80が他の撮像装置60で撮像されていないと判定してもよい。
出力部520は、判定部500による判定結果、すなわち、複数の撮像装置60で撮像された同一人物の対応付けの結果を、図示しないディスプレイ等の表示装置に出力する。なお、画像処理装置100の構成は、図2に示す例に限定されない。例えば、データベース320は、特徴量算出部300の外部に設けられてもよい。また、例えば、判定部500は、比較部480の機能を有してもよい。
図3は、図2に示した正規化部240の動作の概要を示す。例えば、平均身長の人物80stdをモデル化した全身領域90(90sa、90sb)のサイズが画像70上のY軸の座標値毎に予め計測される。これにより、図3に示すように、画像70上のY軸の座標値に応じたサイズの全身領域90sa、90sbが予め検出される。例えば、人物80stdの画像70上のY軸の位置に応じて、幅Wsa×高さHsaのサイズの全身領域90saと、幅Wsb×高さHsbのサイズの全身領域90sbとが検出される。検出された全身領域90sa、90sb等は、幅Wnmz×高さHnmzの基準サイズの全身領域90nmzに正規化される。
したがって、正規化部240は、平均身長の人物80stdをモデル化して予め算出した基準サイズと画像70上のY軸の座標値との関係に基づいて、人物80の全身領域90のサイズを正規化する。これにより、人物80の画像70上の位置に拘わらず、基準サイズに統一された全身領域90が算出される。
また、全身領域90が基準サイズに基づいて正規化されるため、全身領域90の頂点のいずれかが遮蔽されている場合でも、全身領域90の遮蔽されていない頂点の画像70上の座標に基づいて、全身領域90の遮蔽された頂点の座標を算出することができる。
図4は、図2に示した特徴領域抽出部260の動作の概要を示す。図4に示す例では、人物80bの一部は、撮像装置60と人物80bとの間に存在する人物80aにより、遮蔽される。例えば、特徴領域抽出部260は、遮蔽面積SAが予め指定される閾値Thより大きい場合、画像70から検出した人物80bの全身領域90bのうち、人物80aにより遮蔽される遮蔽領域94bを除く領域を、人物80bの特徴領域92bとして抽出する。遮蔽面積SAは、例えば、全身領域90aの始点SPa(x10、y10)および終点EPa(x12、y12)と全身領域90bの始点SPb(x20、y20)および終点EPb(x22、y22)とを用いて、式(1)で表される。
SA=(x22−x10)×(y22−y10) ‥‥(1)
なお、始点SPは、全身領域90の左上の角の位置を示し、終点EPは、全身領域90の右下の角の位置を示す。値x10、x12、x20、x22は、画像70上のX軸の座標値を示し、値y10、y12、y20、y22は、画像70上のY軸の座標値を示す。
遮蔽面積SAが閾値Th(例えば、Th=0)より大きい場合、上述したように、全身領域90から遮蔽領域94を除いた領域が特徴領域92として抽出される。図4に示す例では、全身領域90bから遮蔽領域94bを除いた特徴領域92bの始点SPbの座標は、座標(x20、y20)であり、終点EP2bの座標は、座標(x22、y10)である。
また、特徴領域抽出部260は、特徴領域92が全身領域90の面積に占める割合である領域割合RAと、全身領域90に対する特徴領域92の相対的な位置である相対位置RPとを算出する。
特徴領域92bの領域割合RAは、例えば、全身領域90aの始点SPa(x10、y10)および終点EPa(x12、y12)と全身領域90bの始点SPb(x20、y20)および終点EPb(x22、y22)とを用いて、式(2)で表される。
RA=(y10−y20)/(y22−y20) ‥‥(2)
また、特徴領域92bの相対位置RPは、例えば、全身領域90aの始点SPa(x10、y10)および終点EPa(x12、y12)と全身領域90bの始点SPb(x20、y20)および終点EPb(x22、y22)とを用いて、式(3)で表される。
RP(SY、EY)=(0、(y10−y20)/(y22−y20)) ‥‥(3)
なお、相対位置RPは、遮蔽の上下関係を想定し、全身領域90のY軸上の範囲を0から1とした場合の特徴領域92のY軸上の相対的な位置を示す。始点SYは、特徴領域92のY軸方向の開始位置の全身領域90に対する相対的な位置を示し、終点EYは、特徴領域92のY軸方向の終了位置の全身領域90に対する相対的な位置を示す。
すなわち、相対位置RPは、例えば、領域割合RAを用いて、全身領域90の終点EPが遮蔽される場合、式(4)で表され、全身領域90の始点SPが遮蔽される場合、式(5)で表される。また、遮蔽面積SAが閾値Th以下の場合、相対位置RPは、例えば、式(6)で表される。
RP(SY、EY)=(0、RA) ‥‥(4)
RP(SY、EY)=(1−RA、1) ‥‥(5)
RP(SY、EY)=(0、1) ‥‥(6)
このように、特徴領域抽出部260は、画像70から検出した人物80の一部が遮蔽される場合(例えば、遮蔽面積SAが閾値Thより大きい場合)、全身領域90のうちの遮蔽物で遮蔽される遮蔽領域94を除く領域を、人物80の特徴領域92として抽出する。また、特徴領域抽出部260は、画像70から検出した人物80が遮蔽されない場合(例えば、遮蔽面積SAが閾値Th以下の場合)、人物80bの全身領域90bを人物80bの特徴領域92bとして抽出する。
なお、全身領域90が基準サイズに基づいて正規化されるため、全身領域90の頂点のいずれかが遮蔽されている場合でも、全身領域90の遮蔽されていない頂点の画像70上の座標に基づいて、全身領域90の遮蔽された頂点の座標を算出することができる。これにより、特徴領域抽出部260は、全身領域90と遮蔽領域94との位置関係を特定でき、特徴領域92の領域割合、相対位置等を算出できる。
また、特徴領域抽出部260の動作は、図4に示す例に限定されない。例えば、遮蔽面積SAの算出に用いる式は、式(1)に限定されない。
図5は、図2に示したデータベース320の一例を示す。データベース320には、各撮像装置60で撮像された人物80毎に、人物識別番号、撮像装置番号、検出フレーム数、特徴量データCHDが登録される。
人物識別番号は、人物80を識別するための識別番号である。同一の撮像装置60で撮像された複数のフレームの画像70から検出される同一の人物80には、同じ識別番号が付与される。撮像装置番号は、撮像装置60毎に付与される識別番号である。検出フレーム数は、人物識別番号に対応する人物80が検出された画像70の数、すなわち、フレーム数を示す。
各人物80の特徴量データCHDは、人物識別番号に対応する人物80が検出された画像70のフレーム毎に、フレーム番号、撮像時刻、特徴領域92の座標、特徴領域92の特徴量、領域割合RAおよび相対位置RPを有する。フレーム番号は、人物識別番号に対応する人物80が検出された画像70のフレームを示す番号である。撮像時刻は、フレーム番号に対応するフレームの画像70が撮像された時刻を示す。特徴領域92の座標は、特徴領域92の始点SP(x、y)および終点EP(x、y)を示す。特徴領域92の特徴量は、例えば、特徴領域92のHSV色ヒストグラムを示す。なお、データベース320に登録される項目は、図5に示す例に限定されない。
図6は、重畳判定の概要を示す。重畳判定部420は、人物検出部200によりフレーム毎に検出された特徴領域92の相対位置RP(SY、EY)を用いて、フレーム毎に検出された特徴領域92を重ね合わせる。そして、重畳判定部420は、相対位置RPの始点SYおよび終点EYの少なくとも一方が互いに一致する特徴領域92を、互いに重畳する特徴領域92と判定する。
例えば、人物検出部200は、フレーム1、フレーム2およびフレーム3の画像70から処理対象の人物80oの全身領域90o1、90o2、90o3をそれぞれ検出する。そして、人物検出部200は、人物80oの全身領域90o1、90o2、90o3から特徴領域92o1、92o2、92o3をそれぞれ抽出し、特徴領域92o1、92o2、92o3の相対位置RP1、RP2、RP3をそれぞれ算出する。
そして、重畳判定部420は、フレーム毎に検出された特徴領域92o1、92o2、92o3の相対位置RP1、RP2、RP3を用いて、特徴領域92o1、92o2、92o3を重ね合わせる。図6に示す例では、相対位置RP1(SY1、EY1)の始点SY1は、相対位置RP2(SY2、EY2)の始点SY2と一致する。この場合、重畳判定部420は、特徴領域92o1、92o2が互いに重畳すると判定し、特徴領域92o1、92o2が互いに重畳することを示す情報(重畳判定の結果)を選択部440に出力する。
なお、特徴領域92o2、92o3の一部は互いに重畳するが、特徴領域92o2の相対位置RP2の始点SY2と特徴領域92o3の相対位置RP3の始点SY3とは互いに異なる。さらに、特徴領域92o2の相対位置RP2の終点EY2と特徴領域92o3の相対位置RP3の終点EY3とが互いに異なる。このため、重畳判定部420による重畳判定では、特徴領域92o2、92o3は、互いに重畳する特徴領域92とは判定されない。特徴領域92o2、92o3の互いに重畳する重畳部分は、図8に示すように、組み合わせ部460で判定される。
このように、重畳判定部420は、特徴領域92の相対位置RPの始点SYが互いに一致する特徴領域92を、互いに重畳する特徴領域92と判定する。同様に、重畳判定部420は、特徴領域92の相対位置RPの終点EYが互いに一致する特徴領域92を、互いに重畳する特徴領域92と判定する。重畳判定は、互いに異なるフレームの画像70から検出された処理対象の人物80oの全ての特徴領域92に対して実行される。なお、重畳判定の処理は、図6に示す例に限定されない。
図7は、図2に示した選択部440の動作の概要を示す。選択部440は、地点Bの処理対象の人物80oの特徴領域92o(92o1、92o2、92o3)に対応する領域を、地点Aの比較対象の人物80sの特徴領域92sから選択し、各特徴領域92oの類似度(第1類似度)を算出する。例えば、選択部440は、人物80oの特徴領域92oと人物80sの特徴領域92sとの対応する部分のHSV色ヒストグラムを特徴領域92o毎に比較する。そして、選択部440は、人物80oの特徴領域92oと人物80sの特徴領域92sとの対応する部分のHSV色ヒストグラムの比較結果に基づいて、人物80oと人物80sとの類似度を特徴領域92o毎に算出する。図7に示す例では、特徴領域92o1、92o2、92o3のそれぞれの第1類似度は、80、95、90である。
地点Bの処理対象の人物80oの特徴領域92oが複数のフレーム間で重畳する場合、選択部440は、フレーム間で重畳する特徴領域92oのうち、地点Aとの類似度が最も高い特徴領域92oを、組み合わせ部460で使用する特徴領域92oとして選択する。すなわち、選択部440は、重畳判定部420による重畳判定で互いに重畳する特徴領域92oと判定された複数の特徴領域92oのうち、第1類似度が最も高い特徴領域92を、組み合わせ部460で使用する特徴領域92oとして選択する。
図7に示す例では、特徴領域92o1、92o2が互いに重畳する特徴領域92oであり、特徴領域92o2の第1類似度(=95)は、特徴領域92o1の第1類似度(=80)より高い。このため、選択部440は、特徴領域92o1、92o2のうち、特徴領域92o2を、処理対象の人物80oの複数の特徴領域92oの組み合わせに使用する特徴領域92oとして採用する。なお、特徴領域92o3は、重畳判定部420による重畳判定で互いに重畳する特徴領域92oと判定されていないため、処理対象の人物80oの複数の特徴領域92oの組み合わせに使用する特徴領域92oとして採用される。
このように、選択部440は、処理対象の人物80の複数の特徴領域92が、相対位置RPの始点SYおよび終点EYの少なくとも一方が互いに一致する特徴領域92を含む場合、組み合わせ部460で使用する特徴領域92を第1類似度に基づいて選択する。例えば、選択部440は、相対位置RPの始点SYおよび終点EYの少なくとも一方が互いに一致する複数の特徴領域92のうち、第1類似度が最も高い特徴領域92を処理対象の人物80の複数の特徴領域92の組み合わせに使用する特徴領域92として選択する。
なお、選択部440の動作は、図7に示す例に限定されない。例えば、選択部440は、重畳判定部420の重畳判定で互いに重畳する特徴領域92oと判定された複数の特徴領域92oのうちの1つを選択する際に、比較対象の人物80との類似度を、複数の特徴領域92oの重畳部分毎に算出してもよい。そして、選択部440は、互いに重畳する特徴領域92oのうち、重畳部分の類似度が最も高い特徴領域92oを組み合わせ部460で使用する特徴領域92oとして選択してもよい。
図8は、図2に示した組み合わせ部460の動作の概要を示す。組み合わせ部460は、処理対象の人物80oの複数の特徴領域92oを、処理対象の人物80oの特徴領域92oの領域割合RAおよび相対位置RPに基づいて、全身領域90oに近づくように組み合わせる。そして、組み合わせ部460は、組み合わせた特徴領域92oの各々の領域割合RAと第1類似度とに基づいて、処理対象の人物80oと比較対象の人物80sとの全身の類似度として第2類似度を算出する。例えば、組み合わせ部460は、選択部440で採用した複数の特徴領域92oを各々の相対位置RPに基づいて組み合わせる。
図8に示すケース1では、特徴領域92o2と特徴領域92o3とが交差し、特徴領域92o2、92o3の一部が重畳する。この場合、組み合わせ部460は、特徴領域92o2と特徴領域92o3との交差部分である重畳部分の特徴領域92oとして、第1類似度が特徴領域92o3より高い特徴領域92o2を優先する。したがって、組み合わせ部460は、重畳部分の特徴領域92oとして採用しない特徴領域92o3のうちの重畳部分を除く領域が全身領域90の面積に占める割合を、特徴領域92o3の領域割合RAとして再計算する。これにより、重畳部分の特徴領域92oとして採用されない特徴領域92o3の領域割合RAは、補正される。
特徴領域92o2の終点側と特徴領域92o3の始点側とが交差し、重畳部分の特徴領域92oとして特徴領域92o2が採用される場合では、特徴領域92o3の補正後の領域割合RA3は、例えば、式(7)で表される。なお、式(7)の始点SY2および終点EY2は、重畳部分の特徴領域92oとして採用される特徴領域92o2の相対位置RP2(SY2、EY2)の始点SYおよび終点EYを示す。また、式(7)の終点EY3は、重畳部分の特徴領域92oとして採用されない特徴領域92o3の相対位置RP3(SY3、EY3)の終点EYを示す。
RA3=(EY3−SY2)−EY2 ‥‥(7)
したがって、特徴領域92o3の領域割合RAは、0.55(=1−0−0.45)に補正される。そして、組み合わせ部460は、特徴領域92o2の第1類似度および領域割合RA2と、特徴領域92o3の第1類似度および補正後の領域割合RA3とに基づいて、処理対象の人物80oと比較対象の人物80sとの第2類似度(組み合わせの類似度)を算出する。例えば、処理対象の人物80oと比較対象の人物80sとの第2類似度は、92.25(=95×0.45+90×0.55)である。
このように、組み合わせ部460は、組み合わせた特徴領域92の少なくとも一部が重畳する場合、互いに重畳する重畳部分を含む複数の特徴領域92のうち、第1類似度が最も高い特徴領域92を重畳部分の特徴領域92として選択する。そして、組み合わせ部460は、重畳部分の特徴領域92として選択されない特徴領域92の領域割合RAを、重畳部分を除いた領域に基づいて補正する。
図8に示すケース2では、特徴領域92o1と特徴領域92o3とは交差しない。例えば、図7に示した第1類似度が特徴領域92o1と特徴領域92o2とで逆の場合、特徴領域92o1、92o2のうち、特徴領域92o1が組み合わせに使用する特徴領域92oとして採用される。この場合、特徴領域92o1と特徴領域92o3とが交差しないため、特徴領域92o1、92o3の領域割合RAは、いずれも補正されない。したがって、組み合わせ部460は、特徴領域92o1の第1類似度および領域割合RA1と、特徴領域92o3の第1類似度および領域割合RA3とに基づいて、処理対象の人物80oと比較対象の人物80sとの第2類似度を算出する。例えば、処理対象の人物80oと比較対象の人物80sとの第2類似度は、87.25(=95×0.35+90×0.6)である。
組み合わせ部460は、処理対象の人物80oと同一の人物80の候補となる全ての比較対象の人物80毎に、処理対象の人物80oと比較対象の人物80sとの第2類似度を算出する。
なお、組み合わせ部460の動作は、図8に示す例に限定されない。例えば、組み合わせ部460は、互いに重畳する重畳部分を含む複数の特徴領域92oのうちの1つを重畳部分の特徴領域92oとして選択する際に、比較対象の人物80との類似度を、複数の特徴領域92oの重畳部分毎に算出してもよい。そして、組み合わせ部460は、互いに重畳する特徴領域92oのうち、重畳部分の類似度が最も高い特徴領域92oを、重畳部分の特徴領域92oとして選択してもよい。
図9は、図2に示した画像処理装置100の動作の一例を示す。なお、図9に示す動作は、コンピュータにより実行される画像処理方法の一態様である。例えば、図9に示す動作は、ハードウェアのみで実現されてもよく、ハードウェアを画像処理プログラム等のソフトウェアで制御することにより実現されてもよい。すなわち、画像処理プログラムで制御されるコンピュータが図9に示す動作を実行してもよい。
図9に示す動作では、データベース320を更新するデータベース更新処理として、ステップS100からステップS150までの一連の処理が各撮像装置60により撮像される画像70毎に実行される。また、図9に示す動作では、処理対象の人物80と比較対象の人物80とを照合して同一人物か否かを判定する照合判定処理として、ステップS200からステップS600までの一連の処理が処理対象の人物80毎に実行される。すなわち、図9に示す動作では、データベース更新処理(ステップS100−S150)と照合判定処理(ステップS200−S600)とは、並列に実行される。先ず、データベース更新処理(ステップS100−S150)について説明する。
ステップS100では、画像取得部120は、撮像装置60から画像70を取得する。
次に、ステップS110では、人物検出部200は、ステップS100で取得した画像70から人物80の人物領域90(全身領域90)を検出する。
次に、ステップS120では、人物検出部200は、ステップS110で検出した人物領域90を正規化する。
次に、ステップS130では、人物検出部200は、図4で説明したように、ステップS110で検出した人物領域90の遮蔽面積SAを算出する。
次に、ステップS132では、人物検出部200は、ステップS130で算出した遮蔽面積SAが予め指定される閾値Thより大きいか否かを判定する。遮蔽面積SAが閾値Thより大きい場合、画像処理装置100の動作は、ステップS134に移る。一方、遮蔽面積SAが閾値Th以下の場合、画像処理装置100の動作は、ステップS136に移る。
ステップS134では、人物検出部200は、図4で説明したように、人物領域90から遮蔽領域94を除外して、特徴領域92を抽出する。ステップS134の処理が実行された後、画像処理装置100の動作は、ステップS140に移る。
ステップS136では、人物検出部200は、図4で説明したように、人物領域90を特徴領域92として抽出する。ステップS136の処理が実行された後、画像処理装置100の動作は、ステップS140に移る。
ステップS140では、特徴量算出部300は、ステップS134、S136で抽出した特徴領域92の特徴量を算出する。例えば、特徴量算出部300は、特徴領域92のHSV色ヒストグラムを、特徴領域92の特徴量として算出する。なお、特徴領域92の特徴量は、HSV色ヒストグラムに限定されない。
次に、ステップS150では、特徴量算出部300は、ステップS140で算出した特徴量に関する情報等を含む特徴量データCHDをデータベース320に登録する。なお、特徴量データCHDは、図5で説明したように、特徴領域92の特徴量の他に、フレーム番号、撮像時刻、特徴領域92の座標、領域割合RAおよび相対位置RPを有し、人物識別番号毎にデータベース320に登録される。次に、照合判定処理(ステップS200−S600)について説明する。
ステップS200では、照合部400は、図6で説明したように、重畳判定処理を実行する。これにより、処理対象の人物80の全ての特徴領域92において、互いに重畳する特徴領域92が判定される。なお、重畳判定処理の詳細は、図10で説明する。
次に、ステップS300では、照合部400は、図7で説明したように、組み合わせに使用する特徴領域92を選択する。例えば、照合部400は、各特徴領域92の第1類似度を算出する。そして、照合部400は、ステップS200の重畳判定処理で互いに重畳する特徴領域92と判定された複数の特徴領域92のうち、第1類似度が最も高い特徴領域92を、組み合わせに使用する特徴領域92として選択する。なお、照合部400は、互いに重畳する特徴領域92が存在しない場合、処理対象の人物80の全ての特徴領域92を、組み合わせに使用する特徴領域92として選択する。
次に、ステップS400では、照合部400は、図8で説明したように、組み合わせ処理を実行する。これにより、比較対象の人物80毎に、第2類似度(組み合わせの類似度)が全身の類似度として算出される。なお、組み合わせ処理の詳細は、図11で説明する。
次に、ステップS500では、画像処理装置100は、処理対象の人物80と同一の人物80の候補となる全ての比較対象の人物80のうち、処理対象の人物80との全身の類似度が最も高い比較対象の人物80を、処理対象の人物80と同一の人物と判定する。
例えば、比較部480は、処理対象の人物80と同一の人物80の候補となる全ての比較対象の人物80間で第2類似度(処理対象の人物80と比較対象の人物80との全身の類似度)を比較する。そして、比較部480は、処理対象の人物80との第2類似度が最も高い比較対象の人物80を、比較結果に基づいて選択する。また、判定部500は、処理対象の人物80と同一の人物80の候補となる全ての比較対象の人物80のうち、比較部480で選択された比較対象の人物80を、処理対象の人物80と同一の人物80と判定する。なお、判定部500は、比較部480で選択された比較対象の人物80と処理対象の人物80との第2類似度が予め決められた類似度より低い場合、処理対象の人物80が他の撮像装置60で撮像されていないと判定してもよい。
次に、ステップS600では、出力部520は、処理対象の人物80との対応付けの結果(ステップS500の処理による判定の結果)を、ディスプレイ等の表示装置に出力する。これにより、処理対象の一人の人物80に対する照合判定処理は終了する。
なお、画像処理装置100の動作は、図9に示す例に限定されない。例えば、ステップS200の重畳判定処理は、省かれてもよい。この場合、相対位置RPの始点SYまたは終点EYの少なくとも一方が互いに重畳する特徴領域92の重畳部分は、例えば、ステップS400において、互いに交差する特徴領域92の重畳部分と同様に処理される。
図10は、図9に示した重畳判定処理の一例を示す。
ステップS210では、重畳判定部420は、人物検出部200によりフレーム毎に検出された特徴領域92の相対位置RP(SY、EY)を用いて、フレーム毎に検出された特徴領域92を重ね合わせる。
次に、ステップS220では、重畳判定部420は、ステップS210で重ね合わせた特徴領域92の中に、相対位置RP(SY、EY)の始点SYが互いに一致する特徴領域92が存在するか否かを判定する。相対位置RP(SY、EY)の始点SYが互いに一致する特徴領域92が存在する場合、重畳判定部420の動作は、ステップS230に移る。一方、相対位置RP(SY、EY)の始点SYが互いに一致する特徴領域92が存在しない場合、重畳判定部420の動作は、ステップS240に移る。
ステップS230では、重畳判定部420は、相対位置RP(SY、EY)の始点SYが互いに一致する特徴領域92を、重畳有りと判定する。例えば、重畳判定部420は、重畳有りと判定した特徴領域92を示す情報を、選択部440に出力する。ステップS230の処理が実行された後、重畳判定部420の動作は、ステップS240に移る。
ステップS240では、重畳判定部420は、ステップS210で重ね合わせた特徴領域92の中に、相対位置RP(SY、EY)の終点EYが互いに一致する特徴領域92が存在するか否かを判定する。相対位置RP(SY、EY)の終点EYが互いに一致する特徴領域92が存在する場合、重畳判定部420の動作は、ステップS250に移る。一方、相対位置RP(SY、EY)の終点EYが互いに一致する特徴領域92が存在しない場合、重畳判定処理は、終了する。
ステップS250では、重畳判定部420は、相対位置RP(SY、EY)の終点EYが互いに一致する特徴領域92を、重畳有りと判定する。例えば、重畳判定部420は、重畳有りと判定した特徴領域92を示す情報を、選択部440に出力する。これにより、重畳判定処理は、終了する。重畳判定処理が終了した後、画像処理装置100の動作は、図9に示したステップS300に移る。なお、重畳判定処理は、図10に示す例に限定されない。
図11は、図9に示した組み合わせ処理の一例を示す。
ステップS410では、組み合わせ部460は、図9に示したステップS300で選択された特徴領域92を、特徴領域92の相対位置RP(SY、EY)を用いて重ね合わせる。
ステップS420では、組み合わせ部460は、ステップS410で重ね合わせた特徴領域92の中に、互いに交差する特徴領域92が存在するか否かを判定する。互いに交差する特徴領域92が存在する場合、組み合わせ部460の動作は、ステップS430に移る。一方、互いに交差する特徴領域92が存在しない場合、組み合わせ部460の動作は、ステップS450に移る。
ステップS430では、組み合わせ部460は、互いに交差する特徴領域92の交差部分である重畳部分に使用する特徴領域92を、互いに交差する特徴領域92の各々の第1類似度に基づいて選択する。例えば、組み合わせ部460は、互いに交差する交差部分(重畳部分)を含む複数の特徴領域92のうち、第1類似度が最も高い特徴領域92を交差部分の特徴領域92として選択する。
次に、ステップS440では、組み合わせ部460は、互いに交差する交差部分を含む複数の特徴領域92のうち、ステップS430で選択されない特徴領域92の全身領域90に対する割合(領域割合RA)を、再計算する。例えば、組み合わせ部460は、ステップS430で選択されない特徴領域92の領域割合RAとして、特徴領域92から交差部分を除いた領域の全身領域90に対する割合を再計算する。これにより、互いに交差する交差部分を含む複数の特徴領域92のうち、ステップS430で選択されない特徴領域92の領域割合RAが補正される。ステップS440の処理が実行された後、組み合わせ部460の動作は、ステップS450に移る。
ステップS450では、組み合わせ部460は、ステップS410で重ね合わせた特徴領域92等による組み合わせの類似度(第2類似度)を、処理対象の人物80と比較対象の人物80との全身の類似度として算出する。例えば、組み合わせ部460は、互いに交差する特徴領域92が存在しない場合、ステップS410で重ね合わせた特徴領域92の各々の領域割合RAと第1類似度とに基づいて、組み合わせの類似度(第2類似度)を算出する。なお、互いに交差する特徴領域92が存在する場合では、ステップS430で選択されない特徴領域92の領域割合RAとして、ステップS440で算出される補正後の領域割合RAが、組み合わせの類似度(第2類似度)の算出に用いられる。
ステップS450の処理の終了により、組み合わせ処理は、終了する。組み合わせ処理が終了した後、画像処理装置100の動作は、図9に示したステップS500に移る。
なお、組み合わせ処理は、図11に示す例に限定されない。例えば、図9に示すステップS200の重畳判定処理が省かれる場合、組み合わせ部460は、ステップS420において、特徴領域92の交差による重畳か否かに拘わらず、互いに重畳する特徴領域92が存在するか否かを判定してもよい。この場合、組み合わせ部460は、ステップS430において、重畳部分に使用する特徴領域92を、互いに重畳する特徴領域92の各々の第1類似度に基づいて選択する。そして、組み合わせ部460は、ステップS440において、互いに重畳する重畳部分を含む複数の特徴領域92のうち、ステップS430で選択されない特徴領域92の全身領域90に対する割合(領域割合RA)を、再計算する。
以上、図2から図11に示す実施形態においても、図1に示した実施形態と同様の効果を得ることができる。例えば、画像処理装置100は、画像70から検出した人物80の一部が遮蔽される場合、全身領域90のうちの遮蔽物で遮蔽される領域94を除く領域を人物80の特徴領域92として抽出する。そして、画像処理装置100は、特徴領域92の領域割合RA、相対位置RPおよび特徴量を算出する。
また、画像処理装置100は、処理対象の人物80の特徴領域92毎に、処理対象の人物80の特徴領域92の特徴量と比較対象の人物80の特徴領域92の特徴量とを用いて、処理対象の人物80と比較対象の人物80との特徴領域92の第1類似度を算出する。そして、画像処理装置100は、領域割合RAと相対位置RPとに基づいて組み合わせた複数の特徴領域92の各々の領域割合RAと第1類似度とに基づいて、処理対象の人物80と比較対象の人物80との全身の類似度として第2類似度を算出する。また、画像処理装置100は、複数の撮像装置60によりそれぞれ撮像される同一の人物80を第2類似度に基づいて対応付ける。このように、画像処理装置100は、複数の特徴領域92を組み合わせて算出した第2類似度に基づいて、複数の撮像装置60で撮像された同一人物を対応付けるため、複数の撮像装置60で撮像された同一人物の対応付けの精度の低下を抑制できる。
さらに、画像処理装置100は、処理対象の人物80の複数の特徴領域92が、相対位置RPの始点SYおよび終点EYの少なくとも一方が互いに一致する特徴領域92を含む場合、組み合わせに使用する特徴領域92を第1類似度に基づいて選択する。例えば、画像処理装置100は、相対位置RPの始点SYおよび終点EYの少なくとも一方が互いに一致する複数の特徴領域92のうち、第1類似度が最も高い特徴領域92を選択して、処理対象の人物80の複数の特徴領域92の組み合わせに使用する。これにより、互いに重畳する特徴領域92が存在する場合でも、適切な特徴領域92を選択して処理対象の人物80の複数の特徴領域92を組み合わせることができる。
また、画像処理装置100は、組み合わせた特徴領域92の少なくとも一部が重畳する場合、互いに重畳する重畳部分を含む複数の特徴領域92のうち、第1類似度が最も高い特徴領域92を重畳部分の特徴領域92として選択する。そして、画像処理装置100は、重畳部分の特徴領域92として選択されない特徴領域92の領域割合RAを、重畳部分を除いた領域に基づいて補正する。これにより、組み合わせた特徴領域92の中に互いに重畳する特徴領域92が存在する場合でも、適切な特徴領域92を選択して組み合わせの類似度(第2類似度)を算出することができる。
図12は、画像処理装置、画像処理方法および画像処理プログラムの別の実施形態を示す。図1から図11で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図12に示す画像処理装置102は、図2に示した照合部400の代わりに照合部402を有することを除いて、図2に示した画像処理装置100と同一または同様である。
画像処理装置102は、図2に示した画像処理装置100と同様に、地点A、地点B等の監視対象の各地点に設置される撮像装置60にインターネット等のネットワークを介して接続され、人物80を追跡するシステムに用いられる。例えば、画像処理装置102は、複数の撮像装置60(60A、60B)間で撮像された同一人物を対応付ける画像処理を実行する。なお、画像処理装置102は、ハードウェアのみで実現されてもよく、ハードウェアをソフトウェアで制御することにより実現されてもよい。例えば、画像処理プログラム等のソフトウェアで制御されるコンピュータが画像処理装置102の画像処理を実行してもよい。
画像処理装置102は、画像取得部120、人物検出部200、特徴量算出部300、照合部402、判定部500および出力部520を有する。画像取得部120、人物検出部200、特徴量算出部300、判定部500および出力部520は、図2に示した画像取得部120、人物検出部200、特徴量算出部300、判定部500および出力部520と同一または同様である。照合部402は、共通領域算出部430が図2に示した照合部400に追加されることを除いて、図2に示した照合部400と同一または同様である。
例えば、照合部402は、重畳判定部420、共通領域算出部430、選択部440、組み合わせ部460および比較部480を有する。重畳判定部420、選択部440、組み合わせ部460および比較部480は、図2に示した重畳判定部420、選択部440、組み合わせ部460および比較部480と同一または同様である。このため、図12では、共通領域算出部430について説明する。
共通領域算出部430は、比較対象の人物80の一部が遮蔽される場合、処理対象の人物80の特徴領域92と比較対象の人物80の特徴領域92との互いに重畳する共通領域を、第1類似度を算出する処理以降の処理に使用する特徴領域92として算出する。そして、共通領域算出部430は、共通領域に関する情報を選択部440等に出力する。共通領域算出部430の動作の詳細は、図13で説明する。なお、画像処理装置102の構成は、図12に示す例に限定されない。
図13は、図12に示した共通領域算出部430の動作の概要を示す。共通領域算出部430は、地点Bの処理対象の人物80oの特徴領域92o(92o1、92o2、92o3)と、地点Aの比較対象の人物80sの特徴領域92s(92sj、92sk)とを比較する。そして、共通領域算出部430は、処理対象の人物80oの特徴領域92oの各々から、比較対象の人物80sの特徴領域92sと重畳する共通領域を算出する。例えば、共通領域算出部430は、処理対象の人物80oの特徴領域92oと比較対象の人物80sの特徴領域92sとで、領域割合RAが異なる場合、小さい方の領域割合RAを選択する。そして、共通領域算出部430は、選択した領域割合RAに基づいて、処理対象の人物80oの特徴領域92oから共通領域を算出する。選択部440および組み合わせ部460等は、共通領域算出部430により算出された共通領域を特徴領域92として使用する。
図13に示す例では、地点Bの処理対象の人物80oのフレーム1の特徴領域92o1の領域割合RA1(=0.35)は、地点Aの比較対象の人物80sのフレームjの特徴領域92sjの領域割合RAj(=0.4)より小さい。この場合、特徴領域92o1と特徴領域92sjとの共通範囲は、全身領域90に対する相対位置RP(0、0.35)で表される。したがって、共通領域算出部430は、特徴領域92o1をそのまま共通領域として算出する。これにより、選択部440および組み合わせ部460等は、領域割合RA1が0.35で、相対位置RP1(0、0.35)の特徴領域92o1を、フレーム1の特徴領域92o1として使用する。
また、図13に示す例では、処理対象の人物80oのフレーム2の特徴領域92o2の領域割合RA2(=0.45)は、比較対象の人物80sのフレームjの特徴領域92sjの領域割合RAj(=0.4)より大きい。この場合、特徴領域92o2と特徴領域92sjとの共通範囲は、全身領域90に対する相対位置RP(0、0.4)で表される。したがって、共通領域算出部430は、特徴領域92o2のうち、相対位置RP(0、0.4)で表される範囲を共通領域として算出する。これにより、選択部440および組み合わせ部460等は、領域割合RA2が0.4で、相対位置RP2(0、0.4)の特徴領域92o2を、フレーム2の特徴領域92o2として使用する。
また、図13に示す例では、処理対象の人物80oのフレーム3の特徴領域92o3の領域割合RA3(=0.6)は、比較対象の人物80sのフレームkの特徴領域92skの領域割合RAk(=0.5)より大きい。この場合、特徴領域92o3と特徴領域92skとの共通範囲は、全身領域90に対する相対位置RP(0.5、1)で表される。したがって、共通領域算出部430は、特徴領域92o3のうち、相対位置RP(0.5、1)で表される範囲を共通領域として算出する。これにより、選択部440および組み合わせ部460等は、領域割合RA3が0.5で、相対位置RP3(0.5、1)の特徴領域92o3を、フレーム3の特徴領域92o3として使用する。なお、共通領域算出部430の動作は、図13に示す例に限定されない。
図14は、図12に示した画像処理装置102の動作の一例を示す。なお、図14に示す動作は、コンピュータにより実行される画像処理方法の一態様である。例えば、図14に示す動作は、ハードウェアのみで実現されてもよく、ハードウェアを画像処理プログラム等のソフトウェアで制御することにより実現されてもよい。すなわち、画像処理プログラムで制御されるコンピュータが図14に示す動作を実行してもよい。
図14に示す動作においても、図9に示した動作と同様に、データベース更新処理(ステップS100−S150)と照合判定処理(ステップS200−S600)とが並列に実行される。図14に示すデータベース更新処理は、図9に示したデータベース更新処理と同一である。また、図14に示す照合判定処理では、図9に示した照合判定処理にステップS302が追加され、図9に示したステップS300の代わりにステップS304が実行される。図14に示す照合判定処理のその他の動作は、図9に示した照合判定処理と同一または同様である。このため、図14では、照合判定処理(ステップS200−S600)のステップS302、S304を中心に説明する。
ステップS200の重畳判定処理は、図9に示したステップS200の重畳判定処理、すなわち、図10に示した重畳判定処理と同一または同様である。ステップS200の重畳判定処理が実行された後、画像処理装置102の動作は、ステップS302に移る。
ステップS302では、照合部400は、図13で説明したように、ステップS302以降の処理で使用する処理対象の人物80の特徴領域92として、処理対象の人物80の特徴領域92から比較対象の人物の特徴領域92との共通領域を算出する。
次に、ステップS304では、照合部400は、ステップS302で算出した共通領域を処理対象の人物80の特徴領域92として、組み合わせに使用する特徴領域92を選択する。ステップS304の処理は、ステップS302で算出した共通領域を処理対象の人物80の特徴領域92とすることを除いて、図9で説明したステップS300の処理と同一または同様である。ステップS304の処理が実行された後、画像処理装置102の動作は、ステップS400に移る。ステップS400、S500、S600の各処理は、図9に示したステップS400、S500、S600の各処理と同一または同様である。
なお、画像処理装置102の動作は、図14に示す例に限定されない。例えば、ステップS200の重畳判定処理は、省かれてもよい。この場合、相対位置RPの始点SYまたは終点EYの少なくとも一方が互いに重畳する特徴領域92の重畳部分は、例えば、ステップS400において、互いに交差する特徴領域92の重畳部分と同様に処理される。
以上、図12から図14に示す実施形態においても、図2に示した実施形態と同様の効果を得ることができる。例えば、画像処理装置102は、領域割合RAと相対位置RPとに基づいて組み合わせた複数の特徴領域92の各々の領域割合RAと第1類似度とに基づいて、処理対象の人物80と比較対象の人物80との全身の類似度として第2類似度を算出する。そして、画像処理装置102は、複数の撮像装置60によりそれぞれ撮像される同一の人物80を第2類似度に基づいて対応付ける。このように、画像処理装置102は、複数の特徴領域92を組み合わせて算出した第2類似度に基づいて、複数の撮像装置60で撮像された同一人物を対応付けるため、複数の撮像装置60で撮像された同一人物の対応付けの精度の低下を抑制できる。
さらに、画像処理装置102は、比較対象の人物80の一部が遮蔽される場合、処理対象の人物80の特徴領域92と比較対象の人物80の特徴領域92との互いに重畳する共通領域を、第1類似度を算出する処理以降の処理に使用する特徴領域92として算出する。これにより、処理対象の人物80と比較対象の人物80との両方で一部が遮蔽される場合でも、複数の撮像装置60で撮像された同一人物の対応付けの精度の低下を抑制することができる。
図15は、画像処理プログラムを実行するハードウェアの一例を示す。なお、図1から図14で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。例えば、画像処理プログラムは、図1、図2および図12に示した画像処理装置10、100、102等の画像処理装置の機能をコンピュータ1000で実現する。
例えば、コンピュータ1000は、プロセッサ1100、メモリ1200、ハードディスク装置1300、入力インタフェース1400、出力インタフェース1500および光学ドライブ装置1600を有する。プロセッサ1100、メモリ1200、ハードディスク装置1300、入力インタフェース1400、出力インタフェース1500および光学ドライブ装置1600は、バス1700に接続される。画像処理装置10、100、102等の画像処理装置の機能は、例えば、プロセッサ1100と、メモリ1200と、ハードディスク装置1300と、入力インタフェース1400と、出力インタフェース1500とにより実現される。
光学ドライブ装置1600は、光ディスク等のリムーバブルディスク1620を装着可能であり、装着したリムーバブルディスク1620に記録された情報の読み出しおよび記録を実行する。また、コンピュータ1000は、入力インタフェース1400および出力インタフェース1500を介してコンピュータ1000の外部と通信する。例えば、入力インタフェース1400は、撮像装置60から画像70等を受け、プロセッサ1100等に転送する。また、出力インタフェース1500は、例えば、複数の撮像装置60で撮像された同一人物の対応付けの結果等を図示しないディスプレイ等に出力する。
メモリ1200は、例えば、コンピュータ1000のオペレーティングシステムを格納する。また、メモリ1200は、画像処理装置10、100、102等の画像処理装置の動作をプロセッサ1100が実行するための画像処理プログラム等のアプリケーションプログラムを格納する。また、メモリ1200は、画像70およびデータベース320等を記憶してもよい。なお、画像70およびデータベース320等は、ハードディスク装置1300に保持されてもよい。
画像処理プログラム等のアプリケーションプログラムは、光ディスク等のリムーバブルディスク1620に記録して頒布することができる。例えば、コンピュータ1000は、画像処理プログラム等のアプリケーションプログラムを、リムーバブルディスク1620から光学ドライブ装置1600を介して読み出し、メモリ1200やハードディスク装置1300に格納してもよい。また、コンピュータ1000は、画像処理プログラム等のアプリケーションプログラムを、インターネット等のネットワークに接続する通信装置(図示せず)を介してダウンロードし、メモリ1200やハードディスク装置1300に格納してもよい。また、コンピュータ1000は、ネットワークに接続する通信装置を介して撮像装置60から画像70を取得してもよい。
なお、画像処理プログラムを実行するハードウェアは、図15に示す例に限定されない。例えば、コンピュータ1000は、光学ドライブ装置1600が省かれてもよい。また、例えば、コンピュータ1000は、ハードディスク装置1300の代わりにSSD(Solid State Drive)等を有してもよい。
図16は、画像処理プログラムを使用するシステムの一例を示す。例えば、画像処理プログラムは、複数の監視カメラ60(60A、60B、60C)を用いて人物80の流れを認識する監視システムに使用される。この種の監視システムは、解析サーバ1000と、地点A、地点Bおよび地点C等の各地点に設置された監視カメラ60(60A、60B、60C)とを有する。解析サーバ1000は、例えば、図15に示したコンピュータ1000である。また、監視カメラ60は、例えば、図15に示した撮像装置60である。
解析サーバ1000は、地点A、地点Bおよび地点C等の各地点における同一の人物80を特定し、人物80の流れを認識する。例えば、人物80の移動経路、人物80の流れを認識する画像処理プログラムは、街のセキュリティの向上、イベント時の混雑解消等に活用される。
以上の実施形態において説明した発明を整理して、付記として以下の通り開示する。
(付記1)
複数の撮像装置によりそれぞれ撮像される画像から対象物を検出し、
前記画像から検出した対象物が遮蔽されない場合、対象物の全体を含む全体領域を対象物の特徴領域として抽出し、前記画像から検出した対象物の一部が遮蔽される場合、前記全体領域のうちの遮蔽物で遮蔽される領域を除く領域を対象物の前記特徴領域として抽出し、前記特徴領域が前記全体領域の面積に占める割合である領域割合と、前記全体領域に対する前記特徴領域の相対的な位置である相対位置とを算出し、
前記特徴領域の特徴量を算出し、
前記複数の撮像装置のうちの同一の撮像装置により撮像された複数のフレームの前記画像から検出した同一の対象物のうちの処理対象の対象物の複数の前記特徴領域毎に、前記処理対象の対象物の前記特徴領域の特徴量と前記処理対象の対象物を撮像した撮像装置以外の撮像装置により撮像された比較対象の対象物の前記特徴領域の特徴量とを用いて、前記処理対象の対象物と前記比較対象の対象物との前記特徴領域の類似度である第1類似度を算出し、
前記処理対象の対象物の複数の前記特徴領域を前記領域割合と前記相対位置とに基づいて組み合わせ、組み合わせた前記特徴領域の各々の前記領域割合と前記第1類似度とに基づいて、前記処理対象の対象物と前記比較対象の対象物との全体の類似度として第2類似度を算出し、
前記複数の撮像装置によりそれぞれ撮像される同一の対象物を前記第2類似度に基づいて対応付ける
処理をコンピュータに実行させるための画像処理プログラム。
(付記2)
付記1に記載の画像処理プログラムにおいて、
前記処理対象の対象物の複数の前記特徴領域が、前記相対位置の始点および終点の少なくとも一方が互いに一致する前記特徴領域を含む場合、前記相対位置の始点および終点の少なくとも一方が互いに一致する複数の前記特徴領域のうち、前記第1類似度が最も高い前記特徴領域を、前記処理対象の対象物の複数の前記特徴領域の組み合わせに使用する前記特徴領域として選択する
処理をコンピュータに実行させるための画像処理プログラム。
(付記3)
付記1または付記2に記載の画像処理プログラムにおいて、
組み合わせた前記特徴領域の少なくとも一部が重畳する場合、互いに重畳する重畳部分を含む複数の前記特徴領域のうち、前記第1類似度が最も高い前記特徴領域を前記重畳部分の前記特徴領域として選択し、前記重畳部分の前記特徴領域として選択されない前記特徴領域の前記領域割合を、前記重畳部分を除いた領域に基づいて補正する
処理をコンピュータに実行させるための画像処理プログラム。
(付記4)
付記1ないし付記3のいずれか1項に記載の画像処理プログラムにおいて、
前記比較対象の対象物の一部が遮蔽される場合、前記処理対象の対象物の前記特徴領域と前記比較対象の対象物の前記特徴領域との互いに重畳する共通領域を、前記第1類似度を算出する処理以降の処理に使用する前記特徴領域として算出する
処理をコンピュータに実行させるための画像処理プログラム。
(付記5)
複数の撮像装置によりそれぞれ撮像される画像から対象物を検出する対象物領域検出部と、
前記画像から検出した対象物が遮蔽されない場合、対象物の全体を含む全体領域を対象物の特徴領域として抽出し、前記画像から検出した対象物の一部が遮蔽される場合、前記全体領域のうちの遮蔽物で遮蔽される領域を除く領域を対象物の前記特徴領域として抽出し、前記特徴領域が前記全体領域の面積に占める割合である領域割合と、前記全体領域に対する前記特徴領域の相対的な位置である相対位置とを算出する特徴領域抽出部と、
前記特徴領域の特徴量を算出する特徴量算出部と、
前記複数の撮像装置のうちの同一の撮像装置により撮像された複数のフレームの前記画像から検出した同一の対象物のうちの処理対象の対象物の複数の前記特徴領域毎に、前記処理対象の対象物の前記特徴領域の特徴量と前記処理対象の対象物を撮像した撮像装置以外の撮像装置により撮像された比較対象の対象物の前記特徴領域の特徴量とを用いて、前記処理対象の対象物と前記比較対象の対象物との前記特徴領域の類似度である第1類似度を算出する第1類似度算出部と、
前記処理対象の対象物の複数の前記特徴領域を前記領域割合と前記相対位置とに基づいて組み合わせ、組み合わせた前記特徴領域の各々の前記領域割合と前記第1類似度とに基づいて、前記処理対象の対象物と前記比較対象の対象物との全体の類似度として第2類似度を算出する第2類似度算出部と、
前記複数の撮像装置によりそれぞれ撮像される同一の対象物を前記第2類似度に基づいて対応付ける対応付け部とを有する
ことを特徴とする画像処理装置。
(付記6)
付記5に記載の画像処理装置において、
前記第1類似度算出部は、前記処理対象の対象物の複数の前記特徴領域が、前記相対位置の始点および終点の少なくとも一方が互いに一致する前記特徴領域を含む場合、前記相対位置の始点および終点の少なくとも一方が互いに一致する複数の前記特徴領域のうち、前記第1類似度が最も高い前記特徴領域を、前記処理対象の対象物の複数の前記特徴領域の組み合わせに使用する前記特徴領域として選択する
ことを特徴とする画像処理装置。
(付記7)
付記5または付記6に記載の画像処理装置において、
前記第2類似度算出部は、組み合わせた前記特徴領域の少なくとも一部が重畳する場合、互いに重畳する重畳部分を含む複数の前記特徴領域のうち、前記第1類似度が最も高い前記特徴領域を前記重畳部分の前記特徴領域として選択し、前記重畳部分の前記特徴領域として選択されない前記特徴領域の前記領域割合を、前記重畳部分を除いた領域に基づいて補正する
ことを特徴とする画像処理装置。
(付記8)
付記5ないし付記7のいずれか1項に記載の画像処理装置において、
前記比較対象の対象物の一部が遮蔽される場合、前記処理対象の対象物の前記特徴領域と前記比較対象の対象物の前記特徴領域との互いに重畳する共通領域を、前記第1類似度を算出する処理以降の処理に使用する前記特徴領域として算出する共通領域算出部をさらに有する
ことを特徴とする画像処理装置。
(付記9)
コンピュータにより実行される画像処理方法であって、
前記コンピュータが、
複数の撮像装置によりそれぞれ撮像される画像から対象物を検出し、
前記画像から検出した対象物が遮蔽されない場合、対象物の全体を含む全体領域を対象物の特徴領域として抽出し、前記画像から検出した対象物の一部が遮蔽される場合、前記全体領域のうちの遮蔽物で遮蔽される領域を除く領域を対象物の前記特徴領域として抽出し、前記特徴領域が前記全体領域の面積に占める割合である領域割合と、前記全体領域に対する前記特徴領域の相対的な位置である相対位置とを算出し、
前記特徴領域の特徴量を算出し、
前記複数の撮像装置のうちの同一の撮像装置により撮像された複数のフレームの前記画像から検出した同一の対象物のうちの処理対象の対象物の複数の前記特徴領域毎に、前記処理対象の対象物の前記特徴領域の特徴量と前記処理対象の対象物を撮像した撮像装置以外の撮像装置により撮像された比較対象の対象物の前記特徴領域の特徴量とを用いて、前記処理対象の対象物と前記比較対象の対象物との前記特徴領域の類似度である第1類似度を算出し、
前記処理対象の対象物の複数の前記特徴領域を前記領域割合と前記相対位置とに基づいて組み合わせ、組み合わせた前記特徴領域の各々の前記領域割合と前記第1類似度とに基づいて、前記処理対象の対象物と前記比較対象の対象物との全体の類似度として第2類似度を算出し、
前記複数の撮像装置によりそれぞれ撮像される同一の対象物を前記第2類似度に基づいて対応付ける
ことを特徴とする画像処理方法。
(付記10)
付記9に記載の画像処理方法において、
前記コンピュータが、前記処理対象の対象物の複数の前記特徴領域が、前記相対位置の始点および終点の少なくとも一方が互いに一致する前記特徴領域を含む場合、前記相対位置の始点および終点の少なくとも一方が互いに一致する複数の前記特徴領域のうち、前記第1類似度が最も高い前記特徴領域を、前記処理対象の対象物の複数の前記特徴領域の組み合わせに使用する前記特徴領域として選択する
ことを特徴とする画像処理方法。
(付記11)
付記9または付記10に記載の画像処理方法において、
前記コンピュータが、組み合わせた前記特徴領域の少なくとも一部が重畳する場合、互いに重畳する重畳部分を含む複数の前記特徴領域のうち、前記第1類似度が最も高い前記特徴領域を前記重畳部分の前記特徴領域として選択し、前記重畳部分の前記特徴領域として選択されない前記特徴領域の前記領域割合を、前記重畳部分を除いた領域に基づいて補正する
ことを特徴とする画像処理方法。
(付記12)
付記9ないし付記11のいずれか1項に記載の画像処理方法において、
前記コンピュータが、前記比較対象の対象物の一部が遮蔽される場合、前記処理対象の対象物の前記特徴領域と前記比較対象の対象物の前記特徴領域との互いに重畳する共通領域を、前記第1類似度を算出する処理以降の処理に使用する前記特徴領域として算出する
ことを特徴とする画像処理方法。
(付記13)
複数の撮像装置によりそれぞれ撮像される画像から対象物を検出し、
前記画像から検出した対象物が遮蔽されない場合、対象物の全体を含む全体領域を対象物の特徴領域として抽出し、前記画像から検出した対象物の一部が遮蔽される場合、前記全体領域のうちの遮蔽物で遮蔽される領域を除く領域を対象物の前記特徴領域として抽出し、前記特徴領域が前記全体領域の面積に占める割合である領域割合と、前記全体領域に対する前記特徴領域の相対的な位置である相対位置とを算出し、
前記特徴領域の特徴量を算出し、
前記複数の撮像装置のうちの同一の撮像装置により撮像された複数のフレームの前記画像から検出した同一の対象物のうちの処理対象の対象物の複数の前記特徴領域毎に、前記処理対象の対象物の前記特徴領域の特徴量と前記処理対象の対象物を撮像した撮像装置以外の撮像装置により撮像された比較対象の対象物の前記特徴領域の特徴量とを用いて、前記処理対象の対象物と前記比較対象の対象物との前記特徴領域の類似度である第1類似度を算出し、
前記処理対象の対象物の複数の前記特徴領域を前記領域割合と前記相対位置とに基づいて組み合わせ、組み合わせた前記特徴領域の各々の前記領域割合と前記第1類似度とに基づいて、前記処理対象の対象物と前記比較対象の対象物との全体の類似度として第2類似度を算出し、
前記複数の撮像装置によりそれぞれ撮像される同一の対象物を前記第2類似度に基づいて対応付ける
処理をコンピュータに実行させるための画像処理プログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体。
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
10‥画像処理装置;22‥人物領域検出部;26‥特徴領域抽出部;30‥特徴量算出部;44‥第1類似度算出部;46‥第2類似度算出部;50‥対応付け部;60‥撮像装置;100、102‥画像処理装置;120‥画像取得部;200‥人物検出部;220‥人物領域検出部;240‥正規化部;260‥特徴領域抽出部;300‥特徴量算出部;320‥データベース;400、402‥照合部;420‥重畳判定部;430‥共通領域算出部;440‥選択部;460‥組み合わせ部;480‥比較部;500‥判定部;520‥出力部;1000‥コンピュータ;1100‥プロセッサ;1200‥メモリ;1300‥ハードディスク装置;1400‥入力インタフェース;1500‥出力インタフェース;1600‥光学ドライブ装置;1620‥リムーバブルディスク;1700‥バス

Claims (6)

  1. 複数の撮像装置によりそれぞれ撮像される画像から対象物を検出し、
    前記画像から検出した対象物が遮蔽されない場合、対象物の全体を含む全体領域を対象物の特徴領域として抽出し、前記画像から検出した対象物の一部が遮蔽される場合、前記全体領域のうちの遮蔽物で遮蔽される領域を除く領域を対象物の前記特徴領域として抽出し、前記特徴領域が前記全体領域の面積に占める割合である領域割合と、前記全体領域に対する前記特徴領域の相対的な位置である相対位置とを算出し、
    前記特徴領域の特徴量を算出し、
    前記複数の撮像装置のうちの同一の撮像装置により撮像された複数のフレームの前記画像から検出した同一の対象物のうちの処理対象の対象物の複数の前記特徴領域毎に、前記処理対象の対象物の前記特徴領域の特徴量と前記処理対象の対象物を撮像した撮像装置以外の撮像装置により撮像された比較対象の対象物の前記特徴領域の特徴量とを用いて、前記処理対象の対象物と前記比較対象の対象物との前記特徴領域の類似度である第1類似度を算出し、
    前記処理対象の対象物の複数の前記特徴領域を前記領域割合と前記相対位置とに基づいて組み合わせ、組み合わせた前記特徴領域の各々の前記領域割合と前記第1類似度とに基づいて、前記処理対象の対象物と前記比較対象の対象物との全体の類似度として第2類似度を算出し、
    前記複数の撮像装置によりそれぞれ撮像される同一の対象物を前記第2類似度に基づいて対応付ける
    処理をコンピュータに実行させるための画像処理プログラム。
  2. 請求項1に記載の画像処理プログラムにおいて、
    前記処理対象の対象物の複数の前記特徴領域が、前記相対位置の始点および終点の少なくとも一方が互いに一致する前記特徴領域を含む場合、前記相対位置の始点および終点の少なくとも一方が互いに一致する複数の前記特徴領域のうち、前記第1類似度が最も高い前記特徴領域を、前記処理対象の対象物の複数の前記特徴領域の組み合わせに使用する前記特徴領域として選択する
    処理をコンピュータに実行させるための画像処理プログラム。
  3. 請求項1または請求項2に記載の画像処理プログラムにおいて、
    組み合わせた前記特徴領域の少なくとも一部が重畳する場合、互いに重畳する重畳部分を含む複数の前記特徴領域のうち、前記第1類似度が最も高い前記特徴領域を前記重畳部分の前記特徴領域として選択し、前記重畳部分の前記特徴領域として選択されない前記特徴領域の前記領域割合を、前記重畳部分を除いた領域に基づいて補正する
    処理をコンピュータに実行させるための画像処理プログラム。
  4. 請求項1ないし請求項3のいずれか1項に記載の画像処理プログラムにおいて、
    前記比較対象の対象物の一部が遮蔽される場合、前記処理対象の対象物の前記特徴領域と前記比較対象の対象物の前記特徴領域との互いに重畳する共通領域を、前記第1類似度を算出する処理以降の処理に使用する前記特徴領域として算出する
    処理をコンピュータに実行させるための画像処理プログラム。
  5. 複数の撮像装置によりそれぞれ撮像される画像から対象物を検出する対象物領域検出部と、
    前記画像から検出した対象物が遮蔽されない場合、対象物の全体を含む全体領域を対象物の特徴領域として抽出し、前記画像から検出した対象物の一部が遮蔽される場合、前記全体領域のうちの遮蔽物で遮蔽される領域を除く領域を対象物の前記特徴領域として抽出し、前記特徴領域が前記全体領域の面積に占める割合である領域割合と、前記全体領域に対する前記特徴領域の相対的な位置である相対位置とを算出する特徴領域抽出部と、
    前記特徴領域の特徴量を算出する特徴量算出部と、
    前記複数の撮像装置のうちの同一の撮像装置により撮像された複数のフレームの前記画像から検出した同一の対象物のうちの処理対象の対象物の複数の前記特徴領域毎に、前記処理対象の対象物の前記特徴領域の特徴量と前記処理対象の対象物を撮像した撮像装置以外の撮像装置により撮像された比較対象の対象物の前記特徴領域の特徴量とを用いて、前記処理対象の対象物と前記比較対象の対象物との前記特徴領域の類似度である第1類似度を算出する第1類似度算出部と、
    前記処理対象の対象物の複数の前記特徴領域を前記領域割合と前記相対位置とに基づいて組み合わせ、組み合わせた前記特徴領域の各々の前記領域割合と前記第1類似度とに基づいて、前記処理対象の対象物と前記比較対象の対象物との全体の類似度として第2類似度を算出する第2類似度算出部と、
    前記複数の撮像装置によりそれぞれ撮像される同一の対象物を前記第2類似度に基づいて対応付ける対応付け部とを有する
    ことを特徴とする画像処理装置。
  6. コンピュータにより実行される画像処理方法であって、
    前記コンピュータが、
    複数の撮像装置によりそれぞれ撮像される画像から対象物を検出し、
    前記画像から検出した対象物が遮蔽されない場合、対象物の全体を含む全体領域を対象物の特徴領域として抽出し、前記画像から検出した対象物の一部が遮蔽される場合、前記全体領域のうちの遮蔽物で遮蔽される領域を除く領域を対象物の前記特徴領域として抽出し、前記特徴領域が前記全体領域の面積に占める割合である領域割合と、前記全体領域に対する前記特徴領域の相対的な位置である相対位置とを算出し、
    前記特徴領域の特徴量を算出し、
    前記複数の撮像装置のうちの同一の撮像装置により撮像された複数のフレームの前記画像から検出した同一の対象物のうちの処理対象の対象物の複数の前記特徴領域毎に、前記処理対象の対象物の前記特徴領域の特徴量と前記処理対象の対象物を撮像した撮像装置以外の撮像装置により撮像された比較対象の対象物の前記特徴領域の特徴量とを用いて、前記処理対象の対象物と前記比較対象の対象物との前記特徴領域の類似度である第1類似度を算出し、
    前記処理対象の対象物の複数の前記特徴領域を前記領域割合と前記相対位置とに基づいて組み合わせ、組み合わせた前記特徴領域の各々の前記領域割合と前記第1類似度とに基づいて、前記処理対象の対象物と前記比較対象の対象物との全体の類似度として第2類似度を算出し、
    前記複数の撮像装置によりそれぞれ撮像される同一の対象物を前記第2類似度に基づいて対応付ける
    ことを特徴とする画像処理方法。
JP2016236689A 2016-12-06 2016-12-06 画像処理プログラム、画像処理装置および画像処理方法 Active JP6844230B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016236689A JP6844230B2 (ja) 2016-12-06 2016-12-06 画像処理プログラム、画像処理装置および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016236689A JP6844230B2 (ja) 2016-12-06 2016-12-06 画像処理プログラム、画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2018093423A true JP2018093423A (ja) 2018-06-14
JP6844230B2 JP6844230B2 (ja) 2021-03-17

Family

ID=62566389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016236689A Active JP6844230B2 (ja) 2016-12-06 2016-12-06 画像処理プログラム、画像処理装置および画像処理方法

Country Status (1)

Country Link
JP (1) JP6844230B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020047110A (ja) * 2018-09-20 2020-03-26 パナソニック株式会社 人物検索システムおよび人物検索方法
JP2020047259A (ja) * 2019-07-11 2020-03-26 パナソニックi−PROセンシングソリューションズ株式会社 人物検索システムおよび人物検索方法
WO2022102371A1 (ja) * 2020-11-16 2022-05-19 株式会社デンソー 物体検出装置、物体検出方法
JPWO2022195790A1 (ja) * 2021-03-18 2022-09-22

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094518A (ja) * 2002-08-30 2004-03-25 Oki Electric Ind Co Ltd 人物追跡装置、人物追跡方法及びプログラム
JP2010239992A (ja) * 2009-03-31 2010-10-28 Sogo Keibi Hosho Co Ltd 人物同定装置、人物同定方法、及び人物同定プログラム
JP2010244089A (ja) * 2009-03-31 2010-10-28 Sogo Keibi Hosho Co Ltd 人物検出装置、人物検出方法、及び人物検出プログラム
US20140347475A1 (en) * 2013-05-23 2014-11-27 Sri International Real-time object detection, tracking and occlusion reasoning
JP2016126624A (ja) * 2015-01-06 2016-07-11 Kddi株式会社 オクルージョン発生時に専用の識別器を用いて物体を追跡する装置、プログラム及び方法
JP2016157166A (ja) * 2015-02-23 2016-09-01 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法
JP2016162099A (ja) * 2015-02-27 2016-09-05 富士通株式会社 画像判定装置、画像判定方法、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094518A (ja) * 2002-08-30 2004-03-25 Oki Electric Ind Co Ltd 人物追跡装置、人物追跡方法及びプログラム
JP2010239992A (ja) * 2009-03-31 2010-10-28 Sogo Keibi Hosho Co Ltd 人物同定装置、人物同定方法、及び人物同定プログラム
JP2010244089A (ja) * 2009-03-31 2010-10-28 Sogo Keibi Hosho Co Ltd 人物検出装置、人物検出方法、及び人物検出プログラム
US20140347475A1 (en) * 2013-05-23 2014-11-27 Sri International Real-time object detection, tracking and occlusion reasoning
JP2016126624A (ja) * 2015-01-06 2016-07-11 Kddi株式会社 オクルージョン発生時に専用の識別器を用いて物体を追跡する装置、プログラム及び方法
JP2016157166A (ja) * 2015-02-23 2016-09-01 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法
JP2016162099A (ja) * 2015-02-27 2016-09-05 富士通株式会社 画像判定装置、画像判定方法、及びプログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020047110A (ja) * 2018-09-20 2020-03-26 パナソニック株式会社 人物検索システムおよび人物検索方法
US11030463B2 (en) 2018-09-20 2021-06-08 Panasonic I-Pro Sensing Solutions Co., Ltd. Systems and methods for displaying captured videos of persons similar to a search target person
US11527071B2 (en) 2018-09-20 2022-12-13 i-PRO Co., Ltd. Person search system and person search method
JP2020047259A (ja) * 2019-07-11 2020-03-26 パナソニックi−PROセンシングソリューションズ株式会社 人物検索システムおよび人物検索方法
JP7235612B2 (ja) 2019-07-11 2023-03-08 i-PRO株式会社 人物検索システムおよび人物検索方法
WO2022102371A1 (ja) * 2020-11-16 2022-05-19 株式会社デンソー 物体検出装置、物体検出方法
JPWO2022102371A1 (ja) * 2020-11-16 2022-05-19
JPWO2022195790A1 (ja) * 2021-03-18 2022-09-22
WO2022195790A1 (ja) * 2021-03-18 2022-09-22 三菱電機株式会社 画像処理装置及び画像処理方法
JP7274068B2 (ja) 2021-03-18 2023-05-15 三菱電機株式会社 画像処理装置及び画像処理方法
GB2618757A (en) * 2021-03-18 2023-11-15 Mitsubishi Electric Corp Image processing device and image processing method
GB2618757B (en) * 2021-03-18 2024-05-29 Mitsubishi Electric Corp Image processing device and image processing method

Also Published As

Publication number Publication date
JP6844230B2 (ja) 2021-03-17

Similar Documents

Publication Publication Date Title
US20180204070A1 (en) Image processing apparatus and image processing method
US11270108B2 (en) Object tracking method and apparatus
JP5035035B2 (ja) 対象物追跡方法、対象物追跡装置および対象物追跡プログラム
JP6844230B2 (ja) 画像処理プログラム、画像処理装置および画像処理方法
JP5722381B2 (ja) ビデオ解析
US20130129160A1 (en) Face image registration device and method
US20230360432A1 (en) Facial authentication device, facial authentication method, and program recording medium
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
JP2007508633A (ja) 物体輪郭画像を解析する方法および画像処理装置、物体を検出する方法および画像処理装置、産業用視覚装置、スマートカメラ、画像ディスプレイ、セキュリティシステム、ならびにコンピュータプログラム製品
US10489640B2 (en) Determination device and determination method of persons included in imaging data
JP7438684B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US10853636B2 (en) Information processing apparatus, method, and non-transitory computer-readable storage medium
US20180307896A1 (en) Facial detection device, facial detection system provided with same, and facial detection method
JP5783759B2 (ja) 認証装置、認証方法、および認証プログラム、並びに記録媒体
JP2017174343A (ja) 入店者属性抽出装置及び入店者属性抽出プログラム
JP2018205870A (ja) オブジェクト追跡方法および装置
JP4821355B2 (ja) 人物追跡装置、人物追跡方法および人物追跡プログラム
JP2017204095A (ja) 特徴量比較プログラム、情報処理装置、および特徴量比較方法
JP2006323779A (ja) 画像処理方法、画像処理装置
WO2019244536A1 (ja) 物体追跡装置、物体追跡システム、および物体追跡方法
JP6698058B2 (ja) 画像処理装置
JP2012003686A (ja) 認証装置、認証方法、及び認証プログラム、並びに記録媒体
JP6555940B2 (ja) 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法
JPH08190690A (ja) ナンバープレート決定方法
JP7118679B2 (ja) 映像記録装置、映像記録方法およびプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20170803

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170803

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170804

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180219

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210208

R150 Certificate of patent or registration of utility model

Ref document number: 6844230

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150