JP2021012696A - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2021012696A
JP2021012696A JP2020115511A JP2020115511A JP2021012696A JP 2021012696 A JP2021012696 A JP 2021012696A JP 2020115511 A JP2020115511 A JP 2020115511A JP 2020115511 A JP2020115511 A JP 2020115511A JP 2021012696 A JP2021012696 A JP 2021012696A
Authority
JP
Japan
Prior art keywords
person
certainty
area
registered person
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020115511A
Other languages
English (en)
Inventor
英生 野呂
Hideo Noro
英生 野呂
伊藤 嘉則
Yoshinori Ito
嘉則 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2021012696A publication Critical patent/JP2021012696A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

【課題】 複数の認識環境の認識結果を適切な結果にすることが出来る。【解決手段】 複数の領域毎に撮像された画像に含まれる注目人物と、予め設定された登録人物と、に基づいて、前記注目人物が前記登録人物である確からしさを推定する推定手段と、前記複数の領域のうち第1の領域において撮像された第1の注目人物について、前記第1の領域とは異なる領域で撮像された画像に含まれる第2の注目人物が前記登録人物である確からしさが閾値より大きい状態を保持した期間が所定の期間より長い場合に、前記第1の領域における前記第1の注目人物が前記登録人物である確からしさをより下げるように更新し、前記第2の注目人物が前記登録人物である確からしさが閾値より大きい状態を保持した期間が所定の期間より短い場合に、前記第1の領域における前記第1の注目人物が前記登録人物である確からしさを下げないように更新する更新手段と、を有する情報処理装置。【選択図】 図2

Description

本発明は、人物を認識する技術に関する。
従来、互いに異なる場所を撮影する複数のカメラにおいて、同じ時刻にそれぞれのカメラで撮像した画像から同一の人物が認識されてしまう場合がある。しかしながら、同一人物は、これらの離れた場所に同時には存在できないので、何れかの認識結果は誤りである。これを考慮し、互いに異なる場所を撮影する複数のカメラの画像認識においては、現実的な移動速度で移動する人物が一定の時間内に存在しうる空間の領域を示す時間的および空間的制約を導入することが有効である。特許文献1では、上記空間的制約を用いて、特定の領域を撮影した画像に含まれるある人物について、一定期間前にその特定の領域から移動不可能と考えられる領域で上記登録人物が検出されていた場合は、該人物は登録人物ではないと認識する。
特開2006−221355号公報
特許文献1では、上記空間的制約に基づいて認識結果を取捨選択し、確定する。つまり、ある時間と場所において確定した認識結果を正しいとしたとき、そこで認識された人物がその時間と場所に存在した事実に基づきそれ以外の認識を行う。そのため、1度でも認識結果が誤っていた場合、全体として正しい認識結果が得られなくなる恐れがある。例えば、もし、認識候補が複数あり、ある領域において突出して高い認識尤度の候補が無い場合に、上記空間的制約と矛盾しない認識結果が必ず正しいとして候補を絞ってしまうと、全体として正しい認識結果が得られなくなる。本発明は上記課題に鑑みてなされたものであり、上記空間的制約に基づいて複数の認識環境での認識を行う場合に、ある認識環境において突出して高い認識尤度の候補が無かったとしても、複数の認識環境の認識結果を適切な結果とすることを主な目的とする。
上記課題を解決する本発明にかかる情報処理装置は、複数の領域毎に撮像された画像に含まれる注目人物と、予め設定された登録人物と、に基づいて、前記注目人物が前記登録人物である確からしさを推定する推定手段と、前記複数の領域のうち第1の領域において撮像された第1の注目人物について、前記第1の領域とは異なる領域で撮像された画像に含まれる第2の注目人物が前記登録人物である確からしさが閾値より大きい状態を保持した期間が所定の期間より長い場合に、前記第1の領域における前記第1の注目人物が前記登録人物である確からしさをより下げるように更新し、前記第2の注目人物が前記登録人物である確からしさが閾値より大きい状態を保持した期間が所定の期間より短い場合に、前記第1の領域における前記第1の注目人物が前記登録人物である確からしさを下げないように更新する更新手段と、を有することを特徴とする。
本発明によれば、上記空間的制約に基づいて複数の認識環境での認識を行う場合に、ある領域において突出して高い認識尤度の候補が無かったとしても、複数の認識環境の認識結果を適切な結果にすることが出来る。
情報処理装置のハードウェア構成例を示す図 情報処理装置の機能構成例を示すブロック図 撮像部が撮像した画像の一例を示す図 情報が付与された撮像画像の一例を示す図 人物候補画像の一例を示す図 人物確信度の求め方の一例を示す図 登録人物の特徴量をまとめた一例を示す図 人物確信度テーブルの一例を示す図 情報処理装置が実行する処理を説明するフローチャート エリア確信度テーブルの一例を示す図 GUIに表示した一例を示す図 人物確信度テーブルの一例を示す表 人物確信度の推移の一例を示す図 情報処理装置が実行する処理を説明するフローチャート 人物確信度テーブルの一例を示す表 人物確信度の推移の一例を示す図 人物確信度の推移の一例を示す図 人物確信度の推移の一例を示す図 撮像領域を分割した一例を示す図 人物追跡部の動作の一例を説明する図
以下に、本発明の好ましい実施の形態を、図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
<実施形態1>
図1は、情報処理システムのハードウェア構成例を示す図である。中央処理ユニット(CPU)101は、RAM103をワークメモリとして、ROM102や記憶装置104に格納されたOSやその他プログラムを読みだして実行し、システムバス109に接続された各構成を制御して、各種処理の演算や論理判断などを行う。CPU101が実行する処理には、実施形態の情報処理が含まれる。記憶装置104は、ハードディスクドライブや外部記憶装置などであり、実施形態の情報処理にかかるプログラムや各種データを記憶する。入力部105は、カメラなどの撮像装置、ユーザ指示を入力するためのボタン、キーボード、タッチパネルなどの入力デバイスである。なお、記憶装置104は例えばSATAなどのインタフェイスを介して、入力部105は例えばUSBなどのシリアルバスを介して、それぞれシステムバス109に接続されるが、それらの詳細は省略する。通信I/F106は無線通信または有線通信で外部の機器と通信を行う。表示部107はディスプレイである。センサ108は画像センサや距離センサである。撮像装置11aに対応する。
図2は、特定の人物を認識する情報処理システム1の機能構成例を示すブロック図である。撮像システム11は、環境の状況を監視する受光センサを有し、動画像を撮像できる。以下、個々の撮像システム11を区別する必要がある場合は、撮像装置11a、撮像装置11b、・・・と記す。なお、各々の撮像システム11が撮像する領域は重なり合ってないものとする。なお、撮像システム11は、ハードウェア構成例のセンサ108に対応する。また、撮像システムを情報処理装置が備えてもよい。撮像装置は、レンズ等の工学系とCMOSセンサやCCDセンサ等の画像センサとを内蔵し、具体的にはRGBカラーカメラである。
情報処理装置100は、画像から特定の人物を認識する。情報処理装置100は、画像取得部12、抽出部13、認識部14、保持部15、エリア確信度取得部16を有する。
画像取得部12は、所定の領域を監視対象とする撮像システム11が撮像した画像を取得し、抽出部13に出力する。この際、画像にはカメラIDと撮像時刻が付与される。たとえば、撮像装置11aで第1の領域を撮像した画像にはa、撮像装置11bで第2の領域を撮像した画像にはbというカメラIDが付与される。ここでは、第1の領域と第2の領域とは一瞬で移動できないくらい離れた距離に存在する領域であるとする。すなわち、人物が第1の領域から第2の領域に所定の速さで移動すると仮定した場合に、所定の時間だけ要する、という制約を時間的・空間的制約とする。なお、本実施形態は撮像システム11によってリアルタイムに撮像された映像に対して処理を行う例を説明するが、録画された過去の映像に対しても同様の処理が可能である。その場合は、画像取得部12は、保持部15が保持する過去の画像を取得する。
抽出部13では、撮像システム11によって撮像された画像から人物1人あたりの身体の(部分または全体)特徴を示す部分画像を抽出する。すなわち、画像取得部12から得た画像から人物候補領域を抽出し、人物候補画像として出力する。人物候補領域とは、画像のうち人物を示す特徴を含む領域である。人物候補画像とは、人物一人分の特徴を有する部分画像である。ある画像に複数の人物候補が含まれる場合は、その数に応じて人物候補画像を取得する。そのため、1画面に多くの人物候補があれば多くの人物候補画像を出力し、人物候補が見つからなければ出力は行わない。なお、人物候補画像には、エリアIDと撮像時刻を示す情報が付与される。さらに、カメラIDと、入力撮像画像に対する人物候補領域の位置と大きさも必要に応じて付与される。
エリアIDとは、エリアを識別する位置情報である。エリアとは、人物候補が存在する場所の領域を表すもので、ここでは各々のカメラの撮像領域とする。この場合、撮像部11aで撮像した画像にはa、撮像部11bで撮像した画像にはbというエリアIDが付与される。エリアIDは、カメラIDと対応づけられている。
ついで、抽出部13が出力する各々の人物候補画像に対し、以下の認識部14での処理がなされる。認識部14は、推定部141と更新部142から構成される。認識部14は、ある人物候補画像について各登録人物との人物確信度の最大値が所定の閾値より大きい場合、人物候補画像に含まれる人物は登録人物であると認識する。人物確信度は後述するエリア確信度に基づいて更新された値を用いる。
推定部(出力部)141は、入力される人物候補画像に対して、人物候補画像に含まれる人物が、認識対象である登録人物である可能性を示す人物確信度(情報)を、すべての登録人物について出力する。つまり、推定部141は、抽出された部分画像毎に人物確信度を出力する。詳しい処理については後述する。もし、100人登録してある場合には、100個の人物確信度を取得する。ここでは、人物確信度は、確実に当該人物でない場合を0、確実に当該人物である場合を1とする、[0,1]の実数で表される数値とする。つまり、推定部141は、監視カメラに映った人物と、登録された人物との類似度を算出する。
更新部142では、保持部15が保持するエリア確信度(領域情報)を参照し、時間的および空間的制約を用いて、推定部141から得た人物確信度を更新する。すなわち、更新部142は、第1の領域とは異なる第2の領域に登録人物が存在する可能性に基づいて、人物候補画像に含まれる人物(注目人物)が、認識対象である登録人物である可能性を示す人物確信度(情報)を更新する。ここでは、2つの仮定に基づいて人物確信度を更新する。一つ目の仮定は、時刻t−1に第2の領域に存在したならば、時刻tに第1の領域に存在する可能性は低いことである。もう一つの仮定は、時刻t−1に第1の領域に存在したならば、時刻tに第1の領域に存在する可能性は高いことである。更新した人物確信度は保持部15に保持される。なお、エリア確信度(領域情報)とは、ある人物があるエリアに存在する可能性を示す数値であり、詳細はこのあと説明する。
エリア確信度取得部16は、抽出部13が出力する全ての人物候補画像について、上記認識部14によって人物確信度が推定されると、人物確信度を元にエリア確信度(領域情報)を更新する。詳しい処理は後述する。更新されたエリア確信度は保持部15に保持する。
表示装置17では、保持部15が保持する人物確信度を参照して、システムの目的に応じた表示を行う。たとえば、画像取得部12が出力した撮像画像に、検出した人物枠や人物名等を重畳表示する。なお、情報処理装置100が表示部を有する構成でもよい。また、表示装置以外でもユーザに認識結果を提示できる装置であれば、例えば、音声発生装置でもよい。
以下では、例を用いて、より詳細に説明する。なお、撮像システム11における撮像装置は何台あっても構わないが、ここでは2台の場合を説明する。撮像装置11aと撮像装置11bは、互いに重なりあわない領域を撮像している。たとえば、撮像装置11aは部屋aの全体、撮像装置11bは部屋bの全体を撮像しているものとする。また、撮像装置11aが撮像している領域をエリアa、撮像装置11bが撮像している領域をエリアbとする。この場合、エリアaとエリアbは重なり合わない。
図3(a)(b)は、撮像部11が時刻t1において撮像した画像である。図3(a)が撮像装置11aで撮像した撮像画像21a、図3(b)が撮像装置11bで撮像した撮像画像21bである。撮像画像21aには、人物が2名写っており、撮像画像21bには1名写っている。撮像画像21aおよび撮像画像21bは、画像取得部12によって、カメラIDと撮像時刻が付与される。また、本実施形態では入力画像を識別するため、入力画像IDも付与する。図4(a)に、これらの情報が付与された撮像画像21aおよび撮像画像21bを示す。必要に応じて撮像画像の大きさ等の情報をさらに付与しても構わない。
抽出部13は、画像取得部12から撮像画像21を取得し、人物の特徴を含む人物候補画像(部分画像)を抽出する。これには、撮像画像21から人物と思われる人物候補領域を検出し、検出した領域の画像を切り出せばよい。人物候補領域は221、222、223の3つあり、各々Aさん、Bさん、Cさんが写っている。人物候補領域の抽出方法としては、たとえば、ピクセルレベルで似たようなピクセルを統合する。1つの領域になるまで徐々に統合し、各レベルで1つの領域となっている部分のバウンディングボックスに対して、人物らしさの判定をして候補を絞り、人物候補領域を抽出する。なお、人物候補領域の抽出方法はこれに限らず、ディープラーニングを利用して人物が存在しうる領域を抽出してもよい。
図5(a)に、撮像画像21aおよび撮像画像21bを、抽出部13が処理した結果を示す。次に推定部141は、抽出部13が出力する人物候補画像それぞれについて(注目人物毎に)、予め設定してある人物ごとに、当該人物であると思われる人物確信度を(0,1)の範囲の多値情報として取得する。取得結果は、保持部15に保持する。なお、ここで人物確信度は0と1を含まないようにする。これは、装置のみの判断で人物の認識結果を確定することを避けるためである。情報処理装置による認識結果は、ある時点で1度誤ると、その後の処理結果に間違った影響がかかってしまう可能性がある。本実施形態では、その誤認識の影響を抑え、最終的に正しい認識結果を得ることを目的とする。なお、認識結果を確定させることによって処理を安定的にして、なおかつ処理負荷を軽減できる。例えば、ユーザが認識結果をチェックしたタイミングで、正しい認識結果は人物確信度を1にするようにしてもよい。人物確信度を推定する他の方法としては、推定部141は、学習済みモデルを用いて人物確信度の推定を行う。例えば、学習済みモデルには、過去の認識結果や、現在の監視カメラの映像を入力する。学習済みモデルは、ある画像に映った人物について、認識結果や検出されたタイミングに基づいて、その人物についての人物確信度を推定させてもよい。
なお、人物確信度の求め方は、人物認証の分野では広く知られた技術であるが、ここでは一例を、図6を用いて説明する。なお、本発明は人物確信度の求め方を限定していない。そのため、ここで説明する手法以外を用いても構わない。
人物候補画像E31が与えられると、特徴量取得P31では、人物を特徴付ける値(通常はベクトル)である特徴量を取得する。一般に特徴量は、人物候補画像に写っている人物が同一人物である場合は、向きやポーズ、また照明等の条件に左右されずに近い値をとる。一方で、異なる人物である場合は、大きく異なる値をとる。特徴量の取得方法は、人物認識の分野では広く知られた技術であるので、詳細は割愛する。例えば、ディープニューラルネットではCNN等で、畳み込み演算とプーリングを組み合わせることによって特徴量を取得する。
一方、登録人物の各々が写っている画像に対し、予め特徴量取得P31を行っておき、特徴量を取得しておく。こうして取得した特徴量は、登録人物を識別する人物IDとともに、特徴量(登録人物)E32としてまとめておく。特徴量(登録人物)E32を特徴量(登録人物)テーブルとしてまとめた例を図7に示す。
特徴量取得P31で取得された特徴量は、類似度取得P32によって、特徴量(登録人物)E32の各々の特徴量と比較され、各登録人物に対する人物確信度E33が取得される。人物確信度の取得方法には特に拘らないが、たとえば特徴量ベクトル同士のコサイン類似度(負の値は0とする)や、特徴量ベクトル間のユークリッド距離をべき指数とした定数(1未満の正数)のべき乗を用いることができる。
取得された人物確信度E33は、抽出部13の出力と合わせて、人物確信度テーブルとして保持部15に保持する。図8に人物確信度テーブルの例を示す。人物候補画像IDが1−1のレコードに注目すると、Aさんを撮像したものであるにも関わらず、僅かにBさんの人物確信度が高くなってしまっている。これは人物を誤認識したということになる。
更新部142は、推定部141が取得した人物確信度を、直前の時点の各登録人物のエリア確信度を用いて修正する。撮像部11が撮像を開始した時刻がt1だとすると、直前のエリア確信度は未取得である。未取得の場合、エリア確信度を0として扱うが、本実施形態では結果的に、更新部142によって人物確信度は修正されないことになる。更新部142の動作の詳細は、このあと時刻t2における説明の中で行う。
修正された人物確信度によって保持部15が保持する人物確信度テーブルは更新されるが、時刻t1の時点では図8と同様である。抽出部13が出力したすべての人物候補画像に対して、認識部14によって各登録人物の確信度を取得したら、エリア確信度取得部16によって各登録人物のエリア確信度を取得する。すなわち、エリア確信度取得部16は、複数の領域毎に登録人物が存在する確率を示すエリア確信度を取得する。
エリア確信度(エリア確信度)とは、あるエリアにある人物が存在すると思われる度合いを表すもので、ここでは、確実にいない場合を0、確実にいる場合を1とする、[0,1]の実数で表される数値とする。エリア確信度の取得方法として、たとえば、当該エリアにあるすべての人物候補画像の、当該人物の人物確信度の最大値と、直前のエリア確信度との加重平均を用いることができる。
エリア確信度=(当該人物の人物確信度)×s+直前のエリア確信度×(1−s) (式1)
ここで0<s≦1である。「当該人物の人物確信度」は当該時刻の撮像画像から算出される。一方、「直前のエリア確信度」はそれ以前の情報を含む。1画像から取得した確信度が絶対であれば、s=1である。しかし、人物の隠れ(この場合は人物がいなくなるため、典型的にはs=0になる)や、画像による確信度のゆらぎがあるため、少し前の情報も考慮するために重みづけを行う。この式により時間方向の値が考慮される。加重平均以外の方法でも良い。sは、ここでは固定された定数であるが、場合によって可変である。
図8を参照すると、エリアIDがaのエリアの人物候補画像は、人物候補画像IDが1−1と1−2の2枚があり、Aさんの人物確信度は各々0.73、0.23である。そこでAさんと各登録人物との人物確信度の最大値をとる。0.73と0.23の最大値をとると、0.73となる。s=0.7とすると、時刻t1における、Aさんのエリアaにおけるエリア確信度は、0.73×0.7=0.51となる。
同様に時刻t1における、Aさんのエリアbにおけるエリア確信度は、0.29×0.7=0.20となる。こうしてすべてのエリアに対して、エリア確信度を取得する。
またエリア確信度取得部16では、他エリア確信度(他エリア確信度)の更新も行う。他エリア確信度とは、ある人物が、注目しているエリア外にいると思われる度合いである。たとえば、カメラがn台、すなわちn個のエリアがある場合、「エリアaの他エリア確信度」はエリアa以外のエリア確信度の最大値とすればよい。あるいは、「1−エリア確信度」としてもよい。
たとえば、エリアIDがaのエリアの他エリア確信度は、エリアIDがa以外のエリアのAさんのエリア確信度の最大値とする。本実施形態ではエリアIDがa以外のエリアはエリアIDがbのエリアのみであるため、0.20を得る。これが、時刻t1における、Aさんのエリアaにおける他エリア確信度である。
こうしてすべてのエリアに対して、エリア確信度および他エリア確信度を取得したものを図10(a)に示す。取得したエリア確信度および他エリア確信度は、エリア確信度テーブルとして、保持部15で保持する。なお、図10(a)には時刻情報も含まれているが、本実施形態ではエリア確信度は最新のもののみ使用するため、時刻情報を必ずしも保持する必要はない。
以上により、撮像システム11によって撮像した画像に写る各人物候補に関して、登録人物毎に人物確信度が取得される。取得された人物確信度をどのように使うかは、本発明では特に規定しないが、ここでは検出した人物の検出枠と名前を撮像画像に重畳して表示する例を説明する。
図9に表示装置17が実行する処理を説明するフローチャートを示す。表示部17は、不図示の部により表示するカメラのカメラID(E41)を指定する。ステップS41では、表示部17が、選択されたカメラID(E41)と一致する入力画像を画像取得部12の出力から抽出する。
ここでは選択されたカメラID(E41)が、「a」とする。すると、図4(a)の左側の入力画像が、抽出された入力画像E42として抽出される。
次に、ステップS42で、表示装置17が、人物確信度テーブルE43から人物候補画像のレコードを抽出する。抽出された入力画像E42の入力画像IDは「a1」である。そこで図8の人物確信度テーブルE43から、入力画像IDが「a1」であるものを抽出する。抽出結果は、図8の人物候補画像IDが1−1および1−2のレコードである。
抽出された各レコードに対して、表示装置17が、ステップS43からステップS45の処理を行う。レコードの処理は同時並列して行うことができるが、ここではまず人物候補画像IDが1−1のレコードに注目して説明する。
まず、ステップS43にて、表示装置17が、画像から検出された人物に対して、各登録人物との類似度を示す人物確信度のうち最大のものを抽出する。ここでは「Bさん」の「0.75」が抽出される。次いで、ステップS44で、表示装置17が、人物確信度のうち最大値を取る0.75が所定の閾値より大きいか否かが判定される。ここでは閾値を0.6であるとする。この場合、0.75>0.6であるので、ステップS45の処理を行う。もし、最大の人物確信度が閾値以下であった場合は、このレコードに対しては何もせずに終了する。
ステップS45では、表示装置17が、抽出された入力画像E42(入力画像IDがa1の入力画像)に対して、人物検出枠と名前を重畳描画する。人物検出枠は、レコードの位置と大きさで表されている。人物候補画像IDが1−2のレコードに対しても同様の処理を行う。その結果、「Cさん」として人物検出枠が、重畳描画される。ステップS42で抽出したすべてのレコードに対して、ステップS43からステップS45の処理が終了すると、ステップS46によって重畳描画された入力画像E42が不図示の表示装置に表示される。
表示装置に表示された例を図11(a)に示す。この段階ではAさんをBさんと誤認識してしまっている。なお、検出枠の表示方法や対応する人物名の表示方法等は、本実施形態で行っている以外の方法を用いても構わない。
次に、撮像部11が時刻t2において撮像した画像を処理する場合を説明する。なお、時刻t2はt1の直後に撮像されるタイミングであり、t2−t1は、人物のエリアa−b間の移動に比べて、十分に短い時間間隔である。ここでは時刻t1の説明と異なる部分を中心に説明を行う。
撮像部11bの撮像領域に、新たな人物(Bさん)が進入してきて、図3(c)のような撮像画像が得られたとする。このとき、画像取得部12から出力される入力画像は、図4(b)のb2ようになる。ここでは、説明を簡単にするため、撮像装置11aが撮像する画像には変化がなく、撮像装置11bが撮像する画像には、新たな人物であるBさんが写りこんでいる以外は変化がないものとする。
そして抽出部13が出力する人物候補画像は、図5(b)のようになる。さらに各々の人物候補画像を推定部141で処理した結果、得られる人物確信度テーブルを図12(a)に示す。
次いで、更新部142によって、人物確信度テーブルの各々の人物候補画像の人物確信度が更新される。更新部142では、
・直前に同一エリアにいたら、人物確信度を上げる (仮定1)
・直前に他のエリアにいたら、人物確信度を下げる (仮定2)
というように人物確信度を修正する。
これは、各々「ある時点にあるエリアにいた人物は、次の時点でも同じエリアにいるだろう」、「ある時点に別のエリアにいた人物は、次の時点でもこのエリアにはいないだろう」に相当する。例えば次のようにして実現できる。
人物確信度1=人物確信度0+エリア確信度^m×(1−人物確信度0)×R (式2)
人物確信度2=人物確信度1×(1−他エリア確信度^n) (式3)
1≦m,0<R<1,1≦nである。
なお、Rはエリア確信度が1の場合に、人物確信度1をいくつにするのか、を示す値である。また、m、nはグラフのカーブを示す。例えばm=1の場合、図13(a)のグラフは、直線になる。また、1<mの場合、下に凸のグラフとなり、mが大きくなればなるほど、凸の度合いが大きくなる(横軸、縦軸にくっついてくる)。nについても同様で、図13(b)で示される。n=1の場合は直線、1<nの場合は上に凸で、nが大きくなればなるほど凸の度合いが大きくなる。R,m,nは事前に観測を行って、最適な値を決める。記号^はべき乗を表し、「A^k」は「Aのk乗」を表すものとする。
また、人物確信度0は更新部142で修正する前の人物確信度、人物確信度2は修正後の人物確信度である。式2は仮定1に対応するもので、人物確信度1は、エリア確信度の値により、人物確信度0と1の間の値をとる。式3は仮定2に対応するもので、人物確信度2は、他エリア確信度の値により、0と人物確信度1の間の値をとる。
式2と式3によって、人物確信度0がどのように人物確信度2に修正されるかを図13に示す。本実施形態に沿って、更新部142の動作を、図14を用いて説明する。まず人物候補画像IDが2−1のレコードの処理を説明する。
ステップS71で、更新部142が、各対象人物(各人物候補画像に写っている人物)についての登録人物に対する人物確信度を、人物確信度テーブルE43から取得する。例えば、人物候補画像ID2−1で示される対象人物は登録人物Aさん、Bさん、Cさんなので、図12(a)の人物確信度テーブルから各々の人物確信度0.73、0.75、0.23を得る。
ステップS72では、更新部142が、この各々対象人物の人物確信度について修正・更新を行う。例えば、m=10、n=6、R=0.5とすると、式2によって、Aさんの人物確信度は、図10(a)のエリア確信度テーブルE71を参照して、人物確信度1は、
0.73+0.51^10×(1−0.73)×0.5=0.73
となる。これを式3に適用すると、人物確信度2は、
0.73×(1−0.20^6)=0.73
となる。
そこで、人物確信度テーブルの人物候補画像IDが2−1のレコードのAさんの人物確信度を0.73から0.73に修正・更新を行う。こうしてすべての人物候補画像に対して人物確信度を更新した、人物確信度テーブルE43を図12(b)に示す。
次に、エリア確信度取得部16でエリア確信度と他エリア確信度を取得し、エリア確信度テーブルE71を更新する。図10(b)は更新されたエリア確信度テーブルである。s=0.7として、時刻t2における、Aさんのエリアaにおけるエリア確信度は、図10(a)および図12(b)を参照して、式1を用いると、
0.73×0.7+0.51×(1−0.7)=0.66
となる。
更新されたエリア確信度テーブルE71を図10(b)に示す。表示部17で表示装置に表示した例は、図11(a)と変わらず、AさんをBさんと誤認識してしまっている。さらに時刻t3、t4、・・・と処理を続けていき、t20での人物確信度テーブルを図15に、エリア確信度テーブルを図10(c)に示す。時刻t20で、表示部17で表示装置に表示した例を図11(b)に示す。正しくAさんと認識されていることがわかる。
図16に、人物候補領域221の人物に関する、Aさん、Bさんの人物確信度の推移をt1からt60までプロットしたものを示す。なお、撮像部11aは撮像する画像が時刻t1〜t60で図3(a)であり、撮像部11bが撮像する画像が時刻t1〜t20およびt41〜t60で図3(b)、時刻t21〜t40で図3(c)である。また、s=0.1、m=10、n=6、R=0.5で計算した。
図16を見てわかるように、他のエリアにBさんが出現すると(t20)、Bさんの人物確信度が落ちてくる。また、他のエリアにBさんがいなくなると(t40)、Bさんの人物確信度が上がる。
本発明の効果がよくわかるように、模式的にグラフを作成したものが図17である。あるエリアから抽出した人物候補画像の、AさんとBさんの人物確信度を、時間の経過とともにプロットしたものである。実線がAさん、破線がBさんの人物確信度である。時刻tbに、当該人物候補画像のあるエリアとは異なるエリアで、Bさんが出現したときの様子である。
また、グラフの上に矢印で領域とA/Bが示してあるが、これは該人物候補画像の認識結果を表している。図17(a)が本発明適用前、図17(b)が本発明適用後のグラフである。本発明適用前は、認識結果がAさんとBさんの間でバタついていることがわかる。しかし、本発明適用後は、時刻tbで、他のエリアにBさんが出現して以降は、認識結果はAさんで安定している。
このように、本発明を実施することにより、上記空間的制約に基づいて複数の認識環境での認識を行う場合に、ある認識環境において突出して高い認識尤度の候補が無かったとしても、複数の認識環境の認識結果を適切な結果にすることが出来る。なお、人物確信度の落ち方や上がり方は、式1〜式3に依存するが、本発明では式の定義は領域外である。
また、本実施形態では人物確信度を元に表示部17によって表示装置に表示を行ったが、本発明は人物確信度を取得することに特徴があり、人物確信度を元に、他の処理を行ってもよい。他の処理の例としては、たとえば人物追跡等がある。
また、本実施形態では、推定部141ですべての人物候補画像に対して処理を行ったのちに、更新部142で人物確信度を修正した。しかし、ひとつの人物候補画像に対して、推定部141、更新部142の処理を行い、これをすべての人物候補画像に対して順番に行ってもよい。またひとつの人物候補画像に対する、推定部141、更新部142の処理を、並列してすべての人物候補画像に対して行ってもよい。
また、本実施形態では、抽出部13で人物候補画像を抽出して、特徴量取得P31で、人物を特徴づける特徴量を取得している。しかし、人物を特徴づける特徴量として、顔の特徴量を用いてもよい。たとえば、人物候補画像からさらに顔領域を取得し、該顔領域に対して顔特徴量を取得する。この顔特徴量を、人物を特徴づける特徴量として用いてもよい。あるいは、人物候補画像ではなく、顔候補画像を抽出し、該領域に対して顔特徴量を取得し、この顔特徴量を、人物を特徴づける特徴量として用いてもよい。
本実施形態では2台のカメラが別々の離れた場所を監視するシステムを説明するが、異なる領域を監視できるシステムであればよい。例えば、1台のカメラを回転させることによって複数の領域を監視する形態でもよい。この場合は、人物の移動が短時間で行えることから、空間的制約を緩和してもよい。
さらに、更新部142は、ある注目人物が登録人物である確からしさがある所定期間より長い時間で閾値より大きい値を取る場合にだけ、その注目人物以外の注目人物について登録人物である確からしさを更新するようにしてもよい。複数の領域のうち第1の領域において撮像された第1の注目人物について、第1の領域とは異なる領域で撮像された画像に含まれる第2の注目人物が登録人物である確からしさが閾値より大きい状態を保持した期間が所定の期間より長い場合を考える。その場合、更新部142は、第1の領域における第1の注目人物が登録人物である確からしさをより下げるように更新する。また、第2の注目人物が登録人物である確からしさが閾値より大きい状態を保持した期間が所定の期間より短い場合に、第1の領域における第1の注目人物が登録人物である確からしさを下げないように更新する。このように処理時間に幅を持たせることによって、他の領域で誤認識が起きた場合でも、注目人物についての認識結果が頻繁に変動する状況を防ぐ。また、各人物は領域内を動き回るため、見え方によって類似度が異なって推定される。この場合に、注目人物と登録人物との類似度がよく変動することが考えられる。このような場合において、ある注目人物が登録人物である確からしさが安定したときに、他の注目人物についての推定結果に反映する処理を行うことで、互いの推定結果が頻繁に変動することを防ぐ効果がある。
<実施形態2>
実施形態1では、仮定1および式2で表されるように、エリア確信度が高い場合には人物確信度を上げるが、エリア確信度が低い場合は人物確信度を修正することはしなかった。しかしながら、エリア確信度が低い場合には、現在も当該エリアにはいないと思われるため、人物確信度を下げてもよい。
すなわち、
・直前に同一エリアにいなかったら、人物確信度を下げる (仮定3)
というように人物確信度を修正する。
本発明では、人物確信度の詳細な修正方法は規定しないが、式4(式4−1または式4−2)を満たすような値Lを取得し、式5によって人物確信度3を取得することで実現できる。
(エリア確信度/p)^r+(L/q)^r=1(0≦エリア確信度<p)(式4−1)
ただし、0<p<1、0<q<1、0<r<1
L=0(エリア確信度≧p) (式4−2)
人物確信度3=人物確信度2×(1−L) (式5)
式4と式5を適用することによって取得されるLと、人物確信度2がどのように人物確信度3に修正されるかを図18に示す。このようにして、更新部142は、人物確信度0を人物確信度3に修正する。
<実施形態3>
実施形態1では、エリアごとにすべての登録人物のエリア確信度および他エリア確信度を取得し、エリア確信度テーブルとして保持していた。そのため、保持すべきエリア確信度および他エリア確信度の数は、各々エリア数×登録人物数となる。登録人物数が多い場合には、保持する数も膨大となり、エリア確信度テーブルに必要なメモリ量が増大する。
ところで、式2および式3、またqが小さい場合の式5では、エリア確信度や他エリア確信度が小さい場合に、人物確信度が修正される程度は小さい。そのため、値が小さなエリア確信度や他エリア確信度はゼロとみなしても、結果はあまり変わらない。そこで、エリア確信度や他エリア確信度が大きいものは保持し、他は保持しないようにすることでエリア確信度テーブルの大きさを大幅に抑えることができる。
たとえば、エリア確信度を、エリアごとに、値の高いものから順に、所定数のみを保持するようにすればよい。同様に、他エリア確信度を、エリアごとに、値の高いものから順に、所定数のみを保持するようにすればよい。あるいは、エリア確信度を、エリアごとに、値の高いものから順に、所定値を超えたもののみを保持するようにしてもよい。
同様に、他エリア確信度を、エリアごとに、値の高いものから順に、所定値を超えたもののみを保持するようにしてもよい。また、エリアごとではなく、全エリアを通して保持する値を選択してもよい。すなわち、エリア確信度を、全てのエリアにおいて、値の高いものから順に、所定数のみを保持するようにしてもよい。同様に、他エリア確信度を、全てのエリアにおいて、値の高いものから順に、所定数のみを保持するようにしてもよい。あるいは、エリア確信度を、全てのエリアにおいて、値の高いものから順に、所定値を超えたもののみを保持するようにしてもよい。同様に、他エリア確信度を、全てのエリアにおいて、値の高いものから順に、所定値を超えたもののみを保持するようにしてもよい。
以上により、エリア確信度テーブルに必要なメモリ量を大幅に減らすことができる。
<実施形態4>
実施形態1では、エリアは、各々のカメラ(撮像部11)の撮像領域とした。この場合、同一カメラの撮像領域内の複数の人物候補画像が、同一の人物であると誤認識されることを防ぐことができない。これは画角の広いカメラのように、撮像画像から多くの人物候補画像が得られる場合には、少なからず起こりうることである。
そこで、カメラの撮像領域を互いに重なり合わないいくつかの部分に分割したものをエリアとしてもよい。なお、分割したすべての部分ではなく、いくつかの部分をエリアとしてもよい。
カメラの撮像領域を分割した例を図19に示す。カメラの撮像領域は131であり、これを分割して、3つの部分1311、1312、1313をエリアとしている。
以上により、同一カメラの撮像領域内の複数の人物候補画像が、同一の人物であると誤認識されることを抑制することができる。
実施形態1では、1エリア1カメラであったため、本発明を適用するには複数のカメラが必要であったが、本実施形態では1台または複数のカメラで適用可能である。
<実施形態5>
実施形態4では、カメラの撮像領域を固定的に分割したが、追跡部と組み合わせ、同一の人物追跡IDを持つ人物候補画像を同一エリアに含まれるものとしても扱ってもよい。
図2(b)は、本実施形態の本発明が適用される情報処理システム1のシステム構成の一例を示す図である。図2(a)との違いは、追跡部18が入っていることである。
実施形態1と比べて、追跡部18以外の動作の違いはほとんどないので、追跡部18の動作を中心に説明する。まず、追跡部18は同一人物と思われる人物候補画像を追跡し、その追跡軌跡に対して人物追跡IDを振る。
図20を用いて説明する。図20(a)はカメラがある時点で撮像した画像であり、人物151および人物152が写っている。人物の画像は抽出部13により、人物候補画像として切り出され、各々の人物候補の追跡を行う。人物追跡部18は各々の人物が新たな人物であると認識し、人物151と人物152に新たな人物追跡IDを新たに割り当てる。なお、わかりやすくするため、人物候補の身体のほぼ中心に、人物追跡の軌跡1511および1521を示す。ここでは人物追跡IDは人物追跡の軌跡ごとにひとつ割り振られるものとする。隠れ等で、同一人物の軌跡が途切れることがある。この場合、人物追跡の手法によって、同一の人物追跡IDを対応付けたり、異なる人物追跡IDを対応付けたりすることがあるが、本発明はいずれの場合でも適用可能である。
その後も抽出部13から次々と人物候補画像が渡され、人物追跡部はそれらが人物151および人物152が移動したものであると認識する。図20(b)は、図20(a)からしばらくした時点のカメラの画像である。人物追跡の軌跡1511および1521を見ると、2人の人物が互いに異なる方向へ移動していることがわかる。なお、人物151および人物152が重なる際に、人物151の追跡が途絶え、人物追跡の軌跡1511が途切れている。重なりが解消されたあとには、再度人物151の追跡が始まり、新たな人物追跡IDまたは同一の人物追跡IDで人物追跡の軌跡1512が取得される。
このように、人物追跡部18は、抽出部13から得られた人物候補画像の各々に対して、人物追跡IDを割り振る。なお、人物追跡の手法は、この分野で広く知られた技術であるため、詳細は割愛する。
追跡部18は、割り振った人物追跡IDをエリアIDとして、人物候補画像を認識部14に入力する。
以上のように、人物追跡IDをエリアIDとすることにより、異なる人物追跡IDを持つ人物候補画像が、同一の人物であると誤認識されることを抑制することができる。また、人物151の人物追跡軌跡が一旦、途切れているが、図16や図17からわかるように、途切れている時間が短い場合には、人物151が他の人物であると誤認証されることを抑制することができる。なお、実施形態1では、1エリア1カメラであったため、本発明を適用するには複数のカメラが必要であったが、本実施形態では実施形態4と同じく、1台または複数のカメラで適用可能である。
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。
1 情報処理システム
11 撮像システム
12 画像取得部
13 抽出部
14 推定部
15 保持部
16 エリア確信度取得部
17 表示装置
100 情報処理装置

Claims (20)

  1. 複数の領域毎に撮像された画像に含まれる注目人物と、予め設定された登録人物と、に基づいて、前記注目人物が前記登録人物である確からしさを推定する推定手段と、
    前記複数の領域のうち第1の領域において撮像された第1の注目人物について、前記第1の領域とは異なる領域で撮像された画像に含まれる第2の注目人物が前記登録人物である確からしさが閾値より大きい状態を保持した期間が所定の期間より長い場合に、前記第1の領域における前記第1の注目人物が前記登録人物である確からしさをより下げるように更新し、前記第2の注目人物が前記登録人物である確からしさが閾値より大きい状態を保持した期間が所定の期間より短い場合に、前記第1の領域における前記第1の注目人物が前記登録人物である確からしさを下げないように更新する更新手段と、を有することを特徴とする情報処理装置。
  2. 前記更新手段によって出力された前記注目人物が前記登録人物である確からしさが所定の閾値より大きい場合、前記注目人物は前記登録人物であると認識する認識手段をさらに有することを特徴とする請求項1に記載の情報処理装置。
  3. 前記推定手段は、前記登録人物が複数いる場合、前記登録人物毎に前記注目人物が前記登録人物である確からしさを推定することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記推定手段は、前記第1の領域にいる第1の注目人物が複数いる場合、前記第1の注目人物毎に前記登録人物である確からしさを推定することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記推定手段は、前記第1の領域にいる前記第1の注目人物が前記登録人物である確からしさと、前記第2の領域で撮像された画像に含まれる前記第2の人物が前記登録人物である確からしさと、を推定し、
    前記第1の注目人物が前記登録人物である確からしさ、または前記第2の人物が前記登録人物である確からしさに基づいて、前記第1の領域に前記登録人物が存在する確からしさを取得する取得手段をさらに有することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
  6. 前記取得手段は、前記第2の人物が前記登録人物である確からしさに基づいて、前記第1の領域と異なる領域に前記登録人物がいる確からしさを取得し、
    前記更新手段は、前記第1の領域と異なる領域に前記登録人物がいる確からしさに基づいて、前記第1の領域と異なる領域に前記登録人物がいる確からしさが閾値より大きい状態を保持した期間が所定の期間より長い場合に、前記第1の領域にいる前記第1の注目人物が前記登録人物である確からしさをより小さくし、前記第1の領域と異なる領域に前記登録人物がいる確からしさが閾値より大きい状態を保持した期間が所定の期間より短い場合に、前記第1の領域にいる前記第1の注目人物が前記登録人物である確からしさを更新しないことを特徴とする請求項5に記載の情報処理装置。
  7. 前記取得手段は、前記第2の人物が前記登録人物である確からしさに基づいて、前記第2の人物が前記登録人物である確からしさが所定の値より大きい場合は前記第1の領域と異なる領域に前記登録人物がいる確からしさがより大きくなるように取得し、前記第2の人物が前記登録人物である確からしさが所定の値より小さい場合は前記第1の領域と異なる領域に前記登録人物がいる確からしさをより小さくなるように取得する請求項6に記載の情報処理装置。
  8. 前記取得手段は、前記第2の人物が前記登録人物である確からしさに基づいて、前記第1の領域に前記登録人物がいる確からしさを取得し、
    前記更新手段は、前記第1の領域に前記登録人物がいる確からしさが閾値より大きい状態を保持した期間が所定の期間より長い場合に、前記第1の領域にいる前記第1の注目人物が前記登録人物である確からしさをより大きくし、前記第1の領域に前記登録人物がいる確からしさが閾値より大きい状態を保持した期間が所定の期間より短い場合に、前記第1の領域にいる前記第1の注目人物が前記登録人物である確からしさを更新しないことを特徴とする請求項5に記載の情報処理装置。
  9. 前記取得手段は、前記第2の人物が前記登録人物である確からしさに基づいて、前記第2の人物が前記登録人物である確からしさが所定の値より大きい場合は前記第1の領域に前記登録人物がいる確からしさがより小さくなるように取得し、前記第2の人物が前記登録人物である確からしさが所定の値より小さい場合は前記第1の領域とに前記登録人物がいる確からしさをより大きくなるように取得する請求項8に記載の情報処理装置。
  10. 前記更新手段は、前記取得手段によって取得された前記第1の領域に前記登録人物がいる確からしさに基づいて、前記第1の領域に前記登録人物がいる確からしさが閾値より大きい状態を保持した期間が所定の期間より長い場合に、前記第1の注目人物が前記登録人物である確からしさをより大きくするように更新し、前記第1の領域に前記登録人物がいる確からしさが閾値より大きい状態を保持した期間が所定の期間より短い場合に、前記第1の注目人物が前記登録人物である確からしさを更新しないことを特徴とする請求項5に記載の情報処理装置。
  11. 前記複数の領域を撮像した画像から人物の特徴を有する部分画像を抽出する抽出手段を更に有し、
    前記推定手段は、前記抽出手段によって抽出された前記部分画像毎に前記注目人物が前記登録人物である確からしさを推定することを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。
  12. 前記推定手段は、第1の時刻に前記第1の領域で撮像された画像に含まれる前記第1の注目人物が前記登録人物である確からしさと、前記第1の時刻に前記第2の領域で撮像された画像に含まれる前記第2の注目人物が前記登録人物である確からしさと、を推定することを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。
  13. 前記推定手段によって推定された、第1の時刻に前記第1の領域で撮像された画像に含まれる第1の注目人物が前記登録人物である確からしさを示す第1の時刻の情報を保持する保持手段をさらに有し、
    前記更新手段は、前記第1の時刻より後の第2の時刻に前記第1の領域で撮像された画像に含まれる前記第1の注目人物が前記登録人物である確からしさを示す第2の時刻の情報と、前記保持手段によって保持された前記第1の時刻の情報とに基づいて、前記第1の注目人物が前記登録人物である確からしさを更新することを特徴とする請求項1乃至12のいずれか1項に記載の情報処理装置。
  14. 前記更新手段は、前記第1の時刻の情報に基づいて、前記第1の時刻に前記第1の領域で撮像された画像に含まれる第1の注目人物が前記登録人物である確からしさが所定の閾値より小さい場合、前記第1の注目人物が前記登録人物である確からしさをより小さい値に更新し、前記第1の時刻に前記第1の領域で撮像された画像に含まれる第1の注目人物が前記登録人物である確からしさが所定の閾値より大きい場合、前記第1の注目人物が前記登録人物である確からしさをより大きい値に更新する請求項13に記載の情報処理装置。
  15. 前記更新手段は、前記第1の時刻に前記第1の領域に前記登録人物がいる確からしさを示す第1の時刻の第1の領域情報と、前記第1の時刻に前記第1の領域と異なる領域に前記登録人物がいる確からしさを示す第1の時刻の第2の領域情報と、の少なくとも一方に基づいて、前記第1の時刻より後の第2の時刻に前記第1の領域に前記登録人物がいる確からしさを更新することを特徴とする請求項1乃至14のいずれか1項に記載の情報処理装置。
  16. 前記更新手段は、前記第1の時刻に前記第1の領域に前記登録人物がいる確からしさを示す第1の時刻の第1の領域情報に基づいて、前記第1の時刻に前記第1の領域に前記登録人物がいる確からしさが所定の値より大きい場合は、前記第2の時刻に前記第1の領域に前記登録人物がいる確からしさをより大きく更新し、前記第1の時刻に前記第1の領域に前記登録人物がいる確からしさが所定の値より小さい場合は、前記第2の時刻に前記第1の領域に前記登録人物がいる確からしさをより小さく更新することを特徴とする請求項15に記載の情報処理装置。
  17. 前記更新手段は、前記第1の時刻に前記第2の領域に前記登録人物がいる確からしさを示す第1の時刻の第2の領域情報に基づいて、前記第1の時刻に前記第2の領域に前記登録人物がいる確からしさが所定の値より大きい場合は、前記第2の時刻に前記第1の領域に前記登録人物がいる確からしさをより小さく更新し、前記第1の時刻に前記第2の領域に前記登録人物がいる確からしさが所定の値より小さい場合は、前記第2の時刻に前記第1の領域に前記登録人物がいる確からしさをより大きく更新することを特徴とする請求項15に記載の情報処理装置。
  18. 前記推定手段は、前記第1の時刻より前の時刻における前記第1の領域に前記登録人物がいる確からしさに基づいて、前記第1の注目人物が前記登録人物である確からしさを推定することを特徴とする請求項15に記載の情報処理装置。
  19. 情報処理方法であって、
    複数の領域毎に撮像された画像に含まれる注目人物と、予め設定された登録人物と、に基づいて、前記注目人物が前記登録人物である確からしさを推定する推定工程と、
    前記複数の領域のうち第1の領域において撮像された第1の注目人物について、前記第1の領域とは異なる領域で撮像された画像に含まれる第2の注目人物が前記登録人物である確からしさが閾値より大きい状態を保持した期間が所定の期間より長い場合に、前記第1の領域における前記第1の注目人物が前記登録人物である確からしさをより下げるように更新し、前記第2の注目人物が前記登録人物である確からしさが閾値より大きい状態を保持した期間が所定の期間より短い場合に、前記第1の領域における前記第1の注目人物が前記登録人物である確からしさを下げないように更新する更新工程と、を有する。
  20. コンピュータを、請求項1乃至18のいずれか1項に記載の情報処理装置が有する各手段として機能させるためのプログラム。
JP2020115511A 2019-07-04 2020-07-03 情報処理装置、情報処理方法及びプログラム Pending JP2021012696A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019125114 2019-07-04
JP2019125114 2019-07-04

Publications (1)

Publication Number Publication Date
JP2021012696A true JP2021012696A (ja) 2021-02-04

Family

ID=74065723

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020115511A Pending JP2021012696A (ja) 2019-07-04 2020-07-03 情報処理装置、情報処理方法及びプログラム

Country Status (2)

Country Link
US (1) US11507768B2 (ja)
JP (1) JP2021012696A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114131631B (zh) * 2021-12-16 2024-02-02 山东新一代信息产业技术研究院有限公司 一种巡检机器人报警阈值设置方法、装置及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006221355A (ja) 2005-02-09 2006-08-24 Hitachi Ltd 監視装置及び監視システム
JP2011128992A (ja) * 2009-12-18 2011-06-30 Canon Inc 情報処理装置およびその処理方法
JP5554987B2 (ja) * 2009-12-28 2014-07-23 キヤノン株式会社 オブジェクト識別装置及びその制御方法
JP5824806B2 (ja) * 2010-12-28 2015-12-02 オムロン株式会社 顔画像管理装置、顔画像管理方法、並びにプログラム
JP6448223B2 (ja) * 2014-06-12 2019-01-09 キヤノン株式会社 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
US10795928B2 (en) * 2015-04-08 2020-10-06 Hitachi, Ltd. Image search apparatus, system, and method
JP6750385B2 (ja) * 2016-08-10 2020-09-02 富士通株式会社 画像処理プログラム、画像処理方法および画像処理装置
US10169671B2 (en) * 2017-02-17 2019-01-01 Motorola Mobility Llc Face detection with temperature and distance validation
JP6721076B1 (ja) * 2019-03-25 2020-07-08 日本電気株式会社 情報処理装置、カメラ制御方法、プログラム、カメラ装置、および画像処理システム

Also Published As

Publication number Publication date
US20210004571A1 (en) 2021-01-07
US11507768B2 (en) 2022-11-22

Similar Documents

Publication Publication Date Title
US10198823B1 (en) Segmentation of object image data from background image data
JP6018674B2 (ja) 被写体再識別のためのシステム及び方法
US9412180B2 (en) Information processing apparatus, information processing method, and program
US9098760B2 (en) Face recognizing apparatus and face recognizing method
JP5766564B2 (ja) 顔認証装置及び顔認証方法
JP6007682B2 (ja) 画像処理装置、画像処理方法及びプログラム
TWI701609B (zh) 影像物件追蹤方法及其系統與電腦可讀取儲存媒體
JP2015104016A (ja) 被写体検出装置、撮像装置、被写体検出装置の制御方法、被写体検出装置の制御プログラムおよび記憶媒体
EP2309454B1 (en) Apparatus and method for detecting motion
JP5959923B2 (ja) 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
JP2016085487A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP2019186955A (ja) 情報処理システム、情報処理方法及びプログラム
JPWO2019003973A1 (ja) 顔認証装置、顔認証方法およびプログラム
CN111241928B (zh) 人脸识别底库优化方法、系统、设备、可读存储介质
CN113608663B (zh) 一种基于深度学习和k-曲率法的指尖跟踪方法
CN113302907B (zh) 拍摄方法、装置、设备及计算机可读存储介质
JP5147670B2 (ja) 画像処理装置及び画像処理方法、撮像装置
US11861842B2 (en) Information processing method, program, and information processing system
JP6103765B2 (ja) 行動認識装置、方法及びプログラム並びに認識器構築装置
JP2021012696A (ja) 情報処理装置、情報処理方法及びプログラム
WO2021084972A1 (ja) 物体追跡装置および物体追跡方法
JP2019185556A (ja) 画像解析装置、方法およびプログラム
JPWO2019215780A1 (ja) 識別システム、モデル再学習方法およびプログラム
JP2021149687A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
JP5539565B2 (ja) 撮像装置及び被写体追跡方法