JP2010020374A - 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム - Google Patents
情報処理装置、および情報処理方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP2010020374A JP2010020374A JP2008177609A JP2008177609A JP2010020374A JP 2010020374 A JP2010020374 A JP 2010020374A JP 2008177609 A JP2008177609 A JP 2008177609A JP 2008177609 A JP2008177609 A JP 2008177609A JP 2010020374 A JP2010020374 A JP 2010020374A
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- target
- probability
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 62
- 238000004590 computer program Methods 0.000 title claims description 14
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000012545 processing Methods 0.000 claims abstract description 301
- 238000000034 method Methods 0.000 claims description 257
- 230000008569 process Effects 0.000 claims description 253
- 230000010354 integration Effects 0.000 claims description 116
- 238000001514 detection method Methods 0.000 claims description 106
- 238000009826 distribution Methods 0.000 claims description 74
- 238000004364 calculation method Methods 0.000 claims description 60
- 238000012217 deletion Methods 0.000 claims description 13
- 230000037430 deletion Effects 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 abstract description 35
- 239000002245 particle Substances 0.000 description 242
- 230000014509 gene expression Effects 0.000 description 88
- 230000007704 transition Effects 0.000 description 20
- 230000008859 change Effects 0.000 description 14
- 238000012952 Resampling Methods 0.000 description 8
- 230000003247 decreasing effect Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/06—Decision making techniques; Pattern matching strategies
- G10L17/10—Multimodal systems, i.e. based on the integration of multiple recognition engines or fusion of expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Collating Specific Patterns (AREA)
- Air Conditioning Control Device (AREA)
- Image Analysis (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【解決手段】カメラやマイクの取得する画像や音声情報に基づいてユーザ識別データを含む観測値を入力し、複数のユーザ確信度を設定したターゲットデータを更新してユーザ識別を行う。各ターゲットと各ユーザとを対応づけた候補データの同時生起確率(Joint Probability)を、観測値に含まれるユーザ識別情報により更新し、更新された同時生起確率値を適用してターゲット対応のユーザ確信度を算出する。本構成により、異なるターゲットが同一ユーザであるとするような誤った推定を排除した精度の高いユーザ識別処理か実現される。
【選択図】図17
Description
実空間における画像情報または音声情報のいずれかを含む情報を入力する複数の情報入力部と、
前記情報入力部から入力する情報の解析により、前記実空間に存在するユーザの推定識別情報を含むイベント情報を生成するイベント検出部と、
ユーザ識別情報についての仮説(Hypothesis)の確率分布データを設定し、前記イベント情報に基づく仮説の更新および取捨選択により、前記実空間に存在するユーザの識別処理を実行する情報統合処理部と、
を有し、
前記情報統合処理部は、
前記イベントの発生源であるターゲットに対応するユーザがどのユーザであるかを示すユーザ確信度情報を含むターゲットデータを、前記イベント情報に含まれるユーザ識別情報に基づいて更新する処理を実行する構成であり、
同一ユーザが同時に存在しないという制約条件を適用して前記ターゲットデータの更新処理を実行して前記ユーザ確信度の算出処理を実行する構成を有する情報処理装置にある。
P(Xu)=0.0、
それ以外のターゲットデータの確率値は、
P(Xu)=0.0<P≦1.0
とする確率値の初期設定を行う構成である。
P(Xu)=0.0<P≦1.0
とする例外設定処理を行う構成である。
P(Xut|θt,zut,Xut−1)
=R×P(θt,zut|Xut)P(Xut−1|Xut)P(Xut)/P(Xut−1)
ただしRは正規化項、
上記確率算出式を用いて算出された確率値を適用する構成である。
P(xui)=ΣXu=xuiP(Xu)
ただし、iはユーザ識別子の確信度を示す確率を算出するターゲットの識別子(tID)、
上記式により、各ターゲット対応のユーザ識別子の確信度を示す確率算出を行う構成である。
情報処理装置において実行する情報処理方法であり、
情報入力部が、実空間における画像情報または音声情報のいずれかを含む情報を入力する情報入力ステップと、
イベント検出部が、前記情報入力部から入力する情報の解析により、前記実空間に存在するユーザの推定識別情報を含むイベント情報を生成するイベント検出ステップと、
情報統合処理部が、ユーザ識別情報についての仮説(Hypothesis)の確率分布データを設定し、前記イベント情報に基づく仮説の更新および取捨選択により、前記実空間に存在するユーザの識別処理を実行する情報統合処理ステップと、
を有し、
前記情報統合処理ステップは、
前記イベントの発生源であるターゲットに対応するユーザがどのユーザであるかを示すユーザ確信度情報を含むターゲットデータを、前記イベント情報に含まれるユーザ識別情報に基づいて更新する処理を実行するステップを含み、
同一ユーザが同時に存在しないという制約条件を適用して前記ターゲットデータの更新処理を実行して前記ユーザ確信度の算出処理を実行するステップである情報処理方法にある。
情報処理装置において情報処理を実行させるコンピュータ・プログラムであり、
情報入力部に、実空間における画像情報または音声情報のいずれかを含む情報を入力させる情報入力ステップと、
イベント検出部に、前記情報入力部から入力する情報の解析により、前記実空間に存在するユーザの推定識別情報を含むイベント情報を生成させるイベント検出ステップと、
情報統合処理部に、ユーザ識別情報についての仮説(Hypothesis)の確率分布データを設定し、前記イベント情報に基づく仮説の更新および取捨選択により、前記実空間に存在するユーザの識別処理を実行させる情報統合処理ステップと、
を有し、
前記情報統合処理ステップは、
前記イベントの発生源であるターゲットに対応するユーザがどのユーザであるかを示すユーザ確信度情報を含むターゲットデータを、前記イベント情報に含まれるユーザ識別情報に基づいて更新する処理を実行するステップを含み、
同一ユーザが同時に存在しないという制約条件を適用して前記ターゲットデータの更新処理を実行して前記ユーザ確信度の算出処理を実行するステップであるコンピュータ・プログラムにある。
(1)イベント情報入力に基づく仮説更新によるユーザ位置およびユーザ識別処理
(2)ターゲット間の独立性排除によるユーザ同定の推定性能を向上させた処理例
項目(1)は、特願2007−193930において開示した構成とほぼ同様である。項目(2)は、本発明のポイントとなる改良点である。
まず、図1を参照して本発明に係る情報処理装置の実行する処理の概要について説明する。本発明の情報処理装置100は、環境情報を入力するセンサ、ここでは一例としてカメラ21と、複数のマイク31〜34から画像情報、音声情報を入力し、これらの入力情報に基づいて環境の解析を行う。具体的には、複数のユーザ1,11〜4,14の位置の解析、およびその位置にいるユーザの識別を行う。
佐部 浩太郎,日台 健一,"ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習",第10回画像センシングシンポジウム講演論文集,pp.547−552,2004
特開2004−302644(P2004−302644A)[発明の名称:顔識別装置、顔識別方法、記録媒体、及びロボット装置]
(a)複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての[ターゲット情報]
(b)例えば話しをしたユーザなどのイベント発生源を[シグナル情報]として、処理決定部132に出力する。
(a)ユーザ位置情報
(b)ユーザ識別情報(顔識別情報または話者識別情報)
これらの2つの情報である。これらの2つの情報は、イベントの発生毎に生成される。音声イベント検出部122は、音声入力部(マイク)121a〜dから音声情報が入力された場合に、その音声情報に基づいて上記の(a)ユーザ位置情報、(b)ユーザ識別情報を生成して音声・画像統合処理部131に入力する。画像イベント検出部112は、例えば予め定めた一定のフレーム間隔で、画像入力部(カメラ)111から入力された画像情報に基づいて(a)ユーザ位置情報、(b)ユーザ識別情報を生成して音声・画像統合処理部131に入力する。なお、本例では、画像入力部(カメラ)111は1台のカメラを設定した例を示しており、1つのカメラに複数のユーザの画像が撮影される設定であり、この場合、1つの画像に含まれる複数の顔の各々について(a)ユーザ位置情報、(b)ユーザ識別情報を生成して音声・画像統合処理部131に入力する。
(a)ユーザ位置情報
(b)ユーザ識別情報(話者識別情報)
これらの情報を生成する処理について説明する。
音声イベント検出部122は、音声入力部(マイク)121a〜dから入力された音声情報に基づいて解析された声を発したユーザ、すなわち[話者]の位置の推定情報を生成する。すなわち、話者が存在すると推定される位置を、期待値(平均)[me]と分散情報[σe]からなるガウス分布(正規分布)データN(me,σe)として生成する。
音声イベント検出部122は、音声入力部(マイク)121a〜dから入力された音声情報に基づいて話者が誰であるかを、入力音声と予め登録されたユーザ1〜kの声の特徴情報との比較処理により推定する。具体的には話者が各ユーザ1〜kである確率を算出する。この算出値を(b)ユーザ識別情報(話者識別情報)とする。例えば入力音声の特徴と最も近い登録された音声特徴を有するユーザに最も高いスコアを配分し、最も異なる特徴を持つユーザに最低のスコア(例えば0)を配分する処理によって各ユーザである確率を設定したデータを生成して、これを(b)ユーザ識別情報(話者識別情報)とする。
(a)ユーザ位置情報
(b)ユーザ識別情報(顔識別情報)
これらの情報を生成する処理について説明する。
画像イベント検出部112は、画像入力部(カメラ)111から入力された画像情報に含まれる顔の各々について顔の位置の推定情報を生成する。すなわち、画像から検出された顔が存在すると推定される位置を、期待値(平均)[me]と分散情報[σe]からなるガウス分布(正規分布)データN(me,σe)として生成する。
画像イベント検出部112は、画像入力部(カメラ)111から入力された画像情報に基づいて、画像情報に含まれる顔を検出し、各顔が誰であるかを、入力画像情報と予め登録されたユーザ1〜kの顔の特徴情報との比較処理により推定する。具体的には抽出された各顔が各ユーザ1〜kである確率を算出する。この算出値を(b)ユーザ識別情報(顔識別情報)とする。例えば入力画像に含まれる顔の特徴と最も近い登録された顔の特徴を有するユーザに最も高いスコアを配分し、最も異なる特徴を持つユーザに最低のスコア(例えば0)を配分する処理によって各ユーザである確率を設定したデータを生成して、これを(b)ユーザ識別情報(顔識別情報)とする。
(a)ユーザ位置情報
(b)ユーザ識別情報(顔識別情報)
これらの情報を生成して、音声・画像統合処理部131に入力する。
また、本例では、画像入力部111として1台のカメラを利用した例を説明するが、複数のカメラの撮影画像を利用してもよく、その場合は、画像イベント検出部112は、各カメラの撮影画像の各々に含まれる各顔について、
(a)ユーザ位置情報
(b)ユーザ識別情報(顔識別情報)
これらの情報を生成して、音声・画像統合処理部131に入力する。
(a)ユーザ位置情報
(b)ユーザ識別情報(顔識別情報または話者識別情報)
これらの情報を逐次入力する。なお、これらの各情報の入力タイミングは様々な設定が可能であるが、例えば、音声イベント検出部122は新たな音声が入力された場合に上記(a),(b)の各情報を音声イベント情報として生成して入力し、画像イベント検出部112は、一定のフレーム周期単位で、上記(a),(b)の各情報を画像イベント情報として生成して入力するといった設定が可能である。
(a)ユーザ位置情報
(b)ユーザ識別情報(顔識別情報または話者識別情報)
これらの入力情報に基づいて、より確からしいパーティクルのウェイトを高めていくという処理を行う。
(a)ユーザ位置情報
(b)ユーザ識別情報(顔識別情報または話者識別情報)
これらの入力情報に基づいて、複数のユーザの位置と複数のユーザがそれぞれ誰であるかを判別する処理を行うことになる。従って、本発明におけるパーティクル・フィルタ(Particle Filter)を適用した処理では、音声・画像統合処理部131が、ユーザの位置と誰であるかの仮説に対応するパーティクルを多数設定して、音声イベント検出部122および画像イベント検出部112から、図3(B)に示す2つの情報に基づいて、パーティクル更新を行うことになる。
(a)各ターゲット各々に対応する存在位置の確率分布[ガウス分布:N(m1n,σ1n)]、
(b)各ターゲットが誰であるかを示すユーザ確信度情報(uID)
uID1n1=0.0
uID1n2=0.1
:
uID1nk=0.5
これらのデータによって構成される。
また、(b)に示すユーザ確信度情報(uID)における、[uID1n1]に含まれる(1n1)は、パーティクルID:pID=1におけるターゲットID:tID=nの、ユーザ=ユーザ1である確率を意味する。すなわちターゲットID=nのデータは、
ユーザ1である確率が0.0、
ユーザ2である確率が0.1、
:
ユーザkである確率が0.5、
であることを意味している。
(a)各ターゲット各々に対応する存在位置の確率分布[ガウス分布:N(m,σ)]、
(b)各ターゲットが誰であるかを示すユーザ確信度情報(uID)
これらのターゲットデータを有する。
(a)ユーザ位置情報
(b)ユーザ識別情報(顔識別情報または話者識別情報)
これらのイベント情報を入力してm個のパーティクル(PID=1〜m)の更新処理を行う。
(a)複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての[ターゲット情報]、
(b)例えば話をしたユーザなどのイベント発生源を示す[シグナル情報]、
これらを生成して処理決定部132に出力する。
(a)存在位置
(b)誰であるか(uID1〜uIDkのいずれであるか)
これらを示す情報である。このターゲット情報は、パーティクルの更新に伴い、順次更新されることになり、例えばユーザ1〜kが実環境内で移動しない場合、ユーザ1〜kの各々が、n個のターゲット(tID=1〜n)から選択されたk個にそれぞれ対応するデータとして収束することになる。
(a)存在位置
(b)誰であるか(uID1〜uIDkのいずれであるか)
の各情報を示す。従って、各ターゲット(tID=1〜n)のk個のターゲット情報の各々は、ユーザが移動しない場合は、ユーザ1〜kに対応するように収束する。
(a)複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての[ターゲット情報]、
(b)例えば話をしたユーザなどのイベント発生源を示す[シグナル情報]、
これらを生成して処理決定部132に出力する。
(a)複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての[ターゲット情報]、
(b)例えば話をしたユーザなどのイベント発生源を示す[シグナル情報]、
これらの情報を生成して処理決定部132に出力する処理について、図7以下を参照して説明する。
パーティクル1(pID=1)は、tID=2、
パーティクル2(pID=2)は、tID=n、
:
パーティクルm(pID=m)は、tID=n、
このように各パーティクルについて、イベント発生源がターゲット1〜nのいずれであるかの仮説を設定する。図5に示す例では、各パーティクルについて、仮説として設定したイベント発生源のターゲットデータを二重線で囲んで示している。
(a)ユーザ位置情報
(b)ユーザ識別情報(顔識別情報または話者識別情報)
これらのイベント情報を入力してm個のパーティクル(PID=1〜m)の更新処理を行う。
(1)ランダムな設定、
(2)音声・画像統合処理部131の有する内部モデルに従って設定、
上記(1),(2)のいずれかの手法で設定することが可能である。なお、パーティクルの数:mは、ターゲットの数:nより大きく設定されているので、複数のパーティクルが同一のターゲットをイベント発生源とした仮設に設定される。例えば、ターゲットの数:nが10とした場合、パーティクル数:m=100〜1000程度に設定した処理などが行われる。
音声・画像統合処理部131は、まず、音声イベント検出部122および画像イベント検出部112から取得したイベント情報、すなわち、図3(B)に示す2つの情報、すなわち、
(a)ユーザ位置情報
(b)ユーザ識別情報(顔識別情報または話者識別情報)
これらのイベント情報と、
音声・画像統合処理部131の保持するパーティクルのターゲットの持つデータとの比較によって、各ターゲットの重み[WtID]を算出し、算出した各ターゲットの重み[WtID]に基づいて、各パーティクル(pID=1〜m)に対するイベント発生源の仮説を設定する。以下、具体的な処理例について説明する。
ターゲット1(tID=1)をイベント発生源とするパーティクルをm/n個、
ターゲット2(tID=2)をイベント発生源とするパーティクルをm/n個、
:
ターゲットn(tID=n)をイベント発生源とするパーティクルをm/n個、
というように、各パーティクル(pID=1〜m)に設定する初期的なイベント発生源の仮説ターゲット(tID=1〜n)を均等に割り振る設定とする。
(a)ユーザ位置情報
(b)ユーザ識別情報(顔識別情報または話者識別情報)
これらのイベント情報を取得して、イベント情報の取得に成功すると、ステップS102において、音声・画像統合処理部131は、m個のパーティクル(PID=1〜m)の各々に対して、イベント発生源の仮説ターゲット(tID=1〜n)を設定する。
(a)ユーザ位置情報についてのイベントと、ターゲットデータとの類似度データとしてのガウス分布間尤度[DL]、
(b)ユーザ識別情報(顔識別情報または話者識別情報)についてのイベントと、ターゲットデータとの類似度データとしてのユーザ確信度情報(uID)間尤度[UL]
これらを個別に算出する。
図8(1)に示す入力イベント情報中の、ユーザ位置情報に対応するガウス分布をN(me,σe)とし、
音声・画像統合処理部131の保持する内部モデルのあるパーティクルが持つあるターゲットのユーザ位置情報に対応するガウス分布をN(mt,σt)とする。図8に示す例では、パーティクル1(pID=1)のターゲットn(tID=n)のターゲットデータに含まれるガウス分布をN(mt,σt)とする。
DL=N(mt,σt+σe)x|me
上記式は、中心mtで分散σt+σeのガウス分布においてx=meの位置の値を算出する式である。
図8(1)に示す入力イベント情報中の、ユーザ確信度情報(uID)の各ユーザ1〜kの確信度の値(スコア)をPe[i]とする。なお、iはユーザ識別子1〜kに対応する変数である。
音声・画像統合処理部131の保持する内部モデルのあるパーティクルが持つあるターゲットのユーザ確信度情報(uID)の各ユーザ1〜kの確信度の値(スコア)をPt[i]とする。図8に示す例では、パーティクル1(pID=1)のターゲットn(tID=n)のターゲットデータに含まれるユーザ確信度情報(uID)の各ユーザ1〜kの確信度の値(スコア)をPt[i]とする。
UL=ΣPe[i]×Pt[i]
上記式は、2つのデータのユーザ確信度情報(uID)に含まれる各対応ユーザの確信度の値(スコア)の積の総和を求める式であり、この値をユーザ確信度情報(uID)間尤度[UL]とする。
UL=arg max(Pe[i]×Pt[i])
上記の値を算出し、この値をユーザ確信度情報(uID)間尤度[UL]として利用する構成としてもよい。
ガウス分布間尤度[DL]と、
ユーザ確信度情報(uID)間尤度[UL]
これら2つの尤度を利用して算出する。すなわち重みα(α=0〜1)を用いて、イベント−ターゲット間尤度[LpID,tID]は下式によって算出する。
[LpID,tID]=ULα×DL1−α
としてイベントとターゲットとの類似度の指標であるイベント−ターゲット間尤度[LpID,tID]を算出する。
ただし、α=0〜1とする。
例えばn=4で、ターゲット1〜4(tID=1〜4)に対応して算出されたターゲット重み[WtID]が、
ターゲット1:ターゲット重み=3
ターゲット2:ターゲット重み=2
ターゲット3:ターゲット重み=1
ターゲット4:ターゲット重み=5
である場合、m個のパーティクルのイベント発生源仮説ターゲットを
m個のパーティクル中の30%をイベント発生源仮説ターゲット1、
m個のパーティクル中の20%をイベント発生源仮説ターゲット2、
m個のパーティクル中の10%をイベント発生源仮説ターゲット3、
m個のパーティクル中の50%をイベント発生源仮説ターゲット4、
このような設定とする。
すなわちパーティクルに設定するイベント発生源仮説ターゲットをターゲットの重みに応じた配分比率とする。
パーティクル1(pID=1)411におけるターゲット2(tID=2)421、
パーティクル2(pID=2)412におけるターゲットn(tID=n)422、
パーティクルm(pID=m)413におけるターゲットn(tID=n)423、
これらの仮説ターゲットである。
パーティクル1:イベント情報401とターゲット2(tID=2)421とのイベント−ターゲット間尤度、
パーティクル2:イベント情報401とターゲットn(tID=n)422とのイベント−ターゲット間尤度、
パーティクルm:イベント情報401とターゲットn(tID=n)423とのイベント−ターゲット間尤度、
これらのイベント−ターゲット間尤度に対応することになる。
(a)ユーザ位置情報についてのイベントと、ターゲットデータとの類似度データとしてのガウス分布間尤度[DL]、
(b)ユーザ識別情報(顔識別情報または話者識別情報)についてのイベントと、ターゲットデータとの類似度データとしてのユーザ確信度情報(uID)間尤度[UL]
これらを個別に算出する。
入力イベント情報中の、ユーザ位置情報に対応するガウス分布をN(me,σe)、
パーティクルから選択された仮説ターゲットのユーザ位置情報に対応するガウス分布をN(mt,σt)、
として、ガウス分布間尤度[DL]を、以下の式によって算出する。
DL=N(mt,σt+σe)x|me
上記式は、中心mtで分散σt+σeのガウス分布においてx=meの位置の値を算出する式である。
入力イベント情報中の、ユーザ確信度情報(uID)の各ユーザ1〜kの確信度の値(スコア)をPe[i]とする。なお、iはユーザ識別子1〜kに対応する変数である。
パーティクルから選択された仮説ターゲットのユーザ確信度情報(uID)の各ユーザ1〜kの確信度の値(スコア)をPt[i]として、ユーザ確信度情報(uID)間尤度[UL]は、以下の式によって算出する。
UL=ΣPe[i]×Pt[i]
上記式は、2つのデータのユーザ確信度情報(uID)に含まれる各対応ユーザの確信度の値(スコア)の積の総和を求める式であり、この値をユーザ確信度情報(uID)間尤度[UL]とする。
ガウス分布間尤度[DL]と、
ユーザ確信度情報(uID)間尤度[UL]
これら2つの尤度を利用し、重みα(α=0〜1)を用いて下式によって算出する。
パーティクル重み[WpID]=ULα×DL1−α
上記式により、パーティクル重み[WpID]を算出する。
ただし、α=0〜1とする。
このパーティクル重み[WpID]は、各パーティクルについて各々算出する。
パーティクル1:パーティクル重み[WpID]=0.40
パーティクル2:パーティクル重み[WpID]=0.10
パーティクル3:パーティクル重み[WpID]=0.25
パーティクル4:パーティクル重み[WpID]=0.05
パーティクル5:パーティクル重み[WpID]=0.20
これらのパーティクル重みが各々設定されていた場合、
パーティクル1は、40%の確率でリサンプリングされ、パーティクル2は10%の確率でリサンプリングされる。なお、実際にはm=100〜1000といった多数であり、リサンプリングされた結果は、パーティクルの重みに応じた配分比率のパーティクルによって構成されることになる。
(a)ユーザ位置:各ターゲット各々に対応する存在位置の確率分布[ガウス分布:N(mt,σt)]、
(b)ユーザ確信度:各ターゲットが誰であるかを示すユーザ確信度情報(uID)として各ユーザ1〜kである確率値(スコア):Pt[i](i=1〜k)、すなわち、
uIDt1=Pt[1]
uIDt2=Pt[2]
:
uIDtk=Pt[k]
これらのデータによって構成される。
(a1)全パーティクルの全ターゲットを対象とする更新処理、
(a2)各パーティクルに設定されたイベント発生源仮説ターゲットを対象とした更新処理、
これらの2段階の更新処理として実行する。
mt=mt+xc×dt
σt 2=σt 2+σc2×dt
なお、
mt:予測期待値(predicted state)
σt 2:予測共分散(predicted estimate covariance)
xc:移動情報(control model)
σc2:ノイズ(process noise)
である。
なお、ユーザが移動しない条件の下で処理する場合は、xc=0として更新処理を行うことができる。
上記の算出処理により、全ターゲットに含まれるユーザ位置情報としてのガウス分布:N(mt,σt)を更新する。
K:カルマンゲイン(Kalman Gain)
me:入力イベント情報:N(me,σe)に含まれる観測値(Observed state)
σe 2:入力イベント情報:N(me,σe)に含まれる観測値(Observed covariance)
として、以下の更新処理を行う。
K=σt 2/(σt 2+σe 2)
mt=mt+K(xc−mt)
σt 2=(1−K)σt 2
Pt[i]=(1−β)×Pt[i]+β*Pe[i]
ただし、
i=1〜k
β:0〜1
である。なお、更新率[β]は、0〜1の範囲の値であり予め設定する。
(a)ユーザ位置:各ターゲット各々に対応する存在位置の確率分布[ガウス分布:N(mt,σt)]、
(b)ユーザ確信度:各ターゲットが誰であるかを示すユーザ確信度情報(uID)として各ユーザ1〜kである確立値(スコア):Pt[i](i=1〜k)、すなわち、
uIDt1=Pt[1]
uIDt2=Pt[2]
:
uIDtk=Pt[k]
これらのデータと、各パーティクル重み[WpID]とに基づいて、ターゲット情報を生成して、処理決定部132に出力する。
(a)ユーザ位置情報、
(b)ユーザ確信度情報、
これらの情報を含む情報として生成される。
音声・画像統合処理部131は、これらのターゲット情報をn個の各ターゲット(tID=1〜n)各々について算出し、算出したターゲット情報を処理決定部132に出力する。
P(tID=1):tID=1を割り当てた数/m
P(tID=2):tID=2を割り当てた数/m
:
P(tID=n):tID=nを割り当てた数/m
音声・画像統合処理部131は、この算出処理によって、生成した情報、すなわち、各ターゲットがイベント発生源である確率を[シグナル情報]として、処理決定部132に出力する。
mt=mt+xc×dt
σt 2=σt 2+σc2×dt
なお、
mt:予測期待値(predicted state)
σt 2:予測共分散(predicted estimate covariance)
xc:移動情報(control model)
σc2:ノイズ(process noise)
である。
なお、ユーザが移動しない条件の下で処理する場合は、xc=0として更新処理を行うことができる。
上記の算出処理により、全ターゲットに含まれるユーザ位置情報としてのガウス分布:N(mt,σt)を更新する。
(a)複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての[ターゲット情報]、
(b)例えば話をしたユーザなどのイベント発生源を示す[シグナル情報]、
これらが生成されて処理決定部132に出力される。
上述した説明[(1)イベント情報入力に基づく仮説更新によるユーザ位置およびユーザ識別処理]は、本出願人と同一出願人の先の出願である特願2007−193930において開示した構成にほぼ対応する。
なお、P(a|b)は、入力bが得られたとき、状態aが発生する確率を示す。
上記式に含まれるパラメータは以下のパラメータである。
t:時刻
Xt={xt 1,xt 2,…xt θ,・・・,xt n}:時刻tでのn人分のターゲット情報
ただし、x={xp,xu}:ターゲット情報{位置(Position),ユーザID(UserID)}
zt={zpt,zut):時刻tでの観測値{位置(Position),ユーザID(UserID)}
θt:時刻tの観測値ztがターゲット[θ]のターゲット情報xθの発生源である状態(θ=1〜n)
すなわち、
zptは、イベント情報に含まれるユーザ位置情報(position)、例えば図8(1)(a)に示すガウス分布からなるユーザ位置情報に対応する。
zutは、イベント情報に含まれるユーザ識別情報(UserID)、例えば図8(1)(b)に示す各ユーザ1〜kの確信度の値(スコア)として示されるユーザ識別情報に対応する。
P=(Xt,θt|zt,Xt−1)
上記式は、右側に示す2つの入力、
(入力1)時刻tの観測値[zt]と、
(入力2)直前の観測時刻t−1におけるターゲット情報[Xt−1]、
これらが得られたとき、
左側に示す2つの状態、すなわち、
(状態1)時刻tにおける観測値[zt]が、ターゲット情報[xθ](θ=1〜n)の発生源である状態[θt]、
(状態2)時刻tにおけるターゲット情報の発生状態[Xt]={xpt,xut}、
これらの状態の発生する確率値を示す式である。
P(Xt,θt|zt,Xt−1)=P(Xt|θt,zt,Xt−1)×P(θt|zt,Xt−1)
P(Xt|θt,zt,Xt−1)・・・(式2)
P(θt|zt,Xt−1)・・・(式3)
とする。
(式1)=(式2)×(式3)
である。
P(θt|zt,Xt−1)
この式は、入力として、
(入力1)時刻tの観測値[zt]、
(入力2)直前観測時刻[t−1]のターゲット情報[Xt-1]、
これらの入力が得られたとき、
(状態1)観測値[zt]の発生源が[xθ]である状態[θt]、
上記状態の発生する確率を算出する式である。
具体的には例えば[Rao−Blackwellised Particle Filter]を適用した推定処理を行っている。
P(Xt|θt,zt,Xt−1)
この式(式2)は、
入力として、
(入力1)時刻tの観測値[zt]、
(入力2)直前観測時刻[t−1]のターゲット情報[Xt−1]、
(入力3)観測値[zt]の発生源が[xθ]である確率[θt]、
これらの入力が得られたとき、
(状態)時刻tにおいてターゲット情報[Xt]が得られる状態、
この状態の発生する確率を表している。
P(Xt|θt,zt,Xt−1)
この式(式2)の状態発生確率を推定するために、
まず、推定する状態値として示されるターゲット情報[Xt]を、
位置情報に対応するターゲット情報[Xpt]と、
ユーザ識別情報に対応するターゲット情報[Xut]、
これらの2つの状態値に展開する。
P(Xt|θt,zt,Xt−1)
=P(Xpt,Xut|θt,zpt,zut,Xpt−1,Xut−1)
上記式において、
zpt:時刻tの観測値[zt]に含まれるターゲット位置情報、
zut:時刻tの観測値[zt]に含まれるユーザ識別情報、
である。
P(Xt|θt,zt,Xt−1)
=P(Xpt,Xut|θt,zpt,zut,Xpt−1,Xut−1)
=P(Xpt|θt,zpt,Xpt−1)×P(Xut|θt,zut,Xut−1)
P(Xpt|θt,zpt,Xpt−1)・・・(式4)
P(Xut|θt,zut,Xut−1)・・・(式5)
とする。すなわち、
(式2)=(式4)×(式5)
である。
P(Xpt|θt,zpt,Xpt−1)
この式に含まれる位置(position)情報に対応する観測値[zpt]によって、更新されるターゲット情報は、特定のターゲット(θ)の位置に関するターゲット情報[xpt θ]のみである。
上記式(式4)、すなわち、
P(Xpt|θt,zpt,Xpt−1)
この式は、以下のように展開することができる。
=P(xpt 1,xpt 2,…xpt n|θt,zpt,xpt−1 1,xpt−1 2,…,xpt−1 n)
=P(xpt 1|xpt−1 1)P(xpt 2|xpt−1 2)…P(xpt θ|zpt,xpt−1 θ)…P(xpt n|xpt−1 n)
(a1)全パーティクルの全ターゲットを対象とする更新処理、
(a2)各パーティクルに設定されたイベント発生源仮説ターゲットを対象とした更新処理、
これらの2段階の更新処理として実行している。
P(xpt|xpt−1)
この確率算出処理を適用し、この確率算出処理に運動モデルのみ(時間減衰)のカルマンフィルタ[Kalman Filter]による推定処理を適用した。
P(xpt|zpt,xpt−1)
この確率算出処理を適用し、この確率算出処理に、運動モデル+観測モデルのカルマンフィルタ(Kalman Filter)による推定処理を適用した。
P(Xut|θt,zut,Xut−1)・・・(式5)
上記式である。
上記式(式5)、すなわち、
P(Xut|θt,zut,Xut−1)
この式は、以下のように展開することができる。
P(Xut|θt,zut,Xut−1)
=P(xut 1,xut 2,…,xut n|θt,zut,xut−1 1,xut−1 2,…,xut−1 n)
=P(xut 1|xut−1 1)P(xut 2|xut−1 2)…P(xut θ|zut,xut−1 θ)…P(xut n|xut−1 n)
各パーティクルに設定されたターゲットには各ターゲットが誰であるかを示すユーザ確信度情報(uID)として各ユーザ1〜kである確立値(スコア):Pt[i](i=1〜k)が含まれている。
P(xut|xut−1)
この確率は、観測値がない限り変わらない設定とした。
Pt[i]=(1−β)×Pt[i]+β*Pe[i]
ただし、
i=1〜k
β:0〜1
である。なお、更新率[β]は、0〜1の範囲の値であり予め設定する。
P(xut|zut,xut−1)
上記算出式によって表すことができる。
P(Xut|θt,zut,Xut−1)・・・(式5)
この式(式5)の確率Pの推定処理を実行することに相当する。しかし、上記の[(1)イベント情報入力に基づく仮説更新によるユーザ位置およびユーザ識別処理]では、ターゲット間でユーザ識別情報(UserID)の独立性を保持した処理が行われていた。
すなわち、ターゲット間の独立性を排除し、複数のターゲットデータ間に関連性を持たせて、1つの観測データに基づいて複数のターゲットデータの更新処理を実行する。このような処理を行うことで実際には起こりえない事象を排除した更新を行うことが可能となり、精度の高い効率的な解析が実現される。
音声・画像統合処理部131では、上述した式(式5)、すなわち、
P(Xut|θt,zut,Xut−1)・・・(式5)
上記式を適用して、ユーザ識別情報に対応するターゲット情報[Xut]の独立性を排除した処理を行う。
先に説明したように、各ターゲットがイベント発生源である確率(=シグナル情報)をPとしたとき、確率Pの算出処理を定式化すると以下のように表すことができる。
P(Xt,θt|zt,Xt−1)・・・・・(式1)
P(Xt,θt|zt,Xt−1)=P(Xt|θt,zt,Xt−1)×P(θt|zt,Xt−1)
P(Xt|θt,zt,Xt−1)・・・(式2)
P(θt|zt,Xt−1)・・・(式3)
とする。
(式1)=(式2)×(式3)
である。
(入力1)時刻tの観測値[zt]、
(入力2)直前観測時刻[t−1]のターゲット情報[Xt-1]、
これらの入力が得られたとき、
(状態1)観測値[zt]の発生源が[xθ]である状態[θt]、
上記状態の発生する確率を算出する式である。
(入力1)時刻tの観測値[zt]、
(入力2)直前観測時刻[t−1]のターゲット情報[Xt−1]、
(入力3)観測値[zt]の発生源が[xθ]である確率[θt]、
これらの入力が得られたとき、
(状態)時刻tにおいてターゲット情報[Xt]が得られる状態、
この状態の発生する確率を表している。
P(Xt|θt,zt,Xt−1)
=P(Xpt,Xut|θt,zpt,zut,Xpt−1,Xut−1)
=P(Xpt|θt,zpt,Xpt−1)×P(Xut|θt,zut,Xut−1)
P(Xpt|θt,zpt,Xpt−1)・・・(式4)
P(Xut|θt,zut,Xut−1)・・・(式5)
とする。すなわち、
(式2)=(式4)×(式5)
である。
P(Xut|θt,zut,Xut−1)・・・(式5)
この式(式5)において、ユーザ識別情報(UserID)に対応する観測値[zut]によって更新されるターゲット情報は、特定のターゲット(θ)のユーザ識別情報に関するターゲット情報[xut θ]のみである。
P(Xut|θt,zut,Xut−1)
=P(xut 1,xut 2,…,xut n|θt,zut,xut−1 1,xut−1 2,…,xut−1 n)
ベイズの定理によれば、
P(x):事象xが発生する確率(事前確率)
P(x|z):事象zが発生した後、事象xが発生する確率(事後確率)
としたとき、
P(x|z)=(P(z|x)P(x))/P(z)
上記式が成立する。
P(x|z)=(P(z|x)P(x))/P(z)
を用いて、先に説明したユーザ識別情報(UserID)に対応する式(式5)、すなわち、
P(Xut|θt,zut,Xut−1)・・・(式5)
上記式を展開する。
P(Xut|θt,zut,Xut−1)
=P(θt,zut,Xut−1|Xut)P(Xut)/P(θt,zut,Xut−1)・・・(式6)
θt:時刻tの観測値ztがターゲット[θ]のターゲット情報xθの発生源である状態(θ=1〜n)
zut:時刻tにおける時刻tの観測値[zt]に含まれるユーザ識別情報
これらの「θt,zut」は、ユーザ識別情報に対応する時刻tのターゲット情報[Xut]のみに依存する(Xut−1には依存しない)とすると、上記式(式6)はさらに以下のように展開できる。
P(Xut|θt,zut,Xut−1)
=P(θt,zut,Xut−1|Xut)P(Xut)/P(θt,zut,Xut−1)
=P(θt,zut|Xut)P(Xut−1|Xut)P(Xut)/P(θt,zut)P(Xut−1)・・・(式7)
なお、ある1つのターゲットiについてのユーザ確信度(uID)、すなわち、xu(UserID)の確率を求めたいときは、同時生起確率(Joint Probability)においてそのターゲットがそのユーザ識別子(UserID)である確率をマージ(Marginalize)して求める。例えば以下の式を適用して算出する。
P(xui)=ΣXu=xuiP(Xu)
この式を用いた具体的処理例については後述する。
(a)ターゲット間の独立性を保持した解析処理例
(b)ターゲット間の独立性を排除した本発明に従った解析処理例
(c)ターゲット間の独立性を排除した本発明に従った解析処理例において未登録ユーザの存在を考慮した処理例
これらの処理例について説明する。なお、(a)の処理例は、本発明に従った(b)の処理例との比較のために説明するものである。
まず、ターゲット間の独立性を保持した解析処理例について説明する。
前述したように、先に説明したユーザ識別情報(UserID)に対応する式(式5)、すなわち、
P(Xut|θt,zut,Xut−1)・・・(式5)
これをベイズの定理を用いて展開することで、
P(Xut|θt,zut,Xut−1)
=P(θt,zut,Xut−1|Xut)P(Xut)/P(θt,zut,Xut−1)
=P(θt,zut|Xut)P(Xut−1|Xut)P(Xut)/P(θt,zut)P(Xut−1)・・・(式7)
この式(式7)が得られる。
すると式(式5)、(式7)は、以下のように表すことができる。
P(Xut|θt,zut,Xut−1)・・・(式5)
=P(θt,zut|Xut)P(Xut−1|Xut)P(Xut)/P(θt,zut)P(Xut−1)・・・(式7)
〜P(θt,zut|Xut)×P(Xut−1|Xut)・・・・(式8)×(式9)
なお、[〜]は比例を表す。
P(Xut|θt,zut,Xut−1)・・・(式5)
=R×P(θt,zut|Xut)P(Xut−1|Xut)・・・(式10)
となる。
ただし、Rは正規化項(Regularization term)とする。
式10=R×(式8)×(式9)であり、
式5=R×(式8)×(式9)となる。
(θt,zut|Xut)・・・・(式8)
上記式は、時刻tにおいてユーザ識別情報に対応するターゲット情報[Xut]が得られた場合に、そのターゲット情報に含まれるユーザ識別情報に関する時刻tの観測値[zut]が特定のターゲット(θ)からの観測情報である確率であり、これを、観測値の[事前確率P]と定義する。
P(Xut−1|Xut)・・・・(式9)
上記式は、時刻[t]においてユーザ識別情報に対応するターゲット情報[Xut]が得られた場合に、その1つの前の観測時刻[t−1]において、ユーザ識別情報に対応するターゲット情報[Xut−1]が得られている確率であり、これを、[状態遷移確率P]と定義する。
(式5)=R×([事前確率P])×([状態遷移確率P])
となる。
P(θt,zut|Xut)
=P(θt,zut|xut 1,xut 2,…,xut θ,…,xut n)
上記式において、観測値の事前確率Pを、
xut θ=zut、このとき、P=A、
上記以外の場合、P=B、
とする。
なお、確率Aと確率Bは、
A>Bとして設定する。
P(θt,zut|xut 0,xut 1)=P(0,2|2,1)は、
以下の確率を示している。
xut 0=2:ターゲットID(tID)=0が、ユーザID(uID=2)
xut 1=1:ターゲットID(tID)=1が、ユーザID(uID=1)
であるとき、
θt=0,zut=2:ターゲットID=0からユーザID=2の観測情報zutが得られる、
この確率を示している。
xut θ=xut 0=2、zut=2、
であり、
xut θ=zut、
が成立する。
従って、事前確率Pは、
P(θt,zut|xut 0,xut 1)=P(0,2|2,1)=A
となる。
P(θt,zut|xut 0,xut 1)=P(1,0|0,2)は、
以下の確率を示している。
xut 0=0:ターゲットID(tID)=0が、ユーザID(uID=0)
xut 1=2:ターゲットID(tID)=1が、ユーザID(uID=2)
であるとき、
θt=1,zut=0:ターゲットID=1からユーザID=0の観測情報zutが得られる、
この確率を示している。
xut θ=xut 1=2、zut=0、
であり、
xut θ=zut、
が成立しない。
従って、事前確率Pは、
P(θt,zut|xut 0,xut 1)=P(1,0|0,2)=B
となる。
P(Xut−1|Xut)
上記式において、状態遷移確率Pが全ターゲットでユーザ識別子(UserID)が変化しない場合、P=C
上記以外、P=D
とする。
なお、確率Cと確率Dは、
C>D
とする。
図12にターゲット数n=2(0〜1)、登録ユーザ数k=3(0〜2)の場合の状態遷移確率Pの算出例を示す。
P(xt−1 0,xut−1 1|xut 0,xut 1)=P(0,1|0,1)は、
以下の確率を示している。
xut 0=0:時刻tにおいて、ターゲットID(tID)=0がユーザID(uID=0)
xut 1=1:時刻tにおいて、ターゲットID(tID)=1がユーザID(uID=1)
であるとき、
xut−1 0=0:時刻t−1において、ターゲットID(tID)=0がユーザID(uID=0)
xut−1 1=1:時刻t−1において、ターゲットID(tID)=1がユーザID(uID=1)
となる
この確率を示している。
状態遷移確率P=C
となる。
P(xt−1 0,xut−1 1|xut 0,xut 1)=P(0,1|2,2)は、
以下の確率を示している。
xut 0=0:時刻tにおいて、ターゲットID(tID)=0がユーザID(uID=2)
xut 1=1:時刻tにおいて、ターゲットID(tID)=1がユーザID(uID=2)
であるとき、
xut−1 0=0:時刻t−1において、ターゲットID(tID)=0がユーザID(uID=0)
xut−1 1=1:時刻t−1において、ターゲットID(tID)=1がユーザID(uID=1)
となる
この確率を示している。
状態遷移確率P=D
となる。
P(Xut|θt,zut,Xut−1)・・・(式5)
=R×P(θt,zut|Xut)P(Xut−1|Xut)・・・(式10)=(R×(式8)×(式9))
この式において、
イベント情報としての観測値が得られる前の初期値、すなわち、ターゲットID(2,1,0)に対するユーザID(0〜2)の確率値、すなわちユーザ確信度を一様(図13(a))として、
上記の式(式8)によって示される事前確率Pに対応する確率A=0.8、B=0.2、
上記の式(式9)によって示される事前確率Pに対応する確率C=1.0、D=0.0、
この確率設定としている。
上記の式(式8)によって示される[事前確率P]
P(θt,zut|Xut)
=P(θt,zut|xut 1,xut 2,…,xut θ,…,xut n)
上記式において、観測値の事前確率Pを、
xut θ=zut、このときの事前確率:P=A=0.8、
上記以外の場合の事前確率:P=B=0.2、
この確率設定とした。
P(Xut−1|Xut)
上記式において、
時刻t,t−1において、全ターゲットに関してユーザ識別子(UserID)の変化がない場合の状態遷移確率P=C=1.0、
上記以外の場合の状態遷移確率P=D=0.0、
この確率設定とした。
「θ=0,zu=0」、
「θ=1,zu=1」
これらの観測情報が順に観測された場合の、ターゲットID(2,1,0)に対するユーザID(0〜2)の確率値、すなわちユーザ確信度(uID)の遷移例を示した図である。ユーザ確信度は、全てのターゲットID(2,1,0)に対する全てのユーザID(0〜2)を対応付けたデータについての同時生起確率(Joint Probability)として算出している。
「θ=1,zu=1」は、ターゲット(θ=1)から、ユーザ識別子(UID=1)に対応する観測情報[zu]が観測されたことを示す。
tID0,1,2=(0,0,0)〜(2,2,2)
これらの27通りの候補データがある。
これらの27通りの候補データ各々について、全てのターゲットID(2,1,0)に対する全てのユーザID(0〜2)を対応付けたユーザ確信度として、同時生起確率(Joint Probability)を算出している。
P=1.0/27=0.037037
として設定する。
「θ=0,zu=0」
この観測情報が観測された場合の、同時生起確率(Joint Probability)として算出されるユーザ確信度(全てのターゲットID(2,1,0)に対して対応付けられた全てのユーザID(0〜2)の確信度)の変化を示している。
観測情報「θ=0,zu=0」は、
ターゲットID=0からの観測情報がユーザID=0のものであるという観測情報である。
この観測情報に基づいて、27個の候補から、
tID=0にユーザID=0の設定された候補データの確率P(同時生起確率(Joint Probability))が高められ、その他の確率Pが低下させられる。
P(Xut|θt,zut,Xut−1)・・・(式5)
=R*P(θt,zut|Xut)P(Xut−1|Xut)・・・(式10(式8)×(式9))
この式において、
上記の式(式8)によって示される事前確率Pに対応する確率A=0.8、B=0.2、
上記の式(式9)によって示される事前確率Pに対応する確率C=1.0、D=0.0、
この設定で算出している。
tID=0にユーザID=0の設定された候補の確率P=0.074074
その他の候補の確率=0.018519
となる。
「θ=1,zu=1」
この観測情報が観測された場合の、同時生起確率(Joint Probability)として算出されるユーザ確信度(全てのターゲットID(2,1,0)に対して対応付けられた全てのユーザID(0〜2)の確信度)の変化を示している。
観測情報「θ=1,zu=1」は、
ターゲットID=1からの観測情報がユーザID=1のものであるという観測情報である。
この観測情報に基づいて、27個の候補から、
tID=1にユーザID=1の設定された候補データの確率P(同時生起確率(Joint Probability))が高められ、その他の確率Pが低下させられる。
3種類の確率値(同時生起確率(Joint Probability))に分類される。
最も確率の高い候補は、
tID=0にユーザID=0が設定、かつ、tID=1にユーザID=1が設定された候補であり、これらの候補は確率P=0.148148となる。
次に確率の高い候補は、
tID=0にユーザID=0が設定、または、tID=1にユーザID=1の設定、いずれか一方の条件のみが満足されている候補であり、これらの候補は確率P=0.037037となる。
最も確率の低い候補は、
tID=0にユーザID=0が設定されてなく、かつ、tID=1にユーザID=1が設定されていない候補であり、これらの候補は確率P=0.009259となる。
図14(a)〜(c)は図13(a)〜(c)に対応している。
すなわち、(a)初期状態から2つの観測情報に基づいて順次、更新した結果(b),(c)に対応しており、図14に示すデータは、
tID=0がuID=0である確率P
tID=0がuID=1である確率P
:
tID=2がuID=1である確率P
tID=2がuID=3である確率P
これらを図13に示す結果から算出したものである。図14の確率は、図13の27個から該当するデータの確率値を加算、すなわちマージ(Marginalize(周縁化))することにより求める。例えば以下の式を適用して算出する。
P(xui)=ΣXu=xuiP(Xu)
tID=0がuID=0である確率P
tID=0がuID=1である確率P
:
tID=2がuID=1である確率P
tID=2がuID=3である確率P
これらはすべて一律であり、P=0.333333
である。
図14(a)の下部に示すグラフは、この確率をグラフ化したデータである。
「θ=0,zu=0」
この観測情報が観測された場合の更新結果であり、
tID=0がuID=0である確率P〜tID=2がuID=3である確率P
これらの確率を示している。
tID=0がuID=0である確率のみが高く設定され、この影響により、
tID=0がuID=1である確率P
tID=0がuID=2である確率P
この2つの確率が低下している。
tID=1がuID=0である確率P
tID=1がuID=1である確率P
tID=1がuID=2である確率P
tID=2がuID=0である確率P
tID=2がuID=1である確率P
tID=2がuID=2である確率P
これらは初期状態と全く変化のない設定となる。
これは、ターゲット間の独立性を保持した解析処理に起因する。
「θ=1,zu=1」
この観測情報が観測された場合の更新結果であり、
tID=0がuID=0である確率P〜tID=2がuID=3である確率P
これらの確率を示している。
tID=1がuID=1である確率を高くする更新がなされ、この影響により、
tID=1がuID=0である確率P
tID=1がuID=2である確率P
この2つの確率が低下する。
次に、ターゲット間の独立性を排除した本発明に従った解析処理例について説明する。以下において説明する例は、複数の異なるターゲットに同一のユーザ識別情報であるユーザ識別子(UserID)を割り振らないという制約に基づいて処理を行う例である。音声・画像統合処理部131は、ターゲットと各ユーザとを対応づけた候補データの同時生起確率(Joint Probability)を、イベント情報に含まれる観測値であるユーザ識別情報に基づいて更新し、更新された同時生起確率の値を適用してターゲット対応のユーザ確信度を算出する処理を実行する。
P(Xut|θt,zut,Xut−1)・・・(式5)
これをベイズの定理を用いて展開することで、
P(Xut|θt,zut,Xut−1)
=P(θt,zut,Xut−1|Xut)P(Xut)/P(θt,zut,Xut−1)
=P(θt,zut|Xut)P(Xut−1|Xut)P(Xut)/P(θt,zut)P(Xut−1)・・・(式7)
この式(式7)が得られる。
すると式(式5)、(式7)は、以下のように表すことができる。
P(Xut|θt,zut,Xut−1)・・・(式5)
=P(θt,zut|Xut)P(Xut−1|Xut)P(Xut)/P(θt,zut)P(Xut−1)・・・(式7)
〜P(θt,zut|Xut)P(Xut−1|Xut)P(Xut)/P(Xut−1)
なお、[〜]は比例を表す。
P(Xut|θt,zut,Xut−1)・・・(式5)
=R×P(θt,zut|Xut)P(Xut−1|Xut)P(Xut)/P(Xut−1)・・・(式11)
となる。
ただし、Rは正規化項(Regularization term)とする。
制約1:P(Xu)=P(xu1,xu2,…,xun)において、1つでも重なるxu(ユーザ識別子(UserID))が存在する場合は、
P(Xut)=P(Xut−1)=NG(P=0.0)、
それ以外は、
P(Xut)=P(Xut−1)=OK(0.0<P≦1.0)
このような確率を設定する。
この初期状態は、先に説明した図13(a)の初期状態に対応する。すなわち、全てのターゲットID(2,1,0)に対する全てのユーザID(0〜2)を対応付けたデータについての同時生起確率(Joint Probability)を示している。
同時生起確率:P=0(NG)として設定され、P=0(NG)以外のP=OKとして記載された候補に対して、同時生起確率:Pに0より大きい確率値(0.0<P≦1.0)が設定される。
異なるターゲットに同一のユーザ識別子(UserID)が設定された候補データの同時生起確率P(Xu)の確率値は、
P(Xu)=0.0、
それ以外のターゲットデータの確率値は、
P(Xu)=0.0<P≦1.0
とする確率値の初期設定を行う。
P(Xut|θt,zut,Xut−1)・・・(式5)
=R×P(θt,zut|Xut)P(Xut−1|Xut)P(Xut)/P(Xut−1)・・・(式11)
上記式を適用し、さらに、複数の異なるターゲットに同一のユーザ識別情報であるユーザ識別子(UserID)を割り振らないという制約で処理を行っている。
P(Xu)=P(xu1,xu2,…,xun)において、1つでも重なるxu(ユーザ識別子(UserID))が存在する場合は、
P(Xut)=P(Xut−1)=NG(P=0.0)、
それ以外は、
P(Xut)=P(Xut−1)=OK(0.0<P≦1.0)
このような確率を設定した処理を行なっている。
P(Xut|θt,zut,Xut−1)・・・(式5)
=R×P(θt,zut|Xut)P(Xut−1|Xut)・・・(式10)
とは異なっている。
P(Xut|θt,zut,Xut−1)・・・(式5)
=R×P(θt,zut|Xut)P(Xut−1|Xut)P(Xut)/P(Xut−1)・・・(式11)
=R×(式8)×(式9)×(P(Xut)/P(Xut−1))
として表現される。
P(Xu)=P(xu1,xu2,…,xun)において、1つでも重なるxu(ユーザ識別子(UserID))が存在する場合はP=0(NG)とした設定とした以外は、先に図13、図14を参照して説明した処理例と同様の条件設定としている。
上記の式(式8)によって示される[事前確率P]
P(θt,zut|Xut)
=P(θt,zut|xut 1,xut 2,…,xut θ,…,xut n)
上記式において、観測値の事前確率Pを、
xut θ=zut、このときの事前確率:P=A=0.8、
上記以外の場合の事前確率:P=B=0.2、
この確率設定とした。
P(Xut−1|Xut)
上記式において、
時刻t,t−1において、全ターゲットに関してユーザ識別子(UserID)の変化がない場合の状態遷移確率P=C=1.0、
上記以外の場合の状態遷移確率P=D=0.0、
この確率設定とした。
「θ=0,zu=0」、
「θ=1,zu=1」
これらの観測情報が順に観測された場合の、ターゲットID(2,1,0)に対するユーザID(0〜2)の確率値、すなわちユーザ確信度(uID)の遷移例を示した図である。ユーザ確信度は、全てのターゲットID(2,1,0)に対する全てのユーザID(0〜2)を対応付けたデータについての同時生起確率(Joint Probability)として算出している。
「θ=1,zu=1」は、ターゲット(θ=1)から、ユーザ識別子(UID=1)に対応する観測情報[zu]が観測されたことを示す。
tID0,1,2=(0,0,0)〜(2,2,2)
これらの27通りである。
これらの27通りの候補データ各々について、全てのターゲットID(2,1,0)に対する全てのユーザID(0〜2)を対応付けたユーザ確信度として、同時生起確率(Joint Probability)を算出している。確率(ユーザ確信度)は、先の図13(a)初期状態と異なり、1つでも重なるxu(ユーザ識別子(UserID))が存在する場合はP=0、その他の候補に均等な確率、図に示す例では、
P=0.166667
この確率値が設定される。
「θ=0,zu=0」
この観測情報が観測された場合の、同時生起確率(Joint Probability)として算出されるユーザ確信度(全てのターゲットID(2,1,0)に対して対応付けられた全てのユーザID(0〜2)の確信度)の変化を示している。
観測情報「θ=0,zu=0」は、
ターゲットID=0からの観測情報がユーザID=0のものであるという観測情報である。
この観測情報に基づいて、27個の候補から、初期状態でP=0(NG)の設定された候補以外で、
tID=0にユーザID=0の設定された候補データの確率P(同時生起確率(Joint Probability))が高められ、その他の確率Pが低下させられる。
P=0.166667
この確率が設定された候補中、
tID=0にユーザID=0
の設定された候補の確率Pが高められて、P=0.333333に設定され、
その他の確率Pが低下させられて、P=0.0083333に設定される。
「θ=1,zu=1」
この観測情報が観測された場合の、同時生起確率(Joint Probability)として算出されるユーザ確信度(全てのターゲットID(2,1,0)に対して対応付けられた全てのユーザID(0〜2)の確信度)の変化を示している。
観測情報「θ=1,zu=1」は、
ターゲットID=1からの観測情報がユーザID=1のものであるという観測情報である。
この観測情報に基づいて、27個の候補から、初期状態でP=0(NG)の設定された候補以外で、
tID=1にユーザID=1の設定された候補データの確率P(同時生起確率(Joint Probability))が高められ、その他の確率Pが低下させられる。
4種類の確率値に分類される。
最も確率の高い候補は、
初期状態でP=0(NG)の設定されておらず、tID=0にユーザID=0が設定、かつ、tID=1にユーザID=1が設定された候補であり、これらの候補の同時生起確率:P=0.592593となる。
次に確率の高い候補は、
初期状態でP=0(NG)の設定されておらず、tID=0にユーザID=0が設定、または、tID=1にユーザID=1の設定、いずれか一方の条件のみが満足されている候補であり、これらの候補は確率P=0.148148となる。
次に確率の高い候補は、
初期状態でP=0(NG)の設定されていない候補であり、tID=0にユーザID=0が設定されてなく、かつ、tID=1にユーザID=1が設定されていない候補であり、これらの候補は確率P=0.037037となる。
最も確率の低い候補は、
初期状態でP=0(NG)の設定されている候補であり、これらの候補は確率P=0.0となる。
図17(a)〜(c)は図16(a)〜(c)に対応している。
すなわち、(a)初期状態から2つの観測情報に基づいて順次、更新した結果(b),(c)に対応しており、図17に示すデータは、
tID=0がuID=0である確率P
tID=0がuID=1である確率P
:
tID=2がuID=1である確率P
tID=2がuID=3である確率P
これらを図16に示す結果から算出したものである。図17の確率は、図16の27個から該当するデータの確率値を加算、すなわちマージ(Marginalize)することにより求める。例えば以下の式を適用して算出する。
P(xui)=ΣXu=xuiP(Xu)
tID=0がuID=0である確率P
tID=0がuID=1である確率P
:
tID=2がuID=1である確率P
tID=2がuID=3である確率P
これらは、すべて一律であり、P=0.333333
である。
図17(a)の下部に示すグラフは、この確率をグラフ化したデータである。
この初期状態の結果は、各ターゲットの独立性を保持した処理例として先に説明した図14(a)と同様である。
「θ=0,zu=0」
この観測情報が観測された場合の更新結果であり、
tID=0がuID=0である確率P〜tID=2がuID=3である確率P
これらの確率を示している。
tID=0がuID=0である確率のみが高く設定され、この影響により、
tID=0がuID=1である確率P
tID=0がuID=2である確率P
この2つの確率が低下している。
tID=1について、
uID=0である確率が低下、
uID=1である確率が上昇、
uID=2である確率が上昇、
tID=2について、
uID=0である確率が低下、
uID=1である確率が上昇、
uID=2である確率が上昇、
このように、観測情報「θ=0,zu=0」を取得したと想定されるターゲット(tID=0)と異なるターゲット(tID=1,2)の確率(ユーザ確信度)も変化している。
P(Xut|θt,zut,Xut−1)・・・(式5)
=R×P(θt,zut|Xut)P(Xut−1|Xut)P(Xut)/P(Xut−1)・・・(式11)
上記式に、以下の制約1、すなわち、
制約1:P(Xu)=P(xu1,xu2,…,xun)において、1つでも重なるxu(ユーザ識別子(UserID))が存在する場合は、
P(Xut)=P(Xut−1)=NG(P=0.0)、
それ以外は、
P(Xut)=P(Xut−1)=OK(0.0<P≦1.0)
このような確率を設定した処理例である。
「θ=1,zu=1」
この観測情報が観測された場合の更新結果であり、
tID=0がuID=0である確率P〜tID=2がuID=3である確率P
これらの確率を示している。
tID=1がuID=1である確率を高くする更新がなされ、この影響により、
tID=1がuID=0である確率P
tID=1がuID=2である確率P
この2つの確率が低下する。
tID=0について、
uID=0である確率が上昇、
uID=1である確率が低下、
uID=2である確率が上昇、
tID=2について、
uID=0である確率が上昇、
uID=1である確率が低下、
uID=2である確率が上昇、
このように、観測情報「θ=1,zu=1」を取得したと想定されるターゲット(tID=1)と異なるターゲット(tID=0,2)の確率(ユーザ確信度)も変化している。
制約1:P(Xu)=P(xu1,xu2,…,xun)において、1つでも重なるxu(ユーザ識別子(UserID))が存在する場合は、
P(Xut)=P(Xut−1)=NG(P=0.0)、
それ以外は、
P(Xut)=P(Xut−1)=OK(0.0<P≦1.0)
このような制約を適用してすべてのターゲットデータに対する更新処理を行なったが、この制約を適用するのではなく、以下のような処理を行う構成としてもよい。
このような処理を行うことで、[Xu]の状態数をknから、nPkに削減することが可能となり処理効率を高めることが可能となる。
tID0,1,2=(0,0,0)〜(2,2,2)
これらの27通りであるが、これらの27のデータ[P(Xu)=P(xu1,xu2,xu3)]において、1つでも重なるxu(ユーザ識別子(UserID))が存在する状態をターゲットデータから削除することで、図18の右側に示す0〜5の6通りのデータとなる。
次に、上述した[(b)ターゲット間の独立性を排除した本発明に従った解析処理例]において未登録ユーザの存在を考慮した処理例について説明する。
制約1:P(Xu)=P(xu1,xu2,…,xun)において、
1つでも重なるxu(UserID)が存在する場合はP(Xut)=P(Xut−1)=NG(0.0)、
それ以外は、P(Xut)=P(Xut−1)=OK(0.0<P≦1.0))
この制約をそのまま適用すると問題が発生する。
制約1:P(Xu)=P(xu1,xu2,…,xun)において、
1つでも重なるxu(UserID)が存在する場合はP(Xut)=P(Xut−1)=NG(0.0)、
それ以外は、P(Xut)=P(Xut−1)=OK(0.0<P≦1.0))
例外:ただし、xu=unknownの場合は除外
このような例外付きの制約を用いることで、未登録ユーザの出現可能性のある環境でも、上記の[(b)ターゲット間の独立性を排除した本発明に従った解析処理例]を応用した処理が可能となる。
例えば画像イベント検出部112から入力するイベント数が、ターゲット数より多い場合には、新たなターゲットの設定を行なう。具体的には、例えばカメラの撮影する画像フレームにこれまで存在しなかった顔が出現した場合などである。このような場合は、各パーティクルに新たなターゲットを設定する。このターゲットはこの新たなイベントに対応して更新されるターゲットとして設定される。また、例えば、ターゲットに含まれるユーザ位置情報にピークが検出されない場合など、特定のユーザ位置が得られていないようなデータを削除する処理を実行しはてもよい。
本発明の情報処理装置では、ターゲットデータの更新を実行して更新されたターゲットデータと、各パーティクル重み[WpID]とに基づいて、ターゲット情報を生成して、処理決定部132に出力する処理が行われる。例えば図21に示すターゲット情報520が生成される。ターゲット情報は、各ターゲット(tID=1〜n)各々の
(a)ユーザ位置情報、
(b)ユーザ確信度情報、
これらの情報を含む情報として生成される。
音声・画像統合処理部131における新たなターゲットの生成処理について、図21を参照して説明する。新たなターゲットの生成は、例えば各パーティクルに対するイベント発生源仮説の設定時に行う。
(a)複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての[ターゲット情報]、
(b)例えば話をしたユーザなどのイベント発生源を示す[シグナル情報]、
これらの情報を生成して処理決定部132に出力する処理シーケンスである。
(a)ユーザ位置情報
(b)ユーザ識別情報(顔識別情報または話者識別情報)
(c)顔属性情報(顔属性スコア)
これらのイベント情報を入力する。
パーティクル1:パーティクル重み[WpID]=0.40
パーティクル2:パーティクル重み[WpID]=0.10
パーティクル3:パーティクル重み[WpID]=0.25
パーティクル4:パーティクル重み[WpID]=0.05
パーティクル5:パーティクル重み[WpID]=0.20
これらのパーティクル重みが各々設定されていた場合、
パーティクル1は、40%の確率でリサンプリングされ、パーティクル2は10%の確率でリサンプリングされる。なお、実際にはm=100〜1000といった多数であり、リサンプリングされた結果は、パーティクルの重みに応じた配分比率のパーティクルによって構成されることになる。
(a)ユーザ位置:各ターゲット各々に対応する存在位置の確率分布[ガウス分布:N(mt,σt)]、
(b)ユーザ確信度:各ターゲットが誰であるかを示すユーザ確信度情報(uID)として各ユーザ1〜kである確立値(スコア):Pt[i](i=1〜k)、すなわち、
uIDt1=Pt[1]
uIDt2=Pt[2]
:
uIDtk=Pt[k]
これらのデータによって構成される。
(a1)全パーティクルの全ターゲットを対象とする更新処理、
(a2)各パーティクルに設定されたイベント発生源仮説ターゲットを対象とした更新処理、
これらの2段階の更新処理として実行する。
P(Xut|θt,zut,Xut−1)・・・(式5)
=R×P(θt,zut|Xut)P(Xut−1|Xut)P(Xut)/P(Xut−1)・・・(式11)
上記式を適用し、さらに、複数の異なるターゲットに同一のユーザ識別情報であるユーザ識別子(UserID)を割り振らないという制約で処理を実行する。
P(xui)=ΣXu=xuiP(Xu)
すなわち、ターゲット(tID=1〜n)の各々がイベント発生源である確率を[P(tID=i)とする。ただしi=1〜nである。このとき、各ターゲットがイベント発生源である確率は、以下のように算出される。
P(tID=1):tID=1を割り当てた数/m
P(tID=2):tID=2を割り当てた数/m
:
P(tID=n):tID=nを割り当てた数/m
音声・画像統合処理部131は、この算出処理によって、生成した情報、すなわち、各ターゲットがイベント発生源である確率を[シグナル情報]として、処理決定部132に出力する。
(a)複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての[ターゲット情報]、
(b)例えば話をしたユーザなどのイベント発生源を示す[シグナル情報]、
これらが生成されて処理決定部132に出力される。
21 カメラ
31〜34 マイク
100 情報処理装置
111 画像入力部
112 画像イベント検出部
121 音声入力部
122 音声イベント検出部
131 音声・画像統合処理部
132 処理決定部
201〜20k ユーザ
301 ユーザ
302 画像データ
305 ターゲット情報
311 ターゲットデータ
401 イベント情報
411〜413 パーティクル
421〜423 ターゲット
501,502 事前確率データ
511,512 状態遷移確率データ
520 ターゲット情報
521〜523 ターゲット情報
531 閾値
551 暫定新規ターゲット
Claims (14)
- 実空間における画像情報または音声情報のいずれかを含む情報を入力する複数の情報入力部と、
前記情報入力部から入力する情報の解析により、前記実空間に存在するユーザの推定識別情報を含むイベント情報を生成するイベント検出部と、
ユーザ識別情報についての仮説(Hypothesis)の確率分布データを設定し、前記イベント情報に基づく仮説の更新および取捨選択により、前記実空間に存在するユーザの識別処理を実行する情報統合処理部と、
を有し、
前記情報統合処理部は、
前記イベントの発生源であるターゲットに対応するユーザがどのユーザであるかを示すユーザ確信度情報を含むターゲットデータを、前記イベント情報に含まれるユーザ識別情報に基づいて更新する処理を実行する構成であり、
同一ユーザが同時に存在しないという制約条件を適用して前記ターゲットデータの更新処理を実行して前記ユーザ確信度の算出処理を実行する構成を有する情報処理装置。 - 前記情報統合処理部は、
各ターゲットと各ユーザとを対応づけた候補データの同時生起確率(Joint Probability)を、前記イベント情報に含まれるユーザ識別情報に基づいて更新し、更新された同時生起確率の値を適用してターゲット対応のユーザ確信度を算出する処理を実行する構成を有する請求項1に記載の情報処理装置。 - 前記情報統合処理部は、
前記イベント情報に含まれるユーザ識別情報に基づいて更新された同時生起確率の値をマージして、各ターゲットに対応するユーザ識別子の確信度を算出する構成である請求項2に記載の情報処理装置。 - 前記情報統合処理部は、
複数ターゲットに同一のユーザ識別子(UserID)は割り振られないという制約に基づいて、各ターゲットと各ユーザとを対応づけた候補データの同時生起確率(Joint Probability)の初期設定を行なう構成であり、
異なるターゲットに同一のユーザ識別子(UserID)が設定された候補データの同時生起確率P(Xu)の確率値は、
P(Xu)=0.0、
それ以外のターゲットデータの確率値は、
P(Xu)=0.0<P≦1.0
とする確率値の初期設定を行う構成である請求項2に記載の情報処理装置。 - 前記情報統合処理部は、
ユーザ識別子(UserID−unknown)の設定される未登録ユーザについては、
異なるターゲットに同一のユーザ識別子(UserID−unknown)が設定されても、同時生起確率P(Xu)の確率値は、
P(Xu)=0.0<P≦1.0
とする例外設定処理を行う構成である請求項4に記載の情報処理装置。 - 前記情報統合処理部は、
異なるターゲットに同一のユーザ識別子(UserID)が設定された候補データを削除して、それ以外の候補データのみを残存させて、残存する候補データのみを前記イベント情報に基づく更新対象とした処理を行う構成である請求項1に記載の情報処理装置。 - 前記情報統合処理部は、
前記同時生起確率(Joint Probability)の算出処理に際して、
時刻tにおいて取得するユーザ識別情報に対応するイベント情報である観測値(Zut)が、あるターゲット(θ)が発生源となる確率P(θt,zut)を一様と仮定し、さらに、
時刻tにおけるターゲットデータに含まれるユーザ識別情報{xut 1,xut 2,・・・,xut n}の状態を示すターゲット情報[Xut]を一律ではないと仮定して設定した以下の確率算出式、
P(Xut|θt,zut,Xut−1)
=R×P(θt,zut|Xut)P(Xut−1|Xut)P(Xut)/P(Xut−1)
ただしRは正規化項、
上記確率算出式を用いて算出された確率値を適用する構成である請求項2に記載の情報処理装置。 - 前記情報統合処理部は、
各ターゲットに対応するユーザ識別子の確信度を示す確率を算出する場合、前記確率値:P(Xu)のマージ処理として、
P(xui)=ΣXu=xuiP(Xu)
ただし、iはユーザ識別子の確信度を示す確率を算出するターゲットの識別子(tID)、
上記式により、各ターゲット対応のユーザ識別子の確信度を示す確率算出を行う構成である請求項7に記載の情報処理装置。 - 前記情報統合処理部は、
ターゲットを削除する場合において、削除ターゲットを含む候補データに対して設定されている同時生起確率の値を、ターゲット削除後に残存する候補データにマージ(Marginalize)する処理を実行して、さらに候補データ全体に設定された同時生起確率の値のトータルを1とする正規化処理を行う構成である請求項2に記載の情報処理装置。 - 前記情報統合処理部は、
ターゲットを生成して追加する場合において、生成ターゲットの追加により増加した候補データに対してユーザ数分の状態を割り当て、既存の候補データに対して設定されていた同時生起確率の値を増加した候補データに対して配分(Distribute)する処理を実行して、さらに候補データ全体に設定された同時生起確率の値のトータルを1とする正規化処理を行う構成である請求項2に記載の情報処理装置。 - 情報処理装置において実行する情報処理方法であり、
情報入力部が、実空間における画像情報または音声情報のいずれかを含む情報を入力する情報入力ステップと、
イベント検出部が、前記情報入力部から入力する情報の解析により、前記実空間に存在するユーザの推定識別情報を含むイベント情報を生成するイベント検出ステップと、
情報統合処理部が、ユーザ識別情報についての仮説(Hypothesis)の確率分布データを設定し、前記イベント情報に基づく仮説の更新および取捨選択により、前記実空間に存在するユーザの識別処理を実行する情報統合処理ステップと、
を有し、
前記情報統合処理ステップは、
前記イベントの発生源であるターゲットに対応するユーザがどのユーザであるかを示すユーザ確信度情報を含むターゲットデータを、前記イベント情報に含まれるユーザ識別情報に基づいて更新する処理を実行するステップを含み、
同一ユーザが同時に存在しないという制約条件を適用して前記ターゲットデータの更新処理を実行して前記ユーザ確信度の算出処理を実行するステップである情報処理方法。 - 前記情報統合処理ステップは、
各ターゲットと各ユーザとを対応づけた候補データの同時生起確率(Joint Probability)を、前記イベント情報に含まれるユーザ識別情報に基づいて更新し、更新された同時生起確率の値を適用してターゲット対応のユーザ確信度を算出する処理を実行するステップである請求項11に記載の情報処理方法。 - 情報処理装置において情報処理を実行させるコンピュータ・プログラムであり、
情報入力部に、実空間における画像情報または音声情報のいずれかを含む情報を入力させる情報入力ステップと、
イベント検出部に、前記情報入力部から入力する情報の解析により、前記実空間に存在するユーザの推定識別情報を含むイベント情報を生成させるイベント検出ステップと、
情報統合処理部に、ユーザ識別情報についての仮説(Hypothesis)の確率分布データを設定し、前記イベント情報に基づく仮説の更新および取捨選択により、前記実空間に存在するユーザの識別処理を実行させる情報統合処理ステップと、
を有し、
前記情報統合処理ステップは、
前記イベントの発生源であるターゲットに対応するユーザがどのユーザであるかを示すユーザ確信度情報を含むターゲットデータを、前記イベント情報に含まれるユーザ識別情報に基づいて更新する処理を実行するステップを含み、
同一ユーザが同時に存在しないという制約条件を適用して前記ターゲットデータの更新処理を実行して前記ユーザ確信度の算出処理を実行するステップであるコンピュータ・プログラム。 - 前記情報統合処理ステップは、
各ターゲットと各ユーザとを対応づけた候補データの同時生起確率(Joint Probability)を、前記イベント情報に含まれるユーザ識別情報に基づいて更新し、更新された同時生起確率の値を適用してターゲット対応のユーザ確信度を算出する処理を実行するステップである請求項13に記載のコンピュータ・プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008177609A JP4730404B2 (ja) | 2008-07-08 | 2008-07-08 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
US12/496,847 US20100036792A1 (en) | 2008-07-08 | 2009-07-02 | Image Processing Apparatus, Image Processing Method, and Computer Program |
CN2009101588467A CN101625675B (zh) | 2008-07-08 | 2009-07-08 | 信息处理装置、信息处理方法和计算机程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008177609A JP4730404B2 (ja) | 2008-07-08 | 2008-07-08 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010020374A true JP2010020374A (ja) | 2010-01-28 |
JP4730404B2 JP4730404B2 (ja) | 2011-07-20 |
Family
ID=41521526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008177609A Expired - Fee Related JP4730404B2 (ja) | 2008-07-08 | 2008-07-08 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20100036792A1 (ja) |
JP (1) | JP4730404B2 (ja) |
CN (1) | CN101625675B (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015094612A (ja) * | 2013-11-11 | 2015-05-18 | 株式会社明電舎 | 時系列フィルタ処理による架線類検測装置 |
JP2015094613A (ja) * | 2013-11-11 | 2015-05-18 | 株式会社明電舎 | 時系列フィルタ処理による架線類検測装置 |
US9524553B2 (en) | 2014-03-31 | 2016-12-20 | Fujitsu Limited | Image processing apparatus, image processing method, and recording medium |
CN112835084A (zh) * | 2021-01-05 | 2021-05-25 | 中国电力科学研究院有限公司 | 基于电力网络场景的电力设备定位方法、系统及电力设备 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101644015B1 (ko) * | 2009-11-27 | 2016-08-01 | 삼성전자주식회사 | 시스템과 다수 사용자 간의 대화 인터페이스 장치 |
CN102223517A (zh) * | 2010-04-14 | 2011-10-19 | 鸿富锦精密工业(深圳)有限公司 | 监控系统及方法 |
JP6380523B2 (ja) * | 2014-02-26 | 2018-08-29 | 株式会社ソシオネクスト | 画像認識システムおよび半導体集積回路 |
US9516413B1 (en) | 2014-09-30 | 2016-12-06 | Apple Inc. | Location based storage and upload of acoustic environment related information |
JP6592940B2 (ja) * | 2015-04-07 | 2019-10-23 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US10911437B2 (en) * | 2015-11-05 | 2021-02-02 | Cerner Innovation, Inc | Detection of anomalous authentication attempts in a client-server architecture |
CN106653043B (zh) * | 2016-12-26 | 2019-09-27 | 云知声(上海)智能科技有限公司 | 降低语音失真的自适应波束形成方法 |
WO2019069905A1 (ja) * | 2017-10-04 | 2019-04-11 | Necソリューションイノベータ株式会社 | 情報処理装置、制御方法、及びプログラム |
CN108305615B (zh) | 2017-10-23 | 2020-06-16 | 腾讯科技(深圳)有限公司 | 一种对象识别方法及其设备、存储介质、终端 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005141687A (ja) * | 2003-11-10 | 2005-06-02 | Nippon Telegr & Teleph Corp <Ntt> | 物体追跡方法、物体追跡装置、物体追跡システム、プログラム、および、記録媒体 |
JP2005165688A (ja) * | 2003-12-02 | 2005-06-23 | Fuji Xerox Co Ltd | 複数対象物追跡方法及びシステム |
JP2007026316A (ja) * | 2005-07-20 | 2007-02-01 | Yamaha Motor Co Ltd | 画像管理装置、ならびに画像管理用コンピュータプログラムおよびそれを記録した記録媒体 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002072317A1 (fr) * | 2001-03-09 | 2002-09-19 | Japan Science And Technology Corporation | Systeme de robot audiovisuel |
US7430497B2 (en) * | 2002-10-31 | 2008-09-30 | Microsoft Corporation | Statistical model for global localization |
US6882959B2 (en) * | 2003-05-02 | 2005-04-19 | Microsoft Corporation | System and process for tracking an object state using a particle filter sensor fusion technique |
JP2005345616A (ja) * | 2004-06-01 | 2005-12-15 | Canon Inc | 情報処理装置及び情報処理方法 |
KR100754385B1 (ko) * | 2004-09-30 | 2007-08-31 | 삼성전자주식회사 | 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법 |
CN1801181A (zh) * | 2006-01-06 | 2006-07-12 | 华南理工大学 | 人脸与车牌自动识别机器人 |
-
2008
- 2008-07-08 JP JP2008177609A patent/JP4730404B2/ja not_active Expired - Fee Related
-
2009
- 2009-07-02 US US12/496,847 patent/US20100036792A1/en not_active Abandoned
- 2009-07-08 CN CN2009101588467A patent/CN101625675B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005141687A (ja) * | 2003-11-10 | 2005-06-02 | Nippon Telegr & Teleph Corp <Ntt> | 物体追跡方法、物体追跡装置、物体追跡システム、プログラム、および、記録媒体 |
JP2005165688A (ja) * | 2003-12-02 | 2005-06-23 | Fuji Xerox Co Ltd | 複数対象物追跡方法及びシステム |
JP2007026316A (ja) * | 2005-07-20 | 2007-02-01 | Yamaha Motor Co Ltd | 画像管理装置、ならびに画像管理用コンピュータプログラムおよびそれを記録した記録媒体 |
Non-Patent Citations (1)
Title |
---|
JPN6009057632, Checka, N.; Wilson, K.W.; Siracusa, M.R.; Darrell, T.;, "Multiple person and speaker activity tracking with a particle filter", IEEE International Conference on Acoustics, Speech, and Signal Processing, 2004. Proceedings. (ICASS, 20040517, Vol.5, p.V−881〜V−884, US, IEEE * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015094612A (ja) * | 2013-11-11 | 2015-05-18 | 株式会社明電舎 | 時系列フィルタ処理による架線類検測装置 |
JP2015094613A (ja) * | 2013-11-11 | 2015-05-18 | 株式会社明電舎 | 時系列フィルタ処理による架線類検測装置 |
US9524553B2 (en) | 2014-03-31 | 2016-12-20 | Fujitsu Limited | Image processing apparatus, image processing method, and recording medium |
CN112835084A (zh) * | 2021-01-05 | 2021-05-25 | 中国电力科学研究院有限公司 | 基于电力网络场景的电力设备定位方法、系统及电力设备 |
CN112835084B (zh) * | 2021-01-05 | 2022-02-11 | 中国电力科学研究院有限公司 | 基于电力网络场景的电力设备定位方法、系统及电力设备 |
Also Published As
Publication number | Publication date |
---|---|
CN101625675B (zh) | 2012-06-06 |
JP4730404B2 (ja) | 2011-07-20 |
US20100036792A1 (en) | 2010-02-11 |
CN101625675A (zh) | 2010-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4730404B2 (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
JP4462339B2 (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
US8140458B2 (en) | Information processing apparatus, information processing method, and computer program | |
JP2010165305A (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US20110224978A1 (en) | Information processing device, information processing method and program | |
US9002707B2 (en) | Determining the position of the source of an utterance | |
Oliver et al. | Layered representations for human activity recognition | |
JP2012038131A (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
Heittola et al. | Supervised model training for overlapping sound events based on unsupervised source separation | |
CN108062954B (zh) | 语音识别方法和装置 | |
KR20210008520A (ko) | 화자 임베딩(들)과 트레이닝된 생성 모델을 이용한 화자 분리 | |
US20040002838A1 (en) | Layered models for context awareness | |
JP2009042910A (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
WO2019171780A1 (ja) | 個人識別装置および特徴収集装置 | |
JP4730812B2 (ja) | 個人認証装置、個人認証処理方法、そのためのプログラム及び記録媒体 | |
Christoudias et al. | Co-adaptation of audio-visual speech and gesture classifiers | |
JP2013257418A (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
Lewis et al. | Sensor fusion weighting measures in audio-visual speech recognition | |
JP6784255B2 (ja) | 音声処理装置、音声処理システム、音声処理方法、およびプログラム | |
JP5070591B2 (ja) | 雑音抑圧装置、コンピュータプログラム、及び音声認識システム | |
KR102586289B1 (ko) | 대화 예측을 이용한 대화 에이전트 시스템 및 방법 | |
JP2010117651A (ja) | 拡張認識辞書学習装置、これを用いた音声認識システム、その方法及びそのプログラム | |
Hui et al. | RBF neural network mouth tracking for audio-visual speech recognition system | |
Chiba et al. | Modeling user’s state during dialog turn using HMM for multi-modal spoken dialog system | |
JP6235148B2 (ja) | 対話システム、および情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100802 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101119 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20101125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110214 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110404 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |