JP2020135078A - 追跡装置、追跡方法、及びプログラム - Google Patents
追跡装置、追跡方法、及びプログラム Download PDFInfo
- Publication number
- JP2020135078A JP2020135078A JP2019024019A JP2019024019A JP2020135078A JP 2020135078 A JP2020135078 A JP 2020135078A JP 2019024019 A JP2019024019 A JP 2019024019A JP 2019024019 A JP2019024019 A JP 2019024019A JP 2020135078 A JP2020135078 A JP 2020135078A
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- area
- image
- calculated
- regions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000013598 vector Substances 0.000 claims description 64
- 230000002093 peripheral effect Effects 0.000 description 37
- 238000001514 detection method Methods 0.000 description 26
- 238000000605 extraction Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 235000002597 Solanum melongena Nutrition 0.000 description 2
- 244000061458 Solanum melongena Species 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000546 chi-square test Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】追跡を精度よく行う追跡装置、追跡方法、及びプログラムを提供する。【解決手段】追跡装置１は、距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、設定部２と、第一の画像が撮像された後、時系列に撮像された第二の画像において、追跡領域それぞれの移動先となる領域を追跡する、追跡部３と、を有する。このように、距離画像を用いて追跡領域を設定し、設定した追跡領域の移動先となる領域を推定することで、撮像した対象物の追跡を精度よく行うことができる。【選択図】図１
Description
本発明は、対象物を追跡する、追跡装置、追跡方法、及びプログラムに関する。
近年、ジェスチャにより機器を操作する、ジェスチャ操作が普及している。例えば、自動車の運転中において、運転者が、運転に支障がないように、音響映像機器を操作する、ジェスチャ操作などが知られている。
ところで、運転中のジェスチャ操作において、運転者のジェスチャを特定するためには、運転者の頭部、手などの部位を精度よく追跡する必要がある。
関連する技術として、動画像から高速に顔と当該顔の部位を追跡する技術が開示されている。その技術によれば、まず、最初のフレーム画像を用いて求めた顔領域に基づいて、顔の部位の位置を検出する。続いて、以降のフレーム画像に対して、検出した顔の部位の位置に基づいて設定された探索領域において顔の部位を追跡する。
しかしながら、特許文献１に開示の技術では、顔の部位をノードとして生成した二次元グラフの変形に基づいて、顔の向き、位置を推定しているため、顔の部位にオクルージョン、ノイズなどが発生した場合、顔の部位を精度よく追跡することが困難となる。
本発明の目的の一例は、対象物の追跡を精度よく行う追跡装置、追跡方法、及びプログラムを提供することにある。
上記目的を達成するため、本発明の一側面における追跡装置は、
距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、設定部と、
前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、追跡部と、
を有することを特徴とする。
距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、設定部と、
前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、追跡部と、
を有することを特徴とする。
また、上記目的を達成するため、本発明の一側面における追跡方法は、
（ａ）距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、ステップと、
（ｂ）前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、ステップと、
を有することを特徴とする。
（ａ）距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、ステップと、
（ｂ）前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、ステップと、
を有することを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、ステップと、
（ｂ）前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、ステップと、
を実行させることを特徴とする。
コンピュータに、
（ａ）距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、ステップと、
（ｂ）前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、ステップと、
を実行させることを特徴とする。
以上のように本発明によれば、対象物の追跡を精度よく行うことができる。
（実施の形態）
以下、本発明の実施の形態について、図１から図１１を参照しながら説明する。
以下、本発明の実施の形態について、図１から図１１を参照しながら説明する。
［装置構成］
最初に、図１を用いて、本実施の形態における追跡装置１の構成について説明する。図１は、追跡装置の一例を示す図である。
最初に、図１を用いて、本実施の形態における追跡装置１の構成について説明する。図１は、追跡装置の一例を示す図である。
図１に示す追跡装置１は、追跡を精度よく行う装置である。また、図１に示すように、追跡装置１は、設定部２と、追跡部３とを有する。
このうち、設定部２は、距離情報を有する画像（第一の画像：距離画像）を用いて生成された三次元情報に基づいて、撮像された対象物の画像に含まれる所定部位それぞれに対して三次元の追跡領域を設定する。追跡部３は、第一の画像が撮像された後、時系列に撮像された画像（第二の画像：距離画像）において、追跡領域それぞれの移動先となる領域を追跡する。
距離情報は、対象物と撮像装置との距離を示す情報である。また、距離情報は、例えば、画素に関連付けられている。
対象物は、例えば、人間の頭部、動物の頭部、ロボットの頭部などの追跡をする対象である。所定部位は、頭部の場合、頭部に含まれる部位である。例えば、耳、鼻、頭頂部、顎などである。ただし、所定部位は、上述した部位に限定されるものではない。
追跡について、図２を用いて具体的に説明する。
図２は、追跡を説明するための図である。例えば、距離画像２０ａに撮像された人間の頭部２１ａを追跡する場合、設定部２は、まず、鼻に対して追跡領域２２ａ、頭頂部に対
して追跡領域２３ａ、右耳に対して追跡領域２４ａ、左耳に対して追跡領域２５ａ、顎に対して追跡領域２６ａを設定する。追跡領域は、撮像された所定部位それぞれに対して設定する三次元の領域である。
図２は、追跡を説明するための図である。例えば、距離画像２０ａに撮像された人間の頭部２１ａを追跡する場合、設定部２は、まず、鼻に対して追跡領域２２ａ、頭頂部に対
して追跡領域２３ａ、右耳に対して追跡領域２４ａ、左耳に対して追跡領域２５ａ、顎に対して追跡領域２６ａを設定する。追跡領域は、撮像された所定部位それぞれに対して設定する三次元の領域である。
続いて、追跡部３は、距離画像２０ａが撮像された後に撮像された距離画像２０ｂにおいて、追跡領域２２ａ、２３ａ、２４ａ、２５ａ、２６ａそれぞれが移動したと考えられる領域を推定する。すなわち、追跡部３は、追跡領域２２ａ、２３ａ、２４ａ、２５ａ、２６ａそれぞれの移動先となる領域２２ｂ、２３ｂ、２４ｂ、２５ｂ、２６ｂを追跡する。
このように、本実施の形態においては、距離画像を用いて追跡領域を設定し、設定した追跡領域の移動先となる領域を推定することで、撮像した対象物の追跡を精度よく行うことができる。
また、本実施の形態においては、追跡領域それぞれを用いることで、対象物の位置と向きを推定できる。更に、本実施の形態においては、追跡領域の一部がオクルージョン、ノイズにより設定できない場合でも、残りの追跡領域を用いることで、対象物の位置と向きを推定できる。
［システム構成］
続いて、図３を用いて、本実施の形態における追跡装置１の構成をより具体的に説明する。図３は、追跡装置１を有するシステムの一例を示す図である。
続いて、図３を用いて、本実施の形態における追跡装置１の構成をより具体的に説明する。図３は、追跡装置１を有するシステムの一例を示す図である。
図３に示すように、本実施の形態におけるシステム３０は、追跡装置１に加えて、撮像装置３１、出力装置３２を有する。また、追跡装置１は、設定部２、追跡部３に加え、推定部４、入力処理部３３、出力処理部３４を有する。設定部２は、部位識別器３５、領域設定部３６を有する。追跡部３は、基準特徴量抽出部３７、周辺領域設定部３８、領域検出部３９を有する。
撮像装置３１は、距離画像を生成する装置である。撮像装置３１は、例えば、ＴＯＦ（Time of Flight）カメラなどである。
出力装置３２は、出力処理部３４により出力可能な形式に変換された、後述する出力情報を取得し、その出力情報に基づいて、生成した画像及び音声などを出力する。出力装置２２は、例えば、液晶、有機ＥＬ（Electro Luminescence）、ＣＲＴ（Cathode Ray Tube）を用いた画像表示装置などである。更に、画像表示装置は、スピーカなどの音声出力装置などを備えていてもよい。なお、出力装置２２は、プリンタなどの印刷装置でもよい。
追跡装置について具体的に説明する。
入力処理部３３は、撮像装置３１から距離画像を取得して、取得した距離画像を三次元情報に変換し、設定部２へ出力する。三次元情報は、対象物の表面の座標を表す情報で、例えば、３Ｄ（Three Dimensions）点群などである。
入力処理部３３は、撮像装置３１から距離画像を取得して、取得した距離画像を三次元情報に変換し、設定部２へ出力する。三次元情報は、対象物の表面の座標を表す情報で、例えば、３Ｄ（Three Dimensions）点群などである。
設定部２は、運用時において、オクルージョン、ノイズなどが発生していない時間（正常時）に撮像した基準となる距離画像（第一の距離画像）に基づいて生成された三次元情報を用いて、撮像された所定部位の画像それぞれに対して三次元の追跡領域を設定する。具体的には、設定部２が有する部位識別器３５は、運用時において、まず、基準となるデータを入力とし、部位の領域を推定する。続いて、設定部２が有する領域設定部３６は、推定した所定部位の領域それぞれに対して、推定した所定部位の領域の一部又は全体を含む三次元の追跡領域を設定する。
設定部２の詳細について説明する。
部位識別器３５は、所定部位を推定するために用いる学習モデルである。具体的には、部位識別器３５は、学習時において、あらかじめ用意した複数の距離画像を用いて抽出した所定部位の特徴量を入力とし、機械学習をさせる。
部位識別器３５は、所定部位を推定するために用いる学習モデルである。具体的には、部位識別器３５は、学習時において、あらかじめ用意した複数の距離画像を用いて抽出した所定部位の特徴量を入力とし、機械学習をさせる。
例えば、所定部位が耳、鼻、頭頂部、顎である場合、部位識別器３５は、耳、鼻、頭頂部、顎に対応する領域を推定するために用いる学習モデルである。機械学習の方式としては、例えば、ニューラルネットワーク、線形判別分析法（Linear Discriminant Analysis：ＬＤＡ）、サポートベクトルマシン（Support Vector Machine：ＳＶＭ）、ブースティング、ランダムフォレスト（Random Forests：ＲＦｓ）などがあげられる。なお、ブースティングとしては、例えば、AdaBoost（Adaptive Boosting）、又はReal AdaBoostなどがあげられる。なお、所定部位ごとに識別器を用意してもよい。
また、部位識別器３５は、上述したように、直接、所定部位を推定してもよいが、最初に、頭部の領域を推定し、その後、推定した頭部の領域を用いて、耳、鼻、頭頂部、顎を推定してもよい。
領域設定部３６は、推定した所定部位の領域の一部又は全体を含むように追跡領域を設定する。追跡領域は、例えば、図２に示した追跡領域２２ａから２６ａのような直方体、又は立方体などの形状をした三次元領域などである。なお、追跡領域の形状は、直方体、立方体に限定されるものでなく、三次元形状であればよい。
追跡部３は、追跡領域の移動先となる領域を追跡する。具体的には、追跡部３が有する基準特徴量抽出部３７は、まず、基準となる距離画像（第一の距離画像）に基づいて設定部２により設定された追跡領域それぞれについて、特徴量を抽出する。
続いて、追跡部３が有する周辺領域設定部３８は、基準となる距離画像が撮像された後に撮像された距離画像（第二の距離画像）に、基準となる距離画像に設定された追跡領域に基づいて、周辺領域を設定する。
続いて、追跡部３が有する領域検出部３９は、周辺領域それぞれについて、特徴量を算出する。続いて、領域検出部３９は、追跡領域の特徴量と、追跡領域に対応する周辺領域の特徴量とを比較し、比較した結果に基づいて追跡領域の移動先となる領域を検出し、検出した周辺領域を新たな追跡領域とする。
追跡部３の詳細について、図４、図５を用いて説明する。
図４は、追跡を説明するための図である。図５、図６は、特徴量の抽出を説明するための図である。
図４は、追跡を説明するための図である。図５、図６は、特徴量の抽出を説明するための図である。
基準特徴量抽出部３７は、基準となる距離画像を用いて設定された追跡領域から特徴量を抽出する。具体的には、基準特徴量抽出部３７は、図４に示す時間ｔ１において、追跡領域２２ａから２６ａそれぞれの特徴量を抽出する。
基準特徴量抽出部３７は、まず、時間ｔ１において、追跡領域に複数のボクセルを設定する。例えば、図５に示すように、追跡領域に複数のボクセル５１を設定する。ボクセル５１は、例えば、一つ以上の三次元座標を有する三次元領域である。
続いて、基準特徴量抽出部３７は、ボクセル５１を順次選択し、図６に示すように、選択したボクセル５１を中心ボクセルＰとした二つの三次元領域Ｒ、Ｓを設定する。三次元
領域Ｒは、例えば、ボクセルＰを中心とした一辺がｒの立方体で、複数のボクセル５１により構成される。また、三次元領域Ｓは、例えば、ボクセルＰを中心とした一辺がｓ（＞ｒ）の立方体で、三次元領域Ｒより多くのボクセルにより構成される。また、三次元領域Ｒ、Ｓの大きさは、実験又はシミュレーションなどにより決定する。
領域Ｒは、例えば、ボクセルＰを中心とした一辺がｒの立方体で、複数のボクセル５１により構成される。また、三次元領域Ｓは、例えば、ボクセルＰを中心とした一辺がｓ（＞ｒ）の立方体で、三次元領域Ｒより多くのボクセルにより構成される。また、三次元領域Ｒ、Ｓの大きさは、実験又はシミュレーションなどにより決定する。
なお、三次元領域Ｒ、Ｓは、ボクセルＰが追跡領域に含まれる場合に算出対象とする。対して、三次元領域Ｒ、Ｓが追跡領域からはみ出ている場合には、追跡領域の外側のボクセルを使用する。なお、ボクセルは、頭部を検出したい領域全体に設定するが、その領域から三次元領域Ｒ、Ｓがはみ出る場合は、追跡領域を無効化する。
続いて、基準特徴量抽出部３７は、三次元領域Ｒ内にあるボクセル５１に対して、分散共分散行列を生成し、生成した分散共分散行列の最小固有値λｒ０を算出する。また、基準特徴量抽出部３７は、三次元領域Ｓ内にあるボクセル５１に対して、分散共分散行列を生成し、生成した分散共分散行列の最小固有値λｓ０を算出する。
続いて、基準特徴量抽出部３７は、最小固有値λｒ０、λｓ０の単位ベクトル、すなわち三次元領域Ｒ、Ｓそれぞれについて法線ベクトルＮｒ、Ｎｓを算出する。続いて、基準特徴量抽出部３７は、法線ベクトルＮｒ、Ｎｓの内積を算出する。なお、内積を算出することにより、回転に対して不変とすることができる。また、内積を算出することにより、計算量（ベクトルの次元数）を減らすことができる。
続いて、基準特徴量抽出部３７は、追跡領域に含まれる他のボクセル５１を選択して、上述したように選択したボクセル５１に対して内積を算出する。例えば、基準特徴量抽出部３７は、追跡領域内のボクセル５１の一部又は全てに対して、内積を算出する。
続いて、基準特徴量抽出部３７は、算出した複数の内積を用いて特徴量を算出する。具体的には、基準特徴量抽出部３７は、図４に示す時間ｔ１において、追跡領域２２ａから２６ａそれぞれの特徴量を抽出する。特徴量は、例えば、ボクセル５１ごとに算出した内積の頻度分布などである。図７は、追跡領域ごとの頻度分布（ヒストグラム）を示す図である。なお、頻度分布をボクセル数で正規化して、特徴量としてもよい。
周辺領域設定部３８は、基準となる距離画像が撮像された後に撮像された距離画像を用いて、追跡領域それぞれに対応する位置に周辺領域を設定する。具体的には、周辺領域設定部３８は、図４に示す時間ｔ２において、基準となる距離画像が撮像された後に撮像された距離画像に、追跡領域２２ａに対応する位置に周辺領域４２を設定し、追跡領域２３ａに対応する位置に周辺領域４３を設定し、追跡領域２４ｃに対応する位置に周辺領域４４を設定し、追跡領域２５ａに対応する位置に周辺領域４５を設定し、追跡領域２６ａに対応する位置に周辺領域４６を設定する。
なお、周辺領域４６の大きさは、例えば、フレーム間の経過時間を元に、静止状態から想定する最大の速度で移動した場合の移動距離とする。なお、単位はボクセルとする。また、周辺領域４６の中心位置は、例えば、追跡中の対象物が移動中の場合、前々回、前回における顔位置から移動ベクトルを算出し、前回の顔位置に加算した位置を中心とする。
領域検出部３９は、周辺領域を用いて移動先となる領域を検出する。具体的には、領域検出部３９は、図４に示す時間ｔ３において、周辺領域４２、４３、４４、４５、４６それぞれから移動先となる領域４２′、４３′、４４′、４５′、４６′を検出する。
領域検出部３９は、まず、時間ｔ３において、上述したボクセル５１を設定したように、周辺領域に複数のボクセルを設定する。続いて、領域検出部３９は、設定したボクセル
５１を順次選択し、図６に示すように、選択したボクセルを中心ボクセルＰとした二つの三次元領域Ｒ、Ｓを設定する。続いて、領域検出部３９は、三次元領域Ｒ内にあるボクセル５１に対して、分散共分散行列を生成し、生成した分散共分散行列の最小固有値λｒ０を算出する。また、領域検出部３９は、三次元領域Ｓ内にあるボクセル５１に対して、分散共分散行列を生成し、生成した分散共分散行列の最小固有値λｓ０を算出する。
５１を順次選択し、図６に示すように、選択したボクセルを中心ボクセルＰとした二つの三次元領域Ｒ、Ｓを設定する。続いて、領域検出部３９は、三次元領域Ｒ内にあるボクセル５１に対して、分散共分散行列を生成し、生成した分散共分散行列の最小固有値λｒ０を算出する。また、領域検出部３９は、三次元領域Ｓ内にあるボクセル５１に対して、分散共分散行列を生成し、生成した分散共分散行列の最小固有値λｓ０を算出する。
続いて、領域検出部３９は、最小固有値λｒ０、λｓ０の単位ベクトル、すなわち三次元領域Ｒ、Ｓそれぞれについて法線ベクトルＮｒ、Ｎｓを算出する。続いて、領域検出部３９は、法線ベクトルＮｒ、Ｎｓの内積を算出する。
続いて、領域検出部３９は、周辺領域に含まれる他のボクセル５１を選択して、上述したように選択したボクセル５１に対して内積を算出する。例えば、領域検出部３９は、周辺領域内のボクセル５１の一部又は全てに対して、内積を算出する。
続いて、領域検出部３９は、時間ｔ３において、周辺領域内に、追跡領域と同じ大きさの複数の領域を設定して、設定した領域ごとに、設定した領域に含まれる複数の内積を用いて特徴量を算出する。特徴量は、例えば、設定した領域内のボクセル５１ごとの内積の頻度分布などである。なお、頻度分布をボクセル数で正規化して、特徴量としてもよい。
続いて、領域検出部３９は、基準特徴量抽出部３７で抽出した特徴量と、領域検出部３９で抽出した複数の特徴量（設定した領域それぞれの特徴量）とを比較する。領域検出部３９は、領域検出部３９で抽出した複数の特徴量のうち、基準特徴量抽出部３７を用いて抽出した特徴量に最も類似している特徴量に対応する設定した領域を検出する。なお、類似度は、例えば、カイ二乗検定、ヒストグラムインタセクション、バタチャリヤ距離などを用いる。
続いて、領域検出部３９は、時間ｔ４において、検出した領域４２′、４３′、４４′、４５′、４６′それぞれを、新たな追跡領域２２ｂ、２３ｂ、２４ｂ、２５ｂ、２６ｂに設定する。
推定部４は、時系列に撮像した二つの距離画像（第二の画像）それぞれの追跡領域を用いて、対象物の位置と向きを推定する。具体的には、推定部４は、時系列に撮像した二つの距離画像を用いて、対応する追跡領域間の移動ベクトルを算出し、算出した移動ベクトルに基づいて、対象物の位置を推定する。また、推定部４は、時系列に撮像した二つの距離画像それぞれにおいて、対象物の位置と追跡領域とを結ぶベクトルを算出し、算出した二つのベクトルがなす角度に基づいて、対象物の向きを推定する。
推定部４の詳細について説明する。
対象物を追跡する場合、オクルージョン、ノイズなどの発生により、対象物の位置又は向き又はその両方を推定できなくことがある。その理由は、従来の方法においては、対象物が頭部である場合、頭部に対応する領域を推定し、推定した頭部領域だけを用いて、頭部の位置又は向き又はその両方を推定しているからである。そのため、オクルージョン、ノイズの発生により頭部が推定できない場合、頭部の位置又は向き又はその両方を推定できなくなる。
対象物を追跡する場合、オクルージョン、ノイズなどの発生により、対象物の位置又は向き又はその両方を推定できなくことがある。その理由は、従来の方法においては、対象物が頭部である場合、頭部に対応する領域を推定し、推定した頭部領域だけを用いて、頭部の位置又は向き又はその両方を推定しているからである。そのため、オクルージョン、ノイズの発生により頭部が推定できない場合、頭部の位置又は向き又はその両方を推定できなくなる。
しかし、本実施の形態における推定部４においては、オクルージョン、ノイズなどが発生した場合でも、上述したように、撮像した対象物に含まれる所定部位それぞれに追跡領域を設定するので、所定部位のいずれかに対して移動先となる領域が設定できなくても、有効な領域の位置を用いることで、頭部の位置を推定できる。
位置推定について、図８を用いて具体的に説明をする。
図８は、対象物の位置の推定を説明するための図である。推定部４は、図８に示すように領域２５ｂが無効である場合、すなわちオクルージョン、ノイズなどの影響により領域２５ｂが推定できなかった場合、追跡領域２２ａ、２３ａ、２４ａ、２５ａ、２６ａと、有効な領域２２ｂ、２３ｂ、２４ｂ、２６ｂとを用いて、頭部位置７１ｂを推定する。
図８は、対象物の位置の推定を説明するための図である。推定部４は、図８に示すように領域２５ｂが無効である場合、すなわちオクルージョン、ノイズなどの影響により領域２５ｂが推定できなかった場合、追跡領域２２ａ、２３ａ、２４ａ、２５ａ、２６ａと、有効な領域２２ｂ、２３ｂ、２４ｂ、２６ｂとを用いて、頭部位置７１ｂを推定する。
なお、本実施の形態においては、頭部位置７１ａ、７１ｂは、図８に示す立体に含まれる三次元座標、又は三次元領域とする。ただし、頭部位置７１ａ、７１ｂは、立体の外部に頭部位置を設定してもよい。
推定部４は、まず、追跡領域２２ａ、２２ｂそれぞれに含まれる三次元座標を用いて追跡領域２２ａ、２２ｂ間の移動ベクトルと、追跡領域２３ａ、２３ｂそれぞれに含まれる三次元座標を用いて追跡領域２３ａ、２３ｂ間の移動ベクトルと、追跡領域２４ａ、２４ｂそれぞれに含まれる三次元座標を用いて追跡領域２４ａ、２４ｂ間の移動ベクトルと、追跡領域２６ａ、２６ｂそれぞれに含まれる三次元座標を用いて追跡領域２６ａ、２６ｂ間の移動ベクトルとを算出する。
続いて、推定部４は、算出した移動ベクトルの平均ベクトルを算出する。続いて、推定部４は、頭部位置７１ａに含まれる三次元座標に平均ベクトルを加算して、頭部位置７１ｂを推定する。
向き推定について、図９を用いて具体的に説明をする。
図９は、対象物の向きの推定を説明するための図である。また、図９は、水平軸に対する頭部の向き（左右方向の頭部の向き）の推定を説明するための図である。そのため、図９には、頭頂部、顎に設定された追跡領域が示されていない。逆に、垂直軸に対する頭部の向き（上下方向の頭部の向き）を推定する場合には、鼻、頭頂部、顎を用いて、垂直軸に対する頭部の向きを推定する。
図９は、対象物の向きの推定を説明するための図である。また、図９は、水平軸に対する頭部の向き（左右方向の頭部の向き）の推定を説明するための図である。そのため、図９には、頭頂部、顎に設定された追跡領域が示されていない。逆に、垂直軸に対する頭部の向き（上下方向の頭部の向き）を推定する場合には、鼻、頭頂部、顎を用いて、垂直軸に対する頭部の向きを推定する。
なお、図９のＡは、二つの距離画像において、すべての追跡領域が有効である場合を示している。図９のＢは、二つの距離画像において、鼻に対応する追跡領域が無効である場合を示している。なお、図９においては、前回撮像した距離画像に対応するものは破線を用いて表し、今回撮像した距離画像に対応するものは実線を用いて表す。
頭部の向きを推定する際に、鼻に対応する追跡領域が有効である場合（図９のＡの場合）、推定部４は、まず、前回において推定した頭部位置８１ａと前回の鼻に対応する追跡領域２２ａに含まれる三次元座標とを結ぶベクトル８２ａを算出する。続いて、推定部４は、今回において推定した頭部位置８１ｂと今回の鼻に対応する追跡領域２２ｂに含まれる三次元座標とを結ぶベクトル８２ｂを算出する。続いて、推定部４は、二つのベクトル８２ａ、８２ｂがなす角θ１を算出する。
続いて、推定部４は、算出した角θ１と、前回算出したベクトル８２ａと水平軸とがなす角θａとを用いて、今回算出したベクトル８２ｂと水平軸とがなす角θｂを算出し、水平軸に対する頭部の向きとする。
次に、頭部の向きを推定する際に、鼻に対応する追跡領域が無効である場合（図９のＢの場合）、推定部４は、まず、前回において推定した頭部位置８１ａと前回の右耳に対応する追跡領域２４ａに含まれる三次元座標とを結ぶベクトル８３ａを算出する。続いて、推定部４は、今回において推定した頭部位置８１ｂと今回の右耳に対応する追跡領域２４ｂに含まれる三次元座標とを結ぶベクトル８４ｂを算出する。続いて、推定部４は、二つのベクトル８３ａ、８４ｂがなす角θ１を算出する。
又は、推定部４は、前回において推定した頭部位置８１ａと前回の左耳に対応する追跡領域２５ａに含まれる三次元座標とを結ぶベクトル８５ａを算出する。続いて、推定部４は、今回において推定した頭部位置８１ｂと今回の左耳に対応する追跡領域２５ｂに含まれる三次元座標とを結ぶベクトル８６ｂを算出する。続いて、推定部４は、二つのベクトル８５ａ、８６ｂがなす角θ１を算出する。
続いて、推定部４は、算出した角θ１と、前回算出したベクトル８２ａと水平軸とがなす角θａとを用いて、今回算出したベクトル８２ｂと水平軸とがなす角θｂを算出し、水平軸に対する頭部の向きとする。
なお、角θ１を算出する場合、ベクトル８３ａ、８４ｂを用いて算出した角と、ベクトル８５ａ、８６ｂを用いて算出した角との平均を用いて、角θ１としてもよい。
また、垂直軸に対する頭部の向きについては、推定部４は、鼻、頭頂部、顎に対応する追跡領域を用いて、垂直軸に対する頭部の向きを算出する。
更に、推定部４は、有効な追跡領域がない場合には、前回の頭部の向きを維持する。
出力処理部３４は、推定した対象物の位置、向きなどを、出力装置３２に出力するための出力情報に変換して、出力装置３２へ出力する。具体的には、出力処理部３４は、推定部４から頭部の位置、頭部の向きを表す情報を取得し、取得した情報を変換して出力情報を生成して、生成した出力情報を出力装置３２へ出力する。
［装置動作］
次に、本発明の実施の形態における追跡装置の動作について図１０を用いて説明する。図１０は、追跡装置の動作の一例を示す図である。以下の説明においては、適宜図２から図９を参照する。また、本実施の形態では、追跡装置を動作させることによって、追跡方法が実施される。よって、本実施の形態における追跡方法の説明は、以下の追跡装置の動作説明に代える。
次に、本発明の実施の形態における追跡装置の動作について図１０を用いて説明する。図１０は、追跡装置の動作の一例を示す図である。以下の説明においては、適宜図２から図９を参照する。また、本実施の形態では、追跡装置を動作させることによって、追跡方法が実施される。よって、本実施の形態における追跡方法の説明は、以下の追跡装置の動作説明に代える。
図１０に示すように、最初に、入力処理部３３は、撮像装置３１から距離画像を取得して、取得した距離画像を三次元情報に変換し、設定部２へ出力する（ステップＡ１）。
続いて、設定部２は、運用時において、オクルージョンが発生していない時間に撮像した基準となる距離画像（第一の距離画像）に基づいて生成した三次元情報を用いて、撮像された所定部位の画像それぞれに対して三次元の追跡領域を設定する（ステップＡ２）。
具体的には、ステップＡ２において、設定部２が有する部位識別器３５は、運用時において、まず、基準となる３Ｄ点群を入力とし、部位識別器３５を適用して、人体部位の領域を推定する。なお、部位識別器３５は、所定部位を推定するために用いる学習モデルである。具体的には、部位識別器３５は、学習時において、あらかじめ用意した複数の距離画像を用いて抽出した所定部位の特徴量を入力とし、機械学習により生成された学習モデルである。
続いて、ステップＡ２において、設定部２が有する領域設定部３６は、推定した所定部位の領域それぞれに対して、推定した所定部位の領域の一部又は全体を含む三次元の追跡領域を設定する。なお、領域設定部３６は、推定した所定部位の領域の一部又は全体を含むように追跡領域を設定する。
追跡部３は、追跡領域の移動先となる領域を追跡する（ステップＡ３）。具体的には、ステップＡ３において、追跡部３が有する基準特徴量抽出部３７は、まず、基準となる距離画像（第一の距離画像）に基づいて設定部２により設定された追跡領域それぞれについて、特徴量を抽出する。例えば、基準特徴量抽出部３７は、図４に示す時間ｔ１において、追跡領域２２ａから２６ａそれぞれの特徴量を抽出する。
続いて、ステップＳＡ３において、追跡部３が有する周辺領域設定部３８は、基準となる距離画像が撮像された後に撮像された距離画像（第二の距離画像）を取得し、基準となる距離画像に設定された追跡領域に基づいて、取得した距離画像（第二の距離画像）に周辺領域を設定する。
例えば、周辺領域設定部３８は、図４に示す時間ｔ２において、基準となる距離画像が撮像された後に撮像された距離画像に、追跡領域２２ａに対応する位置に周辺領域４２を設定し、追跡領域２３ａに対応する位置に周辺領域４３を設定し、追跡領域２４ｃに対応する位置に周辺領域４４を設定し、追跡領域２５ａに対応する位置に周辺領域４５を設定し、追跡領域２６ａに対応する位置に周辺領域４６を設定する。
続いて、ステップＡ３において、追跡部３が有する領域検出部３９は、周辺領域それぞれについて、特徴量を算出する。続いて、領域検出部３９は、追跡領域の特徴量と、追跡領域に対応する周辺領域の特徴量とを比較し、比較した結果に基づいて追跡領域の移動先となる領域を検出し、検出した周辺領域を新たな追跡領域とする。
例えば、領域検出部３９は、図４に示す時間ｔ３において、周辺領域４２、４３、４４、４５、４６それぞれから移動先となる領域４２′、４３′、４４′、４５′、４６′を検出する。その後、領域検出部３９は、時間ｔ４において、検出した領域４２′、４３′、４４′、４５′、４６′それぞれを、新たな追跡領域２２ｂ、２３ｂ、２４ｂ、２５ｂ、２６ｂに設定する。
続いて、推定部４は、時系列に撮像した二つの距離画像（第二の画像）それぞれの追跡領域を用いて、対象物の位置と向きを推定する（ステップＡ４）。
具体的には、ステップＡ４において、推定部４は、時系列に撮像した二つの距離画像を用いて、対応する追跡領域間の移動ベクトルを算出し、算出した移動ベクトルに基づいて、対象物の位置を推定する。
また、ステップＡ４において、推定部４は、時系列に撮像した二つの距離画像それぞれにおいて、対象物の位置と追跡領域とを結ぶベクトルを算出し、算出した二つのベクトルがなす角度に基づいて、対象物の向きを推定する。
出力処理部３４は、推定した対象物の位置、向きなどを、出力装置３２に出力するための出力情報に変換して、出力装置３２へ出力する（ステップＡ５）。具体的には、ステップＡ５において、出力処理部３４は、推定部４から頭部の位置、頭部の向きを表す情報を取得し、取得した情報を変換して出力情報を生成して、生成した出力情報を出力装置３２へ出力する。
続いて、追跡装置１は、上述したステップＡ１からＡ５に示した追跡処理、推定処理を終了する指示を取得した場合、追跡処理、推定処理を終了する（ステップＡ６：Ｙｅｓ）。また、追跡処理、推定処理を継続する場合（ステップＡ６：Ｎｏ）、ステップＡ３に移行して、追跡処理、推定処理を継続する。
［本実施の形態の効果］
以上のように本実施の形態によれば、距離画像を用いて追跡領域を設定し、設定した追跡領域の移動先を推定することで、撮像した対象物の追跡を精度よく行うことができる。
以上のように本実施の形態によれば、距離画像を用いて追跡領域を設定し、設定した追跡領域の移動先を推定することで、撮像した対象物の追跡を精度よく行うことができる。
また、本実施の形態においては、追跡領域それぞれを用いることで、対象物の位置と向きを推定できる。
更に、本実施の形態においては、追跡領域の一部がオクルージョン、ノイズなどにより設定できない場合でも、残りの追跡領域を用いることで、対象物の位置と向きを推定できる。
［プログラム］
本発明の実施の形態におけるプログラムは、コンピュータに、図１０に示すステップＡ１からＡ６を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における追跡装置と追跡方法とを実現することができる。この場合、コンピュータのプロセッサは、入力処理部３３、設定部２（部位識別器３５、領域設定部３６）、追跡部３（基準特徴量抽出部３７、周辺領域設定部３８、領域検出部３９）、推定部４、出力処理部３４として機能し、処理を行なう。
本発明の実施の形態におけるプログラムは、コンピュータに、図１０に示すステップＡ１からＡ６を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における追跡装置と追跡方法とを実現することができる。この場合、コンピュータのプロセッサは、入力処理部３３、設定部２（部位識別器３５、領域設定部３６）、追跡部３（基準特徴量抽出部３７、周辺領域設定部３８、領域検出部３９）、推定部４、出力処理部３４として機能し、処理を行なう。
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、入力処理部３３、設定部２（部位識別器３５、領域設定部３６）、追跡部３（基準特徴量抽出部３７、周辺領域設定部３８、領域検出部３９）、推定部４、出力処理部３４のいずれかとして機能してもよい。
［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、追跡装置を実現するコンピュータについて図１１を用いて説明する。図１１は、本発明の実施の形態における追跡装置を実現するコンピュータの一例を示すブロック図である。
ここで、実施の形態におけるプログラムを実行することによって、追跡装置を実現するコンピュータについて図１１を用いて説明する。図１１は、本発明の実施の形態における追跡装置を実現するコンピュータの一例を示すブロック図である。
図１１に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていてもよい。
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）などの汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。
［付記］
以上の実施の形態に関し、更に以下の付記を開示する。上述した実施の形態の一部又は全部は、以下に記載する（付記１）から（付記１５）により表現することができるが、以下の記載に限定されるものではない。
以上の実施の形態に関し、更に以下の付記を開示する。上述した実施の形態の一部又は全部は、以下に記載する（付記１）から（付記１５）により表現することができるが、以下の記載に限定されるものではない。
（付記１）
距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、設定部と、
前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、追跡部と、
を有することを特徴とする追跡装置。
距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、設定部と、
前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、追跡部と、
を有することを特徴とする追跡装置。
（付記２）
付記１に記載の追跡装置であって、
時系列に撮像した二つの前記第二の画像それぞれの前記追跡領域を用いて、前記対象物の位置と向きを推定する、推定部を有する
ことを特徴とする追跡装置。
付記１に記載の追跡装置であって、
時系列に撮像した二つの前記第二の画像それぞれの前記追跡領域を用いて、前記対象物の位置と向きを推定する、推定部を有する
ことを特徴とする追跡装置。
（付記３）
付記２に記載の追跡装置であって、
前記推定部は、二つの前記第二の画像を用いて、対応する前記追跡領域間の移動ベクトルを算出し、算出した前記移動ベクトルに基づいて、前記対象物の位置を推定する
ことを特徴とする追跡装置。
付記２に記載の追跡装置であって、
前記推定部は、二つの前記第二の画像を用いて、対応する前記追跡領域間の移動ベクトルを算出し、算出した前記移動ベクトルに基づいて、前記対象物の位置を推定する
ことを特徴とする追跡装置。
（付記４）
付記２又は３に記載の追跡装置であって、
前記推定部は、二つの前記第二の画像それぞれにおいて、前記対象物の位置から前記追跡領域へのベクトルを算出し、算出した二つの前記ベクトルがなす角度に基づいて、前記対象物の向きを推定する
ことを特徴とする追跡装置。
付記２又は３に記載の追跡装置であって、
前記推定部は、二つの前記第二の画像それぞれにおいて、前記対象物の位置から前記追跡領域へのベクトルを算出し、算出した二つの前記ベクトルがなす角度に基づいて、前記対象物の向きを推定する
ことを特徴とする追跡装置。
（付記５）
付記１から４のいずれか一つに記載の追跡装置であって、
前記対象物が頭部である場合、鼻、右耳、左耳、頭頂部、顎のうち一つ以上に対して前記追跡領域を設定する
ことを特徴とする追跡装置。
付記１から４のいずれか一つに記載の追跡装置であって、
前記対象物が頭部である場合、鼻、右耳、左耳、頭頂部、顎のうち一つ以上に対して前記追跡領域を設定する
ことを特徴とする追跡装置。
（付記６）
（ａ）距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像され
た対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、ステップと、
（ｂ）前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、ステップと、
を有することを特徴とする追跡方法。
（ａ）距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像され
た対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、ステップと、
（ｂ）前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、ステップと、
を有することを特徴とする追跡方法。
（付記７）
付記６に記載の追跡方法であって、
（ｃ）時系列に撮像した二つの前記第二の画像それぞれの前記追跡領域を用いて、前記対象物の位置と向きを推定する、ステップを有する
ことを特徴とする追跡方法。
付記６に記載の追跡方法であって、
（ｃ）時系列に撮像した二つの前記第二の画像それぞれの前記追跡領域を用いて、前記対象物の位置と向きを推定する、ステップを有する
ことを特徴とする追跡方法。
（付記８）
付記７に記載の追跡方法であって、
前記（ｃ）のステップにおいて、二つの前記第二の画像を用いて、対応する前記追跡領域間の移動ベクトルを算出し、算出した前記移動ベクトルに基づいて、前記対象物の位置を推定する
ことを特徴とする追跡方法。
付記７に記載の追跡方法であって、
前記（ｃ）のステップにおいて、二つの前記第二の画像を用いて、対応する前記追跡領域間の移動ベクトルを算出し、算出した前記移動ベクトルに基づいて、前記対象物の位置を推定する
ことを特徴とする追跡方法。
（付記９）
付記７又は８に記載の追跡方法であって、
前記（ｃ）のステップにおいて、二つの前記第二の画像それぞれにおいて、前記対象物の位置から前記追跡領域へのベクトルを算出し、算出した二つの前記ベクトルがなす角度に基づいて、前記対象物の向きを推定する
ことを特徴とする追跡方法。
付記７又は８に記載の追跡方法であって、
前記（ｃ）のステップにおいて、二つの前記第二の画像それぞれにおいて、前記対象物の位置から前記追跡領域へのベクトルを算出し、算出した二つの前記ベクトルがなす角度に基づいて、前記対象物の向きを推定する
ことを特徴とする追跡方法。
（付記１０）
付記６から９のいずれか一つに記載の追跡方法であって、
前記対象物が頭部である場合、鼻、右耳、左耳、頭頂部、顎のうち一つ以上に対して前記追跡領域を設定する
ことを特徴とする追跡方法。
付記６から９のいずれか一つに記載の追跡方法であって、
前記対象物が頭部である場合、鼻、右耳、左耳、頭頂部、顎のうち一つ以上に対して前記追跡領域を設定する
ことを特徴とする追跡方法。
（付記１１）
コンピュータに、
（ａ）距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、ステップと、
（ｂ）前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、ステップと、
を実行させることを特徴とするプログラム。
コンピュータに、
（ａ）距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、ステップと、
（ｂ）前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、ステップと、
を実行させることを特徴とするプログラム。
（付記１２）
付記１１に記載のプログラムであって、
前記コンピュータに、
（ｃ）時系列に撮像した二つの前記第二の画像それぞれの前記追跡領域を用いて、前記対象物の位置と向きを推定する、ステップを実行させる
ことを特徴とするプログラム。
付記１１に記載のプログラムであって、
前記コンピュータに、
（ｃ）時系列に撮像した二つの前記第二の画像それぞれの前記追跡領域を用いて、前記対象物の位置と向きを推定する、ステップを実行させる
ことを特徴とするプログラム。
（付記１３）
付記１２に記載のプログラムであって、
前記（ｃ）のステップにおいて、二つの前記第二の画像を用いて、対応する前記追跡領域間の移動ベクトルを算出し、算出した前記移動ベクトルに基づいて、前記対象物の位置を推定する
ことを特徴とするプログラム。
付記１２に記載のプログラムであって、
前記（ｃ）のステップにおいて、二つの前記第二の画像を用いて、対応する前記追跡領域間の移動ベクトルを算出し、算出した前記移動ベクトルに基づいて、前記対象物の位置を推定する
ことを特徴とするプログラム。
（付記１４）
付記１２又は１３に記載のプログラムであって、
前記（ｃ）のステップにおいて、二つの前記第二の画像それぞれにおいて、前記対象物の位置から前記追跡領域へのベクトルを算出し、算出した二つの前記ベクトルがなす角度に基づいて、前記対象物の向きを推定する
ことを特徴とするプログラム。
付記１２又は１３に記載のプログラムであって、
前記（ｃ）のステップにおいて、二つの前記第二の画像それぞれにおいて、前記対象物の位置から前記追跡領域へのベクトルを算出し、算出した二つの前記ベクトルがなす角度に基づいて、前記対象物の向きを推定する
ことを特徴とするプログラム。
（付記１５）
付記１１から１４のいずれか一つに記載のプログラムであって、
前記対象物が頭部である場合、鼻、右耳、左耳、頭頂部、顎のうち一つ以上に対して前記追跡領域を設定する
ことを特徴とするプログラム。
付記１１から１４のいずれか一つに記載のプログラムであって、
前記対象物が頭部である場合、鼻、右耳、左耳、頭頂部、顎のうち一つ以上に対して前記追跡領域を設定する
ことを特徴とするプログラム。
以上のように本発明によれば、対象物の追跡を精度よく行うことができる。本発明は、対象物の追跡、対象物の位置、向きの推定が必要な分野において有用である。
１ 追跡装置
２ 設定部
３ 追跡部
４ 推定部
３０ システム
３１ 撮像装置
３２ 出力装置
３３ 入力処理部
３４ 出力処理部
３５ 部位識別器
３６ 領域設定部
３７ 基準特徴量抽出部
３８ 周辺領域設定部
３９ 領域検出部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
２ 設定部
３ 追跡部
４ 推定部
３０ システム
３１ 撮像装置
３２ 出力装置
３３ 入力処理部
３４ 出力処理部
３５ 部位識別器
３６ 領域設定部
３７ 基準特徴量抽出部
３８ 周辺領域設定部
３９ 領域検出部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
Claims (15)
- 距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、設定部と、
前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、追跡部と、
を有することを特徴とする追跡装置。 - 請求項１に記載の追跡装置であって、
時系列に撮像した二つの前記第二の画像それぞれの前記追跡領域を用いて、前記対象物の位置と向きを推定する、推定部を有する
ことを特徴とする追跡装置。 - 請求項２に記載の追跡装置であって、
前記推定部は、二つの前記第二の画像を用いて、対応する前記追跡領域間の移動ベクトルを算出し、算出した前記移動ベクトルに基づいて、前記対象物の位置を推定する
ことを特徴とする追跡装置。 - 請求項２又は３に記載の追跡装置であって、
前記推定部は、二つの前記第二の画像それぞれにおいて、推定した前記対象物の位置から前記追跡領域へのベクトルを算出し、算出した二つの前記ベクトルがなす角度に基づいて、前記対象物の向きを推定する
ことを特徴とする追跡装置。 - 請求項１から４のいずれか一つに記載の追跡装置であって、
前記対象物が頭部である場合、鼻、右耳、左耳、頭頂部、顎のうち一つ以上に対して前記追跡領域を設定する
ことを特徴とする追跡装置。 - （ａ）距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、ステップと、
（ｂ）前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、ステップと、
を有することを特徴とする追跡方法。 - 請求項６に記載の追跡方法であって、
（ｃ）時系列に撮像した二つの前記第二の画像それぞれの前記追跡領域を用いて、前記対象物の位置と向きを推定する、ステップを有する
ことを特徴とする追跡方法。 - 請求項７に記載の追跡方法であって、
前記（ｃ）のステップにおいて、二つの前記第二の画像を用いて、対応する前記追跡領域間の移動ベクトルを算出し、算出した前記移動ベクトルに基づいて、前記対象物の位置を推定する
ことを特徴とする追跡方法。 - 請求項７又は８に記載の追跡方法であって、
前記（ｃ）のステップにおいて、二つの前記第二の画像それぞれにおいて、推定した前記対象物の位置から前記追跡領域へのベクトルを算出し、算出した二つの前記ベクトルが
なす角度に基づいて、前記対象物の向きを推定する
ことを特徴とする追跡方法。 - 請求項６から９のいずれか一つに記載の追跡方法であって、
前記対象物が頭部である場合、鼻、右耳、左耳、頭頂部、顎のうち一つ以上に対して前記追跡領域を設定する
ことを特徴とする追跡方法。 - コンピュータに、
（ａ）距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、ステップと、
（ｂ）前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、ステップと、
を実行させることを特徴とするプログラム。 - 請求項１１に記載のプログラムであって、
前記コンピュータに、
（ｃ）時系列に撮像した二つの前記第二の画像それぞれの前記追跡領域を用いて、前記対象物の位置と向きを推定する、ステップを実行させる
ことを特徴とするプログラム。 - 請求項１２に記載のプログラムであって、
前記（ｃ）のステップにおいて、二つの前記第二の画像を用いて、対応する前記追跡領域間の移動ベクトルを算出し、算出した前記移動ベクトルに基づいて、前記対象物の位置を推定する
ことを特徴とするプログラム。 - 請求項１２又は１３に記載のプログラムであって、
前記（ｃ）のステップにおいて、二つの前記第二の画像それぞれにおいて、推定した前記対象物の位置から前記追跡領域へのベクトルを算出し、算出した二つの前記ベクトルがなす角度に基づいて、前記対象物の向きを推定する
ことを特徴とするプログラム。 - 請求項１１から１４のいずれか一つに記載のプログラムであって、
前記対象物が頭部である場合、鼻、右耳、左耳、頭頂部、顎のうち一つ以上に対して前記追跡領域を設定する
ことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019024019A JP7283734B2 (ja) | 2019-02-13 | 2019-02-13 | 追跡装置、追跡方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019024019A JP7283734B2 (ja) | 2019-02-13 | 2019-02-13 | 追跡装置、追跡方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020135078A true JP2020135078A (ja) | 2020-08-31 |
| JP7283734B2 JP7283734B2 (ja) | 2023-05-30 |
Family
ID=72278618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019024019A Active JP7283734B2 (ja) | 2019-02-13 | 2019-02-13 | 追跡装置、追跡方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7283734B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7529260B2 (ja) | 2020-11-12 | 2024-08-06 | Ｎｅｃソリューションイノベータ株式会社 | 追跡装置、追跡方法、及びプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007257321A (ja) * | 2006-03-23 | 2007-10-04 | Nissan Motor Co Ltd | 顔部位追跡方法及びその装置 |
| JP2015041383A (ja) * | 2013-08-23 | 2015-03-02 | 株式会社リコー | 対象追跡方法及び対象追跡装置 |
| JP2015195020A (ja) * | 2014-03-20 | 2015-11-05 | 国立研究開発法人産業技術総合研究所 | ジェスチャ認識装置、システム及びそのプログラム |
-
2019
- 2019-02-13 JP JP2019024019A patent/JP7283734B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007257321A (ja) * | 2006-03-23 | 2007-10-04 | Nissan Motor Co Ltd | 顔部位追跡方法及びその装置 |
| JP2015041383A (ja) * | 2013-08-23 | 2015-03-02 | 株式会社リコー | 対象追跡方法及び対象追跡装置 |
| JP2015195020A (ja) * | 2014-03-20 | 2015-11-05 | 国立研究開発法人産業技術総合研究所 | ジェスチャ認識装置、システム及びそのプログラム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7529260B2 (ja) | 2020-11-12 | 2024-08-06 | Ｎｅｃソリューションイノベータ株式会社 | 追跡装置、追跡方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7283734B2 (ja) | 2023-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7101255B2 (ja) | 目標対象の運動の向きを予測するための方法、車両制御方法及び装置 | |
| US11557085B2 (en) | Neural network processing for multi-object 3D modeling | |
| US10572072B2 (en) | Depth-based touch detection | |
| TWI649675B (zh) | Display device | |
| US20230110116A1 (en) | Advanced driver assist system, method of calibrating the same, and method of detecting object in the same | |
| KR102463169B1 (ko) | 시점 추적 방법 및 장치 | |
| US10482656B2 (en) | 3D face modeling methods and apparatuses | |
| JP7064257B2 (ja) | 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体 | |
| WO2021114776A1 (en) | Object detection method, object detection device, terminal device, and medium | |
| JP2016099982A (ja) | 行動認識装置、行動学習装置、方法、及びプログラム | |
| WO2021114777A1 (en) | Target detection method, terminal device, and medium | |
| US10964046B2 (en) | Information processing apparatus and non-transitory computer readable medium storing information processing program for estimating face orientation by using an omni-directional camera | |
| CN113052907A (zh) | 一种动态环境移动机器人的定位方法 | |
| JP7283734B2 (ja) | 追跡装置、追跡方法、及びプログラム | |
| JP2021144359A (ja) | 学習装置、推定装置、学習方法、及びプログラム | |
| US11314968B2 (en) | Information processing apparatus, control method, and program | |
| JP7276968B2 (ja) | ３次元データ更新装置、顔向き推定装置、３次元データ更新方法およびプログラム | |
| JP7283735B2 (ja) | 追跡装置、追跡方法、及びプログラム | |
| KR101844367B1 (ko) | 부분 포즈 추정에 의하여 개략적인 전체 초기설정을 사용하는 머리 포즈 추정 방법 및 장치 | |
| US12112502B2 (en) | Three-dimensional map estimation apparatus and obstacle detection apparatus | |
| WO2024089855A1 (ja) | 点群移動推定装置、点群移動推定方法、及びプログラム | |
| JP7279893B2 (ja) | 顔検出装置、顔検出方法、及びプログラム | |
| Rezaei et al. | Driver Inattention Detection | |
| JP2021144358A (ja) | 学習装置、推定装置、学習方法、及びプログラム | |
| CN112711324A (zh) | 基于tof相机的手势交互方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190214 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220107 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230403 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230418 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230511 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7283734 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |