JP2000222585A - 動き検出方法および動き検出装置および動き認識方法および動き認識装置および記録媒体 - Google Patents
動き検出方法および動き検出装置および動き認識方法および動き認識装置および記録媒体Info
- Publication number
- JP2000222585A JP2000222585A JP11023939A JP2393999A JP2000222585A JP 2000222585 A JP2000222585 A JP 2000222585A JP 11023939 A JP11023939 A JP 11023939A JP 2393999 A JP2393999 A JP 2393999A JP 2000222585 A JP2000222585 A JP 2000222585A
- Authority
- JP
- Japan
- Prior art keywords
- image
- movement
- motion
- detecting
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【課題】３次元的な動きを高精度に検出できる動き検出
方法およびそれを用いた動き検出装置、動き認識装置を
提供する。 【解決手段】距離画像を取得する画像取得手段と、この
画像取得手段で取得した距離画像を所定の大きさの小領
域に分割する分割手段と、前記画像取得手段で連続して
取得した距離画像間で、類似する前記小領域毎に平面方
向の動きを検出する第１の検出手段と、前記小領域毎に
奥行き情報を算出する算出手段と、この算出手段で算出
された奥行き情報を基に類似する小領域間で奥行き方向
の動きを検出する第２の検出手段とを具備する。
方法およびそれを用いた動き検出装置、動き認識装置を
提供する。 【解決手段】距離画像を取得する画像取得手段と、この
画像取得手段で取得した距離画像を所定の大きさの小領
域に分割する分割手段と、前記画像取得手段で連続して
取得した距離画像間で、類似する前記小領域毎に平面方
向の動きを検出する第１の検出手段と、前記小領域毎に
奥行き情報を算出する算出手段と、この算出手段で算出
された奥行き情報を基に類似する小領域間で奥行き方向
の動きを検出する第２の検出手段とを具備する。
Description
【０００１】
【発明の属する技術分野】本発明は、平面方向のみなら
ず、奥行き方向の動きを検出する動き検出方法およびそ
れを用いた動き検出装置に関する。
ず、奥行き方向の動きを検出する動き検出方法およびそ
れを用いた動き検出装置に関する。
【０００２】また、本発明は、平面方向のみならず、奥
行き方向の動きを検出して、その動きを認識する動き認
識方法およびそれを用いた動き認識装置に関する。
行き方向の動きを検出して、その動きを認識する動き認
識方法およびそれを用いた動き認識装置に関する。
【０００３】
【従来の技術】従来、ビデオカメラなどの撮像装置を用
いて、認識対象物の動きを抽出しようとした場合、以下
のような方法が取られていた。
いて、認識対象物の動きを抽出しようとした場合、以下
のような方法が取られていた。
【０００４】まず１つ目は、オプティカルフローと呼ば
れる手法である。これは、特定のブロック画像に着目
し、隣り合うフレーム間で、ある着目画像領域が平面内
でどの方角に動いたかを計測し、その方向を推定するも
のである。次フレームにおける対象画像の移動方向を特
定するには、時系列的に隣り合うフレーム間で類似度を
算出する方法が代表的である。対象画像領域近傍で同じ
サイズのブロック画像を対象に前フレームにおける着目
ブロック画像との相関係数を計算し、その係数の最も高
いブロックへの方向が動きベクトルとして推定される。
れる手法である。これは、特定のブロック画像に着目
し、隣り合うフレーム間で、ある着目画像領域が平面内
でどの方角に動いたかを計測し、その方向を推定するも
のである。次フレームにおける対象画像の移動方向を特
定するには、時系列的に隣り合うフレーム間で類似度を
算出する方法が代表的である。対象画像領域近傍で同じ
サイズのブロック画像を対象に前フレームにおける着目
ブロック画像との相関係数を計算し、その係数の最も高
いブロックへの方向が動きベクトルとして推定される。
【０００５】この技術は人間の顔のトラッキングなどロ
ボットビジョンの分野では広く利用されており、相関係
数の計算はハードウェア化が容易なため、相関係数を計
算する特殊なアクセラレータボードを付加することでリ
アルタイムなトラッキングも可能となっている。この手
法は、着目ブロック画像が２次元的に大きく変化しない
場合、かなりの精度で平面方向の動き成分を抽出するこ
とが可能であるが、対象画像はビデオカメラなどで取得
した２次元画像であるため、奥行き方向を含めた３次元
的な動き情報は検出できていない。
ボットビジョンの分野では広く利用されており、相関係
数の計算はハードウェア化が容易なため、相関係数を計
算する特殊なアクセラレータボードを付加することでリ
アルタイムなトラッキングも可能となっている。この手
法は、着目ブロック画像が２次元的に大きく変化しない
場合、かなりの精度で平面方向の動き成分を抽出するこ
とが可能であるが、対象画像はビデオカメラなどで取得
した２次元画像であるため、奥行き方向を含めた３次元
的な動き情報は検出できていない。
【０００６】また、オプティカルフローの展開例とし
て、隣り合うピクセル間で差分情報をハード的に抽出す
ることで、動きベクトルを推定するセンサも登場してき
ている。リアルタイムに動き成分がとれることからゲー
ムなどのエンターテイメント分野、あるいは監視システ
ムに利用されつつある。この場合も、ピクセルレベルで
の２次元的動き情報は抽出されるが、奥行き方向の動き
情報は抽出することが不可能である。
て、隣り合うピクセル間で差分情報をハード的に抽出す
ることで、動きベクトルを推定するセンサも登場してき
ている。リアルタイムに動き成分がとれることからゲー
ムなどのエンターテイメント分野、あるいは監視システ
ムに利用されつつある。この場合も、ピクセルレベルで
の２次元的動き情報は抽出されるが、奥行き方向の動き
情報は抽出することが不可能である。
【０００７】別の手法としては、画像全体を対象とした
動きの検出以外にも、画像中の特徴点をトラッキングす
るという手法もある。たとえば、手先の動きをトラッキ
ングする場合を考えてみる。この場合、まず複数のカメ
ラから撮像した手の取得画像から、手先に相当する部分
を特徴点として定義し、その３次元位置情報を検出する
ことが必要になる。そのためには、まず各カメラで同時
期に取得された画像から特徴点（手先）を抽出し、その
スクリーン座標から３角測量の要領で特徴点の３次元的
な空間位置情報を求める。次に時系列的に求められた特
徴点の空間位置情報から、特徴点、この場合手先の３次
元的な動き情報を検出することができるわけである。し
かし、この手法では、事前に各カメラの各種パラメータ
の調整に相当するキャリブレーションを行った上で、特
徴点の抽出、対応づけといった煩雑な作業が必要であ
り、汎用的に使える手法とは言えない。
動きの検出以外にも、画像中の特徴点をトラッキングす
るという手法もある。たとえば、手先の動きをトラッキ
ングする場合を考えてみる。この場合、まず複数のカメ
ラから撮像した手の取得画像から、手先に相当する部分
を特徴点として定義し、その３次元位置情報を検出する
ことが必要になる。そのためには、まず各カメラで同時
期に取得された画像から特徴点（手先）を抽出し、その
スクリーン座標から３角測量の要領で特徴点の３次元的
な空間位置情報を求める。次に時系列的に求められた特
徴点の空間位置情報から、特徴点、この場合手先の３次
元的な動き情報を検出することができるわけである。し
かし、この手法では、事前に各カメラの各種パラメータ
の調整に相当するキャリブレーションを行った上で、特
徴点の抽出、対応づけといった煩雑な作業が必要であ
り、汎用的に使える手法とは言えない。
【０００８】また、動きを特徴づける関節などの部位に
あらかじめセンサを装着し、撮像した画像からセンサ部
位を抽出し、２次元的あるいは３次元的な動きを計測す
るモーションキャプチャと呼ばれる手法も存在する。こ
の手法では、上記で紹介した手法に比べ、特徴点の抽出
や対応づけ処理は軽くなるが、システム全体のコストが
高くつき、システムを稼動する上での制約も多い。さら
に煩わしい特定のセンサデバイスを装着する必要があ
り、とても一般ユーザが使えるものにはなっていない。
あらかじめセンサを装着し、撮像した画像からセンサ部
位を抽出し、２次元的あるいは３次元的な動きを計測す
るモーションキャプチャと呼ばれる手法も存在する。こ
の手法では、上記で紹介した手法に比べ、特徴点の抽出
や対応づけ処理は軽くなるが、システム全体のコストが
高くつき、システムを稼動する上での制約も多い。さら
に煩わしい特定のセンサデバイスを装着する必要があ
り、とても一般ユーザが使えるものにはなっていない。
【０００９】以上のように、従来方法では、画像系列か
ら奥行き情報を含む３次元的な動きの抽出を行う方法に
は様々な問題点があった。
ら奥行き情報を含む３次元的な動きの抽出を行う方法に
は様々な問題点があった。
【００１０】
【発明の解決しようとする課題】以上説明したように、
従来の手法では、ビデオカメラなどを用いて認識対象物
を２次元情報しか持たない画像として取得していたた
め、対象物の３次元的な動きの抽出を２次元情報のみか
ら行うしかなく、高精度で奥行き方向を含めた３次元的
な動きの認識を行うことは不可能であった。
従来の手法では、ビデオカメラなどを用いて認識対象物
を２次元情報しか持たない画像として取得していたた
め、対象物の３次元的な動きの抽出を２次元情報のみか
ら行うしかなく、高精度で奥行き方向を含めた３次元的
な動きの認識を行うことは不可能であった。
【００１１】そこで、本発明は、３次元的な動きを高精
度に検出できる動き検出方法およびそれを用いた動き検
出装置を提供することを目的とする。
度に検出できる動き検出方法およびそれを用いた動き検
出装置を提供することを目的とする。
【００１２】また、本発明は、３次元的な動きを高精度
に認識できる動き認識方法およびそれを用いた動き認識
装置を提供することを目的とする。
に認識できる動き認識方法およびそれを用いた動き認識
装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】（１）本発明の動き検出
方法は、取得した距離画像を所定の大きさの小領域に分
割して、連続して取得した距離画像間で、類似する前記
小領域毎に平面方向の動きを検出し、前記小領域毎に奥
行き情報を算出して、該奥行き情報を基に類似する小領
域間で奥行き方向の動きを検出することにより、３次元
的な動きを高精度に検出することができる。
方法は、取得した距離画像を所定の大きさの小領域に分
割して、連続して取得した距離画像間で、類似する前記
小領域毎に平面方向の動きを検出し、前記小領域毎に奥
行き情報を算出して、該奥行き情報を基に類似する小領
域間で奥行き方向の動きを検出することにより、３次元
的な動きを高精度に検出することができる。
【００１４】（２）本発明の動き検出方法は、取得した
距離画像を所定の大きさの小領域に分割して、前記小領
域毎に奥行き情報を算出し、連続して取得した距離画像
間で、前記小領域毎に前記奥行き情報を基に奥行き方向
の動きを検出し、移動元の小領域と、前記検出された奥
行き方向の動きに基づき前記奥行き情報を補正した小領
域であって前記移動元の小領域に類似する小領域との間
で平面方向の動きを検出することにより、奥行き方向の
動き成分による距離画像の濃淡変化を補正した上で、平
面方向動き情報の検出を行っているため、より高精度に
奥行き方向の動き成分を有する対象物の３次元的な動き
を検出することができる。
距離画像を所定の大きさの小領域に分割して、前記小領
域毎に奥行き情報を算出し、連続して取得した距離画像
間で、前記小領域毎に前記奥行き情報を基に奥行き方向
の動きを検出し、移動元の小領域と、前記検出された奥
行き方向の動きに基づき前記奥行き情報を補正した小領
域であって前記移動元の小領域に類似する小領域との間
で平面方向の動きを検出することにより、奥行き方向の
動き成分による距離画像の濃淡変化を補正した上で、平
面方向動き情報の検出を行っているため、より高精度に
奥行き方向の動き成分を有する対象物の３次元的な動き
を検出することができる。
【００１５】（３）本発明の動き認識方法は、取得した
距離画像を所定の大きさの小領域に分割して、連続して
取得した距離画像間で、類似する前記小領域毎に平面方
向の動きを検出し、前記小領域毎に奥行き情報を算出し
て、該奥行き情報を基に類似する小領域間で奥行き方向
の動きを検出し、前記平面方向の動きと前記奥行き方向
の動きとから該動きを認識することにより、３次元的な
動きを高精度に認識することができる。
距離画像を所定の大きさの小領域に分割して、連続して
取得した距離画像間で、類似する前記小領域毎に平面方
向の動きを検出し、前記小領域毎に奥行き情報を算出し
て、該奥行き情報を基に類似する小領域間で奥行き方向
の動きを検出し、前記平面方向の動きと前記奥行き方向
の動きとから該動きを認識することにより、３次元的な
動きを高精度に認識することができる。
【００１６】（４）本発明の動き認識方法は、取得した
距離画像を所定の大きさの小領域に分割して、前記小領
域毎に奥行き情報を算出し、連続して取得した距離画像
間で、前記小領域毎に前記奥行き情報を基に奥行き方向
の動きを検出し、移動元の小領域と前記検出された奥行
き方向の動きに基づき前記奥行き情報を補正した小領域
であって前記移動元の小領域に類似する小領域との間で
平面方向の動きを検出し、前記平面方向の動きと前記奥
行き方向の動きとから該動きを認識することにより、奥
行き方向の動き成分による距離画像の濃淡変化を補正し
た上で、平面方向動き情報の検出を行っているため、よ
り高精度に奥行き方向の動き成分を有する対象物の３次
元的な動きを認識することができる。
距離画像を所定の大きさの小領域に分割して、前記小領
域毎に奥行き情報を算出し、連続して取得した距離画像
間で、前記小領域毎に前記奥行き情報を基に奥行き方向
の動きを検出し、移動元の小領域と前記検出された奥行
き方向の動きに基づき前記奥行き情報を補正した小領域
であって前記移動元の小領域に類似する小領域との間で
平面方向の動きを検出し、前記平面方向の動きと前記奥
行き方向の動きとから該動きを認識することにより、奥
行き方向の動き成分による距離画像の濃淡変化を補正し
た上で、平面方向動き情報の検出を行っているため、よ
り高精度に奥行き方向の動き成分を有する対象物の３次
元的な動きを認識することができる。
【００１７】（５）本発明の動き検出装置は、距離画像
を取得する画像取得手段と、この画像取得手段で取得し
た距離画像を所定の大きさの小領域に分割する分割手段
と、前記画像取得手段で連続して取得した距離画像間
で、類似する前記小領域毎に平面方向の動きを検出する
第１の検出手段と、前記小領域毎に奥行き情報を算出す
る算出手段と、この算出手段で算出された奥行き情報を
基に類似する小領域間で奥行き方向の動きを検出する第
２の検出手段と、を具備したことにより、３次元的な動
きを高精度に検出することができる。
を取得する画像取得手段と、この画像取得手段で取得し
た距離画像を所定の大きさの小領域に分割する分割手段
と、前記画像取得手段で連続して取得した距離画像間
で、類似する前記小領域毎に平面方向の動きを検出する
第１の検出手段と、前記小領域毎に奥行き情報を算出す
る算出手段と、この算出手段で算出された奥行き情報を
基に類似する小領域間で奥行き方向の動きを検出する第
２の検出手段と、を具備したことにより、３次元的な動
きを高精度に検出することができる。
【００１８】（６）本発明の動き検出装置は、距離画像
を取得する画像取得手段と、この画像取得手段で取得し
た距離画像を所定の大きさの小領域に分割する分割手段
と、前記小領域毎に奥行き情報を算出する算出手段と、
前記画像取得手段で連続して取得した距離画像間で、前
記小領域毎に前記奥行き情報を基に奥行き方向の動きを
検出する第１の動き検出手段と、この第１の検出手段で
検出された奥行き方向の動きに基づき前記奥行き情報を
補正する補正手段と、移動元の小領域と、前記補正手段
で前記奥行き情報を補正した小領域であって前記移動元
の小領域に類似する小領域との間で平面方向の動きを検
出する第２の検出手段とを具備したことにより、奥行き
方向の動き成分による距離画像の濃淡変化を補正した上
で、平面方向動き情報の検出を行っているため、より高
精度に奥行き方向の動き成分を有する対象物の３次元的
な動きを検出することができる。
を取得する画像取得手段と、この画像取得手段で取得し
た距離画像を所定の大きさの小領域に分割する分割手段
と、前記小領域毎に奥行き情報を算出する算出手段と、
前記画像取得手段で連続して取得した距離画像間で、前
記小領域毎に前記奥行き情報を基に奥行き方向の動きを
検出する第１の動き検出手段と、この第１の検出手段で
検出された奥行き方向の動きに基づき前記奥行き情報を
補正する補正手段と、移動元の小領域と、前記補正手段
で前記奥行き情報を補正した小領域であって前記移動元
の小領域に類似する小領域との間で平面方向の動きを検
出する第２の検出手段とを具備したことにより、奥行き
方向の動き成分による距離画像の濃淡変化を補正した上
で、平面方向動き情報の検出を行っているため、より高
精度に奥行き方向の動き成分を有する対象物の３次元的
な動きを検出することができる。
【００１９】（７）本発明の動き認識装置は、距離画像
を取得する画像取得手段と、この画像取得手段で取得し
た距離画像を所定の大きさの小領域に分割する分割手段
と、前記画像取得手段で連続して取得した距離画像間
で、類似する前記小領域毎に平面方向の動きを検出する
第１の検出手段と、前記小領域毎に奥行き情報を算出す
る算出手段と、この算出手段で算出された奥行き情報を
基に類似する小領域間で奥行き方向の動きを検出する第
２の検出手段と、類似する小領域間から検出された前記
平面方向の動きと前記奥行き方向の動きとから該動きを
認識する認識手段と、を具備したことにより、３次元的
な動きを高精度に認識することができる。
を取得する画像取得手段と、この画像取得手段で取得し
た距離画像を所定の大きさの小領域に分割する分割手段
と、前記画像取得手段で連続して取得した距離画像間
で、類似する前記小領域毎に平面方向の動きを検出する
第１の検出手段と、前記小領域毎に奥行き情報を算出す
る算出手段と、この算出手段で算出された奥行き情報を
基に類似する小領域間で奥行き方向の動きを検出する第
２の検出手段と、類似する小領域間から検出された前記
平面方向の動きと前記奥行き方向の動きとから該動きを
認識する認識手段と、を具備したことにより、３次元的
な動きを高精度に認識することができる。
【００２０】（８）本発明の動き認識装置は、距離画像
を取得する画像取得手段と、この画像取得手段で取得し
た距離画像を所定の大きさの小領域に分割する分割手段
と、前記小領域毎に奥行き情報を算出する算出手段と、
前記画像取得手段で連続して取得した距離画像間で、前
記小領域毎に前記奥行き情報を基に奥行き方向の動きを
検出する第１の動き検出手段と、この第１の検出手段で
検出された奥行き方向の動きに基づき前記奥行き情報を
補正する補正手段と、移動元の小領域と、前記補正手段
で前記奥行き情報を補正した小領域であって前記移動元
の小領域に類似する小領域との間で平面方向の動きを検
出する第２の検出手段と、類似する小領域間から検出さ
れた前記平面方向の動きと前記奥行き方向の動きとから
該動きを認識する認識手段と、を具備したことにより、
奥行き方向の動き成分による距離画像の濃淡変化を補正
した上で、平面方向動き情報の検出を行っているため、
より高精度に奥行き方向の動き成分を有する対象物の３
次元的な動きを認識することができる。
を取得する画像取得手段と、この画像取得手段で取得し
た距離画像を所定の大きさの小領域に分割する分割手段
と、前記小領域毎に奥行き情報を算出する算出手段と、
前記画像取得手段で連続して取得した距離画像間で、前
記小領域毎に前記奥行き情報を基に奥行き方向の動きを
検出する第１の動き検出手段と、この第１の検出手段で
検出された奥行き方向の動きに基づき前記奥行き情報を
補正する補正手段と、移動元の小領域と、前記補正手段
で前記奥行き情報を補正した小領域であって前記移動元
の小領域に類似する小領域との間で平面方向の動きを検
出する第２の検出手段と、類似する小領域間から検出さ
れた前記平面方向の動きと前記奥行き方向の動きとから
該動きを認識する認識手段と、を具備したことにより、
奥行き方向の動き成分による距離画像の濃淡変化を補正
した上で、平面方向動き情報の検出を行っているため、
より高精度に奥行き方向の動き成分を有する対象物の３
次元的な動きを認識することができる。
【００２１】
【発明の実施の形態】以下、本発明の実施形態について
図面を参照して説明する。 （第１の実施形態）図１は、本発明の第１の実施形態に
係る画像認識装置の全体構成図である。
図面を参照して説明する。 （第１の実施形態）図１は、本発明の第１の実施形態に
係る画像認識装置の全体構成図である。
【００２２】本実施形態の画像認識装置は、距離画像ス
トリームを取得するための撮像手段を備えた画像取得部
１と、画像取得部１で取得された距離画像を格納する画
像格納部２と、画像格納部２に格納された距離画像を動
き検出単位となる所定の大きさの小領域（ブロック画
像）に分割するブロック分割部３と、画像取得部１で取
得した距離画像を動き検出単位となる所定の大きさの小
領域（ブロック画像）に分割するブロック分割部４と、
画像格納部２に格納された距離画像（サンプル距離画
像）と画像取得部１で取得された距離画像（最新距離画
像）との間でブロック画像毎に平面方向の動き（平面方
向動きベクトル）を検出する平面方向動き検出部５と、
ブロック画像の奥行き情報（距離値）を算出する距離値
算出部６と、平面方向動き検出部５で検出された平面方
向の動き（平面方向動き情報、より具体的には平面方向
動きベクトル）に基づき推定される平面方向の移動元の
ブロック画像と移動先のブロック画像との間の距離値算
出部６で算出された距離値を基に奥行き方向の動き（奥
行き方向動き情報、より具体的には奥行き方向動きベク
トル）を検出する奥行き方向動き検出部７と、平面方向
動き検出部５で検出された平面方向動き情報と奥行き方
向動き検出部７で検出された奥行き方向動き情報とテン
プレート９を参照して当該動きを認識する動き認識部８
と、認識すべき動きを登録したテンプレート９とから構
成されている。
トリームを取得するための撮像手段を備えた画像取得部
１と、画像取得部１で取得された距離画像を格納する画
像格納部２と、画像格納部２に格納された距離画像を動
き検出単位となる所定の大きさの小領域（ブロック画
像）に分割するブロック分割部３と、画像取得部１で取
得した距離画像を動き検出単位となる所定の大きさの小
領域（ブロック画像）に分割するブロック分割部４と、
画像格納部２に格納された距離画像（サンプル距離画
像）と画像取得部１で取得された距離画像（最新距離画
像）との間でブロック画像毎に平面方向の動き（平面方
向動きベクトル）を検出する平面方向動き検出部５と、
ブロック画像の奥行き情報（距離値）を算出する距離値
算出部６と、平面方向動き検出部５で検出された平面方
向の動き（平面方向動き情報、より具体的には平面方向
動きベクトル）に基づき推定される平面方向の移動元の
ブロック画像と移動先のブロック画像との間の距離値算
出部６で算出された距離値を基に奥行き方向の動き（奥
行き方向動き情報、より具体的には奥行き方向動きベク
トル）を検出する奥行き方向動き検出部７と、平面方向
動き検出部５で検出された平面方向動き情報と奥行き方
向動き検出部７で検出された奥行き方向動き情報とテン
プレート９を参照して当該動きを認識する動き認識部８
と、認識すべき動きを登録したテンプレート９とから構
成されている。
【００２３】まず、画像取得部１および距離画像につい
て説明する。
て説明する。
【００２４】画像取得部１は、認識対象物体（例えば、
人間の手、顔、全身など）を、その３次元形状を反映し
た奥行き値を持つ画像（以降、距離画像と呼ぶ）として
所定時間毎（例えば１／３０秒毎など）に取得するもの
である（例えば、特願平８−２７４９４９号の画像取得
方法などを用いて実現することができる）。
人間の手、顔、全身など）を、その３次元形状を反映し
た奥行き値を持つ画像（以降、距離画像と呼ぶ）として
所定時間毎（例えば１／３０秒毎など）に取得するもの
である（例えば、特願平８−２７４９４９号の画像取得
方法などを用いて実現することができる）。
【００２５】所定時間毎に距離画像が取得されてゆくた
め、これらをメモリなどを用いて、画像取得部１の内部
または外部で逐次保持することで、対象物の距離画像に
よる動画像（以降、距離画像ストリームと呼ぶ）を得る
ことができる。このとき、距離画像ストリームは、距離
画像の取得間隔をｔ秒としたとき、「最新の距離画
像」、「最新からｔ秒前（以降、１フレーム前と呼ぶ）
の距離画像」、「最新から２ｔ秒前（２フレーム前、以
下同様）の距離画像」、…、といった複数フレームの距
離画像の集合体として得られることになる。
め、これらをメモリなどを用いて、画像取得部１の内部
または外部で逐次保持することで、対象物の距離画像に
よる動画像（以降、距離画像ストリームと呼ぶ）を得る
ことができる。このとき、距離画像ストリームは、距離
画像の取得間隔をｔ秒としたとき、「最新の距離画
像」、「最新からｔ秒前（以降、１フレーム前と呼ぶ）
の距離画像」、「最新から２ｔ秒前（２フレーム前、以
下同様）の距離画像」、…、といった複数フレームの距
離画像の集合体として得られることになる。
【００２６】画像取得部１は、図２に示すように、主
に、発光部１０１、受光部１０３、反射光抽出部１０
２、タイミング信号生成部１０４から構成される。
に、発光部１０１、受光部１０３、反射光抽出部１０
２、タイミング信号生成部１０４から構成される。
【００２７】発光部１０１は、タイミング信号生成部１
０４にて生成されたタイミング信号に従って時間的に強
度変動する光を発光する。この光は発光部前方にある対
象物体に照射される。
０４にて生成されたタイミング信号に従って時間的に強
度変動する光を発光する。この光は発光部前方にある対
象物体に照射される。
【００２８】受光部１０３は、発光部１０１が発した光
の対象物体による反射光の量を検出する。
の対象物体による反射光の量を検出する。
【００２９】反射光抽出部１０２は、受光部１０３にて
受光された反射光の空間的な強度分布を抽出する。この
反射光の空間的な強度分布は画像として捉えることがで
きるので、これを反射光画像あるいは距離画像と呼ぶ。
受光された反射光の空間的な強度分布を抽出する。この
反射光の空間的な強度分布は画像として捉えることがで
きるので、これを反射光画像あるいは距離画像と呼ぶ。
【００３０】受光部１０３は一般的に発光部１０１から
発せられる光の対象物による反射光だけでなく、照明光
や太陽光などの外光も同時に受光する。そこで、反射光
抽出部１０２は発光部１０１が発光しているときに受光
した光の量と、発光部１０１が発光していないときに受
光した光の量の差をとることによって、発光部１０１か
らの光の対象物体による反射光成分だけを取り出す。
発せられる光の対象物による反射光だけでなく、照明光
や太陽光などの外光も同時に受光する。そこで、反射光
抽出部１０２は発光部１０１が発光しているときに受光
した光の量と、発光部１０１が発光していないときに受
光した光の量の差をとることによって、発光部１０１か
らの光の対象物体による反射光成分だけを取り出す。
【００３１】反射光抽出部１０２では、受光部１０３に
て受光された反射光から、その強度分布、すなわち、図
３に示すような反射光画像（距離画像）を抽出する。
て受光された反射光から、その強度分布、すなわち、図
３に示すような反射光画像（距離画像）を抽出する。
【００３２】図３では、簡単のため、２５６×２５６画
素の反射光画像の一部である８×８画素の反射光画像の
場合について示している。
素の反射光画像の一部である８×８画素の反射光画像の
場合について示している。
【００３３】物体からの反射光は、物体の距離が大きく
なるにつれ大幅に減少する。物体の表面が一様に光を散
乱する場合、反射光画像１画素あたりの受光量は物体ま
での距離の２乗に反比例して小さくなる。
なるにつれ大幅に減少する。物体の表面が一様に光を散
乱する場合、反射光画像１画素あたりの受光量は物体ま
での距離の２乗に反比例して小さくなる。
【００３４】反射光画像の各画素値は、その画素に対応
する単位受光部で受光した反射光の量を表す。反射光
は、物体の性質（光を鏡面反射する、散乱する、吸収す
る、など）、物体の向き、物体の距離などに影響される
が、物体全体が一様に光を散乱する物体である場合、そ
の反射光量は物体までの距離と密接な関係を持つ。手な
どは、このような性質をもつため、画像取得部１の前方
に手を差し出した場合の反射光画像は、手までの距離、
手の傾き（部分的に距離が異なる）などを反映する図４
に示したような３次元的なイメージを得ることができ
る。
する単位受光部で受光した反射光の量を表す。反射光
は、物体の性質（光を鏡面反射する、散乱する、吸収す
る、など）、物体の向き、物体の距離などに影響される
が、物体全体が一様に光を散乱する物体である場合、そ
の反射光量は物体までの距離と密接な関係を持つ。手な
どは、このような性質をもつため、画像取得部１の前方
に手を差し出した場合の反射光画像は、手までの距離、
手の傾き（部分的に距離が異なる）などを反映する図４
に示したような３次元的なイメージを得ることができ
る。
【００３５】図５は、例えば、特願平９−２９９６４８
号に記載されているような画像取得部１を構成する発光
部１０１と、受光部１０３の外観の一例を示したもの
で、中央部には円形レンズとその後部にあるエリアセン
サ（図示せず）から構成される受光部１０３が配置さ
れ、円形レンズの周囲にはその輪郭に沿って、赤外線な
どの光を照射するＬＥＤから構成される発光部１０１が
複数（例えば６個）等間隔に配置されている。
号に記載されているような画像取得部１を構成する発光
部１０１と、受光部１０３の外観の一例を示したもの
で、中央部には円形レンズとその後部にあるエリアセン
サ（図示せず）から構成される受光部１０３が配置さ
れ、円形レンズの周囲にはその輪郭に沿って、赤外線な
どの光を照射するＬＥＤから構成される発光部１０１が
複数（例えば６個）等間隔に配置されている。
【００３６】発光部１０１から照射された光が物体に反
射され、受光部１０３のレンズにより集光され、レンズ
の後部にあるエリアセンサで受光される。エリアセンサ
は、例えば２５６×２５６のマトリックス状に配列され
たセンサで、マトリックス中の各センサにて受光された
反射光の強度がそれぞれ画素値となる。このようにして
取得された画像が、図３に示すような反射光の強度分布
としての距離画像である。
射され、受光部１０３のレンズにより集光され、レンズ
の後部にあるエリアセンサで受光される。エリアセンサ
は、例えば２５６×２５６のマトリックス状に配列され
たセンサで、マトリックス中の各センサにて受光された
反射光の強度がそれぞれ画素値となる。このようにして
取得された画像が、図３に示すような反射光の強度分布
としての距離画像である。
【００３７】図３は、距離画像データの一部（２５６ｘ
２５６画素の一部の８ｘ８画素）を示したものである。
この例では、行列中のセルの値（画素値）は、取得した
反射光の強さを８ビット２５６階調で示したものであ
る。例えば、「２５５」の値があるセルは、画像取得部
１に最も接近した状態、「０」の値があるセルは、画像
取得部１から遠くにあり、反射光が画像取得部１にまで
到達しないことを示している。
２５６画素の一部の８ｘ８画素）を示したものである。
この例では、行列中のセルの値（画素値）は、取得した
反射光の強さを８ビット２５６階調で示したものであ
る。例えば、「２５５」の値があるセルは、画像取得部
１に最も接近した状態、「０」の値があるセルは、画像
取得部１から遠くにあり、反射光が画像取得部１にまで
到達しないことを示している。
【００３８】図４は、図３に示したようなマトリックス
形式の距離画像データ全体を３次元的に示したものであ
る。この例では、人間の手の距離画像データの場合を示
している。
形式の距離画像データ全体を３次元的に示したものであ
る。この例では、人間の手の距離画像データの場合を示
している。
【００３９】図６に、画像取得部１により取得された手
の距離画像の例を示す。距離画像は、奥行き情報を有す
る３次元画像で、例えば、ｘ軸（横）方向６４画素、ｙ
軸（縦）方向６４画素、ｚ軸（奥行き）方向２５６階調
の画像になっている。図６は、距離画像の距離値、すな
わちｚ軸方向の階調をグレースケールで表現したもの
で、この場合、色が黒に近いほど画像取得部１からの距
離が近く、白に近くなるほど距離が遠いことを示してい
る。また、色が完全に白のところは、画像がない、ある
いはあっても遠方でないのと同じであることを示してい
る。
の距離画像の例を示す。距離画像は、奥行き情報を有す
る３次元画像で、例えば、ｘ軸（横）方向６４画素、ｙ
軸（縦）方向６４画素、ｚ軸（奥行き）方向２５６階調
の画像になっている。図６は、距離画像の距離値、すな
わちｚ軸方向の階調をグレースケールで表現したもの
で、この場合、色が黒に近いほど画像取得部１からの距
離が近く、白に近くなるほど距離が遠いことを示してい
る。また、色が完全に白のところは、画像がない、ある
いはあっても遠方でないのと同じであることを示してい
る。
【００４０】物体からの反射光の強さは当該物体までの
距離の２乗に反比例して小さくなる。すなわち、距離画
像中の各画素（ｉ、ｊ）の画素値をＱ（ｉ、ｊ）とする
と、 Ｑ（ｉ、ｊ）＝Ｋ／ｄ２ …（１） と表すことができる。
距離の２乗に反比例して小さくなる。すなわち、距離画
像中の各画素（ｉ、ｊ）の画素値をＱ（ｉ、ｊ）とする
と、 Ｑ（ｉ、ｊ）＝Ｋ／ｄ２ …（１） と表すことができる。
【００４１】ここで、Ｋは、例えば、ｄ＝０．５ｍのと
きに、Ｒ（ｉ、ｊ）の値が「２５５」になるように調整
された係数である。上式をｄについて解くことで、距離
値を求めることができる。
きに、Ｒ（ｉ、ｊ）の値が「２５５」になるように調整
された係数である。上式をｄについて解くことで、距離
値を求めることができる。
【００４２】次に、図１の動き認識装置の各構成部につ
いてより詳細に説明する。
いてより詳細に説明する。
【００４３】画像格納部２は、画像取得部１で取得され
た距離画像ストリーム中に含まれる距離画像のうち、常
に最新より数フレーム前（例えば、常に１フレーム前）
の距離画像（以降、サンプル距離画像と呼ぶ）を格納し
ておくためのものである。
た距離画像ストリーム中に含まれる距離画像のうち、常
に最新より数フレーム前（例えば、常に１フレーム前）
の距離画像（以降、サンプル距離画像と呼ぶ）を格納し
ておくためのものである。
【００４４】ここで、サンプル距離画像として何フレー
ム前の距離画像を用いるかは、画像取得部１の距離画像
取得間隔（フレームレート）、対象物の動作速度などの
情報を基に決定する。例えば、対象物の２次元投影イメ
ージが変化しない一連の動作の間に、Ｎフレーム取得で
きるならば、サンプル画像は、１ないしＮフレーム前の
距離画像の間で任意に選べばよい。
ム前の距離画像を用いるかは、画像取得部１の距離画像
取得間隔（フレームレート）、対象物の動作速度などの
情報を基に決定する。例えば、対象物の２次元投影イメ
ージが変化しない一連の動作の間に、Ｎフレーム取得で
きるならば、サンプル画像は、１ないしＮフレーム前の
距離画像の間で任意に選べばよい。
【００４５】ブロック分割部３は、画像格納部２に格納
された距離画像（サンプル距離画像）を、動き検出単位
となるブロック画像に分割するためのものである。
された距離画像（サンプル距離画像）を、動き検出単位
となるブロック画像に分割するためのものである。
【００４６】ブロック分割部４は、画像取得部１で新規
に取得された距離画像（最新距離画像）を、動き検出単
位となるブロック画像に分割するためのものである。
に取得された距離画像（最新距離画像）を、動き検出単
位となるブロック画像に分割するためのものである。
【００４７】ここでは、取得された距離画像をサイズの
等しいブロック画像に分割することを考える。例えば、
対象となる距離画像のフレームサイズがｘ軸（横）方向
６４画素、ｙ軸（縦）方向６４画素である場合、ｘ軸方
向、ｙ軸方向それぞれに８等分して分割すると、１つの
ブロック画像の大きさは、ｘ軸（横）方向８画素、ｙ軸
（縦）方向８画素の計８ｘ８＝６４画素で構成されるこ
とになる。
等しいブロック画像に分割することを考える。例えば、
対象となる距離画像のフレームサイズがｘ軸（横）方向
６４画素、ｙ軸（縦）方向６４画素である場合、ｘ軸方
向、ｙ軸方向それぞれに８等分して分割すると、１つの
ブロック画像の大きさは、ｘ軸（横）方向８画素、ｙ軸
（縦）方向８画素の計８ｘ８＝６４画素で構成されるこ
とになる。
【００４８】図７は、図６に示した距離画像を８ｘ８の
ブロック画像に分割した様子を表したものである。
ブロック画像に分割した様子を表したものである。
【００４９】次に、平面方向動き検出部５で実際にどの
ようにして画像格納部２に格納されたサンプル距離画像
と、画像取得部１によって新規に取得された最新距離画
像とから、平面方向の動き情報を検出するかを図８に示
すフローチャートを参照して説明する。
ようにして画像格納部２に格納されたサンプル距離画像
と、画像取得部１によって新規に取得された最新距離画
像とから、平面方向の動き情報を検出するかを図８に示
すフローチャートを参照して説明する。
【００５０】まず、ブロック分割部３で分割されたサン
プル距離画像上のブロック画像のうち、動き情報算出の
対象となるブロック画像（対象ブロック）を設定する
（ステップＳ１）。
プル距離画像上のブロック画像のうち、動き情報算出の
対象となるブロック画像（対象ブロック）を設定する
（ステップＳ１）。
【００５１】ブロック分割部４で分割された最新距離画
像上のブロック画像（探索ブロック）と、ステップＳ１
で設定された対象ブロックとの間の類似度を計算するこ
とで、対象物が動いたと推定される移動先ブロックの探
索を行う（ステップＳ２）。
像上のブロック画像（探索ブロック）と、ステップＳ１
で設定された対象ブロックとの間の類似度を計算するこ
とで、対象物が動いたと推定される移動先ブロックの探
索を行う（ステップＳ２）。
【００５２】類似度算出の対象となる最新距離画像上の
探索ブロックは、ブロック分割部３、４で同じブロック
サイズに分割を行ったとすると、サンプル距離画像中の
１つの対象ブロックに対し、ｘ軸方向、ｙ軸方向に１ブ
ロックずつずらすことで、最大（ｘ軸方向フレームサイ
ズ／ｘ軸方向ブロックサイズ）×（ｙ軸方向フレームサ
イズ／ｙ軸方向ブロックサイズ）個のブロック画像をと
ることができる。しかし、実際には時系列的に近いフレ
ーム同士の相関はとても高いため、探索対象となるブロ
ックは、対象ブロックに対してｘ軸方向、ｙ軸方向にそ
れぞれ１ブロックずつずらした範囲で行えば十分なこと
が多い。
探索ブロックは、ブロック分割部３、４で同じブロック
サイズに分割を行ったとすると、サンプル距離画像中の
１つの対象ブロックに対し、ｘ軸方向、ｙ軸方向に１ブ
ロックずつずらすことで、最大（ｘ軸方向フレームサイ
ズ／ｘ軸方向ブロックサイズ）×（ｙ軸方向フレームサ
イズ／ｙ軸方向ブロックサイズ）個のブロック画像をと
ることができる。しかし、実際には時系列的に近いフレ
ーム同士の相関はとても高いため、探索対象となるブロ
ックは、対象ブロックに対してｘ軸方向、ｙ軸方向にそ
れぞれ１ブロックずつずらした範囲で行えば十分なこと
が多い。
【００５３】ここでは、図９に示すように、最新距離画
像Ｇ１、その１フレーム前のサンプル距離画像Ｇ２とも
に一定サイズのブロック画像に分割し、各ブロック画像
間の類似度を求めることにする。例えば、フレームサイ
ズがｘ軸方向に６４画素、ｙ軸方向に６４画素の距離画
像をｘ軸方向、ｙ軸方向それぞれに８分割した場合、ｘ
軸方向およびｙ軸方向のブロックサイズは共に６４／８
＝８画素となる。また、最新距離画像Ｇ２上の探索する
範囲としてサンプル距離画像Ｇ１中の対象ブロックａ２
２に対し上下、左右に１ブロックずれたブロック画像ｂ
１１、ｂ１２、ｂ１３、ｂ２１、ｂ２３、ｂ３１、ｂ３
２、ｂ３３とする。
像Ｇ１、その１フレーム前のサンプル距離画像Ｇ２とも
に一定サイズのブロック画像に分割し、各ブロック画像
間の類似度を求めることにする。例えば、フレームサイ
ズがｘ軸方向に６４画素、ｙ軸方向に６４画素の距離画
像をｘ軸方向、ｙ軸方向それぞれに８分割した場合、ｘ
軸方向およびｙ軸方向のブロックサイズは共に６４／８
＝８画素となる。また、最新距離画像Ｇ２上の探索する
範囲としてサンプル距離画像Ｇ１中の対象ブロックａ２
２に対し上下、左右に１ブロックずれたブロック画像ｂ
１１、ｂ１２、ｂ１３、ｂ２１、ｂ２３、ｂ３１、ｂ３
２、ｂ３３とする。
【００５４】なお、最新距離画像中の探索ブロックの選
択は、このように、必ずしも探索ブロック同士が互いに
重なり合わないブロック画像になるように選択する必要
はなく、サイズの等しいブロック画像として、最新距離
画像中の対象ブロックａ２２と等しい位置にあるブロッ
ク画像を中心として、ｘ軸方向、ｙ軸方向に１画素ずつ
ずらすことで、最大（ｘ軸方向フレームサイズ−ｘ軸方
向ブロックサイズ）×（ｙ軸方向フレームサイズ−ｙ軸
方向ブロックサイズ）個、任意にとることもできる。
択は、このように、必ずしも探索ブロック同士が互いに
重なり合わないブロック画像になるように選択する必要
はなく、サイズの等しいブロック画像として、最新距離
画像中の対象ブロックａ２２と等しい位置にあるブロッ
ク画像を中心として、ｘ軸方向、ｙ軸方向に１画素ずつ
ずらすことで、最大（ｘ軸方向フレームサイズ−ｘ軸方
向ブロックサイズ）×（ｙ軸方向フレームサイズ−ｙ軸
方向ブロックサイズ）個、任意にとることもできる。
【００５５】最新距離画像上の探索ブロック（ブロック
単位の計測で、その位置をｘ軸方向にｘブロック目、ｙ
軸方向にｙブロック目とし、（ｘ，ｙ）とする）と、サ
ンプル距離画像上の対象ブロック（その位置をブロック
単位の計測で、ｘ軸方向にｚブロック目、ｙ軸方向にｗ
ブロック目とし、（ｚ，ｗ）とする）間の類似度Ｃｚｗ
−ｘｙは、例えば、次式（２）から求めることができ
る。
単位の計測で、その位置をｘ軸方向にｘブロック目、ｙ
軸方向にｙブロック目とし、（ｘ，ｙ）とする）と、サ
ンプル距離画像上の対象ブロック（その位置をブロック
単位の計測で、ｘ軸方向にｚブロック目、ｙ軸方向にｗ
ブロック目とし、（ｚ，ｗ）とする）間の類似度Ｃｚｗ
−ｘｙは、例えば、次式（２）から求めることができ
る。
【００５６】
【数１】
【００５７】式（２）を用いて、対象ブロック（例え
ば、図９の対象ブロックａ２２）とその周辺の最新距離
画像上の全ての探索ブロック（例えば、図９の探索ブロ
ックｂ１１、ｂ１２、ｂ１３、ｂ２１、ｂ２３、ｂ３
１、ｂ３２、ｂ３３）のそれぞれとの類似度を算出する
（ステップ３）。図９において、サンプル距離画像Ｇ１
中の対象ブロックａ２２と最新距離画像Ｇ２中の探索ブ
ロックｂ１１、ｂ１２、ｂ１３、ｂ２１、ｂ２３、ｂ３
１、ｂ３２、ｂ３３との類似度を式（２）を用いて求め
ると、探索ブロックｂ２２との類似度が「０．１」、探
索ブロックｂ３２との類似度が「０．２」、探索ブロッ
クｂ３３との類似度が「０．９」、それ以外の探索ブロ
ックとの類似度が「０」となる。
ば、図９の対象ブロックａ２２）とその周辺の最新距離
画像上の全ての探索ブロック（例えば、図９の探索ブロ
ックｂ１１、ｂ１２、ｂ１３、ｂ２１、ｂ２３、ｂ３
１、ｂ３２、ｂ３３）のそれぞれとの類似度を算出する
（ステップ３）。図９において、サンプル距離画像Ｇ１
中の対象ブロックａ２２と最新距離画像Ｇ２中の探索ブ
ロックｂ１１、ｂ１２、ｂ１３、ｂ２１、ｂ２３、ｂ３
１、ｂ３２、ｂ３３との類似度を式（２）を用いて求め
ると、探索ブロックｂ２２との類似度が「０．１」、探
索ブロックｂ３２との類似度が「０．２」、探索ブロッ
クｂ３３との類似度が「０．９」、それ以外の探索ブロ
ックとの類似度が「０」となる。
【００５８】全ての探索ブロックに対して処理が終了し
たら、平面方向動き検出部５で平面方向動きベクトル算
出処理（ステップＳ４）に移る。
たら、平面方向動き検出部５で平面方向動きベクトル算
出処理（ステップＳ４）に移る。
【００５９】平面方向動きベクトル算出処理では、以上
で求めたサンプル距離画像上の対象ブロックに対する最
新距離画像上の探索ブロックの類似度算出結果から、対
象ブロックに最も類似しているブロック画像を抽出す
る。
で求めたサンプル距離画像上の対象ブロックに対する最
新距離画像上の探索ブロックの類似度算出結果から、対
象ブロックに最も類似しているブロック画像を抽出す
る。
【００６０】式（２）を用いて類似度を算出した場合、
その値の最も高い探索ブロックを抽出することになる。
例えば、図９において、サンプル距離画像中の対象ブロ
ックａ２２と最も類似する最新距離画像中の探索ブロッ
クはｂ３３であるので、対象ブロックａ２２（ここで
は、対象ブロックａ２２の端点あるいは中心位置）から
探索ブロックｂ３３（ここでは、探索ブロックｂ３３の
端点あるいは中心位置）へのベクトルが最終的な平面方
向の動きベクトルとなる。
その値の最も高い探索ブロックを抽出することになる。
例えば、図９において、サンプル距離画像中の対象ブロ
ックａ２２と最も類似する最新距離画像中の探索ブロッ
クはｂ３３であるので、対象ブロックａ２２（ここで
は、対象ブロックａ２２の端点あるいは中心位置）から
探索ブロックｂ３３（ここでは、探索ブロックｂ３３の
端点あるいは中心位置）へのベクトルが最終的な平面方
向の動きベクトルとなる。
【００６１】例えば、対象ブロックの位置が、ブロック
単位の計測で（２，２）の位置（つまり、ｘ軸方向に２
ブロック、ｙ軸方向に２ブロック目のブロック）、類似
度の最も高い探索ブロックの位置が同様に（３，３）の
位置であった場合、平面方向にブロック移動したと推定
される移動量は（３，３）−（２，２）＝（１，１）と
なり、最終的な平面方向動きベクトル量はｘ軸方向に１
×（ｘ軸方向のブロックサイズ）、ｙ軸方向に１×（ｙ
軸方向のブロックサイズ）となる。
単位の計測で（２，２）の位置（つまり、ｘ軸方向に２
ブロック、ｙ軸方向に２ブロック目のブロック）、類似
度の最も高い探索ブロックの位置が同様に（３，３）の
位置であった場合、平面方向にブロック移動したと推定
される移動量は（３，３）−（２，２）＝（１，１）と
なり、最終的な平面方向動きベクトル量はｘ軸方向に１
×（ｘ軸方向のブロックサイズ）、ｙ軸方向に１×（ｙ
軸方向のブロックサイズ）となる。
【００６２】なお、図９は、対象ブロックを中心とした
上下、左右１ブロック範囲の探索ブロックにおいて、式
（２）を用いて算出した類似度と、最終的に検出された
平面方向動きベクトルを図示したものである。
上下、左右１ブロック範囲の探索ブロックにおいて、式
（２）を用いて算出した類似度と、最終的に検出された
平面方向動きベクトルを図示したものである。
【００６３】サンプル距離画像上の全ブロック画像を対
象ブロックとして、ステップＳ１〜ステップＳ４を繰り
返し、平面方向動きベクトルを算出する（ステップＳ
５）。
象ブロックとして、ステップＳ１〜ステップＳ４を繰り
返し、平面方向動きベクトルを算出する（ステップＳ
５）。
【００６４】距離値算出部６は、距離画像上のブロック
画像が有するｚ軸方向（奥行き方向）の距離値を求める
ものである。これは、そのブロック画像に撮像されてい
る対象物体までの距離を代表する奥行き情報を求めるこ
とに相当している。
画像が有するｚ軸方向（奥行き方向）の距離値を求める
ものである。これは、そのブロック画像に撮像されてい
る対象物体までの距離を代表する奥行き情報を求めるこ
とに相当している。
【００６５】図１０は、ブロック画像を構成する全ての
画素値を平均化することで、そのブロック画像の距離値
を求める場合を概念的に示したものである。例えば、座
標（ｘ，ｙ）にあるブロック画像の距離値Ｄｘｙは、そ
のブロック画像内のすべての画素値を平均化することに
より、次式（３）から求めることができる。なお、図１
０では、１フレーム中の隣接する２つのブロック画像
（第１のブロック画像、第２のブロック画像）の離散的
な画素値（ここでは、距離値に対応する）を連続する滑
らかな曲線で描いている。
画素値を平均化することで、そのブロック画像の距離値
を求める場合を概念的に示したものである。例えば、座
標（ｘ，ｙ）にあるブロック画像の距離値Ｄｘｙは、そ
のブロック画像内のすべての画素値を平均化することに
より、次式（３）から求めることができる。なお、図１
０では、１フレーム中の隣接する２つのブロック画像
（第１のブロック画像、第２のブロック画像）の離散的
な画素値（ここでは、距離値に対応する）を連続する滑
らかな曲線で描いている。
【数２】
【００６６】なお、式（３）を用いて、単純に、ブロッ
ク画像中の画素値の平均値をそのまま距離値として用い
てもよく、また、式（３）を用いる際に、ブロック画像
中の各画素毎に例えば、式（１）を用いて求めた距離値
ｄをＦｘｙとし用いてもよく、また、式（３）を用いて
求めた画素値の平均値から式（１）を用いて距離値ｄを
求めても良い。ここで、説明の簡単なため、上記いずれ
の場合であってもブロック画像の距離値と呼ぶことにす
る。
ク画像中の画素値の平均値をそのまま距離値として用い
てもよく、また、式（３）を用いる際に、ブロック画像
中の各画素毎に例えば、式（１）を用いて求めた距離値
ｄをＦｘｙとし用いてもよく、また、式（３）を用いて
求めた画素値の平均値から式（１）を用いて距離値ｄを
求めても良い。ここで、説明の簡単なため、上記いずれ
の場合であってもブロック画像の距離値と呼ぶことにす
る。
【００６７】ブロック画像の距離値の算出は、ここで述
べた平均化による手法に限定する必要はなく、ｘｙ平面
上のブロック画像を底辺とする立方体を定義し、ブロッ
ク画像を構成する距離値の総和と等しくなるようなｚ軸
方向の高さを用いてもよいし、あるいは単にブロック画
像を構成する距離値の中間値などを用いることもでき
る。
べた平均化による手法に限定する必要はなく、ｘｙ平面
上のブロック画像を底辺とする立方体を定義し、ブロッ
ク画像を構成する距離値の総和と等しくなるようなｚ軸
方向の高さを用いてもよいし、あるいは単にブロック画
像を構成する距離値の中間値などを用いることもでき
る。
【００６８】奥行き方向動き検出部７では、距離画像を
構成する全ブロック画像において、平面方向動き検出部
５で検出された平面方向動きベクトルで推定される最新
距離画像上の移動先として推定されるブロック画像の距
離値、およびサンプル距離画像上の移動元のブロック画
像の距離値を差し引くことで、奥行き方向動き情報を算
出する。
構成する全ブロック画像において、平面方向動き検出部
５で検出された平面方向動きベクトルで推定される最新
距離画像上の移動先として推定されるブロック画像の距
離値、およびサンプル距離画像上の移動元のブロック画
像の距離値を差し引くことで、奥行き方向動き情報を算
出する。
【００６９】図１１は、奥行き方向動き検出部７におい
て、サンプル距離画像と最新距離画像上の移動元のブロ
ック画像と移動先のブロック画像との距離値から奥行き
方向の動き情報が算出される様子を表したものである。
ここで算出された奥行き方向動き情報が最終的に奥行き
方向動きベクトル（向きが奥行き方向で大きさが移動元
のブロック画像と移動先のブロック画像との距離値の
差）として出力される。
て、サンプル距離画像と最新距離画像上の移動元のブロ
ック画像と移動先のブロック画像との距離値から奥行き
方向の動き情報が算出される様子を表したものである。
ここで算出された奥行き方向動き情報が最終的に奥行き
方向動きベクトル（向きが奥行き方向で大きさが移動元
のブロック画像と移動先のブロック画像との距離値の
差）として出力される。
【００７０】以上説明したように、画像取得部１で取得
される距離画像ストリームから平面方向動き情報のみな
らず、奥行き方向動き情報を検出することが可能となっ
ている。
される距離画像ストリームから平面方向動き情報のみな
らず、奥行き方向動き情報を検出することが可能となっ
ている。
【００７１】ブロック分割部３におけるブロック分割の
精度、つまり１フレームあたりのブロック分割を細かく
行えば、より精細な動き情報の検出を行うことが可能で
あり、逆にブロック分割を粗く行えば、より大きな撮像
対象物体に対して対象レベルの動き検出を高速に行うこ
とが可能となる。
精度、つまり１フレームあたりのブロック分割を細かく
行えば、より精細な動き情報の検出を行うことが可能で
あり、逆にブロック分割を粗く行えば、より大きな撮像
対象物体に対して対象レベルの動き検出を高速に行うこ
とが可能となる。
【００７２】動き認識部８については、後述する。 （第２の実施形態）上記第１の実施形態では、平面方向
動き情報を求め、その後、奥行き方向動き情報を求めて
いるが、正確にいうならば、物体は、平面方向だけでな
く、奥行き方向にも動いているので、最初に求めた平面
方向動き情報には、奥行き方向動き情報を平面方向に投
影した分の動きが影響してしまっている。
動き情報を求め、その後、奥行き方向動き情報を求めて
いるが、正確にいうならば、物体は、平面方向だけでな
く、奥行き方向にも動いているので、最初に求めた平面
方向動き情報には、奥行き方向動き情報を平面方向に投
影した分の動きが影響してしまっている。
【００７３】そこで、第２の実施形態では、このような
問題点を解決するため、まず、全てのブロック画像に対
し、奥行き方向動き情報を求める。このとき、サンプル
距離画像上のあるブロック画像と最新距離画像上のどの
ブロック画像とが対応するかはわかっていないので、最
新距離画像上のサンプル距離画像上の対象ブロックに対
応する位置の近傍の複数のブロック画像に対し、奥行き
方向動き情報を求める。次に、この奥行き方向動き情報
を用いて、ブロック画像の奥行き情報（すなわち、距離
値）を補正し、補正された最新の距離画像のブロック画
像について、平面方向動き情報を求める。このようにす
ることで、奥行き方向動き情報を含まない正確な平面方
向動き情報を取得でき、さらにこれに基づいて、奥行き
方向動き情報を求めることが可能となる。
問題点を解決するため、まず、全てのブロック画像に対
し、奥行き方向動き情報を求める。このとき、サンプル
距離画像上のあるブロック画像と最新距離画像上のどの
ブロック画像とが対応するかはわかっていないので、最
新距離画像上のサンプル距離画像上の対象ブロックに対
応する位置の近傍の複数のブロック画像に対し、奥行き
方向動き情報を求める。次に、この奥行き方向動き情報
を用いて、ブロック画像の奥行き情報（すなわち、距離
値）を補正し、補正された最新の距離画像のブロック画
像について、平面方向動き情報を求める。このようにす
ることで、奥行き方向動き情報を含まない正確な平面方
向動き情報を取得でき、さらにこれに基づいて、奥行き
方向動き情報を求めることが可能となる。
【００７４】図１２は、本発明の第２の実施形態に係る
画像認識装置の全体構成図である。
画像認識装置の全体構成図である。
【００７５】本実施形態の画像認識装置は、距離画像ス
トリームを取得するための撮像手段を備えた画像取得部
１と、画像取得部１で取得された距離画像を格納する画
像格納部１２と、画像格納部１２に格納された距離画像
を動き検出単位となる所定の大きさの小領域（ブロック
画像）に分割するブロック分割部１３と、ブロック分割
部１３で分割されたブロック画像の奥行き情報（距離
値）を算出する距離値算出部１４と、画像取得部１で取
得した距離画像を動き検出単位となる所定の大きさの小
領域（ブロック画像）に分割するブロック分割部１５
と、ブロック分割部１５で分割されたブロック画像の奥
行き情報（距離値）を算出する距離値算出部１６と、画
像格納部１２に格納された距離画像（サンプル距離画
像）と画像取得部１で取得された距離画像（最新距離画
像）との間でブロック画像毎に奥行き方向の動き（奥行
き方向動きベクトル）を検出する奥行き方向動き検出部
１７と、奥行き方向動き検出部１７で検出された奥行き
方向動き情報に基づき画像取得部１で取得された距離画
像上のブロック画像の奥行き情報を補正する奥行き情報
補正部１８と、奥行き情報を補正した最新距離画像上の
ブロック画像とサンプル距離画像上のブロック画像とか
ら平面方向の動き（平面方向動きベクトル）を検出する
平面方向動き検出部１９と、平面方向動き検出部１９で
検出された平面方向動きベクトルと奥行き方向動き検出
部１７で検出された奥行き方向動きベクトルとテンプレ
ート９を参照して動きを認識する動き認識部８と、認識
すべき動きを登録したテンプレート９とから構成されて
いる。
トリームを取得するための撮像手段を備えた画像取得部
１と、画像取得部１で取得された距離画像を格納する画
像格納部１２と、画像格納部１２に格納された距離画像
を動き検出単位となる所定の大きさの小領域（ブロック
画像）に分割するブロック分割部１３と、ブロック分割
部１３で分割されたブロック画像の奥行き情報（距離
値）を算出する距離値算出部１４と、画像取得部１で取
得した距離画像を動き検出単位となる所定の大きさの小
領域（ブロック画像）に分割するブロック分割部１５
と、ブロック分割部１５で分割されたブロック画像の奥
行き情報（距離値）を算出する距離値算出部１６と、画
像格納部１２に格納された距離画像（サンプル距離画
像）と画像取得部１で取得された距離画像（最新距離画
像）との間でブロック画像毎に奥行き方向の動き（奥行
き方向動きベクトル）を検出する奥行き方向動き検出部
１７と、奥行き方向動き検出部１７で検出された奥行き
方向動き情報に基づき画像取得部１で取得された距離画
像上のブロック画像の奥行き情報を補正する奥行き情報
補正部１８と、奥行き情報を補正した最新距離画像上の
ブロック画像とサンプル距離画像上のブロック画像とか
ら平面方向の動き（平面方向動きベクトル）を検出する
平面方向動き検出部１９と、平面方向動き検出部１９で
検出された平面方向動きベクトルと奥行き方向動き検出
部１７で検出された奥行き方向動きベクトルとテンプレ
ート９を参照して動きを認識する動き認識部８と、認識
すべき動きを登録したテンプレート９とから構成されて
いる。
【００７６】画像取得部１、画像格納部１２、ブロック
分割部１３、１５、および距離値算出部１４は、図１の
画像取得部１、画像格納部２、ブロック分割部３、４、
および距離値算出部６と同様であるので説明は省略し、
異なる部分について説明する。
分割部１３、１５、および距離値算出部１４は、図１の
画像取得部１、画像格納部２、ブロック分割部３、４、
および距離値算出部６と同様であるので説明は省略し、
異なる部分について説明する。
【００７７】図１２に示す動き認識装置は、画像取得部
１で取得した最新距離画像と画像格納部１２に格納され
たサンプル距離画像おのおのにおいて、各ブロック画像
の奥行き情報（距離値）を、距離値算出部１４、１６で
予め算出しておくことにある。
１で取得した最新距離画像と画像格納部１２に格納され
たサンプル距離画像おのおのにおいて、各ブロック画像
の奥行き情報（距離値）を、距離値算出部１４、１６で
予め算出しておくことにある。
【００７８】奥行き方向動き検出部１７では、サンプル
距離画像上の動き検出対象であるブロック画像（対象ブ
ロック）に対する最新距離画像上のブロック画像の奥行
き方向の動きを検出する（奥行き方向動き情報を算出す
る）ものである。
距離画像上の動き検出対象であるブロック画像（対象ブ
ロック）に対する最新距離画像上のブロック画像の奥行
き方向の動きを検出する（奥行き方向動き情報を算出す
る）ものである。
【００７９】ここで、図１３に示すフローチャートを参
照して、奥行き方向動き検出部１７における奥行き方向
動き検出処理について説明する。
照して、奥行き方向動き検出部１７における奥行き方向
動き検出処理について説明する。
【００８０】まず、サンプル距離画像上のブロック画像
のうち、動き情報算出の対象となるブロック画像（対象
ブロック）を設定する（ステップＳ２１）。
のうち、動き情報算出の対象となるブロック画像（対象
ブロック）を設定する（ステップＳ２１）。
【００８１】画像取得部１で取得された最新距離画像上
の動き情報探索の対象となるブロック画像（探索ブロッ
ク）の距離値を、ステップＳ２１で設定されたサンプル
距離画像上の対象ブロックの距離値と比較することで、
奥行き方向動き情報を算出する（ステップＳ２２）。探
索ブロックは、最新距離画像上からサンプル距離画像上
の対象ブロックに移動先となりうるブロック画像、すな
わち、探索ブロックを選択する場合は、第１の実施形態
と同様である。
の動き情報探索の対象となるブロック画像（探索ブロッ
ク）の距離値を、ステップＳ２１で設定されたサンプル
距離画像上の対象ブロックの距離値と比較することで、
奥行き方向動き情報を算出する（ステップＳ２２）。探
索ブロックは、最新距離画像上からサンプル距離画像上
の対象ブロックに移動先となりうるブロック画像、すな
わち、探索ブロックを選択する場合は、第１の実施形態
と同様である。
【００８２】例えば、探索ブロックの距離値からサンプ
ル距離画像上の対象ブロックの距離値を差し引くこと
で、その探索ブロックにおける対象ブロックの奥行き方
向動き情報を求めることができる。
ル距離画像上の対象ブロックの距離値を差し引くこと
で、その探索ブロックにおける対象ブロックの奥行き方
向動き情報を求めることができる。
【００８３】この段階では最新距離画像上のどの探索ブ
ロックにサンプル距離画像上の対象ブロックが遷移した
かは明確でないが、ここで求めた各探索ブロックの奥行
き方向動き情報が、最終的な奥行き方向動きベクトルと
なるわけである。
ロックにサンプル距離画像上の対象ブロックが遷移した
かは明確でないが、ここで求めた各探索ブロックの奥行
き方向動き情報が、最終的な奥行き方向動きベクトルと
なるわけである。
【００８４】ステップＳ２２の処理を最新距離画像上の
全ての探索ブロックに対して行う（ステップＳ２３）。
全ての探索ブロックに対しステップＳ２２の処理を終了
したら、ステップＳ２１に戻り、サンプル距離画像上の
他のブロック画像を対象ブロックに設定して、サンプル
距離画像上の全てのブロック画像についてステップＳ２
２の処理を行う（ステップＳ２４）。
全ての探索ブロックに対して行う（ステップＳ２３）。
全ての探索ブロックに対しステップＳ２２の処理を終了
したら、ステップＳ２１に戻り、サンプル距離画像上の
他のブロック画像を対象ブロックに設定して、サンプル
距離画像上の全てのブロック画像についてステップＳ２
２の処理を行う（ステップＳ２４）。
【００８５】奥行き情報補正部１８では、奥行き方向動
き検出部１７で求めた各探索ブロックの奥行き方向動き
情報にもとづき、最新距離画像上のブロック画像を変換
し、平面方向動き検出部１９において平面方向の動き成
分を精度よく抽出するために、奥行き方向動き成分を補
正する。
き検出部１７で求めた各探索ブロックの奥行き方向動き
情報にもとづき、最新距離画像上のブロック画像を変換
し、平面方向動き検出部１９において平面方向の動き成
分を精度よく抽出するために、奥行き方向動き成分を補
正する。
【００８６】ここで、図１４に示すフローチャートを参
照して、奥行き情報補正部１８における、奥行き情報補
正処理について説明する。
照して、奥行き情報補正部１８における、奥行き情報補
正処理について説明する。
【００８７】まず、サンプル距離画像上のブロック画像
のうち、動き情報算出の対象となるブロック画像（対象
ブロック）を設定する（ステップＳ３１）。奥行き方向
動き検出部１７で、動き情報探索の対象となった最新距
離画像上のブロック画像に対して、各探索ブロック位置
で求められた奥行き方向動き情報に基づき、当該ブロッ
ク画像全体に距離値を補正するための変換処理をかける
（ステップＳ３２）。
のうち、動き情報算出の対象となるブロック画像（対象
ブロック）を設定する（ステップＳ３１）。奥行き方向
動き検出部１７で、動き情報探索の対象となった最新距
離画像上のブロック画像に対して、各探索ブロック位置
で求められた奥行き方向動き情報に基づき、当該ブロッ
ク画像全体に距離値を補正するための変換処理をかける
（ステップＳ３２）。
【００８８】一般に対象物体が奥行き方向に平行運動を
行った場合、その動きは対象物体を撮像した距離画像上
では、距離値変化、つまり濃淡変化として求められる。
したがって、第１の実施形態における平面方向動き検出
部５で行ったように異なる時間に取得された最新距離画
像とサンプル距離画像間で、ブロック画像間の相関をと
ってもそれらの間に類似性を見出せない場合も起こり、
この場合、平面方向の動き成分が検出できないというこ
とになるわけである。
行った場合、その動きは対象物体を撮像した距離画像上
では、距離値変化、つまり濃淡変化として求められる。
したがって、第１の実施形態における平面方向動き検出
部５で行ったように異なる時間に取得された最新距離画
像とサンプル距離画像間で、ブロック画像間の相関をと
ってもそれらの間に類似性を見出せない場合も起こり、
この場合、平面方向の動き成分が検出できないというこ
とになるわけである。
【００８９】そこで、第２の実施形態では、この奥行き
情報補正部１８で、最新距離画像に奥行き成分の補正を
かけることで、平面方向動き検出部１９におけるブロッ
ク画像間の類似度計算において、上記の奥行き方向依存
成分を除去することが必要になるわけである。
情報補正部１８で、最新距離画像に奥行き成分の補正を
かけることで、平面方向動き検出部１９におけるブロッ
ク画像間の類似度計算において、上記の奥行き方向依存
成分を除去することが必要になるわけである。
【００９０】ここでは、最新距離画像上の探索ブロック
の画像をその距離値が、対象ブロックの距離値と等しく
なるように変換処理をかけることにする。探索ブロック
を構成する画素パターンには変化を与えず、距離値のみ
を変化させる最も簡単な方法は、ブロックを構成する画
素全体の画素値をそのブロック画像の奥行き方向動き情
報だけｚ軸方向にシフトさせることである。
の画像をその距離値が、対象ブロックの距離値と等しく
なるように変換処理をかけることにする。探索ブロック
を構成する画素パターンには変化を与えず、距離値のみ
を変化させる最も簡単な方法は、ブロックを構成する画
素全体の画素値をそのブロック画像の奥行き方向動き情
報だけｚ軸方向にシフトさせることである。
【００９１】例えば、ブロック単位の計測で最新距離画
像上のｘ軸方向にｘブロック目、ｙ軸方向にｙブロック
目の位置（ｘ，ｙ）にあるブロック画像中の画素値は次
式（４）を用いて、奥行き方向の補正を行うことができ
る。
像上のｘ軸方向にｘブロック目、ｙ軸方向にｙブロック
目の位置（ｘ，ｙ）にあるブロック画像中の画素値は次
式（４）を用いて、奥行き方向の補正を行うことができ
る。
【００９２】
【数３】
【００９３】図１５は、奥行き情報補正部１８で、最新
距離画像上のブロック画像をそのブロック画像から検出
された奥行き方向動き情報だけ、ｚ軸（奥行き）方向に
底上げし、当該ブロック画像の距離値をサンプル距離画
像上の対象ブロックの画像の距離値に合わせている様子
を示している。
距離画像上のブロック画像をそのブロック画像から検出
された奥行き方向動き情報だけ、ｚ軸（奥行き）方向に
底上げし、当該ブロック画像の距離値をサンプル距離画
像上の対象ブロックの画像の距離値に合わせている様子
を示している。
【００９４】以上の奥行き情報補正処理を最新距離画像
上の全ての探索ブロックに対して行う（ステップＳ３
３）。全ての探索ブロックに対しステップＳ３２の処理
を終了したら、ステップＳ３１に戻り、サンプル距離画
像上の他のブロック画像を対象ブロックに設定して、サ
ンプル距離画像上の全てのブロック画像についてステッ
プＳ２２の処理を行う（ステップＳ２４）。
上の全ての探索ブロックに対して行う（ステップＳ３
３）。全ての探索ブロックに対しステップＳ３２の処理
を終了したら、ステップＳ３１に戻り、サンプル距離画
像上の他のブロック画像を対象ブロックに設定して、サ
ンプル距離画像上の全てのブロック画像についてステッ
プＳ２２の処理を行う（ステップＳ２４）。
【００９５】次に、平面方向動き検出部１９では、サン
プル距離画像上の対象ブロックの画像と、奥行き情報補
正部１８でその距離値を補正して得られた変換距離画像
とから、対象ブロックの平面方向動き情報を検出する。
プル距離画像上の対象ブロックの画像と、奥行き情報補
正部１８でその距離値を補正して得られた変換距離画像
とから、対象ブロックの平面方向動き情報を検出する。
【００９６】平面方向動き検出部１９における処理の流
れは、第１の実施形態における平面方向動き検出部５お
よび図８に示した平面方向動き検出部５の処理動作を示
したフローチャートの説明で、探索ブロックとして奥行
き情報補正部１８で補正したブロック画像と置き換えれ
ば同様である。
れは、第１の実施形態における平面方向動き検出部５お
よび図８に示した平面方向動き検出部５の処理動作を示
したフローチャートの説明で、探索ブロックとして奥行
き情報補正部１８で補正したブロック画像と置き換えれ
ば同様である。
【００９７】最終的にサンプル距離画像上の各対象ブロ
ックにおいて、平面方向動き検出部１９で検出された最
も相関の高いブロックへの相対ベクトルが平面方向動き
ベクトルとして検出され、移動先ブロック（最も相関の
高いブロック）における奥行き方向動き検出部１７であ
らかじめ検出しておいた奥行き方向動き情報が奥行き方
向動きベクトルとして検出できたことになる。
ックにおいて、平面方向動き検出部１９で検出された最
も相関の高いブロックへの相対ベクトルが平面方向動き
ベクトルとして検出され、移動先ブロック（最も相関の
高いブロック）における奥行き方向動き検出部１７であ
らかじめ検出しておいた奥行き方向動き情報が奥行き方
向動きベクトルとして検出できたことになる。
【００９８】第１の実施形態における構成では、奥行き
方向動き情報の検出処理が一度で済むため、高速に奥行
き方向の動き情報を検出することができるが、奥行き方
向の動き成分が大きな対象物に対しては、平面方向の動
き成分を検出し損ねる可能性がある。一方、第２の実施
形態における構成では、奥行き方向動き情報に基づき最
新距離画像の奥行き情報に補正をかけ、奥行き方向の動
き成分による距離画像の濃淡変化を補正した上で、平面
方向動き情報の検出を行っているため、より高精度に奥
行き方向の動き成分を有する対象物の３次元動き情報を
検出することが可能となる。 （第１および第２の実施形態における動き検出結果の表
示および動き認識部８の説明）図１７、１８は、第１の
実施形態の平面方向動き検出部５と奥行き方向動き検出
部７、あるいは第２の実施形態の奥行き方向動き検出部
１７と平面方向動き検出部１９にて検出された、３次元
動き情報（平面方向動きベクトル、奥行き方向動きベク
トル）を３次元的なベクトルで表して、所定の表示装置
に表示する際の表示例を示したものである。
方向動き情報の検出処理が一度で済むため、高速に奥行
き方向の動き情報を検出することができるが、奥行き方
向の動き成分が大きな対象物に対しては、平面方向の動
き成分を検出し損ねる可能性がある。一方、第２の実施
形態における構成では、奥行き方向動き情報に基づき最
新距離画像の奥行き情報に補正をかけ、奥行き方向の動
き成分による距離画像の濃淡変化を補正した上で、平面
方向動き情報の検出を行っているため、より高精度に奥
行き方向の動き成分を有する対象物の３次元動き情報を
検出することが可能となる。 （第１および第２の実施形態における動き検出結果の表
示および動き認識部８の説明）図１７、１８は、第１の
実施形態の平面方向動き検出部５と奥行き方向動き検出
部７、あるいは第２の実施形態の奥行き方向動き検出部
１７と平面方向動き検出部１９にて検出された、３次元
動き情報（平面方向動きベクトル、奥行き方向動きベク
トル）を３次元的なベクトルで表して、所定の表示装置
に表示する際の表示例を示したものである。
【００９９】ここでは、例えば、６４×６４の画素で構
成される距離画像を縦方向に８等分、横方向に８等分に
分割し、各ブロック画像における動きベクトルを矢印で
３次元的に表示したものである。
成される距離画像を縦方向に８等分、横方向に８等分に
分割し、各ブロック画像における動きベクトルを矢印で
３次元的に表示したものである。
【０１００】動きベクトルを３次元的に表示するとは、
例えば、図１９に示すように、移動距離が０〜５ｃｍ、
５〜１０ｃｍ、１０〜１５ｃｍと３段階に分類して、奥
行き方向動き情報に基づき、矢印を段階的に色を違えた
り、線分の種類を違えたりして表示すればよい。
例えば、図１９に示すように、移動距離が０〜５ｃｍ、
５〜１０ｃｍ、１０〜１５ｃｍと３段階に分類して、奥
行き方向動き情報に基づき、矢印を段階的に色を違えた
り、線分の種類を違えたりして表示すればよい。
【０１０１】図１７、１８に示した画面表示例で、画面
の下部に表示してあるスケールは、求められた各ブロッ
ク画像の動きベクトルを合成することで、フレーム全体
のＸＹＺ各軸方向における動き成分のかたよりを表示し
たものである。例えば、図１７の場合、Ｘ軸方向の動き
スケールが右に片寄っている、つまり動きベクトルが全
体的に右を向いていることを示しており、撮像した手が
右に動いていると解釈することができる。同様にＹ軸方
向、あるいは奥行き方向（Ｚ軸方向）に関しても、動き
ベクトルのＹ軸方向成分、奥行き成分（Ｚ軸方向成分）
を観察することで、撮像しているオブジェクトの全体的
な動きも検出することができるわけである。
の下部に表示してあるスケールは、求められた各ブロッ
ク画像の動きベクトルを合成することで、フレーム全体
のＸＹＺ各軸方向における動き成分のかたよりを表示し
たものである。例えば、図１７の場合、Ｘ軸方向の動き
スケールが右に片寄っている、つまり動きベクトルが全
体的に右を向いていることを示しており、撮像した手が
右に動いていると解釈することができる。同様にＹ軸方
向、あるいは奥行き方向（Ｚ軸方向）に関しても、動き
ベクトルのＹ軸方向成分、奥行き成分（Ｚ軸方向成分）
を観察することで、撮像しているオブジェクトの全体的
な動きも検出することができるわけである。
【０１０２】このように、フレーム画像中の特定個所、
つまり各ブロック画像における動き情報を検出するだけ
でなく、各ブロックにおける動きベクトルを合成するこ
とで、領域としての動き情報を求めることも可能であ
り、オブジェクトの動き認識といったより高次の動き検
出に利用することもできる。
つまり各ブロック画像における動き情報を検出するだけ
でなく、各ブロックにおける動きベクトルを合成するこ
とで、領域としての動き情報を求めることも可能であ
り、オブジェクトの動き認識といったより高次の動き検
出に利用することもできる。
【０１０３】例えば、図１、図１２の動き認識部８で
は、６４×６４の画素で構成される距離画像を縦方向に
８等分、横方向に８等分に分割して各ブロック画像から
検出された平面方向および奥行き方向の動きベクトルを
合成して、縦方向に２等分、横方向に２等分に分割して
計４つのブロック画像毎の３次元的な動きベクトルを算
出する。
は、６４×６４の画素で構成される距離画像を縦方向に
８等分、横方向に８等分に分割して各ブロック画像から
検出された平面方向および奥行き方向の動きベクトルを
合成して、縦方向に２等分、横方向に２等分に分割して
計４つのブロック画像毎の３次元的な動きベクトルを算
出する。
【０１０４】この動きベクトルと図１６に示したような
テンプレート９と照合して検出された動きがどのような
種類の動きであるかを認識する。このテンプレート９
は、所定のメモリ上に構成される。
テンプレート９と照合して検出された動きがどのような
種類の動きであるかを認識する。このテンプレート９
は、所定のメモリ上に構成される。
【０１０５】図１６に示したテンプレート９には、認識
すべき動き（例えば、右上への移動、左上への移動、右
回りの回転移動、左回りの回転移動等）のそれぞれに対
応する４つの各ブロック画像毎の３次元動きベクトルが
予め登録されている。
すべき動き（例えば、右上への移動、左上への移動、右
回りの回転移動、左回りの回転移動等）のそれぞれに対
応する４つの各ブロック画像毎の３次元動きベクトルが
予め登録されている。
【０１０６】動き認識部８は、図１７に示したような動
きベクトルを合成して４つの３次元動きベクトルを算出
し、図１９に示したようなテンプレート９を参照するこ
とにより、この距離画像から検出された動きは右上への
移動であると認識できる。また、図１８に示したような
動きベクトルを合成して４つの３次元動きベクトルを算
出し、図１９に示したようなテンプレートを参照するこ
とにより、この距離画像から検出された動きは右回りの
回転移動であると認識できる。
きベクトルを合成して４つの３次元動きベクトルを算出
し、図１９に示したようなテンプレート９を参照するこ
とにより、この距離画像から検出された動きは右上への
移動であると認識できる。また、図１８に示したような
動きベクトルを合成して４つの３次元動きベクトルを算
出し、図１９に示したようなテンプレートを参照するこ
とにより、この距離画像から検出された動きは右回りの
回転移動であると認識できる。
【０１０７】以上の各構成部は、画像取得部１の撮像部
分を除いて、ソフトウェアとしても実現可能である。す
なわち、上記した各手順をコンピュータに実行させるこ
とのできるプログラムとして機械読みとり可能な記録媒
体に記録して頒布することができる。
分を除いて、ソフトウェアとしても実現可能である。す
なわち、上記した各手順をコンピュータに実行させるこ
とのできるプログラムとして機械読みとり可能な記録媒
体に記録して頒布することができる。
【０１０８】本発明は、上述した実施の形態に限定され
るものではなく、その技術的範囲において種々変形して
実施することができる。
るものではなく、その技術的範囲において種々変形して
実施することができる。
【０１０９】
【発明の効果】以上説明したように、本発明によれば、
３次元的な動きを高精度に検出できる。また、３次元的
な動き高精度に認識できる。
３次元的な動きを高精度に検出できる。また、３次元的
な動き高精度に認識できる。
【図１】本発明の第１の実施形態に係る画像認識装置の
構成例を概略的に示す図。
構成例を概略的に示す図。
【図２】画像取得部の概略的な構成図。
【図３】距離画像をマトリックス状に示した図。
【図４】距離画像を３次元的に示した図。
【図５】画像取得部を構成する発光部と受光部の外観の
一例を示した図。
一例を示した図。
【図６】距離画像の一具体例を示した図。
【図７】図６の距離画像を分割した様子を示した図。
【図８】平面方向動き検出処理動作を説明するためのフ
ローチャート。
ローチャート。
【図９】平面方向動き検出処理を具体的に説明するため
の図。
の図。
【図１０】ブロック画像の奥行き情報（距離値）を概念
的に説明するための図。
的に説明するための図。
【図１１】奥行き方向動き検出処理を具体的に説明する
ための図。
ための図。
【図１２】本発明の第２の実施形態に係る画像認識装置
の構成例を概略的に示す図。
の構成例を概略的に示す図。
【図１３】奥行き方向動き検出処理について説明するた
めのフローチャート。
めのフローチャート。
【図１４】奥行き情報補正処理について説明するための
フローチャート。
フローチャート。
【図１５】奥行き情報補正処理を具体的に説明するため
の図。
の図。
【図１６】認識すべき動きの登録されたテンプレートの
一例を示した図。
一例を示した図。
【図１７】３次元動き情報（平面方向動きベクトル、奥
行き方向動きベクトル）を３次元的なベクトルで表し
て、所定の表示装置に表示する際の表示例を示した図。
行き方向動きベクトル）を３次元的なベクトルで表し
て、所定の表示装置に表示する際の表示例を示した図。
【図１８】３次元動き情報（平面方向動きベクトル、奥
行き方向動きベクトル）を３次元的なベクトルで表し
て、所定の表示装置に表示する際の表示例を示した図。
行き方向動きベクトル）を３次元的なベクトルで表し
て、所定の表示装置に表示する際の表示例を示した図。
【図１９】３次元動き情報（平面方向動きベクトル、奥
行き方向動きベクトル）を表したベクトルの３次元的な
表示例を示した図。
行き方向動きベクトル）を表したベクトルの３次元的な
表示例を示した図。
１…画像取得部 ２…画像格納部 ３、４…ブロック分割部 ５…平面方向動き検出部 ６…距離値算出部 ７…奥行き方向動き検出部 ８…動き認識部 ９…テンプレート １２…画像格納部 １３…ブロック分割部 １４…距離値算出部 １５…ブロック分割部 １６…距離値算出部 １７…奥行き方向動き検出部 １８…奥行き情報補正部 １９…平面方向動き検出部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 森下 明 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 梅木 直子 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 土井 美和子 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内
Claims (10)
- 【請求項１】 取得した距離画像を所定の大きさの小領
域に分割して、連続して取得した距離画像間で、類似す
る前記小領域毎に平面方向の動きを検出し、前記小領域
毎に奥行き情報を算出して、該奥行き情報を基に類似す
る小領域間で奥行き方向の動きを検出することを特徴と
する動き検出方法。 - 【請求項２】 取得した距離画像を所定の大きさの小領
域に分割して、前記小領域毎に奥行き情報を算出し、連
続して取得した距離画像間で、前記小領域毎に前記奥行
き情報を基に奥行き方向の動きを検出し、移動元の小領
域と、前記検出された奥行き方向の動きに基づき前記奥
行き情報を補正した小領域であって前記移動元の小領域
に類似する小領域との間で平面方向の動きを検出するこ
とを特徴とする動き検出方法。 - 【請求項３】 取得した距離画像を所定の大きさの小領
域に分割して、連続して取得した距離画像間で、類似す
る前記小領域毎に平面方向の動きを検出し、前記小領域
毎に奥行き情報を算出して、該奥行き情報を基に類似す
る小領域間で奥行き方向の動きを検出し、前記平面方向
の動きと前記奥行き方向の動きとから該動きを認識する
ことを特徴とする動き認識方法。 - 【請求項４】 取得した距離画像を所定の大きさの小領
域に分割して、前記小領域毎に奥行き情報を算出し、連
続して取得した距離画像間で、前記小領域毎に前記奥行
き情報を基に奥行き方向の動きを検出し、移動元の小領
域と前記検出された奥行き方向の動きに基づき前記奥行
き情報を補正した小領域であって前記移動元の小領域に
類似する小領域との間で平面方向の動きを検出し、前記
平面方向の動きと前記奥行き方向の動きとから該動きを
認識することを特徴とする動き認識方法。 - 【請求項５】 距離画像を取得する画像取得手段と、こ
の画像取得手段で取得した距離画像を所定の大きさの小
領域に分割する分割手段と、前記画像取得手段で連続し
て取得した距離画像間で、類似する前記小領域毎に平面
方向の動きを検出する第１の検出手段と、 前記小領域毎に奥行き情報を算出する算出手段と、 この算出手段で算出された奥行き情報を基に類似する小
領域間で奥行き方向の動きを検出する第２の検出手段
と、 を具備したことを特徴とする動き検出装置。 - 【請求項６】 距離画像を取得する画像取得手段と、 この画像取得手段で取得した距離画像を所定の大きさの
小領域に分割する分割手段と、 前記小領域毎に奥行き情報を算出する算出手段と、 前記画像取得手段で連続して取得した距離画像間で、前
記小領域毎に前記奥行き情報を基に奥行き方向の動きを
検出する第１の動き検出手段と、 この第１の検出手段で検出された奥行き方向の動きに基
づき前記奥行き情報を補正する補正手段と、 移動元の小領域と、前記補正手段で前記奥行き情報を補
正した小領域であって前記移動元の小領域に類似する小
領域との間で平面方向の動きを検出する第２の検出手段
と、 を具備したことを特徴とする動き検出装置。 - 【請求項７】 距離画像を取得する画像取得手段と、 この画像取得手段で取得した距離画像を所定の大きさの
小領域に分割する分割手段と、 前記画像取得手段で連続して取得した距離画像間で、類
似する前記小領域毎に平面方向の動きを検出する第１の
検出手段と、 前記小領域毎に奥行き情報を算出する算出手段と、 この算出手段で算出された奥行き情報を基に類似する小
領域間で奥行き方向の動きを検出する第２の検出手段
と、 類似する小領域間から検出された前記平面方向の動きと
前記奥行き方向の動きとから該動きを認識する認識手段
と、 を具備したことを特徴とする動き認識装置。 - 【請求項８】 距離画像を取得する画像取得手段と、 この画像取得手段で取得した距離画像を所定の大きさの
小領域に分割する分割手段と、 前記小領域毎に奥行き情報を算出する算出手段と、 前記画像取得手段で連続して取得した距離画像間で、前
記小領域毎に前記奥行き情報を基に奥行き方向の動きを
検出する第１の動き検出手段と、 この第１の検出手段で検出された奥行き方向の動きに基
づき前記奥行き情報を補正する補正手段と、 移動元の小領域と、前記補正手段で前記奥行き情報を補
正した小領域であって前記移動元の小領域に類似する小
領域との間で平面方向の動きを検出する第２の検出手段
と、 類似する小領域間から検出された前記平面方向の動きと
前記奥行き方向の動きとから該動きを認識する認識手段
と、 を具備したことを特徴とする動き認識装置。 - 【請求項９】 取得した距離画像を所定の大きさの小領
域に分割させる分割手段と、 連続して取得した距離画像間で、類似する前記小領域毎
に平面方向の動きを検出させる第１の検出手段と、 前記小領域毎に奥行き情報を算出させる算出手段と、 この算出手段で算出された奥行き情報を基に類似する小
領域間で奥行き方向の動きを検出させる第２の検出手段
と、 類似する小領域間から検出された前記平面方向の動きと
前記奥行き方向の動きとから該動きを認識させる認識手
段と、 を実行するプログラムを記録した機械読み取り可能な記
録媒体。 - 【請求項１０】 取得した距離画像を所定の大きさの小
領域に分割させる分割手段と、 前記小領域毎に奥行き情報を算出させる算出手段と、 前記画像取得手段で連続して取得した距離画像間で、前
記小領域毎に前記奥行き情報を基に奥行き方向の動きを
検出させる第１の動き検出手段と、 この第１の検出手段で検出された奥行き方向の動きに基
づき前記奥行き情報を補正させる補正手段と、 移動元の小領域と、前記補正手段で前記奥行き情報を補
正した小領域であって前記移動元の小領域に類似する小
領域との間で平面方向の動きを検出させる第２の検出手
段と、 類似する小領域間から検出された前記平面方向の動きと
前記奥行き方向の動きとから該動きを認識させる認識手
段と、 を実行するプログラムを記録した機械読み取り可能な記
録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02393999A JP3637226B2 (ja) | 1999-02-01 | 1999-02-01 | 動き検出方法、動き検出装置及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02393999A JP3637226B2 (ja) | 1999-02-01 | 1999-02-01 | 動き検出方法、動き検出装置及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000222585A true JP2000222585A (ja) | 2000-08-11 |
| JP3637226B2 JP3637226B2 (ja) | 2005-04-13 |
Family
ID=12124511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02393999A Expired - Fee Related JP3637226B2 (ja) | 1999-02-01 | 1999-02-01 | 動き検出方法、動き検出装置及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3637226B2 (ja) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002366958A (ja) * | 2001-06-08 | 2002-12-20 | Toshiba Corp | 画像認識方法および画像認識装置 |
| JP2006039700A (ja) * | 2004-07-23 | 2006-02-09 | Casio Comput Co Ltd | 画像処理装置および画像処理のプログラム |
| JP2006527443A (ja) * | 2003-06-12 | 2006-11-30 | 本田技研工業株式会社 | 奥行き検出を用いた対象の向きの推定 |
| JP2007020130A (ja) * | 2005-07-11 | 2007-01-25 | Ricoh Co Ltd | 動画像処理装置、及び動画像処理方法 |
| JP2007517198A (ja) * | 2003-12-19 | 2007-06-28 | アバゴ・テクノロジーズ・ジェネラル・アイピー（シンガポール）プライベート・リミテッド | 投影縞技法を用いた光学ナビゲーションのためのシステム及び方法 |
| JP2009245462A (ja) * | 2009-07-27 | 2009-10-22 | Denso Corp | 情報機器操作装置 |
| JP2010002326A (ja) * | 2008-06-20 | 2010-01-07 | Stanley Electric Co Ltd | 移動ベクトル検出装置 |
| JP2010071976A (ja) * | 2008-08-19 | 2010-04-02 | Panasonic Corp | 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ |
| JP2010154405A (ja) * | 2008-12-26 | 2010-07-08 | Toshiba Corp | 映像再生装置、制御信号生成装置及び制御信号生成方法 |
| JP2010191827A (ja) * | 2009-02-19 | 2010-09-02 | Sony Computer Entertainment Inc | 情報処理装置および情報処理方法 |
| WO2011027838A1 (ja) * | 2009-09-03 | 2011-03-10 | 国立大学法人佐賀大学 | ひずみ計測方法、ひずみ計測装置およびプログラム |
| JP2011217294A (ja) * | 2010-04-02 | 2011-10-27 | Sharp Corp | ノイズ低減処理装置 |
| JP2012080242A (ja) * | 2010-09-30 | 2012-04-19 | Sharp Corp | 予測ベクトル生成方法、画像符号化方法、画像復号方法、予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成プログラム、画像符号化プログラムおよび画像復号プログラム |
| WO2013054463A1 (ja) * | 2011-10-11 | 2013-04-18 | パナソニック株式会社 | 撮像装置とその集積回路、撮像方法、撮像プログラム、および撮像システム |
| WO2014108976A1 (ja) * | 2013-01-10 | 2014-07-17 | 三洋電機株式会社 | 物体検出装置 |
| JP2017011397A (ja) * | 2015-06-18 | 2017-01-12 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP2017509986A (ja) * | 2014-12-19 | 2017-04-06 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 超音波深度検出を使用するオプティカルフロー画像化システム及び方法 |
| DE112021001777T5 (de) | 2020-03-23 | 2023-01-12 | Fanuc Corporation | Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren |
-
1999
- 1999-02-01 JP JP02393999A patent/JP3637226B2/ja not_active Expired - Fee Related
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002366958A (ja) * | 2001-06-08 | 2002-12-20 | Toshiba Corp | 画像認識方法および画像認識装置 |
| JP2006527443A (ja) * | 2003-06-12 | 2006-11-30 | 本田技研工業株式会社 | 奥行き検出を用いた対象の向きの推定 |
| US8031906B2 (en) | 2003-06-12 | 2011-10-04 | Honda Motor Co., Ltd. | Target orientation estimation using depth sensing |
| JP2007517198A (ja) * | 2003-12-19 | 2007-06-28 | アバゴ・テクノロジーズ・ジェネラル・アイピー（シンガポール）プライベート・リミテッド | 投影縞技法を用いた光学ナビゲーションのためのシステム及び方法 |
| JP4552553B2 (ja) * | 2004-07-23 | 2010-09-29 | カシオ計算機株式会社 | 画像処理装置および画像処理のプログラム |
| JP2006039700A (ja) * | 2004-07-23 | 2006-02-09 | Casio Comput Co Ltd | 画像処理装置および画像処理のプログラム |
| JP2007020130A (ja) * | 2005-07-11 | 2007-01-25 | Ricoh Co Ltd | 動画像処理装置、及び動画像処理方法 |
| JP2010002326A (ja) * | 2008-06-20 | 2010-01-07 | Stanley Electric Co Ltd | 移動ベクトル検出装置 |
| JP2010071976A (ja) * | 2008-08-19 | 2010-04-02 | Panasonic Corp | 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ |
| JP2010154405A (ja) * | 2008-12-26 | 2010-07-08 | Toshiba Corp | 映像再生装置、制御信号生成装置及び制御信号生成方法 |
| US8879787B2 (en) | 2009-02-19 | 2014-11-04 | Sony Corporation | Information processing device and information processing method |
| JP2010191827A (ja) * | 2009-02-19 | 2010-09-02 | Sony Computer Entertainment Inc | 情報処理装置および情報処理方法 |
| JP2009245462A (ja) * | 2009-07-27 | 2009-10-22 | Denso Corp | 情報機器操作装置 |
| JP2011053157A (ja) * | 2009-09-03 | 2011-03-17 | Saga Univ | ひずみ計測方法、ひずみ計測装置およびプログラム |
| WO2011027838A1 (ja) * | 2009-09-03 | 2011-03-10 | 国立大学法人佐賀大学 | ひずみ計測方法、ひずみ計測装置およびプログラム |
| JP2011217294A (ja) * | 2010-04-02 | 2011-10-27 | Sharp Corp | ノイズ低減処理装置 |
| JP2012080242A (ja) * | 2010-09-30 | 2012-04-19 | Sharp Corp | 予測ベクトル生成方法、画像符号化方法、画像復号方法、予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成プログラム、画像符号化プログラムおよび画像復号プログラム |
| JPWO2013054463A1 (ja) * | 2011-10-11 | 2015-03-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 撮像装置とその集積回路、撮像方法、撮像プログラム、および撮像システム |
| WO2013054463A1 (ja) * | 2011-10-11 | 2013-04-18 | パナソニック株式会社 | 撮像装置とその集積回路、撮像方法、撮像プログラム、および撮像システム |
| WO2014108976A1 (ja) * | 2013-01-10 | 2014-07-17 | 三洋電機株式会社 | 物体検出装置 |
| JP2017509986A (ja) * | 2014-12-19 | 2017-04-06 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 超音波深度検出を使用するオプティカルフロー画像化システム及び方法 |
| US9704265B2 (en) | 2014-12-19 | 2017-07-11 | SZ DJI Technology Co., Ltd. | Optical-flow imaging system and method using ultrasonic depth sensing |
| JP2017011397A (ja) * | 2015-06-18 | 2017-01-12 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| DE112021001777T5 (de) | 2020-03-23 | 2023-01-12 | Fanuc Corporation | Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3637226B2 (ja) | 2005-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3637226B2 (ja) | 動き検出方法、動き検出装置及び記録媒体 | |
| JP4349367B2 (ja) | 物体の位置姿勢を推定する推定システム、推定方法および推定プログラム | |
| TWI555379B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
| US7986321B2 (en) | System and method for generating structured light for 3-dimensional image rendering | |
| Bonfort et al. | General specular surface triangulation | |
| US9171379B2 (en) | Hybrid precision tracking | |
| US20130335535A1 (en) | Digital 3d camera using periodic illumination | |
| US20050190972A1 (en) | System and method for position determination | |
| US20030202120A1 (en) | Virtual lighting system | |
| CN105898107B (zh) | 一种目标物体抓拍方法及系统 | |
| JP2014529727A (ja) | 自動シーン較正 | |
| JP2013101045A (ja) | 物品の３次元位置姿勢の認識装置及び認識方法 | |
| CN105190229B (zh) | 三维形状计测装置、三维形状计测方法及三维形状计测程序 | |
| JP2009081853A (ja) | 撮像システム及び方法 | |
| US20190073796A1 (en) | Method and Image Processing System for Determining Parameters of a Camera | |
| CN106705849A (zh) | 线结构光传感器标定方法 | |
| JPWO2020075252A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| US20130287293A1 (en) | Active Lighting For Stereo Reconstruction Of Edges | |
| KR20140114594A (ko) | 사람 객체 추적을 통한 자동 카메라 보정 방법 | |
| EP2826243B1 (en) | Method and system for identifying depth data associated with an object | |
| CN104732586A (zh) | 一种三维人体动态形体和三维运动光流快速重建方法 | |
| JPH07181024A (ja) | ３次元形状計測方法および装置 | |
| JPH1144533A (ja) | 先行車両検出装置 | |
| Ringaby et al. | Scan rectification for structured light range sensors with rolling shutters | |
| JP5336325B2 (ja) | 画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040913 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050107 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3637226 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100114 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110114 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120114 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130114 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140114 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |