JP2002063578A - 動き情報検知装置及び動き情報検知方法及び動き情報検知プログラムを記録した記録媒体 - Google Patents
動き情報検知装置及び動き情報検知方法及び動き情報検知プログラムを記録した記録媒体Info
- Publication number
- JP2002063578A JP2002063578A JP2000249407A JP2000249407A JP2002063578A JP 2002063578 A JP2002063578 A JP 2002063578A JP 2000249407 A JP2000249407 A JP 2000249407A JP 2000249407 A JP2000249407 A JP 2000249407A JP 2002063578 A JP2002063578 A JP 2002063578A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- dimensional
- partial
- image
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】 簡便な構成により、画像センサにより撮影さ
れた二次元画像から、動き情報を得る。 【解決手段】 画像センサにより二次元画像を撮影する
画像入力部、この二次元画像を複数の部分領域に分け、
この複数の部分領域毎の複数の二次元動きベクトルを算
出する部分動き算出部、複数の二次元動きベクトルを統
合することで空間的動きを検知する全体動き検知部を備
える。
れた二次元画像から、動き情報を得る。 【解決手段】 画像センサにより二次元画像を撮影する
画像入力部、この二次元画像を複数の部分領域に分け、
この複数の部分領域毎の複数の二次元動きベクトルを算
出する部分動き算出部、複数の二次元動きベクトルを統
合することで空間的動きを検知する全体動き検知部を備
える。
Description
【０００１】
【発明の属する技術分野】本発明は、画像センサにより
撮影された二次元画像から動き情報を得る動き情報検知
装置に関し、さらに詳しくは、二次元平面的な並進運動
だけでなく、回転運動、奥行き運動等の空間的な動きに
関する情報を得ることを目的とした動き情報検知装置、
及び動き情報検知方法、及び動き情報検知プログラムを
記録した記録媒体に関するものである。
撮影された二次元画像から動き情報を得る動き情報検知
装置に関し、さらに詳しくは、二次元平面的な並進運動
だけでなく、回転運動、奥行き運動等の空間的な動きに
関する情報を得ることを目的とした動き情報検知装置、
及び動き情報検知方法、及び動き情報検知プログラムを
記録した記録媒体に関するものである。
【０００２】
【従来の技術】人間がコンピュータを操作する際に必要
な入力情報としては、マウス等のポインティングデバイ
スの画面上のカーソル位置を更新するための二次元平面
上の動きに加え、並進運動以外の操作、例えば回転等の
操作がマンマシン・インターフェースとして必要になる
場合がある。これはコンピュータゲーム機、例えば、カ
ーレース等のコンピュータゲームの場合において、ゲー
ムユーザーがゲーム専用インターフェースを介してハン
ドルの回転操作等をゲームに反映させようとする場合な
どにおいて特に顕著である。このような機能を実現させ
る従来技術の例として、特開平７-３０２１５７号公報
におけるゲームインターフェースのように、回転操作を
機械的に検出する例がある。しかし、この方式によれ
ば、機械的に検出することができる回転操作は特定の平
面上の回転にのみ限られ、また同時に並進的な操作や奥
行き方向の操作の検出は困難であった。さらに、カーレ
ースゲームに限らず、最近他のコンピュータゲームにお
いて、回転操作以外の操作も検出する必要性が高まって
きており、そのような分野においては、上記の従来技術
では対応することができなかった。すなわち、回転操作
を含む様々な操作の検出を実現するには、上記の機械的
センシング手段に加えて別の手段が必要となるため、全
体として複数のセンサを用意する必要があり、従って部
品点数が増えるのでコスト高となり、また、小型化・軽
量化が困難となりマンマシンインターフェイスとして実
用性に欠けるものとなるという問題点があった。
な入力情報としては、マウス等のポインティングデバイ
スの画面上のカーソル位置を更新するための二次元平面
上の動きに加え、並進運動以外の操作、例えば回転等の
操作がマンマシン・インターフェースとして必要になる
場合がある。これはコンピュータゲーム機、例えば、カ
ーレース等のコンピュータゲームの場合において、ゲー
ムユーザーがゲーム専用インターフェースを介してハン
ドルの回転操作等をゲームに反映させようとする場合な
どにおいて特に顕著である。このような機能を実現させ
る従来技術の例として、特開平７-３０２１５７号公報
におけるゲームインターフェースのように、回転操作を
機械的に検出する例がある。しかし、この方式によれ
ば、機械的に検出することができる回転操作は特定の平
面上の回転にのみ限られ、また同時に並進的な操作や奥
行き方向の操作の検出は困難であった。さらに、カーレ
ースゲームに限らず、最近他のコンピュータゲームにお
いて、回転操作以外の操作も検出する必要性が高まって
きており、そのような分野においては、上記の従来技術
では対応することができなかった。すなわち、回転操作
を含む様々な操作の検出を実現するには、上記の機械的
センシング手段に加えて別の手段が必要となるため、全
体として複数のセンサを用意する必要があり、従って部
品点数が増えるのでコスト高となり、また、小型化・軽
量化が困難となりマンマシンインターフェイスとして実
用性に欠けるものとなるという問題点があった。
【０００３】
【発明が解決しようとする課題】本発明は上記の問題点
を解決するためになされたもので、人間の操作対象とな
るインターフェースとして、簡便な構造で小型化、軽量
化が容易なインターフエースを提供することを目的とす
る。また、このインターフェースを動作させるための方
法を提供することを目的とする。また、このインターフ
ェースを動作させるためのプログラムを記録した記録媒
体を提供することを目的とする。
を解決するためになされたもので、人間の操作対象とな
るインターフェースとして、簡便な構造で小型化、軽量
化が容易なインターフエースを提供することを目的とす
る。また、このインターフェースを動作させるための方
法を提供することを目的とする。また、このインターフ
ェースを動作させるためのプログラムを記録した記録媒
体を提供することを目的とする。
【０００４】
【課題を解決するための手段】本発明に係る第一の発明
は、画像センサにより二次元画像を撮影する画像入力
部、この二次元画像を複数の部分領域に分けこの複数の
部分領域毎の複数の二次元動きベクトルを算出する部分
動き算出部、複数の二次元動きベクトルを統合すること
で二次元画像中に含まれる空間的動きを検知する全体動
き検知部、とを備えるものである。
は、画像センサにより二次元画像を撮影する画像入力
部、この二次元画像を複数の部分領域に分けこの複数の
部分領域毎の複数の二次元動きベクトルを算出する部分
動き算出部、複数の二次元動きベクトルを統合すること
で二次元画像中に含まれる空間的動きを検知する全体動
き検知部、とを備えるものである。
【０００５】本発明に係る第二の発明は、全体動き検知
部は、並進成分和と回転成分和と奥行き成分和として複
数の二次元動きベクトルを統合し、並進成分和が最も大
の場合、空間的動きは並進運動と検知するものである。
部は、並進成分和と回転成分和と奥行き成分和として複
数の二次元動きベクトルを統合し、並進成分和が最も大
の場合、空間的動きは並進運動と検知するものである。
【０００６】本発明に係る第三の発明は、全体動き検知
部は、並進成分和と回転成分和と奥行き成分和として複
数の二次元動きベクトルを統合し、回転成分和が最も大
の場合、空間的動きは回転運動と検知するものである。
部は、並進成分和と回転成分和と奥行き成分和として複
数の二次元動きベクトルを統合し、回転成分和が最も大
の場合、空間的動きは回転運動と検知するものである。
【０００７】本発明に係る第四の発明は、全体動き検知
部は、並進成分和と回転成分和と奥行き成分和をとして
複数の二次元動きベクトルを統合し、奥行き成分和が最
も大の場合、空間的動きは奥行き運動と検知するもので
ある。
部は、並進成分和と回転成分和と奥行き成分和をとして
複数の二次元動きベクトルを統合し、奥行き成分和が最
も大の場合、空間的動きは奥行き運動と検知するもので
ある。
【０００８】本発明に係る第五の発明は、部分動き算出
部は、複数の部分領域毎に射影データを計算し、この射
影データを用いて複数の部分領域毎の二次元動きベクト
ルを得るものである。
部は、複数の部分領域毎に射影データを計算し、この射
影データを用いて複数の部分領域毎の二次元動きベクト
ルを得るものである。
【０００９】本発明に係る第六の発明は、画像センサに
より二次元画像を撮影する手順と、二次元画像を複数の
部分領域に分ける手順と、複数の部分領域毎の二次元動
きベクトルを算出する手順と、二次元動きベクトルを統
合することにより二次元画像中に含まれる空間的動きを
検知する手順、とを含む検知方法に関するものである。
より二次元画像を撮影する手順と、二次元画像を複数の
部分領域に分ける手順と、複数の部分領域毎の二次元動
きベクトルを算出する手順と、二次元動きベクトルを統
合することにより二次元画像中に含まれる空間的動きを
検知する手順、とを含む検知方法に関するものである。
【００１０】本発明に係る第七の発明は、空間的動きは
並進運動である検知方法に関するものである。
並進運動である検知方法に関するものである。
【００１１】本発明に係る第八の発明は、空間的動きは
回転運動である検知方法に関するものである。
回転運動である検知方法に関するものである。
【００１２】本発明に係る第九の発明は、空間的動きは
奥行き運動である検知方法に関するものである。
奥行き運動である検知方法に関するものである。
【００１３】本発明に係る第十の発明は、複数の部分領
域毎に射影データを計算し、この射影データを用いて複
数の部分領域毎の二次元動きベクトルを得る検知方法に
関するものものである。
域毎に射影データを計算し、この射影データを用いて複
数の部分領域毎の二次元動きベクトルを得る検知方法に
関するものものである。
【００１４】本発明に係る第十一の発明は、画像センサ
により二次元画像を撮影する手順と、二次元画像を複数
の部分領域に分ける手順と、複数の部分領域毎の二次元
動きベクトルを得る手順と、二次元動きベクトルを統合
することにより空間的動きを検知する手順のプログラム
を記録した記録媒体に関するものである。
により二次元画像を撮影する手順と、二次元画像を複数
の部分領域に分ける手順と、複数の部分領域毎の二次元
動きベクトルを得る手順と、二次元動きベクトルを統合
することにより空間的動きを検知する手順のプログラム
を記録した記録媒体に関するものである。
【００１５】
【発明の実施の形態】実施の形態１．以下、本発明の実
施の形態１について、図面を参照しながら説明する。図
１はこの発明の実施の形態１による動き情報検知装置の
構成を示すブロック図であり、画像入力部１、部分動き
算出部２、全体動き検知部３の三部分からなる。
施の形態１について、図面を参照しながら説明する。図
１はこの発明の実施の形態１による動き情報検知装置の
構成を示すブロック図であり、画像入力部１、部分動き
算出部２、全体動き検知部３の三部分からなる。
【００１６】画像センサを含む画像入力部１は二次元画
像を撮影する。部分動き算出部２は画像入力部１によっ
て撮影された二次元画像を複数の部分領域に分け、部分
領域毎の二次元動きベクトルを算出する。全体動き検知
部３は部分動き算出部２で算出された各部分領域の二次
元動きベクトルを統合することで画像に含まれる回転・
奥行き・並進運動に相当する空間的動きを検知する。
像を撮影する。部分動き算出部２は画像入力部１によっ
て撮影された二次元画像を複数の部分領域に分け、部分
領域毎の二次元動きベクトルを算出する。全体動き検知
部３は部分動き算出部２で算出された各部分領域の二次
元動きベクトルを統合することで画像に含まれる回転・
奥行き・並進運動に相当する空間的動きを検知する。
【００１７】次に部分動き算出部２と全体動き検知部３
の動作を説明する。図２は、画像入力部１の撮影画像を
縦横各々二分割して、並進運動、回転運動、奥行き運動
を検出する例を説明する図である。列（Ａ）、（Ｂ）、
（Ｃ）は検出する対象となる動きが並進運動（この例に
おいては左右運動を示す）・回転運動・奥行き運動であ
る場合を示す。行（ａ）は画像入力部１によって撮影さ
れた立方体を含む画像と、各場合において画像に含まれ
ると想定される部分領域毎の大域的な動き（ベクトル表
示）を示す。
の動作を説明する。図２は、画像入力部１の撮影画像を
縦横各々二分割して、並進運動、回転運動、奥行き運動
を検出する例を説明する図である。列（Ａ）、（Ｂ）、
（Ｃ）は検出する対象となる動きが並進運動（この例に
おいては左右運動を示す）・回転運動・奥行き運動であ
る場合を示す。行（ａ）は画像入力部１によって撮影さ
れた立方体を含む画像と、各場合において画像に含まれ
ると想定される部分領域毎の大域的な動き（ベクトル表
示）を示す。
【００１８】行（ｂ）は画像の動きを局所的な動きベク
トル（オプティカルフロー）として示したものである。
なお、このような画像からオプティカルフローを計算す
るには、例えば特開平４-２４１０７７号公報における
方式を用いればよいが、もちろんその他の方式を用いて
もよい。
トル（オプティカルフロー）として示したものである。
なお、このような画像からオプティカルフローを計算す
るには、例えば特開平４-２４１０７７号公報における
方式を用いればよいが、もちろんその他の方式を用いて
もよい。
【００１９】行（ｃ）は、４個の部分領域それぞれにつ
いて、行（ｂ）の計算結果である動きベクトルの総和も
しくは平均を取り、表示したものである。以上の行
（ｂ）と行（ｃ）の処理は部分動き算出部２により行わ
れる。
いて、行（ｂ）の計算結果である動きベクトルの総和も
しくは平均を取り、表示したものである。以上の行
（ｂ）と行（ｃ）の処理は部分動き算出部２により行わ
れる。
【００２０】次に、全体動き検知部３は行（ｃ）の情報
を用いて並進運動、回転運動、奥行き運動に相当する空
間的動きを検知する。行（ｃ）の各場合における点線
は、各動きベクトルから領域毎に並進成分、回転成分、
奥行き成分を抽出するための基準線である。（Ａ）、
（Ｂ）、（Ｃ）いずれの場合も動きベクトルの基準線に
垂直な成分が寄与分となる。これを元に全体動き検知部
３は、各動きベクトルの寄与分の総和で並進運動、回転
運動、奥行き運動の量を計算し、結果として行（ｄ）の
ような並進運動（方向は上下左右の４方向）、回転運動
（方向は時計回り、反時計回り）、奥行き運動（方向は
前進、後退）の判定を行う。
を用いて並進運動、回転運動、奥行き運動に相当する空
間的動きを検知する。行（ｃ）の各場合における点線
は、各動きベクトルから領域毎に並進成分、回転成分、
奥行き成分を抽出するための基準線である。（Ａ）、
（Ｂ）、（Ｃ）いずれの場合も動きベクトルの基準線に
垂直な成分が寄与分となる。これを元に全体動き検知部
３は、各動きベクトルの寄与分の総和で並進運動、回転
運動、奥行き運動の量を計算し、結果として行（ｄ）の
ような並進運動（方向は上下左右の４方向）、回転運動
（方向は時計回り、反時計回り）、奥行き運動（方向は
前進、後退）の判定を行う。
【００２１】次に上記で述べた並進運動、回転運動、奥
行き運動のベクトル寄与分の総和から行（ｄ）のような
全体の動きとして判定する方法をさらに詳細に説明す
る。図３は本願の動き情報検知方法における全体の動き
の判定方法を示したフローチャートである。図３におい
て、まず画像入力部１により二次元画像が入力される。
次に部分動き算出部２により入力された画像が適当な部
分領域に分割され、それぞれの部分領域毎に二次元動き
ベクトルが計算される。
行き運動のベクトル寄与分の総和から行（ｄ）のような
全体の動きとして判定する方法をさらに詳細に説明す
る。図３は本願の動き情報検知方法における全体の動き
の判定方法を示したフローチャートである。図３におい
て、まず画像入力部１により二次元画像が入力される。
次に部分動き算出部２により入力された画像が適当な部
分領域に分割され、それぞれの部分領域毎に二次元動き
ベクトルが計算される。
【００２２】次に、各部分領域において、それぞれの二
次元動きベクトルについて基準線に対する垂直成分が計
算される。ここで、基準線の決め方を説明する。まず並
進運動（左右方向）の場合、図４に示すように各部分領
域の中心Ｂを通り、画像全体に対し垂直な線分を基準線
とする。従って部分領域における動きベクトルをＶとし
た場合、垂直成分はｖとなる。また、並進運動（上下方
向）の場合、図５に示すように各部分領域の中心Ｂを通
り、画像全体に対し水平な線分を基準線とする。従って
部分領域における動きベクトルをＶとした場合、垂直成
分はｖとなる。また、回転運動の場合、図６に示すよう
に各部分領域の中心Ｂと画像全体の中心Ａとを結ぶ線分
を基準線とする。従って部分領域における動きベクトル
をＶとした場合、垂直成分はｖとなる。また、奥行き運
動の場合、図７に示すように各部分領域の中心Ｂと画像
全体の中心Ａとを結ぶ線分に対し、Ｂを通る垂直な線分
を基準線とする。従って部分領域における動きベクトル
をＶとした場合、垂直成分はｖとなる。
次元動きベクトルについて基準線に対する垂直成分が計
算される。ここで、基準線の決め方を説明する。まず並
進運動（左右方向）の場合、図４に示すように各部分領
域の中心Ｂを通り、画像全体に対し垂直な線分を基準線
とする。従って部分領域における動きベクトルをＶとし
た場合、垂直成分はｖとなる。また、並進運動（上下方
向）の場合、図５に示すように各部分領域の中心Ｂを通
り、画像全体に対し水平な線分を基準線とする。従って
部分領域における動きベクトルをＶとした場合、垂直成
分はｖとなる。また、回転運動の場合、図６に示すよう
に各部分領域の中心Ｂと画像全体の中心Ａとを結ぶ線分
を基準線とする。従って部分領域における動きベクトル
をＶとした場合、垂直成分はｖとなる。また、奥行き運
動の場合、図７に示すように各部分領域の中心Ｂと画像
全体の中心Ａとを結ぶ線分に対し、Ｂを通る垂直な線分
を基準線とする。従って部分領域における動きベクトル
をＶとした場合、垂直成分はｖとなる。
【００２３】図３に戻って、各部分領域毎の基準線に対
する垂直成分が計算されると、今度は全ての部分領域の
総和が計算される。すなわち、各部分領域の並進運動
（左右方向）基準線の垂直成分の総和および並進運動
（上下方向）基準線の垂直成分の総和が合成され並進成
分和ΣＦＰが算出される。また、各部分領域の回転運動
の基準線の垂直成分の総和が合成され回転成分和ΣＲＴ
が算出される。また、各部分領域の奥行き運動の基準線
の垂直成分の総和が合成され奥行き成分和ΣＤＴが算出
される。
する垂直成分が計算されると、今度は全ての部分領域の
総和が計算される。すなわち、各部分領域の並進運動
（左右方向）基準線の垂直成分の総和および並進運動
（上下方向）基準線の垂直成分の総和が合成され並進成
分和ΣＦＰが算出される。また、各部分領域の回転運動
の基準線の垂直成分の総和が合成され回転成分和ΣＲＴ
が算出される。また、各部分領域の奥行き運動の基準線
の垂直成分の総和が合成され奥行き成分和ΣＤＴが算出
される。
【００２４】図８に列Ａ、Ｂ、Ｃに代表される並進、回
転、奥行き運動のそれぞれのケースにおいて、並進成分
和ΣＦＰおよび回転成分和ΣＲＴおよび奥行き成分和Σ
ＤＴをそれぞれ計算して求めた例を示す。ここで、並進
成分和ΣＦＰと回転成分和ΣＲＴと奥行き成分和ΣＤＴ
の絶対値が比較され、並進成分和ΣＦＰの絶対値である
｜ΣＦＰ｜が最大となる場合は、並進運動と判定され、
｜ΣＦＰ｜の平均値をその並進運動の大きさとすること
ができる。さらに、回転成分和ΣＲＴの絶対値である｜
ΣＲＰ｜が最大となる場合は、回転運動と判定され、｜
ΣＲＰ｜の平均値をその回転運動の大きさとすることが
できる。さらに、奥行き成分和ΣＤＴの絶対値である｜
ΣＤＰ｜が最大となる場合は、奥行き運動と判定され、
｜ΣＤＰ｜の平均値をその奥行き運動の大きさとするこ
とができる。
転、奥行き運動のそれぞれのケースにおいて、並進成分
和ΣＦＰおよび回転成分和ΣＲＴおよび奥行き成分和Σ
ＤＴをそれぞれ計算して求めた例を示す。ここで、並進
成分和ΣＦＰと回転成分和ΣＲＴと奥行き成分和ΣＤＴ
の絶対値が比較され、並進成分和ΣＦＰの絶対値である
｜ΣＦＰ｜が最大となる場合は、並進運動と判定され、
｜ΣＦＰ｜の平均値をその並進運動の大きさとすること
ができる。さらに、回転成分和ΣＲＴの絶対値である｜
ΣＲＰ｜が最大となる場合は、回転運動と判定され、｜
ΣＲＰ｜の平均値をその回転運動の大きさとすることが
できる。さらに、奥行き成分和ΣＤＴの絶対値である｜
ΣＤＰ｜が最大となる場合は、奥行き運動と判定され、
｜ΣＤＰ｜の平均値をその奥行き運動の大きさとするこ
とができる。
【００２５】以上述べたような撮影画像からの動き情報
検知演算は、図３に示すそれぞれのステップについて動
き情報検知用プログラムとしてコンピータにて動作可能
な形にプログラム化され、このプログラムは記録媒体に
して記録した形で保存され、必要なときに読み出すこと
により使用される。
検知演算は、図３に示すそれぞれのステップについて動
き情報検知用プログラムとしてコンピータにて動作可能
な形にプログラム化され、このプログラムは記録媒体に
して記録した形で保存され、必要なときに読み出すこと
により使用される。
【００２６】なお、本実施の形態では画像全体を縦横二
つに等分割して４個の部分領域に分ける例で示したが、
図９（ａ）のように縦横三個に等分割する場合や、もし
くは図９（ｂ）のように縦横三分割で、縦横いずれも中
央の幅を周辺よりも狭くする場合でも同様の回転運動、
奥行き運動、並進運動に相当する空間的動きを検知する
ことが可能である。さらには縦横いずれも三分割以上の
分割数でもよい。また、本実施の形態では画像全体を動
き検出の処理対象範囲としたが、図９（ｃ）や（ｄ）の
ように丸印を付けた部分領域だけを対象として、計算量
を削減するようにしてもよい。
つに等分割して４個の部分領域に分ける例で示したが、
図９（ａ）のように縦横三個に等分割する場合や、もし
くは図９（ｂ）のように縦横三分割で、縦横いずれも中
央の幅を周辺よりも狭くする場合でも同様の回転運動、
奥行き運動、並進運動に相当する空間的動きを検知する
ことが可能である。さらには縦横いずれも三分割以上の
分割数でもよい。また、本実施の形態では画像全体を動
き検出の処理対象範囲としたが、図９（ｃ）や（ｄ）の
ように丸印を付けた部分領域だけを対象として、計算量
を削減するようにしてもよい。
【００２７】このように、本実施の形態によれば、撮影
される二次元画像を複数の部分領域に分け、領域毎に二
次元動きベクトルを検知し、さらにこれらを統合して画
像全体に含まれる回転運動、奥行き運動、並進運動を検
知するので、一個の画像センサだけで空間的動きが検知
でき、その結果システムの部品点数削減による低コスト
化や小型化、軽量化が可能となる。
される二次元画像を複数の部分領域に分け、領域毎に二
次元動きベクトルを検知し、さらにこれらを統合して画
像全体に含まれる回転運動、奥行き運動、並進運動を検
知するので、一個の画像センサだけで空間的動きが検知
でき、その結果システムの部品点数削減による低コスト
化や小型化、軽量化が可能となる。
【００２８】実施の形態２．以下、本発明の実施の形態
２について説明する。本実施の形態では部分動き算出部
２は、部分領域毎に列方向および行方向の二方向に関す
る画素値の総和（以下、それぞれ列射影、行射影と呼
ぶ）を計算し、この二つの射影データを用いて部分領域
毎の二次元動きベクトルを計算する場合を説明する。
２について説明する。本実施の形態では部分動き算出部
２は、部分領域毎に列方向および行方向の二方向に関す
る画素値の総和（以下、それぞれ列射影、行射影と呼
ぶ）を計算し、この二つの射影データを用いて部分領域
毎の二次元動きベクトルを計算する場合を説明する。
【００２９】図１０はある部分領域の射影データの例で
あり、二次元画像４から得られる列射影データ５と行射
影データ６を示す。この図１０から明らかなように、連
続した二フレーム分の射影データから抽出される動きは
それぞれ二次元動きベクトルの水平（Ｘ）成分と垂直
（Ｙ）成分に相当する。これらを合成すれば、各部分領
域の射影データから領域毎に含まれる動きベクトルを計
算することができる。
あり、二次元画像４から得られる列射影データ５と行射
影データ６を示す。この図１０から明らかなように、連
続した二フレーム分の射影データから抽出される動きは
それぞれ二次元動きベクトルの水平（Ｘ）成分と垂直
（Ｙ）成分に相当する。これらを合成すれば、各部分領
域の射影データから領域毎に含まれる動きベクトルを計
算することができる。
【００３０】次に射影データを用いた一次元オプティカ
ルフローの計算過程を図１１〜図１４を用いて説明す
る。なお、列射影と行射影については同じアルゴリズム
が適用されるので、以下の説明ではこれらの射影を区別
しない。
ルフローの計算過程を図１１〜図１４を用いて説明す
る。なお、列射影と行射影については同じアルゴリズム
が適用されるので、以下の説明ではこれらの射影を区別
しない。
【００３１】図１１は射影データの各要素を画像におけ
る画素値と見なし、隣接する三つの画素値により作られ
るコントラスト（以下明暗エッジ）が左右に動く４通り
の場合を示し、一次元オプティカルフローを計算するた
めの基本的な概念となるものである。図１１の「射影の
動き」で示される行は、（ａ）〜（ｄ）の４通りの場合
について、明暗エッジ（明るい方の画素値を５０、暗い
方を１０とし、細線は前時刻、太線は現時刻を示す）が
図中矢印の方向に動く場合を示し、「射影値の変化」で
示される行は各場合の画素値の変化を示す。
る画素値と見なし、隣接する三つの画素値により作られ
るコントラスト（以下明暗エッジ）が左右に動く４通り
の場合を示し、一次元オプティカルフローを計算するた
めの基本的な概念となるものである。図１１の「射影の
動き」で示される行は、（ａ）〜（ｄ）の４通りの場合
について、明暗エッジ（明るい方の画素値を５０、暗い
方を１０とし、細線は前時刻、太線は現時刻を示す）が
図中矢印の方向に動く場合を示し、「射影値の変化」で
示される行は各場合の画素値の変化を示す。
【００３２】図１１より、射影値（画素値）の変化と射
影の動きを考慮して、ある画素位置における動き方向検
知に関して次のような三つの法則（以下動き検知法則）
が仮定される。 （１）ある画素位置において画素値の変化が０のとき
か、あるいは画素値の変化があっても前時刻における隣
接二画素が同じ画素値を持つときは、動き方向は０（動
きなし）と検知される。 （２）ある画素位置において画素値の変化が正の値のと
き、動き方向は前時刻における隣接二画素のうち画素値
の小さい方向と検知される。 （３）ある画素位置において画素値の変化が負の値のと
き、動き方向は前時刻における隣接二画素のうち画素値
の大きい方向と検知される。
影の動きを考慮して、ある画素位置における動き方向検
知に関して次のような三つの法則（以下動き検知法則）
が仮定される。 （１）ある画素位置において画素値の変化が０のとき
か、あるいは画素値の変化があっても前時刻における隣
接二画素が同じ画素値を持つときは、動き方向は０（動
きなし）と検知される。 （２）ある画素位置において画素値の変化が正の値のと
き、動き方向は前時刻における隣接二画素のうち画素値
の小さい方向と検知される。 （３）ある画素位置において画素値の変化が負の値のと
き、動き方向は前時刻における隣接二画素のうち画素値
の大きい方向と検知される。
【００３３】上記の法則を利用して、前時刻と現時刻の
射影値の変化からどのように一次元オプティカルフロー
が得られるかを図１２を用いて簡単な例について説明す
る。図１２（ａ）、（ｂ）は８個の要素からなる射影値
の例であり、それぞれ前時刻と現時刻における射影値を
示す。簡単のために各要素は１０〜５０の値を取るとす
る。図１２（ｃ）は既に述べた動き検知法則が各射影の
配列要素毎にどのように適用されるかを具体的に説明す
るための表である。
射影値の変化からどのように一次元オプティカルフロー
が得られるかを図１２を用いて簡単な例について説明す
る。図１２（ａ）、（ｂ）は８個の要素からなる射影値
の例であり、それぞれ前時刻と現時刻における射影値を
示す。簡単のために各要素は１０〜５０の値を取るとす
る。図１２（ｃ）は既に述べた動き検知法則が各射影の
配列要素毎にどのように適用されるかを具体的に説明す
るための表である。
【００３４】まず、要素＃１に関しては、前時刻と現時
刻の差分が０であることから、法則（１）を適用して検
知方向は０である。要素＃２に関しては差分値が負の値
であることから法則（３）を適用して検知方向は＃２→
＃３の向きである（＃３と＃４も同様）。要素＃５に関
しては差分値は正の値であるが、前時刻射影において＃
４と＃６が同じ値であることから法則（１）を適用して
検知方向は０である（＃８も同様）。要素＃６に関して
は差分値は正の値であることから法則（２）を適用して
検知方向は＃６→＃７の向きである（＃７も同様）。
刻の差分が０であることから、法則（１）を適用して検
知方向は０である。要素＃２に関しては差分値が負の値
であることから法則（３）を適用して検知方向は＃２→
＃３の向きである（＃３と＃４も同様）。要素＃５に関
しては差分値は正の値であるが、前時刻射影において＃
４と＃６が同じ値であることから法則（１）を適用して
検知方向は０である（＃８も同様）。要素＃６に関して
は差分値は正の値であることから法則（２）を適用して
検知方向は＃６→＃７の向きである（＃７も同様）。
【００３５】このように、動き検知法則を前時刻射影と
差分射影の値を利用することで射影の一次元的な動きベ
クトル（オプティカル・フロー）が計算できる。これを
基本とした部分動き算出部２の動作を図１３のフローチ
ャートを用いて説明する。
差分射影の値を利用することで射影の一次元的な動きベ
クトル（オプティカル・フロー）が計算できる。これを
基本とした部分動き算出部２の動作を図１３のフローチ
ャートを用いて説明する。
【００３６】まず、部分領域毎に計算された射影データ
を取得し、配列ｃｕｒｒ＿ｐｒｏｊへ現時刻射影として
格納する（ステップ＃１）。次に配列ｃｕｒｒ＿ｐｒｏ
ｊと前時刻射影が格納されているｐｒｅｖ＿ｐｒｏｊの
差分を計算し、結果を配列ｄｉｆｆ＿ｐｒｏｊへ格納す
る（ステップ＃２）。次に配列ｄｉｆｆ＿ｐｒｏｊ，ｐ
ｒｅｖ＿ｐｒｏｊを用いて要素毎に一次元オプティカル
フロー計算を行い、結果を配列ｖｅｃｔ＿ｐｒｏｊに格
納する（ステップ＃３）。次に配列ｐｒｅｖ＿ｐｒｏｊ
へ配列ｃｕｒｒ＿ｐｒｏｊを前時刻射影データとして格
納する（ステップ＃４）。最後にステップ＃３で得られ
たオプティカルフローのノイズを削減するために配列ｖ
ｅｃｔ＿ｐｒｏｊを平滑化して出力する（ステップ＃
５）。
を取得し、配列ｃｕｒｒ＿ｐｒｏｊへ現時刻射影として
格納する（ステップ＃１）。次に配列ｃｕｒｒ＿ｐｒｏ
ｊと前時刻射影が格納されているｐｒｅｖ＿ｐｒｏｊの
差分を計算し、結果を配列ｄｉｆｆ＿ｐｒｏｊへ格納す
る（ステップ＃２）。次に配列ｄｉｆｆ＿ｐｒｏｊ，ｐ
ｒｅｖ＿ｐｒｏｊを用いて要素毎に一次元オプティカル
フロー計算を行い、結果を配列ｖｅｃｔ＿ｐｒｏｊに格
納する（ステップ＃３）。次に配列ｐｒｅｖ＿ｐｒｏｊ
へ配列ｃｕｒｒ＿ｐｒｏｊを前時刻射影データとして格
納する（ステップ＃４）。最後にステップ＃３で得られ
たオプティカルフローのノイズを削減するために配列ｖ
ｅｃｔ＿ｐｒｏｊを平滑化して出力する（ステップ＃
５）。
【００３７】上記のステップ＃３における射影要素毎の
オプティカルフロー計算は前記の動き検知法則に基づい
ている。射影配列インデックスｋ毎の計算過程を図１４
のフローチャートを用いて説明する。まず、ｐｒｅｖ＿
ｐｒｏｊ［ｋ−１］とｐｒｅｖ＿ｐｒｏｊ［ｋ＋１］の
大小比較を行う（ステップ＃１）。この値が等しいとき
はｖｅｃｔ＿ｐｒｏｊ［ｋ］に０を代入して（ステップ
＃２）、計算は終了する。等しくないときは配列インデ
ックスｋ，ｋ＋１のうちｐｒｅｖ＿ｐｒｏｊの値が小さ
い方をＬ、大きい方をＧとする（ステップ＃３）。次に
ｄｉｆｆ＿ｐｒｏｊ［ｋ］の符号を調べ、０であればｖ
ｅｃｔ＿ｐｒｏｊ［ｋ］に０を代入して（ステップ＃
２）計算は終了し、負の値であれば方向ｋ→Ｇを選択
（ステップ＃４）、正の値であれば方向ｋ→Ｌを選択
（ステップ＃５）する。ステップ＃４と＃５の場合、Ｇ
（またはＬ）がｋ−１であればｖｅｃｔ＿ｐｒｏｊ
［ｋ］に−１を代入、Ｇ（またはＬ）がｋ＋１であれば
ｖｅｃｔ＿ｐｒｏｊ［ｋ］に１を代入する。さらにｖｅ
ｃｔ＿ｐｒｏｊ［ｋ］の値をｄｉｆｆ＿ｐｒｏｊ［ｋ］
の絶対値で重み付けして（ステップ＃６）、計算を終了
する。
オプティカルフロー計算は前記の動き検知法則に基づい
ている。射影配列インデックスｋ毎の計算過程を図１４
のフローチャートを用いて説明する。まず、ｐｒｅｖ＿
ｐｒｏｊ［ｋ−１］とｐｒｅｖ＿ｐｒｏｊ［ｋ＋１］の
大小比較を行う（ステップ＃１）。この値が等しいとき
はｖｅｃｔ＿ｐｒｏｊ［ｋ］に０を代入して（ステップ
＃２）、計算は終了する。等しくないときは配列インデ
ックスｋ，ｋ＋１のうちｐｒｅｖ＿ｐｒｏｊの値が小さ
い方をＬ、大きい方をＧとする（ステップ＃３）。次に
ｄｉｆｆ＿ｐｒｏｊ［ｋ］の符号を調べ、０であればｖ
ｅｃｔ＿ｐｒｏｊ［ｋ］に０を代入して（ステップ＃
２）計算は終了し、負の値であれば方向ｋ→Ｇを選択
（ステップ＃４）、正の値であれば方向ｋ→Ｌを選択
（ステップ＃５）する。ステップ＃４と＃５の場合、Ｇ
（またはＬ）がｋ−１であればｖｅｃｔ＿ｐｒｏｊ
［ｋ］に−１を代入、Ｇ（またはＬ）がｋ＋１であれば
ｖｅｃｔ＿ｐｒｏｊ［ｋ］に１を代入する。さらにｖｅ
ｃｔ＿ｐｒｏｊ［ｋ］の値をｄｉｆｆ＿ｐｒｏｊ［ｋ］
の絶対値で重み付けして（ステップ＃６）、計算を終了
する。
【００３８】次に、部分動き算出部２によって計算され
る部分領域毎の二次元動きベクトル計算の過程を、図１
５のフローチャートを用いて説明する。まず、列射影お
よび行射影の一次元オプティカルフローを取得する（ス
テップ＃１）。次に、それぞれのオプティカルフローか
ら代表ベクトルを計算し、列射影および行射影に対応す
る代表ベクトルをそれぞれＸベクトルとＹベクトルとす
る（ステップ＃２）。この代表ベクトルは、オプティカ
ルフローを構成する動きベクトルの平均で計算するが、
別の方法としては構成する動きベクトルのうち最大のノ
ルムを持つものを代表ベクトルとしてもよい。最後に、
上記ＸベクトルとＹベクトルを合成して部分領域毎の二
次元的動きに関する検知ベクトルを求める。この部分領
域毎の検知ベクトルは、実施の形態１で説明した方法に
より、画像入力部１により入力された二次元画像の並進
運動、回転運動、奥行き運動の判定がなされる。
る部分領域毎の二次元動きベクトル計算の過程を、図１
５のフローチャートを用いて説明する。まず、列射影お
よび行射影の一次元オプティカルフローを取得する（ス
テップ＃１）。次に、それぞれのオプティカルフローか
ら代表ベクトルを計算し、列射影および行射影に対応す
る代表ベクトルをそれぞれＸベクトルとＹベクトルとす
る（ステップ＃２）。この代表ベクトルは、オプティカ
ルフローを構成する動きベクトルの平均で計算するが、
別の方法としては構成する動きベクトルのうち最大のノ
ルムを持つものを代表ベクトルとしてもよい。最後に、
上記ＸベクトルとＹベクトルを合成して部分領域毎の二
次元的動きに関する検知ベクトルを求める。この部分領
域毎の検知ベクトルは、実施の形態１で説明した方法に
より、画像入力部１により入力された二次元画像の並進
運動、回転運動、奥行き運動の判定がなされる。
【００３９】以上述べたような撮影画像からの動き情報
検知演算は、図１３〜図１５に示すそれぞれのステップ
について動き情報検知用プログラムとしてコンピータに
て動作可能な形にプログラム化され、このプログラムは
記録媒体にして記録した形で保存され、必要なときに読
み出すことにより使用される。
検知演算は、図１３〜図１５に示すそれぞれのステップ
について動き情報検知用プログラムとしてコンピータに
て動作可能な形にプログラム化され、このプログラムは
記録媒体にして記録した形で保存され、必要なときに読
み出すことにより使用される。
【００４０】また、上記のような部分動き算出部２の部
分領域毎の射影計算に関しては、これが直接出力される
ような画像センサを用いれば、処理の高速化が可能であ
る。このような画像センサの例として、例えば雑誌「Ｎ
ａｔｕｒｅ， ”Ａｒｔｉｆｉｃｉａｌ Ｒｅｔｉｎａ
ｓ − Ｆａｓｔ， Ｖｅｒｓａｔｉｌｅ Ｉｍａｇｅ
Ｐｒｏｃｅｓｓｏｒｓ”」（ｖｏｌ．３７２， Ｎ
ｏ．６５０２， ｐｐ１９７−１９８， １９９４）、
および特開平８−２４２２６５号公報に記載された人工
網膜ＬＳＩを用いれば、入力画像から直接列射影と行射
影を出力でき、かつ部分領域毎の射影計算が可能なの
で、実施の形態１で実現されるシステムの動作をさらに
高速化することが可能であり、さらに上記ＬＳＩを利用
することで後段の処理に必要なプロセッサを安価なもの
で置き換えられるので、システム全体としてのコストダ
ウンが可能になる。
分領域毎の射影計算に関しては、これが直接出力される
ような画像センサを用いれば、処理の高速化が可能であ
る。このような画像センサの例として、例えば雑誌「Ｎ
ａｔｕｒｅ， ”Ａｒｔｉｆｉｃｉａｌ Ｒｅｔｉｎａ
ｓ − Ｆａｓｔ， Ｖｅｒｓａｔｉｌｅ Ｉｍａｇｅ
Ｐｒｏｃｅｓｓｏｒｓ”」（ｖｏｌ．３７２， Ｎ
ｏ．６５０２， ｐｐ１９７−１９８， １９９４）、
および特開平８−２４２２６５号公報に記載された人工
網膜ＬＳＩを用いれば、入力画像から直接列射影と行射
影を出力でき、かつ部分領域毎の射影計算が可能なの
で、実施の形態１で実現されるシステムの動作をさらに
高速化することが可能であり、さらに上記ＬＳＩを利用
することで後段の処理に必要なプロセッサを安価なもの
で置き換えられるので、システム全体としてのコストダ
ウンが可能になる。
【００４１】このように、本実施の形態によれば、分割
された二次元画像の各部分領域における動きベクトルの
計算を、直接二次元画像から計算するのではなく、一旦
射影データに変換してから二次元動きベクトルを計算す
るので、二次元画像をそのままもちいるよりも必要な計
算量と記憶容量が削減される。さらにこのような部分領
域毎の射影データが直接出力されるような画像センサを
用いることで処理をより高速化することが可能である。
された二次元画像の各部分領域における動きベクトルの
計算を、直接二次元画像から計算するのではなく、一旦
射影データに変換してから二次元動きベクトルを計算す
るので、二次元画像をそのままもちいるよりも必要な計
算量と記憶容量が削減される。さらにこのような部分領
域毎の射影データが直接出力されるような画像センサを
用いることで処理をより高速化することが可能である。
【００４２】
【発明の効果】以上のように、第一〜第四の発明に係る
動き情報検知装置によれば、画像センサにより二次元画
像を撮影する画像入力部、この二次元画像を複数の部分
領域に分け、部分領域毎の二次元動きベクトルを算出す
る部分動き算出部、上記各部分領域の二次元動きベクト
ルを統合することで画像全体に含まれる回転運動、奥行
き運動、並進運動に相当する空間的動きを検知する全体
動き検知部を備えているので、一個の画像センサで並進
運動だけでなく、回転や奥行き等の動きが検出可能であ
り、その結果従来方式では複数のセンサが必要であった
システムが単一のセンサで構成できるので、小規模かつ
低コストで、人間の様々な空間操作をコンピュータに反
映させることが可能なユーザインタフェースの機能が実
現できる。
動き情報検知装置によれば、画像センサにより二次元画
像を撮影する画像入力部、この二次元画像を複数の部分
領域に分け、部分領域毎の二次元動きベクトルを算出す
る部分動き算出部、上記各部分領域の二次元動きベクト
ルを統合することで画像全体に含まれる回転運動、奥行
き運動、並進運動に相当する空間的動きを検知する全体
動き検知部を備えているので、一個の画像センサで並進
運動だけでなく、回転や奥行き等の動きが検出可能であ
り、その結果従来方式では複数のセンサが必要であった
システムが単一のセンサで構成できるので、小規模かつ
低コストで、人間の様々な空間操作をコンピュータに反
映させることが可能なユーザインタフェースの機能が実
現できる。
【００４３】また、第五の発明に係る動き情報検知装置
において、部分動き算出部は、撮影された二次元画像の
複数の部分領域毎に射影データを計算し、この射影デー
タを用いて部分領域毎に二次元動きベクトルを計算する
ことが可能なので、二次元画像から動きベクトルを計算
するよりも計算量を削減でき、かつこのような画像の部
分領域毎の射影データを出力するような画像センサを用
いることで、後段のプロセッサにかかる処理を軽減する
ことができる。
において、部分動き算出部は、撮影された二次元画像の
複数の部分領域毎に射影データを計算し、この射影デー
タを用いて部分領域毎に二次元動きベクトルを計算する
ことが可能なので、二次元画像から動きベクトルを計算
するよりも計算量を削減でき、かつこのような画像の部
分領域毎の射影データを出力するような画像センサを用
いることで、後段のプロセッサにかかる処理を軽減する
ことができる。
【００４４】第六〜第九の発明に係る動き情報検知方法
によれば、画像センサにより二次元画像を撮影する手順
と、この二次元画像を複数の部分領域に分ける手順と、
複数の部分領域毎の二次元動きベクトルを算出する手順
と、上記各部分領域の二次元動きベクトルを統合するこ
とで二次元画像全体に含まれる回転運動、奥行き運動、
並進運動に相当する空間的動きを検知する手順とを含ん
でいるので、一個の画像センサで並進運動だけでなく、
回転や奥行き等の動きが検出可能であり、その結果従来
方法では複数のセンサが必要であったのが単一のセンサ
で達成できるので、小規模かつ低コストで、人間の様々
な空間操作をコンピュータに反映させることが可能なユ
ーザインタフェースの方法が実現できる。
によれば、画像センサにより二次元画像を撮影する手順
と、この二次元画像を複数の部分領域に分ける手順と、
複数の部分領域毎の二次元動きベクトルを算出する手順
と、上記各部分領域の二次元動きベクトルを統合するこ
とで二次元画像全体に含まれる回転運動、奥行き運動、
並進運動に相当する空間的動きを検知する手順とを含ん
でいるので、一個の画像センサで並進運動だけでなく、
回転や奥行き等の動きが検出可能であり、その結果従来
方法では複数のセンサが必要であったのが単一のセンサ
で達成できるので、小規模かつ低コストで、人間の様々
な空間操作をコンピュータに反映させることが可能なユ
ーザインタフェースの方法が実現できる。
【００４５】また、第十の発明に係る動き情報検知方法
において、撮影された二次元画像の複数の部分領域毎に
射影データを計算し、この射影データを用いて部分領域
毎に二次元動きベクトルを計算することが可能なので、
二次元画像から動きベクトルを計算するよりも計算量を
削減でき、かつこのような画像の部分領域毎の射影デー
タを出力するような画像センサを用いることで、後段の
プロセッサにかかる処理を軽減することができる。
において、撮影された二次元画像の複数の部分領域毎に
射影データを計算し、この射影データを用いて部分領域
毎に二次元動きベクトルを計算することが可能なので、
二次元画像から動きベクトルを計算するよりも計算量を
削減でき、かつこのような画像の部分領域毎の射影デー
タを出力するような画像センサを用いることで、後段の
プロセッサにかかる処理を軽減することができる。
【００４６】また、第十一の発明に係る動き情報検知プ
ログラムを記録した記録媒体によれば、撮影画像の複数
の部分領域毎の二次元動きベクトルを計算する手順と、
上記二次元動きベクトルを統合することにより、回転運
動、奥行き運動、並進運動に相当する空間的動きを検知
する手順とをコンピュータに実行させるようにしたの
で、単一画像センサを用いて撮影された画像に含まれる
回転運動、奥行き運動、並進運動に相当する空間的動き
を検知することが可能になる。
ログラムを記録した記録媒体によれば、撮影画像の複数
の部分領域毎の二次元動きベクトルを計算する手順と、
上記二次元動きベクトルを統合することにより、回転運
動、奥行き運動、並進運動に相当する空間的動きを検知
する手順とをコンピュータに実行させるようにしたの
で、単一画像センサを用いて撮影された画像に含まれる
回転運動、奥行き運動、並進運動に相当する空間的動き
を検知することが可能になる。
【００４７】また、本発明による動き情報検知装置およ
び動き情報検知方法および動き情報検知プログラムを記
録した記録媒体によれば、パソコンで使用するマウスや
会議や講演などで使用するポインティングデバイスへの
応用だけでなく、ビデオゲーム等のジョイスティック
等、既存のインタフェースに代わるゲームインタフェー
スを提供することが可能である。
び動き情報検知方法および動き情報検知プログラムを記
録した記録媒体によれば、パソコンで使用するマウスや
会議や講演などで使用するポインティングデバイスへの
応用だけでなく、ビデオゲーム等のジョイスティック
等、既存のインタフェースに代わるゲームインタフェー
スを提供することが可能である。
【図１】 本発明の実施の形態１による動き情報検知装
置の構成を示すブロック図である。
置の構成を示すブロック図である。
【図２】 本発明の実施の形態１に係る部分動き算出部
と全体動き検知部の動作を説明するための図である。
と全体動き検知部の動作を説明するための図である。
【図３】 本発明の実施の形態１に係る空間的動きを判
定するためのフローチャートである。
定するためのフローチャートである。
【図４】 本発明の実施の形態１に係る並進運動（左右
方向）の基準線および垂直成分を説明した図である。
方向）の基準線および垂直成分を説明した図である。
【図５】 本発明の実施の形態１に係る並進運動（上下
方向）の基準線および垂直成分を説明した図である。
方向）の基準線および垂直成分を説明した図である。
【図６】 本発明の実施の形態１に係る回転運動の基準
線および垂直成分を説明した図である。
線および垂直成分を説明した図である。
【図７】 本発明の実施の形態１に係る奥行き運動の基
準線および垂直成分を説明した図である。
準線および垂直成分を説明した図である。
【図８】 本発明の実施の形態１に係る並進運動、回転
運動、奥行き運動の判定のためのアルゴリズムを説明し
た図である。
運動、奥行き運動の判定のためのアルゴリズムを説明し
た図である。
【図９】 本発明の実施の形態１に係る部分動き算出部
の画像の部分領域分割に関する例を示す図である。
の画像の部分領域分割に関する例を示す図である。
【図１０】 本発明の実施の形態２における部分領域画
像の例および列射影と行射影の計算結果を示す図であ
る。
像の例および列射影と行射影の計算結果を示す図であ
る。
【図１１】 本発明の実施の形態２に係る部分動き算出
部の動作原理を説明するための図である。
部の動作原理を説明するための図である。
【図１２】 本発明の実施の形態２に係る部分動き算出
部の動作例を説明するための図である。
部の動作例を説明するための図である。
【図１３】 本発明の実施の形態２に係る部分動き算出
部のオプティカルフロー計算の全体の処理の流れを説明
するためのフローチャートである。
部のオプティカルフロー計算の全体の処理の流れを説明
するためのフローチャートである。
【図１４】 本発明の実施の形態２に係る部分動き算出
部のオプティカルフロー計算の具体的手続きを説明する
ためのフローチャートである。
部のオプティカルフロー計算の具体的手続きを説明する
ためのフローチャートである。
【図１５】 本発明の実施の形態２に係る部分動き算出
部の二次元動きベクトル計算を説明するためのフローチ
ャートである。
部の二次元動きベクトル計算を説明するためのフローチ
ャートである。
１ 画像入力部、２ 部分動き算出部、３ 全体動き検
知部、４ 入力画像の例、５ 列射影の計算例、６ 行
射影の計算例。
知部、４ 入力画像の例、５ 列射影の計算例、６ 行
射影の計算例。
フロントページの続き Ｆターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CE20 DA20 DC03 DC08 DC19 5L096 EA45 FA38 FA39 HA04
Claims (11)
- 【請求項１】 画像センサにより二次元画像を撮影する
画像入力部、前記二次元画像を複数の部分領域に分けこ
の複数の部分領域毎の複数の二次元動きベクトルを算出
する部分動き算出部、前記複数の二次元動きベクトルを
統合することで前記二次元画像中に含まれる空間的動き
を検知する全体動き検知部、とを備えることを特徴とす
る動き情報検知装置。 - 【請求項２】 前記全体動き検知部は、並進成分和と回
転成分和と奥行き成分和として前記複数の二次元動きベ
クトルを統合し、並進成分和が最も大の場合、前記二次
元画像中に含まれる空間的動きは並進運動と検知するこ
とを特徴とする請求項１に記載の動き情報検知装置。 - 【請求項３】 前記全体動き検知部は、並進成分和と回
転成分和と奥行き成分和として前記複数の二次元動きベ
クトルを統合し、回転成分和が最も大の場合、前記二次
元画像中に含まれる空間的動きは回転運動と検知するこ
とを特徴とする請求項１に記載の動き情報検知装置。 - 【請求項４】 前記全体動き検知部は、並進成分和と回
転成分和と奥行き成分和として前記複数の二次元動きベ
クトルを統合し、奥行き成分和が最も大の場合、前記二
次元画像中に含まれる空間的動きは奥行き運動と検知す
ることを特徴とする請求項１に記載の動き情報検知装
置。 - 【請求項５】 前記部分動き算出部は、前記複数の部分
領域毎に射影データを計算し、この射影データを用いて
前記複数の部分領域毎の前記二次元動きベクトルを得る
ことを特徴とする請求項１に記載の動き情報検知装置。 - 【請求項６】 画像センサにより二次元画像を撮影する
手順と、前記二次元画像を複数の部分領域に分ける手順
と、前記複数の部分領域毎の二次元動きベクトルを算出
する手順と、前記二次元動きベクトルを統合することに
より前記二次元画像中に含まれる空間的動きを検知する
手順、とを含む動き情報検知方法。 - 【請求項７】 前記空間的動きは並進運動であることを
特徴とする請求項６に記載の動き情報検知方法。 - 【請求項８】 前記空間的動きは回転運動であることを
特徴とする請求項６に記載の動き情報検知方法。 - 【請求項９】 前記空間的動きは奥行き運動であること
を特徴とする請求項６に記載の動き情報検知方法。 - 【請求項１０】 前記複数の部分領域毎に射影データを
計算し、この射影データを用いて前記複数の部分領域毎
の前記二次元動きベクトルを得ることを特徴とする請求
項６に記載の動き情報検知方法。 - 【請求項１１】 画像センサにより二次元画像を撮影す
る手順と、前記二次元画像を複数の部分領域に分ける手
順と、前記複数の部分領域毎の二次元動きベクトルを得
る手順と、前記二次元動きベクトルを統合することによ
り空間的動きを検知する手順のプログラムを記録した記
録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000249407A JP4652536B2 (ja) | 2000-08-21 | 2000-08-21 | 動き情報検知装置及び動き情報検知方法及び動き情報検知プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000249407A JP4652536B2 (ja) | 2000-08-21 | 2000-08-21 | 動き情報検知装置及び動き情報検知方法及び動き情報検知プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002063578A true JP2002063578A (ja) | 2002-02-28 |
| JP4652536B2 JP4652536B2 (ja) | 2011-03-16 |
Family
ID=18739148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000249407A Expired - Fee Related JP4652536B2 (ja) | 2000-08-21 | 2000-08-21 | 動き情報検知装置及び動き情報検知方法及び動き情報検知プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4652536B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007193656A (ja) * | 2006-01-20 | 2007-08-02 | Kddi Corp | 本人認証装置 |
| WO2008065764A1 (en) | 2006-11-30 | 2008-06-05 | Mitsubishi Electric Corporation | Motion vector detecting device |
| JP2009205642A (ja) * | 2008-02-29 | 2009-09-10 | Hitachi Ltd | 車両速度判定装置および車両速度判定方法 |
| JP2010191827A (ja) * | 2009-02-19 | 2010-09-02 | Sony Computer Entertainment Inc | 情報処理装置および情報処理方法 |
| US8717292B2 (en) | 2007-08-07 | 2014-05-06 | Osaka Electro-Communication University | Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium |
| CN109474817A (zh) * | 2017-09-06 | 2019-03-15 | 原相科技股份有限公司 | 光学传感装置、方法及光学侦测模块 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03191688A (ja) * | 1989-12-21 | 1991-08-21 | Nippon Telegr & Teleph Corp <Ntt> | 画像の動きパラメータ推定方法及び装置 |
| JPH04180371A (ja) * | 1990-11-14 | 1992-06-26 | Matsushita Electric Ind Co Ltd | 画像の動き検出装置 |
| JPH05153470A (ja) * | 1991-12-02 | 1993-06-18 | Matsushita Electric Ind Co Ltd | 動きベクトル検出装置 |
| JPH05236334A (ja) * | 1992-02-21 | 1993-09-10 | Canon Inc | 動きベクトル検出装置 |
| JPH06225288A (ja) * | 1993-01-28 | 1994-08-12 | Toshiba Corp | 動き補償予測符号化および復号化装置 |
| JPH07212764A (ja) * | 1994-01-21 | 1995-08-11 | Sony Corp | 動きベクトル検出装置 |
| JPH10267955A (ja) * | 1997-03-26 | 1998-10-09 | Sony Corp | 画像処理装置および画像処理方法 |
| WO1999060779A1 (en) * | 1998-05-20 | 1999-11-25 | Sony Electronics Inc. | Motion estimation process and system using sparse search block-matching and integral projection |
| JP2000214992A (ja) * | 1999-01-21 | 2000-08-04 | Mitsubishi Electric Corp | 方向指示装置および方向推定方法、並びにその方法にかかるプログラムを記録したコンピュ―タ読み取り可能な記録媒体 |
-
2000
- 2000-08-21 JP JP2000249407A patent/JP4652536B2/ja not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03191688A (ja) * | 1989-12-21 | 1991-08-21 | Nippon Telegr & Teleph Corp <Ntt> | 画像の動きパラメータ推定方法及び装置 |
| JPH04180371A (ja) * | 1990-11-14 | 1992-06-26 | Matsushita Electric Ind Co Ltd | 画像の動き検出装置 |
| JPH05153470A (ja) * | 1991-12-02 | 1993-06-18 | Matsushita Electric Ind Co Ltd | 動きベクトル検出装置 |
| JPH05236334A (ja) * | 1992-02-21 | 1993-09-10 | Canon Inc | 動きベクトル検出装置 |
| JPH06225288A (ja) * | 1993-01-28 | 1994-08-12 | Toshiba Corp | 動き補償予測符号化および復号化装置 |
| JPH07212764A (ja) * | 1994-01-21 | 1995-08-11 | Sony Corp | 動きベクトル検出装置 |
| JPH10267955A (ja) * | 1997-03-26 | 1998-10-09 | Sony Corp | 画像処理装置および画像処理方法 |
| WO1999060779A1 (en) * | 1998-05-20 | 1999-11-25 | Sony Electronics Inc. | Motion estimation process and system using sparse search block-matching and integral projection |
| JP2000214992A (ja) * | 1999-01-21 | 2000-08-04 | Mitsubishi Electric Corp | 方向指示装置および方向推定方法、並びにその方法にかかるプログラムを記録したコンピュ―タ読み取り可能な記録媒体 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007193656A (ja) * | 2006-01-20 | 2007-08-02 | Kddi Corp | 本人認証装置 |
| WO2008065764A1 (en) | 2006-11-30 | 2008-06-05 | Mitsubishi Electric Corporation | Motion vector detecting device |
| US8717292B2 (en) | 2007-08-07 | 2014-05-06 | Osaka Electro-Communication University | Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium |
| US9632585B2 (en) | 2007-08-07 | 2017-04-25 | Osaka Electro-Communication University | Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium |
| US9921663B2 (en) | 2007-08-07 | 2018-03-20 | Osaka Electro-Communication University | Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium |
| JP2009205642A (ja) * | 2008-02-29 | 2009-09-10 | Hitachi Ltd | 車両速度判定装置および車両速度判定方法 |
| JP2010191827A (ja) * | 2009-02-19 | 2010-09-02 | Sony Computer Entertainment Inc | 情報処理装置および情報処理方法 |
| US8879787B2 (en) | 2009-02-19 | 2014-11-04 | Sony Corporation | Information processing device and information processing method |
| CN109474817A (zh) * | 2017-09-06 | 2019-03-15 | 原相科技股份有限公司 | 光学传感装置、方法及光学侦测模块 |
| CN112492195A (zh) * | 2017-09-06 | 2021-03-12 | 原相科技股份有限公司 | 光学传感装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4652536B2 (ja) | 2011-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11632533B2 (en) | System and method for generating combined embedded multi-view interactive digital media representations | |
| AU2018292610B2 (en) | Method and system for performing simultaneous localization and mapping using convolutional image transformation | |
| Goldstein et al. | Video stabilization using epipolar geometry | |
| Lai et al. | Semantic-driven generation of hyperlapse from 360 degree video | |
| US20200027263A1 (en) | System and method for infinite synthetic image generation from multi-directional structured image array | |
| US10789765B2 (en) | Three-dimensional reconstruction method | |
| US11610331B2 (en) | Method and apparatus for generating data for estimating three-dimensional (3D) pose of object included in input image, and prediction model for estimating 3D pose of object | |
| US20030012410A1 (en) | Tracking and pose estimation for augmented reality using real features | |
| Zhi et al. | Toward dynamic image mosaic generation with robustness to parallax | |
| CN112053447B (zh) | 一种增强现实三维注册方法及装置 | |
| JP6744747B2 (ja) | 情報処理装置およびその制御方法 | |
| JPH11259660A (ja) | 三次元動作復元システム | |
| US10916031B2 (en) | Systems and methods for offloading image-based tracking operations from a general processing unit to a hardware accelerator unit | |
| JP2007004578A (ja) | 三次元形状取得方法、三次元形状取得装置、及びプログラムの記録媒体 | |
| Elhayek et al. | Fully automatic multi-person human motion capture for vr applications | |
| WO2019213392A1 (en) | System and method for generating combined embedded multi-view interactive digital media representations | |
| JP2002063578A (ja) | 動き情報検知装置及び動き情報検知方法及び動き情報検知プログラムを記録した記録媒体 | |
| Lin et al. | Marker-less registration based on template tracking for augmented reality | |
| US11410398B2 (en) | Augmenting live images of a scene for occlusion | |
| Chew et al. | Panorama stitching using overlap area weighted image plane projection and dynamic programming for visual localization | |
| KR102357117B1 (ko) | 다중 영상 재생 방법 및 장치 | |
| Liu et al. | Learning 3-D Human Pose Estimation from Catadioptric Videos. | |
| JP2000214992A (ja) | 方向指示装置および方向推定方法、並びにその方法にかかるプログラムを記録したコンピュ―タ読み取り可能な記録媒体 | |
| JP2001245323A (ja) | ３次元入力方法および装置 | |
| WO2023152971A1 (ja) | 画像処理装置、画像処理方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060123 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060228 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20061004 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070814 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100518 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100914 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101214 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101216 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |