JP2004354134A

JP2004354134A - Three-dimensional position detector, three-dimensional position detecting method, and three-dimensional position detection program

Info

Publication number: JP2004354134A
Application number: JP2003150373A
Authority: JP
Inventors: Nobuhiko Takehara; 伸彦竹原; Tomoki Watabe; 智樹渡部; Hiroki Anzai; 浩樹安西
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-05-28
Filing date: 2003-05-28
Publication date: 2004-12-16

Abstract

<P>PROBLEM TO BE SOLVED: To provide a three-dimensional position detector for independently detecting a three-dimensional position only by an instrument unit grasped by a user. <P>SOLUTION: An imaging means 11 performs imaging at prescribed time intervals to generate image data. An image data storage means 12 is stored with latest image data and proximate image data generated by the imaging means 11. Based on the latest image data and the proximate image data, a travel estimation means 13 estimates travels of the body of the three-dimensional position detector 1 in the panning, tilting, and zooming directions within a time length from the time when the proximate image data are generated to the time when the latest image data are generated. A three-dimensional position information generating means 14 generates three-dimensional position information expressing the three-dimensional position of the position detector 1 by successively summating the estimated travels in the respective directions. An information transmitting means 16 transmits the position information to prescribed devices using the position information. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は，三次元位置検出技術に関し，詳しくはユーザによって把持される装置単体のみで三次元位置を独立して検出することを可能にした三次元位置検出装置，方法およびそのプログラムに関するものである。
【０００２】
【従来の技術】
従来の三次元位置検出装置は，所定の場所に設置された装置本体部と，ユーザによって把持される移動部とを備えている。装置本体部は，所定の波長の光ビームを放出し，移動部は，装置本体部によって放出された光ビームを受光し，受光した光ビームの光強度を検出する複数の受光素子によって構成される。
【０００３】
このように構成された三次元位置検出装置において，各受光素子によって検出される光ビームの光強度に基づいて移動部の三次元位置を検出し，検出された三次元位置および移動部の三次元の移動量を所定の情報処理に使用するようになっている（例えば特許文献１参照）。
【０００４】
【特許文献１】
特開平０９−３２５００７号公報
【０００５】
【発明が解決しようとする課題】
しかしながら，このような従来の三次元位置検出装置では，装置本体部より放出される光ビームに応じて移動部の位置および移動量を検出するため，基準となる光ビームを放出する装置本体部を必要としており，ユーザによって把持される装置単体のみで三次元位置を独立して検出することができないという問題があった。
【０００６】
本発明は，このような問題を解決するためになされたもので，ユーザによって把持される装置単体のみで三次元位置を独立して検出することができる三次元位置検出装置，方法およびプログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため，第１の発明は，装置本体の移動量を検出し，装置本体の三次元位置を検出する三次元位置検出装置であって，所定時間ごとに撮像し，画像データを生成する１つの撮像手段と，最新の画像データである最新画像データと前記最新画像データの直前に生成された画像データである直前画像データとを少なくとも格納する画像データ格納手段と，前記最新画像データと前記直前画像データとに基づいて，前記直前画像データの各画素が前記最新画像データの何れの画素に対応するかを推定して，前記直前画像データが生成された時刻から前記最新画像データが生成された時刻までの時間内における前記装置本体のパン方向，チルト方向およびズーム方向への移動量を推定する移動量推定手段と，前記移動量推定手段によって推定された前記装置本体の各方向の移動量を順次加算することによって前記装置本体の三次元位置を表す三次元位置情報を生成する三次元位置情報生成手段とを備えたことを特徴とする構成を有している。
【０００８】
この構成により，装置本体に備えられた撮像手段によって生成された最新画像データと直前画像データとに基づいて，パン方向，チルト方向およびズーム方向への移動量が推定され，三次元位置が検出されるため，ユーザによって把持される装置単体のみで三次元位置を独立して検出することができる。また，１つの撮像手段によって順次生成される画像データに基づいて装置本体の移動量を推定し，装置本体の三次元位置を検出することができるため，最小限の構成で独立した三次元位置検出装置を実現することができる。
【０００９】
また，第２の発明の三次元位置検出装置は，第１の発明における三次元位置情報生成手段の代わりに，または三次元位置情報生成手段の他に，前記移動量推定手段によって推定された前記装置本体の各方向の移動量を表す三次元移動量情報を生成する移動量情報生成手段を備えたことを特徴とする構成を有している。
【００１０】
この構成により，装置本体の三次元移動量を検出することができ，ある位置からの装置本体の相対的な変位を知ることができる三次元位置検出装置を簡易に実現することができる。
【００１１】
また，第３の発明の三次元位置検出装置は，前記三次元位置情報を使用する所定の装置，または前記三次元移動量情報を使用する所定の装置に，前記三次元位置情報または前記三次元移動量情報を伝送する情報伝送手段を備えた構成を有している。
【００１２】
この構成により，三次元位置情報または三次元移動量情報を必要とする所定の装置に，三次元位置情報または三次元移動量情報を伝送することができる。この結果，本発明の三次元位置検出装置を該所定の装置の処理を制御するポインティングデバイスとすることができる。
【００１３】
また，本発明の三次元位置検出方法は，１つの撮像手段を備えた装置の移動量を検出し，前記装置の三次元位置を検出する三次元位置検出方法であって，所定時間ごとに撮像し，画像データを生成する撮像ステップと，最新の画像データである最新画像データと前記最新画像データの直前に生成された画像データである直前画像データとを少なくとも格納する画像データ格納ステップと，前記最新画像データと前記直前画像データとに基づいて，前記直前画像データの各画素が前記最新画像データの何れの画素に対応するかを推定して，前記直前画像データが生成された時刻から前記最新画像データが生成された時刻までの時間内における前記装置本体のパン方向，チルト方向およびズーム方向への移動量を推定する移動量推定ステップと，前記移動量推定ステップで推定された前記装置本体の各方向の移動量を順次加算することによって前記装置本体の三次元位置を表す三次元位置情報を生成する三次元位置情報生成ステップとを有する。
【００１４】
また，本発明の他の三次元位置検出方法は，１つの撮像手段を備えた装置の移動量を検出し，前記装置の三次元位置を検出する三次元位置検出方法であって，所定時間ごとに撮像し，画像データを生成する撮像ステップと，最新の画像データである最新画像データと前記最新画像データの直前に生成された画像データである直前画像データとを少なくとも格納する画像データ格納ステップと，前記最新画像データと前記直前画像データとに基づいて，前記直前画像データの各画素が前記最新画像データの何れの画素に対応するかを推定して，前記直前画像データが生成された時刻から前記最新画像データが生成された時刻までの時間内における前記装置本体のパン方向，チルト方向およびズーム方向への移動量を推定する移動量推定ステップと，前記移動量推定ステップによって推定された前記装置本体の各方向の移動量を表す三次元移動量情報を生成する移動量情報生成ステップとを有する。
【００１５】
この構成により，装置本体に備えられた撮像手段によって生成された最新画像データと直前画像データとに基づいて，パン方向，チルト方向およびズーム方向への移動量が推定され，三次元位置または三次元移動量が検出されるため，ユーザによって把持される装置単体のみで三次元位置または三次元移動量を独立して検出することができる。
【００１６】
また，１つの撮像手段によって順次生成される画像データに基づいて装置本体の移動量を推定し，装置本体の三次元位置または三次元移動量を検出することができるため，最小限の構成で独立した三次元位置検出装置による三次元位置検出方法を実現することができる。
【００１７】
以上の方法における各ステップの処理は，三次元位置検出装置が備えるコンピュータに三次元位置または三次元移動量を検出するための特定のソフトウェアプログラムを実行させることによって実現することができる。
【００１８】
この構成により，従来からあるカメラ付きの携帯電話またはカメラ付きの個人用情報端末などの携帯装置に，本発明による三次元位置検出方法を実現する処理を記述したプログラムを実行させることによって，従来からある携帯装置を本発明の三次元位置検出装置として簡便に実現し利用することが可能になる。
【００１９】
【発明の実施の形態】
以下，本発明の実施の形態について，図面を参照して説明する。図１は，本発明の実施の形態の三次元位置検出装置の構成を示す図である。図１に示すように本発明の実施の形態の三次元位置検出装置１は，撮像手段１１と，画像データ格納手段１２と，移動量推定手段１３と，三次元位置情報生成手段１４と，移動量情報生成手段１５と，情報伝送手段１６とを備えている。
【００２０】
三次元位置検出装置１の各手段は，ハードウェアまたはファームウェアによって実現することができるが，撮像手段１１と情報伝送手段１６の一部を除く手段は，三次元位置検出装置１が備えるコンピュータ（ＣＰＵおよびメモリ）とソフトウェアプログラムとによって実現することもできる。
【００２１】
また，三次元位置検出装置１の概観は，例えば図２に示すようになっており，撮像手段１１は，撮像手段設置部１１ａに設置されるようになっている。
【００２２】
撮像手段１１は，所定時間ごとに撮像し，画像データを生成するようになっている。なお，撮像手段１１は，例えば，電荷結合素子（ＣＣＤ：ＣｈａｒｇｅＣｏｕｐｌｅｄ
Ｄｅｖｉｃｅ）のような素子によって構成される。
【００２３】
画像データ格納手段１２は，撮像手段１１によって生成された画像データを順次格納するようになっている。なお，画像データ格納手段１２に格納された画像データのうち，最新の画像データのことを最新画像データといい，最新画像データの直前に生成された画像データのことを直前画像データという。ここで，画像データ格納手段１２は，少なくとも最新画像データと直前画像データとを格納するようになっていればよく，撮像手段１１によって画像データが生成されるごとに古い画像データを順次破棄するようになっていてもよい。
【００２４】
移動量推定手段１３は，画像データ格納手段１２に格納された最新画像データと直前画像データとに基づいて，直前画像データの各画素が最新画像データの何れの画素に対応するかを推定して，直前画像データが生成された時刻から最新画像データが生成された時刻までの時間内における三次元位置検出装置１本体のパン方向，チルト方向およびズーム方向への移動量を推定するようになっている。なお，パン方向，チルト方向およびズーム方向とは，それぞれ，図２に示すような方向のことをいう。すなわち，ここでパン方向とは，何らかの撮像対象に正対させたときに，装置本体の左右の方向をいい，チルト方向は上下の方向をいい，ズーム方向は前後の方向をいう。撮影対象は，何らかのパターンを画像から得ることができるものであれば何でもよい。
【００２５】
ここで，移動量推定手段１３による最新画像データと直前画像データとに基づいた三次元位置検出装置１の移動量の推定方法の例について詳しく説明する。画素の座標（ｘ，ｙ）にある画素の物理特徴量（例えば，色相や輝度）を関数として，ｆ（ｘ，ｙ）で表し，直前画像データを表す関数をｆ（ｘ，ｙ），最新画像データを表す関数をｆ’（ｘ，ｙ）とする。
【００２６】
また，直前画像データにおける特定の画素の座標を（ｍ，ｎ）として，該特定の画素に対応する最新画像データの画素の座標を（ｍ’，ｎ’）とする。なお，座標系の原点を画像フレームの中心とする。ズーム方向の移動量をａ，パン方向の移動量をｄ_ｘ，チルト方向の移動量をｄ_ｙとして，座標（ｍ’，ｎ’）を，式（１）のように定義する。
【００２７】
（ｍ’，ｎ’）＝（ａｍ，ａｎ）＋（ｄ_ｘ，ｄ_ｙ）（１）
ここで，２つの画像データの誤差尺度として，次の式（２）を定義する。
【００２８】
【数１】

【００２９】
なお，式（２）において，ＭＳＥとは，最小二乗誤差（ＭｅａｎｓｑｕａｒｅＥｒｒｏｒ）のことをいい，θは，θ＝（ａ，ｄ_ｘ，ｄ_ｙ）として表されるものである。また，Ｎとは，直前画像データ内の全ての画素について，式（１）に基づいて最新画像データ内に対応する点があるか否かを求めたときに，直前画像データと最新画像データとの間で重なり合いをもつ画素点の数を表すものである。
【００３０】
以上の条件に基づいて計算が行われ，ＭＳＥ（θ）が最も小さくなるときのθが求められる。ここで，求められたａ，ｄ_ｘおよびｄ_ｙを，それぞれ三次元位置検出装置１が移動したときのズーム方向，パン方向およびチルト方向の移動量とする。
【００３１】
なお，以上説明した移動量の推定方法よりも移動量の精度を向上させる場合には，他のカメラモデル（例えば透視変換モデル，アフィン変換モデルなど）に基づいて移動量を推定してもよい。
【００３２】
また，移動量推定手段１３は，複数の移動量の推定モデルに基づいて移動量の推定を行うようになっていてもよく，この場合にあっては，撮像時の焦点距離に応じて，移動量の推定モデルを変更するようになっていてもよい。
【００３３】
ここでは説明を簡単にするために，三次元位置検出装置１は，撮影対象に正対し，例えば垂直軸や水平軸の周りに回転はしないものとした。三次元位置検出装置１が回転した場合でも，映像のキャプチャの間隔を細かくとり，映像の変化からカメラワーク推定パラメータを算出する周知の技術を応用して，三次元位置検出装置１の移動量を計算することができる。また，このような回転は使用上の制限として禁止してもよい。
【００３４】
三次元位置情報生成手段１４は，移動量推定手段１３によって推定された三次元位置検出装置１本体の各方向への移動量を順次加算することによって，三次元位置検出装置１本体の三次元位置を表す三次元位置情報を生成するようになっている。なお，三次元位置情報生成手段１４は，特定の時刻において，三次元位置検出装置１の三次元位置の零点を設定し，該特定の時刻の三次元位置検出装置１本体の位置を基準とする三次元位置情報を生成するようになっていてもよい。
【００３５】
また，三次元位置検出装置１は，特定の時刻においてユーザに三次元位置検出装置１の三次元位置の零点を設定させるユーザインタフェースを有してもよく，この場合にあっては，三次元位置情報生成手段１４は，ユーザによって零点が設定されたときに三次元位置検出装置１の三次元位置の零点を設定し，該特定の時刻の三次元位置検出装置１本体の位置を基準とする三次元位置情報を生成するようになっていてもよい。
【００３６】
移動量情報生成手段１５は，移動量推定手段１３によって推定された三次元位置検出装置１本体の各方向の移動量を表す三次元移動量情報を生成するようになっている。なお，三次元位置検出装置１は，移動量情報生成手段１５を備えていなくても実施可能である。
【００３７】
情報伝送手段１６は，三次元位置情報生成手段１４によって生成された三次元位置情報または移動量情報生成手段１５によって生成された三次元移動量情報を，三次元位置情報または三次元移動量情報を使用する所定の装置に伝送するようになっている。
【００３８】
なお，情報伝送手段１６による各種情報の伝送は，三次元位置検出装置１と該所定の装置との距離が比較的近い場合には，例えば，赤外線信号，マイクロ波信号またはミリ波信号などの無線通信技術に基づいて行われてもよいし，伝送線を介して行われてもよい。また，情報伝送手段１６による各種情報の伝送は，三次元位置検出装置１と該所定の装置との距離が比較的遠い場合には，例えば，移動体通信網を用いて行われるようになっていてもよい。
【００３９】
以下，本発明の実施の形態の三次元位置検出装置に係る三次元位置情報の生成処理の流れを，図３に示すフローチャートを参照して説明する。まず，撮像手段１１によって撮像され，画像データが生成され（ステップＳ１），生成された画像データは，画像データ格納手段１２によって順次格納される（ステップＳ２）。
【００４０】
次に，画像データ格納手段１２に格納された最新画像データと直前画像データとに基づいて，直前画像データの各画素が最新画像データの何れの画素に対応するかが移動量推定手段１３によって推定され，この結果として，直前画像データが生成された時刻から最新画像データが生成された時刻までの時間内における三次元位置検出装置１本体のパン方向，チルト方向およびズーム方向への移動量が推定される（ステップＳ３）。
【００４１】
次いで，移動量推定手段１３によって推定された三次元位置検出装置１本体のパン方向，チルト方向およびズーム方向への移動量が直前の三次元位置情報に加算されることにより，最新の三次元位置情報が三次元位置情報生成手段１４によって生成される（ステップＳ４）。なお，ステップＳ１からＳ４の処理は，新たな画像データが撮像手段１１によって生成されるごとに順次繰り返される。
【００４２】
なお，情報伝送手段１６によって三次元位置情報が三次元位置情報を使用する所定の装置に伝送されるようになっている場合には，ステップＳ４の後に三次元位置情報が情報伝送手段１６によって該所定の装置に伝送される。また，情報伝送手段１６によって三次元移動量情報が三次元移動量情報を使用する所定の装置に伝送されるようになっている場合には，ステップＳ３の後に三次元移動量情報が移動量情報生成手段１５によって生成され，その生成された三次元移動量情報が情報伝送手段１６によって該所定の装置に伝送される。
【００４３】
以上説明したように，本発明の実施の形態の三次元位置検出装置１は，装置本体に備えられた撮像手段によって生成された最新画像データと直前画像データとに基づいて，パン方向，チルト方向およびズーム方向への移動量が推定され，三次元位置が検出されるため，ユーザによって把持される装置単体のみで三次元位置を独立して検出することができる。
【００４４】
また，１つの撮像手段によって順次生成される画像データに基づいて装置本体の移動量を推定し，装置本体の三次元位置を検出することができるため，最小限の構成で独立した三次元位置検出装置を実現することができる。
【００４５】
また，情報伝送手段１６を備えることによって，三次元位置情報または三次元移動量情報を必要とする所定の装置に三次元位置情報または三次元移動量情報を伝送することができる。この結果，本発明の三次元位置検出装置１を該所定の装置の処理を制御するポインティングデバイスとすることができる。
【００４６】
また，本発明の実施の形態の三次元位置検出装置１の処理を記述したプログラムを，撮像手段，中央演算装置（ＣＰＵ）およびメモリ（ＲＡＭ）を有する携帯装置に実行させることによって，携帯装置を本発明の三次元位置検出装置１として簡便に実現させることができる。ここで，携帯装置とは，例えば，従来からあるカメラ付きの携帯電話またはカメラ付きの個人用情報端末などである。
【００４７】
【発明の効果】
以上説明したように，本発明は，ユーザによって把持される装置単体のみで三次元位置を独立して検出することができる三次元位置検出装置を提供することができるものである。
【図面の簡単な説明】
【図１】本発明の実施の形態の三次元位置検出装置の構成例を示す図である。
【図２】本発明の実施の形態の三次元位置検出装置の概観の例を示す図である。
【図３】三次元位置情報の生成処理フローを示す図である。
【符号の説明】
１三次元位置検出装置
１１撮像手段
１１ａ撮像手段設置部
１２画像データ格納手段
１３移動量推定手段
１４三次元位置情報生成手段
１５移動量情報生成手段
１６情報伝送手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a three-dimensional position detection technique, and more particularly, to a three-dimensional position detection device, method, and program capable of independently detecting a three-dimensional position only by a device held by a user. .
[0002]
[Prior art]
A conventional three-dimensional position detecting device includes a device main body installed at a predetermined location and a moving unit gripped by a user. The apparatus main body emits a light beam of a predetermined wavelength, and the moving section includes a plurality of light receiving elements for receiving the light beam emitted by the apparatus main body and detecting the light intensity of the received light beam. .
[0003]
In the three-dimensional position detecting device thus configured, the three-dimensional position of the moving part is detected based on the light intensity of the light beam detected by each light receiving element, and the detected three-dimensional position and the three-dimensional position of the moving part are detected. Is used for predetermined information processing (for example, see Patent Document 1).
[0004]
[Patent Document 1]
JP 09-325007 A
[Problems to be solved by the invention]
However, in such a conventional three-dimensional position detecting device, the position and the amount of movement of the moving unit are detected in accordance with the light beam emitted from the device main unit. There is a problem that the three-dimensional position cannot be detected independently with only the device held by the user.
[0006]
The present invention has been made in order to solve such a problem, and provides a three-dimensional position detecting device, a method, and a program capable of independently detecting a three-dimensional position only by a device held by a user. The purpose is to do.
[0007]
[Means for Solving the Problems]
In order to solve the above problems, a first invention is a three-dimensional position detecting device that detects a moving amount of an apparatus main body and detects a three-dimensional position of the apparatus main body. One image capturing means for generating, image data storing means for storing at least the latest image data which is the latest image data and the immediately preceding image data which is image data generated immediately before the latest image data, and the latest image data And estimating which pixel of the latest image data corresponds to which pixel of the latest image data based on the last image data and the last image data. Moving amount estimating means for estimating the moving amount of the apparatus main body in the pan direction, the tilt direction, and the zoom direction within the time up to the generated time; and the moving amount estimating means. And three-dimensional position information generating means for generating three-dimensional position information representing a three-dimensional position of the device main body by sequentially adding the movement amounts of the device main body in the respective directions estimated in the above manner. It has a configuration.
[0008]
With this configuration, the amount of movement in the pan direction, the tilt direction, and the zoom direction is estimated based on the latest image data generated by the imaging means provided in the apparatus main body and the immediately preceding image data, and the three-dimensional position is detected. Therefore, the three-dimensional position can be independently detected by only the device held by the user. In addition, since the moving amount of the apparatus main body can be estimated based on image data sequentially generated by one imaging unit and the three-dimensional position of the apparatus main body can be detected, independent three-dimensional position detection can be performed with a minimum configuration. The device can be realized.
[0009]
Further, the three-dimensional position detecting device according to the second aspect of the present invention provides the three-dimensional position information generating means according to the first aspect of the present invention instead of or in addition to the three-dimensional position information generating means. It has a configuration characterized by comprising a moving amount information generating means for generating three-dimensional moving amount information representing the moving amount of each direction of the apparatus main body.
[0010]
With this configuration, a three-dimensional movement amount of the device main body can be detected, and a three-dimensional position detecting device capable of knowing a relative displacement of the device main body from a certain position can be easily realized.
[0011]
The three-dimensional position detecting device according to a third aspect of the present invention is configured such that the three-dimensional position information or the three-dimensional position information is stored in a predetermined device using the three-dimensional position information or a predetermined device using the three-dimensional movement amount information. It has a configuration provided with information transmission means for transmitting movement amount information.
[0012]
With this configuration, the three-dimensional position information or the three-dimensional movement amount information can be transmitted to a predetermined device that requires the three-dimensional position information or the three-dimensional movement amount information. As a result, the three-dimensional position detecting device of the present invention can be used as a pointing device for controlling the processing of the predetermined device.
[0013]
Further, the three-dimensional position detecting method of the present invention is a three-dimensional position detecting method for detecting a moving amount of an apparatus provided with one imaging means and detecting a three-dimensional position of the apparatus, wherein the imaging is performed at predetermined time intervals. An image capturing step of generating image data; an image data storing step of storing at least the latest image data that is the latest image data and the immediately preceding image data that is the image data generated immediately before the latest image data; Based on the latest image data and the immediately preceding image data, it is estimated which pixel of the latest image data corresponds to which pixel of the latest image data, and the latest image data is generated from the time when the immediately preceding image data is generated. A moving amount estimating step of estimating a moving amount of the apparatus body in a pan direction, a tilt direction, and a zoom direction within a time period up to a time when the image data is generated; And a three-dimensional position information generating step of generating a three-dimensional position information indicating the three-dimensional position of the apparatus main body by sequentially adding the movement amount in each direction of the estimated the apparatus main body by serial movement amount estimation step.
[0014]
Another three-dimensional position detecting method according to the present invention is a three-dimensional position detecting method for detecting a moving amount of a device provided with one image pickup means and detecting a three-dimensional position of the device, wherein the method comprises the steps of: And an image data storing step of storing at least the latest image data that is the latest image data and the immediately preceding image data that is the image data generated immediately before the latest image data. , Estimating, based on the latest image data and the immediately preceding image data, to which pixel of the latest image data each pixel of the immediately preceding image data corresponds, from the time when the immediately preceding image data was generated A moving amount estimating step of estimating a moving amount of the apparatus main body in a pan direction, a tilt direction, and a zoom direction within a time period up to a time when the latest image data is generated; , And a movement amount information generation step of generating a three-dimensional movement amount information indicating the amount of movement in each direction of the apparatus body that is estimated by the movement amount estimation step.
[0015]
With this configuration, the amount of movement in the pan direction, the tilt direction, and the zoom direction is estimated based on the latest image data generated by the imaging unit provided in the apparatus main body and the immediately preceding image data, and the three-dimensional position or the three-dimensional position is calculated. Since the movement amount is detected, the three-dimensional position or the three-dimensional movement amount can be independently detected by only the device held by the user.
[0016]
In addition, since the moving amount of the apparatus main body can be estimated based on the image data sequentially generated by one imaging unit, and the three-dimensional position or the three-dimensional moving amount of the apparatus main body can be detected, an independent operation is possible with a minimum configuration. A three-dimensional position detection method using the three-dimensional position detection device described above can be realized.
[0017]
The processing of each step in the above method can be realized by causing a computer included in the three-dimensional position detecting device to execute a specific software program for detecting a three-dimensional position or a three-dimensional movement amount.
[0018]
With this configuration, a program that describes processing for realizing the three-dimensional position detection method according to the present invention is executed by a portable device such as a mobile phone with a camera or a personal information terminal with a camera. A certain portable device can be easily realized and used as the three-dimensional position detecting device of the present invention.
[0019]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram illustrating a configuration of a three-dimensional position detection device according to an embodiment of the present invention. As shown in FIG. 1, a three-dimensional position detecting device 1 according to an embodiment of the present invention includes an imaging unit 11, an image data storing unit 12, a moving amount estimating unit 13, a three-dimensional position information generating unit 14, A quantity information generating unit 15 and an information transmitting unit 16 are provided.
[0020]
Each unit of the three-dimensional position detecting device 1 can be realized by hardware or firmware, but a unit except for the imaging unit 11 and a part of the information transmitting unit 16 is a computer (CPU) provided in the three-dimensional position detecting unit 1. And a memory) and a software program.
[0021]
In addition, an overview of the three-dimensional position detecting device 1 is, for example, as shown in FIG. 2, and the imaging unit 11 is installed in an imaging unit installation unit 11a.
[0022]
The imaging unit 11 captures images at predetermined time intervals and generates image data. The imaging means 11 is, for example, a charge-coupled device (CCD: Charge Coupled).
Device).
[0023]
The image data storage unit 12 sequentially stores the image data generated by the imaging unit 11. Note that, of the image data stored in the image data storage unit 12, the latest image data is referred to as latest image data, and the image data generated immediately before the latest image data is referred to as immediately preceding image data. Here, the image data storage means 12 only needs to store at least the latest image data and the immediately preceding image data. The image data storage means 12 sequentially discards old image data every time image data is generated by the imaging means 11. It may be.
[0024]
The movement amount estimating means 13 estimates which pixel of the immediately preceding image data corresponds to which pixel of the latest image data based on the latest image data and the immediately preceding image data stored in the image data storing means 12. The amount of movement of the main body of the three-dimensional position detecting device 1 in the pan direction, the tilt direction, and the zoom direction during the time from the time when the immediately preceding image data is generated to the time when the latest image data is generated is estimated. I have. Note that the pan direction, the tilt direction, and the zoom direction refer to directions as shown in FIG. 2, respectively. That is, here, the pan direction refers to the left and right direction of the apparatus main body when facing a certain imaging target, the tilt direction refers to the up and down direction, and the zoom direction refers to the front and back direction. The object to be photographed may be any object as long as a certain pattern can be obtained from the image.
[0025]
Here, an example of a method of estimating the movement amount of the three-dimensional position detecting device 1 based on the latest image data and the immediately preceding image data by the movement amount estimation means 13 will be described in detail. The physical feature amount (for example, hue or luminance) of the pixel at the pixel coordinates (x, y) is represented as f (x, y) as a function, and the function representing the immediately preceding image data is represented by f (x, y). The function representing the image data is f ′ (x, y).
[0026]
Further, the coordinates of a specific pixel in the immediately preceding image data are set to (m, n), and the coordinates of the pixel of the latest image data corresponding to the specific pixel are set to (m ′, n ′). Note that the origin of the coordinate system is the center of the image frame. The moving amount of the zoom direction a, the d _x movement amount in the pan _direction, the movement amount of the tilt direction as d _y, coordinates (m ', n'), is defined by the equation (1).
[0027]
(M ', n') = (am, an) + (d x, d y) (1)
Here, the following equation (2) is defined as an error measure of two image data.
[0028]
(Equation 1)

[0029]
In the equation (2), the MSE, refers to the minimum square error (Mean square Error), theta _{is, θ = (a, d x} , d y) is represented as a. Also, N means that, for all the pixels in the immediately preceding image data, whether or not there is a corresponding point in the latest image data based on Equation (1), the immediately preceding image data and the latest image data are obtained. Represents the number of pixel points overlapping with each other.
[0030]
Calculation is performed based on the above conditions, and θ at which MSE (θ) is minimized is obtained. Here, a determined, the d _x and d _y, zoom direction when each three-dimensional position detecting apparatus 1 is moved, the movement amount of the pan direction and tilt direction.
[0031]
When the accuracy of the movement amount is improved as compared with the above-described movement amount estimation method, the movement amount may be estimated based on another camera model (for example, a perspective transformation model, an affine transformation model, or the like).
[0032]
The moving amount estimating means 13 may estimate the moving amount based on a plurality of moving amount estimating models. In this case, the moving amount estimating means 13 moves the moving amount in accordance with the focal length at the time of imaging. The model for estimating the quantity may be changed.
[0033]
Here, for simplicity of description, the three-dimensional position detection device 1 is assumed to face the object to be photographed and not rotate around, for example, a vertical axis or a horizontal axis. Even when the three-dimensional position detecting device 1 rotates, the moving amount of the three-dimensional position detecting device 1 can be reduced by applying a well-known technique of taking a small interval between image captures and calculating a camera work estimation parameter from a change in the image. Can be calculated. Such rotation may be prohibited as a restriction on use.
[0034]
The three-dimensional position information generating means 14 sequentially adds the amounts of movement of the main body of the three-dimensional position detecting device 1 in the respective directions estimated by the moving amount estimating means 13, thereby obtaining the three-dimensional position of the main body of the three-dimensional position detecting device 1. Is generated. Note that the three-dimensional position information generating means 14 sets a zero point of the three-dimensional position of the three-dimensional position detecting device 1 at a specific time, and uses the position of the main body of the three-dimensional position detecting device 1 at the specific time as a reference. Three-dimensional position information may be generated.
[0035]
Further, the three-dimensional position detecting device 1 may have a user interface that allows a user to set a zero point of the three-dimensional position of the three-dimensional position detecting device 1 at a specific time. The information generating means 14 sets a zero point of the three-dimensional position of the three-dimensional position detecting device 1 when the zero point is set by the user, and sets the three-dimensional position based on the position of the main body of the three-dimensional position detecting device 1 at the specific time. Original position information may be generated.
[0036]
The moving amount information generating means 15 generates three-dimensional moving amount information indicating the moving amount in each direction of the three-dimensional position detecting device 1 estimated by the moving amount estimating means 13. Note that the three-dimensional position detecting device 1 can be implemented even without the movement amount information generating unit 15.
[0037]
The information transmission unit 16 converts the three-dimensional position information generated by the three-dimensional position information generation unit 14 or the three-dimensional movement amount information generated by the movement amount information generation unit 15 into three-dimensional position information or three-dimensional movement amount information. The data is transmitted to a predetermined device to be used.
[0038]
The transmission of various types of information by the information transmission means 16 may be performed, for example, when the distance between the three-dimensional position detecting device 1 and the predetermined device is relatively short, such as a wireless signal such as an infrared signal, a microwave signal, or a millimeter wave signal. It may be performed based on a communication technology or may be performed via a transmission line. The transmission of various types of information by the information transmission means 16 is performed using, for example, a mobile communication network when the distance between the three-dimensional position detecting device 1 and the predetermined device is relatively long. You may.
[0039]
Hereinafter, a flow of a process of generating three-dimensional position information according to the three-dimensional position detection device according to the embodiment of the present invention will be described with reference to a flowchart shown in FIG. First, an image is taken by the imaging means 11 to generate image data (step S1), and the generated image data is sequentially stored by the image data storage means 12 (step S2).
[0040]
Next, based on the latest image data and the previous image data stored in the image data storage unit 12, the movement amount estimation unit 13 estimates which pixel of the previous image data corresponds to which pixel of the latest image data. As a result, the movement amounts of the main body of the three-dimensional position detecting device 1 in the pan direction, the tilt direction, and the zoom direction within the time from the time when the immediately preceding image data is generated to the time when the latest image data is generated are estimated. Is performed (step S3).
[0041]
Next, the movement amounts of the main body of the three-dimensional position detection device 1 in the pan direction, the tilt direction, and the zoom direction estimated by the movement amount estimation means 13 are added to the immediately preceding three-dimensional position information, so that the latest three-dimensional position information is obtained. Information is generated by the three-dimensional position information generating means 14 (Step S4). Note that the processing of steps S1 to S4 is sequentially repeated each time new image data is generated by the imaging unit 11.
[0042]
If the three-dimensional position information is to be transmitted to a predetermined device using the three-dimensional position information by the information transmission means 16, the three-dimensional position information is transmitted by the information transmission means 16 after step S4. It is transmitted to a predetermined device. If the three-dimensional movement amount information is to be transmitted to the predetermined device using the three-dimensional movement amount information by the information transmitting means 16, the three-dimensional movement amount information is changed to the movement amount information after step S3. The three-dimensional movement amount information generated by the generation unit 15 is transmitted by the information transmission unit 16 to the predetermined device.
[0043]
As described above, the three-dimensional position detecting device 1 according to the embodiment of the present invention can control the pan direction and the tilt direction based on the latest image data and the immediately preceding image data generated by the imaging unit provided in the main body of the device. Since the amount of movement in the zoom direction is estimated and the three-dimensional position is detected, the three-dimensional position can be independently detected only by the device held by the user.
[0044]
In addition, since the movement amount of the apparatus main body can be estimated based on the image data sequentially generated by one imaging unit and the three-dimensional position of the apparatus main body can be detected, independent three-dimensional position detection with a minimum configuration is possible. The device can be realized.
[0045]
In addition, the provision of the information transmission means 16 enables the transmission of the three-dimensional position information or the three-dimensional movement amount information to a predetermined device that requires the three-dimensional position information or the three-dimensional movement amount information. As a result, the three-dimensional position detecting device 1 of the present invention can be used as a pointing device for controlling the processing of the predetermined device.
[0046]
In addition, by causing a portable device having an imaging unit, a central processing unit (CPU) and a memory (RAM) to execute a program describing processing of the three-dimensional position detecting device 1 according to the embodiment of the present invention, The three-dimensional position detecting device 1 of the present invention can be easily realized. Here, the portable device is, for example, a conventional mobile phone with a camera or a personal information terminal with a camera.
[0047]
【The invention's effect】
As described above, the present invention can provide a three-dimensional position detection device that can independently detect a three-dimensional position with only the device held by a user.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration example of a three-dimensional position detection device according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of an overview of a three-dimensional position detection device according to an embodiment of the present invention.
FIG. 3 is a diagram showing a flow of processing for generating three-dimensional position information.
[Explanation of symbols]
REFERENCE SIGNS LIST 1 three-dimensional position detection device 11 imaging means 11 a imaging means installation part 12 image data storage means 13 movement amount estimation means 14 three-dimensional position information generation means 15 movement amount information generation means 16 information transmission means

Claims

A three-dimensional position detecting device for detecting a moving amount of the device main body and detecting a three-dimensional position of the device main body,
Imaging means for imaging at predetermined time intervals to generate image data;
Image data storage means for storing at least the latest image data that is the latest image data and the immediately preceding image data that is the image data generated immediately before the latest image data;
Based on the latest image data and the immediately preceding image data, each pixel of the immediately preceding image data is estimated to correspond to which pixel of the latest image data, and from the time when the immediately preceding image data is generated, Moving amount estimating means for estimating the moving amount of the apparatus main body in the pan direction, the tilt direction, and the zoom direction within a time period up to the time when the latest image data is generated;
Three-dimensional position information generating means for generating three-dimensional position information representing a three-dimensional position of the device main body by sequentially adding the amount of movement in each direction of the apparatus main body estimated by the moving amount estimating means. A three-dimensional position detecting device characterized by the above-mentioned.

A three-dimensional position detecting device for detecting a three-dimensional movement amount of the device body,
Imaging means for imaging at predetermined time intervals to generate image data;
Image data storage means for storing at least the latest image data that is the latest image data and the immediately preceding image data that is the image data generated immediately before the latest image data;
Based on the latest image data and the immediately preceding image data, each pixel of the immediately preceding image data is estimated to correspond to which pixel of the latest image data, and from the time when the immediately preceding image data is generated, Moving amount estimating means for estimating the moving amount of the apparatus main body in the pan direction, the tilt direction, and the zoom direction within a time period up to the time when the latest image data is generated;
A three-dimensional position detecting device, comprising: moving amount information generating means for generating three-dimensional moving amount information indicating a moving amount of the apparatus main body in each direction estimated by the moving amount estimating means.

The three-dimensional position detecting device according to claim 1 or 2,
A three-dimensional position detecting device comprising: a predetermined device that uses the three-dimensional position information or the three-dimensional movement amount information; and an information transmission unit that transmits the three-dimensional position information or the three-dimensional movement amount information. .

A three-dimensional position detection method for detecting a movement amount of a device including an imaging unit and detecting a three-dimensional position of the device,
An imaging step of imaging at predetermined time intervals and generating image data;
An image data storing step of storing at least the latest image data that is the latest image data and the immediately preceding image data that is the image data generated immediately before the latest image data;
Based on the latest image data and the immediately preceding image data, each pixel of the immediately preceding image data is estimated to correspond to which pixel of the latest image data, and from the time when the immediately preceding image data is generated, A moving amount estimating step of estimating a moving amount of the apparatus main body in a pan direction, a tilt direction, and a zoom direction within a time period up to a time when the latest image data is generated;
A three-dimensional position information generating step of generating three-dimensional position information representing a three-dimensional position of the device body by sequentially adding the amount of movement of the device body estimated in the moving amount estimation step in each direction. A three-dimensional position detection method.

A three-dimensional position detection method for detecting a three-dimensional movement amount of a device including an imaging unit,
An imaging step of imaging at predetermined time intervals and generating image data;
An image data storing step of storing at least the latest image data that is the latest image data and the immediately preceding image data that is the image data generated immediately before the latest image data;
Based on the latest image data and the immediately preceding image data, each pixel of the immediately preceding image data is estimated to correspond to which pixel of the latest image data, and from the time when the immediately preceding image data is generated, A moving amount estimating step of estimating a moving amount of the apparatus main body in a pan direction, a tilt direction, and a zoom direction within a time period up to a time when the latest image data is generated;
A moving amount information generating step of generating three-dimensional moving amount information representing a moving amount of the apparatus main body in each direction estimated by the moving amount estimating step.

A three-dimensional position detection program for causing a computer of the three-dimensional position detection device to execute the three-dimensional position detection method according to claim 4 or 5.