JP2002298145A - 位置検出装置及び姿勢検出装置 - Google Patents
位置検出装置及び姿勢検出装置Info
- Publication number
- JP2002298145A JP2002298145A JP2001102934A JP2001102934A JP2002298145A JP 2002298145 A JP2002298145 A JP 2002298145A JP 2001102934 A JP2001102934 A JP 2001102934A JP 2001102934 A JP2001102934 A JP 2001102934A JP 2002298145 A JP2002298145 A JP 2002298145A
- Authority
- JP
- Japan
- Prior art keywords
- mark
- image
- state
- marks
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 表示画面に対する撮像面の姿勢やオブジェク
ト位置の検出が大画面表示であっても容易に行える位置
検出装置及び姿勢検出装置を提供する。 【解決手段】標的となる前記オブジェクトの近傍に表示
された複数の特徴点を有する基準画像ｍＱと前記基準画
像を含んで、撮像面上に予め定められた位置を前記被検
出位置として前記オブジェクトを撮像する撮像手段１０
１と前記撮像手段により撮像された画像データに基づい
て複数の特徴点の座標位置を特定する特徴点抽出手段と
前記基準画像の特徴点の座標に基づいて表示画面上の被
検出位置の座標を演算する画像処理手段とを備えてい
る。
ト位置の検出が大画面表示であっても容易に行える位置
検出装置及び姿勢検出装置を提供する。 【解決手段】標的となる前記オブジェクトの近傍に表示
された複数の特徴点を有する基準画像ｍＱと前記基準画
像を含んで、撮像面上に予め定められた位置を前記被検
出位置として前記オブジェクトを撮像する撮像手段１０
１と前記撮像手段により撮像された画像データに基づい
て複数の特徴点の座標位置を特定する特徴点抽出手段と
前記基準画像の特徴点の座標に基づいて表示画面上の被
検出位置の座標を演算する画像処理手段とを備えてい
る。
Description
【０００１】
【発明の属する技術分野】 本発明は、表示画面に基準
画像を表示させてオブジェクト画像の位置や姿勢を検出
する位置検出装置及び姿勢検出装置に関する。
画像を表示させてオブジェクト画像の位置や姿勢を検出
する位置検出装置及び姿勢検出装置に関する。
【０００２】
【従来の技術】最近、カメラを用いてディスプレイ上の
位置検出を行う方法が数多く提案されている。その１つ
にディスプレイ上に基準画像を表示し、この基準画像を
カメラにより撮像してカメラ位置やマーク位置を検出す
る位置検出装置がある。例えば、特開平６−３５６０７
号公報、特開平７−１２１２９３号公報、特開平１１−
３１９３１６号公報などがある。代表的な例である特開
平７−１２１２９号公報は、操作時に画面に表示された
マークを撮像し、撮像されたマークを抽出し、それらマ
ーク座標に基づいて位置検出するコントローラを提案し
ている。
位置検出を行う方法が数多く提案されている。その１つ
にディスプレイ上に基準画像を表示し、この基準画像を
カメラにより撮像してカメラ位置やマーク位置を検出す
る位置検出装置がある。例えば、特開平６−３５６０７
号公報、特開平７−１２１２９３号公報、特開平１１−
３１９３１６号公報などがある。代表的な例である特開
平７−１２１２９号公報は、操作時に画面に表示された
マークを撮像し、撮像されたマークを抽出し、それらマ
ーク座標に基づいて位置検出するコントローラを提案し
ている。
【０００３】
【発明が解決しようとする課題】しかしながら、基準マ
ークとして予め位置関係が既知である基準発光素子を設
けておくことにより位置検出する方法は、表示画面に予
め発光素子を設けておく必要があり、決められたディス
プレイを使用しなければならず、表示場所の制約があ
る。その上、撮像手段も発光素子を検出するための特別
な撮像装置が必要となるなどの問題がある。
ークとして予め位置関係が既知である基準発光素子を設
けておくことにより位置検出する方法は、表示画面に予
め発光素子を設けておく必要があり、決められたディス
プレイを使用しなければならず、表示場所の制約があ
る。その上、撮像手段も発光素子を検出するための特別
な撮像装置が必要となるなどの問題がある。
【０００４】また、表示画面上の決められた位置に画面
全体にマークを表示し、それらマークを基準画像として
撮像する例では、表示画面全体に多くのマークを配置し
なければならない。その上、限られた撮像範囲内で撮像
されたマークが表示画面上のどの位置のマークかを識別
しなければならなず、表示画質の低下や配置の煩雑さは
避けられないという問題が生じる。特に、基準画像を一
部分撮像して位置検出する大画面表示における被検出位
置の検出は困難となる。
全体にマークを表示し、それらマークを基準画像として
撮像する例では、表示画面全体に多くのマークを配置し
なければならない。その上、限られた撮像範囲内で撮像
されたマークが表示画面上のどの位置のマークかを識別
しなければならなず、表示画質の低下や配置の煩雑さは
避けられないという問題が生じる。特に、基準画像を一
部分撮像して位置検出する大画面表示における被検出位
置の検出は困難となる。
【０００５】さらに、表示画像上にマークを表示して位
置検出を行う多くの例は、状態の異なる２枚の基準画像
の差分画像処理が行われている。しかしながら、基準画
像に配置する全てのマークの状態が同一であるため表示
画面に対する撮像面の姿勢や方向を検出することができ
ないという問題がある。
置検出を行う多くの例は、状態の異なる２枚の基準画像
の差分画像処理が行われている。しかしながら、基準画
像に配置する全てのマークの状態が同一であるため表示
画面に対する撮像面の姿勢や方向を検出することができ
ないという問題がある。
【０００６】本発明の目的は、表示画面に対する撮像面
の姿勢やオブジェクト位置の検出が大画面表示であって
も容易に行える位置検出装置及び姿勢検出装置を提供す
ることである。
の姿勢やオブジェクト位置の検出が大画面表示であって
も容易に行える位置検出装置及び姿勢検出装置を提供す
ることである。
【０００７】
【問題点を解決する為の手段】上記問題点の解決のため
に本発明の請求項１は、表示画面上に表示されたオブジ
ェクトの位置を検出する位置検出装置であって、標的と
なる前記オブジェクトの近傍に表示された複数の特徴点
を有する基準画像と、前記基準画像を含んで、撮像面上
に予め定められた位置を被検出位置として前記オブジェ
クトを撮像する撮像手段と、前記撮像手段により撮像さ
れた画像データに基づいて複数の特徴点の座標位置を特
定する特徴点抽出手段と、前記基準画像の特徴点の座標
に基づいて表示画面上の被検出位置の座標を演算する画
像処理手段とを備えたことを特徴とする。、また、本発
明の請求項７は、表示画面上の複数のマークに基づいて
被検出位置を検出する位置検出装置であって、前記表示
画面に表示する輝度状態の異なる第１及び第２状態のマ
ークがそれぞれ配置された第１及び第２の基準画像と、
予め撮像面上に定めた位置を被検出位置として、前記表
示画面上に表示された前記第１及び第２の基準画像を時
系列的に撮像する撮像手段と、前記撮像手段により撮像
された第１及び第２の基準画像を含む画像データ間の差
分画像処理する差分画像処理手段と、前記差分画像処理
手段に基づいてマーク座標を抽出する特徴点抽出手段
と、前記差分処理手段により得られた差分画像信号の符
号を判別する差分画像信号判別手段と、 前記特徴点抽
出手段により得られたマーク重心座標と前記差分画像信
号判別手段から得られた符号とに基づいてマーク位置を
特定するマーク特定手段と前記マーク特定手段により特
定されたマークに基づいて前記表示画面上の被検出位置
の座標を演算する位置演算手段とを備えたことを特徴と
する。
に本発明の請求項１は、表示画面上に表示されたオブジ
ェクトの位置を検出する位置検出装置であって、標的と
なる前記オブジェクトの近傍に表示された複数の特徴点
を有する基準画像と、前記基準画像を含んで、撮像面上
に予め定められた位置を被検出位置として前記オブジェ
クトを撮像する撮像手段と、前記撮像手段により撮像さ
れた画像データに基づいて複数の特徴点の座標位置を特
定する特徴点抽出手段と、前記基準画像の特徴点の座標
に基づいて表示画面上の被検出位置の座標を演算する画
像処理手段とを備えたことを特徴とする。、また、本発
明の請求項７は、表示画面上の複数のマークに基づいて
被検出位置を検出する位置検出装置であって、前記表示
画面に表示する輝度状態の異なる第１及び第２状態のマ
ークがそれぞれ配置された第１及び第２の基準画像と、
予め撮像面上に定めた位置を被検出位置として、前記表
示画面上に表示された前記第１及び第２の基準画像を時
系列的に撮像する撮像手段と、前記撮像手段により撮像
された第１及び第２の基準画像を含む画像データ間の差
分画像処理する差分画像処理手段と、前記差分画像処理
手段に基づいてマーク座標を抽出する特徴点抽出手段
と、前記差分処理手段により得られた差分画像信号の符
号を判別する差分画像信号判別手段と、 前記特徴点抽
出手段により得られたマーク重心座標と前記差分画像信
号判別手段から得られた符号とに基づいてマーク位置を
特定するマーク特定手段と前記マーク特定手段により特
定されたマークに基づいて前記表示画面上の被検出位置
の座標を演算する位置演算手段とを備えたことを特徴と
する。
【０００８】さらに、本発明の請求項１２は、表示画面
上に表示された複数のマークを撮像することにより表示
画面に対する撮像面の姿勢を検出する姿勢検出装置であ
って、表示画面上に表示された、輝度状態の異なる第１
状態及び第２状態のマークが配置された第１及び第２の
基準画像を時系列的に撮像する撮像手段と、前記撮像手
段により撮像された第１及び第２の基準画像を含む撮像
画像データ間の差分画像処理する差分画像処理手段と、
前記差分画像処理手段に基づいてマーク座標を抽出する
特徴点抽出手段と、前記差分処理手段により得られた複
数のマークの差分画像信号の符号判別処理する差分信号
判別手段と、前記マーク座標と前記差分画像信号の符号
とに基づき、前記抽出手段により抽出されたマークを特
定するマーク特定手段と、前記マーク特定手段により特
定されたマーク座標に基づき、表示画面に対する撮像面
の平面姿勢を検出する平面姿勢演算手段とを備えたこと
を特徴とする。
上に表示された複数のマークを撮像することにより表示
画面に対する撮像面の姿勢を検出する姿勢検出装置であ
って、表示画面上に表示された、輝度状態の異なる第１
状態及び第２状態のマークが配置された第１及び第２の
基準画像を時系列的に撮像する撮像手段と、前記撮像手
段により撮像された第１及び第２の基準画像を含む撮像
画像データ間の差分画像処理する差分画像処理手段と、
前記差分画像処理手段に基づいてマーク座標を抽出する
特徴点抽出手段と、前記差分処理手段により得られた複
数のマークの差分画像信号の符号判別処理する差分信号
判別手段と、前記マーク座標と前記差分画像信号の符号
とに基づき、前記抽出手段により抽出されたマークを特
定するマーク特定手段と、前記マーク特定手段により特
定されたマーク座標に基づき、表示画面に対する撮像面
の平面姿勢を検出する平面姿勢演算手段とを備えたこと
を特徴とする。
【０００９】
【発明の実施の形態】以下、図面を用いて本発明の実施
の形態について説明する。図１は、本実施の形態に係わ
る位置検出装置を説明する概念構成図であり、プロジェ
クタなどにより大画面スクリーン１１０に投影されてい
るシューティングゲームのゲームストーリーの一場面を
示した図である。
の形態について説明する。図１は、本実施の形態に係わ
る位置検出装置を説明する概念構成図であり、プロジェ
クタなどにより大画面スクリーン１１０に投影されてい
るシューティングゲームのゲームストーリーの一場面を
示した図である。
【００１０】表示画像１１１には飛行物体である標的オ
ブジェクトＡが表示されている。さらに、その標的オブ
ジェクト画像の近傍には４個の位置検出用マーク群ｍＱ
が１つの基準画像として予め定められた表示画像上の位
置に重畳表示されている。操作者は表示画面の前の任意
の操作位置Ｐ１から位置検出操作手段であるガン型コン
トローラ１００を用いて標的オブジェクトの特定部位Ｐ
ｓに向けシューティングしている。
ブジェクトＡが表示されている。さらに、その標的オブ
ジェクト画像の近傍には４個の位置検出用マーク群ｍＱ
が１つの基準画像として予め定められた表示画像上の位
置に重畳表示されている。操作者は表示画面の前の任意
の操作位置Ｐ１から位置検出操作手段であるガン型コン
トローラ１００を用いて標的オブジェクトの特定部位Ｐ
ｓに向けシューティングしている。
【００１１】図ではマーク群ｍＱは矩形形状を特徴づけ
る４個のマークからなり、それらマークの重心位置を特
徴点ｍＱ1、ｍＱ2、ｍＱ3、ｍＱ4とした。また、スクリ
ーン上に表示されている表示画像の座標系は、被検出位
置を原点とするスクリーン座標系であるＸ*ーＹ*座標系
である。
る４個のマークからなり、それらマークの重心位置を特
徴点ｍＱ1、ｍＱ2、ｍＱ3、ｍＱ4とした。また、スクリ
ーン上に表示されている表示画像の座標系は、被検出位
置を原点とするスクリーン座標系であるＸ*ーＹ*座標系
である。
【００１２】なお、本実施の形態では基準画像は複数の
マークを用いたが、マークでなくとも矩形を特徴づける
形状であればよい。図２は、本実施の形態に係わる位置
検出装置の全体構成を説明するブロック構成図である。
図３は入力操作手段１００の具体的な構成斜視図であ
り、図４は入力操作手段の光学配置図である。
マークを用いたが、マークでなくとも矩形を特徴づける
形状であればよい。図２は、本実施の形態に係わる位置
検出装置の全体構成を説明するブロック構成図である。
図３は入力操作手段１００の具体的な構成斜視図であ
り、図４は入力操作手段の光学配置図である。
【００１３】本実施の形態に係わる位置検出装置は、位
置検出装置本体としての入力操作手段１００、入力操作
手段からの出力信号に応じて画像処理や座標演算を実行
する画像処理手段１２０及びそれらの処理結果を表示す
る表示手段１１０とから構成されている。
置検出装置本体としての入力操作手段１００、入力操作
手段からの出力信号に応じて画像処理や座標演算を実行
する画像処理手段１２０及びそれらの処理結果を表示す
る表示手段１１０とから構成されている。
【００１４】入力操作手段１００は、撮像手段としてＣ
ＣＤカメラ１０１、撮像開始スイッチ７、照準手段１０
２、バッテリー１０、出力インターフェイス１０３、そ
れにオブジェクトを動作させる各種制御ボタン１４，１
５とを備えている。撮像手段１は、撮像レンズ１２と表
示画面上の被検出位置を検出するＣＣＤ撮像面１１が設
けられているデジタルカメラを用いている。照準手段１
０２は操作者が表示画面上の被検出位置を定めるための
ものである。例えば、撮像レンズ１２の光軸が撮像面の
中心となるように十字線を刻まれた光学ファインダーや
撮像面の中心軸Ｌから表示画像の被検出位置を指し示す
ように撮像手段１０１に設けられた視認性レーザーなど
がある。
ＣＤカメラ１０１、撮像開始スイッチ７、照準手段１０
２、バッテリー１０、出力インターフェイス１０３、そ
れにオブジェクトを動作させる各種制御ボタン１４，１
５とを備えている。撮像手段１は、撮像レンズ１２と表
示画面上の被検出位置を検出するＣＣＤ撮像面１１が設
けられているデジタルカメラを用いている。照準手段１
０２は操作者が表示画面上の被検出位置を定めるための
ものである。例えば、撮像レンズ１２の光軸が撮像面の
中心となるように十字線を刻まれた光学ファインダーや
撮像面の中心軸Ｌから表示画像の被検出位置を指し示す
ように撮像手段１０１に設けられた視認性レーザーなど
がある。
【００１５】操作者が照準位置を表示画像上の標的オブ
ジェクトの特定部位（被検出位置）に合わせて、入力操
作手段のスイッチをオンすることによって複数のマーク
を含んだ撮像画像データが取込まれ、そのマーク座標に
基づいて被検出位置の座標を検出するようになってい
る。
ジェクトの特定部位（被検出位置）に合わせて、入力操
作手段のスイッチをオンすることによって複数のマーク
を含んだ撮像画像データが取込まれ、そのマーク座標に
基づいて被検出位置の座標を検出するようになってい
る。
【００１６】さらに、オブジェクト動作制御ボタン１
４，１５は、ゲーム進行に必要な”ジャンプ””上下左
右移動”などのオブジェクト動作を操作者が随時操作す
ることができる。画像処理手段１２０は、入出力インタ
ーフェイス３、制御手段４、特徴点抽出手段５及び画像
合成手段９から構成されている。
４，１５は、ゲーム進行に必要な”ジャンプ””上下左
右移動”などのオブジェクト動作を操作者が随時操作す
ることができる。画像処理手段１２０は、入出力インタ
ーフェイス３、制御手段４、特徴点抽出手段５及び画像
合成手段９から構成されている。
【００１７】入出力インターフェイス３は、入力操作手
段からの出力信号をＡ／Ｄ変換し、一時的に記憶できる
フレームメモリを持っている。また、入力操作手段から
各種オブジェクトを動作させる制御信号を画像処理手段
へ出力する。また、画像処理結果に伴う音声信号や操作
手段を把持している手に振動を与える制御信号などは、
この入出力インターフェイスを介して信号をやり取りが
行われる。
段からの出力信号をＡ／Ｄ変換し、一時的に記憶できる
フレームメモリを持っている。また、入力操作手段から
各種オブジェクトを動作させる制御信号を画像処理手段
へ出力する。また、画像処理結果に伴う音声信号や操作
手段を把持している手に振動を与える制御信号などは、
この入出力インターフェイスを介して信号をやり取りが
行われる。
【００１８】制御手段４はＲＯＭを備えており、ゲーム
プログラムや各種制御プログラムが格納されている。特
徴点抽出手段５は、矩形形状を特徴付けるマークを抽出
するために輝度状態の異なる２つの基準画像に基づいて
差分処理する差分処理手段５１、二値化処理手段５２等
のマークを抽出するための一連の処理を行う。
プログラムや各種制御プログラムが格納されている。特
徴点抽出手段５は、矩形形状を特徴付けるマークを抽出
するために輝度状態の異なる２つの基準画像に基づいて
差分処理する差分処理手段５１、二値化処理手段５２等
のマークを抽出するための一連の処理を行う。
【００１９】特徴点特定手段５３は、得られた２枚の撮
像画像データから複数のマークを抽出し撮像画像上のマ
ーク重心座標を特定する。マーク特定手段５４は、複数
のマークが同じ識別子の時には、予め基準画像上に定め
られた位置にあるマークが撮像画像上のどのマークに対
応しているかを特定する。
像画像データから複数のマークを抽出し撮像画像上のマ
ーク重心座標を特定する。マーク特定手段５４は、複数
のマークが同じ識別子の時には、予め基準画像上に定め
られた位置にあるマークが撮像画像上のどのマークに対
応しているかを特定する。
【００２０】位置演算手段６は、平面姿勢演算手段６１
と被検出位置を演算する座標演算手段６２とから構成さ
れている・姿勢演算手段６１は、特定された４個の基準
マーク座標位置に基づいて、スクリーン平面に対する入
力操作手段の撮像面の位置姿勢パラメータである回転角
β、仰角γ、俯角ψを演算する。
と被検出位置を演算する座標演算手段６２とから構成さ
れている・姿勢演算手段６１は、特定された４個の基準
マーク座標位置に基づいて、スクリーン平面に対する入
力操作手段の撮像面の位置姿勢パラメータである回転角
β、仰角γ、俯角ψを演算する。
【００２１】被検出位置座標演算手段６２は、平面姿勢
演算手段結果得られた姿勢パラメータγまたはψのいず
れか１つを用いて、狙った表示画面中の標的オブジェク
トの特定部位（被検出位置）の座標Ｐsを演算する。ス
クリーン平面の姿勢パラメータ及び被検出位置の座標演
算処理については、後で詳細に説明する。
演算手段結果得られた姿勢パラメータγまたはψのいず
れか１つを用いて、狙った表示画面中の標的オブジェク
トの特定部位（被検出位置）の座標Ｐsを演算する。ス
クリーン平面の姿勢パラメータ及び被検出位置の座標演
算処理については、後で詳細に説明する。
【００２２】標的オブジェクト部位判断手段８は、位置
演算処理結果に基づいて複数の種々のオブジェクトの中
から標的オブジェクトを特定すると共に標的オブジェク
トのどの部位に位置しているかを判断処理する。画像合
成手段９ではゲーム空間内の各種オブジェクトの座標位
置が決定された後、標的オブジェクト画像と背景オブジ
ェクト画像とを合成し、表示手段に表示する。
演算処理結果に基づいて複数の種々のオブジェクトの中
から標的オブジェクトを特定すると共に標的オブジェク
トのどの部位に位置しているかを判断処理する。画像合
成手段９ではゲーム空間内の各種オブジェクトの座標位
置が決定された後、標的オブジェクト画像と背景オブジ
ェクト画像とを合成し、表示手段に表示する。
【００２３】画像合成手段９はヒットした標的オブジェ
クトの特定部位に対応したオブジェクト動作モードが記
憶されているオブジェクト画像記憶手段９１とオブジェ
クト画像記憶手段から選択されたオブジェクト動作モー
ド画像を入力操作パラメータに応じた画像視点（仮想カ
メラ視点）に基づいて３次元透視変換演算を行う座標演
算手段９２と変換されたスクリーン座標系のデータに背
景データを貼り付けフレームバッファに出力する描画手
段９３とから構成される。
クトの特定部位に対応したオブジェクト動作モードが記
憶されているオブジェクト画像記憶手段９１とオブジェ
クト画像記憶手段から選択されたオブジェクト動作モー
ド画像を入力操作パラメータに応じた画像視点（仮想カ
メラ視点）に基づいて３次元透視変換演算を行う座標演
算手段９２と変換されたスクリーン座標系のデータに背
景データを貼り付けフレームバッファに出力する描画手
段９３とから構成される。
【００２４】ここで、画像視点とは仮想カメラ視点とも
いい、コンピュータグラフィックを描くときに表示画面
に表示する画像の視野方向を決める仮想的な視点であ
る。この視点の設定は、位置光軸方向（視野方）、画
角、光軸回りの回転などにより決められる。
いい、コンピュータグラフィックを描くときに表示画面
に表示する画像の視野方向を決める仮想的な視点であ
る。この視点の設定は、位置光軸方向（視野方）、画
角、光軸回りの回転などにより決められる。
【００２５】オブジェクト画像記憶手段９２は、オブジ
ェクト動作モードデータが記憶されている。オブジェク
ト動作モードデータは、標的オブジェクトの特定部位に
的中したときに表示画面に表示する動作データを予め記
憶されている。描画手段９３は対象オブジェクト、背景
オブジェクトなどのオブジェクトをオブジェクト空間に
設定する処理を行う。例えば、ゲーム進行に伴い標的オ
ブジェクトを入力操作者の視野内に出現させたり、移動
させたりする描画処理を行う。
ェクト動作モードデータが記憶されている。オブジェク
ト動作モードデータは、標的オブジェクトの特定部位に
的中したときに表示画面に表示する動作データを予め記
憶されている。描画手段９３は対象オブジェクト、背景
オブジェクトなどのオブジェクトをオブジェクト空間に
設定する処理を行う。例えば、ゲーム進行に伴い標的オ
ブジェクトを入力操作者の視野内に出現させたり、移動
させたりする描画処理を行う。
【００２６】フレームメモリ９４に一時的に記憶された
対象オブジェクト及び背景オブジェクトなどの画面とス
クロール画面とが合成され、最終的なフレーム画像デー
タとして生成され、表示手段１１０に表示される。次
に、本実施の形態に係わる位置検出装置の動作を、具体
的なシューティングゲームに適用した例に基づいて説明
する。
対象オブジェクト及び背景オブジェクトなどの画面とス
クロール画面とが合成され、最終的なフレーム画像デー
タとして生成され、表示手段１１０に表示される。次
に、本実施の形態に係わる位置検出装置の動作を、具体
的なシューティングゲームに適用した例に基づいて説明
する。
【００２７】図５は本実施の形態に係わる位置検出装置
の動作を説明するフローチャートである。ステップＳ１
０１は入力操作手段であるガン型コントローラ１００に
よりスクリーン上の標的オブジェクト画像の特定部位を
狙う動作である。具体的にはレーザー光線により狙う位
置（被検出位置）を定める動作である。その時のレーザ
ー光の光軸はガン型コントローラに設けられた撮像手段
１０１のレンズ光軸とほぼ一致させてある。
の動作を説明するフローチャートである。ステップＳ１
０１は入力操作手段であるガン型コントローラ１００に
よりスクリーン上の標的オブジェクト画像の特定部位を
狙う動作である。具体的にはレーザー光線により狙う位
置（被検出位置）を定める動作である。その時のレーザ
ー光の光軸はガン型コントローラに設けられた撮像手段
１０１のレンズ光軸とほぼ一致させてある。
【００２８】ステップＳ１０２はガン型コントローラの
引き金を引く操作であり、撮像手段の撮像画像を取り込
むためのトリガ信号をオンする動作処理である。オンさ
れた後はステップＳ１０３に進み、オンされなければシ
ューティング動作はされずに終了し、ゲームストーリー
に従ってゲームは進行する。
引き金を引く操作であり、撮像手段の撮像画像を取り込
むためのトリガ信号をオンする動作処理である。オンさ
れた後はステップＳ１０３に進み、オンされなければシ
ューティング動作はされずに終了し、ゲームストーリー
に従ってゲームは進行する。
【００２９】ステップＳ１０３は特徴点（マーク）画像
撮像取り込み動作である。スクリーンに表示された予め
定められた位置に設けられた４個のマークを撮像する。
次のステップで差分画像処理を行う場合には、輝度状
態の異なる２種類のマークを含んだ第１及び第２の表示
画像が取り込まれる。
撮像取り込み動作である。スクリーンに表示された予め
定められた位置に設けられた４個のマークを撮像する。
次のステップで差分画像処理を行う場合には、輝度状
態の異なる２種類のマークを含んだ第１及び第２の表示
画像が取り込まれる。
【００３０】ステップＳ１０４は、ステップＳ１０３の
撮像画像データに基づいて、特徴点である４個のマーク
を抽出するステップである。ステップS１０３及びS１０
４についてについての処理動作の詳細な説明は後述す
る。
撮像画像データに基づいて、特徴点である４個のマーク
を抽出するステップである。ステップS１０３及びS１０
４についてについての処理動作の詳細な説明は後述す
る。
【００３１】ステップＳ１０５は、ステップＳ１０５で
画像座標系において特定された複数の特徴点の座標、す
なわちマーク座標の値に基づいて、撮像面に対するスク
リーン平面の姿勢演算処理を行い、３つの姿勢パラメー
タであるＸ軸回りのψ、Ｙ軸回りのγ、Ｚ軸回りのα又
はβを算出する。本実施の形態では撮像面上でのＸ−Ｙ
−Ｚ座標系を用いて表現している。
画像座標系において特定された複数の特徴点の座標、す
なわちマーク座標の値に基づいて、撮像面に対するスク
リーン平面の姿勢演算処理を行い、３つの姿勢パラメー
タであるＸ軸回りのψ、Ｙ軸回りのγ、Ｚ軸回りのα又
はβを算出する。本実施の形態では撮像面上でのＸ−Ｙ
−Ｚ座標系を用いて表現している。
【００３２】ステップＳ１０６は、ステップＳ１０５で
得られた姿勢パラメータα、ψ、γに基づいて、スクリ
ーン上の被検出位置の座標Ｐｓを演算処理する。ここ
で、この被検出位置の演算処理について簡単に説明す
る。図６には、操作者が任意の位置から入力操作手段に
設けられた撮像手段１０１の撮像方向を矩形形状である
所定平面に向けて撮像した撮像画像ｑを示した。図に
は、撮像された画像は平面上の座標位置である被検出位
置Ｐsを撮像面に設定された基準位置（撮像面の原点Ｏ
ｍ）に合致させてある。これら４個の特徴点ｑ1，ｑ2，
ｑ3，ｑ4は、図１の平面座標系Ｘ*−Ｙ*座標系における
Ｑ1、Ｑ2、Ｑ3、Ｑ4に対応する。
得られた姿勢パラメータα、ψ、γに基づいて、スクリ
ーン上の被検出位置の座標Ｐｓを演算処理する。ここ
で、この被検出位置の演算処理について簡単に説明す
る。図６には、操作者が任意の位置から入力操作手段に
設けられた撮像手段１０１の撮像方向を矩形形状である
所定平面に向けて撮像した撮像画像ｑを示した。図に
は、撮像された画像は平面上の座標位置である被検出位
置Ｐsを撮像面に設定された基準位置（撮像面の原点Ｏ
ｍ）に合致させてある。これら４個の特徴点ｑ1，ｑ2，
ｑ3，ｑ4は、図１の平面座標系Ｘ*−Ｙ*座標系における
Ｑ1、Ｑ2、Ｑ3、Ｑ4に対応する。
【００３３】次のステップで順次演算され、スクリーン
画像上の被検出位置の座標が演算される。 （１）消失点を算出する。ｑ1，ｑ2，ｑ3，ｑ4の座標位
置に基づいて、撮像画像ｑの相隣接する特徴点を通る直
線式Ｉ1．Ｉ2，Ｉ3，Ｉ4を算出し、矩形形状である表示
画面の１対の平行に対応した消失点Ｑ0、Ｔ0を算出す
る。すなわち、消失点Ｑ0は、直線Ｑ1Ｑ2に対応する撮
像面上の直線 ｑ1ｑ2 と直線Ｑ3Ｑ4に対応する直線ｑ3
ｑ4、ｑ1ｑ4との交点である。 （２）消失特徴点を算出する。
画像上の被検出位置の座標が演算される。 （１）消失点を算出する。ｑ1，ｑ2，ｑ3，ｑ4の座標位
置に基づいて、撮像画像ｑの相隣接する特徴点を通る直
線式Ｉ1．Ｉ2，Ｉ3，Ｉ4を算出し、矩形形状である表示
画面の１対の平行に対応した消失点Ｑ0、Ｔ0を算出す
る。すなわち、消失点Ｑ0は、直線Ｑ1Ｑ2に対応する撮
像面上の直線 ｑ1ｑ2 と直線Ｑ3Ｑ4に対応する直線ｑ3
ｑ4、ｑ1ｑ4との交点である。 （２）消失特徴点を算出する。
【００３４】２つの消失点と画像原点とを結ぶ直線と矩
形を特徴づける各直線Ｉ1．Ｉ2，Ｉ3，Ｉ4との交点（こ
の点を消失特徴点と呼ぶ）ｑs1、ｑs2、ｑt1、ｑt2 を
算出する。 （３）画像座標系において消失点Ｓ0をＸ軸に一致させ
るように、画像座標系を画像中心として座標系を回転す
る。
形を特徴づける各直線Ｉ1．Ｉ2，Ｉ3，Ｉ4との交点（こ
の点を消失特徴点と呼ぶ）ｑs1、ｑs2、ｑt1、ｑt2 を
算出する。 （３）画像座標系において消失点Ｓ0をＸ軸に一致させ
るように、画像座標系を画像中心として座標系を回転す
る。
【００３５】図６でＸ−Ｙ座標系を反時計回りに角度β
回転する。座標回転後の座標系はＸ'−Ｙ'座標系で、特
徴点Ｑ１、Ｓ１、Ｓ２、Ｔ1、Ｔ２のそれぞれの座標
は、ｑ1（Ｘ1，Ｙ1）→ｑ'1（Ｘ’1，Ｙ’1）、ｑ
s1（Ｘs1，Ｙs1）→ｑ's1（Ｘ’s1，Ｙ’s1）、ｑ
s2（Ｘs2，Ｙs2）→ｑ's2（Ｘ’s2，Ｙ’s2）、ｑ
t1（Ｘt1，Ｙt1）→ｑ't1（Ｘ’t1，Ｙ’t1）、ｑ
t2（Ｘt2，Ｙt2）→ｑ't2（Ｘ’t2，Ｙ’t2）となる。 （４）座標系の回転後に得られた座標値に基づき透視射
影演算することにより、撮像面に対するスクリーン平面
の平面姿勢パラメータである仰角γ、俯角ψのいずれか
１つを演算する。本実施の形態では俯角ψは次式数１に
より演算する。
回転する。座標回転後の座標系はＸ'−Ｙ'座標系で、特
徴点Ｑ１、Ｓ１、Ｓ２、Ｔ1、Ｔ２のそれぞれの座標
は、ｑ1（Ｘ1，Ｙ1）→ｑ'1（Ｘ’1，Ｙ’1）、ｑ
s1（Ｘs1，Ｙs1）→ｑ's1（Ｘ’s1，Ｙ’s1）、ｑ
s2（Ｘs2，Ｙs2）→ｑ's2（Ｘ’s2，Ｙ’s2）、ｑ
t1（Ｘt1，Ｙt1）→ｑ't1（Ｘ’t1，Ｙ’t1）、ｑ
t2（Ｘt2，Ｙt2）→ｑ't2（Ｘ’t2，Ｙ’t2）となる。 （４）座標系の回転後に得られた座標値に基づき透視射
影演算することにより、撮像面に対するスクリーン平面
の平面姿勢パラメータである仰角γ、俯角ψのいずれか
１つを演算する。本実施の形態では俯角ψは次式数１に
より演算する。
【００３６】
【数１】
【００３７】（５）上記姿勢パラメータψを用い、スク
リーン画像上の被検出位置の座標を次式数２により演算
する。
リーン画像上の被検出位置の座標を次式数２により演算
する。
【００３８】
【数２】
【００３９】ここで、横軸比ｍ＝｜Ｓ1Ｐs｜／｜Ｓ2Ｐs
｜、縦軸比ｎ＝｜Ｔ１Ｐs｜／｜Ｔ2Ｐs｜、 撮像レンズ
の焦点距離ｆである。図５のフローチャートに戻って、
ステップＳ１０８は、ステップＳ１０６で算出された被
検出位置の座標位置が標的オブジェクトの特定部位にヒ
ットしたか否か判断する処理である。ヒットしなかった
場合はショット動作は終了する。
｜、縦軸比ｎ＝｜Ｔ１Ｐs｜／｜Ｔ2Ｐs｜、 撮像レンズ
の焦点距離ｆである。図５のフローチャートに戻って、
ステップＳ１０８は、ステップＳ１０６で算出された被
検出位置の座標位置が標的オブジェクトの特定部位にヒ
ットしたか否か判断する処理である。ヒットしなかった
場合はショット動作は終了する。
【００４０】ステップＳ１０９は、ヒットした標的オブ
ジェクトの特定部位または標的オブジェクトに関連づけ
られた対象オブジェクトのオブジェクト動作モードデー
タに応じたオブジェクト動作モードを予め記憶されてい
たオブジェクト動作モードから選択する処理である。予
め記憶されているオブジェクトが複数のポリゴンデータ
から構成されている３次元オブジェクトである場合に
は、オブジェクトの仮想カメラ視点を視軸上の任意の位
置に切り替えるようにすることにより、リアリティ溢れ
るゲーム演出効果が得られる。
ジェクトの特定部位または標的オブジェクトに関連づけ
られた対象オブジェクトのオブジェクト動作モードデー
タに応じたオブジェクト動作モードを予め記憶されてい
たオブジェクト動作モードから選択する処理である。予
め記憶されているオブジェクトが複数のポリゴンデータ
から構成されている３次元オブジェクトである場合に
は、オブジェクトの仮想カメラ視点を視軸上の任意の位
置に切り替えるようにすることにより、リアリティ溢れ
るゲーム演出効果が得られる。
【００４１】ステップＳ１０９はステップＳ１０８で選
択されたオブジェクト動作モードを入力操作位置に応じ
て表示する処理である。例えば、オブジェクト動作モー
ドのオブジェクトの画像視点Ｇ0を撮像視点に一致させ
て透視射影演算処理する。次に、本実施の形態に係わる
位置検出装置の画像処理手段の動作を説明する。
択されたオブジェクト動作モードを入力操作位置に応じ
て表示する処理である。例えば、オブジェクト動作モー
ドのオブジェクトの画像視点Ｇ0を撮像視点に一致させ
て透視射影演算処理する。次に、本実施の形態に係わる
位置検出装置の画像処理手段の動作を説明する。
【００４２】（ａ）基準画像 本実施の形態ではマークの抽出には差分画像処理を用い
ている。差分画像処理に用いるためには時系列的に表示
し撮像する輝度状態の異なる２枚の第１及び第２の基準
画像が予め必要である。本実施例では基準画像として色
により識別可能とした、第１状態（緑色）と第２状態
（黒色）との２種類の輝度状態を有する４個のマークを
用いた。
ている。差分画像処理に用いるためには時系列的に表示
し撮像する輝度状態の異なる２枚の第１及び第２の基準
画像が予め必要である。本実施例では基準画像として色
により識別可能とした、第１状態（緑色）と第２状態
（黒色）との２種類の輝度状態を有する４個のマークを
用いた。
【００４３】図７は、本実施例で用いる４個のマークを
配置した２種類の基準画像Ｋｔ１，Ｋｔ２である。図７
（ａ）の第１の基準画像Ｋｔ１の４個のマーク配列は、
左上１個は緑色マーク（第１状態）で、残り３個は黒色
マーク（第２状態）とした。
配置した２種類の基準画像Ｋｔ１，Ｋｔ２である。図７
（ａ）の第１の基準画像Ｋｔ１の４個のマーク配列は、
左上１個は緑色マーク（第１状態）で、残り３個は黒色
マーク（第２状態）とした。
【００４４】図７（ｂ）の第２の基準画像Ｋｔ２の４個
のマーク配列は、第１の基準画像の緑色マークの位置に
対応する位置には黒色マーク（第２状態）とし、第１の
基準画像の３個の黒色マークに対応する位置にそれぞれ
緑色マーク（第１状態）を配置した。
のマーク配列は、第１の基準画像の緑色マークの位置に
対応する位置には黒色マーク（第２状態）とし、第１の
基準画像の３個の黒色マークに対応する位置にそれぞれ
緑色マーク（第１状態）を配置した。
【００４５】このように第１及び第２の基準画像の各々
に配置する４個のマークのうち１個は他の３個とは識別
可能とし、非対称な配置とした。このように識別可能な
１個を用いることにより、表示平面に対する撮像面の姿
勢検出が可能となる。さらに、２つの基準画像に用いて
差分処理してマークを抽出する場合でも、緑色と黒色の
２種類の輝度状態の異なるマークだけで配置しているた
め、撮像時において色取得の難しい色を使用する必要が
ないため、撮像条件が緩和される利点がある。
に配置する４個のマークのうち１個は他の３個とは識別
可能とし、非対称な配置とした。このように識別可能な
１個を用いることにより、表示平面に対する撮像面の姿
勢検出が可能となる。さらに、２つの基準画像に用いて
差分処理してマークを抽出する場合でも、緑色と黒色の
２種類の輝度状態の異なるマークだけで配置しているた
め、撮像時において色取得の難しい色を使用する必要が
ないため、撮像条件が緩和される利点がある。
【００４６】次に、本実施の形態に係わる位置検出装置
の特徴点（マーク）抽出手段の動作について具体的にな
説明する。図８は、画像取り込みから特徴点抽出処理ま
での動作を説明するフローチャートである。 ステップ
Ｓ２０１及びＳ２０２については（ｂ）基準画像の表示
及び撮像、ステップS２０３からS２０７については(c)
差分画像及びマーク特定において説明する。 （ｂ）基準画像の表示及び撮像 ステップS２０１及びS２０２は表示画面に表示された第
１及び第２の基準画像の撮像取り込み処理である。
の特徴点（マーク）抽出手段の動作について具体的にな
説明する。図８は、画像取り込みから特徴点抽出処理ま
での動作を説明するフローチャートである。 ステップ
Ｓ２０１及びＳ２０２については（ｂ）基準画像の表示
及び撮像、ステップS２０３からS２０７については(c)
差分画像及びマーク特定において説明する。 （ｂ）基準画像の表示及び撮像 ステップS２０１及びS２０２は表示画面に表示された第
１及び第２の基準画像の撮像取り込み処理である。
【００４７】図１に示したように、表示画面に表示され
ている背景画像上に標的オブジェクト画像が複数のマー
クが配置された基準画像ととともに表示される。標的オ
ブジェクトが表示されたタイミングに合わせて、操作者
は入力操作手段１００を標的オブジェクトの特定部位に
撮像画像中心位置に合わせ、入力操作手段のトリガスイ
ッチ７をオンする。オンされると撮像手段１０１は４個
のマークを含めた表示画面を撮像する。
ている背景画像上に標的オブジェクト画像が複数のマー
クが配置された基準画像ととともに表示される。標的オ
ブジェクトが表示されたタイミングに合わせて、操作者
は入力操作手段１００を標的オブジェクトの特定部位に
撮像画像中心位置に合わせ、入力操作手段のトリガスイ
ッチ７をオンする。オンされると撮像手段１０１は４個
のマークを含めた表示画面を撮像する。
【００４８】図９は図１に示した入力操作手段の位置Ｐ
１から撮像した撮像画像ｑである。標的オブジェクトの
被検出位置Ｐｓは、標的オブジェクトの特定部位である
「翼」であり、撮像画像の中心に合わせてある。本実施
例では基準画像としての複数のマークを予め標的オブジ
ェクトともに作成しておき、オブジェクト表示とともに
表示させている。すなわち、ゲームストーリーに合わせ
標的オブジェクトを表示させる位置の近傍に位置検出用
のマークを表示するようにしてある。
１から撮像した撮像画像ｑである。標的オブジェクトの
被検出位置Ｐｓは、標的オブジェクトの特定部位である
「翼」であり、撮像画像の中心に合わせてある。本実施
例では基準画像としての複数のマークを予め標的オブジ
ェクトともに作成しておき、オブジェクト表示とともに
表示させている。すなわち、ゲームストーリーに合わせ
標的オブジェクトを表示させる位置の近傍に位置検出用
のマークを表示するようにしてある。
【００４９】図１０は、ビデオ画像出力信号と基準画像
の表示を説明するタイミングチャートである。図１０
（ａ）は入力操作手段のトリガ信号（撮像開始信号）で
ある。図１０（ｂ）は表示画面に表示されている背景画
像に標的オブジェクト画像の表示タイミングに合わせ予
め作成されていた基準画像（図には第１及び第２の基準
画像）を表示したときの画像信号である。図では、予め
第１及び第２の基準画像の表示期間をそれぞれ２Ｔv期
間とした。図１０（ｃ）は、（ｂ）に示した表示画面の
画像信号の垂直同期信号である。図１０（ｄ）は撮像手
段が表示画面の露光を開始する信号である。図１０
（ｅ）はＣＣＤからの読み出しを開始する信号であり、
（ｆ）はＣＣＤからの読み出しを終了する信号である。
の表示を説明するタイミングチャートである。図１０
（ａ）は入力操作手段のトリガ信号（撮像開始信号）で
ある。図１０（ｂ）は表示画面に表示されている背景画
像に標的オブジェクト画像の表示タイミングに合わせ予
め作成されていた基準画像（図には第１及び第２の基準
画像）を表示したときの画像信号である。図では、予め
第１及び第２の基準画像の表示期間をそれぞれ２Ｔv期
間とした。図１０（ｃ）は、（ｂ）に示した表示画面の
画像信号の垂直同期信号である。図１０（ｄ）は撮像手
段が表示画面の露光を開始する信号である。図１０
（ｅ）はＣＣＤからの読み出しを開始する信号であり、
（ｆ）はＣＣＤからの読み出しを終了する信号である。
【００５０】トリガ信号がオンされた時の最初の垂直同
期信号に同期して撮像手段は、第１の基準画像の露光が
開始する。さらに、ＣＣＤの読み出しが終了した直後の
表示画面の垂直同期信号により、第２の基準画像の露光
を開始する。標的オブジェクトが表示される位置が予め
決まっているシューティングゲームのように、オブジェ
クトを表示させる近傍に位置検出のためのマーク（基準
画像）をオブジェクト表示タイミングに合わせて表示す
るようにする。操作入力手段１００が標的オブジェクト
に向けられた時に、標的オブジェクトをほぼ撮像範囲の
中心位置としその近傍の複数のマークを容易に撮像範囲
に入れることができるので、撮像範囲の広い撮像レンズ
でなくても確実に４個のマークを撮像できるので大画面
に投影されたオブジェクトの位置検出が容易に行うこと
ができる。従って、位置検出装置の入力操作手段の操作
自由度は格段に向上する。
期信号に同期して撮像手段は、第１の基準画像の露光が
開始する。さらに、ＣＣＤの読み出しが終了した直後の
表示画面の垂直同期信号により、第２の基準画像の露光
を開始する。標的オブジェクトが表示される位置が予め
決まっているシューティングゲームのように、オブジェ
クトを表示させる近傍に位置検出のためのマーク（基準
画像）をオブジェクト表示タイミングに合わせて表示す
るようにする。操作入力手段１００が標的オブジェクト
に向けられた時に、標的オブジェクトをほぼ撮像範囲の
中心位置としその近傍の複数のマークを容易に撮像範囲
に入れることができるので、撮像範囲の広い撮像レンズ
でなくても確実に４個のマークを撮像できるので大画面
に投影されたオブジェクトの位置検出が容易に行うこと
ができる。従って、位置検出装置の入力操作手段の操作
自由度は格段に向上する。
【００５１】（ｃ）差分画像処理及びマーク特定 基準画像の４個全てのマークが同種類の識別子である
と、位置検出操作手段１００の撮像面と表示平面の位置
関係を知ることができない。そこで予め基準画像の４個
のマークのうち１個（第１状態のマーク）を他の３個
（第２の状態のマーク）と識別可能するような配置とし
ておく。
と、位置検出操作手段１００の撮像面と表示平面の位置
関係を知ることができない。そこで予め基準画像の４個
のマークのうち１個（第１状態のマーク）を他の３個
（第２の状態のマーク）と識別可能するような配置とし
ておく。
【００５２】ここで本実施の形態に係わる位置検出装置
の差分画像処理手段について詳細に説明する。ステップ
S２０３では、ステップＳ２０１及びステップＳ２０２
にて表示された画像の取り込まれた第１及び第２の基準
画像とともに撮像された第１の画像と第２の画像との間
の差分処理を行う。
の差分画像処理手段について詳細に説明する。ステップ
S２０３では、ステップＳ２０１及びステップＳ２０２
にて表示された画像の取り込まれた第１及び第２の基準
画像とともに撮像された第１の画像と第２の画像との間
の差分処理を行う。
【００５３】図１１は第１及び第２の基準画像を表示さ
せ撮像したときの撮像画像信号を各マーク毎に模式的に
示した図である。図１１（ａ）は表示画像に第１の基準
画像を表示し撮像した時のマークｍＡ１、ｍＡ２、ｍＡ
３、ｍＡ４の各出力画像信号である。
せ撮像したときの撮像画像信号を各マーク毎に模式的に
示した図である。図１１（ａ）は表示画像に第１の基準
画像を表示し撮像した時のマークｍＡ１、ｍＡ２、ｍＡ
３、ｍＡ４の各出力画像信号である。
【００５４】図１１（ｂ）は表示画像上に第２の基準画
像を表示し撮像したときの撮像画像信号である。図１１
（ｃ）は各マーク毎に図（ａ）と（ｂ）と画像信号間の
差分画像信号を示したものである。
像を表示し撮像したときの撮像画像信号である。図１１
（ｃ）は各マーク毎に図（ａ）と（ｂ）と画像信号間の
差分画像信号を示したものである。
【００５５】ステップＳ２０４ではステップＳ２０３の
差分画像処理する際の画像出力信号の符号を判別し、撮
像画像上のマーク位置と符号とを関連づけておく。その
後、ステップＳ２０５に進み、予め設定されたしきい値
に基づいて差分画像信号の絶対値をとり二値化処理す
る。
差分画像処理する際の画像出力信号の符号を判別し、撮
像画像上のマーク位置と符号とを関連づけておく。その
後、ステップＳ２０５に進み、予め設定されたしきい値
に基づいて差分画像信号の絶対値をとり二値化処理す
る。
【００５６】ステップＳ２０６でマークの重心座標を算
出し、ステップＳ２０７ではマーク座標値とステップＳ
２０４にて得られた差分信号の符号とから表示画面上の
マーク位置を特定処理する。図１２は、マーク座標特定
を説明するための図である。図１２（ａ）表示画面上に
表示されたオブジェクトとその近傍に表示されているマ
ーク群と図１２（ｂ）撮像面上に撮像されたオブジェク
トとともに撮像された４個のマークである。
出し、ステップＳ２０７ではマーク座標値とステップＳ
２０４にて得られた差分信号の符号とから表示画面上の
マーク位置を特定処理する。図１２は、マーク座標特定
を説明するための図である。図１２（ａ）表示画面上に
表示されたオブジェクトとその近傍に表示されているマ
ーク群と図１２（ｂ）撮像面上に撮像されたオブジェク
トとともに撮像された４個のマークである。
【００５７】また図１３はマーク特定処理の動作を説明
するフローチャートである。本実施の形態のマーク特定
処理方法について図１２と図１３に基づいて説明する。
なお、本実施の形態では画像座標系の原点は被検出位置
である。撮像画像座標上において、識別子が１つのｍＱ
４は、マーク座標とともに位置も特定されるが、同じ識
別子である３個のマークｍＱ１，ｍＱ２，ｍＱ３は、表
示画面に対する撮像面の姿勢により様々に変化し、これ
ら３個のマーク座標が予め設定されたマークのどのマー
クに対応するのかを特定する必要がある。
するフローチャートである。本実施の形態のマーク特定
処理方法について図１２と図１３に基づいて説明する。
なお、本実施の形態では画像座標系の原点は被検出位置
である。撮像画像座標上において、識別子が１つのｍＱ
４は、マーク座標とともに位置も特定されるが、同じ識
別子である３個のマークｍＱ１，ｍＱ２，ｍＱ３は、表
示画面に対する撮像面の姿勢により様々に変化し、これ
ら３個のマーク座標が予め設定されたマークのどのマー
クに対応するのかを特定する必要がある。
【００５８】ステップＳ３０２では、マークｍＱ４を基
準として各マークｍＱ１，ｍＱ２，ｍＱ３とそれぞれ直
線式ｈ１，ｈ２，ｈ３を算出する。ステップＳ３０３で
はマークｍＱ１，ｍＱ２，ｍＱ３の３個の中から２個選
択し、直線式ｇ１，ｇ２，ｇ３を算出する。
準として各マークｍＱ１，ｍＱ２，ｍＱ３とそれぞれ直
線式ｈ１，ｈ２，ｈ３を算出する。ステップＳ３０３で
はマークｍＱ１，ｍＱ２，ｍＱ３の３個の中から２個選
択し、直線式ｇ１，ｇ２，ｇ３を算出する。
【００５９】ステップＳ３０４では、直線ｈ１，ｈ２，
ｈ３と直線ｇ１，ｇ２，ｇ３との交点を計算し、マーク
座標以外の座標点が座標値ｍｇとなる。この交点は直線
ｈ２とｇ３とにより決定されたことがわかる。この結果
により、交点ｍｇを基準とし、直線ｈ２の直線上にある
マークｍＱ４に対向するマークｍＱ２が特定できる。
ｈ３と直線ｇ１，ｇ２，ｇ３との交点を計算し、マーク
座標以外の座標点が座標値ｍｇとなる。この交点は直線
ｈ２とｇ３とにより決定されたことがわかる。この結果
により、交点ｍｇを基準とし、直線ｈ２の直線上にある
マークｍＱ４に対向するマークｍＱ２が特定できる。
【００６０】次のステップＳ３０８では残りの２つのマ
ークは判別直線式ｈ２により判別でき、座標値がｙ＞ａ
2Ｘ＋ｂ２であればマークｍＱ１が特定され、そうでな
ければマークｍＱ３が特定される。このようにして、４
個のマークが表示されている表示画面に対し撮像手段が
とのような位置にあっても同じ識別子を有する複数のマ
ークは特定することができる。
ークは判別直線式ｈ２により判別でき、座標値がｙ＞ａ
2Ｘ＋ｂ２であればマークｍＱ１が特定され、そうでな
ければマークｍＱ３が特定される。このようにして、４
個のマークが表示されている表示画面に対し撮像手段が
とのような位置にあっても同じ識別子を有する複数のマ
ークは特定することができる。
【００６１】以上説明したように、予め第１の基準画像
に配置された第１マークの位置が画面上に表示する基準
としてあるので、撮像画像上の複数のマークの位置関係
が容易に算出できる。さらに、第１の基準画像及び第２
の基準画像に配置されたマークの輝度状態を２種類で表
現し、この基準画像の差分画像信号の符号判別するよう
にしたのでマーク位置が容易に特定することができる。
に配置された第１マークの位置が画面上に表示する基準
としてあるので、撮像画像上の複数のマークの位置関係
が容易に算出できる。さらに、第１の基準画像及び第２
の基準画像に配置されたマークの輝度状態を２種類で表
現し、この基準画像の差分画像信号の符号判別するよう
にしたのでマーク位置が容易に特定することができる。
【００６２】従って、標的オブジェクトの近傍に複数の
マークを配置したので、表示画面が大画面であっても、
位置検出の際には必ず撮像手段は標的オブジェクトに向
けられるので撮像範囲が狭い撮像レンズでも位置検出に
必要な複数のマークが確実に撮像できる。
マークを配置したので、表示画面が大画面であっても、
位置検出の際には必ず撮像手段は標的オブジェクトに向
けられるので撮像範囲が狭い撮像レンズでも位置検出に
必要な複数のマークが確実に撮像できる。
【００６３】さらに、本実施の形態に係わる姿勢検出装
置ならびに位置検出装置では、差分処理に用いる複数の
マークの識別子を輝度状態の異なる２種類とし、しかも
非対称形の配置としたので表示画面に対する撮像面の平
面姿勢の検出や被検出位置の検出が容易にできるように
なった。
置ならびに位置検出装置では、差分処理に用いる複数の
マークの識別子を輝度状態の異なる２種類とし、しかも
非対称形の配置としたので表示画面に対する撮像面の平
面姿勢の検出や被検出位置の検出が容易にできるように
なった。
【００６４】
【発明の効果】以上の実施例のような撮像画像装置によ
り、所望のタイミングで基準画像を表示し、その基準画
像を迅速かつ的確に撮像できるようになった。従って、
フリッカなどのノイズのない撮像画像を得ることができ
る。
り、所望のタイミングで基準画像を表示し、その基準画
像を迅速かつ的確に撮像できるようになった。従って、
フリッカなどのノイズのない撮像画像を得ることができ
る。
【００６５】さらに、表示画面上の指示した位置を撮像
された基準画像に基づいて位置検出する場合において
も、迅速な位置検出動作が可能となった。
された基準画像に基づいて位置検出する場合において
も、迅速な位置検出動作が可能となった。
【図１】 本発明に係わる位置検出装置の全体構成斜視
図である。
図である。
【図２】 本発明に係わる位置検出装置の概略構成ブロ
ック図である。
ック図である。
【図３】 本実施の形態に係わる位置及び姿勢検出装置
の操作入力手段の構成斜視図である。
の操作入力手段の構成斜視図である。
【図４】 操作入力手段の光学配置図の一例である。
【図５】 本発明に係わる位置検出装置の基本動作を説
明するフローチャートである。
明するフローチャートである。
【図６】 本実施の形態に係わる位置検出装置の原理を
説明するための撮像画像の例。
説明するための撮像画像の例。
【図７】 本実施の形態で用いた基準画像のマーク配列
を説明する図である。
を説明する図である。
【図８】 画像取り込みから特徴点抽出手段までの動作
を説明するフローチャートである。
を説明するフローチャートである。
【図９】 本実施の形態に係わる位置及び姿勢検出装置
の撮像手段が撮像した撮像画像の一例である。
の撮像手段が撮像した撮像画像の一例である。
【図１０】 本実施の形態に係わる位置及び姿勢検出装
置の基準画像表示と撮像信号取り込みを説明するタイミ
ングチャートである。
置の基準画像表示と撮像信号取り込みを説明するタイミ
ングチャートである。
【図１１】 各マークの画像信号の差分処理を説明する
図である。
図である。
【図１２】 本実施の形態に係わる位置及び姿勢検出装
置のマーク特定を説明する図である。
置のマーク特定を説明する図である。
【図１３】 本実施の形態に係わる位置及び姿勢検出装
置のマーク特定処理を説明するフローチャートである。
置のマーク特定処理を説明するフローチャートである。
５ 特徴点抽出手段 ６ 位置演算手段 ９ 画像合成手段 １１ 撮像素子（ＣＣＤ） １２ 撮像レンズ １００ 入力操作手段 １０１ 撮像手段 １０２ 照準手段 １１０ 表示手段 １１１ 表示画像 Ａ 標的オブジェクト ｍＱ マーク群
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 3/03 ３８０ Ｇ０６Ｆ 3/03 ３８０Ｒ ５Ｌ０９６ 3/033 ３１０ 3/033 ３１０Ｙ Ｇ０６Ｔ 1/00 ２８０ Ｇ０６Ｔ 1/00 ２８０ Ｆターム(参考） 2C001 AA07 BA00 BA04 BA06 BB00 BB10 BC00 BC01 CA00 CA08 CB01 CC02 2F065 AA03 AA35 BB15 DD04 FF04 FF23 FF26 FF61 GG04 GG12 HH04 HH14 JJ03 JJ26 KK01 MM11 QQ04 QQ24 QQ25 RR02 SS13 UU05 5B057 AA20 BA02 BA19 BA23 CE12 DA07 DB02 DB09 DC06 DC32 5B068 AA01 BB18 BC02 BD09 BD20 BE08 CD02 5B087 AA00 AD02 CC26 CC33 DE02 5L096 AA06 BA08 CA04 DA02 EA43 FA10 FA60 FA69 GA08 HA02
Claims (14)
- 【請求項１】 表示画面上に表示されたオブジェクトの
位置を検出する位置検出装置であって、標的となる前記
オブジェクトの近傍に表示された複数の特徴点を有する
基準画像と、前記基準画像を含んで、撮像面上に予め定
められた位置を被検出位置として前記オブジェクトを撮
像する撮像手段と、前記撮像手段により撮像された画像
データに基づいて複数の特徴点の座標位置を特定する特
徴点抽出手段と、前記基準画像の特徴点の座標に基づい
て表示画面上の被検出位置の座標を演算する画像処理手
段とを備えたことを特徴とする位置検出装置。 - 【請求項２】 前記基準画像は複数のマークからなるこ
とを特徴とする請求項１記載の位置検出装置。 - 【請求項３】 前記マークは第１及び第２状態の２種類
の識別子からなり、前記識別子は非対称形の配置である
ことを特徴とする請求項２記載の位置検出装置。 - 【請求項４】 前記基準画像は輝度状態の異なる第１及
び第２状態のマークが配置された第１及び第２の基準画
像からなり、前記特徴点抽出手段には表示画面上に表示
された前記第１及び第２の基準画像を表示画像とともに
撮像し、差分画像処理する差分画像処理手段を備えたこ
とを特徴とする請求項２記載の位置検出装置。 - 【請求項５】 前記特徴点抽出手段は、前記差分画像処
理手段により出力された差分画像信号の符号を判別する
差分画像信号判別手段を備えたことを特徴とする請求項
４の位置検出装置。 - 【請求項６】 前記第１の基準画像は前記第２の基準画
像の第１状態のマークに対応する位置に第２状態のマー
クを配置し、第２の基準画像の第２状態のマークに対応
する位置に第１状態のマークを配置することを特徴とす
る請求項４または５記載の位置検出装置。 - 【請求項７】 表示画面上の複数のマークに基づいて被
検出位置を検出する位置検出装置であって、前記表示画
面に表示する輝度状態の異なる第１及び第２状態のマー
クがそれぞれ配置された第１及び第２の基準画像と、予
め撮像面上に定めた位置を被検出位置として、前記表示
画面上に表示された前記第１及び第２の基準画像を時系
列的に撮像する撮像手段と、前記撮像手段により撮像さ
れた第１及び第２の基準画像を含む画像データ間の差分
画像処理する差分画像処理手段と、前記差分画像処理手
段に基づいてマーク座標を抽出する特徴点抽出手段と、
前記差分処理手段により得られた差分画像信号の符号を
判別する差分画像信号判別手段と、前記特徴点抽出手段
により得られたマーク重心座標と前記差分画像信号判別
手段から得られた符号とに基づいてマーク位置を特定す
るマーク特定手段と、前記マーク特定手段により特定さ
れたマークに基づいて前記表示画面上の被検出位置の座
標を演算する位置演算手段とを備えたことを特徴とする
位置検出装置。 - 【請求項８】 前記第１の基準画像の第１状態のマーク
と第２状態のマークの配列は、非対称形であることを特
徴とする請求項７記載の位置検出装置。 - 【請求項９】 前記第１の基準画像のマーク配列は前記
第２の基準画像の第１状態のマークに対応する位置に第
２状態のマークを配置し、前記第２の基準画像の第２状
態のマークに対応する位置に第１状態のマークを配置す
ることを特徴とする請求項７または８記載の位置検出装
置。 - 【請求項１０】 前記第１及び第２の基準画像はそれぞ
れ４個のマークが配置されていることを特徴とする請求
項７または９記載の位置検出装置。 - 【請求項１１】 前記位置演算手段は前記マーク特定手
段により特定されたマーク座標に基づいて表示画面に対
する前記撮像面の姿勢を演算する平面姿勢演算手段と、
前記平面姿勢演算手段により得られた姿勢パラメータと
前記マーク座標とに基づいて被検出位置を演算する被検
出位置座標演算手段とを備えたことを特徴とする請求項
７記載の位置検出装置。 - 【請求項１２】 表示画面上に表示された複数のマーク
を撮像することにより表示画面に対する撮像面の姿勢を
検出する姿勢検出装置であって、表示画面上に表示され
た、輝度状態の異なる第１状態及び第２状態のマークが
配置された第１及び第２の基準画像を時系列的に撮像す
る撮像手段と、前記撮像手段により撮像された第１及び
第２の基準画像を含む撮像画像データ間の差分画像処理
する差分画像処理手段と、前記差分画像処理手段に基づ
いてマーク座標を抽出する特徴点抽出手段と、前記差分
処理手段により得られた複数のマークの差分画像信号の
符号判別処理する差分信号判別手段と、前記マーク座標
と前記差分画像信号の符号とに基づき、前記抽出手段に
より抽出されたマークを特定するマーク特定手段と、前
記マーク特定手段により特定されたマーク座標に基づ
き、表示画面に対する撮像面の平面姿勢を検出する平面
姿勢演算手段とを備えたことを特徴とする姿勢検出装
置。 - 【請求項１３】 前記第１及び第２の基準画像のそれぞ
れに第１及び第２状態のマークを配置し、第１の基準画
像のマーク配列は前記第２の基準画像の第１状態のマー
クに対応する位置に第２状態のマークを配置し、前記第
２の基準画像の第２状態のマークに対応する位置に第１
状態のマークを配置することを特徴とする請求項１２記
載の姿勢検出装置。 - 【請求項１４】 前記第１及び第２の基準画像における
第１及び第２状態のマークは非対称形の配置であること
を特徴とする請求項１３記載の姿勢検出装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001102934A JP2002298145A (ja) | 2001-04-02 | 2001-04-02 | 位置検出装置及び姿勢検出装置 |
| US10/098,354 US6993206B2 (en) | 2001-03-22 | 2002-03-18 | Position detector and attitude detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001102934A JP2002298145A (ja) | 2001-04-02 | 2001-04-02 | 位置検出装置及び姿勢検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002298145A true JP2002298145A (ja) | 2002-10-11 |
Family
ID=18956069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001102934A Pending JP2002298145A (ja) | 2001-03-22 | 2001-04-02 | 位置検出装置及び姿勢検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002298145A (ja) |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006314777A (ja) * | 2005-05-10 | 2006-11-24 | Pixart Imaging Inc | オリエンテーション装置およびそれに用いられる座標生成方法 |
| JP2006317441A (ja) * | 2005-05-10 | 2006-11-24 | Pixart Imaging Inc | イメージディスプレイ及びイメージセンサを含む定位システム |
| JP2007054114A (ja) * | 2005-08-22 | 2007-03-08 | Nintendo Co Ltd | ゲーム用操作装置 |
| JP2007252915A (ja) * | 2006-03-21 | 2007-10-04 | Avago Technologies General Ip (Singapore) Private Ltd | インターリーブされた十字ナビゲーションフレームを使用するアクティブ基準化方法 |
| JP2008000345A (ja) * | 2006-06-22 | 2008-01-10 | Nintendo Co Ltd | ゲーム装置およびゲームプログラム |
| JP2009064409A (ja) * | 2007-03-26 | 2009-03-26 | Avago Technologies Ecbu Ip (Singapore) Pte Ltd | 画像データの取り込まれたフレーム内の表示スクリーンを使用して入力装置を追跡するためのシステムおよび方法 |
| JP2009116700A (ja) * | 2007-11-07 | 2009-05-28 | Sharp Corp | 表示システムおよび指示位置の検出方法 |
| JP2009116701A (ja) * | 2007-11-07 | 2009-05-28 | Sharp Corp | 表示システムおよび指示位置の検出方法 |
| JP2010259589A (ja) * | 2009-05-01 | 2010-11-18 | Taito Corp | 射撃ゲーム装置 |
| US7942745B2 (en) | 2005-08-22 | 2011-05-17 | Nintendo Co., Ltd. | Game operating device |
| US8154513B2 (en) | 2007-10-10 | 2012-04-10 | Sharp Kabushiki Kaisha | Display system and method for detecting pointed position |
| US8164567B1 (en) | 2000-02-22 | 2012-04-24 | Creative Kingdoms, Llc | Motion-sensitive game controller with optional display screen |
| JP2012113494A (ja) * | 2010-11-24 | 2012-06-14 | Sas Kk | 指示位置検出装置および指示位置検出方法 |
| US8226493B2 (en) | 2002-08-01 | 2012-07-24 | Creative Kingdoms, Llc | Interactive play devices for water play attractions |
| US8267786B2 (en) | 2005-08-24 | 2012-09-18 | Nintendo Co., Ltd. | Game controller and game system |
| US8308563B2 (en) | 2005-08-30 | 2012-11-13 | Nintendo Co., Ltd. | Game system and storage medium having game program stored thereon |
| US8313379B2 (en) | 2005-08-22 | 2012-11-20 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| US8409003B2 (en) | 2005-08-24 | 2013-04-02 | Nintendo Co., Ltd. | Game controller and game system |
| US8430753B2 (en) | 2005-09-15 | 2013-04-30 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| JP2013522766A (ja) * | 2010-03-16 | 2013-06-13 | インターフェイズ・コーポレーション | 対話型表示システム |
| US8475275B2 (en) | 2000-02-22 | 2013-07-02 | Creative Kingdoms, Llc | Interactive toys and games connecting physical and virtual play environments |
| US8608535B2 (en) | 2002-04-05 | 2013-12-17 | Mq Gaming, Llc | Systems and methods for providing an interactive game |
| US8702515B2 (en) | 2002-04-05 | 2014-04-22 | Mq Gaming, Llc | Multi-platform gaming system using RFID-tagged toys |
| US8708821B2 (en) | 2000-02-22 | 2014-04-29 | Creative Kingdoms, Llc | Systems and methods for providing interactive game play |
| US8753165B2 (en) | 2000-10-20 | 2014-06-17 | Mq Gaming, Llc | Wireless toy systems and methods for interactive entertainment |
| US8758136B2 (en) | 1999-02-26 | 2014-06-24 | Mq Gaming, Llc | Multi-platform gaming systems and methods |
| JP2015200973A (ja) * | 2014-04-04 | 2015-11-12 | 株式会社デジタル | 携帯端末装置および表示装置 |
| CN105444699A (zh) * | 2015-11-11 | 2016-03-30 | 苏州大学附属儿童医院 | 一种显微操作系统坐标与位移误差检测和补偿的方法 |
| US9446319B2 (en) | 2003-03-25 | 2016-09-20 | Mq Gaming, Llc | Interactive gaming toy |
| US11402927B2 (en) | 2004-05-28 | 2022-08-02 | UltimatePointer, L.L.C. | Pointing device |
| US11841997B2 (en) | 2005-07-13 | 2023-12-12 | UltimatePointer, L.L.C. | Apparatus for controlling contents of a computer-generated image using 3D measurements |
-
2001
- 2001-04-02 JP JP2001102934A patent/JP2002298145A/ja active Pending
Cited By (100)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9731194B2 (en) | 1999-02-26 | 2017-08-15 | Mq Gaming, Llc | Multi-platform gaming systems and methods |
| US8758136B2 (en) | 1999-02-26 | 2014-06-24 | Mq Gaming, Llc | Multi-platform gaming systems and methods |
| US8888576B2 (en) | 1999-02-26 | 2014-11-18 | Mq Gaming, Llc | Multi-media interactive play system |
| US10300374B2 (en) | 1999-02-26 | 2019-05-28 | Mq Gaming, Llc | Multi-platform gaming systems and methods |
| US9186585B2 (en) | 1999-02-26 | 2015-11-17 | Mq Gaming, Llc | Multi-platform gaming systems and methods |
| US9468854B2 (en) | 1999-02-26 | 2016-10-18 | Mq Gaming, Llc | Multi-platform gaming systems and methods |
| US9861887B1 (en) | 1999-02-26 | 2018-01-09 | Mq Gaming, Llc | Multi-platform gaming systems and methods |
| US8164567B1 (en) | 2000-02-22 | 2012-04-24 | Creative Kingdoms, Llc | Motion-sensitive game controller with optional display screen |
| US8368648B2 (en) | 2000-02-22 | 2013-02-05 | Creative Kingdoms, Llc | Portable interactive toy with radio frequency tracking device |
| US9713766B2 (en) | 2000-02-22 | 2017-07-25 | Mq Gaming, Llc | Dual-range wireless interactive entertainment device |
| US9579568B2 (en) | 2000-02-22 | 2017-02-28 | Mq Gaming, Llc | Dual-range wireless interactive entertainment device |
| US8491389B2 (en) | 2000-02-22 | 2013-07-23 | Creative Kingdoms, Llc. | Motion-sensitive input device and interactive gaming system |
| US9474962B2 (en) | 2000-02-22 | 2016-10-25 | Mq Gaming, Llc | Interactive entertainment system |
| US8475275B2 (en) | 2000-02-22 | 2013-07-02 | Creative Kingdoms, Llc | Interactive toys and games connecting physical and virtual play environments |
| US8686579B2 (en) | 2000-02-22 | 2014-04-01 | Creative Kingdoms, Llc | Dual-range wireless controller |
| US8169406B2 (en) | 2000-02-22 | 2012-05-01 | Creative Kingdoms, Llc | Motion-sensitive wand controller for a game |
| US8184097B1 (en) | 2000-02-22 | 2012-05-22 | Creative Kingdoms, Llc | Interactive gaming system and method using motion-sensitive input device |
| US8708821B2 (en) | 2000-02-22 | 2014-04-29 | Creative Kingdoms, Llc | Systems and methods for providing interactive game play |
| US10188953B2 (en) | 2000-02-22 | 2019-01-29 | Mq Gaming, Llc | Dual-range wireless interactive entertainment device |
| US9149717B2 (en) | 2000-02-22 | 2015-10-06 | Mq Gaming, Llc | Dual-range wireless interactive entertainment device |
| US8790180B2 (en) | 2000-02-22 | 2014-07-29 | Creative Kingdoms, Llc | Interactive game and associated wireless toy |
| US8915785B2 (en) | 2000-02-22 | 2014-12-23 | Creative Kingdoms, Llc | Interactive entertainment system |
| US10307671B2 (en) | 2000-02-22 | 2019-06-04 | Mq Gaming, Llc | Interactive entertainment system |
| US9814973B2 (en) | 2000-02-22 | 2017-11-14 | Mq Gaming, Llc | Interactive entertainment system |
| US8814688B2 (en) | 2000-02-22 | 2014-08-26 | Creative Kingdoms, Llc | Customizable toy for playing a wireless interactive game having both physical and virtual elements |
| US8961260B2 (en) | 2000-10-20 | 2015-02-24 | Mq Gaming, Llc | Toy incorporating RFID tracking device |
| US10307683B2 (en) | 2000-10-20 | 2019-06-04 | Mq Gaming, Llc | Toy incorporating RFID tag |
| US8753165B2 (en) | 2000-10-20 | 2014-06-17 | Mq Gaming, Llc | Wireless toy systems and methods for interactive entertainment |
| US9320976B2 (en) | 2000-10-20 | 2016-04-26 | Mq Gaming, Llc | Wireless toy systems and methods for interactive entertainment |
| US9931578B2 (en) | 2000-10-20 | 2018-04-03 | Mq Gaming, Llc | Toy incorporating RFID tag |
| US9480929B2 (en) | 2000-10-20 | 2016-11-01 | Mq Gaming, Llc | Toy incorporating RFID tag |
| US9162148B2 (en) | 2001-02-22 | 2015-10-20 | Mq Gaming, Llc | Wireless entertainment device, system, and method |
| US10179283B2 (en) | 2001-02-22 | 2019-01-15 | Mq Gaming, Llc | Wireless entertainment device, system, and method |
| US8248367B1 (en) | 2001-02-22 | 2012-08-21 | Creative Kingdoms, Llc | Wireless gaming system combining both physical and virtual play elements |
| US8711094B2 (en) | 2001-02-22 | 2014-04-29 | Creative Kingdoms, Llc | Portable gaming device and gaming system combining both physical and virtual play elements |
| US10758818B2 (en) | 2001-02-22 | 2020-09-01 | Mq Gaming, Llc | Wireless entertainment device, system, and method |
| US9737797B2 (en) | 2001-02-22 | 2017-08-22 | Mq Gaming, Llc | Wireless entertainment device, system, and method |
| US8913011B2 (en) | 2001-02-22 | 2014-12-16 | Creative Kingdoms, Llc | Wireless entertainment device, system, and method |
| US8384668B2 (en) | 2001-02-22 | 2013-02-26 | Creative Kingdoms, Llc | Portable gaming device and gaming system combining both physical and virtual play elements |
| US9393491B2 (en) | 2001-02-22 | 2016-07-19 | Mq Gaming, Llc | Wireless entertainment device, system, and method |
| US8827810B2 (en) | 2002-04-05 | 2014-09-09 | Mq Gaming, Llc | Methods for providing interactive entertainment |
| US9463380B2 (en) | 2002-04-05 | 2016-10-11 | Mq Gaming, Llc | System and method for playing an interactive game |
| US11278796B2 (en) | 2002-04-05 | 2022-03-22 | Mq Gaming, Llc | Methods and systems for providing personalized interactive entertainment |
| US10010790B2 (en) | 2002-04-05 | 2018-07-03 | Mq Gaming, Llc | System and method for playing an interactive game |
| US10478719B2 (en) | 2002-04-05 | 2019-11-19 | Mq Gaming, Llc | Methods and systems for providing personalized interactive entertainment |
| US9272206B2 (en) | 2002-04-05 | 2016-03-01 | Mq Gaming, Llc | System and method for playing an interactive game |
| US9616334B2 (en) | 2002-04-05 | 2017-04-11 | Mq Gaming, Llc | Multi-platform gaming system using RFID-tagged toys |
| US8608535B2 (en) | 2002-04-05 | 2013-12-17 | Mq Gaming, Llc | Systems and methods for providing an interactive game |
| US8702515B2 (en) | 2002-04-05 | 2014-04-22 | Mq Gaming, Llc | Multi-platform gaming system using RFID-tagged toys |
| US10507387B2 (en) | 2002-04-05 | 2019-12-17 | Mq Gaming, Llc | System and method for playing an interactive game |
| US8226493B2 (en) | 2002-08-01 | 2012-07-24 | Creative Kingdoms, Llc | Interactive play devices for water play attractions |
| US9039533B2 (en) | 2003-03-25 | 2015-05-26 | Creative Kingdoms, Llc | Wireless interactive game having both physical and virtual elements |
| US9393500B2 (en) | 2003-03-25 | 2016-07-19 | Mq Gaming, Llc | Wireless interactive game having both physical and virtual elements |
| US8961312B2 (en) | 2003-03-25 | 2015-02-24 | Creative Kingdoms, Llc | Motion-sensitive controller and associated gaming applications |
| US10369463B2 (en) | 2003-03-25 | 2019-08-06 | Mq Gaming, Llc | Wireless interactive game having both physical and virtual elements |
| US11052309B2 (en) | 2003-03-25 | 2021-07-06 | Mq Gaming, Llc | Wireless interactive game having both physical and virtual elements |
| US10022624B2 (en) | 2003-03-25 | 2018-07-17 | Mq Gaming, Llc | Wireless interactive game having both physical and virtual elements |
| US9707478B2 (en) | 2003-03-25 | 2017-07-18 | Mq Gaming, Llc | Motion-sensitive controller and associated gaming applications |
| US10583357B2 (en) | 2003-03-25 | 2020-03-10 | Mq Gaming, Llc | Interactive gaming toy |
| US9446319B2 (en) | 2003-03-25 | 2016-09-20 | Mq Gaming, Llc | Interactive gaming toy |
| US8373659B2 (en) | 2003-03-25 | 2013-02-12 | Creative Kingdoms, Llc | Wirelessly-powered toy for gaming |
| US9770652B2 (en) | 2003-03-25 | 2017-09-26 | Mq Gaming, Llc | Wireless interactive game having both physical and virtual elements |
| US9993724B2 (en) | 2003-03-25 | 2018-06-12 | Mq Gaming, Llc | Interactive gaming toy |
| US11409376B2 (en) | 2004-05-28 | 2022-08-09 | UltimatePointer, L.L.C. | Multi-sensor device with an accelerometer for enabling user interaction through sound or image |
| US11416084B2 (en) | 2004-05-28 | 2022-08-16 | UltimatePointer, L.L.C. | Multi-sensor device with an accelerometer for enabling user interaction through sound or image |
| US11402927B2 (en) | 2004-05-28 | 2022-08-02 | UltimatePointer, L.L.C. | Pointing device |
| US11755127B2 (en) | 2004-05-28 | 2023-09-12 | UltimatePointer, L.L.C. | Multi-sensor device with an accelerometer for enabling user interaction through sound or image |
| US9675878B2 (en) | 2004-09-29 | 2017-06-13 | Mq Gaming, Llc | System and method for playing a virtual game by sensing physical movements |
| JP2006314777A (ja) * | 2005-05-10 | 2006-11-24 | Pixart Imaging Inc | オリエンテーション装置およびそれに用いられる座標生成方法 |
| JP4602281B2 (ja) * | 2005-05-10 | 2010-12-22 | ユアン シアン コー チー クー フェン ユー シェン コン シー | オリエンテーション装置に用いられる座標生成方法 |
| JP2010000362A (ja) * | 2005-05-10 | 2010-01-07 | Pixart Imaging Inc | オリエンテーション装置およびそれに用いられる座標生成方法 |
| JP2006317441A (ja) * | 2005-05-10 | 2006-11-24 | Pixart Imaging Inc | イメージディスプレイ及びイメージセンサを含む定位システム |
| US7857703B2 (en) | 2005-05-10 | 2010-12-28 | Fixart Imaging Incorporated | Orientation device and method for coordinate generation employed thereby |
| US11841997B2 (en) | 2005-07-13 | 2023-12-12 | UltimatePointer, L.L.C. | Apparatus for controlling contents of a computer-generated image using 3D measurements |
| US8313379B2 (en) | 2005-08-22 | 2012-11-20 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| US10238978B2 (en) | 2005-08-22 | 2019-03-26 | Nintendo Co., Ltd. | Game operating device |
| US9011248B2 (en) | 2005-08-22 | 2015-04-21 | Nintendo Co., Ltd. | Game operating device |
| US7942745B2 (en) | 2005-08-22 | 2011-05-17 | Nintendo Co., Ltd. | Game operating device |
| US9498728B2 (en) | 2005-08-22 | 2016-11-22 | Nintendo Co., Ltd. | Game operating device |
| JP2007054114A (ja) * | 2005-08-22 | 2007-03-08 | Nintendo Co Ltd | ゲーム用操作装置 |
| US10155170B2 (en) | 2005-08-22 | 2018-12-18 | Nintendo Co., Ltd. | Game operating device with holding portion detachably holding an electronic device |
| US9700806B2 (en) | 2005-08-22 | 2017-07-11 | Nintendo Co., Ltd. | Game operating device |
| US10661183B2 (en) | 2005-08-22 | 2020-05-26 | Nintendo Co., Ltd. | Game operating device |
| US8267786B2 (en) | 2005-08-24 | 2012-09-18 | Nintendo Co., Ltd. | Game controller and game system |
| US8409003B2 (en) | 2005-08-24 | 2013-04-02 | Nintendo Co., Ltd. | Game controller and game system |
| US8870655B2 (en) | 2005-08-24 | 2014-10-28 | Nintendo Co., Ltd. | Wireless game controllers |
| US8308563B2 (en) | 2005-08-30 | 2012-11-13 | Nintendo Co., Ltd. | Game system and storage medium having game program stored thereon |
| US8430753B2 (en) | 2005-09-15 | 2013-04-30 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| USRE45905E1 (en) | 2005-09-15 | 2016-03-01 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| JP2007252915A (ja) * | 2006-03-21 | 2007-10-04 | Avago Technologies General Ip (Singapore) Private Ltd | インターリーブされた十字ナビゲーションフレームを使用するアクティブ基準化方法 |
| JP2008000345A (ja) * | 2006-06-22 | 2008-01-10 | Nintendo Co Ltd | ゲーム装置およびゲームプログラム |
| JP2009064409A (ja) * | 2007-03-26 | 2009-03-26 | Avago Technologies Ecbu Ip (Singapore) Pte Ltd | 画像データの取り込まれたフレーム内の表示スクリーンを使用して入力装置を追跡するためのシステムおよび方法 |
| US8154513B2 (en) | 2007-10-10 | 2012-04-10 | Sharp Kabushiki Kaisha | Display system and method for detecting pointed position |
| JP2009116700A (ja) * | 2007-11-07 | 2009-05-28 | Sharp Corp | 表示システムおよび指示位置の検出方法 |
| JP2009116701A (ja) * | 2007-11-07 | 2009-05-28 | Sharp Corp | 表示システムおよび指示位置の検出方法 |
| JP2010259589A (ja) * | 2009-05-01 | 2010-11-18 | Taito Corp | 射撃ゲーム装置 |
| JP2013522766A (ja) * | 2010-03-16 | 2013-06-13 | インターフェイズ・コーポレーション | 対話型表示システム |
| JP2012113494A (ja) * | 2010-11-24 | 2012-06-14 | Sas Kk | 指示位置検出装置および指示位置検出方法 |
| JP2015200973A (ja) * | 2014-04-04 | 2015-11-12 | 株式会社デジタル | 携帯端末装置および表示装置 |
| CN105444699A (zh) * | 2015-11-11 | 2016-03-30 | 苏州大学附属儿童医院 | 一种显微操作系统坐标与位移误差检测和补偿的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002298145A (ja) | 位置検出装置及び姿勢検出装置 | |
| JP3686919B2 (ja) | ゲーム装置、ゲーム処理方法及び可読記憶媒体 | |
| JP2002233665A5 (ja) | ||
| US6993206B2 (en) | Position detector and attitude detector | |
| EP2395474A2 (en) | Storage medium having image recognition program stored therein, image recognition apparatus, image recognition system, and image recognition method | |
| US20120219227A1 (en) | Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method | |
| US8625898B2 (en) | Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method | |
| JP2001325069A (ja) | 位置検出装置およびその方法 | |
| CN103189827A (zh) | 对象显示装置以及对象显示方法 | |
| JP2003219324A (ja) | 画像補正データ算出方法、画像補正データ算出装置及びマルチプロジェクションシステム | |
| JP2000259340A (ja) | 入力装置および方法、入力システム、並びに提供媒体 | |
| US20120219179A1 (en) | Computer-readable storage medium, image processing apparatus, image processing system, and image processing method | |
| US8718325B2 (en) | Computer-readable storage medium, image processing apparatus, image processing system, and image processing method | |
| JP2009009266A (ja) | 画像処理プログラムおよび画像処理装置 | |
| JP2001148025A (ja) | 位置検出装置及びその方法、平面姿勢検出装置及びその方法 | |
| JPWO2005096130A1 (ja) | 撮像装置の指示位置検出方法および装置、撮像装置の指示位置検出用プログラム | |
| JP2004248725A (ja) | 打球の解析装置及び方法 | |
| JP2002008041A (ja) | 動作検出装置、動作検出方法および情報記憶媒体 | |
| JP2000081950A (ja) | 画像処理装置、画像処理方法、及び提供媒体、並びにプレゼンテーションシステム | |
| JP3451343B2 (ja) | 信号生成装置及び信号生成方法 | |
| US8705869B2 (en) | Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method | |
| JP2667885B2 (ja) | 移動物体の自動追尾装置 | |
| JP4878396B2 (ja) | 画像認識プログラム、画像認識装置、画像認識システム、および画像認識方法 | |
| JP2007267850A (ja) | プログラム、情報記憶媒体、及び画像生成システム | |
| JP2854831B2 (ja) | 三次元位置認識方法および装置 |