JP4493730B2 - 3次元物体表示制御装置及びその方法 - Google Patents

3次元物体表示制御装置及びその方法 Download PDF

Info

Publication number
JP4493730B2
JP4493730B2 JP2009525835A JP2009525835A JP4493730B2 JP 4493730 B2 JP4493730 B2 JP 4493730B2 JP 2009525835 A JP2009525835 A JP 2009525835A JP 2009525835 A JP2009525835 A JP 2009525835A JP 4493730 B2 JP4493730 B2 JP 4493730B2
Authority
JP
Japan
Prior art keywords
sphere
feature point
rotation
dimensional object
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009525835A
Other languages
English (en)
Other versions
JPWO2010013336A1 (ja
Inventor
亮 小林
光伸 古田
正和 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hiroshima University NUC
Original Assignee
Hiroshima University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hiroshima University NUC filed Critical Hiroshima University NUC
Application granted granted Critical
Publication of JP4493730B2 publication Critical patent/JP4493730B2/ja
Publication of JPWO2010013336A1 publication Critical patent/JPWO2010013336A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03549Trackballs

Description

本発明は、3次元物体表示制御装置及びその方法に関し、さらに詳しくは、画面上に表示された3次元物体(3D object)を回転させる3次元物体表示制御装置及びその方法に関する。
近年、様々な分野で3次元グラフィックスが用いられている。たとえば科学分野では、数値計算した結果を表示するときやタンパク質の構造を見るときなどに利用される。工業分野では、自動車の設計、建築物の設計、CAD(Computer Aided Design)等で用いられる。また、身近なところでは、TVやパソコン、ゲームなどで見ることができる。
多くのシステムでは、画面に表示された3次元物体を回転させるための入力装置として、マウスが用いられている。マウスでの3次元物体の回転操作はたいていのアプリケーションにおいて、マウスを左右に動かせば画面上縦方向の軸周りに物体を回転させ、また、マウスを前後に動かせば画面上横方向の軸周りに物体を回転させることができる。
しかしながら、3次元物体を直感的なマウス操作で自由自在に回転させることはできない。すなわち、前後左右のマウス操作で画面に垂直な軸周りに物体を回転させることは容易ではない。たとえば画面に垂直な軸周りに物体を180度回転させるためには、まずマウスを左右に動かして物体を縦方向の軸周りに180度回転させ、次にマウスを前後に動かして横方向の軸周りに180度回転させなければならない。画面に垂直な軸周りの回転であれば操作はまだ可能かもしれないが、画面に対して少し斜めに交差する軸周りになると操作は極めて困難になる。
ところで、特開2005−32245号公報には、ビデオゲーム用のコントローラが記載されている。このコントローラは、ジョイスティックシャフトと、その下部に取り付けられた球形の要素と、その表面の画像を逐次入力するイメージャと、入力された複数画像の比較結果に基づいて要素の動きを検出する動き検出器とを備えている。このコントローラは基本的に2次元又は3次元座標の入力装置として用いるもので、画面上に表示された3次元物体を回転させるためのものではない。
また、特開2000−330722号公報には、表示画像を3次元方向に動かすための位置情報入力装置が記載されている。この入力装置は、表示画像をX軸周り、Y軸周り、Z軸周りに回転させるための回転検出機構を備えている。回転検出機構は、球体を指先で転がすと、回転の方向及び量を出力するようになっているが、回転の検出は機械的に行われている。
また、特開2000−207093号公報には、3次元形状の回転表示装置が記載されている。この回転表示装置は、ボール体を手で回転させると、その回転を検出して表示画像を一緒に回転させるようになっているが、回転の検出はやはり機械的に行われている。
また、特開平9−218744号公報には、3次元グラフィックスの表示画像を回転させるためのマウスが記載されているが、その構造は後述する本発明と全く異なる。
本発明の目的は、画面上に表示された3次元物体を直感的な操作で自由自在に回転させることができる3次元物体表示制御装置及びその方法、並びにそれに用いる3次元物体表示制御プログラムを提供することである。
本発明による3次元物体表示制御装置は、画面上に表示された3次元物体を回転させる3次元物体表示制御装置であって、球と、カメラと、回転特定手段と、物体回転手段とを備える。球は回転自在で、好ましくは3つのベアリングで支持されるが、全く何にも支持されていなくてもよい。カメラは球を撮影する。回転特定手段は、カメラで撮影された球の画像に基づいて球の回転を特定する。物体回転手段は、回転特定手段により特定された回転に連動して3次元物体を回転させる。
本発明によれば、ユーザの操作で球が回転されると、カメラで撮影された球の画像に基づいて球の回転が特定され、その特定された回転に連動して3次元物体が回転される。そのため、画面上に表示された3次元物体を直感的な操作で自由自在に回転させることができる。
回転特定手段は、カメラで撮影された球の画像の中に少なくとも2つの特徴点を設定する特徴点設定手段と、特徴点設定手段により設定された特徴点を追跡する特徴点追跡手段と、特徴点追跡手段により追跡されている特徴点に基づいて球の回転を特定する手段とを含んでいてもよい。
回転特定手段は、カメラで撮影された球の画像の中から少なくとも2つの特徴点を選択し、その特徴点の画像上の2次元座標を設定する特徴点設定手段と、特徴点設定手段により設定された特徴点の2次元座標を更新する特徴点追跡手段と、特徴点追跡手段により更新された特徴点の2次元座標を所定時間ごとに取得するサンプリング手段と、サンプリング手段により取得された特徴点の2次元座標を球の表面上の3次元座標に変換する座標変換手段と、座標変換手段により変換された3次元座標に基づいて球の回転を表す回転行列を算出する回転行列算出手段とを含んでいてもよい。
3次元物体表示制御装置はさらに、特徴点追跡手段により追跡されている特徴点のうちいずれか1つから球の中心までの画像上の距離が第1の所定距離よりも長い場合、その1つの特徴点の代わりに新しい1つの特徴点を再設定する特徴点再設定手段を備えていてもよい。その新しい1つの特徴点から球の中心までの画像上の距離は第1の所定距離よりも短くてもよい。
この場合、単位時間当たりの変位量の多い特徴点のみを用いるので、高い精度で球の回転を特定することができる。
新しい1つの特徴点から当該他の特徴点までの画像上の距離は第2の所定距離よりも長くてもよい。
この場合、特徴点間の距離が遠いので、高い精度で球の回転を特定することができる。
本発明による3次元物体表示制御方法は、画面上に表示された3次元物体を回転させる3次元物体表示制御方法であって、球を回転させるステップと、球をカメラで撮影するステップと、カメラで撮影された球の画像に基づいて球の回転を特定するステップと、特定された球の回転に連動して3次元物体を回転させるステップとを含む。
本発明によれば、ユーザの操作で球が回転されると、カメラで撮影された球の画像に基づいて球の回転が特定され、その特定された回転に連動して3次元物体が回転される。そのため、画面上に表示された3次元物体を直感的な操作で自由自在に回転させることができる。
本発明による3次元物体表示制御プログラムは、画面上に表示された3次元物体を回転させる3次元物体表示制御プログラムであって、カメラで撮影された球の画像を取得するステップと、カメラで撮影された球の画像に基づいて球の回転を特定するステップと、特定された球の回転に連動して3次元物体を回転させるステップとをコンピュータに実行させる。
本発明によれば、ユーザの操作で球が回転されると、カメラで撮影された球の画像に基づいて球の回転が特定され、その特定された回転に連動して3次元物体が回転される。そのため、画面上に表示された3次元物体を直感的な操作で自由自在に回転させることができる。
本発明の実施の形態による3次元物体表示制御装置を用いたコンピュータシステムの全体構成を示す図である。 図1中のカメラで撮影された球の画像を示す図である。 図1に示したコンピュータシステムの動作を示すフロー図である。 図1に示したコンピュータシステムの実空間に導入されるXYZ座標系を示す図である。 図4に示した球面上の点(X,Y,Z)をX−Y平面上に投影した状態を示す図である。 図1中の球が回転されたときの特徴点の移動を示す図である。 図6に示した回転を2回の回転に分割したときの特徴点の移動を示す図である。 (a)は球の中心及び点r1,r2を通る面における断面図であり、(b)は回転角φ2を示す(a)の斜視図である。 図3中の特徴点再設定の詳細を示すフロー図である。
以下、本発明の実施の形態を図面を参照して詳しく説明する。図中同一又は相当部分には同一符号を付してその説明を援用する。
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。
図1を参照して、本発明の実施の形態による3次元物体表示制御装置を用いたコンピュータシステム10は、コンピュータ12と、ディスプレイ14と、キーボード16と、マウス18と、回転情報入力装置20とを備える。ディスプレイ14、キーボード16、マウス18、及び回転情報入力装置20は、コンピュータ12に接続される。コンピュータ12、ディスプレイ14、キーボード16、及びマウス18は、汎用のものである。
コンピュータ12は、図示は省略するが、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスクなどを備える。コンピュータ12には、OS(Operating System)、3次元グラフィックスソフトウェアのほか、後に詳述する3次元物体表示制御プログラム(回転情報入力装置20のドライバ、物体追跡ソフトウェアなどで構成される。)がインストールされる。3次元グラフィックスソフトウェアには、たとえばOpenGL(Open Graphics Library)(Intel Open Source Computer Vision Library)(登録商標;以下同じ)が用いられる。OpenGLは、米シリコングラフィックス社が中心となって開発した3次元グラフィックスを描くためのプログラムインターフェースである。高精度の3次元グラフィックスを高速に描画でき、OSに依存しないのが特徴である。また、物体追跡ソフトウェアには、たとえばOpenCV(商標;以下同じ)が用いられる。OpenCVは、米インテル社が開発・公開しているコンピュータビジョン向けのライブラリである。カメラから取得したデータで各ピクセルのRGB値を取り出すことができる。取得したデータを用いて、画像上のある点を追跡することができる。これらのソフトウェアはハードディスクに記憶されており、CPUにより読み出されて実行される。
回転情報入力装置20は、球22と、球22を3つのボールベアリングで回転自在に支持する三脚24と、球22を下方から撮影するカメラ26とを備える。球22の回転を検知し易くするために、球22の表面には比較的小さい三角形が多数描かれている。ユーザが手で球22を操作すると、球22はその中心を固定したまま任意の方向へ任意の量だけ回転される。カメラ26はその光軸が球22の中心を通るように設置される。
次に、上記コンピュータシステム10の動作を説明する。
カメラ26で球22を下方から撮影すると、図2に示されるような画像が得られる。球22は画面いっぱいに映り、球22の三方には三脚24の先端部分が映っている。得られた画像はコンピュータ12に送られる。
図3に3次元物体表示制御プログラムのフロー図を示す。ただし、3次元物体の描画はOpenGL等の3次元グラフィックスソフトウェアで実行される。
図3を参照して、コンピュータ12は、送られて来た画像を所定周期でキャプチャする(S1)。コンピュータ12は、キャプチャされた画像の中に特徴点が存在するか否かを判断する(S2)。最初、特徴点は存在しないので(S2でNO)、コンピュータ12は、図2に例示されるように球22の画像の中に2つの特徴点r1,r2を設定する(S3)。具体的には、コンピュータ12は、球の画像の中から2つの特徴点r1,r2を選択し、その特徴点r1,r2の画像上の2次元座標(x,y)を設定する(S3)。特徴点r1,r2は、他の部分と区別し易い位置(本例では球22の表面上に描かれた三角形の頂点)に設定される。
2次元座標(x,y)は次のとおり定義する。すなわち、図2に示すように、画像上にxy座標系を導入し、画像の左上を原点(0,0)とする。カメラ26はその光軸が球22の中心を通るように設置されるので、球22の中心Cの座標(xc,yc)は画像の中心に一致する。
一方、特徴点r1,r2が存在する場合(S2でYES)、コンピュータ12はOpenCVの機能を利用し、特徴点r1,r2を追跡する(S4)。具体的には、球22がユーザにより操作され、回転されると、特徴点r1,r2が移動するので、コンピュータ12は、特徴点r1,r2の2次元座標(x,y)を更新する(S4)。
コンピュータ12は、このように特徴点r1,r2を追跡している間に、所定時間ごとに特徴点r1,r2の2次元座標(x,y)をサンプリング(取得)する(S5,S6)。
次いで、コンピュータ12は、特徴点r1,r2の2次元座標(x,y)を球22の表面上の3次元座標(X,Y,Z)に変換する(S7)。
3次元座標(X,Y,Z)は次のとおり定義する。すなわち、図4に示すように、実空間(3次元空間)にXYZ座標系を導入する。球22がディスプレイ14の左手前に設置されたとし、球22の中心Cを原点(0,0,0)とする。ディスプレイ画面に垂直でユーザのいる方向をX軸、ディスプレイ画面の水平右向きをY軸、鉛直上向きをZ軸とする。
特徴点r1,r2の2次元座標(x,y)が与えられたとき、その3次元座標(X,Y,Z)は次のとおり算出される。図5に示すように、カメラ26と球22の中心Cとの間の距離をLとし、球22の半径をRとする。球22の表面上にある特徴点(X,Y,Z)をカメラ26の位置(0,0,−L)からX−Y平面に投影した点の座標を(X',Y',0)とすると、(X,Y,Z)は次の式(1)で表される。
Figure 0004493730
特徴点(X,Y,Z)は半径Rの球22の表面上にあるので、tは次の式(2)で表される。
Figure 0004493730
以上のように、(X',Y')→(X,Y,Z)の対応は式(1)及び(2)により与えられる。
最後に、X−Y平面上の座標(X,Y)と画面上の座標(x,y)との対応を求める。X−Y平面に投影された球22の像の半径Rcは次の式(3)で表される。
Figure 0004493730
この半径Rcと画像上の球22の半径rcと用いると、X−Y平面上の特徴点の座標(X',Y')は次の式(4)で表される。
Figure 0004493730
これにより、(x,y)→(X',Y')の対応は求まったので、前述の(X',Y')→(X,Y,Z)の対応と合わせると、特徴点r1,r2の2次元座標(x,y)から球22の表面上の3次元座標(X,Y,Z)を計算することができる。
再び図3を参照して、上述した特徴点の座標変換(S7)後、コンピュータ12は、3次元座標(X,Y,Z)に基づいて球22の回転を表す回転行列を算出する(S8)。詳細は次のとおりである。
まず準備として、単位ベクトルl=(lx,ly,lz)を回転軸として、その周りに角度θだけ回転する変換を表す行列R(l,θ)∈SO(3)は次の式(5)で表される。なお、SO3は特殊直交群であり、3次実直交行列のうち行列式の値が1のものである。
Figure 0004493730
ただし、lはlの転置であり、Iは単位行列であり、Sは次の式(6)で表される。
Figure 0004493730
式(5)を成分で表示すると、次の式(7)になる。
Figure 0004493730
特にθ=0(すなわち回転角が0度)ならば、lが何であってもR(l,θ)=Iである。球22の中心Cは固定されているので、以下では座標系の原点は球22の中心Cとする。
図6に、時刻t1と時刻t2との間に起こった球22の回転Rによる2点の移動を示す。r1→r1'の移動はr1'=Rr1と表される。r2→r2'の移動はr2'=Rr2と表される。
時刻t1と時刻t2との間に起こった球22の回転を表す回転行列R∈SO(3)を求めるために、球22の表面上にある2点の移動を測定する。これは、回転前と回転後の2点の位置の対応関係がわかれば一意的に回転行列R∈SO(3)を定めることができるからである。
この回転行列Rを求めるための概略は以下のとおりである。図7を参照して、球22をまず軸l1の周りに回転させ、次いで軸l2の周りに回転させることによって、r1をr1'に、r2をr2'に移動させることができる。そこで、まず、点r1を点r1'に重ね合わせる回転行列R1(回転軸l1)を求める。この際、点r1と点r1'を通る大円を含む平面に直交するように回転軸l1を定める。この回転によりr2はr2'=R1r2へ移動する。次いで、球22の中心Cと点r1'を通る軸l2の周りで球22を回転させ、点r2'を点r2'に重ね合わせる回転行列R2を求める。最後にこれら2つの回転行列を合成すると、回転行列R=R2R1が求められる。
次に、回転行列Rを具体的に計算する方法を述べる。第1の回転R1の回転軸l1(単位ベクトル)は外積を用いて次の式(8)で求められる。
Figure 0004493730
また、その周りの回転角φ1は次の式(9)で求められる。
Figure 0004493730
ここで現実の計算においては、時刻t1と時刻t2の間隔が小さく、その間に起こる回転も小さいという事実に基づき、0≦φ1<π/2としている。なお、r1=r1'であるときは、l1は適当な単位ベクトルを取り、φ1=0としておく。
図8(a)及び(b)を参照して、第2の回転R2の回転軸l2(単位ベクトル)は次の式(10)で与えられる。
Figure 0004493730
回転角φ2は以下のように求める。点r2'と点r2'を通り回転軸l2と垂直な平面PLと、回転軸との交点のベクトルl2'は次の式(11)で表される。
Figure 0004493730
その周りの回転角φ2は次の式(12)で表される。
Figure 0004493730
ここでも回転が小さいという事実を用い、0≦φ2<π/2としている。また、r2'=r2'であるときは、l2は適当な単位ベクトルを取り、φ2=0としておく。
このようにして、2つの回転の回転軸と回転角の組み合わせ(l1,φ1)及び(l2,φ2)を得ることができる。回転軸と回転角がわかれば、式(5)により各ステップの回転行列R1=R(l1,φ1),R2=R(l2,φ2)を計算でき、次の式(13)によって回転行列Rを求めることができる。
Figure 0004493730
再び図3を参照して、上述した回転行列の算出(S8)後、コンピュータ12は、上記で特定された球22の回転に連動して、ディスプレイ14の画面上に表示されている3次元物体を回転させる(S9)。具体的には、コンピュータ12は、上記で算出された回転行列Rを3次元物体の各頂点座標に乗算する。これにより、回転後の3次元物体の各頂点座標が求められる。
次いで、コンピュータ12は、上記で追跡されている一方の特徴点r1又はr2から球22の中心までの画像上の距離が所定距離RIよりも長い場合、その特徴点r1又はr2の代わりに新しい特徴点を再設定する(S10)。ただし、その新しい特徴点から球22の中心までの画像上の距離は所定距離RIよりも短く、かつ、その新しい特徴点から当該他の特徴点r2又はr1までの画像上の距離は所定距離RPよりも長くなるように新しい特徴点を再設定する。
具体的には図2を参照して、球22の画像中に制限円LCが設定される。制限円LCの中心は球22の中心Cと一致する。制限円LCの半径RIは球22の半径Rよりも小さく、好ましくは球22の半径Rの約半分である。追跡されている特徴点r1,r2の一方が制限円LCから外れると、その特徴点の代わりに新しい特徴点が制限円LC内に再設定される。一定速度で球22が回転されている場合、画像上においては、球22の中心付近では特徴点の速度は速いが、球22の外縁に近付くに連れて遅くなる。そのため、球22の外縁付近まで特徴点を追跡し続けると、球22の回転検出精度が低下してしまう。そこで本実施の形態では、制限円LC内の特徴点から球22の回転を特定するようにしている。
また、新しい特徴点を再設定する際には、もう一方の特徴点からできる限り遠くに設定するのが好ましい。特徴点間の距離が余りに近すぎると、球22の回転検出精度が低下してしまうからである。本実施の形態では、もう一方の特徴点から少なくとも所定距離RPだけ離れた位置に特徴点を再設定するようにしている。
図9に特徴点再設定の詳細を示す。図9を参照して、コンピュータ12は、特徴点r1と球22の中心Cとの間の画像上の距離DISを算出する(S101)。次いで、コンピュータ12は、距離DISが所定距離RIよりも長いか否かを判断する(S102)。距離DISが所定距離RIよりも長い場合、つまり特徴点r1が制限円LCから外れた場合(S102でYES)、上記ステップS3と同様に、コンピュータ12は新しい特徴点r1を再設定する(S103)。次いで、コンピュータ12は新しい特徴点r1と球22の中心Cとの間の画像上の距離DIS0を算出し(S104)、かつ、特徴点r1と特徴点r2との間の距離DIS1を算出する(S105)。次いで、コンピュータ12は、距離DIS0が所定距離RIよりも短く、かつ、距離DIS1が所定距離RPよりも長いか否かを判断する(S106)。距離DIS0が所定距離RIよりも長い場合、つまり新しい特徴点r1が制限円LCの外側にある場合(S106でNO)、又は、距離DIS1が所定距離RPよりも短い場合、つまり新しい特徴点r1がもう一方の特徴点r2に所定距離RPよりも近い場合(S106でNO)、上記ステップS103〜S105を繰り返す。これにより、制限円LC内で、かつ、もう一方の特徴点R2から所定距離RPよりも離れた位置に新しい特徴点r1が再設定される。特徴点r2に対しても上記ステップS101〜S106と同じ処理を行う。
再び図3を参照して、コンピュータ12は、上記ステップS9で回転された3次元物体をディスプレイ14上に描画する(S11)。
以上のように本発明の実施の形態によれば、カメラ26で撮影された球22の画像の中から2つの特徴点r1,r2が選択され、その特徴点r1,r2の画像上の2次元座標(x,y)が設定され、その特徴点が追跡される。特徴点r1,r2の2次元座標(x,y)は所定時間ごとにサンプリングされ、球22の表面上の3次元座標(X,Y,Z)に変換される。所定時間で移動した前後の特徴点r1,r2の3次元座標(X,Y,Z)に基づいて球22の回転を表す回転行列Rが算出される。したがって、ユーザの操作で球22が回転されると、カメラ26で撮影された球22の画像に基づいて球22の回転が特定され、その特定された回転に連動して3次元物体が回転される。そのため、画面上に表示された3次元物体を直感的な操作で自由自在に回転させることができる。
上記実施の形態では球22の表面に三角形が描かれているが、図形、大きさ、数などは特に限定されるものではなく、要は、球22の回転を検知し易い模様が描かれていればよい。また、カメラ26の精度が高く、肉眼では見えない微細な地模様を検知できるのであれば、何も描かれていなくてもよい。
一般に、球の表面上にある少なくとも2つ点の動きを特定すれば、球の回転を特定できることから、上記実施の形態では特徴点は2つとしたが、3つ以上にしてもよい。この場合、情報処理の量は増えるが、計算精度は向上する。
また、上記実施の形態では三脚24で球22を回転自在に支持してカメラ26で球22を撮影するようにした回転情報入力装置20を用いたが、球22及びカメラ26を小型化し、マウス18又はキーボード16に埋め込むようにしてもよい。
また、上記実施の形態は画面上に表示されている3次元物体をその場で回転できるだけであるが、3次元方向に移動できるようにしてもよい。そのためには、たとえば球22の回転を検出するだけでなく、球22の3次元方向への移動も検出するようにすればよい。
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。

Claims (6)

  1. 画面上に表示された3次元物体を回転させる3次元物体表示制御装置であって、
    回転自在な球と、
    前記球を撮影するカメラと、
    前記カメラで撮影された球の画像に基づいて前記球の回転を特定する回転特定手段と、
    前記回転特定手段により特定された回転に連動して前記3次元物体を回転させる物体回転手段とを備え
    前記回転特定手段は、
    前記カメラで撮影された球の画像の中に少なくとも2つの特徴点を設定する特徴点設定手段と、
    前記特徴点設定手段により設定された特徴点を追跡する特徴点追跡手段と、
    前記特徴点追跡手段により追跡されている特徴点に基づいて前記球の回転を特定する手段とを含み、
    前記3次元物体表示制御装置はさらに、
    前記特徴点追跡手段により追跡されている特徴点のうちいずれか1つから前記球の中心までの前記画像上の距離が第1の所定距離よりも長い場合、その1つの特徴点の代わりに新しい1つの特徴点を再設定する特徴点再設定手段を備え、その新しい1つの特徴点から前記球の中心までの前記画像上の距離は前記第1の所定距離よりも短い、3次元物体表示制御装置。
  2. 請求項に記載の3次元物体表示制御装置であって、
    前記新しい1つの特徴点から当該他の特徴点までの前記画像上の距離は第2の所定距離よりも長い、3次元物体表示制御装置。
  3. 画面上に表示された3次元物体を回転させる3次元物体表示制御方法であって、
    球を回転させるステップと、
    前記球をカメラで撮影するステップと、
    前記カメラで撮影された球の画像に基づいて前記球の回転を特定するステップと、
    前記特定された球の回転に連動して前記3次元物体を回転させるステップとを含み、
    前記球の回転を特定するステップは、
    前記カメラで撮影された球の画像の中に少なくとも2つの特徴点を設定するステップと、
    前記設定された特徴点を追跡するステップと、
    前記追跡されている特徴点に基づいて前記球の回転を特定するステップとを含み、
    前記3次元物体表示制御方法はさらに、
    前記追跡されている特徴点のうちいずれか1つから前記球の中心までの前記画像上の距離が第1の所定距離よりも長い場合、その1つの特徴点の代わりに新しい1つの特徴点を再設定するステップを含み、その新しい1つの特徴点から前記球の中心までの前記画像上の距離は前記第1の所定距離よりも短い、3次元物体表示制御方法。
  4. 請求項に記載の3次元物体表示制御方法であって、
    前記新しい1つの特徴点から当該他の特徴点までの前記画像上の距離は第2の所定距離よりも長い、3次元物体表示制御方法。
  5. 画面上に表示された3次元物体を回転させる3次元物体表示制御プログラムであって、コンピュータに、
    カメラで撮影された球の画像を取得するステップと、
    前記カメラで撮影された球の画像に基づいて前記球の回転を特定するステップと、
    前記特定された球の回転に連動して前記3次元物体を回転させるステップとを実行させ
    前記球の回転を特定するステップは、
    前記カメラで撮影された球の画像の中に少なくとも2つの特徴点を設定するステップと、
    前記設定された特徴点を追跡するステップと、
    前記追跡されている特徴点に基づいて前記球の回転を特定するステップとを含み、
    前記3次元物体表示制御プログラムはさらに、前記コンピュータに、
    前記追跡されている特徴点のうちいずれか1つから前記球の中心までの前記画像上の距離が第1の所定距離よりも長い場合、その1つの特徴点の代わりに新しい1つの特徴点を再設定するステップを実行させ、その新しい1つの特徴点から前記球の中心までの前記画像上の距離は前記第1の所定距離よりも短い、3次元物体表示制御プログラム。
  6. 請求項5に記載の3次元物体表示制御プログラムであって、
    前記新しい1つの特徴点から当該他の特徴点までの前記画像上の距離は第2の所定距離よりも長い、3次元物体表示制御プログラム。
JP2009525835A 2008-07-31 2008-07-31 3次元物体表示制御装置及びその方法 Active JP4493730B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/063747 WO2010013336A1 (ja) 2008-07-31 2008-07-31 3次元物体表示制御装置及びその方法

Publications (2)

Publication Number Publication Date
JP4493730B2 true JP4493730B2 (ja) 2010-06-30
JPWO2010013336A1 JPWO2010013336A1 (ja) 2012-01-05

Family

ID=41610059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009525835A Active JP4493730B2 (ja) 2008-07-31 2008-07-31 3次元物体表示制御装置及びその方法

Country Status (3)

Country Link
US (1) US8462105B2 (ja)
JP (1) JP4493730B2 (ja)
WO (1) WO2010013336A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9082223B2 (en) * 2013-03-15 2015-07-14 Dreamworks Animation Llc Smooth manipulation of three-dimensional objects
WO2016103541A1 (ja) * 2014-12-25 2016-06-30 パナソニックIpマネジメント株式会社 投影装置
JP2021189822A (ja) * 2020-06-01 2021-12-13 オリンパス株式会社 画像処理システム、及び、画像処理方法、並びに、画像処理プログラム
CN114758016B (zh) * 2022-06-15 2022-09-13 超节点创新科技(深圳)有限公司 摄像设备标定方法、电子设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0540569A (ja) * 1991-08-06 1993-02-19 Koudo Eizou Gijutsu Kenkyusho:Kk 球形デジタイザ
JPH06195168A (ja) * 1992-10-05 1994-07-15 Logitech Inc 光検出アレーを利用したポインティングデバイス
JPH11203038A (ja) * 1998-01-09 1999-07-30 Matsushita Electric Ind Co Ltd 携帯端末装置
JPH11259231A (ja) * 1998-03-11 1999-09-24 Sharp Corp 入力装置
JP2000081949A (ja) * 1998-09-04 2000-03-21 Alps Electric Co Ltd コントローラ
JP2000148391A (ja) * 1998-10-06 2000-05-26 Agilent Technol Inc コンピュ―タ用位置入力装置中に納められたボ―ルの光学的トラッキングのための方法及び装置
JP2001291119A (ja) * 2000-04-11 2001-10-19 Sony Corp ユーザインタフェース制御装置およびユーザインタフェース制御方法、並びにプログラム提供媒体
JP2004015965A (ja) * 2002-06-10 2004-01-15 Ricoh Co Ltd 球面モータ
JP2005032245A (ja) * 2003-07-11 2005-02-03 Hewlett-Packard Development Co Lp 画像に基づいたビデオゲームの制御
JP2005332061A (ja) * 2004-05-18 2005-12-02 Nippon Telegr & Teleph Corp <Ntt> 操作装置、操作入力端末、操作方法、および、操作プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09218744A (ja) 1996-02-08 1997-08-19 Casio Comput Co Ltd 入力装置及び画像制御装置
US6072504A (en) * 1997-06-20 2000-06-06 Lucent Technologies Inc. Method and apparatus for tracking, storing, and synthesizing an animated version of object motion
JP2991163B2 (ja) * 1997-07-23 1999-12-20 日本電気株式会社 カメラキャリブレーション装置
JP2000207093A (ja) 1999-01-12 2000-07-28 Sony Corp 3次元形状の回転表示装置
JP3939877B2 (ja) 1999-05-21 2007-07-04 アルプス電気株式会社 位置情報入力装置
JP3518520B2 (ja) * 2001-03-13 2004-04-12 株式会社島津製作所 断層撮影装置
JP3535476B2 (ja) * 2001-05-09 2004-06-07 住友ゴム工業株式会社 球体の三次元姿勢測定方法および該方法を用いた球体の回転量と回転軸方向の測定方法
JP4109076B2 (ja) * 2002-06-06 2008-06-25 Sriスポーツ株式会社 曲面体の回転量と回転軸方向の測定方法、及び、曲面体の回転量と回転軸方向の測定装置
JP4109075B2 (ja) * 2002-10-10 2008-06-25 Sriスポーツ株式会社 球体の回転特性と飛行特性の測定方法及び球体の回転特性と飛行特性の測定装置
JP3762750B2 (ja) * 2003-01-07 2006-04-05 コナミ株式会社 画像表示制御プログラム
WO2006092813A1 (en) * 2005-03-02 2006-09-08 Silvia Zambelli Mobile holographic simulator of bowling pins and virtual objects
WO2008089792A1 (en) * 2007-01-26 2008-07-31 Trimble Jena Gmbh Optical instrument and method for obtaining distance and image information
EP2048640A2 (en) * 2007-10-12 2009-04-15 Gruentjens, Norbert A method and an apparatus for controlling a simulated moving object
JP5076217B2 (ja) * 2007-12-27 2012-11-21 有限会社ラルゴ 野球のピッチングシステム
US20100182400A1 (en) * 2009-01-16 2010-07-22 World Golf Tour, Inc. Aligning Images

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0540569A (ja) * 1991-08-06 1993-02-19 Koudo Eizou Gijutsu Kenkyusho:Kk 球形デジタイザ
JPH06195168A (ja) * 1992-10-05 1994-07-15 Logitech Inc 光検出アレーを利用したポインティングデバイス
JPH11203038A (ja) * 1998-01-09 1999-07-30 Matsushita Electric Ind Co Ltd 携帯端末装置
JPH11259231A (ja) * 1998-03-11 1999-09-24 Sharp Corp 入力装置
JP2000081949A (ja) * 1998-09-04 2000-03-21 Alps Electric Co Ltd コントローラ
JP2000148391A (ja) * 1998-10-06 2000-05-26 Agilent Technol Inc コンピュ―タ用位置入力装置中に納められたボ―ルの光学的トラッキングのための方法及び装置
JP2001291119A (ja) * 2000-04-11 2001-10-19 Sony Corp ユーザインタフェース制御装置およびユーザインタフェース制御方法、並びにプログラム提供媒体
JP2004015965A (ja) * 2002-06-10 2004-01-15 Ricoh Co Ltd 球面モータ
JP2005032245A (ja) * 2003-07-11 2005-02-03 Hewlett-Packard Development Co Lp 画像に基づいたビデオゲームの制御
JP2005332061A (ja) * 2004-05-18 2005-12-02 Nippon Telegr & Teleph Corp <Ntt> 操作装置、操作入力端末、操作方法、および、操作プログラム

Also Published As

Publication number Publication date
US8462105B2 (en) 2013-06-11
JPWO2010013336A1 (ja) 2012-01-05
WO2010013336A1 (ja) 2010-02-04
US20110037691A1 (en) 2011-02-17

Similar Documents

Publication Publication Date Title
CN106803884B (zh) 图像处理装置
JP5014706B2 (ja) ディスプレイ表面上にポインティングデバイスによって表示されるポインタの場所を制御するための方法
KR100869447B1 (ko) 3차원 모델링 없이 이미지 처리에 의해 타겟을 지시하는 장치 및 방법
US20120120113A1 (en) Method and apparatus for visualizing 2D product images integrated in a real-world environment
CN110825234A (zh) 一种面向工业场景的投影式增强现实跟踪显示方法和系统
KR101196291B1 (ko) 손가락의 움직임을 인식하여 3d인터페이스를 제공하는 단말기 및 그 방법
CN105144283A (zh) 基于设备旋转查看角图像操纵
JP7267753B2 (ja) 制御装置、制御方法、及びプログラム
JP7162079B2 (ja) 頭部のジェスチャーを介してディスプレイ装置を遠隔制御する方法、システムおよびコンピュータプログラムを記録する記録媒体
JP4493730B2 (ja) 3次元物体表示制御装置及びその方法
KR20190011492A (ko) 콘텐츠를 제공하기 위한 디바이스 및 그의 작동 방법
US11373329B2 (en) Method of generating 3-dimensional model data
WO2020040277A1 (ja) 複合現実システム、プログラム、携帯端末装置、及び方法
CN111311728A (zh) 一种基于光流法的高精度形貌重建方法、设备及装置
JP6240328B2 (ja) オプティカルフロー場を構築する方法
US20230224576A1 (en) System for generating a three-dimensional scene of a physical environment
US20230245332A1 (en) Systems and methods for updating continuous image alignment of separate cameras
US9082223B2 (en) Smooth manipulation of three-dimensional objects
JP6579706B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
JP7401245B2 (ja) 画像合成装置、画像合成装置の制御方法およびプログラム
US11450014B2 (en) Systems and methods for continuous image alignment of separate cameras
JP6859763B2 (ja) プログラム、情報処理装置
JP2008135996A (ja) 情報処理方法、情報処理装置
JP7118383B1 (ja) 表示システム、表示方法、及び表示プログラム
CN111343446B (zh) 视频图像翻转显示方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090709

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20090709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100107

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20100127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100406

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

S201 Request for registration of exclusive licence

Free format text: JAPANESE INTERMEDIATE CODE: R314201

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140416

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250