JP2023164499A - コンピュータ、レンダリング方法、及びプログラム - Google Patents
コンピュータ、レンダリング方法、及びプログラム Download PDFInfo
- Publication number
- JP2023164499A JP2023164499A JP2023143459A JP2023143459A JP2023164499A JP 2023164499 A JP2023164499 A JP 2023164499A JP 2023143459 A JP2023143459 A JP 2023143459A JP 2023143459 A JP2023143459 A JP 2023143459A JP 2023164499 A JP2023164499 A JP 2023164499A
- Authority
- JP
- Japan
- Prior art keywords
- plane
- rendering
- stylus
- image
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 61
- 241001422033 Thestylus Species 0.000 claims abstract 16
- 238000001514 detection method Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】現実空間内の平面上におけるスタイラスによる入力操作を行うかのように、仮想空間内において3Dオブジェクトの入力操作を行えるようにする。【解決手段】本発明によるコンピュータは、仮想空間内のオブジェクトをレンダリングする制御部を有するコンピュータであって、前記制御部は、スタイラスによって指示される位置を入力する際に使用される現実空間内の平面を示す平面画像を仮想空間内にレンダリングするレンダリング処理と、前記スタイラスによって指示される前記現実空間内の平面上の位置に基づいて生成されるオブジェクト画像を前記平面画像に表示する表示処理と、を実行する、コンピュータである。【選択図】図8
Description
本発明は、仮想現実(VR:Virtual Reality、AR:Augmented Reality、MR:Mixed Realityを含む)空間内において3Dオブジェクトをレンダリングするレンダリング装置及びレンダリング方法に関する。
近年、仮想現実空間の中で立体視しながら各種製品をデザインしたい、というニーズが高まっている。
特許文献1は、AR空間において、電子ペンを用いてタブレット端末に入力した2Dオブジェクトをベースにして3Dオブジェクトを生成する技術を開示している。以下、平面上で電子ペンを移動させることによって行う入力の方法を「2D入力」と称する。
非特許文献1は、3D入力用のコントローラをVR空間中で動かすことによって3Dオブジェクトを入力する技術を開示している。以下、このような3D入力用のコントローラを利用する入力の方法を「3D入力」と称する。
Google、「Tilt Brush: Painting from a new perspective」、[online]、平成28年5月3日、[平成29年10月5日検索]、インターネット〈URL:https://www.youtube.com/watch?v=TckqNdrdbgk〉
上述した2D入力によれば、電子ペンの位置が既知の平面内に固定されることから、3D入力に比して高い精度を得ることができる。しかしながら一方で、2D入力には、平面内での描画に限られるため、3D入力に比べて直感的な操作が難しいという問題がある。
これに対し、3D入力によれば、直感的な操作が可能になる。一方で、コントローラの位置の自由度が高いことから、デザインの用途に用いる技術としては精度が不十分であるという問題がある。
したがって、本発明の目的の一つは、仮想現実空間において直感的で精度の高い描画を実現できるレンダリング装置及びレンダリング方法を提供することにある。
本発明の第1の側面は、仮想現実ディスプレイ上に表示される仮想現実空間内において3Dオブジェクトをレンダリングするレンダリング装置に係り、前記3Dオブジェクトを仮想現実空間座標系における3D表示の3Dオブジェクトとしてレンダリングする3Dレンダリングステップと、前記3Dオブジェクトを平面座標系における2D表示の3Dオブジェクトとしてレンダリングする2Dレンダリングステップと、前記3Dレンダリングステップのレンダリング結果により前記仮想現実ディスプレイの表示を更新する3D表示モードと、前記2Dレンダリングステップのレンダリング結果により前記仮想現実ディスプレイの表示を更新する2D表示モードとを有する表示更新ステップと、を実行するレンダリング装置である。
本発明の第2の側面は、コンピュータを、仮想現実ディスプレイ上に表示される仮想現実空間内において3Dオブジェクトをレンダリングするレンダリング装置として機能させるためのレンダリング方法に係り、前記コンピュータに、前記3Dオブジェクトを仮想現実空間座標系における3D表示の3Dオブジェクトとしてレンダリングする3Dレンダリングステップと、前記3Dオブジェクトを平面座標系における2D表示の3Dオブジェクトとしてレンダリングする2Dレンダリングステップと、前記3Dレンダリングステップのレンダリング結果により前記仮想現実ディスプレイの表示を更新する3D表示モードと、前記2Dレンダリングステップのレンダリング結果により前記仮想現実ディスプレイの表示を更新する2D表示モードとを有する表示更新ステップと、を実行させるレンダリング方法である。
本発明によれば、3Dオブジェクトの仮想現実空間内における表示方法(3D表示又は2D表示)をユーザの選択に応じて切り替えることができるので、仮想現実空間において直感的で精度の高い描画を実現することが可能になる。
以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。
図1は、本発明の第1の実施の形態による3Dオブジェクトレンダリングシステム1の構成を示す図である。同図に示すように、本実施の形態による3Dオブジェクトレンダリングシステム1は、コンピュータ2と、仮想現実ディスプレイ3と、タブレット4と、電子ペン5と、グローブユニット6と、ライトニングハウス7a,7bと、位置センサ8a~8dとを含んで構成される。なお、位置センサ8a,8c,8dはそれぞれ、タブレット4、電子ペン5、及びグローブユニット6に取り付けられ、位置センサ8bは仮想現実ディスプレイ3に設けられる。位置センサ8cが取り付けられることにより、電子ペン5は、スタイラスとして機能するとともにコントローラとしても機能する。なお、位置センサ8cを電子ペン5に内蔵することとしてもよい。
図1に示した各装置は、原則として部屋の中に配置される。3Dオブジェクトレンダリングシステム1においては、この部屋のほぼ全体が仮想現実空間として利用されうる。
コンピュータ2は、制御部2a(コントローラ)と、制御部2aと協働するメモリ2bとを含む。後述するコンピュータ2が行う各処理は、制御部2aがメモリ2bと協働することにより(より具体的には、メモリ2b内に記憶されるプログラムを読み出して実行することにより)実現され得る。
コンピュータ2は、仮想現実ディスプレイ3及びライトニングハウス7a,7bのそれぞれと、有線又は無線により接続される。図1には、コンピュータ2と仮想現実ディスプレイ3及びライトニングハウス7a,7bのそれぞれとがUSBなどの有線通信規格により接続される例を示している。また、詳しくは後述するが、タブレット4が通信機能を有する装置である場合、コンピュータ2は、タブレット4とも有線又は無線により接続される。図1には、コンピュータ2とタブレット4とが例えばブルートゥース(登録商標)などの近距離無線通信規格により接続される例を示している。なお、タブレット4や仮想現実ディスプレイ3がコンピュータとしての機能を内蔵する場合には、そのコンピュータによりコンピュータ2を構成することとしてもよい。
コンピュータ2は、仮想現実ディスプレイ3上に仮想現実空間を表示する機能を有して構成される。この仮想現実空間は、VR(Virtual Reality)空間であってもよいし、AR(Augmented Reality)空間であってもよいし、MR(Mixed Reality)空間であってもよい。VR空間を表示する場合、仮想現実ディスプレイ3を装着したユーザは、仮想現実を認識し、現実世界と切り離される。一方、AR空間又はMR空間を表示する場合、仮想現実ディスプレイ3を装着したユーザは、仮想現実と現実世界とが混合した空間を認識することになる。
コンピュータ2は、ライトニングハウス7a,7bの位置を基準として仮想現実空間を設定し、設定した仮想現実空間内において様々な3Dオブジェクトをレンダリングするレンダリング装置として機能するよう構成される。コンピュータ2は、レンダリングの結果により、仮想現実ディスプレイ3の表示を更新する。これにより、仮想現実ディスプレイ3上に表示される仮想現実空間内には、様々な3Dオブジェクトが現れることになる。
コンピュータ2によるレンダリングは、メモリ2b内に記憶される3Dオブジェクトに基づいて実行される。3Dオブジェクトは、コンピュータ2により設定された仮想現実空間を示す仮想現実空間座標系における3Dオブジェクトの形状、位置、及び向きを示す情報であり、レンダリング対象の3Dオブジェクトごとにメモリ2b内に記憶される。
コンピュータ2によりレンダリングされる3Dオブジェクトには、図1に示したタブレット4、電子ペン5、及びグローブユニット6のそれぞれを表す3Dオブジェクトが含まれる。これらの3Dオブジェクトをレンダリングするにあたり、コンピュータ2はまず、仮想現実空間座標系における位置センサ8a~8dそれぞれの位置及び向きを検出する。そして、検出した位置センサ8bの位置及び向きに基づいてユーザの視点を示す視点情報を取得し、取得した視点情報と、記憶している各3Dオブジェクトの形状と、検出した位置センサ8a,8c,8dそれぞれの位置及び向きに基づき、タブレット4、電子ペン5、及びグローブユニット6のそれぞれを示す3Dオブジェクトを仮想現実空間内にレンダリングするよう構成される。
コンピュータ2はさらに、位置センサ8c,8dの位置を検出することによって仮想現実空間内でユーザが行った操作を検出し、その結果に基づいて3Dオブジェクトを新規に作成し、又は、既に保持している3Dオブジェクトを更新可能に構成される。
仮想現実ディスプレイ3は、人間の頭部に装着して用いるVRディスプレイ(ヘッドマウントディスプレイ)である。一般に市販される仮想現実ディスプレイには、「透過型」又は「非透過型」、「メガネ型」又は「帽子型」など各種のものがあるが、仮想現実ディスプレイ3としては、そのいずれを用いることも可能である。
仮想現実ディスプレイ3は、位置センサ8a,電子ペン5(位置センサ8cを含む)、及びグローブユニット6(位置センサ8dを含む)のそれぞれと有線又は無線により接続される。位置センサ8a,8c,8dは、この接続を通じて、後述する受光レベル情報を仮想現実ディスプレイ3に通知するよう構成される。仮想現実ディスプレイ3は、位置センサ8a,8c,8dのそれぞれから通知された受光レベル情報を、自身に内蔵している位置センサ8bの受光レベル情報とともにコンピュータ2に通知するよう構成される。コンピュータ2は、こうして通知された受光レベル情報に基づき、仮想現実空間座標系における位置センサ8a~8dそれぞれの位置及び向きを検出する。また、電子ペン5及びグローブユニット6は、上記接続を通じて、後述する操作情報を仮想現実ディスプレイ3に通知するよう構成される。仮想現実ディスプレイ3は、こうして通知された操作情報をコンピュータ2に転送するよう構成される。
タブレット4は、タブレット面4aを有する。タブレット面4aは平らな表面であることが好ましく、電子ペン5のペン先を滑らせるのに適した材料によって構成されうる。一例では、タブレット4はいわゆるデジタイザであり、タッチ面内における電子ペン5の指示位置を検出するタッチセンサと、検出した指示位置をコンピュータ2に通知する通信機能とを有して構成される。この場合のタブレット面4aは、デジタイザのタッチ面によって構成される。他の一例では、タブレット4はいわゆるタブレットコンピュータであり、ディスプレイと、このディスプレイの表示面内における電子ペン5の指示位置を検出するタッチセンサと、検出した指示位置をコンピュータ2に通知する通信機能とを有して構成される。この場合のタブレット面4aは、ディスプレイの表示面によって構成される。さらに他の一例では、タブレット4は、電子ペン5の指示位置を検出する機能を有しない物理的物体(単なる板、テーブル、電子ペン5の指示位置を検出する機能を有しないディスプレイ又はコンピュータなどを含む)である。この場合のタブレット面4aは、タブレット4の表面に設けられた平面によって構成される。
位置センサ8aは、タブレット4の表面に固定設置される。したがって、コンピュータ2によって検出される位置センサ8aの位置及び向きは、仮想現実空間座標系におけるタブレット面4aの位置及び向きを示している。
電子ペン5及びグローブユニット6は、ユーザが仮想現実空間内の位置を指示するためのものである。電子ペン5は、ペン型の形状を有して構成される。グローブユニット6は、ユーザの手に装着される手袋としての形状を有している。
電子ペン5の表面又は内部には、スイッチ等の各種センシングデバイスが設けられる。ここでいうセンシングデバイスとしては、オンオフいずれかの状態を取る切り替えスイッチの他、任意の物理量を検出可能に構成されたセンサを含む。電子ペン5に設けられるスイッチの例としては、ユーザによるオンオフ操作を受け付け可能に構成されたサイドスイッチ又はテールスイッチが挙げられる。また、電子ペン5に設けられる他のスイッチの例として、電子ペン5のペン先に加わる圧力(筆圧)を検出する容量センサなども挙げられる。電子ペン5は、自身に設けられたスイッチの出力(押下状態又は検出された物理量)を検出し、検出結果の全部又は一部を自身の操作情報として仮想現実ディスプレイ3に通知するよう構成される。
電子ペン5に設けられるセンシングデバイスとしては、ユーザによる電子ペン5の把持力を検出するフォースセンサ(荷重センサ)を含むこととしてもよい。この場合、フォースセンサの出力は本来筆圧を示すものではないが、フォースセンサの出力の通知を受けたコンピュータ2は、これを筆圧を示すデータ(筆圧データ)として取り扱うこととしてもよい。こうすることで、ユーザが電子ペン5を空中で操作する場合においても、筆圧を描画結果に反映させることが可能になる。
タブレット4がタッチセンサを有している場合、電子ペン5の位置はこのタッチセンサによっても検出される。タッチセンサによって検出される位置は、仮想現実空間座標系における位置ではなく、タブレット面4a上に規定されるタブレット面座標系における位置となる。タッチセンサは、検出した電子ペン5の位置をコンピュータ2に通知するよう構成される。
一般に、タッチセンサによって検出される位置は位置センサ8cを用いて検出される位置よりも高精度である。したがって、コンピュータ2は、タッチセンサから電子ペン5の位置が通知されている場合には、位置センサ8cを通じて検出された位置ではなく、タッチセンサから通知された位置を電子ペン5の位置として取得することが好ましい。この場合、コンピュータ2は、位置センサ8aを用いて検出しているタブレット面4aの位置及び向きに基づいてタブレット面座標系を仮想現実空間座標系に対応付けることにより、タッチセンサから通知された位置を仮想現実空間座標系における位置に変換することが好ましい。
図2は、タブレット面座標系と仮想現実空間座標系の関係を説明する図である。同図には、仮想現実空間10の中にタブレット面4aが位置している状態を示している。仮想現実空間座標系は3つの軸VRX,VRY,VRZによって規定され、タブレット面座標系は3つの軸TRX,TRY,TRZによって規定される。ただし、軸TRZはタブレット面4aの法線方向である。図示した位置Pがタブレット面座標系における位置(x,y,z)としてタッチセンサにより検出された場合(zは、例えばホバー位置を示す)、コンピュータ2は所定の変換処理により、この(x,y,z)を仮想現実空間座標系における位置(X,Y,Z)に変換する。これにより、タッチセンサから通知された位置を仮想現実空間座標系における位置に変換することが可能になる。
ここで、タッチセンサによる電子ペン5の位置検出は、電磁誘導方式を用いてもよいし、アクティブ静電方式を用いてもよい。アクティブ静電方式を用いる場合、タッチセンサは、タッチ面内に配置されるセンサ電極(図示せず)から所定の時間間隔でビーコン信号を送出するよう構成される。ビーコン信号には、タッチセンサから電子ペン5を制御するためのコマンドが含まれる。コマンドによる制御の内容には、例えば、電子ペン5のペン先に加わる圧力を示す筆圧データ(容量センサによって検出されたもの)を送信させること、電子ペン5に設けられる各種スイッチ(図示せず)の押下状態を送信させること、電子ペン5に予め格納されている固有IDを送信させることなどが含まれる。
アクティブ静電方式に対応する電子ペン5は、上記ビーコン信号を検出すると、応答信号としてペン信号を送出する。ペン信号は、無変調の搬送波であるバースト信号と、上記コマンドに応じたデータによって搬送波を変調することにより得られるデータ信号とを含む信号である。タッチセンサは、上記センサ電極によってバースト信号の検出を試み、検出結果に基づいて電子ペン5の位置を検出する。また、上記センサ電極によってデータ信号を検出して復調することにより、コマンドに応じて電子ペン5が送信したデータを受信する。タブレット4は、こうして取得した電子ペン5の位置及び電子ペン5が送信したデータを、コンピュータ2に対して送信するよう構成される。コンピュータ2は、こうして通知された位置を上述したようにして仮想現実空間座標系における位置に変換するとともに、通知されたデータを上述した操作情報の一部として取得するよう構成される。
ライトニングハウス7a,7bは、3Dオブジェクトレンダリングシステム1で使用される位置検出のための信号送信装置であり、それぞれ、コンピュータ2による制御に従って方向を変えながら信号、この例ではレーザー光、を射出可能に構成される。位置センサ8a~8dはそれぞれ複数の受光センサによって構成されており、ライトニングハウス7a,7bのそれぞれが照射した信号(レーザー光)を各受光センサによって受光し、それぞれの受光レベルを含む受光レベル情報を取得するよう構成される。取得された受光レベル情報は、上述したように、各位置センサ8a~8dからコンピュータ2に通知され、これらの位置及び向きを検出するために用いられる。
以上、3Dオブジェクトレンダリングシステム1の全体概要について説明した。このような3Dオブジェクトレンダリングシステム1においてユーザが新たな3Dオブジェクトの入力を行う場合、これまでは、電子ペン5及びグローブユニット6を用いて3D入力を行うか、或いは、タブレット4をタブレットコンピュータとし、このタブレットコンピュータに対して電子ペン5を用いて2D入力を行うか、のいずれかであった。しかしながら、上述したように、3D入力には、直感的な操作が可能になるという長所がある一方で精度が不十分であるという短所があり、また、2D入力には、高い精度を得ることができる一方で直感的な操作が難しいという短所があった。
本実施の形態による3Dオブジェクトレンダリングシステム1は、このような従来の入力方法の問題点に鑑み、3Dオブジェクトの仮想現実空間内における表示方法(3D表示又は2D表示)をユーザの選択により切り替えられるようにすることで、仮想現実空間において直感的で精度の高い描画を実現することを可能にしたものである。以下、この点について、コンピュータ2の制御部2aが行う処理のフロー図を参照しながら詳しく説明する。
図3は、コンピュータ2の制御部2aが行う処理を示すフロー図である。この処理は、ユーザが電子ペン5及びグローブユニット6の少なくとも一方を用いて3Dオブジェクトの入力を行うときに実行されるもので、ユーザが電子ペン5及びグローブユニット6を用いて所定の操作を行い、それを制御部2aが検出することによって開始される。
図3に示すように、制御部2aはまず、仮想現実空間座標系における入力中オブジェクトの形状、位置、及び向きを示す3Dオブジェクトの記憶領域をメモリ2b内に確保する(ステップS1)。3Dオブジェクトの具体的な形式は特に限定されないが、例えばVRML形式やX3D形式のデータとすることが好適である。
次に制御部2aは、位置情報等取得処理を実行する(ステップS2)。
図4は、ステップS2で実行される位置情報等取得処理の詳細を示すフロー図である。同図に示すように、制御部2aは、視点情報を取得するステップ(ステップS20)、タブレット面情報を取得するステップ(ステップS21)、コントローラ情報(第1の情報)を取得するステップ(ステップS22。コントローラ情報取得ステップ。第1情報取得処理)、電子ペン情報(第2の情報)を取得するステップ(ステップS23。電子ペン情報取得ステップ。第2情報取得処理)のそれぞれを実行することにより、位置情報等取得処理を実行する。なお、ステップS20~S23の実行順は特に限定されない。
視点情報は、仮想現実空間座標系におけるユーザの視点を表す情報であり、具体的には仮想現実ディスプレイ3の位置及び向きによって示される。制御部2aは、位置センサ8bについて検出した位置及び向きに基づき、視点情報を取得するよう構成される。具体的な視点情報は、例えば、1つの3次元座標を始点とするベクトル情報によって構成される。
タブレット面情報は、仮想現実空間座標系におけるタブレット面4aの形状、位置、及び向きを示す情報であり、3Dオブジェクトの1つとしてメモリ2b内に記憶される。制御部2aは、位置センサ8aについて検出した位置及び向きと、予め記憶しているタブレット4の形状とに基づき、タブレット面情報を取得する。
コントローラ情報は、仮想現実空間座標系における3Dコントローラ(電子ペン5及びグローブユニット6を含む)の位置及び向き、並びに該3Dコントローラの操作情報を示す情報である。制御部2aは、位置センサ8c,8dについて検出した位置及び向きと、仮想現実ディスプレイ3を介して受信した電子ペン5及びグローブユニット6それぞれの操作情報とに基づき、コントローラ情報を取得する。
電子ペン情報は、タブレット面座標系における電子ペン5の指示位置、及び、電子ペン5の操作情報を示す情報である。タブレット4がタッチセンサを有している場合、制御部2aは、タッチセンサからタブレット面座標系における電子ペン5の指示位置を取得する。一方、タブレット4がタッチセンサを有していない場合、制御部2aは、位置センサ8cから取得した位置(仮想現実空間座標系における位置)に変換処理(図2を参照して説明した変換処理の逆処理)を施すことによって、タブレット面座標系における電子ペン5の指示位置を取得する。また、制御部2aは、タッチセンサから電子ペン5の操作情報を取得できる場合(例えば、電子ペン5がアクティブ静電方式に対応している場合)には、タッチセンサから電子ペン5の操作情報(容量センサの出力を含む)を取得する。一方、タッチセンサから電子ペン5の操作情報を取得できない場合、制御部2aは、仮想現実ディスプレイ3経由で電子ペン5の操作情報(フォースセンサの出力を含む)を取得する。
図3に戻り、位置情報等取得処理を実行した制御部2aは、続いてタブレット面等表示処理を実行する(ステップS3)。この処理は、タブレット面を示すタブレット面画像と、入力中の3Dオブジェクトを2D表示するための表示面を示す表示面画像とを仮想現実空間内に表示するための処理である。
図5は、ステップS3で実行されるタブレット面等表示処理の詳細を示すフロー図である。同図に示すように、制御部2aはまず、仮想現実空間内においてユーザが選択した位置又は入力中の3Dオブジェクトと接触する位置に基づいて、表示面画像のレンダリングを実施する(ステップS30。表示面画像レンダリングステップ(処理))。ユーザによる位置の選択は、例えば、ユーザが電子ペン5に設けられたスイッチを押下し、そのことを示す操作情報が制御部2aに通知されることによって実行される。表示面画像は、ディスプレイを模したものであってもよいし、単なる矩形の枠であってもよい。なお、制御部2aは、図4のステップS20で取得した視点情報に基づき、表示面画像の法線方向がユーザの視線方向と一致するように表示面画像をレンダリングすることが好ましい。
次に制御部2aは、仮想現実空間座標系と、表示面上に規定される表示面座標系(第1の平面座標系)との対応関係を示す第1の対応情報を取得する(ステップS31)。第1の対応情報は、具体的には、仮想現実空間座標系と表示面座標系とを相互に変換するための変換規則である。
続いて制御部2aは、仮想現実空間座標系と、タブレット面座標系(第2の平面座標系)との対応関係を示す第2の対応情報を取得する(ステップS32)。第2の対応情報は、具体的には、仮想現実空間座標系とタブレット面座標系とを相互に変換するための変換規則である。
最後に制御部2aは、タブレット面情報及び視点情報に基づいて、タブレット面4aを示すタブレット面画像のレンダリングを実施する(ステップS33。タブレット面画像レンダリングステップ(処理))。タブレット面画像は、タブレット端末のタッチ面を模したものであってもよいし、単なる矩形の枠であってもよい。なお、制御部2aは、図4のステップS20で取得した視点情報に基づき、ユーザの視線方向とタブレット面4aとのなす角度(俯角)が所定の値となるようにタブレット面画像をレンダリングすることが好ましい。
図3に戻り、タブレット面等表示処理を実行した制御部2aは、続いてユーザによる動作モードの選択操作を受け付ける(ステップS4)。この選択は、例えば、ユーザが電子ペン5に設けられたスイッチを押下することによって実行されてもよいし、ユーザがタブレット面4aと電子ペン5の間の距離を変化させることによって実行されることとしてもよい。例えば、タブレット面4aと電子ペン5の間の距離が所定距離よりも近づいた場合に2D表示に切り替え、タブレット面4aと電子ペン5の間の距離が所定距離以上に遠ざかった場合に3D表示に自動的に切り替えてもよい。後者の場合において、タブレット面4aと電子ペン5の間の距離は、タッチセンサが検出することとしてもよいし、タブレット面画像の表示位置と位置センサ8cを用いて検出されている電子ペン5の位置とに基づいて制御部2aが検出することとしてもよい。ステップS4で選択操作を受け付けた制御部2aは、選択内容に応じて、3D表示モード又は2D表示モードのいずれか一方にエントリする処理(すなわち、3D表示又は2D表示のいずれか一方を選択する表示選択処理)を行う(ステップS5。モード選択ステップ)。
ステップS5で3D表示モードにエントリした場合、制御部2aは、仮想現実空間座標系における3Dオブジェクトを仮想現実ディスプレイ3上にレンダリングする3Dレンダリングステップ(処理)を実行する。具体的に説明すると、制御部2aはまず、メモリ2b内に記憶している3Dオブジェクトと、図4のステップS20で取得した視点情報とに基づいて、入力中オブジェクト及び他の3Dオブジェクトのレンダリングを実施する(ステップS6)。そして、その結果により仮想現実ディスプレイ3への出力(表示)を更新する(ステップS7。表示更新ステップ(処理))。このとき、図5のステップS30でレンダリングした表示面画像、図5のステップS33でレンダリングしたタブレット面画像など、仮想現実空間内における他の表示も同時に更新される。これによりユーザは、3D入力により入力中オブジェクトを編集することが可能になる。
制御部2aはさらに、図4のステップS22で取得したコントローラ情報に基づき、メモリ2b内に記憶している入力中オブジェクトの3Dオブジェクトを更新する(ステップS8。3Dオブジェクト更新ステップ(処理))。その後、ステップS2に戻って処理を継続する。
ここで、ステップS8及び後述するステップS14における3Dオブジェクトの更新は、電子ペン5から通知されている操作情報にも基づいて実行される。例えば、電子ペン5から容量センサの出力又はフォースセンサの出力を示すデータが通知されている場合、コンピュータ2は、このデータを筆圧データとして取得し、取得した筆圧データに基づいて入力中オブジェクトの線幅や透明度を決定する。そして、その決定結果を3Dオブジェクトに反映させる。
ステップS5で2D表示モードにエントリした場合の制御部2aは、3Dオブジェクトを表示面座標系における2D表示の3Dオブジェクトとして仮想現実ディスプレイ3上にレンダリングする2Dレンダリングステップ(処理)を実行する。具体的には、まず、図5のステップS31で取得した第1の対応情報に基づき、メモリ2b内に記憶している入力中オブジェクトの3Dオブジェクトを、表示面座標系における入力中オブジェクトの形状、位置、及び向きを示す2Dオブジェクトに変換する(ステップS10。第1の変換ステップ)。そして、得られた2Dオブジェクトと、図4のステップS20で取得した視点情報とに基づき、入力中オブジェクトのレンダリングを実施し(ステップS11)、その結果により仮想現実ディスプレイ3への出力(表示)を更新する(ステップS12。表示更新ステップ(処理))。このときにも、ステップS7と同様、図5のステップS30でレンダリングした表示面画像、図5のステップS33でレンダリングしたタブレット面画像など、仮想現実空間内における他の表示が同時に更新される。これによりユーザは、2D入力により入力中オブジェクトを編集することが可能になる。
続いて制御部2aは、図5のステップS32で取得した第2の対応情報に基づき、図4のステップS23で取得した電子ペン情報により示される指示位置を仮想現実空間座標系における位置に変換する(ステップS13。第2の変換ステップ)。そして、得られた指示位置を含む電子ペン情報に基づき、メモリ2b内に記憶している入力中オブジェクトの3Dオブジェクトを更新する(ステップS14。3Dオブジェクト更新ステップ)。上述したように、この更新は、電子ペン5から通知されている操作情報にも基づいて実行される。制御部2aは、その後、ステップS2に戻って処理を継続する。
図6は、仮想現実空間において3Dオブジェクトを2D入力している状態(図3のステップS4でユーザが2D表示モードを選択している状態)を示す図であり、図7は、仮想現実空間において3Dオブジェクトを3D入力している状態(図3のステップS4でユーザが3D表示モードを選択している状態)を示す図である。
図6に示すように、2D表示モードにおいては、仮想現実空間10内に表示された矩形の表示面画像11の中に入力中オブジェクト13が2D表示される。なお、表示面画像11に示した3つの軸DRX,DRY,DRZは、表示面座標系を表している。3軸のうちの軸DRZは、表示面画像11の法線方向である。また、矩形のタブレット面画像12が表示され、ユーザは、このタブレット面画像12内で電子ペン5を動かすことにより、入力中オブジェクト13の編集を行う。この編集は、平面上で電子ペン5を移動させることによって行われるので、2D入力である。仮想現実ディスプレイ3を装着しているユーザには見えないが、タブレット面画像12が表示されている位置には実際にタブレット面4aが存在しているので、ユーザは、タブレット面4aの手応えを感じながら、タブレット面画像12内で電子ペン5を動かすことができる。
一方、図7に示すように、3D表示モードにおいては、入力中オブジェクト13が仮想現実空間10内に3D表示される。ユーザは、この仮想現実空間10内で電子ペン5及びグローブユニット6を動かすことにより、入力中オブジェクト13の編集を行う。この編集は、3D入力用のコントローラを利用して行われるので、3D入力である。
以上説明したように、本実施の形態による3Dオブジェクトレンダリングシステム1によれば、3Dオブジェクトの仮想現実空間内における表示方法(3D表示又は2D表示)をユーザの選択により切り替えることができるので、仮想現実空間において直感的で精度の高い描画を実現することが可能になる。また、2D表示を行っている間には2D入力による3Dオブジェクトの編集が可能となり、3D表示を行っている間には3D入力による3Dオブジェクトの編集が可能となるので、表示方法に適した入力方法で3Dオブジェクトの編集を行うことが可能になる。
また、本実施の形態による3Dオブジェクトレンダリングシステム1によれば、仮想現実空間中で電子ペン5により3Dオブジェクトを入力することが可能になる。
次に、本発明の第2の実施の形態による3Dオブジェクトレンダリングシステム1について、説明する。本実施の形態による3Dオブジェクトレンダリングシステム1は、表示面座標系とタブレット面座標系とを同一の座標系とする点で、これらが互いに異なる座標系であった第1の実施の形態による3Dオブジェクトレンダリングシステム1と相違する。その他の点では第1の実施の形態による3Dオブジェクトレンダリングシステム1と同一であるので、第1の実施の形態と同一の構成には同一の符号を付し、以下では第1の実施の形態との相違点に着目して説明する。
図8は、本実施の形態による仮想現実空間において3Dオブジェクトを2D入力している状態を示す図である。初めにこの図8を参照して本実施の形態の概要を説明すると、本実施の形態による制御部2aは、図1に示したタブレット4(タブレット端末)を示すタブレット端末画像14を仮想現実空間内にレンダリングするよう構成される。タブレット端末画像14に含まれるタブレット面画像14aは、第1の実施の形態で説明したタブレット面画像及び表示面画像の両方に対応しており、したがって、本実施の形態においてはタブレット面座標系(軸TRX,TRY,TRZ)が表示面座標系を兼ねている。結果として、2D表示モードにおいては、図8に示すように、タブレット面画像14a内に入力中オブジェクト13が2D表示されることになる。
図9は、本実施の形態による制御部2aが行う処理の一部を示すフロー図である。図9(a)は、図5に示したフロー図を置き換えるものである。一方、図9(b)は、図3に示したステップS10を置き換えるものである。
図9(a)に示すように、本実施の形態による制御部2aは、図5に示したステップS30,S31を実行せず、ステップS33に代えてステップS33aを実行するよう構成される。ステップS33aでは、タブレット面情報及び視点情報に基づいて、図1に示したタブレット4(タブレット端末)を示すタブレット端末画像のレンダリングを実施する(タブレット端末画像レンダリングステップ(処理))。これにより、図8に示したように、現実のタブレット4(タブレット端末)と同様のタブレット端末(タブレット端末画像14)が仮想現実空間10内に現れることになる。
また、本実施の形態による制御部2aは、図9(b)に示すように、2D表示モードにおいて入力中オブジェクトをレンダリングする際に使用する2Dオブジェクト情報を得るために、第1の対応情報ではなくステップS32で取得した第2の対応情報に基づき、メモリ2b内に記憶している入力中オブジェクトの3Dオブジェクトを、表示面座標系における入力中オブジェクトの形状、位置、及び向きを示す2Dオブジェクトに変換する処理を行う(ステップS10a)。その結果、図8に示したように、入力中オブジェクト13(すなわち、コントローラ情報取得ステップ(ステップS22)によって取得された仮想現実空間座標系における電子ペン5の位置)がタブレット面画像14a内に表示されることになる。
本実施の形態による3Dオブジェクトレンダリングシステム1によっても、3Dオブジェクトの仮想現実空間内における表示方法(3D表示又は2D表示)をユーザの選択により切り替えることができるので、仮想現実空間において直感的で精度の高い描画を実現することが可能になる。また、2D表示を行っている間には2D入力による3Dオブジェクトの編集が可能となり、3D表示を行っている間には3D入力による3Dオブジェクトの編集が可能となるので、表示方法に適した入力方法で3Dオブジェクトの編集を行うことが可能になる。
加えて本実施の形態によれば、ユーザは、仮想現実空間内においてタブレット端末への入力体験を得ることが可能になる。したがって、あたかも通常のタブレット端末で入力操作を行うかのように、3Dオブジェクトの入力操作を行うことが可能になる。
以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。
1 3Dオブジェクトレンダリングシステム
2 コンピュータ
2a 制御部
2b メモリ
3 仮想現実ディスプレイ
4 タブレット
4a タブレット面
5 電子ペン
6 グローブユニット
7a,7b ライトニングハウス
8a~8d 位置センサ
10 仮想現実空間
11 表示面
12 タブレット面画像
13 入力中オブジェクト
14 タブレット端末画像
14a タブレット面画像
2 コンピュータ
2a 制御部
2b メモリ
3 仮想現実ディスプレイ
4 タブレット
4a タブレット面
5 電子ペン
6 グローブユニット
7a,7b ライトニングハウス
8a~8d 位置センサ
10 仮想現実空間
11 表示面
12 タブレット面画像
13 入力中オブジェクト
14 タブレット端末画像
14a タブレット面画像
Claims (18)
- 仮想空間内のオブジェクトをレンダリングする制御部を有するコンピュータであって、
前記制御部は、
スタイラスによって指示される位置を入力する際に使用される現実空間内の平面を示す平面画像を仮想空間内にレンダリングするレンダリング処理と、
前記スタイラスによって指示される前記現実空間内の平面上の位置に基づいて生成されるオブジェクト画像を前記平面画像に表示する表示処理と、を実行する、
コンピュータ。 - 前記制御部は、
前記平面上での前記スタイラスの移動に伴い、移動するスタイラス画像を前記仮想空間内にレンダリングするレンダリング処理をさらに実行する、
請求項1に記載のコンピュータ。 - 前記スタイラスによって指示される平面上の位置は、前記平面の下に設けられる位置検出センサによって検出される、
請求項1に記載のコンピュータ。 - 前記制御部は、
前記位置検出センサによって検出された位置を、前記仮想空間の座標系における位置に変換する変換処理をさらに実行する、
請求項3に記載のコンピュータ。 - 前記平面画像は、タブレット端末を示すタブレット端末画像であり、
前記現実空間内の平面は、前記タブレット端末のタブレット面である、
請求項1に記載のコンピュータ。 - 前記スタイラスにはセンシングデバイスが設けられており、
前記制御部は、前記センシングデバイスによって取得された筆圧データに基づいて前記オブジェクト画像を生成する、
請求項1に記載コンピュータ。 - 仮想空間内のオブジェクトをレンダリングするレンダリング方法であって、
スタイラスによって指示される位置を入力する際に使用される現実空間内の平面を示す平面画像を仮想空間内にレンダリングするステップと、
前記スタイラスによって指示される前記現実空間内の平面上の位置に基づいて生成されるオブジェクト画像を前記平面画像に表示するステップと、
を含むレンダリング方法。 - 前記平面上での前記スタイラスの移動に伴い、移動するスタイラス画像を前記仮想空間内にレンダリングするステップ、
をさらに含む請求項7に記載のレンダリング方法。 - 前記スタイラスによって指示される平面上の位置は、前記平面の下に設けられる位置検出センサによって検出される、
請求項7に記載のレンダリング方法。 - 前記位置検出センサによって検出された位置を、前記仮想空間の座標系における位置に変換するステップ、
をさらに含む請求項9に記載のレンダリング方法。 - 前記平面画像は、タブレット端末を示すタブレット端末画像であり、
前記現実空間内の平面は、前記タブレット端末のタブレット面である、
請求項7に記載のレンダリング方法。 - 前記スタイラスにはセンシングデバイスが設けられており、
前記オブジェクト画像は、前記センシングデバイスによって取得された筆圧データに基づいて生成される、
請求項7に記載のレンダリング方法。 - 仮想空間内のオブジェクトをレンダリングする処理をコンピュータに実行させるためのプログラムであって、
スタイラスによって指示される位置を入力する際に使用される現実空間内の平面を示す平面画像を仮想空間内にレンダリングするステップと、
前記スタイラスによって指示される前記現実空間内の平面上の位置に基づいて生成されるオブジェクト画像を前記平面画像に表示するステップと、
を前記コンピュータに実行させるためのプログラム。 - 前記平面上での前記スタイラスの移動に伴い、移動するスタイラス画像を前記仮想空間内にレンダリングするステップ、
を前記コンピュータにさらに実行させるための請求項13に記載のプログラム。 - 前記スタイラスによって指示される平面上の位置は、前記平面の下に設けられる位置検出センサによって検出される、
請求項13に記載のプログラム。 - 前記第1の位置検出センサによって検出された位置を、前記仮想空間の座標系における位置に変換するステップ、
を前記コンピュータにさらに実行させるための請求項15に記載のプログラム。 - 前記平面画像は、タブレット端末を示すタブレット端末画像であり、
前記現実空間内の平面は、前記タブレット端末のタブレット面である、
請求項13に記載のプログラム。 - 前記スタイラスにはセンシングデバイスが設けられており、
前記オブジェクト画像は、前記センシングデバイスによって取得された筆圧データに基づいて生成される、
請求項13に記載のプログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017223497 | 2017-11-21 | ||
JP2017223497 | 2017-11-21 | ||
PCT/JP2018/040918 WO2019102825A1 (ja) | 2017-11-21 | 2018-11-02 | レンダリング装置及びレンダリング方法 |
JP2019556165A JP7345396B2 (ja) | 2017-11-21 | 2018-11-02 | レンダリング装置及びレンダリング方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019556165A Division JP7345396B2 (ja) | 2017-11-21 | 2018-11-02 | レンダリング装置及びレンダリング方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023164499A true JP2023164499A (ja) | 2023-11-10 |
Family
ID=66631759
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019556165A Active JP7345396B2 (ja) | 2017-11-21 | 2018-11-02 | レンダリング装置及びレンダリング方法 |
JP2023143459A Pending JP2023164499A (ja) | 2017-11-21 | 2023-09-05 | コンピュータ、レンダリング方法、及びプログラム |
JP2023143460A Pending JP2023166504A (ja) | 2017-11-21 | 2023-09-05 | 位置指示装置及びコンピュータ |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019556165A Active JP7345396B2 (ja) | 2017-11-21 | 2018-11-02 | レンダリング装置及びレンダリング方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023143460A Pending JP2023166504A (ja) | 2017-11-21 | 2023-09-05 | 位置指示装置及びコンピュータ |
Country Status (5)
Country | Link |
---|---|
US (4) | US11262857B2 (ja) |
EP (1) | EP3716031A4 (ja) |
JP (3) | JP7345396B2 (ja) |
CN (2) | CN117348743A (ja) |
WO (1) | WO2019102825A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019203848A1 (en) * | 2018-04-20 | 2019-10-24 | Hewlett-Packard Development Company, L.P. | Tracking stylus in a virtual reality system |
US11422530B2 (en) * | 2018-08-20 | 2022-08-23 | Dell Products, L.P. | Systems and methods for prototyping a virtual model |
EP4156113A4 (en) * | 2020-07-27 | 2023-11-29 | Wacom Co., Ltd. | METHOD EXECUTED BY COMPUTER, COMPUTER AND PROGRAM |
CN112150602A (zh) * | 2020-09-24 | 2020-12-29 | 苏州幻塔网络科技有限公司 | 模型图像的渲染方法和装置、存储介质和电子设备 |
WO2022224578A1 (ja) * | 2021-04-23 | 2022-10-27 | 株式会社ワコム | コントローラ及びコンピュータ |
WO2023139630A1 (ja) * | 2022-01-18 | 2023-07-27 | 日本電気株式会社 | 出力制御システム、出力制御方法、および記録媒体 |
CN114740997A (zh) * | 2022-04-08 | 2022-07-12 | 北京字跳网络技术有限公司 | 交互控制装置及交互控制方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS55160916A (en) | 1979-05-30 | 1980-12-15 | Showa Electric Wire & Cable Co | Power supply device |
JP3895406B2 (ja) * | 1996-03-12 | 2007-03-22 | 株式会社東邦ビジネス管理センター | データ処理装置およびデータ処理方法 |
JP4449183B2 (ja) | 2000-07-11 | 2010-04-14 | ソニー株式会社 | 画像編集システム及び画像編集方法、並びに記憶媒体 |
JP2005148844A (ja) | 2003-11-11 | 2005-06-09 | Fukuda Gakuen | 表示システム |
US9812096B2 (en) * | 2008-01-23 | 2017-11-07 | Spy Eye, Llc | Eye mounted displays and systems using eye mounted displays |
US8392218B2 (en) * | 2009-03-18 | 2013-03-05 | Siemens Aktiengesellschaft | Sequential control and execution of medical applications at different workstations |
JP5635850B2 (ja) * | 2010-09-16 | 2014-12-03 | 任天堂株式会社 | 情報処理装置、情報処理プログラム、情報処理システムおよび情報処理方法 |
JP5930618B2 (ja) | 2011-06-20 | 2016-06-08 | コニカミノルタ株式会社 | 空間手書きシステム及び電子ペン |
CN102915232B (zh) * | 2011-08-01 | 2016-08-10 | 华为技术有限公司 | 一种3d控件的交互方法及通信终端 |
JP2013084096A (ja) | 2011-10-07 | 2013-05-09 | Sharp Corp | 情報処理装置 |
US9671566B2 (en) * | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
CN102945116A (zh) * | 2012-10-19 | 2013-02-27 | 广东欧珀移动通信有限公司 | 一种界面切换显示方法、装置及移动终端 |
US10228242B2 (en) * | 2013-07-12 | 2019-03-12 | Magic Leap, Inc. | Method and system for determining user input based on gesture |
GB2522855A (en) | 2014-02-05 | 2015-08-12 | Royal College Of Art | Three dimensional image generation |
US10509865B2 (en) * | 2014-09-18 | 2019-12-17 | Google Llc | Dress form for three-dimensional drawing inside virtual reality environment |
JP6122537B1 (ja) | 2016-09-08 | 2017-04-26 | 株式会社コロプラ | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム |
US10536691B2 (en) * | 2016-10-04 | 2020-01-14 | Facebook, Inc. | Controls and interfaces for user interactions in virtual spaces |
US20210012492A1 (en) * | 2018-03-21 | 2021-01-14 | Vikas KARADE | Systems and methods for obtaining 3-d images from x-ray information for deformed elongate bones |
CN113143313A (zh) * | 2020-01-07 | 2021-07-23 | 通用电气精准医疗有限责任公司 | 可按压触摸面板以及超声成像系统 |
-
2018
- 2018-11-02 JP JP2019556165A patent/JP7345396B2/ja active Active
- 2018-11-02 CN CN202311265341.7A patent/CN117348743A/zh active Pending
- 2018-11-02 CN CN201880069512.XA patent/CN111344663B/zh active Active
- 2018-11-02 WO PCT/JP2018/040918 patent/WO2019102825A1/ja unknown
- 2018-11-02 EP EP18882151.6A patent/EP3716031A4/en active Pending
-
2020
- 2020-05-20 US US16/879,414 patent/US11262857B2/en active Active
-
2022
- 2022-01-28 US US17/588,058 patent/US11681383B2/en active Active
-
2023
- 2023-05-12 US US18/316,887 patent/US20230288998A1/en active Pending
- 2023-05-15 US US18/317,811 patent/US20230288999A1/en active Pending
- 2023-09-05 JP JP2023143459A patent/JP2023164499A/ja active Pending
- 2023-09-05 JP JP2023143460A patent/JP2023166504A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220155884A1 (en) | 2022-05-19 |
EP3716031A1 (en) | 2020-09-30 |
WO2019102825A1 (ja) | 2019-05-31 |
US20230288999A1 (en) | 2023-09-14 |
JP2023166504A (ja) | 2023-11-21 |
CN117348743A (zh) | 2024-01-05 |
JPWO2019102825A1 (ja) | 2020-12-03 |
CN111344663B (zh) | 2023-10-24 |
JP7345396B2 (ja) | 2023-09-15 |
US11681383B2 (en) | 2023-06-20 |
US11262857B2 (en) | 2022-03-01 |
CN111344663A (zh) | 2020-06-26 |
EP3716031A4 (en) | 2021-05-05 |
US20200278763A1 (en) | 2020-09-03 |
US20230288998A1 (en) | 2023-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7345396B2 (ja) | レンダリング装置及びレンダリング方法 | |
US10841174B1 (en) | Electronic device with intuitive control interface | |
US20210405772A1 (en) | Augmented reality eyewear 3d painting | |
JP2011128220A (ja) | 情報提示装置、情報提示方法及びプログラム | |
CN110362231B (zh) | 抬头触控设备、图像显示的方法及装置 | |
US10203781B2 (en) | Integrated free space and surface input device | |
JP2013003961A (ja) | 空間手書きシステム及び電子ペン | |
JP2017187952A (ja) | 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム | |
US20230066318A1 (en) | Handcrafted augmented reality effort evidence | |
JP2016110522A (ja) | 電子黒板、情報処理プログラムおよび情報処理方法 | |
CN111161396A (zh) | 虚拟内容的控制方法、装置、终端设备及存储介质 | |
CN115904188B (zh) | 户型图的编辑方法、装置、电子设备及存储介质 | |
JP2018200415A (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
KR20170076534A (ko) | 가상 현실 인터페이스 장치 및 제어 방법 | |
KR20200066962A (ko) | 사용자의 움직임에 기반하여 콘텐트를 제공하기 위한 전자 장치 및 방법 | |
KR102288431B1 (ko) | 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법 | |
CN114816088A (zh) | 线上教学方法、电子设备和通信系统 | |
JP2023531302A (ja) | 動的な形状スケッチングのためのシステム及び方法 | |
JP2018091882A (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
WO2022025027A1 (ja) | コンピュータによって実行される方法、コンピュータ、及びプログラム | |
KR102322968B1 (ko) | 사용자의 손동작에 따른 명령 입력 장치 및 이를 이용한 명령 입력 방법 | |
US20230066686A1 (en) | Augmented reality prop interactions | |
KR102677050B1 (ko) | 전자 장치 및 그 제어 방법 | |
KR20240036543A (ko) | 혼합 현실 입출력 확장 시스템 | |
JP2023184238A (ja) | 情報処理装置、情報処理方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230907 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230920 |