JP2022037377A - 入力システム及び入力方法 - Google Patents

入力システム及び入力方法 Download PDF

Info

Publication number
JP2022037377A
JP2022037377A JP2020141485A JP2020141485A JP2022037377A JP 2022037377 A JP2022037377 A JP 2022037377A JP 2020141485 A JP2020141485 A JP 2020141485A JP 2020141485 A JP2020141485 A JP 2020141485A JP 2022037377 A JP2022037377 A JP 2022037377A
Authority
JP
Japan
Prior art keywords
referent
space
input system
state quantity
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020141485A
Other languages
English (en)
Other versions
JP7504723B2 (ja
Inventor
直樹 渡辺
Naoki Watanabe
龍憲 加藤
Tatsunori Kato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wacom Co Ltd
Original Assignee
Wacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wacom Co Ltd filed Critical Wacom Co Ltd
Priority to JP2020141485A priority Critical patent/JP7504723B2/ja
Priority to US17/399,736 priority patent/US11586300B2/en
Priority to CN202110929198.1A priority patent/CN114115516A/zh
Publication of JP2022037377A publication Critical patent/JP2022037377A/ja
Priority to US18/162,441 priority patent/US11995252B2/en
Priority to US18/645,275 priority patent/US20240272731A1/en
Priority to JP2024094792A priority patent/JP2024107350A/ja
Application granted granted Critical
Publication of JP7504723B2 publication Critical patent/JP7504723B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0441—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using active external devices, e.g. active pens, for receiving changes in electrical potential transmitted by the digitiser, e.g. tablet driving signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】指示デバイスの指示位置を検出する検出デバイスと、空間を表示する表示ユニットとが別体で設けられる装置構成において、ユーザによる入力操作性を向上可能な入力システム及び入力方法を提供する。【解決手段】入力システム１０において、ウェアラブルデバイス２０のプロセッサ２４は、指示デバイス３０による所定の操作を受け付けた時点にて位置検出部２３により検出された視線位置に基づいて、指示デバイス３０の基準位置を含む指示対象領域を空間の中から設定し、空間上に重ねて指示デバイス３０の指示位置を指示対象領域内に表示するように表示ユニット２２を制御する。【選択図】図１

Description

本発明は、入力システム及び入力方法に関する。
従来から、スタイラスを含む指示デバイスの筆記操作を通じて、ストロークの集合体を記述するインクデータを入力可能なデジタルインクシステムが知られている。例えば、ユーザによる筆記操作に追従して、この筆記箇所とは異なる別の箇所に筆記コンテンツを表示する場合が想定される。
特許文献１には、３次元空間上に２次元の仮想平面を設定した後、この仮想平面上に筆記したストロークを、ユーザが装着可能な表示装置に即時に表示する技術が開示されている。
特開２０１３－１２５４８７号公報
ところで、様々な物体が存在する仮想空間を表示することで、ユーザは、あたかもその空間内に筆記を残すような疑似体験を得ることができる。しかしながら、特許文献１で開示される技術では、仮想平面が設定された後にそのまま固定されるので、場合によっては、ユーザの意図とは異なる箇所に筆記コンテンツが表示され、ユーザによる入力操作性を損なうという問題がある。
本発明は上記した問題に鑑みてなされたものであり、その目的は、指示デバイスの指示位置を検出する検出デバイスと、空間を表示する表示ユニットとが別体で設けられる装置構成において、ユーザによる入力操作性を向上可能な入力システム及び入力方法を提供することにある。
第一の本発明における入力システムは、指示デバイスと、前記指示デバイスの指示位置を検出する検出デバイスと、前記検出デバイスとは別体に設けられ、かつ空間を表示する表示ユニットと、前記空間内のユーザの視線位置を検出する位置検出部と、プロセッサと、を備え、前記プロセッサは、前記指示デバイスによる所定の操作を受け付けた時点にて前記位置検出部により検出された前記視線位置に基づいて、前記指示デバイスの基準位置を含む指示対象領域を前記空間の中から設定し、前記空間上に重ねて前記指示デバイスの指示位置を前記指示対象領域内に表示するように前記表示ユニットを制御する。
第二の本発明における入力方法は、指示デバイスと、前記指示デバイスの指示位置を検出する検出デバイスと、前記検出デバイスとは別体に設けられ、かつ空間を表示する表示ユニットと、前記空間内のユーザの視線位置を検出する位置検出部と、を含んで構成される入力システムを用いた方法であって、１又は複数のプロセッサが、前記指示デバイスによる所定の操作を受け付けた時点にて前記位置検出部により検出された前記視線位置に基づいて、前記指示デバイスの基準位置を含む指示対象領域を前記空間の中から設定するステップと、前記空間上に重ねて前記指示デバイスの指示位置を前記指示対象領域内に表示するように前記表示ユニットを制御するステップと、を実行する。
本発明によれば、指示デバイスの指示位置を検出する検出デバイスと、空間を表示する表示ユニットとが別体で設けられる装置構成において、ユーザによる入力操作性がより高まる。
本発明の一実施形態における入力システムの全体構成図である。 図１に示す入力システムの入力動作に関するフローチャートである。 ウェアラブルデバイスに表示される仮想空間の一例を示す図である。 領域定義テーブルが有するデータ構造の一例を示す図である。 ペンダウン操作の前後にわたる３Ｄ画像の遷移を示す図である。 ペン座標系と仮想座標系の間の対応関係を示す図である。 ペンアップ操作の前後にわたる３Ｄ画像の遷移を示す図である。 ペン座標系と検出座標系の間の対応関係を示す図である。 タブレットの状態量を考慮した補正動作に関する模式図である。
以下、添付図面を参照しながら本発明の実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素及びステップに対して可能な限り同一の符号を付するとともに、重複する説明を省略する場合がある。
［入力システム１０の構成］
図１は、本発明の一実施形態における入力システム１０の全体構成図である。この入力システム１０は、指示デバイスを用いた筆記操作を通じて、ストロークの集合体を記述するインクデータを入力可能な「デジタルインクシステム」である。具体的には、入力システム１０は、表示デバイスの一態様であるウェアラブルデバイス２０と、指示デバイスの一態様であるスタイラス３０と、検出デバイスの一態様であるタブレット４０と、を含んで構成される。
ウェアラブルデバイス２０は、ユーザＵが装着可能な可搬型表示装置である。具体的には、ウェアラブルデバイス２０は、筐体２１と、表示パネル２２（「表示ユニット」に相当）と、視線センサ２３（「位置検出部」に相当）と、プロセッサ２４（「プロセッサ」に相当）と、通信モジュール２５と、を含んで構成される。
筐体２１は、各々の電子部品を保持するフレームと、該フレームをユーザＵの頭部に固定する固定部材と、を備える。表示パネル２２は、画像又は映像を表示可能であり、例えば、液晶パネル、有機ＥＬ（Electro-Luminescence）パネル、電子ペーパーなどであってもよい。視線センサ２３は、例えば赤外線センサからなり、ユーザＵの視線に相関する物理量（例えば、目の動き）を検出する。
プロセッサ２４は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）を含む処理演算装置によって構成される。プロセッサ２４は、図示しないメモリに格納されたプログラムを読み出して実行することで、画像の表示制御、該表示制御に必要な様々な演算、データの送受信制御などを行う。
通信モジュール２５は、外部装置に対して電気信号を送受信するための通信インターフェースである。これにより、ウェアラブルデバイス２０は、スタイラス３０又はタブレット４０との間で様々なデータのやり取りが可能である。
スタイラス３０は、タブレット４０との間で一方向又は双方向に通信可能に構成される電子ペンである。電子ペンの方式は、電磁誘導方式（ＥＭＲ）又はアクティブ静電結合方式（ＡＥＳ）のうちのいずれであってもよい。例えば、ＡＥＳ方式の場合には、スタイラス３０は、筆圧センサ３１と、慣性計測ユニット（Inertial Measurement Unit；以下、第１ＩＭＵ３２）と、マイクロコントロールユニット（Micro Control Unit；以下、ＭＣＵ３３）と、通信チップ３４と、を含んで構成される。
筆圧センサ３１は、例えば、ペン先への押圧により発生する静電容量の変化を捉える、可変容量コンデンサを用いた圧力センサである。この筆圧センサ３１により、筆圧のみならず、スタイラス３０のペンダウン又はペンアップを含むペンイベントを検出することができる。
第１ＩＭＵ３２は、例えば、３軸のジャイロセンサと３方向の加速度センサを組み合わせてなる計測ユニットである。これにより、第１ＩＭＵ３２は、後述するペン座標系６０（図６及び図８参照）上での自装置の状態又は状態の時間変化を示す状態量を測定可能に構成される。この状態量には、位置・姿勢の特定に用いられる様々な物理量、例えば、位置、速度、加速度、ジャーク、角度、角速度などが含まれる。
ＭＣＵ３３は、スタイラス３０の動作を制御可能なプロセッサを含む制御ユニットである。例えば、ＭＣＵ３３は、スタイラス３０による指示位置の計算に関する様々な演算の他に、当該演算の結果を含むデータの送受信制御などを行う。
通信チップ３４は、ＢｌｕｅＴｏｏｔｈ（登録商標）を含む様々な無線通信規格に従って、外部装置との間で無線通信を行うための集積回路である。これにより、スタイラス３０は、通信チップ３４を介して、ウェアラブルデバイス２０又はタブレット４０との間で様々なデータのやり取りが可能である。
タブレット４０は、スタイラス３０の指示位置を検出可能な装置であり、表示機能の有無を問わない。また、タブレット４０に代わって、スマートフォン、パーソナルコンピュータを含む様々な検出デバイスが用いられてもよい。ユーザＵは、スタイラス３０を片手で把持し、タブレット４０のタッチ面４１にペン先を押し当てながら移動させることで、ウェアラブルデバイス２０の表示面に絵や文字を書き込むことができる。
このタブレット４０は、センサ電極４２と、タッチＩＣ（Integrated Circuit）４３と、ＣＰＵ４４と、通信チップ４５と、第２ＩＭＵ４６と、を含んで構成される。第２ＩＭＵ４６は、必要に応じて省略されてもよい。
センサ電極４２は、導体の接近又は接触により生じた静電容量の変化を検出可能な電極の集合体である。静電容量の検出方式は、相互容量方式又は自己容量方式のいずれであってもよい。例えば、相互容量方式の場合、このセンサ電極４２は、検出座標系８０（図８参照）のＸｄ軸の位置を検出するための複数のＸライン電極と、Ｙｄ軸の位置を検出するための複数のＹライン電極と、を備える。
タッチＩＣ４３は、センサ電極４２の駆動制御を行う集積回路である。タッチＩＣ４３は、ＣＰＵ４４から供給された制御信号に基づいてセンサ電極４２を駆動する。これにより、タッチＩＣ４３は、スタイラス３０の状態を検出する「ペン検出機能」や、ユーザＵの指などによるタッチを検出する「タッチ検出機能」を実行する。
ＣＰＵ４４は、図示しないメモリに格納されたプログラムを読み出して実行することで、例えば、インクデータの生成、データの送受信制御を含む様々な機能を実行可能である。なお、ＣＰＵ４４に代えて、ＭＰＵ、ＧＰＵを含む様々な処理演算装置が用いられてもよい。
通信チップ４５は、通信チップ３４と同様に、ＢｌｕｅＴｏｏｔｈ（登録商標）を含む様々な通信規格に従って、外部装置との間で無線通信を行うための集積回路である。これにより、タブレット４０は、通信チップ４５を介して、ウェアラブルデバイス２０又はスタイラス３０との間で様々なデータのやり取りが可能である。
第２ＩＭＵ４６は、第１ＩＭＵ３２と同様に、例えば、３軸のジャイロセンサと３方向の加速度センサを組み合わせてなる計測ユニットである。これにより、第２ＩＭＵ４６は、後述する検出座標系８０（図８参照）上での自装置の位置・姿勢に関する状態量を測定可能に構成される。
［入力システム１０の動作］
本実施形態における入力システム１０は、以上のように構成される。続いて、入力システム１０による入力動作について、図２のフローチャート及び図３～図７を参照しながら説明する。
＜基本動作＞
図２のステップＳ１において、入力システム１０は、ユーザＵが視認可能な態様で仮想空間５０を表示する。具体的には、ウェアラブルデバイス２０のプロセッサ２４が表示パネル２２に対して表示制御を行うことで、仮想空間５０を示す画像又は映像が表示される。
図３は、ウェアラブルデバイス２０に表示される仮想空間５０の一例を示す図である。この仮想空間５０は、架空の室内を３次元的に示している。この室内には、天井・床・壁・クローゼットなどの建造物、ベッド・テーブル・椅子などの家具を含む様々な物体が設けられる。
図２のステップＳ２において、入力システム１０は、スタイラス３０によるペンダウン操作を受け付けたか否かを確認する。具体的には、スタイラス３０のＭＣＵ３３は、筆圧センサ３１の検出信号に基づいて、筆圧状態が「ＯＦＦ」から「ＯＮ」に変化したか否かを判定する。ペンダウン操作が検出されなかった場合（ステップＳ２：ＮＯ）、当該操作を検出するまでの間、ステップＳ１に留まる。一方、ペンダウン操作が検出された場合（ステップＳ２：ＹＥＳ）、次のステップＳ３に進む。なお、ウェアラブルデバイス２０は、スタイラス３０による検出結果を直接的に取得してもよいし、タブレット４０を経由して間接的に取得してもよい。
ステップＳ３において、入力システム１０は、ステップＳ２にて検出されたペンダウン操作時にユーザＵが視認している物体（以下、視認物体）を特定する。まず、ウェアラブルデバイス２０のプロセッサ２４は、視線センサ２３の検出信号に基づいてユーザＵの視線位置５２を検出した後、この視線の先にある仮想空間５０内の物体を特定する。視認物体を特定する際に、例えば、プロセッサ２４は、図４に示す領域定義テーブルを参照してもよい。
図４は、図３の仮想空間５０に関する領域定義テーブルが有するデータ構造の一例を示す図である。この領域定義テーブルは、［１］仮想空間５０内にある物体の識別情報である「物体ＩＤ」と、［２］物体が占有する「占有範囲」と、［３］物体面がなす座標系の「基底ベクトル」と、［４］座標系の原点を示す「基準座標」との間の対応関係を示すテーブル形式のデータである。
まず、プロセッサ２４は、視線センサ２３の検出信号に基づいてユーザＵの視線位置５２を検出し、仮想空間５０上の視線ベクトルを算出する。そして、プロセッサ２４は、図４に示す領域定義テーブルを参照し、当該視線ベクトルが各々の物体に対応付けられた占有範囲に交差するか否かを判定する。該当する物体がある場合、その物体が「視認物体」であると特定される。なお、図４の例では、物体毎にＩＤが割り当てられているが、複数の面を有する物体に関して物体の面毎にＩＤが割り当てられてもよい。
図２のステップＳ４において、入力システム１０（より詳しくは、プロセッサ２４）は、ステップＳ３にて特定された視認物体が、前回に特定された視認物体と同一であるか否かを判定する。同一の視認物体である場合（ステップＳ４：ＹＥＳ）にはステップＳ５に進む一方、異なる視認物体である場合（ステップＳ４：ＮＯ）にはステップＳ６に進む。
ステップＳ５に進んだ場合、入力システム１０（より詳しくは、プロセッサ２４）は、ステップＳ３にて特定された視認物体、つまり、今回の視線に応じた指示対象領域７４（図６）を設定する。具体的には、プロセッサ２４は、図４の領域定義テーブルを参照し、仮想座標系７０（図６）のうち平面状の指示対象領域７４を設定する。例えば、視認物体がＩＤ＝ＯＢ０００１である場合、プロセッサ２４は、座標値が（Ｘｖ１，Ｙｖ１，Ｚｖ１）である基準位置７２（図６）を指示対象領域７４の「中心点」、２つの基底ベクトル（Ｅｘ１↑，Ｅｙ１↑）を指示対象領域７４の「平面ベクトル」、残り１つの基底ベクトルＥｚ１↑を指示対象領域７４の「法線ベクトル」としてそれぞれ設定する。
ステップＳ６に進んだ場合、入力システム１０（より詳しくは、プロセッサ２４）は、前回のフローチャート実行時のステップＳ５又はＳ６、つまり、前回の場合と同一の指示対象領域７４を設定する。これと併せて、プロセッサ２４は、指示対象領域７４が正面になるように視点を切り替えた仮想空間５０を表示させる。
図５は、ペンダウン操作の前後にわたる３Ｄ画像５０ａ，５０ｂの遷移を示す図である。より詳しくは、上側の図はペンダウン操作前の３Ｄ画像５０ａを、下側の図はペンダウン操作後の３Ｄ画像５０ｂをそれぞれ示している。例えば、ユーザＵの視線位置５２にクローゼットのドアにある状態でペンダウン操作が行われると、３Ｄ画像５０ａが３Ｄ画像５０ｂに遷移される。この３Ｄ画像５０ｂは、クローゼットのドア（つまり、指示対象領域７４）が正面になるように視点を切り替えた２次元画像に相当する。
図２のステップＳ７において、入力システム１０は、ユーザＵによるペンムーブ操作に追従して、仮想空間５０上の描画処理を行う。まず、スタイラス３０は、ペンダウン操作時における自装置の位置をペン座標系６０の原点Ｏｐに設定した後、第１ＩＭＵ３２により測定された状態量を逐次的に取得する。そして、ウェアラブルデバイス２０は、この状態量を含むデータをスタイラス３０から直接的に取得する。あるいは、ウェアラブルデバイス２０は、スタイラス３０からタブレット４０を経由して、当該データを間接的に取得してもよい。
そして、プロセッサ２４は、所定の変換規則に従ってスタイラス３０の状態量を変換し、変換後の状態量を逐次加算することで、仮想空間５０上の指示位置を算出する。以下、移動量の時系列を用いて仮想座標系７０上の指示位置を算出する例について、図６を参照しながら説明する。
図６上側のペン座標系６０は、Ｘｐ軸、Ｙｐ軸、Ｚｐ軸からなる３次元直交座標系であり、スタイラス３０によって独自に定義される。例えば、スタイラス３０のペンダウン位置６２が原点Ｏｐである場合、ｍ↑（ｔ）は、ｔ番目の時点におけるペン座標系６０上でのスタイラス３０の移動量（３次元ベクトル）を示している。
一方、図６下側の仮想座標系７０は、Ｘｖ軸、Ｙｖ軸、Ｚｖ軸からなる３次元直交座標系であり、ウェアラブルデバイス２０によって独自に定義される。ここで、破線で示す四角形状の領域は、基準位置７２を基準として設定された指示対象領域７４に相当する。ｔ番目の時点における仮想座標系７０上での指示位置がＰｖ（ｔ）とすると、Ｐｖ（ｔ）は、Ｐｖ（ｔ）＝Ｐｖ（ｔ－１）＋Ａ・ｍ↑（ｔ）に従って逐次算出される。
ここで、Ａは、ペン座標系６０から仮想座標系７０に変換するためのアフィン行列（３行×３列）に相当する。このアフィン行列Ａは、ペン座標系６０及び仮想座標系７０が既知であれば一意に定められる。例えば、アフィン行列Ａは、物体又は物体面に対応付けて予め記憶されてもよいし、指示対象領域７４が設定される度に計算されてもよい。
そして、プロセッサ２４は、現在表示されている仮想空間５０に対して、算出した指示位置にマークを重ねて表示するように表示パネル２２を制御する。この動作を逐次実行することで、仮想空間５０上に、ドットなどのマークの軌跡（すなわち、ストローク）が重ねて表示される。
図２のステップＳ８において、入力システム１０は、ペンアップ操作を検出したか否かを確認する。具体的には、スタイラス３０のＭＣＵ３３は、筆圧センサ３１の検出信号に基づいて、筆圧状態が「ＯＮ」から「ＯＦＦ」に変化したか否かを判定する。ペンアップ操作が検出されなかった場合（ステップＳ８：ＮＯ）、当該操作を検出するまでの間、ステップＳ７，Ｓ８を順次繰り返す。一方、ペンアップ操作が検出された場合（ステップＳ８：ＹＥＳ）、次のステップＳ９に進む。
ステップＳ９において、入力システム１０（より詳しくは、プロセッサ２４）は、ステップＳ５，Ｓ６の実行時から設定されていた指示対象領域７４を解除する。これと併せて、プロセッサ２４は、視点を元に戻した仮想空間５０を表示させる。
図７は、ペンアップ操作の前後にわたる３Ｄ画像５０ｃ，５０ｄの遷移を示す図である。より詳しくは、上側の図はペンアップ操作前の３Ｄ画像５０ｃを、下側の図はペンアップ操作後の３Ｄ画像５０ｄをそれぞれ示している。例えば、１回のストロークが終了した状態でペンアップ操作が行われると、３Ｄ画像５０ｃが３Ｄ画像５０ｄに遷移される。この３Ｄ画像５０ｄは、図５の３Ｄ画像５０ａ上に、１本のストロークが筆記された画像に相当する。
その後、ステップＳ１に戻って、以下、ステップＳ１～Ｓ９のいずれかを順次実行する。このように、入力システム１０の動作を継続することで、ユーザＵは、あたかも仮想空間５０内に筆記を残すような疑似体験を得ることができる。
＜基本動作による効果＞
以上のように、この実施形態における入力システム１０は、スタイラス３０と、スタイラス３０の指示位置を検出するタブレット４０と、タブレット４０とは別体に設けられ、かつ空間（ここでは、仮想空間５０）を表示する表示パネル２２と、仮想空間５０内のユーザＵの視線位置５２を検出する視線センサ２３と、１又は複数のプロセッサ（ここでは、プロセッサ２４）と、を含んで構成される。そして、プロセッサ２４は、スタイラス３０による所定の操作を受け付けた時点にて視線センサ２３により検出された視線位置５２に基づいて、スタイラス３０の基準位置７２を含む指示対象領域７４を仮想空間５０の中から設定し（図２のステップＳ５，Ｓ６）、仮想空間５０上に重ねてスタイラス３０の指示位置を指示対象領域７４内に表示するように表示パネル２２を制御する（図２のステップＳ７）。
このように、検出された視線位置５２に基づいて、スタイラス３０の基準位置７２を含む指示対象領域７４を仮想空間５０の中から設定するので、現時点におけるユーザＵの視線の先、すなわち筆記を行おうとするユーザＵの意図により近い箇所に指示位置を表示可能となる。これにより、スタイラス３０の指示位置を検出するタブレット４０と、仮想空間５０を表示する表示パネル２２とが別体で設けられる装置構成において、ユーザＵによる入力操作性がより高まる。
特に、上記した特定の操作が、スタイラス３０のペン先をタッチ面４１に押し当てる「ペンダウン操作」である場合、通常の筆記操作を行う感覚で特別な操作を行う必要がないので、ユーザＵにとって使い勝手がさらに向上する。
また、指示対象領域７４は、仮想空間５０内にある物体毎又は物体面毎に設定可能であってもよい。これにより、ユーザＵは、あたかも仮想空間５０内にある物体を選択して筆記を残すような感覚を獲得することができ、その分だけ疑似体験の現実感が増す。
また、プロセッサ２４は、前回の視線位置５２と今回の視線位置５２とが同一の物体上又は物体面上にある場合、前回に設定された場合と同一の基準位置７２及び指示対象領域７４を設定してもよい。これにより、同一の物体又は物体面上に筆記を続けようとするユーザＵの意図を反映させやすくなる。
これとは逆に、プロセッサ２４は、前回の視線位置５２と今回の視線位置５２とが異なる物体上又は物体面上にある場合、前回に設定された場合とは異なる基準位置７２及び指示対象領域７４を設定してもよい。これにより、関心対象である物体又は物体面が変更された旨のユーザＵの意図を反映させやすくなる。
また、プロセッサ２４は、指示対象領域７４が設定された場合、指示対象領域７４が正面になる視点に切り替えて仮想空間５０を表示させてもよい。これにより、ユーザＵが筆記操作を行いやすくなる。
また、スタイラス３０又はタブレット４０は、所定の操作を受け付けた時点から、スタイラス３０の移動量を逐次的に出力し、プロセッサ２４は、所定の変換規則に従ってスタイラス３０の移動量を変換し、変換後の移動量を基準位置７２の座標値に逐次加算することで、仮想空間５０上の指示位置を算出してもよい。プロセッサ２４が仮想空間５０上の指示位置を算出する構成にすることで、スタイラス３０による演算処理の負荷が軽減される。
［スタイラス３０の状態補正］
＜基本動作における問題点＞
上記した基本動作では、タブレット４０が移動することなく水平状態に配置されることを想定している。ところが、タブレット４０の位置・姿勢が時間とともに変化する場合、仮想空間５０上に正しく筆記されない場合がある。
図８は、ペン座標系６０と検出座標系８０の間の対応関係を示す図である。図面上側のペン座標系６０は、Ｘｐ軸、Ｙｐ軸、Ｚｐ軸からなる３次元直交座標系であり、スタイラス３０によって独自に定義される。一方、図面下側の検出座標系８０は、Ｘｄ軸、Ｙｄ軸、Ｚｄ軸からなる３次元直交座標系であり、タブレット４０によって独自に定義される。ここで、破線で示す四角形状の領域は、タッチ面４１がなす領域に相当する。
タブレット４０が理想状態（例えば、水平状態）に配置される場合、Ｘｐ－Ｙｐ平面は、Ｘｄ－Ｙｄ平面に対して平行である。つまり、ユーザＵが筆記（ペンムーブ操作）を行っている間、スタイラス３０は水平方向に沿って移動する。ところが、タブレット４０が水平面に傾斜して配置される場合、ユーザＵが筆記を行っている間、スタイラス３０は傾斜したタッチ面４１（Ｘｄ－Ｙｄ平面）に沿って移動する。すなわち、理想の配置状態との乖離が生じ、ウェアラブルデバイス２０が実行するアフィン変換処理が実際の挙動と適合しなくなってしまう。そこで、タブレット４０の状態量を用いてスタイラス３０の状態量を補正することで、上記した問題を解決することができる。
＜補正動作の説明＞
図９は、タブレット４０の状態を考慮した補正動作に関する模式図である。ウェアラブルデバイス２０、スタイラス３０及びタブレット４０のうち、主要の構成のみを表記している。以下、スタイラス３０が第１ＩＭＵ３２を用いて計測した自装置の状態量を「第１状態量」といい、タブレット４０が第２ＩＭＵ４６を用いて計測した自装置の状態量を「第２状態量」という。
スタイラス３０のＭＣＵ３３は、第１ＩＭＵ３２により第１周期Ｔ１で計測された第１状態量を逐次取得する。そして、ＭＣＵ３３は、この第１状態量と、直近に取得された第２状態量を集約した後、筆圧センサ３１による筆圧の検出結果及び集約済みの状態量を含むデータ（以下、「第１データ」という）をウェアラブルデバイス２０に送信する制御を行う。ここで、「集約」とは、第１状態量から第２状態量を差し引いた相対状態量を得ること、あるいは第１状態量及び第２状態量を連結することを意味する。以下、スタイラス３０とウェアラブルデバイス２０の間の通信を「第１通信」という。
一方、スタイラス３０のＭＣＵ３３は、第２状態量を含むデータ（以下、「第２データ」という）をタブレット４０から受信する制御を行う。この第２状態量は、タブレット４０の第２ＭＣＵ４６により第２周期Ｔ２で逐次計測される。以下、スタイラス３０とタブレット４０の間の通信を「第２通信」という。第２状態量の送受信に際し、例えば、ＢｌｕｅＴｏｏｔｈ（登録商標）などの通信規格に従って実装されるリレー通信機能を用いられる。
ところで、筆記する側のスタイラス３０は、ユーザＵによって頻繁に動かされるため、状態の時間変化が相対的に大きくなる。これに対して、筆記される側のタブレット４０は、ユーザＵによって殆ど動かされないため、状態の時間変化が相対的に小さくなる。つまり、第２状態量の更新頻度を低くしたとしても、補正の効果が十分に得られると考えられる。そこで、第２通信の実行頻度を第１通信の実行頻度よりも相対的に低くすることで、その分だけ通信回数を削減可能となり、その結果、消費電力を節約することができる。
具体的には、第１通信及び第２通信が同期的に行われる場合、単位時間あたりの通信回数をＮ：１（Ｎは、２以上の整数）に設定してもよい。あるいは、第１通信及び第２通信が非同期的に行われる場合、Ｔ１＜Ｔ２の関係を満たすように、第１，第２通信の実行周期であるＴ１，Ｔ２をそれぞれ設定してもよい。
ウェアラブルデバイス２０のプロセッサ２４は、補正された状態量を用いて、仮想空間５０上の指示位置を算出する。プロセッサ２４は、相対状態量を含む第１データを取得した場合、この相対状態量をそのまま用いて指示位置を計算する。一方、プロセッサ２４は、第１状態量及び第２状態量のペアを含む第１データを取得した場合、第１状態量から第２状態量を差し引いた相対状態量を用いて指示位置を計算する。
以上のように、この実施形態における入力システム１０は、スタイラス３０と、スタイラス３０の指示位置を検出するタブレット４０と、１又は複数のプロセッサ２４と、を含んで構成される。スタイラス３０及びタブレット４０は、相互に通信可能であり、スタイラス３０は、自装置の状態又は状態の時間変化を示す第１状態量を計測可能であり、タブレット４０は、自装置の状態又は状態の時間変化を示す第２移動量を計測可能である。そして、スタイラス３０は、第２通信により、第２状態量を含む第２データをタブレット４０から受信するとともに、第１通信により、第１状態量及び第２状態量を集約した第１データをプロセッサ２４に送信する。
また、集約は、第１状態量から第２状態量を差し引いて相対状態量を算出すること又は第１状態量及び第２状態量を連結することであってもよい。また、第２通信は、プロセッサ２４との間で行われない、第１通信と異なる手段を用いた通信（例えば、リレー通信）であってもよい。また、第２通信の実行頻度は、第１通信の実行頻度よりも低くされてもよい。
［変形例］
なお、本発明は上記の具体例に限定されるものではない。すなわち、上記の具体例に、当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。また、前述した実施形態及び後述する変形例が備える各要素は、技術的に可能な限りにおいて組み合わせることができ、これらを組み合わせたものも本発明の特徴を含む限り本発明の範囲に包含される。
上記した実施形態では、ウェアラブルデバイス２０が仮想現実（ＶＲ）技術を用いた仮想現実空間を表示する例を挙げて説明したが、これに代えて、拡張現実（ＡＲ）技術や複合現実（ＭＲ）技術を用いた空間が表示されてもよい。例えば、ＡＲ技術の場合、実空間にある物体に関する各種情報を取得した後、図４に示す領域定義テーブルを予め作成しておけばよい。
上記した実施形態では、ペンダウン操作を契機としてプロセッサ２４が指示対象領域７４を設定しているが、これ以外の操作、例えばスタイラス３０が有するサイドスイッチの操作を契機としてもよい。また、上記した実施形態では、ペンダウン操作／ペンアップ操作を契機としてプロセッサ２４が仮想空間５０の視点を切り替える表示制御を行っているが、これに代えて、視点を切り替えない表示制御を行ってもよい。
１０…入力システム、２０…ウェアラブルデバイス、２２…表示パネル（表示ユニット）、２３…視線センサ（位置検出部）、２４…プロセッサ、３０…スタイラス（指示デバイス）、４０…タブレット（検出デバイス）、５０…仮想空間（空間）、５２…視線位置、７２…基準位置、７４…指示対象領域

Claims (12)

  1. 指示デバイスと、
    前記指示デバイスの指示位置を検出する検出デバイスと、
    前記検出デバイスとは別体に設けられ、かつ空間を表示する表示ユニットと、
    前記空間内のユーザの視線位置を検出する位置検出部と、
    プロセッサと、を備え、
    前記プロセッサは、
    前記指示デバイスによる所定の操作を受け付けた時点にて前記位置検出部により検出された前記視線位置に基づいて、前記指示デバイスの基準位置を含む指示対象領域を前記空間の中から設定し、
    前記空間上に重ねて前記指示デバイスの指示位置を前記指示対象領域内に表示するように前記表示ユニットを制御する、入力システム。
  2. 前記指示対象領域は、前記空間内にある物体毎又は物体面毎に設定可能である、
    請求項１に記載の入力システム。
  3. 前記プロセッサは、前回の視線位置と今回の視線位置とが同一の物体上又は物体面上にある場合、前回に設定された場合と同一の前記基準位置及び前記指示対象領域を設定する、
    請求項２に記載の入力システム。
  4. 前記プロセッサは、前回の視線位置と今回の視線位置とが異なる物体上又は物体面上にある場合、前回に設定された場合とは異なる前記基準位置及び前記指示対象領域を設定する、
    請求項２に記載の入力システム。
  5. 前記空間は、仮想現実空間であり、
    前記プロセッサは、前記指示対象領域が設定された場合、前記指示対象領域が正面になる視点に切り替えて前記仮想現実空間を表示させる、
    請求項１～４のいずれか１項に記載の入力システム。
  6. 前記指示デバイス又は前記検出デバイスは、前記所定の操作を受け付けた時点から、前記指示デバイスの移動量を逐次的に出力し、
    前記プロセッサは、所定の変換規則に従って前記指示デバイスの移動量を変換し、変換後の移動量を前記基準位置の座標値に逐次加算することで、前記空間上の前記指示位置を算出する、
    請求項１～５のいずれか１項に記載の入力システム。
  7. 前記指示デバイス及び前記検出デバイスは、相互に通信可能であり、
    前記指示デバイスは、自装置の状態又は状態の時間変化を示す第１状態量を計測可能であり、
    前記検出デバイスは、自装置の状態又は状態の時間変化を示す第２状態量を計測可能であり、
    前記指示デバイスは、第２通信により、前記第２状態量を含む第２データを前記検出デバイスから受信するとともに、第１通信により、前記第１状態量及び前記第２状態量を集約した第１データを前記プロセッサに送信する、
    請求項１に記載の入力システム。
  8. 前記集約は、前記第１状態量から前記第２状態量を差し引いて相対状態量を算出すること、又は、前記第１状態量及び前記第２状態量を連結することである、
    請求項７に記載の入力システム。
  9. 前記第２通信は、前記プロセッサとの間で行われない、前記第１通信と異なる手段を用いた通信である、
    請求項８に記載の入力システム。
  10. 前記第２通信は、リレー通信である、
    請求項９に記載の入力システム。
  11. 前記第２通信の実行頻度は、前記第１通信の実行頻度よりも低い、
    請求項１０に記載の入力システム。
  12. 指示デバイスと、前記指示デバイスの指示位置を検出する検出デバイスと、
    前記検出デバイスとは別体に設けられ、かつ空間を表示する表示ユニットと、
    前記空間内のユーザの視線位置を検出する位置検出部と、
    を含んで構成される入力システムを用いた入力方法であって、
    １又は複数のプロセッサが、
    前記指示デバイスによる所定の操作を受け付けた時点にて前記位置検出部により検出された前記視線位置に基づいて、前記指示デバイスの基準位置を含む指示対象領域を前記空間の中から設定するステップと、
    前記空間上に重ねて前記指示デバイスの指示位置を前記指示対象領域内に表示するように前記表示ユニットを制御するステップと、
    を実行する入力方法。

JP2020141485A 2020-08-25 2020-08-25 入力システム及び入力方法 Active JP7504723B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2020141485A JP7504723B2 (ja) 2020-08-25 2020-08-25 入力システム及び入力方法
US17/399,736 US11586300B2 (en) 2020-08-25 2021-08-11 Input system and input method for setting instruction target area including reference position of instruction device
CN202110929198.1A CN114115516A (zh) 2020-08-25 2021-08-13 输入系统及输入方法
US18/162,441 US11995252B2 (en) 2020-08-25 2023-01-31 Input system and input method for setting instruction target area including reference position of instruction device
US18/645,275 US20240272731A1 (en) 2020-08-25 2024-04-24 Input system and input method for setting instruction target area including reference position of instruction device
JP2024094792A JP2024107350A (ja) 2020-08-25 2024-06-12 入力システム及び入力方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020141485A JP7504723B2 (ja) 2020-08-25 2020-08-25 入力システム及び入力方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024094792A Division JP2024107350A (ja) 2020-08-25 2024-06-12 入力システム及び入力方法

Publications (2)

Publication Number Publication Date
JP2022037377A true JP2022037377A (ja) 2022-03-09
JP7504723B2 JP7504723B2 (ja) 2024-06-24

Family

ID=80356810

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020141485A Active JP7504723B2 (ja) 2020-08-25 2020-08-25 入力システム及び入力方法
JP2024094792A Pending JP2024107350A (ja) 2020-08-25 2024-06-12 入力システム及び入力方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024094792A Pending JP2024107350A (ja) 2020-08-25 2024-06-12 入力システム及び入力方法

Country Status (3)

Country Link
US (3) US11586300B2 (ja)
JP (2) JP7504723B2 (ja)
CN (1) CN114115516A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7504723B2 (ja) * 2020-08-25 2024-06-24 株式会社ワコム 入力システム及び入力方法
EP4310640A4 (en) * 2021-05-06 2024-05-22 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND CONTROL METHOD FOR ELECTRONIC DEVICE

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110032274A1 (en) * 2008-04-10 2011-02-10 Pioneer Corporation Screen display system and screen display program
JP2013125487A (ja) 2011-12-16 2013-06-24 Konica Minolta Business Technologies Inc 空間手書きシステム及び電子ペン
US10740971B2 (en) 2015-01-20 2020-08-11 Microsoft Technology Licensing, Llc Augmented reality field of view object follower
CN105988567B (zh) * 2015-02-12 2023-03-28 北京三星通信技术研究有限公司 手写信息的识别方法和装置
US9898865B2 (en) 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
US10198855B2 (en) * 2016-07-20 2019-02-05 Colopl, Inc. Method of providing virtual space, method of providing virtual experience, system and medium for implementing the methods
US20180101986A1 (en) 2016-10-10 2018-04-12 Aaron Mackay Burns Drawing in a 3d virtual reality environment
EP3680755A4 (en) 2017-09-04 2020-10-28 Wacom Co., Ltd. SPATIAL POSITION INDICATOR SYSTEM
WO2019093156A1 (ja) * 2017-11-10 2019-05-16 ソニーセミコンダクタソリューションズ株式会社 表示処理装置および表示処理方法、並びにプログラム
US11769159B2 (en) * 2017-11-13 2023-09-26 Aloke Chaudhuri System and method for human emotion and identity detection
CN108732764B (zh) * 2018-06-06 2024-05-31 北京七鑫易维信息技术有限公司 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质
JP2021141573A (ja) * 2020-03-06 2021-09-16 キヤノン株式会社 電子機器
WO2021226445A1 (en) * 2020-05-08 2021-11-11 Mvi Health Inc. Avatar tracking and rendering in virtual reality
JP7504723B2 (ja) * 2020-08-25 2024-06-24 株式会社ワコム 入力システム及び入力方法

Also Published As

Publication number Publication date
CN114115516A (zh) 2022-03-01
JP2024107350A (ja) 2024-08-08
US20240272731A1 (en) 2024-08-15
JP7504723B2 (ja) 2024-06-24
US11586300B2 (en) 2023-02-21
US20230168752A1 (en) 2023-06-01
US11995252B2 (en) 2024-05-28
US20220066577A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
US9250799B2 (en) Control method for information input device, information input device, program therefor, and information storage medium therefor
CN107615214B (zh) 界面控制系统、界面控制装置、界面控制方法及程序
JP2024107350A (ja) 入力システム及び入力方法
CN102426486B (zh) 一种立体交互方法及被操作设备
TWI530858B (zh) 一種立體交互系統和立體交互方法
JP2011237838A (ja) プログラム、情報入力装置、及びその制御方法
CN117348743A (zh) 计算机、渲染方法以及位置指示装置
JP6386897B2 (ja) 電子黒板、情報処理プログラムおよび情報処理方法
US20150309597A1 (en) Electronic apparatus, correction method, and storage medium
US20210157419A1 (en) Interface device and on-panel pad
GB2517284A (en) Operation input device and input operation processing method
CN102508561A (zh) 一种操作棒
JP2009238004A (ja) ポインティングデバイス
JP2000207114A (ja) 力覚提示方法及び力覚ペンタブレット
CN103869941B (zh) 具虚拟触控服务的电子装置及虚拟触控即时校正方法
JP7513262B2 (ja) 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム
JP2009187353A (ja) 入力装置
EP4252871A1 (en) System, imaging device, information processing device, information processing method, and information processing program
US20230166179A1 (en) Operation system, information processing system, operation information generation method, and operation information generation program
WO2022249970A1 (ja) 装置又は方法
TW202232288A (zh) 電腦、方法及程式
TW202340926A (zh) 作業支援系統以及方法
KR20130030452A (ko) 가상 화면 영역의 재구성이 가능한 센서를 이용한 다기능 입력 장치
JP2012155480A (ja) 携帯型情報機器用入力装置
KR20150013472A (ko) 3d 입력을 제공하기 위한 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240612

R150 Certificate of patent or registration of utility model

Ref document number: 7504723

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150