JP2022177328A - Data input system and display unit - Google Patents
Data input system and display unit Download PDFInfo
- Publication number
- JP2022177328A JP2022177328A JP2019166282A JP2019166282A JP2022177328A JP 2022177328 A JP2022177328 A JP 2022177328A JP 2019166282 A JP2019166282 A JP 2019166282A JP 2019166282 A JP2019166282 A JP 2019166282A JP 2022177328 A JP2022177328 A JP 2022177328A
- Authority
- JP
- Japan
- Prior art keywords
- data
- unit
- group
- input
- specified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
Abstract
Description
本発明は、データ入力システム、及び表示装置に関する。 The present invention relates to data entry systems and display devices.
近年、ヘッドマウントディスプレイ(HMD)に拡張現実(augmented reality:AR)や仮想現実(virtual reality:VR)等の映像を投影して、3次元(3D)没入型環境を生成する技術が普及してきている。 In recent years, technology for generating a three-dimensional (3D) immersive environment by projecting images such as augmented reality (AR) and virtual reality (VR) onto a head-mounted display (HMD) has become widespread. there is
ユーザは、3D没入型環境等を得るためにHMDを装着すると、手元の視認性が損なわれ、文字入力を行うことが困難となる場合がある。この点につき、例えば特許文献1には、ユーザがペン型デバイス等を用いて行った手書き動作の移動軌跡を検出することによる空間手書き入力システムが記載されている。また、例えば特許文献2には、ユーザの指に装着される複数のリングと、リングの動きを画像認識するデジタルカメラを搭載したヘッドマウントディスプレイとを用いたハンドジェスチャーの認識方法が記載されている。
When a user wears an HMD to obtain a 3D immersive environment or the like, the visibility of the user's hand is impaired, and it may be difficult to input characters. In this regard, for example,
しかしながら、例えば特許文献1のような手書き方式の場合、手書き文字が正しく認識されるように正確なストロークが要求される。また、例えば特許文献2のように指等の複数の異なる箇所の動きを検知することによる入力方式では、操作方法が複雑になってしまう。
However, in the case of a handwriting method such as that disclosed in
そこで、本発明は、操作性を向上させたデータ入力システムを提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a data input system with improved operability.
本発明の一態様に係るデータ入力システムは、複数のデータの各々に対応する複数のオブジェクトの表示を制御する表示制御部と、操作を検知する検知部と、複数のデータの各々を記憶する記憶部を参照して、検知部が検知した操作に基づいて、複数のデータから入力データを判別する判別部と、を備えるデータ入力システムであって、記憶部は、複数のデータに含まれる少なくとも1つのデータを含むデータグループの各々を、第1操作に対応付け、且つデータグループに含まれる少なくとも1つのデータの各々を第2操作に対応付けて、記憶し、判別部は、記憶部を参照して、検知部が検知した第1操作に基づいてデータグループを特定し、検知部が検知した第2操作及び特定したデータグループに基づいてデータを特定することにより、特定されたデータを入力データとして判別し、表示制御部は、データグループに含まれる少なくとも1つのデータの各々に対応するオブジェクトを含むオブジェクトグループを、第1基準位置に対して第1操作が指定する方向に配置されるように表示し、且つ、オブジェクトグループに含まれるオブジェクトの各々を、第2基準位置に対して第2操作が指定する方向に配置されるように表示する。 A data input system according to one aspect of the present invention includes a display control unit that controls display of a plurality of objects corresponding to each of a plurality of data, a detection unit that detects an operation, and a memory that stores each of the plurality of data. a determination unit configured to determine input data from a plurality of data based on an operation detected by the detection unit, wherein the storage unit includes at least one input data included in the plurality of data; Each data group including one data is associated with a first operation, each of at least one data included in the data group is associated with a second operation, and stored, and the determination unit refers to the storage unit Then, a data group is specified based on the first operation detected by the detection unit, data is specified based on the second operation detected by the detection unit and the specified data group, and the specified data is used as input data. The display control unit displays an object group including an object corresponding to each of at least one data included in the data group so as to be arranged in the direction specified by the first operation with respect to the first reference position. and each object included in the object group is displayed so as to be arranged in the direction specified by the second operation with respect to the second reference position.
この態様によれば、ユーザは、第1基準位置に対して所望のオブジェクトグループが配置された方向に第1操作を行うことにより所望のデータグループを指定することが可能となり、また、第2基準位置に対して所望のオブジェクトが配置された方向に第2操作を行うことにより所望のデータを指定することが可能となる。そのため、データ入力システムにおける操作性が向上する。 According to this aspect, the user can specify the desired data group by performing the first operation in the direction in which the desired object group is arranged with respect to the first reference position. Desired data can be specified by performing the second operation in the direction in which the desired object is arranged with respect to the position. Therefore, the operability of the data input system is improved.
本発明によれば、操作性を向上させたデータ入力システムを提供することができる。 According to the present invention, it is possible to provide a data input system with improved operability.
添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。 Preferred embodiments of the present invention will be described with reference to the accompanying drawings. It should be noted that, in each figure, the same reference numerals have the same or similar configurations.
(1)構成
(1-1)データ入力システム1
図1は、本実施形態に係るデータ入力システム1の概要を説明するための模式図である。図2は、本実施形態に係るデータ入力システム1の概要を説明するための他の模式図である。
(1) Configuration (1-1)
FIG. 1 is a schematic diagram for explaining an overview of a
本実施形態に係るデータ入力システム1は、ヘッドマウントディスプレイ(HMD)装置10を装着したユーザが、ハンドヘルド(HH)装置20に対して行った操作に基づいて、文字等のデータを入力するシステムである。HMD装置10と、HH装置20とは、後述するように、互いに通信可能に接続される。図2に示すとおり、HMD装置10の画像出力部13には、例えば、文字等のデータを入力するための入力フレームFと、入力データの候補となるデータに対応するオブジェクトが含まれるガイドGとが表示される。
A
ユーザは、HH装置20を保持した上で、HH装置20の操作部23を、例えば指等で操作(タップ操作やスワイプ操作等)する。HH装置20はユーザの操作を検知し、検知された操作の態様を識別するための操作情報をHMD装置10に送信する。
The user holds the
HMD装置10は、入力データの候補となる複数のデータを、所定のグループ(データグループ)に分けた上で、所定の操作に対応付けて記憶している。HMD装置10は、HH装置20から受信した操作情報に基づいて、当該操作情報が示す操作に対応付けられたデータグループ及びデータを特定することにより、入力データを判別する。判別された入力データは、入力処理によって、例えば入力フレームFに入力される。
The
(1-2)HMD装置10
図3は、本実施形態に係るデータ入力システム1の機能構成の一例を示す図である。HMD装置10は、ユーザの頭部の周囲に画像出力部が配置されるようにユーザによって装着されるデバイスであれば、例えば、ヘルメット型、グラス型、ゴーグル型等の任意の形状であってよい。図3に示すとおり、HMD装置10は、例えば、通信部11と、記憶部12と、画像出力部13と、処理部15とを備える。
(1-2)
FIG. 3 is a diagram showing an example of the functional configuration of the
通信部11は、HMD装置10を任意の通信ネットワークに接続するための通信インターフェース回路を有する。通信部11は、例えば、HH装置20等から受信したデータを処理部15に供給する。通信部11は、処理部15から供給されたデータをHH装置20等に送信する。
The
記憶部12は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置のうちの少なくとも一つを有する。記憶部12は、処理部15による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ(所定の処理に係る一時的なデータを含む)等を記憶する。特に、記憶部12は、データとして、入力データの候補となる複数のデータを管理するための少なくとも一のデータテーブルや、各データに対応するオブジェクトを含むガイドを表示するための少なくとも一の表示データを記憶する。各種プログラムは、例えばCD-ROM、DVD-ROM等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部12にインストールされてもよい。
The
図4は、記憶部12が記憶するデータテーブルのデータ構造の一例を示す図である。記憶部12は、入力するデータの種別に応じて、複数のデータテーブルを記憶してもよい。図4に示すデータテーブルは、一例として、英文字等を入力するための英文字用データテーブルである。記憶部12は、この他に、仮名文字等を入力するための仮名文字用データテーブル、数字等を入力するための数字用データテーブル、記号等を入力するための記号用データテーブル等を記憶してもよい。
FIG. 4 is a diagram showing an example of the data structure of a data table stored in the
図4に示すとおり、第1列は第1操作を、第2列は第2操作を、第3列はデータを、それぞれ示している。ここで、第1操作は、例えば、データグループが特定されていない場合に、HH装置20によって検知される操作である。また、第2操作は、例えば、データグループが特定されてる場合に、HH装置20によって検知される操作である。
As shown in FIG. 4, the first column indicates the first operation, the second column indicates the second operation, and the third column indicates the data. Here, the first operation is, for example, an operation detected by the
データテーブルに含まれるデータは、少なくとも1つのデータを含むデータグループに属する。データテーブルにおけるデータグループの編成方法は、特に限定されず、例えば、英文字であればアルファベット順、仮名文字であれば五十音順のように、所定の標準によって規定された文字の順序の近しいもの同士を同一のデータグループに含めるように、データグループを編成してもよい。或いは、各データの使用頻度(一人又は複数人のユーザの使用頻度等)の近しいデータ同士を同一のデータグループに含めるように、データグループを編成してもよい。また、ユーザが任意にデータグループを編成可能としてもよい。データテーブルにおいて、各データグループは第1操作に対応付けられる。図4に示す例では、例えば、第1操作が「上スワイプ操作」であるデータグループには、英文字a、b、c、d、e、f、g、h、及びiの文字データが属する。また、第1操作が「左スワイプ操作」であるデータグループには、英文字j、k、l、m、n、o、p、q、及びrの文字データが属する。また、第1操作が「右スワイプ操作」であるデータグループには、英文字s、t、u、v、w、x、y、及びzの文字データが属する。また、第1操作が「左下スワイプ操作」であるデータグループには、「Space」の機能を指定するためのデータ(機能データ)の1つのみが属する。また、第1操作が「下スワイプ操作」であるデータグループには、入力データの種別(仮名文字、英文字、数字、及び記号)を指定するためのデータ(種別データ)、方向(上、下、左、及び右)を指定するためのデータ(方向指定データ)、及び「Enter」のが属する。また、第1操作が「右下スワイプ操作」であるデータグループには、「Back space」の機能データの1つのみが属する。なお、データテーブルにおいて、ハイフン(「-」)が表記された箇所については、対応するデータは無いものとする。 The data contained in the data table belong to a data group containing at least one data. The method of organizing data groups in the data table is not particularly limited. Data groups may be organized such that things are included in the same data group. Alternatively, data groups may be organized so that data having similar frequency of use (frequency of use by one or more users, etc.) are included in the same data group. Also, the user may be allowed to arbitrarily organize data groups. In the data table, each data group is associated with a first operation. In the example shown in FIG. 4, for example, character data of English characters a, b, c, d, e, f, g, h, and i belong to a data group whose first operation is an “up swipe operation”. . Character data of alphabetic characters j, k, l, m, n, o, p, q, and r belong to a data group whose first operation is a “left swipe operation”. Also, character data of alphabetic characters s, t, u, v, w, x, y, and z belong to a data group whose first operation is a “right swipe operation”. Further, only one piece of data (function data) for designating the "Space" function belongs to the data group whose first operation is the "lower left swipe operation". In addition, in the data group whose first operation is "down swipe operation", data (type data) for specifying the type of input data (kana characters, English letters, numbers and symbols), direction (up, down) , left, and right), and "Enter". In addition, only one function data of "back space" belongs to the data group whose first operation is "lower right swipe operation". In the data table, hyphens (“-”) indicate no corresponding data.
データテーブルにおいて、各データは第2操作に対応付けられる。図4に示す例では、第1操作が「上スワイプ操作」であるデータグループでは、英文字a、b、c、d、e、f、g、h、及びiのデータはそれぞれ、第2操作としての左上スワイプ操作、上スワイプ操作、右上スワイプ操作、左スワイプ操作、タップ操作、右スワイプ操作、左下スワイプ操作、下スワイプ操作、及び右下スワイプ操作のそれぞれに対応付けられる。また、第1操作が「左スワイプ操作」であるデータグループでは、英文字j、k、l、m、n、o、p、q、及びrの文字データはそれぞれ、第2操作としての左上スワイプ操作、上スワイプ操作、右上スワイプ操作、左スワイプ操作、タップ操作、右スワイプ操作、左下スワイプ操作、下スワイプ操作、及び右下スワイプ操作のそれぞれに対応付けられる。 In the data table, each data is associated with a second operation. In the example shown in FIG. 4 , in the data group whose first operation is the “up swipe operation”, the data of the English letters a, b, c, d, e, f, g, h, and i are respectively are associated with each of the upper left swipe operation, the upper swipe operation, the upper right swipe operation, the left swipe operation, the tap operation, the right swipe operation, the lower left swipe operation, the lower swipe operation, and the lower right swipe operation. Further, in the data group in which the first operation is the "left swipe operation", the character data of the English characters j, k, l, m, n, o, p, q, and r are each swiped to the left as the second operation. Operation, up swipe operation, upper right swipe operation, left swipe operation, tap operation, right swipe operation, lower left swipe operation, lower swipe operation, and lower right swipe operation.
また、第1操作が「右スワイプ操作」であるデータグループでは、英文字s、t、u、v、w、x、y、及びzの文字データはそれぞれ、第2操作としての左上スワイプ操作、上スワイプ操作、右上スワイプ操作、左スワイプ操作、タップ操作、右スワイプ操作、左下スワイプ操作、及び下スワイプ操作のそれぞれに対応付けられる。また、第1操作が「左下スワイプ操作」であるデータグループは、データとして、「Space」の機能データの1つのみを含む。 Further, in the data group in which the first operation is the "right swipe operation", the character data of the English letters s, t, u, v, w, x, y, and z are respectively subjected to the upper left swipe operation as the second operation, It is associated with each of an up swipe operation, an upper right swipe operation, a left swipe operation, a tap operation, a right swipe operation, a lower left swipe operation, and a down swipe operation. Also, the data group whose first operation is the "lower left swipe operation" includes only one function data of "Space" as data.
また、第1操作が「下スワイプ操作」であるデータグループでは、第2操作として、仮名文字の種別データは左上スワイプ操作に、上の方向指定データは上スワイプ操作に、英文字の種別データは右上スワイプ操作に、左の方向指定データは左スワイプ操作に、「Enter」の機能データはタップ操作に、右の方向指定データは右スワイプ操作に、数字の種別データは左下スワイプ操作に、下の方向指定データは下スワイプ操作に、記号の種別データは右下スワイプ操作に、それぞれ対応付けられる。また、第1操作が「右下スワイプ操作」であるデータグループは、データとして、「Back space」の機能データの1つのみを含む。 In the data group whose first operation is the "down swipe operation", the second operation is the upper left swipe operation for the kana character type data, the up swipe operation for the upward direction designation data, and the upper swipe operation for the alphabetic character type data. Right swipe operation, Left direction designation data as left swipe operation, "Enter" function data as tap operation, Right direction designation data as right swipe operation, Number type data as left swipe operation, Down The direction designation data is associated with the downward swipe operation, and the symbol type data is associated with the downward right swipe operation. Also, the data group whose first operation is the “right swipe operation” includes only one function data of “back space” as data.
図3に戻り、画像出力部13は、例えば、液晶ディスプレイや有機ELディスプレイ等のディスプレイであって、処理部15等から供給された表示データに基づいて種々の画像(動画を含む)を表示することが可能である。画像出力部13は、光透過型であってもよいし、非光透過型であってもよい。
Returning to FIG. 3, the
音声出力部14は、例えば、スピーカであって、処理部15等から供給された音声データに基づいて種々の音声を出力することが可能である。
The
処理部15は、例えば、一又は複数個のプロセッサ及びその周辺回路を含むCPUであって、HMD装置10の全体的な動作を統括的に制御する。処理部15は、HMD装置10の各種処理が記憶部12に記憶されているプログラム等に基づいて適切な手順で実行されるように、通信部11、画像出力部13、及び音声出力部14等の動作を制御する。処理部15は、記憶部12に記憶されているプログラム(オペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等)に基づいて処理を実行する。
The
処理部15は、例えば、ペアリング部151、表示制御部152、判別部153、入力処理部154等を含む。
The
ペアリング部151は、例えば、WiFi(登録商標)やBluetooth(登録商標)等の任意の無線通信規格によるペアリング処理として、HMD装置10をHH装置20と通信可能な状態に設定する。
The
表示制御部152は、記憶部12に記憶された表示データ等に基づいて、画像出力部13に種々の画像を表示させる。特に、表示制御部152は、画像出力部13における、オブジェクトを含む所定のガイドGの表示を制御する。
The
図5A及び図5Bを用いて、表示制御部152が画像出力部13に表示するガイドGの態様について説明する。図5Aは、ガイドの表示態様の一例を示す図である。図5Aには、一例として、英文字等を入力するための英文字用ガイドGが表示されている。この他に、表示制御部152は、仮名文字等を入力するための仮名文字用ガイド、数字等を入力するための数字用ガイド、及び記号等を入力するための記号用ガイド等を画像出力部13に表示してもよい。
Modes of the guide G displayed on the
ガイドGは、上述した入力データの候補となる複数のデータの各々(例えば、英文字「a」の文字データ)を識別するためのオブジェクト(図5Aに示す例では、英文字「a」が表記された略矩形のオブジェクト)を含む。各オブジェクトは、少なくとも1つのオブジェクトを含むオブジェクトグループに含まれる。オブジェクトグループの形状は特に限定されないが、略矩形、略円形、略多角形、不定形、第1基準位置を略中心とする略円に含まれる略扇形等の任意の形状であってよい。また、オブジェクトの形状は特に限定されないが、略矩形、略円形、略多角形、不定形、第2基準位置を略中心とする略円に含まれる略扇形等の任意の形状であってよい。また、オブジェクトには、当該オブジェクトに対応するデータを示す表記が付されていてもよい。 The guide G is an object (in the example shown in FIG. 5A, the English character "a" is displayed) for identifying each of the plurality of data (for example, character data of the English character "a") that are candidates for the input data described above. rectangular object). Each object is included in an object group that contains at least one object. The shape of the object group is not particularly limited, but may be any shape such as a substantially rectangular shape, a substantially circular shape, a substantially polygonal shape, an irregular shape, or a substantially fan shape included in a substantially circle centered substantially at the first reference position. The shape of the object is not particularly limited, but may be any shape such as a substantially rectangular shape, a substantially circular shape, a substantially polygonal shape, an irregular shape, or a substantially fan shape included in a substantially circle centered substantially at the second reference position. Also, an object may have a notation indicating data corresponding to the object.
図5Aに示すとおり、ガイドGでは、オブジェクトグループAD2、AD4、AD5、AD7、及びAD8が、第1基準位置P1に対して特定の方向(方向を持たない「0方向」の場合も含み得る)に配置される。ここで、上述したオブジェクトグループAD2、AD4、AD5、AD7、及びAD8それぞれの第1基準位置P1に対する「特定の方向」は、例えば、データテーブルにおいて、当該オブジェクトグループに対応するデータグループに対応付けられた「第1操作」が指定する方向と同一であってよい。 As shown in FIG. 5A, in the guide G, the object groups AD2, AD4, AD5, AD7, and AD8 are in a specific direction with respect to the first reference position P1. placed in Here, the "specific direction" of each of the object groups AD2, AD4, AD5, AD7, and AD8 with respect to the first reference position P1 is associated with the data group corresponding to the object group in the data table, for example. It may be the same as the direction specified by the "first operation".
例えば、オブジェクトグループAD2に対応するデータグループは、図4に示すデータテーブルにおいては、「第1操作」としての「上スワイプ操作」に対応付けられている。したがって、図5Aに示すとおり、オブジェクトグループAD2は、第1基準位置P1に対して、当該「上スワイプ操作」が指定する方向である「上」に配置される。同様にして、オブジェクトグループAD4、AD5、AD6、AD7、及びAD8はそれぞれ、第1基準位置P1に対して「左」、「右」、「左下」、「下」、「右下」のそれぞれに配置される。 For example, the data group corresponding to the object group AD2 is associated with the "up swipe operation" as the "first operation" in the data table shown in FIG. Therefore, as shown in FIG. 5A, the object group AD2 is arranged "up", which is the direction specified by the "up swipe operation", with respect to the first reference position P1. Similarly, the object groups AD4, AD5, AD6, AD7, and AD8 are respectively "left", "right", "bottom left", "bottom", and "bottom right" with respect to the first reference position P1. placed.
なお、第1基準位置P1は、ガイドGの内部であれば、特にその位置は限定されないが、例えば、ガイドGの略中心に位置してもよい。 The position of the first reference position P1 is not particularly limited as long as it is inside the guide G;
図4に示すデータテーブルには「第1操作」が「0方向」、「左上」、及び「右上」であるデータグループは含まれていないため、これに対応して図5Aにおいても、第1基準位置P1に対して「0方向」、「左上」、及び「右上」のそれぞれに配置された領域AD0、AD1、AD3には、オブジェクトグループは配置されていない。しかしながら、データテーブルの構成に応じて、当該領域AD0、AD1、AD3にオブジェクトグループを配置してもよい。
Since the data table shown in FIG. 4 does not include data groups whose "first operation" is "
次に、図5Bを用いて、オブジェクトグループにおけるオブジェクトの表示態様について説明する。図5Bは、オブジェクトグループAD2の表示態様の一例を示す図である。説明の便宜上、図5Bにおいて、「e」の文字データに対応するオブジェクトBD0には、「e」の文字を示していない。なお、他のオブジェクトグループAD4、AD5、AD7も、図5Bと同様の表示態様を有してもよい。 Next, the display mode of the objects in the object group will be described with reference to FIG. 5B. FIG. 5B is a diagram showing an example of a display mode of the object group AD2. For convenience of explanation, the character "e" is not shown in the object BD0 corresponding to the character data "e" in FIG. 5B. Note that other object groups AD4, AD5, and AD7 may also have a display mode similar to that of FIG. 5B.
図5Bに示すとおり、オブジェクトグループAD2では、オブジェクトBD0~BD8が、第2基準位置P2に対して特定の方向(方向を持たない「0方向」の場合も含み得る)に配置される。ここで、オブジェクトBD0~BD8それぞれの第2基準位置P2に対する「特定の方向」は、例えば、データテーブルにおいて、当該オブジェクトに対応するデータに対応付けられた「第2操作」が指定する方向と同一であってよい。
As shown in FIG. 5B, in the object group AD2, the objects BD0 to BD8 are arranged in a specific direction (including the case of "
例えば、オブジェクトBD1(aの文字データに対応するオブジェクト)に対応するデータ(aの文字データ)は、図4に示すデータテーブルにおいては、「第2操作」としての「左上スワイプ操作」に対応付けられている。したがって、図5Bに示すとおり、aの文字データに対応するオブジェクトBD1は、第2基準位置P2に対して、当該「左上スワイプ操作」が指定する方向である「左上」に配置される。同様にして、b、c、d、e、f、g、h、及びiそれぞれに対応するオブジェクトBD2、BD3、BD4、BD0、BD5、BD6、BD7、及びBD8はそれぞれ、第2基準位置P2に対して「上」、「右上」、「左」、「0方向」、「右」、「左下」、「下」、及び「右下」のそれぞれに配置される。 For example, the data (character data a) corresponding to the object BD1 (object corresponding to the character data a) is associated with the "upper left swipe operation" as the "second operation" in the data table shown in FIG. It is Therefore, as shown in FIG. 5B, the object BD1 corresponding to the character data of a is placed in the "upper left" direction, which is the direction specified by the "upper left swipe operation", with respect to the second reference position P2. Similarly, objects BD2, BD3, BD4, BD0, BD5, BD6, BD7, and BD8 corresponding to b, c, d, e, f, g, h, and i, respectively, are positioned at the second reference position P2. On the other hand, they are arranged at "upper", "upper right", "left", "0 direction", "right", "lower left", "lower", and "lower right", respectively.
以上のとおり、データ入力システム1では、入力データの候補となる複数のデータのそれぞれに対応付けられたオブジェクトを含むガイドGが表示される。そのため、ユーザは、HH装置20を視認することなくデータを入力することが可能となる。また、ガイドGにおいて、オブジェクトグループが第1基準位置に対して配置される方向は、データテーブルにおいてデータグループに対応付けられた第1操作の方向に一致している。更に、ガイドGにおいて、オブジェクトが第2基準位置に対して配置される方向は、データテーブルにおいてデータに対応付けられた第2操作の方向に一致している。したがって、ユーザは、ガイドGを視認することにより、データグループ及びデータを指定するための操作の方向を直感的に把握することが可能となる。また、データテーブルにおいて、データグループ及びデータは、方向を指定する操作に対応付けられている。そのため、HH装置20の操作部23に基準となる位置を設ける必要がなくなり、ユーザは操作部23が有する操作領域の任意の箇所に対して操作を行うことが可能となる。
As described above, in the
なお、第2基準位置P2は、オブジェクトグループの内部であれば、特にその位置は限定されないが、例えば、オブジェクトグループの略中心に位置してもよい。 The position of the second reference position P2 is not particularly limited as long as it is inside the object group. For example, the second reference position P2 may be positioned substantially at the center of the object group.
図3に戻り、判別部153は、記憶部12等に記憶されたデータテーブルを参照して、HH装置20から受信した操作情報に基づき、データテーブルに含まれるデータから入力データを判別する。判別部153は、例えば、第1操作に基づいてデータグループを特定し、第2操作及び特定されたデータグループに基づいてデータを特定する。
Returning to FIG. 3, the
判別部153は、例えば、データグループが特定されているか否かに応じて、HH装置20から受信する操作情報が、第1操作であるか第2操作であるかを区別した上で、データグループ又はデータを特定する。具体的には、判別部153は、データグループが特定されていない場合、HH装置20から受信する操作情報は第1操作を示すものとして、データグループを特定する。また、判別部153は、データグループが特定されている場合、操作情報HH装置20から受信する操作情報は第2操作を示すものとして、データを特定する。
For example, the
なお、判別部153は、操作情報によって特定されたデータグループが、データテーブルにおいてデータを1つのみ含む場合は、当該操作情報が当該1つのデータを入力データとして判別してもよい。
If the data group specified by the operation information includes only one data in the data table, the
入力処理部154は、判別部153等によって判別された入力データに基づいて、当該入力データの入力処理を実行する。
The
(1-3)HH装置20
HH装置20は、ユーザが片手又は両手で操作可能であればどのようなデバイスであってもよく、例えば、スマートフォンやタブレット端末等の情報処理装置であってよい。図3に示すとおり、HH装置20は、例えば、通信部21と、記憶部22と、操作部23と、処理部24と、を備える。
(1-3)
The
通信部21は、HH装置20を任意の通信ネットワークに接続するための通信インターフェース回路を有する。通信部21は、例えば、HMD装置10等から受信したデータを処理部24に供給する。通信部21は、処理部24から供給されたデータをHMD装置10等に送信する。
The
記憶部22は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置のうちの少なくとも一つを有する。記憶部22は、処理部24による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ(所定の処理に係る一時的なデータを含む)等を記憶する。各種プログラムは、例えばCD-ROM、DVD-ROM等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部22にインストールされてもよい。
The
操作部23は、ユーザによる操作を受付可能であり、例えば、タッチパネルやキーボタン等であってよい。操作部23は、例えば、タッチパネル等で構成される場合、ユーザの操作に応じて接触位置や強度を示す操作信号を発生させ、当該操作信号を処理部24に供給する。また、操作部23は、例えば、キーボタン等で構成される場合、押下されたキーボタン等に応じた操作信号を発生させ、当該操作信号を処理部24に供給する。また、操作部23は、HH装置20自体を動かす操作に応じた操作信号を発生させ、当該操作信号を処理部24に供給してもよい。
The
処理部24は、例えば、一又は複数個のプロセッサ及びその周辺回路を含むCPUであって、HH装置20の全体的な動作を統括的に制御する。処理部24は、HH装置20の各種処理が記憶部22に記憶されているプログラム等に基づいて適切な手順で実行されるように、通信部21、及び操作部23等の動作を制御する。処理部24は、記憶部22に記憶されているプログラム(オペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等)に基づいて処理を実行する。処理部24は、例えば、ペアリング部241、検知部242等を含む。
The
ペアリング部241は、例えば、WiFi(登録商標)やBluetooth(登録商標)等の任意の無線通信規格によるペアリング処理として、HMD装置10をHH装置20と通信可能な状態に設定する。
The
検知部242は、ユーザが操作部23に対して行った操作を検知し、HMD装置10に操作情報を送信する。具体的には、操作部23から供給された操作信号に基づいて、ユーザによる操作の態様を識別するための操作情報を生成した上で、当該操作情報を、通信部21を介してHMD装置10に送信する。操作情報は、例えば、当該操作が特定の方向を指定する操作であるか否かを示す情報や、当該操作が指定する特定の方向を示す情報を含んでもよい。特定の方向を指定しない操作(非方向指定操作)は、例えば、タッチパネル等におけるタップ操作、特定のキーボタン等の押下操作、HH装置20自体のシェイク操作等を含んでもよい。また、特定の方向を指定する操作(方向指定操作)は、例えば、タッチパネル等におけるスワイプ操作、特定のキーボタン等の押下操作、HH装置20自体の特定方向へのシェイク操作等を含んでもよい。
The
(2)フロー
次に、図6を用いて、データ入力システム1によるデータ入力処理の動作フローの一例を説明する。当該動作フローは、HMD装置10の記憶部12に記憶されたプログラム及びHH装置20に記憶されたプログラムに基づいて、主にHMD装置10の処理部15及びHH装置20の処理部24により、HMD装置10及びHH装置20の各要素と協働して実行される。
(2) Flow Next, an example of the operation flow of data input processing by the
(S101)
まず、HMD装置10及びHH装置20は、ペアリング部151及びペアリング部241によって所定のプロトコルに沿った信号を送受信することにより、互いに通信可能な状態に設定するペアリング処理を実行する。当該ペアリング処理により、HH装置20の検知部242は、ユーザによる操作部23に対する操作を検知して当該操作の態様を示す操作情報を生成し、生成した操作情報をHMD装置10に送信可能な状態となる。
(S101)
First, the
(S102)
次に、HMD装置10の表示制御部152は、画像出力部13に、例えば図2に示した入力フレーム及びガイドを表示する。このとき、表示制御部152は、記憶部12に記憶された複数のガイドのうち、予め設定された種別のガイドを画像出力部13に表示する。ガイドの種別の設定は、ユーザが任意に設定可能としてもよい。
(S102)
Next, the
(S103)
次に、HMD装置10の判別部153は、HH装置20から操作情報を受信したか否かを判定する。上述したとおり、ユーザがHH装置20の操作部23を操作すると、HH装置20の検知部242が当該操作の態様を示す操作情報を生成し、生成した操作情報をHMD装置10に送信する。HMD装置10の判別部153は、操作情報を受信していないと判定した場合(S103;No)、ステップS103を繰り返して、操作情報を受信するまで待機する。また、判別部153は、操作情報を受信したと判定した場合(S103;Yes)、処理はステップS104に進む。
(S103)
Next, the
(S104)
判別部153は、データグループが特定されているか否かを判定する。データグループが特定されていると判定された場合(S104;Yes)、処理はステップS108に進む。データグループが特定されていないと判定された場合(S104;No)、処理はステップS105に進む。
(S104)
The determining
(S105)
データグループが特定されていないと判定された場合(S104;No)、判別部153は、データテーブルを参照し、受信した操作情報を第1操作とみなして、当該操作情報に基づいてデータグループを特定する。図4に示したデータテーブルの例では、例えば受信した操作情報が「上スワイプ操作」である場合は、データテーブルにおいて第1操作が「上スワイプ操作」であるデータグループ(英文字a、b、c、d、e、f、g、h、及びiの文字データが属するデータグループ)が特定される。
(S105)
When it is determined that the data group is not specified (S104; No), the
(S106)
次に、表示制御部152は、データグループが特定された場合、フィードバック表示として、特定されたデータグループに対応するオブジェクトグループを、強調表示する。強調表示の態様は、特に限定されないが、当該オブジェクトグループに枠等のオブジェクトを付す態様、当該オブジェクトグループの色を他のオブジェクトと異なる色とする態様、当該オブジェクトグループのサイズを変更する(大きく又は小さくする)態様、当該オブジェクトグループを動かす態様、当該オブジェクトグループ以外の少なくとも1つのオブジェクトグループ乃至少なくとも1つのオブジェクトを消す態様等、任意の態様であってよい。なお、処理部15は、当該強調表示に合わせた音声を音声出力部14に出力させてもよい。
(S106)
Next, when the data group is specified, the
(S107)
次に、判別部153は、データテーブルを参照して、特定されたデータグループが含むデータが1つのみであるか又は複数であるかを判定する。特定されたデータグループが含むデータが1つのみであると判定された場合は、処理はステップS108に進む。特定されたデータグループが含むデータが複数であると判定された場合は、処理はステップS103に進む。
(S107)
Next, the
(S108)
判別部153は、データテーブルを参照して、受信した操作情報を第2操作とみなして、当該操作情報に基づいてデータを特定する。これにより、判別部153は、特定されたデータを入力データとして判別する。図4に示したデータテーブルの例では、上述したとおり第1操作が「上スワイプ操作」であったとすると、例えば本ステップS108において受信した操作情報が「左下スワイプ操作」である場合は、データテーブルにおいて第1操作が「上スワイプ操作」であるデータグループのうち第2操作が「左下スワイプ操作」である英文字「a」の文字データが特定される。そして、特定された英文字「a」の文字データが入力データとして判別される。
(S108)
The
(S109)
次に、表示制御部152は、データが特定された場合、フィードバック表示として、特定されたデータに対応するオブジェクトを、強調表示する。強調表示の態様は、特に限定されないが、当該オブジェクトに枠等のオブジェクトを付す態様、当該オブジェクトの色を他のオブジェクトと異なる色とする態様、当該オブジェクトのサイズを変更する(大きく又は小さくする)態様、当該オブジェクトを動かす態様、当該オブジェクト以外の少なくとも1つのオブジェクトの表示を消す態様等、任意の態様であってよい。なお、処理部15は、当該強調表示に合わせた音声を音声出力部14に出力させてもよい。
(S109)
Next, when the data is specified, the
(S110)
次に、入力処理部154は、特定された入力データに基づいて、入力処理を実行する。例えば、入力データが文字データである場合は、当該文字データが指定する文字を入力する処理を実行する。また、入力データが方向データである場合は、当該方向データが指定する方向を入力する処理を実行する。また、入力データが機能データである場合は、当該機能データが指定する機能を入力する処理を実行する。なお、入力データが種別データである場合は、判別部153は、入力データの判別に用いるデータテーブルを、当該種別データが指定するデータテーブルに変更する。以降は、データを入力するためのモードが終了するまで、ステップS103からステップS110が繰り返される。
(S110)
Next, the
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。 The embodiments described above are for facilitating understanding of the present invention, and are not intended to limit and interpret the present invention. Each element included in the embodiment and its arrangement, materials, conditions, shape, size, etc. are not limited to those illustrated and can be changed as appropriate. Also, it is possible to partially replace or combine the configurations shown in different embodiments.
1…データ入力システム、10…HMD装置、11…通信部、12…記憶部、13…画像出力部、14…音声出力部、15…処理部、151…ペアリング部、152…表示制御部、153…判別部、154…入力処理部、20…HH装置、21…通信部、22…記憶部、23…操作部、24…処理部、241…ペアリング部、242…検知部
DESCRIPTION OF
Claims (9)
操作を検知する検知部と、
前記複数のデータの各々を記憶する記憶部を参照して、前記検知部が検知した操作に基づいて、前記複数のデータから入力データを判別する判別部と、
を備えるデータ入力システムであって、
前記記憶部は、前記複数のデータに含まれる少なくとも1つのデータを含むデータグループの各々を第1操作に対応付け、且つ前記データグループに含まれる前記少なくとも1つのデータの各々を第2操作に対応付けて、記憶し、
前記判別部は、前記記憶部を参照して、前記検知部が検知した前記第1操作に基づいて前記データグループを特定し、且つ前記検知部が検知した前記第2操作及び前記特定した前記データグループに基づいて前記データを特定することにより、特定された前記データを入力データとして判別し、
前記表示制御部は、
前記データグループに含まれる前記少なくとも1つのデータの各々に対応するオブジェクトを含むオブジェクトグループを、第1基準位置に対して前記第1操作が指定する方向に配置されるように表示し、且つ、
前記オブジェクトグループに含まれる前記オブジェクトの各々を、第2基準位置に対して前記第2操作が指定する方向に配置されるように表示する、データ入力システム。 a display control unit that controls display of a plurality of objects corresponding to each of a plurality of data;
a detection unit that detects an operation;
a determination unit that refers to a storage unit that stores each of the plurality of data and determines input data from the plurality of data based on the operation detected by the detection unit;
A data entry system comprising:
The storage unit associates each data group including at least one data included in the plurality of data with a first operation, and associates each of the at least one data included in the data group with a second operation. attach, memorize,
The determination unit refers to the storage unit, identifies the data group based on the first operation detected by the detection unit, and determines the second operation detected by the detection unit and the identified data. identifying the data based on the group, determining the identified data as input data;
The display control unit
displaying an object group including objects corresponding to each of the at least one data included in the data group so as to be arranged in the direction specified by the first operation with respect to a first reference position; and
A data input system for displaying each of the objects included in the object group so as to be arranged in a direction specified by the second operation with respect to a second reference position.
操作を示す操作情報を取得する取得部と、
を備える表示装置であって、
前記表示制御部は、
前記複数のデータの各々に対応するオブジェクトを含むオブジェクトグループを、第1基準位置に対して第1操作情報が指定する方向に配置されるように表示し、且つ、
前記オブジェクトグループに含まれる前記オブジェクトの各々を、第2基準位置に対して第2操作情報が指定する方向に配置されるように表示する、表示装置。 a display control unit that controls display of a plurality of objects corresponding to each of a plurality of data;
an acquisition unit that acquires operation information indicating an operation;
A display device comprising
The display control unit
displaying an object group including an object corresponding to each of the plurality of data so as to be arranged in a direction specified by the first operation information with respect to the first reference position;
A display device that displays each of the objects included in the object group so as to be arranged in a direction specified by second operation information with respect to a second reference position.
前記検知部が検知した前記操作に基づいて、前記複数のデータから入力データを判別する判別部と、
を備えるデータ入力システムであって、
前記判別部は、前記複数のデータに含まれる各データを第1操作及び第2操作に対応付けて記憶する記憶部を参照して、前記検知部が検知した第1操作及び第2操作に基づいて前記データを特定することにより、特定された前記データを前記入力データとして判別する、データ入力システム。 a detection unit that detects an operation;
a determination unit that determines input data from the plurality of data based on the operation detected by the detection unit;
A data entry system comprising:
The determination unit refers to a storage unit that stores each data included in the plurality of data in association with a first operation and a second operation, and based on the first operation and the second operation detected by the detection unit. a data input system, wherein the specified data is determined as the input data by specifying the data with a
前記複数のデータの各々を記憶する記憶部を参照して、前記検知部が検知した操作に基づいて、前記複数のデータから入力データを判別する判別部と、
を備えるデータ入力システムであって、
前記記憶部は、前記複数のデータに含まれる少なくとも1つのデータを含むデータグループの各々を第1操作に対応付け、且つ前記データグループに含まれる前記少なくとも1つのデータの各々を第2操作に対応付けて、記憶し、
前記判別部は、前記記憶部を参照して、前記検知部が検知した前記第1操作に基づいて前記データグループを特定し、前記検知部が検知した前記第2操作及び前記特定した前記データグループに基づいて前記データを特定することにより、特定された前記データを入力データとして判別する、データ入力システム。 a detection unit that detects an operation;
a determination unit that refers to a storage unit that stores each of the plurality of data and determines input data from the plurality of data based on the operation detected by the detection unit;
A data entry system comprising:
The storage unit associates each data group including at least one data included in the plurality of data with a first operation, and associates each of the at least one data included in the data group with a second operation. attach, memorize,
The determination unit refers to the storage unit, identifies the data group based on the first operation detected by the detection unit, and determines the second operation detected by the detection unit and the identified data group. A data entry system, wherein the identified data is determined as input data by identifying the data based on a.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019166282A JP2022177328A (en) | 2019-09-12 | 2019-09-12 | Data input system and display unit |
PCT/JP2020/034515 WO2021049629A1 (en) | 2019-09-12 | 2020-09-11 | Data input system and display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019166282A JP2022177328A (en) | 2019-09-12 | 2019-09-12 | Data input system and display unit |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022177328A true JP2022177328A (en) | 2022-12-01 |
Family
ID=74865758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019166282A Pending JP2022177328A (en) | 2019-09-12 | 2019-09-12 | Data input system and display unit |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2022177328A (en) |
WO (1) | WO2021049629A1 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6515615B2 (en) * | 2015-03-19 | 2019-05-22 | セイコーエプソン株式会社 | Control device, control method of electronic device, and program |
JP6776578B2 (en) * | 2016-03-29 | 2020-10-28 | セイコーエプソン株式会社 | Input device, input method, computer program |
CN106227449A (en) * | 2016-07-25 | 2016-12-14 | 北京拉酷网络科技有限公司 | Input control method based on sense of touch vision technique and system |
JP6995650B2 (en) * | 2018-01-30 | 2022-01-14 | Dynabook株式会社 | Wearable devices and their operation methods |
-
2019
- 2019-09-12 JP JP2019166282A patent/JP2022177328A/en active Pending
-
2020
- 2020-09-11 WO PCT/JP2020/034515 patent/WO2021049629A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2021049629A1 (en) | 2021-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5203797B2 (en) | Information processing apparatus and display information editing method for information processing apparatus | |
US11132063B2 (en) | Information processing apparatus for interactively performing work based on input content in extended work space | |
US9891822B2 (en) | Input device and method for providing character input interface using a character selection gesture upon an arrangement of a central item and peripheral items | |
US8619048B2 (en) | Method and device of stroke based user input | |
US20090073136A1 (en) | Inputting commands using relative coordinate-based touch input | |
US20160349926A1 (en) | Interface device, portable device, control device and module | |
KR20150094213A (en) | Touch execution device using a thumb | |
KR20110095565A (en) | User input device, method for recognizing user finger prints, and method for recognizing user touches using a transparent sensor grid panel which is able to recognize finger prints or mult-touch | |
JP2013242821A (en) | Picture display device and picture operation method of the same | |
KR20150024247A (en) | Method and apparatus for executing application using multiple input tools on touchscreen device | |
US20170285904A1 (en) | Direct data transfer electronic device and method | |
US9671881B2 (en) | Electronic device, operation control method and recording medium | |
US20230236673A1 (en) | Non-standard keyboard input system | |
JP2014081800A (en) | Handwriting input device and function control program | |
US20230009807A1 (en) | Text entry method and mobile device | |
JP2022177328A (en) | Data input system and display unit | |
CN113362410B (en) | Drawing method, drawing device, electronic apparatus, and medium | |
US20200293118A1 (en) | Character input device, character input method, and character input program | |
KR20150025696A (en) | system and method for mode switching of electronic pen | |
JP7420016B2 (en) | Display device, display method, program, display system | |
KR102258313B1 (en) | Mobile terminal and method for controlling the same | |
KR20150101703A (en) | Display apparatus and method for processing gesture input | |
JP3169427U (en) | Computer equipment | |
US20190346888A1 (en) | Information processing apparatus and system and non-transitory computer readable medium | |
TWM545944U (en) | Presentation device and presentation system |