JP2022177328A - Data input system and display unit - Google Patents

Data input system and display unit Download PDF

Info

Publication number
JP2022177328A
JP2022177328A JP2019166282A JP2019166282A JP2022177328A JP 2022177328 A JP2022177328 A JP 2022177328A JP 2019166282 A JP2019166282 A JP 2019166282A JP 2019166282 A JP2019166282 A JP 2019166282A JP 2022177328 A JP2022177328 A JP 2022177328A
Authority
JP
Japan
Prior art keywords
data
unit
group
input
specified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019166282A
Other languages
Japanese (ja)
Inventor
翔悟 阿品
Shogo Ajina
拓也 広瀬
Takuya Hirose
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nodesk
Nodesk Inc
Original Assignee
Nodesk
Nodesk Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nodesk, Nodesk Inc filed Critical Nodesk
Priority to JP2019166282A priority Critical patent/JP2022177328A/en
Priority to PCT/JP2020/034515 priority patent/WO2021049629A1/en
Publication of JP2022177328A publication Critical patent/JP2022177328A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory

Abstract

To provide a data input system with improved operability.SOLUTION: A data input system 1 comprises: a storage unit that stores each of data groups including one or more pieces of data included in a plurality of pieces of data in association with a first operation, and stores each of the one or more pieces of data included in the data groups in association with a second operation; a detection unit that detects the first operation and the second operation; a determination unit that specifies a data group based on the detected first operation, and determines data specified based on the detected second operation and the specified data group as input data; and a display control unit that displays an object group including objects corresponding to the one or more pieces of data included in the data group so that the object group is arranged in a direction designated by the first operation with respect to a first reference position, and displays each of the objects included in the object group so that the objects are arranged in a direction designated by the second operation with respect to a second reference position.SELECTED DRAWING: Figure 3

Description

本発明は、データ入力システム、及び表示装置に関する。 The present invention relates to data entry systems and display devices.

近年、ヘッドマウントディスプレイ(HMD)に拡張現実(augmented reality:AR)や仮想現実(virtual reality:VR)等の映像を投影して、3次元(3D)没入型環境を生成する技術が普及してきている。 In recent years, technology for generating a three-dimensional (3D) immersive environment by projecting images such as augmented reality (AR) and virtual reality (VR) onto a head-mounted display (HMD) has become widespread. there is

ユーザは、3D没入型環境等を得るためにHMDを装着すると、手元の視認性が損なわれ、文字入力を行うことが困難となる場合がある。この点につき、例えば特許文献1には、ユーザがペン型デバイス等を用いて行った手書き動作の移動軌跡を検出することによる空間手書き入力システムが記載されている。また、例えば特許文献2には、ユーザの指に装着される複数のリングと、リングの動きを画像認識するデジタルカメラを搭載したヘッドマウントディスプレイとを用いたハンドジェスチャーの認識方法が記載されている。 When a user wears an HMD to obtain a 3D immersive environment or the like, the visibility of the user's hand is impaired, and it may be difficult to input characters. In this regard, for example, Patent Document 1 describes a spatial handwriting input system by detecting a moving trajectory of a handwriting action performed by a user using a pen-type device or the like. Further, for example, Patent Document 2 describes a hand gesture recognition method using a plurality of rings worn on a user's finger and a head-mounted display equipped with a digital camera that recognizes the movement of the rings. .

特開2016-110249号公報JP 2016-110249 A 特開2010-267220号公報JP 2010-267220 A

しかしながら、例えば特許文献1のような手書き方式の場合、手書き文字が正しく認識されるように正確なストロークが要求される。また、例えば特許文献2のように指等の複数の異なる箇所の動きを検知することによる入力方式では、操作方法が複雑になってしまう。 However, in the case of a handwriting method such as that disclosed in Patent Document 1, accurate strokes are required so that handwritten characters can be correctly recognized. Further, in an input method based on detecting movements of a plurality of different parts of a finger or the like, for example, as in Patent Document 2, the operation method becomes complicated.

そこで、本発明は、操作性を向上させたデータ入力システムを提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a data input system with improved operability.

本発明の一態様に係るデータ入力システムは、複数のデータの各々に対応する複数のオブジェクトの表示を制御する表示制御部と、操作を検知する検知部と、複数のデータの各々を記憶する記憶部を参照して、検知部が検知した操作に基づいて、複数のデータから入力データを判別する判別部と、を備えるデータ入力システムであって、記憶部は、複数のデータに含まれる少なくとも1つのデータを含むデータグループの各々を、第1操作に対応付け、且つデータグループに含まれる少なくとも1つのデータの各々を第2操作に対応付けて、記憶し、判別部は、記憶部を参照して、検知部が検知した第1操作に基づいてデータグループを特定し、検知部が検知した第2操作及び特定したデータグループに基づいてデータを特定することにより、特定されたデータを入力データとして判別し、表示制御部は、データグループに含まれる少なくとも1つのデータの各々に対応するオブジェクトを含むオブジェクトグループを、第1基準位置に対して第1操作が指定する方向に配置されるように表示し、且つ、オブジェクトグループに含まれるオブジェクトの各々を、第2基準位置に対して第2操作が指定する方向に配置されるように表示する。 A data input system according to one aspect of the present invention includes a display control unit that controls display of a plurality of objects corresponding to each of a plurality of data, a detection unit that detects an operation, and a memory that stores each of the plurality of data. a determination unit configured to determine input data from a plurality of data based on an operation detected by the detection unit, wherein the storage unit includes at least one input data included in the plurality of data; Each data group including one data is associated with a first operation, each of at least one data included in the data group is associated with a second operation, and stored, and the determination unit refers to the storage unit Then, a data group is specified based on the first operation detected by the detection unit, data is specified based on the second operation detected by the detection unit and the specified data group, and the specified data is used as input data. The display control unit displays an object group including an object corresponding to each of at least one data included in the data group so as to be arranged in the direction specified by the first operation with respect to the first reference position. and each object included in the object group is displayed so as to be arranged in the direction specified by the second operation with respect to the second reference position.

この態様によれば、ユーザは、第1基準位置に対して所望のオブジェクトグループが配置された方向に第1操作を行うことにより所望のデータグループを指定することが可能となり、また、第2基準位置に対して所望のオブジェクトが配置された方向に第2操作を行うことにより所望のデータを指定することが可能となる。そのため、データ入力システムにおける操作性が向上する。 According to this aspect, the user can specify the desired data group by performing the first operation in the direction in which the desired object group is arranged with respect to the first reference position. Desired data can be specified by performing the second operation in the direction in which the desired object is arranged with respect to the position. Therefore, the operability of the data input system is improved.

本発明によれば、操作性を向上させたデータ入力システムを提供することができる。 According to the present invention, it is possible to provide a data input system with improved operability.

本実施形態に係るデータ入力システム1の概要について説明するための模式図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a schematic diagram for demonstrating the outline|summary of the data input system 1 which concerns on this embodiment. 本実施形態に係るデータ入力システム1の概要について説明するための他の模式図である。It is another schematic diagram for demonstrating the outline|summary of the data input system 1 which concerns on this embodiment. 本実施形態に係るデータ入力システム1の概略構成の一例を示す図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a figure which shows an example of schematic structure of the data input system 1 which concerns on this embodiment. データテーブルのデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of a data table. ガイドの表示態様の一例を示す図である。It is a figure which shows an example of the display mode of a guide. オブジェクトグループの表示態様の一例を示す図である。FIG. 10 is a diagram showing an example of a display mode of object groups; 本実施形態に係るデータ入力システム1による動作フローの一例を示す図である。It is a figure which shows an example of the operation|movement flow by the data input system 1 which concerns on this embodiment.

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。 Preferred embodiments of the present invention will be described with reference to the accompanying drawings. It should be noted that, in each figure, the same reference numerals have the same or similar configurations.

(1)構成
(1-1)データ入力システム1
図1は、本実施形態に係るデータ入力システム1の概要を説明するための模式図である。図2は、本実施形態に係るデータ入力システム1の概要を説明するための他の模式図である。
(1) Configuration (1-1) Data input system 1
FIG. 1 is a schematic diagram for explaining an overview of a data input system 1 according to this embodiment. FIG. 2 is another schematic diagram for explaining the outline of the data input system 1 according to this embodiment.

本実施形態に係るデータ入力システム1は、ヘッドマウントディスプレイ(HMD)装置10を装着したユーザが、ハンドヘルド(HH)装置20に対して行った操作に基づいて、文字等のデータを入力するシステムである。HMD装置10と、HH装置20とは、後述するように、互いに通信可能に接続される。図2に示すとおり、HMD装置10の画像出力部13には、例えば、文字等のデータを入力するための入力フレームFと、入力データの候補となるデータに対応するオブジェクトが含まれるガイドGとが表示される。 A data input system 1 according to the present embodiment is a system in which a user wearing a head-mounted display (HMD) device 10 inputs data such as characters based on operations performed on a handheld (HH) device 20. be. The HMD device 10 and the HH device 20 are communicably connected to each other, as will be described later. As shown in FIG. 2, the image output unit 13 of the HMD device 10 includes, for example, an input frame F for inputting data such as characters, and a guide G including an object corresponding to data that is a candidate for input data. is displayed.

ユーザは、HH装置20を保持した上で、HH装置20の操作部23を、例えば指等で操作(タップ操作やスワイプ操作等)する。HH装置20はユーザの操作を検知し、検知された操作の態様を識別するための操作情報をHMD装置10に送信する。 The user holds the HH device 20 and operates the operation unit 23 of the HH device 20 with, for example, a finger (tap operation, swipe operation, etc.). The HH device 20 detects a user's operation and transmits to the HMD device 10 operation information for identifying the mode of the detected operation.

HMD装置10は、入力データの候補となる複数のデータを、所定のグループ(データグループ)に分けた上で、所定の操作に対応付けて記憶している。HMD装置10は、HH装置20から受信した操作情報に基づいて、当該操作情報が示す操作に対応付けられたデータグループ及びデータを特定することにより、入力データを判別する。判別された入力データは、入力処理によって、例えば入力フレームFに入力される。 The HMD device 10 divides a plurality of data, which are candidates for input data, into predetermined groups (data groups) and stores them in association with predetermined operations. Based on the operation information received from the HH device 20, the HMD device 10 determines the input data by specifying the data group and data associated with the operation indicated by the operation information. The determined input data is input to an input frame F, for example, by an input process.

(1-2)HMD装置10
図3は、本実施形態に係るデータ入力システム1の機能構成の一例を示す図である。HMD装置10は、ユーザの頭部の周囲に画像出力部が配置されるようにユーザによって装着されるデバイスであれば、例えば、ヘルメット型、グラス型、ゴーグル型等の任意の形状であってよい。図3に示すとおり、HMD装置10は、例えば、通信部11と、記憶部12と、画像出力部13と、処理部15とを備える。
(1-2) HMD device 10
FIG. 3 is a diagram showing an example of the functional configuration of the data input system 1 according to this embodiment. As long as the HMD device 10 is a device worn by the user so that the image output unit is arranged around the user's head, the HMD device 10 may have any shape, such as a helmet type, glasses type, or goggle type. . As shown in FIG. 3, the HMD device 10 includes, for example, a communication unit 11, a storage unit 12, an image output unit 13, and a processing unit 15.

通信部11は、HMD装置10を任意の通信ネットワークに接続するための通信インターフェース回路を有する。通信部11は、例えば、HH装置20等から受信したデータを処理部15に供給する。通信部11は、処理部15から供給されたデータをHH装置20等に送信する。 The communication unit 11 has a communication interface circuit for connecting the HMD device 10 to any communication network. The communication unit 11 supplies data received from the HH device 20 or the like to the processing unit 15, for example. The communication unit 11 transmits the data supplied from the processing unit 15 to the HH device 20 and the like.

記憶部12は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置のうちの少なくとも一つを有する。記憶部12は、処理部15による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ(所定の処理に係る一時的なデータを含む)等を記憶する。特に、記憶部12は、データとして、入力データの候補となる複数のデータを管理するための少なくとも一のデータテーブルや、各データに対応するオブジェクトを含むガイドを表示するための少なくとも一の表示データを記憶する。各種プログラムは、例えばCD-ROM、DVD-ROM等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部12にインストールされてもよい。 The storage unit 12 has, for example, at least one of a semiconductor memory, a magnetic disk device, and an optical disk device. The storage unit 12 stores a driver program, an operating system program, an application program, data (including temporary data related to predetermined processing), and the like used for processing by the processing unit 15 . In particular, the storage unit 12 stores, as data, at least one data table for managing a plurality of data that are candidates for input data, and at least one display data for displaying a guide including objects corresponding to each data. memorize Various programs may be installed in the storage section 12 from a computer-readable portable recording medium such as a CD-ROM, DVD-ROM, etc. using a known setup program or the like.

図4は、記憶部12が記憶するデータテーブルのデータ構造の一例を示す図である。記憶部12は、入力するデータの種別に応じて、複数のデータテーブルを記憶してもよい。図4に示すデータテーブルは、一例として、英文字等を入力するための英文字用データテーブルである。記憶部12は、この他に、仮名文字等を入力するための仮名文字用データテーブル、数字等を入力するための数字用データテーブル、記号等を入力するための記号用データテーブル等を記憶してもよい。 FIG. 4 is a diagram showing an example of the data structure of a data table stored in the storage unit 12. As shown in FIG. The storage unit 12 may store a plurality of data tables according to the types of input data. The data table shown in FIG. 4 is, for example, an English character data table for inputting English characters. The storage unit 12 also stores a kana character data table for inputting kana characters, etc., a numeric data table for inputting numbers, etc., a symbol data table for inputting symbols, etc. may

図4に示すとおり、第1列は第1操作を、第2列は第2操作を、第3列はデータを、それぞれ示している。ここで、第1操作は、例えば、データグループが特定されていない場合に、HH装置20によって検知される操作である。また、第2操作は、例えば、データグループが特定されてる場合に、HH装置20によって検知される操作である。 As shown in FIG. 4, the first column indicates the first operation, the second column indicates the second operation, and the third column indicates the data. Here, the first operation is, for example, an operation detected by the HH device 20 when no data group is specified. Also, the second operation is, for example, an operation detected by the HH device 20 when a data group is specified.

データテーブルに含まれるデータは、少なくとも1つのデータを含むデータグループに属する。データテーブルにおけるデータグループの編成方法は、特に限定されず、例えば、英文字であればアルファベット順、仮名文字であれば五十音順のように、所定の標準によって規定された文字の順序の近しいもの同士を同一のデータグループに含めるように、データグループを編成してもよい。或いは、各データの使用頻度(一人又は複数人のユーザの使用頻度等)の近しいデータ同士を同一のデータグループに含めるように、データグループを編成してもよい。また、ユーザが任意にデータグループを編成可能としてもよい。データテーブルにおいて、各データグループは第1操作に対応付けられる。図4に示す例では、例えば、第1操作が「上スワイプ操作」であるデータグループには、英文字a、b、c、d、e、f、g、h、及びiの文字データが属する。また、第1操作が「左スワイプ操作」であるデータグループには、英文字j、k、l、m、n、o、p、q、及びrの文字データが属する。また、第1操作が「右スワイプ操作」であるデータグループには、英文字s、t、u、v、w、x、y、及びzの文字データが属する。また、第1操作が「左下スワイプ操作」であるデータグループには、「Space」の機能を指定するためのデータ(機能データ)の1つのみが属する。また、第1操作が「下スワイプ操作」であるデータグループには、入力データの種別(仮名文字、英文字、数字、及び記号)を指定するためのデータ(種別データ)、方向(上、下、左、及び右)を指定するためのデータ(方向指定データ)、及び「Enter」のが属する。また、第1操作が「右下スワイプ操作」であるデータグループには、「Back space」の機能データの1つのみが属する。なお、データテーブルにおいて、ハイフン(「-」)が表記された箇所については、対応するデータは無いものとする。 The data contained in the data table belong to a data group containing at least one data. The method of organizing data groups in the data table is not particularly limited. Data groups may be organized such that things are included in the same data group. Alternatively, data groups may be organized so that data having similar frequency of use (frequency of use by one or more users, etc.) are included in the same data group. Also, the user may be allowed to arbitrarily organize data groups. In the data table, each data group is associated with a first operation. In the example shown in FIG. 4, for example, character data of English characters a, b, c, d, e, f, g, h, and i belong to a data group whose first operation is an “up swipe operation”. . Character data of alphabetic characters j, k, l, m, n, o, p, q, and r belong to a data group whose first operation is a “left swipe operation”. Also, character data of alphabetic characters s, t, u, v, w, x, y, and z belong to a data group whose first operation is a “right swipe operation”. Further, only one piece of data (function data) for designating the "Space" function belongs to the data group whose first operation is the "lower left swipe operation". In addition, in the data group whose first operation is "down swipe operation", data (type data) for specifying the type of input data (kana characters, English letters, numbers and symbols), direction (up, down) , left, and right), and "Enter". In addition, only one function data of "back space" belongs to the data group whose first operation is "lower right swipe operation". In the data table, hyphens (“-”) indicate no corresponding data.

データテーブルにおいて、各データは第2操作に対応付けられる。図4に示す例では、第1操作が「上スワイプ操作」であるデータグループでは、英文字a、b、c、d、e、f、g、h、及びiのデータはそれぞれ、第2操作としての左上スワイプ操作、上スワイプ操作、右上スワイプ操作、左スワイプ操作、タップ操作、右スワイプ操作、左下スワイプ操作、下スワイプ操作、及び右下スワイプ操作のそれぞれに対応付けられる。また、第1操作が「左スワイプ操作」であるデータグループでは、英文字j、k、l、m、n、o、p、q、及びrの文字データはそれぞれ、第2操作としての左上スワイプ操作、上スワイプ操作、右上スワイプ操作、左スワイプ操作、タップ操作、右スワイプ操作、左下スワイプ操作、下スワイプ操作、及び右下スワイプ操作のそれぞれに対応付けられる。 In the data table, each data is associated with a second operation. In the example shown in FIG. 4 , in the data group whose first operation is the “up swipe operation”, the data of the English letters a, b, c, d, e, f, g, h, and i are respectively are associated with each of the upper left swipe operation, the upper swipe operation, the upper right swipe operation, the left swipe operation, the tap operation, the right swipe operation, the lower left swipe operation, the lower swipe operation, and the lower right swipe operation. Further, in the data group in which the first operation is the "left swipe operation", the character data of the English characters j, k, l, m, n, o, p, q, and r are each swiped to the left as the second operation. Operation, up swipe operation, upper right swipe operation, left swipe operation, tap operation, right swipe operation, lower left swipe operation, lower swipe operation, and lower right swipe operation.

また、第1操作が「右スワイプ操作」であるデータグループでは、英文字s、t、u、v、w、x、y、及びzの文字データはそれぞれ、第2操作としての左上スワイプ操作、上スワイプ操作、右上スワイプ操作、左スワイプ操作、タップ操作、右スワイプ操作、左下スワイプ操作、及び下スワイプ操作のそれぞれに対応付けられる。また、第1操作が「左下スワイプ操作」であるデータグループは、データとして、「Space」の機能データの1つのみを含む。 Further, in the data group in which the first operation is the "right swipe operation", the character data of the English letters s, t, u, v, w, x, y, and z are respectively subjected to the upper left swipe operation as the second operation, It is associated with each of an up swipe operation, an upper right swipe operation, a left swipe operation, a tap operation, a right swipe operation, a lower left swipe operation, and a down swipe operation. Also, the data group whose first operation is the "lower left swipe operation" includes only one function data of "Space" as data.

また、第1操作が「下スワイプ操作」であるデータグループでは、第2操作として、仮名文字の種別データは左上スワイプ操作に、上の方向指定データは上スワイプ操作に、英文字の種別データは右上スワイプ操作に、左の方向指定データは左スワイプ操作に、「Enter」の機能データはタップ操作に、右の方向指定データは右スワイプ操作に、数字の種別データは左下スワイプ操作に、下の方向指定データは下スワイプ操作に、記号の種別データは右下スワイプ操作に、それぞれ対応付けられる。また、第1操作が「右下スワイプ操作」であるデータグループは、データとして、「Back space」の機能データの1つのみを含む。 In the data group whose first operation is the "down swipe operation", the second operation is the upper left swipe operation for the kana character type data, the up swipe operation for the upward direction designation data, and the upper swipe operation for the alphabetic character type data. Right swipe operation, Left direction designation data as left swipe operation, "Enter" function data as tap operation, Right direction designation data as right swipe operation, Number type data as left swipe operation, Down The direction designation data is associated with the downward swipe operation, and the symbol type data is associated with the downward right swipe operation. Also, the data group whose first operation is the “right swipe operation” includes only one function data of “back space” as data.

図3に戻り、画像出力部13は、例えば、液晶ディスプレイや有機ELディスプレイ等のディスプレイであって、処理部15等から供給された表示データに基づいて種々の画像(動画を含む)を表示することが可能である。画像出力部13は、光透過型であってもよいし、非光透過型であってもよい。 Returning to FIG. 3, the image output unit 13 is, for example, a display such as a liquid crystal display or an organic EL display, and displays various images (including moving images) based on display data supplied from the processing unit 15 or the like. It is possible. The image output unit 13 may be of a light transmissive type or of a non-light transmissive type.

音声出力部14は、例えば、スピーカであって、処理部15等から供給された音声データに基づいて種々の音声を出力することが可能である。 The audio output unit 14 is, for example, a speaker, and can output various sounds based on audio data supplied from the processing unit 15 or the like.

処理部15は、例えば、一又は複数個のプロセッサ及びその周辺回路を含むCPUであって、HMD装置10の全体的な動作を統括的に制御する。処理部15は、HMD装置10の各種処理が記憶部12に記憶されているプログラム等に基づいて適切な手順で実行されるように、通信部11、画像出力部13、及び音声出力部14等の動作を制御する。処理部15は、記憶部12に記憶されているプログラム(オペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等)に基づいて処理を実行する。 The processing unit 15 is, for example, a CPU including one or more processors and their peripheral circuits, and controls overall operations of the HMD device 10 . The processing unit 15 controls the communication unit 11, the image output unit 13, the audio output unit 14, etc. so that various processes of the HMD device 10 are executed in an appropriate procedure based on the programs and the like stored in the storage unit 12. controls the behavior of The processing unit 15 executes processing based on programs (operating system programs, driver programs, application programs, etc.) stored in the storage unit 12 .

処理部15は、例えば、ペアリング部151、表示制御部152、判別部153、入力処理部154等を含む。 The processing unit 15 includes, for example, a pairing unit 151, a display control unit 152, a determination unit 153, an input processing unit 154, and the like.

ペアリング部151は、例えば、WiFi(登録商標)やBluetooth(登録商標)等の任意の無線通信規格によるペアリング処理として、HMD装置10をHH装置20と通信可能な状態に設定する。 The pairing unit 151 sets the HMD device 10 to a communicable state with the HH device 20 as pairing processing according to any wireless communication standard such as WiFi (registered trademark) or Bluetooth (registered trademark).

表示制御部152は、記憶部12に記憶された表示データ等に基づいて、画像出力部13に種々の画像を表示させる。特に、表示制御部152は、画像出力部13における、オブジェクトを含む所定のガイドGの表示を制御する。 The display control unit 152 causes the image output unit 13 to display various images based on the display data and the like stored in the storage unit 12 . In particular, the display control unit 152 controls display of a predetermined guide G including objects in the image output unit 13 .

図5A及び図5Bを用いて、表示制御部152が画像出力部13に表示するガイドGの態様について説明する。図5Aは、ガイドの表示態様の一例を示す図である。図5Aには、一例として、英文字等を入力するための英文字用ガイドGが表示されている。この他に、表示制御部152は、仮名文字等を入力するための仮名文字用ガイド、数字等を入力するための数字用ガイド、及び記号等を入力するための記号用ガイド等を画像出力部13に表示してもよい。 Modes of the guide G displayed on the image output unit 13 by the display control unit 152 will be described with reference to FIGS. 5A and 5B. FIG. 5A is a diagram showing an example of a display mode of a guide. In FIG. 5A, as an example, an English character guide G for inputting English characters is displayed. In addition, the display control unit 152 outputs a kana character guide for inputting kana characters, etc., a number guide for inputting numerals, etc., and a symbol guide for inputting symbols, etc. to the image output unit. 13 may be displayed.

ガイドGは、上述した入力データの候補となる複数のデータの各々(例えば、英文字「a」の文字データ)を識別するためのオブジェクト(図5Aに示す例では、英文字「a」が表記された略矩形のオブジェクト)を含む。各オブジェクトは、少なくとも1つのオブジェクトを含むオブジェクトグループに含まれる。オブジェクトグループの形状は特に限定されないが、略矩形、略円形、略多角形、不定形、第1基準位置を略中心とする略円に含まれる略扇形等の任意の形状であってよい。また、オブジェクトの形状は特に限定されないが、略矩形、略円形、略多角形、不定形、第2基準位置を略中心とする略円に含まれる略扇形等の任意の形状であってよい。また、オブジェクトには、当該オブジェクトに対応するデータを示す表記が付されていてもよい。 The guide G is an object (in the example shown in FIG. 5A, the English character "a" is displayed) for identifying each of the plurality of data (for example, character data of the English character "a") that are candidates for the input data described above. rectangular object). Each object is included in an object group that contains at least one object. The shape of the object group is not particularly limited, but may be any shape such as a substantially rectangular shape, a substantially circular shape, a substantially polygonal shape, an irregular shape, or a substantially fan shape included in a substantially circle centered substantially at the first reference position. The shape of the object is not particularly limited, but may be any shape such as a substantially rectangular shape, a substantially circular shape, a substantially polygonal shape, an irregular shape, or a substantially fan shape included in a substantially circle centered substantially at the second reference position. Also, an object may have a notation indicating data corresponding to the object.

図5Aに示すとおり、ガイドGでは、オブジェクトグループAD2、AD4、AD5、AD7、及びAD8が、第1基準位置P1に対して特定の方向(方向を持たない「0方向」の場合も含み得る)に配置される。ここで、上述したオブジェクトグループAD2、AD4、AD5、AD7、及びAD8それぞれの第1基準位置P1に対する「特定の方向」は、例えば、データテーブルにおいて、当該オブジェクトグループに対応するデータグループに対応付けられた「第1操作」が指定する方向と同一であってよい。 As shown in FIG. 5A, in the guide G, the object groups AD2, AD4, AD5, AD7, and AD8 are in a specific direction with respect to the first reference position P1. placed in Here, the "specific direction" of each of the object groups AD2, AD4, AD5, AD7, and AD8 with respect to the first reference position P1 is associated with the data group corresponding to the object group in the data table, for example. It may be the same as the direction specified by the "first operation".

例えば、オブジェクトグループAD2に対応するデータグループは、図4に示すデータテーブルにおいては、「第1操作」としての「上スワイプ操作」に対応付けられている。したがって、図5Aに示すとおり、オブジェクトグループAD2は、第1基準位置P1に対して、当該「上スワイプ操作」が指定する方向である「上」に配置される。同様にして、オブジェクトグループAD4、AD5、AD6、AD7、及びAD8はそれぞれ、第1基準位置P1に対して「左」、「右」、「左下」、「下」、「右下」のそれぞれに配置される。 For example, the data group corresponding to the object group AD2 is associated with the "up swipe operation" as the "first operation" in the data table shown in FIG. Therefore, as shown in FIG. 5A, the object group AD2 is arranged "up", which is the direction specified by the "up swipe operation", with respect to the first reference position P1. Similarly, the object groups AD4, AD5, AD6, AD7, and AD8 are respectively "left", "right", "bottom left", "bottom", and "bottom right" with respect to the first reference position P1. placed.

なお、第1基準位置P1は、ガイドGの内部であれば、特にその位置は限定されないが、例えば、ガイドGの略中心に位置してもよい。 The position of the first reference position P1 is not particularly limited as long as it is inside the guide G;

図4に示すデータテーブルには「第1操作」が「0方向」、「左上」、及び「右上」であるデータグループは含まれていないため、これに対応して図5Aにおいても、第1基準位置P1に対して「0方向」、「左上」、及び「右上」のそれぞれに配置された領域AD0、AD1、AD3には、オブジェクトグループは配置されていない。しかしながら、データテーブルの構成に応じて、当該領域AD0、AD1、AD3にオブジェクトグループを配置してもよい。 Since the data table shown in FIG. 4 does not include data groups whose "first operation" is "direction 0", "upper left", and "upper right", in FIG. No object group is placed in the areas AD0, AD1, and AD3 placed in the "0 direction," "upper left," and "upper right," respectively, with respect to the reference position P1. However, object groups may be arranged in the areas AD0, AD1, and AD3 according to the structure of the data table.

次に、図5Bを用いて、オブジェクトグループにおけるオブジェクトの表示態様について説明する。図5Bは、オブジェクトグループAD2の表示態様の一例を示す図である。説明の便宜上、図5Bにおいて、「e」の文字データに対応するオブジェクトBD0には、「e」の文字を示していない。なお、他のオブジェクトグループAD4、AD5、AD7も、図5Bと同様の表示態様を有してもよい。 Next, the display mode of the objects in the object group will be described with reference to FIG. 5B. FIG. 5B is a diagram showing an example of a display mode of the object group AD2. For convenience of explanation, the character "e" is not shown in the object BD0 corresponding to the character data "e" in FIG. 5B. Note that other object groups AD4, AD5, and AD7 may also have a display mode similar to that of FIG. 5B.

図5Bに示すとおり、オブジェクトグループAD2では、オブジェクトBD0~BD8が、第2基準位置P2に対して特定の方向(方向を持たない「0方向」の場合も含み得る)に配置される。ここで、オブジェクトBD0~BD8それぞれの第2基準位置P2に対する「特定の方向」は、例えば、データテーブルにおいて、当該オブジェクトに対応するデータに対応付けられた「第2操作」が指定する方向と同一であってよい。 As shown in FIG. 5B, in the object group AD2, the objects BD0 to BD8 are arranged in a specific direction (including the case of "direction 0" having no direction) with respect to the second reference position P2. Here, the "specific direction" of each of the objects BD0 to BD8 with respect to the second reference position P2 is, for example, the same direction specified by the "second operation" associated with the data corresponding to the object in the data table. can be

例えば、オブジェクトBD1(aの文字データに対応するオブジェクト)に対応するデータ(aの文字データ)は、図4に示すデータテーブルにおいては、「第2操作」としての「左上スワイプ操作」に対応付けられている。したがって、図5Bに示すとおり、aの文字データに対応するオブジェクトBD1は、第2基準位置P2に対して、当該「左上スワイプ操作」が指定する方向である「左上」に配置される。同様にして、b、c、d、e、f、g、h、及びiそれぞれに対応するオブジェクトBD2、BD3、BD4、BD0、BD5、BD6、BD7、及びBD8はそれぞれ、第2基準位置P2に対して「上」、「右上」、「左」、「0方向」、「右」、「左下」、「下」、及び「右下」のそれぞれに配置される。 For example, the data (character data a) corresponding to the object BD1 (object corresponding to the character data a) is associated with the "upper left swipe operation" as the "second operation" in the data table shown in FIG. It is Therefore, as shown in FIG. 5B, the object BD1 corresponding to the character data of a is placed in the "upper left" direction, which is the direction specified by the "upper left swipe operation", with respect to the second reference position P2. Similarly, objects BD2, BD3, BD4, BD0, BD5, BD6, BD7, and BD8 corresponding to b, c, d, e, f, g, h, and i, respectively, are positioned at the second reference position P2. On the other hand, they are arranged at "upper", "upper right", "left", "0 direction", "right", "lower left", "lower", and "lower right", respectively.

以上のとおり、データ入力システム1では、入力データの候補となる複数のデータのそれぞれに対応付けられたオブジェクトを含むガイドGが表示される。そのため、ユーザは、HH装置20を視認することなくデータを入力することが可能となる。また、ガイドGにおいて、オブジェクトグループが第1基準位置に対して配置される方向は、データテーブルにおいてデータグループに対応付けられた第1操作の方向に一致している。更に、ガイドGにおいて、オブジェクトが第2基準位置に対して配置される方向は、データテーブルにおいてデータに対応付けられた第2操作の方向に一致している。したがって、ユーザは、ガイドGを視認することにより、データグループ及びデータを指定するための操作の方向を直感的に把握することが可能となる。また、データテーブルにおいて、データグループ及びデータは、方向を指定する操作に対応付けられている。そのため、HH装置20の操作部23に基準となる位置を設ける必要がなくなり、ユーザは操作部23が有する操作領域の任意の箇所に対して操作を行うことが可能となる。 As described above, in the data input system 1, the guide G including objects associated with each of a plurality of data that are candidates for input data is displayed. Therefore, the user can input data without visually recognizing the HH device 20 . Also, in the guide G, the direction in which the object group is arranged with respect to the first reference position matches the direction of the first operation associated with the data group in the data table. Furthermore, in the guide G, the direction in which the object is arranged with respect to the second reference position matches the direction of the second operation associated with the data in the data table. Therefore, by visually recognizing the guide G, the user can intuitively grasp the direction of the operation for designating the data group and data. In the data table, data groups and data are associated with operations specifying directions. Therefore, it is no longer necessary to provide a reference position in the operating section 23 of the HH device 20, and the user can operate any part of the operating area of the operating section 23. FIG.

なお、第2基準位置P2は、オブジェクトグループの内部であれば、特にその位置は限定されないが、例えば、オブジェクトグループの略中心に位置してもよい。 The position of the second reference position P2 is not particularly limited as long as it is inside the object group. For example, the second reference position P2 may be positioned substantially at the center of the object group.

図3に戻り、判別部153は、記憶部12等に記憶されたデータテーブルを参照して、HH装置20から受信した操作情報に基づき、データテーブルに含まれるデータから入力データを判別する。判別部153は、例えば、第1操作に基づいてデータグループを特定し、第2操作及び特定されたデータグループに基づいてデータを特定する。 Returning to FIG. 3, the determination unit 153 refers to the data table stored in the storage unit 12 or the like, and determines input data from the data included in the data table based on the operation information received from the HH device 20 . For example, the determination unit 153 identifies a data group based on the first operation, and identifies data based on the second operation and the identified data group.

判別部153は、例えば、データグループが特定されているか否かに応じて、HH装置20から受信する操作情報が、第1操作であるか第2操作であるかを区別した上で、データグループ又はデータを特定する。具体的には、判別部153は、データグループが特定されていない場合、HH装置20から受信する操作情報は第1操作を示すものとして、データグループを特定する。また、判別部153は、データグループが特定されている場合、操作情報HH装置20から受信する操作情報は第2操作を示すものとして、データを特定する。 For example, the determination unit 153 determines whether the operation information received from the HH device 20 is the first operation or the second operation according to whether or not the data group is specified, and then determines the data group. or identify the data. Specifically, when the data group is not specified, the determination unit 153 specifies the data group by assuming that the operation information received from the HH device 20 indicates the first operation. Further, when the data group is specified, the determination unit 153 specifies the data as the operation information received from the operation information HH device 20 indicating the second operation.

なお、判別部153は、操作情報によって特定されたデータグループが、データテーブルにおいてデータを1つのみ含む場合は、当該操作情報が当該1つのデータを入力データとして判別してもよい。 If the data group specified by the operation information includes only one data in the data table, the determination unit 153 may determine that the operation information is the input data.

入力処理部154は、判別部153等によって判別された入力データに基づいて、当該入力データの入力処理を実行する。 The input processing unit 154 executes input processing of the input data based on the input data discriminated by the discriminating unit 153 and the like.

(1-3)HH装置20
HH装置20は、ユーザが片手又は両手で操作可能であればどのようなデバイスであってもよく、例えば、スマートフォンやタブレット端末等の情報処理装置であってよい。図3に示すとおり、HH装置20は、例えば、通信部21と、記憶部22と、操作部23と、処理部24と、を備える。
(1-3) HH device 20
The HH device 20 may be any device as long as the user can operate it with one hand or both hands, and may be, for example, an information processing device such as a smart phone or a tablet terminal. As shown in FIG. 3, the HH device 20 includes, for example, a communication section 21, a storage section 22, an operation section 23, and a processing section 24.

通信部21は、HH装置20を任意の通信ネットワークに接続するための通信インターフェース回路を有する。通信部21は、例えば、HMD装置10等から受信したデータを処理部24に供給する。通信部21は、処理部24から供給されたデータをHMD装置10等に送信する。 The communication unit 21 has a communication interface circuit for connecting the HH device 20 to any communication network. The communication unit 21 supplies data received from the HMD device 10 or the like to the processing unit 24, for example. The communication unit 21 transmits the data supplied from the processing unit 24 to the HMD device 10 and the like.

記憶部22は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置のうちの少なくとも一つを有する。記憶部22は、処理部24による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ(所定の処理に係る一時的なデータを含む)等を記憶する。各種プログラムは、例えばCD-ROM、DVD-ROM等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部22にインストールされてもよい。 The storage unit 22 has, for example, at least one of a semiconductor memory, a magnetic disk device, and an optical disk device. The storage unit 22 stores driver programs, operating system programs, application programs, data (including temporary data related to predetermined processing), and the like used for processing by the processing unit 24 . Various programs may be installed in the storage unit 22 from a computer-readable portable recording medium such as a CD-ROM, DVD-ROM, etc. using a known setup program or the like.

操作部23は、ユーザによる操作を受付可能であり、例えば、タッチパネルやキーボタン等であってよい。操作部23は、例えば、タッチパネル等で構成される場合、ユーザの操作に応じて接触位置や強度を示す操作信号を発生させ、当該操作信号を処理部24に供給する。また、操作部23は、例えば、キーボタン等で構成される場合、押下されたキーボタン等に応じた操作信号を発生させ、当該操作信号を処理部24に供給する。また、操作部23は、HH装置20自体を動かす操作に応じた操作信号を発生させ、当該操作信号を処理部24に供給してもよい。 The operation unit 23 can accept user operations, and may be a touch panel, key buttons, or the like, for example. For example, if the operation unit 23 is configured by a touch panel or the like, the operation unit 23 generates an operation signal indicating the contact position and strength according to the user's operation, and supplies the operation signal to the processing unit 24 . For example, when the operation unit 23 is composed of key buttons or the like, the operation unit 23 generates an operation signal corresponding to the pressed key button or the like, and supplies the operation signal to the processing unit 24 . Further, the operation unit 23 may generate an operation signal corresponding to an operation for moving the HH device 20 itself and supply the operation signal to the processing unit 24 .

処理部24は、例えば、一又は複数個のプロセッサ及びその周辺回路を含むCPUであって、HH装置20の全体的な動作を統括的に制御する。処理部24は、HH装置20の各種処理が記憶部22に記憶されているプログラム等に基づいて適切な手順で実行されるように、通信部21、及び操作部23等の動作を制御する。処理部24は、記憶部22に記憶されているプログラム(オペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等)に基づいて処理を実行する。処理部24は、例えば、ペアリング部241、検知部242等を含む。 The processing unit 24 is, for example, a CPU including one or more processors and their peripheral circuits, and controls overall operations of the HH device 20 . The processing unit 24 controls the operations of the communication unit 21, the operation unit 23, etc. so that various processes of the HH device 20 are executed according to appropriate procedures based on programs and the like stored in the storage unit 22. FIG. The processing unit 24 executes processing based on programs (operating system programs, driver programs, application programs, etc.) stored in the storage unit 22 . The processing unit 24 includes, for example, a pairing unit 241, a detection unit 242, and the like.

ペアリング部241は、例えば、WiFi(登録商標)やBluetooth(登録商標)等の任意の無線通信規格によるペアリング処理として、HMD装置10をHH装置20と通信可能な状態に設定する。 The pairing unit 241 sets the HMD device 10 to a communicable state with the HH device 20 as pairing processing according to any wireless communication standard such as WiFi (registered trademark) or Bluetooth (registered trademark).

検知部242は、ユーザが操作部23に対して行った操作を検知し、HMD装置10に操作情報を送信する。具体的には、操作部23から供給された操作信号に基づいて、ユーザによる操作の態様を識別するための操作情報を生成した上で、当該操作情報を、通信部21を介してHMD装置10に送信する。操作情報は、例えば、当該操作が特定の方向を指定する操作であるか否かを示す情報や、当該操作が指定する特定の方向を示す情報を含んでもよい。特定の方向を指定しない操作(非方向指定操作)は、例えば、タッチパネル等におけるタップ操作、特定のキーボタン等の押下操作、HH装置20自体のシェイク操作等を含んでもよい。また、特定の方向を指定する操作(方向指定操作)は、例えば、タッチパネル等におけるスワイプ操作、特定のキーボタン等の押下操作、HH装置20自体の特定方向へのシェイク操作等を含んでもよい。 The detection unit 242 detects an operation performed by the user on the operation unit 23 and transmits operation information to the HMD device 10 . Specifically, based on the operation signal supplied from the operation unit 23 , operation information for identifying the mode of operation by the user is generated, and the operation information is transmitted to the HMD device 10 via the communication unit 21 . Send to The operation information may include, for example, information indicating whether or not the operation is an operation specifying a specific direction, and information indicating a specific direction specified by the operation. An operation that does not specify a specific direction (non-direction specifying operation) may include, for example, a tap operation on a touch panel or the like, a pressing operation of a specific key button or the like, a shake operation of the HH device 20 itself, or the like. Further, the operation of specifying a specific direction (direction specifying operation) may include, for example, a swipe operation on a touch panel or the like, a pressing operation of a specific key button or the like, a shake operation of the HH device 20 itself in a specific direction, or the like.

(2)フロー
次に、図6を用いて、データ入力システム1によるデータ入力処理の動作フローの一例を説明する。当該動作フローは、HMD装置10の記憶部12に記憶されたプログラム及びHH装置20に記憶されたプログラムに基づいて、主にHMD装置10の処理部15及びHH装置20の処理部24により、HMD装置10及びHH装置20の各要素と協働して実行される。
(2) Flow Next, an example of the operation flow of data input processing by the data input system 1 will be described with reference to FIG. The operation flow is mainly performed by the processing unit 15 of the HMD device 10 and the processing unit 24 of the HH device 20 based on the program stored in the storage unit 12 of the HMD device 10 and the program stored in the HH device 20. Executed in cooperation with each element of device 10 and HH device 20 .

(S101)
まず、HMD装置10及びHH装置20は、ペアリング部151及びペアリング部241によって所定のプロトコルに沿った信号を送受信することにより、互いに通信可能な状態に設定するペアリング処理を実行する。当該ペアリング処理により、HH装置20の検知部242は、ユーザによる操作部23に対する操作を検知して当該操作の態様を示す操作情報を生成し、生成した操作情報をHMD装置10に送信可能な状態となる。
(S101)
First, the HMD device 10 and the HH device 20 execute a pairing process for setting a communicable state with each other by transmitting/receiving a signal according to a predetermined protocol using the pairing section 151 and the pairing section 241 . Through the pairing process, the detection unit 242 of the HH device 20 can detect the user's operation on the operation unit 23, generate operation information indicating the mode of the operation, and transmit the generated operation information to the HMD device 10. state.

(S102)
次に、HMD装置10の表示制御部152は、画像出力部13に、例えば図2に示した入力フレーム及びガイドを表示する。このとき、表示制御部152は、記憶部12に記憶された複数のガイドのうち、予め設定された種別のガイドを画像出力部13に表示する。ガイドの種別の設定は、ユーザが任意に設定可能としてもよい。
(S102)
Next, the display control unit 152 of the HMD device 10 displays the input frame and guide shown in FIG. 2 on the image output unit 13, for example. At this time, the display control unit 152 displays on the image output unit 13 a preset type of guide among the plurality of guides stored in the storage unit 12 . The setting of the guide type may be arbitrarily set by the user.

(S103)
次に、HMD装置10の判別部153は、HH装置20から操作情報を受信したか否かを判定する。上述したとおり、ユーザがHH装置20の操作部23を操作すると、HH装置20の検知部242が当該操作の態様を示す操作情報を生成し、生成した操作情報をHMD装置10に送信する。HMD装置10の判別部153は、操作情報を受信していないと判定した場合(S103;No)、ステップS103を繰り返して、操作情報を受信するまで待機する。また、判別部153は、操作情報を受信したと判定した場合(S103;Yes)、処理はステップS104に進む。
(S103)
Next, the determination unit 153 of the HMD device 10 determines whether or not operation information has been received from the HH device 20 . As described above, when the user operates the operation unit 23 of the HH device 20 , the detection unit 242 of the HH device 20 generates operation information indicating the mode of operation and transmits the generated operation information to the HMD device 10 . When determining that the operation information has not been received (S103; No), the determination unit 153 of the HMD device 10 repeats step S103 and waits until the operation information is received. Moreover, when the determination unit 153 determines that the operation information has been received (S103; Yes), the process proceeds to step S104.

(S104)
判別部153は、データグループが特定されているか否かを判定する。データグループが特定されていると判定された場合(S104;Yes)、処理はステップS108に進む。データグループが特定されていないと判定された場合(S104;No)、処理はステップS105に進む。
(S104)
The determining unit 153 determines whether or not a data group has been specified. If it is determined that the data group is specified (S104; Yes), the process proceeds to step S108. If it is determined that no data group has been specified (S104; No), the process proceeds to step S105.

(S105)
データグループが特定されていないと判定された場合(S104;No)、判別部153は、データテーブルを参照し、受信した操作情報を第1操作とみなして、当該操作情報に基づいてデータグループを特定する。図4に示したデータテーブルの例では、例えば受信した操作情報が「上スワイプ操作」である場合は、データテーブルにおいて第1操作が「上スワイプ操作」であるデータグループ(英文字a、b、c、d、e、f、g、h、及びiの文字データが属するデータグループ)が特定される。
(S105)
When it is determined that the data group is not specified (S104; No), the determination unit 153 refers to the data table, regards the received operation information as the first operation, and determines the data group based on the operation information. Identify. In the example of the data table shown in FIG. 4, for example, if the received operation information is an "up swipe operation", the data group (English characters a, b, The data group to which the character data of c, d, e, f, g, h, and i belong is specified.

(S106)
次に、表示制御部152は、データグループが特定された場合、フィードバック表示として、特定されたデータグループに対応するオブジェクトグループを、強調表示する。強調表示の態様は、特に限定されないが、当該オブジェクトグループに枠等のオブジェクトを付す態様、当該オブジェクトグループの色を他のオブジェクトと異なる色とする態様、当該オブジェクトグループのサイズを変更する(大きく又は小さくする)態様、当該オブジェクトグループを動かす態様、当該オブジェクトグループ以外の少なくとも1つのオブジェクトグループ乃至少なくとも1つのオブジェクトを消す態様等、任意の態様であってよい。なお、処理部15は、当該強調表示に合わせた音声を音声出力部14に出力させてもよい。
(S106)
Next, when the data group is specified, the display control unit 152 highlights the object group corresponding to the specified data group as feedback display. The mode of highlighting is not particularly limited, but the mode of attaching an object such as a frame to the object group, the mode of making the color of the object group different from that of other objects, the mode of changing the size of the object group (larger or Any mode may be used, such as a mode of making the object group smaller, a mode of moving the object group, or a mode of erasing at least one object group or at least one object other than the object group. Note that the processing unit 15 may cause the sound output unit 14 to output a sound corresponding to the highlighted display.

(S107)
次に、判別部153は、データテーブルを参照して、特定されたデータグループが含むデータが1つのみであるか又は複数であるかを判定する。特定されたデータグループが含むデータが1つのみであると判定された場合は、処理はステップS108に進む。特定されたデータグループが含むデータが複数であると判定された場合は、処理はステップS103に進む。
(S107)
Next, the determination unit 153 refers to the data table and determines whether the specified data group includes only one data or multiple data. If it is determined that the specified data group contains only one data, the process proceeds to step S108. If it is determined that the specified data group contains a plurality of data, the process proceeds to step S103.

(S108)
判別部153は、データテーブルを参照して、受信した操作情報を第2操作とみなして、当該操作情報に基づいてデータを特定する。これにより、判別部153は、特定されたデータを入力データとして判別する。図4に示したデータテーブルの例では、上述したとおり第1操作が「上スワイプ操作」であったとすると、例えば本ステップS108において受信した操作情報が「左下スワイプ操作」である場合は、データテーブルにおいて第1操作が「上スワイプ操作」であるデータグループのうち第2操作が「左下スワイプ操作」である英文字「a」の文字データが特定される。そして、特定された英文字「a」の文字データが入力データとして判別される。
(S108)
The determination unit 153 refers to the data table, regards the received operation information as the second operation, and identifies data based on the operation information. Accordingly, the determination unit 153 determines the specified data as input data. In the example of the data table shown in FIG. 4, assuming that the first operation is the "up swipe operation" as described above, for example, if the operation information received in step S108 is the "lower left swipe operation", the data table character data of the alphabetic character “a” whose second operation is “lower left swipe operation” is specified in the data group whose first operation is “upward swipe operation”. Then, character data of the identified alphabetic character "a" is determined as input data.

(S109)
次に、表示制御部152は、データが特定された場合、フィードバック表示として、特定されたデータに対応するオブジェクトを、強調表示する。強調表示の態様は、特に限定されないが、当該オブジェクトに枠等のオブジェクトを付す態様、当該オブジェクトの色を他のオブジェクトと異なる色とする態様、当該オブジェクトのサイズを変更する(大きく又は小さくする)態様、当該オブジェクトを動かす態様、当該オブジェクト以外の少なくとも1つのオブジェクトの表示を消す態様等、任意の態様であってよい。なお、処理部15は、当該強調表示に合わせた音声を音声出力部14に出力させてもよい。
(S109)
Next, when the data is specified, the display control unit 152 highlights the object corresponding to the specified data as feedback display. The mode of highlighting is not particularly limited, but a mode of attaching an object such as a frame to the object, a mode of making the color of the object different from that of other objects, and changing the size of the object (making it larger or smaller). Any mode may be used, such as a mode, a mode of moving the object, a mode of turning off the display of at least one object other than the object. Note that the processing unit 15 may cause the sound output unit 14 to output a sound corresponding to the highlighted display.

(S110)
次に、入力処理部154は、特定された入力データに基づいて、入力処理を実行する。例えば、入力データが文字データである場合は、当該文字データが指定する文字を入力する処理を実行する。また、入力データが方向データである場合は、当該方向データが指定する方向を入力する処理を実行する。また、入力データが機能データである場合は、当該機能データが指定する機能を入力する処理を実行する。なお、入力データが種別データである場合は、判別部153は、入力データの判別に用いるデータテーブルを、当該種別データが指定するデータテーブルに変更する。以降は、データを入力するためのモードが終了するまで、ステップS103からステップS110が繰り返される。
(S110)
Next, the input processing unit 154 executes input processing based on the specified input data. For example, when the input data is character data, a process of inputting characters specified by the character data is executed. Further, when the input data is direction data, a process of inputting the direction specified by the direction data is executed. Also, when the input data is function data, a process of inputting the function specified by the function data is executed. Note that when the input data is type data, the determination unit 153 changes the data table used for determining the input data to the data table specified by the type data. Thereafter, steps S103 to S110 are repeated until the data input mode ends.

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。 The embodiments described above are for facilitating understanding of the present invention, and are not intended to limit and interpret the present invention. Each element included in the embodiment and its arrangement, materials, conditions, shape, size, etc. are not limited to those illustrated and can be changed as appropriate. Also, it is possible to partially replace or combine the configurations shown in different embodiments.

1…データ入力システム、10…HMD装置、11…通信部、12…記憶部、13…画像出力部、14…音声出力部、15…処理部、151…ペアリング部、152…表示制御部、153…判別部、154…入力処理部、20…HH装置、21…通信部、22…記憶部、23…操作部、24…処理部、241…ペアリング部、242…検知部 DESCRIPTION OF SYMBOLS 1... Data input system 10... HMD apparatus 11... Communication part 12... Storage part 13... Image output part 14... Audio output part 15... Processing part 151... Pairing part 152... Display control part, DESCRIPTION OF SYMBOLS 153... Discrimination part 154... Input process part 20... HH apparatus 21... Communication part 22... Storage part 23... Operation part 24... Processing part 241... Pairing part 242... Detection part

Claims (9)

複数のデータの各々に対応する複数のオブジェクトの表示を制御する表示制御部と、
操作を検知する検知部と、
前記複数のデータの各々を記憶する記憶部を参照して、前記検知部が検知した操作に基づいて、前記複数のデータから入力データを判別する判別部と、
を備えるデータ入力システムであって、
前記記憶部は、前記複数のデータに含まれる少なくとも1つのデータを含むデータグループの各々を第1操作に対応付け、且つ前記データグループに含まれる前記少なくとも1つのデータの各々を第2操作に対応付けて、記憶し、
前記判別部は、前記記憶部を参照して、前記検知部が検知した前記第1操作に基づいて前記データグループを特定し、且つ前記検知部が検知した前記第2操作及び前記特定した前記データグループに基づいて前記データを特定することにより、特定された前記データを入力データとして判別し、
前記表示制御部は、
前記データグループに含まれる前記少なくとも1つのデータの各々に対応するオブジェクトを含むオブジェクトグループを、第1基準位置に対して前記第1操作が指定する方向に配置されるように表示し、且つ、
前記オブジェクトグループに含まれる前記オブジェクトの各々を、第2基準位置に対して前記第2操作が指定する方向に配置されるように表示する、データ入力システム。
a display control unit that controls display of a plurality of objects corresponding to each of a plurality of data;
a detection unit that detects an operation;
a determination unit that refers to a storage unit that stores each of the plurality of data and determines input data from the plurality of data based on the operation detected by the detection unit;
A data entry system comprising:
The storage unit associates each data group including at least one data included in the plurality of data with a first operation, and associates each of the at least one data included in the data group with a second operation. attach, memorize,
The determination unit refers to the storage unit, identifies the data group based on the first operation detected by the detection unit, and determines the second operation detected by the detection unit and the identified data. identifying the data based on the group, determining the identified data as input data;
The display control unit
displaying an object group including objects corresponding to each of the at least one data included in the data group so as to be arranged in the direction specified by the first operation with respect to a first reference position; and
A data input system for displaying each of the objects included in the object group so as to be arranged in a direction specified by the second operation with respect to a second reference position.
前記判別部は、前記データグループが特定されていない場合、前記検知部が検知した操作を前記第1操作とみなして前記データグループを特定し、前記データグループが特定されている場合、前記検知部が検知した操作を前記第2操作とみなして前記データを特定する、請求項1に記載のデータ入力システム。 When the data group is not identified, the determination unit identifies the data group by regarding the operation detected by the detection unit as the first operation, and when the data group is identified, the detection unit. 2. The data input system according to claim 1, wherein the detected operation is regarded as the second operation and the data is specified. 前記判別部は、特定された前記データグループが含む前記データが1つである場合、当該1つの前記データを前記入力データとして判別する、請求項1又は2に記載のデータ入力システム。 3. The data input system according to claim 1, wherein when the specified data group includes one data, the determination unit determines the one data as the input data. 前記表示制御部は、前記判別部が前記データグループを特定した場合、特定された前記データグループに対応する前記オブジェクトグループを強調表示する、請求項1から3のいずれか一項に記載のデータ入力システム。 4. The data input according to any one of claims 1 to 3, wherein when the determining unit identifies the data group, the display control unit highlights the object group corresponding to the identified data group. system. 前記表示制御部は、前記判別部が前記データを特定した場合、特定された前記データに対応する前記オブジェクトを強調表示する、請求項1から4のいずれか一項に記載のデータ入力システム。 5. The data input system according to any one of claims 1 to 4, wherein, when said determining unit specifies said data, said display control unit highlights said object corresponding to said specified data. 前記表示制御部は、前記判別部が特定した前記データが、入力データの種別を指定するための種別データである場合、前記オブジェクトを前記種別データが指定する種別に基づいて変更する、請求項1から5のいずれか一項に記載のデータ入力システム。 2. The display control unit changes the object based on the type specified by the type data when the data specified by the determination unit is type data for designating a type of input data. 6. The data entry system according to any one of items 1 to 5. 複数のデータの各々に対応する複数のオブジェクトの表示を制御する表示制御部と、
操作を示す操作情報を取得する取得部と、
を備える表示装置であって、
前記表示制御部は、
前記複数のデータの各々に対応するオブジェクトを含むオブジェクトグループを、第1基準位置に対して第1操作情報が指定する方向に配置されるように表示し、且つ、
前記オブジェクトグループに含まれる前記オブジェクトの各々を、第2基準位置に対して第2操作情報が指定する方向に配置されるように表示する、表示装置。
a display control unit that controls display of a plurality of objects corresponding to each of a plurality of data;
an acquisition unit that acquires operation information indicating an operation;
A display device comprising
The display control unit
displaying an object group including an object corresponding to each of the plurality of data so as to be arranged in a direction specified by the first operation information with respect to the first reference position;
A display device that displays each of the objects included in the object group so as to be arranged in a direction specified by second operation information with respect to a second reference position.
操作を検知する検知部と、
前記検知部が検知した前記操作に基づいて、前記複数のデータから入力データを判別する判別部と、
を備えるデータ入力システムであって、
前記判別部は、前記複数のデータに含まれる各データを第1操作及び第2操作に対応付けて記憶する記憶部を参照して、前記検知部が検知した第1操作及び第2操作に基づいて前記データを特定することにより、特定された前記データを前記入力データとして判別する、データ入力システム。
a detection unit that detects an operation;
a determination unit that determines input data from the plurality of data based on the operation detected by the detection unit;
A data entry system comprising:
The determination unit refers to a storage unit that stores each data included in the plurality of data in association with a first operation and a second operation, and based on the first operation and the second operation detected by the detection unit. a data input system, wherein the specified data is determined as the input data by specifying the data with a
操作を検知する検知部と、
前記複数のデータの各々を記憶する記憶部を参照して、前記検知部が検知した操作に基づいて、前記複数のデータから入力データを判別する判別部と、
を備えるデータ入力システムであって、
前記記憶部は、前記複数のデータに含まれる少なくとも1つのデータを含むデータグループの各々を第1操作に対応付け、且つ前記データグループに含まれる前記少なくとも1つのデータの各々を第2操作に対応付けて、記憶し、
前記判別部は、前記記憶部を参照して、前記検知部が検知した前記第1操作に基づいて前記データグループを特定し、前記検知部が検知した前記第2操作及び前記特定した前記データグループに基づいて前記データを特定することにより、特定された前記データを入力データとして判別する、データ入力システム。
a detection unit that detects an operation;
a determination unit that refers to a storage unit that stores each of the plurality of data and determines input data from the plurality of data based on the operation detected by the detection unit;
A data entry system comprising:
The storage unit associates each data group including at least one data included in the plurality of data with a first operation, and associates each of the at least one data included in the data group with a second operation. attach, memorize,
The determination unit refers to the storage unit, identifies the data group based on the first operation detected by the detection unit, and determines the second operation detected by the detection unit and the identified data group. A data entry system, wherein the identified data is determined as input data by identifying the data based on a.
JP2019166282A 2019-09-12 2019-09-12 Data input system and display unit Pending JP2022177328A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019166282A JP2022177328A (en) 2019-09-12 2019-09-12 Data input system and display unit
PCT/JP2020/034515 WO2021049629A1 (en) 2019-09-12 2020-09-11 Data input system and display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019166282A JP2022177328A (en) 2019-09-12 2019-09-12 Data input system and display unit

Publications (1)

Publication Number Publication Date
JP2022177328A true JP2022177328A (en) 2022-12-01

Family

ID=74865758

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019166282A Pending JP2022177328A (en) 2019-09-12 2019-09-12 Data input system and display unit

Country Status (2)

Country Link
JP (1) JP2022177328A (en)
WO (1) WO2021049629A1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6515615B2 (en) * 2015-03-19 2019-05-22 セイコーエプソン株式会社 Control device, control method of electronic device, and program
JP6776578B2 (en) * 2016-03-29 2020-10-28 セイコーエプソン株式会社 Input device, input method, computer program
CN106227449A (en) * 2016-07-25 2016-12-14 北京拉酷网络科技有限公司 Input control method based on sense of touch vision technique and system
JP6995650B2 (en) * 2018-01-30 2022-01-14 Dynabook株式会社 Wearable devices and their operation methods

Also Published As

Publication number Publication date
WO2021049629A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
JP5203797B2 (en) Information processing apparatus and display information editing method for information processing apparatus
US11132063B2 (en) Information processing apparatus for interactively performing work based on input content in extended work space
US9891822B2 (en) Input device and method for providing character input interface using a character selection gesture upon an arrangement of a central item and peripheral items
US8619048B2 (en) Method and device of stroke based user input
US20090073136A1 (en) Inputting commands using relative coordinate-based touch input
US20160349926A1 (en) Interface device, portable device, control device and module
KR20150094213A (en) Touch execution device using a thumb
KR20110095565A (en) User input device, method for recognizing user finger prints, and method for recognizing user touches using a transparent sensor grid panel which is able to recognize finger prints or mult-touch
JP2013242821A (en) Picture display device and picture operation method of the same
KR20150024247A (en) Method and apparatus for executing application using multiple input tools on touchscreen device
US20170285904A1 (en) Direct data transfer electronic device and method
US9671881B2 (en) Electronic device, operation control method and recording medium
US20230236673A1 (en) Non-standard keyboard input system
JP2014081800A (en) Handwriting input device and function control program
US20230009807A1 (en) Text entry method and mobile device
JP2022177328A (en) Data input system and display unit
CN113362410B (en) Drawing method, drawing device, electronic apparatus, and medium
US20200293118A1 (en) Character input device, character input method, and character input program
KR20150025696A (en) system and method for mode switching of electronic pen
JP7420016B2 (en) Display device, display method, program, display system
KR102258313B1 (en) Mobile terminal and method for controlling the same
KR20150101703A (en) Display apparatus and method for processing gesture input
JP3169427U (en) Computer equipment
US20190346888A1 (en) Information processing apparatus and system and non-transitory computer readable medium
TWM545944U (en) Presentation device and presentation system