JP2020149269A - Character inputting device, character inputting method, and character inputting program - Google Patents

Character inputting device, character inputting method, and character inputting program Download PDF

Info

Publication number
JP2020149269A
JP2020149269A JP2019045469A JP2019045469A JP2020149269A JP 2020149269 A JP2020149269 A JP 2020149269A JP 2019045469 A JP2019045469 A JP 2019045469A JP 2019045469 A JP2019045469 A JP 2019045469A JP 2020149269 A JP2020149269 A JP 2020149269A
Authority
JP
Japan
Prior art keywords
character input
character
display unit
virtual space
input device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019045469A
Other languages
Japanese (ja)
Inventor
理樹 野村
Masaki Nomura
理樹 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2019045469A priority Critical patent/JP2020149269A/en
Priority to EP20156562.9A priority patent/EP3709132A1/en
Priority to US16/794,380 priority patent/US20200293118A1/en
Publication of JP2020149269A publication Critical patent/JP2020149269A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/018—Input/output arrangements for oriental characters

Abstract

To enable efficient inputting work without sacrificing a sense of immersion of a user.SOLUTION: A character input device is provided, comprising: a display unit configured to display a scenery image of a virtual space with a character virtual inputting function; a starting character identification unit configured to identify a character input start position for the character virtual input function; a direction identification unit for detecting a direction relative to the start position; an operation detection unit configured to confirm character input based on the direction; and a control unit for displaying content of character input operation on a display unit.SELECTED DRAWING: Figure 1

Description

この発明は、仮想空間における文字入力技術に関する。 The present invention relates to a character input technique in a virtual space.

特許文献１に記載の構成では、仮想空間において、タッチパッドの操作が可能な入力装置を備える。利用者は、入力装置を指で操作することによって、仮想空間への文字入力またはアプリケーション等の操作を行っている。 The configuration described in Patent Document 1 includes an input device capable of operating a touch pad in a virtual space. By operating the input device with a finger, the user inputs characters into the virtual space or operates an application or the like.

特開２０１４−１５４０７４号公報Japanese Unexamined Patent Publication No. 2014-154874

しかしながら、特許文献１の構成では、利用者が入力装置を自身の手に持った状態で操作を行う必要があるため、その他の操作が限定される。このことから、仮想空間における利用者の没入感が損なわれる虞があった。 However, in the configuration of Patent Document 1, other operations are limited because it is necessary for the user to perform the operation while holding the input device in his / her own hand. For this reason, there is a risk that the user's immersive feeling in the virtual space will be impaired.

したがって、本発明の目的は、利用者の没入感を損なうことなく、効率的な入力操作を実現することである。 Therefore, an object of the present invention is to realize an efficient input operation without impairing the immersive feeling of the user.

この文字入力装置は、文字仮想入力機能を備えた仮想空間の情景画像を表示する表示部と、文字仮想入力機能において文字入力の開始位置を特定する開始文字特定部と、開始位置を基点にした方向を検出する操作方向特定部と、方向に基づいて文字入力を確定する操作検出部と、文字入力の操作内容を表示部に出力する制御部と、を備える。 This character input device is based on a display unit that displays a scene image of a virtual space having a character virtual input function, a start character identification unit that specifies the start position of character input in the character virtual input function, and a start position. It includes an operation direction specifying unit that detects a direction, an operation detection unit that determines character input based on the direction, and a control unit that outputs the operation content of the character input to the display unit.

この構成では、利用者は仮想空間における没入感を損なわず、文字入力を効率的に行うことができる。 In this configuration, the user can efficiently input characters without impairing the immersive feeling in the virtual space.

この文字入力装置の操作方向特定部は、タッチパッドであってもよい。 The operation direction specifying unit of this character input device may be a touch pad.

この構成では、文字入力時における方向の特定が容易に行える。 With this configuration, the direction at the time of character input can be easily specified.

この文字入力装置の操作方向特定部は、十字キーであってもよい。 The operation direction specifying unit of this character input device may be a cross key.

この構成では、文字入力時における方向の特定が確実に行える。 With this configuration, the direction can be reliably specified when inputting characters.

この文字入力装置の表示部は、現実空間に仮想空間を重畳させて表示してもよい。 The display unit of this character input device may display a virtual space superimposed on the real space.

この構成では、拡張現実に適用可能である。 In this configuration, it is applicable to augmented reality.

この文字入力装置の表示部は、仮想空間に現実空間を重畳させて表示してもよい。 The display unit of this character input device may display the real space superimposed on the virtual space.

この構成では、複合現実に適用可能である。 This configuration is applicable to mixed reality.

この文字入力装置の表示部は、現実空間に時間軸を有する仮想空間を重畳させて表示してもよい。 The display unit of this character input device may display a virtual space having a time axis superimposed on the real space.

この構成では、代替現実に適用可能である。 In this configuration, it is applicable to substitute reality.

この発明によれば、利用者の没入感を損なうことなく、効率的な入力操作を実現することができる。 According to the present invention, an efficient input operation can be realized without impairing the immersive feeling of the user.

本発明の第１の実施形態に係る文字入力装置のブロック図である。It is a block diagram of the character input device which concerns on 1st Embodiment of this invention. （Ａ）、（Ｂ）は、本発明の第１の実施形態に係る文字入力装置の概要図である。(A) and (B) are schematic views of the character input device according to the first embodiment of the present invention. 本発明の第１の実施形態に係る文字入力装置の動作を表すフローチャートである。It is a flowchart which shows the operation of the character input device which concerns on 1st Embodiment of this invention. 本発明の第２の実施形態に係る文字入力装置を用いた概要図である。It is a schematic diagram which used the character input device which concerns on 2nd Embodiment of this invention. 本発明の第３の実施形態に係る文字入力装置のブロック図である。It is a block diagram of the character input device which concerns on 3rd Embodiment of this invention. 本発明の第３の実施形態に係る文字入力装置を用いた概要図である。It is a schematic diagram using the character input device which concerns on 3rd Embodiment of this invention.

以下、本発明を実施するための形態について、幾つかの図を参照して説明する。 Hereinafter, embodiments for carrying out the present invention will be described with reference to some figures.

・適用例
まず、図１を用いて、本発明が適用される一例について説明する。図１は、本発明の第１の実施形態に係る文字入力装置のブロック図である。文字入力装置１０は、例えばスティック状のハンドコントローラであり、利用者の手の動きを検知する。 ・ Application example
First, an example to which the present invention is applied will be described with reference to FIG. FIG. 1 is a block diagram of a character input device according to the first embodiment of the present invention. The character input device 10 is, for example, a stick-shaped hand controller, which detects the movement of the user's hand.

文字入力装置１０は、開始文字特定部１１０と、操作方向特定部１２０と、操作検出部１３０と、制御部１４０を備える。 The character input device 10 includes a start character specifying unit 110, an operation direction specifying unit 120, an operation detecting unit 130, and a control unit 140.

利用者は、ＶＲヘッドセットを装着することによって仮想空間を体験する。ＶＲヘッドセットとは、仮想空間を体験するためのゴーグル形状の装置であり、ジャイロスコープ、加速度計、磁力計等を備える。ＶＲヘッドセットは、利用者の頭部に装着され、頭部が前後、左右、上下に動くことを検知することによって、仮想空間内のＸ軸、Ｙ軸、Ｚ軸に反映する。 The user experiences the virtual space by wearing the VR headset. A VR headset is a goggle-shaped device for experiencing a virtual space, and includes a gyroscope, an accelerometer, a magnetometer, and the like. The VR headset is attached to the user's head, and by detecting that the head moves back and forth, left and right, and up and down, it is reflected on the X-axis, Y-axis, and Z-axis in the virtual space.

仮想空間２０は、表示部２００を備える。言い換えれば、表示部２００は、利用者がＶＲヘッドセットを装着することによって視認が可能である仮想空間２０の情景画像に配置されている。 The virtual space 20 includes a display unit 200. In other words, the display unit 200 is arranged in the scene image of the virtual space 20 that can be visually recognized by the user wearing the VR headset.

表示部２００は、仮想空間２０における文字入力を可能とする仮想ソフトウェアキーボードを備え、該ソフトウェアキーボードは文字列を例えばテンキーと同様の形式で配置されている。仮想空間２０において、文字入力装置１０で文字入力を行う処理を実行すると、文字入力に応じた表示画像が表示部２００に出力される構成を有する。なお、ソフトウェアキーボードは文字列を入力可能な構造であればよく、上述のテンキーと同様の形式に限定されない。 The display unit 200 includes a virtual software keyboard that enables character input in the virtual space 20, and the software keyboard arranges character strings in a format similar to, for example, a numeric keypad. In the virtual space 20, when a process of inputting characters is executed by the character input device 10, a display image corresponding to the character input is output to the display unit 200. The software keyboard may have a structure capable of inputting a character string, and is not limited to the same format as the above-mentioned numeric keypad.

利用者は、仮想空間２０内で表示部２００を特定し、文字「の」を入力する場合を例に説明する。利用者は、文字入力装置１０の開始文字特定部１１０を用いて、「な行」を特定する。操作検出部１３０は、「な行」の入力を検知する。 The case where the user specifies the display unit 200 in the virtual space 20 and inputs the character "no" will be described as an example. The user identifies the "na line" by using the start character identification unit 110 of the character input device 10. The operation detection unit 130 detects the input of "na line".

操作検出部１３０は、「な行」の入力を制御部１４０に出力する。制御部１４０は、「な行」の入力を表示部２００に出力する。 The operation detection unit 130 outputs the input of the "na line" to the control unit 140. The control unit 140 outputs the input of "na line" to the display unit 200.

表示部２００は、「な行」のフリックガイドを表示する構造であってもよい。フリックガイドとは、入力したい文字が割り当てられているキーを選択することによって、該入力したい文字の行に含まれる文字をガイド表示する機能である。 The display unit 200 may have a structure for displaying a flick guide of "na line". The flick guide is a function of displaying a guide of characters included in the line of the character to be input by selecting a key to which the character to be input is assigned.

より具体的には、例えば、利用者は文字「な」を選択する。このことによって、別領域に文字「な」、文字「に」、文字「ぬ」、文字「ね」、文字「の」がガイド表示される。すなわち、該フリックガイドを用いることによって、利用者は入力したい文字を明確に認識できる。 More specifically, for example, the user selects the character "na". As a result, the characters "na", the character "ni", the character "nu", the character "ne", and the character "no" are displayed as guides in another area. That is, by using the flick guide, the user can clearly recognize the character to be input.

利用者は、文字入力装置１０の操作方向特定部１２０を用いることによって、文字「の」を選択する。 The user selects the character "no" by using the operation direction specifying unit 120 of the character input device 10.

操作検出部１３０は、利用者によって文字「の」が選択されたことを検知する。操作検出部１３０は、文字「の」が選択されたことを制御部１４０に出力する。制御部１４０は、文字「の」を表示部２００に出力する。 The operation detection unit 130 detects that the character "no" has been selected by the user. The operation detection unit 130 outputs to the control unit 140 that the character "no" has been selected. The control unit 140 outputs the character "no" to the display unit 200.

このことによって、利用者は仮想空間２０において、文字入力を行うことができる。また、利用者は簡単な操作を行うのみで文字入力を行うことができる。さらに、文字入力は使い慣れた文字入力方法を利用できるため、没入感が妨げられない。 As a result, the user can input characters in the virtual space 20. In addition, the user can input characters only by performing a simple operation. Furthermore, since the character input can use the familiar character input method, the immersive feeling is not hindered.

・構成例１
図１は、本発明の第１の実施形態に係る文字入力装置のブロック図である。図２（Ａ）、図２（Ｂ）は、本発明の第１の実施形態に係る文字入力装置を用いた概要図である。図３は本発明の第１の実施形態に係る文字入力装置の動作を表すフローチャートである。 -Configuration example 1
FIG. 1 is a block diagram of a character input device according to the first embodiment of the present invention. 2 (A) and 2 (B) are schematic views of the character input device according to the first embodiment of the present invention. FIG. 3 is a flowchart showing the operation of the character input device according to the first embodiment of the present invention.

上述の図１の文字入力装置１０の構成に基づき、図２（Ａ）、図２（Ｂ）を用いて、より具体的な構成例を説明する。 Based on the configuration of the character input device 10 of FIG. 1 described above, a more specific configuration example will be described with reference to FIGS. 2 (A) and 2 (B).

図１、図２（Ａ）に示すように、利用者４０は、ＶＲヘッドセット３０を装着する。このことによって、利用者４０はＶＲヘッドセット３０を介して、仮想空間２０を視認する。仮想空間２０には表示部２００を備える。 As shown in FIGS. 1 and 2 (A), the user 40 wears the VR headset 30. As a result, the user 40 visually recognizes the virtual space 20 via the VR headset 30. The virtual space 20 includes a display unit 200.

利用者４０は、文字入力装置１０を保持する。図２（Ｂ）に示すように、文字入力装置１０は、操作方向特定部１２０を備える。操作方向特定部１２０は、例えばタッチパッドである。より具体的には、タッチパッドは平板状のセンサを備えており、該センサを指でなぞることによって、操作を行う。 The user 40 holds the character input device 10. As shown in FIG. 2B, the character input device 10 includes an operation direction specifying unit 120. The operation direction specifying unit 120 is, for example, a touch pad. More specifically, the touch pad is provided with a flat plate-shaped sensor, and the operation is performed by tracing the sensor with a finger.

利用者４０は、仮想空間２０内で表示部２００を特定し、文字「の」を入力する。利用者４０は、「な行」を特定する。より具体的には、仮想空間２０内の表示部２００において、レーザーポインター等を用いることで「な行」を特定する。例えば、ＶＲヘッドセット３０の注視点カーソルによって、「な行」の位置に特定する構成であってもよい。このことによって、操作検出部１３０は、「な行」の入力を検知する。 The user 40 identifies the display unit 200 in the virtual space 20 and inputs the character "no". The user 40 identifies a "na line". More specifically, in the display unit 200 in the virtual space 20, a "na line" is specified by using a laser pointer or the like. For example, the gaze cursor of the VR headset 30 may be used to specify the position of the “na line”. As a result, the operation detection unit 130 detects the input of the "na line".

操作検出部１３０は、「な行」の入力を制御部１４０に出力する。制御部１４０は、「な行」の入力を表示部２００に出力する。 The operation detection unit 130 outputs the input of the "na line" to the control unit 140. The control unit 140 outputs the input of "na line" to the display unit 200.

利用者４０は、操作方向特定部１２０のタッチパッドをフリック入力と同様の操作で、表示部２００において、文字「な」をポインティングしている状態を保つ。この際、「な行」の文字がフリックガイド２２０によって表示される。利用者４０は、文字「な」を基点に下方向にスライドさせる。このことによって、文字「の」が選択される。なお、文字「な」が本発明の「開始位置」に対応する。 The user 40 keeps the state in which the character "na" is pointed on the display unit 200 by the same operation as the flick input on the touch pad of the operation direction specifying unit 120. At this time, the characters "na line" are displayed by the flick guide 220. The user 40 slides downward from the character "na" as a base point. As a result, the character "no" is selected. The character "na" corresponds to the "start position" of the present invention.

なお、文字「な」を入力したい場合には、次の操作を用いるとよい。利用者４０は、文字「な」をポインティングした状態で操作方向特定部１２０をタップする。このことによって、文字「な」が入力される。 If you want to enter the character "na", you can use the following operation. The user 40 taps the operation direction specifying unit 120 with the character "na" pointed. As a result, the character "na" is input.

操作検出部１３０は、利用者４０によって文字「の」が選択されたことを検知する。操作検出部１３０は、文字「の」が選択されたことを制御部１４０に出力する。制御部１４０は、文字「の」を表示部２００に出力する。 The operation detection unit 130 detects that the character "no" has been selected by the user 40. The operation detection unit 130 outputs to the control unit 140 that the character "no" has been selected. The control unit 140 outputs the character "no" to the display unit 200.

図３のフローチャートを用いて、文字入力装置１０の処理の流れを説明する。 The processing flow of the character input device 10 will be described with reference to the flowchart of FIG.

文字入力装置１０は利用者４０の操作を受け付けて、仮想空間２０に表示部２００を起動させる（Ｓ１０１）。 The character input device 10 receives the operation of the user 40 and activates the display unit 200 in the virtual space 20 (S101).

文字入力装置１０は利用者４０の操作を受け付けて、表示部２００において開始文字を特定する（Ｓ１０２）。 The character input device 10 receives the operation of the user 40 and identifies the start character on the display unit 200 (S102).

操作検出部１３０は、開始文字が特定されたかどうかを判定する（Ｓ１０３）。操作検出部１３０は、開始文字が特定されたと判断した場合（Ｓ１０３：Ｙｅｓ）、文字入力装置１０は、利用者４０の操作を受け付けて、任意の入力文字を選択する（Ｓ１０４）。この際、任意の入力文字はフリックガイドを用いて表示されてもよい。 The operation detection unit 130 determines whether or not the start character has been specified (S103). When the operation detection unit 130 determines that the start character has been specified (S103: Yes), the character input device 10 accepts the operation of the user 40 and selects an arbitrary input character (S104). At this time, any input character may be displayed by using a flick guide.

操作検出部１３０は、入力文字が選択されたかどうかを判定する（Ｓ１０５）。操作検出部１３０は、入力文字が選択されたと判断した場合（Ｓ１０５：Ｙｅｓ）、制御部１４０は、表示部２００に入力文字を出力する（Ｓ１０６）。 The operation detection unit 130 determines whether or not the input character is selected (S105). When the operation detection unit 130 determines that the input character has been selected (S105: Yes), the control unit 140 outputs the input character to the display unit 200 (S106).

ステップＳ１０３において、開始文字が特定されていないと判断した場合（Ｓ１０３：Ｎｏ）、ステップＳ１０２を再度実行する。 If it is determined in step S103 that the start character has not been specified (S103: No), step S102 is executed again.

ステップＳ１０６において、入力文字が選択されていないと判断した場合（Ｓ１０３：Ｎｏ）、ステップＳ１０４を再度実行する。 If it is determined in step S106 that the input character is not selected (S103: No), step S104 is executed again.

このことによって、利用者４０は仮想空間２０において、文字入力を行うことができる。また、利用者４０は簡単な操作を行うのみで文字入力を行うことができる。さらに、文字入力は使い慣れたフリック操作を用いた文字入力方法を利用できるため、没入感が妨げられない。 As a result, the user 40 can input characters in the virtual space 20. In addition, the user 40 can input characters only by performing a simple operation. Furthermore, since the character input method using the familiar flick operation can be used for the character input, the immersive feeling is not hindered.

なお、上述の構成では、操作方向特定部１２０にタッチパッドを用いる例について説明した。しかしながら、入力文字を選択する際に、フリック操作のようなスライド操作によって該入力文字を選択できる構成であればよい。 In the above configuration, an example in which the touch pad is used for the operation direction specifying unit 120 has been described. However, when selecting an input character, the input character may be selected by a slide operation such as a flick operation.

文字入力装置１０の形状についても、利用者の操作感が失われない形状であればよく、操作方向特定部１２０の形状についても限定されない。 The shape of the character input device 10 may be any shape as long as the user's feeling of operation is not lost, and the shape of the operation direction specifying unit 120 is not limited.

なお、上述の構成では、表示部２００において、フリックガイド２２０を用いて、文字を入力する構成について説明した。フリックガイド２２０を用いることによって、利用者４０が文字入力を行う際のユーザビリティは向上する。一方で、フリックガイドを用いることによって、利用者４０の没入感が損なわれる場合には、フリックガイド２２０を省略することが可能である。 In the above configuration, a configuration for inputting characters on the display unit 200 using the flick guide 220 has been described. By using the flick guide 220, the usability when the user 40 inputs characters is improved. On the other hand, by using the flick guide, the flick guide 220 can be omitted when the immersive feeling of the user 40 is impaired.

・構成例２
次に、図４を用いて、文字を入力する具体的な動作について説明する。図４は、本発明の第２の実施形態に係る文字入力装置の概要図である。 -Configuration example 2
Next, a specific operation of inputting characters will be described with reference to FIG. FIG. 4 is a schematic view of a character input device according to a second embodiment of the present invention.

第２の実施形態においては、第１の実施形態と比較して、操作検出部の形状が異なる。その他の点については、第１の実施形態と同様であり、同様の箇所の説明は省略する。 In the second embodiment, the shape of the operation detection unit is different from that in the first embodiment. Other points are the same as those in the first embodiment, and the description of the same parts will be omitted.

文字入力装置１０Ａは、操作方向特定部１２０Ａを備える。操作方向特定部１２０Ａは例えば、十字キーの構造を有する。 The character input device 10A includes an operation direction specifying unit 120A. The operation direction specifying unit 120A has, for example, a cross key structure.

この構成を備えることによって、利用者はどの方向を特定しているかをより判断しやすい。すなわち、入力文字を選択する際の誤入力が抑制される。 By providing this configuration, it is easier for the user to determine which direction is specified. That is, erroneous input when selecting an input character is suppressed.

この構成であっても、利用者４０は仮想空間２０において、文字入力を行うことができる。また、利用者４０は簡単な操作を行うのみで文字入力を行うことができる。さらに、文字入力は使い慣れた十字キーを用いた文字入力方法を利用できるため、没入感が妨げられない。 Even with this configuration, the user 40 can input characters in the virtual space 20. In addition, the user 40 can input characters only by performing a simple operation. Furthermore, since the character input method using the familiar cross key can be used for character input, the immersive feeling is not hindered.

・構成例３
次に、図５を用いて、文字を入力する具体的な動作について説明する。図５は、本発明の第３の実施形態に係る文字入力装置のブロック図である。図６は、本発明の第３の実施形態に係る文字入力装置を用いた概要図である。 -Configuration example 3
Next, a specific operation of inputting characters will be described with reference to FIG. FIG. 5 is a block diagram of a character input device according to a third embodiment of the present invention. FIG. 6 is a schematic view using a character input device according to a third embodiment of the present invention.

第３の実施形態においては、第１の実施形態と比較して、透過表示部２００Ａを備えている点で異なる。その他の点については、第１の実施形態と同様であり、同様の箇所の説明は省略する。 The third embodiment is different from the first embodiment in that it includes a transparent display unit 200A. Other points are the same as those in the first embodiment, and the description of the same parts will be omitted.

仮想空間２０Ａは、透過表示部２００Ａを備える。より具体的には、透過表示部２００Ａは、現実空間に仮想空間２０Ａを重畳させて表示されている。言い換えれば、仮想空間２０Ａは、拡張現実ＡＲに適用される。 The virtual space 20A includes a transparent display unit 200A. More specifically, the transparent display unit 200A is displayed by superimposing the virtual space 20A on the real space. In other words, the virtual space 20A is applied to the augmented reality AR.

透過表示部２００Ａは、カメラ機能を備えた、板状かつ薄型の装置に含まれる。透過表示部２００Ａは、例えばスマートフォン等の液晶表示部である。 The transmissive display unit 200A is included in a plate-shaped and thin device having a camera function. The transmissive display unit 200A is, for example, a liquid crystal display unit of a smartphone or the like.

利用者４０は、カメラ機能を用いて現実空間５０を撮像する。透過表示部２００Ａには、現実空間を撮像した画像が表示される。 The user 40 uses the camera function to image the real space 50. An image of an image of the real space is displayed on the transparent display unit 200A.

利用者４０は、透過表示部２００Ａにおいて、文字「の」を入力する。利用者４０は、透過表示部２００Ａにおいて「な行」を特定する。操作検出部１３０は、「な行」の入力を検知する。 The user 40 inputs the character "no" on the transparent display unit 200A. The user 40 specifies a "na line" in the transparent display unit 200A. The operation detection unit 130 detects the input of "na line".

操作検出部１３０は、「な行」の入力を制御部１４０に出力する。制御部１４０は、「な行」の入力を透過表示部２００Ａに出力する。 The operation detection unit 130 outputs the input of the "na line" to the control unit 140. The control unit 140 outputs the input of "na line" to the transparent display unit 200A.

透過表示部２００Ａは、フリックガイド２２０を用いて、「な行」の文字を表示する。 The transparent display unit 200A uses the flick guide 220 to display the characters of "na line".

利用者４０は、操作方向特定部１２０のタッチパッドをフリック入力と同様の操作で文字「な」を基点にスライドさせることによって、文字「の」を選択する。この場合、利用者４０は、文字入力装置１０を平面視して下方向にスライドする。このことによって、文字「の」が選択される。 The user 40 selects the character "no" by sliding the touch pad of the operation direction specifying unit 120 with the character "na" as the base point in the same operation as flick input. In this case, the user 40 slides the character input device 10 downward in a plan view. As a result, the character "no" is selected.

操作検出部１３０は、利用者４０によって文字「の」が選択されたことを検知する。操作検出部１３０は、文字「の」が選択されたことを制御部１４０に出力する。制御部１４０は、文字「の」を透過表示部２００Ａに出力する。 The operation detection unit 130 detects that the character "no" has been selected by the user 40. The operation detection unit 130 outputs to the control unit 140 that the character "no" has been selected. The control unit 140 outputs the character "no" to the transparent display unit 200A.

この構成を用いることによって、利用者４０は拡張現実の空間においても文字入力を行うことができる。また、利用者４０は簡単な操作を行うのみで文字入力を行うことができる。さらに、文字入力は使い慣れた文字入力方法を利用できるため、没入感が妨げられない。 By using this configuration, the user 40 can input characters even in the augmented reality space. In addition, the user 40 can input characters only by performing a simple operation. Furthermore, since the character input can use the familiar character input method, the immersive feeling is not hindered.

なお、拡張現実ＡＲは、ビジョンベース型、マーカーレス型のどちらであってもよい。 The augmented reality AR may be either a vision-based type or a markerless type.

上述の例は、拡張現実ＡＲに適用する構成を示した。しかしながら、透過表示部２００Ａを仮想空間に現実空間を重畳させて複合的に表示する、複合現実ＭＲに適用することも可能である。 The above example shows a configuration that applies to augmented reality AR. However, it is also possible to apply the transparent display unit 200A to a mixed reality MR in which a real space is superimposed on a virtual space and displayed in a complex manner.

さらには、時間軸を有する仮想空間を現実空間に重畳させて表示する空間に適用することも可能である。 Furthermore, it is also possible to apply it to a space in which a virtual space having a time axis is superimposed on a real space and displayed.

さらに、この発明に係る構成と上述した実施形態に係る構成との対応関係は、以下の付記のように記載できる。
＜付記＞
文字入力を可能とする仮想空間の情景画像を表示する表示部（２００）と、
前記文字入力の開始位置を特定する開始文字特定部（１１０）と、
前記開始位置を基点にした、方向を検出する操作方向特定部（１２０）と、
前記方向に基づいて前記文字入力を確定する操作検出部（１３０）と、
前記文字入力の操作内容を前記表示部に出力する制御部（１４０）と、
を備えた、文字入力装置（１０）。 Further, the correspondence between the configuration according to the present invention and the configuration according to the above-described embodiment can be described as described in the following appendix.
<Additional notes>
A display unit (200) that displays a scene image of a virtual space that enables character input, and
A start character identification unit (110) for specifying the start position of the character input, and
An operation direction specifying unit (120) for detecting the direction based on the start position, and
An operation detection unit (130) that confirms the character input based on the direction, and
A control unit (140) that outputs the operation content of the character input to the display unit, and
A character input device (10).

１０、１０Ａ…文字入力装置
２０、２０Ａ…仮想空間
３０…ＶＲヘッドセット
４０…利用者
５０…現実空間
１１０…開始文字特定部
１２０、１２０Ａ…操作方向特定部
１３０…操作検出部
１４０…制御部
２００…表示部
２００Ａ…透過表示部
２１０…文字列表示領域
２２０…フリックガイド 10, 10A ... Character input devices 20, 20A ... Virtual space 30 ... VR headset 40 ... User 50 ... Real space 110 ... Start character identification unit 120, 120A ... Operation direction identification unit 130 ... Operation detection unit 140 ... Control unit 200 ... Display unit 200A ... Transparent display unit 210 ... Character string display area 220 ... Flick guide

Claims (8)

文字入力を可能とする仮想空間の情景画像を表示する表示部と、
前記文字入力の開始位置を特定する開始文字特定部と、
前記開始位置を基点にした、方向を検出する操作方向特定部と、
前記方向に基づいて前記文字入力を確定する操作検出部と、
前記文字入力の操作内容を前記表示部に出力する制御部と、
を備えた、文字入力装置。 A display unit that displays a scene image of a virtual space that allows character input,
A start character identification part that specifies the start position of the character input, and
An operation direction specifying unit that detects the direction based on the start position,
An operation detection unit that confirms the character input based on the direction,
A control unit that outputs the operation content of the character input to the display unit, and
A character input device equipped with. 前記操作方向特定部は、タッチパッドである、請求項１に記載の文字入力装置。 The character input device according to claim 1, wherein the operation direction specifying unit is a touch pad. 前記操作方向特定部は、十字キーである、請求項１に記載の文字入力装置。 The character input device according to claim 1, wherein the operation direction specifying unit is a cross key. 前記表示部は、現実空間に前記仮想空間を重畳させて表示する、請求項１に記載の文字入力装置。 The character input device according to claim 1, wherein the display unit displays the virtual space superimposed on the real space. 前記表示部は、前記仮想空間に現実空間を重畳させて表示する、請求項１に記載の文字入力装置。 The character input device according to claim 1, wherein the display unit displays a real space superimposed on the virtual space. 前記表示部は、時間軸を有する前記仮想空間を現実空間に重畳させて表示する、請求項１に記載の文字入力装置。 The character input device according to claim 1, wherein the display unit superimposes and displays the virtual space having a time axis on a real space. 文字入力を可能とする仮想空間の情景画像を表示するステップと、
前記文字入力の開始位置を特定するステップと、
前記開始位置を基点にした、方向を検出ステップと、
前記方向に基づいて前記文字入力を確定するステップと、
前記文字入力の操作内容を出力するステップと、
を、コンピュータが実行する、文字入力方法。 Steps to display a scene image of a virtual space that allows character input,
The step of specifying the start position of the character input and
With the start position as the base point, the direction detection step and
The step of confirming the character input based on the direction and
The step of outputting the operation content of the character input and
The character input method that the computer executes. 文字入力を可能とする仮想空間の情景画像を表示するステップと、
前記文字入力の開始位置を特定するステップと、
前記開始位置を基点にした、方向を検出ステップと、
前記方向に基づいて前記文字入力を確定するステップと、
前記文字入力の操作内容を出力するステップと、
を、コンピュータに実行させる、文字入力プログラム。 Steps to display a scene image of a virtual space that allows character input,
The step of specifying the start position of the character input and
With the start position as the base point, the direction detection step and
The step of confirming the character input based on the direction and
The step of outputting the operation content of the character input and
A character input program that causes a computer to execute.
JP2019045469A 2019-03-13 2019-03-13 Character inputting device, character inputting method, and character inputting program Pending JP2020149269A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019045469A JP2020149269A (en) 2019-03-13 2019-03-13 Character inputting device, character inputting method, and character inputting program
EP20156562.9A EP3709132A1 (en) 2019-03-13 2020-02-11 Character input device, character input method, and character input program
US16/794,380 US20200293118A1 (en) 2019-03-13 2020-02-19 Character input device, character input method, and character input program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019045469A JP2020149269A (en) 2019-03-13 2019-03-13 Character inputting device, character inputting method, and character inputting program

Publications (1)

Publication Number Publication Date
JP2020149269A true JP2020149269A (en) 2020-09-17

Family

ID=69571794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019045469A Pending JP2020149269A (en) 2019-03-13 2019-03-13 Character inputting device, character inputting method, and character inputting program

Country Status (3)

Country Link
US (1) US20200293118A1 (en)
EP (1) EP3709132A1 (en)
JP (1) JP2020149269A (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115562496B (en) * 2022-11-04 2023-12-15 浙江舜为科技有限公司 XR equipment, character input method based on XR equipment and character modification method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182228A (en) * 2016-03-29 2017-10-05 セイコーエプソン株式会社 Input device, input method, and computer program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
JP2014154074A (en) 2013-02-13 2014-08-25 Seiko Epson Corp Input device, head-mounted type display device, and method for controlling input device
CN106933364B (en) * 2017-03-15 2019-09-27 京东方科技集团股份有限公司 Characters input method, character input device and wearable device
US10671181B2 (en) * 2017-04-03 2020-06-02 Microsoft Technology Licensing, Llc Text entry interface

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182228A (en) * 2016-03-29 2017-10-05 セイコーエプソン株式会社 Input device, input method, and computer program

Also Published As

Publication number Publication date
EP3709132A1 (en) 2020-09-16
US20200293118A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
US9176668B2 (en) User interface for text input and virtual keyboard manipulation
JP5802667B2 (en) Gesture input device and gesture input method
JP4351599B2 (en) Input device
JP6159323B2 (en) Information processing method and information processing apparatus
DK2202609T3 (en) Eye control of computer equipment
JP6394163B2 (en) Graph display device, graph display method and program
JP2013242821A (en) Picture display device and picture operation method of the same
WO2009031478A2 (en) Information processor, user interface control method and program
KR20200102228A (en) Method for input and apparatuses performing the same
JP2015135572A (en) Information processing apparatus and control method of the same
JP2020149269A (en) Character inputting device, character inputting method, and character inputting program
WO2018123320A1 (en) User interface device and electronic apparatus
JP2009252190A (en) Menu screen display device, menu screen display method, and computer program
US10901495B2 (en) Techniques for multi-finger typing in mixed-reality
JP2010093516A (en) Mobile information terminal and operation control method for the same, and program
KR100996075B1 (en) User interface apparatus and method
JP4143529B2 (en) Information input device, information input method, computer program, and computer-readable storage medium
Petrie et al. Older people’s use of tablets and smartphones: A review of research
JP2010015603A (en) Display device
CN117826977A (en) Interaction method, interaction device, electronic equipment, storage medium and computer program product
KR101809047B1 (en) Guide device and method for short-cut key
WO2013080430A1 (en) Information processing device, information processing method, and program
KR20240036543A (en) I/o expansion system using mr
JP2020163167A (en) Game device and program
JP2024018909A (en) XR operation function using smart watch

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220328

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220816