JP2020144767A - Program and information processing device - Google Patents
Program and information processing device Download PDFInfo
- Publication number
- JP2020144767A JP2020144767A JP2019042593A JP2019042593A JP2020144767A JP 2020144767 A JP2020144767 A JP 2020144767A JP 2019042593 A JP2019042593 A JP 2019042593A JP 2019042593 A JP2019042593 A JP 2019042593A JP 2020144767 A JP2020144767 A JP 2020144767A
- Authority
- JP
- Japan
- Prior art keywords
- information
- area
- screen information
- screen
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 7
- 230000003252 repetitive effect Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 33
- 238000000034 method Methods 0.000 description 15
- 230000003993 interaction Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、プログラム及び情報処理装置に関する。 The present invention relates to a program and an information processing device.
ウェアラブルデバイスに対するユーザのインタラクションの中には文字入力がある。ウェアラブルデバイスの一つであるヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）における文字入力を行うために、特許文献１には、画面に仮想的な操作部がキーボードとして表示される構成が示されている。 Character input is one of the user's interactions with the wearable device. In order to input characters on a head-mounted display (HMD), which is one of the wearable devices, Patent Document 1 shows a configuration in which a virtual operation unit is displayed as a keyboard on the screen. ..
文字入力のため、ＨＭＤの画面にＱＷＥＲＴＹ配列のキーボードが仮想的に表示された場合、ユーザがキーボードの文字を視認しつつ、それぞれのキーを選択するために十分な広さを持つキーボードを表示しなければならない。この場合、仮想的なキーボードによって、他の情報の表示が妨げられる。文字入力のように、複数の選択候補の中からある情報を選択するようなインタラクションが行われる場合、選択候補を表示する画面によって、他の情報の表示が妨げられ、ユーザの利便性が低下する場合がある。 When a QWERTY keyboard is virtually displayed on the HMD screen for character input, the user can visually recognize the characters on the keyboard and display a keyboard that is large enough to select each key. There must be. In this case, the virtual keyboard prevents the display of other information. When an interaction such as selecting a certain information from a plurality of selection candidates is performed such as character input, the screen displaying the selection candidates hinders the display of other information and reduces the convenience of the user. In some cases.
そこで、本発明は、ユーザの視界を確保しつつ、複数の選択候補の中からある情報を選択するようなインタラクションを可能とするプログラム及び情報処理装置を提供することを目的とする。 Therefore, an object of the present invention is to provide a program and an information processing device that enable an interaction in which certain information is selected from a plurality of selection candidates while ensuring a user's field of view.
本発明の一態様に係るプログラムは、環状の操作領域を画面に表示させるための画面情報を生成する画面情報生成部と、操作領域に対するユーザ操作を識別する操作識別部と、をコンピュータに実現させ、画面情報生成部は、操作領域に環状に配置される複数の第１の領域のそれぞれに、第１の情報を表示させるための画面情報を生成し、ユーザ操作に基づいて、複数の第１の領域から特定の第１の領域が選択されると、特定の第１の領域に表示された特定の第１の情報に対応する複数の第２の情報のそれぞれを、操作領域に環状に配置される第２の領域に表示させるための画面情報を生成する。 The program according to one aspect of the present invention causes a computer to realize a screen information generation unit for generating screen information for displaying an annular operation area on a screen and an operation identification unit for identifying a user operation on the operation area. , The screen information generation unit generates screen information for displaying the first information in each of the plurality of first areas arranged in a ring shape in the operation area, and based on the user operation, the plurality of first areas. When a specific first area is selected from the area of, a plurality of second information corresponding to the specific first information displayed in the specific first area is arranged in a ring shape in the operation area. Generate screen information to be displayed in the second area to be displayed.
この態様によれば、環状に配置された操作領域に表示される情報を、操作識別部が識別する操作によって選択することができる。画面情報生成部は、第１の情報と、第１の情報に対応する第２の情報が段階的に表示されるような画面情報を生成することができる。多数の選択候補の中から情報を選択する場合に、段階的な選択が可能であるため、選択候補が配置される画面情報が画面に占める面積を小さくすることが可能となる。 According to this aspect, the information displayed in the operation area arranged in a ring can be selected by the operation identified by the operation identification unit. The screen information generation unit can generate screen information such that the first information and the second information corresponding to the first information are displayed step by step. When selecting information from a large number of selection candidates, it is possible to make a stepwise selection, so that the area occupied by the screen information on which the selection candidates are arranged can be reduced.
この態様において、第１の領域と第２の領域は、操作領域において重複した領域であり、画面情報生成部は、第２の領域を第１の領域に換えて表示させるための画面情報を生成してもよい。 In this embodiment, the first area and the second area are overlapping areas in the operation area, and the screen information generation unit generates screen information for displaying the second area in place of the first area. You may.
この態様において、ユーザ操作には、ユーザが弧を描くように物体を移動させるダイヤル操作が含まれてもよい。 In this aspect, the user operation may include a dial operation in which the user moves an object in an arc.
この態様において、操作識別部は、ダイヤル操作における物体の運動の軌跡に対応する円の半径を推定し、画面情報生成部は、推定された半径に基づいて、画面情報を生成してもよい。 In this embodiment, the operation identification unit may estimate the radius of the circle corresponding to the trajectory of the movement of the object in the dial operation, and the screen information generation unit may generate screen information based on the estimated radius.
この態様において、操作識別部は、円の中心位置を推定し、画面情報生成部は、中心位置に基づいて、画面情報を生成してもよい。 In this embodiment, the operation identification unit may estimate the center position of the circle, and the screen information generation unit may generate screen information based on the center position.
この態様において、ユーザ操作には、第１の領域又は第２の領域に含まれる特定の領域が、ダイヤル操作に基づいて複数回選択される、繰り返し操作が含まれるようにしてもよい。 In this aspect, the user operation may include a repetitive operation in which a specific area included in the first area or the second area is selected a plurality of times based on the dial operation.
この態様において、操作識別部は、ユーザ操作に基づいて、特定の領域に隣接する領域である隣接領域と、特定の領域とが交互に選択された場合に、繰り返し操作であると識別してもよい。 In this embodiment, the operation identification unit may identify that the operation is a repetitive operation when the adjacent area, which is an area adjacent to the specific area, and the specific area are alternately selected based on the user operation. Good.
この態様において、第２の情報は、文字入力のために用いられる文字又は操作ボタンを含む文字入力情報であり、第１の情報は、いくつかのグループに分けられた文字入力情報のグループを示すためのグループ情報であってもよい。 In this aspect, the second information is character input information including characters or operation buttons used for character input, and the first information indicates a group of character input information divided into several groups. It may be group information for.
この態様において、画面情報生成部は、第２の領域に、第２の領域に配置される文字について、大文字と小文字を切り替えるためのシフト操作ボタンを配置するための画面情報を生成し、ユーザ操作に基づき、シフト操作ボタンが選択されると、第２の領域に配置される文字の大文字と小文字が切り替わった文字を、操作領域に環状に配置される第３の領域に表示させるための画面情報を生成してもよい。 In this embodiment, the screen information generation unit generates screen information for arranging a shift operation button for switching between uppercase and lowercase letters in the second area for the characters arranged in the second area, and operates the user. When the shift operation button is selected based on, the screen information for displaying the characters whose uppercase and lowercase letters are switched in the second area are displayed in the third area arranged in a ring shape in the operation area. May be generated.
この態様において、画面情報生成部は、第１の領域には、グループ情報として、第１のグループ情報と第２のグループ情報とを配置するための画面情報を生成し、第２の領域のそれぞれに、第１のグループ情報に含まれるそれぞれの文字入力情報を反時計回りに、第２のグループ情報に含まれるそれぞれの文字入力情報を時計周りに配置するための画面情報を生成してもよい。 In this embodiment, the screen information generation unit generates screen information for arranging the first group information and the second group information as group information in the first area, and each of the second areas. In addition, screen information for arranging each character input information included in the first group information counterclockwise and each character input information included in the second group information clockwise may be generated. ..
この態様において、画面情報生成部は、文字入力情報の入力結果が表示される入力表示領域を画面に表示させるための画面情報を生成し、入力結果に基づいて、少なくとも一つの予測入力情報が表示される予測表示領域を画面に表示させるための画面情報を生成し、ユーザ操作に基づいて、予測入力情報を選択してもよい。 In this embodiment, the screen information generation unit generates screen information for displaying the input display area on which the input result of the character input information is displayed on the screen, and displays at least one predictive input information based on the input result. Screen information for displaying the predicted display area to be displayed on the screen may be generated, and the predicted input information may be selected based on the user operation.
本発明によれば、ユーザの視界を確保しつつ、複数の選択候補の中からある情報を選択するようなインタラクションを可能とするプログラム及び情報処理装置を提供することができる。 According to the present invention, it is possible to provide a program and an information processing device that enable an interaction in which certain information is selected from a plurality of selection candidates while ensuring the user's field of view.
添付図面を参照して、本発明の好適な実施形態について説明する。（なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。）本実施形態は、本発明を、ＨＭＤに適用した例である。 Preferred embodiments of the present invention will be described with reference to the accompanying drawings. (In each figure, those having the same reference numerals have the same or similar configurations.) The present embodiment is an example in which the present invention is applied to an HMD.
図１は、本実施形態に係るＨＭＤ１００のハードウェア構成を示すブロック図である。以下、ヘッドマウントディスプレイ１００をＨＭＤ１００ともいう。図１に示されるように、ＨＭＤ１００（コンピュータ）は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、深度センサ１０４、及び画面１０５を備えている。 FIG. 1 is a block diagram showing a hardware configuration of the HMD 100 according to the present embodiment. Hereinafter, the head-mounted display 100 is also referred to as an HMD 100. As shown in FIG. 1, the HMD100 (computer) includes a CPU 101, a ROM 102, a RAM 103, a depth sensor 104, and a screen 105.
ＣＰＵ１０１は、ＨＭＤ１００の動作に関する各種演算処理を実行し、画面１０５に表示する画像の生成等を実行する。ＲＯＭ１０２は、ＨＭＤ１００の動作に関する各種プログラムやデータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の演算処理結果（画面１０５に表示する画面情報等）や深度センサ１０４の検出結果等の各種情報を一時的に記憶する。深度センサ１０４は、赤外線を照射して物体との距離を検出するセンサである。深度センサ１０４は、物体の仮想平面上における座標を検知するために用いられる。画面１０５は、ＣＰＵ１０１の演算処理結果（画面情報等）等の各種情報を表示する。 The CPU 101 executes various arithmetic processes related to the operation of the HMD 100, and generates an image to be displayed on the screen 105. The ROM 102 stores various programs, data, and the like related to the operation of the HMD 100. The RAM 103 temporarily stores various information such as the calculation processing result of the CPU 101 (screen information displayed on the screen 105) and the detection result of the depth sensor 104. The depth sensor 104 is a sensor that irradiates infrared rays to detect the distance to an object. The depth sensor 104 is used to detect the coordinates of the object on the virtual plane. The screen 105 displays various information such as calculation processing results (screen information and the like) of the CPU 101.
図２は、本実施形態に係るＨＭＤ１００の機能的構成を示す模式図である。図２に示されるように、ＨＭＤ１００は、例示的に、操作識別部１１０と、画面情報生成部１２０とを備えている。操作識別部１１０は、検知部１１１、候補円特定部１１２、分散算出部１１３、及び円選択部１１４、を備えている。これらの各部は、例えば、ＲＯＭ１０２に記憶されているプログラムをＣＰＵ１０１が実行することにより実現される。 FIG. 2 is a schematic diagram showing a functional configuration of the HMD 100 according to the present embodiment. As shown in FIG. 2, the HMD 100 optionally includes an operation identification unit 110 and a screen information generation unit 120. The operation identification unit 110 includes a detection unit 111, a candidate circle identification unit 112, a variance calculation unit 113, and a circle selection unit 114. Each of these parts is realized, for example, by the CPU 101 executing a program stored in the ROM 102.
検知部１１１について説明する。検知部１１１は、ユーザが移動させる物体の仮想平面上における座標を検知する機能を有する。物体の例としては、空間内に設けられる仮想平面上でユーザが移動させる指、トラックパッド上をユーザが移動させる指、ジョイスティックのユーザによって操作されるスティック等がある。 The detection unit 111 will be described. The detection unit 111 has a function of detecting the coordinates of the object to be moved by the user on the virtual plane. Examples of the object include a finger moved by the user on a virtual plane provided in the space, a finger moved by the user on the trackpad, a stick operated by the user of the joystick, and the like.
検知部１１１は、仮想平面上でユーザが移動させる指（物体）の仮想平面上における座標を検知する検知部１１１は、例えば、深度センサ１０４を用いて実現される。 The detection unit 111 detects the coordinates of the finger (object) moved by the user on the virtual plane on the virtual plane. The detection unit 111 is realized by using, for example, the depth sensor 104.
検知部１１１による物体の仮想平面上における座標の検知は、深度センサ１０４を用いた上記のものに限られず、他の技術により実現されてもよい。例えば、物体を撮影した画像を認識し、これに基づいて物体の仮想平面上における座標を検知するものであってもよい。また、トラックパッドやジョイスティック等の入力装置を用いる場合は、検知部１１１は、入力装置からの情報に基づいて、ユーザにより指定される仮想平面上の座標を検知するものであってもよい。 The detection of the coordinates of the object on the virtual plane by the detection unit 111 is not limited to the above-mentioned one using the depth sensor 104, and may be realized by other techniques. For example, it may recognize an image of an object and detect the coordinates of the object on a virtual plane based on the image. When an input device such as a trackpad or a joystick is used, the detection unit 111 may detect the coordinates on the virtual plane specified by the user based on the information from the input device.
本実施形態では、仮想平面上でユーザが移動させる指の仮想平面上における座標を検知する場合について説明する。検知部１１１は、深度センサ１０４を用いて物体の識別及び物体の仮想平面上における座標の検知を行う。検知部１１１は、常に所定時間ごとに検知を行う。その後、所定時間ごと（例えば、１秒ごと）に当該物体の仮想平面上における座標を検知する。なお、検知部１１１による検知開始のトリガは、この態様に限られない。例えば、所定速度以上の速度で物体が移動開始したことを検知開始のトリガとしてもよい。また、物体が所定範囲（例えば、ユーザーの手の平）に配置された場合に物体の検知を開始してもよい。以上のようにして、検知部１１１は、ユーザが移動させる物体の仮想平面上における座標を検知することが可能となる。 In this embodiment, the case of detecting the coordinates of the finger moved by the user on the virtual plane on the virtual plane will be described. The detection unit 111 identifies the object and detects the coordinates of the object on the virtual plane by using the depth sensor 104. The detection unit 111 always detects at predetermined time intervals. After that, the coordinates of the object on the virtual plane are detected every predetermined time (for example, every second). The trigger for starting detection by the detection unit 111 is not limited to this mode. For example, the fact that the object starts moving at a speed equal to or higher than a predetermined speed may be used as a trigger for starting detection. Further, the detection of the object may be started when the object is placed in a predetermined range (for example, the palm of the user). As described above, the detection unit 111 can detect the coordinates of the object to be moved by the user on the virtual plane.
図３は、ユーザが円を描く仮想平面２１、及び仮想平面２１における物体の仮想平面上における座標の推移の一例を示す図である。なお、図中の基準ベクトルＶＳは、Ｘ軸正の方向に向かうベクトルである。以下、図３も参照しながら説明する。 FIG. 3 is a diagram showing an example of the transition of the coordinates of the virtual plane 21 in which the user draws a circle and the object in the virtual plane 21 on the virtual plane. The reference vector VS in the figure is a vector directed in the positive direction of the X-axis. Hereinafter, description will be made with reference to FIG.
検知部１１１は、ユーザが円を描くように物体を移動させると、物体の移動の検知が開始された時刻（以下、第１時刻という）における物体の仮想平面上における座標（Ｘ１、Ｙ１）（第１座標）、当該検知が終了した時刻（以下、第２時刻という）における物体の仮想平面上における座標（Ｘｎ、Ｙｎ）（ｎ≧３）（第２座標）、及び第１時刻と第２時刻との間における物体の仮想平面上における座標（Ｘｍ、Ｙｍ）（ｍ＝２，…，ｎ−１）（第３座標）を検知することが可能である。 When the user moves the object in a circular motion, the detection unit 111 sets the coordinates (X1, Y1) (X1, Y1) (hereinafter referred to as the first time) of the object on the virtual plane at the time when the detection of the movement of the object is started (hereinafter referred to as the first time). The first coordinate), the coordinates (Xn, Yn) (n ≧ 3) (second coordinate) on the virtual plane of the object at the time when the detection is completed (hereinafter referred to as the second time), and the first time and the second time. It is possible to detect the coordinates (Xm, Ym) (m = 2, ..., N-1) (third coordinate) of the object on the virtual plane with and from the time.
次に、候補円特定部１１２、分散算出部１１３、及び円選択部１１４について説明する。 Next, the candidate circle identification unit 112, the variance calculation unit 113, and the circle selection unit 114 will be described.
候補円特定部１１２は、検知部１１１によって検知された物体の仮想平面上における座標に基づいて、ユーザが描こうとした円に近似する円の候補である候補円Ｃを特定する。候補円特定部１１２は、候補円Ｃの半径３１の長さを複数特定する。 The candidate circle identification unit 112 identifies the candidate circle C, which is a candidate for a circle that approximates the circle that the user tried to draw, based on the coordinates of the object detected by the detection unit 111 on the virtual plane. The candidate circle specifying unit 112 specifies a plurality of lengths of the radius 31 of the candidate circle C.
分散算出部１１３は、候補円Ｃごとに、候補円Ｃの中心３２の仮想平面上における座標（ｘ、ｙ）から、仮想平面上における座標（Ｘ１、Ｙ１）、（Ｘｎ、Ｙｎ）（図３の例では、ｎ＝１１）、及び第１時刻と第２時刻との間に検知された１つ又は複数の仮想平面上における座標（Ｘｍ、Ｙｍ）（ｍ＝２，…，ｎ−１）の各座標までの距離における分散を算出する。 For each candidate circle C, the variance calculation unit 113 uses coordinates (x, y) on the virtual plane of the center 32 of the candidate circle C to coordinates (X1, Y1), (Xn, Yn) on the virtual plane (FIG. 3). In the example of n = 11), and the coordinates (Xm, Ym) (m = 2, ..., N-1) on one or more virtual planes detected between the first time and the second time. Calculate the variance at the distance to each coordinate of.
円選択部１１４は、複数の候補円Ｃの中で分散の値が最も小さい１つの円を選択する。なお、分散の値の低い順に複数の円を選択する態様であってもよい。候補円Ｃごとの分散に基づいて、複数の候補円Ｃの中からユーザが物体を移動させた軌跡２２に対応する１つの候補円Ｃを選択する。図３には選択された候補円Ｃが示される。候補円特定部１１２、分散算出部１１３、及び円選択部１１４は、ＣＰＵ１０１によって実現される。 The circle selection unit 114 selects one circle having the smallest variance value among the plurality of candidate circles C. In addition, a mode may be used in which a plurality of circles are selected in ascending order of variance value. Based on the variance for each candidate circle C, one candidate circle C corresponding to the locus 22 in which the user moves the object is selected from the plurality of candidate circles C. FIG. 3 shows the selected candidate circle C. The candidate circle identification unit 112, the variance calculation unit 113, and the circle selection unit 114 are realized by the CPU 101.
操作識別部１１０は、円選択部１１４によって選択された候補円Ｃの半径３１及び中心３２の仮想平面上における座標を画面情報生成部１２０へと引き渡す。操作識別部１１０は、検知部１１１によって検知される物体の仮想平面上における座標に基づいて、ユーザによる操作に用いられる操作点を特定する。 The operation identification unit 110 delivers the coordinates of the radius 31 and the center 32 of the candidate circle C selected by the circle selection unit 114 on the virtual plane to the screen information generation unit 120. The operation identification unit 110 identifies the operation point used for the operation by the user based on the coordinates on the virtual plane of the object detected by the detection unit 111.
操作点は、検知部１１１によって検知される物体の仮想平面上における座標をそのまま用いて特定することができる。あるいは、検知部１１１によって検知される物体の仮想平面上における座標と中心３２の仮想平面上における座標との相対的な位置関係に基づいて特定することができる。例えば、物体の仮想平面上における座標と中心３２との仮想平面上における座標とを結ぶ線分と候補円Ｃとの交点を操作点とする、つまり、基準ベクトルＶＳに対する角度に基づいて候補円Ｃ上に操作点を特定してもよい。 The operation point can be specified by using the coordinates of the object detected by the detection unit 111 on the virtual plane as it is. Alternatively, it can be specified based on the relative positional relationship between the coordinates of the object detected by the detection unit 111 on the virtual plane and the coordinates of the center 32 on the virtual plane. For example, the intersection of the line segment connecting the coordinates of the object on the virtual plane and the coordinates of the center 32 on the virtual plane and the candidate circle C is set as the operation point, that is, the candidate circle C is based on the angle with respect to the reference vector VS. The operating point may be specified above.
操作点が、候補円Ｃに沿うような弧を描く動きをする場合に、操作識別部１１０は、ユーザが弧を描くように物体を移動させるダイヤル操作を行っていると識別することが可能となる。 When the operation point moves to draw an arc along the candidate circle C, the operation identification unit 110 can identify that the user is performing a dial operation to move the object so as to draw an arc. Become.
なお、操作点の特定及びダイヤル操作の識別は上記の手法に限られるものではなく、任意の手法を採用することが可能である。例えば、図４Ａに示すような円形のトラックパッド１０６を入力装置として用いる場合がある。このとき、トラック面１０６１において検出されるユーザの指の位置に基づいて、ユーザにより指定される仮想平面上の座標を操作点として特定できる。また、トラック面１０６１の円周１０６３に沿ってユーザの指を移動させることができる。トラック面１０６１の中心１０６２に対してユーザの指が円を描く移動を検出できるので、ダイヤル操作を識別することができる。 The identification of the operation point and the identification of the dial operation are not limited to the above method, and any method can be adopted. For example, a circular trackpad 106 as shown in FIG. 4A may be used as an input device. At this time, the coordinates on the virtual plane specified by the user can be specified as the operation points based on the position of the user's finger detected on the track surface 1061. Further, the user's finger can be moved along the circumference 1063 of the track surface 1061. Since the movement of the user's finger in a circle with respect to the center 1062 of the track surface 1061 can be detected, the dial operation can be identified.
あるいは、図４Ｂに示すようなジョイスティック１０７を用いて、スティック部１０７１の、中心１０７２と外周部１０７３との位置関係に基づく操作点の特定及びダイヤル操作の識別を行うことができる。スティック部１０７１の移動によって検出されるユーザの入力に基づいて、ユーザにより指定される仮想平面上の座標を操作点として特定できる。また、外周部１０７３に沿ってスティック部１０７１を移動させることができる。中心１０７２に対してスティック部１０７１が円を描く移動を検出できるので、ダイヤル操作を識別することができる。 Alternatively, the joystick 107 as shown in FIG. 4B can be used to identify the operation point and dial operation of the stick portion 1071 based on the positional relationship between the center 1072 and the outer peripheral portion 1073. Based on the user's input detected by the movement of the stick unit 1071, the coordinates on the virtual plane specified by the user can be specified as the operation point. Further, the stick portion 1071 can be moved along the outer peripheral portion 1073. Since the stick portion 1071 can detect the movement in a circle with respect to the center 1072, the dial operation can be identified.
画面情報生成部１２０について説明する。画面情報生成部１２０は、図５に示されるように、画面１０５に環状の操作領域４１を表示する。操作領域４１には、操作識別部１１０によって特定された、ユーザの操作に用いられる操作点Ｐが表示される。環状の操作領域には、例えば、アルファベットがいくつかのグループに分けられた情報が表示される。ユーザは、後述する操作によって、画面１０５に表示された情報を選択することができる。 The screen information generation unit 120 will be described. As shown in FIG. 5, the screen information generation unit 120 displays the annular operation area 41 on the screen 105. In the operation area 41, the operation point P used for the user's operation, which is specified by the operation identification unit 110, is displayed. In the annular operation area, for example, information in which the alphabet is divided into several groups is displayed. The user can select the information displayed on the screen 105 by an operation described later.
本実施形態の動作例について、ＨＭＤ１００の中でも、画面１０５が外部の光景を透過可能な透過型のＨＭＤにおける、操作識別部１１０及び画面情報生成部１２０による情報の選択について、文字入力を例として説明する。 Regarding the operation example of the present embodiment, the selection of information by the operation identification unit 110 and the screen information generation unit 120 in the transmissive HMD in which the screen 105 can transmit an external scene among the HMD 100 will be described by taking character input as an example. To do.
本実施形態において、ユーザ操作は、図６Ａ及び図６Ｂに示されるユーザの指先６１が運動することによって操作識別部１１０に入力される。ユーザの指先６１は、図６Ａに示されるように２つの指先６１を接触させた第１モードと、図６Ｂに示されるように２つの指先６１を離した第２モードの２つのモードのいずれかを示すように動かされる。 In the present embodiment, the user operation is input to the operation identification unit 110 by the movement of the user's fingertip 61 shown in FIGS. 6A and 6B. The user's fingertip 61 has either two modes, a first mode in which the two fingertips 61 are in contact with each other as shown in FIG. 6A, and a second mode in which the two fingertips 61 are separated as shown in FIG. 6B. Is moved to indicate.
図７及び図８は、ＨＭＤ１００における文字入力の手順を示すフローチャートである。
図７に示されるステップＳ１０１において、検知部１１１が、ユーザの指先６１を含む画像を取得する。検知部１１１は、第２モードにおいては、指先６１の一方を指先６１の仮想平面上における座標として用いる。
7 and 8 are flowcharts showing a character input procedure in the HMD 100.
In step S101 shown in FIG. 7, the detection unit 111 acquires an image including the user's fingertip 61. In the second mode, the detection unit 111 uses one of the fingertips 61 as the coordinates of the fingertips 61 on the virtual plane.
ユーザの指先６１は、図９に示されるようにＨＭＤ１００において、画面１０５内の仮想平面２１に位置している。なお、仮想平面２１は画面１０５の特定の領域に限られて設けられるものではなく、ユーザの指先６１を認識できるならば、どの場所に設けられていてもよい。 The user's fingertip 61 is located on the virtual plane 21 in the screen 105 in the HMD 100 as shown in FIG. The virtual plane 21 is not limited to a specific area of the screen 105, and may be provided at any place as long as the user's fingertip 61 can be recognized.
ステップＳ１０２において、検知部１１１は、ユーザの指先６１が第２モードであるかを判断する。 In step S102, the detection unit 111 determines whether the user's fingertip 61 is in the second mode.
第２モードであると判断された場合、ステップＳ１０３において、検知部１１１は、ユーザの指先６１を含む画像を取得する。ステップＳ１０４において、検知部１１１は、ユーザの指先６１が第１モードであるかを判断する。 If it is determined that the mode is the second mode, in step S103, the detection unit 111 acquires an image including the user's fingertip 61. In step S104, the detection unit 111 determines whether the user's fingertip 61 is in the first mode.
第１モードであると判断された場合、ステップＳ１０５において、操作識別部１１０は、図１０に示されるようなユーザの指先６１の軌跡２２を取得する。 When it is determined that the mode is the first mode, in step S105, the operation identification unit 110 acquires the locus 22 of the user's fingertip 61 as shown in FIG.
ステップＳ１０６において、操作識別部１１０は、軌跡２２が仮想平面２１において平面上に一周分円を描いているかを判断する。 In step S106, the operation identification unit 110 determines whether the locus 22 draws a circular circle on the plane in the virtual plane 21.
軌跡２２が円を描くと判断された場合、ステップＳ１０７において、画面情報生成部１２０は、操作識別部１１０から、ユーザが描いた円から推定される円の半径３１と中心３２の仮想平面上における座標を取得する。 When it is determined that the locus 22 draws a circle, in step S107, the screen information generation unit 120 is on the virtual plane of the radius 31 and the center 32 of the circle estimated from the circle drawn by the user from the operation identification unit 110. Get the coordinates.
ステップＳ１０８において、検知部１１１は、ユーザの指先６１を含む画像を取得する。ステップＳ１０９において、検知部１１１はユーザの指先６１が第２モードであるかを判断する。 In step S108, the detection unit 111 acquires an image including the user's fingertip 61. In step S109, the detection unit 111 determines whether the user's fingertip 61 is in the second mode.
ステップＳ１０９にて第２モードであると判断された場合、画面情報生成部１２０は、画面情報を生成すると判断し、ステップＳ１１０において、画面に配置する文字の種別を決定する。文字の種別にはアルファベット、数字、かな文字等がある。本実施形態においては、アルファベットが表示されるものとして説明する。 When it is determined in step S109 that the mode is the second mode, the screen information generation unit 120 determines that screen information is generated, and in step S110, determines the type of characters to be arranged on the screen. Character types include alphabets, numbers, and kana characters. In this embodiment, it is assumed that the alphabet is displayed.
ステップＳ１１１において、画面情報生成部１２０は、文字の種別に適するように、文字や操作ボタンのグループ分けを行う。 In step S111, the screen information generation unit 120 groups characters and operation buttons so as to be suitable for the character type.
ステップＳ１１２において、画面情報生成部１２０は、画面１０５に表示される環状の操作領域４１の大きさを、半径３１に基づいて決定する。 In step S112, the screen information generation unit 120 determines the size of the annular operation area 41 displayed on the screen 105 based on the radius 31.
ステップＳ１１３において、画面情報生成部１２０は、環状の操作領域４１に配置される複数の領域４１１に、ステップＳ１１１にてグループ分けを行った文字のグループ情報が配置された画面情報を生成する。一つのグループ情報には、例えば、「ｄｃｂａ ｅｆｇｈ」のようにグループ情報「ｄｃｂａ」とグループ情報「ｅｆｇｈ」が含まれている。 In step S113, the screen information generation unit 120 generates screen information in which the group information of the characters grouped in step S111 is arranged in the plurality of areas 411 arranged in the annular operation area 41. One group information includes group information "dcba" and group information "efgh" such as "dcba efgh".
生成された画面情報は、図１０に示されるように、中心３２を中心として画面１０５に表示される。また、画面１０５には、画面情報生成部１２０によって、終了ボタン２３及び入力表示領域５１も表示される。終了ボタン２３は入力終了の操作に用いられる。入力表示領域５１には入力された文字が表示される。 The generated screen information is displayed on the screen 105 with the center 32 as the center, as shown in FIG. Further, on the screen 105, the end button 23 and the input display area 51 are also displayed by the screen information generation unit 120. The end button 23 is used for the operation of ending the input. The input characters are displayed in the input display area 51.
ステップＳ１１４以降の操作によって、ユーザによる情報の選択が行われる。情報の選択操作については、図７及び図８のフローチャートと図１１Ａから図１１Ｄ及び図１２Ａから図１２Ｃを参照しつつ説明する。ここでは、入力表示領域５１に文字「ｋ」を入力する場合を考える。 Information is selected by the user by the operation after step S114. The information selection operation will be described with reference to the flowcharts of FIGS. 7 and 8 and FIGS. 11A to 11D and 12A to 12C. Here, consider the case where the character "k" is input to the input display area 51.
画面表示及び、ユーザによる操作は、図１０に示されるような仮想平面２１内で行われる。図１１Ａから図１１Ｄ及び図１２Ａから図１２Ｃにおいては、ユーザによる操作の動きと、操作領域４１とを分けて図示している。なお、操作領域４１は、画面１０５内の任意の場所に配置することが可能である。 The screen display and the operation by the user are performed in the virtual plane 21 as shown in FIG. In FIGS. 11A to 11D and 12A to 12C, the movement of the operation by the user and the operation area 41 are shown separately. The operation area 41 can be arranged at an arbitrary location on the screen 105.
検知部１１１は、ステップＳ１１４において、検知部１１１は、ユーザの指先６１の操作領域４１における位置を検知し、操作識別部１１０が操作点Ｐを特定する。ここで検知されるユーザの指先６１の位置とは、中心３２に対する相対的な位置である。 In step S114, the detection unit 111 detects the position of the user's fingertip 61 in the operation area 41, and the operation identification unit 110 identifies the operation point P. The position of the user's fingertip 61 detected here is a position relative to the center 32.
ステップＳ１１５において、画面情報生成部１２０は、ステップＳ１１４で検出したユーザの指先６１の位置に対応する領域４１１を特定し、その領域４１１を強調表示した画面情報を生成する。ここまでの操作は、図１１Ａ、図１１Ｂ、及び図１１Ｃに示される。図１１Ｂでは操作点Ｐの特定及び領域４１１の強調表示までが行われている。図１１Ｃはユーザが第２モードのまま指先６１を軌跡２２のように移動させた結果、強調表示される領域４１１が移動したことが示されている。 In step S115, the screen information generation unit 120 identifies the area 411 corresponding to the position of the user's fingertip 61 detected in step S114, and generates screen information highlighting the area 411. The operations up to this point are shown in FIGS. 11A, 11B, and 11C. In FIG. 11B, the operation point P is specified and the area 411 is highlighted. FIG. 11C shows that the highlighted area 411 has moved as a result of the user moving the fingertip 61 like the locus 22 in the second mode.
なお、領域４１１の特定にあたっては、ユーザの指先６１は、直線状に移動してもよい。領域４１１の特定は、中心３２に対するユーザの指先６１の相対的な位置に基づいて行われるためである。 In specifying the area 411, the user's fingertip 61 may move in a straight line. This is because the region 411 is specified based on the relative position of the user's fingertip 61 with respect to the center 32.
ステップＳ１１６において、検知部１１１は、ユーザの指先６１を含む画像を取得し、ステップＳ１１７において、ユーザの指先６１が第１モードであるかを判断する。 In step S116, the detection unit 111 acquires an image including the user's fingertip 61, and in step S117 determines whether the user's fingertip 61 is in the first mode.
ステップＳ１１７にて第１モードであると判断された場合、ステップＳ１１８において、画面情報生成部１２０は、その時に強調表示されている領域４１１に配置されたグループが選択されたと判断する。 When it is determined in step S117 that the mode is the first mode, in step S118, the screen information generation unit 120 determines that the group arranged in the area 411 highlighted at that time is selected.
ステップＳ１１９において、画面情報生成部１２０は、そのグループに対応する文字又は操作ボタンが、操作領域４１に環状に配置される複数の領域４１２に配置された画面情報を作成し、表示する。図１１Ｃ及び図１１Ｄに示されるように、グループ情報「ｌｋｊｉ ｍｎｏｐ」が選択された場合、グループ情報「ｌｋｊｉ」は反時計回りに、グループ情報「ｍｎｏｐ」は時計回りに、領域４１２に配置される。 In step S119, the screen information generation unit 120 creates and displays screen information in which characters or operation buttons corresponding to the group are arranged in a plurality of areas 412 circularly arranged in the operation area 41. As shown in FIGS. 11C and 11D, when the group information "lkji mnop" is selected, the group information "lkji" is arranged counterclockwise and the group information "mnop" is arranged clockwise in the area 412. ..
グループ情報「ｌｋｊｉ」とグループ情報「ｍｎｏｐ」とは、操作点Ｐの位置を基準として配置される。グループ情報「ｌｋｊｉ」は、操作点Ｐに近い方から「ｉ」、「ｊ」、「ｋ」、「ｌ」の順にそれぞれの領域４１２に配置される。グループ情報「ｍｎｏｐ」は、操作点Ｐに近い方から「ｍ」、「ｎ」、「ｏ」、「ｐ」の順にそれぞれの領域４１２に配置される。グループ情報のそれぞれを、操作点Ｐを基準として配置することで、ユーザによる操作量を少なくすることができ、利便性が向上する。 The group information "lkji" and the group information "mnop" are arranged with reference to the position of the operation point P. The group information "lkji" is arranged in each area 412 in the order of "i", "j", "k", and "l" from the side closest to the operation point P. The group information "mnop" is arranged in each area 412 in the order of "m", "n", "o", and "p" from the side closest to the operation point P. By arranging each of the group information with the operation point P as a reference, the amount of operation by the user can be reduced and the convenience is improved.
複数の領域４１２は、複数の領域４１１と置き換わるように、操作領域４１に配置される。なお、領域４１１に置き換わるように領域４１２を配置せずに、領域４１１を残したまま、領域４１１の内側又は外側に領域４１２を配置するなどしてもよい。 The plurality of areas 412 are arranged in the operation area 41 so as to replace the plurality of areas 411. In addition, instead of arranging the area 412 so as to replace the area 411, the area 412 may be arranged inside or outside the area 411 while leaving the area 411.
ステップＳ１１７にて第１モードでないと判断された場合は、ステップＳ１１４に戻り、中心３２に対するユーザの指先６１の相対的な位置に基づいて、強調表示される領域４１１が移り変わる。ステップＳ１１７で肯定判断されるまでこの動作が繰り返される。 If it is determined in step S117 that the mode is not the first mode, the process returns to step S114, and the highlighted area 411 changes based on the relative position of the user's fingertip 61 with respect to the center 32. This operation is repeated until a positive judgment is made in step S117.
続いて、ステップＳ１２４からＳ１２６までの処理が行われ、ステップＳ１１６からＳ１１７までと同様に、複数の領域４１２の一つが強調表示される。この操作は、図１２Ａ及び図１２Ｂに示される。 Subsequently, the processes from steps S124 to S126 are performed, and one of the plurality of regions 412 is highlighted as in steps S116 to S117. This operation is shown in FIGS. 12A and 12B.
ステップＳ１２２において、検知部１１１は、ユーザの指先６１を含む画像を取得し、ステップＳ１２３において、ユーザの指先６１が第２モードであるかを判断する。 In step S122, the detection unit 111 acquires an image including the user's fingertip 61, and in step S123, determines whether the user's fingertip 61 is in the second mode.
ステップＳ１２３にて、第２モードであると判断された場合、ステップＳ１２４において、画面情報生成部１２０は、その時に強調表示されている領域４１１に配置された文字入力情報が選択されたと判断する。 When it is determined in step S123 that the mode is the second mode, in step S124, the screen information generation unit 120 determines that the character input information arranged in the area 411 highlighted at that time is selected.
ステップＳ１２４において、一つの文字入力情報が選択された場合、ステップＳ１１３に戻り、画面情報生成部１２０は、グループ情報が配置される複数の領域４１１を表示し、連続した文字入力が可能となる。入力表示領域５１に文字「ｋ」が表示され、続けて文字入力が可能な状態が図１２Ｃに示される。 When one character input information is selected in step S124, returning to step S113, the screen information generation unit 120 displays a plurality of areas 411 in which group information is arranged, and continuous character input becomes possible. The character "k" is displayed in the input display area 51, and FIG. 12C shows a state in which the character can be continuously input.
操作領域４１を閉じるための終了ボタン２３が選択されると、画面情報生成部１２０は、操作領域４１の表示を終了する。 When the end button 23 for closing the operation area 41 is selected, the screen information generation unit 120 ends the display of the operation area 41.
ここまでに説明してきたステップによる処理を行うことでユーザによって文字入力情報の選択が行われる。 The character input information is selected by the user by performing the processing according to the steps described so far.
なお、ここでは、ユーザの指先を用いて、操作領域４１を表示させるステップを伴った文字入力について説明してきた。このような文字入力でなくとも、例えば、予め操作領域４１が表示されているとして、トラックパッド１０６やジョイスティック１０７を用いて文字入力を行うことができる。 Here, the character input including the step of displaying the operation area 41 by using the fingertip of the user has been described. Even if the character input is not performed, for example, assuming that the operation area 41 is displayed in advance, the character input can be performed using the trackpad 106 or the joystick 107.
トラックパッド１０６の場合は操作点の特定及びダイヤル操作の識別が可能である。グループ情報を領域４１１から選択する判断は、トラック面１０６１上の指と中心１０６２との距離に基づいて行うことができる。例えば、トラック面１０６１上の指と中心１０６２との距離が所定の長さを越えた場合に、グループ情報の選択を行うことができる。 In the case of the trackpad 106, it is possible to identify the operation point and the dial operation. The determination to select the group information from the area 411 can be made based on the distance between the finger on the track surface 1061 and the center 1062. For example, when the distance between the finger on the track surface 1061 and the center 1062 exceeds a predetermined length, the group information can be selected.
その後、円周１０６３に沿って指が移動するようにダイヤル操作が行われることで、操作点を移動させ、再びトラック面１０６１上の指と中心１０６２との距離に基づいて、文字入力情報を選択することができる。例えば、トラック面１０６１上の指と中心１０６２との距離が他の所定の長さより短くなる場合である。 After that, the dial operation is performed so that the finger moves along the circumference 1063, the operation point is moved, and the character input information is selected again based on the distance between the finger on the track surface 1061 and the center 1062. can do. For example, the distance between the finger on the track surface 1061 and the center 1062 is shorter than other predetermined lengths.
つまり、操作点が、中心１０６２から円周１０６３に向かう移動を領域４１１のグループ情報の選択に用いることができる。また、円周１０６３から中心１０６２へと向かう移動とを、領域４１２の文字入力情報の選択に用いることができる。 That is, the movement of the operating point from the center 1062 to the circumference 1063 can be used to select the group information of the region 411. Further, the movement from the circumference 1063 to the center 1062 can be used to select the character input information of the area 412.
ジョイスティック１０７を用いる場合においても、中心１０７２と外周部１０７３との位置関係に基づいて、同様に文字入力情報を選択することが可能である。 Even when the joystick 107 is used, it is possible to similarly select the character input information based on the positional relationship between the center 1072 and the outer peripheral portion 1073.
文字入力情報を入力する場合に、ユーザが文字入力情報を誤って入力してしまうことがある。この場合、ユーザが、一文字分の入力を取り消すバックスペース入力を行えるようにすることで、より利便性が高まる。 When inputting character input information, the user may mistakenly input the character input information. In this case, the convenience is further enhanced by allowing the user to perform backspace input that cancels the input of one character.
本実施形態のように、環状の操作領域４１を有するキーボードでは、１つの文字を入力するたびに、ダイヤル操作によって、複数の領域４１１からグループ情報を選択し、複数の領域４１２から文字入力情報を選択することで文字入力が行われる。 As in the present embodiment, in the keyboard having the annular operation area 41, each time one character is input, the group information is selected from the plurality of areas 411 by the dial operation, and the character input information is input from the plurality of areas 412. Character input is performed by selecting.
この文字入力方法の場合、バックスペース入力についても、文字入力情報と同様にダイヤル操作を繰り返し行うことで入力を行うこととすると、操作が煩雑となってしまう。 In the case of this character input method, if the backspace input is performed by repeatedly performing the dial operation in the same manner as the character input information, the operation becomes complicated.
そこで、ＨＭＤ１００に次に説明するような処理を行わせることによって、バックスペース入力を繰り返して行うことができる。 Therefore, by causing the HMD 100 to perform the processing described below, the backspace input can be repeated.
図１３Ａから図１３Ｆまでを参照しつつ、バックスペース入力に関して説明する。図１３では、図示しない画面上に、入力表示領域５１と、画面情報生成部１２０によって生成された操作領域４１とが表示されている。入力表示領域５１の入力欄には「ａｂｃｄｅ」の文字列が入力されている。 The backspace input will be described with reference to FIGS. 13A to 13F. In FIG. 13, an input display area 51 and an operation area 41 generated by the screen information generation unit 120 are displayed on a screen (not shown). The character string "abcde" is input in the input field of the input display area 51.
ユーザは、文字入力情報の選択と同様に、バックスペース入力を意味する操作ボタンＢＳを選択する。そのために、図１２において、操作ボタンＢＳを含むグループ情報を、複数の領域４１１の中から選択する。図１３Ａには、グループ情報が選択された後の画面が示されている。 The user selects the operation button BS, which means backspace input, in the same manner as selecting the character input information. Therefore, in FIG. 12, the group information including the operation button BS is selected from the plurality of areas 411. FIG. 13A shows the screen after the group information is selected.
画面情報生成部１２０は、図１２に示されるように操作ボタンＢＳが複数の領域４１２の一つに配置された画面情報を生成し、図示しない画面上に表示する。操作ボタンＢＳが配置される領域４１２に隣接する領域を、隣接領域４１２１と呼ぶ。 As shown in FIG. 12, the screen information generation unit 120 generates screen information in which the operation button BS is arranged in one of the plurality of areas 412, and displays it on a screen (not shown). The area adjacent to the area 412 in which the operation button BS is arranged is referred to as an adjacent area 4121.
ユーザの指先６１は操作ボタンＢＳが配置された領域４１２の方向へと、操作点Ｐが移動するように、時計回りに弧を描きながら移動する。指先６１の移動が曲線２４として図１３Ｂ以降に示される。これは図１３Ｂに対応する。 The user's fingertip 61 moves in a clockwise arc so that the operation point P moves in the direction of the area 412 where the operation button BS is arranged. The movement of the fingertip 61 is shown as a curve 24 after FIG. 13B. This corresponds to FIG. 13B.
ユーザの指先６１が、操作ボタンＢＳが配置される領域４１２に操作点Ｐを移動させ、隣接領域４１２1へと移動する。この場合、文字「ｌ」が強調表示される。これは図１３Ｃに対応する。 The user's fingertip 61 moves the operation point P to the area 412 where the operation button BS is arranged, and moves to the adjacent area 4121. In this case, the letter "l" is highlighted. This corresponds to FIG. 13C.
次に、文字「ｌ」が配置される領域４１２から操作点Ｐが、操作ボタンＢＳが配置される領域４１２へと移動した場合に、バックスペース入力が行われたと判断され、入力表示領域５１に表示される文字列「ａｂｃｄｅ」のうち、文字「ｅ」が削除される。これは図１３Ｄに対応する。 Next, when the operation point P moves from the area 412 where the character "l" is arranged to the area 412 where the operation button BS is arranged, it is determined that the backspace input has been performed, and the input display area 51 is displayed. Of the displayed character string "abcde", the character "e" is deleted. This corresponds to FIG. 13D.
続いて、操作ボタンＢＳが配置される領域４１２に隣接する領域４１２へと操作点Ｐが移動し、もう一度、操作ボタンＢＳが配置される領域４１２へと戻る操作が行われる。これは図１３Ｅ及び図１３Ｆに示される。この場合、もう一度バックスペース入力が行われたと判断され、入力表示領域５１に表示される文字列「ａｂｃｄ」のうち、文字「ｄ」が削除される。 Subsequently, the operation point P moves to the area 412 adjacent to the area 412 where the operation button BS is arranged, and the operation of returning to the area 412 where the operation button BS is arranged is performed again. This is shown in FIGS. 13E and 13F. In this case, it is determined that the backspace input has been performed again, and the character "d" is deleted from the character string "abcd" displayed in the input display area 51.
このように、領域４１２に含まれる特定の領域４１２が、ダイヤル操作に基づいて複数回選択される繰り返し操作が行われることによって、バックスペース入力を連続して行うことが可能となる。なお、隣接領域４１２１は図１３Ａから図１３Ｆまでで示したように一方の隣接領域４１２１だけではなく、もう一方の隣接領域４１２１でもよい。 As described above, the backspace input can be continuously performed by performing the repeated operation in which the specific area 412 included in the area 412 is selected a plurality of times based on the dial operation. The adjacent region 4121 may be not only one adjacent region 4121 as shown in FIGS. 13A to 13F, but also the other adjacent region 4121.
画面情報生成部１２０は、複数の領域４１２のいずれか一つに、図１４Ａから図１４Ｃまでに示されるように、シフト操作ボタンＳＨを表示するようにしてもよい。この場合、図１４Ａの状態から、図１４Ｂに示されるように、操作点Ｐが移動する操作が行われたとする。その後に、シフト操作ボタンＳＨが配置された領域４１２が選択されると、領域４１２に配置される文字の大文字と小文字が切り替わった文字を、操作領域４１に環状に配置された複数の領域４１３に表示させるような動作を行わせることができる。大文字と小文字が切り替わった後の操作領域４１及び領域４１３は図１４Ｃに示される。 The screen information generation unit 120 may display the shift operation button SH in any one of the plurality of areas 412 as shown in FIGS. 14A to 14C. In this case, it is assumed that the operation point P is moved from the state of FIG. 14A as shown in FIG. 14B. After that, when the area 412 in which the shift operation button SH is arranged is selected, the characters whose uppercase and lowercase letters are switched in the characters arranged in the area 412 are transferred to the plurality of areas 413 arranged in a ring in the operation area 41. It is possible to perform an operation such as displaying. The operation area 41 and the area 413 after the case is switched are shown in FIG. 14C.
画面情報生成部１２０は、図１５Ａから図１５Ｃまでに示されるように、ユーザによって入力された文字入力情報の入力結果が表示される入力表示領域５１を生成し、入力結果に基づいた予測入力情報が表示される予測表示領域５２を表示させるための画面情報を生成させてもよい。 As shown in FIGS. 15A to 15C, the screen information generation unit 120 generates an input display area 51 in which the input result of the character input information input by the user is displayed, and predictive input information based on the input result. The screen information for displaying the predicted display area 52 on which is displayed may be generated.
画面情報生成部１２０が生成した画面情報によって、「ｈｅ」という文字入力が行われた場合、画面１０５に表示される候補選択ボタン２５をユーザが選択することによって、予測入力情報を選択する状態に移ることができる。 When the character "he" is input by the screen information generated by the screen information generation unit 120, the user selects the candidate selection button 25 displayed on the screen 105 to select the predictive input information. You can move.
予測入力情報の選択は以下のように行われる。まず、予測表示領域５２に、予測入力情報が表示される。ここでは、「ｈｅｒ」、「ｈｅｌｌｏ」、及び「ｈｅｙ」がそれぞれ領域５２１、５２２、及び５２３に表示される。 The selection of predictive input information is performed as follows. First, the prediction input information is displayed in the prediction display area 52. Here, "her", "hello", and "hey" are displayed in areas 521, 522, and 523, respectively.
画面情報生成部１２０は、予測入力情報の一つが強調表示された画面情報を作成する。例えば、図１５Ａに示されるように領域５２１を強調表示する。画面情報生成部１２０は、操作識別部１１０により識別されるダイヤル操作に応じて、強調される領域の位置を変えた画面情報を作成する。例えば、ユーザが時計回りにダイヤル操作を行った場合、図１５Ｂに示されるように、領域５２１から領域５２２へと強調表示される領域が移動する。ユーザが入力したい予測入力情報が強調表示された場合に、操作識別部１１０に選択操作が入力されると、その予測入力情報が入力表示領域５１に表示される。ここでは、領域５２２が強調表示された状態で、操作識別部１１０が選択操作を識別することによって文字列「ｈｅｌｌｏ」が選択される。その結果、図１５Ｃのように文字列が入力される。 The screen information generation unit 120 creates screen information in which one of the predictive input information is highlighted. For example, the area 521 is highlighted as shown in FIG. 15A. The screen information generation unit 120 creates screen information in which the position of the emphasized area is changed according to the dial operation identified by the operation identification unit 110. For example, when the user dials clockwise, the highlighted area moves from area 521 to area 522, as shown in FIG. 15B. When the predictive input information that the user wants to input is highlighted and the selection operation is input to the operation identification unit 110, the predictive input information is displayed in the input display area 51. Here, the character string "hello" is selected by the operation identification unit 110 identifying the selection operation while the area 522 is highlighted. As a result, a character string is input as shown in FIG. 15C.
なお、ここまで示した、領域４１１、４１２は環状に配置されているが、完全な円形でなくても、複数の領域がある図形の外周上を囲むように配置されていればよい。図形の例としては、楕円や多角形などが挙げられる。 Although the regions 411 and 412 shown so far are arranged in a ring shape, they may be arranged so as to surround the outer circumference of the figure having a plurality of regions even if they are not completely circular. Examples of figures include ellipses and polygons.
ここまでに説明してきたように、本実施形態に係るプログラムは、環状の操作領域４１を画面１０５に表示させるための画面情報を生成する画面情報生成部１２０と、操作領域４１に対するユーザ操作を識別する操作識別部１１０と、をコンピュータに実現させ、画面情報生成部１２０は、操作領域４１に環状に配置される複数の領域４１１のそれぞれに、第１の情報を表示させるための画面情報を生成し、ユーザ操作に基づいて、複数の領域４１１から特定の領域４１１が選択されると、特定の領域４１１に表示された特定の第１の情報に対応する複数の第２の情報のそれぞれを、操作領域４１に環状に配置される領域４１２に表示させるための画面情報を生成する。 As described above, the program according to the present embodiment identifies the screen information generation unit 120 that generates screen information for displaying the annular operation area 41 on the screen 105 and the user operation on the operation area 41. The operation identification unit 110 and the operation identification unit 110 are realized in a computer, and the screen information generation unit 120 generates screen information for displaying the first information in each of the plurality of areas 411 arranged in a ring shape in the operation area 41. Then, when a specific area 411 is selected from the plurality of areas 411 based on the user operation, each of the plurality of second information corresponding to the specific first information displayed in the specific area 411 is displayed. The screen information to be displayed in the area 412 arranged in a ring shape in the operation area 41 is generated.
この態様によれば、環状に配置された操作領域４１に表示される情報を、操作識別部１１０が識別する操作によって選択することができる。画面情報生成部１２０は、第１の情報と、第１の情報に対応する第２の情報が段階的に表示されるような画面情報を生成することができる。多数の選択候補の中から情報を選択する場合に、段階的な選択が可能であるため、選択候補が配置される画面情報が画面１０５において占める面積を小さくすることが可能となる。 According to this aspect, the information displayed in the operation area 41 arranged in a ring shape can be selected by the operation of the operation identification unit 110. The screen information generation unit 120 can generate screen information such that the first information and the second information corresponding to the first information are displayed step by step. When information is selected from a large number of selection candidates, it is possible to make a stepwise selection, so that the area occupied by the screen information on which the selection candidates are arranged can be reduced.
また、本実施形態に係るプログラムでは、領域４１１と領域４１２は、操作領域４１において重複した領域であり、画面情報生成部１２０は、領域４１２を領域４１１に換えて表示させるための画面情報を生成する。 Further, in the program according to the present embodiment, the area 411 and the area 412 are overlapping areas in the operation area 41, and the screen information generation unit 120 generates screen information for displaying the area 412 in place of the area 411. To do.
この態様によれば、領域４１２を領域４１１に換えて表示させるようにすることで、画面情報の表示に要する領域の大きさをより小さくすることができる。 According to this aspect, the size of the area required for displaying the screen information can be further reduced by displaying the area 412 instead of the area 411.
また、ユーザ操作には、ユーザが弧を描くように物体を移動させるダイヤル操作が含まれる。 In addition, the user operation includes a dial operation in which the user moves an object in an arc.
この態様によれば、ユーザが弧を描くように、指先６１等の物体を移動させるダイヤル操作に基づいて、操作領域４１に対して操作が行われることによって、環状に配置された領域４１１又は領域４１２に配置される情報を直感的に選択する操作を行うことができ、利便性が向上する。 According to this aspect, the operation area 41 is operated based on the dial operation of moving an object such as a fingertip 61 so that the user draws an arc, so that the area 411 or the area arranged in a ring shape is performed. The operation of intuitively selecting the information arranged in the 412 can be performed, and the convenience is improved.
また、本実施形態に係るプログラムでは、操作識別部１１０は、ダイヤル操作における物体の運動の軌跡に対応する円の半径３１を推定し、画面情報生成部１２０は、推定された半径に基づいて、画面情報を生成する。 Further, in the program according to the present embodiment, the operation identification unit 110 estimates the radius 31 of the circle corresponding to the trajectory of the movement of the object in the dial operation, and the screen information generation unit 120 estimates the radius 31 based on the estimated radius. Generate screen information.
この態様によれば、ユーザのダイヤル操作に基づく円の半径３１の推定により、画面情報生成部が生成する操作領域４１の大きさを設定することができる。よって、操作領域４１の大きさをユーザが調節することが可能となり、利便性が向上する。 According to this aspect, the size of the operation area 41 generated by the screen information generation unit can be set by estimating the radius 31 of the circle based on the dial operation of the user. Therefore, the size of the operation area 41 can be adjusted by the user, and the convenience is improved.
また、本実施形態に係るプログラムでは、操作識別部１１０は、円の中心３２の位置を推定し、画面情報生成部１２０は、中心３２の位置に基づいて、画面情報を生成する。 Further, in the program according to the present embodiment, the operation identification unit 110 estimates the position of the center 32 of the circle, and the screen information generation unit 120 generates screen information based on the position of the center 32.
画面情報生成部１２０が生成する環状の操作領域４１の中心位置を、ユーザのダイヤル操作に基づいて、推定された円の中心３２の位置とすることで、画面情報生成部１２０が生成する画面情報の位置を、ユーザが自由に調節することが可能となる。 Screen information generated by the screen information generation unit 120 by setting the center position of the annular operation area 41 generated by the screen information generation unit 120 to the position of the center 32 of the circle estimated based on the dial operation of the user. The position of the can be freely adjusted by the user.
また、ユーザ操作には、領域４１１又は領域４１２に含まれる特定の領域が、ダイヤル操作に基づいて複数回選択される、繰り返し操作が含まれる。 Further, the user operation includes a repetitive operation in which a specific area included in the area 411 or the area 412 is selected a plurality of times based on the dial operation.
ある領域を繰り返して選択することができると、ユーザが複数回同じ情報を選択しようとする場合に、より簡単に対象の情報の選択を行うことが可能となる。 If a certain area can be selected repeatedly, it becomes possible to more easily select the target information when the user tries to select the same information multiple times.
また、本実施形態に係るプログラムでは、操作識別部１１０は、ユーザ操作に基づいて、特定の領域４１２に隣接する領域である隣接領域４１２１と、特定の領域４１２とが交互に選択された場合に、繰り返し操作であると識別する。 Further, in the program according to the present embodiment, when the operation identification unit 110 alternately selects the adjacent area 4121, which is an area adjacent to the specific area 412, and the specific area 412, based on the user operation. , Identify as a repetitive operation.
領域４１２と領域４１２に隣接する隣接領域４１２１を交互に選択することで、繰り返し入力が可能となる。よって、ユーザは操作領域に対してダイヤル操作を行うことのみによって、繰り返し入力を行うことができる。 By alternately selecting the area 412 and the adjacent area 4121 adjacent to the area 412, repeated input is possible. Therefore, the user can repeatedly input by only dialing the operation area.
また、本実施形態に係るプログラムでは、情報は、文字入力のために用いられる文字又は操作ボタンを含む文字入力情報であり、情報は、いくつかのグループに分けられた文字入力情報のグループを示すためのグループ情報であってもよい。 Further, in the program according to the present embodiment, the information is character input information including characters or operation buttons used for character input, and the information indicates a group of character input information divided into several groups. It may be group information for.
複数の文字情報を選択することによって行われる文字入力において、画面１０５に占める面積を小さくしたキーボードを提供できる。 It is possible to provide a keyboard in which the area occupied by the screen 105 is reduced in character input performed by selecting a plurality of character information.
また、本実施形態に係るプログラムでは、画面情報生成部１２０は、領域４１２に、領域４１２に配置される文字について、大文字と小文字を切り替えるためのシフト操作ボタンＳＨを配置するための画面情報を生成し、ユーザ操作に基づき、シフト操作ボタンＳＨが選択されると、領域４１２に配置される文字の大文字と小文字が切り替わった文字を、操作領域４１に環状に配置される領域４１３に表示させるための画面情報を生成する。 Further, in the program according to the present embodiment, the screen information generation unit 120 generates screen information for arranging the shift operation button SH for switching between uppercase and lowercase letters in the area 412 for the characters arranged in the area 412. Then, when the shift operation button SH is selected based on the user operation, the characters whose uppercase and lowercase letters are switched in the character arranged in the area 412 are displayed in the area 413 arranged in a ring shape in the operation area 41. Generate screen information.
ある文字について大文字と小文字の切り替えを可能とすることで、大文字用のグループ情報と小文字用のグループ情報を同一の操作領域４１内で入力することができるため、より効率的に文字入力を行うことができる。 By making it possible to switch between uppercase and lowercase letters for a certain character, group information for uppercase letters and group information for lowercase letters can be input within the same operation area 41, so that character input can be performed more efficiently. Can be done.
また、本実施形態に係るプログラムでは、画面情報生成部１２０は、領域４１１には、グループ情報として、第１のグループ情報と第２のグループ情報とを配置するための画面情報を生成し、領域４１２のそれぞれに、第１のグループ情報に含まれるそれぞれの文字入力情報を反時計回りに、第２のグループ情報に含まれるそれぞれの文字入力情報を時計周りに配置するための画面情報を生成する。 Further, in the program according to the present embodiment, the screen information generation unit 120 generates screen information for arranging the first group information and the second group information as group information in the area 411, and generates the area. For each of the 412s, screen information for arranging each character input information included in the first group information counterclockwise and each character input information included in the second group information clockwise is generated. ..
領域４１１に配置されるグループ情報の並び方に応じて、領域４１２に配置される情報の並び方を決定することで、ユーザが第２の領域の中から目的の情報を選択する場合に
対象の情報を発見しやすくなる。ユーザが情報を探す負担が軽減され、時計回りか反時計回りかという基準で直感的に操作を選択することができるため、利便性が向上する。
By determining the arrangement of the information arranged in the area 412 according to the arrangement of the group information arranged in the area 411, the target information can be selected when the user selects the target information from the second area. It will be easier to find. The burden on the user to search for information is reduced, and the operation can be intuitively selected based on whether it is clockwise or counterclockwise, which improves convenience.
また、本実施形態に係るプログラムでは、画面情報生成部１２０は、文字入力情報の入力結果が表示される入力表示領域５１を画面１０５に表示させるための画面情報を生成し、入力結果に基づいて、少なくとも一つの予測入力情報が表示される予測表示領域５２を画面１０５に表示させるための画面情報を生成し、ユーザ操作に基づいて、予測入力情報を選択してもよい。この場合、文字入力と同様のダイヤル操作によって予測入力情報を選択することができるので、よりスムーズな文字入力を行うことができる。 Further, in the program according to the present embodiment, the screen information generation unit 120 generates screen information for displaying the input display area 51 on which the input result of the character input information is displayed on the screen 105, and based on the input result. , The screen information for displaying the prediction display area 52 on which at least one prediction input information is displayed may be generated on the screen 105, and the prediction input information may be selected based on the user operation. In this case, the predictive input information can be selected by the same dial operation as the character input, so that the character input can be performed more smoothly.
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。 The embodiments described above are for facilitating the understanding of the present invention, and are not for limiting and interpreting the present invention. Each element included in the embodiment and its arrangement, material, condition, shape, size, etc. are not limited to those exemplified, and can be changed as appropriate. In addition, the configurations shown in different embodiments can be partially replaced or combined.
１００…ヘッドマウントディスプレイ、１０５…画面、１１０…操作識別部、
１２０…画面情報生成部、４１…操作領域、４１１、４１２…領域
100 ... Head-mounted display, 105 ... Screen, 110 ... Operation identification unit,
120 ... screen information generator, 41 ... operation area, 411, 412 ... area
Claims (12)
環状の操作領域を画面に表示させるための画面情報を生成する画面情報生成部と、
前記操作領域に対するユーザ操作を識別する操作識別部と、をコンピュータに実現させ、
前記画面情報生成部は、
前記操作領域に環状に配置される複数の第１の領域のそれぞれに、第１の情報を表示させるための画面情報を生成し
前記ユーザ操作に基づいて、前記複数の第１の領域から特定の第１の領域が選択されると、前記特定の第１の領域に表示された特定の第１の情報に対応する複数の第２の情報のそれぞれを、前記操作領域に環状に配置される第２の領域に表示させるための前記画面情報を生成する、
プログラム。 It ’s a program
A screen information generator that generates screen information for displaying the annular operation area on the screen,
A computer is realized with an operation identification unit that identifies a user operation with respect to the operation area.
The screen information generation unit
Screen information for displaying the first information is generated in each of the plurality of first regions arranged in a ring shape in the operation region, and based on the user operation, a specific region is specified from the plurality of first regions. When the first region is selected, each of the plurality of second information corresponding to the specific first information displayed in the specific first region is arranged in a ring shape in the operation region. Generate the screen information to be displayed in the area 2.
program.
前記第１の領域と前記第２の領域は、前記操作領域において重複した領域であり、
前記画面情報生成部は、
前記第２の領域を前記第１の領域に換えて表示させるための前記画面情報を生成する、プログラム。 The program according to claim 1.
The first region and the second region are overlapping regions in the operation region.
The screen information generation unit
A program that generates the screen information for displaying the second area in place of the first area.
前記ユーザ操作には、ユーザが弧を描くように物体を移動させるダイヤル操作が含まれる、プログラム。 The program according to claim 1 or 2.
The user operation includes a dial operation in which the user moves an object in an arc.
前記操作識別部は、前記ダイヤル操作における前記物体の運動の軌跡に対応する円の半径を推定し、
前記画面情報生成部は、推定された前記半径に基づいて、前記画面情報を生成する、プログラム。 The program according to claim 3.
The operation identification unit estimates the radius of the circle corresponding to the trajectory of the movement of the object in the dial operation, and estimates the radius.
The screen information generation unit is a program that generates the screen information based on the estimated radius.
前記操作識別部は、前記円の中心の位置を推定し、
前記画面情報生成部は、前記中心の位置に基づいて、前記画面情報を生成する、プログラム。 The program according to claim 4.
The operation identification unit estimates the position of the center of the circle and
The screen information generation unit is a program that generates the screen information based on the position of the center.
前記ユーザ操作には、前記第１の領域又は前記第２の領域に含まれる特定の領域が、前記ダイヤル操作に基づいて複数回選択される、繰り返し操作が含まれる、プログラム。 The program according to any one of claims 3 to 5.
The user operation includes a repetitive operation in which the first area or a specific area included in the second area is selected a plurality of times based on the dial operation.
前記操作識別部は、
前記ユーザ操作に基づいて、前記特定の領域に隣接する領域である隣接領域と、前記特定の領域とが交互に選択された場合に、前記繰り返し操作であると識別する、プログラム。 The program according to claim 6.
The operation identification unit
A program that identifies a repetitive operation when an adjacent region, which is a region adjacent to the specific region, and the specific region are alternately selected based on the user operation.
前記第２の情報は、文字入力のために用いられる文字又は操作ボタンを含む文字入力情報であり、
前記第１の情報は、いくつかのグループに分けられた前記文字入力情報のグループを示すためのグループ情報である、プログラム。 The program according to any one of claims 1 to 7.
The second information is character input information including characters or operation buttons used for character input.
The first information is group information for indicating a group of the character input information divided into several groups, a program.
前記画面情報生成部は、
前記第２の領域に、前記第２の領域に配置される文字について、大文字と小文字を切り替えるためのシフト操作ボタンを配置するための前記画面情報を生成し、
前記ユーザ操作に基づき、前記シフト操作ボタンが選択されると、前記第２の領域に配置される文字の大文字と小文字が切り替わった文字を、前記操作領域に環状に配置される第３の領域に表示させるための前記画面情報を生成する、
プログラム。 The program according to claim 8.
The screen information generation unit
For the characters arranged in the second area, the screen information for arranging the shift operation button for switching between uppercase and lowercase letters is generated in the second area.
When the shift operation button is selected based on the user operation, the characters whose uppercase and lowercase letters are switched in the characters arranged in the second area are transferred to the third area arranged in a ring shape in the operation area. Generate the screen information to be displayed,
program.
前記画面情報生成部は、
前記第１の領域には、前記グループ情報として、第１のグループ情報と第２のグループ情報とを配置するための前記画面情報を生成し、
前記第２の領域のそれぞれに、前記第１のグループ情報に含まれるそれぞれの前記文字入力情報を反時計回りに、前記第２のグループ情報に含まれるそれぞれの前記文字入力情報を時計周りに配置するための前記画面情報を生成する、
プログラム。 The program according to claim 8 or 9.
The screen information generation unit
In the first area, as the group information, the screen information for arranging the first group information and the second group information is generated.
In each of the second regions, the character input information included in the first group information is arranged counterclockwise, and each character input information included in the second group information is arranged clockwise. To generate the screen information for
program.
前記画面情報生成部は、
前記文字入力情報の入力結果が表示される入力表示領域を画面に表示させるための前記画面情報を生成し、
前記入力結果に基づいて、少なくとも一つの予測入力情報が表示される予測表示領域を画面に表示させるための前記画面情報を生成し、
前記ユーザ操作に基づいて、前記予測入力情報を選択する、
プログラム。 The program according to any one of claims 8 to 10.
The screen information generation unit
Generate the screen information for displaying the input display area on which the input result of the character input information is displayed on the screen.
Based on the input result, the screen information for displaying the prediction display area on which at least one prediction input information is displayed is generated.
Select the predictive input information based on the user operation.
program.
ユーザの視界に設けられる画面と、
環状の操作領域を前記画面に表示するための画面情報を生成する画面情報生成部と、
前記操作領域に対するユーザ操作を識別する操作識別部と、を備え、
前記画面情報生成部は、
前記操作領域に含まれる複数の第１の配置領域のそれぞれに、第１の情報を表示するための画面情報を生成し、
前記ユーザ操作に基づいて、前記複数の第１の配置領域から特定の第１の配置領域が選択されると、前記特定の第１の配置領域に表示された特定の第１の情報に対応する複数の第２の情報のそれぞれを、前記操作領域に含まれる第２の配置領域に表示するための前記画面情報を生成する、情報処理装置。 It is an information processing device
The screen provided in the user's field of view and
A screen information generation unit that generates screen information for displaying the annular operation area on the screen,
An operation identification unit for identifying a user operation with respect to the operation area is provided.
The screen information generation unit
Screen information for displaying the first information is generated in each of the plurality of first arrangement areas included in the operation area.
When a specific first arrangement area is selected from the plurality of first arrangement areas based on the user operation, it corresponds to the specific first information displayed in the specific first arrangement area. An information processing device that generates the screen information for displaying each of the plurality of second information in the second arrangement area included in the operation area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019042593A JP6664018B1 (en) | 2019-03-08 | 2019-03-08 | Program and information processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019042593A JP6664018B1 (en) | 2019-03-08 | 2019-03-08 | Program and information processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6664018B1 JP6664018B1 (en) | 2020-03-13 |
| JP2020144767A true JP2020144767A (en) | 2020-09-10 |
Family
ID=70000308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019042593A Active JP6664018B1 (en) | 2019-03-08 | 2019-03-08 | Program and information processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6664018B1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007316760A (en) * | 2006-05-23 | 2007-12-06 | Sharp Corp | Item selection device, computer program, its recording medium and information processor |
| JP2010108081A (en) * | 2008-10-28 | 2010-05-13 | Sharp Corp | Menu display device, method of controlling the menu display device, and menu display program |
| JP2012160079A (en) * | 2011-02-01 | 2012-08-23 | Toshiba Corp | Interface apparatus, method, and program |
| JP2013196391A (en) * | 2012-03-19 | 2013-09-30 | Fujitsu Ltd | Information processing apparatus, menu selection program and menu selection method |
| JP2013223044A (en) * | 2012-04-13 | 2013-10-28 | Metamoji Corp | Character input method and character input device |
| JP2018151851A (en) * | 2017-03-13 | 2018-09-27 | セイコーエプソン株式会社 | Transmissive type display device, display control method, and computer program |
-
2019
- 2019-03-08 JP JP2019042593A patent/JP6664018B1/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007316760A (en) * | 2006-05-23 | 2007-12-06 | Sharp Corp | Item selection device, computer program, its recording medium and information processor |
| JP2010108081A (en) * | 2008-10-28 | 2010-05-13 | Sharp Corp | Menu display device, method of controlling the menu display device, and menu display program |
| JP2012160079A (en) * | 2011-02-01 | 2012-08-23 | Toshiba Corp | Interface apparatus, method, and program |
| JP2013196391A (en) * | 2012-03-19 | 2013-09-30 | Fujitsu Ltd | Information processing apparatus, menu selection program and menu selection method |
| JP2013223044A (en) * | 2012-04-13 | 2013-10-28 | Metamoji Corp | Character input method and character input device |
| JP2018151851A (en) * | 2017-03-13 | 2018-09-27 | セイコーエプソン株式会社 | Transmissive type display device, display control method, and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6664018B1 (en) | 2020-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6548358B2 (en) | System and method for inputting one or more inputs associated with a multi-input target | |
| JP2011216094A (en) | Touch screen device and input processing method | |
| JP2006520024A (en) | User interface using moved representation of contact area | |
| JP2010224764A (en) | Portable game machine with touch panel display | |
| US20130154928A1 (en) | Multilanguage Stroke Input System | |
| EP3607421B1 (en) | Text entry interface | |
| JP2007287015A (en) | Input device for selecting item described in a hierarchical structure, character input device, and input program | |
| CN106933364A (en) | Characters input method, character input device and wearable device | |
| KR20090065007A (en) | Input apparatus, image forming apparatus using the input apparatus, and, method thereof | |
| US10338809B2 (en) | Program for character input system, character input device, and information processing device | |
| JP2014164368A (en) | Input support device, keyboard, information processing terminal, input support method, and program | |
| JP6664018B1 (en) | Program and information processing device | |
| JP3843266B2 (en) | Character input method and character input device using pointing device | |
| JP6217701B2 (en) | Input device | |
| EP3376357A1 (en) | Character input device, character input method, and character input program | |
| JP2018023792A (en) | Game device and program | |
| US11106288B1 (en) | Electronic input system | |
| TW201403383A (en) | Multilanguage stroke input system | |
| JP5769841B2 (en) | Portable game device with touch panel display | |
| US20200210675A1 (en) | Hologram-based character recognition method and apparatus | |
| JPH0954646A (en) | Virtual keyboard device and key input control method | |
| JP5712232B2 (en) | Input device | |
| JP2008257551A (en) | Information processor, character input method and character input program | |
| JP2001195170A (en) | Portable electronic equipment, input controller and storage medium | |
| JPH0566885A (en) | Touch-input device and operation of plant using it |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190403 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190403 |
|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20190402 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190529 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190807 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191021 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191206 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200123 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200217 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6664018 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |