JP2017199072A - Wearable terminal, program and information processing method - Google Patents

Wearable terminal, program and information processing method Download PDF

Info

Publication number
JP2017199072A
JP2017199072A JP2016087125A JP2016087125A JP2017199072A JP 2017199072 A JP2017199072 A JP 2017199072A JP 2016087125 A JP2016087125 A JP 2016087125A JP 2016087125 A JP2016087125 A JP 2016087125A JP 2017199072 A JP2017199072 A JP 2017199072A
Authority
JP
Japan
Prior art keywords
user
facility
display
guidance information
wearable terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016087125A
Other languages
Japanese (ja)
Other versions
JP6702785B2 (en
Inventor
和明 石川
Kazuaki Ishikawa
和明 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zenrin Datacom Co Ltd
Original Assignee
Zenrin Datacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zenrin Datacom Co Ltd filed Critical Zenrin Datacom Co Ltd
Priority to JP2016087125A priority Critical patent/JP6702785B2/en
Publication of JP2017199072A publication Critical patent/JP2017199072A/en
Application granted granted Critical
Publication of JP6702785B2 publication Critical patent/JP6702785B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a wearable terminal, a program and an information processing method which make it possible to suitably present guide information to a user.SOLUTION: The wearable terminal comprises: position acquisition means for acquiring a relative physical relationship between the facility position of a facility existing around a user and the user position of the user; a display device for non-transparently displaying guidance information relating to the facility on a portion of the visual field of the user; a mounting member for making the wearable terminal mountable to the user, the mounting member defining a physical relationship between a real environment visual field area, out of the visual field of the user, in which the user can recognize a real environment and a guidance display area in which the guidance information is non-transparently displayed by the display device; and display control means for causing the display device to display the guidance information in the direction of the facility within the guidance display area out of the visual field of the user. The display control means changes the content of guidance information display control in accordance with the distance between the user position and the facility position.SELECTED DRAWING: Figure 5

Description

本発明に係るいくつかの態様は、ウェアラブル端末、プログラム及び情報処理方法に関する。   Some embodiments according to the present invention relate to a wearable terminal, a program, and an information processing method.

近年、例えばディスプレイ表示機能等を有するウェアラブル端末が普及しつつある。またこのようなウェアラブル端末を用いて、ナビゲーションサービスを提供することも考えられている。例えば特許文献1には、移動体の案内に寄与する情報を表す看板オブジェクトを、実風景に重畳して表示するナビゲーション装置であって、ウィンドシールディスプレイ、ヘッドアップディスプレイまたはヘッドマウントディスプレイの何れかの表示部を用いて、看板オブジェクトを実風景に重畳して表示させるものが記載されている。   In recent years, wearable terminals having, for example, a display display function or the like are becoming popular. It is also considered to provide a navigation service using such a wearable terminal. For example, Patent Literature 1 discloses a navigation device that displays a signboard object representing information that contributes to guidance of a moving object in a superimposed manner on a real landscape, and includes any one of a wind seal display, a head-up display, and a head-mounted display. A display unit is used to display a signboard object superimposed on a real landscape.

特開2009−020089号公報JP 2009-020089 A

特許文献1記載の装置では、前述のとおり、実風景と、移動体の案内に寄与する情報を表す看板オブジェクトとを重畳して表示させている。しかしながら、特許文献1では、実風景と看板オブジェクトとを重畳させない場合の表示方法については何ら考慮されていない。   In the apparatus described in Patent Document 1, as described above, an actual scene and a signboard object representing information that contributes to the guidance of the moving body are superimposed and displayed. However, in Patent Document 1, no consideration is given to a display method when the actual scenery and the signboard object are not superimposed.

本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、案内情報を好適にユーザに提示することを可能とするウェアラブル端末、プログラム及び情報処理方法を提供することを目的の1つとする。   Some aspects of the present invention have been made in view of the above-described problems, and an object of the present invention is to provide a wearable terminal, a program, and an information processing method capable of suitably presenting guidance information to a user. I will.

本発明に係るウェアラブル端末は、ユーザが装着可能なウェアラブル端末であって、前記ユーザの周囲にある施設の施設位置と、前記ユーザのユーザ位置との相対的な位置関係を取得する位置取得手段と、前記ユーザの視野の一部に、非透過的に前記施設に関する案内情報を表示する表示装置と、前記ウェアラブル端末を前記ユーザに装着可能とするための装着部材であって、前記ユーザの視野のうち、前記ユーザが実環境を視認可能な実環境視野領域と、前記表示装置により非透過的に前記案内情報が表示される案内表示領域との位置関係を定める装着部材と、前記ユーザの視野のうち、前記案内表示領域内の前記施設の方向に、前記案内情報を前記表示装置に表示させる表示制御手段とを備え、前記表示制御手段は、前記ユーザ位置と前記施設位置との距離に応じて、前記案内情報の表示制御内容を変える。   A wearable terminal according to the present invention is a wearable terminal that can be worn by a user, and a position acquisition unit that acquires a relative positional relationship between a facility position of a facility around the user and the user position of the user; A display device that non-transparently displays guidance information about the facility in a part of the user's field of view, and a mounting member that allows the wearable terminal to be mounted on the user, Among them, a mounting member that defines a positional relationship between a real environment visual field area where the user can visually recognize the real environment and a guide display area where the guide information is displayed non-transparently by the display device, A display control means for displaying the guidance information on the display device in the direction of the facility in the guidance display area, wherein the display control means According to the distance between the facility location, changing the display control contents of said guidance information.

本発明に係るプログラムは、ユーザが装着可能なウェアラブル端末であって、前記ユーザの視野の一部に、当該ユーザの周囲にある施設に関する案内情報を非透過的に示す表示装置と、前記ウェアラブル端末を前記ユーザに装着可能とするための装着部材であって、前記ユーザの視野のうち、前記ユーザが実環境を視認可能な実環境視野領域と、前記表示装置により非透過的に前記案内情報が表示される案内表示領域との位置関係を定める装着部材とを備えるウェアラブル端末に、前記施設の施設位置と、前記ユーザのユーザ位置との相対的な位置関係を取得する機能と、前記ユーザの視野のうち、前記案内表示領域内の前記施設の方向に前記案内情報を前記表示装置に表示させる表示制御機能であって、前記ユーザ位置と前記施設位置との距離に応じて、前記案内情報の表示制御内容を変える表示制御機能とを実行させる。   A program according to the present invention is a wearable terminal that can be worn by a user, wherein a display device that non-transparently displays guidance information about a facility around the user in a part of the user's field of view, and the wearable terminal Of the user's field of view, and the guidance information is transmitted non-transparently by the display device. A wearable terminal comprising a mounting member that defines a positional relationship with a displayed guidance display area; a function for acquiring a relative positional relationship between the facility position of the facility and the user position of the user; and the visual field of the user A display control function for causing the display device to display the guidance information in the direction of the facility in the guidance display area, wherein the user position and the facility position Depending on the distance, it is executed and a display control function of changing the display control contents of said guidance information.

本発明に係る情報処理方法は、ユーザが装着可能なウェアラブル端末であって、前記ユーザの視野の一部に、当該ユーザの周囲にある施設に関する案内情報を非透過的に示す表示装置と、前記ウェアラブル端末を前記ユーザに装着可能とするための装着部材であって、前記ユーザの視野のうち、前記ユーザが実環境を視認可能な実環境視野領域と、前記表示装置により非透過的に前記案内情報が表示される案内表示領域との位置関係を定める装着部材とを備えるウェアラブル端末が、前記施設の施設位置と、前記ユーザのユーザ位置との相対的な位置関係を取得するステップと、前記ユーザの視野のうち、前記案内表示領域内の前記施設の方向に前記案内情報を前記表示装置に表示させるステップと、を行い、前記表示させるステップは、前記ユーザ位置と前記施設位置との距離に応じて、前記案内情報の表示制御内容を変える。   An information processing method according to the present invention is a wearable terminal that can be worn by a user, and a display device that non-transparently displays guidance information about a facility around the user in a part of the user's field of view, A wearable member for enabling a wearable terminal to be worn by the user, wherein a real environment visual field area in which the user can visually recognize a real environment out of the user's visual field, and the display device makes the guide non-transparent A wearable terminal comprising a mounting member that defines a positional relationship with a guidance display area in which information is displayed, obtaining a relative positional relationship between the facility position of the facility and the user position of the user; and the user And displaying the guidance information on the display device in the direction of the facility in the guidance display area, and displaying the guidance information Depending on the distance between the user position and the facility location, changing the display control contents of said guidance information.

なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、1つの「部」や「手段」、「装置」、「システム」が有する機能が2つ以上の物理的手段や装置により実現されても、2つ以上の「部」や「手段」、「装置」、「システム」の機能が1つの物理的手段や装置により実現されても良い。   In the present invention, “part”, “means”, “apparatus”, and “system” do not simply mean physical means, but “part”, “means”, “apparatus”, “system”. This includes the case where the functions possessed by "are realized by software. Further, even if the functions of one “unit”, “means”, “apparatus”, and “system” are realized by two or more physical means or devices, two or more “parts” or “means”, The functions of “device” and “system” may be realized by a single physical means or device.

本発明によれば、案内情報を好適にユーザに提示することを可能とするウェアラブル端末、プログラム及び情報処理方法を提供する。   According to the present invention, there are provided a wearable terminal, a program, and an information processing method capable of suitably presenting guidance information to a user.

実施形態におけるウェアラブル端末の使用状況の具体例を説明するための図である。It is a figure for demonstrating the specific example of the use condition of the wearable terminal in embodiment. 実施形態におけるウェアラブル端末の外観の具体例を示す図である。It is a figure which shows the specific example of the external appearance of the wearable terminal in embodiment. 図2に示したウェアラブル端末を使用するユーザ視野の具体例を示す図である。It is a figure which shows the specific example of the user visual field which uses the wearable terminal shown in FIG. 図2に示したウェアラブル端末を使用するユーザ視野の具体例を示す図である。It is a figure which shows the specific example of the user visual field which uses the wearable terminal shown in FIG. 図2に示したウェアラブル端末を使用するユーザ視野の具体例を示す図である。It is a figure which shows the specific example of the user visual field which uses the wearable terminal shown in FIG. 実施形態におけるウェアラブル端末の機能構成を示す機能ブロック図である。It is a functional block diagram which shows the function structure of the wearable terminal in embodiment. 図5に示したウェアラブル端末の処理の流れを説明するためのフローチャートである。6 is a flowchart for explaining the flow of processing of the wearable terminal shown in FIG. 5. 図5に示したウェアラブル端末を実現可能なハードウェア構成の具体例を示す図である。It is a figure which shows the specific example of the hardware constitutions which can implement | achieve the wearable terminal shown in FIG.

以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。   Embodiments of the present invention will be described below. In the following description and the description of the drawings to be referred to, the same or similar components are denoted by the same or similar reference numerals.

図1乃至図7は、実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って実施形態を説明する。まず「1.」で実施形態に係るウェアラブル端末の使用形態等の概要を説明する。その上で、「2.」で当該ウェアラブル端末の外観を、「3.」で、ウェアラブル端末を使用するユーザ視野の具体例を説明する。「4.」ではウェアラブル端末の機能構成を、「5.」では当該ウェアラブル端末の処理の流れを、「6.」では、ウェアラブル端末を実現可能なハードウェア構成の具体例を説明する。「7.」以降では、本実施形態に係る効果等を説明する。   1 to 7 are diagrams for explaining the embodiment. Hereinafter, embodiments will be described along the following flow with reference to these drawings. First, an outline of the usage pattern of the wearable terminal according to the embodiment will be described in “1.”. Then, “2.” will describe the appearance of the wearable terminal, and “3.” will describe a specific example of the user field of view using the wearable terminal. “4.” describes a functional configuration of the wearable terminal, “5.” describes a flow of processing of the wearable terminal, and “6.” describes a specific example of a hardware configuration capable of realizing the wearable terminal. From “7.” onward, effects and the like according to the present embodiment will be described.

(1. 概要)
まず、図1を参照しながら、本実施形態に係るウェアラブル端末100の動作や使用形態の具体例を説明する。図1の例では、ユーザUはウェアラブル端末100を装着しており、ユーザUの周囲には施設C1や施設C2(以下、総称して施設Cとも呼ぶ。)が存在する。ユーザUの装着するウェアラブル端末100は、表示装置110を備えている。表示装置110には、ユーザUの向き及び施設Cまでの距離に応じて、施設Cに関する案内情報が表示される。このとき、ユーザUの視野を考えると、一部の領域(例えばユーザ視野の上部領域。以下、当該領域を実環境視野領域ともいう。)では案内情報の重畳なしに実環境を視認することができ、視野の一部領域(例えば視野の下部領域。以下、当該領域を案内表示領域ともいう。)では、表示装置110により施設Cに関する案内情報を確認できる。
(1. Overview)
First, a specific example of the operation and usage of the wearable terminal 100 according to the present embodiment will be described with reference to FIG. In the example of FIG. 1, the user U wears the wearable terminal 100, and a facility C <b> 1 and a facility C <b> 2 (hereinafter collectively referred to as the facility C) exist around the user U. The wearable terminal 100 worn by the user U includes a display device 110. The display device 110 displays guidance information regarding the facility C according to the direction of the user U and the distance to the facility C. At this time, considering the visual field of the user U, in some regions (for example, the upper region of the user visual field; hereinafter, the region is also referred to as the real environment visual field region), the real environment can be visually recognized without superimposing guidance information. In a partial area of the field of view (for example, a lower area of the field of view; hereinafter, this area is also referred to as a guidance display area), the display device 110 can confirm guidance information regarding the facility C.

これによりユーザUは、実環境を見る際に、実環境に応じた案内情報をウェアラブル端末100上で確認することができる。より具体的には、例えば施設C1の方向を向くと施設C1の情報が、施設C2の方向を見ると施設C2の情報が見える。これによりユーザUは、自分の向いている方向に施設Cが存在することや施設Cの概要説明等を、実世界と照らし合わせながら把握することができる。また本実施形態においては、ユーザUから施設Cまでの距離に応じて、案内情報の表示態様を変える。案内情報の表示方法の詳細については、図3a、図3b、図4等を参照しながら後述する。   Thereby, the user U can confirm the guidance information according to the real environment on the wearable terminal 100 when viewing the real environment. More specifically, for example, the information on the facility C1 can be seen when facing the direction of the facility C1, and the information on the facility C2 can be seen when viewing the direction of the facility C2. As a result, the user U can grasp the fact that the facility C exists in the direction in which he / she is facing, an outline description of the facility C, and the like while comparing with the real world. Moreover, in this embodiment, the display mode of guidance information is changed according to the distance from the user U to the facility C. Details of the guide information display method will be described later with reference to FIGS. 3a, 3b, 4 and the like.

(2. ウェアラブル端末の外観)
次に、図2を参照しながら、ウェアラブル端末100の外観の具体例を説明する。図2に示すように、本実施形態に係るウェアラブル端末100は、ユーザUの頭部に装着する眼鏡型の端末であり、ユーザUの視野の一部を覆うように情報を表示するための表示装置110a及び110b(本実施形態では、総称して表示装置110ともいう。)が設けられる。
(2. Appearance of wearable terminal)
Next, a specific example of the appearance of the wearable terminal 100 will be described with reference to FIG. As shown in FIG. 2, the wearable terminal 100 according to the present embodiment is a spectacle-type terminal worn on the head of the user U, and a display for displaying information so as to cover a part of the field of view of the user U. Devices 110a and 110b (in the present embodiment, collectively referred to as display device 110) are provided.

ウェアラブル端末100は、表示装置110と、フロント部120と、テンプル部130a及び130b(以下、総称してテンプル部130ともいう。)と、支持部材140a及び140b(以下、総称して支持部材140ともいう。)と、ケーブル145とを有する。なお、フロント部120及びテンプル部130は、通常の眼鏡と同様の機構であり、当該眼鏡の機構に対して、表示装置110及び支持部材140を追加することで、ウェアラブル端末100は各種情報の処理や提示等の機能を実現している。   The wearable terminal 100 includes a display device 110, a front portion 120, temple portions 130a and 130b (hereinafter also collectively referred to as a temple portion 130), and support members 140a and 140b (hereinafter collectively referred to as a support member 140). And a cable 145. The front part 120 and the temple part 130 are mechanisms similar to normal glasses. By adding the display device 110 and the support member 140 to the mechanism of the glasses, the wearable terminal 100 processes various information. And functions such as presentation are realized.

表示装置110は、ユーザUに情報を提示するための表示機能を有する装置である。ウェアラブル端末100の装着時には、フロント部120を挟んでユーザUの顔面とは反対側に表示装置110が位置する。図2に示すように、表示装置110は支持部材140と一体的に形成されており、例えば支持部材140内に含まれる制御部により、表示装置110に対する表示制御がなされる。なお、表示位置の調整のため、表示装置110は支持部材140に対して回動自在に設けられても良い。   The display device 110 is a device having a display function for presenting information to the user U. When the wearable terminal 100 is worn, the display device 110 is positioned on the opposite side of the face of the user U across the front unit 120. As shown in FIG. 2, the display device 110 is formed integrally with the support member 140, and display control for the display device 110 is performed by a control unit included in the support member 140, for example. Note that the display device 110 may be provided so as to be rotatable with respect to the support member 140 for adjusting the display position.

フロント部120は、リム部121a及び121b(以下、総称してリム部121ともいう。)、ブリッジ部123、パッド部125a及び125b(以下、総称してパッド部125ともいう。)を含む。ユーザUによるウェアラブル端末100の装着時には、フロント部120はユーザUの顔面前方に位置する。   The front portion 120 includes rim portions 121a and 121b (hereinafter collectively referred to as rim portion 121), a bridge portion 123, and pad portions 125a and 125b (hereinafter collectively referred to as pad portion 125). When the wearable terminal 100 is worn by the user U, the front unit 120 is positioned in front of the user U's face.

リム部121a及び121bは、開口部127a及び127b(以下、総称して開口部127ともいう。)の周りに周状に形成される部材である。開口部127は、ユーザUが実環境や表示装置110の表示内容を視認するために設けられる。開口部127には、ユーザUの視力を矯正するためのレンズが嵌め込まれても良い。リム部121a及び121bは、ブリッジ部123を介して水平方向に互いに隣接する。   The rim portions 121a and 121b are members formed in a circumferential shape around the opening portions 127a and 127b (hereinafter collectively referred to as the opening portion 127). The opening 127 is provided for the user U to visually recognize the actual environment and the display content of the display device 110. A lens for correcting the visual acuity of the user U may be fitted into the opening 127. The rim parts 121 a and 121 b are adjacent to each other in the horizontal direction via the bridge part 123.

なお、リム部121は必ずしも周状に形成される必要はなく、特にウェアラブル端末100がレンズを持たない場合等には、開口部127a及び127bを設けずに、リム部121及びブリッジ部123により、両側のテンプル部130を直線状に接続しても良い。   Note that the rim portion 121 does not necessarily need to be formed in a circumferential shape. Especially when the wearable terminal 100 does not have a lens, the rim portion 121 and the bridge portion 123 do not provide the openings 127a and 127b. You may connect the temple part 130 of both sides linearly.

また、ウェアラブル端末100がレンズを含む場合には、リム部121をフロント部120に持たせずに、当該レンズをテンプル部130及びブリッジ部123で支持しても良い。また、一眼のレンズを用いる場合には、ブリッジ部123も不要であり、当該一眼のレンズをテンプル部130a及び130bで支持すれば良い。   In addition, when the wearable terminal 100 includes a lens, the lens may be supported by the temple portion 130 and the bridge portion 123 without the rim portion 121 being held in the front portion 120. Further, when a single lens is used, the bridge portion 123 is not necessary, and the single lens may be supported by the temple portions 130a and 130b.

パッド部125は、ユーザUの顔面にウェアラブル端末100を装着させるための部材であり、リム部121及び/又はブリッジ部123に固定される。ユーザUによるウェアラブル端末100の装着時には、パッド部125はユーザUの鼻梁の両側でウェアラブル端末100を支持する。ウェアラブル端末100は、パッド部125と、後述のテンプル部130が有するモダン部131a及び131b(以下、総称してモダン部131ともいう。)とによりユーザUの顔面に係止及び/又は支持されることにより装着される。   The pad portion 125 is a member for mounting the wearable terminal 100 on the face of the user U, and is fixed to the rim portion 121 and / or the bridge portion 123. When the user U wears the wearable terminal 100, the pad portion 125 supports the wearable terminal 100 on both sides of the user U's nasal bridge. The wearable terminal 100 is locked and / or supported on the face of the user U by a pad portion 125 and modern portions 131a and 131b (hereinafter also collectively referred to as a modern portion 131) included in a temple portion 130 described later. It is installed by.

テンプル部130は、フロント部120をユーザUの顔面両側で支持するために設けられる略直線状の部材である。図2においてテンプル部130は、フロント部120から奥行き方向に延出している。持運びの便利等のため、テンプル部130はフロント部120に対して回動自在に取り付けられても良い。テンプル部130は、前述のとおりモダン部131を有する。   The temple part 130 is a substantially linear member provided to support the front part 120 on both sides of the face of the user U. In FIG. 2, the temple portion 130 extends from the front portion 120 in the depth direction. For convenience of carrying, the temple portion 130 may be attached to the front portion 120 so as to be rotatable. The temple part 130 has the modern part 131 as described above.

モダン部131は、前述のとおり、ユーザUの顔面にウェアラブル端末100を装着させるための部材であり、モダン部131は、テンプル部130のフロント部120とは反対側に、鉛直方向下部及び内側方向に緩やかな弧を描くように形成される。ユーザUによるウェアラブル端末100の装着時には、モダン部131はユーザUの耳の鉛直方向上部に係止される。   As described above, the modern part 131 is a member for wearing the wearable terminal 100 on the face of the user U, and the modern part 131 is located on the opposite side of the temple part 130 from the front part 120 on the lower side and the inner side in the vertical direction. It is formed to draw a gentle arc. When the wearable terminal 100 is worn by the user U, the modern part 131 is locked to the upper part of the user U's ear in the vertical direction.

支持部材140は表示装置110を支持するための部材であり、当該支持部材140はテンプル部130により物理的に支持されている。ユーザUに表示装置110の位置を調整可能とするため、支持部材140はテンプル部130に対して回動自在に設けられても良い。支持部材140の内部には、制御装置や、GPS(Global Positioning System)により位置情報を取得するための位置情報取得装置、方向等を取得するための方位センサ等を持つことが可能である。   The support member 140 is a member for supporting the display device 110, and the support member 140 is physically supported by the temple unit 130. In order to allow the user U to adjust the position of the display device 110, the support member 140 may be provided to be rotatable with respect to the temple portion 130. The support member 140 may have a control device, a position information acquisition device for acquiring position information by GPS (Global Positioning System), an orientation sensor for acquiring a direction, and the like.

支持部材140a及び140bは、ケーブル145により互いに接続される。支持部材140a及び140b内部の各装置は、ケーブル145を介して互いに通信可能であり、当該通信により、表示装置110a及び110bの表示内容を連携させることが可能である。   The support members 140a and 140b are connected to each other by a cable 145. The devices inside the support members 140a and 140b can communicate with each other via the cable 145, and the display contents of the display devices 110a and 110b can be linked by the communication.

なお、ケーブル145を独立して設けられる必要は必ずしもない。例えば、図2のフロント部120に、支持部材140a及び140b内部の各装置が通信可能な通信線を埋め込んでも良い。或いは、支持部材140a及び140b内部の各装置が無線で通信することも考えられる。これらの場合には、ケーブル145は不要である。   Note that the cable 145 is not necessarily provided independently. For example, a communication line through which each device inside the support members 140a and 140b can communicate may be embedded in the front part 120 of FIG. Alternatively, it is conceivable that the devices inside the support members 140a and 140b communicate wirelessly. In these cases, the cable 145 is not necessary.

また、図2の例では、ウェアラブル端末100は通常の眼鏡に相当するフロント部120及びテンプル部130に対して、表示装置110及び支持部材140を加えることにより実現しているが、ウェアラブル端末100の実現方法はこれに限られるものではない。例えば表示装置110をフロント部120に支持させても良いし、フロント部120と支持部材140、表示装置110を一体的に形成しても良い。また、開口部127a及び127bのように2つの開口部を設けずとも、一眼型のゴーグルのように開口部127を1つとすることも考えられる。更に、ウェアラブル端末100をユーザUに装着させる方法も、必ずしもパッド部125及びモダン部131によらずとも、フロント部120を顔面に密着させるためのフォームと、頭部に周状に固定するためのストラップとにより装着させることも考えられる。   In the example of FIG. 2, the wearable terminal 100 is realized by adding the display device 110 and the support member 140 to the front part 120 and the temple part 130 corresponding to normal glasses. The realization method is not limited to this. For example, the display device 110 may be supported by the front portion 120, or the front portion 120, the support member 140, and the display device 110 may be integrally formed. Further, it is also conceivable to provide one opening 127 like a single-lens goggle without providing two openings like the openings 127a and 127b. Furthermore, the method for attaching the wearable terminal 100 to the user U is not necessarily based on the pad portion 125 and the modern portion 131, and a form for closely attaching the front portion 120 to the face and a shape for fixing the front portion 120 around the head. It is also possible to attach it with a strap.

(3. 案内を提示する際のユーザ視野の具体例)
以下、図3a、図3b及び図4を参照しながら、本実施形態に係るウェアラブル端末100での案内情報の表示装置110への表示例を説明する。図3a、図3b、及び図4は、それぞれ、ウェアラブル端末100を装着した際の、ユーザUの視野の具体例を表す図である。
(3. Specific example of user field of view when presenting guidance)
Hereinafter, a display example of guidance information on the display device 110 in the wearable terminal 100 according to the present embodiment will be described with reference to FIGS. 3a, 3b, and 4. FIG. FIGS. 3 a, 3 b, and 4 are diagrams each showing a specific example of the field of view of the user U when the wearable terminal 100 is worn.

図3aに示すように、ユーザUの視野は、開口部127を介して実環境を視認できる実環境視野領域40と、表示装置110により案内情報31a及び31b(以下、総称して案内情報31ともいう。)が表示される案内表示領域30とを含む。なお、図3a、図3b及び図4の例では、案内表示領域30は実環境視野領域40よりも鉛直方向下部にあるが、これに限られるものではない。例えば、案内表示領域30を実環境視野領域40の上部や左部、右部に来るようにしても良い。案内表示領域30と実環境視野領域40との位置関係は、ウェアラブル端末100における表示装置110の配置位置に応じて決まる。以下の例では、案内表示領域30が実環境視野領域40よりも鉛直方向下部に来る場合を中心に説明する。   As shown in FIG. 3a, the visual field of the user U includes a real environment visual field area 40 where the real environment can be visually recognized through the opening 127, and guidance information 31a and 31b (hereinafter collectively referred to as guidance information 31) by the display device 110. And a guidance display area 30 in which the information is displayed. In the examples of FIGS. 3a, 3b, and 4, the guidance display area 30 is located below the real environment visual field area 40 in the vertical direction, but the present invention is not limited to this. For example, the guidance display area 30 may be located above, on the left side, or on the right side of the real environment visual field area 40. The positional relationship between the guidance display area 30 and the real environment visual field area 40 is determined according to the arrangement position of the display device 110 in the wearable terminal 100. In the following example, the case where the guidance display area 30 is located vertically below the real environment visual field area 40 will be mainly described.

実環境視野領域40は、ユーザUが実環境を視認するための領域である。図3a、図3b及び図4の例では、実環境視野領域40には何も記載していないが、実際には、道路や建築物、自動車や人物等の移動体、空、地面等の実環境が、実環境視野領域40においてユーザUに視認される。   The real environment visual field area 40 is an area for the user U to visually recognize the real environment. In the examples of FIGS. 3 a, 3 b, and 4, nothing is described in the real environment visual field area 40, but actually, roads, buildings, vehicles such as automobiles and people, sky, ground, etc. The environment is visually recognized by the user U in the real environment visual field area 40.

案内表示領域30は、表示装置110により表示される案内情報31をユーザUが視認するための領域である。ここで、案内表示領域30は、非透過型の表示領域である。すなわち、案内表示領域30上においては、ユーザUは実環境を確認することはできない。つまり、案内情報31は実環境には重畳されない。   The guidance display area 30 is an area for the user U to visually recognize the guidance information 31 displayed by the display device 110. Here, the guidance display area 30 is a non-transmissive display area. That is, on the guidance display area 30, the user U cannot confirm the actual environment. That is, the guidance information 31 is not superimposed on the real environment.

ここで、案内表示領域30に表示される案内情報31は、ユーザUの周囲にある施設Cの情報である。例えば2km以内など、所定距離内にある施設Cの情報が、案内表示領域30に施設C毎に表示される。   Here, the guidance information 31 displayed in the guidance display area 30 is information on the facility C around the user U. For example, information on the facility C within a predetermined distance such as within 2 km is displayed in the guidance display area 30 for each facility C.

ここで、案内情報31には、画像33、距離情報35、及び方向表示画像37が含まれる。画像33は、施設Cの外観を示す写真画像である。画像33には、施設Cの外観を写真以外にも、例えばトイレ等の施設Cの機能を示すアイコン画像等を用いることも可能である。   Here, the guide information 31 includes an image 33, distance information 35, and a direction display image 37. The image 33 is a photographic image showing the appearance of the facility C. In addition to the photograph of the appearance of the facility C, for example, an icon image indicating the function of the facility C such as a toilet can be used for the image 33.

距離情報35は、ユーザUの位置、即ちウェアラブル端末100のユーザ位置から施設Cの施設位置までの距離を示す情報である。ユーザ位置は、例えばウェアラブル端末100が有するGPS機能により特定することが可能である。また施設位置は、例えば図示しないサーバ等から逐次取得される、ユーザ位置周辺の施設Cに係る位置情報(緯度経度情報)により特定することが可能である。ユーザ位置から施設位置までの距離は、直線距離を用いることが可能である。若しくは、ユーザUが道路や鉄道等を経由して実際に施設Cに到着するまでに必要となる移動経路距離とすることも考えられる。   The distance information 35 is information indicating the distance from the position of the user U, that is, the user position of the wearable terminal 100 to the facility position of the facility C. The user position can be specified by, for example, the GPS function that the wearable terminal 100 has. The facility position can be specified by position information (latitude and longitude information) related to the facility C around the user position, which is sequentially acquired from, for example, a server (not shown). As the distance from the user position to the facility position, a linear distance can be used. Alternatively, it may be possible to set the travel route distance required until the user U actually arrives at the facility C via a road, a railroad, or the like.

方向表示画像37は、施設Cがある方向をユーザUに示すための画像である。案内情報31の水平方向の中心が、施設Cの方向と略一致するように案内情報31を配置する場合には、方向表示画像37には固定画像を用いることが可能である。   The direction display image 37 is an image for showing the user U the direction in which the facility C is located. When the guide information 31 is arranged so that the center of the guide information 31 in the horizontal direction substantially coincides with the direction of the facility C, a fixed image can be used as the direction display image 37.

なお、案内情報31に含まれる内容は、画像33、距離情報35、及び方向表示画像37に限られるものではない。例えば、施設Cの施設名称等を案内情報31に含ませたり、或いは距離情報35を案内情報31に含ませなかったりすることも考えられる。
ここで、案内情報31の表示位置は、各々の案内情報31に対応する施設CまでのユーザUからの距離、及びユーザUから見た施設Cの方向に応じて決まる。
Note that the content included in the guidance information 31 is not limited to the image 33, the distance information 35, and the direction display image 37. For example, the facility name of the facility C may be included in the guide information 31 or the distance information 35 may not be included in the guide information 31.
Here, the display position of the guidance information 31 is determined according to the distance from the user U to the facility C corresponding to each guidance information 31 and the direction of the facility C viewed from the user U.

案内情報31の水平方向の位置は、ユーザUから見た施設Cの方向に応じて決まる。具体的には、ユーザUの位置と施設Cの位置とを結ぶ直線状に案内情報31が表示されるように、ウェアラブル端末100は案内情報31の表示位置を制御する。これによりユーザUは、表示されている案内情報31に係る施設Cがどちらの方向にあるかを直感的に把握することが可能である。   The position in the horizontal direction of the guidance information 31 is determined according to the direction of the facility C viewed from the user U. Specifically, the wearable terminal 100 controls the display position of the guidance information 31 so that the guidance information 31 is displayed in a straight line connecting the position of the user U and the position of the facility C. Thereby, the user U can intuitively grasp in which direction the facility C related to the displayed guidance information 31 is located.

案内情報31の鉛直方向の位置は、ユーザUから施設Cまでの距離、即ちウェアラブル端末100から施設Cまでの距離に応じて決まる。具体的には、例えば距離が近い施設C1に関する案内情報31aを実環境視野領域40に近い位置に、それよりも距離が遠い施設C2に関する案内情報31bを、実環境視野領域40から遠い位置に表示する。また、図3aの例では、施設C1に関する案内情報31aを、それよりも距離の遠い施設C2に関する案内情報31よりも大きく表示している。この他、距離の近い施設C1に関する案内情報31aの透過度を、距離の遠い施設C2に関する案内情報31の透過度よりも低くすることも考えられる。   The vertical position of the guidance information 31 is determined according to the distance from the user U to the facility C, that is, the distance from the wearable terminal 100 to the facility C. Specifically, for example, the guidance information 31a related to the facility C1 with a short distance is displayed at a position close to the real environment visual field area 40, and the guidance information 31b about the facility C2 with a far distance is displayed at a position far from the real environment visual field area 40. To do. In the example of FIG. 3a, the guide information 31a related to the facility C1 is displayed larger than the guide information 31 related to the facility C2 farther away. In addition, it is also conceivable that the transparency of the guidance information 31a related to the facility C1 with a short distance is made lower than the transparency of the guidance information 31 related to the facility C2 with a long distance.

このような表示方法により、ユーザUは施設Cまでの距離が近いか遠いかを視覚的に容易に把握することができる。また近い施設Cの情報の方がユーザUにとってはより参照するニーズが高いと考えられるので、参照必要性の高い案内情報31をより実環境視野領域40に近い位置に配置することで、ユーザUは視線を大きく動かさずとも案内情報31を視認できる。つまり、ユーザUの利便性を向上させることができる。また、水平方向に同列に全ての案内情報31を並べると、案内情報31を配置しきれない可能性があるが、このように距離に応じて鉛直方向の位置をずらすことで、水平方向の配置位置に余裕を持たせることができる。   With such a display method, the user U can easily grasp visually whether the distance to the facility C is near or far. Moreover, since the information of the near facility C is considered to have a higher need for reference to the user U, the guidance information 31 having a higher need for reference is arranged at a position closer to the real environment visual field area 40, so that the user U Can visually recognize the guidance information 31 without greatly moving the line of sight. That is, the convenience of the user U can be improved. Further, if all the guide information 31 is arranged in the same row in the horizontal direction, there is a possibility that the guide information 31 may not be arranged. However, by shifting the position in the vertical direction according to the distance in this way, the arrangement in the horizontal direction is possible. A margin can be given to the position.

もしユーザUが、図3aの表示状態において、顔面の向いている方向を水平方向に動かすと、ユーザUから施設Cへの相対的な方向が変わるため、それに応じて案内情報31の水平方向の表示位置も移動する。また、ユーザUが施設Cへ近づく若しくは施設Cから遠ざかると、案内情報31の鉛直方向の表示位置も徐々に移動する。   If the user U moves the face facing in the horizontal direction in the display state of FIG. 3a, the relative direction from the user U to the facility C changes, and accordingly the guidance information 31 in the horizontal direction is changed accordingly. The display position also moves. When the user U approaches the facility C or moves away from the facility C, the vertical display position of the guidance information 31 also gradually moves.

ユーザUが顔面の向きを変えることにより、施設C1に関する案内情報31aが案内表示領域30の略中心(例えば中心から±5度以内)に移動した場合には、案内表示領域30には、図3bに示されるように当該案内情報31aに関する詳細な情報が表示される。図3bの例では、施設C1の画像33と共に、施設C1に関する説明情報39が示されている。説明情報39には、例えば、施設C1の施設名称、距離、説明文等を含むことができる。   When the user U changes the orientation of the face, the guidance information 31a regarding the facility C1 moves to the approximate center of the guidance display area 30 (for example, within ± 5 degrees from the center), the guidance display area 30 is displayed in FIG. Detailed information regarding the guidance information 31a is displayed as shown in FIG. In the example of FIG. 3b, the explanatory information 39 regarding the facility C1 is shown together with the image 33 of the facility C1. The description information 39 can include, for example, the facility name, distance, and description of the facility C1.

なお、案内情報31の案内表示領域30への表示方法は図3aに示される以外にも、種々考えられる。図4は、案内情報31の表示方法に係る第2の具体例を示す図である。図4の例では、案内表示領域30が、鉛直方向の上部、即ち実環境視野領域40に近い側から順に、第1領域30a、第2領域30b、及び第3領域30cに分かれている。第1領域30a、第2領域30b、及び第3領域30cは、それぞれ水平方向に延びる矩形の領域である。なお、図4の例では、鉛直方向に3つの領域が並んでいるがこれに限られるものではない。例えば2つや4以上の領域を設けることも考えられる。   Various methods of displaying the guidance information 31 in the guidance display area 30 are conceivable in addition to those shown in FIG. FIG. 4 is a diagram illustrating a second specific example relating to the display method of the guidance information 31. In the example of FIG. 4, the guidance display area 30 is divided into a first area 30a, a second area 30b, and a third area 30c in order from the top in the vertical direction, that is, from the side closer to the real environment visual field area 40. The first region 30a, the second region 30b, and the third region 30c are rectangular regions that extend in the horizontal direction. In addition, in the example of FIG. 4, although 3 area | regions are located in a line with the perpendicular direction, it is not restricted to this. For example, two or more regions may be provided.

案内情報31は、対応する施設Cまでの距離に応じて、第1領域30a、第2領域30b、及び第3領域30cのいずれかに配置される。例えば、施設Cまでの距離が300m未満であれば第1領域30aに、施設Cまでの距離が300m以上600m未満であれば第2領域30bに、施設Cまでの距離が600m以上であれば第3領域30cに、対応する案内情報31を配置すれば良い。図4の例では、200m離れた施設C1に係る案内情報31aが第1領域30aに、500m離れた施設C2に係る案内情報31bが第2領域30bに配置されている。
もしユーザUが移動し、施設Cまでの距離が近づいたり遠ざかったりすれば、対応する案内情報31が表示される案内表示領域30内の領域も変更される。
或いは、第1領域30a内に案内情報31が表示される場合には案内情報31が鉛直方向に対しては固定的に表示され(即ち鉛直方向に移動しない)、第2領域30b及び第3領域30c内に案内情報31が表示される場合には、鉛直方向に対してなめらかに案内情報31が移動するように表示されても良い。すなわち、領域ごとに表示制御内容を変えることも考えられる。
The guide information 31 is arranged in one of the first area 30a, the second area 30b, and the third area 30c according to the distance to the corresponding facility C. For example, if the distance to the facility C is less than 300 m, the first region 30a is used. If the distance to the facility C is 300 m or more and less than 600 m, the second region 30b is used. If the distance to the facility C is 600 m or more, the first region 30a is used. The corresponding guidance information 31 may be arranged in the three areas 30c. In the example of FIG. 4, guidance information 31a related to the facility C1 that is 200 meters away is arranged in the first region 30a, and guidance information 31b related to the facility C2 that is 500 meters away is arranged in the second region 30b.
If the user U moves and the distance to the facility C approaches or moves away, the area in the guidance display area 30 where the corresponding guidance information 31 is displayed is also changed.
Alternatively, when the guide information 31 is displayed in the first area 30a, the guide information 31 is fixedly displayed in the vertical direction (that is, does not move in the vertical direction), and the second area 30b and the third area When the guide information 31 is displayed in 30c, the guide information 31 may be displayed so as to move smoothly in the vertical direction. That is, it is conceivable to change the display control content for each region.

なお、図3aや図4の表示例において、ユーザUから施設Cへの相対的な方向が一致している場合には、最も距離の近い施設Cに関する案内情報31を最も実環境視野領域40に近い上部に配置し、次に距離の近い施設Cに関する案内情報31をその下部に配置する、というように垂直方向の表示位置を決めることも考えられる。   In the display examples of FIGS. 3A and 4, when the relative directions from the user U to the facility C coincide with each other, the guidance information 31 related to the facility C with the shortest distance is displayed in the real environment visual field 40. It is conceivable to determine the display position in the vertical direction, such as arranging the guidance information 31 related to the facility C having the next closest distance in the lower part, and arranging the guidance information 31 in the lower part.

若しくは、ユーザUから施設Cへの相対的な方向が一致している場合には、鉛直方向の表示位置は距離に応じたものとしつつ、距離に応じて案内情報31に対して設定する透過度を変えることも考えられる。例えば、距離の近い施設Cに関する案内情報31に対する透過度を低く、距離の遠い施設Cに関する案内情報31に関する透過度を高く設定することで、より距離の近い施設Cに関する案内情報31を視認しやすくなる。ユーザUが特定の案内情報31を選択する際には、例えば左右フリック操作等を入力デバイスに対して入力すれば良い。   Alternatively, when the relative directions from the user U to the facility C coincide with each other, the display position in the vertical direction depends on the distance, and the transparency set for the guidance information 31 according to the distance. It is possible to change For example, by setting the transparency of the guidance information 31 related to the facility C near the distance low and setting the transparency related to the guidance information 31 related to the facility C far away, the guidance information 31 related to the facility C closer to the distance can be easily viewed. Become. When the user U selects specific guidance information 31, for example, a left / right flick operation or the like may be input to the input device.

(4. 機能構成の具体例)
以下、図5を参照しながら、本実施形態に係るウェアラブル端末100の機能構成を説明する。図5は、本実施形態に係るウェアラブル端末100の機能構成を示すブロック図である。ウェアラブル端末100は、大きく分けて制御部150とデータベース(DB)160とを含む。また制御部150は、現在位置取得部151、方向取得部152、施設位置情報取得部153、相対位置算出部154、及び表示制御部155を含む。
(4. Specific examples of functional configuration)
Hereinafter, the functional configuration of the wearable terminal 100 according to the present embodiment will be described with reference to FIG. FIG. 5 is a block diagram illustrating a functional configuration of the wearable terminal 100 according to the present embodiment. Wearable terminal 100 roughly includes a control unit 150 and a database (DB) 160. The control unit 150 includes a current position acquisition unit 151, a direction acquisition unit 152, a facility position information acquisition unit 153, a relative position calculation unit 154, and a display control unit 155.

現在位置取得部151は、ウェアラブル端末100を装着したユーザUの現在位置を特定する。ユーザUの現在位置を特定する手法としては、例えば、GPS(Global Positioning System)を構成する衛星から、逐次発信される電波を受信することにより、ユーザUのいる現在位置を、例えば緯度経度として取得することが考えられる。この他、例えば、周辺にある携帯電話の基地局や無線LAN等から発信される信号等を利用して現在位置を特定することも考えられる。   The current position acquisition unit 151 specifies the current position of the user U wearing the wearable terminal 100. As a method for specifying the current location of the user U, for example, the current location where the user U is located is acquired as, for example, latitude and longitude by receiving radio waves sequentially transmitted from satellites constituting the GPS (Global Positioning System). It is possible to do. In addition, for example, it may be possible to specify the current position using a signal transmitted from a mobile phone base station or a wireless LAN in the vicinity.

方向取得部152は、ユーザUの向いている方向を特定する。方向を特定する手段は種々考えられるが、例えば、地磁気センサや加速度センサ等を組み合わせて方向を特定することが考えられる。   The direction acquisition unit 152 identifies the direction in which the user U is facing. Various means for specifying the direction can be considered. For example, it is possible to specify the direction by combining a geomagnetic sensor, an acceleration sensor, or the like.

施設位置情報取得部153は、施設Cの位置を示す施設位置情報161や、当該施設Cに係る案内情報163等を、図示しないサーバから受信する。この際、例えば施設位置情報取得部153は、現在位置取得部151が取得したユーザUの現在位置を当該サーバに送信することにより、ユーザUの周囲にある施設Cに係る施設位置情報161や案内情報163のみを取得するようにしても良い。   The facility location information acquisition unit 153 receives facility location information 161 indicating the location of the facility C, guidance information 163 related to the facility C, and the like from a server (not shown). At this time, for example, the facility location information acquisition unit 153 transmits the current location of the user U acquired by the current location acquisition unit 151 to the server, thereby the facility location information 161 and guidance related to the facility C around the user U. Only the information 163 may be acquired.

相対位置算出部154は、現在位置取得部151が取得したユーザUの現在位置、方向取得部152が取得したユーザUの向き、及び施設位置情報取得部153が取得した施設Cの施設位置情報161に基づき、各々のユーザUの位置及び方向からの、施設Cの施設位置への相対位置を算出する。相対位置には、ユーザUの現在の向きから見た施設Cの施設位置への方向、及び、ユーザUの現在位置から施設Cの施設位置までの相対距離、が含まれる。なお、相対距離については、ユーザ位置から施設位置までの直線距離(ユークリッド距離)とすることができる。或いは、例えばユーザUが通りうる道路や鉄道等の経路情報も予め有していれば、相対位置算出部154は、ユーザUの現在位置から施設Cに至る必要移動距離を算出することも可能である。   The relative position calculation unit 154 includes the current position of the user U acquired by the current position acquisition unit 151, the direction of the user U acquired by the direction acquisition unit 152, and the facility position information 161 of the facility C acquired by the facility position information acquisition unit 153. Based on the above, the relative position to the facility position of the facility C from the position and direction of each user U is calculated. The relative position includes a direction from the current direction of the user U to the facility position of the facility C and a relative distance from the current position of the user U to the facility position of the facility C. In addition, about a relative distance, it can be set as the linear distance (Euclidean distance) from a user position to a facility position. Alternatively, for example, if the user U has route information such as roads and railways that can be passed in advance, the relative position calculation unit 154 can also calculate the necessary travel distance from the current position of the user U to the facility C. is there.

表示制御部155は、表示装置110に表示させる表示内容を決める。特に表示制御部155が含む案内情報提供部156は、案内表示領域30に案内情報31を表示させる。この際、案内表示領域30が案内情報31を表示させる表示位置は、相対位置算出部154が算出した、ユーザUの現在の位置及び向きから施設Cの施設位置までの相対位置に応じて決まる。案内情報提供部156による案内情報31の表示位置の具体例については、図3a、図3b及び図4を参照しながら先述したため、ここでは説明を省略する。
DB160は、施設位置情報161及び案内情報163を管理する。
The display control unit 155 determines display contents to be displayed on the display device 110. In particular, the guide information providing unit 156 included in the display control unit 155 displays the guide information 31 in the guide display area 30. At this time, the display position where the guidance display area 30 displays the guidance information 31 is determined according to the relative position from the current position and orientation of the user U to the facility position of the facility C calculated by the relative position calculation unit 154. The specific example of the display position of the guide information 31 by the guide information providing unit 156 has been described above with reference to FIGS. 3a, 3b, and 4, and thus the description thereof is omitted here.
The DB 160 manages facility location information 161 and guidance information 163.

施設位置情報161は、緯度経度などで表現される施設Cの位置情報である。先述の通り、例えば施設位置情報取得部153が図示しないサーバから受信等することにより、DB160に格納される。或いは、製品出荷時等のタイミングで予めDB160に施設位置情報161を格納しておくことも考えられる。   The facility location information 161 is location information of the facility C expressed by latitude and longitude. As described above, for example, the facility location information acquisition unit 153 receives the information from a server (not shown) and stores it in the DB 160. Alternatively, it is also conceivable to store the facility location information 161 in the DB 160 in advance at the time of product shipment.

案内情報163は、施設Cに関する情報であり、例えば案内表示領域30への表示に使用される。案内情報163には、例えば施設Cの画像33、施設名称や説明文等を含むことができる。   The guidance information 163 is information regarding the facility C, and is used for display in the guidance display area 30, for example. The guidance information 163 can include, for example, an image 33 of the facility C, a facility name, a description, and the like.

(5. 処理の流れ)
以下、図6を参照しながら、本実施形態に係るウェアラブル端末100の処理の流れを説明する。なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上1つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを1ステップとして実行することもできる。
(5. Process flow)
Hereinafter, the flow of processing of the wearable terminal 100 according to the present embodiment will be described with reference to FIG. Each processing step to be described later can be executed in any order or in parallel as long as there is no contradiction in processing contents, and other steps can be added between the processing steps. good. Further, a step described as a single step for convenience can be executed by being divided into a plurality of steps, and a step described as being divided into a plurality of steps for convenience can be executed as one step.

まず現在位置取得部151は、GPS等によりユーザUの現在位置を取得する(S601)。また方向取得部152は、加速度センサや地磁気センサ等を用いて、ユーザUが向いている方向を特定する(S603)。   First, the current position acquisition unit 151 acquires the current position of the user U by GPS or the like (S601). In addition, the direction acquisition unit 152 specifies the direction in which the user U is facing using an acceleration sensor, a geomagnetic sensor, or the like (S603).

また、施設位置情報取得部153は、ユーザUの現在位置周辺の施設位置情報161や案内情報163を取得する(S605)。この時、施設位置情報取得部153は、例えばサーバからこれらの情報を取得してもよいし、予めDB160にこれらの情報が格納されていれば、DB160から施設位置情報161や案内情報163を読み込んでも良い。   The facility position information acquisition unit 153 acquires facility position information 161 and guidance information 163 around the current position of the user U (S605). At this time, the facility location information acquisition unit 153 may acquire such information from, for example, a server, or reads the facility location information 161 and the guidance information 163 from the DB 160 if the information is stored in the DB 160 in advance. But it ’s okay.

相対位置算出部154は、S601乃至S605で取得したユーザUの位置及び方向、並びに施設Cの施設位置に基づき、ユーザUの位置及び方向から施設Cの施設位置への相対方向及び相対距離を算出する(S607)。案内情報提供部156は、当該算出した相対方向及び相対距離に基づき、表示装置110に案内情報31を表示させる(S609)。この時、特に案内情報31の表示制御内容は、図3aや図4に例示したように、施設Cまでの距離に応じて変えることができる。例えば、ユーザUからの距離が近い施設Cに関する案内情報31については、距離が遠い施設Cに関する案内情報31よりも、ユーザ視野において実環境視野領域40に近い位置に配置したり、大きく表示させたりすることができる。   The relative position calculation unit 154 calculates the relative direction and the relative distance from the position and direction of the user U to the facility position of the facility C based on the position and direction of the user U acquired in S601 to S605 and the facility position of the facility C. (S607). The guidance information providing unit 156 displays the guidance information 31 on the display device 110 based on the calculated relative direction and relative distance (S609). At this time, the display control content of the guidance information 31 can be changed according to the distance to the facility C as illustrated in FIG. For example, the guidance information 31 related to the facility C that is close to the user U is arranged closer to the real environment visual field region 40 in the user's view than the guidance information 31 related to the facility C that is far away, or displayed larger. can do.

1以上の案内情報31が表示された状態において、その中の特定の案内情報31をユーザUが選択した場合には(S611のYes)、当該選択された案内情報31に係る施設Cの詳細情報を、案内情報提供部156は図3bに具体例を示したような形態で表示装置110に表示させる(S613)。先述の通り、案内情報31の選択方法は、案内表示領域30の中心に案内情報31が来るようにユーザUが向きを変えたり、若しくはボタン操作やスワイプ操作等により選択したりする手法が考えられる。
ウェアラブル端末100は、このようなS601乃至S611の処理を、処理が終了するまで(S615のYes)繰り返す(S615のNo)。
In a state where one or more pieces of guide information 31 are displayed, when the user U selects specific guide information 31 (Yes in S611), detailed information on the facility C related to the selected guide information 31 Is displayed on the display device 110 in a form as shown in a specific example in FIG. 3B (S613). As described above, the guide information 31 can be selected by a method in which the user U changes the direction so that the guide information 31 comes to the center of the guide display area 30 or is selected by a button operation or a swipe operation. .
The wearable terminal 100 repeats the processing from S601 to S611 until the processing ends (Yes in S615) (No in S615).

(6. ハードウェア構成)
以下、図7を参照しながら、上述してきたウェアラブル端末100の内部処理をコンピュータにより実現する場合のハードウェア構成の一例を説明する。
(6. Hardware configuration)
Hereinafter, an example of a hardware configuration when the internal processing of the wearable terminal 100 described above is realized by a computer will be described with reference to FIG.

図7に示すように、ウェアラブル端末100は、制御部150、記憶部183、通信インタフェース(I/F)部187、方位センサ189、表示装置110、及び入力部191を含み、各部はバスライン193を介して接続される。   As shown in FIG. 7, the wearable terminal 100 includes a control unit 150, a storage unit 183, a communication interface (I / F) unit 187, a direction sensor 189, a display device 110, and an input unit 191, and each unit is a bus line 193. Connected through.

制御部150は、CPU(Central Processing Unit。図示せず)、ROM(Read Only Memory。図示せず)、RAM(Random Access Memory)181等を含む。制御部150は、記憶部183に記憶される制御プログラム185を実行することにより、上述したウェアラブル端末100としての情報処理を実現可能に構成される。例えば、図5を参照しながら説明した現在位置取得部151、方向取得部152、施設位置情報取得部153、相対位置算出部154、及び表示制御部155は、RAM181に一時記憶された上で、CPU上で動作する制御プログラム185として実現可能である。   The control unit 150 includes a CPU (Central Processing Unit, not shown), a ROM (Read Only Memory, not shown), a RAM (Random Access Memory) 181 and the like. The control unit 150 is configured to execute the control program 185 stored in the storage unit 183 so that the information processing as the wearable terminal 100 described above can be realized. For example, the current position acquisition unit 151, the direction acquisition unit 152, the facility position information acquisition unit 153, the relative position calculation unit 154, and the display control unit 155 described with reference to FIG. 5 are temporarily stored in the RAM 181. It can be realized as a control program 185 operating on the CPU.

また、RAM181は、制御プログラム185に含まれるコードの他、DB160に格納される施設位置情報161や案内情報163の一部又は全部を一時的に保持する。更にRAM181は、CPUが各種処理を実行する際のワークエリアとしても使用される。   The RAM 181 temporarily holds part or all of the facility location information 161 and the guidance information 163 stored in the DB 160 in addition to the codes included in the control program 185. The RAM 181 is also used as a work area when the CPU executes various processes.

記憶部183は、例えばHDD(Hard Disk Drive)やフラッシュメモリ等の不揮発性の記憶媒体である。記憶部183は、一般的なコンピュータとしての機能を実現するためのオペレーティングシステム(OS)やアプリケーション、各種データを記憶する。また記憶部183は、制御プログラム185や、当該制御プログラム185が使用するデータを格納するDB160を記憶する。前述のとおり、図5に示した現在位置取得部151、方向取得部152、施設位置情報取得部153、相対位置算出部154、表示制御部155は、制御プログラム185により実現することができる。   The storage unit 183 is a non-volatile storage medium such as an HDD (Hard Disk Drive) or a flash memory. The storage unit 183 stores an operating system (OS), applications, and various data for realizing functions as a general computer. The storage unit 183 stores a control program 185 and a DB 160 that stores data used by the control program 185. As described above, the current position acquisition unit 151, the direction acquisition unit 152, the facility position information acquisition unit 153, the relative position calculation unit 154, and the display control unit 155 illustrated in FIG. 5 can be realized by the control program 185.

通信I/F部187は、例えば外部サーバとの間で、無線などによりデータ通信を行うためのデバイスである。施設位置情報161や案内情報163の取得は、例えば通信I/F部187が施設位置情報取得部153による制御により逐次行うことができる。   The communication I / F unit 187 is a device for performing data communication with an external server, for example, wirelessly. Acquisition of the facility location information 161 and the guidance information 163 can be sequentially performed by the communication I / F unit 187 under the control of the facility location information acquisition unit 153, for example.

方位センサ189は、ウェアラブル端末100の方向、即ちユーザUの向いている方向を検出するためのセンサである。方位センサ189には、例えば地磁気センサや加速度センサ等を含むことができる。   The direction sensor 189 is a sensor for detecting the direction of the wearable terminal 100, that is, the direction in which the user U is facing. The direction sensor 189 can include, for example, a geomagnetic sensor or an acceleration sensor.

表示装置110は、前述のとおり、ユーザUに案内情報31などの各種情報を提示するためのディスプレイ装置である。表示装置110の具体例としては、例えば液晶ディスプレイや有機EL(Electro−Luminescence)ディスプレイ等が挙げられる。入力部191は、ユーザUからの操作入力を受け付けるためのデバイスである。入力部191の具体例としては、例えば各種ボタンやタッチパネル等を挙げることができる。   As described above, the display device 110 is a display device for presenting various types of information such as the guidance information 31 to the user U. Specific examples of the display device 110 include a liquid crystal display and an organic EL (Electro-Luminescence) display. The input unit 191 is a device for receiving an operation input from the user U. Specific examples of the input unit 191 include various buttons and a touch panel.

(7. 本実施形態の効果)
以上説明したように、本実施形態に係るウェアラブル端末100は、ユーザUの周囲にある施設Cに関する案内情報31を、実環境をユーザUに示さない、即ち非透過な案内表示領域30に表示する機能を有する。この際、ウェアラブル端末100は、ユーザUのユーザ位置と施設Cの施設位置との相対的な位置関係に応じて、案内情報31の表示態様を変える。具体的には、例えば案内情報31の水平方向の位置については、施設Cの方向と略一致するように調整される。また、案内情報31の鉛直方向の位置については、距離が近い施設Cに係る案内情報31を、例えば、実環境視野領域40の近くに、大きく表示する。これによりユーザUは、施設Cとの位置関係を視覚的に容易に把握できると共に、特に参照の度合いが高いと考えられる近くの施設Cの情報を、あまり視線を動かさずに確認することが可能である。
(7. Effects of the present embodiment)
As described above, the wearable terminal 100 according to the present embodiment displays the guidance information 31 related to the facility C around the user U in the guidance display area 30 that does not show the real environment to the user U, that is, the non-transparent guidance display area 30. It has a function. At this time, the wearable terminal 100 changes the display mode of the guidance information 31 according to the relative positional relationship between the user position of the user U and the facility position of the facility C. Specifically, for example, the horizontal position of the guidance information 31 is adjusted so as to substantially match the direction of the facility C. For the position of the guidance information 31 in the vertical direction, the guidance information 31 related to the facility C having a short distance is displayed largely near the real environment visual field area 40, for example. As a result, the user U can easily grasp the positional relationship with the facility C visually, and can check information on a nearby facility C that is considered to have a high degree of reference without moving the line of sight. It is.

(8. 付記事項)
なお、前述の各実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
(8. Additional notes)
Note that the configurations of the above-described embodiments may be combined or some of the components may be replaced. The configuration of the present invention is not limited to the above-described embodiment, and various modifications may be made without departing from the scope of the present invention.

100 :ウェアラブル端末
110 :表示装置
120 :フロント部
121 :リム部
123 :ブリッジ部
125 :パッド部
127 :開口部
130 :テンプル部
131 :モダン部
140 :支持部材
145 :ケーブル
150 :制御部
151 :現在位置取得部
152 :方向取得部
153 :施設位置情報取得部
154 :相対位置算出部
155 :表示制御部
156 :案内情報提供部
160 :データベース(DB)
161 :施設位置情報
163 :案内情報
181 :RAM
183 :記憶部
185 :制御プログラム
187 :通信インタフェース部
189 :方位センサ
191 :入力部
193 :バスライン
DESCRIPTION OF SYMBOLS 100: Wearable terminal 110: Display apparatus 120: Front part 121: Rim part 123: Bridge part 125: Pad part 127: Opening part 130: Temple part 131: Modern part 140: Support member 145: Cable 150: Control part 151: Present Position acquisition unit 152: Direction acquisition unit 153: Facility position information acquisition unit 154: Relative position calculation unit 155: Display control unit 156: Guidance information provision unit 160: Database (DB)
161: Facility position information 163: Guidance information 181: RAM
183: Storage unit 185: Control program 187: Communication interface unit 189: Direction sensor 191: Input unit 193: Bus line

Claims (8)

ユーザが装着可能なウェアラブル端末であって、
前記ユーザの周囲にある施設の施設位置と、前記ユーザのユーザ位置との相対的な位置関係を取得する位置取得手段と、
前記ユーザの視野の一部に、非透過的に前記施設に関する案内情報を表示する表示装置と、
前記ウェアラブル端末を前記ユーザに装着可能とするための装着部材であって、前記ユーザの視野のうち、前記ユーザが実環境を視認可能な実環境視野領域と、前記表示装置により非透過的に前記案内情報が表示される案内表示領域との位置関係を定める装着部材と、
前記ユーザの視野のうち、前記案内表示領域内の前記施設の方向に、前記案内情報を前記表示装置に表示させる表示制御手段と
を備え、
前記表示制御手段は、前記ユーザ位置と前記施設位置との距離に応じて、前記案内情報の表示制御内容を変える、
ウェアラブル端末。
A wearable terminal that can be worn by the user,
Position acquisition means for acquiring a relative positional relationship between a facility position of a facility around the user and the user position of the user;
A display device that displays guidance information about the facility in part of the user's field of vision,
A mounting member for enabling the wearable terminal to be mounted on the user, and a real environment visual field area in which the user can visually recognize a real environment out of the user's visual field, and non-transparently by the display device A mounting member that defines a positional relationship with a guidance display area in which guidance information is displayed;
Display control means for displaying the guidance information on the display device in the direction of the facility in the guidance display area of the user's visual field,
The display control means changes display control content of the guidance information according to a distance between the user position and the facility position.
Wearable terminal.
前記ユーザ位置と前記施設位置との間が第1距離である場合に前記表示制御手段が前記案内情報を表示させる第1表示位置は、前記ユーザ位置と前記施設位置との間が前記第1距離よりも長い第2距離である場合に前記表示制御手段が前記案内情報を表示させる第2表示位置よりも、前記案内表示領域内において前記実環境視野領域に近い位置にある、
請求項1記載のウェアラブル端末。
The first display position where the display control means displays the guidance information when the user position and the facility position are the first distance is the first distance between the user position and the facility position. When the second distance is longer than the second display position where the display control means displays the guidance information, the guidance display area is closer to the real environment visual field area.
The wearable terminal according to claim 1.
前記案内表示領域は、第1表示領域と、前記第1表示領域よりも前記実環境視野領域から遠い第2表示領域を含み、
前記ユーザ位置と前記施設位置との間が第1距離である場合に、前記表示制御手段は前記案内情報を前記第1表示領域に表示させ、
前記ユーザ位置と前記施設位置との間が前記第1距離よりも長い第2距離である場合に、前記表示制御手段は前記案内情報を前記第2表示領域に表示させる、
請求項1記載のウェアラブル端末。
The guidance display area includes a first display area and a second display area farther from the real environment visual field area than the first display area,
When the distance between the user position and the facility position is a first distance, the display control means displays the guidance information in the first display area,
When the distance between the user position and the facility position is a second distance longer than the first distance, the display control means displays the guidance information in the second display area.
The wearable terminal according to claim 1.
前記ユーザ位置と前記施設位置との間が第1距離である場合に前記表示制御手段が前記案内情報を表示させる第1サイズは、前記ユーザ位置と前記施設位置との間が前記第1距離よりも長い第2距離である場合に前記表示制御手段が前記案内情報を表示させる第2サイズよりも大きい、
請求項1乃至請求項3のいずれか1項記載のウェアラブル端末。
When the distance between the user position and the facility position is the first distance, the display control means displays the guidance information in a first size between the user position and the facility position from the first distance. Larger than the second size for the display control means to display the guidance information when the second distance is too long.
The wearable terminal according to any one of claims 1 to 3.
前記ユーザ位置と前記施設位置との間が第1距離である場合に前記表示制御手段が前記案内情報を表示させる第1透過度は、前記ユーザ位置と前記施設位置との間が前記第1距離よりも長い第2距離である場合に前記表示制御手段が前記案内情報を表示させる第2透過度よりも低い、
請求項1乃至請求項4のいずれか1項記載のウェアラブル端末。
When the first distance between the user position and the facility position is the first distance, the first transparency with which the display control means displays the guidance information is the first distance between the user position and the facility position. Lower than the second transparency that causes the display control means to display the guidance information when the second distance is longer than
The wearable terminal according to any one of claims 1 to 4.
前記装着部材は、前記案内表示領域が前記実環境視野領域よりも鉛直方向下部に来るように、位置を定める、
請求項1乃至請求項5のいずれか1項記載のウェアラブル端末。
The mounting member is positioned so that the guidance display area is vertically lower than the real environment visual field area.
The wearable terminal according to any one of claims 1 to 5.
ユーザが装着可能なウェアラブル端末であって、
前記ユーザの視野の一部に、当該ユーザの周囲にある施設に関する案内情報を非透過的に示す表示装置と、
前記ウェアラブル端末を前記ユーザに装着可能とするための装着部材であって、前記ユーザの視野のうち、前記ユーザが実環境を視認可能な実環境視野領域と、前記表示装置により非透過的に前記案内情報が表示される案内表示領域との位置関係を定める装着部材と
を備えるウェアラブル端末に、
前記施設の施設位置と、前記ユーザのユーザ位置との相対的な位置関係を取得する機能と、
前記ユーザの視野のうち、前記案内表示領域内の前記施設の方向に前記案内情報を前記表示装置に表示させる表示制御機能であって、前記ユーザ位置と前記施設位置との距離に応じて、前記案内情報の表示制御内容を変える表示制御機能と
を実行させるためのプログラム。
A wearable terminal that can be worn by the user,
A display device that non-transparently displays guidance information about facilities around the user in a part of the user's field of view;
A mounting member for enabling the wearable terminal to be mounted on the user, and a real environment visual field area in which the user can visually recognize a real environment out of the user's visual field, and non-transparently by the display device In a wearable terminal provided with a mounting member that defines a positional relationship with a guidance display area where guidance information is displayed,
A function of acquiring a relative positional relationship between the facility position of the facility and the user position of the user;
The display control function for displaying the guidance information on the display device in the direction of the facility in the guidance display area in the user's field of view, and depending on the distance between the user position and the facility position, A program for executing a display control function for changing display control contents of guidance information.
ユーザが装着可能なウェアラブル端末であって、
前記ユーザの視野の一部に、当該ユーザの周囲にある施設に関する案内情報を非透過的に示す表示装置と、
前記ウェアラブル端末を前記ユーザに装着可能とするための装着部材であって、前記ユーザの視野のうち、前記ユーザが実環境を視認可能な実環境視野領域と、前記表示装置により非透過的に前記案内情報が表示される案内表示領域との位置関係を定める装着部材と
を備えるウェアラブル端末が、
前記施設の施設位置と、前記ユーザのユーザ位置との相対的な位置関係を取得するステップと、
前記ユーザの視野のうち、前記案内表示領域内の前記施設の方向に前記案内情報を前記表示装置に表示させるステップと、
を行い、前記表示させるステップは、前記ユーザ位置と前記施設位置との距離に応じて、前記案内情報の表示制御内容を変える、
情報処理方法。
A wearable terminal that can be worn by the user,
A display device that non-transparently displays guidance information about facilities around the user in a part of the user's field of view;
A mounting member for enabling the wearable terminal to be mounted on the user, and a real environment visual field area in which the user can visually recognize a real environment out of the user's visual field, and non-transparently by the display device A wearable terminal comprising a mounting member that defines a positional relationship with a guidance display area where guidance information is displayed,
Obtaining a relative positional relationship between the facility position of the facility and the user position of the user;
Displaying the guidance information on the display device in the direction of the facility in the guidance display area of the user's field of view;
And the step of displaying changes the display control content of the guidance information according to the distance between the user position and the facility position.
Information processing method.
JP2016087125A 2016-04-25 2016-04-25 Wearable terminal, program and information processing method Active JP6702785B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016087125A JP6702785B2 (en) 2016-04-25 2016-04-25 Wearable terminal, program and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016087125A JP6702785B2 (en) 2016-04-25 2016-04-25 Wearable terminal, program and information processing method

Publications (2)

Publication Number Publication Date
JP2017199072A true JP2017199072A (en) 2017-11-02
JP6702785B2 JP6702785B2 (en) 2020-06-03

Family

ID=60237963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016087125A Active JP6702785B2 (en) 2016-04-25 2016-04-25 Wearable terminal, program and information processing method

Country Status (1)

Country Link
JP (1) JP6702785B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186434A (en) * 2013-03-22 2014-10-02 Seiko Epson Corp Information display system using head-mounted display device, information display method using head-mounted display device, and head-mounted display device
US20140333521A1 (en) * 2013-05-07 2014-11-13 Korea Advanced Institute Of Science And Technology Display property determination
JP2015172548A (en) * 2014-03-12 2015-10-01 パイオニア株式会社 Display control device, control method, program, and recording medium
WO2016031358A1 (en) * 2014-08-27 2016-03-03 ソニー株式会社 Display control device, display control method, and program
JP2016051102A (en) * 2014-09-01 2016-04-11 セイコーエプソン株式会社 Display device and control method of the same, and computer program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186434A (en) * 2013-03-22 2014-10-02 Seiko Epson Corp Information display system using head-mounted display device, information display method using head-mounted display device, and head-mounted display device
US20140333521A1 (en) * 2013-05-07 2014-11-13 Korea Advanced Institute Of Science And Technology Display property determination
JP2015172548A (en) * 2014-03-12 2015-10-01 パイオニア株式会社 Display control device, control method, program, and recording medium
WO2016031358A1 (en) * 2014-08-27 2016-03-03 ソニー株式会社 Display control device, display control method, and program
JP2016051102A (en) * 2014-09-01 2016-04-11 セイコーエプソン株式会社 Display device and control method of the same, and computer program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
東幸太: ""ゲーム・クリエイターをめざす人の必見の講座 超入門! ゲーム・アルゴリズム"", マイコンBASIC MAGAZINE, vol. 第19巻, 第8号, JPN6019044996, 1 August 2000 (2000-08-01), JP, pages 82 - 85, ISSN: 0004157483 *

Also Published As

Publication number Publication date
JP6702785B2 (en) 2020-06-03

Similar Documents

Publication Publication Date Title
JP7268692B2 (en) Information processing device, control method and program
US9678349B2 (en) Transparent type near-eye display device
EP2933707B1 (en) Head mounted display presentation adjustment
US8184068B1 (en) Processing objects for separate eye displays
US5798733A (en) Interactive position guidance apparatus and method for guiding a user to reach a predetermined target position
JP6669067B2 (en) Display control device, display control method, and program
CN105209959B (en) User interface for head mounted display
JP4783603B2 (en) MAP DISPLAY DEVICE, MAP DISPLAY METHOD, MAP DISPLAY PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM
US20140098008A1 (en) Method and apparatus for vehicle enabled visual augmentation
WO2011158639A1 (en) Location-related display system, mobile device and mobile device program
WO2010113788A1 (en) Information display apparatus
CN106164993A (en) Environment in head mounted display interrupts and the praedial utilization in the non-visual field
KR102123844B1 (en) Electronic apparatus, control method of electronic apparatus and computer readable recording medium
CN107771342A (en) A kind of augmented reality display methods and head-mounted display apparatus
CN102322869A (en) Display method of projection vehicle navigation, device and system thereof
CN103674044A (en) Navigation apparatus and display method thereof
WO2015141301A1 (en) Three-dimensional-map display system
US20230131474A1 (en) Augmented reality marine navigation
JP2014098564A (en) Information display device
US20180307378A1 (en) Wearable display, image display apparatus, and image display system
US20170227655A1 (en) Wearable terminal for displaying navigation information, navigation device and display method therefor
JP6802640B2 (en) Wearable devices, programs and information processing methods
JP4710217B2 (en) Information presenting apparatus, information presenting method, information presenting system, and computer program
US9846819B2 (en) Map image display device, navigation device, and map image display method
JP6702785B2 (en) Wearable terminal, program and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200507

R150 Certificate of patent or registration of utility model

Ref document number: 6702785

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250