JP2014228950A - Information management device, information management system, communication terminal, and information management method - Google Patents

Information management device, information management system, communication terminal, and information management method Download PDF

Info

Publication number
JP2014228950A
JP2014228950A JP2013106380A JP2013106380A JP2014228950A JP 2014228950 A JP2014228950 A JP 2014228950A JP 2013106380 A JP2013106380 A JP 2013106380A JP 2013106380 A JP2013106380 A JP 2013106380A JP 2014228950 A JP2014228950 A JP 2014228950A
Authority
JP
Japan
Prior art keywords
user
information
target user
user terminal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013106380A
Other languages
Japanese (ja)
Other versions
JP6077930B2 (en
Inventor
美木子 中西
Mikiko Nakanishi
美木子 中西
真治 木村
Shinji Kimura
真治 木村
伸晃 石原
Nobuaki Ishihara
伸晃 石原
倉掛 正治
Masaharu Kurakake
正治 倉掛
堀越 力
Tsutomu Horikoshi
力 堀越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2013106380A priority Critical patent/JP6077930B2/en
Publication of JP2014228950A publication Critical patent/JP2014228950A/en
Application granted granted Critical
Publication of JP6077930B2 publication Critical patent/JP6077930B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an information management device, an information management system, a communication terminal, and an information management method that allow people to learn a person convenient for themselves among people around them.SOLUTION: When an information management unit 203 accepts a search request for a target user from an eyeglasses-type communication terminal 100, which is a user terminal, a target user search unit 204 obtains the user ID of the target user (eyeglasses-type communication terminal) who met with a search condition stored in a task table storage unit 202. Then, the target user search unit 204 extracts position information corresponding to the obtained user ID of the target user (eyeglasses-type communication terminal) from the task table storage unit 202, and a present location information estimation unit 205 notifies the eyeglasses-type communication terminal 100 of position information after position information estimation processing.

Description

本発明は、ユーザが視認した視認情報にオブジェクトなどのデータを重畳表示するための情報管理装置、情報管理システム、通信端末および情報管理方法に関する。   The present invention relates to an information management apparatus, an information management system, a communication terminal, and an information management method for superimposing and displaying data such as an object on visual information visually recognized by a user.

近年、拡張現実感(AR:Augmented Reality)と呼ばれる技術が考えられており、実際の映像に、その映像に映し出されている物体を説明するためのオブジェクトを重畳表示することにより、ユーザに対して様々な情報を提供することができる。例えば、特許文献1には、AR技術についての記載があり、この文献においては、実世界に映し出されているオブジェクトと実世界の映像の視点との間の距離に基づいて。重畳表示の方法を変えることの記載がある。   In recent years, a technique called augmented reality (AR) has been considered, and an object for explaining an object shown in the video is superimposed on an actual video to display a user. Various information can be provided. For example, Patent Document 1 describes the AR technology. In this document, based on the distance between an object displayed in the real world and the viewpoint of the real-world video. There is a description of changing the superposition display method.

国際公開2010/073616International Publication 2010/073616

ところで、近年、自分の周りにいる人の中から自分のやりたいタスクの条件に合致するユーザを認識したいといった要望がある。例えば、あるユーザが駅でタクシーを拾いたいが、一人で乗るにはコスト的に問題がある。よって、誰か同じ方向に行く人を把握することができれば、そういった人たちを誘うことができる。   By the way, in recent years, there is a demand for recognizing a user who matches a condition of a task he / she wants to perform among those around him. For example, a user wants to pick up a taxi at a station, but there is a problem in terms of cost for taking it alone. Therefore, if you can figure out who is going in the same direction, you can invite them.

しかしながら、上記特許文献1に記載されているような一般的なAR技術では、建物などの固定物に対してオブジェクトを重畳表示しているにすぎず、人に対して目的やその条件を表示することができない。   However, in the general AR technology as described in Patent Document 1, an object is merely superimposed on a fixed object such as a building, and an object and its conditions are displayed to a person. I can't.

そこで、本発明においては、自分の周囲にいる人の中から自分の都合の良い人間を把握することができる情報管理装置、情報管理システム、通信端末および情報管理方法を提供することを目的とする。   Therefore, an object of the present invention is to provide an information management device, an information management system, a communication terminal, and an information management method that can grasp a person who is convenient to the person around him. .

そこで、上述の課題を解決するために、本発明の情報管理装置は、一のユーザ端末から、ユーザが指定した探索条件を含む対象ユーザ端末の探索要求を受け付ける受信手段と、前記ユーザ端末を識別するための識別情報、前記ユーザ端末の位置情報および前記ユーザ端末より受け付けた探索条件を関連付けたタスクテーブルを記憶するタスクテーブル記憶手段と、前記受信手段により受信された探索条件と、前記タスクテーブル記憶手段に記憶されている探索条件に基づいて、一または複数の対象ユーザ端末の識別情報を取得する識別情報取得手段と、前記識別情報取得手段により取得された一または複数の対象ユーザ端末の識別情報に対応する位置情報を前記タスクテーブル記憶手段から抽出して、前記一のユーザ端末に通知する通知手段と、を備えている。   Therefore, in order to solve the above-described problem, the information management apparatus of the present invention identifies a receiving unit that receives a search request for a target user terminal including a search condition specified by a user from one user terminal, and the user terminal Task table storage means for storing identification information for performing, position information of the user terminal and a search table associated with search conditions received from the user terminal, search conditions received by the reception means, and the task table storage Identification information acquisition means for acquiring identification information of one or more target user terminals based on the search conditions stored in the means, and identification information of one or more target user terminals acquired by the identification information acquisition means Notification means for extracting position information corresponding to the task table storage means and notifying the one user terminal , And a.

また、本発明の情報管理方法は、一のユーザ端末から、ユーザが指定した探索条件を含む対象ユーザ端末の探索要求を受け付ける受信ステップと、前記ユーザ端末を識別するための識別情報、前記ユーザ端末の位置情報および前記ユーザ端末より受け付けた探索条件を関連付けたタスクテーブルを記憶するタスクテーブル記憶ステップと、前記受信ステップにより受信された探索条件と、前記タスクテーブル記憶ステップにおいて記憶された探索条件に基づいて、一または複数の対象ユーザ端末の識別情報を取得する識別情報取得ステップと、前記識別情報取得ステップにより取得された一または複数の対象ユーザ端末の識別情報に対応する位置情報を前記タスクテーブル記憶手段から抽出して、前記一のユーザ端末に通知する通知ステップと、を備えている。   In addition, the information management method of the present invention includes a reception step of receiving a search request for a target user terminal including a search condition specified by a user from one user terminal, identification information for identifying the user terminal, the user terminal Based on the task table storage step for storing the task table in which the positional information and the search condition received from the user terminal are associated, the search condition received in the reception step, and the search condition stored in the task table storage step An identification information acquisition step of acquiring identification information of one or a plurality of target user terminals, and position information corresponding to the identification information of the one or more target user terminals acquired by the identification information acquisition step in the task table storage Notification step of extracting from the means and notifying the one user terminal , And a.

この発明によれば、一のユーザ端末から、対象ユーザ端末の探索要求を受け付けると、記憶されたユーザ情報に対応付けられている探索条件に合致した対象ユーザ端末の識別情報を取得し、取得された対象ユーザ端末の識別情報に対応する位置情報を抽出して、一のユーザ端末に通知する。これにより、ユーザ単位でのオブジェクトの表示処理を行うことができる。よって、その探索条件に応じて、一のユーザは、対象ユーザを把握することができる。   According to this invention, when a search request for the target user terminal is received from one user terminal, the identification information of the target user terminal that matches the search condition associated with the stored user information is acquired and acquired. The position information corresponding to the identification information of the target user terminal is extracted and notified to one user terminal. Thereby, the display process of the object in a user unit can be performed. Therefore, according to the search condition, one user can grasp the target user.

また、本発明の情報管理装置において、前記識別情報取得手段は、探索条件として設定された前記一のユーザ端末のユーザの目的および当該目的に対応付けられた条件に基づいて、当該目的および条件に合致した対象ユーザ端末の識別情報を取得するようにしてもよい。   Further, in the information management device of the present invention, the identification information acquisition means may satisfy the purpose and condition based on the user purpose of the one user terminal set as the search condition and the condition associated with the purpose. You may make it acquire the identification information of the object user terminal which matched.

この発明によれば、探索条件として設定された一のユーザの目的および当該目的に対応付けられた条件に基づいて、当該目的および条件に合致した対象ユーザ端末の識別情報を取得する。これにより、目的・条件に合致した対象ユーザを取得することができる。   According to this invention, based on the purpose of one user set as the search condition and the condition associated with the purpose, the identification information of the target user terminal that matches the purpose and the condition is acquired. Thereby, it is possible to acquire the target user that matches the purpose / condition.

また、本発明の情報管理装置は、前記ユーザ端末のユーザの属性情報を、前記ユーザ端末を識別するための識別情報に関連付けて記憶するユーザ情報記憶手段をさらに備え、前記受信手段は、前記ユーザ端末から、ユーザが指定した属性条件を更に含む対象ユーザ端末の探索要求を受け付け、前記識別情報取得手段は、前記受信手段により受け付けられた属性条件と、前記ユーザ情報記憶手段に記憶された属性情報とに基づいて、前記一または複数の対象ユーザ端末の識別情報を取得する。   The information management apparatus according to the present invention further includes user information storage means for storing user attribute information of the user terminal in association with identification information for identifying the user terminal, wherein the receiving means is the user A search request for a target user terminal that further includes an attribute condition specified by the user is received from the terminal, and the identification information acquisition unit includes the attribute condition received by the receiving unit and the attribute information stored in the user information storage unit Based on the above, identification information of the one or more target user terminals is acquired.

この発明によれば、受け付けられた属性条件と、記憶された属性情報とに基づいて、前記一または複数の対象ユーザ端末の識別情報を取得する。これにより、属性情報に基づいた対象ユーザの絞り込み処理を行うことができる。   According to this invention, the identification information of the one or more target user terminals is acquired based on the accepted attribute condition and the stored attribute information. Accordingly, it is possible to perform a target user narrowing process based on the attribute information.

また、本発明の情報管理装置において、前記受信手段は、前記属性条件として、前記ユーザの情報の公開可否を示す可否情報を含む、対象ユーザ端末の探索要求を受け付け、前記識別情報取得手段は、前記可否情報に基づいて、前記一または複数の対象ユーザ端末の識別情報を取得する。   In the information management apparatus of the present invention, the receiving unit accepts a search request for a target user terminal including, as the attribute condition, whether or not the user information can be disclosed, and the identification information acquiring unit includes: Based on the availability information, identification information of the one or more target user terminals is acquired.

これにより、公開可否に基づいたユーザの識別情報の取得処理を行うことができる。例えば、公開“否”と設定したユーザは、自分の情報を知られることなく、目的や条件が合致した他の対象ユーザを探すことができる。   Thereby, the acquisition process of the user's identification information based on whether or not the information can be disclosed can be performed. For example, a user who has set “open” can search for other target users who meet the purpose and conditions without knowing his / her information.

また、本発明の情報管理装置は、前記位置管理テーブル記憶手段に記憶されている位置情報に基づいて、前記受信手段による探索要求受信時の対象ユーザ端末の位置を推定する推定手段をさらに備え、前記通知手段は、前記推定手段により推定された対象ユーザ端末の位置情報を通知する。   The information management apparatus of the present invention further includes an estimation unit that estimates the position of the target user terminal when the search request is received by the reception unit, based on the location information stored in the location management table storage unit, The notification means notifies the position information of the target user terminal estimated by the estimation means.

この発明によれば、位置管理テーブル記憶手段に記憶されている位置情報に基づいて、探索要求受信時の対象ユーザ端末の位置を推定し、推定された対象ユーザ端末の位置情報を通知することができる。これにより、位置情報を補正することができるため、精度よくオブジェクトの重畳表示を行うことができる。   According to this invention, based on the position information stored in the position management table storage means, the position of the target user terminal at the time of receiving the search request is estimated, and the estimated position information of the target user terminal can be notified. it can. As a result, the position information can be corrected, so that the object can be superimposed and displayed with high accuracy.

また、本発明の情報管理装置は、前記一のユーザ端末から、キャンセル対象ユーザの識別情報を含んだ探索キャンセル通知を受信する通知受信手段を更に備え、前記タスクテーブル記憶手段は、前記一のユーザ端末の識別情報に、受信したキャンセル対象ユーザの識別情報を対応付けて記憶し、前記識別情報取得手段は、前記キャンセル対象ユーザであるユーザ端末が探索処理を行う際、前記タスクテーブル記憶手段において、前記一のユーザ端末自身の識別情報と、前記キャンセル対象ユーザの識別情報とが、キャンセル対象として対応づけられている場合に、前記一の対象ユーザ端末の識別情報を取得対象外する。   The information management apparatus according to the present invention further comprises notification receiving means for receiving a search cancellation notice including identification information of the user to be canceled from the one user terminal, wherein the task table storage means is the one user The terminal identification information is stored in association with the received cancellation target user identification information, and when the user terminal that is the cancellation target user performs a search process, the identification information acquisition unit, in the task table storage unit, When the identification information of the one user terminal itself and the identification information of the cancellation target user are associated as cancellation targets, the identification information of the one target user terminal is excluded from acquisition targets.

この発明によれば、一のユーザ端末自身の識別情報と、キャンセル対象ユーザの識別情報とが、キャンセル対象として対応づけられている場合に、一の対象ユーザ端末の識別情報を取得対象外する。これにより、自分の好みではないユーザを特定してキャンセルすることで、自分の識別情報がキャンセル対象となったユーザから見えなくなり、そのユーザからのオファーを防止することができる。   According to this invention, when the identification information of one user terminal and the identification information of the user to be canceled are associated as cancellation targets, the identification information of the one target user terminal is excluded from acquisition targets. Thus, by identifying and canceling a user who is not his / her preference, his / her identification information becomes invisible to the user who has been cancelled, and an offer from that user can be prevented.

また、本発明の情報管理システムは、上記情報管理装置と、複数のユーザ端末とを含んで構成される情報管理システムにおいて、 前記ユーザ端末のそれぞれは、位置情報を取得する位置情報取得手段と、前記位置情報取得手段により取得された位置情報を、ユーザ端末の識別情報およびユーザにより設定された探索条件とともに前記情報管理装置に送信する送信手段と、前記情報管理装置から通知された対象ユーザ端末の位置情報に基づいた画面位置に、ユーザにより視認されている視覚情報にオブジェクトを重畳して表示する表示手段と、を備え、前記情報管理装置は、前記ユーザ端末から送信された位置情報、探索条件および識別情報を、前記ユーザ情報記憶手段および前記位置管理テーブル記憶手段に記憶する登録手段と、を備えている。   The information management system of the present invention is an information management system configured to include the information management apparatus and a plurality of user terminals. Each of the user terminals includes position information acquisition means for acquiring position information; Transmission means for transmitting the position information acquired by the position information acquisition means to the information management apparatus together with identification information of the user terminal and a search condition set by the user; and a target user terminal notified from the information management apparatus Display means for superimposing and displaying an object on visual information visually recognized by a user at a screen position based on the position information, and the information management device includes position information and search conditions transmitted from the user terminal. And registration means for storing the identification information in the user information storage means and the location management table storage means, That.

この発明によれば、ユーザ端末においては、取得された位置情報を ユーザ端末の識別情報およびユーザにより設定された探索設定情報とともに情報管理装置に送信し、この情報管理装置から通知された対象ユーザ端末の位置情報に基づいた画面位置に、ユーザにより視認されている視覚情報にオブジェクトを重畳して表示する。情報管理装置においては、送信された位置情報、探索条件および識別情報を記憶する。これにより、情報管理装置は、各ユーザ端末からの各種情報を登録し、これを利用して、対象ユーザ端末を選択して、それら位置情報を一のユーザ端末に送信することができる。また、ユーザ単位でのオブジェクトの表示処理を行うことができる。よって、その探索条件に応じて、一のユーザは、対象ユーザを把握することができる。   According to this invention, in the user terminal, the acquired position information is transmitted to the information management device together with the identification information of the user terminal and the search setting information set by the user, and the target user terminal notified from the information management device The object is superimposed and displayed on the visual information visually recognized by the user at the screen position based on the position information. The information management apparatus stores the transmitted position information, search conditions, and identification information. Thereby, the information management apparatus can register various information from each user terminal, use this to select the target user terminal, and transmit the position information to one user terminal. In addition, object display processing can be performed in units of users. Therefore, according to the search condition, one user can grasp the target user.

また、本発明の通信端末は、位置情報を取得する位置情報取得手段と、前記位置情報取得手段により取得された位置情報を、自機の識別情報およびユーザにより設定された探索条件とともに上記情報管理装置に送信する送信手段と、前記情報管理装置から通知された対象ユーザ端末の位置情報に基づいた画面位置に、ユーザにより視認されている視覚情報にオブジェクトを重畳して表示する表示手段と、を備えている。   Further, the communication terminal of the present invention includes a position information acquisition unit for acquiring position information, and the position information acquired by the position information acquisition unit together with the identification information of the own device and the search condition set by the user. Transmitting means for transmitting to the apparatus, and display means for displaying an object superimposed on visual information visually recognized by the user at a screen position based on the position information of the target user terminal notified from the information management apparatus. I have.

これにより、自分の探索条件を情報管理装置に送信し、管理させることができ、情報管理装置において管理された結果に基づいた対象ユーザ端末の位置情報を取得することができ、そして、オブジェクトの重畳表示をすることができる。よって、ユーザは、対象ユーザを簡単に把握することができる。   Thus, the user's search condition can be transmitted to the information management apparatus and managed, the position information of the target user terminal can be acquired based on the result managed in the information management apparatus, and the object superposition You can display. Therefore, the user can easily grasp the target user.

また、本発明の通信端末は、ユーザの視線方向を検出する視線検出手段をさらに備え、前記表示手段は、前記視線検出手段により検出された視線方向、および前記位置情報取得手段により取得された位置情報に基づいて、対象ユーザ端末を示すオブジェクトを重畳表示する。   The communication terminal of the present invention further includes a line-of-sight detection unit that detects a user's line-of-sight direction, and the display unit detects the line-of-sight direction detected by the line-of-sight detection unit and the position acquired by the position information acquisition unit. Based on the information, an object indicating the target user terminal is superimposed and displayed.

この発明によれば、検出されたユーザの視線方向、および位置情報に基づいて、対象ユーザ端末を示すオブジェクトを、重畳表示することができる。これにより、精度のよく、オブジェクトの重畳表示をすることができる。   According to this invention, the object which shows a target user terminal can be superimposed and displayed based on the detected user's gaze direction and position information. As a result, the object can be displayed with high accuracy.

また、本発明の通信端末は、前記情報管理装置から対象ユーザ端末を保持する対象ユーザの画像データを取得する画像データ取得手段と、前記画像データ取得手段により取得された画像データと、実際の対象ユーザとのマッチング処理を行うことにより、前記表示手段の画面内における前記対象ユーザの画面位置を特定する特定手段と、をさらに備え、前記表示手段は、前記特定手段により特定された表示手段の画面位置に、対象ユーザを示すオブジェクトを重畳表示する。   In addition, the communication terminal of the present invention includes an image data acquisition unit that acquires image data of a target user holding the target user terminal from the information management device, image data acquired by the image data acquisition unit, and an actual target Specifying means for specifying the screen position of the target user in the screen of the display means by performing matching processing with a user, and the display means is a screen of the display means specified by the specifying means An object indicating the target user is superimposed on the position.

この発明によれば、対象ユーザ端末を保持する対象ユーザの画像データを取得し、取得された画像データと、実際の対象ユーザとのマッチング処理を行うことにより、画面内における対象ユーザの画面位置を特定する。これにより、対象ユーザの表示画面における位置を正確に把握することができ、そのオブジェクトの重畳表示を精度よく実現することができる。   According to the present invention, the image data of the target user holding the target user terminal is acquired, and the screen position of the target user in the screen is determined by performing the matching process between the acquired image data and the actual target user. Identify. Thereby, the position on the display screen of the target user can be accurately grasped, and the superimposed display of the object can be realized with high accuracy.

本発明によれば、ユーザ単位でのオブジェクトの表示処理を行うことができ、一のユーザは、探索条件に応じた対象ユーザを把握することができる。   According to the present invention, it is possible to perform object display processing in units of users, and one user can grasp a target user according to a search condition.

本実施形態のユーザ端末の一側面であるメガネ型通信端末100の外観図である。It is an external view of the glasses-type communication terminal 100 which is one side of the user terminal of this embodiment. 本実施形態のメガネ型通信端末100の利用シーンを示す説明図である。It is explanatory drawing which shows the utilization scene of the glasses-type communication terminal 100 of this embodiment. ユーザu1がかけているメガネ型通信端末100においてそのレンズ内に表示されている画面を示す説明図である。It is explanatory drawing which shows the screen currently displayed in the lens in the glasses-type communication terminal 100 which the user u1 puts on. メガネ型通信端末100とサーバ200との機能構成を示すブロック図である。2 is a block diagram showing functional configurations of glasses-type communication terminal 100 and server 200. FIG. メガネ型通信端末100のハードウェア構成図である。2 is a hardware configuration diagram of a glasses-type communication terminal 100. FIG. ユーザ情報の具体例を示す説明図である。It is explanatory drawing which shows the specific example of user information. タスクテーブルの具体例を示す説明図である。It is explanatory drawing which shows the specific example of a task table. メガネ型通信端末100、およびサーバ200の動作を示すシーケンス図である。6 is a sequence diagram showing operations of glasses-type communication terminal 100 and server 200. FIG. 特定された相手ユーザに対してオファーした場合、およびキャンセルした場合についての処理を示すシーケンス図である。It is a sequence diagram which shows the process about the case where it offers with respect to the specified other party user, and the case where it cancels. その変形例におけるフローチャートである。It is a flowchart in the modification. 探索条件の入力画面例を示す図である。It is a figure which shows the example of an input screen of search conditions.

添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。   Embodiments of the present invention will be described with reference to the accompanying drawings. Where possible, the same parts are denoted by the same reference numerals, and redundant description is omitted.

図1は、本実施形態のユーザ端末の一側面であるメガネ型通信端末100の外観図である。このメガネ型通信端末100は、外観的には一般のメガネのごとく、レンズ部11および弦部12を備えている。このメガネ型通信端末100におけるレンズ部11は、その内側にオブジェクトなどのデータが投影され、そのデータを反射することにより、ユーザにより視認可能に表示することができる。そして、ユーザは、レンズ部11を介して視認した実際の視覚情報(景色等)と、レンズ部11の内側に投影されたオブジェクトとを見ることができる。これは一般的なヘッドマウンドディスプレイの技術を応用したものである。   FIG. 1 is an external view of a glasses-type communication terminal 100 that is one aspect of a user terminal according to the present embodiment. The glasses-type communication terminal 100 is provided with a lens unit 11 and a string unit 12 in appearance, like ordinary glasses. The lens unit 11 in the glasses-type communication terminal 100 projects data such as an object on its inner side and reflects the data so that it can be displayed so as to be visible to the user. Then, the user can see actual visual information (scenery or the like) visually recognized through the lens unit 11 and an object projected inside the lens unit 11. This is an application of general head-mound display technology.

なお、このメガネ型通信端末100は、ユーザの実際の位置情報や向いている方位情報を取得することができ、例えば、地磁気センサやGPS等を利用することにより、ユーザの位置情報を取得することができる。   The glasses-type communication terminal 100 can acquire the user's actual position information and direction information, and can acquire the user's position information by using, for example, a geomagnetic sensor or GPS. Can do.

図2は、本実施形態のメガネ型通信端末100の利用シーンを示す説明図である。図2では、タクシー乗り場TSにタクシーTが停車している。そして、ユーザuは、タクシー乗り場TSに向かっており、新宿までタクシーに乗ろうとしているとする。ユーザuおよびユーザuは、タクシー乗り場TSの近傍に立ち話をしており、ユーザu、u、uはタクシー乗り場TSで並んでいる。なお、ここでユーザu〜uは、本実施形態のメガネ型通信端末100を掛けていることを前提としている。 FIG. 2 is an explanatory diagram showing a usage scene of the glasses-type communication terminal 100 of the present embodiment. In FIG. 2, the taxi T stops at the taxi stand TS. Then, it is assumed that the user u 1 is heading to the taxi stand TS and is about to take a taxi to Shinjuku. The user u 2 and the user u 3 are standing in the vicinity of the taxi stand TS, and the users u 4 , u 5 , u 6 are lined up at the taxi stand TS. Here, it is assumed that the users u 1 to u 6 are wearing the glasses-type communication terminal 100 of the present embodiment.

さらに、図2に示される状況において、図3を用いて、実際にユーザuが視認した具体例について説明する。図3は、ユーザuがかけているメガネ型通信端末100においてそのレンズ内に表示されている画面を示す説明図である。図3に示される通り、ユーザuには、その画面上で、オブジェクトobが対応付けられている。ここで、オブジェクトobは、「タクシーに乗る。新宿行き」を示している。そのほかのユーザには、オブジェクトは表示されていない。ユーザuのみが、目的(タクシーに乗る)、条件(行先:新宿)が一致しているためである。なお、本実施形態においては、目的(タクシーに乗る)、条件(行先:新宿)をまとめて探索条件と称し、このような探索条件を満たしたユーザを、対象ユーザと称する。 Furthermore, in the situation shown in FIG. 2, a specific example that the user u 1 has actually visually recognized will be described using FIG. Figure 3 is an explanatory diagram showing a screen in a spectacle type communication terminal 100 the user u 1 is over is displayed within the lens. As shown in FIG. 3, the user u 3, with its screen, an object ob 3 it is associated. Here, the object ob 3 indicates “get on a taxi. Bound for Shinjuku”. The object is not displayed to other users. Only the user u 3 is, (take a taxi) purpose, conditions (destination: Shinjuku) is because the match. In the present embodiment, the purpose (to ride a taxi) and the condition (destination: Shinjuku) are collectively referred to as a search condition, and a user who satisfies such a search condition is referred to as a target user.

このようにして、本実施形態のメガネ型通信端末100は、サーバにアクセスして、各ユーザにより設定された探索条件(目的やその条件)を取得して、探索条件が自ら設定した探索条件と合致するユーザ(対象ユーザ)を探索し、そのレンズ内に対象ユーザに対応づけられたオブジェクトを投影することができる。そして、各対象ユーザは、実際の景色にオブジェクトが重畳表示されたものを見ることができる。これにより、各ユーザは、目的・条件が合致した対象ユーザを視覚的に把握することができる。なお、その前提として各メガネ型通信端末100は、探索条件(目的やその条件)をサーバに通知しておく必要がある。   In this way, the glasses-type communication terminal 100 according to the present embodiment accesses the server, acquires the search condition (purpose and its condition) set by each user, and the search condition set by the search condition itself A matching user (target user) can be searched and an object associated with the target user can be projected into the lens. Each target user can see the object displayed in an superimposed manner on the actual scenery. Thereby, each user can grasp | ascertain visually the target user with whom the objective and conditions matched. As a premise, each glasses-type communication terminal 100 needs to notify the server of search conditions (purposes and conditions).

つぎに、このようなサービスを提供するための本実施形態のメガネ型通信端末100とサーバ200との機能構成について説明する。図4は、メガネ型通信端末100とサーバ200との機能構成を示すブロック図である。図4に示されているとおり、メガネ型通信端末100は、入力部101、探索条件設定部102(送信手段)、属性条件設定部103(送信手段)、ユーザ情報取得部104(送信手段)、自ユーザ画像取得部105(画像データ取得手段)、位置情報取得部106(位置情報取得手段)、視線情報取得部107(視線検出手段)、自分・相手関係計算部108、対象ユーザ特定部109(特定手段)、表示部110(表示手段)、対象ユーザ探索完了通知部111、および対象ユーザキャンセル通知部112を含んで構成されており、ユーザ端末として機能するものである。   Next, functional configurations of the glasses-type communication terminal 100 and the server 200 according to the present embodiment for providing such a service will be described. FIG. 4 is a block diagram illustrating a functional configuration of the glasses-type communication terminal 100 and the server 200. As shown in FIG. 4, the glasses-type communication terminal 100 includes an input unit 101, a search condition setting unit 102 (transmission unit), an attribute condition setting unit 103 (transmission unit), a user information acquisition unit 104 (transmission unit), Self-user image acquisition unit 105 (image data acquisition unit), position information acquisition unit 106 (position information acquisition unit), line-of-sight information acquisition unit 107 (line-of-sight detection unit), self-partner relationship calculation unit 108, target user identification unit 109 ( A specifying unit), a display unit 110 (display unit), a target user search completion notification unit 111, and a target user cancellation notification unit 112, and functions as a user terminal.

また、サーバ200は、ユーザ情報記憶部201(ユーザ情報記憶手段)、タスクテーブル記憶部202(タスクテーブル記憶手段)、情報管理部203(受信手段、登録手段)、対象ユーザ検索部204(識別情報取得手段、通知手段、通知受信手段、削除手段)、現在位置情報推定部205(推定手段、通知手段)、および対象ユーザ画像送信部206を含んで構成されており、情報管理装置として機能するものである。   The server 200 also includes a user information storage unit 201 (user information storage unit), a task table storage unit 202 (task table storage unit), an information management unit 203 (reception unit, registration unit), a target user search unit 204 (identification information). (Acquisition unit, notification unit, notification reception unit, deletion unit), current position information estimation unit 205 (estimation unit, notification unit), and target user image transmission unit 206, and functions as an information management device It is.

図5は、メガネ型通信端末100のハードウェア構成図である。図4に示されるメガネ型通信端末100は、物理的には、図5に示すように、1または複数のCPU11、主記憶装置であるRAM12及びROM13、入力デバイスである入力装置14、レンズ内にオブジェクトを投影するための出力装置15、ネットワークカード等のデータ送受信デバイスである通信モジュール16、半導体メモリ等の補助記憶装置17などを含むコンピュータシステムとして構成されている。図4における各機能は、図5に示すCPU11、RAM12等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、CPU11の制御のもとで入力装置14、出力装置15、通信モジュール16を動作させるとともに、RAM12や補助記憶装置17におけるデータの読み出し及び書き込みを行うことで実現される。以下、図4に示す機能ブロックに基づいて、各機能ブロックを説明する。   FIG. 5 is a hardware configuration diagram of the glasses-type communication terminal 100. As shown in FIG. 5, the glasses-type communication terminal 100 shown in FIG. 4 physically includes one or a plurality of CPUs 11, a RAM 12 and a ROM 13 as main storage devices, an input device 14 as input devices, and a lens. The computer system includes an output device 15 for projecting an object, a communication module 16 that is a data transmission / reception device such as a network card, an auxiliary storage device 17 such as a semiconductor memory, and the like. Each function in FIG. 4 operates the input device 14, the output device 15, and the communication module 16 under the control of the CPU 11 by reading predetermined computer software on the hardware such as the CPU 11 and the RAM 12 shown in FIG. In addition, it is realized by reading and writing data in the RAM 12 and the auxiliary storage device 17. Hereinafter, each functional block will be described based on the functional blocks shown in FIG.

入力部101は、ユーザにより目的・条件等の探索条件及び属性条件を入力するための部分である。例えば、この入力部101は、キーボードや、タッチパネルおよび音声認識のためのマイクなどで構成される。本実施形態の端末はメガネ型通信端末であるため、この入力部101は別筐体で構成されて、有線または無線により本体に接続するようにするようにしてもよい。   The input unit 101 is a part for the user to input search conditions such as purposes and conditions and attribute conditions. For example, the input unit 101 includes a keyboard, a touch panel, a microphone for voice recognition, and the like. Since the terminal according to the present embodiment is a glasses-type communication terminal, the input unit 101 may be configured as a separate casing and connected to the main body by wire or wirelessly.

この入力部101に入力される探索条件のうち、“目的”は、タクシーに乗る、映画館に入る、などのユーザの行為を示し、“条件”は、タクシーの行先であったり、映画のタイトルやジャンルなどである。また、“目的”“条件”はこれに限るものではなく、またいずれか一つでよい。入力部101に入力される属性条件は、目的・条件を満たす対象ユーザの中からさらに絞り込むための条件を示すものであって、例えば、指定した年代や自分との年齢差、また性別を指定することにより、その対象ユーザをさらに絞り込むことができる。また、属性条件は、他のユーザから自分が探索される場合に、自分が対象ユーザとなってよいかどうかの条件としても使用される。さらに、属性条件には、自分の公開の可否を示す可否設定情報が含まれてもよい。この可否設定情報は、後述する変形例にて使用されるものである。入力部101の入力例を図11に示す。   Among the search conditions input to the input unit 101, “purpose” indicates a user's action such as taking a taxi or entering a movie theater, and “condition” is a taxi destination or a movie title. And genre. Further, the “purpose” and “condition” are not limited to this, and any one may be sufficient. The attribute condition input to the input unit 101 indicates a condition for further narrowing down from target users that satisfy the purpose / condition. For example, a specified age, an age difference from the user, or a gender is specified. Thus, the target users can be further narrowed down. The attribute condition is also used as a condition for determining whether or not the user is a target user when the user is searched for by another user. Furthermore, the attribute condition may include permission / prohibition setting information indicating whether or not his / her disclosure is permitted. This availability setting information is used in a modification described later. An input example of the input unit 101 is shown in FIG.

図11は、メガネ型通信端末100の表示部110に表示されている入力画面の具体例である。ユーザは、入力部101を用いて、探索条件である目的・条件、自分の情報の公開の可否、並びに属性条件である、相手との年齢差、相手の性別、相手の職業を入力することができる。なお、この入力画面は一例であって、これに限るものではない。   FIG. 11 is a specific example of the input screen displayed on the display unit 110 of the glasses-type communication terminal 100. Using the input unit 101, the user can input the purpose / condition as search conditions, whether his / her information can be disclosed, and the age conditions of the other party, the sex of the other party, and the occupation of the other party as attribute conditions. it can. In addition, this input screen is an example, Comprising: It does not restrict to this.

ユーザは、対象ユーザの探索処理をしたい場合には、上述の入力画面を入力することになる。サーバ200は、このユーザにより入力された探索条件等を受け付け、タスクテーブル記憶部202に記憶する。   When the user wants to search for the target user, the user inputs the above-described input screen. The server 200 accepts search conditions and the like input by the user and stores them in the task table storage unit 202.

探索条件設定部102は、入力部101から入力された目的・条件等の探索条件を受け付ける部分である。この探索条件設定部102は、受け付けた探索条件をサーバ200に送信する。   The search condition setting unit 102 is a part that receives a search condition such as a purpose / condition input from the input unit 101. The search condition setting unit 102 transmits the received search condition to the server 200.

属性条件設定部103は、入力部101から入力された属性条件を受け付ける部分である。この属性条件設定部103は、受け付けた属性条件をサーバ200に送信する。   The attribute condition setting unit 103 is a part that receives an attribute condition input from the input unit 101. The attribute condition setting unit 103 transmits the received attribute condition to the server 200.

ユーザ情報取得部104は、メガネ型通信端末100のユーザ情報を、その内部メモリ(例えば、SIM等)から取得して、サーバ200に対して送信する部分である。ここでユーザ情報は、ユーザID、性別、年齢、職業などである。   The user information acquisition unit 104 is a part that acquires user information of the glasses-type communication terminal 100 from its internal memory (for example, SIM) and transmits it to the server 200. Here, the user information includes a user ID, sex, age, occupation, and the like.

自ユーザ画像取得部105は、自分の容姿を含んだ画像データを取得し、サーバ200に送信する部分である。例えば、カメラにより自分の容姿を撮影することにより、当該画像データが取得される。   The own user image acquisition unit 105 is a part that acquires image data including its own appearance and transmits it to the server 200. For example, the image data is acquired by photographing one's appearance with a camera.

位置情報取得部106は、定期的に自端末の位置情報を取得して、当該位置情報をサーバ200に送信する部分である。例えば、GPS等を利用することにより精度のよい位置情報を取得することができる。   The position information acquisition unit 106 is a part that periodically acquires the position information of the terminal itself and transmits the position information to the server 200. For example, accurate position information can be acquired by using GPS or the like.

視線情報取得部107は、ユーザの視線方向を判断して視線情報として取得する部分である。例えば、視線情報取得部107は、ジャイロ・地磁気センサ等により、いずれの方向に向いているか判断したり、またユーザの眼球の向きを検出することにより視線を判断したりすることができる。眼球の向きは、メガネ型通信端末100におけるメガネ部分にセンサを備えることにより、眼球の向きを検出することができる。   The line-of-sight information acquisition unit 107 is a part that determines the line-of-sight direction of the user and acquires it as line-of-sight information. For example, the line-of-sight information acquisition unit 107 can determine which direction it is facing by using a gyroscope, a geomagnetic sensor, or the like, and can determine the line of sight by detecting the direction of the user's eyeball. The direction of the eyeball can be detected by providing a sensor in the glasses portion of the glasses-type communication terminal 100.

自分・相手関係計算部108は、現在位置情報推定部205により推定された対象ユーザの現在位置情報、位置情報取得部106により取得された位置情報、および視線情報取得部107により取得された視線情報に基づいて、自分と対象ユーザとの位置関係を計算する部分である。この位置関係の計算処理は、当該技術分野において公知の手段を使うことにより実現することができる。   The self / partner relationship calculation unit 108 includes the current position information of the target user estimated by the current position information estimation unit 205, the position information acquired by the position information acquisition unit 106, and the line-of-sight information acquired by the line-of-sight information acquisition unit 107. This is a part for calculating the positional relationship between the user and the target user based on the above. This positional relationship calculation processing can be realized by using means known in the art.

対象ユーザ特定部109は、自分・相手関係計算部108により計算された自分と対象ユーザとの位置関係に基づいて、対象ユーザを特定する部分である。すなわち、対象ユーザ特定部109は、表示部110の画面内での対象ユーザの表示位置を特定する部分である。   The target user specifying unit 109 is a part that specifies the target user based on the positional relationship between the user and the target user calculated by the self / partner relationship calculating unit 108. In other words, the target user specifying unit 109 is a part that specifies the display position of the target user within the screen of the display unit 110.

また、対象ユーザ特定部109は、対象ユーザ画像送信部206により送信されたユーザ画像に基づいて対象ユーザ、すなわち対象ユーザの画面内における表示位置を特定するようにしてもよい。この場合、ユーザが視認している実際の景色を映像として取得するためのカメラ等の光学機器が必要である。   The target user specifying unit 109 may specify the display position of the target user, that is, the target user on the screen based on the user image transmitted by the target user image transmitting unit 206. In this case, an optical device such as a camera for acquiring an actual scene visually recognized by the user as an image is necessary.

表示部110は、対象ユーザ特定部109により特定された対象ユーザの表示位置に応じてオブジェクトを重畳表示する部分である。本実施形態においては、メガネ型通信端末であるため、この表示部110は、レンズの両端に備えられた小型のプロジェクタをレンズ内に投影することにより、オブジェクト等を表示することができる。一般的なヘッドマウントディスプレイと同じ構成をとったものである。これにより、ユーザは、レンズを介して実世界を見ることができるとともに、投影されたオブジェクトを重畳して見ることができる。なお、表示部110は、この構成に限定するものではなく、例えば、半透明のディスプレイ状の表示部110がレンズの内側または外側に配置されるように構成されてもよい。   The display unit 110 is a part that superimposes and displays an object according to the display position of the target user specified by the target user specifying unit 109. In the present embodiment, since it is a glasses-type communication terminal, the display unit 110 can display an object or the like by projecting small projectors provided at both ends of the lens into the lens. It has the same configuration as a general head mounted display. Thereby, the user can see the real world through the lens and can see the projected object superimposed. In addition, the display part 110 is not limited to this structure, For example, you may be comprised so that the translucent display-like display part 110 may be arrange | positioned inside or outside a lens.

対象ユーザ探索完了通知部111は、対象ユーザの探索完了通知をサーバ200に対して行う部分である。この探索完了通知は、サーバ200に形成されたタスクテーブルから、自分を示すユーザIDを含んだユーザレコードと、オファーをした対象ユーザ(すなわち、相手ユーザ)のユーザIDを含んだユーザレコードを削除するための処理である。これは、他の対象ユーザが、自分や自分がオファーした対象ユーザ(相手ユーザ)を選択しないようにするための処理である。   The target user search completion notifying unit 111 is a part that notifies the server 200 of a search completion notification of the target user. This search completion notification deletes a user record including a user ID indicating the user and a user record including the user ID of the target user who made the offer (that is, the other user) from the task table formed in the server 200. Process. This is a process for preventing other target users from selecting themselves or the target user (partner user) offered by themselves.

対象ユーザキャンセル通知部112は、対象ユーザのキャンセル通知をサーバ200に対して行う部分である。このキャンセル通知は、サーバ200に形成されたタスクテーブルの自分を示すユーザIDのユーザレコードの「キャンセルユーザID」の項目にキャンセル対象として選択された対象ユーザ(以下、キャンセル対象ユーザとする)のIDを追加するための処理である。これは、キャンセル対象ユーザが、自分を選択しないようにするための処理である。すなわち、キャンセル対象ユーザが、探索処理をしようとした場合、サーバ200は、タスクテーブル記憶部202に記憶されているキャンセルID欄に、当該キャンセル対象ユーザのユーザIDが記述されているユーザIDで示されるユーザについては、探索対象から除外するように処理することになる。   The target user cancellation notification unit 112 is a part that performs notification of cancellation of the target user to the server 200. This cancel notification is the ID of the target user (hereinafter referred to as the cancel target user) selected as the cancel target in the item “cancel user ID” of the user record of the user ID indicating the user in the task table formed in the server 200. Is a process for adding. This is a process for preventing the cancel target user from selecting himself / herself. That is, when the cancel target user tries to perform a search process, the server 200 indicates in the cancel ID column stored in the task table storage unit 202 by the user ID in which the user ID of the cancel target user is described. The user who is to be processed is excluded from the search target.

つぎに、サーバ200について説明する。サーバ200も、図5に示されるとおり、1または複数のCPUやROM・RAM等からなるハードウェアにより実現されている。   Next, the server 200 will be described. As shown in FIG. 5, the server 200 is also realized by hardware including one or more CPUs, ROM / RAM, and the like.

ユーザ情報記憶部201は、メガネ型通信端末100から送信されたユーザ情報に基づいて生成されたユーザ情報を記憶する部分である。図6に、ユーザ情報の具体例を示す。図6に示される通り、ユーザ情報は、ユーザID、性別、年齢、職業などの属性情報である。また、ユーザ情報は、自分の画像データを示す画像ファイルを含んでもよい。画像ファイルは、自分の画像データを示し、相手に送信することにより、画像処理により自分を認識させるための情報である。なお、この画像ファイルについては必須ではない。   The user information storage unit 201 is a part that stores user information generated based on user information transmitted from the glasses-type communication terminal 100. FIG. 6 shows a specific example of user information. As shown in FIG. 6, the user information is attribute information such as a user ID, gender, age, and occupation. Further, the user information may include an image file indicating own image data. The image file is information for recognizing oneself by image processing by indicating one's own image data and transmitting it to the other party. This image file is not essential.

タスクテーブル記憶部202は、ユーザが指定した探索条件、属性条件及び当該ユーザの位置情報を記憶する部分である。このタスクテーブルの具体例を、図7に示す。図7に示す通り、タスクテーブル記憶部202には、ユーザID、位置情報、探索条件、属性条件、公開可否情報、およびキャンセルユーザIDが対応付けて記憶されている。図7の例では、ユーザID:002のユーザ(メガネ型通信端末)は、ユーザID:003のユーザをキャンセル対象ユーザとして選択したことによって、キャンセルユーザIDに当該ユーザID:003が記憶されている。   The task table storage unit 202 is a part that stores search conditions, attribute conditions, and position information of the users specified by the user. A specific example of this task table is shown in FIG. As shown in FIG. 7, the task table storage unit 202 stores a user ID, position information, search conditions, attribute conditions, disclosure availability information, and a cancel user ID in association with each other. In the example of FIG. 7, the user (glasses-type communication terminal) with the user ID: 002 selects the user with the user ID: 003 as the user to be canceled, so that the user ID: 003 is stored in the cancel user ID. .

情報管理部203は、ユーザ情報記憶部201及びタスクテーブル記憶部202に記憶された情報を管理する部分であり、メガネ型通信端末100から端末の位置情報、探索条件や属性条件、そのほかユーザ情報を受け取り、これをユーザ情報記憶部201及びタスクテーブル記憶部202に記憶させる。また、メガネ型通信端末100からの要求により対象ユーザの情報を抽出して、メガネ型通信端末100に返信する。また、情報管理部203は、対象ユーザ探索完了通知部111または対象ユーザキャンセル通知部112からの通知に応じてタスクテーブルの更新処理を行う。   The information management unit 203 is a part that manages the information stored in the user information storage unit 201 and the task table storage unit 202. From the glasses-type communication terminal 100, terminal location information, search conditions and attribute conditions, and other user information are obtained. This is received and stored in the user information storage unit 201 and the task table storage unit 202. Further, the information on the target user is extracted in response to a request from the glasses-type communication terminal 100 and is returned to the glasses-type communication terminal 100. Further, the information management unit 203 performs a task table update process in response to a notification from the target user search completion notification unit 111 or the target user cancellation notification unit 112.

対象ユーザ検索部204は、周期的にメガネ型通信端末100から位置情報を取得し、当該位置情報の周囲にいる対象ユーザを探索する部分である。以下、対象ユーザ検索部204における対象ユーザの探索処理について詳述する。   The target user search unit 204 is a part that periodically acquires position information from the glasses-type communication terminal 100 and searches for target users around the position information. The target user search process in the target user search unit 204 will be described in detail below.

サーバ200が、メガネ型通信端末100より探索条件、属性条件を指定した対象ユーザの探索要求を受け取ると、対象ユーザ検索部204は、メガネ型通信端末100から取得した位置情報及び探索条件を基にタスクテーブル記憶部202を検索し、対象ユーザ候補を抽出する。具体的には、メガネ型通信端末100から取得した位置情報から所定の距離にいるユーザのうち、探索条件(目的、条件)が合致するユーザを検索する。この際、検索したユーザに対する「キャンセルユーザID」に自身のIDが含まれる場合には、当該ユーザをキャンセル対象ユーザとして検索対象から除外する。     When the server 200 receives a search request for a target user for which a search condition and an attribute condition are specified from the glasses-type communication terminal 100, the target user search unit 204 is based on the position information and search conditions acquired from the glasses-type communication terminal 100. The task table storage unit 202 is searched and target user candidates are extracted. Specifically, among the users located at a predetermined distance from the position information acquired from the glasses-type communication terminal 100, a user that matches the search condition (purpose, condition) is searched. At this time, if the user ID is included in the “cancel user ID” for the searched user, the user is excluded from the search target as the cancel target user.

なお、対象ユーザ検索部204は、条件として行先が合致すると判断する場合に、各ユーザの行先までの経路探索を行い、その経路がある範囲において重複している場合や、一定の距離以内にある場合に合致すると判断することもできる。例えば、東京駅のタクシー乗り場に三人のユーザがいて、それぞれ、目的地が、新宿、三鷹、中野であった場合、その3人のユーザは、ほぼ同一方向に向かっているため、条件(行先)が合致すると判断するようにしてもよい。   Note that when the target user search unit 204 determines that the destination matches as a condition, the target user search unit 204 searches for a route to each user's destination, and if the route overlaps within a certain range or is within a certain distance. It can also be determined that it matches the case. For example, if there are three users at the taxi stand at Tokyo Station and the destinations are Shinjuku, Mitaka and Nakano, respectively, the three users are heading in almost the same direction. ) May match.

その後、対象ユーザ検索部204は、抽出した対象ユーザ候補の中から、属性条件を基に対象ユーザへの絞り込みを行ってもよい。具体的には、対象ユーザ候補のユーザIDをキーとしてユーザ情報記憶部201を検索し、ヒットしたレコードの中から、属性条件に合致するユーザに絞り込みを行う。例えば、性別「男性」、年齢「30歳」、職業「会社員」であるユーザ(以下、探索中ユーザとする)が属性条件を探索相手の性別「同じ」、探索相手の年齢「±5」、探索相手の職業「同じ」として対象ユーザの探索要求をしたとする。この場合、属性条件に合致するユーザは、性別「男性」、年齢「25歳〜35歳」、職業「会社員」となる。この条件でユーザ情報記憶部201を検索すると、合致するユーザは「002」に絞り込まれる。   Thereafter, the target user search unit 204 may narrow down the target users from the extracted target user candidates based on the attribute condition. Specifically, the user information storage unit 201 is searched using the user ID of the target user candidate as a key, and the users that match the attribute condition are narrowed down from the hit records. For example, a user who has a gender “male”, an age “30 years old”, and an occupation “company employee” (hereinafter referred to as “searching user”) uses the attribute condition “same” as the search partner and the search partner age “± 5”. Assume that a search request of the target user is made as the occupation of the search partner “same”. In this case, the user who matches the attribute condition is the gender “male”, the age “25 to 35 years old”, and the occupation “company employee”. When the user information storage unit 201 is searched under this condition, matching users are narrowed down to “002”.

しかしながら、ユーザ「002」を対象ユーザとするためには、さらに、探索中ユーザがユーザ「002」が自分が対象ユーザとなってよいと許可したユーザである必要がある。具体的には、このユーザの属性情報がユーザ「002」の属性条件に合致している必要がある。目下の例では、ユーザ「002」の属性条件に合致するユーザは性別「特定なし」、年齢「23歳〜43歳」、職業「特定なし」となる。探索中ユーザの属性情報は上記条件に合致するため、ユーザ「002」を対象ユーザとして抽出する。   However, in order to set the user “002” as the target user, the searching user needs to be a user who permits the user “002” to be the target user. Specifically, the attribute information of this user needs to match the attribute condition of the user “002”. In the current example, the user who matches the attribute condition of the user “002” is the gender “unspecified”, the age “23 to 43 years old”, and the occupation “unspecified”. Since the attribute information of the searching user matches the above condition, the user “002” is extracted as the target user.

現在位置情報推定部205は、対象ユーザ検索部204により検索された対象ユーザの位置情報から現在位置情報を推定する部分である。ここでは、例えば、ユーザの移動軌跡から現在位置情報を推定することが考えられ、移動軌跡からの現在位置情報の推定方法は既知の様々な手法を用いることができる。   The current position information estimation unit 205 is a part that estimates current position information from the position information of the target user searched by the target user search unit 204. Here, for example, it is conceivable to estimate the current position information from the movement trajectory of the user, and various known methods can be used as the estimation method of the current position information from the movement trajectory.

対象ユーザ画像送信部206は、対象ユーザ検索部204において検索された対象ユーザの対象ユーザ画像をユーザ情報記憶部201から取得し、メガネ型通信端末100に送信する部分である。   The target user image transmission unit 206 is a part that acquires the target user image of the target user searched by the target user search unit 204 from the user information storage unit 201 and transmits it to the glasses-type communication terminal 100.

このように構成されたメガネ型通信端末100およびサーバ200の動作について説明する。図8は、メガネ型通信端末100、およびサーバ200の動作を示すシーケンス図である。なお、前提として、メガネ型通信端末100からサーバ200に対して、ユーザ情報及び自分の容姿を含んだ画像データが送信されている状態であるとする。   Operations of the glasses-type communication terminal 100 and the server 200 configured as described above will be described. FIG. 8 is a sequence diagram showing operations of the glasses-type communication terminal 100 and the server 200. As a premise, it is assumed that image data including user information and his / her appearance is transmitted from the glasses-type communication terminal 100 to the server 200.

まず、メガネ型通信端末100において、位置情報取得部106により取得された位置情報がサーバ200に定期的に送信される(S101)。そして、探索条件設定部102および属性条件設定部103により設定された探索条件および属性条件が、サーバ200に送信される(S102)。サーバ200では、情報管理部203により、取得した位置情報、探索条件、および属性条件によりタスクテーブル記憶部202を更新する。   First, in the glasses-type communication terminal 100, the position information acquired by the position information acquisition unit 106 is periodically transmitted to the server 200 (S101). Then, the search condition and attribute condition set by the search condition setting unit 102 and the attribute condition setting unit 103 are transmitted to the server 200 (S102). In the server 200, the information management unit 203 updates the task table storage unit 202 with the acquired position information, search conditions, and attribute conditions.

次に、対象ユーザ検索部204により、ユーザの検索処理が行われる。この検索処理は、所定周期ごとに行われるものであって、タスクテーブル記憶部202及びユーザ情報記憶部201に対して行われる(S103)。この検索処理の詳細は上述のとおりである。   Next, the target user search unit 204 performs a user search process. This search process is performed at predetermined intervals, and is performed on the task table storage unit 202 and the user information storage unit 201 (S103). The details of this search process are as described above.

そして、目的・条件等に合致する対象ユーザがいる場合には、その旨が対象ユーザ検索部204によりメガネ型通信端末100に対して送信される(S104)。そして、タスクテーブル記憶部202に記憶されているユーザごとの位置情報から、現在位置情報推定部205によりユーザの現在位置情報が推定され、タスクテーブル記憶部202に記憶されている位置情報が更新される(S105)。   If there is a target user that matches the purpose, condition, etc., that fact is transmitted to the glasses-type communication terminal 100 by the target user search unit 204 (S104). Then, the current position information estimating unit 205 estimates the current position information of the user from the position information for each user stored in the task table storage unit 202, and the position information stored in the task table storage unit 202 is updated. (S105).

そして、現在位置情報推定部205により、推定された対象ユーザの位置情報およびそのユーザIDがメガネ型通信端末100に送信される(S106)。メガネ型通信端末100においては、受信した位置情報とユーザIDとを記憶する。ここでの送信処理は定期的に行われる。この送信処理と前後して、対象ユーザの画像データが対象ユーザ画像送信部206によりメガネ型通信端末100に送信される(S107)。なお、対象ユーザの画像データの送信処理は、必須の処理ではなく、省略することもできる。   Then, the current position information estimation unit 205 transmits the estimated position information of the target user and its user ID to the glasses-type communication terminal 100 (S106). The glasses-type communication terminal 100 stores the received position information and user ID. The transmission process here is performed periodically. Before and after this transmission process, the image data of the target user is transmitted to the glasses-type communication terminal 100 by the target user image transmission unit 206 (S107). Note that the image data transmission process of the target user is not an essential process and can be omitted.

メガネ型通信端末100において、視線情報取得部107により取得された視線情報、位置情報取得部106により取得された位置情報、そして、現在位置情報推定部205により推定された対象ユーザの位置情報に基づいて、自分・相手関係計算部108により、自分・相手の位置関係が計算される(S108)。   In the glasses-type communication terminal 100, based on the line-of-sight information acquired by the line-of-sight information acquisition unit 107, the position information acquired by the position information acquisition unit 106, and the position information of the target user estimated by the current position information estimation unit 205. Then, the positional relationship between the user and the partner is calculated by the host / partner relationship calculation unit 108 (S108).

自分・相手関係計算部108により計算された位置関係に基づいて、表示部110の画面外に対象ユーザが存在していると判断できる場合には、対象ユーザが位置している方向を示す矢印が表示される(S109)。なお、ここでの表示は、矢印に限らず、自分周辺の俯瞰図またはレーダーチャート上に対象ユーザと自分との位置関係を表示するなど、対象ユーザがいる位置や方向がわかればどのような表示でもよい。   When it can be determined that the target user exists outside the screen of the display unit 110 based on the positional relationship calculated by the self / partner relationship calculation unit 108, an arrow indicating the direction in which the target user is located is displayed. It is displayed (S109). In addition, the display here is not limited to the arrow, but what kind of display is possible if the position and direction of the target user are known, such as displaying the positional relationship between the target user and yourself on the bird's-eye view or radar chart around you. But you can.

そして、対象ユーザ特定部109により、対象ユーザの位置が特定されると、その位置関係に応じた、表示部110の画面位置(レンズ内面)にオブジェトが投影されて重畳表示される(S110)。なお、ここで対象ユーザ特定部109は、対象ユーザとその画像データとのマッチングをとることにより、より精度よく対象ユーザを認識するとともにそのユーザの画面位置にオブジェクトを重畳表示させることができる。   Then, when the position of the target user is specified by the target user specifying unit 109, the object is projected and superimposed on the screen position (lens inner surface) of the display unit 110 according to the positional relationship (S110). Here, the target user specifying unit 109 can recognize the target user more accurately and superimpose the object on the screen position of the user by matching the target user with the image data.

つぎに、対象ユーザに対してオファーした場合、およびキャンセルした場合のそれぞれの処理を説明する。図9(a)は、対象ユーザに対してオファーした場合についての処理を示すシーケンス図であり、図9(b)は、対象ユーザをキャンセルした場合についての処理を示すシーケンス図である。   Next, each process when the offer is made to the target user and when the offer is canceled will be described. FIG. 9A is a sequence diagram showing processing when an offer is made to the target user, and FIG. 9B is a sequence diagram showing processing when the target user is canceled.

図9(a)に示される通り、ユーザが対象ユーザにオファーすると(S201)、対象ユーザ探索完了通知部111は、サーバ200に対して完了の通知を送信する(S202)。なお、ここで、オファーは、ユーザ同士が口頭で行ってもよいし、近距離無線通信(ブルートゥースなど)を使って、オファーを通知してもよい。オファーを口頭で行った場合には、ユーザは手動操作により、自分のユーザIDおよびオファー相手のユーザIDを含んだ完了通知を発信する必要がある。近距離無線通信等を利用した場合には、自動的にオファー相手のユーザIDをその端末から抽出して、自分のユーザIDとともに、オファー相手のユーザIDをサーバ200に送信する。   As shown in FIG. 9A, when the user offers to the target user (S201), the target user search completion notifying unit 111 transmits a notification of completion to the server 200 (S202). Here, the offer may be made verbally between users, or the offer may be notified using short-range wireless communication (such as Bluetooth). When the offer is made orally, the user needs to manually send a completion notification including the user ID of the user and the user ID of the offer partner. When short-range wireless communication or the like is used, the offer partner's user ID is automatically extracted from the terminal, and the offer partner's user ID is transmitted to the server 200 together with the user's user ID.

サーバ200では、自分のユーザIDおよび相手ユーザのユーザIDを含んだ完了通知を受けると、対象ユーザ検索部204が、ユーザのユーザIDおよびオファー相手のユーザIDを抽出し、タスクテーブルら該当するユーザIDに対応するユーザレコードを削除する(S203)。   In the server 200, upon receiving the completion notification including the user ID of the user and the user ID of the partner user, the target user search unit 204 extracts the user ID of the user and the user ID of the offer partner, and the corresponding user from the task table. The user record corresponding to the ID is deleted (S203).

一方、図9(b)に示される通り、ユーザが任意の対象ユーザをキャンセルしたい場合、キャンセル対象となる対象ユーザの特定が行われる(S301)。この特定処理は、ユーザによる手動操作や、視線検出処理によって行われ、メガネ型通信端末100により、キャンセル対象ユーザのユーザIDが取得される。そして、対象ユーザキャンセル通知部112は、サーバ200に対して、自分のユーザID、対象ユーザ(キャンセル対象ユーザ)のユーザIDを含んだキャンセルの通知を送信する(S302)。サーバ200では、キャンセル通知を受けると、そのユーザIDを抽出し、タスクテーブルにおける該当するユーザIDに対応するユーザレコードの「キャンセルユーザID」の項目にキャンセル対象ユーザのユーザIDを追加することにより、キャンセル対象ユーザによる検索結果に自身のレコードを除外する(S303)。   On the other hand, as shown in FIG. 9B, when the user wants to cancel an arbitrary target user, the target user to be canceled is specified (S301). This specifying process is performed by a manual operation by the user or a line-of-sight detection process, and the user ID of the cancel target user is acquired by the glasses-type communication terminal 100. Then, the target user cancel notification unit 112 transmits a cancel notification including the user ID of the user and the user ID of the target user (cancellation target user) to the server 200 (S302). When the server 200 receives the cancel notification, the server 200 extracts the user ID, and adds the user ID of the user to be canceled to the item “cancel user ID” of the user record corresponding to the corresponding user ID in the task table, The own record is excluded from the search result by the cancel target user (S303).

つぎに、本実施形態の変形例について説明する。この変形例においては、属性条件として自分の情報の公開可否を設定することができる。すなわち、自端末の存在は、対象ユーザからは認識されることなく、自分のみが対象ユーザを認識したい場合には、その公開設定を否にすることにより、対象ユーザに自分を認識させないようにすることができる。   Next, a modification of this embodiment will be described. In this modification, it is possible to set whether or not to disclose own information as an attribute condition. That is, the presence of the own terminal is not recognized by the target user, and when only the user wants to recognize the target user, the target user is prevented from recognizing himself / herself by denying the public setting. be able to.

図10は、その変形例におけるフローチャートである。ここでは、位置情報が定期的に送信され(S101)、目的、条件等の探索条件及び属性条件として自分の情報の公開可否を含んだ探索要求の送信処理がサーバ200に対して行われると(S102)、サーバ200において、目的、条件、属性条件、および位置情報が合致する対象ユーザのうち、当該対象ユーザにおいて公開が許可されているユーザが検索される(S103a)。   FIG. 10 is a flowchart of the modification. Here, position information is periodically transmitted (S101), and when a search request transmission process including whether or not to disclose its own information as a search condition and attribute condition such as purpose and condition is performed to the server 200 ( S102) In the server 200, among the target users whose purpose, condition, attribute condition, and position information match, a user permitted to be released by the target user is searched (S103a).

この変形例においては、メガネ型通信端末100bから、位置情報とともに要求送信が行われているが、この要求には、公開が「可」に設定されている(S102b)。よって、サーバ200は、メガネ型通信端末100aからの要求に対しては、このメガネ型通信端末100bを対象ユーザとして検索することができ、メガネ型通信端末100aはメガネ型通信端末100bを対象ユーザとして認識することができる。   In this modification, a request transmission is performed together with the position information from the glasses-type communication terminal 100b. In this request, disclosure is set to “permitted” (S102b). Therefore, the server 200 can search for the glasses-type communication terminal 100b as a target user in response to a request from the glasses-type communication terminal 100a, and the glasses-type communication terminal 100a sets the glasses-type communication terminal 100b as a target user. Can be recognized.

一方で、メガネ型通信端末100aからの要求には、公開が「否」に設定されている(S102)。よって、サーバ200は、メガネ型通信端末100bからの要求に対しては、このメガネ型通信端末100aを対象ユーザとして検索することができず、メガネ型通信端末100bはメガネ型通信端末100aを対象ユーザとして認識することができない。   On the other hand, the disclosure from the request from the glasses-type communication terminal 100a is set to “No” (S102). Therefore, the server 200 cannot search the glasses-type communication terminal 100a as a target user in response to a request from the glasses-type communication terminal 100b, and the glasses-type communication terminal 100b uses the glasses-type communication terminal 100a as the target user. Can not be recognized as.

このような処理によって、メガネ型通信端末100aのユーザは、自分は他人(例えば、メガネ型通信端末100bのユーザ)から認識されることなく、目的・条件の合った他人を探索することができる。すなわち、一部のユーザに目的・条件といった自分の個人情報を公開したくないユーザが存在する場合であっても、本変形例で提示した方法により、目的・条件の合った他のユーザを探索することが可能となる。   Through such processing, the user of the glasses-type communication terminal 100a can search for others who have the purpose / conditions without being recognized by others (for example, the user of the glasses-type communication terminal 100b). In other words, even if there are users who do not want to disclose their personal information such as purpose / condition to some users, the method presented in this modification can be used to search for other users who meet the purpose / condition. It becomes possible to do.

上述の例においては、タクシー乗り場を例に説明したが、これに限るものではない。同じ場所にいて、目的や条件が同じユーザを探す際には、本実施形態におけるメガネ型通信端末100およびサーバ200を有効に適用できる。例えば、コンサート会場で同じ歌手・アイドルのファンを探すとか、テーマパークなどで団体割引を希望するユーザを探すなどにも適用することができる。   In the above example, the taxi stand has been described as an example, but the present invention is not limited to this. When searching for users who are in the same place and have the same purpose and condition, the glasses-type communication terminal 100 and the server 200 in this embodiment can be effectively applied. For example, the present invention can be applied to searching for a fan of the same singer / idol at a concert venue, or searching for a user who wants a group discount at a theme park or the like.

つぎに、本実施形態におけるメガネ型通信端末100およびサーバ200の作用効果について説明する。本実施形態のサーバ200によれば、情報管理部203が、一のユーザ端末であるメガネ型通信端末100から、対象ユーザの探索要求を受け付けると、対象ユーザ検索部204は、タスクテーブル記憶部202に記憶されている情報に基づいて、その探索条件・属性条件等が合致した一または複数の対象ユーザ(メガネ型通信端末)のユーザIDを取得し、そのユーザID対応する位置情報を取得する。そして、現在位置情報推定部205が位置情報の推定処理をした後の位置情報およびユーザIDをメガネ型通信端末100に通知する。なお、現在位置情報推定部205による推定処理は省略してもよい。これにより、ユーザ単位でのオブジェクトの表示処理を行うことができる。よって、その探索条件に応じて、一のユーザは、対象ユーザを把握することができる。   Next, operational effects of the glasses-type communication terminal 100 and the server 200 in the present embodiment will be described. According to the server 200 of the present embodiment, when the information management unit 203 receives a search request for a target user from the glasses-type communication terminal 100 that is one user terminal, the target user search unit 204 includes the task table storage unit 202. The user IDs of one or a plurality of target users (glasses-type communication terminals) whose search conditions / attribute conditions and the like are matched are acquired based on the stored information, and the position information corresponding to the user IDs is acquired. Then, the current position information estimation unit 205 notifies the glasses-type communication terminal 100 of the position information and the user ID after the position information is estimated. Note that the estimation process by the current position information estimation unit 205 may be omitted. Thereby, the display process of the object in a user unit can be performed. Therefore, according to the search condition, one user can grasp the target user.

また、本実施形態のサーバ200において、タスクテーブル記憶部202に記憶されている目的および条件である探索条件に基づいて、対象ユーザ検索部204は、当該探索条件(目的および条件)に合致した対象ユーザ(メガネ型通信端末)のユーザIDを取得する。これにより、目的・条件に合致した対象ユーザを取得することができる。   Further, in the server 200 of the present embodiment, based on the search condition that is the purpose and condition stored in the task table storage unit 202, the target user search unit 204 sets the target that matches the search condition (purpose and condition). The user ID of the user (glasses type communication terminal) is acquired. Thereby, it is possible to acquire the target user that matches the purpose / condition.

また、このサーバ200において、ユーザ情報記憶部201は、メガネ型通信端末100のユーザの属性情報であるユーザ情報を、ユーザIDに関連付けて記憶している。そして、サーバ200における情報管理部203は、メガネ型通信端末100から、ユーザが指定した属性条件を含む探索要求を受け付ける。   In the server 200, the user information storage unit 201 stores user information, which is attribute information of the user of the glasses-type communication terminal 100, in association with the user ID. Then, the information management unit 203 in the server 200 receives a search request including an attribute condition specified by the user from the glasses-type communication terminal 100.

そして、情報管理部203は、受信された属性条件と、ユーザ情報記憶部201に記憶された属性情報とに基づいて、一または複数のユーザのユーザIDを取得する。   Then, the information management unit 203 acquires user IDs of one or more users based on the received attribute condition and the attribute information stored in the user information storage unit 201.

また、このサーバ200において、情報管理部203は、属性条件として、ユーザの情報の公開可否を示す可否情報を含む、対象ユーザ(メガネ型通信端末)の探索要求を受け付ける。そして、情報管理部203は、可否情報に基づいて、一または複数の対象ユーザ(メガネ型通信端末)のユーザIDを取得する。例えば、公開“否”に設定された場合、サーバ200は、そのユーザIDを取得しない。   Further, in the server 200, the information management unit 203 receives a search request for the target user (glasses-type communication terminal) including whether or not the user information can be disclosed as attribute conditions. Then, the information management unit 203 acquires user IDs of one or more target users (glasses-type communication terminals) based on the availability information. For example, in the case of setting to public “No”, the server 200 does not acquire the user ID.

これにより、公開“否”と設定されたユーザのユーザIDについては、取得することができないため、公開“否”と設定したユーザは、自分の情報を知られることなく、目的や条件が合致した他の対象ユーザを探すことができる。   As a result, the user ID of the user set as public “No” cannot be acquired, so that the user set as public “No” met the purpose and conditions without knowing his / her information. Other target users can be searched.

また、このサーバ200において、タスクテーブル記憶部202に記憶されている位置情報に基づいて、現在位置情報推定部205は、探索要求受信時の対象ユーザ(メガネ型通信端末)の位置を推定し、推定された対象ユーザ(メガネ型通信端末)の位置情報を、メガネ型通信端末100通知することができる。これにより、位置情報を補正することができるため、精度よくオブジェクトの重畳表示を行うことができる。   Further, in this server 200, based on the position information stored in the task table storage unit 202, the current position information estimation unit 205 estimates the position of the target user (glasses-type communication terminal) at the time of receiving the search request, The estimated position information of the target user (glasses communication terminal) can be notified to the glasses communication terminal 100. As a result, the position information can be corrected, so that the object can be superimposed and displayed with high accuracy.

また、このサーバ200において、対象ユーザ検索部204は、一のメガネ型通信端末100から、キャンセル対象ユーザであるユーザIDを含んだ探索キャンセル通知を受信する。サーバ200は、このキャンセル通知を受けると、情報管理部203による処理に従って、タスクテーブル記憶部202は、当該自身のユーザID(メガネ型通信端末100のユーザID)に、キャンセル対象ユーザ(メガネ型通信端末)のユーザIDを対応付けて記憶する。上述実施形態においては、タスクテーブル記憶部202のユーザレコードには、キャンセルユーザID欄があり、当該欄にキャンセル対象となるユーザIDを記憶させる。   Further, in this server 200, the target user search unit 204 receives a search cancellation notification including the user ID that is the cancel target user from one glasses-type communication terminal 100. When the server 200 receives this cancellation notification, the task table storage unit 202 sends the cancellation target user (glasses-type communication) to its own user ID (user ID of the glasses-type communication terminal 100) according to the processing by the information management unit 203. Terminal) user IDs are stored in association with each other. In the above-described embodiment, the user record in the task table storage unit 202 has a cancel user ID column, and the user ID to be canceled is stored in this column.

そして、対象ユーザ検索部204は、キャンセル対象ユーザであるメガネ型通信端末が探索処理を行う際、タスクテーブル記憶部202において、一のメガネ型通信端末自身のユーザIDと、キャンセル対象ユーザのユーザIDとが、キャンセル対象として対応づけられている場合に、当該一のメガネ型通信端末のユーザIDを取得対象外する。   Then, when the glasses-type communication terminal that is the cancel target user performs the search process, the target user search unit 204 uses the user ID of the one glasses-type communication terminal itself and the user ID of the cancel target user in the task table storage unit 202. , The user ID of the one glasses-type communication terminal is excluded from the acquisition target.

これにより、現在位置情報推定部205は、除外して残ったユーザID及びその位置情報を対象ユーザであるメガネ型通信端末に送信することができる。すなわち、サーバ200は、キャンセル対象となった対象ユーザに対して、キャンセルをしたユーザについての情報を通知することがない。よって、キャンセル対象となった対象ユーザが探索処理をしようとしても、キャンセルをしたユーザを認識することができない。一方で、キャンセルをしたユーザは、キャンセル対象となったユーザから認識されることがなく、自由に他の対象ユーザの探索を行うことができる。   As a result, the current position information estimation unit 205 can transmit the remaining user ID and the position information to the glasses-type communication terminal that is the target user. That is, the server 200 does not notify the information about the user who has canceled the target user who has been the cancel target. Therefore, even if the target user who is the cancellation target tries to perform the search process, the user who cancels cannot be recognized. On the other hand, the canceled user is not recognized by the user who is the cancel target, and can freely search for another target user.

また、このサーバ200において、対象ユーザ検索部204は、メガネ型通信端末100から、少なくとも当該メガネ型通信端末100のユーザIDを含んだ探索完了通知を受信する。そして、この対象ユーザ検索部204は、受信された通知に含まれているユーザIDについてのユーザレコードをタスクテーブル記憶部202から削除するとともに、当該ユーザIDに対応付けられているユーザ情報をユーザ情報記憶部201から削除する。これにより、自分のユーザIDが対象ユーザから見えなくなる。このため、相手ユーザを見つけてその目的を達成した場合において、別の対象ユーザからのオファーを防止することができる。すなわち、自分および相手ユーザは、その目的(例えばタクシーに乗る)を達成したため、他の対象ユーザから認識される必要がなく、さらなる他の対象ユーザからのオファーを防止することができる。また、対象ユーザのうち、年齢や風貌、性別等でキャンセルしたい相手などがいた場合に、その相手を特定してキャンセルすることで、その相手からは自分を認識されることがない。よって、自分の好みではない相手からのオファーを受けることなく、自分の好みにあった相手を探し出すことができる。   In the server 200, the target user search unit 204 receives a search completion notification including at least the user ID of the glasses-type communication terminal 100 from the glasses-type communication terminal 100. Then, the target user search unit 204 deletes the user record for the user ID included in the received notification from the task table storage unit 202, and sets the user information associated with the user ID as the user information. Delete from the storage unit 201. As a result, the user ID is not visible to the target user. For this reason, when a partner user is found and the purpose is achieved, an offer from another target user can be prevented. That is, since the user and the other user have achieved the purpose (for example, taking a taxi), they do not need to be recognized by other target users, and offers from further other target users can be prevented. In addition, when there is a partner who wants to cancel due to age, appearance, gender, etc. among the target users, the user is not recognized by identifying and canceling the partner. Therefore, it is possible to search for a partner who suits his / her preference without receiving an offer from a partner that is not his / her preference.

また、変形例におけるサーバ200において、対象ユーザ(メガネ型通信端末100a)からの要求に従って、情報管理部203は、対象ユーザ(メガネ型通信端末100a)の位置情報の公開の可否を示す可否情報を、対象ユーザ(メガネ型通信端末100a)のユーザIDに対応付けてユーザ情報記憶部201に記憶しておく。そして、メガネ型通信端末100bによる対象ユーザの検索時においては、対象ユーザ検索部204は、非公開対象となった対象ユーザ(メガネ型通信端末100a)以外の他の対象ユーザ(メガネ型通信端末)のユーザIDを取得する。これにより、可否情報に基づいたユーザIDの取得処理を行うことができ、例えば公開“否”に設定した場合、その対象ユーザ(メガネ型通信端末100a)のユーザIDを取得しないため、メガネ型通信端末100bにおいては、その対象ユーザ(メガネ型通信端末)を把握することができない。よって、当該メガネ型通信端末100aのユーザは、自分の存在を知られることなく、所望の目的のための検索処理を実行することができる。   Further, in the server 200 in the modification, the information management unit 203 displays availability information indicating whether or not the location information of the target user (glasses-type communication terminal 100a) can be disclosed in accordance with a request from the target user (glasses-type communication terminal 100a). The user information is stored in the user information storage unit 201 in association with the user ID of the target user (glasses-type communication terminal 100a). At the time of searching for a target user by the glasses-type communication terminal 100b, the target user search unit 204 is a target user (glasses-type communication terminal) other than the target user (glasses-type communication terminal 100a) that is not disclosed. The user ID is acquired. Thereby, the acquisition process of the user ID based on the availability information can be performed. For example, when the setting is made public “No”, the user ID of the target user (the glasses-type communication terminal 100a) is not acquired. The terminal 100b cannot grasp the target user (glasses-type communication terminal). Therefore, the user of the glasses-type communication terminal 100a can execute search processing for a desired purpose without knowing his / her presence.

また、本実施形態のメガネ型通信端末100およびサーバ200を備える情報管理システムにおいて、メガネ型通信端末100の探索条件設定部102は、位置情報取得部106により取得された位置情報をメガネ型通信端末100のユーザIDおよびユーザにより設定された探索条件とともに、サーバ200に送信する。   In the information management system including the glasses-type communication terminal 100 and the server 200 according to the present embodiment, the search condition setting unit 102 of the glasses-type communication terminal 100 uses the position information acquired by the position information acquisition unit 106 as the glasses-type communication terminal. Along with the user ID of 100 and the search condition set by the user, it is transmitted to the server 200.

そして、自分・相手関係計算部108は、サーバ200から一または複数の対象ユーザの位置情報を受信し、対象ユーザ特定部109は、これら対象ユーザ(メガネ型通信端末)の位置情報に基づいて、重畳表示すべき画面位置を決定し、表示部110は、ユーザにより視認されている視覚情報にオブジェクトを重畳して表示する。   Then, the self / partner relationship calculation unit 108 receives the position information of one or a plurality of target users from the server 200, and the target user specifying unit 109, based on the position information of these target users (glasses-type communication terminal), The screen position to be superimposed is determined, and the display unit 110 superimposes and displays the object on the visual information visually recognized by the user.

一方、サーバ200においては、ユーザ情報記憶部201は、送信された位置情報、探索条件およびユーザIDを記憶する。これにより、サーバ200は、各メガネ型通信端末からの各種情報を登録し、これを利用して、対象ユーザ(メガネ型通信端末)を選択して、それら位置情報をメガネ型通信端末100に送信することができる。これにより、サーバ200において、ユーザ単位でのオブジェクトの表示処理を行うことができる。よって、その探索条件に応じて、一のユーザは、対象ユーザを把握することができる。   On the other hand, in the server 200, the user information storage unit 201 stores the transmitted position information, search conditions, and user ID. Thereby, the server 200 registers various information from each glasses-type communication terminal, uses this to select a target user (glasses-type communication terminal), and transmits the position information to the glasses-type communication terminal 100. can do. As a result, the server 200 can perform object display processing in units of users. Therefore, according to the search condition, one user can grasp the target user.

また、本実施形態のメガネ型通信端末100において、視線情報取得部107はユーザの視線方向を検出し、この視線方向および位置情報に基づいて、対象ユーザ(メガネ型通信端末)を示すオブジェクトの位置を決定して、その位置にオブジェクトを重畳表示することができる。これにより、精度のよく、オブジェクトの重畳表示をすることができる。   In the glasses-type communication terminal 100 of the present embodiment, the line-of-sight information acquisition unit 107 detects the user's line-of-sight direction, and the position of the object indicating the target user (glasses-type communication terminal) based on the line-of-sight direction and position information. And the object can be superimposed and displayed at the position. As a result, the object can be displayed with high accuracy.

また、本実施形態のメガネ型通信端末100によれば、対象ユーザ特定部109は、メガネ型通信端末を保持する対象ユーザの画像データを取得し、取得された画像データと、実際の対象ユーザとのマッチング処理を行うことにより、表示部110の画面内における対象ユーザの画面位置を特定する。これにより、対象ユーザの表示画面における位置を正確に把握することができ、そのオブジェクトの重畳表示を精度よく実現することができる。   Further, according to the glasses-type communication terminal 100 of the present embodiment, the target user specifying unit 109 acquires the image data of the target user holding the glasses-type communication terminal, the acquired image data, the actual target user, By performing this matching process, the screen position of the target user in the screen of the display unit 110 is specified. Thereby, the position on the display screen of the target user can be accurately grasped, and the superimposed display of the object can be realized with high accuracy.

本実施形態では、ユーザ端末としてメガネ型通信端末を例に説明した。しかしながら、メガネ型に限定するものではなく、一般的な携帯端末や、スマートフォン型、タブレット型などにも適用することができる。   In the present embodiment, the glasses-type communication terminal has been described as an example of the user terminal. However, the present invention is not limited to the glasses type, and can be applied to a general portable terminal, a smartphone type, a tablet type, and the like.

100、100a、100b…メガネ型通信端末、101…入力部、102…探索条件設定部、103…属性条件設定部、104…ユーザ情報取得部、105…自ユーザ画像取得部、106…位置情報取得部、107…視線情報取得部、108…自分・相手関係計算部、109…対象ユーザ特定部、110…表示部、111…対象ユーザ探索完了通知部、112…対象ユーザキャンセル通知部、200…サーバ、201…ユーザ情報記憶部、202…タスクテーブル記憶部、203…情報管理部、204…対象ユーザ検索部、205…現在位置情報推定部、206…対象ユーザ画像送信部。
DESCRIPTION OF SYMBOLS 100, 100a, 100b ... Glasses type communication terminal, 101 ... Input part, 102 ... Search condition setting part, 103 ... Attribute condition setting part, 104 ... User information acquisition part, 105 ... Own user image acquisition part, 106 ... Position information acquisition 107: Gaze information acquisition unit, 108 ... Self / partner relationship calculation unit, 109 ... Target user identification unit, 110 ... Display unit, 111 ... Target user search completion notification unit, 112 ... Target user cancellation notification unit, 200 ... Server , 201 ... user information storage unit, 202 ... task table storage unit, 203 ... information management unit, 204 ... target user search unit, 205 ... current position information estimation unit, 206 ... target user image transmission unit.

Claims (11)

一のユーザ端末から、ユーザが指定した探索条件を含む対象ユーザ端末の探索要求を受け付ける受信手段と、
前記ユーザ端末を識別するための識別情報、前記ユーザ端末の位置情報および前記ユーザ端末より受け付けた探索条件を関連付けたタスクテーブルを記憶するタスクテーブル記憶手段と、
前記受信手段により受信された探索条件と、前記タスクテーブル記憶手段に記憶されている探索条件に基づいて、一または複数の対象ユーザ端末の識別情報を取得する識別情報取得手段と、
前記識別情報取得手段により取得された一または複数の対象ユーザ端末の識別情報に対応する位置情報を前記タスクテーブル記憶手段から抽出して、前記一のユーザ端末に通知する通知手段と、
を備える情報管理装置。
Receiving means for receiving a search request for a target user terminal including a search condition designated by the user from one user terminal;
Task table storage means for storing task information in which identification information for identifying the user terminal, position information of the user terminal, and search conditions received from the user terminal are associated;
Identification information acquisition means for acquiring identification information of one or more target user terminals based on the search conditions received by the reception means and the search conditions stored in the task table storage means;
Notification means for extracting position information corresponding to the identification information of one or more target user terminals acquired by the identification information acquisition means from the task table storage means and notifying the one user terminal;
An information management device comprising:
前記識別情報取得手段は、探索条件として、前記一のユーザ端末のユーザの目的および当該目的に対応付けられた条件に基づいて、当該目的および条件に合致した対象ユーザ端末の識別情報を取得することを特徴とする請求項1に記載の情報管理装置。   The identification information acquisition means acquires, as a search condition, identification information of a target user terminal that matches the purpose and condition based on the purpose of the user of the one user terminal and a condition associated with the purpose. The information management apparatus according to claim 1. 前記ユーザ端末のユーザの属性情報を、前記ユーザ端末を識別するための識別情報に関連付けて記憶するユーザ情報記憶手段をさらに備え、
前記受信手段は、前記ユーザ端末から、ユーザが指定した属性条件を更に含む対象ユーザ端末の探索要求を受け付け、
前記識別情報取得手段は、前記受信手段により受け付けられた属性条件と、前記ユーザ情報記憶手段に記憶された属性情報とに基づいて、前記一または複数の対象ユーザ端末の識別情報を取得することを特徴とする請求項1または2に記載の情報管理装置。
User information storage means for storing the attribute information of the user of the user terminal in association with identification information for identifying the user terminal;
The receiving means accepts a search request for a target user terminal further including an attribute condition specified by the user from the user terminal,
The identification information acquisition unit acquires the identification information of the one or more target user terminals based on the attribute condition received by the reception unit and the attribute information stored in the user information storage unit. The information management apparatus according to claim 1, wherein the information management apparatus is an information management apparatus.
前記受信手段は、前記属性条件として、前記ユーザの情報の公開可否を示す可否情報を含む、対象ユーザ端末の探索要求を受け付け、
前記識別情報取得手段は、前記可否情報に基づいて、前記一または複数の対象ユーザ端末の識別情報を取得することを特徴とする請求項3に記載の情報管理装置。
The receiving means accepts a search request for a target user terminal, which includes permission information indicating whether or not the information of the user is disclosed as the attribute condition,
The information management apparatus according to claim 3, wherein the identification information acquisition unit acquires identification information of the one or more target user terminals based on the availability information.
前記タスクテーブル記憶手段に記憶されている位置情報に基づいて、前記受信手段による探索要求受信時の対象ユーザ端末の位置を推定する推定手段をさらに備え、
前記通知手段は、前記推定手段により推定された対象ユーザ端末の位置情報を通知することを特徴とする請求項1から4いずれか一項に記載の情報管理装置。
Based on the position information stored in the task table storage means, further comprising an estimation means for estimating the position of the target user terminal at the time of receiving a search request by the receiving means,
5. The information management apparatus according to claim 1, wherein the notification unit notifies the position information of the target user terminal estimated by the estimation unit.
前記一のユーザ端末から、キャンセル対象ユーザの識別情報を含んだ探索キャンセル通知を受信する通知受信手段を更に備え、
前記タスクテーブル記憶手段は、前記一のユーザ端末の識別情報に、受信したキャンセル対象ユーザの識別情報を対応付けて記憶し、
前記識別情報取得手段は、前記キャンセル対象ユーザであるユーザ端末が探索処理を行う際、前記タスクテーブル記憶手段において、前記一のユーザ端末自身の識別情報と、前記キャンセル対象ユーザの識別情報とが、キャンセル対象として対応づけられている場合に、前記一の対象ユーザ端末の識別情報を取得対象外とすることを特徴とする請求項1から5いずれか一項に記載の情報管理装置。
A notification receiving means for receiving a search cancellation notification including identification information of the user to be canceled from the one user terminal;
The task table storage means stores the received identification information of the cancellation target user in association with the identification information of the one user terminal,
When the user terminal that is the cancellation target user performs a search process, the identification information acquisition unit includes the task table storage unit, wherein the identification information of the one user terminal itself and the cancellation target user identification information are: The information management apparatus according to any one of claims 1 to 5, wherein the identification information of the one target user terminal is excluded from the acquisition target when correlated as a cancellation target.
請求項1から6のいずれか一項に記載の情報管理装置と、複数のユーザ端末とを含んで構成される情報管理システムにおいて、
前記ユーザ端末のそれぞれは、
位置情報を取得する位置情報取得手段と、
前記位置情報取得手段により取得された位置情報を、ユーザ端末の識別情報およびユーザにより設定された探索条件とともに前記情報管理装置に送信する送信手段と、
前記情報管理装置から通知された対象ユーザ端末の位置情報に基づいた画面位置に、ユーザにより視認されている視覚情報にオブジェクトを重畳して表示する表示手段と、
を備え、
前記情報管理装置は、
前記ユーザ端末から送信された位置情報、探索条件および識別情報を、前記タスクテーブル記憶手段に記憶する登録手段と、
を備えることを特徴とする情報管理システム。
In the information management system comprised including the information management device according to any one of claims 1 to 6 and a plurality of user terminals,
Each of the user terminals is
Position information acquisition means for acquiring position information;
Transmitting means for transmitting the position information acquired by the position information acquiring means to the information management device together with the identification information of the user terminal and the search condition set by the user;
Display means for superimposing and displaying an object on the visual information viewed by the user at the screen position based on the position information of the target user terminal notified from the information management device;
With
The information management device includes:
Registration means for storing position information, search conditions and identification information transmitted from the user terminal in the task table storage means;
An information management system comprising:
位置情報を取得する位置情報取得手段と、
前記位置情報取得手段により取得された位置情報を、自機の識別情報およびユーザにより設定された探索条件とともに請求項1から6のいずれか一項に記載の情報管理装置に送信する送信手段と、
前記情報管理装置から通知された対象ユーザ端末の位置情報に基づいた画面位置に、ユーザにより視認されている視覚情報にオブジェクトを重畳して表示する表示手段と、
を備える通信端末。
Position information acquisition means for acquiring position information;
Transmitting means for transmitting the position information acquired by the position information acquiring means to the information management apparatus according to any one of claims 1 to 6, together with identification information of the own device and a search condition set by a user;
Display means for superimposing and displaying an object on the visual information viewed by the user at the screen position based on the position information of the target user terminal notified from the information management device;
A communication terminal comprising:
ユーザの視線方向を検出する視線検出手段をさらに備え、
前記表示手段は、前記視線検出手段により検出された視線方向、および前記位置情報取得手段により取得された位置情報に基づいて、対象ユーザ端末を示すオブジェクトを重畳表示することを特徴とする請求項8に記載の通信端末。
It further comprises gaze detection means for detecting the gaze direction of the user,
The said display means superimposes and displays the object which shows a target user terminal based on the gaze direction detected by the said gaze detection means, and the positional information acquired by the said positional information acquisition means. The communication terminal described in 1.
請求項1から6のいずれか一項に記載の情報管理装置から対象ユーザ端末を保持する対象ユーザの画像データを取得する画像データ取得手段と、
前記画像データ取得手段により取得された画像データと、実際の対象ユーザとのマッチング処理を行うことにより、前記表示手段の画面内における前記対象ユーザの画面位置を特定する特定手段と、
をさらに備え、
前記表示手段は、前記特定手段により特定された表示手段の画面位置に、対象ユーザを示すオブジェクトを重畳表示することを特徴とする請求項8または9に記載の通信端末。
Image data acquisition means for acquiring image data of a target user holding the target user terminal from the information management device according to any one of claims 1 to 6;
A specifying unit for specifying the screen position of the target user in the screen of the display unit by performing a matching process between the image data acquired by the image data acquiring unit and the actual target user;
Further comprising
The communication terminal according to claim 8 or 9, wherein the display means superimposes an object indicating the target user on the screen position of the display means specified by the specifying means.
一のユーザ端末から、ユーザが指定した探索条件を含む対象ユーザ端末の探索要求を受け付ける受信ステップと、
前記ユーザ端末を識別するための識別情報、前記ユーザ端末の位置情報および前記ユーザ端末より受け付けた探索条件を関連付けたタスクテーブルを記憶するタスクテーブル記憶ステップと、
前記受信ステップにより受信された探索条件と、前記タスクテーブル記憶ステップにおいて記憶された探索条件に基づいて、一または複数の対象ユーザ端末の識別情報を取得する識別情報取得ステップと、
前記識別情報取得ステップにより取得された一または複数の対象ユーザ端末の識別情報に対応する位置情報を前記タスクテーブルから抽出して、前記一のユーザ端末に通知する通知ステップと、
を備える情報管理方法。
A receiving step for receiving a search request for a target user terminal including a search condition designated by the user from one user terminal;
A task table storage step for storing a task table in which identification information for identifying the user terminal, position information of the user terminal, and search conditions received from the user terminal are associated;
An identification information acquisition step of acquiring identification information of one or a plurality of target user terminals based on the search conditions received in the reception step and the search conditions stored in the task table storage step;
A notification step of extracting position information corresponding to the identification information of one or more target user terminals acquired by the identification information acquisition step from the task table and notifying the one user terminal;
An information management method comprising:
JP2013106380A 2013-05-20 2013-05-20 Information management apparatus, information management system, communication terminal, and information management method Active JP6077930B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013106380A JP6077930B2 (en) 2013-05-20 2013-05-20 Information management apparatus, information management system, communication terminal, and information management method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013106380A JP6077930B2 (en) 2013-05-20 2013-05-20 Information management apparatus, information management system, communication terminal, and information management method

Publications (2)

Publication Number Publication Date
JP2014228950A true JP2014228950A (en) 2014-12-08
JP6077930B2 JP6077930B2 (en) 2017-02-08

Family

ID=52128767

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013106380A Active JP6077930B2 (en) 2013-05-20 2013-05-20 Information management apparatus, information management system, communication terminal, and information management method

Country Status (1)

Country Link
JP (1) JP6077930B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3521896A1 (en) * 2018-02-01 2019-08-07 Toyota Jidosha Kabushiki Kaisha Vehicle dispatch service coordinated search assistance system
US10896610B2 (en) 2018-01-22 2021-01-19 Toyota Jidosha Kabushiki Kaisha Position-finding assist system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003186959A (en) * 2001-12-21 2003-07-04 Fujitsu Ten Ltd Car-pool invitation communication terminal equipment and car-pool invitation system
JP2004062490A (en) * 2002-07-29 2004-02-26 Matsushita Electric Ind Co Ltd Ride sharing proxy negotiation system and ride sharing proxy negotiation method
JP2006172223A (en) * 2004-12-16 2006-06-29 Nec Corp Matching system and method, program realized by computer, portable communication terminal with gps function and information server
JP2006293912A (en) * 2005-04-14 2006-10-26 Toshiba Corp Information display system, information display method and portable terminal device
JP2007047877A (en) * 2005-08-05 2007-02-22 Nec Corp Portable terminal, area server, descriminator, authentication system, authentication method and program
JP2010061265A (en) * 2008-09-02 2010-03-18 Fujifilm Corp Person retrieval and registration system
JP2010287059A (en) * 2009-06-11 2010-12-24 Sony Corp Mobile terminal, server device, community generation system, display control method and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003186959A (en) * 2001-12-21 2003-07-04 Fujitsu Ten Ltd Car-pool invitation communication terminal equipment and car-pool invitation system
JP2004062490A (en) * 2002-07-29 2004-02-26 Matsushita Electric Ind Co Ltd Ride sharing proxy negotiation system and ride sharing proxy negotiation method
JP2006172223A (en) * 2004-12-16 2006-06-29 Nec Corp Matching system and method, program realized by computer, portable communication terminal with gps function and information server
JP2006293912A (en) * 2005-04-14 2006-10-26 Toshiba Corp Information display system, information display method and portable terminal device
JP2007047877A (en) * 2005-08-05 2007-02-22 Nec Corp Portable terminal, area server, descriminator, authentication system, authentication method and program
JP2010061265A (en) * 2008-09-02 2010-03-18 Fujifilm Corp Person retrieval and registration system
JP2010287059A (en) * 2009-06-11 2010-12-24 Sony Corp Mobile terminal, server device, community generation system, display control method and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10896610B2 (en) 2018-01-22 2021-01-19 Toyota Jidosha Kabushiki Kaisha Position-finding assist system
EP3514778B1 (en) * 2018-01-22 2023-05-10 Toyota Jidosha Kabushiki Kaisha Position-finding assist system
EP3521896A1 (en) * 2018-02-01 2019-08-07 Toyota Jidosha Kabushiki Kaisha Vehicle dispatch service coordinated search assistance system

Also Published As

Publication number Publication date
JP6077930B2 (en) 2017-02-08

Similar Documents

Publication Publication Date Title
US11455798B2 (en) Imaging device and information acquisition system in which an acquired image and associated information are held on a display
KR102525029B1 (en) Apparatus and method for providing content to users
JP5994397B2 (en) Information processing apparatus, information processing method, and program
US9990585B2 (en) Information processing apparatus, information processing method and computer-readable storage medium for generating course information
US9721388B2 (en) Individual identification character display system, terminal device, individual identification character display method, and computer program
US20150382144A1 (en) Apparatus, method, and system for providing spot location identification
US9020918B2 (en) Information registration device, information registration method, information registration system, information presentation device, informaton presentation method, informaton presentaton system, and program
US8831639B2 (en) Setting distance based relationship between users based on motion of mobile terminal operating in a social network system
US20140003654A1 (en) Method and apparatus for identifying line-of-sight and related objects of subjects in images and videos
JP4860723B2 (en) Route guidance system, route guidance device and route guidance method
KR100706912B1 (en) System and method for mapping photo according to position
JP5979771B1 (en) Route search system, route search device, route search method, program, and information storage medium
JP5854714B2 (en) Display control apparatus, display control apparatus control method, and program
JP6077930B2 (en) Information management apparatus, information management system, communication terminal, and information management method
US9811752B2 (en) Wearable smart device and method for redundant object identification
US10123094B1 (en) Location-based movie identification systems and methods
JP5977697B2 (en) Electronic device and method for controlling electronic device
JP2019164001A (en) Information provision system, server device, terminal program, and information provision method
US20220084258A1 (en) Interaction method based on optical communication apparatus, and electronic device
JP6509684B2 (en) Guidance display system and guidance display control device
WO2023129125A1 (en) Methods and apparatus to select and present level-change way points for indoor navigation systems
KR20090008881A (en) System and method for navigation
KR20140100453A (en) System and Method for Navigation
JP2016004376A (en) Object specification device
JP2015026106A (en) Image evaluation server

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170113

R150 Certificate of patent or registration of utility model

Ref document number: 6077930

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250