JP2022033135A - サーバ、クライアント端末、制御方法、およびプログラム - Google Patents

サーバ、クライアント端末、制御方法、およびプログラム Download PDF

Info

Publication number
JP2022033135A
JP2022033135A JP2021196084A JP2021196084A JP2022033135A JP 2022033135 A JP2022033135 A JP 2022033135A JP 2021196084 A JP2021196084 A JP 2021196084A JP 2021196084 A JP2021196084 A JP 2021196084A JP 2022033135 A JP2022033135 A JP 2022033135A
Authority
JP
Japan
Prior art keywords
user
information
image
unit
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021196084A
Other languages
English (en)
Inventor
育英 細田
Ikuhide Hosoda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of JP2022033135A publication Critical patent/JP2022033135A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】ユーザが見逃している情報を提示することが可能なサーバ、クライアント端末、制御方法、および記憶媒体を提供する。【解決手段】クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信し、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信するように制御する制御部と、を備える、サーバ。【選択図】図１

Description

本開示は、サーバ、クライアント端末、制御方法、およびプログラムに関する。
近年、ユーザの視界に入る対象物に関する情報をテキストや音声により提示する技術が提案されている。例えば下記特許文献１では、ユーザが装着するＨＭＤ（Head Mounted Display）において、対象物の説明を重畳表示する技術が提案されている。
また、下記特許文献２では、ユーザの表情を反映したアバタの画像をメッセージと共に授受するチャットシステムが提案されている。
特開２０１４－１６７７１６号公報 特開２０１３－９０７３号公報
しかしながら、ユーザが見逃している対象物に関する情報までは提示されていなかった。
そこで、本開示では、ユーザが見逃している情報を提示することが可能なサーバ、クライアント端末、制御方法、およびプログラムを提案する。
本開示によれば、クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信し、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信するように制御する制御部を備えるサーバを提案する。
本開示によれば、撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力するように制御する制御部を備えるクライアント端末を提案する。
本開示によれば、プロセッサが、クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信することと、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信することと、を含む、制御方法を提案する。
本開示によれば、コンピュータを、クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信し、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信するように制御する制御部として機能させるためのプログラムを提案する。
本開示によれば、プロセッサが、撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力することを含む、制御方法を提案する。
本開示によれば、コンピュータを、撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力するように制御する制御部として機能させるためのプログラムを提案する。
以上説明したように本開示によれば、ユーザが見逃している情報を提示することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態による情報処理システムの概要について説明する図である。 第１の実施形態による情報処理システムの全体構成について説明する図である。 第１の実施形態によるメガネ型端末の構成の一例を示すブロック図である。 第１の実施形態によるサーバの構成の一例を示すブロック図である。 第１の実施形態によるユーザ情報ＤＢに蓄積されるユーザ情報の一例を示す図である。 第１の実施形態によるオブジェクト情報ＤＢに蓄積されるオブジェクト情報の一例を示す図である。 第１の実施形態による情報処理システムの動作処理を示すシーケンス図である。 第１の実施形態によるタグ画像の検出処理を示すフローチャートである。 一般的な人間の視野について説明する図である。 第１の実施形態による提示情報取得処理を示すフローチャートである。 第１の実施形態によるオブジェクト情報取得処理を示すフローチャートである。 第１の実施形態による注目度設定処理を示すフローチャートである。 第１の実施形態による提示情報提供処理を示すフローチャートである。 第１の実施形態による提示方法設定処理を示すフローチャートである。 第１の実施形態による情報提示処理を示すフローチャートである。 第１の実施形態によるユーザ行動検出処理を示すフローチャートである。 第１の実施形態によるメガネ型端末による提示情報更新処理を示すフローチャートである。 第１の実施形態によるサーバによる提示情報更新処理を示すフローチャートである。 第１の実施形態によるキャラクタ表示の具体例を示す図である。 第１の実施形態による構造物の視線の向きを変更する具体例を示す図である。 第１の実施形態によるタグ画像マップデータの一例を示す図である 第２の実施形態による情報処理システムの概要について説明する図である。 第２の実施形態による情報処理システムの各構成について説明する図である。 第２の実施形態による撮像部の設置例について説明する図である。 第２の実施形態による撮像部の他の設置例について説明する図である。 第２の実施形態による情報処理システムの動作処理を示すシーケンス図である。 第２の実施形態による情報処理システムの動作処理を示すシーケンス図である。 第２の実施形態の第１の応用例による情報処理システムの全体構成を示す図である。 第２の実施形態の第１の応用例による情報処理システムの動作処理を示すフローチャートである。 第２の実施形態の第２の応用例による情報処理システムの全体構成を示す図である。 第２の実施形態の第２の応用例による情報処理システムの動作処理を示すフローチャートである。 第２の実施形態の第２の応用例による情報処理システムの動作処理を示すフローチャートである。 第２の実施形態の第３の応用例による情報処理システムの全体構成を示す図である。 第２の実施形態の第３の応用例による情報処理システムの動作処理を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
１．第１の実施形態
１－１．概要
１－２．構成
１－３．動作処理
１－４．表示例
１－５．補足
２．第２の実施形態
２－１．概要
２－２．構成
２－３．動作処理
２－４．応用例
２－５．補足
３．まとめ
＜＜１．第１の実施形態＞＞
＜１－１．概要＞
図１は、本開示の第１の実施形態による情報処理システムの概要について説明する図である。図１に示すように、例えばユーザが透過式のメガネ型端末１（クライアント端末の一例）を装着して街を歩いている際に、視界に入ってはいるが注視せず気付いていなかった看板３０に、ユーザの注意を引くために動く「目」のキャラクタ画像３４がＡＲ（Augmented Reality）表示され、「新作スカートが入荷されたよ！」といった音声が出力される。
より具体的には、メガネ型端末１は、メガネ型端末１に設けられたユーザの視界を撮像する撮像部により看板３０のタグ画像３２を抽出すると、当該タグ画像３２に対応する情報を提示するよう制御する。この際、メガネ型端末１はユーザの視線検出を行ってユーザの注視領域を把握し、少なくとも注視領域の外、具体的にはユーザの視界に入ってはいるが認識できていない範囲からタグ画像３２を抽出した場合に、見逃し情報として提示するよう制御する。なお提示する情報はユーザの興味がある事象に限るようにしてもよい。
これにより、ユーザは看板３０に気付き、自身が興味のある洋服の店を見逃してしまうことを防止することができる。
このような第１の実施形態による情報処理システムについて、以下その構成および動作処理を具体的に説明する。
＜１－２．構成＞
（１－２－１．全体構成）
図２は、第１の実施形態による情報処理システムの全体構成について説明する図である。図２に示すように、本実施形態による情報処理システムは、メガネ型端末１とサーバ２を含む。メガネ型端末１およびサーバ２は、ネットワーク３を介して接続し、データの送受信を行う。
メガネ型端末１は、透過式メガネ型のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）である。ＨＭＤは、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の透過式の表示部１３（図３）が配置される構成となっている。表示部１３には、文字、図形等の画像が表示され、現実空間に重畳される。ＨＭＤには、ユーザに装着された状態でユーザが視認する方向を被写体方向として撮像する撮像レンズが設けられ、ユーザの視界を撮像することが可能である。
なお、図２に示すメガネ型端末１の外観は一例であり、メガネ型端末１をユーザが装着するための構造は多様に考えられる。メガネ型端末１は、一般に眼鏡型、あるいは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部１３が設けられていればよい。また表示部１３は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
サーバ２は、ユーザ情報やオブジェクト情報を蓄積し、メガネ型端末１により抽出されたタグ画像に対応する提示情報をメガネ型端末１に送信する機能を有する。
（１－２－２．メガネ型端末１の構成）
続いて、本実施形態によるメガネ型端末１の構成について図３を参照して説明する。図３は、本実施形態によるメガネ型端末１の構成の一例を示すブロック図である。
図３に示すように、メガネ型端末１は、制御部１０、通信部１１、撮像部１２、表示部１３、音声出力部１４、記憶部１５、および視線検出部１６を有する。
（制御部１０）
制御部１０は、演算処理装置および制御装置として機能し、各種プログラムに従ってメガネ型端末１内の動作全般を制御する。制御部１０は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
また、本実施形態による制御部１０は、タグ画像検出部１０１、提示情報取得部１０２、提示方法設定部１０３、情報提示制御部１０４、ユーザ行動検出部１０５、および提示情報更新部１０６として機能する。
タグ画像検出部１０１は、撮像部１２により撮像された撮像画像を解析し、タグ画像を検出する。タグ画像の検出は、例えば予め記憶部１５に記憶された画像とのパターンマッチングにより行われてもよい。例えば図１に示すような目のマークのタグ画像３２が予め記憶部１５に登録されていることで、タグ画像検出部１０１は、撮像部１２により撮像した撮像画像から看板３０における目のイラストをタグ画像３２として検出することが可能となる。
提示情報取得部１０２は、検出したタグ画像に基づく提示情報をサーバ２から取得する。具体的には、提示情報取得部１０２は、検出したタグ画像または当該タグ画像に電子透かしにより埋め込まれたタグ情報（具体的には、例えばタグＩＤ）をサーバ２に送信し、提示情報として、タグ情報に対応するオブジェクト情報（例えば商品に関する情報）を取得する。
提示方法設定部１０３は、オブジェクト情報をユーザに提示する方法を設定する。具体的には、提示方法設定部１０３は、設定された注目度に応じて、オブジェクト情報を提示する際の表示設定や音量設定を決定する。
情報提示制御部１０４は、提示情報取得部１０２により取得されたオブジェクト情報を、提示方法設定部１０３により設定された方法でユーザに提示するよう制御する。具体的には、情報提示制御部１０４は、表示部１３や音声出力部１４から提示情報であるオブジェクト情報を出力するよう制御する。
ユーザ行動検出部１０５は、ユーザの行動を検出し、タグ画像へのユーザの注目度を設定する機能を有する。例えばユーザ行動検出部１０５は、視線検出部１６により検出されたユーザの視線に応じて、ユーザの視線が対象のタグ画像に向けられている場合、当該タグ画像の注目度を「高」に設定する。
提示情報更新部１０６は、注目度が変更された際、サーバから新たな提示情報を取得し、ユーザに提示する提示情報を更新する。
（通信部１１）
通信部１１は、外部装置と接続し、データの送受信を行う機能を有する。例えば通信部１１は、Bluetooth（登録商標）、Ｗｉ－Ｆｉ（Wireless Fidelity、登録商標）、無線ＬＡＮ（Local Area Network）等により、ネットワーク３に接続し、ネットワーク上のサーバ２とデータの送受信を行う。
（撮像部１２）
撮像部１２は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
また、本実施形態による撮像部１２は、ユーザがメガネ型端末１を装着した際にユーザの視線方向（視界）を撮像する向きに設けられている。
（視線検出部１６）
視線検出部１６は、メガネ型端末１を装着しているユーザの視線方向を検出する機能を有する。より具体的には、視線検出部１６は、ユーザの眼の動きや頭部の動き、または姿勢等に基づいて、ユーザの視線方向（さらには、注視点）を検出する。ユーザの眼の動きは、例えばユーザの顔または眼を撮像した撮像画像、検知した眼電、または筋電等に基づいて解析され得る。また、頭部の動きや姿勢は、メガネ型端末１に設けられたジャイロセンサ、加速度センサ、地磁気センサ等（いずれも不図示）により検知され得る。
（表示部１３）
表示部１３は、例えば液晶パネルにより実現され、制御部１０は、液晶パネルの透過率を制御することで、スルー状態、即ち透明または半透明の状態にすることができる。また、表示部１３は、ホログラム導光板技術により、テキスト、シンボル、画像等の情報をユーザの視界（実空間）に重ねて表示するレンズにより実現されてもよい。
（音声出力部１４）
音声出力部１４は、音声信号を再生するスピーカと、スピーカに対するアンプ回路を有する。音声出力部１４は、例えば一対のイヤホンスピーカと、そのイヤホンスピーカに対するアンプ回路により実現される。一対のイヤホンスピーカは、メガネ型端末１を装着した際にユーザの右耳孔および左耳孔に挿入される位置に設けられ得る。また、音声出力部１４は、いわゆる骨伝導スピーカとして構成されてもよい。
（記憶部１５）
記憶部１５は、制御部１０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。
以上、本実施形態によるメガネ型端末１の構成について具体的に説明した。なおメガネ型端末１の構成は図３に示す例に限定されず、例えば音声を集音するマイクロホンや、位置情報取得部等を有していてもよい。マイクロホンを備えることで、ユーザによる音声入力が可能となる。
また、本明細書では、情報提示を行うクライアント端末の一例として図２に示すようなメガネ型端末１を用いるが、本開示によるクライアント端末はメガネ型端末１に限定されない。例えば、クライアント端末は、スマートフォン、携帯電話端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末等であってもよい。また、メガネ型端末によりユーザの視界撮像、視線検出、および情報提示を行い、メガネ型端末と通信を行い得るスマートフォン等により各種制御（タグ画像検出、提示情報取得、提示方法設定、情報提示制御、ユーザ行動検出、および提示情報更新）を行うようにしてもよい。
（１－２－３．サーバ２の構成）
次に、本実施形態によるサーバ２の構成について図４を参照して説明する。図４に示すように、本実施形態によるサーバ２は、制御部２０、通信部２１、ユーザ情報ＤＢ（データベース）２２、およびオブジェクト情報ＤＢ２３を有する。
（制御部２０）
制御部２０は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ２内の動作全般を制御する。制御部２０は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
また、本実施形態による制御部２０は、オブジェクト情報取得部２０１、注目度設定部２０２、提示情報提供部２０３、および提示情報更新部２０４として機能する。
オブジェクト情報取得部２０１は、メガネ型端末１から送信されたタグ情報に基づいて、オブジェクト情報ＤＢ２３からオブジェクト情報を取得する。
注目度設定部２０２は、取得したオブジェクト情報に対するユーザの注目度を設定する。具体的には、注目度設定部２０２、オブジェクト情報とユーザ情報とを比較して、ユーザの性別、年齢、または嗜好情報（興味情報）がオブジェクト情報の属性情報（オブジェクト特性やターゲット）と合致するか否か（関連するか否か）に応じて注目度を設定する。
提示情報提供部２０３は、設定された注目度に応じてオブジェクト情報からユーザに提示する情報を取得し、通信部２１を介して提示情報をメガネ型端末１へ送信する。また、提示情報提供部２０３は、キャラクタ画像も併せてメガネ型端末１へ送信する。
提示情報更新部２０４は、ユーザ行動（具体的にはユーザの視線方向）の変化により変更された注目度に応じて、ユーザに提示する情報を更新する。具体的には、提示情報更新部２０４は、メガネ型端末１から送信された更新依頼に応じて詳細な提示情報をオブジェクト情報から取得し、メガネ型端末１に返信する。
（通信部２１）
通信部２１は、外部装置と接続し、データの送受信を行う機能を有する。例えば通信部２１は、無線または有線ＬＡＮ（Local Area Network）等により、ネットワーク３に接続し、ネットワーク３を介してメガネ型端末１とデータの送受信を行う。
（ユーザ情報ＤＢ２２）
ユーザ情報ＤＢ２２は、ユーザに関する情報を蓄積する。ここで、図５に、ユーザ情報ＤＢ２２に蓄積されるユーザ情報の一例を示す。図５に示すように、ユーザ情報は、ユーザＩＤ、性別、年齢、および嗜好情報等を含む。
（オブジェクト情報ＤＢ２３）
オブジェクト情報ＤＢ２３は、オブジェクトに関する情報を蓄積する。ここで、図６に、オブジェクト情報ＤＢ２３に蓄積されるオブジェクト情報の一例を示す。図６に示すように、オブジェクト情報は、オブジェクトＩＤ、タグＩＤ（タグ情報）、属性情報、提示情報（簡易情報および詳細情報）、キャラクタ画像、および特徴情報を含む。キャラクタ画像は、静止画または動画（アニメーション）であってもよい。
以上、本実施形態によるサーバ２の構成について具体的に説明した。
＜１－３．動作処理＞
続いて、本実施形態による情報処理システムの動作処理について図７～図１８を参照して説明する。
図７は、本実施形態による情報処理システムの動作処理を示すシーケンス図である。図７に示すように、まず、メガネ型端末１は、タグ画像検出部１０１により撮像部１２で撮像したユーザの視界からタグ画像の検出を行う（ステップＳ１０３）。ここで、本実施形態によるタグ画像の検出処理について図８を参照して詳細に説明する。
図８に示すように、撮像部１２でユーザの視界が撮像されると（ステップＳ１４３）、タグ画像検出部１０１は、タグ画像の探索範囲をユーザの注視領域の外側に設定する（ステップＳ１４６）。ユーザの注視領域とは、視線検出部１６により検出されたユーザの注視点の周辺であって、例えば人間の視界におけるシンボルの認識限界に相当する領域である。一般的に人間の視野は、図９に示すように、注視点（０°）を中心として左右水平略５～１０°の範囲が数字や文字の語（ワード）の意識限界範囲となり、この範囲で文字を読んだり、特定の物や出来事に注目（物の形や色等をしっかりと認識）している。また、注視点（０°）を中心として左右水平略５～３０°の範囲がシンボルの認識限界範囲となり、物や出来事をほぼ明瞭に認識できる。また、略３０～６０°の範囲は、色や輝度が変化する場合の色の弁別限界範囲となり、物の形や色などを明瞭に認識することはできないが、色の変化や動く物については認識しやすい。そして、注視点（０°）を中心として左右水平略９４°が視野の限界範囲となる。本実施形態では、シンボルの認識限界範囲を注視領域とし、ユーザの注視点から少なくとも略３０°より外側の範囲の領域をタグ画像の探索範囲とする。シンボルの認識限界範囲外の領域は、視界範囲内であってもユーザが認識できておらず、情報を見落としている可能性が高いためである。
そして、タグ画像検出部１０１は、撮像画像における上記注視領域の外側からタグ画像を検出する（ステップＳ１４９）。具体的には、例えば記憶部１５に予め記憶されている画像とパターンマッチングにより一致する画像をタグ画像として検出するようにしてもよい。
以上、タグ画像の検出処理について説明した。
続いて、メガネ型端末１は、提示情報取得部１０２によりサーバ２から提示情報を取得する（ステップＳ１０６）。ここで、本実施形態による提示情報取得処理について図１０を参照して詳細に説明する。
図１０に示すように、タグ画像検出部１０１によりタグ画像が検出された場合（ステップＳ１５３／Ｙｅｓ）、提示情報取得部１０２は、検出されたタグ画像を解析し、タグ情報（具体的には、タグＩＤ）を抽出する。本実施形態によるタグ画像には、例えば電子透かしによりタグ情報が埋め込まれているものとする。なお、タグ情報は、タグ画像に載せられたＱＲコード（登録商標）から抽出するようにしてもよい。
次に、提示情報取得部１０２は、通信部１１によりタグ情報をサーバ２に送信し（ステップＳ１５９）、サーバ２から当該タグ情報に対応するキャラクタ画像を受信する（ステップＳ１６２）。
また、提示情報取得部１０２は、当該タグ情報に基づく提示情報および当該提示情報に対するユーザの注目度をサーバ２から受信する（ステップＳ１６５、ステップＳ１６８）。
以上、提示情報取得処理について説明した。
一方、サーバ２は、メガネ型端末１から送信されたタグ情報に基づいてオブジェクト情報を取得する（ステップＳ１０９）。ここで、オブジェクト情報取得処理の詳細を図１１に示す。
図１１に示すように、サーバ２は、メガネ型端末１からタグ情報を受信すると（ステップＳ１７３）、オブジェクト情報取得部２０１により、タグ情報に対応するオブジェクト情報をオブジェクト情報ＤＢ２３から取得する（ステップＳ１７６）。タグ情報は、例えば一意のタグＩＤであって、図６に示すように、当該タグＩＤに基づいてオブジェクト情報を検索することが可能である。なお、メガネ型端末１からタグ画像が送信された場合、サーバ２側において、オブジェクト情報取得部２０１により、当該タグ画像を解析して電子透かしにより埋め込まれたタグ情報を抽出するようにしてもよい。
以上、オブジェクト情報取得処理について説明した。
次いで、サーバ２は、注目度設定部２０２により、取得したオブジェクト情報に対するユーザの注目度を設定する（ステップＳ１１２）。ここで、注目度設定処理の詳細を図１２に示す。
図１２に示すように、サーバ２の注目度設定部２０２は、オブジェクト情報とユーザ情報を比較し（ステップＳ１７９）、合致するか否かを判断する（ステップＳ１８２）。より具体的には、例えば注目度設定部２０２は、オブジェクト情報の属性情報（オブジェクトの特性やターゲットに関する情報を含む）と、ユーザ情報（年齢や、性別、嗜好情報を含む）とを比較して、合致する項目があるか否かを判断する。これにより、注目度設定部２０２はオブジェクトに対するユーザの関連度合いを把握することができる。
次に、合致すると判断した場合（ステップＳ１８２／Ｙｅｓ）、注目度設定部２０２は、注目度を「中」に設定する（ステップＳ１８５）。
一方、合致しないと判断した場合（ステップＳ１８２／Ｎｏ）、注目度設定部２０２は、注目度を「低」に設定する（ステップＳ１８８）。
以上、注目度設定処理について説明した。
続いて、サーバ２は、提示情報提供部２０３により、提示情報をメガネ型端末１へ提供（送信）する（ステップＳ１１５）。ここで、提示情報提供処理の詳細を図１３に示す。
図１３に示すように、提示情報提供部２０３は、設定された注目度が「中」である場合には（ステップＳ１９３／Ｙｅｓ）、オブジェクト情報に含まれるキャラクタ画像をメガネ型端末１へ送信し（ステップＳ１９６）、また、設定された注目度をメガネ型端末１へ送信する（ステップＳ１９９）。
次に、提示情報提供部２０３は、オブジェクト情報に含まれる情報のうち、「簡易情報」を提示情報として設定し（ステップＳ２０２）、メガネ型端末１へ送信する（ステップＳ２０５）。
一方、設定された注目度が「低」である場合（ステップＳ１９３／Ｎｏ）、オブジェクト情報はユーザとは関連性が低いものであるため、提示情報等のメガネ型端末１への送信は行わない。
以上、提示情報提供処理について説明した。
次いで、サーバ２から提示情報を受信したメガネ型端末１は、提示方法設定部１０３により提示方法を設定する（ステップＳ１１８）。ここで、提示方法設定処理の詳細を図１４に示す。
図１４に示すように、メガネ型端末１は、サーバ２により設定された注目度が「高」であるか否かを判断する（ステップＳ２１３）。
次に、注目度が「高」ではない場合（ステップＳ２１３／Ｎｏ）、提示方法設定部１０３は、提示するキャラクタの視線をユーザから逸らす表示設定にする（ステップＳ２２５）。例えば注目度が「中」の場合、オブジェクト情報（の簡易な提示情報）にユーザが関心を持つ可能性がそれほど高くないため、提示方法設定部１０３はキャラクタの視線をユーザに向けない表示設定する。
次いで、提示方法設定部１０３は、提示するキャラクタのサイズを「小」に設定し（ステップＳ２２８）、さらに音量を「小」に設定する（ステップＳ２３１）。
一方、注目度が「高」である場合（ステップＳ２１３／Ｙｅｓ）、提示方法設定部１０３は、提示するキャラクタの視線をユーザに向ける表示設定にする（ステップＳ２１６）。例えば注目度が「高」の場合、オブジェクト情報（の詳細な提示情報）にユーザが関心を持つ可能性が高いため、提示方法設定部１０３はキャラクタの視線をユーザに向ける表示設定にし、キャラクタの視線によりユーザが気付き易いようにする。
次いで、提示方法設定部１０３は、提示するキャラクタのサイズを「大」に設定し（ステップＳ２１９）、さらに音量を「大」に設定する（ステップＳ２２２）。いずれもユーザがキャラクタにより気付き易いようにするためである。
以上、提示方法設定処理について説明した。
次に、メガネ型端末１は、情報提示制御部１０４により、サーバ２から送信された提示情報を、設定した提示方法でユーザに提示するよう制御する（ステップＳ１２１）。ここで、情報提示処理の詳細を図１５に示す。
図１５に示すように、メガネ型端末１は、情報提示制御部１０４により、タグ画像の取得位置にキャラクタを重畳表示するよう制御する（ステップＳ２３４）。すなわち、例えば図１に示すように看板３０からタグ画像３２が検出された場合、情報提示制御部１０４は、看板３０の位置にキャラクタ画像３４を重畳表示する。キャラクタ画像３４は目や眉が動くアニメーション画像であってもよい。キャラクタ画像３４がユーザの注視領域外（例えば図９に示す「シンボルの認識限界範囲」の外側）に表示されていても、キャラクタ画像３４が動くことで、ユーザがキャラクタ画像３４を認識する可能性が高い。
次いで、情報提示制御部１０４は、サーバ２から受信した提示情報をユーザに提示するよう制御する（ステップＳ２３７）。具体的には、例えば情報提示制御部１０４は、「新作のスカートが入荷されたよ！」といった提示情報をキャラクタ画像３４の近くに表示したり、音声出力部１４から音声出力したりする。音声出力の音量は、上記提示方法の設定に従って制御する。
以上、情報提示処理について説明した。
次いで、メガネ型端末１は、ユーザ行動検出部１０５により、ユーザ行動を検出する（ステップＳ１２４）。ここで、ユーザ行動検出処理の詳細を図１６に示す。
図１６に示すように、ユーザ行動検出部１０５は、視線検出部１６によりユーザの視線が検出されると（ステップＳ２４０）、ユーザがキャラクタを見ているか否か（具体的には、例えば注視領域にキャラクタが入っているか否か）を判断する（ステップＳ２４３）。
次に、ユーザがキャラクタを見ていると判断した場合（ステップＳ２４３／Ｙｅｓ）、ユーザ行動検出部１０５は、ユーザがキャラクタに注目しているため、注目度を「高」に設定（変更）する（ステップＳ２４６）。
一方、ユーザがキャラクタを見ていないと判断した場合（ステップＳ２４３／Ｎｏ）、ユーザはキャラクタに注目していないため、注目度の変更は行わない。
以上、ユーザ行動検出処理について説明した。
続いて、メガネ型端末１は、提示情報の更新処理を行う（ステップＳ１２７）。また、サーバ２も、メガネ型端末１からの依頼に応じて提示情報の更新処理を行う（ステップＳ１３０）。ここで、メガネ型端末１による提示情報更新処理の詳細を図１７に示し、また、サーバ２による提示情報更新処理の詳細を図１８に示す。
図１７に示すように、メガネ型端末１の提示情報更新部１０６は、重畳表示したキャラクタ画像に対するユーザ視線に基づいて注目度が変更された場合（ステップＳ２５３／Ｙｅｓ）、提示情報更新依頼（重畳表示させるキャラクタに対するユーザの視線に関連する情報）をサーバ２に送信する（ステップＳ２５６）。本実施形態では、図１６を参照して説明したように、注目度が「高」に変更されることが想定される。
そして、メガネ型端末１は、変更した注目度に対応する提示情報をサーバ２から受信する（ステップＳ２５９）。
一方、サーバ２は、図１８に示すように、情報更新依頼をメガネ型端末１から受信した場合（ステップＳ２６３／Ｙｅｓ）、提示情報更新部２０４により、オブジェクト情報に含まれる情報のうち「詳細情報」（例えば「新作の夏物フレアスカートが入荷されたよ！」といった情報）を提示情報として設定し（ステップＳ２６６）、メガネ型端末１に提示情報を送信する（ステップＳ２６９）。
以上説明したように、メガネ型端末１は、ユーザの視線がキャラクタに向くと注目度を「高」に変更し、詳細情報をサーバ２から受信する。
そして、メガネ型端末１は、再度、提示方法の設定を行う（ステップＳ１１８）。提示方法の設定では、注目度が「高」に変更されたことに応じて、キャラクタの視線をユーザに向ける表示設定、キャラクタの表示サイズを「大」にする設定、および音量を「大」にする設定が行われ得る。そして、設定された提示方法に従って、詳細情報の情報提示が行われる（ステップＳ１２１）。
上述したステップＳ１１８～Ｓ１３３は、電源がＯＦＦされる等、所定の終了条件となるまで繰り替えされる（ステップＳ１３３、ステップＳ１３６）。
以上、本実施形態による動作処理について説明した。なお、本実施形態による情報処理システムは、ユーザに提示する詳細情報をパーソナライズしてもよい。例えばサーバ２は、ユーザ周辺に配置されたカメラにより撮像された撮像画像に基づいてユーザが所持している鞄を認識できた場合、「新作の夏物フレアスカートが入荷されたよ！そのショルダーポーチと合わせてみない！？」とパーソナライズした詳細情報を提示情報として設定し、メガネ型端末１に送信する。また、サーバ２は、オブジェクト情報に含まれる特徴情報を参照して詳細情報をパーソナライズすることも可能である。例えば、オブジェクト情報の特徴情報が「モノクロ（モノクローム）のバッグとコーディネートしやすい」というものであって、さらにユーザの鞄がモノクロであれば、「そのバッグとコーディネートしやすいよ」という情報を詳細情報に追加する。
また、本実施形態による情報処理システムは、ユーザからの操作入力や音声入力に応じた動作処理を行うことも可能である。例えば、図１に示すようにキャラクタ画像３４を看板３０にＡＲ表示し、「新作の夏物フレアスカートが入荷されたよ！」と音声出力した際に、ユーザが興味を持ち、「どうゆう柄？」「写真を見せて」等と音声入力し、さらに詳細な情報を明示的に要求することが可能である。メガネ型端末１は、マイクロホン（不図示）によりユーザ音声を収音し、音声認識処理により意味解析を行うと、ネットワーク上のサーバ２や、店のＷｅｂページから情報を収集し、当該スカートの画像を表示したり、質問された柄の内容についてテキストまたは音声により説明したりすることが可能である。このように、本実施形態によるメガネ型端末１は、興味を示したユーザからの問い掛けに答えることで、見逃し情報の提示による宣伝効果をより高めることが可能となる。
＜１－４．表示例＞
上述した実施形態では、図１に示すように、「目」のキャラクタ画像を用いているが、本実施形態はこれに限定されない。例えば、ユーザの視界を撮像した撮像画像に映る構造物のうち、眼に類似した部分をタグ画像として検出し、「口」のキャラクタ画像を眼に類似した部分の下に配置してＡＲ表示することで、シミュラクラ現象を生かしたＡＲ表示を行うことが可能である。以下、図１９を参照して具体例について説明する。
図１９は、本実施形態によるキャラクタ表示の具体例を示す図である。メガネ型端末１は、図１９上段に示すように、自動車のヘッドライト部分３６をタグ画像として検出した場合、「口」のキャラクタ画像４２をヘッドライトの下に配置してＡＲ表示することで、自動車が顔に見えるようにし、ユーザの注目を引き易くすることが可能である。
また、メガネ型端末１は、図１９中段に示すように、建物の２つの窓部分３８をタグ画像として検出した場合、「口」のキャラクタ画像４３を窓の下に配置してＡＲ表示することで、家が顔に見えるようにし、ユーザの注目を引き易くすることが可能である。
また、メガネ型端末１は、図１９下段に示すように、洗面所の２つの水栓ハンドル４０をタグ画像として検出した場合、「口」のキャラクタ画像４４を水栓ハンドルの下に配置してＡＲ表示することで、洗面所が顔に見えるようにし、ユーザの注目を引き易くすることが可能である。
これらの「口」のキャラクタ画像４２～４４は、静止画または動画（アニメーション）により成る。
また、上述した実施形態では「目」のキャラクタ画像を制御してユーザに視線を向けたりユーザから視線を逸らせたりすることが可能であった。一方、図１９に示すシミュラクラ現象を生かしたＡＲ表示でも、「口」のキャラクタ画像の向きや、さらに「鼻」のキャラクタ画像を用いることで、顔のように見せた構造物の視線の向きを変更することが可能である。以下、図２０を参照して具体的に説明する。
図２０は、本実施形態による構造物の視線の向きを変更する具体例を示す図である。図２０の左側に示す例では、「鼻」のキャラクタ画像４５ａと「口」のキャラクタ画像４６ａを右方向に向けてＡＲ表示することで、家屋が右を向いている（ユーザから視線を逸らしている）ように見せることが可能となる。一方、図２０の右側に示す例では、「鼻」のキャラクタ画像４５ｂと「口」のキャラクタ画像４６ｂを正面に向けてＡＲ表示することで、家屋が正面を向いている（ユーザに視線を向けている）ように見せることが可能となる。
＜１－５．補足＞
以上説明した第１の実施形態では、図７を参照して説明したように、メガネ型端末１の撮像部１２により継続的に撮像するユーザの視界からタグ画像が検出された場合に提示情報の取得処理が行われため、撮像部１２の電源が常にＯＮであることが必要となるが、本実施形態はこれに限定されない。例えば、撮像部１２の電源をＯＦＦにした状態で、メガネ型端末１が有する位置情報取得部（図示せず）およびジャイロセンサ（図示せず）から取得された現在位置情報および方向情報に基づいて、ユーザの視野範囲を推定し、視野範囲にタグ画像が存在する場合に撮像部１２の電源をＯＮにするようにしてもよい。以下、図２１を参照して説明する。
図２１は、タグ画像マップデータの一例を示す図である。図２１に示すタグ画像マップデータ１５０は、例えばメガネ型端末１の記憶部１５に記憶されている。メガネ型端末１の制御部１０は、タグ画像マップデータ１５０を用いて、現在位置情報および方向情報に基づきユーザの視野範囲１５１を推定し、視野範囲１５１内にタグ画像１５２存在すると判断することができる。
視野範囲１５１内にタグ画像１５２存在すると判断した場合、制御部１０は、撮像部１２の電源をＯＮにしてユーザの視界範囲を撮像してタグ画像を検出し、当該タグ画像から抽出したタグ情報をサーバ２に送信して提示情報を取得する。そして、タグ画像位置にキャラクタ画像をＡＲ表示すると共に、提示情報をユーザに提示することが可能である。
なお、タグ画像マップデータはサーバ２側に保存されていてもよい。この場合、メガネ型端末１は、現在位置情報および方向情報をサーバ２に送信してタグ画像有無の問い合わせを行い、サーバ側においてタグ画像の存在有無が判断され、その判断結果がメガネ型端末１に返信される。
＜＜２．第２の実施形態＞＞
＜２－１．概要＞
続いて、本開示の第２の実施形態について説明する。上述した第１の実施形態では、実空間からタグ画像を検出した際に「目」や「口」のキャラクタ画像をＡＲ表示して実空間のポイントの見逃しを防止しているが、本開示はこれに限定されない。例えば、ユーザの友人等、登録した顔（オブジェクト（例えば友人）に対応する情報の一例）が少なくとも注視領域外（以下、視野外とも称す）から検出された際にユーザに通知を行い、近くにいるが認識していなかった友人の見逃しを防止することが可能となる。
図２２は、第２の実施形態による情報処理システムの概要について説明する図である。図２２に示すように、本実施形態では、例えばユーザＡが歩いている際に、ユーザＡの視界には入っていないが近くに居るユーザの友人（ユーザＢ）の存在をユーザＡが装着するヘッドホン装置５（クライアント端末の一例）の音声エージェントにより音声で通知することが可能である。ヘッドホン装置５には、ユーザＡと人工音声で会話を行う音声エージェント機能が搭載され、道案内や音楽再生等、様々な情報をユーザに提供する。ユーザＡとエージェントとの音声会話は、ヘッドホン装置５に設けられたマイクロホン５２およびスピーカ５４（図２３参照）により実現される。
また、ヘッドホン装置５には、少なくともユーザＡの視界外（具体的には、注視領域外）を撮像する撮像部５１（図２３、図２４参照）が設けられている。ヘッドホン装置５は、撮像部５１により周辺を継続的に撮像し、撮像画像から予め登録された顔（ここでは、ユーザＢの顔）が検出されると、ユーザＡへの通知を行う。登録顔の検出は、ヘッドホン装置５と通信し得るネットワーク上のサーバ６（図２３参照）で行われてもよい。
以上により、本実施形態によるヘッドホン装置５は、周辺に所定の人物を見つけるとユーザに通知を行い、所定の人物の見逃しを防止することを可能とする。
＜２－２．構成＞
次に、本実施形態による情報処理システムの各構成について図２３を参照して説明する。図２３に示すように、本実施形態による情報処理システムは、ヘッドホン装置５およびサーバ６を含む。ヘッドホン装置５およびサーバ６は、ネットワーク７を介して接続し、データの送受信を行い得る。以下、各装置の構成について具体的に説明する。
（２－２－１．ヘッドホン装置５の構成）
図２３に示すように、本実施形態によるヘッドホン装置５は、制御部５０、撮像部５１、マイクロホン５２、通信部５３、およびスピーカ５４を有する。
制御部５０は、演算処理装置および制御装置として機能し、各種プログラムに従ってヘッドホン装置５内の動作全般を制御する。制御部５０は、例えばＣＰＵ、マイクロプロセッサ等の電子回路によって実現される。また、制御部５０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ、及び適宜変化するパラメータ等を一時記憶するＲＡＭを含んでいてもよい。
また、本実施形態による制御部５０は、マイクロホン５２で収音したユーザ音声をサーバ６へ送信し、サーバ６から受信した応答メッセージ（すなわちエージェント音声）をスピーカ５４から出力するよう制御することで、エージェントとの音声会話サービスを提供することができる。また、制御部５０は、撮像部５１により撮像された撮像画像を継続的に通信部５３を介してサーバ６へ送信するよう制御する。
撮像部５１は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤセンサアレイや、ＣＭＯＳセンサアレイにより実現されてもよい。
また、本実施形態による撮像部５１は、ユーザがヘッドホン装置５を装着した際にユーザの周辺（少なくともユーザの視界外）を撮像する向きに設けられている。また、撮像部５１は複数設けられていてもよい。ここで、図２４および図２５を参照して、撮像部５１の設置例について説明する。
図２４は、本実施形態による撮像部５１の設置例について説明する図である。図２４に示すように、例えば９０度の視野角を持つ撮像部５１ａ～５１ｄを、少なくともユーザの視野の限界範囲外を撮像するよう、ヘッドホン装置５の左右のハウジング部５６Ｒ、５６Ｌに２つずつ設置してもよい。
図２５は、本実施形態による撮像部５１の他の設置例について説明する図である。図２５に示すように、例えば１８０度の視野角を持つ撮像部５１ｅ、５１ｆを、少なくともユーザの視野の限界範囲外を撮像するよう、ヘッドホン装置５の左右のハウジング部５６Ｒ、５６Ｌに１つずつ設置してもよい。
なお、図２４および図２５に示す例では、ユーザの視野範囲外を視野角とするカメラを例に挙げたが、本実施形態はこれに限定されず、ユーザの視野範囲内を含めて撮像する撮像部であってもよい。例えばヘッドホン装置５を装着した際に頭上に位置するヘッドセットに、魚眼レンズや双曲面ミラーカメラ等を設けて３６０度の映像を取得するようにしてもよい。
マイクロホン５２は、ユーザの音声を収音し、音声信号を制御部５０に出力する。
通信部５３は、外部装置と有線または無線で接続し、データの送受信を行う機能を有する。例えば通信部５３は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または無線ＬＡＮ（Local Area Network）等により、ネットワーク７に接続し、ネットワーク７を介してサーバ６とデータの送受信を行う。
スピーカ５４は、音声信号を再生する機能を有する。本実施形態によるスピーカ５４は、例えば一対のイヤー部により構成され、ヘッドホン装置５を装着した際にユーザの右耳および左耳を各々覆うよう、ハウジング部５６Ｒ、５６Ｌ内部に設けられる。また、スピーカ５４は、いわゆる骨伝導スピーカとして構成されてもよい。
以上、ヘッドホン装置５の構成例について具体的に説明した。
（２－２－２．サーバ６の構成）
続いて、サーバ６の構成について説明する。図２３に示すように、本実施形態によるサーバ６は、制御部６０、通信部６１、ユーザプロファイル記憶部６２、音素ＤＢ６３、および顔画像ＤＢ６４を有する。
制御部６０は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ６内の動作全般を制御する。制御部６０は、例えばＣＰＵ、マイクロプロセッサ等の電子回路によって実現される。また、制御部６０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ、及び適宜変化するパラメータ等を一時記憶するＲＡＭを含んでいてもよい。
また、本実施形態による制御部６０は、音声／テキスト変換部６０１、意味理解部６０２、顔画像認識部６０３、および応答メッセージ生成部６０４としても機能する。
音声／テキスト変換部６０１は、ヘッドホン装置５から送信された音声信号を解析し、テキストへの変換を行う。また、音声／テキスト変換部６０１は、後述する応答メッセージ生成部６０４により生成された応答メッセージの音声信号への変換も行う。音声信号へ変換する際は、音素ＤＢ６３に蓄積されている音素データを用いて所定のエージェント音声に変換する。
意味理解部６０２は、音声／テキスト変換部６０１により変換されたテキストを解析して意味理解を行う。例えば意味理解部６０２は、形態素解析および構文解析を行ってテキストの意味を理解する。
顔画像認識部６０３は、ヘッドホン装置５から送信された撮像画像を解析し、顔画像の認識を行う。また、顔画像認識部６０３は、顔画像ＤＢ６４に登録されている登録顔画像を参照し、顔の特徴量が一致する顔画像があるか否かを判断する。
応答メッセージ生成部６０４は、意味理解部６０２により解析した意味解析結果に基づいて、ユーザ音声に対する応答メッセージの生成を行う。また、応答メッセージ生成部６０４は、顔画像認識部６０３により撮像画像から登録された所定人物の顔画像が認識された場合、当該人物の存在をユーザに通知する応答メッセージを生成する。
通信部６１は、外部装置と接続し、データの送受信を行う機能を有する。例えば通信部６１は、無線または有線ＬＡＮ（Local Area Network）等により、ネットワーク３に接続し、ヘッドホン装置５とデータの送受信を行う。
ユーザプロファイル記憶部６２は、ユーザに関する情報を蓄積する。ユーザに関する情報は、例えばエージェント設定情報および友人情報等を含む。
音素ＤＢ６３は、音素データを格納する記憶部である。音素ＤＢ６３は、エージェント毎の音素データが含まれる。
顔画像ＤＢ６４は、各ユーザの友人等、所定の人物の顔画像情報（画像データや、特徴量データ）を蓄積する記憶部である。
＜２－３．動作処理＞
続いて、本実施形態の動作処理について図２６および図２７を参照して説明する。図２６および図２７は、本実施形態による情報処理システムの動作処理を示すシーケンス図である。
図２６に示すように、まず、ヘッドホン装置５は、ユーザによるヘッドホン装着を検知する（ステップＳ３０３）。ヘッドホン装着の検知は、例えばヘッドホン装置５の電源がＯＮされた場合等に検知され得る。
次に、ヘッドホン装置５は、ヘッドホン装着をサーバ６に通知する（ステップＳ３０６）。この際、ユーザＩＤ等のユーザ識別情報も併せてサーバ６に送信する。
次いで、サーバ６は、特定ユーザのヘッドホン装着を受信すると（ステップＳ３０９）、ユーザプロファイルを参照し、当該特定ユーザに設定されている所定のキャラクタ（エージェントキャラクタ）の音声エージェントを起動する（ステップＳ３１２）。これにより、エージェントキャラクタとの音声会話が開始される。
次に、ヘッドホン装置５は、マイクロホン５２により収音したユーザの音声メッセージ（すなわち発話音声データ）や、撮像部５１により撮像した撮像画像（具体的には、少なくとも視界外を撮像した撮像画像）を、継続的にサーバ６に送信する（ステップＳ３１５）。
次いで、サーバ６は、ヘッドホン装置５から音声メッセージを受信した場合（ステップＳ３１８／Ｙｅｓ）、音声／テキスト変換部６０１により音声メッセージをテキストに変換し（ステップＳ３２１）、意味理解部６０２により形態素解析および構文解析を行い、テキスト化した音声メッセージの意味理解を行う。
次に、サーバ６は、応答メッセージ生成部６０４により、意味理解の結果に応じて応答音声メッセージを生成し（ステップＳ３２７）、音声／テキスト変換部６０１により音声信号に変換した応答音声メッセージをヘッドホン装置５に送信する（ステップＳ３４５）。
一方、サーバ６が、音声メッセージではなく（ステップＳ３１８／Ｎｏ）、撮像画像をヘッドホン装置５から受信した場合（ステップＳ３３０／Ｙｅｓ）、ヘッドホン装置５は、顔画像認識部６０３により顔画像の認識を行う（ステップＳ３３３）。
次に、顔画像認識部６０３は、認識した顔画像を、顔画像ＤＢ６４に予め登録されているユーザの友達等の所定の人物の顔画像と比較し、友達等の所定の人物の顔の認識処理を行う（ステップＳ３３６）。
次いで、友達等の所定の人物の顔を認識した場合（ステップＳ３３６／Ｙｅｓ）、応答メッセージ生成部６０４は、所定の人物を見つけたことをユーザに知らせる応答音声メッセージを生成する（ステップＳ３２７）。
一方、友達等の所定の人物を認識せず（ステップＳ３３６／Ｎｏ）、所定時間（例えば３０秒）音声メッセージを受信しなかった場合（ステップＳ３３９／Ｎｏ）、サーバ６の応答メッセージ生成部６０４は、タイマーリセットと共に、応答音声メッセージを選択する（ステップＳ３４２）。例えば応答メッセージ生成部６０４は、「何しているの？」、「ねぇねぇ」等、ユーザへの呼び掛けメッセージを選択し、生成する。
そして、ヘッドホン装置５は、サーバ６から応答音声メッセージを受信すると（ステップＳ３４８／Ｙｅｓ）、スピーカ５４から応答音声メッセージを再生する（ステップＳ３５１）。
以上説明したように、本実施形態では、友達等の所定の人物の顔画像を顔画像ＤＢ６４に予め登録しておき、音声エージェントとユーザが会話中にバックグラウンドで撮像部５１により撮像された撮像画像内の顔と顔画像ＤＢ６４に登録されている顔とをマッチングする。そして、登録されている友達の顔が見つかった場合に音声エージェントがユーザに通知を行う。
これにより、本実施形態によるヘッドホン装置５を装着することで、音声エージェントが話相手になったり、ユーザの視界外から友達を見つけた場合にはユーザに知らせることができ、ユーザはいつも誰かと繋がっていられることが可能となる。
＜２－４．応用例＞
続いて、本実施形態の応用例について図面を参照して具体的に説明する。
（２－４－１．第１の応用例）
上述した実施形態では、友達を見つけた場合にユーザにお知らせを行っているが、本実施形態はこれに限定されず、見つけられても良い友達だけをユーザに知らせるようにしてもよい。具体的には、バックグラウンドの処理で登録されている友達が見つかった場合、当該友達の通信端末に、ユーザに見つけられてもよいかの承認を得るための通知をコミュニケーションＡＰＩ（Application Programming Interface）を介して行い、見つけられてもＯＫな場合のみ音声エージェントがユーザに通知する。これにより、見つけられたくない友達をユーザに知らせてしまうことを回避することができる。以下、図２８～図２９を参照して具体的に説明する。
（構成）
図２８は、第１の応用例による情報処理システムの全体構成を示す図である。図２８に示すように、第１の応用例による情報処理システムは、ヘッドホン装置５、サーバ６、およびメッセンジャーサーバ８を含む。
ヘッドホン装置５およびサーバ６の構成は図２３を参照して説明した構成と同様であるため、ここでの図示および説明は省略する。
メッセンジャーサーバ８は、コミュニケーションＡＰＩを実現するサーバであって、制御部８０、通信部８１、メッセージ履歴記憶部８２、およびユーザアドレスＤＢ８３を有する。
制御部８０は、通信部８１を介して各ユーザの通信端末と接続し、データの送受信を行う。具体的には、制御部８０は、ユーザ間のメッセージの送受信を行い得る。また、制御部８０は、サーバ６からのリクエストに応じて、所定のユーザの通信端末に問い合わせメッセージを送信し、ユーザからの回答をサーバ６に返信するよう制御する。
メッセージ履歴記憶部８２は、各ユーザ間でやり取りされたメッセージを記憶する。
ユーザアドレスＤＢ８３は、各ユーザのアドレスを記憶する。
（動作処理）
図２９は、第１の応用例による情報処理システムの動作処理を示すフローチャートである。ここでは、主に図２６および図２７を参照して説明した動作処理と異なる部分について図示して説明する。
本応用例においても、図２６および図２７に示すステップＳ３０３～Ｓ３５１の処理が行われ、エージェントとの音声会話が提供される。
また、本応用例では、サーバ６が顔画像認識部６０３により友達の顔（ここでは、「ユーザＢ」とする）を認識した場合（ステップＳ３３６／Ｙｅｓ）、ユーザ（ここでは、「ユーザＡ」とする）のヘッドホン装置５に見つけられてもＯＫか否かをユーザＢに確認するリクエストをメッセンジャーサーバ８に送信する（ステップＳ３６３）。
次に、メッセンジャーサーバ８は、ユーザＢの通信端末（スマートフォン、携帯電話端末、タブレット端末、またはウェアラブル装置等）に問い合わせメッセージを送信する（ステップＳ３６６）。具体的には、メッセンジャーサーバ８は、ユーザＡのヘッドホン装置５に見つけられてもＯＫか否かを問い合わせる。ユーザＢの通信端末から当該問い合せが音声または表示により出力されると、ユーザＢは、ＯＫか否かの回答を行う。
次いで、ユーザＢの回答を受信すると、メッセンジャーサーバ８は、回答をサーバ６に通知する（ステップＳ３６９）。
そして、サーバ６は、ユーザＢの承認を得られた場合（ステップＳ３４２／Ｙｅｓ）、応答メッセージ生成部６０４により、ユーザＢを見つけたことをユーザＡに知らせる応答音声メッセージを生成する（ステップＳ３２７）。
一方、ユーザＢの承認を得られなかった場合（ステップＳ３４２／Ｎｏ）、サーバ６は、ユーザＢを見つけたことを知らせる応答音声メッセージは生成しない。
以上説明したように、第１の応用例では、ユーザＡのヘッドホン装置５に見つけられても、見つけられた本人の承認が無ければユーザＡには通知されないようにすることができる。
（２－４－２．第２の応用例）
次に、本実施形態による情報処理システムは、友達を見つけたことを通知する際に、友達が居る方向を通知することが可能である。具体的には、バックグラウンドの処理で登録されている友達が見つかった場合、友達の位置とユーザの位置との相対関係に基づいて、友達が居る方向をユーザに通知することが可能である。以下、図３０～図３２を参照して具体的に説明する。
（構成）
図３０は、第２の応用例による情報処理システムの全体構成を示す図である。図３０に示すように、第２の応用例による情報処理システムは、ヘッドホン装置５ａ、サーバ６ａ、およびメッセンジャーサーバ８を含む。ここでは、一例として上記第１の応用例で説明したメッセンジャーサーバ８も含むことで、見つけられた友達の承認が得られた場合にユーザに通知する機能も備える場合について説明する。
また、ヘッドホン装置５ａは、図２３を参照して説明した構成に加えて、位置・方向検出部５５を有する。位置・方向検出部５５は、ヘッドホン装置５の位置情報を検出する機能と、ヘッドホン装置５の向きを検出する機能とを有する。位置情報を検出する機能は、例えばＧＰＳ（Global Positioning System）測位部により実現され、ＧＰＳ衛星からの電波を受信して、ヘッドホン装置５が存在している位置を検知し、検知した位置情報を制御部５０に出力する。また、位置情報を検出する機能は、ＧＰＳの他、例えばＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものにより実現されてもよい。また、向きを検出する機能は、ジャイロセンサまたは地磁気センサにより実現され、ヘッドホン装置５ａを装着するユーザが向いている方向を検出し得る。
サーバ６ａは、図２３を参照して説明した構成に加えて、制御部６０の機能として方向算出部６０５を有する。
方向算出部６０５は、ユーザの現在位置と、顔画像認識部６０３により認識した友達の位置とに基づいて、ユーザＢが居る方向を算出する。ユーザＢがいる方向は、「右後ろにいます」「左後ろにいます」等、ユーザＡの向きを基準としてもよいし、周辺に存在する目印となるポイントを用いて、「○○ビルの方向にいます」「○○駅の方向にいます」等としてもよい。
（動作処理）
図３１および図３２は、第２の応用例による情報処理システムの動作処理を示すフローチャートである。なお、図２６および図２７を参照して説明した動作処理と同様の処理については、同じステップ番号を付している。
図３１に示すように、まず、ヘッドホン装置５ａは、ヘッドホン装着を検知すると（ステップＳ３０３）、サーバ６ａに通知する（ステップＳ３０６）。
次に、サーバ６ａは、特定ユーザのヘッドホン装着を受信すると（ステップＳ３０９）、設定されている所定のキャラクタ（エージェントキャラクタ）の音声エージェントを起動する（ステップＳ３１２）。
次いで、ヘッドホン装置５ａは、音声メッセージ、または位置・方向検出部５５により検出された位置情報と向き情報を付加した撮像画像をサーバ６ａに継続的に送信する（ステップＳ３１６）。
次に、サーバ６ａは、ヘッドホン装置５ａから音声メッセージを受信した場合（ステップＳ３１８／Ｙｅｓ）、音声／テキスト変換部６０１により音声メッセージをテキストに変換し（ステップＳ３２１）、意味理解部６０２により形態素解析および構文解析を行い、テキスト化した音声メッセージの意味理解を行う。
次に、サーバ６ａは、応答メッセージ生成部６０４により、意味理解の結果に応じて応答音声メッセージを生成し（ステップＳ３２８）、音声／テキスト変換部６０１により音声信号に変換した応答音声メッセージをヘッドホン装置５ａに送信する（ステップＳ３４５）。
一方、サーバ６ａが、音声メッセージではなく（ステップＳ３１８／Ｎｏ）、撮像画像をヘッドホン装置５ａから受信した場合（ステップＳ３３０／Ｙｅｓ）、ヘッドホン装置５ａは、顔画像認識部６０３により顔画像の認識を行う（ステップＳ３３３）。
次に、顔画像認識部６０３は、認識した顔画像を、顔画像ＤＢ６４に予め登録されているユーザの友達等の所定の人物の顔画像と比較し、友達の顔（ここでは、「ユーザＢ」とする）を認識した場合（ステップＳ３３６／Ｙｅｓ）、ユーザ（ここでは、「ユーザＡ」とする）のヘッドホン装置５ａに見つけられてもＯＫか否かをユーザＢに確認するリクエストをメッセンジャーサーバ８に送信する（ステップＳ３６３）。
次に、メッセンジャーサーバ８は、ユーザＢの通信端末に問い合わせメッセージを送信する（ステップＳ３６７）。この際、メッセンジャーサーバ８は、ユーザＢの現在位置情報の要求も行う。
次いで、ユーザＢの回答を受信すると、メッセンジャーサーバ８は、回答をサーバ６ａに通知する（ステップＳ３６９）。この際、回答にはユーザＢの通信端末で得られた現在位置情報が付加され得る。
続いて、サーバ６ａは、ユーザＢの承認および位置情報を得られた場合（ステップＳ３４３／Ｙｅｓ）、方向算出部６０５により、ヘッドホン装置５ａの位置および向きと、ユーザの位置から、ユーザＡに対するユーザＢの相対的位置関係を特定する（ステップＳ３４４）。なおユーザＢの方向を示す情報は、上述したように、周辺に存在する目印となる建物等を用いたものであってもよい。
そして、サーバ６ａは、応答メッセージ生成部６０４により、ユーザＢを見つけたことおよびユーザＢが居る方向をユーザＡに知らせる応答音声メッセージを生成する（ステップＳ３２８）。
以上説明したように、第２の応用例では、友達を見つけた場合、友達が居る方向も併せてユーザＡに通知することが可能となる。
（２－４－３．第３の応用例）
上述した実施形態および応用例では、撮像画像から登録された顔画像を認識する処理をサーバ６側で行っているが、本実施形態はこれに限定されず、ヘッドホン装置５側で友達を見つける処理を行うことも可能である。以下、図３３～図３４を参照して説明する。
（構成）
図３３は、第３の応用例による情報処理システムの全体構成を示す図である。図３３に示すように、第３の応用例による情報処理システムは、ヘッドホン装置５ｂおよびサーバ６ｂを含む。
ヘッドホン装置５ｂは、図２３を参照して説明した構成に加えて、ユーザプロファイル記憶部５６、音素ＤＢ５７、および顔画像ＤＢ５８を有する。また、ヘッドホン装置５ｂの制御部５０ｂは、顔画像認識部５０１および応答メッセージ生成部５０２として機能する。
ユーザプロファイル記憶部５６、音素ＤＢ５７、および顔画像ＤＢ５８は、図２３を参照して説明したサーバ６のユーザプロファイル記憶部６２、音素ＤＢ６３、および顔画像ＤＢ６４と同様に、ユーザに関する情報、音素データ、およびユーザの友人等所定の人物の顔画像情報をそれぞれ蓄積する。
顔画像認識部５０１は、撮像部５１により撮像された、少なくとも視界外の撮像画像を解析し、顔画像の認識を行う。また、顔画像認識部５０１は、顔画像ＤＢ５８に登録されている登録顔画像（友達の顔画像）を参照し、顔の特徴量が一致する顔画像が撮像画像内にあるか否かを判断する。
応答メッセージ生成部５０２は、顔画像認識部５０１により撮像画像から登録された所定人物の顔画像が認識された場合、当該人物の存在をユーザに通知する応答メッセージを生成する。
（動作処理）
図３４は、第３の応用例による情報処理システムの動作処理を示すフローチャートである。なお、図２６および図２７を参照して説明した動作処理と同様の処理については、同じステップ番号を付している。
図３４に示すように、まず、ヘッドホン装置５ｂは、ヘッドホン装着を検知すると（ステップＳ３０３）、サーバ６ｂに通知する（ステップＳ３０６）。
次に、サーバ６ｂは、特定ユーザのヘッドホン装着を受信すると（ステップＳ３０９）、設定されている所定のキャラクタ（エージェントキャラクタ）の音声エージェントを起動する（ステップＳ３１２）。
次いで、ヘッドホン装置５ｂは、音声メッセージをサーバ６ａに継続的に送信し（ステップＳ３１７）、サーバ６ｂ側で音声メッセージの意味理解が行われ（ステップＳ３１８～Ｓ３２４）、応答音声メッセージが生成される（ステップＳ３２７）。
また、所定時間（例えば３０秒）以上音声メッセージの受信が無い場合は（ステップＳ３３９／Ｙｅｓ）、自動的に応答音声メッセージが選択される（ステップＳ３４２）。
そして、サーバ６ｂから応答音声メッセージを受信すると（ステップＳ３４８／Ｙｅｓ）、ヘッドホン装置５ｂは、エージェントの応答音声メッセージをスピーカ５４から再生する（ステップＳ３５１）。
さらに、本実施形態によるヘッドホン装置５ｂは、顔画像認識部５０１により、撮像した画像から顔画像の認識を行う（ステップＳ４０３）。この際、顔画像認識部５０１は、顔画像ＤＢ５８に予め登録されている友達の顔と、認識した顔とのマッチングも行う。
次いで、撮像画像から友達の顔を認識できた場合（ステップＳ４０６／Ｙｅｓ）、ヘッドホン装置５ｂは、応答メッセージ生成部５０２により、友達を見つけた旨の応答音声メッセージを生成する（ステップＳ４０９）。また、応答メッセージ生成部５０２は、音素ＤＢ５７に格納されている特定エージェントの音素データを用いて、生成した応答メッセージを音声信号に変換する。
そして、ヘッドホン装置５ｂは、生成されたエージェントの応答音声メッセージをスピーカ５４から再生する（ステップＳ３５１）。
以上説明したように、第３の応用例では、ヘッドホン装置５単体でも友達を見つけてユーザに通知することが可能である。
＜２－５．補足＞
以上説明した第２の実施形態について、以下補足する。
本実施形態では、音声エージェントが複数設定されていてもよく、ユーザが名前を呼ぶことでエージェントを選択して会話できるようにしてもよい。具体的には、特開２００２－３５８０９２号公報に記載されているように、複数の音声エージェント用に複数セットの音素を音素ＤＢに蓄積しておくことで実現可能である。名前と音素ＤＢを関連付けておくことで、サーバ６は、音声認識処理によりユーザから指定されたエージェントの名前を検知すると、自動的に音素を切り替えることが可能である。また、ユーザは、音声エージェントの声質で音声エージェントを選択することも可能である。
また、上述した第２の応用例において、友達の音素データが音素ＤＢに登録されている場合、音像定位の技術と組み合わせて、友達が居る方向から友達の声でユーザに呼びかけるような応答音声メッセージを再生することも可能である。
また、友達を見つけた場合に、ユーザ自身の位置情報をメッセンジャーサーバ８等を介して友達に通知し、友達の通信端末においてナビゲーションを開始させてもよい。
また、ユーザが忙しい場合や急いでいる場合等もあるため、本実施形態による友達を見つける機能をＯＦＦすることも可能である。
また、上述した第１の応用例では、見つけられたユーザ側での承認処理が必要であるが、承認の手間を省くため、予め友達に見つけられてよいか否かをスマートフォンやヘッドホン装置の音声エージェントにより設定しておくことも可能である。
また、ヘッドホン装置５は、さらにユーザの視界方向（前方）を撮像する撮像部を有していてもよい。
また、上述した第３の応用例では、友達を見つける処理をヘッドホン装置５で行う場合について説明したが、さらに音声エージェントの会話生成処理もヘッドホン装置５で行うようにしてもよい。
また、上述した第２の実施形態および各応用例では、ヘッドホン装置５が通信部５３を介してネットワーク上のサーバ６と直接通信するようなシステム構成としたが、本実施形態はこれに限定されず、ユーザが所持するスマートフォン等の外部の通信端末を介してサーバ６と通信する構成としてもよい。
＜＜３．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、ユーザが見逃している情報を提示することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述したメガネ型端末１、サーバ２、ヘッドホン装置５、またはサーバ６に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、メガネ型端末１、サーバ２、ヘッドホン装置５、またはサーバ６の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
（１）クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信し、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信するように制御する制御部と、
を備える、サーバ。
（２）前記制御部は、前記クライアント端末の撮像部により取得されたユーザの視界画像から、前記ユーザの興味情報に応じたオブジェクトに対応する情報を抽出し、前記オブジェクトに対応する情報に対して重畳表示させるキャラクタを示すキャラクタ情報と、前記ユーザに提示する提示情報を前記クライアント端末に送信するように制御する、前記（１）に記載のサーバ。
（３）前記制御部は、ユーザ情報に関連するオブジェクトに関連する情報と前記ユーザの興味情報との比較に基づいて、前記ユーザに提示する提示情報を決定する、前記（２）に記載のサーバ。
（４）ユーザ情報に関連するオブジェクトに対応する情報に対して重畳表示させるキャラクタに対する前記ユーザの視線に関連する情報を受信すると、
前記制御部は、前記ユーザの視線に関連する情報に応じて、前記ユーザに提示する提示情報の内容を変更する、前記（１）～（３）のいずれか１つに記載のサーバ。
（５）前記ユーザの視線に関連する情報は、提示情報更新依頼である、前記（４）に記載のサーバ。
（６）前記制御部は、前記提示情報更新依頼に応じて、さらに詳細な情報に変更する、前記（５）に記載のサーバ。
（７）前記重畳表示させるキャラクタに対するユーザの視線に関連する情報は、前記ユーザが前記キャラクタに注目したことに関する情報である、前記（４）に記載のサーバ。
（８）前記制御部は、
前記クライアント端末のユーザによって入力される音声の意味を理解し、対応する音声メッセージをクライアント端末に送信する機能する、前記（１）に記載のサーバ。
（９）前記制御部は、
前記クライアント端末の撮像部により撮像される、少なくとも、前記ユーザの視界外の画像から前記予め登録されている人物が検知されると、それを前記ユーザに通知するための音声メッセージを前記クライアント端末に送信するように制御する、前記（８）に記載のサーバ。
（１０）前記制御部は、
前記クライアント端末の撮像部により撮像される画像と共に、当該クライアント端末の位置と向きの情報を取得し；
さらに、
前記予め登録されている人物のアカウントに、前記ユーザへの通知の許諾と現在の位置情報を要求するリクエストを送信し；
前記リクエストに応じて受信した、前記ユーザへの通知の許諾の要求に対する承認と、前記位置情報とに応じて、前記予め登録されている人物がいる方向を示す情報を前記ユーザに通知するための音声メッセージを前記クライアント端末に送信するように；
通信部を制御する、前記（８）または（９）に記載のサーバ。
（１１）撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力するように制御する制御部を備えるクライアント端末。
（１２）前記制御部は、
前記画像における前記ユーザの興味情報に関連するオブジェクトに対して、キャラクタ情報を重畳表示すると共に、前記ユーザに提示する提示情報を出力するように前記出力部を制御する、前記（１１）に記載のクライアント端末。
（１３）前記制御部は、
撮像部により撮像される画像から予め登録されている人物が検知されると、当該人物が検知されたことをユーザに通知するための音声メッセージを出力するように前記出力部を制御する、前記（１１）に記載のクライアント端末。
（１４）プロセッサが、
クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信することと、
前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信することと、
を含む、制御方法。
（１５）コンピュータを、
クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信し、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信するように制御する制御部として機能させるためのプログラム。
（１６）プロセッサが、
撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力することを含む、制御方法。
（１７）コンピュータを、
撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力するように制御する制御部として機能させるためのプログラム。
１ メガネ型端末
２ サーバ
３ ネットワーク
５ ヘッドホン装置
６ サーバ
７ ネットワーク
８ メッセンジャーサーバ
１０ 制御部
１０１ タグ画像検出部
１０２ 提示情報取得部
１０３ 提示方法設定部
１０４ 情報提示制御部
１０５ ユーザ行動検出部
１０６ 提示情報更新部
１１ 通信部
１２ 撮像部
１３ 表示部
１４ 音声出力部
１５ 記憶部
１６ 視線検出部
２０ 制御部
２０１ オブジェクト情報取得部
２０２ 注目度設定部
２０３ 提示情報提供部
２０４ 提示情報更新部
２１ 通信部
２２ ユーザ情報ＤＢ
２３ オブジェクト情報ＤＢ
３０ 看板
３２ タグ画像
３４ キャラクタ画像
５０ 制御部
５１ 撮像部
５２ マイクロホン
５３ 通信部
５４ スピーカ
５５ 位置・方向検出部
５６ ユーザプロファイル記憶部
６０ 制御部
６０１ テキスト変換部
６０２ 意味理解部
６０３ 顔画像認識部
６０４ 応答メッセージ生成部
６０５ 方向算出部
６１ 通信部
６２ ユーザプロファイル記憶部
６３ 音素ＤＢ
６４ 顔画像ＤＢ
８０ 制御部
８１ 通信部
８２ メッセージ履歴記憶部

Claims (17)

  1. クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信し、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信するように制御する制御部を備えるサーバ。
  2. 前記制御部は、前記クライアント端末の撮像部により取得されたユーザの視界画像から、前記ユーザの興味情報に応じたオブジェクトに対応する情報を抽出し、前記オブジェクトに対応する情報に対して重畳表示させるキャラクタを示すキャラクタ情報と、前記ユーザに提示する提示情報を前記クライアント端末に送信するように制御する、請求項１に記載のサーバ。
  3. 前記制御部は、ユーザ情報に関連するオブジェクトに関連する情報と前記ユーザの興味情報との比較に基づいて、前記ユーザに提示する提示情報を決定する、請求項２に記載のサーバ。
  4. ユーザ情報に関連するオブジェクトに対応する情報に対して重畳表示させるキャラクタに対する前記ユーザの視線に関連する情報を受信すると、
    前記制御部は、前記ユーザの視線に関連する情報に応じて、前記ユーザに提示する提示情報の内容を変更する、請求項１～３のいずれか１項に記載のサーバ。
  5. 前記ユーザの視線に関連する情報は、提示情報更新依頼である、請求項４に記載のサーバ。
  6. 前記制御部は、前記提示情報更新依頼に応じて、さらに詳細な情報に変更する、請求項５に記載のサーバ。
  7. 前記重畳表示させるキャラクタに対するユーザの視線に関連する情報は、前記ユーザが前記キャラクタに注目したことに関する情報である、請求項４に記載のサーバ。
  8. 前記制御部は、
    前記クライアント端末のユーザによって入力される音声の意味を理解し、対応する音声メッセージを前記クライアント端末に送信する機能を有する、請求項１に記載のサーバ。
  9. 前記制御部は、
    前記クライアント端末の撮像部により撮像される、少なくとも、前記ユーザの視界外の画像から前記予め登録されている人物が検知されると、それを前記ユーザに通知するための音声メッセージを前記クライアント端末に送信するように制御する、請求項８に記載のサーバ。
  10. 前記制御部は、
    前記クライアント端末の撮像部により撮像される画像と共に、当該クライアント端末の位置と向きの情報を取得し；
    さらに、
    前記予め登録されている人物のアカウントに、前記ユーザへの通知の許諾と現在の位置情報を要求するリクエストを送信し；
    前記リクエストに応じて受信した、前記ユーザへの通知の許諾の要求に対する承認と、前記位置情報とに応じて、前記予め登録されている人物がいる方向を示す情報を前記ユーザに通知するための音声メッセージを前記クライアント端末に送信するように；
    通信部を制御する、請求項８または９に記載のサーバ。
  11. 撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力するように制御する制御部を備えるクライアント端末。
  12. 前記制御部は、
    前記画像における前記ユーザの興味情報に関連するオブジェクトに対して、キャラクタ情報を重畳表示すると共に、前記ユーザに提示する提示情報を出力するように前記出力部を制御する、請求項１１に記載のクライアント端末。
  13. 前記制御部は、
    撮像部により撮像される画像から予め登録されている人物が検知されると、当該人物が検知されたことをユーザに通知するための音声メッセージを出力するように前記出力部を制御する、請求項１１に記載のクライアント端末。
  14. プロセッサが、
    クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信することと、
    前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信することと、
    を含む、制御方法。
  15. コンピュータを、
    クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信し、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信するように制御する制御部として機能させるためのプログラム。
  16. プロセッサが、
    撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力することを含む、制御方法。
  17. コンピュータを、
    撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力するように制御する制御部として機能させるためのプログラム。
JP2021196084A 2016-10-07 2021-12-02 サーバ、クライアント端末、制御方法、およびプログラム Pending JP2022033135A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016199028 2016-10-07
JP2016199028 2016-10-07
JP2018543739A JP6992761B2 (ja) 2016-10-07 2017-07-05 サーバ、クライアント端末、制御方法、記憶媒体、およびプログラム
PCT/JP2017/024628 WO2018066191A1 (ja) 2016-10-07 2017-07-05 サーバ、クライアント端末、制御方法、および記憶媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018543739A Division JP6992761B2 (ja) 2016-10-07 2017-07-05 サーバ、クライアント端末、制御方法、記憶媒体、およびプログラム

Publications (1)

Publication Number Publication Date
JP2022033135A true JP2022033135A (ja) 2022-02-28

Family

ID=61830879

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018543739A Active JP6992761B2 (ja) 2016-10-07 2017-07-05 サーバ、クライアント端末、制御方法、記憶媒体、およびプログラム
JP2021196084A Pending JP2022033135A (ja) 2016-10-07 2021-12-02 サーバ、クライアント端末、制御方法、およびプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018543739A Active JP6992761B2 (ja) 2016-10-07 2017-07-05 サーバ、クライアント端末、制御方法、記憶媒体、およびプログラム

Country Status (4)

Country Link
US (3) US11283915B2 (ja)
JP (2) JP6992761B2 (ja)
CN (1) CN109804357A (ja)
WO (1) WO2018066191A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200082576A1 (en) 2018-09-11 2020-03-12 Apple Inc. Method, Device, and System for Delivering Recommendations
JP7263825B2 (ja) * 2019-02-19 2023-04-25 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
WO2020188626A1 (ja) * 2019-03-15 2020-09-24 和夫 金子 視覚支援装置
JP7455523B2 (ja) * 2019-07-03 2024-03-26 キヤノン株式会社 通信システム、制御方法およびプログラム
JP7293991B2 (ja) * 2019-08-28 2023-06-20 大日本印刷株式会社 サーバ、再生デバイス、コンテンツ再生システム、コンテンツ再生方法、及びプログラム
JP6781977B1 (ja) * 2019-09-12 2020-11-11 株式会社ぴやまる 情報提示システム、情報分析システム、情報提示方法、情報分析方法およびプログラム
CN111046731B (zh) * 2019-11-11 2023-07-25 中国科学院计算技术研究所 基于表面肌电信号进行手势识别的迁移学习方法和识别方法
JP7388297B2 (ja) 2020-06-11 2023-11-29 オムロン株式会社 コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム
JP2022022871A (ja) * 2020-07-09 2022-02-07 株式会社ソニー・インタラクティブエンタテインメント 処理装置および没入度導出方法
WO2022091177A1 (ja) * 2020-10-26 2022-05-05 株式会社ジェイテクト 音声広告配信システム、方法、プログラム及びユーザ端末
JP7187523B2 (ja) * 2020-11-27 2022-12-12 ソフトバンク株式会社 マッチングシステム、眼鏡型デバイス、マッチングサーバ及びプログラム
JP2022110509A (ja) * 2021-01-18 2022-07-29 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7453193B2 (ja) 2021-09-27 2024-03-19 Kddi株式会社 ユーザの周辺状況に連動して音声合成に基づく音声を制御する携帯装置、プログラム及び方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1137766A (ja) * 1997-07-22 1999-02-12 Aqueous Res:Kk エージェント装置
JP2001235343A (ja) * 2000-02-21 2001-08-31 Equos Research Co Ltd 情報出力装置
JP2003008767A (ja) * 2001-06-26 2003-01-10 Nippon Seiki Co Ltd アバータ
JP2005037181A (ja) * 2003-07-17 2005-02-10 Pioneer Electronic Corp ナビゲーション装置、サーバ装置、ナビゲーションシステム、及びナビゲーション方法
JP2007514332A (ja) * 2003-09-08 2007-05-31 カライズマン，ギョーラ 移動通信装置を使用する紹介システムおよび方法
JP2012063253A (ja) * 2010-09-16 2012-03-29 Olympus Corp 画像生成システム、プログラム及び情報記憶媒体
KR20160015704A (ko) * 2014-07-31 2016-02-15 넥시스 주식회사 글라스형 웨어러블 디바이스를 이용한 지인 인식시스템 및 인식방법
US20160063893A1 (en) * 2014-09-03 2016-03-03 Aira Tech Corporation Media streaming methods, apparatus and systems
JP2016130985A (ja) * 2015-01-15 2016-07-21 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013009073A (ja) 2011-06-23 2013-01-10 Sony Corp 情報処理装置、情報処理方法、プログラム、及びサーバ
JP6065370B2 (ja) 2012-02-03 2017-01-25 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2013207357A (ja) * 2012-03-27 2013-10-07 Sony Corp サーバ、クライアント端末、システムおよびプログラム
JP6101438B2 (ja) 2012-06-15 2017-03-22 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに情報通信システム
JP6035485B2 (ja) * 2012-08-15 2016-11-30 株式会社北電子 遊技情報提供システム及び情報処理装置
US9966075B2 (en) 2012-09-18 2018-05-08 Qualcomm Incorporated Leveraging head mounted displays to enable person-to-person interactions
JP2014090386A (ja) 2012-10-31 2014-05-15 Sony Corp 情報処理システム、情報処理装置、およびプログラム
JP6024515B2 (ja) 2013-02-28 2016-11-16 ソニー株式会社 情報処理装置および記憶媒体
KR20140136582A (ko) * 2013-05-20 2014-12-01 박수희 푸시알람 서비스 제공 시스템 및 그 방법
JP6079614B2 (ja) * 2013-12-19 2017-02-15 ソニー株式会社 画像表示装置及び画像表示方法
JP6636422B2 (ja) * 2014-06-13 2020-01-29 株式会社チカク 画像管理システム、管理装置、プログラム及び画像出力装置
KR102184272B1 (ko) * 2014-06-25 2020-11-30 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
KR102110208B1 (ko) * 2015-05-08 2020-05-13 엘지전자 주식회사 안경형 단말기 및 이의 제어방법
US20190046080A1 (en) * 2016-02-24 2019-02-14 Konica Minolta, Inc. Monitoring target person monitoring device, method, and system
JP6754451B2 (ja) * 2017-02-01 2020-09-09 シャープ株式会社 監視システム、監視方法及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1137766A (ja) * 1997-07-22 1999-02-12 Aqueous Res:Kk エージェント装置
JP2001235343A (ja) * 2000-02-21 2001-08-31 Equos Research Co Ltd 情報出力装置
JP2003008767A (ja) * 2001-06-26 2003-01-10 Nippon Seiki Co Ltd アバータ
JP2005037181A (ja) * 2003-07-17 2005-02-10 Pioneer Electronic Corp ナビゲーション装置、サーバ装置、ナビゲーションシステム、及びナビゲーション方法
JP2007514332A (ja) * 2003-09-08 2007-05-31 カライズマン，ギョーラ 移動通信装置を使用する紹介システムおよび方法
JP2012063253A (ja) * 2010-09-16 2012-03-29 Olympus Corp 画像生成システム、プログラム及び情報記憶媒体
KR20160015704A (ko) * 2014-07-31 2016-02-15 넥시스 주식회사 글라스형 웨어러블 디바이스를 이용한 지인 인식시스템 및 인식방법
US20160063893A1 (en) * 2014-09-03 2016-03-03 Aira Tech Corporation Media streaming methods, apparatus and systems
JP2016130985A (ja) * 2015-01-15 2016-07-21 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム

Also Published As

Publication number Publication date
WO2018066191A1 (ja) 2018-04-12
US11283915B2 (en) 2022-03-22
JP6992761B2 (ja) 2022-01-13
CN109804357A (zh) 2019-05-24
JPWO2018066191A1 (ja) 2019-07-18
US20220159117A1 (en) 2022-05-19
US11825012B2 (en) 2023-11-21
US20240022660A1 (en) 2024-01-18
US20210289068A1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
JP6992761B2 (ja) サーバ、クライアント端末、制御方法、記憶媒体、およびプログラム
US11620776B2 (en) Information processing apparatus and information processing method
CN109952759B (zh) 用于具有hmd的视频会议的改进的方法和系统
JP6428268B2 (ja) 画像表示装置及び画像表示方法、並びに画像表示システム
US8531394B2 (en) Unitized, vision-controlled, wireless eyeglasses transceiver
WO2017115618A1 (en) Information processing apparatus, information processing method, and program
CN111445583B (zh) 增强现实处理方法及装置、存储介质和电子设备
JP2014085796A (ja) 情報処理装置およびプログラム
US10546402B2 (en) Information processing system, information processing terminal, and information processing method
US20210004081A1 (en) Information processing apparatus, information processing method, and program
CN108140124A (zh) 提示信息确定方法、装置、电子设备和计算机程序产品
JP6889304B1 (ja) 拡張現実表示システム、拡張現実表示方法、及びコンピュータプログラム
JP2018067157A (ja) 通信装置およびその制御方法
JP7130213B1 (ja) 現実空間における副端末との相対位置姿勢を仮想空間内で維持する主端末、プログラム、システム及び方法
JP6662411B2 (ja) 携帯情報端末およびプログラム
US20220311979A1 (en) Wearable apparatus for projecting information
KR102262019B1 (ko) 네트워크 속도 반응형 확장현실(xr) 커뮤니케이션 방법 및 시스템
WO2021112161A1 (ja) 情報処理装置、制御方法及び非一時的なコンピュータ可読媒体
KR20220095787A (ko) 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템
EP3340013A1 (en) A gazed object identification module, a system for implementing gaze translucency, and a related method
KR20180082729A (ko) 웨어러블 스마트 안경 디바이스 및 이를 이용한 영상이미지 표시방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230214

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230328