JP2019516175A - 情報の表示方法、デバイス、及びシステム - Google Patents

情報の表示方法、デバイス、及びシステム Download PDF

Info

Publication number
JP2019516175A
JP2019516175A JP2018551862A JP2018551862A JP2019516175A JP 2019516175 A JP2019516175 A JP 2019516175A JP 2018551862 A JP2018551862 A JP 2018551862A JP 2018551862 A JP2018551862 A JP 2018551862A JP 2019516175 A JP2019516175 A JP 2019516175A
Authority
JP
Japan
Prior art keywords
user
image
information
user information
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018551862A
Other languages
English (en)
Other versions
JP2019516175A5 (ja
JP6935421B2 (ja
Inventor
ヂャン,ヨンション
リン,ファン
ツァオ,レイ
チャオ,シァオ
ルァン,ピン
Original Assignee
アリババ グループ ホウルディング リミテッド
アリババ グループ ホウルディング リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アリババ グループ ホウルディング リミテッド, アリババ グループ ホウルディング リミテッド filed Critical アリババ グループ ホウルディング リミテッド
Publication of JP2019516175A publication Critical patent/JP2019516175A/ja
Publication of JP2019516175A5 publication Critical patent/JP2019516175A5/ja
Application granted granted Critical
Publication of JP6935421B2 publication Critical patent/JP6935421B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/434Query formulation using image data, e.g. images, photos, pictures taken by a user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • G06F16/436Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/438Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/535Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/732Query formulation
    • G06F16/7335Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/735Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70Multimodal biometrics, e.g. combining information from different biometric modalities
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本願は、情報表示方法及びデバイス、及び情報表示システムを開示する。前記方法は:エンドデバイスによりリアルタイムに取得され送信された画像を受信するステップと;前記画像に含まれるユーザ画像を特定するステップと;前記ユーザ画像に対応するユーザ識別子を特定するステップと;特定した前記ユーザ識別子に対応するユーザ情報を、事前に記憶されたユーザ識別子とユーザ情報との間のマッピング関係に基づき取得するステップと;取得した前記ユーザ情報に基づき前記ユーザ情報に対応するAR(Augmented reality:拡張現実)グラフィックデータを生成し、前記ARグラフィックデータを前記エンドデバイスへ返信するステップであって、前記ARグラフィックは前記ユーザ画像をリアルタイムに追従し、前記エンドデバイスが、リアルタイムに取得される前記画像における対応するARグラフィックを、前記受信したARグラフィックデータに基づいて表示する、前記返信するステップと;を含む。本方法によれば、ユーザは如何なる操作も行うことなく他のユーザのユーザ情報を閲覧でき、ユーザ対話の最中、ユーザ情報をより便利に閲覧でき、仮想のユーザ情報と実際のユーザとの間に実質的な関連が確立される。

Description

本願は、コンピュータ技術の分野に関し、特に、情報の表示方法及びデバイス、及び、情報の表示システムに関する。
オンラインシステム(例えばウェブサイト)は、インターネット及び知能技術(インテリジェントテクノロジ)の支援を受けて、ユーザに対し一様なサービスを提供する従来のシステムから、包括的なネットワークプラットフォームへ変容を遂げている。ユーザは、オンラインシステムを通じて、オンラインシステムのバックエンドサーバとの間の対話(インタラクション)だけでなく、オンラインシステムを使う他のユーザとの間のサービス対話及び情報共有等の操作を行うこともできる。
既存の技術においては、複数のユーザがオンラインシステムに基づき相互に対話する場合、オンラインシステムを用いるいずれのユーザ(簡略化のため、「第1のユーザ」と称する)も、他のユーザ(簡略化のため「第2のユーザ」と称する)のユーザ情報、例えばアカウント名、異なるユーザによる第2のユーザに対するコメント、自己紹介、ユーザタグ等、を閲覧できる。これにより、第1のユーザは、情報共有、サービスの取得、ユーザのフォロー等の対話の操作を行うべき相手である第2のユーザの識別を行う。
しかしながら、既存の技術における方法には依然として次の欠点がある。
1つ目は、第1のユーザが第2のユーザのユーザ情報について知ろうとする際に、第1のユーザが、対応するページ(例えば第2のユーザのホームページ)にアクセスできるのは、エンドデバイスを用いる場合に限られるという点である。そして、この方法は複雑である。
2つ目は、先の方法を用いて閲覧する第2のユーザのユーザ情報は、第2のユーザがオンラインシステムに登録した情報でしかないという点、つまり、第1のユーザが閲覧するユーザ情報は仮想のネットワーク情報であり、実際の環境ではこのような仮想のネットワーク情報を用いて第2のユーザを特定することはできない、という点である。現在、オフラインサービスがオンラインネットワークへ移行している傾向を考慮すると、ユーザが、実際のユーザのユーザ情報を閲覧することによりそのユーザを特定できれば、それらのユーザはより容易に相互の対話を行うことができる。しかし、既存の技術における方法では、仮想情報と実際のユーザとの間のマッピング関係を成立させるのは困難である。
本願の実施は、ユーザが相互に対話を行う際の問題を解決するため、情報の表示方法及びデバイス並びに情報の表示システムを提供する。
本願の実施は、情報表示方法を提供し、前記方法は:エンドデバイスによりリアルタイムに取得され送信された画像を受信するステップと;前記画像に含まれるユーザ画像を特定するステップと;前記ユーザ画像に対応するユーザ識別子を特定するステップと;特定した前記ユーザ識別子に対応するユーザ情報を、事前に記憶されたユーザ識別子とユーザ情報との間のマッピング関係に基づき取得するステップと;取得した前記ユーザ情報に基づき前記ユーザ情報に対応するAR(Augmented reality:拡張現実)グラフィックデータを生成し、前記ARグラフィックデータを前記エンドデバイスへ返信するステップであって、前記ARグラフィックは前記ユーザ画像をリアルタイムに追従し、前記エンドデバイスが、リアルタイムに取得される前記画像における対応するARグラフィックを、前記受信したARグラフィックデータに基づいて表示する、前記返信するステップと;を含む。
本願の実施は、情報表示方法を更に提供し、前記方法は:画像をリアルタイムに取得し、前記画像をサーバへ送信するステップであって、前記画像はユーザ画像を含み、サーバが前記画像に含まれる前記ユーザ画像を特定し、前記ユーザ画像に対応するユーザ識別子を特定し、特定した前記ユーザ識別子に対応するユーザ情報を、事前に記憶されたユーザ識別子とユーザ情報との間のマッピング関係に基づき取得し、取得した前記ユーザ情報に基づき前記ユーザ情報に対応するARグラフィックデータを生成し、前記ARグラフィックデータをエンドデバイスへ返信する、前記送信するステップと;前記ユーザ情報に対応し前記サーバにより返信された前記ARグラフィックデータを受信するステップと;前記ARグラフィックデータに基づき、リアルタイムに取得された前記画像における対応するARグラフィックを表示するステップであって、前記ARグラフィックは前記ユーザ画像にリアルタイムで追従する、前記表示するステップと;を含む。
本願の実施は、情報表示デバイスを更に提供し、前記デバイスは:エンドデバイスによりリアルタイムに取得され送信された画像を受信するよう構成された受信モジュールと;前記画像に含まれるユーザ画像を特定するように構成されたユーザ画像モジュールと;前記ユーザ画像に対応するユーザ識別子を特定するように構成されたユーザ識別子モジュールと;特定した前記ユーザ識別子に対応するユーザ情報を、事前に記憶されたユーザ識別子とユーザ情報との間のマッピング関係に基づき取得するように構成されたユーザ情報モジュールと;取得した前記ユーザ情報に基づき前記ユーザ情報に対応するARグラフィックデータを生成し、前記ARグラフィックデータを前記エンドデバイスへ返信するように構成されたARモジュールであって、前記ARグラフィックは前記ユーザ画像にリアルタイムで追従し、前記エンドデバイスが、リアルタイムに取得された前記画像における対応するARグラフィックを、受信した前記ARグラフィックデータに基づき表示する、前記ARモジュールと;を含む。
本願の実施は、情報表示デバイスを更に提供し、前記デバイスは:画像をリアルタイムに取得し、前記画像をサーバへ送信するように構成された取得モジュールであって、前記画像はユーザ画像を含み、前記サーバが、前記画像に含まれる前記ユーザ画像を特定し、前記ユーザ画像に対応するユーザ識別子を特定し、特定した前記ユーザ識別子に対応するユーザ情報を、事前に記憶されたユーザ識別子とユーザ情報との間のマッピング関係に基づき取得し、取得した前記ユーザ情報に基づき前記ユーザ情報に対応するARグラフィックデータを生成し、前記ARグラフィックデータをエンドデバイスへ返信する、前記取得モジュールと;前記ユーザ情報に対応し前記サーバにより返信された前記ARグラフィックデータを受信するように構成された受信モジュールと;前記ARグラフィックデータに基づき、リアルタイムに取得された前記画像における対応するARグラフィックを表示するように構成された表示モジュールであって、前記ARグラフィックは前記ユーザ画像にリアルタイムで追従する、前記表示モジュールと;を含む。
本願の実施は、情報表示システムを更に提供し、前記システムは:エンドデバイスと情報表示デバイスとを含み;
前記エンドデバイスは、リアルタイムに画像を取得し、前記画像を情報表示デバイスへ送信し、前記画像に含まれるユーザ画像に対応し前記情報表示デバイスにより返信された受信ARグラフィックデータに基づき、リアルタイムに取得された前記画像における対応するARグラフィックを表示するように構成され;前記ARグラフィックは前記ユーザ画像にリアルタイムで追従し;
前記情報表示デバイスは;前記エンドデバイスによりリアルタイムに取得される前記画像を受信し、前記画像に含まれるユーザ情報に対応する前記ARグラフィックデータを生成するよう構成されたARインテリジェントモジュールと;受信された前記画像に基づき、前記画像に含まれる前記ユーザ画像を特定し、前記ユーザ画像に対応するユーザ識別子を特定するように構成された認識検証モジュールと;特定した前記ユーザ識別子に対応する前記ユーザ情報を、事前に記憶されたユーザ識別子とユーザ情報との間のマッピング関係に基づき取得するように構成されたタグ管理モジュールと;前記ユーザ識別子に対応する履歴データを取得し、前記履歴データに基づき、確立されることになるマッピング関係における前記ユーザ情報と前記履歴データとの間の照合度を特定し、確立されることになる前記マッピング関係における前記ユーザ情報の第1の信頼度として前記照合度を用い、確立されることになる前記マッピング関係における前記ユーザ情報の前記第1の信頼度を記憶し、確立されることになる前記マッピング関係における前記ユーザ情報と、確立されることになる前記マッピング関係における前記ユーザ識別子との間の前記マッピング関係を確立するように構成されたビッグデータリスク制御モジュールと;記憶された各ユーザ情報に対し、当該ユーザ情報に対して特定の操作を行う他の複数のユーザを特定し、前記ユーザのレベルに基づき、前記他の複数のユーザの各々に対し、前記ユーザにより前記ユーザ情報に対して行われる前記特定の操作により生成されたスコアを特定し、前記他の複数のユーザの各々に対し特定された前記スコアに基づき、前記ユーザ情報の第2の信頼度を特定して記憶するよう構成された相互認証モジュールと;を含む。
本願の実施は、先の情報表示方法及びデバイス並びに情報表示システムを提供する。この方法においては、エンドデバイスがリアルタイムに取得した画像をサーバへ送信する。この場合、サーバは画像に含まれるキャラクタ画像(ユーザ画像)を認識し、更に、ユーザのアイデンティティとユーザ情報とを特定し、その上で、ユーザ情報に対応するARグラフィックデータを生成し、エンドデバイスが画像におけるユーザ画像に対応するARグラフィックを表示できるよう、ARグラフィックデータをエンドデバイスへ返信する。ARグラフィックはユーザのユーザ情報を反映する。既存の技術とは異なり、本願の実施の方法において、ユーザは、対応するインターフェースにアクセスすることなく他のユーザのユーザ情報を閲覧できる。また、ARグラフィックを用いて仮想のユーザ情報を実際のユーザと関連付けることができ、ユーザは、工程の全体において如何なる操作も行うことなく他のユーザのユーザ情報を閲覧できる。本方法においては、ユーザ対話の最中、ユーザ情報がより便利に閲覧でき、仮想のユーザ情報と実際のユーザとの間に実質的な関連が確立される。
本明細書に添付の図面は、本願の更なる理解を提供するために使用され、本願の一部を構成する。本願の例示的な実施、及び実施の説明は、本願を説明するために使用され、本願に対する不適切な限定を構成しない。
図1は、本願の実施に係る情報表示工程を例示するフローチャートである。
図2aは、本願の実施に係るARグラフィックを表示しないARヘルメット画面を例示する概略図である。
図2bは、本願の実施に係るARグラフィックを表示するARヘルメット画面を例示する概略図である。 図2cは、本願の実施に係るARグラフィックを表示するARヘルメット画面を例示する概略図である。 図2dは、本願の実施に係るARグラフィックを表示するARヘルメット画面を例示する概略図である。
図3は、本願の実施に係るクラウドユーザ情報システムとエンドデバイスとを例示する概略構造図である。
図4aは、本願の実施に係る、図4bと異なる実況のシナリオにおけるARメガネ画面を例示する概略図である。 図4bは、本願の実施に係る、図4aと異なる実況のシナリオにおけるARメガネ画面を例示する概略図である。
図5は、本願の実施に係る他のシナリオにおけるARメガネ画面を例示する概略図である。
図6は、本願の実施に係るサーバ側の情報表示デバイスを例示する概略構造図である。
図7は、本願の実施に係るエンドデバイス側の情報表示デバイスを例示する概略構造図である。
図8は、本願の実施に係る情報表示システムを例示する概略構造図である。
本願の目的、技術的解決法、及び利点をより明確にするために、以下は、本願の特定の実施及び対応する添付図面を参照して、本願の技術的解決法を明確に説明する。明らかに、記載された実施は、本願の実施の全てではなく一部である。創作努力なしに本願の実施に基づいて当業者によって得られる他の全ての実施は、本願の保護範囲内に入るものとする。
先に述べたように、ユーザが相互に対話をする際、第1のユーザが第2のユーザのユーザ情報(例えば、第2のユーザのユーザタグやクレジット、及び第2のユーザに対するコメント等の情報)について知ることができれば、第1のユーザはユーザ情報を用いて事前に第2のユーザを知ることができ、各ユーザはより容易に相互に対話をすることができる。しかし、この場合、第1のユーザは、第2のユーザのユーザ情報を閲覧するにあたって、エンドデバイスを用いる場合に限り、対応するインターフェースにアクセス可能である。また、第1のユーザが第2のユーザとの間でオフラインでの対話を希望する場合、ユーザ情報は仮想の情報であるため、第1のユーザは第2のユーザのユーザ情報を用いて第2のユーザを特定できない。
よって、ユーザ情報を便利に表示でき、表示されたユーザ情報がユーザ情報とユーザとの間のマッピング関係を反映できる情報表示方法が必要である。このことに鑑み、本願の実施は、図1に例示するように、情報表示方法を提供する。
図1は、本願の実施に係る情報表示工程を例示するフローチャートであり、この工程は具体的に以下の各ステップを含む。
S101:エンドデバイスによりリアルタイムに取得され送信された画像を受信する。
本願のこの実施において、エンドデバイスはAR(Augmented reality:拡張現実)デバイスを含む(本願におけるARデバイスは画像取得機能を有する)。ARデバイスとして、ARメガネ、ARヘルメット、AR機能を有する携帯電話、AR機能を有するコンピュータ、及びAR機能を有するロボット(本願におけるロボットは、取得及び表示の機能を有する物理的なロボットである)が挙げられるが、これらに限定されない。
本願の実施によっては、取得工程において、エンドデバイスは、画像をリアルタイムに取得するように構成された、画像取得機能を有するデバイスであってよく、例えば携帯電話、カメラ、カメラを搭載したコンピュータ、又はロボットであってよい。取得方法は、写真の撮影であってよい。
エンドデバイスによりリアルタイムに取得される画像は、現実の情景の画像であってよい(現実の情景の画像は、自然界で取得された画像である)。
S102:画像に含まれるユーザ画像を特定する。
本願のこの実施において、ユーザ画像はユーザのキャラクタ画像であってよい。エンドデバイスがリアルタイムに現実の情景の画像を取得する場合、ユーザは現実の情景の中にいるため、エンドデバイスにより取得される画像はユーザ画像を含む。
例えば、エンドデバイスにより取得された画像がオフィスの現実の情景の画像であると想定した場合、画像に含まれる職員の画像がユーザ画像である。
画像におけるユーザ画像を特定する、即ち、画像に対しキャラクタ認識処理を行う。本願のこの実施においては、種々のキャラクタ認識処理方法を用いて、画像に含まれるユーザ画像を特定してよい。これは、本願に限定を課すものではない。
S103:ユーザ画像に対応するユーザ識別子を特定する。
画像におけるユーザ画像を特定した後、ユーザ画像に対応するユーザを更に特定してよい。換言すれば、ユーザ画像に対して特徴認識(例えば、顔面認識や歩容認識などの、生体計測による(バイオメトリック)特徴認識)を行い、ユーザ画像に対応するユーザのアイデンティティを特定する。
上記に関連し、ユーザ識別子は、ユーザを識別するために用いられるアイデンティティ(例えばユーザのID)であってよい。本願のこの実施の方法において、ユーザ識別子はオンラインシステムに記憶されてよく、ユーザがユーザの生体計測的特徴を事前にオンラインシステムに入力しておくことにより、オンラインシステムは各ユーザの生体計測的特徴とユーザ識別子との間のマッピング関係を確立してよい。ユーザの生体計測的特徴が認識された後、マッピング関係に基づきユーザのユーザ識別子が特定されてよい(ユーザアイデンティティが特定される)。
S104:特定されたユーザ識別子に対応するユーザ情報を、事前に記憶されたユーザ識別子とユーザ情報との間のマッピング関係に基づき取得する。
ユーザ情報は、ユーザの実名、アカウント名、自己紹介、他のユーザによるユーザに対するコメント、ユーザタグ(ユーザタグは、「映画のエキスパート」や「ゴールド会員」といった、ユーザの幾つかの属性を反映可能なタグであってよい)等を含むが、これらに限定されるものではない。
オンラインシステムにおいて、各ユーザのユーザ識別子とユーザ情報との間のマッピング関係が確立される。よって、ユーザ画像に対応するユーザ識別子が特定されれば、ユーザ識別子に対応するユーザ情報を更に特定できる。
S105:取得したユーザ情報に基づきユーザ情報に対応するARグラフィックデータを生成し、ARグラフィックデータをエンドデバイスへ返信し、エンドデバイスが、受信したARグラフィックデータに基づき、リアルタイムに取得された画像における対応するARグラフィックを表示する。
ARグラフィックはユーザ画像にリアルタイムで追従する。
ユーザ情報に対応するARグラフィックは、2次元又は元の形態で表示されるテキストやアイコン等のグラフィックであってよく、ここでは限定されない。換言すれば、本願のこの実施においては、ユーザ情報のARグラフィックを形成するため、ユーザ情報に対して対応するグラフィック処理が行われる。これにより、エンドデバイスは、取得した現実の情景の画像を表示するだけでなく、現実の情景の画像におけるユーザ画像の上に、対応するユーザ情報のARグラフィックも表示する。
例えば、エンドデバイスがARヘルメットであると想定する。図2aはARヘルメットによって取得された現実の情景の画像を例示する。現実の情景の画像が、ユーザYのキャラクタ画像(ユーザ画像)を含むと想定する。前述の方法に基づき、対応するオンラインシステムは、ユーザ画像に対応するユーザがユーザYである、と特定できる(ユーザYはユーザタグ「映画のエキスパート」を有する)。その上で、オンラインシステムはユーザタグ「映画のエキスパート」に対してARグラフィックデータを生成し、ARグラフィックデータをARヘルメットへ送信する。図2bに例示するように、ARヘルメットはユーザタグ「映画のエキスパート」のARグラフィックをユーザYのキャラクタ画像の上に表示する。
実際のアプリケーション(適用)において、実際の環境における人物はいつでも移動し得るし、ARデバイスが、ARデバイスを用いているユーザと共に移動することもあり得る(例えば、ARデバイスを用いているユーザが頭を回転させたり歩行したりする場合、それに応じてARデバイスの撮影角度や位置も変化する)。このような場合、取得されたユーザ画像の位置が変化し得る。これに鑑み、本願のこの実施におけるARグラフィックはユーザ画像にリアルタイムで追従する。よって、ARグラフィックとユーザ画像との関連性を明確化できる。
引き続き前述の例において、図2cに例示するように、ユーザYが図2bの画像の左側へ移動し、ユーザYのユーザタグ「映画のエキスパート」のARグラフィックがユーザYと共に移動すると想定する。
前述の例において、例示で用いられるのは2次元の視野のみである。実際のアプリケーションでは、ユーザがARデバイスを通じて視認する現実の情景の画像は全て3次元であり、ユーザ間の相対的な移動はより複雑である。例えば、ARデバイスを保持するユーザが、取得された画像に対応するユーザの側へ移動する場合、ARグラフィックは常に観察者の角度から表示される。例えば、図2dに例示するように、引き続き前述の例では、ARヘルメットを用いるユーザはユーザYの前方左側へ移動し、ユーザタグ「映画のエキスパート」のARグラフィックは観察者の角度から表示される(換言すれば、ユーザタグのARグラフィックは常にARヘルメットを用いるユーザの方を向いている)。本願のこの実施において、ARグラフィックの表示位置や方向等を、ARデバイスのパラメータ(例えば、並行移動のパラメータ、偏向パラメータ、焦点距離等)に基づいて特定してよい。これは、本願に限定を課すものではない。
本願のこの実施の方法において、ARグラフィックデータは、オンラインシステムがARグラフィックを構築した後にARグラフィックから変換される、送信が容易なデータであってよい。本方法において、エンドデバイスは、ARグラフィックデータを受信した後、対応するARグラフィックを直接表示してよい。
本願のこの実施の他の方法において、ARグラフィックデータは、ARグラフィックを構築するためオンラインシステムにより生成されるデータであってよい。本方法において、エンドデバイスは、ARグラフィックデータを受信した後、ARグラフィックデータに基づきARグラフィックをローカルに構築し、その上でARグラフィックを表示する。
前述の2つの方法は本願に限定を課すものではない。
また、エンドデバイスは、種々のデバイスに応じて種々の方法でARグラフィックを表示してよい。例えば、ARデバイスがARメガネやARヘルメット等のウェアラブルデバイスである場合、ARグラフィックは、メガネのレンズ又はヘルメットの画面に直接表示される。ARデバイスがAR機能を有するコンピュータ又はロボットである場合、ARグラフィックは、対応する画面に表示されてもよく、投影(平面投影及びホログラフィック投影を通じて表示されてもよく、ここでは限定されない。
なお、前述の内容に関して、オンラインシステムのバックエンドサーバ(又はサーバクラスタ)は、画像の受信と認識、及びARグラフィックデータの生成等の操作を行ってよい。アプリケーションの間、サーバとエンドデバイスとは、ネットワークを通じた相互間の接続を維持する。
前述の各ステップに基づき、エンドデバイスがリアルタイムに取得した画像をサーバへ送信する。この場合、サーバは画像に含まれるキャラクタ画像(ユーザ画像)を認識し、更に、ユーザのアイデンティティとユーザ情報とを特定し、その上で、ユーザ情報に対応するARグラフィックデータを生成し、エンドデバイスが画像におけるユーザ画像に対応するARグラフィックを表示できるよう、ARグラフィックデータをエンドデバイスへ返信する。ARグラフィックはユーザのユーザ情報を反映する。既存の技術とは異なり、本願のこの実施の方法において、ユーザは、対応するインターフェースにアクセスすることなく他のユーザのユーザ情報を閲覧できる。また、ARグラフィックを用いて仮想のユーザ情報を実際のユーザと関連付けることができ、ユーザは、工程の全体において如何なる操作も行うことなく他のユーザのユーザ情報を閲覧できる。本方法においては、ユーザ対話の最中、ユーザ情報をより便利に閲覧でき、仮想のユーザ情報と実際のユーザとの間に実質的な関連が確立される。
なお、本願のこの実施において記載される内容(図1に例示する方法及び後続の内容を含む)は、図3に例示する構成に基づくものであってよい。具体的には、図3には、クラウドユーザ情報システムとARデバイスとが含まれる。クラウドユーザ情報システムは、ARデバイスにより送信された画像の中のユーザ画像及びユーザアイデンティティを認識するために、並びに、ARグラフィックデータを生成するために用いられる。ARデバイスは、画像を取得し、ARグラフィックデータに対応する画像とARグラフィックとを表示するように構成される。
ユーザアイデンティティの特定は、後続のユーザ情報の特定の精度に影響を及ぼす。ユーザアイデンティティを精度よく特定できない場合、以後に生成されるARグラフィックはユーザの現実のユーザ情報を反映できない。したがって、本願のこの実施はユーザアイデンティティを認識するための種々の方法を提供する。
具体的には、実際のアプリケーションにおいて、サーバは様々なユーザの生体計測的特徴を記憶し、よって、ユーザ画像に対応するユーザ識別子が特定可能となる。具体的には、ユーザ画像に対応するユーザ識別子を特定するステップは:特定されたユーザ画像に基づき画像特徴を抽出するステップと;複数のユーザ識別子にそれぞれ対応する、事前に記憶された複数のユーザ特徴から、抽出された画像特徴と照合するユーザ特徴を特定するステップと;特定されたユーザ特徴に対応するユーザ識別子を、ユーザ画像に対応するユーザ識別子として用いるステップと;を含む。
画像特徴は、画像におけるユーザ画像に対して抽出される。本願のこの実施において、画像特徴は、ユーザ画像から抽出される、顔面特徴、虹彩の特徴、体形の特徴等であってよい。
事前に記憶されたユーザ特徴は生体計測的特徴を含む。本願のこの実施において、生体計測的特徴は、顔面特徴、指紋特徴、掌紋特徴、網膜特徴、人体の輪郭の特徴、歩容特徴、声紋特徴等を含むが、これらに限定されるものではない。
実際のアプリケーションにおいて、エンドデバイスによって取得される画像は1つのフレーム画像であっても、連続するマルチフレーム画像(映像)であってもよい。これら2つのケースでは、異なる画像特徴が抽出される。それに対応して、各画像特徴を認識するには、異なる認識方法が必要となる。
その詳細を以下に述べる。
第1に、エンドデバイスによって取得された画像が1つのフレーム画像である場合。
1つのフレーム画像は静止画像とみなしてよい。この場合、画像におけるキャラクタに対して抽出される画像特徴は静的な特徴であってよい、例えば、顔面特徴、人体の輪郭の特徴、指紋特徴、掌紋特徴、及び虹彩の特徴であってよい。
アプリケーションシナリオが異なれば、異なる画像特徴がユーザ画像から抽出され得る。例えば、エンドデバイスによって取得されたユーザ画像における顔が鮮明であれば、顔面特徴を抽出できる。他の例として、エンドデバイスのカメラが指紋採取器又は掌紋採取器と対応付けられていれば、ユーザの指紋特徴又は掌紋特徴を抽出できる。本願のこの実施の方法においては、実際のアプリケーションにおいて、後続の認識工程の精度向上のため、複数の画像特徴を抽出してよい。これは、本願に限定を課すものではない。
また、画像特徴を抽出するにあたって、特徴ベースの認識アルゴリズム(feature−based recognition algorithm)やテンプレートベースの認識アルゴリズム(template−based recognition algorithm)等の、対応する特徴抽出アルゴリズムを用いてもよいが、ここでは限定されない。キャラクタの画像特徴が抽出された後、事前に記憶された生体計測的特徴に基づき画像特徴に対し認識がなされてよい。
第2に、エンドデバイスによって取得された画像が連続するマルチフレーム画像である場合。
連続するマルチフレーム画像は、連続的で動的な映像とみなしてよい。この場合、画像におけるキャラクタに対して抽出される画像特徴はキャラクタの外部特徴(例えば、人体の輪郭の特徴や顔面特徴)と、歩容特徴等の動的な特徴とを含み得る。
本願のこの実施の方法において、エンドデバイスによって取得された画像が十分に鮮明であれば、マルチフレーム画像におけるキャラクタの顔面特徴を異なる角度から特定し、キャラクタの顔面モデルを構築してよい。
具体的には、生体計測的特徴が顔面特徴を含む場合、エンドデバイスによりリアルタイムに取得され送信された画像を受信するステップは、エンドデバイスによりリアルタイムに取得され送信されたマルチフレーム画像を受信するステップを含む。
これに対応し、複数のユーザ識別子にそれぞれ対応する、事前に記憶された複数のユーザ特徴から、抽出された画像特徴と照合するユーザ特徴を特定するステップは:各フレーム画像におけるユーザ画像から顔面特徴を抽出するステップと;抽出された顔面特徴に基づき3次元の顔面モデルを構築するステップと;複数のユーザ識別子にそれぞれ対応する、事前に記憶された複数の3次元の顔面モデルから、構築された3次元の顔面モデルと照合する3次元の顔面モデルを特定するステップと;を具体的に含む。
なお、サーバは、各ユーザに対し事前に3次元の顔面モデルを構築する。具体的には、サーバはユーザの顔(正面や側面等)を多角度から走査した上で、多角度からの走査を通じて得た顔の図形に基づき3次元の顔面モデルを構築してよい。これは、本願に限定を課すものではない。
この方法に基づいて、ユーザアイデンティティを精度よく特定でき、ユーザのユーザ識別子を精度よく特定できる。
本願のこの実施の他の方法においては、ユーザによって歩行の姿勢や習性が異なるという理由から、ユーザアイデンティティをユーザの歩容特徴を通じて認識してよく、ユーザの歩容特徴は連続するマルチフレーム画像から特定してよい。その詳細を以下述べる。
生体計測的特徴が歩容特徴を含む場合、エンドデバイスによりリアルタイムに取得され送信された画像を受信するステップは、エンドデバイスによりリアルタイムに取得され送信されたマルチフレーム画像を受信するステップを具体的に含む。
これに対応し、複数のユーザ識別子にそれぞれ対応する、事前に記憶された複数のユーザ特徴から、抽出された画像特徴と照合するユーザ特徴を特定するステップは:各フレーム画像におけるユーザ画像から歩容特徴を抽出するステップと;複数のユーザ識別子にそれぞれ対応する、事前に記憶された複数の歩容特徴から、抽出された歩容特徴と照合する歩容特徴を特定するステップと;を具体的に含む。
本願のこの実施の他の方法では、エンドデバイスによっては収音機能を有する。ユーザが発話すると、エンドデバイスがユーザの声を収音し、収音したユーザの声のデータを対応するサーバへ送信する。
これにしたがい、サーバはエンドデバイスにより送信された声のデータに対してフィルタリングやノイズ低減等の音響処理を施し、更に、ユーザの声紋特徴を抽出し、この声紋特徴を事前に記憶された声紋特徴と照合して、声紋に対応するユーザ識別子を特定(即ち、ユーザアイデンティティを認識)してよい。
当然ながら、ユーザアイデンティティを認識する実際の工程においては、ユーザアイデンティティを精度よく特定するために、先に述べた方法を組み合わせて用いてもよい。
以上では、ユーザアイデンティティを認識する工程、即ち、ユーザ画像に対応するユーザ識別子を特定する工程を説明した。ユーザ識別子を特定した後、続いてARグラフィックデータを生成するために、対応するユーザ情報を取得してよい。
本願のこの実施におけるユーザ情報は、ユーザにより編集されても、ユーザに対し他のユーザにより編集されてもよい。
したがって、ユーザ識別子とユーザ情報との間のマッピング関係を事前に記憶するステップは;ユーザのユーザ識別子に対してユーザにより編集されたユーザ情報を受信し、ユーザのユーザ識別子に対してユーザにより編集されたユーザ情報に基づいてユーザ識別子とユーザ情報との間のマッピング関係を確立し記憶するステップ;又は、第2のユーザ対して第1のユーザにより編集されたユーザ情報を受信し、第2のユーザ対して第1のユーザにより編集されたユーザ情報に基づいて第2のユーザのユーザ識別子とユーザ情報との間のマッピング関係を確立し記憶するステップを具体的に含む。
例えば、ユーザ情報はユーザタグであってよく、ユーザXのアカウントuserXに対してユーザXにより編集されたユーザタグは「食のエキスパート」である。他の例として、ユーザYのアカウントuserYに対してユーザXによって編集されたユーザタグは「映画のエキスパート」である。
ユーザにより編集されたユーザ情報、及び、ユーザに対し他のユーザにより編集されたユーザ情報は、両方とも一定程度主観的であり得る(実際の状況と合致しない可能性がある)。これにより、ユーザが相互に対話を行う際、他のユーザに一定程度誤解が生じる。
引き続き先に述べた例において、ユーザXのアカウントuserXに対応する履歴データ(例えば、微博(Weibo)やブログにおけるネットワーク共有データや閲覧履歴データ)が食に関する情報を含まない、換言すれば、ユーザXによりユーザXのアカウントuserXに対して編集されたユーザタグ「食のエキスパート」が信頼できない、と想定する。ユーザXが他のユーザと対話を行う場合、このユーザタグは、他のユーザに、ユーザXが食に関する情報を知っていると信じさせる誤解を生む可能性がある。
このことに鑑み、本願のこの実施においては、ユーザ情報の信頼度が特定される。具体的には、ユーザ識別子とユーザ情報との間のマッピング関係を確立し記憶するステップは:ユーザ識別子に対応する履歴データを取得するステップと;履歴データに基づき、確立されることになるマッピング関係におけるユーザ情報と履歴データとの間の照合度を特定し、確立されることになるマッピング関係におけるユーザ情報の第1の信頼度として照合度を用いるステップと;確立されることになるマッピング関係におけるユーザ情報の第1の信頼度を記憶するステップと;確立されることになるマッピング関係におけるユーザ情報と、確立されることになるマッピング関係におけるユーザ識別子との間のマッピング関係を確立するステップと;を含む。
ユーザのユーザ識別子に対しユーザにより編集されたユーザ情報、及び、ユーザのユーザ識別子に対し他のユーザにより編集されたユーザ情報の両方に対し、ユーザにより編集されたユーザ情報と履歴データとの間の照合度(第1の信頼度)をサーバが特定することが分かる。
履歴データは、前述したネットワーク共有データや閲覧履歴データであっても、過去の消費のデータ、チャットデータ等であってもよく、ここでは限定されない。
また、ユーザ情報と履歴データとの間の照合度は、様々な計算方法を用いて算出してよい。ここでは、説明のため、次に記す比較的容易な照合度計算方法を用いる(なお、この方法は本願に限定を課すものではない)。即ち、履歴データにおけるユーザ情報のパーセンテージを算出し、頻度に基づいてユーザ情報と履歴データとの間の照合度を特定する。例えば、前述の例におけるユーザYについて、ユーザYのアカウントuserYに対し他のユーザにより編集されたユーザタグ(ユーザ情報の1種)は「映画のエキスパート」である。アカウントuserYが微博アカウントであると想定すると、アカウントuserYの履歴データは微博履歴データであってよい。アカウントuserYの、微博履歴データにおける映画に関するデータのパーセンテージが95%であると想定すると、アカウントuserYのユーザタグ「映画のエキスパート」と履歴データとの間の照合度を0.95と特定してよい。
類似の方法を用いて、任意のユーザ識別子に対し、異なるユーザ情報と履歴データとの間の照合度(第1の信頼度)が特定される。サーバは、ユーザ識別子とユーザ情報との間のマッピング関係を確立する工程において、ユーザ情報の第1の信頼度を記憶する。
例えば、以下の表1は、サーバに記憶された、アカウントuserYに対応するユーザタグと各ユーザタグに対応する第1の信頼度とを例示する。
Figure 2019516175
サーバは、ユーザ情報の第1の信頼度を記憶した後、後続のARグラフィックデータを生成する工程においてARグラフィックの表示形態及び表示状態を特定してよい。
前述の内容において、サーバは、サーバに記憶された各ユーザ識別子に対応する履歴データに基づき、ユーザ情報に対応する第1の信頼度を特定する。この工程は、ビッグデータ検証工程とみなしてよい。
しかしながら、実際のアプリケーションにおいて、ユーザの特徴の一部は、履歴データからは完全に反映され得ない。引き続き前述の例において、ユーザXによりユーザXのアカウントuserXに対して編集されたユーザタグ「食のエキスパート」が履歴データと照合しない場合であっても、それは、ユーザXが食に関する知識を持っていないことを意味するのではない。換言すれば、履歴データは、ユーザがネットワーク環境において、対応するネットワーク操作を行った上で生成されるデータに過ぎず、ユーザ特徴や属性を絶対的に表現するのではない。
このことに鑑み、本願のこの実施においては、履歴データに基づき特定される第1の信頼度に加え、ユーザ情報の他の信頼度が、ユーザ間で行われる特定の操作(例えば、賞賛評価やコメントの作成)に基づいて特定されてよい。
具体的に、本方法は:記憶された各ユーザ情報に対し、当該ユーザ情報に対して特定の操作を行う他の複数のユーザを特定するステップと;ユーザのレベルに基づき、他の複数のユーザの各々に対し、ユーザによりユーザ情報に対して行われる特定の操作により生成されたスコアを特定するステップと;他の複数のユーザの各々に対し特定されたスコアに基づき、ユーザ情報の第2の信頼度を特定して記憶するステップと;を更に含む。
特定の操作は、ユーザのフォローと、コメントの作成と、賞賛評価とを含むが、これらに限定されるものではない。
そのレベルは、アカウントレベルと、クレジットレベルと、注目度レベルとを含むが、これらに限定されるものではない。(注目度レベルは、フォロワ数に基づき特定されてよい。換言すれば、フォロワが多いほど注目度レベルも高くなる)
前述の内容からは、比較的レベルの高いユーザが特定のユーザ情報に対して、賞賛評価やコメント作成等の操作を行った場合、比較的レベルの高いユーザは信頼度が高いため、当該ユーザ情報は信頼できる、ということが分かる。実際のアプリケーションにおいて、第2の信頼度の特定の値は、特定の操作を行うユーザのレベルと、対応する信頼度係数との積に基づき特定してよい(方法においては、信頼度係数とユーザのレベルとの間には正の相関関係がある)。これは、本願に限定を課すものではない。
本願のこの実施の方法において、特定のユーザ情報が信頼できるかどうかは、ユーザ情報に対して特定の操作を行う他のユーザの人数に基づき特定してよい。引き続き前述の例において、1000人の他のユーザがアカウントuserYのユーザタグ「映画のエキスパート」に対して賞賛評価の操作を行った場合、1000人の他のユーザがユーザタグを認容しているとみなしてよい。この方法は、ユーザタグの信頼度を向上させる。
前述の内容に基づき、ユーザ情報の第1の信頼度及び第2の信頼度が特定されてよい。実際のアプリケーションにおいて、対応するユーザ情報は、特定した2種類の信頼度に基づいてユーザ識別子に対応する全ユーザ情報から取得してよい。具体的には、特定されたユーザ識別子に対応するユーザ情報を取得するステップは:ユーザ情報のトータルの信頼度を、ユーザ情報の記憶された第1の信頼度と第2の信頼度とに基づいて特定するステップと;トータルの信頼度に基づいて、トータルの信頼度が所定の信頼度閾値以上であるユーザ情報を取得するステップと;を含む。
本願のこの実施において、ユーザ情報のトータルの信頼度は、重みを用いて特定してよい。その詳細は、R=w1r1+w2r2である。ここで、Rはユーザ情報のトータルの信頼度であり、r1はユーザ情報の第1の信頼度であり、w1は第1の信頼度の重みであり、r2はユーザ情報の第2の信頼度であり、w2は第2の信頼度の重みであり、w1とw2とは必要に応じて調節できる。これは、本願に限定を課すものではない。
なお、実際のアプリケーションにおいては、ユーザ識別子が複数のユーザ情報を有してよい(例えば、ユーザのアカウントが、十数から数十のユーザタグに対応する)。全ユーザ情報が取得されたら、ARグラフィックデータが生成された後、全ユーザ情報が対応するARデバイスにおいて表示される。この場合、情報が高密度で表示されるため表示が混沌としており、ユーザが、対応するARグラフィックを閲覧する際、ユーザに影響が及ぶ。よって、ユーザ識別子に対応する全ユーザ情報を取得することは適切でない。
したがって、本願のこの実施の方法においては、トータルの信頼度を特定した後、トータルの信頼度に基づきユーザ情報を選択してよい。例えば、所定の信頼度閾値が8であると想定すると、トータルの信頼度が8以上であるユーザタグが、ユーザYのアカウントuserYの全ユーザタグから取得される。これにより、以後ARデバイスがARグラフィックを表示する場合、ユーザY上に表示されるユーザタグは、トータルの信頼度が8以上のユーザタグとなる。
本願のこの実施の他の方法においては、ユーザ識別子に対応するユーザ情報が、異なる種類のユーザ情報を含んでよい。例えば、2つのユーザタグ「カフェラテ大好き」及び「金融マネジメントのエキスパート」は、異なるシナリオにおけるユーザの2つの特徴を反映する。実際のアプリケーションにおいて、ユーザ識別子に対応するユーザ情報は、通常、対応するサービスのシナリオに関連している。引き続き前述の例において、ユーザタグ「カフェラテ大好き」は飲料に関するシナリオ(例えば、ユーザがコーヒー店にいる場合)で表示されるのにより適しており、ユーザタグ「金融マネジメントのエキスパート」は金融に関するシナリオ(例えば、ユーザが銀行にいる場合)で表示されるのにより適している。換言すれば、ユーザ情報を取得する工程において、ユーザ情報は、対応するサービスのシナリオに基づき、ユーザ識別子に対応する複数のユーザ情報の中から選択されてよい。
具体的には、特定したユーザ識別子に対応するユーザ情報を取得するステップは:環境情報を取得するステップと;環境情報に基づきサービスのシナリオを特定するステップと;サービスのシナリオに基づき、サービスのシナリオと照合するユーザ情報を取得するステップと;を更に含む。
環境情報は、ネットワーク情報、位置情報、地理的識別情報等を含むが、これらに限定されるものではない。
ネットワーク情報は、具体的には、ARデバイスがアクセスするネットワークに対応するIPアドレスやネットワーク名等の情報であってよい。位置情報は、ARデバイスの位置情報であってよい。地理的位置識別情報は、道標やRFID(無線周波数識別)機能を有する識別チップにより提供され、実際の場所を識別するために用いられる情報であってよい。実際の場所は、ホテル、企業、ショッピングモール、空港等を含んでよい。
ARデバイスを使っているユーザの現在の環境及びARデバイスにより取得されたユーザの環境を、前述の環境情報に基づき特定し、これら2つの環境に基づいて、対応するユーザ情報を取得してよい。
例えば、コーヒー店において、従業員MはARメガネを用いており、ARメガネは、コーヒー店における現実の情景の画像をリアルタイムに取得する。ARメガネは無線ネットワークを介して対応するサーバに接続されており、サーバは、コーヒー店におけるRFID機能を有する地理的識別チップに基づき、ARメガネが位置する実際の場所が当該コーヒー店であることを特定すると想定する。
この場合、ユーザXがコーヒー店に入店した際、ARメガネはユーザXのユーザ画像を取得してサーバへ送信し、サーバはユーザXの全ユーザタグを特定する。サーバは、ARデバイスが位置する実際の場所がコーヒー店であることを把握しているため、ユーザXの全ユーザタグのうちコーヒー店に関するサービスのシナリオのユーザタグを選択する。ユーザXのユーザタグの1つが「カフェラテ大好き」であると想定する。サーバは、ユーザタグ「カフェラテ大好き」を取得し、ユーザタグに基づき対応するARグラフィックデータを生成してARメガネへ送信する。図4aに例示するように、ユーザXとユーザタグ「カフェラテ大好き」のARグラフィックとがARメガネに表示される。これにより、従業員Mは、ユーザXのコーヒーに関する好みを直観的に把握できる。
また、コーヒー店における他のユーザもARデバイスを用いている場合、図4aに似たARグラフィックが、それらのユーザが用いるARデバイスにも表示される。
同様に、銀行において、従業員NはARメガネを用いており、銀行が類似のRFID地理的識別子を有すると想定すると、サーバはRFID地理的識別子を通じて、ARメガネが位置する実際の場所が銀行であることを特定できる。ユーザXが銀行に入店し、従業員Nが用いるARメガネがユーザXのユーザ画像を取得し、ユーザXに対応する全ユーザタグのうち銀行に関連する金融サービスのシナリオのユーザタグを特定すると想定する。ユーザXのユーザタグの1つが「金融マネジメントのエキスパート」であると想定すると、サーバはユーザタグを取得しユーザタグに基づいて、対応するARグラフィックデータを生成する。図4bに例示するように、ユーザXとユーザタグ「金融マネジメントのエキスパート」のARグラフィックとがARメガネに表示される。これにより、従業員Nは、ユーザXの金融サービスに関する特性を直観的に把握でき、以後、対応する金融の商品をユーザXに推奨できる。
前述の2つの例からは、サーバは、ARデバイスの位置やARデバイスが位置する実際の場所(環境情報)に応じて、異なるサービスのシナリオを特定し、ARデバイスにより取得されたユーザ画像に対応するユーザ情報から、サービスのシナリオを満足するユーザ情報を取得できることが分かる。この方法では、ユーザ情報のARグラフィックを表示するにあたって、ARデバイスのインテリジェンスが向上している。
実際のアプリケーションにおいては、ユーザ識別子に対応するユーザ情報を取得するための前述の2つの方法(一方の方法では、ユーザ情報のトータルの信頼度に基づき、ユーザ識別子に対応するユーザ情報を取得し、他方の方法では、環境情報に基づき、対応するサービスのシナリオを特定する)は、別々に用いてもよいし組み合わせて用いてもよい。2つの方法を組み合わせて用いる場合、実際のアプリケーションにおいては、環境情報と照合し且つトータルの信頼度が所定の信頼度閾値以上であるユーザ情報を取得してよい。このようにして、より高精度のユーザ情報を取得できる。これは、本願に限定を課すものではない。
また、如何なるユーザでも他のユーザの対応するユーザ情報を編集でき、ユーザに対し他のユーザにより編集されたユーザ情報を認容できる。換言すれば、第1のユーザは、第2のユーザに対し対応するユーザ情報を編集する。この場合、この方法は、第1のユーザに対応するユーザ識別子を特定するステップ;第1のユーザにより編集されたユーザ情報と第1のユーザのユーザ識別子との間の編集関係を記録し記憶するステップと;を更に含む。
換言すれば、ユーザ間で相互にユーザ情報を編集する場合、サーバは、特定のユーザ情報を編集するユーザを記録する。このことに関連し、画像が、第1のユーザのエンドデバイスによりリアルタイムに取得され送信されたものである場合、特定されたユーザ識別子に対応するユーザ情報を取得するステップは:第2のユーザのユーザ識別子に対応するユーザ情報を特定するステップと;第2のユーザのユーザ識別子に対応するユーザ情報から第1のユーザのユーザ識別子と編集関係にあるユーザ情報を取得するステップと;を具体的に含む。
例えば、コーヒー店について、様々な顧客の消費習慣に応じて顧客の各々に対して対応するユーザタグが編集される。ユーザYに対して編集されたユーザタグが「カフェラテ大好き」及び「コーヒーの温め不要」であり、編集関係がサーバに記憶されていると想定する。
ある時点で、ユーザYがコーヒー店に入店し、コーヒー店の従業員MはARメガネを用いていると想定する。この場合、ARメガネがユーザYのユーザ画像を取得し、ARメガネとサーバとの間のネットワーク接続を通じて取得した画像をサーバへ送信する。サーバは、ユーザ画像がユーザYであると特定し、記憶された編集関係に基づきユーザタグ「カフェラテ大好き」とユーザタグ「コーヒーの温め不要」とを取得する。
換言すれば、ユーザYは複数のユーザタグを有し、一部のユーザタグは他のコーヒー店の従業員により編集されている可能性があるが、サーバは、従業員Mが勤務するコーヒー店により編集された2つのユーザタグのみを取得する。
したがって、図5に例示するように、ユーザYの2つのユーザタグ「カフェラテ大好き」及び「コーヒーの温め不要」が、従業員Mが用いるARメガネに表示される。その上で、従業員Mは、これら2つのユーザタグに基づき対応するサービスをユーザYに提供してよい。
本願のこの実施の他の方法においては、サーバが、ユーザ情報のトータルの信頼度に基づきARグラフィックの表示効果を調節してよい。例えば、ユーザ情報の信頼度が高い場合、ユーザ情報のテキストが大きなサイズに設定されてよい。同様に、ユーザ情報の輝度や色が設定されてよい。このことに関連し、ユーザ情報に対応するARグラフィックデータを生成するステップは:ユーザ識別子に対応するユーザ情報のトータルの信頼度に基づきユーザ情報の表示状態パラメータを特定するステップと;表示状態パラメータに基づき、ユーザ情報とユーザ情報の表示状態パラメータとを含むARグラフィックデータを生成するステップと;を具体的に含む。
表示状態パラメータは、色パラメータと、輝度パラメータと、サイズパラメータとのうち少なくとも1つを含む。
本願の実施において提供されるサーバ側の情報表示方法を上で説明した。本願の実施は、更に、エンドデバイス側の情報表示方法を提供し、この方法は具体的に以下の各ステップを含む。
ステップ1:画像をリアルタイムに取得しサーバへ送信する。
画像はユーザ画像を含み、サーバが、画像に含まれるユーザ画像を特定し、ユーザ画像に対応するユーザ識別子を特定し、特定したユーザ識別子に対応するユーザ情報を、事前に記憶されたユーザ識別子とユーザ情報との間のマッピング関係に基づき取得し、取得したユーザ情報に基づきユーザ情報に対応するARグラフィックデータを生成し、ARグラフィックデータをエンドデバイスへ返信する。
本願のこの実施において、エンドデバイスは、画像取得機能を有するデバイスであってよい。詳細は上で説明しているので、ここでは省略する。
ステップ2:ユーザ情報に対応しサーバにより返信されたARグラフィックデータを受信する。
ステップ3:ARグラフィックデータに基づき、リアルタイムに取得された画像における対応するARグラフィックを表示する。ここで、ARグラフィックはユーザ画像にリアルタイムで追従する。
本願の実施において提供される情報表示方法は上記の通りである。同じ思想に基づき、本願の実施は、図6に例示するように、情報表示デバイスを更に提供する。
図6における情報表示デバイスは:エンドデバイスによりリアルタイムに取得され送信された画像を受信するよう構成された受信モジュール601と;画像に含まれるユーザ画像を特定するよう構成されたユーザ画像モジュール602と;ユーザ画像に対応するユーザ識別子を特定するよう構成されたユーザ識別子モジュール603と;特定されたユーザ識別子に対応するユーザ情報を、事前に記憶されたユーザ識別子とユーザ情報との間のマッピング関係に基づき取得するように構成されたユーザ情報モジュール604と;取得したユーザ情報に基づきユーザ情報に対応するARグラフィックデータを生成し、ARグラフィックデータをエンドデバイスへ返信するように構成されたARモジュール605であって、ARグラフィックはユーザ画像にリアルタイムで追従し、エンドデバイスが、リアルタイムに取得された画像における対応するARグラフィックを、受信したARグラフィックデータに基づき表示する、前記ARモジュール605と;を含む。
具体的には、エンドデバイスはARデバイスを含む。本願のこの実施の方法において、ARデバイスは、少なくとも、ARメガネ、ARヘルメット、AR機能を有する携帯電話、AR機能を有するコンピュータ、及びAR機能を有するロボットを含む。
ユーザ画像モジュール602は、画像に含まれるユーザ画像を抽出するため、画像に対してキャラクタ認識処理を行うように具体的に構成される。
ユーザ識別子モジュール603は、特定されたユーザ画像に基づき画像特徴を抽出し、複数のユーザ識別子にそれぞれ対応する、事前に記憶された複数のユーザ特徴から、抽出された画像特徴と照合するユーザ特徴を特定し、特定されたユーザ特徴に対応するユーザ識別子を、ユーザ画像に対応するユーザ識別子として用いるように具体的に構成される。
事前に記憶されたユーザ特徴は、生体計測的特徴を含む。生体計測的特徴は、顔面特徴、指紋特徴、掌紋特徴、網膜特徴、人体の輪郭の特徴、歩容特徴、声紋特徴のうち少なくとも1つを含む。
生体計測的特徴が顔面特徴を含む場合、受信モジュール601は、エンドデバイスによりリアルタイムに取得され送信されたマルチフレーム画像を受信するように具体的に構成される。
また、ユーザ識別子モジュール603は、各フレーム画像におけるユーザ画像から顔面特徴を抽出し、抽出された顔面特徴に基づき3次元の顔面モデルを構築し、複数のユーザ識別子にそれぞれ対応する、事前に記憶された複数の3次元の顔面モデルから、構築された3次元の顔面モデルと照合する3次元の顔面モデルを特定するように具体的に構成される。
生体計測的特徴が歩容特徴を含む場合、受信モジュール601は、エンドデバイスによりリアルタイムに取得され送信されたマルチフレーム画像を受信するように具体的に構成される。
また、ユーザ識別子モジュール603は、各フレーム画像におけるユーザ画像から歩容特徴を抽出し、複数のユーザ識別子にそれぞれ対応する、事前に記憶された複数の歩容特徴から、抽出された歩容特徴と照合する歩容特徴を特定するように具体的に構成される。
ユーザ情報モジュール604は、ユーザのユーザ識別子に対してユーザにより編集されたユーザ情報を受信し、ユーザのユーザ識別子に対してユーザにより編集されたユーザ情報に基づき、ユーザ識別子とユーザ情報との間のマッピング関係を確立し記憶するように、又は、第2のユーザ対して第1のユーザにより編集されたユーザ情報を受信し、第2のユーザ対して第1のユーザにより編集されたユーザ情報に基づき、第2のユーザのユーザ識別子とユーザ情報との間のマッピング関係を確立し記憶するように、具体的に構成される。
ユーザ情報モジュール604は:ユーザ識別子に対応する履歴データを取得し;履歴データに基づき、確立されることになるマッピング関係におけるユーザ情報と履歴データとの間の照合度を特定し、確立されることになるマッピング関係におけるユーザ情報の第1の信頼度として照合度を用い;確立されることになるマッピング関係におけるユーザ情報の第1の信頼度を記憶し;確立されることになるマッピング関係におけるユーザ情報と確立されることになるマッピング関係におけるユーザ識別子との間のマッピング関係を確立するように具体的に構成される。
本デバイスは、記憶された各ユーザ情報に対し、当該ユーザ情報に対して特定の操作を行う他の複数のユーザを特定し、ユーザのレベルに基づき、他の複数のユーザの各々に対し、ユーザによりユーザ情報に対して行われる特定の操作により生成されたスコアを特定し、他の複数のユーザの各々に対し特定されたスコアに基づき、ユーザ情報の第2の信頼度を特定して記憶するように構成された相互認証モジュール606を更に含む。
特定の操作は、ユーザのフォローと、コメントの作成と、賞賛評価とのうち少なくとも1つを含む。
そのレベルは、アカウントレベルと、クレジットレベルと、注目度レベルとのうち少なくとも1つを含む。
ユーザ情報モジュール604は、ユーザ情報のトータルの信頼度を、ユーザ情報の記憶された第1の信頼度と第2の信頼度とに基づいて特定し、トータルの信頼度に基づき、トータルの信頼度が所定の信頼度閾値以上であるユーザ情報を取得するように具体的に構成される。
ユーザ情報モジュール604は、環境情報を取得し、環境情報に基づきサービスのシナリオを特定し、サービスのシナリオに基づき、サービスのシナリオと照合するユーザ情報を取得するように更に構成される。
環境情報は、ネットワーク情報と、位置情報と、地理的識別情報とのうち少なくとも1つを含む。
本デバイスは、第1のユーザに対応するユーザ識別子を特定し、第1のユーザにより編集されたユーザ情報と第1のユーザのユーザ識別子との間の編集関係を記録し記憶するように構成された編集関係記録モジュール607を更に含む。
画像が、第1のユーザのエンドデバイスによりリアルタイムに取得され送信されたものである場合、ユーザ情報モジュール604は、第2のユーザのユーザ識別子に対応するユーザ情報を特定し、第2のユーザのユーザ識別子に対応するユーザ情報から、第1のユーザのユーザ識別子との間で編集関係にあるユーザ情報を取得するように具体的に構成される。
ARモジュール605は、ユーザ識別子に対応するユーザ情報のトータルの信頼度に基づいてユーザ情報の表示状態パラメータを特定し、表示状態パラメータに基づいて、ユーザ情報とユーザ情報の表示状態パラメータとを含むARグラフィックデータを生成するように具体的に構成される。表示状態パラメータは、色パラメータと、輝度パラメータと、サイズパラメータとのうち少なくとも1つを含む。
同じ思想に基づき、本願の実施は、図7に例示するように、情報表示デバイスを更に提供する。このデバイスは:ユーザ画像を含む画像をリアルタイムに取得しサーバへ送信するように構成された取得モジュール701であって、サーバが画像に含まれるユーザ画像を特定し、ユーザ画像に対応するユーザ識別子を特定し、特定したユーザ識別子に対応するユーザ情報を、事前に記憶されたユーザ識別子とユーザ情報との間のマッピング関係に基づき取得し、取得したユーザ情報に基づきユーザ情報に対応するARグラフィックデータを生成し、ARグラフィックデータをエンドデバイスへ返信する、前記取得モジュール701と;ユーザ情報に対応しサーバにより返信されたARグラフィックデータを受信するように構成された受信モジュール702と;リアルタイムに取得された画像における対応するARグラフィックを、ARグラフィックデータに基づいて表示するよう構成された表示モジュール703であって、ARグラフィックはユーザ画像にリアルタイムで追従する、表示モジュール703と;を含む。
前述の内容を参照し、本願の実施は、図8に例示するように、情報表示システムを更に提供する。このシステムは、情報表示デバイス80とエンドデバイス81とを含む。
エンドデバイス81は、リアルタイムに画像を取得し、画像を情報表示デバイス80へ送信し、画像に含まれるユーザ画像に対応し情報表示デバイス80により返信された受信ARグラフィックデータに基づいて、リアルタイムに取得された画像における対応するARグラフィックを表示するように構成される。ARグラフィックはユーザ画像にリアルタイムで追従する。
情報表示デバイス80は:エンドデバイスによりリアルタイムに取得された画像を受信し、画像に含まれるユーザ情報に対応するARグラフィックデータを生成するように構成されたARインテリジェントモジュール801と;受信された画像に基づき、画像に含まれるユーザ画像を特定し、ユーザ画像に対応するユーザ識別子を特定するように構成された認識検証モジュール802と;特定したユーザ識別子に対応するユーザ情報を、事前に記憶されたユーザ識別子とユーザ情報との間のマッピング関係に基づき取得するように構成されたタグ管理モジュール803と;ユーザ識別子に対応する履歴データを取得し、履歴データに基づき、確立されることになるマッピング関係におけるユーザ情報と履歴データとの間の照合度を特定し、確立されることになるマッピング関係におけるユーザ情報の第1の信頼度として照合度を用い、確立されることになるマッピング関係におけるユーザ情報の第1の信頼度を記憶し、確立されることになるマッピング関係におけるユーザ情報と確立されることになるマッピング関係におけるユーザ識別子との間のマッピング関係を確立するよう構成されたビッグデータリスク制御モジュール804と;記憶された各ユーザ情報に対し、当該ユーザ情報に対して特定の操作を行う他の複数のユーザを特定し、ユーザのレベルに基づき、他の複数のユーザの各々に対し、ユーザによりユーザ情報に対して行われる特定の操作により生成されたスコアを特定し、他の複数のユーザの各々に対し特定されたスコアに基づき、ユーザ情報の第2の信頼度を特定して記憶するよう構成された相互認証モジュール805と;を含む。
典型的な構成では、コンピューティングデバイスは、1つ又は複数のプロセッサ(CPU)、入力/出力インターフェイス、ネットワークインターフェイス、及びメモリを含む。
メモリは、読み出し専用メモリ(ROM)又はフラッシュメモリ(フラッシュRAM)のような、コンピュータ可読媒体内の揮発性メモリ、ランダムアクセスメモリ(RAM)及び/又は不揮発性メモリの形態を含むことができる。メモリは、コンピュータ可読媒体の一例である。
コンピュータ可読媒体は、揮発性及び不揮発性、取り外し可能及び取り外し不能媒体を含み、任意の方法又は技術を使用して情報を格納することができる。情報は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータであり得る。コンピュータ記憶媒体には、パラメータランダムアクセスメモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、他のタイプのランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、フラッシュメモリ、又は他のメモリ技術、コンパクトディスク読み出し専用メモリ(CD‐ROM)、デジタル多用途ディスク(DVD)、又は他の光学記憶装置、磁気テープ、磁気ディスク記憶装置、又は他の磁気記憶デバイス、又は他の任意の非伝送媒体を含むことができるがこれらに限定されない。コンピュータ記憶媒体は、コンピューティングデバイスによってアクセスされ得る情報を記憶するために使用され得る。本明細書に記載されているように、コンピュータ可読媒体は、一時的媒体、例えば、変調データ信号及び搬送波を含まない。
「含む(include)」及び「含む(contain)」という用語又はそれらの任意の他の変形は、非排他的な包含をカバーすることを意図しており、一連の要素を含むプロセス、方法、物品又はデバイスは、これらの要素のみを含むだけでなく、明示的に列挙されていない他の要素をも含む、又は、そのようなプロセス、方法、物品、又はデバイスに固有の要素を更に含む。「を含む(includes a ...)」付いている要素は、それ以上の制約がなければ、その要素を含むプロセス、方法、物品、又はデバイスに追加の同一要素が存在することを排除しない。
当業者は、本願の実施が、方法、システム、又はコンピュータプログラム製品として提供され得ることを理解すべきである。したがって、本願は、ハードウェアのみの実施、ソフトウェアのみの実施、又はソフトウェアとハードウェアの組み合わせを用いた実施を用いることができる。更に、本願は、コンピュータ使用可能なプログラムコードを含む、1つ又は複数のコンピュータ使用可能な記憶媒体(ディスクメモリ、CD−ROM、光学メモリなどを含むがこれに限定されない)上に実装されるコンピュータプログラム製品の形態を使用することができる。
前述の説明は、本願の単なる実施であり、本願を限定する意図はない。当業者であれば、本願は様々な修正及び変更を行うことができる。本願の精神及び原理においてなされた任意の修正、均等物の置換、改良などは、本願の請求項の範囲内に入るものとする。

Claims (33)

  1. 情報表示方法であって:
    エンドデバイスによりリアルタイムに取得され送信された画像を受信するステップと;
    前記画像に含まれるユーザ画像を特定するステップと;
    前記ユーザ画像に対応するユーザ識別子を特定するステップと;
    特定した前記ユーザ識別子に対応するユーザ情報を、事前に記憶されたユーザ識別子とユーザ情報との間のマッピング関係に基づき取得するステップと;
    取得した前記ユーザ情報に基づき前記ユーザ情報に対応するAR(Augmented reality:拡張現実)グラフィックデータを生成し、前記ARグラフィックデータを前記エンドデバイスへ返信するステップであって、前記ARグラフィックは前記ユーザ画像をリアルタイムに追従し、前記エンドデバイスが、リアルタイムに取得される前記画像における対応するARグラフィックを、前記受信したARグラフィックデータに基づいて表示する、前記返信するステップと;を備える、
    情報表示方法。
  2. 前記エンドデバイスはARデバイスを備え、
    前記ARデバイスは、少なくとも、ARメガネと、ARヘルメットと、AR機能を有する携帯電話と、AR機能を有するコンピュータと、AR機能を有するロボットとを備える、
    請求項1に記載の方法。
  3. 前記画像に含まれるユーザ画像を特定する前記ステップは、前記画像に含まれる前記ユーザ画像を抽出するため、前記画像に対してキャラクタ認識処理を行うステップを具体的に備える、
    請求項1又は請求項2に記載の方法。
  4. 前記ユーザ画像に対応するユーザ識別子を特定する前記ステップは:
    前記特定されたユーザ画像に基づき画像特徴を抽出するステップと;
    複数のユーザ識別子にそれぞれ対応する、事前に記憶された複数のユーザ特徴から、抽出された前記画像特徴と照合するユーザ特徴を特定するステップと;
    前記特定されたユーザ特徴に対応するユーザ識別子を、前記ユーザ画像に対応する前記ユーザ識別子として用いるステップと;を備える、
    請求項1又は請求項2に記載の方法。
  5. 事前に記憶された前記複数のユーザ特徴が生体計測的特徴を備え、
    前記生体計測的特徴が、顔面特徴と、指紋特徴と、掌紋特徴と、網膜特徴と、人体の輪郭の特徴と、歩容特徴と、声紋特徴とのうち少なくとも1つを備える、
    請求項4に記載の方法。
  6. 前記生体計測的特徴が前記顔面特徴を備える場合、エンドデバイスによりリアルタイムに取得され送信された画像を受信する前記ステップは:
    前記エンドデバイスによりリアルタイムに取得され送信されたマルチフレーム画像を受信するステップを具体的に備え、
    複数のユーザ識別子にそれぞれ対応する、事前に記憶された複数のユーザ特徴から、抽出された前記画像特徴と照合するユーザ特徴を特定する前記ステップは:
    各フレーム画像におけるユーザ画像から顔面特徴を抽出するステップと;
    抽出された前記顔面特徴に基づき3次元の顔面モデルを構築するステップと;
    複数のユーザ識別子にそれぞれ対応する、事前に記憶された複数の3次元の顔面モデルから、構築された前記3次元の顔面モデルと照合する3次元の顔面モデルを特定するステップと;を具体的に備える、
    請求項5に記載の方法。
  7. 前記生体計測的特徴が前記歩容特徴を備える場合、エンドデバイスによりリアルタイムに取得され送信された画像を受信する前記ステップは:
    前記エンドデバイスによりリアルタイムに取得され送信されたマルチフレーム画像を受信するステップを具体的に備え、
    複数のユーザ識別子にそれぞれ対応する、事前に記憶された複数のユーザ特徴から、抽出された前記画像特徴と照合するユーザ特徴を特定する前記ステップは:
    各フレーム画像におけるユーザ画像から歩容特徴を抽出するステップと;
    複数のユーザ識別子にそれぞれ対応する、事前に記憶された複数の歩容特徴から、抽出された前記歩容特徴と照合する歩容特徴を特定するステップと;を具体的に備える、
    請求項5に記載の方法。
  8. ユーザ識別子とユーザ情報との間のマッピング関係を事前に記憶することは:
    ユーザのユーザ識別子に対して前記ユーザにより編集されたユーザ情報を受信し、前記ユーザの前記ユーザ識別子に対して前記ユーザにより編集された前記ユーザ情報に基づき、前記ユーザ識別子と前記ユーザ情報との間のマッピング関係を確立し記憶するステップ;又は、
    第2のユーザ対して第1のユーザにより編集されたユーザ情報を受信し、前記第2のユーザ対して前記第1のユーザにより編集された前記ユーザ情報に基づき、前記第2のユーザのユーザ識別子と前記ユーザ情報との間のマッピング関係を確立し記憶するステップ;を具体的に備える、
    請求項1又は請求項2に記載の方法。
  9. ユーザ識別子とユーザ情報との間のマッピング関係を確立し記憶する前記ステップは:
    前記ユーザ識別子に対応する履歴データを取得するステップと;
    前記履歴データに基づき、確立されることになる前記マッピング関係における前記ユーザ情報と前記履歴データとの間の照合度を特定し、確立されることになる前記マッピング関係における前記ユーザ情報の第1の信頼度として前記照合度を用いるステップと;
    確立されることになる前記マッピング関係における前記ユーザ情報の前記第1の信頼度を記憶し、確立されることになる前記マッピング関係における前記ユーザ情報と、確立されることになる前記マッピング関係における前記ユーザ識別子との間の前記マッピング関係を確立するステップと;を具体的に備える、
    請求項8に記載の方法。
  10. 記憶された各ユーザ情報に対し、当該ユーザ情報に対して特定の操作を行う他の複数のユーザを特定するステップと;
    前記ユーザのレベルに基づき、前記他の複数のユーザの各々に対し、前記ユーザにより前記ユーザ情報に対して行われる前記特定の操作により生成されるスコアを特定するステップと;
    前記他の複数のユーザの各々に対して特定された前記スコアに基づき、前記ユーザ情報の第2の信頼度を特定して記憶するステップと;を更に備え、
    前記特定の操作は、フォローと、コメントの作成と、賞賛評価とのうち少なくとも1つを備え、
    前記レベルが、アカウントレベルと、クレジットレベルと、注目度レベルとのうち少なくとも1つを備える、
    請求項9に記載の方法。
  11. 特定した前記ユーザ識別子に対応するユーザ情報を取得する前記ステップは:
    ユーザ情報のトータルの信頼度を、前記ユーザ情報の記憶された第1の信頼度と第2の信頼度とに基づき特定するステップと;
    前記トータルの信頼度に基づき、トータルの信頼度が所定の信頼度閾値以上である前記ユーザ情報を取得するステップと;を具体的に備える、
    請求項10に記載の方法。
  12. 特定した前記ユーザ識別子に対応するユーザ情報を取得する前記ステップは:
    環境情報を取得するステップと;
    前記環境情報に基づきサービスのシナリオを特定するステップと;
    前記サービスのシナリオに基づき、前記サービスのシナリオと照合する前記ユーザ情報を取得するステップと;を更に備え、
    前記環境情報は、ネットワーク情報と、位置情報と、地理的識別情報とのうち少なくとも1つを備える、
    請求項11に記載の方法。
  13. 前記第1のユーザに対応するユーザ識別子を特定するステップと;
    前記第1のユーザにより編集された前記ユーザ情報と前記第1のユーザの前記ユーザ識別子との間の編集関係を記録し記憶するステップと;を更に備える、
    請求項8に記載の方法。
  14. 前記画像は、前記第1のユーザのエンドデバイスによりリアルタイムに取得され送信され;
    特定した前記ユーザ識別子に対応するユーザ情報を取得する前記ステップは:
    前記第2のユーザの前記ユーザ識別子に対応するユーザ情報を特定するステップと;
    前記第2のユーザの前記ユーザ識別子に対応する前記ユーザ情報から前記第1のユーザの前記ユーザ識別子との間で前記編集関係にある前記ユーザ情報を取得するステップと;を備える、
    請求項13に記載の方法。
  15. 前記ユーザ情報に対応するARグラフィックデータを生成する前記ステップは:
    前記ユーザ識別子に対応する前記ユーザ情報の前記トータルの信頼度に基づき前記ユーザ情報の表示状態パラメータを特定するステップと;
    前記表示状態パラメータに基づき、前記ユーザ情報と前記ユーザ情報の表示状態パラメータとを備える前記ARグラフィックデータを生成するステップと;を備え、
    前記表示状態パラメータが、色パラメータと、輝度パラメータと、サイズパラメータとのうち少なくとも1つを備える、
    請求項11に記載の方法。
  16. 情報表示方法であって:
    画像をリアルタイムに取得し、前記画像をサーバへ送信するステップであって、前記画像はユーザ画像を備え、サーバが前記画像に含まれる前記ユーザ画像を特定し、前記ユーザ画像に対応するユーザ識別子を特定し、特定した前記ユーザ識別子に対応するユーザ情報を、事前に記憶されたユーザ識別子とユーザ情報との間のマッピング関係に基づき取得し、取得した前記ユーザ情報に基づき前記ユーザ情報に対応するARグラフィックデータを生成し、前記ARグラフィックデータをエンドデバイスへ返信する、前記送信するステップと;
    前記ユーザ情報に対応し前記サーバにより返信された前記ARグラフィックデータを受信するステップと;
    前記ARグラフィックデータに基づき、リアルタイムに取得された前記画像における対応するARグラフィックを表示するステップであって、前記ARグラフィックは前記ユーザ画像にリアルタイムで追従する、前記表示するステップと;を備える、
    情報表示方法。
  17. 情報表示デバイスであって:
    エンドデバイスによりリアルタイムに取得され送信された画像を受信するよう構成された受信モジュールと;
    前記画像に含まれるユーザ画像を特定するように構成されたユーザ画像モジュールと;
    前記ユーザ画像に対応するユーザ識別子を特定するように構成されたユーザ識別子モジュールと;
    特定した前記ユーザ識別子に対応するユーザ情報を、事前に記憶されたユーザ識別子とユーザ情報との間のマッピング関係に基づき取得するように構成されたユーザ情報モジュールと;
    取得した前記ユーザ情報に基づき前記ユーザ情報に対応するARグラフィックデータを生成し、前記ARグラフィックデータを前記エンドデバイスへ返信するように構成されたARモジュールであって、前記ARグラフィックは前記ユーザ画像にリアルタイムで追従し、前記エンドデバイスが、リアルタイムに取得された前記画像における対応するARグラフィックを、受信した前記ARグラフィックデータに基づき表示する、前記ARモジュールと;を備える、
    情報表示デバイス。
  18. 前記エンドデバイスがARデバイスを備え、
    前記ARデバイスが、少なくとも、ARメガネと、ARヘルメットと、AR機能を有する携帯電話と、AR機能を有するコンピュータと、AR機能を有するロボットとを備える、
    請求項17に記載のデバイス。
  19. 前記ユーザ画像モジュールは、前記画像に含まれる前記ユーザ画像を抽出するため、前記画像に対してキャラクタ認識処理を行うよう具体的に構成された、
    請求項17又は請求項18に記載のデバイス。
  20. 前記ユーザ識別子モジュールは:
    特定された前記ユーザ画像に基づき画像特徴を抽出し;
    複数のユーザ識別子にそれぞれ対応する、事前に記憶された複数のユーザ特徴から、抽出された前記画像特徴と照合するユーザ特徴を特定し;
    特定された前記ユーザ特徴に対応するユーザ識別子を、前記ユーザ画像に対応する前記ユーザ識別子として用いるように具体的に構成された、
    請求項17又は請求項18に記載のデバイス。
  21. 事前に記憶された前記複数のユーザ特徴が生体計測的特徴を備え、
    前記生体計測的特徴は、顔面特徴と、指紋特徴と、掌紋特徴と、網膜特徴と、人体の輪郭の特徴と、歩容特徴と、声紋特徴とのうち少なくとも1つを備える、
    請求項20に記載のデバイス。
  22. 前記生体計測的特徴が前記顔面特徴を備える場合、前記受信モジュールは、前記エンドデバイスによりリアルタイムに取得され送信されたマルチフレーム画像を受信するように具体的に構成され、
    前記ユーザ識別子モジュールは、各フレーム画像におけるユーザ画像から顔面特徴を抽出し、抽出された前記顔面特徴に基づき3次元の顔面モデルを構築し、複数のユーザ識別子にそれぞれ対応する、事前に記憶された複数の3次元の顔面モデルから、構築された前記3次元の顔面モデルと照合する3次元の顔面モデルを特定するように具体的に構成された、
    請求項21に記載のデバイス。
  23. 前記生体計測的特徴が前記歩容特徴を備える場合、前記受信モジュールが、前記エンドデバイスによりリアルタイムに取得され送信されたマルチフレーム画像を受信するように具体的に構成され、
    前記ユーザ識別子モジュールが、各フレーム画像におけるユーザ画像から歩容特徴を抽出し、複数のユーザ識別子にそれぞれ対応する、事前に記憶された複数の歩容特徴から、抽出された前記歩容特徴と照合する歩容特徴を特定するように具体的に構成された、
    請求項21に記載のデバイス。
  24. 前記ユーザ情報モジュールは:
    ユーザのユーザ識別子に対して前記ユーザにより編集されたユーザ情報を受信し、前記ユーザの前記ユーザ識別子に対して前記ユーザにより編集された前記ユーザ情報に基づき、前記ユーザ識別子と前記ユーザ情報との間のマッピング関係を確立し記憶するように;又は、
    第2のユーザ対して第1のユーザにより編集されたユーザ情報を受信し、前記第2のユーザ対して前記第1のユーザにより編集された前記ユーザ情報に基づき、前記第2のユーザのユーザ識別子と前記ユーザ情報との間のマッピング関係を確立し記憶するように;具体的に構成された、
    請求項17又は請求項18に記載のデバイス。
  25. 前記ユーザ情報モジュールは:
    前記ユーザ識別子に対応する履歴データを取得し、前記履歴データに基づき、確立されることになる前記マッピング関係における前記ユーザ情報と前記履歴データとの間の照合度を特定し、確立されることになる前記マッピング関係における前記ユーザ情報の第1の信頼度として前記照合度を用い、確立されることになる前記マッピング関係における前記ユーザ情報の前記第1の信頼度を記憶し、確立されることになる前記マッピング関係における前記ユーザ情報と、確立されることになる前記マッピング関係における前記ユーザ識別子との間の前記マッピング関係を確立するように具体的に構成された、
    請求項24に記載のデバイス。
  26. 記憶された各ユーザ情報に対し、当該ユーザ情報に対して特定の操作を行う他の複数のユーザを特定し、ユーザのレベルに基づき、前記他の複数のユーザの各々に対し、前記ユーザにより前記ユーザ情報に対して行われる前記特定の操作により生成されたスコアを特定し、前記他の複数のユーザの各々に対し特定された前記スコアに基づき、前記ユーザ情報の第2の信頼度を特定して記憶するように構成された相互認証モジュールを更に備え、
    前記特定の操作が、フォローと、コメントの作成と、賞賛評価とのうち少なくとも1つを備え、
    前記レベルが、アカウントレベルと、クレジットレベルと、注目度レベルとのうち少なくとも1つを備える、
    請求項25に記載のデバイス。
  27. 前記ユーザ情報モジュールは、ユーザ情報のトータルの信頼度を、前記ユーザ情報の記憶された第1の信頼度と第2の信頼度とに基づき特定し、前記トータルの信頼度に基づき、トータルの信頼度が所定の信頼度閾値以上である前記ユーザ情報を取得するように具体的に構成された、
    請求項26に記載のデバイス。
  28. 前記ユーザ情報モジュールは、環境情報を取得し、前記環境情報に基づきサービスのシナリオを特定し、前記サービスのシナリオに基づき、前記サービスのシナリオと照合する前記ユーザ情報を取得するように更に構成され、
    前記環境情報は、ネットワーク情報と、位置情報と、地理的識別情報とのうち少なくとも1つを備える、
    請求項27に記載のデバイス。
  29. 前記第1のユーザに対応するユーザ識別子を特定し、前記第1のユーザにより編集された前記ユーザ情報と、前記第1のユーザの前記ユーザ識別子との間の編集関係を記録し記憶するように構成された編集関係記録モジュールを更に備える、
    請求項24に記載のデバイス。
  30. 前記画像が、前記第1のユーザのエンドデバイスによりリアルタイムに取得され送信される場合、前記ユーザ情報モジュールは:
    前記第2のユーザの前記ユーザ識別子に対応するユーザ情報を特定し;
    前記第2のユーザの前記ユーザ識別子に対応する前記ユーザ情報から前記第1のユーザの前記ユーザ識別子との間で前記編集関係にある前記ユーザ情報を取得するように具体的に構成された、
    請求項29に記載のデバイス。
  31. 前記ARモジュールは、前記ユーザ識別子に対応する前記ユーザ情報の前記トータルの信頼度に基づき前記ユーザ情報の表示状態パラメータを特定し、前記表示状態パラメータに基づき、前記ユーザ情報と前記ユーザ情報の表示状態パラメータとを備える前記ARグラフィックデータを生成するように具体的に構成され、
    前記表示状態パラメータは、色パラメータと、輝度パラメータと、サイズパラメータとのうち少なくとも1つを備える、
    請求項27に記載のデバイス。
  32. 情報表示デバイスであって:
    画像をリアルタイムに取得し、前記画像をサーバへ送信するように構成された取得モジュールであって、前記画像はユーザ画像を含み、前記サーバが、前記画像に含まれる前記ユーザ画像を特定し、前記ユーザ画像に対応するユーザ識別子を特定し、特定した前記ユーザ識別子に対応するユーザ情報を、事前に記憶されたユーザ識別子とユーザ情報との間のマッピング関係に基づき取得し、取得した前記ユーザ情報に基づき前記ユーザ情報に対応するARグラフィックデータを生成し、前記ARグラフィックデータをエンドデバイスへ返信する、前記取得モジュールと;
    前記ユーザ情報に対応し前記サーバにより返信された前記ARグラフィックデータを受信するように構成された受信モジュールと;
    前記ARグラフィックデータに基づき、リアルタイムに取得された前記画像における対応するARグラフィックを表示するように構成された表示モジュールであって、前記ARグラフィックは前記ユーザ画像にリアルタイムで追従する、前記表示モジュールと;を備える、
    情報表示デバイス。
  33. 情報表示システムであって:
    エンドデバイスと情報表示デバイスとを備え;
    前記エンドデバイスは、リアルタイムに画像を取得し、前記画像を情報表示デバイスへ送信し、前記画像に含まれるユーザ画像に対応し前記情報表示デバイスにより返信された受信ARグラフィックデータに基づき、リアルタイムに取得された前記画像における対応するARグラフィックを表示するように構成され;
    前記ARグラフィックは前記ユーザ画像にリアルタイムで追従し;
    前記情報表示デバイスは;
    前記エンドデバイスによりリアルタイムに取得される前記画像を受信し、前記画像に含まれるユーザ情報に対応する前記ARグラフィックデータを生成するよう構成されたARインテリジェントモジュールと;
    受信された前記画像に基づき、前記画像に含まれる前記ユーザ画像を特定し、前記ユーザ画像に対応するユーザ識別子を特定するように構成された認識検証モジュールと;
    特定した前記ユーザ識別子に対応する前記ユーザ情報を、事前に記憶されたユーザ識別子とユーザ情報との間のマッピング関係に基づき取得するように構成されたタグ管理モジュールと;
    前記ユーザ識別子に対応する履歴データを取得し、前記履歴データに基づき、確立されることになるマッピング関係における前記ユーザ情報と前記履歴データとの間の照合度を特定し、確立されることになる前記マッピング関係における前記ユーザ情報の第1の信頼度として前記照合度を用い、確立されることになる前記マッピング関係における前記ユーザ情報の前記第1の信頼度を記憶し、確立されることになる前記マッピング関係における前記ユーザ情報と、確立されることになる前記マッピング関係における前記ユーザ識別子との間の前記マッピング関係を確立するように構成されたビッグデータリスク制御モジュールと;
    記憶された各ユーザ情報に対し、当該ユーザ情報に対して特定の操作を行う他の複数のユーザを特定し、前記ユーザのレベルに基づき、前記他の複数のユーザの各々に対し、前記ユーザにより前記ユーザ情報に対して行われる前記特定の操作により生成されたスコアを特定し、前記他の複数のユーザの各々に対し特定された前記スコアに基づき、前記ユーザ情報の第2の信頼度を特定して記憶するよう構成された相互認証モジュールと;を備える、
    情報表示システム。
JP2018551862A 2016-03-29 2017-03-20 情報の表示方法、デバイス、及びシステム Active JP6935421B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610186690.3A CN107239725B (zh) 2016-03-29 2016-03-29 一种信息展示方法、装置及系统
CN201610186690.3 2016-03-29
PCT/CN2017/077400 WO2017167060A1 (zh) 2016-03-29 2017-03-20 一种信息展示方法、装置及系统

Publications (3)

Publication Number Publication Date
JP2019516175A true JP2019516175A (ja) 2019-06-13
JP2019516175A5 JP2019516175A5 (ja) 2021-04-30
JP6935421B2 JP6935421B2 (ja) 2021-09-15

Family

ID=59962604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018551862A Active JP6935421B2 (ja) 2016-03-29 2017-03-20 情報の表示方法、デバイス、及びシステム

Country Status (15)

Country Link
US (2) US10691946B2 (ja)
EP (1) EP3438849A4 (ja)
JP (1) JP6935421B2 (ja)
KR (1) KR102293008B1 (ja)
CN (1) CN107239725B (ja)
AU (1) AU2017243515C1 (ja)
BR (1) BR112018069970A2 (ja)
CA (1) CA3019224C (ja)
MX (1) MX2018011850A (ja)
MY (1) MY189680A (ja)
PH (1) PH12018502093A1 (ja)
RU (1) RU2735617C2 (ja)
SG (1) SG11201808351QA (ja)
TW (1) TWI700612B (ja)
WO (1) WO2017167060A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239725B (zh) * 2016-03-29 2020-10-16 阿里巴巴集团控股有限公司 一种信息展示方法、装置及系统
US10242477B1 (en) * 2017-01-16 2019-03-26 Snap Inc. Coded vision system
CN107895325A (zh) * 2017-11-27 2018-04-10 启云科技股份有限公司 社群信息链接系统
CN109842790B (zh) 2017-11-29 2021-02-26 财团法人工业技术研究院 影像信息显示方法与显示器
TWI702531B (zh) * 2017-11-29 2020-08-21 財團法人工業技術研究院 影像資訊顯示方法、影像資訊顯示系統與顯示器
CN107958492A (zh) * 2017-11-30 2018-04-24 中国铁道科学研究院电子计算技术研究所 一种基于人脸识别的身份验证方法及装置
CN107894842A (zh) * 2017-12-19 2018-04-10 北京盈拓文化传媒有限公司 增强现实场景复原方法、终端及计算机可读存储介质
CN110555171B (zh) * 2018-03-29 2024-04-30 腾讯科技(深圳)有限公司 一种信息处理方法、装置、存储介质及系统
CN108510437B (zh) * 2018-04-04 2022-05-17 科大讯飞股份有限公司 一种虚拟形象生成方法、装置、设备以及可读存储介质
JP6542445B1 (ja) * 2018-07-31 2019-07-10 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法
CN109191180A (zh) * 2018-08-06 2019-01-11 百度在线网络技术(北京)有限公司 评价的获取方法及装置
CN109102874A (zh) * 2018-08-06 2018-12-28 百度在线网络技术(北京)有限公司 基于ar技术的医疗处理方法、装置、设备和存储介质
TWI691891B (zh) * 2018-09-07 2020-04-21 財團法人工業技術研究院 多重目標物資訊顯示方法及裝置
CN111046704B (zh) * 2018-10-12 2023-05-09 杭州海康威视数字技术股份有限公司 存储身份识别信息的方法和装置
TR201909402A2 (tr) * 2019-06-25 2021-01-21 Havelsan Hava Elektronik Sanayi Ve Ticaret Anonim Sirketi Servi̇s yöneli̇mli̇ bi̇r artirilmiş gerçekli̇k altyapisi si̇stemi̇
US20200410764A1 (en) * 2019-06-28 2020-12-31 Snap Inc. Real-time augmented-reality costuming
CN110673767A (zh) * 2019-08-19 2020-01-10 杨少波 一种信息显示方法及装置
KR20210057525A (ko) * 2019-11-12 2021-05-21 삼성전자주식회사 디스플레이의 속성을 변경하기 위한 전자 장치 및 전자 장치에서의 동작 방법
CN111104927B (zh) * 2019-12-31 2024-03-22 维沃移动通信有限公司 一种目标人物的信息获取方法及电子设备
CN111178305A (zh) * 2019-12-31 2020-05-19 维沃移动通信有限公司 信息显示方法及头戴式电子设备
US11410359B2 (en) * 2020-03-05 2022-08-09 Wormhole Labs, Inc. Content and context morphing avatars
CN112069480A (zh) * 2020-08-06 2020-12-11 Oppo广东移动通信有限公司 显示方法、装置、存储介质及可穿戴设备
CN112114667A (zh) * 2020-08-26 2020-12-22 济南浪潮高新科技投资发展有限公司 一种基于双目摄像头和vr设备的ar显示方法及系统
US11720896B1 (en) 2020-12-10 2023-08-08 Wells Fargo Bank, N.A. Apparatuses, computer-implemented methods, and computer program products for proximate financial transactions
KR20240021555A (ko) * 2022-08-10 2024-02-19 삼성전자주식회사 Ar 단말의 장치 타입에 따른 컨텐츠 제공 방법 및 장치
US20240078759A1 (en) * 2022-09-01 2024-03-07 Daekun Kim Character and costume assignment for co-located users
CN117291852A (zh) * 2023-09-07 2023-12-26 上海铱奇科技有限公司 一种基于ar的信息合成方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0433066A (ja) * 1990-05-24 1992-02-04 Nippon Telegr & Teleph Corp <Ntt> 個人識別装置
JP2013238991A (ja) * 2012-05-14 2013-11-28 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2014035642A (ja) * 2012-08-08 2014-02-24 Canon Inc 表示装置及びその制御方法、表示システム、プログラム
US20140368538A1 (en) * 2012-04-12 2014-12-18 Joshua J. Ratcliff Techniques for augmented social networking
JP2015162012A (ja) * 2014-02-26 2015-09-07 沖電気工業株式会社 顔照合装置及び顔照合方法並びにプログラム
JP2015219796A (ja) * 2014-05-20 2015-12-07 ヤフー株式会社 公証提供装置、公証提供方法及びプログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004286447A (ja) * 2003-03-19 2004-10-14 Nippon Telegr & Teleph Corp <Ntt> 道路情報表示システムおよびその方法
US8365147B2 (en) * 2008-02-27 2013-01-29 Accenture Global Services Limited Test script transformation architecture
US9143573B2 (en) * 2008-03-20 2015-09-22 Facebook, Inc. Tag suggestions for images on online social networks
US20100077431A1 (en) * 2008-09-25 2010-03-25 Microsoft Corporation User Interface having Zoom Functionality
US8988432B2 (en) * 2009-11-05 2015-03-24 Microsoft Technology Licensing, Llc Systems and methods for processing an image for target tracking
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
KR20120040573A (ko) * 2010-10-19 2012-04-27 주식회사 팬택 이동식 태그를 이용한 증강 현실 제공 장치 및 방법
KR101554776B1 (ko) * 2012-05-11 2015-09-22 안강석 피사체의 촬영을 통한 피사체 소스정보의 제공방법 및 이를 위한 서버와 휴대용 단말기
US10209946B2 (en) * 2012-08-23 2019-02-19 Red Hat, Inc. Augmented reality personal identification
US9338622B2 (en) * 2012-10-04 2016-05-10 Bernt Erik Bjontegard Contextually intelligent communication systems and processes
CN102981761A (zh) * 2012-11-13 2013-03-20 广义天下文化传播(北京)有限公司 用于移动终端应用程序的触发式交互方法
CN103970804B (zh) * 2013-02-06 2018-10-30 腾讯科技(深圳)有限公司 一种信息查询方法及装置
CN103294779A (zh) * 2013-05-13 2013-09-11 北京百度网讯科技有限公司 对象信息获取方法及设备
KR102098058B1 (ko) * 2013-06-07 2020-04-07 삼성전자 주식회사 뷰 모드에서 정보 제공 방법 및 장치
CN103577516A (zh) * 2013-07-01 2014-02-12 北京百纳威尔科技有限公司 内容显示方法和装置
CN103412953A (zh) * 2013-08-30 2013-11-27 苏州跨界软件科技有限公司 基于增强现实的社交方法
JP2015146550A (ja) * 2014-02-04 2015-08-13 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20150278214A1 (en) * 2014-04-01 2015-10-01 Tableau Software, Inc. Systems and Methods for Ranking Data Visualizations Using Different Data Fields
KR101629553B1 (ko) * 2014-05-29 2016-06-14 주식회사 듀얼어퍼처인터네셔널 이동 단말기에서 디스플레이 화면 제어 장치 및 그 방법
US9576058B2 (en) * 2014-09-16 2017-02-21 Facebook, Inc. Determining accuracies with which types of user identifying information identify online system users
US20160196584A1 (en) * 2015-01-06 2016-07-07 Facebook, Inc. Techniques for context sensitive overlays
US20160260064A1 (en) * 2015-03-03 2016-09-08 Gradberry Inc. Systems and methods for a career and courses portal
US9760790B2 (en) * 2015-05-12 2017-09-12 Microsoft Technology Licensing, Llc Context-aware display of objects in mixed environments
CN105338117B (zh) * 2015-11-27 2018-05-29 亮风台(上海)信息科技有限公司 用于生成ar应用和呈现ar实例的方法、设备与系统
CN105354334B (zh) * 2015-11-27 2019-04-26 广州视源电子科技股份有限公司 一种基于智能镜子的信息发布方法和智能镜子
CN107239725B (zh) * 2016-03-29 2020-10-16 阿里巴巴集团控股有限公司 一种信息展示方法、装置及系统
US10212157B2 (en) * 2016-11-16 2019-02-19 Bank Of America Corporation Facilitating digital data transfers using augmented reality display devices
EP3552387A4 (en) * 2016-12-06 2020-04-22 Gurule, Donn M. SYSTEMS AND METHODS FOR A CHRONOLOGICAL-BASED SEARCH ENGINE
US10109096B2 (en) * 2016-12-08 2018-10-23 Bank Of America Corporation Facilitating dynamic across-network location determination using augmented reality display devices
US10650597B2 (en) * 2018-02-06 2020-05-12 Servicenow, Inc. Augmented reality assistant
US10521685B2 (en) * 2018-05-29 2019-12-31 International Business Machines Corporation Augmented reality marker de-duplication and instantiation using marker creation information
US11170035B2 (en) * 2019-03-29 2021-11-09 Snap Inc. Context based media curation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0433066A (ja) * 1990-05-24 1992-02-04 Nippon Telegr & Teleph Corp <Ntt> 個人識別装置
US20140368538A1 (en) * 2012-04-12 2014-12-18 Joshua J. Ratcliff Techniques for augmented social networking
JP2013238991A (ja) * 2012-05-14 2013-11-28 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2014035642A (ja) * 2012-08-08 2014-02-24 Canon Inc 表示装置及びその制御方法、表示システム、プログラム
JP2015162012A (ja) * 2014-02-26 2015-09-07 沖電気工業株式会社 顔照合装置及び顔照合方法並びにプログラム
JP2015219796A (ja) * 2014-05-20 2015-12-07 ヤフー株式会社 公証提供装置、公証提供方法及びプログラム

Also Published As

Publication number Publication date
PH12018502093A1 (en) 2019-07-24
WO2017167060A1 (zh) 2017-10-05
US11036991B2 (en) 2021-06-15
EP3438849A4 (en) 2019-10-09
CA3019224A1 (en) 2017-10-05
CN107239725A (zh) 2017-10-10
MX2018011850A (es) 2019-08-05
KR20180124126A (ko) 2018-11-20
AU2017243515C1 (en) 2021-07-22
AU2017243515A1 (en) 2018-10-18
US10691946B2 (en) 2020-06-23
MY189680A (en) 2022-02-25
AU2017243515B2 (en) 2021-01-28
BR112018069970A2 (pt) 2019-01-29
TW201734712A (zh) 2017-10-01
SG11201808351QA (en) 2018-10-30
TWI700612B (zh) 2020-08-01
JP6935421B2 (ja) 2021-09-15
US20200285853A1 (en) 2020-09-10
RU2735617C2 (ru) 2020-11-05
KR102293008B1 (ko) 2021-08-27
RU2018137829A3 (ja) 2020-06-17
CA3019224C (en) 2021-06-01
RU2018137829A (ru) 2020-04-29
US20190026559A1 (en) 2019-01-24
EP3438849A1 (en) 2019-02-06
CN107239725B (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
AU2017243515B2 (en) Information display method, device and system
US11182615B2 (en) Method and apparatus, and storage medium for image data processing on real object and virtual object
US11250887B2 (en) Routing messages by message parameter
JP6662876B2 (ja) アバター選択機構
CN105934760B (zh) 利用计算机视觉辅助的适应性图像搜索
US20180268458A1 (en) Automated recommendation and virtualization systems and methods for e-commerce
US20150095228A1 (en) Capturing images for financial transactions
EP3234794A2 (en) Gallery of messages with a shared interest
US10565432B2 (en) Establishing personal identity based on multiple sub-optimal images
KR20230031323A (ko) 리뷰들을 위한 여행 기반 증강 현실 콘텐츠
KR20230028553A (ko) 여행과 연관된 증강 현실 기반 번역들
US20230111437A1 (en) System and method for content recognition and data categorization
KR20120009710A (ko) 얼굴 인식 기반의 가상 체험 서버 및 그 서비스 방법
WO2021213457A1 (zh) 数据处理方法、系统、空间及设备
KR102130968B1 (ko) 사물의 식별코드 생성에 기초한 사물 인터넷 통신 시스템 및 통신 방법
KR20230054237A (ko) 사물의 이미지 정보에 대응하는 사용자 아바타를 제공하기 위한 장치 및 방법
WO2024076399A1 (en) Methods, systems, apparatuses, and devices for personalizing menus of restaurants based on preferences

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200323

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200323

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200605

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20201228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210226

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210317

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210825

R150 Certificate of patent or registration of utility model

Ref document number: 6935421

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150