JP2015062120A - 緊急状態における使用、又は特殊機器との使用のためのモバイル情報ゲートウェイ - Google Patents

緊急状態における使用、又は特殊機器との使用のためのモバイル情報ゲートウェイ Download PDF

Info

Publication number
JP2015062120A
JP2015062120A JP2014188566A JP2014188566A JP2015062120A JP 2015062120 A JP2015062120 A JP 2015062120A JP 2014188566 A JP2014188566 A JP 2014188566A JP 2014188566 A JP2014188566 A JP 2014188566A JP 2015062120 A JP2015062120 A JP 2015062120A
Authority
JP
Japan
Prior art keywords
information
mobile information
gateway device
information gateway
human interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014188566A
Other languages
English (en)
Other versions
JP6467832B2 (ja
Inventor
バルラム ニキル
Nikhil Balram
バルラム ニキル
バークナー キャサリン
Barkner Catherine
バークナー キャサリン
トシッチ イヴァナ
Tosic Ivana
トシッチ イヴァナ
ウ ワヌミヌ
Wanmin Wu
ウ ワヌミヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2015062120A publication Critical patent/JP2015062120A/ja
Application granted granted Critical
Publication of JP6467832B2 publication Critical patent/JP6467832B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90—Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0167—Emergency system, e.g. to prevent injuries
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/04—Telephonic communication systems specially adapted for combination with other electrical systems with alarm systems, e.g. fire, police or burglar alarm systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/56—Details of telephonic subscriber devices including a user help function

Abstract

【課題】モバイル情報ゲートウェイは、 広い視野にオーバレイされた情報を提示するための画像供給及び表示機構を有するウェアラブル・ヒューマン・インタフェース・モジュールと、ヒューマン・インタフェース・モジュールとの間で情報を送出し、受け取るよう適合されたコンピューティング及び通信モジュールと、データを処理するよう結合されたバックエンド・サービス・サーバとを備える。
【解決手段】本発明は更に、モバイル情報ゲートウェイを使用する方法を含み、モバイル情報ゲートウェイ装置により、情報を捕捉する工程と、緊急状態を検出するよう、モバイル情報ゲートウェイ装置によって捕捉された情報を処理する工程と、モバイル情報ゲートウェイ装置によって捕捉された情報を解析して緊急応答を識別する工程と、緊急応答に対応する指示情報を取り出す工程と、モバイル情報ゲートウェイ装置上に指示情報を提供する工程とを含む。
【選択図】図１Ａ

Description

本出願は、内容全体を本明細書及び特許請求の範囲に援用する、西暦２０１３年９月２２日付けの「Ｍｏｂｉｌｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｇａｔｅｗａｙ Ｆｏｒ Ｈｅａｌｔｈ Ｃａｒｅ ａｎｄ Ｍｅｄｉｃａｌ Ｕｓｅｓ」と題する米国特許仮出願第６１／８８０，９７１号に基づく優先権を米国特許法第１１９条の下で主張する。
本明細書は一般に、モバイル・コンピューティング及び関連付けられた装置の分野に関する。より具体的には、本明細書は、ユーザが、何れの時点及び場所でも必要な関連情報に連続的にアクセスし、上記情報を使用することを可能にするモバイル情報ゲートウェイ及び方法に関する。更に具体的には、本明細書は、緊急状態における使用、又は特殊機器との使用のためのモバイル情報ゲートウェイに関する。
近年、コンピューティング機能と、タブレット、スマート・フォン、及びラップトップなどのモバイル・コンピューティング装置によって提供される機能は、劇的に増大している。今日のスマート・フォンの多くによって提供される処理能力は現在、ほんの数年前にデスクトップ・コンピュータに利用可能であった処理能力をも超えている。しかし、そのサイズ及びフォーム・ファクタが小さいことが理由で、データを入力し、ユーザに向けて情報を提示することは、スマート・フォンにとって依然として課題となっている。タブレット・コンピュータの場合にも、情報を入力することは困難であり、タブレットは、情報を提示するためのディスプレイのサイズが制限されている。
いくつかの理由で、モバイル・コンピューティング・デバイスは、物理的な場所において利用可能な体験を完全に置き換える、充実し、かつ完全な体験を提供することが十分でない限定された物理的な画面サイズを有する。第一に、既存のモバイル・コンピューティング・デバイスが備える視野は、満足に、他者と情報を共有し、又は、全てのタイプの情報を視るには狭すぎる。第二に、モバイル・コンピューティング・デバイスは、真の３Ｄ体験のために情報を表示する機能は有していない。第三に、既存のモバイル・コンピューティング・デバイスは、全てのタイプのマテリアルを入力し、全てのタイプのオブジェクトを満足に操作するためのインタフェースを提供しない。
本発明は、少なくとも部分的に、モバイル情報ゲートウェイの従来技術の欠点及び制限を解消する。一実施例では、モバイル情報ゲートウェイは、通信するために結合されたインタフェース装置、カメラ、オーディオ出力装置、オーディオ入力装置、及び、広視野で、かつ３次元で情報を提示するための画像供給及び表示機構を有するウェアラブル（装着可能な（ｗｅａｒｅａｂｌｅ））・ヒューマン・インタフェース・モジュール（ＨＩＭ）と、ウェアラブル・ヒューマン・インタフェース・モジュールと通信するために結合されたコンピューティング及び通信モジュール（ＣＣＭ）であって、ヒューマン・インタフェース・モジュールから情報を受け取るよう適合され、画像供給及び表示機構による提示のための情報を含む情報及びコマンドをインタフェース・モジュールに送出するよう適合され、コンピューティング及び通信モジュールは更に、通常のネットワークを介して通信するよう適合されたコンピューティング及び通信モジュールと、通常のネットワークを介してコンピューティング及び通信モジュールと通信するために結合された１つ又は複数のバックエンド・サービス・サーバであって、バックエンド・サービス・サーバは、ユーザ識別及び検証を含む、コンピューティング及び通信モジュールからのデータを処理する。
更に別の実施例では、モバイル情報ゲートウェイを使用する方法は、モバイル情報ゲートウェイ装置により、情報を捕捉する工程と、緊急状態を検出するよう、モバイル情報ゲートウェイ装置によって捕捉された情報を処理する工程と、モバイル情報ゲートウェイ装置によって捕捉された情報を解析して緊急応答を識別する工程と、緊急応答に対応する指示情報を取り出す工程と、モバイル情報ゲートウェイ装置上に指示情報を提供する工程とを含む。
本明細書及び特許請求の範囲記載の構成及び利点は、全て包含している訳でなく、多くの更なる構成及び利点は、図及び明細書に鑑み、当業者に明らかとなるであろう。更に、本明細書において使用される文言は、主に、本発明の主題の範囲を限定するものでなく、読みやすさ及び教示の目的で選択している。
モバイル情報ゲートウェイの一実施例を示す概略レベルのブロック図である。 モバイル情報ゲートウェイの第２の実施例を示す概略レベルのブロック図である。 モバイル情報ゲートウェイの第３の実施例を示す概略レベルのブロック図である。 コンピューティング及び通信モジュールに結合されたウェアラブル・ヒューマン・インタフェース・モジュールの一実施例を示す斜視図である。 ヒューマン・インタフェース・モジュールの一実施例を示すブロック図である。 コンピューティング及び通信モジュールの一実施例を示すブロック図である。 コンピューティング及び通信モジュールのメモリに記憶された例示的なソフトウェア・モジュールを示すブロック図である。 光源、駆動電子装置、結合並びに画像供給及び表示機構の一例を示す図である。 画像供給及び表示機構の一例を示す図である。 ３Ｄディスプレイの眼内投影の一例を示す図である。 眼内投影によって備えられる真の３Ｄディスプレイの一例を示す図である。 眼内投影によって備えられる真の３Ｄディスプレイの一例を示す図である。 モバイル情報ゲートウェイの非対称的使用の方法の一実施例を示すフローチャートである。 仮想キューを実現するモバイル情報ゲートウェイの対称的使用の方法の一実施例を示すフローチャートである。 複数のヒューマン・インタフェース・モジュールを使用して顧客に対応するためのモバイル情報ゲートウェイの対称的使用の方法の一実施例を示すフローチャートである。 モバイル情報ゲートウェイ・システムに関する使用のためのインテリジェント・ルームの一実施例を示すブロック図である。 医療又はヘルスケアの関係においてモバイル情報ゲートウェイ・システムを使用する方法の一実施例を示すフローチャートである。 インテリジェント・ルームを使用してリアルタイム・フィードバックを提供する方法の一実施例を示すフローチャートである。 ヒューマン・インタフェース・モジュールの基板上に情報をオーバレイした上記基板を通した領域の視野を示すグラフィック表示である。 ヒューマン・インタフェース・モジュールの基板上に情報をオーバレイした上記基板を通した領域の視野を示すグラフィック表示である。 ヒューマン・インタフェース・モジュールの基板上に情報をオーバレイした上記基板を通した領域の視野を示すグラフィック表示である。 ヒューマン・インタフェース・モジュールの基板上に情報をオーバレイした上記基板を通した領域の視野を示すグラフィック表示である。 ヒューマン・インタフェース・モジュールの基板上に情報をオーバレイした上記基板を通した領域の視野を示すグラフィック表示である。 第１のヒューマン・インタフェース・モジュールの第１の基板及び第２のヒューマン・インタフェースの第２の基板それぞれの上に情報をオーバレイした上記第１の基板及び第２の基板を通した領域の視野を示すグラフィック表示である。 第１のヒューマン・インタフェース・モジュールの第１の基板及び第２のヒューマン・インタフェースの第２の基板それぞれの上に情報をオーバレイした上記第１の基板及び第２の基板を通した領域の視野を示すグラフィック表示である。 患者又は患者の介護人による、モバイル情報ゲートウェイの非対称的使用の方法の一実施例を示すフローチャートである。
本明細書は、例として示しており、添付図面の図における限定して示すものでない。添付図面では、同様な数字は同様な構成要素を表すよう使用される。
図は、例証の目的のみで本発明の種々の実施例を表す。本明細書及び特許請求の範囲記載の本発明の原理から逸脱しない限り、本明細書及び特許請求の範囲に例証した構造及び方法の別の実施例を使用することができるということを当業者は以下の記載から容易に認識するであろう。
次に、システムが、銀行の窓口係、銀行の支店長、銀行の顧客サービス担当者、及び銀行の他の行員又は請負人によって使用される銀行業務、及びシステムが医療専門家、医師助手、医療技師によって使用され、場合によっては患者によって使用されるヘルスケアの具体的な使用事例の関係で本発明について説明する。本明細書及び特許請求の範囲使用の記述子は、システムの用途及び動作を説明するための好都合なラベルに過ぎず、何れかの個人がシステム１００のヒューマン・インタフェース・モジュール１０２又は他の構成部分を使用することが可能であり、支店、銀行、又は企業毎でなく、種々のグループに併せてグループ化することが可能である。本発明は、ユーザの肩書又は、主な、仕事上の責任と無関係に何れかの数のユーザに有用である。システムの利点は、図に示し、以下の例において説明するように互いに協働し、相互作用するためにその構成部分の協調、及びグループによる使用によって達成される。
システム概要
図１Ａは、本発明による、モバイル情報ゲートウェイ１００を示す概略レベルのブロック図である。一実施例では、モバイル情報ゲートウェイ１００の例証は、（本明細書及び特許請求の範囲において個々に、かつ併せて１０２としても表す）複数のヒューマン・インタフェース・モジュール１０２ａ−１０２ｎ、（本明細書及び特許請求の範囲において個々に、かつ併せて１０４としても表す）複数のコンピューティング及び通信モジュール１０４ａ−１０４ｎ、ネットワーク１０６、バックエンド・サービス・サーバ１０８、位置特定システム１１０、及び他のシステム１１２を含む。ヒューマン・インタフェース・モジュール１０２ａは、信号線１２０ａにより、対応するコンピューティング及び通信モジュール１０４ａと通信するために結合される。一部の実施例では、信号線１２０ａは、電力、コマンド及びデータ信号を供給する。一部の実施例では、信号線１２０ａは、個別のヒューマン・インタフェース・モジュール１０２ａと、コンピューティング及び通信モジュール１０４ａとの間の有線又は無線の通信機構であり得る。同様に、ヒューマン・インタフェース・モジュール１０２ｎは、対応するコンピューティング及び通信モジュール１０４との通信及び信号線１２０ｎによる通信のために結合される。ヒューマン・インタフェース・モジュール１０２と、コンピューティング及び通信モジュール１０４は好ましくは、ポータブルであり、単一のユーザによって併せて使用される。コンピューティング及び通信モジュール１０４ａ−１０４ｎはそれぞれ、信号線１２２ａ乃至１２２ｎそれぞれを介してネットワーク１０６との通信のために結合される。信号線１２２ａ−１２２ｎは、コンピューティング及び通信モジュール１０４と、ネットワーク１０６との間の無線通信チャネルを表す。ネットワーク１０６は更に、バックエンド・サービス・サーバ１０８、位置特定システム１１０、及び他のシステム１１２との通信のために結合される。よって、コンピューティング及び通信モジュール１０４は、バックエンド・サービス・サーバ１０８、位置特定システム１１０、又は他のシステム１１２の何れかとネットワーク１０６を介して通信することができる。一部の実施例において、かつ本出願では、ヒューマン・インタフェース・モジュール１０２と、コンピューティング及び通信モジュール１０４は併せて、モバイル情報ゲートウェイ装置１３０として表される。
ヒューマン・インタフェース・モジュール１０２は、画像及びオーディオ捕捉機能、オーディオ供給及びスピーカ・システム、並びに、画像供給及び表示機構を含むウェアラブル・コンピューティング装置である。ヒューマン・インタフェース・モジュール１０２は好ましくは、３次元で１つ又は複数の画像を提示するために広視野を提供することができる画像供給及び表示機構を含む。画像供給及び表示機構は、実世界の上に、（グラフィックス、テキスト、画像、及びビデオなどの）ディジタル可視化をオーバレイする。オーディオ供給及びスピーカ・システムは、ユーザに向けてモノ・サウンド又はステレオ・サウンドを供給するオーディオ出力装置を含む。ヒューマン・インタフェース・モジュール１０２は更に、別々のセンサを使用して、画像、音、及び種々の他の情報を捕捉するための機能を含む。例えば、ヒューマン・インタフェース・モジュール１０２は、画像を処理し、ヒューマン・インタフェース・モジュール１０２によって提示されたデータを操作するための一方法としてジェスチャを認識する。別の例として、ヒューマン・インタフェース・モジュール１０２は、実世界のシーンを捕捉し、これをリアルタイムでコンピューティング及び通信モジュール１０４に供給する。コンピューティング及び通信モジュール１０４は、シーンの３Ｄ深度マップを生成し、かつ／又は、オブジェクト認識を行うよう画像を処理する。一部の実施例では、ヒューマン・インタフェース・モジュール１０２は、ポータブル光源を含む。ヒューマン・インタフェース・モジュール１０２は図２及び図３を参照して以下に更に詳細に説明する。
コンピューティング及び通信モジュール１０４は、ヒューマン・インタフェース・モジュール１０２のためのコンピューティング・サポートを提供する。コンピューティング及び通信モジュール１０４は、ヒューマン・インタフェース・モジュール１０２に信号線１２０によって結合される。一部の実施例では、信号線１２０は、表示データ、コマンド、及び電力を供給し、データ及びコマンドを受け取るための、中継光ファイバ及び電線の組み合わせである。コンピューティング及び通信モジュール１０４は、何れかのタイプのアプリケーションについて、汎用グラフィックス及びマルチメディア処理を提供する。コンピューティング及び通信モジュール１０４は、アンドロイド、ウィンドウズ（登録商標）、又はｉＯＳなどの通常のオペレーティング・システムを使用して動作し得る。コンピューティング及び通信モジュール１０４は更に、高帯域通信機能を有し、ネットワーク１０６との通信のために結合される。コンピューティング及び通信モジュール１０４は、図２及び図３を参照して以下に更に詳細に説明する。
ネットワーク１０６は、有線又は無線の通常のタイプであり、何れかの数の構成（例えば、スター構成、トークン・リング構成、又は他の構成）を有し得る。更に、ネットワーク１０６は、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）（例えば、インターネット）、及び／又は複数の装置が通信し得る何れかの他の相互接続されたデータ経路を含み得る。一部の実現形態では、ネットワーク１０６はピアツーピア・ネットワークであり得る。ネットワーク１０６は更に、各種通信プロトコルにおいてデータを送出するために通信ネットワークの一部分に結合され、又は上記一部分を含み得る。一部の実現形態では、ネットワーク１０６は、（例えば、ショート・メッセージング・サービス（ＳＭＳ）、マルチメディア・メッセージング・サービス（ＭＭＳ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、直接データ接続、ＷＡＰ、電子メール等を介して）データを送受信するためのブルートゥース（登録商標）通信ネットワーク、ワイファイ（登録商標）ネットワーク、又はセルラ通信ネットワークを含む。
バックエンド・サービス・サーバ１０８は、サービスを提供することができるネットワーク１０６に結合されたシステム又はサーバである。バックエンド・サービス・サーバ１０８は、ハードウェア・サーバ又はソフトウェア・サーバであり得る。バックエンド・サービス・サーバ１０８は、全部ハードウェア、全部ソフトウェア、又はハードウェア及びソフトウェアの組み合わせであり得る。バックエンド・サービス・サーバ１０８は、プロセッサ、メモリ、アプリケーション、データベース、及び他の情報を含み得る。単一のバックエンド・サービス・サーバ１０８のみを図１Ａに示しているが、何れかの数のバックエンド・サービス・サーバ１０８又はサービス・クラスタが存在し得る。一部の実施例では、別々のサーバが別々のサービスを提供する。例えば、バックエンド・サービス・サーバ１０８における別々のサービス構成部分は、銀行業、小売販売、運輸、食品サービス、ホテル及び住宅などの特定のバーティカル・ビジネスに関するサービスを提供し得る。同様に、バックエンド・サービス・サービス・サーバ１０８における別々のサービス構成部分は、画像処理、シーン解析、顔認識、虹彩検出及び認証、音声認識、暗号化、通訳、フォーマット変換等などの各種コンピューティング機能を提供し得る。一部の実施例では、バックエンド・サービス・サーバ１０８は更に、以下の機能を有するルーチン又はソフトウェアとして実現されたサービス推奨エンジンを含む。バックエンド・サービス・サーバ１０８は、ネットワーク１０６を介してコンピューティング及び通信モジュール１０４の１つ又は複数と通信するために結合される。
モバイル情報ゲートウェイは任意的には、位置特定システム１１０を含み得る。位置特定システム１１０は、コンピューティング及び通信モジュール１０４及び／若しくはヒューマン・インタフェース・モジュール１０２の位置及び向きを検出するためのビーコン、センサのグリッド若しくはアレイ、又は、一連のセンサであり得る。例えば、位置特定システム１１０は更に、ヒューマン・インタフェース・モジュール１０２並びに／又はコンピューティング及び通信モジュール１０４からのデータを使用して、その位置及び向きを求め得る。例えば、種々の屋内システムは、ヒューマン・インタフェース・モジュール並びに／又はコンピューティング及び通信モジュール１０４が使用される、より小規模の環境についての正確な位置及び向きの情報を得るために使用し得る。位置特定システム１１０は、ＧＰＳ、ワイファイ（登録商標）位置特定、セルラ位置特定、ＭＥＭＳセンサ、ブルートゥース（登録商標）ビーコン、屋内メッセージング・システム、近距離通信、ＲＦＩＤ、及び超音波ビーコン、カメラ・ネットワーク等を含み得る。更に、一部の実施例では、銀行の支店に入ると、顧客又はユーザには、無線送信器などのビーコンが与えられる。他の実施例では、ユーザのスマート・フォンは、ビーコンを生成して、銀行の支店内の顧客を位置特定するために使用し得る。前述の無線送信器は、特定の顧客を識別するために使用することが可能な固定コードを放出することが可能である。モバイル情報ゲートウェイ１００は、無線送信器からの信号を使用して、顧客の支店内の正確な位置を求める。前述の位置情報は次いで、窓口係が支店内で応対することになっている個人を位置特定することが可能であるように、モバイル情報ゲートウェイ装置１３０を装着している窓口係に提供することが可能である。
図１Ａにおける他のシステム１１２は、他の既存システムを表す。ヒューマン・インタフェース・モジュール１０２と、コンピューティング及び通信モジュール１０４は、他のシステム１１２とインタフェースし、相互作用することができる。ヒューマン・インタフェース・モジュール１０２と、コンピューティング及び通信モジュール１０４は情報及びコマンドを他のシステム１１２に送出し、又は他のシステム１１２から情報を受け取り得る。一部の実施例では、他のシステム１１２は、動きセンサ、壁ディスプレイ、コーヒー・メーカ、調光用投影システム、温度センサ、環境光センサ、人体健康状態監視センサ、汚染センサ、放射線センサ、ＨＶＡＣシステム等を含み得る。
図１Ｂは、モバイル情報ゲートウェイ１５０の第２の実施例の概略レベルのブロック図である。モバイル情報ゲートウェイ１５０の第２の実施例は、ヒューマン・インタフェース・モジュール１０２、コンピューティング及び通信モジュール１０４、及びバックエンド・サービス・サーバ１０８が、銀行業務の提供を向上させるために使用される特定の実施例を提供する。前述の例では、やはり、複数対のヒューマン・インタフェース・モジュール１０２、並びに、コンピューティング及び通信モジュール１０４（例えば、複数のモバイル情報ゲートウェイ装置１３０）が存在している。ヒューマン・インタフェース・モジュール１０２はそれぞれ、対応するコンピューティング及び通信モジュール１０４に結合される。モバイル情報ゲートウェイ１５０は、別々の位置に配置されたセンサを備えた位置システム１１０も含む。前述の実施例では、コンピューティング及び通信モジュール１０４は、クラウドに配置されたバックエンド・サービス・サーバ１０８と通信する。ヒューマン・インタフェース・モジュール１０２は、ジェスチャなどのユーザ入力を受け取り、可視化器を介して画像を提示し、ユーザの音声をスクランブルし、又は暗号化するよう適合される。前述の機能は、ボックス１５２によって表され、ヒューマン・インタフェース・モジュール１０２、及び／並びに、コンピューティング及び通信モジュール１０４において動作可能である。別のシナリオでは、会話中の二人の間の電子オーディオ信号が暗号化される。例えば、第１のユーザであるアリス、及び第２のユーザであるボブは、私的な会話を行いたい場合、モバイル情報ゲートウェイ装置１３０ａ、１３０ｂを装着し得る。各モバイル情報ゲートウェイ装置１３０のヒューマン・インタフェース・モジュール１０２は、オーディオ入力（マイクロフォン）並びに出力（スピーカ及びイアフォン）の構成部分を有する。例えば、アリスが、話す／小声で話す場合、アリスの声は、モバイル情報ゲートウェイ装置１３０ａ上の自分のマイクロフォンによって捕捉され、ネットワークを介してボブのモバイル情報ゲートウェイ装置１３０ｂ上のボブのイヤホーンに送信される。次に、別の人であるチャクが、彼らの傍らに立っているとする。アリスの言葉がチャックの耳に入るのを避けるために、アリスのモバイル情報ゲートウェイ装置１３０ａは、アリスが話しているのをそのマイクロフォンが検出するや否やそのスピーカを介して特定のスクランブリング・オーディオ信号を出力することが可能である。スクランブリング信号は、アリスの通常の声、及びスクランブリング信号の混合が、理解できない（これは、チャックの耳に入るものである）ように企図することが可能である。アリス及びボブのイヤホーンは、スクランブリング信号が影響を与えないように、特定の雑音防止機能を有し得る。
一部の実施例では、ヒューマン・インタフェース・モジュール１０２、並びに、コンピューティング及び通信モジュール１０４は、銀行の顧客によって利用される。同じ又は他の実施例では、ヒューマン・インタフェース・モジュール１０２、並びに、コンピューティング及び通信モジュール１０４は、銀行の行員によって利用される。
前述の実施例におけるバックエンド・サービス・サーバ１０８は特に、バンキング・サービスの提供の一部である種々の機能を提供するよう適合される。例えば、バックエンド・サービス・サーバ１０８は、仮想窓口係、サービス推奨モジュール、窓口係推奨モジュール及びサービス監視モジュールを含む。仮想窓口係モジュールは、ヒューマン・インタフェース・モジュール１０２、並びに、コンピューティング及び通信モジュール１０４とインタフェースして、仮想窓口係を、顧客が前述装置を使用する場合に提示する。サービス推奨モジュールは、ヒューマン・インタフェース・モジュール１０２、並びに、コンピューティング及び通信モジュール１０４を使用して銀行の行員によって利用される。ヒューマン・インタフェース・モジュール１０２によって捕捉され、サービス推奨モジュール１０２に送出された画像及び他の情報に基づいて、一タイプのサービス又は商品に対する提案された推奨が、銀行担当者が顧客に提示し得るようにヒューマン・インタフェース・モジュール１０２のディスプレイ上に提示される。窓口係推奨モジュールを行員又は顧客によってアクセスし得、顧客を識別し、認証し得るように顧客についての情報が窓口係推奨モジュールに送出され、次いで、窓口係を顧客に推奨し得る。推奨される窓口係は、どの窓口係が、手がふさがっているか、又は最長の待ち時間を有しているか、顧客によって必要とされる専用サービスに関する窓口係の技能、窓口係と顧客との間の性格の釣り合い、窓口係と顧客との間の民俗学的な／言語特有の釣り合い、顧客と窓口係との間の（肯定的な、又は否定的な）やりとりの履歴、窓口係又は銀行の行員の専門知識等を含む種々の要因に基づく。サービス監視モジュールは、銀行のガイドラインに応じてサービスが提供されることを監視し、保証するためにヒューマン・インタフェース・モジュール１０２の何れか１つ又は全てからの情報を捕捉するためのモジュールである。前述のモジュールは、今度は、顧客管理者モジュール、予約管理者モジュール、又は認証者モジュールを訪ね、データベース・マネージャから入手可能なデータにアクセスし得る。データベースは、顧客、金融商品、サービス、セキュリティ、取引等についての情報を記憶する。認証モジュールは、顧客を認証し、銀行員を認証し、何れも特定の動作を行うことが認可されているということを認証するために使用される。予約管理者は、銀行員によるサービスの提供を管理し、次に誰に応対するか、及び提供する対象のサービスは何かについての推奨を行うことが可能である。
図１Ｃは、モバイル情報ゲートウェイ１７５の第３の実施例の概略レベルのブロック図である。モバイル情報ゲートウェイ１７５のこの第３の実施例では、モバイル情報ゲートウェイ１５０の第２の実施例について上述した機能と同一又は同様の機能を有する同様な構成部分を参照するために、同様な数字を使用している。構成部分が同様な機能を有する場合、その説明は本明細書では反復しない。しかし、モバイル情報ゲートウェイ１７５の第３の実施例は、特定の顕著な点で異なる。まず、バンクエンド・サービス・サーバ１０８は、一般的な３つのレイヤを含む。すなわち、（１）要求及びデータを受信し、送出するためにコンピューティング及び通信モジュール１０４と相互作用するサーバ・プロキシと、（２）仮想窓口係、商品の推奨、及び窓口係の推奨などのいくつかのサービス構成部分を含むサービスと、（３）データベース、記憶装置／ファイル・システム、及び第三者データを含み得るデータ源を含む。一部の実施例では、前述のレイヤは、ソフトウェア・レベルであり、コンピュータ又はサーバのクラスタを処理する。前述のコンピュータは、分散ネットワークを形成して、共通インタフェースを介してコンピューティング及び通信モジュール１０４にバック・エンド・サービスを提供する。
ヘルスケア及び緊急応答又は専用機器使用などの他の使用事例の場合、バック・エンド・サーバ１０８は図１Ｂ及び図１Ｃに表すような同様な編成及び構造を有し得る。しかし、前述のモジュールの一部は、わずかに異なる機能を行い得る。例えば、仮想窓口係モジュールでなく、仮想医師又は医療関係者モジュールが存在し得、サービス推奨モジュールでなく、トリアージ・モジュール又は医療サービス推奨モジュールが存在し得、窓口係推奨モジュールでなく、医療関係者推奨モジュールが存在し得、商品推奨モジュールでなく、医療製品推奨モジュールが存在し得る。更に、一部の使用事例の場合、データベース管理者及び関連付けられた認証情報を含まない図１Ｃの実施例は、緊急使用事例、又は専用機器の事例に、より適用可能であり得る。
図２は、信号線１２０により、コンピューティング及び通信モジュール１０４に結合されたウェアラブル・ヒューマン・インタフェース・モジュール１０２の一実施例の斜視図である。この実施例では、ウェアラブル・ヒューマン・インタフェース・モジュール１０２はめがねの形態を有する。例えば、画像供給及び表示機構３０２は、基板２０２（例えば、レンズ、又は回折エレメント）、及び基板２０２上に情報を投影する投影システム（図示せず。以下の３０２の説明を参照されたい）を含み得る。一部の実施例では、基板２０２は、透明な、又は光透過性の基板である。よって、ユーザは、基板２０２を通して領域を視る場合、投影された情報が、めがねを介して領域を視る場合に備えられる広視野上にオーバレイされているようにみえる。ウェアラブル・ヒューマン・インタフェース・モジュール１０２は、好ましくは、通常のめがねと同様な形態、構造、及び重量を有する一方、図３を参照して以下に更に詳細に説明する画像、オーディオ及び環境センシング機能、並びに、向上させた画像供給及び表示機能も有する。図２は、ウェアラブル・ヒューマン・インタフェース・モジュール１０２の一実施例のみを示す。他の実施例では、ウェアラブル・ヒューマン・インタフェース・モジュール１０２は、ブレースレット、腕時計、ヘッドセット等の形態をとり得る。この実施例における信号線１２０は中継光ファイバ及び電線を含む。中継光ファイバは、コンピューティング及び通信モジュール１０４からウェアラブル・ヒューマン・インタフェース・モジュール１０２に表示情報を供給する。電線は、ヒューマン・インタフェース・モジュール１０２と、コンピューティング及び通信モジュール１０４との間で電子信号及び電力を供給する。本実施例では、コンピューティング及び通信モジュール１０４は、スマート・フォンと同様な形態及び機能を有する。例えば、コンピューティング及び通信モジュール１０４は、プロセッサ、オペレーティング・システムを有するメモリ、音声及びデータ・チャネルを使用して無線で通信するための機能、カメラ、マイクロフォン、及び種々の他のセンサを含む。一部の実施例では、プロセッサは、ハードウェア・プロセッサ、コントローラ、又はマイクロプロセッサである。前述の実施例では、コンピューティング及び通信モジュール１０４は更に、スマート・フォンの形態と同様なフォーム・ファクタを有する。しかし、コンピューティング及び通信モジュール１０４は、ブレースレット、ペンダント、腕時計、携帯電話機、又は他のウェアラブル・コンピューティング形態のものと同様な他のフォーム・ファクタを有し得る。
図３は、ヒューマン・インタフェース・モジュール１０２の一実施例のブロック図である。前述の実施例では、ヒューマン・インタフェース・モジュール１０２は、画像供給及び表示機構３０２、オーディオ出力装置３０４、プロセッサ３０６、カメラ３０８、アイ・トラッキング・カメラ３１０、記憶装置又はメモリ３１２、オーディオ入力装置３１４、ＣＣＭインタフェース装置３１６、他のセンサ３１８、他の出力装置３２２、並びに電源３２４を備える。ヒューマン・インタフェース・モジュール１０２の前述の構成部分は、互いに通信するために、バス又はソフトウェア通信機構３２０に、通信可能に結合される。
画像供給及び表示機構３０２は、３次元での表示画面、双眼鏡のシースルーの（透明な）表示、大型画像を提示するために広視野を提供するシステムである。一実施例では、画像供給及び表示機構３０２は、仮想平面において画像を表示するための投影機構を含む。別の実施例では、画像供給及び表示機構３０２は、画像の眼内投影のための投影システムを含む。画像供給及び表示システム３０２の例示的な実施例を、図５乃至図８Ｂを参照して以下に示し、説明する。更に別の実施例では、画像が、ヒューマン・インタフェース・モジュール１０２を形成するめがねのレンズ上に投影される。更に別の実施例では、画像供給及び表示機構３０２は、壁上、デスクトップ上、テーブルトップ上、又は近傍の表面上に画像を投影する。画像供給及び表示機構３０２は、レーザ・ダイオード、走査型ファイバ・ディスプレイ、走査光ディスプレイ、３Ｄディスプレイ（ステレオスコープ、自動マルチスコープ、又は立体）、ライト・フィールド、基板案内光学系、光案内光学素子等を含み得る。画像供給及び表示機構３０２は、表示のための画像データを受け取るよう結合される。一実施例では、画像供給及び表示機構３０２はＣＣＭインタフェース３１６から直接、光信号を受け取る。別の実施例では、画像供給及び表示機構３０２は、バス３２０に結合され、プロセッサ３０６及びＣＣＭインタフェース装置３１６と協働して、提示のための画像を生成する。一部の実施例では、画像供給及び表示機構３０２は、度付きめがねが必要であるか否かに関わらず、誰によってもヒューマン・インタフェース・モジュール１０２を使用することが可能であるようにユーザの視能を矯正するための適応光学系を含む。更に別の実施例では、画像供給及び表示機構３０２は、他のセンサ３１８と協働して、周囲光条件を検出し、ディスプレイの画素毎不透明度のユーザ制御下での、又は、自動的な制御の手だてとなる。ヒューマン・インタフェース・モジュール１０２のめがねへのＵＶ光又は電気信号の印加などの他の調光機構も、ディスプレイに入る周囲光のレベルをディスプレイに調節させるよう備え得る。特に、医療又はヘルスケア・アプリケーション用に、画像及び供給機構３０２は、最小の表示要素（例えば、画素単位）で選択可能な不透明度でシースルー・ディスプレイを備え、装着者のモバイル情報ゲートウェイ装置１３０によって全面的に制御可能である。
ヒューマン・インタフェース・モジュール１０２は一般に、実世界のオブジェクト上の仮想情報のシーン適応オーバレイを可能にするウェアラブル装置である。特定の実施例に関わらず、「オーバレイする」又は「オーバレイされた」との語への言及は、シーン適応オーバレイを表す。本発明の実施例では、画像供給及び表示機構３０２は、視野上に第１の顧客に関する情報を「オーバレイする」か、又は取り出された情報が、視野上に「オーバレイされる」。すなわち、ユーザは、オーバレイによってブロックされていない実世界をみることができる。好ましい実施例では、画像供給及び表示機構３０２は、それを通って実世界をユーザの眼によって視ることが可能であり、その上を実オブジェクトの上又は隣にオーバレイして表示することが可能なシースルー媒体である。例えば、基板を通して実世界を視ることができる一方で、投影された情報を基板上で視ることが可能であるように、画像供給及び表示機構３０２が基板上に情報を投影することにより、前述のオーバレイを実現し得る。第２の実施例では、画像供給及び表示機構３０２は、情報を投影し、その後の領域は、できる限り、その後の実世界を遮って不透明にされる。しかし、投影されたオーバレイによって遮られない実世界の一部はユーザによって視ることが可能である。シーン情報全体から判断して、画像供給及び表示機構３０２は、特定のレンダリング手段（例えば、高輝度コントラスト、又は色コントラスト、フォント・スタイル／サイズ及びタイプ等）を選択し、よって、投影された情報は、実世界の背景に対して、目に見える。オーバレイされた仮想オブジェクトは、実オブジェクトから反射された光を完全に遮ることが可能であるか、又は光を部分的に透過することが可能である。更に別の実施例では、実世界はカメラで捕捉され、情報が、カメラによって捕捉されたビデオ上にディジタル形式でオーバレイされ、ユーザに向けて提示される。
オーディオ出力装置３０４は、オーディオ信号を受け取り、音を生成するために、バス３２０に結合される。オーディオ出力装置３０４は、イヤホーン、スピーカ、骨導スピーカ若しくはトランスデューサ、又は、外部スピーカ源に結合するためのオーディオ出力ジャックを含み得る。オーディオ出力装置３０４は、音を生成し、それをヒューマン・インタフェース・モジュール１０２のユーザに向けて出力する。オーディオ出力装置３０４は、プロセッサ３０６又はＣＣＭインタフェース装置３１６からの信号に応答する。例えば、オーディオ出力装置３０４は、秘密性の問題のために窓口係以外の第三者に顧客の声を理解できないようにするスクランブル・オーディオ信号を出力し得る。
プロセッサ３０６は、ヒューマン・インタフェース・モジュール１０２のための計算及び他の演算を行うために、算術論理装置、マイクロプロセッサ、汎用コントローラ又は特定の他のプロセッサ・アレイを含み得る。
プロセッサ３０６は、他の構成部分と通信するためにバス３２０に結合される。プロセッサ３０６は、データ信号を処理し、複合命令セット・コンピュータ（ＣＩＳＣ）アーキテクチャ、縮小命令セット・コンピュータ（ＲＩＳＣ）アーキテクチャ、又は命令セットの組み合わせを実現するアーキテクチャを含む種々のコンピューティング・アーキテクチャを含み得る。単一のプロセッサのみを図３に示すので、複数のプロセッサを含み得る。
カメラ３０８は画像捕捉装置であり得る。カメラ３０８は好ましくは、ヒューマン・インタフェース・モジュール１０２（例えば、めがね）を装着している場合のユーザの視野と同様な視野を有して、向きが前方である。カメラ３０８は、ＨＤカメラ、通常の２Ｄビデオ・カメラ、マルチスペクトル・カメラ、構造化照明３Ｄカメラ、タイムオブフライト３Ｄカメラ、又はステレオ・カメラ等であり得る。ヒューマン・インタフェース・モジュール１０２が、ジェスチャを検知し、認識し、顧客を認識し、認証し、顔認識を行い、顔／皮膚色認識を行い、実世界のシーンを解釈することが可能であるように、カメラ３０８は、画像を捕捉し、前述の画像をプロセッサ３０６及び記憶メモリ３１２に供給することができる。カメラ３０８は、画像及び他の処理済メタデータをプロセッサ３０６、記憶装置若しくはメモリ３１２、又はＣＣＭインタフェース装置３１６に供給するためにバス３２０に結合される。
アイ・トラッキング・カメラ３１０は同様に、画像捕捉装置である。アイ・トラッキング・カメラ３１０は、ヒューマン・インタフェース・モジュール１０２のユーザの顔に向けて内側を向いている。アイ・トラッキング・カメラ３１０は、ユーザの眼の動き、視線方向、及び虹彩細部を捕捉するために十分な分解能を有する。アイ・トラッキング・カメラ３１０は、プロセッサ３０６、記憶装置若しくはメモリ３１２、又はＣＣＭインタフェース装置３１６に情報を提供するためにバス３２０に結合される。アイ・トラッキング・カメラ３１０によって捕捉される画像は、一方又は両方の眼について眼の視線方向及び動きを求め、ヒューマン・インタフェース・モジュール１０２に対する制御又は他の入力にそれを変換することが可能である。アイ・トラッキング・カメラ３１０によって捕捉された画像は更に、虹彩の検出及び認識のためにコンピューティング及び通信モジュール１０４、又はバックエンド・サービス・サーバ１０８に画像を送出することなどにより、ユーザを識別し、認識するために使用することが可能である。一部の実施例では、アイ・トラッキング・カメラ３１０は任意である。
記憶装置又はメモリ３１２は、プロセッサ３０６によって実行し得る命令及び／又はデータを記憶する。メモリ２０６は、他の構成部分との通信のためにバス３２０に結合される。命令及び／又はデータは、本明細書及び特許請求の範囲記載の手法の何れか及び／又は全てを行うためのコードを含み得る。メモリ３１２は、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）装置、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）装置、フラッシュ・メモリ又は一部の他のメモリ装置であり得る。メモリ３１２は、プロセッサ３０６によって実行可能なオペレーティング・システム、アプリケーション、及び他のソフトウェア・モジュールを記憶し得る。
オーディオ入力装置３１４は、ヒューマン・インタフェース・モジュール１０２が使用される環境においてオーディオ信号を捕捉するためのマイクロフォン又は同様な装置であり得る。オーディオ入力装置３１４は更に、ヒューマン・インタフェース・モジュール１０２近くの音声及び他の音を捕捉するために使用し得る。オーディオ入力装置３１４は、プロセッサ３０６による更なる処理のために、又はメモリ３１２における記憶のために前述の信号を供給するためにバス３２０に結合される。例えば、オーディオ入力装置３１４は、音声認識に使用することが可能な信号を捕捉するために使用することが可能である。信号は、ユーザの識別若しくは認証のために、又は、コマンド若しくはデータを入力するために使用することが可能である。
ＣＣＭインタフェース装置３１６は、ヒューマン・インタフェース・モジュール１０２と、コンピューティング及び通信モジュール１０４との間の通信を容易にするための電子装置及び他のハードウェアである。ＣＣＭインタフェース３１６は、ヒューマン・インタフェース・モジュール１０２の他の構成部分との通信のためにバス３２０に結合される。ＣＣＭインタフェース３１６は更に、コンピューティング及び通信モジュール１０４と通信するために信号線１２０に結合される。以下に更に詳細に説明するように、ＣＣＭインタフェース３１６は、ヒューマン・インタフェース・モジュール１０２と、コンピューティング及び通信モジュール１０４との間で電力信号、光信号、及び電気信号を提供し得る。一部の実施例では、ＣＣＭインタフェース装置３１６は、ブルートゥース（登録商標）、ワイファイ（登録商標）、又は他の標準通信プロトコルなどを介してコンピューティング及び通信モジュール１０４と、ヒューマン・インタフェース・モジュール１０２が通信することを可能にするための他の通信装置を含み得る。
ヒューマン・インタフェース・モジュール１０２は更に、１つ又は複数の他のセンサ又は入力装置３１８を含む。例えば、他のセンサ３１８は、指で操作されるタッチ・パネル、３軸ジャイロスコープなどの動きセンサ、３軸加速度計、３軸磁気計、周囲光センサ、熱センサ、（汚染又は放射線用の）環境センサ、近接センサ、ＲＦ検出器、ＧＰＳセンサ、ヘッド・トラッカ、脳波センサ、ボタン、自己給電型インテリジェント・センサ、クレジット・カード・リーダ、脈拍数、呼吸数、発汗、及び、うそ発見型識別のための他のセンサなどの生体センサを含み得る。１つ又は複数の他のセンサ若しくは入力装置３１８は、プロセッサ３０６に信号を供給するためにバス３２０に結合される。
他の出力装置３２２は、ユーザに向けて更なるフィードバックを供給するためにバス３２０に結合され得る。例えば、ハプティック・フィードバックを供給するための他の出力装置３２２をヒューマン・インタフェース・モジュール１０２に一部として含み得る。
一部の実施例では、別の出力装置３２２は、紫外線光源などの照射装置である。照射装置は、通貨、識別カード、及び他の文書の真実性を認証するためにセキュリティ・システムとともに選択的に起動させ得る。紫外線光源は、別の出力装置３２２の一例に過ぎない。他の出力装置３２２は、偽物検出に使用される種々の他のタイプの出力装置を含み得る。照射装置は、照射装置が起動されている間にヒューマン・インタフェース・モジュール１０２から見えるところの通貨、識別カード又は他の文書の画像を捕捉する。照射装置が起動されている間に、カメラ３０８によって捕捉される画像は次いで、文書が本物であるか、又は偽物であるかを判定するようセキュリティ・システムによって画像処理され得る。例えば、多くの通貨は、紫外線光下で、より眼に見えるようになるセキュリティ・スレッド又は他のマーキングを有する。他の実施例では、偽物検出は、照射装置を必要としないが、画像処理は、ヒューマン・インタフェース・モジュール１０２によって捕捉された文書の画像に対して、ヒューマン・インタフェース・モジュール１０２、コンピューティング及び通信モジュール１０４、又はバックエンド・サービス・サーバ１０８によって行い得る。これは、特定のハイエンド複写機によって行われる画像解析と同様なものである。文書が偽物である場合、信号を生成し、ヒューマン・インタフェース・モジュール１０２、他のヒューマン・インタフェース・モジュール、又は種々の他のシステムに送出することが可能である。一部の実施例では、前述のプロセスは、ヒューマン・インタフェース・モジュール１０２の装着者が、偽物が検出されたことを知ることなく、自動的に起こる。他の実施例では、ヒューマン・インタフェース・モジュール１０２のユーザが文書を検査している間に、照射装置が選択的に起動されるので、文書におけるセキュリティ特徴は、ヒューマン・インタフェース・モジュール１０２の装着者によって直ちに識別可能である。実施例に応じて、照射装置と相互作用し、照射装置を制御するセキュリティ・システムは、ヒューマン・インタフェース・モジュール１０２、コンピューティング及び通信モジュール１０４、又はバックエンド・サービス・サーバ１０８の一部であり得る。一実施例では、セキュリティ・システムは、前述の構成部分１０２、１０４、及び１０８の何れか又は組み合わせを処理することが可能なソフトウェア又はルーチンである。
更に別の実施例では、出力装置３２２は、暗視機構であり、又は、ＬＥＤなどの通常の光源でもある。暗視機構は、ユーザに向けてヒューマン・インタフェース・モジュール１０２を介してシーンのエンハンス画像を提供する画像増強システムであり得る。あるいは、暗視システムは、近赤外線又は短波照射、及び低光量カメラなどのアクティブ照射を含み得る。更に別の実施例では、暗視機構は、ヒューマン・インタフェース・モジュール１０２を介してユーザにシーンの熱画像を供給するための熱撮像システムであり得る。
出力装置は、虹彩認識に使用されるＮＩＲ照射器を有し得る。
電源３２４はバッテリであり得る。一部の実施例では、バッテリは再充電可能であり、又は交換可能であり得る。上述の通り、一部の実施例では、ＣＣＭインタフェース装置３１６は、ヒューマン・インタフェース・モジュール１０２を動作させるための電力を供給する。前述の場合、電源３２４は任意であり、図３は破線で示す。
他のプロセッサ、オペレーティング・システム、センサ、ディスプレイ、及び物理的な構成部分が、ヒューマン・インタフェース・モジュール１０２について考えられる。例えば、ヒューマン・インタフェース・モジュール１０２は更に、光源（図示せず）も含み得る。
図４は、コンピューティング及び通信モジュール１０４の一実施例のブロック図である。この実施例では、コンピューティング及び通信モジュール１０４は、プロセッサ４０６、グラフィックス・モジュール４０８、マルチメディア・モジュール４１０、記憶装置又はメモリ４１２、電源３２４、ＨＩＭインタフェース装置４１６、通信装置４１８を含む。ＨＩＭインタフェース装置４１６は、駆動電子装置４０２及び光源４０４を含み得る。コンピューティング及び通信モジュール１０４の前述の構成部分は、互いに通信するためにバス又はソフトウェア通信機構４２０に、通信するよう結合される。一部の実施例では、コンピューティング及び通信モジュール１０４は任意的には、他のセンサ３１８及び他の出力装置３２２を含み得る。
一般に、コンピューティング及び通信モジュール１０４の構成部分は、ヒューマン・インタフェース・モジュール１０２の同様な構成部分よりも大きな性能及び速度を有する。ヒューマン・インタフェース・モジュール１０２が、主に、ユーザが新たなやり方で既存の情報と相互作用し、それにより、顧客に対するよりよく新たなサービス、及び併せて、情報と相互作用する新たなやり方を提供するインタフェース及びアフォーダンスを生成する役割を果たすように処理機能を分割又は区画化することができる。コンピューティング及び通信モジュール１０４は、主に、ヒューマン・インタフェース・モジュール１０２が、情報を処理し、他のリソースとの、より高速な通信を容易にすることを支援する役割を果たす。本明細書及び特許請求の範囲記載のものと別の、ヒューマン・インタフェース・モジュール１０２、コンピューティング及び通信モジュール１０４、並びに、バックエンド・サービス・サーバ１０８間の各種他の分業が存在し得る。しかし、前述の他の編成は本願明細書及び特許請求の範囲によって想定され、特定の分業は、モバイル情報ゲートウェイ１００が使用される特定のアプリケーション又はビジネス・コンテキストに適合させることが可能である。
一部の実施例では、コンピューティング及び通信モジュール１０４は、制御、コマンド及びデータを入力するためのジェスチャ・インタフェースを含み得る。更に、コンピューティング及び通信モジュール１０４は、プローブ、医療装置、銀行窓口係用機器、ライトペン、ポインタ、又は、特定のバーティカル・ビジネス用の何れの他の専用機器などの他の装置及びシステムへの「アダプタ」又はインタフェースとしての役目を担い得る。一部の実施例では、コンピューティング及び通信モジュール１０４は、視覚情報をレンダリングする役割を果たし得、ヒューマン・インタフェース・モジュール１０２は、レンダリングされたデータのみを表示する役割を果たし得る。一部の実施例では、コンピューティング及び通信モジュール１０４は、ヒューマン・インタフェース・モジュール１０２に送出する前に画像、ビデオ、又はオーディオ・データを復号化し、トランスコードし、伸張し、又は復号し得る。
一般に、ほとんどの計算は、コンピューティング及び通信モジュール１０４で行われるべきである。ヒューマン・インタフェース・モジュール１０２は、そのセンサ及び出力装置に対して最小量の計算を行うべきである。前述の計算にはほとんど、画像、オーディオ信号、及び／又は他の情報の捕捉、必要に応じた圧縮、更なる処理のための、コンピューティング及び通信モジュール１０４への送信が関係する。
プロセッサ４０６は、図３を参照して上述したものと同様であり、よって、ここでは説明は反復しない。しかし、プロセッサ４０６は、より大きな処理能力及び機能を有し得る。
グラフィックス・モジュール４０８は、バス４２０に結合され、プロセッサ４０６と協働して、ヒューマン・インタフェース・モジュール１０２において提示することが可能なグラフィック画像を生成する。本実施例におけるグラフィックス・モジュール４０８はハードウェア装置であり、別の実施例では、メモリ４１２に記憶可能なソフトウェア、又は、ハードウェア及びソフトウェアの組み合わせであり得る。
マルチメディア・モジュール４１０は、バス４２０に結合され、プロセッサ４０６と協働して、ヒューマン・インタフェース・モジュール１０２における表示のためのマルチメディアを生成する。本実施例におけるマルチメディア・モジュール４１０は、ビデオを処理するために必要な計算タスクの一部を行うためにプロセッサ４０６と協働するハードウェア装置である。しかし、他の実施例では、マルチメディア・モジュールは、同じ機能を実現するためにプロセッサによって実行可能なメモリ４１２上に記憶されたソフトウェアであり得、又は、ハードウェア及びソフトウェアの組み合わせであり得る。プロセッサ４０６、グラフィックス・モジュール４０８、及びマルチメディア・モジュール４１０は、システムオンチップ（ＳｏＣ）として一体化し得る。
記憶装置又はメモリ４１２は、ヒューマン・インタフェース・モジュール１０２について上述したものと同様である。しかし、メモリ４１２は更に、記憶装置を含み得る。コンピューティング及び通信モジュール１０４のフォーム・ファクタは、より大きな面積を提供するからである。フラッシュ・メモリに加えて、一部の実現形態では、記憶装置又はメモリ４１２は更に、不揮発性メモリ又は同様な永久記憶装置及び媒体（例えば、ハード・ディスク・ドライブ、又は特定の他の不揮発性記憶装置）を含み得る。記憶装置又はメモリ４１２は、コンピューティング及び通信モジュール１０４と、ヒューマン・インタフェース・モジュール１０２とによって使用されるオペレーティング・システム、アプリケーション、ライブラリ、及び他の情報を記憶する。メモリ４１２に記憶された例示的なソフトウェア・モジュール（例えば、上位レベル・オペレーティング・システム、特に、アンドロイド（グーグル社、米・カリフォルニア州・マウンテン・ビュー））の図を図４Ｂに示す。
電源３２４は、好ましくは、バッテリ、又は、コンピューティング及び通信モジュール１０４に必要な給電ができる特定の他の再充電可能電源である。
ＨＩＭインタフェース装置４１６は、コンピューティング及び通信モジュール１０４と、ヒューマン・インタフェース・モジュール１０２との間の通信を容易にするための電子装置及び他のハードウェアである。ＨＩＭインタフェース装置４１６は、コンピューティング及び通信モジュール１０４の他の構成部分と通信するためにバス４２０に結合される。ＨＩＭインタフェース装置４１６は更に、ヒューマン・インタフェース・モジュール１０２と通信するために信号線１２０に結合される。一部の実施例では、ＨＩＭインタフェース装置４１６は、コンピューティング及び通信モジュール１０４からヒューマン・インタフェース・モジュール１０２に電力、光信号、及び電気信号を提供する。ＨＩＭインタフェース装置４１６は、光信号を生成し、ヒューマン・インタフェース・モジュール１０２に送出するための駆動電子装置４０２及び光源４０４を含み得る。ＨＩＭインタフェース装置４１６は更に、ヒューマン・インタフェース・モジュール１０２との間でデータ及びコマンドを送出し、受信し得る。
コンピューティング及び通信モジュール１０４は他のセンサ３１８及び他の出力装置３２２を含み得る。これは、ヒューマン・インタフェース・モジュール１０２について上述したものと同じであり得、又は、上記センサ３１８及び出力装置３２２の部分集合であり得る。
次に図５を参照して、光源４０２、駆動電子装置４０４、信号線１２０、並びに、画像供給及び表示機構３０２の一例を示す。本例では、光源４０２は、複数のレーザ（すなわち、赤色レーザ、緑色レーザ、及び青色レーザ）である。前述のレーザの出力は、信号線１２０を介して光として送出される画像を生成するためのＲＧＢ合成器である駆動電子装置４０４に供給される。この場合、信号線１２０は、ＲＧＢ合成器４０４を画像供給及び表示機構３０２と結合する光ファイバである。画像供給及び表示機構３０２は次いで、ヒューマン・インタフェース・モジュール１０２のユーザの眼に見えるように画像を投影する。
次に図６を参照して、画像供給及び表示機構３０２の一例を示す。画像供給及び表示機構３０２は、光ファイバ１２０に結合され、走査型ファイバ投影エンジンを含む。走査型ファイバ投影エンジンは、仮想平面上に、駆動電子装置から受信された画像を出力するためにレンズ投影システムに向けられた光ファイバ先端部に結合された圧電アクチュエータを有する。特に、図６は、画像供給及び表示機構３０２を図２のめがねに一体化することが可能であるように画像供給及び表示機構３０２を非常に小さなスケール（例えば、９ｍｍ未満）でどのようにして構成することが可能であるかを示す。
図７は、体積３Ｄディスプレイの眼内投影の一例を示す図である。図７は、ユーザの虹彩上に体積３Ｄディスプレイを投影するよう画像供給及び表示機構３０２をめがねフレーム上の位置にどのようにして構成することが可能であるかを示す。前述の例では、画像供給及び表示機構３０２は、ミラー・スキャナにより、ファイバ束を走査し、次いで、レンズ系を使用して画像をユーザに向けて投影する。
図８Ａ及び図８Ｂは、眼内投影によって備えられる真の３Ｄディスプレイの一例を示す。前述の図は、どのようにして真の３Ｄディスプレイを画像の眼内投影によって実現し得るかを示す。画像供給及び表示機構３０２は、ユーザの虹彩上に画像を投影するための光束、ミラー・スキャナ、及びレンズ・システムを含む。図８Ａは、前景に焦点を当てた場合に、ユーザによって認識される画像を示す。図８Ｂは、背景に焦点を当てた場合に、ユーザによって認識される画像を示す。
（例えば、金融サービスの場合の）モバイル情報ゲートウェイを使用した顧客相互作用の方法
次に図９−１１を参照して、本発明の方法を更に詳細に説明する。一般に、本発明には２つの使用事例が存在している。まず、非対称の事例では、第１のユーザ（例えば、顧客サービス担当、又は窓口係）は、ヒューマン・インタフェース・モジュール１０２を装着し、コンピューティング及び通信モジュール１０４を保持している。第１のユーザは第２のユーザ（例えば、顧客）と相互作用している。第２のユーザは、ヒューマン・インタフェース・モジュール１０２を使用又は装着しておらず、又は、コンピューティング及び通信モジュール１０４を所持していない。第２に、対称の場合、第１のユーザ及び第２のユーザは自身のそれぞれのヒューマン・インタフェース・モジュール１０２、並びに、コンピューティング及び通信モジュール１０４を装着し、所持している。三以上のユーザそれぞれが、それら自身のヒューマン・インタフェース・モジュール１０２並びにコンピューティング及び通信モジュール１０４を有し、本願発明によって提供される新たな協働モデル及びパラダイムを使用して協調的に併せて動作する他の事例は、対称の事例の拡張とみなし得る。図９は、第１のユーザ、窓口係、又は医療関係者がヒューマン・インタフェース・モジュール１０２を装着し、コンピューティング及び通信モジュール１０４を所持している非対称の事例の一般的な方法を表す。図１０及び図１１は、第１のユーザ及び第２のユーザがそれらの自身のそれぞれのヒューマン・インタフェース・モジュール１０２、並びに、コンピューティング及び通信モジュール１０４を装着し、保持している対称の事例について方法を表す。
更に、本発明の方法を次に、銀行業及び金融サービスの特定のバーティカル・アプリケーションの関係で、特に、銀行の支店でサービスを受ける関係で説明する。この説明は例証の目的のためであるに過ぎず、限定するものでない。本発明の方法は、医療、法律、小売、公共サービス等などの他のバーティカルに適用し得、方法の動作の意味合いは、ヒューマン・インタフェース・モジュール１０２及びコンピューティング及び通信モジュール１０４を制限することを意図しない。
図９乃至図１１を参照して説明した方法は、窓口係が相互作用する特定の顧客により合った向上させたサービスを窓口係が提供することをヒューマン・インタフェース・モジュール１０２並びにコンピューティング及び通信モジュール１０４が可能にするやり方の一部を識別するに過ぎない。ヒューマン・インタフェース・モジュール１０２、並びにコンピューティング及び通信モジュール１０４は更に、何れかの顧客情報を提供し、それを窓口係及び／又は顧客に向けて表示し、仮想窓口係を提供し、サービス推奨エンジンを提供し、顧客・窓口係マッチングを提供し、窓口係と顧客との間の私的な通信チャネルを提供し、窓口係の挙動を訓練し、又は直すためのアクティブな介入を含む、窓口係によるサービスの供給を記録／監視し、サービス待ち時間に関する即時フィードバックを提供し、待ち行列をなくし、グリータ／トリアージの人、及び問題解決の人を含む新たなサービス・モデルを提供する。
次に図９を参照するに、モバイル情報ゲートウェイの非対称的な使用の方法９００の一実施例を説明する。上述のように、顧客サービス担当者、窓口係、又は医療関係者が、専用のヒューマン・インタフェース・モジュール１０２、並びにコンピューティング及び通信モジュール１０４を有していないか、又は使用していない顧客若しくは患者と相互作用して、コンピューティング及び通信モジュール１０４を所有し、ヒューマン・インタフェース・モジュール１０２を装着する関係で説明する。窓口係による、ヒューマン・インタフェース・モジュール１０２、並びにコンピューティング及び通信モジュール１０４の使用は、かなりの利点をいくつか提供する。まず、窓口係は、デスクトップ型コンピュータ又は端末での作業に制約されないので、何れかの場所で顧客を支援し、支店内で何れかのやり方で支援し得る。当該機能は、ヒューマン・インタフェース・モジュール１０２、並びにコンピューティング及び通信モジュール１０４によって提供される。医療の使用事例の場合、これは、医療関係者が、モバイル情報ゲートウェイ装置１３０を診療所、病院、患者の家、又は診療所若しくは病院と遠隔の地域で使用し得るということを意味する。これにより、何れかの顧客が、対応を受けるために何れかの待ち行列において待つという要件が完全になくなる。第二に、窓口係は、毎度、既存のサービスを行うことが可能である。ヒューマン・インタフェース・モジュール１０２、並びに、コンピューティング及び通信モジュール１０４は、既存の検証データ・システムで可能でないやり方での顧客情報の識別（虹彩識別）、認証及び取り出しを可能にする。例えば、本日、自分のＡＴＭカードを忘れ、又は識別情報を何ら有していない場合、活動の部分集合のみを行うことが可能である（例えば、小切手を預け入れることが可能であるが、自分の口座番号についての詳細を話すことが可能でない（自分の口座番号が分からない場合、預金を行うこともできないことがあり得る））。窓口係が、ヒューマン・インタフェース・モジュール１０２、並びに、コンピューティング及び通信モジュール１０４を有していることにより、顧客は全て、（虹彩検出を介して）自動的に認証され、必要に応じて、全面的に対応され得る。第３に、窓口係は、向上させたサービス・レベルを提供することが可能である。ヒューマン・インタフェース・モジュール１０２、並びに、コンピューティング及び通信モジュール１０４は、窓口係が、顧客についての適切な情報にアクセスすることを可能にし、銀行のサービスが、窓口係の（ほぼ）手前で容易に利用可能である。高度な解析及び推奨エンジンは、顧客とインタフェースしている間にリアルタイムに窓口係に、関係するオプション及び案内（例えば、たった今、顧客が抽選に当たり、又は多額のお金を受け取っており、我々の投資サービスを顧客に注意喚起するのに良好な時点であり得る。）を提供するために使用することが可能である。
方法９００は、ユーザ（例えば、窓口係又は医療関係者）がヒューマン・インタフェース・モジュール１０２を装着する（９０２）ことで始まる。図２に示す実施例では、ユーザは、ヒューマン・インタフェース・モジュール１０２を含むめがねを装着し、更に、コンピューティング及び通信モジュール１０４を所持する。他の実施例では、コンピューティング及び通信モジュール１０４は、ヒューマン・インタフェース・モジュール１０２の近くに配置し、通信及び協働のために結合し得る。次に、ヒューマン・インタフェース・モジュール１０２は、情報を捕捉し、情報を処理する（９０４）。例えば、アイ・トラッキング・カメラ３１０は、窓口係を認識し、窓口係を認証し、窓口係が特定の動作を行うことを認可し、顧客に応対するために利用可能な個人のリストに窓口係を挿入するために、ヒューマン・インタフェース・モジュール１０２、コンピューティング及び通信モジュール１０４、バックエンド・サービス・サーバ１０８、又はそれらの組み合わせによって使用される画像を捕捉する。同様に、カメラ３０８は、支店にいる顧客、又は支店に入ってくる顧客の画像を捕捉し得る。一部の実施例では、ヒューマン・インタフェース・モジュール１０２は、配信に備えるために画像の特定の処理を行い、又は他のタイプの処理の初期工程を行い得る。一部の実施例では、ヒューマン・インタフェース・モジュール１０２は、処理全てを行うことができ、ブロック９０８、９１０、９１２、及び９１４はヒューマン・インタフェース・モジュール１０２によって行われる。前述の場合、工程９０６は任意である。しかし、他の実施例では、情報の処理は、コンピューティング及び通信モジュール１０４、及び／又はバック・エンド・サーバ１０８に分けられる。前述の実施例では、ヒューマン・インタフェース・モジュール１０２は、捕捉された情報を、必要に応じて、コンピューティング及び通信モジュール１０４及び／又はバック・エンド・サーバ１０８に送出する（９０６）。
方法９００は、顧客、及び可能性が高い、顧客のニーズを識別する（９０８）工程によって続く。ヒューマン・インタフェース・モジュール１０２によって捕捉された画像は、特定の個人として顧客を識別し、認証するよう処理し得る。特定の実施例では、コンピューティング及び通信モジュール１０４及び／又はバック・エンド・サーバ１０８は、顧客の識別情報を判定するよう、捕捉された情報を処理する。認識は、どの顧客が、一致する識別情報を有しているかについての粗い近似であり得、又は、名前及び他の属性により、特定の個人を識別して、非常に具体的であり得る。例えば、顔認識、虹彩認識、顔／肌の色認識を画像に対して行い得る。画像は更に、顧客が必要とする可能性が高いものが何であるかを識別するよう処理し得る。例えば、顧客が小切手を保有している場合、顧客が預金をしたいということを示唆する情報をヒューマン・インタフェース・モジュール１０２に送出し、表示し得る。顧客が必要な可能性が高いのが何かの解析は更に、顧客の口座、最近の取引、インターネット上で一般的に利用可能な、顧客についての情報、又はソーシャル・ネットワークで利用可能な顧客についての情報から判定し得る。更に、顧客を識別する工程（９０８）は、銀行支店内の顧客の位置を判定する工程を含み得る。バックエンド・サービス・サーバ１０８は、銀行支店内の顧客の特定の位置を提供するために使用することが可能な位置サービスにアクセスし、又は位置サーバと通信し得る。前述の情報は、バックエンド・サービス・サーバ１０８によって取り出し、ヒューマン・インタフェース・モジュール１０２上の表示のために送信し得る。ヒューマン・インタフェース・モジュール１０２によって捕捉された画像に基づいた、顧客及び顧客のニーズの識別は、全て、ヒューマン・インタフェース・モジュール１０２に対して行い得、全て、バックエンド・サービス・サーバ１０８に対して行い得、全て、コンピューティング及び通信モジュール１０４に対して行い得、それらの２つ以上の間で協働して行い得る。
方法９００は、受け取られた情報及び顧客の解析９１０を行い続ける。例えば、顧客、及び可能性が高い、顧客のニーズを、サービス推奨エンジンに提供し得る。サービス推奨エンジンは、コンピューティング及び通信モジュール１０４又はバックエンド・サービス・サーバ１０８におけるユーザについてのデータ、及び／又は、ヒューマン・インタフェース・モジュール１０２を介した顧客の検出状態に基づいた商品又はサービスについての推奨を生成することが可能である。サービス推奨エンジンは効果的には、モバイル情報ゲートウェイ１００によって捕捉され、処理された情報に基づいて顧客に特に適合された更なる又は関連サービスのアップセル機会を提供し、推奨を生成する。例えば、再融資、モーゲージ、学生ローン、保険、投資サービス、他の銀行業務、会計サービス、税務サービス、法律業務、旅行及びレンタカー・サービス、宿泊、チャリティへの寄付金は、銀行の顧客に推奨し得るいくつかの付随サービスにすぎない。一部の実施例では、コンピューティング及び通信モジュール１０４、並びに／又はバック・エンド・サーバ１０８は、第１の顧客のサービス選好を判定し、複数の窓口係のサービス機能を判定し、第１の顧客のサービス選好と同様なサービス機能を有する複数の窓口係の１つを選択し、顧客についての情報を、表示のために、複数の窓口係のうちの選択された一のヒューマン・インタフェース・モジュールに送出する（以下、ブロック９１２も参照）。図１０を参照して以下に説明するような窓口係のマッチングの他の形態は、更に、解析９１０の一部として行い得る。ヒューマン・インタフェース・モジュール１０２によって捕捉された画像に基づいた顧客の解析９１０は、全て、ヒューマン・インタフェース・モジュール１０２に対して行い得、全て、バックエンド・サービス・サーバ１０８に対して行い得、全て、コンピューティング及び通信モジュール１０４に対して行い得、又はそれらの２つ以上の間で協働して行い得る。
次に、方法９００は、顧客データ及び情報を取り出し（９１２）、提示するために、それをヒューマン・インタフェース・モジュール１０２に送出する。例えば、顧客についての口座情報を取り出し、ヒューマン・インタフェース・モジュール１０２に送出し得る。このようにして、窓口係には、顧客に関する情報（顧客の口座の残高がマイナスになったか否か、又は、一口座の残高が大きく、別の口座、又は別のタイプの口座を開設すべきであるか否かなど）が直ちに提示される。銀行の方針に応じて、更に、顧客の写真を取り出し、正しい顧客と相互作用していると窓口係を安心させることが可能であるように、ヒューマン・インタフェース・モジュール１０２に提示するために送出し得る。顧客データの取り出しは、全て、バックエンド・サービス・サーバ１０８に対して行い得、全て、コンピューティング及び通信モジュール１０４に対して行い得、又はそれらの両方に対して協働して行い得る。データの供給は、コンピューティング及び通信モジュール１０４によって行われる。データは、ヒューマン・インタフェース・モジュール１０２によって受け取られ、次いで、画像供給及び表示機構３０２を使用して提示される。視野上に透明にオーバレイされたヒューマン・インタフェース・モジュール１０２による、特定の顧客に関する情報の提示の例は、以下に更に詳細に、図１５Ａ−図１５Ｂ、及び図１６Ａ−図１６Ｂにおいて説明する。
情報が、ヒューマン・インタフェース・モジュール１０２を介して窓口係に提示されると、窓口係は、通常のやり方で顧客と相互作用することが可能である。窓口係は、ヒューマン・インタフェース・モジュール１０２を使用して、（顧客に対する活動又は取引の要求、更なる情報の要求、レコードの更新などの）更なる情報を入力することが可能である。窓口係は、ジェスチャ、眼の動き、音声コマンド、又は、ヒューマン・インタフェース・モジュール１０２によって備えられる他の入力機構を介して前述の要求を入力することが可能である。方法は、窓口係が更なる情報又はコマンドをヒューマン・インタフェース・モジュール１０２に入力したか否かを判定する（９１４）。肯定の場合、情報要求が、ヒューマン・インタフェース・モジュール１０２によって処理され、方法は、続いて、工程９１０に戻って、新たな情報要求を解析し、処理する。入力された更なるコマンドがヒューマン・インタフェース・モジュールに供給されない場合、方法は完了し、終了する。
図１０は、仮想キューを実現するモバイル情報ゲートウェイ１００の対称的使用の方法１０００の一実施例のフローチャートである。対称的事例は、前述の今までにない関与モードによって可能になる全く新たな活動及び相互作用の組を表す。図９及び対称的事例について上述した利点に加えて、各窓口係は、（それぞれの状況において資産がどのようにして増大するかの３Ｄモデルを含む）特定の新たなサービス若しくは投資の便益、又は、特定の用紙をどのようにして記入するかを示すことであろうと、他の商品（「旅行業の姉妹会社による夢の休暇」）のクロスセリングであろうと、顧客と、何れかのサービス・シナリオに着手することが可能である。特に、対称的事例は、窓口係及び顧客が、私的なコミュニケーションを行い、自動通訳エンジンを使用して種々の言語でコミュニケーションを行い、共同して同じデータを扱い、サービスの待ち行列をなくすことを可能にする。
図１０の方法１０００は、第２のヒューマン・インタフェース・モジュール１０２ｂを装着する顧客との相互作用の少し前に、窓口係が第１のヒューマン・インタフェース・モジュール１０２を装着すると仮定する。更に、第１のヒューマン・インタフェース・モジュール１０２ａを装着する窓口係も、顧客を識別し、認証するために使用される、後述のものと同様な処理において識別され、又は認証されているものとする。第１のヒューマン・インタフェース・モジュール１０２ａ及び第２のヒューマン・インタフェース・モジュール１０２ｂはそれぞれ、関連付けられた第１のコンピューティング及び通信モジュール１０４ａ、並びに第２のコンピューティング及び通信モジュール１０４ｂそれぞれを有する。方法１０００は、顧客が、銀行の支店に入り、第２のヒューマン・インタフェース・モジュール１０２ｂを手に取るか、又は渡され、第２のヒューマン・インタフェース・モジュール１０２ｂを装着する（１００２）。一部の実施例では、第２のヒューマン・インタフェース・モジュール１０２ｂは、度付きめがね装着者のために表示を適合させ得る。上述のように、一部の実施例では、第２のヒューマン・インタフェース・モジュール１０２ｂは、画像供給及び表示機構３０２が、視野上にオーバレイされた情報をその上に投影するその基板２０２を含む。第２のヒューマン・インタフェース・モジュール１０２ｂは、捕捉された情報又は顧客情報を捕捉し、処理する（１００４）。例えば、第２のヒューマン・インタフェース・モジュール１０２ｂのアイ・トラッキング・カメラ３１０は、顔認識のための顧客の顔の画像、又は虹彩認識のための顧客の虹彩の画像を捕捉する。第２のヒューマン・インタフェース・モジュール１０２ｂのオーディオ入力装置３１４は、音声認識において使用するために、発話している顧客のオーディオ・クリップを捕捉し得る。更に、第２のヒューマン・インタフェース・モジュール１０２ｂのカメラ３０８は、顧客の訪問の目的を判定するうえで使用するために、顧客が手に持っている品目（例えば、現金、小切手、デビット・カード等）の画像を捕捉し得る。第２のヒューマン・インタフェース・モジュール１０２ｂの他の入力装置は、捕捉され、処理されたメニューの選択、ユーザ・ジェスチャ、音声コマンド又は情報などの他の情報を収集し得る。方法１０００は、識別情報を検証し、顧客を認証する（１００６）ことによって続く。一部の実施例では、捕捉された情報は、ユーザの識別情報を判定するよう処理される。捕捉された情報は、ユーザを認証するためにも使用し得る。顧客の識別情報及び認証は、上記方法の何れかを使用して行い得る。顧客の識別、顧客の認証、及び顧客のニーズの解析は、全て、第２のヒューマン・インタフェース・モジュール１０２ｂに対して行い得、全て、バックエンド・サービス・サーバ１０８に対して行い得、全て、第２のヒューマン・インタフェース・モジュール１０２ｂに関連付けられ第２のコンピューティング及び通信モジュール１０４ｂに対して行い得、又は、それらの２つ以上に対して協働で行い得る。
ブロック１００６で、顧客が識別され、認証された後、方法１０００は、並列の、別々の２つの処理によって継続する。顧客に向けて、娯楽情報がバックエンド・サービス・サ―バ１０８、又は第２のコンピューティング及び通信モジュール１０４ｂから、第２のヒューマン・インタフェース・モジュール１０２ｂに送出され、顧客に向けて表示される（１００８）。前述の情報は、顧客に関心がある種々の何れかの娯楽、顧客に利用可能な種々のオファー、方針変更についての情報、又は、顧客に関心があり得る他の情報であり得る。更に、顧客は、第２のヒューマン・インタフェース・モジュール１０２ｂを使用して、インターネット・サーフィンを行い、オーディオ又はビデオ通話を行い、又は、モバイル情報ゲートウェイ１００によってイネーブルされる種々の他のコンピューティング機能を行い得る。一部の実施例では、顧客は、第２のヒューマン・インタフェース・モジュール１０２ｂを使用して、自動窓口機を介して現在利用可能なものなどの何れかの数の通常の銀行取引（例えば、残高照会、振り込み、預け入れ等）を行い得る。例えば、カメラは、小切手又は他の文書の画像を捕捉することが可能であり、次いで、画像は、小切手を預け入れるなどの対応する取引を処理するために使用することが可能である。支払いは、モーゲージに対して行うことが可能であるか、又はクレジット・カードの支払いのような他の取引を同様に処理することが可能である。資金の移転、小切手の要求、支払い、又は残高照会などの種々の他のＡＴＭ取引もこのようにして行い得る。他の実施例では、仮想窓口係機能を提供するためにバックエンド・サービス・サーバ１０８と相互作用し、通信する第２のヒューマン・インタフェース・モジュール１０２ｂを使用することによって行い得る。一部の実施例では、顧客がその好ましい窓口係をみると、窓口係の情報（名前、写真、待ち時間等）を第２のヒューマン・インタフェース・モジュール１０２ｂのディスプレイ上にオーバレイすることが可能であるように、第２のヒューマン・インタフェース・モジュール１０２ｂを更新することが可能である。よって、モバイル情報ゲートウェイ１００は特に、効果的である。顧客に応対するやり方が変更され、応対されるまで待っている間に、顧客が楽しみ、情報を提供され、生産的になることを可能にするからである。顧客は、動かなくてよく、自分のサービスを受けるために、単一の場所に留まり得るため、本発明は特に効果的である。更に、同じ空間は、別々の時点としての別々の目的で一顧客によって使用し、同時に複数の顧客によって使用することが可能である。例えば、指定された空間は、後に、窓口係と相互作用するとともに、上述のように待っている間に楽しむために顧客によって使用し得る。更に、同じ指定された空間は、同時に複数の顧客によって使用し得る。モバイル情報ゲートウェイ装置１３０が各ユーザの情報を秘密に提示するので、他の顧客によって視ることができない。よって、銀行支店の訪問中の別々の時点で、楽しみ、取引を行い、仮想窓口係と相互作用する単一のユーザにより、背景視野として使用することが可能である。楽しみ、又は金融取引を行うにつれ、背景視野として二以上の顧客によって、その同じホワイト・ウォール又は背景を更に使用することが可能である。
別の例では、顧客が、特定の特殊な銀行表示画面（例えば、テーブル、壁ディスプレイ、又は署名）を見ており、それと相互作用している（例えば、一部のお知らせをめくり、一部の視覚サーチ関連活動を行っている）場合である。前述の銀行特有の活動をサーバで記録することが可能であり、窓口係に提供することが可能であり、よって、窓口係は、公式の銀行の相互作用の前に顧客の相互作用履歴を知っている。
並列に、ブロック１００８では、ブロック１０１２乃至１０２２の工程が行われる。ブロック１０１２乃至１０２２の工程は、バックエンド・サービス・サーバ１０８によって行われているものとして以下に説明しているが、あるいは、第１のコンピューティング及び通信モジュール１０４ａ、第２のコンピューティング及び通信モジュール１０４ｂ、バックエンド・サービス・サーバ１０８、又は３つの装置の組み合わせによって行うことが可能である。更に、別々の実施例では、ブロック１０１２乃至１０２２の一部の工程は任意である。
方法１０００は、要求されたタスク、及び顧客ＩＤを含む顧客情報をバック・エンド・サーバ１０８に送出する（１０１２）。バックエンド・サービス・サーバ１０８は、窓口係・顧客マッチングを行い（１０１４）、顧客に応対するための窓口係が割り当てられる（１０１６）。特定の窓口係は、顧客のニーズに対する窓口係の専門技能の適合度、専用技能のレベル、経験レベル、性格の適合度、年齢、性別、言語の好み、過去の経験（肯定的又は否定的）等を含む種々の要因に基づいて顧客に割り当てられ得る。最も単純な実施例では、窓口係は、期待された利用可能性又は実際の利用可能性に基づいて割り当てられ得るに過ぎない。次に、方法（１０００）は、割り当てられた窓口係が利用可能であるか否かを判定する（１０１８）。割り当てられた窓口係の利用可能性は、割り当てられた窓口係のヒューマン・インタフェース・モジュール１０２によって行われている現在の活動をバックエンド・サービス・サーバ１０８がポーリングすることによって判定し得る。割り当てられた窓口係が利用可能でない場合、方法１０００は、リターンし、別の窓口係を見つけるために工程１０１４及び１０１６を再実行する。一方、割り当てられた窓口係が利用可能な場合、方法１０００は工程１０２０に続く。一部の実施例では、方法１０００は、代替的な窓口係のリストを識別し、顧客に対する評判の順に窓口係をランク付けし、名前、写真、待ち時間等などの情報により、第２のヒューマン・インタフェース・モジュール１０２ｂに、窓口係についての情報を提供するなどの更なる工程を行い得る。方法１０００は次いで、割り当てられた窓口係を待つか、又は第２のヒューマン・インタフェース・モジュール１０２ｂを使用して代替のリストから別の窓口係を選択するかのオプションを顧客に提供することが可能である。ブロック１０２０では、顧客及び情報の解析が行われる。解析は、顧客、顧客についての重要な情報、顧客についての好み、顧客が行うべき要求／タスク、顧客に対して更なるサービス又は商品を販売する機会、又は窓口係が、向上させた体験を提供することを可能にする何れかの他の情報を識別することが可能である。顧客データが次いで、取り出され（１０２２）、窓口係の第１のヒューマン・インタフェース・モジュール１０２ａに送出され、窓口係による使用のために提示される。例えば、顧客は、第１のヒューマン・インタフェース・モジュール１０２ａによって提供される視野において識別し得、顧客に窓口係を案内する矢印又は他の行き方表示子を第１のヒューマン・インタフェース・モジュール１０２ａ上に提示し得る。同様に、バックエンド・サービス・サーバ１０８は、窓口係に向けて顧客を案内するための矢印又は他の行き方表示子を提示する旨を顧客の第２のヒューマン・インタフェース・モジュール１０２ｂに通知し得る。最後に、顧客及び割り当てられた窓口係は、何れかのタイプの取引を行うよう相互作用する（１０１０）。顧客及び割り当てられた窓口係が相互作用するための処理は図１１を参照して以下に更に詳細に説明する。それぞれのヒューマン・インタフェース・モジュール１０２ａ、１０２ｂ上、及びそれらの対応する透明基板２０２ａ、２０２ｂ上に提示される情報の例は更に、図１５Ａ−図１６Ｂを参照して以下に説明する。位置特定システム１１０は、顧客と窓口係との間の位置を判定し、直接会うためにどのようにして物理空間を通って動くかに関する信号を供給するために使用される。開示された方法１０００は、いくつかの点で特に効果的である。まず、顧客がサービスを受けるために並んで待つ必要がなくなる。第二に、顧客がサービスを受けるための番号札をとる必要がなくなる。上記処理は仮想であり、かつ自動的であり、顧客が要求を行う必要がなくなる。第三に、顧客サービス及び効率を最適化するための何れかの数のやり方で銀行が空間を使用し、設計することが可能になる。最後に、特定の店舗のように望ましい行先のように銀行が感じられ得るように行列がなくなる。
顧客及び窓口係の両者は何れも、仮想キーボード上に特定のテキストをタイプ入力するために、机又はカウンタのような物理的な場所に行きたいことがあり得る。位置特定システムは、物理的な場所へのナビゲーションを支援する。次いで、３Ｄカメラは物理空間を捕捉し、捕捉されたデータは、ユーザがタイプ入力している物理空間にオーバレイするディスプレイ上への仮想キーボードの正確な投影を可能にする。
図１１は、複数のヒューマン・インタフェース・モジュールを使用して顧客に対応するためのモバイル情報ゲートウェイ１００の対称的使用の方法１１００のフローチャートである。顧客への対応は、窓口係が、顧客との相互作用を完了する（１１０２）と始まる。窓口係が利用可能である旨が顧客に通知される（１１０４）。例えば、メッセージが、顧客によって使用された第２のヒューマン・インタフェース・モジュール１０２ｂ上に表示され得る。第２のヒューマン・インタフェース・モジュール１０２ｂは更に、割り当てられた窓口係への行き方を表示し得る（１１０６）。並列に、顧客への行き方が、窓口係によって使用される第１のヒューマン・インタフェース・モジュール１０２ａ上に表示される（１１０８）。顧客データが更に、取り出され（１１１０）、第１のヒューマン・インタフェース・モジュール１０２ａに送出され、窓口係に提示される。窓口係が顧客に近づく際に、第１のヒューマン・インタフェース・モジュール１０２ａは、顧客の情報、自分の好み、並びに、推奨する対象のサービス／商品、及びその理由を表示し得る。
窓口係及び顧客は、面会すると、暗号化された会話を開始する。会話及び情報は、自分たちのそれぞれのヒューマン・インタフェース・モジュール１０２ａ、１０２ｂ、それぞれのコンピューティング及び通信モジュール１０４ａ、１０４ｂ、並びにバックエンド・サービス・サーバ１０８を窓口係及び顧客が使用して、会話及び情報を窓口係と顧客との間で転送し得る。暗号化された会話は、ヒューマン・インタフェース・モジュール１０２ａ、１０２ｂにおいてリアルタイム・ボイス・チャンジャ／スクランブラを使用し得る。一部の実施例では、それぞれのコンピューティング及び通信モジュール１０４ａ、１０４ｂは、場合によっては、捕捉された入力音声に基づいてスクランブル／変更信号を計算し、ヒューマン・インタフェース・モジュール１０２ａ、１０２ｂはスクランブル／変更信号を出力する。これは特に効果的である。これにより、顧客と窓口係との間の会話が秘密になることが保証されるからである。更に、最も話しやすい言語で窓口係及び顧客が話すことができるように、それぞれのヒューマン・インタフェース・モジュール１０２ａ、１０２ｂ、それぞれのコンピューティング及び通信モジュール１０４ａ、１０４ｂ、並びにバックエンド・サービス・サーバ１０８は、言語通訳サービスを提供し得る。これは更に、英語などの単一の言語しか話さない窓口係が、他の言語を話す何れかの数の顧客に応対することを可能にする。窓口係及び顧客は、自分たちのそれぞれのヒューマン・インタフェース・モジュール１０２ａ、１０２ｂを使用して、コマンド１１１４又は情報を入力するか、又は表示するために情報を選択し得る。それぞれのヒューマン・インタフェース・モジュール１０２ａ、１０２ｂに提供される情報は、ユーザに基づいて、同じであっても異なっていてもよい。例えば、顧客の財務データを含む第１のデータの組は、窓口係のヒューマン・インタフェース・モジュール１０２ａ上及び顧客のヒューマン・インタフェース・モジュール１０２ｂ上に表示し得る。別の例では、第１のヒューマン・インタフェース・モジュール１０２ａは、顧客のヒューマン・インタフェース・モジュール１０２ｂ上で眼に見えないか、又は顧客のヒューマン・インタフェース・モジュール１０２ｂ上に提示されない、銀行のみが使用する情報などの第２のデータの組を示し得る。方法１１００は、第１のヒューマン・インタフェース・モジュール１０２ａ及び第２のヒューマン・インタフェース・モジュール１０２ｂに、３Ｄチャート（例えば、数年で預金額がどのようになるかを表示する）、３Ｄモデル（例えば、銀行が販売したい集合住宅を表示する）又はデータを提示若しくは表示する（１１１６）ことによって続く。他の例には、クレジット・カード取引及び影響、モーゲージ計算、利息を超える余分な支払いの影響、ローン・アモチゼーション、期待されるパフォーマンス、退職口座等の３Ｄチャート、円グラフ及びモデルが含まれる。各ユーザがそれぞれ、自分自身の視点から３Ｄチャートを視るので、このことは特に効果的である。データが同じでも、３Ｄチャートに対する各ユーザの視点は、チャートに対するその位置に応じて異なる。更に、各ユーザはそのそれぞれのヒューマン・インタフェース・モジュール１０２ａ、１０２ｂと相互作用して（１１０８）、チャートを操作し、変更を見て、変更を入力する等が可能である。これは、銀行業務の関係で上述において利用可能でなかったタイプの相互作用を提供する。ブロック１１１４、１１１６、１１１８では、特別売り出し、通知、限定プロモーション、推奨等などの何れかのタイプの情報を窓口係及び／又は顧客に提示し得る。第１のヒューマン・インタフェース・モジュール１０２ａを使用して取引が行われ（１１２０）、暗号化された会話、及び共同データ表示が終了して（１１２２）、方法１１００が完了する。
一部の実施例では、ヒューマン・インタフェース・モジュール１０２ａ、１０２ｂは更に、「共有画面」を表示することが可能であり、一方の部分は、両者がみる共通の表示であり、他方の部分は「秘密」の部分である。そのようにして、ユーザは、共通のチャートをみている間に特別の口座情報を照会することが可能である。窓口係は更に、共有され、秘密の表示領域を有し得る。
図１５Ａ乃至図１５Ｅは、ヒューマン・インタフェース・モジュール１０２の基板２０２上に情報を重ねた上記基板２０２を通した領域の視野のグラフィック表示である。
次に図１５Ａを参照するに、サービス・エリア１５００（例えば、病院又は診療所の待合室、銀行のロビー）のグラフィカル表現を示す。銀行のロビー又は待合室には、複数の顧客又は患者１５０２、１５０４、１５０６、及び１５１０が存在している。上述及び後述の記載を通して、顧客及び患者の語は、サービスを受ける個人を意味するものとして同義に使用される。同様に、上述及び後述の記載を通して、窓口係及び医療関係者（医者、医師、又は他の同様の語）は、サービスを受ける個人を意味するものとして同義に使用される。視野は、ヒューマン・インタフェース・モジュール１０２のユーザが領域１５００の一部を、それを通して視るその基板２０２によって画定される。図示するように、顧客又は患者１５０２、１５１０の一部がその視野外にある一方、他者１５０４、２００６は視野内にある。便宜及び分かり易さのために、単一の基板２０２のみを図１５Ａに示す。しかし、図２のヒューマン・インタフェース・モジュール１０２を使用すれば、双眼観察用の基板対２０２が存在することになる。前述の実施例では、異なる、又は同じ情報を、別々の基板２０２上に提示し得る。
図１５Ａは、基板２０２によって設けられる視野が、複数の顧客又は患者１５０４、１５０６を有するサービス・エリア１５００の一部の画像を含む例を示す。ヒューマン・インタフェース・モジュール１０２、特に、画像供給及び表示機構３０２は、基板２０２上にコールアウト１５０８を投影する。図１５Ａは、顧客１５０４、１５０６を含む背景シーンの一部でない旨を示すために、識別された顧客１５０６についての前述の投影情報を示す。コールアウト１５０８は、識別された顧客１５０６の頭の上の三角形であるが、異なる形状、色、サイズ、及び位置を有する何れかの数の他の形態をとり得る。例えば、他の実施例におけるコールアウト１５０８は、識別された顧客１５０６周りの正方形であり得る。本発明は効果的に図９を参照して上述した方法の工程を行い、顧客が識別されると、ヒューマン・インタフェース・モジュール１０２を装着する窓口係又は医療関係者が近づき、相互作用し始める窓口係又は医療関係者がどの顧客かを示すようコールアウト１５０８を投影する。
図１５Ｂは、ヒューマン・インタフェース・モジュール１０２が、サービス領域１５００の画像を捕捉するために使用され、顧客１５１０と面会するよう移動するための行き方表示子１５１２を設ける。図９を参照して上述された処理が行われており、ヒューマン・インタフェース・モジュール１０２を装着する窓口係又は医療関係者が応対する必要がある特定の顧客１５１０を識別している。この例では、行き方表示子１５１２が、画像供給及び表示機構３０２により、透明基板上に投影される。例えば、行き方表示子１５１２は、顧客１５１０と面会するためにヒューマン・インタフェース・モジュールの装着者が移動しなければならない行き方を示す矢印などの記号であり得る。行き方表示子１５１２は、強調表示した矢印の１つで示すような一連の矢印であり得る。他の実施例では、ユーザが移動すべき行先を示す単一の矢印のみを提供することが可能である。行き方表示子は、図１５Ｂに示すものの他の種々の他の形式、位置、及び色を有し得る。例えば、行き方表示子１５１２は、単に、基板２０２の左側、上側、又は右側の矢印であり得る。
図１５Ｃは、ヒューマン・インタフェース・モジュール１０２が、サービス領域１５００の画像を捕捉するために使用されている例を示し、顧客又は患者１５０６の位置１５１４又は１５１６を提供する。この例では、画像供給及び表示機構３０２が顧客１５０６の位置を表示することが可能な領域１５１４が提供される。例えば、位置情報は単に、領域１５１４内に表示された、「患者がロビーの中央にいます」などの説明であり得る。更に、又はあるいは、位置情報は、識別された顧客周りの境界などの強調表示１５１６であり得る。これは、面会し、相互作用する顧客１５０６を窓口係がすばやく、かつ、簡単に識別することを可能にするので、特に効果的である。他の実施例では、領域１５１４は更に、限定列挙でないが、顧客１５０６に推奨する対象のサービス又はオファー、及び、特定の窓口係が顧客１５０６との相互作用を試みるべきか否かの識別情報を含む他の情報を提示するために使用し得る。強調表示１５１６は、視野内の第１の顧客の近傍に配置され、視野と比較的同様な大きさの第１の顧客の視野にオーバレイされて、情報がどのようにして透明に表示されるかを示す、画像又は他の情報に他ならないもので置き換えることが可能である。
図１５Ｄは、サービス領域１５００の画像を捕捉するためにヒューマン・インタフェース・モジュール１０２が使用され、領域１５１４が顧客１５０６の画像１５１８を提供する例を示す。応対することになっている顧客を窓口係が再確認し、容易に認識することを可能にするので、これは効果的である。
図１５Ｅは、サービス領域１５００の画像を捕捉するためにヒューマン・インタフェース・モジュール１０２が使用され、複数の顧客が識別されている例を示す。識別された顧客はそれぞれ、関連付けられたコールアウト１５０８、１５２０を有する。図１５Ｅは、何れかの数の顧客を識別するために、本発明のシステムを使用し得るということを例証するために使用される。更に、二の顧客のみが識別されているが、更に、基板２０２によって設けられる視野内で視ることが可能な顧客全てを識別することが可能である。更に、システムは、顧客全てが識別された実施例において顧客に応対すべき優先度を割り当て得る。前述の識別情報及び優先度は、図示したコールアウト１５０８及び１５１０と同様に窓口係によって使用するために基板２０２上に投影し得る。
図１６Ａ及び図１６Ｂは、窓口係又は医療関係者１６００用の第１のヒューマン・インタフェース１０２ａの第１の基板２０２ａ、及び顧客又は患者１６１０用の第２のヒューマン・インタフェース・モジュール１０２ｂの第２の基板２０２ｂを通したサービス領域１５００の視野のグラフィック表現であり、各基板２０２ａ、２０２ｂ上に情報が透明にオーバレイされている。図１６Ａに示すように、両方のユーザ（窓口係１６００及び顧客１６１０）は、銀行のロビー、又は患者の待合所などのサービス領域１５００を視るために、それらの対応するヒューマン・インタフェース・モジュール１０２Ａ、１０２Ｂを使用する。患者待合所は、何れかの数の他の顧客１５０２、１５０２、及び１５１０を含み得る。それらのそれぞれのヒューマン・インタフェース・モジュール１０２ａ、１０２ｂはそれぞれ、基板２０２ａ、２０２ｂを含む。例えば、窓口係１６００及び顧客１６１０が一対のモバイル情報ゲートウェイめがねを装着し、めがねのレンズにより、基板２０２ａ及び２０２ｂが備えられる。ヒューマン・インタフェース・モジュール１０２ａ、１０２ｂはそれぞれ、図１６Ａにおいて表すようなそれぞれの基板２０２ａ及び２０２ｂ上に第１の組のデータ１６０２ａ、１６０２ｂを表示することができる。これはいくつかの点で効果的である。まず、図１５を参照して上述した他の使用事例と同様に、基板２０２ａ、２０２ｂ上に提示された情報、並びに、他の顧客１５０２、１５０４、及び１５１０をユーザ１６００、１６１０がみることができるように、情報は効果的には、基板２０２ａ、２０２ｂによって設けられる視野上にオーバレイされる。第２に、各ユーザ１６００、１６１０に提示される情報は、第１の基板２０２ａを使用する窓口係又は医療関係者１６００のみが第１のデータ・セット１６０２ａを視ることができるという点で秘密である。同様に、第２の基板２０２ｂを使用する顧客又は患者１６１０のみが第１のデータ・セット１６０２ｂを視ることができる。この例では、第１のデータ・セットは、顧客又は患者１６１０の場合も、窓口係又は医療関係者１６００の場合も同じであり、顧客のアカウント情報を表す。各ユーザ１６００、１６１０は、自分のそれぞれの基板２０２ａ、２０２ｂ上に提示されたデータしか、視ることができないが、同じデータを両方の基板２０２ａ、２０２ｂに送出し、それにより、両方の個人が同じデータと相互作用し、又は同じデータを共有し得る。前述の情報は顧客１６１０及び窓口係１６００にしか視ることができない。他の顧客１２０２、１２０４、及び１２１０は、基板２０２ａ、２０２ｂを視ることができず、よって、提示されている情報にアクセスできない。
次に図１６Ｂを参照するに、窓口係又は医療関係者１６００に向けて第１の基板２０２ａ上に提示される情報、及び顧客又は患者１６１０に向けて第２の基板２０２ｂ上に提示される情報の別の例を示す。前述の例は、銀行情報、又は医療情報若しくはレコードなどの第２のデータ・セット１６０４の第１の基板２０２ａ上への投影又は表示を示す。銀行情報は、顧客と相互作用する場合に窓口係によって使用される機密の銀行情報（例えば、顧客のクレジット履歴、ローン状況、クレジット・カード状況等）であり得る。銀行情報は更に、特に、この顧客１６１０のためのオファー又はプロモーションであり得る。医療情報は、臨床検査結果、又は医師にとって有用な更なる技術的な医療情報であり得る。医療情報は更に、特に、この顧客１６１０のためのオファー又はプロモーション（試験薬、医療装置、検査等のための当該クーポンなど）であり得る。図１６Ｂに示すように、第２のデータ・セット１６０４は、第１の基板２０２上のみに投影され、よって、窓口係又は医者１６００のみによって視ることができ、顧客１６１０、又は他の顧客１５０２、１５０４及び１５１０によって視ることができない。更に、第１のデータ・セット１６０２ａに加えて、第２のデータ・セット１６０４が第１の基板２０２ａ上に表示される。
ヘルスケア及び医療においてモバイル情報ゲートウェイを使用する方法
次に図９、図１２、図１３、及び図１７を参照して、モバイル情報ゲートウェイ１００をヘルスケア及び医療の関係で説明する。一実施例では、医者又は他の医療専門家は、対面相互作用して、医療施設内の患者と同じ部屋にいる。これは、金融サービスの関係について上述したモバイル情報ゲートウェイ１００の支店内の使用と同様である。別の実施例では、モバイル情報ゲートウェイ装置１３０は、医療施設外での携帯可能シナリオで使用される。例えば、モバイル情報ゲートウェイ装置１３０は、事業所又は公共の場所に設置された除細動器などの医療機器の一部としてパッケージ化し得る。更に別の実施例では、モバイル情報ゲートウェイ１００は、手術室で患者及び医者が同じ部屋にいる場合、又は、遠隔手術中若しくは診察中に、使用される。最後の２つのシナリオでは、患者は非応答性である（例えば、麻酔下にある）場合がある。モバイル情報ゲートウェイ装置１３０は、患者又は手順についての更なる情報を医者に提供するために、又は、手順を捕捉し、教育目的で他の人々にそれを伝達するために使用することが可能である。モバイル情報ゲートウェイ１００のヘルスケア及び医療への適用を、医者がモバイル情報装置１３０を使用する場合で概括的に説明しているが、モバイル情報ゲートウェイ装置１３０は更に、何れかの医療専門家、医療スタッフ、在宅介護者、又は医療施設にいるか、又は遠隔で作業する他の人によって使用することが可能である。
モバイル情報ゲートウェイ１００のヘルスケア又は医療の関係への適用を次に説明する。特に、トリアージ、即座の医学的評価又は医学に関する討議を提供するために、患者及び医者が１つの場所に一緒にいるリセプション・エリアにおいて使用されるものとして説明する。モバイル情報ゲートウェイ１００によって行われる方法及び工程は、図９を参照して上述したものと同様である。同様に、医療施設のリセプション・エリアにおける医療スタッフ又は専門家は、患者の識別及び認証を行うためにモバイル情報ゲートウェイ１００を使用することが可能である。例えば、医療スタッフは、モバイル情報ゲートウェイ装置１３０を装着している場合がある。医療スタッフの構成員のヒューマン・インタフェース・モジュール１０２は、患者又はその眼の画像を捕捉し、顔認識又は虹彩認識を行う。これは、更なる処理及びサーバ１０８への供給のために、コンピューティング及び通信モジュール１０４に、捕捉された画像を送出することによって行うことが可能である。それらについての認識された個人又は情報を、バックエンド・サービス・サーバ１０８からヒューマン・インタフェース・モジュール１０２に返信することが可能である。一部の実施例では、患者についての情報の識別、検証、及び取り出しは、種々の割合で、ヒューマン・インタフェース・モジュール１０２、コンピューティング及び通信モジュール１０４、並びに、バックエンド・サービス・サーバ１０８の間で配分し得る。患者についての情報は、取り出され、ヒューマン・インタフェース・モジュール１０２に供給されると、医療スタッフの構成員に向けて、ヒューマン・インタフェース・モジュール１０２上に秘密に表示することが可能である。別の実施例では、医療施設に入ってくる個人は、モバイル情報ゲートウェイ装置１３０を装着するよう求められる。患者情報の識別、認証、及び提示の動作は、患者によって装着されたモバイル情報ゲートウェイ装置１３０によって工程が行われる点以外は、上述したものと同様である。患者による、モバイル情報ゲートウェイ装置１３０の、以下に更に説明する他の用途がいくつか存在している。モバイル情報ゲートウェイ装置１３０を装着している患者又は受付が、患者をチェックインさせ、他の管理機能を行い、それにより、患者の初期の受け入れをより効率的を行うことが可能になり得るため、前述の構成は何れも効果的である。更に、患者が識別されると、その患者の医療履歴についての情報、最近の状態、及び何れかの他の有用な情報を、モバイル情報ゲートウェイ装置１３０を利用する医療関係者に提供することが可能である。モバイル情報ゲートウェイ装置１３０は更に、患者についての何れかの更なる情報を取り出すために使用することが可能である。例えば、一種の「ＥＲダッシュボード」を、ヒューマン・インタフェース・モジュール１０２の画像供給及び表示機構３０２上に提示することが可能である。ＥＲダッシュボードは、限定列挙でないが、バイタル・サイン、薬に対するアレルギ、警告、注意喚起、人命救助ＣＰＲ手順のような暗記を必要とする情報、基本的応急処置等を含む情報を表示し得る。モバイル情報ゲートウェイ装置１３０を装着する何れかの環境における受付係又はグリータは、何れかのタイプの事業場所に入ってくる個人に対して、カスタマイズされた、より良いサービスを、上述したように上記個人に特有の識別、認証、及び情報検索を行うことによって提供することが可能である。例えば、最高級のレストラン、最高級のホテル、スパ、及び他のサービス産業における受付係は、モバイル情報ゲートウェイ装置１３０を使用して、リピート客を識別し、リピート客がより向上した体験ができるように情報を提供する。
ヘルスケア提供者（看護師、技師、医者、介護人等）は、（過去の記録がある場合、）直ちに患者を識別し、ヘルスケア提供者が患者を治療している間に、患者の情報全てに直ちにアクセスし、よって、時間（及びコスト）を節減し、患者の現在の疾患の治療を向上させるので、（実地における）モバイル（ＭＯＢＩＬＥ）へルスケア体験全体をモバイル情報ゲートウェイ・システム１００によってかなり向上させることが可能であることに留意されたい。これは、（診療所の外の）実地において提供される何れかの形態のヘルスケアに、かつ、より小型のディスプレイ・サイズが理由で、ポータブル又はモバイルの形態では、使用することが最適以下であった何れかの形態の医療機器を、この場合、診療所内と同じ有効性レベルで使用することが可能である。この一例は、現行システムにおいて、診療所において利用可能な大型ディスプレイよりもずっと小さい小型モバイル・ディスプレイ画面上に画像が表示されるポータブル超音波である。ずっと低いコスト及び、より高い機能情報は、超音波プローブが、モバイル情報ゲートウェイ装置１３０に直接、（又は、（ＵＳＢ、ＨＤＭＩ(登録商標)、ワイファイ（登録商標）等のような）標準インタフェースに変換しなければならない固有のハードウェア・インタフェースを使用する場合、間接的にアダプタを介して）超音波プローブを接続させることによってイネーブルすることが可能である。このことは全て、ヘルスケア提供者がモバイル情報ゲートウェイ装置１３０の画像供給及び表示機構３０２を使用して、画像を視て、画像供給及び表示機構３０２が広視野を備えることによってイネーブルされる一方、現在のシステムは前述の機能を有していないことによってイネーブルされる。
（受付係、又は新たな患者と相互作用する最初の人から開始する）何れかのタイプのヘルスケア提供者と患者との間の（何れかの場所での（病院／診療所、又はモバイルにおける））ヘルスケア相互作用は、モバイル情報ゲートウェイ・システム１００の使用によって向上する。これにより、ヘルスケア提供者が、必要に応じて情報にアクセスしながらも、その時間の大半を、患者をみることに費やすことが可能になるからである。患者に心地よく感じさせることは、患者の病気を治し、種々の画面を見るために多くの時間、視線をそらす代わりに、視線を合わせることの重要な部分であることは周知である。これは、ヒューマン・インタフェース・モジュール１０２の画像供給及び表示機構３０２が、患者の実世界のビュー上にオーバレイすることが可能な広視野を提供し、患者の体の部位と相互作用することによってイネーブルされる一方、現在の医療表示システムは前述の機能を提供するものでない。
一部の実施例では、モバイル情報ゲートウェイ装置１３０は、救急室、又は急患の受け入れなどの他の関係で使用される。情報の識別、認証、及び提供を行うことに加え、モバイル情報ゲートウェイ装置１３０は、患者についての更なる情報を捕捉し、前述の情報を、処理するためにバックエンド・サービス・サーバ１０８に送出するために使用することが可能である。例えば、モバイル情報ゲートウェイ装置１３０は、緊急度の高いトリアージにおいて支援し、患者の身体状態を評価するためのツールとして使用し得る。一部の実施例では、ヒューマン・インタフェース・モジュール１０２は更に、モバイル情報ゲートウェイ装置１３０が、バイタル・サイン、赤外画像、超音波画像等などの他の情報を捕捉するように、種々の医療ツール及び装置から信号を受け取るための入力を含み得る。情報は、処理されると、診断において使用することが可能であるように、モバイル情報ゲートウェイ装置１３０に返信することが可能である。一部の実施例では、複数のモバイル情報ゲートウェイ装置１３０は、医療履歴、及び保険の有無などの、患者についての情報をインテーカ又は受付係が、非常にすばやく引き出すことが可能であるように使用することが可能である。前述の第１のモバイル情報ゲートウェイ装置１３０は、患者の状態を選別し、診断するために、医師又は看護師によって使用される第２のモバイル情報ゲートウェイ装置１３０に、通信するよう結合し得る。患者の識別情報が証明され、認証が行われると、関連情報を次いで、第２のモバイル情報ゲートウェイ装置１３０に向けて送出することが可能である。第２のモバイル情報ゲートウェイ１３０は次いで、もうすぐ会おうとしている患者に特有の情報を使用することが可能である。これにより、医師又は看護師が、ディジタル及び実世界情報の組み合わせを有することが可能になり、それにより、患者の状態を確かめることが可能であり、治療を始めることが可能である精度及び速度が向上し得る。
次に図１２を参照するに、モバイル情報ゲートウェイ・システム１００と併せて使用するためのインテリジェント・ルーム１２０２の一実施例を示す。インテリジェント・ルーム１２０２は、ユーザ１２０６についての情報を捕捉するために、１つ又は複数のセンサ１２０４ａ、１２０４ｂ、１２０４ｃ、及び１２０４ｄを有する。この例では、１つ又は複数のセンサ１２０４ａ、１２０４ｂ、１２０４ｃ、及び１２０４ｄは、ユーザ１２０６の移動を捕捉するためのカメラである。患者は更に、１つ又は複数のオンボディ・センサ１２１０ａ、１２０ｂを装着し得る。前述の例は４つのカメラを示すが、他の実施例は、わずかに単一のカメラを含み、又は４つよりもずっと多くのカメラを含み得る。更に、インテリジェント・ルーム１２０２は、カメラの関係で説明するが、センサ１２０４ａ、１２０４ｂ、１２０４ｃ、及び１２０４ｄは更に、ＩＲカメラ、熱センサ、動きセンサ、位置センサ、圧力／力覚センサ、心拍モニタ、３Ｄセンサ等、又はそれらの何れかの組み合わせであり得る。更に、センサ１２０４ａ、１２０４ｂ、１２０４ｃ、及び１２０４ｄは、患者の状態についての情報を生成し、提供する何れかの移動機器又は患者監視機器（図示せず）であり得る。例えば、患者監視装置は、血圧、血流、血糖、心拍、体温、心電図記録、パルス・オキシメトリ、カプノグラフ、呼吸数、頭蓋内圧の何れか１つを監視し得る。センサ１２０４ａ、１２０４ｂ、１２０４ｃ、及び１２０４ｄは、ユーザ１２０６の移動及び動きを捕捉するために使用される。センサ１２０４ａ、１２０４ｂ、１２０４ｃ、及び１２０４ｄは、更に、手術中又は他の手技中などの患者の状態を監視するために使用し得る。一実施例では、センサ１２０４ａ、１２０４ｂ、１２０４ｃ、及び１２０４ｄはそれぞれ、線１２０８で表されるようにバックエンド・サービス・サーバ１０８に捕捉画像又は他の情報を提供するよう結合される。センサ１２０４ａ、１２０４ｂ、１２０４ｃ、及び１２０４ｄは効果的には、インテリジェント・ルーム１２０２内の活動についての、より多くの情報を提供する。例えば、センサ１２０４ａ、１２０４ｂ、１２０４ｃ、及び１２０４ｄは、自分の姿勢をディジタル形式で解析することが可能であるように、理学療法を受けている患者を捕捉することが可能である。患者は、移動、位置、トレーニング統計等についての更なる情報を提供するモバイル情報ゲートウェイ装置１３０を装着し、上記更なる情報は、線１２１０で表すようにバックエンド・サービス・サーバ１０８に送信される。例示的な理学療法を続ければ、ユーザ１２０６は、自分の理学療法レジームの一部として特定の運動を行う必要があり得る。患者は多くの場合、前述の運動を不適切に行っており、よって、運動の完全なリハビリ価値を受けない。インテリジェント・ルーム１２０２におけるセンサ１２０４ａ、１２０４ｂ、１２０４ｃ、及び１２０４ｄによって提供される更なる情報を、モバイル情報ゲートウェイ装置１３０からの情報とともに処理して、パフォーマンス情報を測定し、記録し、モバイル情報ゲートウェイ装置１３０上で視ることが可能であるように患者に向けて返信し得る。例えば、理学療法の運動を患者がどのようにして行っているかの画像を、理想的な態様の画像上にオーバレイして、同じ理学療法の運動（理想的な挙動）を行い得る。前述の混合画像は次いで、ユーザが理学療法の運動を行っているやり方についてのフィードバックを直ちに受けるように、ユーザに向けてモバイル情報ゲートウェイ装置１３０上に提示することが可能である。更に、理想的な挙動に対するパフォーマンス情報の比較に基づいた修正指示をヒューマン・インタフェース・モジュール１０２に送出し、ヒューマン・インタフェース・モジュール１０２によって提示し得る。このようにして、フィードバック及び情報は即時であり、ユーザ１２０６は、概念に一致するように理学療法の運動を行うやり方を修正することが可能である。同様に、待合室、患者診察室、又は手術室（ＯＲ）には、上述したように、センサ１２０４ａ、１２０４ｂ、１２０４ｃ、及び１２０４ｄ、オンボディ・センサ１２１０ａ、１２１０ｂ、又は患者監視装置（図示せず）を装備し得る。センサ１２０４ａ、１２０４ｂ、１２０４ｃ、及び１２０４ｄ、並びに、オンボディ・センサ１２１０ａ、１２１０ｂは、バックエンド・サービス・サーバ１０８に情報を提供するよう結合し得、又は、通信をモバイル情報ゲートウェイ装置１３０と直接確立し得る。何れの場合にも、患者の状態を示す信号は、センサ１２０４ａ、１２０４ｂ、１２０４ｃ、１２０４ｄ、オンボディ・センサ１２１０ａ、１２１０ｂによって生成され、モバイル情報ゲートウェイ装置１３０に、直接、又はバックエンド・サービス・サーバ１０８を介して送出される。モバイル情報ゲートウェイ装置１３０は、前述の信号を受け取り、当該情報をそのヒューマン・インタフェース・モジュール１０２上に提示する。
次に図１４を参照して、インテリジェント・ルーム１２０２及びモバイル情報ゲートウェイ１００を使用してリアルタイム・フィードバックを提供する方法１４００について説明する。方法１４００は、ユーザが、インテリジェント・ルーム１２０２においてヒューマン・インタフェース・モジュール１０２を装着することで始まる。これにより、モバイル情報ゲートウェイ装置１３０が、ユーザ、及びユーザの移動又は状態についての各種情報を捕捉することが可能になる。更に、如何なるタイプのものであっても、センサ１２０４が、ユーザ、及びユーザの移動又は状態についての情報も捕捉することが可能になる。次に、図９を参照して上述したように、ヒューマン・インタフェース・モジュール１０２は、情報を捕捉し（９０４）、処理し、通信及びコンピューティング・モジュール１０４、並びにバックエンド・サービス・サーバ１０８に情報を送出する（９０４）。インテリジェント・ルーム１２０２のセンサ１２０４は更に、情報を捕捉し（１４０４）、処理し、前述の情報をバックエンド・サービス・サーバ１０８に送出する（１４０６）。一部の実施例では、センサ１２０４は、情報をヒューマン・インタフェース・モジュール１０２によって使用されるものと同じ絶対クロックで、それら何れもが捕捉する上記情報を同期させることが可能であるように、捕捉し得る。一部の実施例では、センサ１２０４は、一定量の処理機能を含み、バックエンド・サービス・サーバ１０８に送出する前に情報を予め処理する。バックエンド・サービス・サ―バ１０８は、情報をヒューマン・インタフェース・モジュール１０２及びセンサ１２０４から受け取り、次いで、上記方法を処理し（１４０８）、解析する。方法１４００は、新たなデータ又は新たな画像を生成する（１４１０）ことによって続く。例えば、新たなデータは、未処理データ、又は、現在の、又は新たなデータに対する過去のデータの比較である。新たな画像は、（理学療法の運動を行うセンサ１２０４によって捕捉されたユーザの画像などの）実世界の画像上にオーバレイして、（理学療法の運動を行うための好ましい位置などの）理想的画像を組み合わせ得る。ブロック１４１０において画像を生成するために、ヒューマン・インタフェース・モジュール１０２によって捕捉された情報（例えば、位置情報、オーディオ情報、画像情報等）は、センサ１２０４によって受け取られた情報に加えて処理し得る。ブロック１４１０において画像を生成するために必要な前述の処理はブロック１４０８において行われる。一例では、超音波又は皮膚科学などにおけるオーバレイ・アプリケーションは、モバイル情報装置１３０により、オブジェクトの画像を撮って、（場合によっては３Ｄカメラ又は奥行距離測定センシング手法により、）位置特定情報を得ることを必要し、次いで、更なる情報（超音波などの別の画像モダリティ、又は過去の診察からの画像）が、実世界のオブジェクト上にオーバレイされる。新たに生成されたデータ又は画像が次いで、ユーザに向けて表示するためにヒューマン・インタフェース・モジュール１０２に送出される（１４１２）。任意的には、ヒューマン・インタフェース・モジュール１０２に送出された画像は更に、文書化の目的でバックエンド・サービス・サーバ１０８において記憶し得る（１４１４）。次いで、方法１４００は続けて、更なる入力がヒューマン・インタフェース・モジュール１０２及びセンサ１４０２によって送出されているか否かを判定する（１４１６）。肯定の場合、方法４００はブロック９０４及び１４０４に戻って当該プロセスを反復する。そのようにして、モバイル情報ゲートウェイ・システム１００は、医学的状態についての情報の提示又はタスクの実行をかなり向上させるためにユーザ又は医療専門家にリアルタイム・フォードバックを供給し得る。更なる入力がブロック１４１６で受け取られない場合、方法は完了し、終了する。
別の実施例では、モバイル情報ゲートウェイ装置１３０は、医療施設外のポータブルのシナリオで使用される。特定の場合、モバイル情報ゲートウェイ装置１３０は、より汎用的な用途を有し、数多くのタイプの専用機器の使用を補い得る。前述の場合、モバイル情報ゲートウェイ装置１３０は、情報を捕捉し、第２の専用装置が存在しているか否かを判定するよう捕捉された情報を処理し、第２の装置のタイプを識別するよう捕捉された情報を解析し、第２の装置のタイプに対応する指示情報を取り出し、ユーザが、少ない経験で、又は経験無しで、専用機器を動作させることが可能であるように、モバイル情報ゲートウェイ装置１３０上に指示情報を提示するために使用される。この例では、モバイル情報ゲートウェイ装置１３０は、いくつかの各種の専用装置をどのようにして使用するかについての指示を提供するために使用し得る。例えば、モバイル情報ゲートウェイ装置１３０は、救急箱の一部であり得、前述の救急箱における備品及び機器全てをどのようにして使用するかについての指示を提供し得る。他の場合には、モバイル情報ゲートウェイ装置１３０は、専用医療装置又は緊急装置の使用の準備ができている。前述の場合には、モバイル情報ゲートウェイ装置１３０は、概ね自己完結的であり得、専用の医療装置又は緊急装置を動作させるために必要な指示情報を含み得る。例えば、モバイル情報ゲートウェイ装置１３０は、事業所又は公共の場所に設置された除細動器などの医療機器の一部としてパッケージ化し得る。モバイル情報ゲートウェイ装置１３０は、除細動器も収容するガラス容器内にパッケージ化し得る。ユーザは、医療機器を使用し始めるにつれ、更に、モバイル情報ゲートウェイ装置１３０を装着する。モバイル情報ゲートウェイ装置１３０は、ユーザが医療機器を動作させるにつれ、モバイル情報ゲートウェイ装置１３０が、医療機器又は他の緊急機器をどのようにして使用するかについての逐次の操作指示を提示することが可能であるようにインタラクティブであり得る指示を記憶する。モバイル情報ゲートウェイ装置１３０は、他の情報とともにシーンの画像を捕捉するので、ユーザが、工程を実行し忘れたか、又は、工程を不適切に実行した場合、モバイル情報ゲートウェイ装置１３０は、警告メッセージを提示し、又は、ユーザの注目を集めるためにオーディオ信号及び適切な手順を提示することが可能である。より具体的には、モバイル情報ゲートウェイ装置１３０は効果的には、医療機器又は緊急機器を含む視野上にオーバレイされた指示情報を提示する。提示により、ユーザにフィードバックを提供することに加えて、モバイル情報ゲートウェイ装置１３０は、医療装置を含む現在のシーンの画像を捕捉することなどにより、医療機器の用途についての更なる情報を捕捉することが可能である。モバイル情報ゲートウェイ装置１３０は、医療機器の誤った使用を検出するために更なる情報を処理し、医療機器の誤った使用が検出された場合、モバイル情報ゲートウェイ装置１３０は、修正指示を提示する。モバイル情報ゲートウェイ装置１３０は、バックエンド・サービス・サーバ１０８と通信し、協働して更なる情報を処理し、誤った使用を検出し、修正指示を提供し得る。一部の場合には、緊急機器とともにパッケージ化されたモバイル情報ゲートウェイ装置１３０を単に使用して、モバイル情報ゲートウェイ装置１３０を起動させて、更なる情報を捕捉し、更なる情報を処理し、モバイル情報ゲートウェイ装置１３０が使用されている旨を緊急ディスパッチャに通知し、捕捉され、処理された情報を提供し得る。一部の実施例では、モバイル情報ゲートウェイ装置１３０のコンピューティング及び通信モジュール１０４は、医療機器によって提供された情報がモバイル情報ゲートウェイ装置１３０によって表示されるように医療機器と通信する。モバイル情報ゲートウェイ装置１３０のこの使用は、医療機器が、その医療機器での訓練の経験が少ないか、又はない人々によって使用される可能性が高い状態の場合に特に効果的である。同様に、モバイル情報ゲートウェイ装置１３０は、緊急状態において、訓練されていないユーザに救急指示又はＣＰＲ指示を提供するために使用することが可能である。モバイル情報ゲートウェイ装置１３０が有益であり得る種々の他の緊急状態が存在する。例えば、飛行機の緊急出口の列に座っている搭乗者は、飛行中にモバイル情報ゲートウェイ装置１３０を装着する必要があり得る。緊急事態が生じた場合、モバイル情報ゲートウェイ装置１３０は、当該事態のステータスについての更新について飛行機上のサーバと通信して、緊急手順をどのようにして行うかについての指示を受け取り、提示し、運航乗員との間で情報を受け取り、提示し、緊急機器にアクセスし、緊急機器を動作させ得る。前述の使用事例は、モバイル情報ゲートウェイ装置１３０によって提供される指示情報が、運搬用車両に内蔵された安全機器を動作させるための逐次の操作指示を含む各種運搬用車両に適用可能である。例えば、モバイル情報ゲートウェイ装置１３０は、船上の救命ボート、旅客バス用の緊急機器、列車用の緊急手順等に含まれ得る。
医療及びヘルスケア環境においてモバイル情報ゲートウェイ装置１３０を使用することの具体的な利点の１つは、即時の文書化を提供することができることである。例えば、モバイル情報ゲートウェイ装置１３０のヒューマン・インタフェース・モジュール１０２によって捕捉される情報は全て、バックエンド・サービス・サーバ１０８上に転送し、記憶することが可能である。更に、記憶された情報は更に、絶対基準クロックで時間符号化し、記憶し得る。一部の実施例では、モバイル情報ゲートウェイ装置１３０による情報の捕捉及び情報の提示は、バックエンド・サービス・サーバ１０８上又はコンピューティング及び通信モジュール１０４上にあり得る絶対クロックと同期させる。絶対クロック、捕捉された情報、及び提示された情報は後に、患者との相互作用又はセッション全体を再生するために使用することが可能である。すなわち、全ての正確なタイムラインは、画面上で後に組立直すためにそのクロック絶対クロック上にあり、又は、患者に向けて、モバイル情報ゲートウェイのめがね上に再生し得る。外科手術手技がどのようにして行われたかの記録、オ―ディオ・メモ、及び患者とのやりとりの完全な記録を記憶するために、このことは特に効果的である。前述の情報は、バックエンド・サービス・サーバ１０８上に記憶されると、訓練、アーカイブ、品質向上、及び法的な目的などの種々の更なる用途のためにレビューし、処理することが可能である。
次に図１３を参照するに、医療又はヘルスケア関係においてモバイル情報ゲートウェイ・システム１００を使用する方法１３００について説明する。方法は、図９を参照して上述したものと同じ最初の３つの工程で始まる。捕捉情報は、第１のユーザ（例えば、医療関係者）の識別情報を判定し、第１のユーザを認証するよう処理される。同じ捕捉情報、又は更なる捕捉情報は、識別情報を判定し、患者を認証するために使用することが可能である。識別及び認証は、顔認識又は虹彩認識を使用して行うことが可能である。単純な例では、医療関係者の識別情報及び患者の識別情報は、患者についての情報を取り出すために使用される。前述の情報は次いで、医療関係者の視野上にオーバレイされて、モバイル情報ゲートウェイ装置１３０を使用して提示される。次に、方法１３００は、捕捉情報を解析し（１３０２）、医学的状態を識別する（１３０２）ことによって続く。ヒューマン・インタフェース・モジュール１０２によって捕捉された情報に基づいて、バックエンド・サービス・サーバ１０８は医学的状態を識別するよう前述の情報を処理する。他の実施例では、処理は、バックエンド・サービス・サーバ１０８以外の、モバイル情報ゲートウェイ・システム１００の構成部分によって行うことが可能である。医学的状態に適した対応するプロセス又はチェック・リストが次いで、取り出され（１３０４）、捕捉情報と比較される。大半の実施例では、これはバックエンド・サービス・サーバ１０８によって行われるが、医療情報ゲートウェイ装置１３０によって行うことも可能である。例えば、患者は、単に、年に一度の標準的な身体検査のために医院（医務室）にいることがあり得る。前述の場合には、モバイル情報ゲートウェイ装置１３０上に提示される情報は、患者のバイタル・サインである。例えば、患者の記録から取り出されたバイタル・サインの履歴レベル、及び現在のバイタル・サインを含むバイタル・サインをダッシュボードにおいて提示し得る。一部の実施例では、モバイル情報ゲートウェイ装置１３０は、ユーザのバイタル・サインを判定するために使用することが可能なスペクトル画像などの更なる情報を捕捉し得る。捕捉された更なる情報は、特定のバイタル・サインの同時の測定について解析し得、次いで、前述の測定を、モバイル情報ゲートウェイ装置１３０上の医療関係者に提示し得る。モバイル情報ゲートウェイ装置１３０は更に、種々の患者監視装置と通信するために結合し得る。前述の患者監視装置からの前述の信号は、更に、モバイル情報ゲートウェイ装置１３０によって受け取り、患者の検査中に医療関係者に提示し得る。プロセスが続くにつれ、バック・エンド・サーバ１０８は、ユーザに向けて表示するために、ヒューマン・インタフェース・モジュール１０２に指示、警告、又は注意喚起を送出する（１３０６）。例えば、患者の薬に対するアレルギ、医療手順におけるステップ、正しい薬の使用、適切な手順等を、モバイル情報ゲートウェイ装置１３０を装着する医用専門家に提示し得る。更に、又はあるいは、超音波、ｘ線、ＭＲＩ画像等などの医療画像データをブロック１３０６に提示し得る。方法１３００は、患者とのやりとりの記録としてバック・エンド・サービス１０８（又は他の場所）においてヒューマン・インタフェース・モジュール１０２によって提示されるために返信された情報、及びヒューマン・インタフェース・モジュール１０２によって捕捉された情報を記憶する（１３０８）ことによって続く。次いで、方法１３００は、更なる入力がヒューマン・インタフェース・モジュール１０２から受け取られるか否かを判定する。肯定の場合、方法１３００はブロック１３０２に戻り、工程１３０４、１３０６、及び１３０８を繰り返す。否定の場合、方法１３００は完了し、終了する。
図１３を参照して上述したプロセスは、トリアージを行ううえで特に効果的である。一実施例では、捕捉情報は、複数の患者を有するサービス領域の画像を含む。複数の患者が、サービス領域（例えば、病院の救急領域又は待合室、医務室）内にいる。モバイル情報ゲートウェイ装置１３０は、サービス領域、サービス領域内にいる患者、及び前述の患者の状態についての画像及び他の情報を捕捉するために使用することが可能である。モバイル情報ゲートウェイ装置１３０には、カメラ、マイクロフォン、撮像機器、医療装置との結合、（本明細書及び特許請求の範囲記載のインテリジェント・ルームと同様な）他のセンサとの結合等を装備し得る。モバイル情報ゲートウェイ装置１３０によって捕捉された情報は、複数の患者それぞれに関連付けられた医学的状態を判定するよう解析される。モバイル情報ゲートウェイ装置１３０は、患者毎に医学的状態それぞれの重症度を判定するよう捕捉情報を処理し、関連付けられた医学的状態の重症度に基づいて患者をランク付けし、対応すべき状態の重症度の最高ランクを有する患者を選択する。例えば、モバイル情報ゲートウェイ装置１３０は、シーン内の患者を識別し、その負傷を識別し、次いで、救急重症度インデクス（ＥＳＩ）（ｈｔｔｐ：／／ｗｗｗ．ａｈｒｑ．ｇｏｖ／ｐｒｏｆｅｓｓｉｏｎａｌｓ／ｓｙｓｔｅｍｓ／ｈｏｓｐｉｔａｌ／ｅｓｉ／ｅｓｉ３．ｈｔｍｌ）などの尺度又はインデクスに基づいて治療のために順位付けすることが可能である。一部の実施例では、情報ゲートウェイ装置１３０は、シーンの写真撮影、熱感知、ガス／臭気検知等など、周囲を捕捉し、評価することが可能である。捕捉情報を次いで、組み合わせ、他の情報との解析（例えば、既存のデータベースとのマッチング）を行い得る。モバイル情報ゲートウェイ装置１３０は更に、シーン内で識別された人々のバイタル・サインを捕捉するために使用することが可能である。画像情報とともに、潜在的な患者及び犠牲者を評価し、かつ／又は識別することが可能である。例えば、意識不明の、又は識別情報のない患者／犠牲者を識別し、その健康歴を取り出し得る。モバイル情報ゲートウェイ装置１３０は、第一応答者、及び患者／犠牲者とのそのやりとりを識別するよう、画像内のシーンを処理することが可能である。移動できる患者／犠牲者は、後の治療のために二次領域に移動させることが可能である。一部の実施例では、モバイル情報ゲートウェイ装置１３０は、バックエンド・サービス・サーバ１０８と協働して、シーン情報を解析し、患者の／犠牲者の障害の重症度を判定する。単に、患者／犠牲者の動きやすさについての捕捉情報を解析することにより、モバイル情報ゲートウェイ装置１３０は、負傷の重症度がより高く、よって、意識不明であり、又は動けない、可能性の高い候補を識別するための基本的なタイプのトリアージに使用することが可能である。例えば、モバイル情報ゲートウェイ装置１３０は、治療の必要性の緊急度に応じて犠牲者を色分けし得る。まず、赤タグ付きの犠牲者の世話をし、モバイル情報ゲートウェイ装置１３０は、重症度が低い負傷がある、色分けされた犠牲者に対応し続ける前に、赤タグ付きの犠牲者全ての世話を確実にすることを支援し得る。一実施例では、色分けは、シーン内の特定の個人にオーバレイされたヒューマン・インタフェース・モジュール１０２上に表示される。これは、図１５を参照して本明細書及び特許請求の範囲に記載されたコールアウトと同様のものである。モバイル情報ゲートウェイ装置１３０は、装着者が、別々の色分けされたタグを追跡し、特定の色分けされたタグ付きの犠牲者の場所を識別し、モバイル情報ゲートウェイ装置１３０を装着する他の第一応答者と通信し合うことを支援するうえで特に効果的である。モバイル情報ゲートウェイ装置１３０は更に、サービス領域内のバックエンド・サービス・サーバ１０８又は他の患者監視装置との通信を確立することが可能である。前述の場合には、モバイル情報ゲートウェイ装置１３０は、前述の装置から情報を受け取り、前述の情報、及び捕捉情報を使用して、患者毎の医学的状態の重症度を判定する。別の実施例では、モバイル情報ゲートウェイ装置１３０は、特定の患者の医学的状態のトリアージを支援するために医療関係者によって使用することが可能である。例えば、医療関係者が、ヒューマン・インタフェース・モジュール１０２を含むモバイル情報ゲートウェイ装置１３０を装着し、患者と面会している場合、ヒューマン・インタフェース・モジュール１０２は、患者についての更なる情報を捕捉することが可能であり、前述の情報は、患者の医学的状態を判定するよう解析することが可能であり、モバイル情報ゲートウェイ装置１３０は、識別された医学的状態について考えられる治療を取り出すことが可能であり、治療情報をモバイル情報ゲートウェイ装置上に提示することが可能である。例えば、患者の画像を捕捉し、解析して、負傷の身体的兆候、病気の症状、又は、他の医学的状態の他の兆候を判定し得る。患者の画像は、その医療記録の一部である、患者の他の画像と比較することが可能である。更に、モバイル情報ゲートウェイ装置１３０上にトリアージの質問を提示することが可能であり、前述の質問に対する回答を記録し、テキストに変換し、別々の医学的状態に関連付けられた症状又は状態のリストと比較することが可能である。消去及び一致に基づいて、医療関係者によって行われるトリアージを補い、検証し、再確認し、又は他のやり方で向上させることが可能である。
図１３を参照して上述したプロセスは特に効果的である。特定の報告書（Ｊａｍｅｓ、 Ｊｏｈｎ Ｔ．による「Ａ Ｎｅｗ Ｅｖｉｄｅｎｃｅ−ｂａｓｅｄ Ｅｓｔｉｍａｔｅ ｏｆ Ｐａｔｉｅｎｔ Ｈａｒｍｓ Ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ Ｈｏｓｐｉｔａｌ Ｃａｒｅ（ＪＯＵＲＮＡＬ ＯＦ ＰＡＴＩＥＮＴ ＳＡＦＥＴＹ、Ｖｏｌ．００、Ｎｏ．００、（２０１３））」を参照されたい）によれば、毎年、病院、手術室、医院において、２０万件を超える医療過誤が発生している。既存の手技の補完としての、医療関係者によるモバイル情報ゲートウェイ装置１３０の使用は、前述のタイプの前述の過誤の一部を削減することに寄与し得る。まず、モバイル情報ゲートウェイ装置１３０は、薬物アレルギ、薬物相互作用、及び患者についての他の固有の特性についての警告を提供することが可能である。第二に、モバイル情報ゲートウェイ装置１３０は、何れかの医学的手技の最も望ましい方法及び適切な実施に関する逐次の手順を提供することが可能である。第三に、モバイル情報ゲートウェイ装置１３０は、手技がどのようにして行われるかを監視し、必要なステップ全ての実施、薬物の適切な使用法及び使用順序の識別、当該事態に対する適切な医療ツールの識別等に関する即時のフィードバックを医療関係者に提供する。モバイル情報ゲートウェイ装置１３０は、外科手術中、病院内又は診療所内の回診中、入院患者の診察中等に使用することが可能である。例えば、モバイル情報ゲートウェイ装置１３０は、手術チェック・リストを提供し、それにより、手術が適切に行われたことの認証の別の階層になり得る。
モバイル情報ゲートウェイ装置１３０の１つの特に効果的な用途は、当該手技を行っている間の医療関係者用である。前述の手技の実施中に、モバイル情報ゲートウェイ装置１３０は、超音波、ｘ線、及び他の医用撮像装置などの、画像を生成する各種医療機器にネットワークを介して結合することが可能である。モバイル情報ゲートウェイ装置１３０の主要な効果は、前述の医療装置によって捕捉された画像を患者に提示するために使用することが可能であり、それにより、医者が、患者に焦点を当て続け、医用撮像装置の画面上の画像を視るために眼をそらさなくてよいことが可能になる。例えば、現在、外科医は、モニタ又は特定の他のディスプレイを見ながら外科手術を行う必要がある。モバイル情報ゲートウェイ装置１３０を使用することにより、外科医によって必要とされる画像がヒューマン・インタフェース・モジュール１０２の画像供給及び表示機構３０２上に表示される。このことは、サイド・モニタ又は表示装置ではなく、患者に外科医の眼が留まることに寄与する。モバイル情報ゲートウェイ装置１３０の使用により、更に、画面でなく、患者を視て、患者と直接話すことが可能になる。モバイル情報ゲートウェイ装置１３０によって提供される自然な３Ｄ撮像は更に、外科医が患者を視ることができる機能を向上させるために使用することが可能である。要するに、モバイル情報ゲートウェイ装置１３０により、外科医又は医者が、より自然に患者とやりとりすることが可能になる。単に例として、モバイル情報ゲートウェイ装置１３０との組み合わせによって大いに便益を受けるいくつかのタイプの医療プロセス又は機器には、超音波ガイド手技、耳撮像、眼底撮影／虹彩撮像、内視鏡手術（脳外科手術のために脳頭蓋骨にドリルで穴を開けるのに役立つ）、腫瘍の針生検を行う、喉頭鏡を用いた咽喉手術、又は顕微鏡手術が含まれる。より具体的には、外科医が患者の医学的状態を、前述の状態の別々のステージからの、又は、ユーザの過去の診察からの情報をオーバレイすることにより、可視化することを支援するために使用することが可能である。例えば、モバイル情報ゲートウェイ装置１３０は、患者の複数の診察間の比較（例えば、腫瘍の形状又はサイズ、あざの出現、患部がどのようにして治癒するか、スケーリングされたオーバレイが理由でサイズがどのようにして変化したか）の目的で患者の病変上のオーバレイ画像を生成することが可能である。
別の実施例では、モバイル情報ゲートウェイ装置１３０は遠隔医療に使用することが可能である。例えば、特定の手技を行う熟達した医療専門家は、手技中にモバイル情報ゲートウェイ装置１３０を装着し、ナレーション音声で手技を補うことが可能である。モバイル情報ゲートウェイ装置１３０は、ナレーション音声、及び手技がどのようにして行われるかの画像を捕捉することが可能である。前述のタイプの情報は何れも、モバイル情報ゲートウェイ装置１３０からバックエンド・サービス・センタ１０８に送出することが可能である。バックエンド・サービス・サーバ１０８は、学生、又は熟達度が低い専門家の教育のためにリアルタイムでこの情報をストリーミングすることが可能である。モバイル情報ゲートウェイ装置１３０を使用することの１つの利点は、人々が、遠隔で参加することが可能であり、手技を行っている人と同じ視点から手技を、遮るものなしで視ることができるという点である。情報は更に、他の者がリアルタイムで視ることができない場合にいつでも視ることができるように、バックエンド・サービス・センタ１０８上に記憶し、アーカイブすることが可能である。バック・エンド・サーバ１０８上に記録し、記憶することに加え、手技の記録は、追加の特別な詳細を必要とする手技又は領域の主要な局面を識別するために、グラフィックス、オーディオ、強調表示、又はコールアウトなどの他の情報をオーバレイすることによって補うことができる。オーバレイを含む画像供給及び表示機構３０２（例えば、シーン情報）を介して視ているものが何であるかを記録することは有用であり得る。シーン情報及びオーバレイは、後の再生成のために別個に、又は併せて記憶することが可能である。
モバイル情報ゲートウェイ装置１３０は更に、経験が豊富な医者が、経験が浅い医者、又は非医療関係者と協働し、通信し合うために使用することが可能である。例えば、モバイル情報ゲートウェイ装置１３０は、特定の分野における世界の専門家が、非常に遠隔な地域における一般医と通信し合い、手技の実際の実施、診断、又はトリアージを支援することを可能にし得る。実地にいる人がモバイル情報ゲートウェイ装置１３０を装着して、遠隔のインストラクタ又は教師には、実地にいる人と同じビューが提供され得る。遠隔インストラクタは次いで、実地に出ている人に対する指導又は支援を提供することが可能であり、セッション全体を記録することが可能である。これは、患者を医者によって仮想的にかつ遠隔に評価することが可能であるテレプレゼンスを可能にする。
ヘルスケアにおいて使用される医療情報ゲートウェイ・システム１００の上記説明は主に、医療情報ゲートウェイ装置１３０のユーザが医療専門家又はそのスタッフであるとして説明している。しかし、医療の関係では、医療情報ゲートウェイ装置１３０は更に、患者によって使用し得る。例えば、患者は、待合室にいる間に医療情報ゲートウェイ装置１３０を装着し得、カスタマイズされた教育又は娯楽のコンテンツを内々に患者に見せることが可能である。前述のコンテンツは、患者がもうすぐ経験する手技に特有であり得る。医療情報ゲートウェイ１３０は、手技の３Ｄモデリング、治療計画の説明、治療のためのタイムライン及びグラフ、治療の見込み等を含む医学的手技を医者及び患者が可視化することによって使用することが可能である。例えば、癌の治療計画は、化学療法などの、行われる手技、及び患者に対してどのような影響があり得るかを含み得る。これは、手技又は治療が理由で生じ得る再生又は患者の画像の上に示し得る。前述の実施例では、患者及び医療関係者はそれぞれ、対応する医療情報ゲートウェイ装置１３０を有する。各ユーザが、図９を参照して上述したものと同様なやり方で識別され、認証される。情報は次いで、それぞれのユーザの視野それぞれの上にオーバレイされて、それぞれの医療情報ゲートウェイそれぞれの上に提示することが可能である。これは、図１６Ａ及び図１６Ｂを参照して上述した例と同様であるが、医療情報を提示するためである。例えば、患者の取り出された情報が、患者の第１のモバイル情報ゲートウェイ装置により、視野上にオーバレイされる一方、同じ情報が、医療関係者の第２のモバイル情報ゲートウェイ装置により、第２の視野上にオーバレイされる。患者及び医者のモバイル情報ゲートウェイ装置１３０は更に、患者及び医者それぞれのみに、秘密のデータ・セットを提示し得る。例えば、第１のデータ・セットは、患者に第１のモバイル情報ゲートウェイ装置１３０上のみで提示し得る一方、第２のデータ・セットは、医者に第２のモバイル情報ゲートウェイ１３０上のみで提示し得る。上述のように、モバイル情報ゲートウェイ装置１３０上に提示される情報は、第１のモバイル情報ゲートウェイ装置１３０の位置に基づいた第１のユーザ（例えば、医者）の第１の視点からのデータの３次元画像の提供を含み得る。同じ情報を、第２のモバイル情報ゲートウェイ装置１３０を使用して、しかし、第２のモバイル情報ゲートウェイ装置１３０の位置に基づいた患者の第２の視点からの同じデータの別の３次元画像とともに、患者に向けて提示し得る。更に、患者によって使用される第１のモバイル情報ゲートウェイ装置１３０と、医療関係者によって使用される第２のモバイル情報ゲートウェイ装置１３０との間の秘密の暗号化通信チャネルは、患者と医者との間の通信の秘密性を確実することが可能である。
別の実施例では、医療情報ゲートウェイ装置１３０は、患者が自分自身の医療情報について自分の医師と話し合うことができるように患者のみが自分自身の医療情報を視るために使用し得る。医師もモバイル情報ゲートウェイ装置１３０を装着している場合、診察中のやりとりを支援し、手技を１つ１つ説明し、手技又は３Ｄモデリングを示し、どのようにして当該プロセスが体に影響を及ぼすかを示し、当該プロセス前画像及び当該プロセス後画像等を示す等のために、各個人によって何れの装置も使用することが可能である。これは、更に、患者及び医療関係者が異なる言語を話す場合の言語の通訳を含み得る。更に別の実施例では、モバイル情報ゲートウェイ装置１３０は、病気の治療を提供するために使用することが可能である。例えば、モバイル情報ゲートウェイ装置１３０によって提供される拡張現実は、恐怖症、又は心理的問題の治療の状態を患者が可視化することを可能にするか、又は上記状態を可視化するために画像を提示するために使用することが可能である。すなわち、患者が恐れていることの特定の状態又は画像は、患者が恐れている状態を扱うためのプロセス及びルーチンを患者が策定することが可能であるように、モバイル情報ゲートウェイ装置１３０に提示することが可能である。次いで、患者は、実生活において前述の状態にさらされている場合、前述の状態に対処するための機構を有する。モバイル情報ゲートウェイ装置１３０を使用して訓練されているからである。モバイル情報ゲートウェイ装置１３０は、広視野を有するディスプレイをユーザが視ることによって便益を受けることが可能な近視及び弱視、又は他の状態として扱うために使用し得る。視力を向上させるために一人称シューティング・ゲーム及びテトリスなどのビデオ・ゲームを使用することの効果性が研究によって明らかとなっている（ｈｔｔｐｓ：／／ｗｗｗ．ｍｃｇｉｌｌ．ｃａ／ｃｈａｎｎｅｌｓ／ｎｅｗｓ／ｌａｚｙ−ｅｙｅ−ｄｉｓｏｒｄｅｒ−ｐｒｏｍｉｓｉｎｇ−ｔｈｅｒａｐｅｕｔｉｃ−ａｐｐｒｏａｃｈ−２２６０１１を参照されたい。）
更に、医療情報ゲートウェイ装置１３０は、一部の実施例では、患者のみ、又は患者の介護人によって使用し得る。患者又は介護人による前述の使用のための方法１７００について、図１７に示し、以下に説明する。方法１７００は、図９を参照して上述されたような３つの工程９０２、９０４、及び９０６で始まる。具体的には、方法１７００は、ヒューマン・インタフェース・モジュール１０２により、情報を捕捉し（９０２）、ヒューマン・インタフェース・モジュール１０２のユーザの識別情報を判定する（９０４）よう捕捉情報を処理し、ユーザの識別情報を認証する（９０６）。方法１７００は、ブロック９０４において捕捉された情報を処理することにより、患者のニーズを識別する（１７０８）ことによって続く。方法１７００は更に、ユーザの認証、及びユーザの識別情報に基づいて捕捉情報の解析を行う（１７１０）。方法１７００は次いで、データを取り出し（１７１２）、ユーザに向けて提示するためにデータをヒューマン・インタフェース・モジュール１０２に送出する。場合によっては、更なる情報をヒューマン・インタフェース・モジュール１０２によって捕捉する必要がある。方法１７００は、ヒューマン・インタフェース・モジュール１０２への更なる入力、又はヒューマン・インタフェース・モジュール１０２からの更なる入力が必要であるか否かを判定する。何れかの条件が真である場合、方法１７００はブロック９０４に戻って更なる情報を捕捉し、ブロック９０６、１７０８、１７１０、及び１７１２に進む。一方、何れの条件も偽である場合、更なる入力は必要でなく、方法１７００は完了し、終了する。識別１７０８、解析１７１０、及び取り出し１７１２のブロックは、各種形態をとり得、そのいくつかの例について以下に説明する。
第１の例では、患者が、モバイル情報ゲートウェイ装置１３０を装着し、これは患者の医療記録にアクセスするために使用される。この例では、モバイル情報ゲートウェイ装置１３０は、ユーザの識別情報に基づいて少なくとも１つのアクセス可能な医療記録を判定し、情報を取り出し、それをユーザに向けてヒューマン・インタフェース・モジュール１０２上に提示する。一実施例では、情報は、コンピューティング及び通信モジュール１０４上に記憶され、ヒューマン・インタフェース・モジュール１０２は単に医療記録を取り出す。別の実施例では、情報がバックエンド・サービス・サーバ１０８において記憶され、モバイル情報ゲートウェイ装置１３０は、バックエンド・サービス・サーバ１０８から情報を取り出す。同様な例では、モバイル情報ゲートウェイ装置１３０のユーザは患者の介護人である。前述の例では、捕捉情報を処理することによって患者を識別しなければならない。次いで、モバイル情報ゲートウェイ装置１３０は、介護人の識別情報及び患者の識別情報に基づいてアクセスすることが可能な医療記録が存在しているか否かを判定する。肯定の場合、モバイル情報ゲートウェイ装置１３０は、１つ又は複数の医療記録を取り出し、前述の医療記録をヒューマン・インタフェース・モジュール１０２のディスプレイ上に提示する。介護人はモバイル情報ゲートウェイ装置１３０を使用しているので、介護人は情報自体を使用するか、又はその情報を患者に提供する。
第２の例では、患者が、モバイル情報ゲートウェイ装置１３０を装着し、これは、遠隔の場所にいる医療関係者との通信のために使用される。第２の例では、医療関係者は、第２の遠隔装置を使用して利用可能である。遠隔装置は、第２の医療情報ゲートウェイ装置１３０であり得、ラップトップ・コンピュータ、デスクトップ・コンピュータ、タブレット・コンピュータ、又はスマート・フォンなどの別のコンピューティング装置であり得る。図１７を参照して上述した工程に加えて、（又は上記工程の一部の代わりに、）モバイル情報ゲートウェイ装置１３０は、医療関係者に利用可能な第２の装置との通信リンクを確立する。患者のモバイル情報ゲートウェイ装置１３０は、情報を収集し／捕捉し、前述の情報を第２の装置に送出する。これに応じて、医療関係者は、第２の装置上で受け取られた当該入力情報をレビューし、医療又は指示情報を医療情報ゲートウェイ装置１３０に送出する。モバイル情報ゲートウェイ装置は、医療又は指示情報を受け取り、それをヒューマン・インタフェース・モジュール１０２上に提示する。モバイル情報ゲートウェイ装置１３０のこの使用は特に効果的である。患者は、自分の家の中に留まり、モバイル情報ゲートウェイ装置１３０を使用して自分の医師又は他の医療関係者にかかることが可能であるからである。モバイル情報ゲートウェイ装置１３０は情報を捕捉し、医療関係者に送出する。前述の情報は、画像、オーディオ、ビデオ、バイタル・サイン等であり得る。医療関係者との相互作用は、生であり、かつ、インタアクティブであり得る。一部の実施例では、相互作用は、オーディオ会議又はビデオ会議と同様である。他の実施例では、医療関係者は単に、指示をタイプ入力又は入力することが可能であり、指示は、テキストとして扱われ、モバイル情報ゲートウェイ装置１３０を使用して患者に向けて表示することが可能である。よって、患者は、患者が直接、診療所又は病院にいた場合に受けたであろうものと同様な診察を受ける。本実施例の適応例において、第２の装置は、入力を処理し、モバイル情報ゲートウェイ装置１３０によって捕捉された情報に応じて診断及び提案された治療をシステムに提供するエキスパート・システム又は他の手法、ニューラル・ネットワーク、機械学習を含む。
第２の例と同様な第３の例では、患者はモバイル情報ゲートウェイ装置１３０を装着し、自分自身をどのようにして治療するかを患者に教授又は助言するために情報がヒューマン・インタフェース・モジュール１０２上に提供される。例えば、ブロック９０４において捕捉された情報は、ユーザの医学的状態を判定するためにブロック１７０８で処理される。医学的状態は、新たな負傷であり得、又は、モバイル情報ゲートウェイ装置１３０によって検出可能な発現を伴う病気であり得る。加えて、患者の病歴を更に、モバイル情報ゲートウェイ装置１３０を使用して取り出し、次いで、ブロック１７１０の解析に使用し得る。医学的状態が識別されると、解析１７１０は、医学的状態に対処するための手技又は情報を識別する。手技又は情報が次いで、モバイル情報ゲートウェイ装置１３０によって取り出され、前述の情報が、ユーザに向けて提示するためにヒューマン・インタフェース・モジュール１０２に提示される。例えば、傷の上の包帯をどのようにして取り替えるかについての手順をヒューマン・インタフェース・モジュール１０２上に提示することが可能である。前述の手順の提示は、情報ゲートウェイ装置１３０によって捕捉される患者の動作と同期させることが可能である。特に、上記プロセスは、既存の包帯があれば、それを患者が取り外すための手順をヒューマン・インタフェース・モジュール１０２上に提示することにより、始まり得る。モバイル情報ゲートウェイ装置１３０は、患者の動作を捕捉し、旧い包帯が取り外されている時点を画像解析によって判定することが可能である。旧い包帯が取り外されると、モバイル情報ゲートウェイ装置１３０は、化膿止め軟膏を塗布するための手順を提供することが可能である。この場合も又、モバイル情報ゲートウェイ装置１３０は、患者の動作を捕捉し、創傷に軟膏を塗布し終えた時点を判定することが可能である。最後に、モバイル情報ゲートウェイ装置１３０はどのようにして傷に新しい包帯をするかについての逐次の手順を提供することが可能である。包帯が不適当にされている場合、モバイル情報ゲートウェイ装置１３０は、提示された情報を適合させ、調整を必要とする、新しい包帯部分、又は包帯の一部をほどく旨を患者に指示し得る。これは単に一例であり、他の手順及び手技は、患者に向けてモバイル情報ゲートウェイ装置を使用して同様に提示することが可能である。例えば、安定化させるために、捻挫した足首にどのようにして包帯をするかについての同様な手順を提供し得る。ブロック１７１４からブロック９０４に戻るループによって表されるように、更なる情報をモバイル情報ゲートウェイ装置１３０によって捕捉し、使用することが可能である。推奨された手技又は治療を行ううえでのユーザの動作は、モバイル情報ゲートウェイ装置１３０によって捕捉し得る。前述の動作を次いで、ブロック１７１０において解析し、ユーザに送出された識別された理想の手技と比較することが可能である。ユーザが、正しく手技を実施している場合、更なる動作は必要でない。しかし、手技を実施するための動作が、受け入れ可能な許容範囲を超える場合、識別された理想の手技を実施するための対処手順をヒューマン・インタフェース・モジュールに送出することが可能である。一部の実施例では、正しく実現されていることを確実にするために、必要に応じて、手技の実施を調節することが可能であるように、前述の対処手順をリアルタイムでヒューマン・インタフェース・モジュール１０２に送出することが可能である。
第４の例では、患者は、モバイル情報ゲートウェイ装置１３０を装着しており、患者の状態を監視し、又は状態の進展（若しくは退縮）を監視するために使用することが可能である。この例では、患者は、モバイル情報ゲートウェイ装置１３０を連続して装着するか、又は、監視を行うのに十分な数回の持続時間においてモバイル情報ゲートウェイ装置１３０を装着する。例えば、患者は、上述したようにモバイル情報ゲートウェイ装置１３０を装着し、捕捉された情報を処理し、医学的状態を判定し得る。捕捉された情報、ユーザの識別情報、及び他のメタデータをモバイル情報ゲートウェイ装置１３０によって記憶し得る。前述の情報は、コンピューティング及び通信モジュール１０４若しくはバックエンド・サービス・サーバ１０８、又は両方において記憶し得る。所定量の時間後、モバイル情報ゲートウェイ装置１３０は、識別された医学的状態を含むユーザのステータスについての更なる情報を捕捉し、上記情報を記憶することが可能である。前述のプロセスを何度も何度も繰り返すことにより、モバイル情報ゲートウェイ装置１３０を、患者の状態を監視するために使用することが可能である。捕捉された情報は更に、患者の状態が改善しているか、又は悪化しているかを判定するために使用することが可能である。場合によっては、監視は単純に、患者の状態のベースラインを得るために行うことが可能である。例えば、モバイル情報ゲートウェイ１３０は、患者の血圧及び脈拍について、より長い期間にわたってベースライン測定を得るために使用することが可能である。
他の場合には、モバイル情報ゲートウェイ装置１３０は、特定の医学的状態の進展を判定し、前述の状態の進行又は後退について患者に情報をもう一度提供し、自動的に、緊急事態を示すメッセージを生成し、医療関係者に送出し、治療を推奨し、又は他の情報を提示し、若しくは他の措置を講じるために使用することが可能である。例えば、患者に皮膚癌があり、色が黒又は茶色の癌性腫瘍ということから分かるものとする。一部の腫瘍は良性であり得るが、場合によっては、皮膚細胞は変異し、急速に増殖し、悪性腫瘍を形成する皮膚細胞につながり得る。モバイル情報ゲートウェイ装置１３０を、患者によって使用して、週単位、日単位で、又は時間単位でも前述の癌性腫瘍を有し得る（例えば、患者の腕の上の）患者の皮膚の部位の画像を捕捉することが可能である。モバイル情報ゲートウェイ装置１３０は、前述の腫瘍を有する同じ部位の更なる画像を捕捉するために何れかの反復単位で使用することが可能である。モバイル情報ゲートウェイ装置１３０は、現在捕捉されている情報を、先行して捕捉された情報と比較して、腫瘍のサイズにおける差を判定し（、又は、より一般には、医学的状態における差を判定する）ことが可能である。上記差に応じて、更なる情報を、モバイル情報ゲートウェイ装置１３０を介して提供することが可能である。例えば、患者が自分の医師にかかることの推奨、推奨治療、薬の推奨、手技の推奨等のメッセージを提供することが可能である。一部の実施例では、モバイル情報ゲートウェイ装置１３０は、腫瘍のサイズにおける差を示すオーバレイ画像を作成することが可能である。モバイル情報ゲートウェイ装置１３０は更に、腫瘍のサイズについての校正、先行して存在していたものと腫瘍が同じであるか否か、増殖率又は減少率に関するメトリック、増殖及び治癒の進展等などの拡張された情報を提供するために使用することが可能である。モバイル情報ゲートウェイ装置１３０の撮像機能は一例に過ぎない。モバイル情報ゲートウェイ装置１３０は更に、他のタイプのスペクトル撮像、オーディオ録音を含み、他の患者監視装置に接続し得る。モバイル情報ゲートウェイ装置１３０のオーディオ捕捉機能は、（例えば、睡眠無呼吸のために）患者の呼吸パターンを監視し、又は、患者の咳の頻度を監視するために使用することが可能である。更に、モバイル情報ゲートウェイ装置１３０は、１つ又は複数の患者監視装置との通信を確立することが可能である。結合された患者監視装置から受け取られた情報を、バックエンド・サービス・サーバ１０８において、処理し、解析し、更に、記憶し得る。一部の実施例では、モバイル情報ゲートウェイ１３０は更に、バックエンド・サービス・サーバ１０８に、又は直接、医療専門家の情報システムに情報を転送することなどにより、医師に提示された医療記録の一部であるように前述の情報を送出し得る。モバイル情報ゲートウェイ装置１３０は効果的には、いくつかの各種情報を捕捉する機能を有し、それにより、何れかの数の医学的状態を監視し、追跡することができる。
第５の例では、患者が、モバイル情報ゲートウェイ装置１３０を装着し、これは薬物の適正使用を支援するために使用することが可能である。例えば、ブロック９０４において捕捉され、処理された情報は、患者によって行われる活動の多くを含み得る。例えば、モバイル情報ゲートウェイ装置１３０は、患者の飲食、睡眠、休憩、運動等の時点を記録し得る。更に、捕捉された情報の更なる解析は、何を実際に食べており、何を飲んだか等を判定し得る。よって、モバイル装置ゲートウェイ装置１０３の画像捕捉機能は、患者が投与する前に錠剤、注射薬等を捕捉するために使用することが可能である。多くの場合、種々の薬物は種々のサイズ、色、形状、マーキング等を有する。患者は、投与される前に錠剤又は薬物の画像を捕捉した場合、モバイル情報ゲートウェイ装置１３０は、錠剤の画像を捕捉し、考えられ得るタイプの薬物を判定し、上記薬物が当該患者用のものであることを確認することが可能である。例えば、薬物は、患者と所帯を共有する別の人用のものであり得る。よって、捕捉された画像の処理により、薬物のタイプが識別され得る。同様に、薬物のパッケージングの画像を捕捉して、処方薬が誰用のものか、規定服用量、規定投与回数、薬物相互作用の問題、及び薬物の投与のために他の条件が存在していなければならないか否かを判定し得る。タイプが判定されると、モバイル情報ゲートウェイ装置１３０は、前述の薬物が、患者用に処方されているか否かを判定することが可能である。モバイル情報ゲートウェイ装置１３０は、患者の活動の多くを捕捉しているので、更に、薬物を服用するための条件が満たされているか否かについて、捕捉情報を処理することによって判定することが可能である。例えば、一部の薬物は、アルコールとともに服用することが可能でないか、又は服用すべきでない一方、他の薬物は食品とともに服用すべきである。更に他の薬物は、一日の特定の時間において服用しなければならない。モバイル情報ゲートウェイ装置１３０は、患者の他の活動を捕捉しているので、薬物を服用するための条件が満たされているか否かについて、捕捉された他の情報に基づいて判定し、解析することが可能である。一部の実施例では、当該タイプの薬物が患者用に処方されていないか、又は薬物を服用するための１つ又は複数の条件を満たしていない場合、ヒューマン・インタフェース・モジュール上で提示することが可能な警告メッセージを送出する。
第６の例では、介護人がモバイル情報ゲートウェイ装置１３０を装着し、それは患者についての情報を捕捉するために使用される。例えば、介護人は、モバイル情報ゲートウェイ装置１３０を装着し、高齢患者についての情報を捕捉し得る。同様に、親又は子守役は、モバイル情報ゲートウェイ装置１３０を装着し、子ども達についての情報を捕捉し得る。更に、療法士（例えば、言語療法士又は聴覚訓練士）は、モバイル情報ゲートウェイ装置１３０を装着し、それを使用して、先行する打ち合わせからのオーディオ又はビデオを表示し、患者の経過を評価し得る。同様に、作業療法士は、子どもと関わっている間に子どもの履歴を表示するためにモバイル情報ゲートウェイ装置１３０を使用することが可能である。前述の場合の何れにおいても、モバイル情報ゲートウェイ装置１３０は、情報を捕捉し、前述の情報は医学的状態を判定するよう処理される。医学的状態についての情報は、モバイル情報ゲートウェイ装置１３０によって取り出され、ヒューマン・インタフェース・モジュール１０２上に提示される。親又は子守役がモバイル情報ゲートウェイ装置１３０を装着する例では、患者（すなわち、子ども）に適していない情報を、親のみに、モバイル情報ゲートウェイ装置１３０を使用して提示することが可能であるので、これは効果的である。例えば、モバイル情報ゲートウェイ装置１３０は、子どもの湿疹を捕捉するために使用し得る。皮膚の温度などの他の測定を行い、子どもの状態を経時的に評価し、監視することが可能である。モバイル情報ゲートウェイ装置１３０を更に、湿疹の適切な治療についての手順を親に提供するために使用することが可能である。別の例では、子どもの画像は、ダニなどの虫に刺された跡を識別するために捕捉することが可能である。子どもの皮膚の画像を、捕捉し、その特性における変化について監視することが可能である。一部の実施例では、子どもの画像を捕捉することが可能であり、皮膚上の湿疹又は他の状態の場所を識別することが可能であり、場所は、モバイル情報ゲートウェイ装置１３０を装着している親又は子守役に提供することが可能である。一部の実施例では、別の人が第２のモバイル情報ゲートウェイ１３０を装着していることがあり得る。前述の場合、処方された処置、及び医学的状態についての情報を両親がみることができるように両方のモバイル情報ゲートウェイ装置１３０に送出することが可能である。同様のシナリオでは、特定の情報を、患者によって使用される１つのもの、及び医師によって使用されている別のものなどの別々の２つのモバイル情報ゲートウェイ装置１３０に選択的に提供し得る。
第７の例では、モバイル情報ゲートウェイ装置１３０は、患者の状態を監視し、推奨を行うか、又は注意喚起を送出するために使用することが可能である。例えば、モバイル情報ゲートウェイ装置１３０が、患者によって連続して装着されている場合に、又は定期的に装着されている場合にも、モバイル情報ゲートウェイ装置１３０は基本的なバイタル・サインを測定し、医療行為又は理学療法を行う旨の注意喚起を生成し、ヒューマン・インタフェース・モジュール１０２上に注意喚起を提示し得る。例えば、モバイル情報ゲートウェイ装置１３０は、薬物の服用、運動、理学療法の実施、手技前のダイエット等の注意喚起を行い得る。更に、注意喚起の内容及び頻度は、モバイル情報ゲートウェイ装置１３０を使用して患者が入力する、ユーザの好みに基づいてカスタマイズし得る。
金融サービス分野及びヘルスケア分野におけるモバイル情報ゲートウェイ・システム１００の使用のための上記説明は例に過ぎず、限定列挙でないが、プリンタ、複写機、及び他の電子機器の修理サービス、自動車修理のための診断、トリアージ、及び手順、料理の手順等などの、モバイル情報ゲートウェイ・システム１００の種々の他のアプリケーションが存在している。一部の実施例では、モバイル情報ゲートウェイ装置１３０は、シーン内の部分を識別（し、上記部分を識別することが容易であるように強調表示をオーバレイし）、更に、前述の部分をどうするかについての手順（「ステップ１：：これをオンにする」、「ステップ２：：これを引き出す」等）を提供するために使用することが可能である。
更に、モバイル情報ゲートウェイ・システム１００は、警察、消防署、及びパラメディカルなどの第一応答者によって使用し得る。第一応答者は、応答する事態、及び事態における重大な変化についての情報を提供するモバイル情報ゲートウェイ装置１３０を装着し得る。モバイル情報ゲートウェイ装置１３０を装着することにより、（例えば、郡の記録から入手可能な、）建物又は事務所の平面図などの情報、地図情報、他の第一応答者についての情報、及び他の第一応答者とのやりとりを、応答チームの一部である個々のユーザそれぞれに提供することが可能である。同様に、第一応答者がモバイル情報ゲートウェイ装置１３０を使用する方法は、モバイル情報ゲートウェイ装置１３０により、情報を捕捉する工程と、緊急状態を検出するようモバイル情報ゲートウェイ装置によって捕捉された情報を処理する工程と、緊急応答を識別するよう、モバイル情報ゲートウェイ装置によって捕捉された情報を解析する工程と、緊急応答に対応する指示情報を取り出す工程と、モバイル情報ゲートウェイ装置に指示情報を提供する工程とを含む。このプロセスでは、緊急状態は、火災、事故、犯罪等を検知するためにシーン又は画像解析を使用してモバイル情報ゲートウェイ装置１３０によって捕捉されたビデオ又はオーディオを処理することによって検知し得る。モバイル情報ゲートウェイ装置１３０によって捕捉された情報は更に、適切な緊急応答を識別するよう解析される。一部の実施例では、モバイル情報ゲートウェイ装置１３０によって捕捉されたビデオを、バック・エンド・サービス・サーバ１０８によって処理し、解析し得る。緊急状態は、火災、事故、又は犯罪などの数個人に影響を及ぼす、より一般的な緊急状態であり得、又は緊急状態は、特定の一個人のみに影響を及ぼす、より具体的な緊急状態（例えば、一人の人間の特定の負傷であり、指示情報が、特定の負傷に対応する救急手順である）であり得る。例えば、シーンは、シーンにおける特定の個人の負傷を識別するよう解析し得る。緊急応答に応じて、別の指示情報がモバイル情報ゲートウェイ装置１３０に提供される。例えば、指示情報は、緊急状態に対処するための逐次の手順のリストであり得る。上述のように、一実施例では、モバイル情報ゲートウェイ装置１３０は自己完結型であり、ヒューマン・インタフェース・モジュール１０２と、コンピューティング及び通信モジュール１０４とを含む。コンピューティング及び通信モジュール１０４は効果的には、ヒューマン・インタフェース・モジュール１０２によってアクセス可能であり、提示可能な救急情報を記憶する。ヒューマン・インタフェース・モジュール１０２が特定の緊急状態（負傷）を検出し、適切な応答を識別することに応じて、ヒューマン・インタフェース・モジュール１０２は、コンピューティング及び通信モジュール１０４から、識別された適切な応答についての情報を取り出す。取り出された情報は次いで、ヒューマン・インタフェース・モジュール１０２によって提示される。一部の実施例では、モバイル情報ゲートウェイ装置１３０は更に、他の安全装置の通信及び制御のために結合し得る。よって、モバイル情報ゲートウェイ装置１３０は、緊急状態を検出すると、別の安全装置を作動させるべきか否かを判定するよう捕捉情報を解析することも可能である。肯定の場合、モバイル情報ゲートウェイ装置１３０は、他の安全装置を起動させる旨の信号を送出することが可能である。例えば、モバイル情報ゲートウェイ装置１３０は、火災鎮静システムを制御し、又はドアの施錠若しくは解錠を制御するよう結合し得る。モバイル情報ゲートウェイ装置が緊急状態を検出し、それが火災であった場合、モバイル情報ゲートウェイ装置１３０は、ファイアパース鎮静システムを起動させ、又は、ドアを解錠して、炎上しているかもしれない部屋を人々が出ることを可能にし得る。モバイル情報ゲートウェイ装置１３０は、複数の各種安全装置に結合し、緊急状態の検出、及び緊急状態のタイプの識別に応じて、適切な安全装置を作動させることが可能である。一部の実施例では、モバイル情報ゲートウェイ装置１３０は、緊急状態が検出されると、緊急のタイプを識別する緊急メッセージを緊急派遣センタに送出する。上述の文書化の事例と同様に、モバイル情報ゲートウェイ装置１３０は更に、緊急が検出されると、オーディオ及びビデオ情報をできる限り記録するよう構成し得る。モバイル情報ゲートウェイ装置１３０が更に、他のセンサを有している範囲で、当該センサを起動させ、信号を記録し得る。
モバイル情報ゲートウェイ、及び使用の方法を上述している。上記説明では、説明の目的で、本明細書の詳細な理解をもたらすために、具体的な数多くの詳細を記載している。しかし、前述の具体的な詳細なしで本発明を実施することが可能であるということが当業者に明らかになるであろう。場合によっては、本開示を不必要にわかりにくくすることのないように、構造及び装置をブロック図形式で示す。例えば、本発明は、主にユーザ・インタフェース及び特定のハードウェアを参照して一実施例において説明している。しかし、本発明は、データ及びコマンドを受け取り、モバイル装置の一部として情報を提示することが可能な何れかのタイプのコンピューティング・システムに適用される。
「一実施例」又は「実施例」に対する本明細書における言及は、上記実施例に関して説明した特定の構成、構造、又は特性が本開示の少なくとも１つの実施例に含まれているということを意味している。本明細書中の種々の箇所において「一実施例において」との句が存在しているということは、必ずしも全て同じ実施例を表している訳でない。
上記詳細な説明の一部分は、コンピュータ・メモリ内のデータ・ビットに対する演算のアルゴリズム及び記号表現によって提示している。前述のアルゴリズム記述及び表現は、他の当業者にその成果物の本質を最も効果的に伝えるためにデータ処理分野における当業者によって使用される手段である。アルゴリズムはここでは、かつ、一般には、所望の結果につながる自己矛盾のない一連の工程として考えられている。工程は、物理的数量の物理的操作を必要とするものである。通常、必然的でないが、前述の数量は、記憶され、転送され、合成され、比較され、他の態様によって操作されることができる電気信号又は磁気信号の形式をとる。前述の信号をビット、値、要素、記号、文字、項、数字等として表すことが、主に慣用の理由で、時には好都合であることが明らかとなっている。
しかし、前述及び同様の項は、適切な物理的数量と関連付けられるものとし、前述の数量に付された好都合なラベルであるに過ぎないということに留意すべきである。以下の記載から明らかであるように別途明記していない限り、本明細書を通して、「処理」、「計算」、「算出」、「判定」、「表示」等などの項を利用する記載は、コンピュータ・システムのレジスタ内及びメモリ内の物理的（電子的）数量として表されるデータを操作し、コンピュータ・システムのメモリ内若しくはレジスタ内、又は他の前述の情報記憶装置内、伝送装置内、若しくは表示装置内の物理的数量として同様に表される他のデータに変換するコンピュータ・システム、又は同様な電子コンピューティング装置の動作及び処理を表す。
本明細書は更に、本明細書及び特許請求の範囲記載の動作を行う装置に関する。前述の装置は、必要な目的のために特に構成し得、又は、コンピュータに記憶されたコンピュータ・プログラムによって選択的に起動又は再構成される汎用コンピュータを含み得る。前述のコンピュータ・プログラムは、限定列挙でないが、フロッピー（登録商標）・ディスク、光ディスク、ＣＤ−ＲＯＭ、磁気ディスク、リードオンリ・メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード又は光カード、それぞれがコンピュータ・システム・バスに結合された、電子命令の記憶に適した何れかのタイプの媒体又は不揮発性メモリを有するＵＳＢキーを含むフラッシュ・メモリなどのコンピュータ読み取り可能な記憶媒体に記憶し得る。
本明細書は、全体がハードウェア実施例、全体がソフトウェア実施例、又は、ハードウェア構成要素及びソフトウェア構成要素を含む実施例の形態をとり得る。一実施例では、本明細書は、限定列挙でないが、ファームウェア、常駐ソフトウェア、マイクロコード等を含むソフトウェアで実現される。
更に、本開示は、コンピュータ又は何れかの命令実行システムによる使用のための、又は、コンピュータ又は何れかの命令実行システムに関するプログラム・コードを提供するコンピュータ使用可能な、又は、コンピュータ読み取り可能な媒体からアクセス可能なコンピュータ・プログラム・プロダクトの形態をとり得る。本開示の目的で、コンピュータ使用可能な媒体、又はコンピュータ読み取り可能な媒体は、命令実行システム、装置、又はデバイスによる使用のための、又は、命令実行システム、装置、又はデバイスに関するプログラムを含み、又は記憶し、通信し、伝播し、又は伝送し得る何れかの装置であり得る。
プログラム・コードを記憶し、かつ／又は実行するのに適したデータ処理システムは、システム・バスを介してメモリ・エレメントに直接、又は間接的に結合された少なくとも１つのプロセッサを含む。メモリ・エレメントは、実行中に大容量記憶装置からコードを取り出さなければならない回数を削減するために少なくとも一部のプログラム・コードの一時記憶装置を備えるキャッシュ・メモリ、大容量記憶装置、及びプログラム・コードの実際の実行中に使用される局所メモリを含み得る。
入出力（Ｉ／Ｏ）デバイス（限定列挙でないが、キーボード、ディスプレイ、ポインティング・デバイス等を含む）は、直接、又は、介在するＩ／Ｏコントローラを介して結合し得る。
ネットワーク・アダプタは更に、介在する専用ネットワーク又は公衆ネットワークを介して他のデータ処理システム、遠隔プリンタ、又は記憶装置にデータ処理システムが結合されることを可能にするためにシステムに結合し得る。モデム、ケーブル・モデム、及びイーサネット（登録商標）カードは、現在利用可能なタイプのネットワーク・アダプタのうちのいくつかに過ぎない。
最後に、本明細書及び特許請求の範囲記載のアルゴリズム及びディスプレイは、何れの特定のコンピュータ又は他の装置にも固有に関係するものでない。種々の汎用システムを本明細書及び特許請求の範囲の教示によるプログラムとともに使用し得、又は、所要の方法工程を行うために、より特化された装置を構成するのが好都合であることが明らかとなり得る。前述の種々のシステムに必要な構造は、以下の説明から明らかとなる。更に、本明細書は、何れかの特定のプログラミング言語を参照して説明されていない。本明細書及び特許請求の範囲記載の明細書の教示を実現するために種々のプログラミング言語を使用し得る。
本発明の実施例の上記説明は、例証及び説明の目的で提示している。これは、網羅的であること、又は本発明の実施例を、開示されたまさにその形態に制限することを意図するものでない。多くの修正及び変形が上記教示に照らして考えられる。本発明の実施例の範囲は、発明の詳細な説明でなく、本出願の特許請求の範囲によって限定されることを意図している。当技術分野に精通している者によって理解されるように、本発明の実施例は、その趣旨又は必須の特徴から逸脱しない限り、他の特定の形態で実施し得る。同様に、モジュール、ルーチン、構成、属性、方法論、及び他の局面の特定の名前付け及び区分は必須でも重要でもなく、本発明の実施例又はその構成を実現する機構は別々の名前、区分、及び／又は形態を有し得る。更に、関連する技術分野における当業者に明らかになるように、本発明の実施例のモジュール、ルーチン、構成、属性、方法論、及び他の局面は、ソフトウェア、ハードウェア、ファームウェア、又は３つの何れかの組み合わせとして実現することが可能である。更に、本発明の実施例の、モジュールがその例である構成部分がソフトウェアとして実現される場合、構成部分は、スタンドアロン・プログラムとして、より大きなプログラムの一部として、別個の複数のプログラムとして、統計的に、又は動的にリンクされたライブラリとして、カーネル・ロード可能なモジュールとして、デバイス・ドライバとして、かつ／又は、コンピュータ・プログラミングの技術分野における当業者に現在又は将来、知られるありとあらゆる他のやり方で実現することが可能である。更に、本発明の実施例は、何れかの特定のプログラミング言語における、又は何れかの特定のオペレーティング・システム若しくは環境のための実現形態に決して限定されるものでない。よって、本発明の実施例の明細書は、特許請求の範囲記載の本発明の実施例の範囲を例証するものであり、上記範囲を限定するものでない。
１０２ ヒューマン・インタフェース・モジュール
１０４ コンピューティング及び通信モジュール
１０８ バックエンド・サービス・サーバ

Claims (20)

  1. モバイル情報ゲートウェイを使用する方法であって、前記方法は、
    モバイル情報ゲートウェイ装置により、情報を捕捉する工程と、
    緊急状態を検出するよう、前記モバイル情報ゲートウェイ装置によって捕捉された情報を処理する工程と、
    前記モバイル情報ゲートウェイ装置によって捕捉された情報を解析して緊急応答を識別する工程と、
    前記緊急応答に対応する指示情報を取り出す工程と、
    前記モバイル情報ゲートウェイ装置上に前記指示情報を提供する工程と
    を含む方法。
  2. 請求項１記載の方法であって、前記指示情報は、前記緊急状態に対処するための逐次の手順のリストである方法。
  3. 請求項１記載の方法であって、前記検出された緊急状態が、人間の特定の負傷であり、前記指示情報が、前記特定の負傷に対応する救急手順である方法。
  4. 請求項３記載の方法であって、
    前記モバイル情報ゲートウェイがヒューマン・インタフェース・モジュールと、コンピューティング及び通信モジュールとを備え、
    前記コンピューティング及び通信モジュールは救急情報を記憶し、
    第１のヒューマン・インタフェース・モジュールは前記コンピューティング及び通信モジュールから前記救急情報を取り出し、前記救急情報を提示する方法。
  5. 請求項１記載の方法であって、前記モバイル情報ゲートウェイ装置は第２の装置を制御するよう結合され、前記方法は、
    前記捕捉された情報を解析して、前記第２の装置が前記緊急応答に使用されるか否かを判定する工程と、
    前記第２の装置を起動させるべきか否かを判定するよう前記指示情報を処理する工程と、
    前記第２の装置を制御する旨の信号を前記モバイル情報ゲートウェイ装置によって送出する工程と
    を含む方法。
  6. 請求項１記載の方法であって、前記モバイル情報ゲートウェイは、緊急が検出された場合、自動的にメッセージを生成し、緊急派遣センタに送出する方法。
  7. 請求項１記載の方法であって、前記モバイル情報ゲートウェイは、緊急が検出された場合、更なる情報を捕捉し、記録する方法。
  8. モバイル情報ゲートウェイを使用する方法であって、前記方法は、
    モバイル情報ゲートウェイ装置により、情報を捕捉する工程と、
    第２の装置が存在しているかを判定するよう、前記モバイル情報ゲートウェイ装置によって捕捉された情報を処理する工程と、
    前記モバイル情報ゲートウェイ装置によって捕捉された情報を解析して前記第２の装置のタイプを識別する工程と、
    前記第２の装置の前記タイプに対応する指示情報を取り出す工程と、
    前記モバイル情報ゲートウェイ装置上に前記指示情報を提供する工程と
    を含む方法。
  9. 請求項８記載の方法であって、前記第２の装置が除細動器である方法。
  10. 請求項８記載の方法であって、前記第２の装置が運搬用車両であり、前記指示情報が、前記運搬用車両に内蔵された安全機器を動作させるための逐次の手順である方法。
  11. 請求項８記載の方法であって、前記モバイル情報ゲートウェイ装置は、前記第２の装置を含むものの視野にオーバレイされた前記指示情報を提示する方法。
  12. 請求項８記載の方法であって、
    前記モバイル情報ゲートウェイ装置との前記第２の装置の使用についての更なる情報を捕捉する工程と、
    前記第２の装置の誤った使用を検出するよう前記更なる情報を処理する工程と、
    前記第２の装置の誤った使用が検出された場合、前記モバイル情報ゲートウェイ装置により、修正指示を取り出し、前記修正指示を前記モバイル情報ゲートウェイ装置上に提示する工程と
    を含む方法。
  13. 請求項８記載の方法であって、
    前記モバイル情報ゲートウェイ装置により、更なる情報を捕捉する工程と、
    前記第２の装置が使用されるか否かを判定するよう、前記更なる情報を処理する工程と、
    前記第２の装置が使用されている旨を示すメッセージを生成し、前記モバイル情報ゲートウェイ装置から送出する工程と
    を含む方法。
  14. モバイル情報ゲートウェイを使用するためのシステムであって、
    プロセッサと、
    実行されると前記システムに、
    モバイル情報ゲートウェイ装置により、情報を捕捉する手順と、
    緊急状態を検出するよう、前記モバイル情報ゲートウェイ装置によって捕捉された情報を処理する手順と、
    前記モバイル情報ゲートウェイ装置によって捕捉された情報を解析して緊急応答を識別する手順と、
    前記緊急応答に対応する指示情報を取り出す手順と、
    前記モバイル情報ゲートウェイ装置上に前記指示情報を提供する手順と
    を行わせる命令を記憶するメモリと
    を備えるシステム。
  15. 請求項１４記載のシステムであって、前記指示情報は、前記緊急状態に対処するための逐次の手順のリストであるシステム。
  16. 請求項１４記載のシステムであって、前記検出された緊急状態が、人間の特定の負傷であり、前記指示情報が、前記特定の負傷に対応する救急手順であるシステム。
  17. 請求項１４記載のシステムであって、
    前記モバイル情報ゲートウェイがヒューマン・インタフェース・モジュールと、コンピューティング及び通信モジュールとを備え、
    前記コンピューティング及び通信モジュールは救急情報を記憶し、
    第１のヒューマン・インタフェース・モジュールは前記コンピューティング及び通信モジュールから前記救急情報を取り出し、前記救急情報を提示するシステム。
  18. 請求項１４記載のシステムであって、前記モバイル情報ゲートウェイ装置は第２の装置を制御するよう結合され、前記メモリは更に、実行されると、前記システムに、
    前記捕捉された情報を解析して、前記第２の装置が前記緊急応答に使用されるか否かを判定する手順と、
    前記第２の装置を起動させるべきか否かを判定するよう前記指示情報を処理する手順と、
    前記第２の装置を制御する旨の信号を前記モバイル情報ゲートウェイ装置によって送出する手順と
    を行わせる命令を記憶するメモリと
    を備えるシステム。
  19. 請求項１４記載のシステムであって、前記モバイル情報ゲートウェイは、緊急が検出された場合に、自動的にメッセージを生成し、緊急派遣センタに送出するシステム。
  20. 請求項１４記載のシステムであって、前記モバイル情報ゲートウェイは、緊急が検出された場合に、更なる情報を捕捉し、記録するシステム。
JP2014188566A 2013-09-22 2014-09-17 緊急状態における使用、又は特殊機器との使用のためのモバイル情報ゲートウェイ Active JP6467832B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361880971P 2013-09-22 2013-09-22
US61/880,971 2013-09-22
US14/161,613 2014-01-22
US14/161,613 US9763071B2 (en) 2013-09-22 2014-01-22 Mobile information gateway for use in emergency situations or with special equipment

Publications (2)

Publication Number Publication Date
JP2015062120A true JP2015062120A (ja) 2015-04-02
JP6467832B2 JP6467832B2 (ja) 2019-02-13

Family

ID=51542229

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014188566A Active JP6467832B2 (ja) 2013-09-22 2014-09-17 緊急状態における使用、又は特殊機器との使用のためのモバイル情報ゲートウェイ

Country Status (3)

Country Link
US (1) US9763071B2 (ja)
EP (1) EP2851830B1 (ja)
JP (1) JP6467832B2 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015122726A (ja) * 2013-11-25 2015-07-02 株式会社リコー 画像処理装置、画像処理方法及び画像処理プログラム
JP6050739B2 (ja) * 2013-11-27 2016-12-21 京セラドキュメントソリューションズ株式会社 画像処理装置及び画像処理方法
US10134307B2 (en) * 2013-12-12 2018-11-20 Koninklijke Philips N.V. Software application for a portable device for CPR guidance using augmented reality
US9230208B2 (en) 2013-12-18 2016-01-05 International Business Machines Corporation Haptic-based artificial neural network training
KR102177133B1 (ko) 2014-01-31 2020-11-10 매직 립, 인코포레이티드 멀티-포컬 디스플레이 시스템 및 방법
US9781563B2 (en) * 2014-12-22 2017-10-03 Vinay Mahajan System and method for determining a specific user location and a path to an exit
JP6482299B2 (ja) * 2015-01-30 2019-03-13 キヤノン株式会社 通信装置、通信装置の制御方法及びプログラム
WO2017010956A1 (en) * 2015-07-15 2017-01-19 Birbenli Izzet Fatih A monitoring system
US20170053190A1 (en) * 2015-08-20 2017-02-23 Elwha Llc Detecting and classifying people observing a person
JP6185968B2 (ja) * 2015-09-16 2017-08-23 ヤフー株式会社 情報処理システム、携帯端末、サーバ装置、情報処理方法及びプログラム
IL257984B (en) * 2015-10-05 2022-08-01 Magic Leap Inc Microlens collimator for optical fiber scanning in a virtual/augmented reality system
WO2017062667A1 (en) 2015-10-06 2017-04-13 Magic Leap, Inc. Virtual/augmented reality system having reverse angle diffraction grating
WO2017066600A1 (en) * 2015-10-14 2017-04-20 Finkelstein David Alan System and method utilizing facial recognition with online (social) network to access casualty health information in an emergency situation
EP3405820B1 (en) 2016-01-20 2021-02-24 Magic Leap, Inc. Polarizing maintaining optical fiber in virtual/augmented reality system
US10118696B1 (en) 2016-03-31 2018-11-06 Steven M. Hoffberg Steerable rotating projectile
US9615066B1 (en) * 2016-05-03 2017-04-04 Bao Tran Smart lighting and city sensor
EP3291090B1 (de) * 2016-09-06 2021-11-03 Deutsche Telekom AG Verfahren und system zum bilden einer digitalen schnittstelle zwischen endgerät und applikationslogik via deep learning und cloud
US10839707B2 (en) * 2016-09-08 2020-11-17 Wayne State University Augmented reality system and method for exposure therapy and motor skills training
US10569613B2 (en) * 2016-10-03 2020-02-25 Tenneco Automotive Operating Company Inc. Method of alerting driver to condition of suspension system
WO2018098436A1 (en) 2016-11-28 2018-05-31 Spy Eye, Llc Unobtrusive eye mounted display
US10123198B2 (en) * 2017-02-20 2018-11-06 At&T Intellectual Property I, L.P. Systems and methods for providing supplemental assistance
NL2019059B1 (en) * 2017-06-13 2018-12-19 Maritime Medical Applications B V Wireless communication system for remote medical assistance
US11195610B2 (en) 2017-11-22 2021-12-07 Takuya Shimomura Priority alerts based on medical information
US11533272B1 (en) * 2018-02-06 2022-12-20 Amesite Inc. Computer based education methods and apparatus
US11712637B1 (en) 2018-03-23 2023-08-01 Steven M. Hoffberg Steerable disk or ball
CN109922443B (zh) * 2019-02-03 2021-10-08 倪亮 消息通道建立方法、系统、接收端、服务器和移动端
US11346938B2 (en) 2019-03-15 2022-05-31 Msa Technology, Llc Safety device for providing output to an individual associated with a hazardous environment
US20200327992A1 (en) * 2019-04-10 2020-10-15 Tencent America LLC Artificial intelligence aided bug bite and transmitted disease identification
US11386704B2 (en) * 2019-08-05 2022-07-12 Cerner Innovation, Inc. Clinical integration of facial recognition processing
US11854676B2 (en) 2019-09-12 2023-12-26 International Business Machines Corporation Providing live first aid response guidance using a machine learning based cognitive aid planner
US11677905B2 (en) * 2020-01-22 2023-06-13 Nishant Shah System and method for labeling networked meetings and video clips from a main stream of video
US11430562B2 (en) * 2021-01-04 2022-08-30 Healthy.Io Ltd. Selective reaction to failure to complete medical action
WO2023003928A1 (en) 2021-07-20 2023-01-26 Nishant Shah Context-controlled video quality camera system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091884A (ja) * 1996-09-17 1998-04-10 Nippon Denki Ido Tsushin Kk ドクターコールシステム
JP2010246712A (ja) * 2009-04-15 2010-11-04 Nippon Telegr & Teleph Corp <Ntt> 自動体外式除細動器
JP2012128648A (ja) * 2010-12-15 2012-07-05 Toshiba Corp 操作支援表示装置及び操作支援表示方法
JP2012222443A (ja) * 2011-04-05 2012-11-12 Ntt Docomo Inc 救命救急補助システムとその方法とユーザ端末装置と救命救急補助装置
WO2013049248A2 (en) * 2011-09-26 2013-04-04 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1027627B1 (en) 1997-10-30 2009-02-11 MYVU Corporation Eyeglass interface system
US7712657B1 (en) 2007-11-13 2010-05-11 Diebold Self-Service Systems Division Of Diebold, Incorporated Automated banking machine that enables multiple users to conduct concurrent transactions at different areas of a display surface
JP3040977B2 (ja) * 1998-09-21 2000-05-15 松下電器産業株式会社 自動車事故緊急対応装置
US6798876B1 (en) 1998-12-29 2004-09-28 At&T Corp. Method and apparatus for intelligent routing of incoming calls to representatives in a call center
US6747611B1 (en) 2000-07-27 2004-06-08 International Business Machines Corporation Compact optical system and packaging for head mounted display
US8253779B2 (en) 2000-10-11 2012-08-28 University of Pittsbugh—Of The Commonwealth System of Higher Education System for remote guidance by expert for imaging device
US7286997B2 (en) 2002-05-07 2007-10-23 Cembex Care Solutions, Llc Internet-based, customizable clinical information system
US20040205256A1 (en) 2002-11-27 2004-10-14 Richard Hoffman System and method for communicating between two or more locations
US20040232219A1 (en) 2003-05-20 2004-11-25 Fowler Timothy Charles Medical treatment and prescription administration verification method
EP1709519B1 (en) 2003-12-31 2014-03-05 ABB Research Ltd. A virtual control panel
CA2967756C (en) 2004-04-01 2018-08-28 Google Inc. Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US20060115130A1 (en) 2004-11-29 2006-06-01 Douglas Kozlay Eyewear with biometrics to protect displayed data
KR20080007342A (ko) 2005-03-31 2008-01-18 페리오-이미징 인코포레이티드 초음파 치주 장치, 시스템 및 사용법
US8968195B2 (en) 2006-05-12 2015-03-03 Bao Tran Health monitoring appliance
SE0601216L (sv) 2006-05-31 2007-12-01 Abb Technology Ltd Virtuell arbetsplats
US8212859B2 (en) 2006-10-13 2012-07-03 Apple Inc. Peripheral treatment for head-mounted displays
WO2008070683A1 (en) 2006-12-04 2008-06-12 Sina Fateh System, method, and apparatus for amblyopia and ocular deviation correction
US9020462B2 (en) * 2007-03-13 2015-04-28 Blackberry Limited Enhanced handling of duress situations
JP2008259622A (ja) 2007-04-11 2008-10-30 Fujifilm Corp レポート作成支援装置およびそのプログラム
JP4636164B2 (ja) 2008-10-23 2011-02-23 ソニー株式会社 頭部装着型ディスプレイ
US20110153341A1 (en) 2009-12-17 2011-06-23 General Electric Company Methods and systems for use of augmented reality to improve patient registration in medical practices
US10911515B2 (en) 2012-05-24 2021-02-02 Deka Products Limited Partnership System, method, and apparatus for electronic patient care
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US20120200601A1 (en) 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with state triggered eye control interaction with advertising facility
US9128281B2 (en) * 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20110239142A1 (en) 2010-03-25 2011-09-29 Nokia Corporation Method and apparatus for providing content over multiple displays
EP2624286B1 (en) 2010-09-30 2020-11-11 Fuji Electric Co., Ltd. Method of manufacturing a semiconductor device
US8438110B2 (en) 2011-03-08 2013-05-07 Bank Of America Corporation Conducting financial transactions based on identification of individuals in an augmented reality environment
US8582850B2 (en) 2011-03-08 2013-11-12 Bank Of America Corporation Providing information regarding medical conditions
US20120235785A1 (en) 2011-03-17 2012-09-20 Motorola Mobility, Inc. Wireless communication device and method with intelligent authentication
WO2013006351A2 (en) 2011-07-01 2013-01-10 3G Studios, Inc. Techniques for controlling game event influence and/or outcome in multi-player gaming environments
US9069164B2 (en) 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
WO2013017972A2 (en) * 2011-07-29 2013-02-07 Koninklijke Philips Electronics N.V. Graphical presentation of ews/patient state
US8629815B2 (en) 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
US9285592B2 (en) 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures
US9541625B2 (en) * 2011-08-25 2017-01-10 En-Gauge, Inc. Emergency resource location and status
US9013793B2 (en) 2011-09-21 2015-04-21 Google Inc. Lightweight eyepiece for head mounted display
US20130190096A1 (en) 2012-01-19 2013-07-25 Eyal Ronen Usable Ghosting Features in a Team-Based Game
US8976085B2 (en) 2012-01-19 2015-03-10 Google Inc. Wearable device with input and output structures
US8894484B2 (en) 2012-01-30 2014-11-25 Microsoft Corporation Multiplayer game invitation system
WO2013126784A2 (en) 2012-02-23 2013-08-29 Huston Charles D System and method for creating an environment and for sharing a location based experience in an environment
US20140005506A1 (en) * 2012-06-29 2014-01-02 Zoll Medical Corporation Rescue scene video transmission
EP2732761A1 (en) 2012-11-14 2014-05-21 Hill-Rom Services, Inc. Augmented reality system in the patient care environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091884A (ja) * 1996-09-17 1998-04-10 Nippon Denki Ido Tsushin Kk ドクターコールシステム
JP2010246712A (ja) * 2009-04-15 2010-11-04 Nippon Telegr & Teleph Corp <Ntt> 自動体外式除細動器
JP2012128648A (ja) * 2010-12-15 2012-07-05 Toshiba Corp 操作支援表示装置及び操作支援表示方法
JP2012222443A (ja) * 2011-04-05 2012-11-12 Ntt Docomo Inc 救命救急補助システムとその方法とユーザ端末装置と救命救急補助装置
WO2013049248A2 (en) * 2011-09-26 2013-04-04 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
神成 淳司: "災害救助支援のための装着型システムの提案", 第１７回日本ロボット学会学術講演会予稿集 第３分冊 １９９９年, JPN6018024965, 9 September 1999 (1999-09-09), ISSN: 0003829553 *
萩野 実咲: "音声による１次トリアージ入力を用いた災害用訓練システムの提案", 情報処理学会 研究報告 高度交通システム（ＩＴＳ） ２０１３−ＩＴＳ−０５５, JPN6018024963, 7 November 2013 (2013-11-07), ISSN: 0003829552 *

Also Published As

Publication number Publication date
US20150087257A1 (en) 2015-03-26
US9763071B2 (en) 2017-09-12
EP2851830B1 (en) 2019-01-02
JP6467832B2 (ja) 2019-02-13
EP2851830A1 (en) 2015-03-25

Similar Documents

Publication Publication Date Title
JP6467832B2 (ja) 緊急状態における使用、又は特殊機器との使用のためのモバイル情報ゲートウェイ
JP6531364B2 (ja) 医療関係者用モバイル情報ゲートウェイ
EP2851831B1 (en) Mobile Information Gateway for Home Healthcare
Menvielle et al. The digitization of healthcare: new challenges and opportunities
US20180144425A1 (en) System and method for augmenting healthcare-provider performance
US8473277B2 (en) Translation station
US20140222462A1 (en) System and Method for Augmenting Healthcare Provider Performance
US20190197055A1 (en) Head mounted display used to electronically document patient information and chart patient care
US9779088B2 (en) Translation station
CA3180323A1 (en) Health management system
US20170177820A1 (en) System and Device for Healthcare, Medical Information and Advertising Media Management
Thangam et al. Relevance of Artificial Intelligence in Modern Healthcare
Israni et al. Human‐Machine Interaction in Leveraging the Concept of Telemedicine
Pergolizzi Jr et al. Brave New Healthcare: A Narrative Review of Digital Healthcare in American Medicine
Proniewska et al. Immersive technologies as a solution for general data protection regulation in Europe and impact on the COVID-19 pandemic
Bidgoli Successful integration of information technology in healthcare: Guides for managers.
Solaiman Addressing access with artificial intelligence: overcoming the limitations of deep learning to broaden remote care today
Murala et al. MedMetaverse: Medical Care of Chronic Disease Patients and Managing Data Using Artificial Intelligence, Blockchain, and Wearable Devices State-of-the-Art Methodology
Roy et al. An overview of artificial intelligence (AI) intervention in Indian healthcare system
Sadiku et al. Emerging Technologies in Healthcare
US20230070895A1 (en) Systems and methods for automated medical monitoring and/or diagnosis
Khan et al. Applications of 4.0 Technologies in Healthcare
Zafar An Exploration of Metaverse Applications in the Health Sector and Their Limitations
Kalra Health Informatics and Biomedical Engineering Applications
Almansoori A COMPARATIVE STUDY ON MICROCHIP IMPLANTS IN HUMANS AND WEARABLE DEVICES

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181231

R151 Written notification of patent or utility model registration

Ref document number: 6467832

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151