JP2020091690A - 表示システム及び表示方法 - Google Patents

Abstract

【課題】本開示は、他人には知られないように、特定の利用者に対して、有用な秘密情報をプッシュ通知することで、セキュアーに情報を伝達する可視光通信システムを提供することを目的とする。【解決手段】本開示は、ＨＭＤ９１の装着者の視野を撮像する第１のカメラ１１と、病室８１内に存在する人物を撮像する第２のカメラ９２と、第１のカメラ１１で撮像された画像から患者を識別し、第２のカメラ９２で撮像された画像から医師を識別し、患者と医師の組合せで特定されるカルテを記憶部３１から読み出すコンピュータ９３と、記憶部３１から読み出されたカルテを、病室８１内に向けて送信する空間通信部９４と、ＨＭＤ９１に搭載され、空間通信部からのカルテを受信するＨＭＤ通信部１２と、ＨＭＤ通信部１２の受信したカルテを表示するＨＭＤ９１と、を備える。【選択図】図１

Description

本開示は、ヘッドマウントディスプレイに、インタラクティブに、人に知られないように、送信側のデータを投影表示させることのできる表示システムに関する。

近年、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）と呼ばれる技術の導入が進んでいる。例えばヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を活用することで、人が実際に存在する現実空間内の、室内テーブルの上に、仮想の花瓶や置物、コップ等が置かれている映像や音声等の情報の提示を行うことにより、現実の空間と仮想空間とを融合することができる。この原理は、仮想的に存在するコンピュータ内の情報を現実の環境情報の一部として取り込み、現実の環境と仮想の環境情報を合成する方法が一般的に知られている。このように、コンピュータが現実の空間を拡張するための手段としては、視覚を用いる方法が知られているが、これ以外に、聴覚などの感覚器官を活用して実施する例もある。しかしながら、利用するユーザにとって、インタラクティブに必要となる、あるいは有用となるメッセージ情報をＡＲ空間の中に提供して表示する手段はまだ、実現されていない状況である。

特開２０１２−１５１６号公報 特開２０１５−２１６６３３号公報

本開示は、他人には知られないように、特定の利用者に対して、有用な秘密情報をプッシュ通知することで、セキュアーに情報を伝達して表示する表示システムを提供することを目的とする。

現在では、ＨＭＤを利用するユーザに提示する情報の中に、Ｗｉｆｉを介してインターネットのＷｅｂサイト等から取得した映像情報をＡＲ空間上で視ることができるようなサービスに留まっているが、このような状況のもとで、このＡＲ空間上に、利用者が必要とするメッセージ情報や音声情報等を、インタラクティブに、プッシュ通知できる手段を開示することにより、現実の世界に、他の人には知られないように、オンデマンドで有用となる情報を伝達することが可能になる。

ここで、プッシュ通知機能を実現するためには、あらかじめ、情報を提供する対象となっている医師又は看護師などの人物をカメラで常時撮影する機能を、病院の患者が入院している病室内等に備えておくことが必要である。この状態で、ＡＩ機能等を用いて、当該の人物を捉えた時に、適切なタイミングで、インタラクティブに当該の情報を、可視光あるいは、医用電子機器に影響を与えない赤外線、または他の電磁波の波長帯を設けて転送する。また、ＣＳＫ情報を解読後に、当該情報を音声情報に変換して提供する新しい、可視光通信システムの実現も可能となる。本開示は、これらの技術に着眼し、新たな付加価値情報をＨＭＤのようなウェアラブル端末を活用して取得および表示する。

可視光通信システムの構成技術としては、例えば、特許文献１の「有機ＥＬ照明光通信システム」が開示されている。しかしながら、可視光通信技術とＡＲ技術とを組み合わせた通信・表示システムは、開示されていない状況である。これらの複数の技術を効果的に融合することにより、新たなＡＲ空間の利便性を、高度なセキュリティを保証しつつ、活用できる技術が社会的にも要望されている。

具体的に活用可能な技術として、例えば、（暗号化された）ＣＳＫ（Ｃｏｄｅ Ｓｈｉｆｔ Ｋｅｙｉｎｇ）情報の暗号化技術（例えば、特許文献２参照。）を利用し、ドローンを用いた空撮情報（映像情報）内に埋め込まれたＣＳＫ変調信号の情報の中から必要なＩＤ情報等を抽出し、秘密情報を抽出する技術が開示されている。このメカニズムを用いて、ＡＲ空間上で当該の情報を取り込み、表示することができる。例えば、空撮の映像情報の視聴に加え、同時に映像情報内に含まれたＣＳＫ情報を解読し、当該のＣＳＫ情報に含まれる秘密情報を、プッシュ通知機能を用いて、ＡＲ空間上にテキスト情報として表示することも可能である。

本開示は、ＨＭＤに空間通信システムを適用し、他人には知られないように、秘密にＨＭＤの創成するＡＲ空間を利用し、特定の利用者に対して、有用な秘密情報をプッシュ通知することで、セキュアーに情報を伝達して表示する表示システムを提供する。

本開示で開示する表示システムは、医用電子機器に影響を与えない、一つ、または複数の波長の光あるいは電磁波を、波長毎に異なるデータ信号で変調したＬＥＤ光源の変調光として用い、データ通信用の可視光を出射する送信部と、送信部の出射するデータ通信用の可視光から、あらかじめ定められた波長帯の光を受光し、当該のデータ情報を復調する受信部と、当該受信部からの信号に基づいて、それぞれのデータを、例えば、可視光の色彩に対応した文字情報や、音声情報としてＨＭＤ等のウェアラブル端末用ディスプレイに投影させることにより、特定の個人の顔画像等が遠隔モニタ用カメラで認識された後に、人に知られないように、事前に登録された必要情報を、インタラクティブに、特定の個人に、秘密にプッシュ通知する。

具体的には、本開示に係る表示システムは、
ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）に搭載され、前記ＨＭＤの装着者の視野の少なくとも一部を撮像する第１のカメラと、
予め定められた領域内に存在する人物を撮像する第２のカメラと、
第１の人物と第２の人物の組合せで特定される固有データを記憶する記憶部と、
前記第１のカメラで撮像された画像から第１の人物を認識し、前記第２のカメラで撮像された画像から第２の人物を認識し、第１の人物と第２の人物の組合せで特定される固有データを前記記憶部から読み出すコンピュータと、
前記記憶部から読み出されたデータを、前記領域内に向けて送信する空間通信部と、
前記ＨＭＤに搭載され、前記空間通信部からのデータを受信するＨＭＤ通信部と、
前記ＨＭＤ通信部の受信したデータを表示する前記ＨＭＤと、
を備える。

具体的には、本開示に係る表示方法は、
ＨＭＤに搭載されている第１のカメラが、前記ＨＭＤの装着者の視野の少なくとも一部を撮像する手順と、
第２のカメラが、前記ＨＭＤの装着者を撮像する手順と、
コンピュータが、前記第１のカメラで撮像された画像から第１の人物を認識し、前記第２のカメラで撮像された画像から第２の人物を認識し、第１の人物と第２の人物の組合せで特定される固有データを記憶部から読み出す手順と、
照明装置に搭載されている空間通信部が、前記記憶部から読み出されたデータを、前記照明装置に用いられている照明光に含まれる波長の光を用いて送信する手順と、
前記ＨＭＤに搭載されているＨＭＤ通信部が、前記空間通信部からのデータを受信する手順と、
前記ＨＭＤが、前記ＨＭＤ通信部の受信したデータを表示する手順と、
を備える。

本開示によれば、他人には知られないように、秘密にＨＭＤの創成するＡＲ空間を利用し、特定の利用者に対して、有用な秘密情報をプッシュ通知することで、セキュアーに情報を伝達する表示システムを提供することができる。

第１の実施形態の表示システム構成の一例を示す。 ＨＭＤの構成の一例を示す。 カルテ管理テーブルの一例を示す。 第２の実施形態の表示システム構成の一例を示す。 カルテ管理テーブルの一例を示す。 スマートグラスの動作原理を示す。 第３の実施形態の第１例を示す。 第３の実施形態の第２例を示す。 第３の実施形態の第３例を示す。 第３の実施形態の第４例を示す。 第３の実施形態の第５例を示す。 可視光通信及び表示の具体的な構成例を示す。 図１２に示す受信表示部の回路構成の一例を示す。 可視光信号を音声信号に変換するための実施例を示す。 可視光信号のＣＳＫを変換してＨＭＤへ表示する例を示す。 空間通信部の信号タイミングチャート（可視光のＯＮ／ＯＦＦによりＡＳＣＩＩコードで表現したメッセージの信号波形をおよび、アスキーコードを非同期送信する際のスタート・ストップコードのタイミングチャート）の例を示す。 可視光送信部の信号タイミングチャート（可視光のＯＮ／ＯＦＦによりＡＳＣＩＩコードで表現したメッセージの信号波形をおよび、アスキーコードを非同期送信する際のスタート・ストップコードのタイミングチャート）の例を示す。 本開示の受信部における処理フローを示す。

以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

（第１の実施形態）
図１に、本実施形態に係るシステム構成の一例を示す。図２に、ＨＭＤ９１の構成の一例を示す。本実施形態に係る表示システムは、ＨＭＤ９１、第２のカメラ９２、コンピュータ９３、記憶部３１、空間通信部９４を備える。ＨＭＤ９１は、第１のカメラ１１、ＨＭＤ通信部１２、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１６、レンズ１４を備える。

本実施形態では、第２のカメラ９２が病室８１に配置され、病室８１内に、医師Ｐ_Ｄ、看護師Ｐ_Ｎ及び患者Ｐ_Ｐが存在する例を示す。本実施形態において、患者Ｐ_Ｐが第１の人物であり、医師Ｐ_Ｄが第２の人物であり、固有データが患者Ｐ_Ｐのカルテである場合について説明する。医師Ｐ_ＤがＨＭＤ９１の装着者である。

また本実施形態では、レンズ１４は、ＣＰＵ１６の出力情報を表示する表示部として機能する。ＨＭＤ９１は、メガネのレンズに文字や画像を投影するものに限らず、人の網膜に文字や画像を投影するものなど、ヘッドマウント型の任意のディスプレイを含む。

本開示では、ＨＭＤ通信部１２及び空間通信部９４は、光又は電波を用いて信号を送受信する。ＨＭＤ通信部１２及び空間通信部９４は、病室８１に配置されている精密機器への影響を避けることの可能な波長を用いる。例えば、電波であれば、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離通信用に用いられている波長や、赤外線通信用の波長や、可視光通信用の波長が例示できる。

可視光通信を用いる場合、空間通信部９４は、病室８１の照明装置の近傍に配置されていることが好ましい。これにより、空間通信部９４から送信されている信号光が照明光と同化するため、他人には知られないように、空間通信部９４からの情報をＨＭＤ通信部１２が受信することができる。また、空間通信部９４は、照明光に含まれる波長の光を用いて通信を行ってもよい。例えば、照明装置が赤色、緑色、青色の光源を備える場合、赤色、緑色、青色の少なくとも１つの光源を空間通信部９４の光源として用いることができる。

第１のカメラ１１は、患者Ｐ_Ｐを撮像する。第１のカメラ１１は、医師Ｐ_Ｄの視界の少なくとも一部を撮像可能な任意のカメラを用いることができる。ＣＰＵ１６は、第１のカメラ１１で撮像された画像をＨＭＤ通信部１２から空間通信部９４へ送信する。

ここで、本実施形態は、ＨＭＤ９１の操作を行う操作装置（不図示）をさらに備えることが好ましい。操作装置は、ＨＭＤ９１に搭載されていてもよいし、ＨＭＤ９１を制御可能なリモートコントローラであってもよい。この場合、ＨＭＤ９１は、第１のカメラ１１で撮像された画像をレンズ１４に表示し、ＨＭＤ通信部１２は、操作装置（不図示）からの指示を契機に、ＨＭＤ９１に表示された画像を空間通信部９４に送信する。このように、操作装置からの指示があったときにＨＭＤ９１からコンピュータ９３に画像を送信することによって、コンピュータ９３での患者Ｐ_Ｐの特定が容易になる。

第２のカメラ９２は、例えばＷｅｂカメラを適用することが可能であり、予め定められた領域内に存在する人物を撮像する。例えば、第２のカメラ９２は、病室８１内に存在する医師Ｐ_Ｄ、看護師Ｐ_Ｎ及び患者Ｐ_Ｐを撮像する。

記憶部３１は、カルテ、カルテ管理テーブル、医師認識テーブル、患者認識テーブルを保持している。カルテ管理テーブルには、図３に示すように、患者Ｐ_Ｐの識別情報ＩＤ＿ＰＰｘと医師Ｐ_Ｄの識別情報ＩＤ＿ＰＤｘの組合せで特定される患者Ｐ_Ｐのカルテの識別情報ＩＤ＿ＣＲｘが格納されている。医師認識テーブルには、医師Ｐ_Ｄを認識可能な情報と医師Ｐ_Ｄの識別情報ＩＤ＿ＰＤｘが紐付けて格納されている。患者認識テーブルには、患者Ｐ_Ｐを認識可能な情報と患者Ｐ_Ｐの識別情報ＩＤ＿ＰＰｘが紐付けて格納されている。医師Ｐ_Ｄを認識可能な情報及び患者Ｐ_Ｐを認識可能な情報は、例えば顔情報及び名札情報である。

コンピュータ９３は、空間通信部９４の受信した画像を取得すると、患者認識テーブルを参照し、第１のカメラ１１で撮像された画像から患者Ｐ_Ｐを認識し、患者Ｐ_Ｐの識別情報ＩＤ＿ＰＰｘを特定する。そして、コンピュータ９３は、医師認識テーブルを参照し、第２のカメラ９２で撮像された画像から医師Ｐ_Ｄを認識し、医師Ｐ_Ｄの識別情報ＩＤ＿ＰＤｘを特定する。ここで、医師Ｐ_Ｄ及び患者Ｐ_Ｐの認識方法は任意である。例えば、顔認識を用いてもよいし、バーコードや２次元コードなどの名札の認識を用いてもよい。

コンピュータ９３は、患者Ｐ_Ｐの識別情報ＩＤ＿ＰＰｘ及び医師Ｐ_Ｄの識別情報ＩＤ＿ＰＤｘを特定すると、カルテ管理テーブルを参照し、患者Ｐ_Ｐの識別情報ＩＤ＿ＰＰｘと医師Ｐ_Ｄの識別情報ＩＤ＿ＰＤｘの組合せで特定される患者Ｐ_Ｐのカルテを記憶部３１から読み出し、空間通信部９４に出力する。

空間通信部９４は、患者Ｐ_ＰのカルテをＨＭＤ通信部１２に送信する。ＨＭＤ通信部１２が患者Ｐ_Ｐのカルテを受信すると、ＣＰＵ１６がレンズ１４に患者Ｐ_Ｐのカルテを表示する。レンズ１４に表示するカルテは、例えば、患者Ｐ_Ｐの氏名などの患者情報、検査結果、看護師Ｐ_Ｎからの連絡事項、である。これにより、本開示は、医師Ｐ_Ｄの目の前の患者Ｐ_Ｐのカルテを、自動的に医師Ｐ_ＤのＨＭＤ９１に表示することができる。

ここで、患者Ｐ_Ｐに関する情報のなかで、患者Ｐ_Ｐに知らせないことが望ましい情報が存在することがある。本開示では、患者Ｐ_Ｐに関する情報が医師Ｐ_ＤのＨＭＤ９１に表示されるため、患者Ｐ_Ｐに秘匿にした状態で、医師Ｐ_Ｄが患者Ｐ_Ｐに関する情報を得ることができる。

ＨＭＤ９１は、ＨＭＤの装着者である医師Ｐ_Ｄに音声を伝達する骨伝導ヘッドホン（不図示）をさらに備えることが好ましい。ＣＰＵ１６は、カルテに音声データが含まれている場合、音声データを骨伝導ヘッドホンに出力する。これにより、音声についても患者Ｐ_Ｐに秘匿にした状態で、医師Ｐ_Ｄが患者Ｐ_Ｐに関する情報を得ることができる。

なお、本実施形態では、患者Ｐ_Ｐが第１の人物であり、医師Ｐ_Ｄが第２の人物であり、固有データが患者Ｐ_Ｐのカルテである場合について説明したが、本開示はこれに限定されない。例えば、固有データはカルテに限らず、第２の人物に紐付けられた第１の人物の任意の情報でありうる。

（第２の実施形態）
図４に、本実施形態に係るシステム構成の一例を示す。本実施形態に係る表示システムは、ＨＭＤ９１、第２のカメラ９２、コンピュータ９３、空間通信部９４、通信装置９５、を備える。患者への問診の途中で、患者Ｐ_Ｐに知らせないことが望ましい、看護師Ｐ_Ｎから医師Ｐ_Ｄへの伝達事項が生じる場合がある。本実施形態では、そのような場合に、看護師Ｐ_Ｎの使用する通信装置９５から入力された情報を、ＨＭＤ９１に表示する。

通信装置９５は、通信機能、表示機能、入力機能を備える任意の端末であり、タブレットを用いることができる。通信機能は、空間通信部９４と通信可能な任意の手段を用いることができる。入力機能は、カメラを用いた画像の入力、及び、テキスト情報の入力が可能である。

第１のカメラ１１は、看護師Ｐ_Ｎを撮像する。ＣＰＵ１６は、第１のカメラ１１で撮像された画像をＨＭＤ通信部１２から空間通信部９４へ送信する。ここで、第１の実施形態と同様に、ＨＭＤ９１の操作を行う操作装置（不図示）をさらに備えることが好ましい。

本実施形態では、記憶部３１は、看護師認識テーブルをさらに保持している。図５に示すように、看護師認識テーブルには、看護師Ｐ_Ｎを認識可能な情報と看護師Ｐ_Ｎの識別情報ＩＤ＿ＰＮｘが紐付けて格納されている。看護師Ｐ_Ｎを認識可能な情報は、例えば顔情報及び名札情報である。

コンピュータ９３は、看護師認識テーブルを参照し、第１のカメラ１１で撮像された画像から看護師Ｐ_Ｎを認識し、看護師Ｐ_Ｎの識別情報ＩＤ＿ＰＮｘを特定する。ここで、コンピュータ９３は、第１の実施形態と同様の方法を用いて看護師Ｐ_Ｎを認識することができる。

コンピュータ９３は、カルテ管理テーブルを読み出し、看護師Ｐ_Ｎの識別情報ＩＤ＿ＰＮｘを、患者Ｐ_Ｐの識別情報ＩＤ＿ＰＰ２と医師Ｐ_Ｄの識別情報ＩＤ＿ＰＤ２の組合せで特定される患者Ｐ_ＰのカルテＩＤ＿ＣＲ３に関連付ける。

一方で、看護師Ｐ_Ｎは、通信装置９５に自己の識別情報を入力する。識別情報は、例えば、病院内で付与されている識別番号、氏名、バーコードである。通信装置９５は、空間通信部９４と通信可能な通信部（不図示）を備え、当該通信部は、看護師Ｐ_Ｎの識別情報ＩＤ＿ＰＮｘを通信装置９５の識別情報ＩＤ＿ＴＮｘと共に空間通信部９４に送信する。

コンピュータ９３は、看護師Ｐ_Ｎの識別情報ＩＤ＿ＰＮｘを空間通信部９４から受信し、第１のカメラ１１で撮像された画像から特定された看護師Ｐ_Ｎの識別情報ＩＤ＿ＰＮｘと、通信装置９５から受信した看護師Ｐ_Ｎの識別情報ＩＤ＿ＰＮｘとが、一致するか否かを判定する。コンピュータ９３は、看護師Ｐ_Ｎの識別情報ＩＤ＿ＰＮｘが一致する場合、カルテ管理テーブルを読み出し、看護師Ｐ_Ｎの識別情報ＩＤ＿ＰＮｘと通信装置９５の識別情報ＩＤ＿ＴＮｘを紐付ける。

また看護師Ｐ_Ｎの識別情報ＩＤ＿ＰＮｘが一致する場合、コンピュータ９３は、患者Ｐ_Ｐのカルテへの追記が可能な旨の通知を、通信装置９５に送信する。このとき、空間通信部９４が当該通知を通信装置９５に送信し、通信装置９５がこれを受信する。これにより、通信装置９５からの患者Ｐ_ＰのカルテＩＤ＿ＣＲ３への追記が可能になる。例えば、通信装置９５に、患者Ｐ_ＰのカルテＩＤ＿ＣＲ３に追記するためのウィンドウが表示される。

通信装置９５にデータが入力されると、コンピュータ９３は、通信装置９５からのデータを記憶部３１に格納されている患者のカルテＩＤ＿ＣＲ３に追記する。空間通信部９４は、記憶部３１に格納されている患者のカルテＩＤ＿ＣＲ３にデータが追記された場合、追記されたデータを送信する。ＨＭＤ９１は、追記されたデータをＨＭＤ９１から受信すると、当該追記されたデータをさらに表示する。

音声データで出力する旨の指示が通信装置９５に入力された場合、ＨＭＤ９１は、当該指示のあったデータを、音声データとして骨伝導ヘッドホン（不図示）に出力することが好ましい。

以上説明したように、本実施形態は、通信装置９５に入力されたデータをＨＭＤ９１に表示することができる。本実施形態では、第１のカメラ１１で撮像された画像から看護師Ｐ_Ｎの識別情報ＩＤ＿ＰＮｘを特定したが、本開示はこれに限定されない。第１のカメラ１１に代えて、又は第１のカメラ１１に加えて、第２のカメラ９２で撮像された画像から看護師Ｐ_Ｎの識別情報ＩＤ＿ＰＮｘを特定してもよい。また、本実施形態では、一人の看護師Ｐ_Ｎが通信装置９５を用いる例を示したが、２以上の各看護師Ｐ_Ｎが通信装置９５を用いてもよい。また、通信装置９５とコンピュータ９３との情報伝達手段は、空間通信部９４に限らず、任意の無線通信を用いてもよい。

（第３の実施形態）
図６に、本開示のＨＭＤの具体的な動作原理の一例を示す。図６では、本開示に係るＨＭＤの一例として、市販されているＨＭＤの一種であるスマートグラスのＥＰＳＯＮ ＭＯＶＥＲＩＯ ＢＴ３００）の動作原理を示す。このスマートグラスを用いて有機ＥＬディスプレイ上の映像を人は認識できる。この例では、スマートグラスは、有機ＥＬディスプレイ１３とレンズ１４と反射レンズ１５と、を備える。有機ＥＬディスプレイ１３より出射されたＲＧＢ光はレンズ１４内の反射レンズ１５によって、人の網膜上に投影される。

スマートグラスとしては、例えば、右目前方に実装された第１のカメラ（不図示）、ディスプレイとして機能するレンズによってインタラクティブなコミュニケーションを可能とする製品もあり、多様なディスプレイ形式が実装可能である。一般的には、ＷｉＦｉ経由でのインターネットのアクセスを実現する機能を内在する機器も開発されており、インターネット上の、Ｗｅｂアクセスも可能である。

（第４の実施形態）
図７に本実施形態例を示す。図７では、ＬＥＤなどの既存の照明用可視光源８２の備わる照明装置８３に、新たに、空間通信部９４を付加する。空間通信部９４は、送受信部３２からのデータ信号を受信する受信部４２と、可視光変調用の信号を作成する信号作成部４３と、可視光通信部４１と、を備える。可視光通信部４１は、単一あるいは複数の波長の光を用いて、波長毎に異なるデータ信号で変調した変調光を、ＬＥＤ等を用いて生成する。本実施形態は、このようにして生成した信号により、可視光を使用してデータ通信を行う。

ＨＭＤ通信部１２は、可視光通信部４１の出射する変調光の中から、あらかじめ規定された波長の光を受光する。そして、ＨＭＤ９１は、受光したデータ信号を復調し、ディスプレイとして機能するレンズ１４にインタラクティブにリアルタイム表示する。データ信号は、例えばメッセージなどの文字情報であり、絵や写真などの描画回路の出力であってもよい。

このように、本実施形態は、通常の照明の環境を維持した状態で、ＨＭＤ９１に、インタラクティブにリアルタイム表示することで、ＨＭＤ９１を通常の利用形態に加え、利用者が知りたい情報は他人に知られないように、可視光を使用してプッシュ送信し、ＨＭＤ９１を装着している医師Ｐ_Ｄに伝達することができる。

ここで、プッシュ通知機能を実現するため、あらかじめ、情報を提供する対象となっている医師Ｐ_Ｄ、あるいは、看護師Ｐ_Ｎなどの人物を第２のカメラ９２で常時撮影する機能を病院の室内等に備えておく。また、第１及び第２の実施形態で説明した、カルテ、カルテ管理テーブル、医師認識テーブル、患者認識テーブルを任意の記憶部に保持する。この状態で、コンピュータ９３は、第１のカメラ１１及び第２のカメラ９２からの画像を用い、ＡＩ機能等を用いて、当該の人物を捉えた時に、適切なタイミングで、インタラクティブに、当該の情報を転送する。

なお、送受信部３２は、通信装置９５に入力されたデータを送受信する機能を有する。本開示では、通信装置９５に入力されたデータをコンピュータ９３で管理し、コンピュータ９３からＨＭＤ９１に送信する。このため、送受信部３２は、コンピュータ９３に備わる送受信機能を用いることができる。また送受信部３２から受信部４２へのデータ信号の転送方法は、可視光のほか、医用電子機器に影響を与えない赤外線、または他の電磁波の波長帯を設けてもよいし、有線での通信を用いてもよい。

以上説明したように、本実施形態は、ＨＭＤ９１では、当該波長の光に含まれるデータ信号を、ＨＭＤ９１のレンズ１４にリアルタイム表示することにより、同じ病室での周囲の患者には、全く、照明等の環境条件が変化していない状況の中で、他人に知られないよう、リアルタイムにディスプレイ表示させて、通知することができる。このメカニズムを用い、診察中に、看護師Ｐ_Ｎは、同じ病室での他の患者に分からないように、コメントを医師Ｐ_ＤのＨＭＤ９１にプッシュ送信することができる。このとき、第２のカメラ９２とコンピュータ９３により、医師等のあらかじめ登録された特定の人物の画像が認識された時に、インタラクティブに適切なタイミングで、ＨＭＤ９１にプッシュ送信することが好ましい。

（第５の実施形態）
図８に本実施形態例を示す。図８では、図７の構成に加え、更に、新たに有線で接続された患者等のカルテに対応する記憶部３１のデータベースに対して有線通信を用いてアクセスが可能な受信部４２Ｂと、当該の受信情報を可視光に変換する可視光通信部４１Ｂを照明装置８３に備える点が異なる。ＨＭＤ９１のＨＭＤ通信部１２は、このデータベース３１の情報を、図７の構成とは別の可視光信号を用いて受信するための受信部を備える。このシステム構成を活用することにより、医師Ｐ_Ｄは診察中に、患者のカルテ等を持ち運びする必要がなく、ＨＭＤ９１上で、当該情報を表示させることにより、確認することができる。

さらに本実施形態は、第４の実施形態で説明したように、看護師Ｐ_Ｎからのプッシュ送信により、他人に知られないように、看護師Ｐ_Ｎの伝えたい情報をテキストベースでＨＭＤ９１上に表示させて利用可能することが可能となる。

（第６の実施形態）
図９に、本実施形態例を示す。図９では、図８に付加する部品群の削減が可能である。例えば、ＨＭＤ通信部１２は、可視光通信部４１Ａから出射される２種類の可視光信号（データベースの読み取り情報と看護師からのプッシュ通知信号）を受信するため、多波長受信用および分離用の機能を備える。また、空間通信部９４は、２つの受信部４２Ａ及び４２Ｂの受信データを合成する可視光信号変調用の信号合成部４４を備え、合成後のデータ信号を共通の可視光通信部４１Ａから送信する。これにより、本実施形態は、ＨＭＤ９１に付加する部品群の削減が可能である。

（第７の実施形態）
また、看護師Ｐ_Ｎから医師Ｐ_Ｄに対してのプッシュ通知の情報送信が不要な場合には、当該の通信システムの要素は省略できることが言うまでもない。この場合の通信形態の例を図１０に示す。このように、本開示は、いずれの場合においても、病院側の医用電子機器に影響を与えないようにして、通常の照明環境の中で、医師Ｐ_Ｄと看護師Ｐ_Ｎが、双方とも円滑なコミュニケーションが他人にしられないようにして実現できると共に、医師Ｐ_Ｄまたは看護師Ｐ_Ｎが通常持ち歩く必要のあるカルテ情報を、医用電子機器の影響を与えないように、電子的に活用することが可能となる。

なお、上の例では、空間通信部９４からＨＭＤ９１への通信に可視光を用いる場合を説明したが、実際には、当該の環境内で医用電子機器に影響を与えないことが判明している条件を満たす赤外線領域の電磁波や、当該の環境内では使用されておらず、かつ医療機器にも影響を与えない電磁波を用いることも可能であることは言うまでもない。但し、この場合は、可視光通信を利用する場合と比べて、通信状態の安定性を常時視認できる利点が失われ、また、特定の通信相手に絞って、目に見える形態でセキュリティが確保されていることを確認できる利点も失われることに着眼する必要がある。

（第８の実施形態）
図１１に、本実施形態例を示す。この場合も、医師Ｐ_Ｄは診察中に、患者Ｐ_Ｐのカルテの持ち運びをすることなく、ＨＭＤ９１上でカルテの情報を表示することで利用可能である。この例では、空間通信部９４に備わる信号合成部４４が受信部４２Ａ及び４２Ｂの受信信号を合成する。このため、本実施形態は、可視光信号変調用信号が合成された形式で、ＨＭＤ９１を装着する医師Ｐ_Ｄへ到達する。ＨＭＤ９１の受信部として機能するＨＭＤ通信部１２では、１つの受信処理部を用いて複数の当該メッセージ情報を、インタラクティブにレンズ１４にリアルタイム表示することができる。これにより、本開示は可視光受信用の部品を効率的に利用することが可能となる。また、看護師Ｐ_Ｎは、通信装置９５を用いて、伝えたい情報を、医師のＨＭＤ９１上にプッシュ通知で表示させることが可能となる。

第１の実施形態から第８の実施形態において、医師Ｐ_Ｄと看護師Ｐ_Ｎとの役割分担を変え、逆に、医師Ｐ_Ｄから看護師Ｐ_Ｎに対して、セキュアーにプッシュ通知を行う手段を提供する場合に関しても、同様に、上述した通信形態は、有効に活用できることは言うまでもない。

（第９の実施形態）
図１２に、本開示における可視光通信及び表示の具体例を示す。可視光送信部７１１は第１及び第２の実施形態における空間通信部９４に相当し、可視光受信部７２１は第１及び第２の実施形態におけるＨＭＤ通信部１２に相当する。第１及び第２の実施形態のコンピュータ９３からＨＭＤ９１へのデータ送信において、送信側ＰＣ７１２はコンピュータ９３に相当し、受信表示部７２２はＨＭＤ９１に相当する。

本実施形態例での表示システムは、例えば、Ｌｉｎｕｘ（登録商標）カーネルやオープンソースソフトウェアの開発が容易であるＡｒｄｕｉｎｏ（登録商標）デバイスを、ウェアラブルデバイス制御用として活用する可視光送信部７１１と、可視光受信部７２１と、受信表示部７２２と、を備える。

可視光送信部７１１は、単一あるいは複数波長の光を波長ごとに異なる変調信号で変調する変調回路７１１１と、変調光をＬＥＤ光源より出射する発光ダイオード７１１３と、発光ダイオード７１１３からの変調光の出射タイミングを制御するタイミング制御回路７１１２と、を備える。これにより、本実施形態は、送信側ＰＣ７１２からシリアル通信で出力された文字列情報を、可視光通信を用いて送信する。

可視光受信部７２１は、送信装置７１の出射する変調光を受光するフォトダイオード７２１１と、波長帯域ごとに変調信号を復調する復調回路７２１２と、を備える。これにより、可視光受信部７２１は、送信装置７１からメッセージデータを受信し、文字列情報をシリアル通信で出力する。受信表示部７２２は、可視光受信部７２１で受信したメッセージデータをＨＭＤ９１のディスプレイにリアルタイムに表示する。

図１３に、受信表示部７２２の回路構成の一例を示す。受信表示部７２２は、外部インタフェース（ＩＦ）７３１と、受信文字列処理回路７３２１と、描画処理回路７３２２と、ディスプレイ制御回路７３３と、ディスプレイ表示画面７３４と、を備える。受信文字列処理回路７３２１は、外部ＩＦ７３１とＵＳＢ接続された可視光受信部７２１より送信されたメッセージデータを、画面表示可能な形に変換する。描画処理回路７３２２はメッセージデータをディスプレイ表示画面７３４上に描画する。

この表示システムの具体的な活用法としては、例えば病院内の一般病室に居住する複数の患者が、一緒に入院している状況の中では、医師と看護師との会話が、特定あるいは、不特定多数の複数の患者に、知られたくない場合も数多く存在する。このため、テキスト情報として受信者のＨＭＤに表示したりする情報通信手段が有効である。あるいは、他人には聞こえないように、受信者のみに聞こえる微弱な音声信号として骨伝導マイクを活用して伝達する情報通信が有効である。例えば、医師と患者の両者が第１の実施形態で説明したＨＭＤ９１を装着し、第２の実施形態で説明した通信装置９５を看護師だけでなく医師や患者も利用可能にする。これにより、他の患者に知られないように、医師、患者及び看護師で情報を共有することができる。

病院内では特に、医用電子機器には影響の与えないように、電波を用いない通信手段による情報伝達手段が、有効となる場合が多く存在する。すなわち、他人には知られないように、情報伝達を実現するための手段を提供する需要は、今後、益々高まると思われる。病室内に例えば４人の患者が入院している場合には、それぞれの患者毎に信号種別をベッド上で医師側が判断できるように明示し、実際にそれらの信号種別と対応させたテキスト情報が、受信表示部７２２上で表示できるように、送信モジュールを可視光送信部７１１に相当する空間通信部９４に備えればよい。

例えば、可視光通信の場合、信号種別は、赤、青、緑、黄色などの色表示を用いることができる。この場合、通信用の多色ＬＥＤの送信モジュールを可視光送信部７１１に備えればよい。このように、それぞれの色によって病室内の患者の識別を行いつつ、医師にとって必要となるテキスト情報も、患者識別が容易にできるように、看護師が遠隔操作して受信表示部７２２上にメッセージ情報として表示することが可能となる。

なお、本実施形態は、第２の実施形態の通信装置９５からコンピュータ９３へのデータ送信にも適用可能である。この場合、送信側ＰＣ７１２は通信装置９５に備わる空間通信部に相当し、受信表示部７２２は空間通信部９４に相当する。

一方、ＨＭＤ９１上での表示情報を骨伝導マイクで音声情報として伝えることも可能となる。図１４に具体的な構成例を示す。文字列受信回路７４２１が可視光受信部７２１の信号を受信し、文字列認識回路７４２２がテキスト情報に変換後、音声変換回路７４２３が骨伝導ヘッドホンへ音声出力可能な音声信号に変換する。音声信号無線送信部７５は骨伝導ヘッドホン７６に音声信号を伝達する。音声信号無線送信部７５は、例えば、ＢＬＵＥＴＯＯＴＨ（登録商標）を用いることができる。この場合に、当該のＢＬＵＥＴＯＯＴＨ（登録商標）を用いる通信手段が、他の医用電子機器に影響を与えないことを前提とすることは言うまでもない。

一方、既存の多くのＡＲ機器では、情報の提示や取得のために、ＨＭＤがしばしば利用される。しかしながら、これらの技術に可視光通信用のＣＳＫ表示デバイスを適用した情報表示手段は、実現されていない。図１５にＣＳＫ表示デバイスを用いた具体例を示す。送信装置７１は、スマートフォン等の内蔵アプリケーションを用いてドローン等で空撮し、ディスプレイ７１４にＣＳＫ情報を表示する。図では、ＣＳＫ情報の一例として、４×４ＣＳＫコード画像を示している。受信装置７２では、フォトダイオード７２１１がＣＳＫ情報を撮像することで受信し、復調回路７２１２が光のＣＳＫコードを電気信号に変換することで復調し、ＣＳＫコード解読回路７２１３が当該の電気信号に変換されたＣＳＫコードを文字データ等に解読する。可視光受信部７２１で当該文字列を受信したのちに、受信表示部７２２がリアルタイムに、ＨＭＤ９１を用いたＡＲ空間上に、情報の通知・表示を行う。

一方、Ｗｉｆｉ技術とクラウド技術を更に組み合わせることで、リアルタイムに、あらかじめ登録された患者や個人データベース等をＡＲ空間上に表示する技術の実現も可能である。また、ＡＲシステムでは、情報の表示や取得のためにＨＭＤを利用することが可能である。さらに、ＨＭＤと携帯電話等を用いて、クラウドにアクセスしたり、リアルタイムに登録された個人データベースを仮想空間上に表示することも可能である。

（第１０の実施形態）
図１６に、可視光送信部７１１より送信された、メッセージ「ａｂ１」（ｔ１）が表現された信号のもっとも簡単なタイミングチャートを例示する。ここでは、Ｓｔａｒｔ Ｃｏｄｅ（ｔ２）、Ｓｔｏｐ Ｃｏｄｅ（ｔ３）、データ部（ｔ４）がある場合の構成例を示す。この例では、メッセージデータをＡＳＣＩＩコードとし８ビット毎に可視光受信部７２１に備わる復調回路７２１２で復調する。非同期通信を行うためにＳｔａｒｔ ＣｏｄｅとＳｔｏｐ Ｃｏｄｅを設けることが一般的である。

Ｓｔａｒｔ ＣｏｄｅとＳｔｏｐ Ｃｏｄｅでは、図１７に示すように、可視光通信部４１の発光ダイオードがＯＮ状態からＯＦＦ状態に遷移しＯＮ状態に復帰するまでの時間が予め定められた時間（例えば２５０μｓ）であるとき（ｔ５）、Ｓｔａｒｔ／Ｓｔｏｐ Ｃｏｄｅと認識する。以下、図１６に示す時間ｔ４に示すように、２５０μｓごとに１ビットデータを送信する。

Ｓｔａｒｔ／Ｓｔｏｐ Ｃｏｄｅと同様に、ＯＮ状態からＯＦＦ状態に遷移しＯＮ状態に復帰するまでの時間計測を行う。図１７の時間ｔ６及びｔ７に時間計測の一例を示す。例えば、計測された時間が５０μｓであれば「０」（ｔ６）、１００μｓであれば「１」（ｔ７）と認識する。

図１８に、図１２に示す受信装置７２における処理フローの実施例を示す。本実施形態では、受信装置７２は、初期設定、スタートコード受信待機、文字列情報受信を順に行う。初期設定ではステップＳ１０１及びＳ１０２を実行し、スタートコード受信待機ではステップＳ１０３〜Ｓ１０５を実行し、文字列情報受信ではステップＳ１０６〜Ｓ１１３を実行する。

ステップＳ１０１では、変数となるｔｉｍｅを設定する。ここで、「ｔｉｍｅ」は、可視光通信部４１の発光ダイオードがＯＮ状態からＯＦＦ状態に遷移しＯＮ状態に復帰するまでの時間である。
ステップＳ１０２では、配列バッファの初期設定を行う。
ステップＳ１０３では、ＬＥＤが消灯するまで待機する。
ステップＳ１０４では、ＬＥＤの消灯時間を計測し、「ｔｉｍｅ」に格納する。本実施形態では、「ｔｉｍｅ」が２５０μｓである例を示す。
ステップＳ１０５では、ＬＥＤの消灯時間が２５０μｓの場合（Ｓ１０５においてＹｅｓ）、ステップＳ１０６に移行する。
ステップＳ１０６では、ＬＥＤが消灯するまで待機する。
ＬＥＤが消灯すると、ＬＥＤの消灯時間を計測し、「ｔｉｍｅ」に格納する（Ｓ１０７）。「ｔｉｍｅ」が５０μｓの場合（Ｓ１０８）、「配列バッファ」に「０」を格納する（Ｓ１０９）。「ｔｉｍｅ」が１００μｓの場合、（Ｓ１１０）「配列バッファ」に「１」を格納する（Ｓ１１１）。その後、ステップＳ１０６へ移行する。
消灯してから２５０μｓが経過すると（Ｓ１１２）、「配列バッファ」に格納された文字列をシリアル伝送する（Ｓ１１３）。

本開示は情報通信産業に適用することができる。

１１：第１のカメラ
１２：ＨＭＤ通信部
１３：有機ＥＬディスプレイ
１４：レンズ
１５：反射レンズ
１６：ＣＰＵ
３１：記憶部
３２：送受信部
４１Ａ、４１Ｂ：可視光通信部
４２Ａ、４２Ｂ：受信部
４３Ａ、４３Ｂ：可視光変調用の信号作成部
４４：信号合成部
７１：送信装置
７２：受信装置
７１１：可視光送信部
７１２：送信側ＰＣ
７１１１：変調回路
７１１２：タイミング制御回路
７１１３：発光ダイオード
７１３：内蔵アプリケーション
７１４：携帯端末のディスプレイ
７２１：可視光受信部
７２２：受信表示部
７２１１：フォトダイオード
７２１２：復調回路
７２１３：ＣＳＫコード解読回路
７２２１：文字列受信部
７２２２：画面表示部
７３１：外部インタフェース
７３２：プロセッサ（制御部）
７３２１：受信文字列処理回路
７３２２：描画処理回路
７３３：ディスプレイ制御回路
７３４：ディスプレイ表示画面
７４：文字列音声変換部
７４１：外部インタフェース
７４２：プロセッサ
７４２１：文字列受信回路
７４２２：文字列認識回路
７４２３：音声変換回路
７４３：音声出力回路
７５：音声信号無線送信部
７６：コツ伝道ヘッドホン
７６：骨伝導ヘッドホン
８１：病室
８２：照明用可視光源
８３：照明装置
９１：ＨＭＤ
９２：第２のカメラ
９３：コンピュータ
９４：空間通信部
９５：通信装置

Claims (6)

1. ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）に搭載され、前記ＨＭＤの装着者の視野の少なくとも一部を撮像する第１のカメラと、
   予め定められた領域内に存在する人物を撮像する第２のカメラと、
   第１の人物と第２の人物の組合せで特定される固有データを記憶する記憶部と、
   前記第１のカメラで撮像された画像から第１の人物を認識し、前記第２のカメラで撮像された画像から第２の人物を認識し、第１の人物と第２の人物の組合せで特定される固有データを前記記憶部から読み出すコンピュータと、
   前記記憶部から読み出されたデータを、前記領域内に向けて送信する空間通信部と、
   前記ＨＭＤに搭載され、前記空間通信部からのデータを受信するＨＭＤ通信部と、
   前記ＨＭＤ通信部の受信したデータを表示する前記ＨＭＤと、
   を備える表示システム。
2. 前記第１の人物は患者であり、
   前記第２の人物は医師であり、
   前記固有データは患者のカルテである、
   請求項１に記載の表示システム。
3. 看護師の使用する通信装置をさらに備え、
   前記通信装置は、看護師の識別情報を取得すると、取得した看護師の識別情報を前記コンピュータへ送信し、
   前記コンピュータは、前記通信装置から看護師の識別情報を取得すると、前記第１のカメラ又は前記第２のカメラで撮像された画像から看護師を認識し、前記通信装置から受信した看護師の識別情報が前記認識した看護師の識別情報に一致するか否か判定し、前記判定で一致する場合、前記通信装置からのデータを前記記憶部に格納されている前記患者のカルテに追記し、
   前記空間通信部は、追記されたカルテが読み出し対象となっている場合、前記記憶部に格納されているカルテを前記ＨＭＤ通信部に送信する、
   請求項２に記載の表示システム。
4. 前記ＨＭＤの操作を行う操作装置をさらに備え、
   前記ＨＭＤは、前記第１のカメラで撮像された画像を表示し、
   前記ＨＭＤ通信部は、前記操作装置からの指示を契機に、前記ＨＭＤに表示された画像を前記空間通信部に送信する、
   請求項１から３のいずれかに記載の表示システム。
5. 前記ＨＭＤは、
   前記ＨＭＤの装着者に音声を伝達する骨伝導ヘッドホンをさらに備え、
   前記固有データに音声データが含まれている場合、前記音声データを前記骨伝導ヘッドホンに出力する、
   請求項１から４のいずれかに記載の表示システム。
6. ＨＭＤに搭載されている第１のカメラが、前記ＨＭＤの装着者の視野の少なくとも一部を撮像する手順と、
   第２のカメラが、前記ＨＭＤの装着者を撮像する手順と、
   コンピュータが、前記第１のカメラで撮像された画像から第１の人物を認識し、前記第２のカメラで撮像された画像から第２の人物を認識し、第１の人物と第２の人物の組合せで特定される固有データを記憶部から読み出す手順と、
   照明装置に搭載されている空間通信部が、前記記憶部から読み出されたデータを、前記照明装置に用いられている照明光に含まれる波長の光を用いて送信する手順と、
   前記ＨＭＤに搭載されているＨＭＤ通信部が、前記空間通信部からのデータを受信する手順と、
   前記ＨＭＤが、前記ＨＭＤ通信部の受信したデータを表示する手順と、
   を備える表示方法。

Images