JP2017106945A - 頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム - Google Patents

頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム Download PDF

Info

Publication number
JP2017106945A
JP2017106945A JP2015238182A JP2015238182A JP2017106945A JP 2017106945 A JP2017106945 A JP 2017106945A JP 2015238182 A JP2015238182 A JP 2015238182A JP 2015238182 A JP2015238182 A JP 2015238182A JP 2017106945 A JP2017106945 A JP 2017106945A
Authority
JP
Japan
Prior art keywords
information
display device
head
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015238182A
Other languages
English (en)
Other versions
JP6828235B2 (ja
Inventor
和夫 西沢
Kazuo Nishizawa
和夫 西沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2015238182A priority Critical patent/JP6828235B2/ja
Priority to US15/002,214 priority patent/US9784976B2/en
Publication of JP2017106945A publication Critical patent/JP2017106945A/ja
Application granted granted Critical
Publication of JP6828235B2 publication Critical patent/JP6828235B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】第三者の目から見た際の、頭部装着型表示装置の操作のための動作の不自然さを軽減する。【解決手段】利用者が虚像を視認可能な頭部装着型表示装置は、利用者に虚像を視認させる画像表示部と、画像表示部において、虚像として利用者に表示されている情報である表示情報を加工する加工部と、加工された表示情報を、頭部装着型表示装置に接続された画像表示装置に送信する送信部と、を備える。【選択図】図5

Description

本発明は、頭部装着型表示装置の表示を共有する技術に関する。
利用者の頭部に装着されて使用され、利用者の視野領域に虚像を形成する頭部装着型表示装置が知られている(例えば、特許文献1参照)。この頭部装着型表示装置は、ヘッドマウントディスプレイ(HMD、Head Mounted Display)とも呼ばれる。このようなHMDにおいては、利用者の頭部に装着されて使用されるという性質上、音声を用いた入力手段や、ジェスチャーを用いた入力手段等、従来とは異なる様々な態様の入力手段が提案されている。
特許第5074827号公報 特表2011−513821号公報
上述した様々な態様の入力手段の存在は、HMDの利便性を向上させる。一方で、HMDの虚像はHMDの利用者しか見ることができないため、第三者から見た場合に、HMDを操作している利用者が何をしているのかがわからない場合がある。このように、従来のHMDでは、HMDの操作のための動作(例えば、ジェスチャーや発声等)が、第三者の目に不自然に映る場合があるという課題があった。特許文献1、2に記載された技術では、このような課題については何ら考慮されていない。
このため、第三者の目から見た際の、頭部装着型表示装置の操作のための動作の不自然さを軽減することが望まれていた。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
(1)本発明の一形態によれば、利用者が虚像を視認可能な頭部装着型表示装置が提供される。この頭部装着型表示装置は;前記利用者に前記虚像を視認させる画像表示部と;前記画像表示部において、前記虚像として前記利用者に表示されている情報である表示情報を加工する加工部と;加工された前記表示情報を、前記頭部装着型表示装置に接続された画像表示装置に送信する送信部と、を備える。
この形態の頭部装着型表示装置によれば、送信部は、虚像として利用者に表示されている情報である表示情報を、頭部装着型表示装置に接続された画像表示装置に送信する。表示情報を受信した画像表示装置において、表示された表示情報を見た第三者は、頭部装着型表示装置の利用者が何を見ているかを察することができる。この結果、頭部装着型表示装置の利用者が、頭部装着型表示装置を操作するための動作(例えば、ジェスチャーや発声等)を行ったとしても、第三者の目に不自然に映りづらい。すなわち、第三者の目から見た際の、頭部装着型表示装置の操作のための動作の不自然さを軽減することができる。さらに、送信部が画像表示装置に送信し、表示させる表示情報は、加工された表示情報である。このため、例えば表示情報における情報の詳細さ、明確さ等を低減させるような加工を施すことによって、送信部は、そのままの表示情報を画像表示装置に送信し、表示させる場合と比較して、表示情報を第三者に開示することに伴うセキュリティーを向上させることができる。
(2)上記形態の頭部装着型表示装置において;前記加工部は、前記表示情報の種類と、前記画像表示装置の前記利用者の権限と、のうちの少なくともいずれか一方に応じて、前記加工の方法を変更してもよい。
この形態の頭部装着型表示装置によれば、加工部は、表示情報の種類と、画像表示装置の利用者(すなわち第三者)の権限と、のうちの少なくともいずれか一方に応じて、表示情報の加工の種類を変更することができる。表示情報の種類に応じて加工の方法を変更すれば、加工部は、情報の種類ごとに最適な加工方法を採用することもでき、情報の種類ごとに第三者への開示の程度を変更することもできる。画像表示装置の利用者の権限に応じて加工の方法を変更すれば、加工部は、当該権限のレベルに応じて画像表示装置の利用者(すなわち第三者)への開示の程度を変更することができる。
(3)上記形態の頭部装着型表示装置において;前記送信部は、前記加工された表示情報をブロードキャスト送信してもよい。
この形態の頭部装着型表示装置によれば、送信部は、加工された表示情報を、簡単に、近隣の画像表示装置へ送信し、表示させることができる。
(4)本発明の一形態によれば、上記形態の頭部装着型表示装置に接続される画像表示装置が提供される。この画像表示装置は、利用者が虚像を視認可能な他の頭部装着型表示装置であり;前記他の頭部装着型表示装置は;前記利用者に前記虚像を視認させる受信側画像表示部と;前記頭部装着型表示装置から、前記加工された表示情報を取得する受信側取得部と;前記頭部装着型表示装置の前記利用者の近傍に、前記加工された表示情報を視認させるための前記虚像を前記受信側画像表示部に形成させる受信側拡張現実感処理部と、を備える。
この形態の画像表示装置によれば、表示情報を第三者に開示するための画像表示装置を、頭部装着型表示装置として構成することができる。また、受信側拡張現実感処理部は、第三者の視界内において、頭部装着型表示装置の利用者の近傍に表示情報を視認させる。このため第三者は、より直感的に、頭部装着型表示装置の利用者と、当該利用者が見ている情報と、を結びつけて理解することができる。
(5)本発明の一形態によれば、上記形態の頭部装着型表示装置に接続される画像表示装置が提供される。この画像表示装置は、前記頭部装着型表示装置から前記加工された表示情報を取得し、前記加工された表示情報を含んだ像を投射するプロジェクターである。
この形態の画像表示装置によれば、表示情報を第三者に開示するための画像表示装置を、プロジェクターとして構成することができる。このため、表示情報を複数の第三者に対してまとめて開示することができる。
(6)本発明の一形態によれば、情報処理装置が提供される。この情報処理装置は;前記情報処理装置に接続された頭部装着型表示装置において、虚像として前記頭部装着型表示装置の利用者に表示されている情報である表示情報を取得する取得部と;取得された前記表示情報を加工する加工部と;加工された前記表示情報を、前記情報処理装置に接続された画像表示装置に送信する送信部と、を備える。
この形態の情報処理装置によれば、送信部は、虚像として頭部装着型表示装置の利用者に表示されている情報である表示情報を、情報処理装置に接続された画像表示装置に送信する。表示情報を受信した画像表示装置において、表示された表示情報を見た第三者は、頭部装着型表示装置の利用者が何を見ているかを察することができる。この結果、頭部装着型表示装置の利用者が、頭部装着型表示装置を操作するための動作(例えば、ジェスチャーや発声等)を行ったとしても、第三者の目に不自然に映りづらい。すなわち、第三者の目から見た際の、頭部装着型表示装置の操作のための動作の不自然さを軽減することができる。さらに、送信部が画像表示装置に送信し、表示させる表示情報は、加工された表示情報である。このため、例えば表示情報における情報の詳細さ、明確さ等を低減させるような加工を施すことによって、送信部は、そのままの表示情報を画像表示装置に送信し、表示させる場合と比較して、表示情報を第三者に開示することに伴うセキュリティーを向上させることができる。
(7)上記形態の情報処理装置において;前記加工部は、前記表示情報の種類と、前記画像表示装置の利用者の権限と、のうちの少なくともいずれか一方に応じて、前記加工の方法を変更してもよい。
この形態の情報処理装置によれば、加工部は、表示情報の種類と、画像表示装置の利用者(すなわち第三者)の権限と、のうちの少なくともいずれか一方に応じて、表示情報の加工の種類を変更することができる。表示情報の種類に応じて加工の方法を変更すれば、加工部は、情報の種類ごとに最適な加工方法を採用することもでき、情報の種類ごとに第三者への開示の程度を変更することもできる。画像表示装置の利用者の権限に応じて加工の方法を変更すれば、加工部は、当該権限のレベルに応じて画像表示装置の利用者(すなわち第三者)への開示の程度を変更することができる。
(8)上記形態の情報処理装置では、さらに;複数の前記頭部装着型表示装置からそれぞれ取得された前記表示情報を記憶する記憶部を備え;前記取得部は;前記表示情報と共に、前記頭部装着型表示装置の現在位置を表す第1の現在位置情報を取得し;取得した前記表示情報と、前記第1の現在位置情報と、を前記記憶部に関連付けて記憶させてもよい。
この形態の情報処理装置によれば、複数の頭部装着型表示装置から取得した表示情報を記憶部に蓄積しておくことができる。
(9)上記形態の情報処理装置において;前記送信部は、さらに;前記画像表示装置から、前記画像表示装置の現在位置を表す第2の現在位置情報を取得し;取得した前記第2の現在位置情報と、前記記憶部内の前記第1の現在位置情報とを用いて、前記記憶部から、前記画像表示装置の所定範囲内に存在する前記頭部装着型表示装置における前記表示情報を取得し;取得した前記表示情報を前記加工部に加工させ;前記加工された表示情報を前記画像表示装置へ送信してもよい。
この形態の情報処理装置によれば、送信部は、第1、第2の現在位置情報を用いて、自動的に、画像表示装置の所定範囲内に存在する頭部装着型表示装置における表示情報、換言すれば、画像表示装置の近傍に存在する頭部装着型表示装置における表示情報を、画像表示装置に送信し、表示させることができる。
(10)本発明の一形態によれば、上記形態の情報処理装置に接続される画像表示装置が提供される。この画像表示装置は、利用者が虚像を視認可能な他の頭部装着型表示装置であり;前記他の頭部装着型表示装置は;前記利用者に前記虚像を視認させる受信側画像表示部と;前記情報処理装置から、前記加工された表示情報を取得する受信側取得部と;前記頭部装着型表示装置の前記利用者の近傍に、前記加工された表示情報を視認させるための前記虚像を前記受信側画像表示部に形成させる受信側拡張現実感処理部と、を備える。
この形態の画像表示装置によれば、表示情報を第三者に開示するための画像表示装置を、頭部装着型表示装置として構成することができる。また、受信側拡張現実感処理部は、第三者の視界内において、頭部装着型表示装置の利用者の近傍に表示情報を視認させる。このため第三者は、より直感的に、頭部装着型表示装置の利用者と、当該利用者が見ている情報と、を結びつけて理解することができる。
(11)上記形態の情報処理装置において;前記取得部は、前記表示情報と共に、前記頭部装着型表示装置の前記利用者を含む場面の画像を取得し;前記加工部は、さらに、取得された前記場面の画像と、加工した前記表示情報と、を合成し;前記送信部は、合成後の前記表示情報を、前記加工された表示情報として前記画像表示装置へ送信してもよい。
この形態の情報処理装置によれば、送信部は、頭部装着型表示装置の利用者を含む場面の画像と合成された表示情報を、画像表示装置に送信し、表示させる。このため、表示情報を第三者に開示するための画像表示装置が、例えばプロジェクターやスマートフォン等である場合において、第三者は、より直感的に、頭部装着型表示装置の利用者と、当該利用者が見ている情報と、を結びつけて理解することができる。
(12)本発明の一形態によれば、上記形態の情報処理装置に接続される画像表示装置が提供される。この画像表示装置は、前記情報処理装置から前記加工された表示情報を取得し、前記加工された表示情報を含んだ像を投射するプロジェクターである。
この形態の画像表示装置によれば、表示情報を第三者に開示するための画像表示装置を、プロジェクターとして構成することができる。このため、表示情報を複数の第三者に対してまとめて開示することができる。
(13)本発明の一形態によれば、情報処理装置が提供される。この情報処理装置は;前記情報処理装置に接続された画像表示装置に配信するための配信情報を記憶する記憶部と;前記画像表示装置についての情報と、前記画像表示装置の利用者についての情報と、のうちの少なくともいずれか一方の情報に応じた前記配信情報を、前記画像表示装置に送信する制御部と、を備える。
この形態の情報処理装置によれば、制御部は、記憶部に予め用意された配信情報を用いて、画像表示装置についての情報と、画像表示装置の利用者についての情報と、のうちの少なくともいずれか一方に応じた配信情報を画像表示装置へ送信する。配信情報を受信した画像表示装置において配信情報が表示されることにより、画像表示装置の利用者は、画像表示装置そのものについての情報、または、自身についての情報に応じた個別の配信情報を視認することができる。この結果、本形態の情報処理装置によれば、画像表示装置の利用者、または、情報処理装置を利用して第三者に情報提供を行う情報提供者における利便性を向上させることができる。
(14)上記形態の情報処理装置において;前記制御部は;前記少なくともいずれか一方の情報に応じて前記記憶部内の前記配信情報を加工し;加工後の前記配信情報を、前記配信情報として前記画像表示装置に送信してもよい。
この形態の情報処理装置によれば、制御部は、画像表示装置についての情報と、画像表示装置の利用者についての情報と、のうちの少なくともいずれか一方の情報に応じて配信情報を加工し、加工後の配信情報を「少なくともいずれか一方の情報に応じた配信情報」として画像表示装置に送信する。このため、例えば、記憶部に予め用意された1つの配信情報から少なくともいずれか一方の情報に応じた複数の配信情報を作成することができるため、記憶部における配信情報の記憶容量を低減することができる。
(15)上記形態の情報処理装置において;前記制御部は;さらに、特定の通信キャリアから、前記少なくともいずれか一方の情報を取得するための情報取得要求をブロードキャスト送信し;前記情報取得要求に対して応答した前記画像表示装置に対して、前記配信情報を送信してもよい。
この形態の情報処理装置によれば、制御部は、特定の通信キャリアから情報取得要求をブロードキャスト送信するため、特定の場所(すなわち、特定の通信キャリアからの通信可能範囲内)に位置する画像表示装置との間に限って、配信情報の送信を実施することができる。
(16)上記形態の情報処理装置において;前記制御部は、前記情報取得要求に対して応答した前記画像表示装置との間において、前記情報取得要求の送信と、前記情報取得要求に対する応答の受信と、を繰り返すことによって、前記少なくともいずれか一方の情報を取得してもよい。
この形態の情報処理装置によれば、制御部は、画像表示装置についての情報と、画像表示装置の利用者についての情報とを、逐次的に取得することができる。このため、制御部は、これらの情報を一度に取得する場合と比較して、通信内容が漏洩した場合における情報漏洩のリスクを低減することができる。また、本形態の情報処理装置によれば、情報処理装置と画像表示装置との間においてやり取りされる一回あたりの情報の量を低減することができるため、情報処理装置および画像表示装置にかかる処理負荷を低減することができる。
(17)上記形態の情報処理装置において;前記情報取得要求には、前記画像表示装置側において応答を拒否することができるか否かを識別するための情報が含まれていてもよい。
この形態の情報処理装置によれば、制御部は、画像表示装置側において応答を拒否することができる情報取得要求と、そうでない情報取得要求とを区別して使い分けることができる。
(18)本発明の一形態によれば、上記形態の情報処理装置に接続される画像表示装置が提供される。この画像表示装置は、前記利用者が虚像を視認可能な頭部装着型表示装置であり;前記頭部装着型表示装置は;前記利用者に前記虚像を視認させる受信側画像表示部と;前記情報処理装置から、前記配信情報を取得する受信側取得部と;取得した前記配信情報を表す前記虚像を前記受信側画像表示部に形成させる受信側拡張現実感処理部と、を備える。
この形態の画像表示装置によれば、配信情報を表示させるための画像表示装置を、頭部装着型表示装置として構成することができる。
(19)本発明の一形態によれば、画像表示システムが提供される。この画像表示システムは;頭部装着型表示装置と;情報処理装置と;他の頭部装着型表示装置と、を備え;前記情報処理装置は;前記情報処理装置に接続された前記頭部装着型表示装置において、虚像として前記頭部装着型表示装置の利用者に表示されている情報である表示情報を取得する取得部と;取得された前記表示情報を加工する加工部と;加工された前記表示情報を、前記情報処理装置に接続された画像表示装置に送信する送信部と、を備え;前記他の頭部装着型表示装置は;利用者に虚像を視認させる受信側画像表示部と;前記情報処理装置から、前記加工された表示情報を取得する受信側取得部と;前記頭部装着型表示装置の利用者の近傍に、前記加工された表示情報を視認させるための前記虚像を前記受信側画像表示部に形成させる受信側拡張現実感処理部と、を備える。
この形態の画像表示システムによれば、第三者(すなわち他の頭部装着型表示装置の利用者)の目から見た際の、頭部装着型表示装置の操作のための動作の不自然さを軽減することができる。
(20)本発明の一形態によれば、画像表示システムが提供される。この画像表示システムは;頭部装着型表示装置と;情報処理装置と;プロジェクターと、を備え;前記情報処理装置は;前記情報処理装置に接続された前記頭部装着型表示装置において、虚像として前記頭部装着型表示装置の利用者に表示されている情報である表示情報を取得する取得部と;取得された前記表示情報を加工する加工部と;加工された前記表示情報を、前記情報処理装置に接続された画像表示装置に送信する送信部と、を備え;前記プロジェクターは;前記情報処理装置から前記加工された表示情報を取得し、前記加工された表示情報を含んだ像を投射する。
この形態の画像表示システムによれば、第三者(すなわちプロジェクターの利用者)の目から見た際の、頭部装着型表示装置の操作のための動作の不自然さを軽減することができる。
(21)本発明の一形態によれば、画像表示システムが提供される。この画像表示システムは;情報処理装置と;頭部装着型表示装置と、を備え;前記情報処理装置は;前記情報処理装置に接続された前記頭部装着型表示装置に配信するための配信情報を記憶する記憶部と;前記頭部装着型表示装置についての情報と、前記頭部装着型表示装置の利用者についての情報と、のうちの少なくともいずれか一方の情報に応じた前記配信情報を、前記頭部装着型表示装置に送信する制御部と、を備え;前記頭部装着型表示装置は;前記利用者に前記虚像を視認させる受信側画像表示部と;前記情報処理装置から、前記配信情報を取得する受信側取得部と;取得した前記配信情報を表す前記虚像を前記受信側画像表示部に形成させる受信側拡張現実感処理部と、を備える。
この形態の画像表示システムによれば、画像表示装置の利用者、または、情報処理装置を利用して第三者に情報提供を行う情報提供者における利便性を向上させることができる。
上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
例えば、本発明の一形態は、画像表示部と、加工部と、送信部と、の3つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、この装置は、加工部を有していてもよく、有していなくてもよい。また、この装置は、送信部を有していてもよく、有していなくてもよい。こうした装置は、例えば頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。例えば、本発明の一形態としての装置は、第三者の目から見た際の、頭部装着型表示装置の操作のための動作の不自然さを軽減することを課題としている。しかし、この装置には、他にも、装置の小型化、利便性の向上、装置製造の際の低コスト化、省資源化、製造の容易化、等が望まれている。
なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示装置を含むシステム、情報処理装置、情報処理装置の制御方法、情報処理装置を含むシステム、画像表示装置、画像表示装置の制御方法、画像表示装置を含むシステム、これらの方法、装置、システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを配布するためのサーバー装置、そのコンピュータープログラムを記憶した記憶媒体等の形態で実現することができる。
本発明の一実施形態における画像表示システムの概略構成を示す説明図である。 HMDの構成を機能的に示すブロック図である。 加工情報の一例を示す図である。 利用者に視認される虚像の一例を示す説明図である。 共有処理の手順を示すシーケンス図である。 共有処理が実行された結果を表す図である。 サーバーの構成を機能的に示すブロック図である。 第3のバリエーションにおける共有処理の手順を示すシーケンス図である。 利用者情報の一例を示す図である。 第2実施形態の画像表示システムの概略構成を示す説明図である。 第2実施形態における共有処理の手順を示すシーケンス図である。 第2実施形態における利用者情報の一例を示す図である。 サーバーの構成を機能的に示すブロック図である。 配信用情報の一例を示す図である。 第3実施形態における共有処理の手順を示すシーケンス図である。 第3実施形態の共有処理が実行された結果を表す図である。 第3実施形態の共有処理が実行された他の結果を表す図である。 加工情報の一例を示す図である。 レベル情報の一例を示す図である。 第4実施形態における共有処理の手順を示すシーケンス図である。 第4実施形態の共有処理が実行された結果を表す図である。 変形例におけるHMDの外観の構成を示す説明図である。
A.第1実施形態:
A−1.画像表示システムの構成:
図1は、本発明の一実施形態における画像表示システムの概略構成を示す説明図である。画像表示システム1は、頭部装着型表示装置100と、頭部装着型表示装置100xと、を備えている。頭部装着型表示装置100、100xは共に、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。HMD100、100xは共に、利用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のヘッドマウントディスプレイである。HMD100とHMD100xとは、図示しないアクセスポイント装置を介した無線通信によって接続されている。
本実施形態では、後述の共有処理を実施することによって、HMD100において虚像としてHMD100の利用者に表示されている情報(以降「表示情報」とも呼ぶ。)を、HMD100xに表示することで、HMD100xの利用者に視認させることができる。表示情報には、種々の情報を含むことができる。例えば、表示情報としては、以下に例示する情報a1〜a3を含みうる。
(a1)拡張現実感(AR、Augmented Reality)処理において表示される仮想オブジェクト。ここで、「拡張現実感処理」とは、現実世界に実在するオブジェクトである実オブジェクトに対して、HMD100により情報(仮想オブジェクト)を付加する処理である。実オブジェクトとは、任意の人、任意の動植物、任意の物(人工物、自然物等を含む)等を意味する。実オブジェクトは、利用者が関心を寄せている(例えば視線を向けている)オブジェクトである実関心オブジェクトと、利用者の関心外の(例えば視界に入っているものの視線を向けていない)オブジェクトである実背景オブジェクトとの両方を含みうる。「付加」とは、以下の全てを含む意味である。
・仮想オブジェクトを用いて実オブジェクトに情報を付加すること。
・仮想オブジェクトを用いて実オブジェクトを強調すること。
・実オブジェクトが持つ情報(色、形等)を、仮想オブジェクトを用いて削除および減衰させること。
・上述した、付加、強調、削除、減衰の任意の2つ以上の組み合わせ。
拡張現実感処理において、実オブジェクトと、実オブジェクトに付加的に表示される仮想オブジェクトとは、関連があってもよいし、なくてもよい。
(a2)HMD100において再生中のコンテンツに含まれる静止画、動画、テキスト文字列、音声。
(a3)HMD100において実行中のアプリケーションにより提供される静止画、動画、テキスト文字列、音声、振動。このように、本実施形態では「音声」や「振動」等といった「表示」という態様を採らない情報についても便宜的に「表示情報」と呼ぶ。
なお、以降の説明では、HMD100の利用者を「利用者」とも呼び、HMD100xの利用者を「第三者」とも呼ぶ。すなわち、本実施形態では、後述の共有処理を実施することによって、HMD100における表示情報を、第三者に開示することができる。
A−2.HMD100の構成:
A−2−1.画像表示部の構成:
図2は、HMD100の構成を機能的に示すブロック図である。以降、図1と図2を参照しつつ、HMD100の構成について説明する。画像表示部20は、利用者の頭部に装着される装着体であり、本実施形態では眼鏡形状である(図1)。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61と、視線検出部62と、マイク63と、9軸センサー66と、を備えている。以降、利用者が画像表示部20を装着した状態における、画像表示部20の各部の位置関係と機能について説明する。
図1に示すように、右光学像表示部26および左光学像表示部28は、利用者の右の眼前と、左の眼前とにそれぞれ位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、利用者の眉間に対応する位置で接続されている。図2に示すように、右光学像表示部26は、右導光板261と、図示しない調光板と、を備えている。右導光板261は、光透過性の樹脂材料等によって形成され、右表示駆動部22から出力された画像光を、所定の光路に沿って反射させつつ利用者の右眼REに導く。調光板は、薄板状の光学素子であり、画像表示部20の表側(利用者の眼の側とは反対の側)を覆うように配置されている。調光板は、導光板261を保護し、損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、利用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。調光板は省略してよい。左光学像表示部28は、左導光板262と、図示しない調光板とを備えている。詳細は右光学像表示部26と同様である。右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。光学像表示部は、画像光を用いて利用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いて実現されてもよいし、半透過反射膜を用いて実現されてもよい。
図1に示すように、右保持部21は、右光学像表示部26の他端ERから利用者の側頭部に対応する位置にかけて延伸して設けられている。左保持部23は、左光学像表示部28の他端ELから利用者の側頭部に対応する位置にかけて、延伸して設けられている。右保持部21および左保持部23は、眼鏡のテンプルのようにして、利用者の頭部に画像表示部20を保持する。
図1に示すように、右表示駆動部22は、右保持部21の内側(利用者の頭部に対向する側)に配置されている。左表示駆動部24は、左保持部23の内側に配置されている。図2に示すように、右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライト(BL)制御部201および右バックライト221と、表示素子として機能する右LCD(液晶ディスプレイ、Liquid Crystal Display)制御部211および右LCD241と、右投写光学系251とを備えている。左表示駆動部24は、受信部54と、光源として機能する左バックライト制御部202および左バックライト222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252とを備えている。左表示駆動部24が備える各部の詳細は、右表示駆動部22と同様である。右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼ぶ。
受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて右バックライト221を駆動する。右バックライト221は、例えばLED(Light Emitting Diode)やエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用の画像データーDataとに基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズである。
図1に示すように、カメラ61は、利用者の左右の目尻の上方に対応する位置にそれぞれ配置されているステレオカメラである。左右のカメラ61は、画像表示部20の表側方向、換言すれば、HMD100を装着した状態における利用者の視界方向の外景(外部の景色)をそれぞれ撮像し、左右に対応した2枚の外景画像を取得する。カメラ61はいわゆる可視光カメラであり、カメラ61により取得される外景画像は、物体から放射される可視光から物体の形状を表す画像である。本実施形態におけるカメラ61はステレオカメラであるが、単眼カメラとしてもよい。カメラ61は「画像取得部」として機能する。
図1に示すように、視線検出部62は、利用者の左右の目尻の下方に対応する位置にそれぞれ配置されている。左右の視線検出部62は、図示しない赤外線発光部と赤外線受光部とをそれぞれ備える。右側の視線検出部62は、赤外線発光部から射出されて、利用者の右眼に当たり反射した赤外線を受光する。制御部10のCPU140は、右側の視線検出部62が受光した赤外線の強さに基づいて、利用者の右眼の視線の動きを取得する。同様に、左側の視線検出部62は、赤外線発光部から射出されて、利用者の左眼に当たり反射した赤外線を受光する。CPU140は、左側の視線検出部62が受光した赤外線の強さに基づいて、利用者の左眼の視線を検出する。赤外線の反射率は、赤外線が虹彩(黒目)に当たった場合と、赤外線がまぶたに当たった場合と、赤外線が白目に当たった場合と、でそれぞれ異なる。このため、CPU140は、視線検出部62が受光した赤外線の強さによって、利用者の視線の動きを取得することができる。この場合、視線検出部62とCPU140とは、利用者の視線の方向を検出する「視線検出部」として機能する。本実施形態における視線検出部62は左右それぞれに設けられるとしたが、左右いずれか一方でもよい。
図1に示すように、マイク63は、利用者の鼻の上方に対応する位置に配置されているマイクである。マイク62は、外部の音声を取得する。「音声」とは、人の声のみでなく、機械音等を含む広義の音を意味する。
図1に示すように、9軸センサー66は、利用者の右側のこめかみに対応する位置に配置されている。9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が利用者の頭部に装着されているときには、ヘッドマウントディスプレイ100の利用者の頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。
図1に示すように、画像表示部20は、画像表示部20と制御部10とを接続するための接続部40を備えている。接続部40は、制御部10に接続される本体コード48と、本体コード48が分岐した右コード42および左コード44と、分岐点に設けられた連結部材46と、を含んでいる。連結部材46には、イヤホンプラグ30を接続するためのジャックが設けられている。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行う。接続部40の各コードには、例えば、金属ケーブルや光ファイバーを採用することができる。
A−2−2.制御部の構成:
制御部10はHMD100を制御するための装置である。図1に示すように、制御部10は、決定キー11と、点灯部12と、表示切替キー13と、トラックパッド14と、輝度切替キー15と、方向キー16と、メニューキー17と、電源スイッチ18と、を備えている。決定キー11は、押下操作を検出して、制御部10において操作された内容を決定するための信号を出力する。点灯部12は、例えばLEDによって実現され、HMD100の動作状態(例えば電源のON/OFF等)を発光状態によって通知する。表示切替キー13は、押下操作を検出して、例えばコンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。トラックパッド14は、トラックパッド14の操作面上における利用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式や圧力検出式、光学式といった種々の方式を採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源投入状態を切り替える。
図2に示すように、制御部10は、入力情報取得部110と、記憶部120と、電源130と、無線通信部132と、GPSモジュール134と、CPU140と、インターフェイス180と、送信部(Tx)51および52とを備え、各部は図示しないバスにより相互に接続されている。
入力情報取得部110は、決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、および、電源スイッチ18に対する操作入力に応じた信号を取得する。入力情報取得部110は、上記以外の種々の方法を用いた操作入力を取得することができる。例えば、カメラ61を用いて利用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、利用者の指先や、利用者の手に付けられた指輪や、利用者の手にする医療器具等を動き検出のための目印にすることができる。例えば、視線検出部62によって検出された利用者の視線や、目の動きに対応付けられたコマンドによる操作入力を取得してもよい。このコマンドは利用者によって追加可能に設定されていてもよい。例えば、マイク63によって取得された音声を音声認識することによる操作入力を取得してもよい。例えば、図示しないフットスイッチ(利用者の足により操作するスイッチ)による操作入力を取得してもよい。これらの方法による操作入力を取得可能とすれば、利用者が手を離すことが困難である作業においても、入力情報取得部110は、利用者からの操作入力を取得することができる。
記憶部120は、ROM、RAM、DRAM、ハードディスク等によって構成されている。記憶部120には、オペレーティングシステム(ОS)をはじめとする種々のコンピュータープログラムが格納されている。また、記憶部120には、加工情報122が予め記憶されている。
図3は、加工情報の一例を示す図である。加工情報122は、共有処理において、HMD100の利用者に表示されている情報(表示情報)を加工する際に使用される情報である。加工情報122には、情報の種類と、加工の方法と、が関連付けて記憶されている。「情報の種類」は、表示情報の種類を表す。「加工の方法」は、共有処理における表示情報の加工のための方法を表す。図3の例では、共有処理において、表示情報の種類が静止画像である場合は画像のフィルタリングを実施することがわかる(エントリーE01)。同様に、表示情報の種類が動画像である場合は解像度の変更を実施し(エントリーE02)、表示情報の種類がテキスト文字列である場合は代替テキストの埋め込みを実施し(エントリーE03)、表示情報の種類が仮想オブジェクトである場合は単色シルエット画像への置換を実施し(エントリーE04)、表示情報の種類が音声である場合は代替音声への置換を実施し(エントリーE05)、表示情報の種類が上述以外のものである場合は非表示とすることがわかる(エントリーE06)。
図2に示すように、電源130は、HMD100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。無線通信部132は、所定の無線通信規格に則って、外部装置(例えば、図1の例ではHMD100x)との間で無線通信を行う。所定の無線通信規格とは、例えば、赤外線、Bluetooth(登録商標)に例示される近距離無線通信、IEEE802.11に例示される無線LAN等である。GPSモジュール134は、GPS衛星からの信号を受信することにより、HMD100の利用者の現在位置を検出し、利用者の現在位置情報を表す現在位置情報を生成する。現在位置情報は、例えば緯度経度を表す座標によって実現することができる。
CPU140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、拡張現実感処理部142、取得部144、加工部146、送信部148、オペレーティングシステム(OS)150、画像処理部160、音声処理部170、表示制御部190として機能する。
拡張現実感処理部142は、拡張現実感処理を実行する。拡張現実感処理は、現実世界に実在する実オブジェクトに対して、仮想オブジェクトを付加して表示するための処理であり、以下の手順b1〜b6を含む。
(b1)外景画像の取得:
拡張現実感処理部142は、カメラ61により撮像された外景画像を取得する。
(b2)対象オブジェクトの特定:
拡張現実感処理部142は、手順b1で取得した外景画像に含まれる実オブジェクトの中から、仮想オブジェクトを付加する対象となる実オブジェクト(以降、「対象オブジェクト」とも呼ぶ。)を特定する。この特定のために、拡張現実感処理部142は、実オブジェクトを特定するための情報と仮想オブジェクトを特定するための情報とを対応付けたテーブルを利用してもよい。このテーブルは、予めHMD100の記憶部120に記憶されている。このテーブルは、カメラ61により撮影された外景画像を用いた画像認識によって拡張現実感処理部142が自動的に生成してもよい。また、HMD100の利用者によって生成または編集されてもよい。利用者による生成または編集にあたっては、ジェスチャーによる操作入力や、発声内容の音声認識による操作入力を利用してもよい。
(b3)対象オブジェクトの位置取得:
拡張現実感処理部142は、対象オブジェクトの位置を取得する。ここで、「位置」とは、利用者からの距離、および、利用者の視界内における水平方向および鉛直方向の位置を含む。この際、拡張現実感処理部142は、ステレオカメラであるカメラ61によって取得された2枚以上の外景画像を用いて、対象オブジェクトの位置を算出してもよい。また、拡張現実感処理部142は、カメラ61により取得された1枚以上の外景画像と、図示しない各種のセンサー(例えば、深度センサー、測距センサー等)とを併用して、対象オブジェクトの位置を算出してもよい。
(b4)仮想オブジェクトの取得:
拡張現実感処理部142は、仮想オブジェクトを表す画像、文字、図形記号等(例えば、ポインター、ショートカット、メニュー、ラジオボタン、選択ボタン、ソフトキーボード等)を取得または生成する。拡張現実感処理部142は、仮想オブジェクトを記憶部120に予め記憶していてもよいし、仮想オブジェクトをHMD100にネットワーク接続されている他の装置から取得してもよい。
(b5)仮想オブジェクトの配置:
拡張現実感処理部142は、手順b3で取得した対象オブジェクトの位置に合わせて、手順a4の仮想オブジェクトを配置した付加画像データーを生成する。この位置合わせの際、拡張現実感処理部142は、対象オブジェクトの特徴部(エッジ等)を利用してもよいし、対象オブジェクトに付されたマーカー等の目印を利用してもよい。位置合わせの際、拡張現実感処理部142は、予め記憶部120に記憶されている対象オブジェクトのモデル(または画像)を用いた画像認識を利用してもよく、利用者による指示に基づいてもよい。また、拡張現実感処理部142は、仮想オブジェクトを配置する際に、仮想オブジェクトに対して拡大、縮小、回転、色変換等の画像処理を施してもよい。
(b6)表示:
拡張現実感処理部142は、生成した画像データーに基づく画像を、画像処理部160へ送信し、画像表示部20の光学像表示部26、28に表示させる。
取得部144は、共有処理において、HMD100の利用者に表示されている情報(表示情報、情報a1〜a3)を取得する。加工部146は、共有処理において、加工情報122に基づき表示情報を加工する。送信部148は、共有処理において、加工された表示情報を、HMD100xへ送信し、HMD100xに表示させる。詳細は後述する。
画像処理部160は、画像表示のための信号処理を行う。具体的には、画像処理部160は、インターフェイス180や無線通信部132を介してコンテンツが入力されている場合、コンテンツに基づく画像データーDataを生成する。画像処理部160は、HMD100の他の機能部から画像データーを受信した場合、受信したデーターを画像データーDataとする。画像処理部160は、画像データーDataに対して、解像度変換処理、輝度や彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。画像処理部160は、上述の画像データーDataと、クロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、を、送信部51、52を介して、画像表示部20へ送信する。送信部51を介して送信される画像データーDataを「右眼用画像データーData1」とも呼び、送信部52を介して送信される画像データーDataを「左眼用画像データーData2」とも呼ぶ。
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、左右のLCD制御部211、212による左右のLCD241、242の駆動ON/OFFや、左右のバックライト制御部201、202による左右のバックライト221、222の駆動ON/OFFを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。表示制御部190は、これらの制御信号を、送信部51、52を介して画像表示部20へ送信する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン32の図示しないスピーカーと、左イヤホン34の図示しないスピーカーとに対して供給する。
インターフェイス180は、所定の有線通信規格に則って、外部装置OAとの間で通信を行う。所定の有線通信規格としては、例えば、MicroUSB(Universal Serial Bus)、USB、HDMI(High Definition Multimedia Interface、HDMIは登録商標)、DVI(Digital Visual Interface)、VGA(Video Graphics Array)、コンポジット、RS−232C(Recommended Standard 232)、IEEE802.3に例示される有線LAN等である。外部機器ОAとしては、例えば、パーソナルコンピューターPCや携帯電話端末、ゲーム端末等を利用することができる。
図4は、利用者に視認される虚像の一例を示す説明図である。図4(A)は、拡張現実感処理を実行していない場合の利用者の視野VRを例示している。上述のようにして、HMD100の利用者の両眼に導かれた画像光が利用者の網膜に結像することにより、利用者は虚像VIを視認する。図4(A)の例では、虚像VIは、HMD100のOS150の待ち受け画面である。利用者は、右光学像表示部26および左光学像表示部28を透過して外景SCを視認する。このように、本実施形態のHMD100の利用者は、視野VRのうち虚像VIが表示された部分については、虚像VIと、虚像VIの背後に外景SCとを見ることができる。また、視野VRのうち虚像VIが表示されていない部分については、光学像表示部を透過して、外景SCを直接見ることができる。
図4(B)は、拡張現実感処理を実行している場合の利用者の視野VRを例示している。拡張現実感処理部142が上述した拡張現実感処理を実行することによって、利用者は、仮想オブジェクトを含んだ虚像VIを視認する。図4(B)の例では、仮想オブジェクトVO1は、外景SCの現実世界の山(実オブジェクト)の近傍に表示された吹き出し形状の情報である。ここで、「近傍」とは、利用者に対して実オブジェクトと仮想オブジェクトとの間における関連性を想起させる程度の距離(例えば数センチ)を意味する。また、本実施形態の「近傍」には、実オブジェクトと仮想オブジェクトとの少なくとも一部分が重なっている場合も含む。仮想オブジェクトVO2は、外景SC内の現実世界の木(実オブジェクト)に重畳するように表示されたノート形状の情報である。仮想オブジェクトVO3は、外景SCの現実世界の道(実オブジェクト)の上に重畳するように配置されたリンゴの画像である。仮想オブジェクトVO4は、リンゴの画像、すなわち、仮想オブジェクトVO3の近傍に表示された吹き出し形状の情報である。このように、利用者は、虚像VIに含まれる仮想オブジェクトVO1〜VO4と、虚像VIの背後に透過して見える外景SC内の実オブジェクトと、の両方を見ることで、拡張現実感を体感することができる。
A−3.HMD100xの構成:
HMD100xの構成は、取得部144の動作が相違する点と、加工部146を備えない点と、送信部148を備えない点と、を除いては、図1および図2で説明したHMD100と同じである。以降では、区別のために、HMD100xの拡張現実感処理部142を「受信側拡張現実感処理部142」と呼び、取得部144を「受信側取得部144」と呼び、画像表示部20を「受信側画像表示部20」と呼ぶ。HMD100xは「画像表示装置」および「他の頭部装着型表示装置」として機能する。
A−4.共有処理:
図5は、共有処理の手順を示すシーケンス図である。第1実施形態の共有処理は、HMD100とHMD100xとが協働することによって実行される。共有処理の開始トリガーは任意に定めることができる。例えば、HMD100のOS150や特定のアプリケーションからの処理開始要求を開始トリガーとしてよい。
ステップS102においてHMD100の取得部144は、GPSモジュール134により取得された現在位置情報と、9軸センサー66により取得された向き情報と、を取得する。ステップS104において取得部144は、現在、HMD100において虚像VI(図4)として表示されている表示情報(例えば情報a1〜a3)を取得する。また、取得部144は、取得した表示情報を解析することで、表示情報の種類を取得する。表示情報の種類とは、静止画像、動画像、テキスト、仮想オブジェクト、音声、その他、である(図3)。ステップS104で取得される表示情報と表示情報の種類とは、複数組あってもよい。
ステップS106においてHMD100の加工部146は、表示情報を加工する。具体的には、加工部146は、ステップS104で取得された表示情報の種類をキーとして加工情報122を検索し、当該種類に対応付けられている加工の方法を取得する。取得した加工の方法に従って、ステップS104で取得された表示情報を加工する。加工された表示情報を「加工後情報」とも呼ぶ。
ステップS106の加工の際、加工部146は、表示情報における情報の詳細さ、明確さ等を低減させるような加工をすることが好ましい。例えば、画像のフィルタリングを実施(エントリーE01)する場合、加工部146は、表示情報にテクスチャを変える、ノイズを加える、モザイクを掛ける、ぼかしを加える、等の加工を施すことで、表示情報における情報の詳細さ、明確さ等を低減させるような加工を実現できる。解像度の変更を実施(エントリーE02)する場合、加工部146は、解像度を落とすことで、同様の加工を実現できる。代替テキストの埋め込みを実施(エントリーE03)する場合、加工部146は、代替テキストを「XXX」等の意味をなさない文字列とすることで、同様の加工を実現できる。代替音声への置換を実施(エントリーE05)する場合、加工部146は、代替音声を、意味をなさない音声とすることで、同様の加工を実現できる。
ステップS108においてHMD100の送信部148は、ステップS102で取得した現在位置情報と、向き情報と、加工後情報(以降まとめて「加工後情報等」とも呼ぶ。)と、をHMD100xへ送信する。この送信の際、送信部148は、ブロードキャスト送信を用いることができる。ブロードキャスト送信を利用すれば、送信部148は、ブロードキャスト範囲内の複数の画像表示装置(図1の例ではHMD100x)に対して、簡単かつ一括して、加工後情報等を送信することができる。また、ブロードキャスト送信を利用すれば、送信部148は、複数の画像表示装置の宛先、すなわち、ネットワークアドレスを知らなくてもよい。
ステップS110においてHMD100xの受信側取得部144は、加工後情報等を取得する。ステップS112において受信側拡張現実感処理部142は、外景画像を取得する。ステップS112は、拡張現実感処理の手順b1に相当する。ステップS114において受信側拡張現実感処理部142は、HMD100xのGPSモジュール134により取得された現在位置情報と、9軸センサー66により取得された向き情報と、を取得する。
ステップS116において受信側拡張現実感処理部142は、表示用画像を生成する。具体的には、受信側拡張現実感処理部142は、以下に沿って、上述した拡張現実感処理の手順b2〜b5を実行することで、表示用画像(付加画像データー)を生成することができる。
・受信側拡張現実感処理部142は、手順b2の対象オブジェクトを「HMD100の利用者」とする。
・受信側拡張現実感処理部142は、手順b3の対象オブジェクトの位置の取得の際、ステップS110で取得したHMD100の現在位置情報および向き情報と、ステップS114で取得したHMD100xの現在位置情報および向き情報と、を併用してもよい。
・受信側拡張現実感処理部142は、手順b4の仮想オブジェクトとして「ステップS110で取得した加工後情報」を用いる。
ステップS118においてHMD100xの受信側拡張現実感処理部142は、表示用画像(付加画像データー)を受信側画像表示部20に表示させる。ステップS118は、拡張現実感処理の手順b6に相当する。
図6は、共有処理が実行された結果を表す図である。HMD100において拡張現実感処理が実行された結果、HMD100の利用者UR1は、視野VR1において、リンゴの仮想オブジェクトVO1を表す虚像VI1を視認する。利用者UR1には、現実世界には実在しないリンゴVO1´が目前にあるような感覚を持つ。利用者UR1は、リンゴVO1´に対する操作(HMD100の制御部10への操作)のための動作をしようと、例えば手を前方に伸ばす。ここで、図5に示した共有処理が実行されることによって、HMD100からHMD100xに対して、リンゴの仮想オブジェクトVO1をシルエット化した加工後情報IMが送信される(図中矢印)。加工後情報IMを受信したHMD100xにおいて、共有処理のステップS110〜S118が実行された結果、HMD100xの利用者UR2(第三者)は、視野VR2において、リンゴの仮想オブジェクトVO1がシルエット化された仮想オブジェクトVO2を表す虚像VI2を視認する。また、第三者UR2は、右光学像表示部26および左光学像表示部28を透過して外景SC2内の利用者UR1を視認する。この結果、第三者は、利用者UR1が何を見ているかを察することができ、利用者UR1が何をしようとしているかを察することができる。
以上のように、第1実施形態の共有処理によれば、HMD100の送信部148は、虚像VI1として利用者UR1に表示されている情報である表示情報(仮想オブジェクトVO1)を、頭部装着型表示装置(HMD100)に接続された画像表示装置(HMD100x)に送信する。表示情報を受信した画像表示装置において、表示された表示情報を見た第三者(利用者UR2)は、頭部装着型表示装置の利用者UR1が何を見ているかを察することができる。この結果、頭部装着型表示装置の利用者UR1が、頭部装着型表示装置を操作するための動作(例えば、ジェスチャーや発声等)を行ったとしても、第三者UR2の目に不自然に映りづらい。すなわち、第三者UR2の目から見た際の、頭部装着型表示装置の操作のための動作の不自然さを軽減することができる。さらに、HMD100の送信部148が画像表示装置に送信し、表示させる表示情報は、加工された表示情報(加工後情報、仮想オブジェクトVO1がシルエット化された仮想オブジェクトVO2)である。このため、例えば表示情報における情報の詳細さ、明確さ等を低減させるような加工を施すことによって、送信部148は、そのままの表示情報を画像表示装置に送信し、表示させる場合と比較して、表示情報を第三者に開示することに伴うセキュリティーを向上させることができる。
さらに、上記実施形態の共有処理(ステップS106)によれば、HMD100の加工部146は、表示情報(例えば、静止画像、動画像、テキスト、仮想オブジェクト、音声、その他)の種類に応じて、加工の方法を変更する。このため、加工部146は、情報の種類ごとに最適な加工方法を採用することもでき、情報の種類ごとに第三者への開示の程度を変更することもできる。
さらに、上記実施形態の共有処理によれば、表示情報を第三者UR2に開示するための画像表示装置を、頭部装着型表示装置(HMD100x)として構成することができる。また、共有処理のステップS116によれば、受信側拡張現実感処理部142は、第三者UR2の視界内において、頭部装着型表示装置(HMD100)の利用者UR1の近傍に表示情報VO2を視認させる。このため第三者UR2は、より直感的に、頭部装着型表示装置の利用者UR1と、当該利用者が見ている情報と、を結びつけて理解することができる。
A−5.共有処理のバリエーション:
上述した共有処理には、次に列挙するバリエーションを採用することができる。バリエーションは、単独で採用されてもよいし、組み合わせて採用されてもよい。
A−5−1.第1のバリエーション:
第1のバリエーションでは、加工部146が、表示情報の種類に代えて、HMD100xの利用者(第三者)の権限に応じて、表示情報の加工の方法を変更する。以降では、第1実施形態と異なる構成および動作についてのみ説明する。以降説明しない構成および動作は、第1実施形態と同じである。
HMD100は、加工情報122に代えて加工情報122aを備える。加工情報122aには、ユーザー識別情報と、加工の方法と、が関連付けて記憶されている。「ユーザー識別情報」は、HMD100に接続されている1つまたは複数の画像表示装置(図1の例ではHMD100x)の利用者を一意に識別するための情報である。この結果、加工情報122aには、例えば、ユーザー識別情報「AAA」の場合は、共有処理において画像のフィルタリングを実施し、ユーザー識別情報「BBB」の場合は、共有処理において単色シルエット画像への置換を実施する、というような情報が記憶される。なお、ユーザー識別情報としては、ユーザーIDのような利用者に個々に付された情報のほか、利用者の職業のような、複数の利用者からなる利用者グループを識別するための情報が使用されてもよい。ユーザー識別情報としては、利用者の現在位置のような、利用者の現在いる場所を表す情報が使用されてもよい。
共有処理(図5)のステップS104が終了した後、HMD100の取得部144は、HMD100xからユーザー識別情報を取得する。ステップS106においてHMD100の加工部146は、取得したユーザー識別情報をキーとして加工情報122aを検索し、検索結果に応じた加工の方法を用いて、表示情報を加工する。
このように、第1のバリエーションによれば、HMD100の加工部146は、画像表示装置(HMD100x)の利用者(すなわち第三者)の権限に応じて加工の方法を変更する。このため、加工部146は、当該権限のレベルに応じて画像表示装置の利用者への開示の程度を変更することができる。例えば、加工情報122aにおいて予め、親しい第三者に対しては、表示情報における情報の詳細さ、明確さ等を大幅に低減させる加工方法を指定し、親しくない第三者に対しては、表示情報における情報の詳細さ、明確さ等をわずかに低減させる加工方法を指定しておけば、HMD100の利用者のプライバシーを守り、かつ、使い勝手を向上させることができる。
なお、加工部146は、表示情報の種類と、ユーザー識別情報と、の組み合わせに応じて加工の方法を変更してもよい。この場合、加工情報122aに対して、表示情報の種類と、ユーザー識別情報と、加工の方法と、を関連付けて記憶しておく。加工部146は、加工の方法を決定する際に、表示情報の種類と、ユーザー識別情報と、の両方をキーとして加工情報122aを検索すればよい。
A−5−2.第2のバリエーション:
第2のバリエーションでは、加工部146は、表示情報の種類と、HMD100xの利用者(第三者)の権限と、のどちらも利用せずに、表示情報の加工の方法を変更する。以降では、第1実施形態と異なる構成および動作についてのみ説明する。以降説明しない構成および動作は、第1実施形態と同じである。
HMD100は、加工情報122に代えて加工情報122bを備える。加工情報122bには、レベル設定値と、加工の方法と、が関連付けて記憶されている。「レベル設定値」は、加工後情報のセキュリティーレベルを指定するための数値、文字列等である。すなわち、レベル設定値が高いほど、加工による表示情報における情報の詳細さ、明確さ等が大幅に低減されることを意味する。この結果、加工情報122bには、例えば、レベル設定値「高」の場合は、共有処理において単色シルエット画像への置換を実施し、レベル設定値「中」の場合は、共有処理において画像のフィルタリングを実施し、レベル設定値「低」の場合は、共有処理において解像度の変換を実施する、というような情報が記憶される。
共有処理(図5)のステップS106においてHMD100の加工部146は、利用者からのレベル設定値の指定に基づいた加工の方法を用いて、表示情報を加工する。利用者からのレベル設定値の指定は、共有処理の中で取得してもよいし、予め記憶部120等に記憶されていてもよい。
このように、第2のバリエーションによれば、HMD100の加工部146は、加工後情報のセキュリティーレベルの指定だけで、簡単に、表示情報における情報の詳細さ、明確さ等を低減させるような加工を施すことができる。第2のバリエーションによれば、表示情報の種類やHMD100xの利用者(第三者)の権限を用いた照合を省略することができるため、共有処理の処理内容を簡略化できる。
A−5−3.第3のバリエーション:
第3のバリエーションでは、ネットワークを介して接続されている情報処理装置を利用して、共有処理を実行する。以降では、第1実施形態と異なる構成および動作についてのみ説明する。以降説明しない構成および動作は、第1実施形態と同じである。
第3のバリエーションにおいて、画像表示システム1は、HMD100と、HMD100xとに加えてさらに、サーバー300を添えている。HMD100とHMD100xとは、図示しない通信キャリアを介して無線通信でインターネットに接続されている。サーバー300は、有線または無線通信でインターネットに接続されている。この結果、HMD100とサーバー300、および、HMD100xとサーバー300は、互いにインターネットによって接続される。
図7は、サーバー300の構成を機能的に示すブロック図である。サーバー300は、CPU310と、記憶部320と、ROM330と、RAM340と、通信インターフェイス(I/F)350と、を備え、各部は図示しないバスにより相互に接続されている。
CPU310は、記憶部320やROM330に格納されているコンピュータープログラムをRAM340に展開して実行することにより、サーバー300の各部を制御する。そのほか、CPU310は、取得部314、加工部316、送信部318としても機能する。取得部318は、共有処理において、HMD100から、HMD100の利用者に表示されている情報(表示情報、情報a1〜a3)を取得する。加工部146は、共有処理において、加工情報322に基づき表示情報を加工する。送信部348は、共有処理において、加工された表示情報を、HMD100xへ送信し、HMD100xに表示させる。
記憶部320は、ROM、RAM、DRAM、ハードディスク等によって構成されている。記憶部320には、オペレーティングシステム(ОS)をはじめとする種々のコンピュータープログラムが格納されている。また、記憶部320には、加工情報322と、利用者情報324と、が記憶されている。加工情報322の内容は、図3に示した加工情報122と同じである。利用者情報324は、共有処理において、サーバー300が複数のHMD100からそれぞれ取得した表示情報等を記憶するための記憶部である。詳細は後述する。
図8は、第3のバリエーションにおける共有処理の手順を示すシーケンス図である。図5に示した第1実施形態との違いは、ステップS106、S108に代えて、ステップS202〜S214を備える点である。
ステップS202においてHMD100の送信部148は、サーバー300に対して記憶要求を送信する。記憶要求には、HMD100の利用者を一意に識別するためのユーザー識別情報と、ステップS102で取得された現在位置情報および向き情報と、ステップS104で取得された表示情報および表示情報の種類と、が含まれている。ステップS102で取得された現在位置情報は「第1の現在位置情報」として機能する。
図9は、利用者情報324の一例を示す図である。図8のステップS204においてサーバー300の取得部314は、記憶要求に含まれる表示情報等を取得し、利用者情報324に記憶させる。この結果、利用者情報324には、HMD100から取得した記憶要求に基づく1つのエントリー、例えば、ユーザー識別情報「CCC」、現在位置情報「XXXXX」、向き情報「XXXXX」、表示情報「XXXXX」、表示情報の種類「仮想オブジェクト」であることを表すエントリーE03が追加される。なお、「X」は任意のデーターを表す。このように、サーバー300の利用者情報324には、複数のHMD100から取得した表示情報等を蓄積しておくことができる。
図8のステップS206においてHMD100xの受信側拡張現実感処理部142は、HMD100xのGPSモジュール134により取得された現在位置情報と、9軸センサー66により取得された向き情報と、を取得する。ステップS208において受信側拡張現実感処理部142は、サーバー300に対して取得要求を送信する。取得要求には、ステップS206で取得された現在位置情報および向き情報が含まれている。ステップS206で取得された現在位置情報は「第2の現在位置情報」として機能する。
ステップS210においてサーバー300の送信部318は、取得要求の送信元であるHMD100xの所定範囲内の利用者情報を検索する。具体的には、送信部318は、取得要求に含まれるHMD100xの現在位置情報と、利用者情報324(図9)の現在位置情報と、を比較することで、HMD100xの所定範囲内に存在するHMD100から取得されたエントリーを検索する。ステップS212においてサーバー300の加工部316は、ステップS210で検索されたエントリーに含まれる表示情報を、ステップS210で検索されたエントリーに含まれる表示情報の種類に応じた加工の方法により加工する。詳細は図5のステップS106と同様である。ステップS214においてサーバー300の送信部318は、加工後情報を含む応答をHMD100xへ送信する。
応答を受信した後、HMD100xでは、図5のステップS110〜S118で説明した処理と同様の処理が実行される。
このように、第3のバリエーションによれば、上記第1実施形態と同様の効果を得ることができる。すなわち、サーバー300の送信部318は、虚像として頭部装着型表示装置(HMD100)の利用者に表示されている情報である表示情報を、情報処理装置(サーバー300)に接続された画像表示装置(HMD100x)に送信する。表示情報を受信した画像表示装置において、表示された表示情報を見た第三者は、頭部装着型表示装置の利用者が何を見ているかを察することができる。この結果、頭部装着型表示装置の利用者が、頭部装着型表示装置を操作するための動作(例えば、ジェスチャーや発声等)を行ったとしても、第三者の目に不自然に映りづらい。すなわち、第三者の目から見た際の、頭部装着型表示装置の操作のための動作の不自然さを軽減することができる。さらに、サーバー300の送信部318が画像表示装置に送信し、表示させる表示情報は、加工された表示情報である。このため、例えば表示情報における情報の詳細さ、明確さ等を低減させるような加工を施すことによって、送信部は、そのままの表示情報を画像表示装置に送信し、表示させる場合と比較して、表示情報を第三者に開示することに伴うセキュリティーを向上させることができる。
さらに、第3のバリエーションによれば、HMD100に代わってサーバー300が主体となって共有処理を実行することができるため、HMD100における処理負荷を低減することができる。
さらに、第3のバリエーションによれば、サーバー300の送信部318は、HMD100の現在位置情報(第1の現在位置情報)と、HMD100xの現在位置情報(第2の現在位置情報)とを用いて、自動的に、画像表示装置(HMD100x)の所定範囲内に存在する頭部装着型表示装置(HMD100)における表示情報、換言すれば、画像表示装置の近傍に存在する頭部装着型表示装置における表示情報を、画像表示装置に表示させることができる。
B.第2実施形態:
B−1.画像表示システムの構成:
本発明の第2実施形態では、異なるロケーション(場所)に位置する頭部装着型表示装置と画像表示装置との間で、表示情報を共有する構成について説明する。以下では、第1実施形態の第3のバリエーション(図7〜図9)と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第1実施形態の第3のバリエーションと同様の構成および動作は先に説明した第3のバリエーションと同様の符号を付し、その詳細な説明を省略する。すなわち、以下に説明しない構成および動作は、上述した第3のバリエーションと同じである。
図10は、第2実施形態の画像表示システムの概略構成を示す説明図である。画像表示システム1aは、HMD100aと、サーバー300aと、カメラ400と、プロジェクター500と、スクリーン550と、通信キャリアBS1と、通信キャリアBS2と、を備えている。HMD100aと、カメラ400と、通信キャリアBS1とは、第1のロケーションに配置されている。プロジェクター500と、スクリーン550と、通信キャリアBS2とは、第2のロケーションに配置されている。第1のロケーションと、第2のロケーションとは、例えば異なる部屋、異なる建物等、相互に、直接内部の様子が目視できない位置にある。
カメラ400は、第1のロケーションの全体を撮像することが可能な位置に配置されている。カメラ400により取得される画像は、物体から放射される可視光から物体の形状を表す画像である。カメラ400により取得された画像は「場面の画像」として機能する。プロジェクター500は、通信キャリアBS2を介して受信した画像(画像データー)に基づく像をスクリーン550に投射する。プロジェクター500およびスクリーン550は「画像表示装置」として機能する。
HMD100aおよびカメラ400は、通信キャリアBS1を介して無線通信でインターネットINTに接続されている。プロジェクター500は、通信キャリアBS2を介して無線通信でインターネットINTに接続されている。この結果、HMD100aとサーバー300a、および、プロジェクター500とサーバー300aは、互いにインターネットINTによって接続される。通信キャリアBS1、2は、送受信アンテナや、無線基地局、交換局を含む。
B−2.HMD100aの構成:
HMD100aの構成は、第1実施形態の第3のバリエーションとほぼ同様である。ただし、第2実施形態のHMD100aは、共有処理において送信部148が送信する記憶要求の内容が、図8に示した第3のバリエーションと相違する。
B−3.サーバー300aの構成:
サーバー300aの構成は、第1実施形態の第3のバリエーションとほぼ同様である。ただし、第2実施形態のサーバー300aは、利用者情報324に代えて利用者情報324aを備える点と、共有処理における取得部314と、加工部316と、送信部318との処理内容が、図8に示した第3のバリエーションと相違する。
B−4.共有処理:
図11は、第2実施形態における共有処理の手順を示すシーケンス図である。ステップS302においてカメラ400は、第1のロケーションの全体を撮像する。ステップS304においてカメラ400は、サーバー300aに対して記憶要求を送信する。記憶要求には、第1のロケーションを一意に識別するためのロケーション識別情報と、ステップS302で撮像した場面の画像と、が含まれている。
ステップS306においてサーバー300aの取得部314は、カメラ400からの記憶要求に含まれる場面の画像等を取得し、記憶部320内に一時的に記憶させる。
ステップS308においてHMD100aの取得部144は、GPSモジュール134により取得された現在位置情報と、9軸センサー66により取得された向き情報と、を取得する。ステップS310において取得部144は、現在、HMD100aにおいて虚像として表示されている表示情報(例えば情報a1〜a3)を取得する。ステップS312において送信部148は、サーバー300aに対して記憶要求を送信する。記憶要求には、第1のロケーションを一意に識別するためのロケーション識別情報と、ステップS308で取得された現在位置情報および向き情報と、ステップS310で取得された表示情報および表示情報の種類と、が含まれている。
図12は、第2実施形態における利用者情報324aの一例を示す図である。図11のステップS314においてサーバー300aの取得部314は、カメラ400からの記憶要求に含まれる場面の画像等と、HMD100aからの記憶要求に含まれる表示情報等と、を取得し、利用者情報324aに記憶させる。この結果、利用者情報324aには、カメラ400とHMD100aとから取得した記憶要求に基づく1つのエントリー(例えば、エントリーE03)が追加される。このように、第2実施形態のサーバー300aにおいても、複数のHMD100aから取得した表示情報等を蓄積しておくことができる。
図11のステップS316においてプロジェクター500は、サーバー300aに対して取得要求を送信する。取得要求には、プロジェクター500が表示情報を共有しようとする頭部装着型表示装置(図10の例ではHMD100a)が位置するロケーション(第1のロケーション)を指定するためのロケーション識別情報が含まれている。
ステップS318においてサーバー300aの送信部318は、取得要求で指定されたロケーション識別情報を持つ利用者情報を検索する。具体的には、送信部318は、取得要求に含まれるロケーション識別情報をキーとして利用者情報324a(図12)を検索する。ステップS320においてサーバー300aの加工部316は、ステップS318で検索されたエントリーに含まれる表示情報を、ステップS318で検索されたエントリーに含まれる表示情報の種類に応じた加工の方法により加工する。詳細は図5のステップS106と同様である。
ステップS320においてサーバー300aの加工部316は、さらに、加工後情報を、ステップS318で検索されたエントリーに含まれる場面の画像と合成する。具体的には、加工部316は、以下に沿って、上述した拡張現実感処理の手順b2〜b5を実行することで、合成画像(付加画像データー)を生成することができる。
・加工部316は、ステップS318で検索されたエントリーに含まれる場面の画像を手順b1の「外景画像」として利用する。
・加工部316は、手順b2の対象オブジェクトを「HMD100aの利用者」とする。
・加工部316は、手順b3の対象オブジェクトの位置の取得の際、ステップS318で検索されたエントリーに含まれるHMD100aの現在位置情報および向き情報を併用してもよい。
・加工部316は、手順b4の仮想オブジェクトとして「加工後情報」を用いる。
ステップS322においてサーバー300aの送信部318は、合成画像を含む応答をプロジェクター500へ送信する。ステップS324、S326においてプロジェクター500は、受信した合成画像をスクリーン550へ投射する。
以上説明した第2実施形態の共有処理が実行された結果、図10に示すように、プロジェクター500の利用者UR2(第三者)は、HMD100aの利用者UR1と、リンゴの仮想オブジェクトVO1がシルエット化された仮想オブジェクトVO2と、が含まれる合成画像をスクリーン550に投射された像として視認することができる。この結果、第三者は、例えば異なる部屋、異なる建物等、相互に、直接内部の様子が目視できない位置にあるロケーションにおいても、利用者UR1が何を見ているかを察することができ、利用者UR1が何をしようとしているかを察することができる。
以上のように、第2実施形態の共有処理によれば、サーバー300aの送信部318は、虚像VI1として頭部装着型表示装置(HMD100a)の利用者UR1に表示されている情報である表示情報を、情報処理装置(サーバー300a)に接続された画像表示装置(プロジェクター500およびスクリーン550)に送信する。表示情報を受信した画像表示装置において、表示された表示情報を見た第三者UR2は、頭部装着型表示装置の利用者UR1が何を見ているかを察することができる。この結果、頭部装着型表示装置の利用者UR1が、頭部装着型表示装置を操作するための動作(例えば、ジェスチャーや発声等)を行ったとしても、第三者UR2の目に不自然に映りづらい。すなわち、第三者の目から見た際の、頭部装着型表示装置の操作のための動作の不自然さを軽減することができる。さらに、サーバー300aの送信部318が画像表示装置に送信し、表示させる表示情報は、加工された表示情報である。このため、例えば表示情報における情報の詳細さ、明確さ等を低減させるような加工を施すことによって、送信部318は、そのままの表示情報を画像表示装置に送信し、表示させる場合と比較して、表示情報を第三者に開示することに伴うセキュリティーを向上させることができる。
さらに、第2実施形態の共有処理によれば、サーバー300aの送信部318は、頭部装着型表示装置(HMD100a)の利用者UR1を含む場面の画像と合成された表示情報を、画像表示装置(プロジェクター500およびスクリーン550)に送信し、表示させる。このため、表示情報を第三者UR2に開示するための画像表示装置が、例えばプロジェクターやスマートフォン等である場合において、第三者UR2は、より直感的に、頭部装着型表示装置の利用者UR1と、当該利用者が見ている情報と、を結びつけて理解することができる。
B−5.共有処理のバリエーション:
第2実施形態の共有処理においても、第1実施形態で説明した第1のバリエーションと、第2のバリエーションとを採用することができる。第1、2のバリエーションは、単独で採用されてもよいし、組み合わせて採用されてもよい。
C.第3実施形態:
C−1.画像表示システムの構成:
本発明の第3実施形態では、画像表示装置間で表示態様の異なる情報を共有する構成について説明する。以下では、第1実施形態の第3のバリエーション(図7〜図9)と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第1実施形態の第3のバリエーションと同様の構成および動作を有するものには先に説明した第3のバリエーションと同様の符号を付し、その詳細な説明を省略する。すなわち、以下に説明しない構成および動作は、上述した第3のバリエーションと同じである。
第3実施形態の画像表示システムは、HMD100xと、サーバー300bと、通信キャリアとを備えている。なお、本実施形態の画像表示システムは、HMD100は備えていない。HMD100xとサーバー300bとは、通信キャリアを介してインターネットに接続されている。この結果、HMD100xとサーバー300bとは、互いにインターネットによって接続される。通信キャリアは、送受信アンテナ、無線通信局、交換局を含む。
C−2.HMD100xの構成:
HMD100xの構成は、第1実施形態の第3のバリエーションとほぼ同様である。ただし、第3実施形態のHMD100xは、共有処理における受信側拡張現実感処理部142の処理内容が、図8に示した第3のバリエーションと相違する。
C−3.サーバー300bの構成:
図13は、サーバー300bの構成を機能的に示すブロック図である。図7に示した第3のバリエーションと相違する点は、取得部314と、加工部316と、送信部318とに代えて、制御部319を備える点と、加工情報322と、利用者情報324とに代えて、配信用情報326を備える点、である。制御部319は、共有処理において、HMD100xに表示させるための情報を配信する。
図14は、配信用情報326の一例を示す図である。配信用情報326は、共有処理において、サーバー300bが情報を配信するために用いられる情報である。配信用情報326には、配信条件と、位置情報と、向き情報と、配信情報と、情報の種類と、実オブジェクト条件と、が関連付けて記憶されている。
「配信条件」は、サーバー300bが情報を配信すべきHMD100xの利用者についての情報、または、HMD100xそのものについての情報を用いた条件である。配信条件には、例えば、利用者についての情報を用いた条件として、性別、年齢、役職、嗜好等が格納され得る。また、配信条件には、例えば、利用者が使用しているHMD100xについての情報を用いた条件として、HMD100xの表示性能(例えば、アスペクト比、解像度、γ特性等)HMD100xの機種、型番、性能、インストールされているアプリケーション、OSのバージョンを特定するための情報等が格納され得る。「位置情報」は、サーバー300bが情報を配信すべきHMD100xの現在位置情報である。位置情報には、例えば、対象となる現在位置情報が範囲で指定され得る。「向き情報」は、サーバー300bが情報を配信すべきHMD100xの向き情報である。向き情報には、例えば、対象となる向き情報が範囲で指定され得る。「配信情報」は、サーバー300bがHMD100xに配信する情報である。配信情報には、各種形式(静止画像、動画像、テキスト、仮想オブジェクト、音声、その他)の情報が格納され得る。「情報の種類」は、配信情報の種類である。「実オブジェクト条件」は、配信情報(仮想オブジェクト)を重畳させる対象となる特定の実オブジェクトである。
サーバー300bは、配信条件と位置情報と向き情報とをキーとして、HMD100xに配信すべき配信情報を検索する。なお、位置情報と向き情報とはNULL値でもよい。NULL値である場合、後述の共有処理において、全ての位置、向きが配信情報の送信対象となる。また、実オブジェクト条件はNULL値でもよい。NULL値である場合、HMD100xの受信側拡張現実感処理部142は、デフォルト位置(例えば中央等)に配信情報を表示させる。詳細は後述する。図14の例では、HMD100xの利用者の性別が男性であり、かつ、特定の現在位置、特定の向きである場合、エントリーE01に格納されている配信情報が配信されることがわかる。同様に、HMD100xの利用者の性別が女性であり、かつ、特定の現在位置、特定の向きである場合、エントリーE02に格納されている配信情報が配信されることがわかる。なお、配信条件には、複数の条件(例えば、男性かつ30代等)が格納されてもよい。
C−4.共有処理:
図15は、第3実施形態における共有処理の手順を示すシーケンス図である。ステップS402においてサーバー300bの制御部319は、予め定められている特定の通信キャリアから、性別の情報取得要求をブロードキャスト送信する。すると、特定の通信キャリアからの電波を受信できる範囲内に位置するHMD100xは、サーバー300bからの性別の情報取得要求を受信することができる。情報取得要求を受信したHMD100xの受信側取得部144は、ステップS403において、記憶部120に記憶されている利用者の情報を検索し、利用者の性別を取得する。ステップS404において受信側取得部144は、利用者の性別を含む応答をサーバー300bへ送信する。
このように、特定の通信キャリアから情報取得要求をブロードキャスト送信することで、サーバー300bは、特定の場所(すなわち、特定の通信キャリアからの通信可能範囲内、無線通信であれば電波到達範囲内)に位置するHMD100xとの間に限って、以降のシーケンスを開始することができる。また、ブロードキャスト送信を利用すれば、サーバー300bは、HMD100xの宛先、すなわち、ネットワークアドレスを知らなくてもよい。
複数の条件を取得したい場合、サーバー300bの制御部319は、ステップS402〜S404を複数回繰り返せばよい。例えば、性別と年齢を取得したい場合、制御部319は、ステップS404のHMD100xの応答(性別)を得た後に、当該HMD100xに対して年齢の情報取得要求を再び送信(ステップS402)すればよい。2度目以降の情報取得要求の送信は、ブロードキャストでもよく、応答があったHMD100xに対するユニキャストでもよい。また、HMD100xは、サーバー300bから受信した情報取得要求のうちの一部または全部について、応答を拒否してもよい。HMD100xが応答する情報取得要求と拒否する情報取得要求との設定(例えば、性別、年齢については応答し、嗜好については応答しない等)は、利用者によって予め設定され、記憶部120に記憶されていてもよい。
ステップS406においてサーバー300bの制御部319は、応答があったHMD100xに対して、位置情報取得要求をユニキャスト送信する。位置情報取得要求を受信したHMD100xの受信側取得部144は、ステップS408において、GPSモジュール134により取得された現在位置情報と、9軸センサー66により取得された向き情報と、を取得する。ステップS410において受信側取得部144は、現在位置情報と向き情報とを含む応答をサーバー300bへ送信する。
ステップS412においてサーバー300bの制御部319は、配信用情報326から配信情報を取得する。具体的には、制御部319は、ステップS404およびS410で取得した条件と、現在位置情報と、向き情報とをキーとして配信用情報326を検索し、一致するエントリーの配信情報と、配信情報を重畳させる対象となる実オブジェクト条件と、を取得する。なお、制御部319は、ステップS402〜S404を繰り返して複数の条件を取得した場合、当該複数の条件の各々に一致する、複数の配信情報と実オブジェクト条件との組を全て取得する。ステップS414において制御部319は、ステップS412で取得した全ての配信情報と実オブジェクト条件との組を、HMD100xへ送信する。
配信情報を受信した後、HMD100xでは、図5のステップS110〜S118で説明した処理と同様の処理が実行される。この際、以下の読み替えを実施する。
・受信側拡張現実感処理部142は、手順b2の対象オブジェクトを、「ステップS414で取得した実オブジェクト条件に基づく実オブジェクト」とする。
・受信側拡張現実感処理部142は、手順b4の仮想オブジェクトとして「ステップS414で取得した配信情報」を用いる。
図16は、第3実施形態の共有処理が実行された結果を表す図である。この例では、配信条件を性別とし、位置情報を看板800から所定範囲内とし、向き情報を看板800の方向とし、実オブジェクト条件を看板800とする。HMD100xaにおいて共有処理および拡張現実感処理が実行された結果、HMD100xaの利用者UR1(男性)は、視野VI1において、特定の実オブジェクトである看板800に重畳された、右方向を向いた矢印の仮想オブジェクトVO1を表す虚像VI1を視認することができる。一方、HMD100xbにおいて共有処理および拡張現実感処理が実行された結果、HMD100xbの利用者UR2(女性)は、視野VR2において、特定の実オブジェクトである看板800に重畳された、左方向を向いた矢印の仮想オブジェクトVO2を表す虚像VI2を視認することができる。
図17は、第3実施形態の共有処理が実行された他の結果を表す図である。この例では、配信条件を性別とし、位置情報を車内とし、向き情報を前方(利用者が乗っている乗り物の進行方向)とし、実オブジェクト条件はNULL値とする。HMD100xaにおいて共有処理および拡張現実感処理が実行された結果、HMD100xaの利用者UR1(男性)は、視野VI1において、デフォルト位置(例えば中央)に配置された女性ガイドの仮想オブジェクトVO1を表す虚像VI1を視認することができる。一方、HMD100xbにおいて共有処理および拡張現実感処理が実行された結果、HMD100xbの利用者UR2(女性)は、デフォルト位置に配置された男性ガイドの仮想オブジェクトVO2を表す虚像VI2を視認することができる。
以上のように、第3実施形態の共有処理によれば、制御部319は、記憶部320の配信用情報326に予め用意された配信情報を用いて、画像表示装置(HMD100x)についての情報と、画像表示装置の利用者についての情報と、のうちの少なくともいずれか一方に応じた配信情報を画像表示装置へ送信する。例えば、配信条件として画像表示装置の表示性能を採用すれば、制御部319は、画像表示装置の表示性能に適した大きさ、縦横比、透過率、色味等を持つ配信情報を配信用情報326から選択して、画像表示装置へ送信することができる。配信情報を受信した画像表示装置において配信情報が表示されることにより、画像表示装置の利用者は、画像表示装置そのものについての情報、または、自身についての情報に応じた個別の配信情報を視認することができる。すなわち、各画像表示装置の利用者は、同じ場所で同じ外景を見ていても、それぞれ異なる配信情報を視認することができる。この結果、本形態の情報処理装置(サーバー300b)によれば、利用者または情報処理装置を利用した情報提供者における利便性を向上させることができる。
また、上記実施形態の共有処理(ステップS402)によれば、制御部319は、特定の通信キャリアから情報取得要求をブロードキャスト送信するため、特定の場所(すなわち、特定の通信キャリアからの通信可能範囲内)に位置する画像表示装置(HMD100x)との間に限って、配信情報の送信を実施することができる。さらに、制御部319は、情報取得要求の送信と、情報取得要求に対する応答の受信と、を繰り返すことによって、画像表示装置についての情報と、画像表示装置の利用者についての情報とを、逐次的に取得することができる。このため、制御部319は、これらの情報を一度に取得する場合と比較して、通信内容が漏洩した場合における情報漏洩のリスクを低減することができる。また、本形態の情報処理装置(サーバー300b)によれば、情報処理装置と画像表示装置との間においてやり取りされる一回あたりの情報の量を低減することができるため、情報処理装置および画像表示装置にかかる処理負荷を低減することができる。
D.第4実施形態:
D−1.画像表示システムの構成:
本発明の第4実施形態では、第3実施形態と同様に画像表示装置間で表示態様の異なる情報を共有しつつ、かつ、セキュリティーレベルに応じて表示態様を変更する構成について説明する。以下では、第3実施形態(図13〜図17)と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第3実施形態と同様の構成および動作を有するものには先に説明した第3実施形態と同様の符号を付し、その詳細な説明を省略する。すなわち、以下に説明しない構成および動作は、上述した第3実施形態と同じである。第4実施形態の画像表示システムは、サーバー300bに代えてサーバー300cを備える点のみ、第3実施形態と相違する。
D−2.HMD100xの構成:
HMD100xの構成は、第3実施形態とほぼ同様である。ただし、第4実施形態のHMD100xは、共有処理における受信側拡張現実感処理部142の処理内容が、図15に示した第3実施形態と相違する。
D−3.サーバー300cの構成:
サーバー300cの構成は、図13に示した第3実施形態とほぼ同様である。ただし、サーバー300cは、共有処理における制御部319の処理内容が一部相違する。また、サーバー300cの記憶部300には、第3実施形態(図14)と同様の配信用情報326が含まれ、この配信用情報326には必ず、配信条件をユーザー識別情報(HMD100xの利用者を一意に識別するための情報)としたエントリーが記憶されている。サーバー300cには、さらに、加工情報322cとレベル情報328とが含まれている。
図18は、加工情報322cの一例を示す図である。加工情報322cは、第4実施形態の共有処理において、HMD100xの利用者に配信するための配信情報を加工する際に使用される情報である。加工情報322cには、セキュリティーレベルと、情報の種類と、加工の方法と、が関連付けて記憶されている。「セキュリティーレベル」は、加工された配信情報のセキュリティーレベルを指定するための数値、文字列等である。図18の例では、数値が大きいほど加工後の配信情報における情報の詳細さ、明確さ等が低減される。「情報の種類」は、配信情報の種類を表す。「加工の方法」は、共有処理における配信情報の加工のための方法を表す。図18の例では、共有処理で実施される加工は、静止画像かつセキュリティーレベル「1」の場合に加工なし、静止画像かつセキュリティーレベル「2」の場合にシルエット化する加工、静止画像かつセキュリティーレベル「3」の場合に透明化する(すなわち表示されないようにする)加工、となることがわかる。このように加工情報322cには、情報の種類とセキュリティーレベルとの組み合わせごとにそれぞれ加工の方法が予め記憶されている。
図19は、レベル情報328の一例を示す図である。レベル情報328は、第4実施形態の共有処理において、HMD100xの利用者毎に、使用されるセキュリティーレベルを判定する際に使用される情報である。レベル情報328には、ユーザー識別情報と、使用セキュリティーレベルと、が関連付けて記憶されている。「ユーザー識別情報」は、HMD100xの利用者を一意に識別するための情報である。図19の例では、ユーザー識別情報「AAA」の利用者に対してはセキュリティーレベル「1」が使用され、ユーザー識別情報「BBB」の利用者に対してはセキュリティーレベル「2」が使用され、上記以外(すなわち、レベル情報328のユーザー識別情報に登録のない識別情報)の利用者に対してはセキュリティーレベル「3」が使用されることがわかる。
D−4.共有処理:
図20は、第4実施形態における共有処理の手順を示すシーケンス図である。図15に示した第3実施形態との違いは、ステップS402〜S404に代えてステップS502〜S504を備える点と、ステップS412およびS414に代えてステップS510〜S516を備える点である。
ステップS502においてサーバー300cの制御部319は、予め定められている特定の通信キャリアから、識別情報取得要求をブロードキャスト送信する。この識別情報取得要求には「応答を拒否することができない旨」を表す情報(例えば、コマンド、フラグ等)が含まれている。すると、特定の通信キャリアからの電波を受信できる範囲内に位置するHMD100xは、サーバー300cからの識別情報取得要求を受信する。識別情報取得要求を受信したHMD100xの受信側取得部144は、ステップS503において、記憶部120に記憶されている利用者の情報を検索し、利用者を一意に識別するための情報(識別情報)を取得する。ステップS504において受信側取得部144は、識別情報を含む応答をサーバー300cへ送信する。
このように第4実施形態においても、第3実施形態と同様に、特定の通信キャリアから識別情報取得要求をブロードキャスト送信することで、サーバー300cは、特定の場所(すなわち、特定の通信キャリアからの電波到達範囲内)に位置するHMD100xとの間に限って、以降のシーケンスを開始することができる。なお、ステップS504終了後、サーバー300cは、第3実施形態(図15)で説明したステップS402〜S404を実行して、他の条件を取得してもよい。
ステップS510においてサーバー300cの制御部319は、配信用情報326から配信情報を取得する。具体的には、制御部319は、ステップS410で取得した現在位置情報と、向き情報とをキーとして配信用情報326を検索し、一致するエントリーの配信情報と、配信情報を重畳させる対象となる実オブジェクト条件と、を取得する。すなわち、本実施形態の制御部319は、利用者の識別情報にかかわらず、現在位置情報と、向き情報とが一致する配信情報を取得する。なお、制御部319は、ステップS404で他の条件を取得している場合、当該他の条件と、現在位置情報と、向き情報とをキーとして配信用情報326をさらに検索し、一致するエントリーの配信情報と実オブジェクト条件とを取得する。
ステップS512においてサーバー300cの制御部319は、HMD100xの利用者に対応するセキュリティーレベルを取得する。具体的には、制御部319は、ステップS504で取得した識別情報をキーとしてレベル情報328を検索し、一致するセキュリティーレベルを取得する。ステップS514において制御部319は、HMD100xの利用者に対応するセキュリティーレベルに応じて、ステップS510で取得した配信情報を加工する。加工の方法の詳細は、第1実施形態と同様である。ステップS516において制御部319は、加工後の配信情報と、実オブジェクト条件との組をHMD100xへ送信する。
配信情報を受信した後、HMD100xでは、図5のステップS110〜S118で説明した処理と同様の処理が実行される。この際、以下の読み替えを実施する。
・受信側拡張現実感処理部142は、手順b2の対象オブジェクトを、「ステップS516で取得した実オブジェクト条件に基づく実オブジェクト」とする。
・受信側拡張現実感処理部142は、手順b4の仮想オブジェクトとして「ステップS516で取得した加工後の配信情報」を用いる。
図21は、第4実施形態の共有処理が実行された結果を表す図である。この例では、位置情報をドア802から所定範囲内とし、向き情報をドア802の方向とし、実オブジェクト条件をドア802の所定位置(ノブの情報)とする。HMD100xaにおいて共有処理および拡張現実感処理が実行された結果、識別情報「AAA」を持つ利用者UR1は、視野VR1において、ドア802の所定位置に重畳された、開錠操作パネルの仮想オブジェクトVO1を表す虚像VI1を視認することができる。一方、HMD100xbにおいて共有処理および拡張現実感処理が実行された結果、識別情報「BBB」を持つ利用者UR2は、視野VR2において、ドア802の所定位置に重畳された、パネルのシルエットの仮想オブジェクトVO2を表す虚像VI2を視認することができる。このように、仮想オブジェクトVO2は、パネルのシルエットのみを表し、開錠操作パネルに含まれているボタンの位置、内容等は現れていない。
なお、例えば図21に示した場面においてさらに、識別情報「CCC」を持つ利用者が居た場合、当該利用者には、透明なパネルの仮想オブジェクトを表す虚像を視認する。換言すれば、識別情報CCCを持つ利用者には、パネルの存在自体がわからない(透明であるため)。これは、レベル情報328(図19)において識別情報「CCC」(上記以外に該当)の使用セキュリティーレベルが「3」とされており、加工情報322c(図18)においてセキュリティーレベル「3」の加工の方法が「透明」とされているためである。このように、本実施形態では、加工情報322cの「加工の方法」を適宜変更することによって、セキュリティーレベルに応じて表示態様を自在に変更することができる。例えば、シルエット化、透明化以外にも、透過度の変更、色調の変更、偽造(例えば、開錠操作パネル内のボタンの位置をランダムに並び替えた偽のパネルとする)等を採用することができる。
以上のように、第4実施形態の共有処理によれば、上記第3実施形態と同様の効果を得ることができる。また、上記実施形態の共有処理によれば、制御部319は、画像表示装置(HMD100x)についての情報と、画像表示装置の利用者についての情報と、のうちの少なくともいずれか一方の情報に応じて配信情報を加工し、加工後の配信情報を「少なくともいずれか一方の情報に応じた配信情報」として画像表示装置に送信する。このため、例えば、記憶部320の配信用情報326に予め用意された1つの配信情報から少なくともいずれか一方の情報に応じた複数の配信情報を作成することができるため、記憶部320における配信情報の記憶容量を低減することができる。
E.変形例:
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。
・変形例1:
上記実施形態では、画像表示システムの構成について例示した。しかし、画像表示システムの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
例えば、画像表示システム内における機能部の配置は、任意に変更可能である。例えば、第1実施形態において、頭部装着型表示装置(HMD100)が備えると説明した機能部(取得部、加工部、送信部)のうちの少なくとも一部または全部は、画像表示装置(HMD100x)に備えられていてもよい。同様に、第2実施形態において情報処理装置(サーバー300a)が備えると説明した機能部(取得部、加工部、送信部)のうちの少なくとも一部または全部は、頭部装着型表示装置(HMD100a)または画像表示装置(プロジェクター500)に備えられていてもよい。例えば加工部が画像表示装置に備えられている場合、第1のバリエーションは次のようになる。頭部装着型表示装置は、表示情報と、権限毎に定められた加工の方法と、権限毎に定められた認証の条件とを、全て画像表示装置に送信する。画像表示装置において、受信した認証の条件に基づいて自身を認証し、認証に成功した権限に対応する加工の方法を用いて、受信した表示情報を加工し、表示させればよい。
例えば、画像表示装置の一例として、第1実施形態では頭部装着型表示装置(HMD100x)を例示し、第2実施形態ではプロジェクターを例示した。しかし、第1実施形態の構成において画像表示装置としてプロジェクターを使用してもよく、第2実施形態の構成において画像表示装置として頭部装着型表示装置を使用してもよい。また、画像表示装置としては、頭部装着型表示装置やプロジェクターに限らず、画像を表示することができる装置である限りにおいて、種々の装置を使用することができる。画像表示装置としては、例えば、パーソナルコンピューター、スマートフォン、テレビ、ディスプレイ装置等を使用してよい。
例えば、画像表示システムに含まれる各装置間の接続方法は、どのような方法でもよい。具体的には、例えば、第1実施形態のHMD100とHMD100xとは、P2P接続されていてもよい。また、画像表示システムに含まれる各装置間の通信方法は、どのような方法でもよい。具体的には、例えば、第1実施形態のHMD100とHMD100xとは、TCP(Transmission Control Protocol)を利用した通信ではなく、UDP(User Datagram Protocol)を利用した通信をしてもよい。
例えば、上記実施形態で説明した画像表示システムにおいて、各装置間に、上記実施形態で説明した装置以外の装置(以降、「介在装置」とも呼ぶ。)が介在していてもよい。この場合、例えば、介在装置が頭部装着型表示装置(または情報処理装置)から送信された情報を一旦蓄積し、介在装置が画像表示装置へ蓄積している情報を送信してもよい。同様に、介在装置が画像表示装置から送信された情報を一旦蓄積し、介在装置が頭部装着型表示装置(または情報処理装置)へ蓄積している情報を送信してもよい。介在装置としては、例えば、NAS(Network Attached Storage)、情報処理装置、パーソナルコンピューター等を利用できる。
・変形例2:
上記実施形態では、HMDの構成について例示した。しかし、HMDの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
上記実施形態における制御部と画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。
(i)制御部にCPUやメモリー等の処理機能を搭載し、画像表示部には表示機能のみを搭載する態様
(ii)制御部と画像表示部との両方にCPUやメモリー等の処理機能を搭載する態様
(iii)制御部と画像表示部とを一体化した態様(例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様)
(iv)制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様
(v)制御部と画像表示部とを無線LANや赤外線通信やBluetooth等の無線の信号伝送路を介した接続により接続し、接続部(コード)を廃した態様。なお、この場合において、制御部または画像表示部に対する給電をワイヤレスにより実施してもよい。
例えば、上記実施形態で例示した制御部の構成は任意に変更することができる。具体的には、例えば、制御部の送信部(Tx)および画像表示部の受信部(Rx)は、いずれも、双方向通信が可能な機能を備えており送受信部として機能してもよい。例えば、制御部が備えるとした操作用インターフェイス(各種キーやトラックパッド等)の一部を省略してもよい。例えば、制御部に操作用スティック等の他の操作用インターフェイスを備えてもよい。例えば、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。例えば、制御部が備えるとした各処理部(例えば画像処理部、表示制御部、拡張現実感処理部等)は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit:特定用途向け集積回路)を用いて構成されてもよい。例えば、制御部には、電源として二次電池が搭載されることとしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。
例えば、上記実施形態で例示した画像表示部の構成は任意に変更することができる。具体的には、例えば、画像表示部の画像光生成部は、上述した構成部(バックライト、バックライト制御部、LCD、LCD制御部)と共に、または、上述した構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備えていてもよい。例えば、画像生成部は、LCDに代えてデジタル・マイクロミラー・デバイス等を備えていてもよい。例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。
図22は、変形例におけるHMDの外観の構成を示す説明図である。図22(A)の画像表示部20xは、右光学像表示部26xおよび左光学像表示部28xを備えている。これらは上記実施形態の光学部材よりも小さく形成され、HMDの装着時における利用者の左右の眼の斜め上にそれぞれ配置されている。図22(B)の画像表示部20yは、右光学像表示部26yおよび左光学像表示部28yを備えている。これらは上記実施形態の光学部材よりも小さく形成され、HMDの装着時における利用者の左右の眼の斜め下にそれぞれ配置されている。このように、光学像表示部は利用者の眼の近傍に配置されていれば足りる。光学像表示部を形成する光学部材の大きさは任意であり、光学像表示部が利用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が利用者の眼を完全に覆わない態様でもよい。
例えば、HMDは、両眼タイプの透過型HMDであるものとしたが、単眼タイプのHMDとしてもよい。例えば、利用者がHMDを装着した状態において外景の透過が遮断される非透過型HMDとして構成してもよいし、非透過型HMDにカメラを搭載したビデオシースルーとして構成してもよい。例えば、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。例えば、眼鏡のように装着する画像表示部に代えて、通常の平面型ディスプレイ装置(液晶ディスプレイ装置、プラズマディスプレイ装置、有機ELディスプレイ装置等)を採用してもよい。この場合も、制御部と画像表示部との間の接続は、有線、無線どちらでもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することができる。例えば、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部や、ヘルメット等の身体防護具に内蔵された画像表示部といった、他の態様の画像表示部を採用してもよい。例えば、自動車や飛行機等の車両、またはその他の交通手段に搭載されるヘッドアップディスプレイ(HUD、Head-Up Display)として構成されてもよい。
例えば、HMDが備える視線検出部は、赤外線受発光部以外の方法によって、視線を検出してもよい。具体的には例えば、眼電位と、ジャイロセンサーによる検出値と、のうちの少なくとも一方を利用して、HMDの利用者の視線の方向を検出することができる。
・変形例3:
上記実施形態では、共有処理の一例を示した。しかし、上記実施形態において示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。実行されるステップの順序を変更してもよい。
例えば、図5および図11に示した共有処理においては、現在位置情報および向き情報の取得および送信を省略してもよい。同様に、図8に示した共有処理においては、向き情報の取得および送信を省略してもよい。そうすれば、共有処理の内容を単純化することができる。
例えば、図5に示した共有処理においては、頭部装着型表示装置から画像表示装置に対して、加工前の表示情報を送信してもよい。この場合、画像表示装置において、表示情報の加工および表示を行えばよい。さらにこの場合、画像表示装置における表示情報の加工を省略し、画像表示装置において、頭部装着型表示装置と同じ表示情報(加工しない表示情報)を表示してもよい。また、図8および図11に示した共有処理においては、頭部装着型表示装置から情報処理装置に対して、加工後の表示情報を送信してもよい。この場合、情報処理装置における表示情報の加工は不要となる。このようにすれば、加工前の表示情報がネットワーク上を送信されることに伴う、情報漏えいの危険性を低下させることができる。また、図8および図11に示した共有処理において、情報処理装置における表示情報の加工を省略し、画像表示装置において、頭部装着型表示装置と同じ表示情報(加工しない表示情報)を表示してもよい。
例えば、図5に示した共有処理において、頭部装着型表示装置の送信部は、以下に示す所定の条件のうちの少なくとも1つが満たされている場合に限って表示情報を送信してもよい。同様に、画像表示装置の受信側取得部は、以下に示す所定の条件のうちの少なくとも1つが満たされている場合に限って表示情報(加工後情報等)を取得してもよい。
・画像表示装置が、頭部装着型表示装置の利用者の視野内に存在する場合。これは、例えば外景画像の画像認識により実現可能である。
・画像表示装置と、頭部装着型表示装置との間の距離が所定の距離以内である場合。所定の距離は任意に定めてよく、利用者による設定、変更が可能でもよい。
・画像表示装置(またはその利用者)が所定の権限を有する場合。所定の権限を有するか否かは、画像表示装置の識別情報、利用者の識別情報、予め定められたパスワード等を利用した認証により確認できる。
・画像表示装置が所定の性能を有する場合。所定の性能は任意に定めてよく、利用者による設定、変更が可能でもよい。
・頭部装着型表示装置が所定の性能を有する場合。所定の性能は任意に定めてよく、利用者による設定、変更が可能でもよい。
このようにすれば、所定の条件を満足する場合に限って表示情報の送受信が実行されるため、頭部装着型表示装置および画像表示装置における処理負荷を低減することができる。
・変形例4:
上記実施形態では、加工情報と、利用者情報と、配信用情報と、レベル情報と、の一例を示した。しかし、上記実施形態において示した各情報の構成および内容はあくまで一例であり、種々の変形が可能である。例えば、一部の構成を省略してもよいし、更なる他の構成を追加してもよい。案内用情報に格納されているデーターを変更してもよい。
例えば、上述した加工情報における加工の方法はあくまで一例であり、種々の方法を利用した加工が実現可能である。具体的には、例えば、表示情報の種類が音声である場合、代替音声への置換に代えて特定の画像(例えば音符記号を表す画像)を表示させてもよい。このように、加工の方法には、表示情報の種類を代えることも含まれる。
・変形例5:
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10…制御部、11…決定キー、12…点灯部、13…表示切替キー、14…トラックパッド、15…輝度切替キー、16…方向キー、17…メニューキー、18…電源スイッチ、20…画像表示部、21…右保持部、22…右表示駆動部、23…左保持部、24…左表示駆動部、26…右光学像表示部、28…左光学像表示部、30…イヤホンプラグ、32…右イヤホン、34…左イヤホン、40…接続部、42…右コード、44…左コード、46…連結部材、48…本体コード、51…送信部、53…受信部、61…カメラ、62…視線検出部、63…マイク、66…9軸センサー、100…ヘッドマウントディスプレイ(頭部装着型表示装置)、100x…ヘッドマウントディスプレイ(画像表示装置、他の頭部装着型表示装置、頭部装着型表示装置)、110…入力情報取得部、120…記憶部、122…加工情報、130…電源、132…無線通信部、134…GPSモジュール、140…CPU、142…拡張現実感処理部、144…取得部、146…加工部、148…送信部、150…OS、160…画像処理部、170…音声処理部、180…インターフェイス、190…表示制御部、201…右バックライト制御部、202…左バックライト制御部、211…右LCD制御部、212…左LCD制御部、221…右バックライト、222…左バックライト、241…右LCD、242…左LCD、251…右投写光学系、252…左投写光学系、261…右導光板、262…左導光板、300、300a〜c…サーバー(情報処理装置)、310…CPU、314…取得部、316…加工部、318…送信部、319…制御部、320…記憶部、322…加工情報、324…利用者情報、326…配信用情報、328…レベル情報、330…ROM、340…RAM、350…通信インターフェイス、400…カメラ、500…プロジェクター(画像表示装置)、550…スクリーン(画像表示装置)、VSync…垂直同期信号、HSync…水平同期信号、Data…画像データー、OA…外部装置、PC…パーソナルコンピューター、VI…虚像、SC…外景、VR…視野、RE…右眼、LE…左眼、VO1…仮想オブジェクト、VO2…仮想オブジェクト、VO3…仮想オブジェクト、VO4…仮想オブジェクト、UR1…利用者、VR1…視野、VI1…虚像、UR2…利用者(第三者)、VR2…視野、VI2…虚像、BS1…通信キャリア、BS2…通信キャリア

Claims (23)

  1. 利用者が虚像を視認可能な頭部装着型表示装置であって、
    前記利用者に前記虚像を視認させる画像表示部と、
    前記画像表示部において、前記虚像として前記利用者に表示されている情報である表示情報を加工する加工部と、
    加工された前記表示情報を、前記頭部装着型表示装置に接続された画像表示装置に送信する送信部と、
    を備える、頭部装着型表示装置。
  2. 請求項1に記載の頭部装着型表示装置であって、
    前記加工部は、前記表示情報の種類と、前記画像表示装置の前記利用者の権限と、のうちの少なくともいずれか一方に応じて、前記加工の方法を変更する、頭部装着型表示装置。
  3. 請求項1または請求項2に記載の頭部装着型表示装置であって、
    前記送信部は、前記加工された表示情報をブロードキャスト送信する、頭部装着型表示装置。
  4. 請求項1から請求項3のいずれか一項に記載の頭部装着型表示装置に接続される画像表示装置であって、
    前記画像表示装置は、利用者が虚像を視認可能な他の頭部装着型表示装置であり、
    前記他の頭部装着型表示装置は、
    前記利用者に前記虚像を視認させる受信側画像表示部と、
    前記頭部装着型表示装置から、前記加工された表示情報を取得する受信側取得部と、
    前記頭部装着型表示装置の前記利用者の近傍に、前記加工された表示情報を視認させるための前記虚像を前記受信側画像表示部に形成させる受信側拡張現実感処理部と、
    を備える、画像表示装置。
  5. 請求項1から請求項3のいずれか一項に記載の頭部装着型表示装置に接続される画像表示装置であって、
    前記画像表示装置は、前記頭部装着型表示装置から前記加工された表示情報を取得し、前記加工された表示情報を含んだ像を投射するプロジェクターである、画像表示装置。
  6. 情報処理装置であって、
    前記情報処理装置に接続された頭部装着型表示装置において、虚像として前記頭部装着型表示装置の利用者に表示されている情報である表示情報を取得する取得部と、
    取得された前記表示情報を加工する加工部と、
    加工された前記表示情報を、前記情報処理装置に接続された画像表示装置に送信する送信部と、
    を備える、情報処理装置。
  7. 請求項6に記載の情報処理装置であって、
    前記加工部は、前記表示情報の種類と、前記画像表示装置の利用者の権限と、のうちの少なくともいずれか一方に応じて、前記加工の方法を変更する、情報処理装置。
  8. 請求項6または請求項7に記載の情報処理装置であって、さらに、
    複数の前記頭部装着型表示装置からそれぞれ取得された前記表示情報を記憶する記憶部を備え、
    前記取得部は、
    前記表示情報と共に、前記頭部装着型表示装置の現在位置を表す第1の現在位置情報を取得し、
    取得した前記表示情報と、前記第1の現在位置情報と、を前記記憶部に関連付けて記憶させる、情報処理装置。
  9. 請求項8に記載の情報処理装置であって、
    前記送信部は、さらに、
    前記画像表示装置から、前記画像表示装置の現在位置を表す第2の現在位置情報を取得し、
    取得した前記第2の現在位置情報と、前記記憶部内の前記第1の現在位置情報とを用いて、前記記憶部から、前記画像表示装置の所定範囲内に存在する前記頭部装着型表示装置における前記表示情報を取得し、
    取得した前記表示情報を前記加工部に加工させ、
    前記加工された表示情報を前記画像表示装置へ送信する、情報処理装置。
  10. 請求項6から請求項9のいずれか一項に記載の情報処理装置に接続される画像表示装置であって、
    前記画像表示装置は、利用者が虚像を視認可能な他の頭部装着型表示装置であり、
    前記他の頭部装着型表示装置は、
    前記利用者に前記虚像を視認させる受信側画像表示部と、
    前記情報処理装置から、前記加工された表示情報を取得する受信側取得部と、
    前記頭部装着型表示装置の前記利用者の近傍に、前記加工された表示情報を視認させるための前記虚像を前記受信側画像表示部に形成させる受信側拡張現実感処理部と、
    を備える、画像表示装置。
  11. 請求項6または請求項7に記載の情報処理装置であって、
    前記取得部は、前記表示情報と共に、前記頭部装着型表示装置の前記利用者を含む場面の画像を取得し、
    前記加工部は、さらに、取得された前記場面の画像と、加工した前記表示情報と、を合成し、
    前記送信部は、合成後の前記表示情報を、前記加工された表示情報として前記画像表示装置へ送信する、情報処理装置。
  12. 請求項11に記載の情報処理装置に接続される画像表示装置であって、
    前記画像表示装置は、前記情報処理装置から前記加工された表示情報を取得し、前記加工された表示情報を含んだ像を投射するプロジェクターである、画像表示装置。
  13. 情報処理装置であって、
    前記情報処理装置に接続された画像表示装置に配信するための配信情報を記憶する記憶部と、
    前記画像表示装置についての情報と、前記画像表示装置の利用者についての情報と、のうちの少なくともいずれか一方の情報に応じた前記配信情報を、前記画像表示装置に送信する制御部と、
    を備える、情報処理装置。
  14. 請求項13に記載の情報処理装置であって、
    前記制御部は、
    前記少なくともいずれか一方の情報に応じて前記記憶部内の前記配信情報を加工し、
    加工後の前記配信情報を、前記配信情報として前記画像表示装置に送信する、情報処理装置。
  15. 請求項13または請求項14に記載の情報処理装置であって、
    前記制御部は、
    さらに、特定の通信キャリアから、前記少なくともいずれか一方の情報を取得するための情報取得要求をブロードキャスト送信し、
    前記情報取得要求に対して応答した前記画像表示装置に対して、前記配信情報を送信する、情報処理装置。
  16. 請求項15に記載の情報処理装置であって、
    前記制御部は、前記情報取得要求に対して応答した前記画像表示装置との間において、前記情報取得要求の送信と、前記情報取得要求に対する応答の受信と、を繰り返すことによって、前記少なくともいずれか一方の情報を取得する、情報処理装置。
  17. 請求項16に記載の情報処理装置であって、
    前記情報取得要求には、前記画像表示装置側において応答を拒否することができるか否かを識別するための情報が含まれている、情報処理装置。
  18. 請求項13から請求項17のいずれか一項に記載の情報処理装置に接続される画像表示装置であって、
    前記画像表示装置は、前記利用者が虚像を視認可能な頭部装着型表示装置であり、
    前記頭部装着型表示装置は、
    前記利用者に前記虚像を視認させる受信側画像表示部と、
    前記情報処理装置から、前記配信情報を取得する受信側取得部と、
    取得した前記配信情報を表す前記虚像を前記受信側画像表示部に形成させる受信側拡張現実感処理部と、
    を備える、画像表示装置。
  19. 画像表示システムであって、
    頭部装着型表示装置と、
    情報処理装置と、
    他の頭部装着型表示装置と、を備え、
    前記情報処理装置は、
    前記情報処理装置に接続された前記頭部装着型表示装置において、虚像として前記頭部装着型表示装置の利用者に表示されている情報である表示情報を取得する取得部と、
    取得された前記表示情報を加工する加工部と、
    加工された前記表示情報を、前記情報処理装置に接続された画像表示装置に送信する送信部と、を備え、
    前記他の頭部装着型表示装置は、
    利用者に虚像を視認させる受信側画像表示部と、
    前記情報処理装置から、前記加工された表示情報を取得する受信側取得部と、
    前記頭部装着型表示装置の利用者の近傍に、前記加工された表示情報を視認させるための前記虚像を前記受信側画像表示部に形成させる受信側拡張現実感処理部と、
    を備える、画像表示システム。
  20. 画像表示システムであって、
    頭部装着型表示装置と、
    情報処理装置と、
    プロジェクターと、を備え、
    前記情報処理装置は、
    前記情報処理装置に接続された前記頭部装着型表示装置において、虚像として前記頭部装着型表示装置の利用者に表示されている情報である表示情報を取得する取得部と、
    取得された前記表示情報を加工する加工部と、
    加工された前記表示情報を、前記情報処理装置に接続された画像表示装置に送信する送信部と、を備え、
    前記プロジェクターは、
    前記情報処理装置から前記加工された表示情報を取得し、前記加工された表示情報を含んだ像を投射する、画像表示システム。
  21. 画像表示システムであって、
    情報処理装置と、
    頭部装着型表示装置と、を備え、
    前記情報処理装置は、
    前記情報処理装置に接続された前記頭部装着型表示装置に配信するための配信情報を記憶する記憶部と、
    前記頭部装着型表示装置についての情報と、前記頭部装着型表示装置の利用者についての情報と、のうちの少なくともいずれか一方の情報に応じた前記配信情報を、前記頭部装着型表示装置に送信する制御部と、を備え、
    前記頭部装着型表示装置は、
    前記利用者に虚像を視認させる受信側画像表示部と、
    前記情報処理装置から、前記配信情報を取得する受信側取得部と、
    取得した前記配信情報を表す前記虚像を前記受信側画像表示部に形成させる受信側拡張現実感処理部と、
    を備える、画像表示システム。
  22. 頭部装着型表示装置の表示を共有する方法であって、
    (a)前記頭部装着型表示装置において、虚像として前記頭部装着型表示装置の利用者に表示されている情報である表示情報を加工する工程と、
    (b)加工された前記表示情報を画像表示装置に送信する工程と、
    を備える、方法。
  23. コンピュータープログラムであって、
    頭部装着型表示装置において、虚像として前記頭部装着型表示装置の利用者に表示されている情報である表示情報を加工する加工機能と、
    加工された前記表示情報を画像表示装置に送信する共有機能と、
    をコンピューターに実現させるための、コンピュータープログラム。
JP2015238182A 2015-02-04 2015-12-07 頭部装着型表示装置、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム Active JP6828235B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015238182A JP6828235B2 (ja) 2015-12-07 2015-12-07 頭部装着型表示装置、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
US15/002,214 US9784976B2 (en) 2015-02-04 2016-01-20 Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015238182A JP6828235B2 (ja) 2015-12-07 2015-12-07 頭部装着型表示装置、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム

Publications (2)

Publication Number Publication Date
JP2017106945A true JP2017106945A (ja) 2017-06-15
JP6828235B2 JP6828235B2 (ja) 2021-02-10

Family

ID=59060636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015238182A Active JP6828235B2 (ja) 2015-02-04 2015-12-07 頭部装着型表示装置、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム

Country Status (1)

Country Link
JP (1) JP6828235B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019057059A (ja) * 2017-09-20 2019-04-11 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
WO2020130006A1 (ja) * 2018-12-18 2020-06-25 川崎重工業株式会社 情報投影システム、制御装置、及び情報投影方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008083290A (ja) * 2006-09-27 2008-04-10 Sony Corp 表示装置、表示方法
JP2008085548A (ja) * 2006-09-27 2008-04-10 Sony Corp 撮像装置、撮像方法
US20130174213A1 (en) * 2011-08-23 2013-07-04 James Liu Implicit sharing and privacy control through physical behaviors using sensor-rich devices
WO2014115393A1 (ja) * 2013-01-24 2014-07-31 ソニー株式会社 画像表示装置及び画像表示方法、並びに画像表示システム
JP2014164537A (ja) * 2013-02-26 2014-09-08 Yasuaki Iwai 仮想現実サービス提供システム、仮想現実サービス提供方法
US20140306866A1 (en) * 2013-03-11 2014-10-16 Magic Leap, Inc. System and method for augmented and virtual reality
JP2015194880A (ja) * 2014-03-31 2015-11-05 株式会社日本総合研究所 表示システム及びプログラム
JP2015200951A (ja) * 2014-04-04 2015-11-12 株式会社日本総合研究所 表示システム及びプログラム
JP2016142966A (ja) * 2015-02-04 2016-08-08 セイコーエプソン株式会社 頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008083290A (ja) * 2006-09-27 2008-04-10 Sony Corp 表示装置、表示方法
JP2008085548A (ja) * 2006-09-27 2008-04-10 Sony Corp 撮像装置、撮像方法
US20130174213A1 (en) * 2011-08-23 2013-07-04 James Liu Implicit sharing and privacy control through physical behaviors using sensor-rich devices
WO2014115393A1 (ja) * 2013-01-24 2014-07-31 ソニー株式会社 画像表示装置及び画像表示方法、並びに画像表示システム
JP2014164537A (ja) * 2013-02-26 2014-09-08 Yasuaki Iwai 仮想現実サービス提供システム、仮想現実サービス提供方法
US20140306866A1 (en) * 2013-03-11 2014-10-16 Magic Leap, Inc. System and method for augmented and virtual reality
JP2016522463A (ja) * 2013-03-11 2016-07-28 マジック リープ, インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
JP2015194880A (ja) * 2014-03-31 2015-11-05 株式会社日本総合研究所 表示システム及びプログラム
JP2015200951A (ja) * 2014-04-04 2015-11-12 株式会社日本総合研究所 表示システム及びプログラム
JP2016142966A (ja) * 2015-02-04 2016-08-08 セイコーエプソン株式会社 頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019057059A (ja) * 2017-09-20 2019-04-11 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP7013757B2 (ja) 2017-09-20 2022-02-01 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
US11763529B2 (en) 2017-09-20 2023-09-19 Fujifilm Business Innovation Corp. Information processing apparatus, information processing system, and non-transitory computer readable medium
WO2020130006A1 (ja) * 2018-12-18 2020-06-25 川崎重工業株式会社 情報投影システム、制御装置、及び情報投影方法

Also Published As

Publication number Publication date
JP6828235B2 (ja) 2021-02-10

Similar Documents

Publication Publication Date Title
US9784976B2 (en) Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program
CN104469464B (zh) 图像显示装置、控制图像显示装置的方法、计算机程序以及图像显示系统
JP6476643B2 (ja) 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US8963956B2 (en) Location based skins for mixed reality displays
CN104076512B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
US10949055B2 (en) Display system, display apparatus, control method for display apparatus
JP7047394B2 (ja) 頭部装着型表示装置、表示システム、及び、頭部装着型表示装置の制御方法
US20140285521A1 (en) Information display system using head mounted display device, information display method using head mounted display device, and head mounted display device
JP6492673B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
TW201502581A (zh) 頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法
JP6596914B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
WO2013166362A2 (en) Collaboration environment using see through displays
US9799144B2 (en) Head mounted display, and control method for head mounted display
JP2016004340A (ja) 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2017091433A (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2016142887A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6488629B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2016173693A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
WO2016079950A1 (ja) 情報処理装置、情報処理装置を制御する方法、コンピュータープログラム
JP2016133399A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016033611A (ja) 情報提供システム、表示装置、および、表示装置の制御方法
JP2015227919A (ja) 画像表示装置、画像表示装置を制御する方法、コンピュータープログラム、および、画像表示システム
JP6828235B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
JP2016142966A (ja) 頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200923

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210104

R150 Certificate of patent or registration of utility model

Ref document number: 6828235

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150