JP2018097141A - 頭部装着型表示装置、仮想物体表示システム - Google Patents

頭部装着型表示装置、仮想物体表示システム Download PDF

Info

Publication number
JP2018097141A
JP2018097141A JP2016241183A JP2016241183A JP2018097141A JP 2018097141 A JP2018097141 A JP 2018097141A JP 2016241183 A JP2016241183 A JP 2016241183A JP 2016241183 A JP2016241183 A JP 2016241183A JP 2018097141 A JP2018097141 A JP 2018097141A
Authority
JP
Japan
Prior art keywords
virtual object
head
displayed
unit
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016241183A
Other languages
English (en)
Inventor
誓哉 稲木
Seiya Inagi
誓哉 稲木
哲平 青木
Teppei Aoki
哲平 青木
大輔 安岡
Daisuke Yasuoka
大輔 安岡
忠秋 佐藤
Tadaaki Sato
忠秋 佐藤
橋本　一成
Kazunari Hashimoto
一成 橋本
英剛 出雲
Hidetake Izumo
英剛 出雲
佑介 山浦
Yusuke Yamaura
佑介 山浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2016241183A priority Critical patent/JP2018097141A/ja
Priority to US15/658,407 priority patent/US20180165853A1/en
Publication of JP2018097141A publication Critical patent/JP2018097141A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/30—Control of display attribute
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】間仕切りが設けられていないオフィスでも、自己の作業を集中して行うことを可能とする。【解決手段】撮像部３２は、自装置の周囲の実空間の画像を撮像する。表示部３５は、実空間を視認可能な透過型表示部であり、演算処理部３３により生成された仮想オブジェクトの画像を、例えばホログラフィー技術を用いて表示する。仮想オブジェクト描画制御部４３は、撮像部３２により撮像された画像に基づいて、利用者の視界を遮るような壁状の不透明な仮想オブジェクトを描画して、実空間内に存在するように表示部３５に表示する制御を行う。【選択図】図３

Description

本発明は、頭部装着型表示装置、仮想物体表示システムに関する。
特許文献１には、現実物体に仮想オブジェクトを重畳させて投影する際に、投影部と現実物体との位置関係によって投影する仮想オブジェクトのパラメータを制御するように投影制御方法が開示されている。
特開２０１３−２３５３７４号公報
本発明の目的は、間仕切りが設けられていないオフィスでも、自己の作業を集中して行うことが可能な頭部装着型表示装置、仮想物体表示システムを提供することである。
［頭部装着型表示装置］
請求項１に係る本発明は、実空間の画像を撮像する撮像部と、
実空間を視認可能な透過型表示部と、
前記撮像部により撮像された画像に基づいて、利用者の視界を遮るような壁状の不透明な仮想物体を描画して、実空間内に存在するように前記透過型表示部に表示する制御を行う描画制御手段とを備えた頭部装着型表示装置である。
請求項２に係る本発明は、前記描画制御手段が、自装置を装着している利用者の、少なくとも前方に壁状の不透明な仮想物体が表示されるように前記透過型表示部を制御する請求項１記載の頭部装着型表示装置である。
請求項３に係る本発明は、前記描画制御手段が、自装置を装着している利用者の周囲を囲うように壁状の不透明な仮想物体が表示されるように前記透過型表示部を制御する請求項１記載の頭部装着型表示装置である。
請求項４に係る本発明は、前記撮像部により撮像された画像から、自装置を装着している利用者の指先の位置を認識する認識手段をさらに備え、
前記描画制御手段は、前記認識手段により認識された利用者の指先の位置までの距離の２倍を一辺の長さとする正四角柱状に、４つの壁状の仮想物体を前記透過型表示部に表示する請求項１記載の頭部装着型表示装置である。
請求項５に係る本発明は、前記撮像部により撮像された画像から、自装置を装着している利用者の指先の位置を認識する認識手段をさらに備え、
前記描画制御手段は、前記認識手段により認識された利用者の指先が、描画した仮想物体の位置と交差した場合、前記透過型表示部に表示した仮想物体を半透明に変化または消去する請求項１から４のいずれか記載の頭部装着型表示装置である。
請求項６に係る本発明は、前記撮像部により撮像された画像から、自装置を装着している利用者の指先の位置を認識する認識手段をさらに備え、
前記描画制御手段は、前記認識手段により認識された利用者の指先が、描画した仮想物体の位置と交差した場合、仮想物体への接触位置に応じて、前記透過型表示部に表示した仮想物体の色彩、表示位置、形状または大きさのうちの少なくとも１つの属性を変更する請求項１から４のいずれか記載の頭部装着型表示装置である。
請求項７に係る本発明は、前記撮像部により撮像された画像から、接近する人の位置を認識する認識手段をさらに備え、
前記描画制御手段は、前記認識手段により認識された人の一部が、描画した仮想物体の位置と交差した場合、前記透過型表示部に表示した仮想物体を半透明に変化または消去する請求項１から４のいずれか記載の頭部装着型表示装置である。
請求項８に係る本発明は、前記描画制御手段が、予め設定された事象が発生した場合、発生した事象に応じた文字情報を、描画した仮想物体上に表示するような制御を行う請求項１から７のいずれか記載の頭部装着型表示装置である。
[仮想物体表示システム]
請求項９に係る本発明は、実空間の画像を撮像する撮像部と、実空間を視認可能な透過型表示部と、前記撮像部により撮像された画像に基づいて、利用者の視界を遮るような壁状の不透明な仮想物体を描画して、実空間内に存在するように前記透過型表示部に表示する制御を行う描画制御手段とを備えた複数の頭部装着型表示装置と、
前記複数の頭部装着型表示装置において透過型表示部に表示しているそれぞれの仮想物体の属性情報を格納し、ある頭部装着型表示装置において透過型表示部に表示している仮想物体を、異なる頭部装着型表示装置の透過型表示部にも表示させるような制御を行う管理サーバとを有する仮想物体表示システムである。
請求項１０に係る本発明は、前記複数の頭部装着型表示装置には、それぞれ識別情報が設定されており、
前記管理サーバは、予め登録された識別情報が設定された頭部装着型表示装置に対して、他の頭部装着型表示装置において表示されている仮想物体を表示するよう制御する請求項９記載の仮想物体表示システムである。
請求項１１に係る本発明は、前記複数の頭部装着型表示装置が、それぞれ自装置の現在位置を検出する検出手段を備え、
前記管理サーバは、ある頭部装着型表示装置に対して表示している仮想物体を、予め設定された距離内に存在する他の頭部装着型表示装置に対してのみ表示するよう制御する請求項９記載の仮想物体表示システムである。
請求項１２に係る本発明は、前記管理サーバが、ある頭部装着型表示装置に対して表示している仮想物体の外側に文字情報を表示した状態で、他の頭部装着型表示装置に対して表示するよう制御する請求項９記載の仮想物体表示システムである。
請求項１に係る本発明によれば、間仕切りが設けられていないオフィスでも、自己の作業を集中して行うことが可能な頭部装着型表示装置を提供することができる。
請求項２に係る本発明によれば、間仕切りが設けられていないオフィスでも、自己の作業を集中して行うことが可能な頭部装着型表示装置を提供することができる。
請求項３に係る本発明によれば、間仕切りが設けられていないオフィスでも、周囲の状況に気を取られることなく、自己の作業を集中して行うことが可能な頭部装着型表示装置を提供することができる。
請求項４に係る本発明によれば、表示する仮想物体の大きさを簡単な操作で設定することが可能な頭部装着型表示装置を提供することができる。
請求項５に係る本発明によれば、表示した仮想物体の向こう側の様子を把握することが可能な頭部装着型表示装置を提供することができる。
請求項６に係る本発明によれば、表示した仮想物体の色彩、表示位置、形状および大きさ等の属性を簡単な操作で変更することが可能な頭部装着型表示装置を提供することができる。
請求項７に係る本発明によれば、他人が接近してきたことを把握することが可能な頭部装着型表示装置を提供することができる。
請求項８に係る本発明によれば、作業中であっても、特定の事象が発生したことを知ることが可能な頭部装着型表示装置を提供することができる。
請求項９に係る本発明によれば、ある頭部装着型表示装置に表示している仮想物体を他の頭部装着型表示装置にも表示させることが可能な仮想物体表示システムを提供することができる。
請求項１０に係る本発明によれば、ある頭部装着型表示装置に表示している仮想物体を、特定の他の頭部装着型表示装置にのみ表示させることが可能な仮想物体表示システムを提供することができる。
請求項１１に係る本発明によれば、ある頭部装着型表示装置に表示している仮想物体を、特定の他の頭部装着型表示装置にのみ表示させることにより、特定の相手からのコンタクトを遮断することが可能な仮想物体表示システムを提供することができる。
請求項１２に係る本発明によれば、ある頭部装着型表示装置に表示している仮想物体を他の頭部装着型表示装置にも表示させる際に、他の頭部装着型表示装置を装着している利用者にメッセージを伝達することが可能な仮想物体表示システムを提供することができる。
本発明の一実施形態の仮想オブジェクト表示システムのシステム構成を示す図である。 図１に示したＨＭＤ１０のハードウェア構成を示す図である。 本発明の一実施形態におけるＨＭＤ１０の機能構成を示すブロック図である。 本発明の一実施形態におけるＨＭＤ１０の外観を示す図である。 ＨＭＤ１０を装着した場合の様子を説明するための図である。 本発明の一実施形態のＨＭＤ１０において仮想オブジェクトの表示命令を受けた場合の動作を説明するためのフローチャートである。 生成する仮想オブジェクトのサイズ指定の一例を示す図である。 生成される仮想オブジェクト７０を上面から見た場合の寸法図例である。 仮想オブジェクト７０を表示する際の、この仮想オブジェクト７０の上面図例を示す図である。 仮想オブジェクト７０が表示された状態を斜め後ろから見た場合の斜視図である。 仮想オブジェクト７０が表示部３５に表示される前の利用者の視界の様子を模式的に示す図である。 仮想オブジェクト７０が表示部３５に表示された後の利用者の視界の様子を模式的に示す図である。 仮想オブジェクト７０の色彩を変化させる際の操作例を説明するための図である。 仮想オブジェクト７０の高さを変化させる際の操作例を説明するための図である。 仮想オブジェクト７０の表示位置を変化させる際の操作例を説明するための図である。 「緊急地震速報を受信しました！」という文字情報を仮想オブジェクト７０上に表示する場合を示す図である。 「人が接近しています！」という文字情報を仮想オブジェクト７０上に表示する場合を示す図である。 接近してきた人８０と交差した仮想オブジェクト７０の面を半透明にする様子を説明するための図である。 指先と交差した仮想オブジェクト７０の面を半透明にする様子を説明するための図である。 仮想オブジェクト７０を表示させて仕事をしている利用者とは異なる他の利用者９０のＨＭＤ１０にも仮想オブジェクト７０を表示させる様子を説明するための図である。 ２つのＨＭＤ１０の距離が予め設定された距離以内となり近接したと判定した場合、表示している仮想オブジェクト７０を半透明にする様子を説明するための図である。 仮想オブジェクト７１の奥行距離が仮想オブジェクト７０の表示位置よりも遠い場合でも、仮想オブジェクト７０の手前に仮想オブジェクト７１を表示する様子を説明するための図である。
次に、本発明の実施の形態について図面を参照して詳細に説明する。
図１は本発明の一実施形態の仮想オブジェクト（仮想物体）表示システムのシステム構成を示す図である。
近年、ヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display）と略す。）を用いて、利用者に仮想空間にいるような視覚を与えるＶＲ（Virtual Reality：仮想現実感）が様々な装置で実現されている。
しかし、このＶＲ技術では、ＨＭＤを装着している人にとっては実空間の視覚情報が遮断されてしまう。そのため、実空間の映像に人工的に生成した画像を重ねて表示する技術であるＡＲ（Augmented Reality：拡張現実感）という技術や、現実空間と仮想空間を混合し、現実の物と仮想的な物がリアルタイムで影響しあう新たな空間を構築するＭＲ（Mixed Reality：複合現実感）という技術が提案されている。
ここで、ＡＲ技術では、カメラ等の撮像装置により撮像した実画像上に人工的に生成した画像を重ねて表示しているのに対して、ＭＲ技術では、ＨＭＤを装着した利用者が透過型のディスプレイを通して実空間の様子をリアルタイムで直接視認可能になっている点で異なっている。
そして、本実施形態の仮想オブジェクト表示システムでは、このようなＭＲ技術を用いて、利用者がリアルタイムで視認している実空間内に、人工的に生成した仮想オブジェクトが存在するかのような視覚を与えるような構成となっている。
本実施形態の仮想オブジェクト表示システムは、図１に示されるように、利用者がそれぞれ頭部に装着するための複数のヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display）と略す。）１０と、各ＨＭＤ１０において表示している仮想オブジェクトの属性情報を管理する管理サーバ２０と、無線ＬＡＮターミナル３０とから構成されている。
ＨＭＤ（頭部装着型表示装置）１０は、利用者の頭部に装着されて使用され、実空間を視認可能な透過型表示部を有し、利用者はこの透過型表示部を介して外部の様子を視認することが可能となっている。そして、ＨＭＤ１０では、この透過型表示部上に仮想物体が表示されることにより、利用者にとっては、実空間内に仮想オブジェクトが存在するかのような視覚を得ることができるような構成となっている。
なお、各ＨＭＤ１０は、それぞれ、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ-Ｆｉ等の無線通信回線を介して無線ＬＡＮターミナル３０とデータの送受信を行うことにより、管理サーバ２０と接続されている。
そして、それぞれのＨＭＤ１０において表示されている仮想オブジェクトの、色彩、表示位置、形状および大きさ等の属性情報が管理サーバ２０内において格納されている。
次に、図１に示したＨＭＤ１０のハードウェア構成を図２に示す。
ＨＭＤ１０は、図２に示されるように、ＣＰＵ１１、メモリ１２、フラッシュメモリ等の記憶装置１３、無線通信回線を介して管理サーバ２０等の外部装置との間でデータの送信及び受信を行う通信インタフェース（ＩＦ）１４、ＧＰＳ等のシステムを利用して自装置の位置を測定する位置測定部１５、加速度センサ、ジャイロセンサ（角速度センサ）等のセンサ１６、外部の画像を撮影するためのカメラ１７、仮想オブジェクトを表示する表示装置１８を有する。これらの構成要素は、制御バス１９を介して互いに接続されている。
ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、ＨＭＤ１０の動作を制御する。
図３は、上記の制御プログラムが実行されることにより実現されるＨＭＤ１０の機能構成を示すブロック図である。
本実施形態のＨＭＤ１０は、図３に示されるように、位置姿勢検出部３１と、撮像部３２と、演算処理部３３と、通信部３４と、表示部３５とを備えている。また、演算処理部３３は、ジェスチャ認識部４１と、交差判定部４２と、仮想オブジェクト描画制御部４３とから構成されている。
位置姿勢検出部３１は、ＧＰＳ受信装置により位置情報により自装置の位置を検出したり、加速度センサや加速度センサ等の出力信号に基づいて自装置の姿勢変化を検出する。
撮像部３２は、自装置の周囲の実空間の画像を撮像する。
演算処理部３３は、撮像部３２により撮像された周囲の実空間の画像と、位置姿勢検出部３１により検出された自装置の位置情報や姿勢変化の情報に基づいて、表示部３５に表示すべき仮想オブジェクト（仮想物体）の画像を描画する。
通信部３４は、演算処理部３３により生成された仮想オブジェクトの属性情報や自装置の位置情報を管理サーバ２０に送信したり、管理サーバ２０から送信されてきた他のＨＭＤ１０における仮想オブジェクトの属性情報等を受信する。
表示部３５は、実空間を視認可能な透過型表示部であり、演算処理部３３により生成された仮想オブジェクトの画像を、例えばホログラフィー技術を用いて表示する。
ジェスチャ認識部４１は、撮像部３２により撮像された画像から、自装置を装着している利用者の指先の位置を認識したり、自装置に接近する人の位置を認識する。
交差判定部４２は、ジェスチャ認識部４１により認識された利用者の指先が、描画した仮想オブジェクトの位置と交差するか否か、およびジェスチャ認識部４１により認識された自装置に接近しつつある人の一部が、描画した仮想物体の位置と交差するか否かを判定する。
仮想オブジェクト描画制御部４３は、撮像部３２により撮像された画像に基づいて、利用者の視界を遮るような壁状の不透明な仮想オブジェクトを描画して、実空間内に存在するように表示部３５に表示する制御を行う。
具体的には、仮想オブジェクト描画制御部４３は、自装置を装着している利用者の、少なくとも前方に壁状の不透明な仮想オブジェクトが表示されるように表示部３５を制御する。
より具体的には、仮想オブジェクト描画制御部４３は、自装置を装着している利用者の周囲を囲うように壁状の不透明な仮想物体が表示されるように表示部３５を制御する。
さらに、ジェスチャ認識部４１により利用者の指先の位置が認識された場合、仮想オブジェクト描画制御部４３は、自装置からジェスチャ認識部４１により認識された利用者の指先の位置までの距離の２倍を一辺の長さとする正四角柱状に、４つの壁状の仮想オブジェクトを表示部３５に表示する。
そして、仮想オブジェクト描画制御部４３は、ジェスチャ認識部４１により認識された利用者の指先が、描画した仮想オブジェクトの位置と交差した場合、表示部３５に表示した仮想オブジェクトを半透明に変化または消去する。
また、仮想オブジェクト描画制御部４３は、ジェスチャ認識部４１により認識された利用者の指先が、描画した仮想オブジェクトの位置と交差した場合、仮想オブジェクトへの接触位置に応じて、表示部３５に表示した仮想オブジェクトの色彩、表示位置、形状または大きさのうちの少なくとも１つの属性を変更する。
また、仮想オブジェクト描画制御部４３は、ジェスチャ認識部４１により認識された、自装置に接近しつつある人の指先等の一部が、描画した仮想オブジェクトの位置と交差した場合、表示部３５に表示した仮想オブジェクトを半透明に変化または消去する。
さらに、仮想オブジェクト描画制御部４３は、予め設定された事象が発生した場合、発生した事象に応じた文字情報を、描画した仮想オブジェクト上に表示するような制御を行う。例えば、管理サーバ２０において緊急地震速報等の緊急情報を受信するというような事象が発生した場合、「地震が発生しました！」等いうような文字情報を仮想オブジェクト上に表示する。
また、管理サーバ２０は、複数のＨＭＤ１０において表示部に表示しているそれぞれの仮想オブジェクトの属性情報を格納し、あるＨＭＤ１０において表示部に表示している仮想オブジェクトを、異なるＨＭＤ１０の表示部にも表示させるような制御を行う。
また、この複数のＨＭＤ１０にそれぞれ異なるＩＤ（識別情報）を設定しておくことにより、管理サーバ２０は、予め登録されたＩＤが設定されたＨＭＤ１０に対してのみ、あるＨＭＤ１０において表示されている仮想オブジェクトを表示するようにすることができる。
さらに、複数のＨＭＤ１０は、それぞれ自装置の現在位置を検出する位置姿勢検出部３１を備えている。そのため、管理サーバ２０は、あるＨＭＤ１０に対して表示している仮想オブジェクトを、予め設定された距離、例えば１０ｍ以内に存在する他のＨＭＤ１０に対してのみ表示するよう制御することも可能である。
さらに、管理サーバ２０は、あるＨＭＤ１０に対して表示している仮想オブジェクトの外側に文字情報を表示した状態で、他のＨＭＤ１０に対して表示するよう制御するようにしても良い。例えば、あるＨＭＤ１０に対して表示している壁状の仮想オブジェクトの外側に「仕事中」という文字情報を表示させた状態で、他のＨＭＤ１０において表示するようにすれば、その他のＨＭＤ１０を装着している利用者は壁状の仮想オブジェクト内にいる利用者は仕事中であることを知って邪魔しないようにすることを期待できる。
次に、上記で説明したＨＭＤ１０の外観を図４に示す。ＨＭＤ１０は、図４に示されるように、装着した利用者が外部の様子を視認可能な透明な表示部３５を備えている。そして、ＨＭＤ１０の一部には、外部の様子を撮像するための撮像部３２が設けられており、利用者が透過型の表示部３５を介して視認している外部の様子の画像を撮像することができるような構成となっている。
このようなＨＭＤ１０を頭部に装着した場合の様子を図５に示す。図５を参照すると、ＨＭＤ１０を装着した利用者は、目が表示部３５により覆われているが、この表示部３５が透過型であるため外部の様子を視認することができるようになっているのが分かる。
次に、本実施形態のＨＭＤ１０において仮想オブジェクトの表示命令を受けた場合の動作を図６のフローチャートを参照して説明する。例えば、ＨＭＤ１０に装着されているスイッチを利用者が押下することにより仮想オブジェクトの表示命令が行われたことになる。
先ず、利用者が、図７に示すように腕を伸ばして指先が撮像部３２により撮像されるようにする。すると、ジェスチャ認識部４１が、撮像部３２により撮像された画像から、利用者の指先の位置を認識して特定する（ステップＳ１０１）。
そして、ジェスチャ認識部４１は、撮像部３２により撮像された画像から、特定した指先の位置までの距離を算出する（ステップＳ１０２）。ここでは、図７に示すように算出された距離がａであるものとして説明を行う。
すると、仮想オブジェクト描画制御部４３では、図８に示すように、自装置からジェスチャ認識部４１により認識された利用者の指先の位置までの距離ａの２倍を一辺の長さとする正四角柱状に、４つの壁状の仮想オブジェクト７０を描画して表示部３５に表示する。
仮想オブジェクト７０を表示する際の、この仮想オブジェクト７０の上面図例を図９に示す。図９（Ａ）は、仮想オブジェクト７０が表示される前の様子を示す図であり、図９（Ｂ）は、仮想オブジェクト７０が表示された後の様子を示す図である。図９（Ｂ）では、机の前に座っている利用者（ユーザ）の周囲に４つの壁状の物体からなる仮想オブジェクト７０が配置されているように表示されている。
また、この仮想オブジェクト７０が表示された状態を斜め後ろから見た場合の斜視図を図１０に示す。
なお、図９、図１０は共に、仮想オブジェクト７０の表示位置や形状を模式的に示すものであり、ＨＭＤ１０を装着していない人が見た場合にはこのような仮想オブジェクト７０が見える訳ではない。
次に、このような仮想オブジェクト７０が表示部３５に表示されたことにより利用者の視界がどのように変化するかを図１１、図１２を参照して説明する。
図１１は、仮想オブジェクト７０が表示部３５に表示される前の利用者の視界の様子を模式的に示す図である。また、図１２は、仮想オブジェクト７０が表示部３５に表示された後の利用者の視界の様子を模式的に示す図である。
図１２を参照すると、利用者が座っている机の周囲に仮想オブジェクト７０が存在するように表示されており、利用者は周囲の他の人等の動きに注意を奪われることなく自己の業務に集中することができるような環境が実現されているのが分かる。
そして、図６のフローチャートの説明に戻り、仮想オブジェクト７０が表示された後において、交差判定部４２は、撮像部３２により撮像されジェスチャ認識部４１に認識された利用者の指先と、表示されている仮想オブジェクト７０との交差判定を行う（ステップＳ１０４）。
そして、利用者の指先と表示した仮想オブジェクト７０とが交差していると判定された場合（ステップＳ１０５においてｙｅｓ）、仮想オブジェクト描画制御部４３は、交差している位置や時間等に応じて、仮想オブジェクト７０を半透明にしたり消去したり、または指先の位置に応じて仮想オブジェクト７０の表示位置の移動や形状の変形等を行う（ステップＳ１０６、Ｓ１０７）。
例えば、指先が仮想オブジェクト７０に短い時間だけ触れたような場合、図１３に示すように仮想オブジェクト７０の色彩をサイクリックに変化させるようにしても良い。例えば、最初は仮想オブジェクト７０を青色に表示して、１回指先により触れると緑色に変化し、次に触れると赤色に変化するというように順次仮想オブジェクト７０の色彩を変化させる。
また、図１４に示すように、仮想オブジェクト７０の特定の辺を一定時間以上指先で触れた場合には、その辺を指先の移動に伴って平行移動させるようにしても良い。図１４では、壁状の仮想オブジェクト７０の高さを変更する様子が示されている。
また、図１５に示すように、仮想オブジェクト７０のある面を一定時間以上触れた状態とすることにより、その面を指先の移動に伴って平行移動させて表示位置を変化させるようにしても良い。図１５では、利用者の前面の壁状の仮想オブジェクト７０の表示位置を奥方向に移動させて変更する様子が示されている。
なお、このような仮想オブジェクト７０を利用者に仮想的に表示させることにより利用者が自己の仕事に集中することができるが、周囲の状況が見えなくなることにより周囲の状況変化に気が付かなくなる。
そのため、管理サーバ２０がある特定の事象の発生を検出した場合、その事象が発生したことを文字情報等により仮想オブジェクト７０上に表示させるようにしても良い。例えば、管理サーバ２０が緊急地震速報を受信した場合、ＨＭＤ１０にその旨を送信することにより、ＨＭＤ１０内の仮想オブジェクト描画制御部４３は、図１６に示すように、「緊急地震速報を受信しました！」という文字情報を仮想オブジェクト７０上に表示する。
また、撮像部３２が撮像している画像により、ジェスチャ認識部４１が、人が接近していることを検出した場合、図１７に示すように、「人が接近しています！」という文字情報を仮想オブジェクト７０上に表示する。
そして、さらに人が接近して、交差判定部４２が接近した人と仮想オブジェクト７０との交差を判定した場合、仮想オブジェクト描画制御部４３は、図１８に示すように、接近してきた人８０と交差した面を半透明にするか、または消去する。このようにすることにより、利用者は、接近してきた人８０を視認することができ、近くまで人が接近したことを把握することができる。
また、自分から周囲の状況を知りたい場合には、例えば、図１９（Ａ）に示すように、仮想オブジェクト７０のある面を指先により触るような動作をすることにより、仮想オブジェクト描画制御部４３は、図１９（Ｂ）に示すように、その面を半透明にするか、または消去する。このようにすることにより、利用者は、周囲の状況を視認することができ、現在の周囲の状況がどのようになっているかを把握することができる。
さらに、あるＨＭＤ１０において表示されている仮想オブジェクト７０の属性情報は管理サーバ２０に格納されているため、ＨＭＤ１０を装着している他の人にも仮想オブジェクト７０が存在するように見せることが可能である。
例えば、図２０に示すように、仮想オブジェクト７０を表示させて仕事をしている利用者とは異なる他の利用者９０のＨＭＤ１０にも仮想オブジェクト７０を表示させることにより、この利用者９０から見た場合に仮想オブジェクト７０が実空間内に存在するように見せることが可能である。
また、各ＨＭＤ１０にそれぞれ識別情報を対応させておくことにより、自己の周囲の仮想オブジェクト７０を特定の識別情報のＨＭＤ１０に対してのみ表示させることにより、特定の人からのコンタクトをシャットアウトするようなことも可能となる。
また、仮想オブジェクト７０の外側に予め入力した文字情報を表示させることも可能であり、図２０に示した例では、「仕事中です！」という文字情報が表示されている。
なお、このような場合、それぞれのＨＭＤ１０の実際の位置は管理サーバ２０により管理されているため、２つのＨＭＤ１０の距離が予め設定された距離以内、例えば２ｍ以内となり近接したと判定した場合、仮想オブジェクト描画制御部４３は、図２１に示すように、表示している仮想オブジェクト７０を半透明にするか、または消去してお互いが接近したことを把握することができるようにしても良い。
なお、仮想オブジェクト描画制御部４３は、撮像部３２により撮像された画像から、奥行方向の距離を算出して仮想オブジェクト７０を重ね合わせる位置を判定している。そのため、仮想オブジェクト７０の表示位置よりも遠い位置の画像は見えなくなるような描画処理が行われる。
しかし、図２２に示すように、奥行方向のある仮想オブジェクト７１を表示する場合、この仮想オブジェクト７１の奥行距離が仮想オブジェクト７０の表示位置よりも遠い場合でも、仮想オブジェクト７０の手前に仮想オブジェクト７１を表示する。例えば、壁状の不透過の仮想オブジェクト７１が１ｍ先に表示され、仮想オブジェクト７１の奥行が４ｍある場合も、仮想オブジェクト７１を仮想オブジェクト７０の手前に表示することにより、仮想オブジェクト７１の全体が見えるように表示することが可能である。
［変形例］
上記実施形態では、平面形状の壁状の仮想オブジェクトを表示する場合を用いて説明したが、本発明はこれに限定されるものではなく、柱状の仮想オブジェクトや球面状の仮想オブジェクトを表示する場合でも同様に本発明を適用することができるものである。
１０ ＨＭＤ（ヘッドマウントディスプレイ：頭部装着型表示装置）
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ 通信インタフェース（ＩＦ）
１５ 位置測定部
１６ センサ
１７ カメラ
１８ 表示装置
１９ 制御バス
２０ 管理サーバ
３０ 無線ＬＡＮターミナル
３１ 位置姿勢検出部
３２ 撮像部
３３ 演算処理部
３４ 通信部
３５ 表示部
４１ ジェスチャ認識部
４２ 交差判定部
４３ 仮想オブジェクト描画制御部
７０、７１ 仮想オブジェクト

Claims (12)

  1. 実空間の画像を撮像する撮像部と、
    実空間を視認可能な透過型表示部と、
    前記撮像部により撮像された画像に基づいて、利用者の視界を遮るような壁状の不透明な仮想物体を描画して、実空間内に存在するように前記透過型表示部に表示する制御を行う描画制御手段と、
    を備えた頭部装着型表示装置。
  2. 前記描画制御手段は、自装置を装着している利用者の、少なくとも前方に壁状の不透明な仮想物体が表示されるように前記透過型表示部を制御する請求項１記載の頭部装着型表示装置。
  3. 前記描画制御手段は、自装置を装着している利用者の周囲を囲うように壁状の不透明な仮想物体が表示されるように前記透過型表示部を制御する請求項１記載の頭部装着型表示装置。
  4. 前記撮像部により撮像された画像から、自装置を装着している利用者の指先の位置を認識する認識手段をさらに備え、
    前記描画制御手段は、前記認識手段により認識された利用者の指先の位置までの距離の２倍を一辺の長さとする正四角柱状に、４つの壁状の仮想物体を前記透過型表示部に表示する請求項１記載の頭部装着型表示装置。
  5. 前記撮像部により撮像された画像から、自装置を装着している利用者の指先の位置を認識する認識手段をさらに備え、
    前記描画制御手段は、前記認識手段により認識された利用者の指先が、描画した仮想物体の位置と交差した場合、前記透過型表示部に表示した仮想物体を半透明に変化または消去する請求項１から４のいずれか記載の頭部装着型表示装置。
  6. 前記撮像部により撮像された画像から、自装置を装着している利用者の指先の位置を認識する認識手段をさらに備え、
    前記描画制御手段は、前記認識手段により認識された利用者の指先が、描画した仮想物体の位置と交差した場合、仮想物体への接触位置に応じて、前記透過型表示部に表示した仮想物体の色彩、表示位置、形状または大きさのうちの少なくとも１つの属性を変更する請求項１から４のいずれか記載の頭部装着型表示装置。
  7. 前記撮像部により撮像された画像から、接近する人の位置を認識する認識手段をさらに備え、
    前記描画制御手段は、前記認識手段により認識された人の一部が、描画した仮想物体の位置と交差した場合、前記透過型表示部に表示した仮想物体を半透明に変化または消去する請求項１から４のいずれか記載の頭部装着型表示装置。
  8. 前記描画制御手段は、予め設定された事象が発生した場合、発生した事象に応じた文字情報を、描画した仮想物体上に表示するような制御を行う請求項１から７のいずれか記載の頭部装着型表示装置。
  9. 実空間の画像を撮像する撮像部と、実空間を視認可能な透過型表示部と、前記撮像部により撮像された画像に基づいて、利用者の視界を遮るような壁状の不透明な仮想物体を描画して、実空間内に存在するように前記透過型表示部に表示する制御を行う描画制御手段とを備えた複数の頭部装着型表示装置と、
    前記複数の頭部装着型表示装置において透過型表示部に表示しているそれぞれの仮想物体の属性情報を格納し、ある頭部装着型表示装置において透過型表示部に表示している仮想物体を、異なる頭部装着型表示装置の透過型表示部にも表示させるような制御を行う管理サーバと、
    を有する仮想物体表示システム。
  10. 前記複数の頭部装着型表示装置には、それぞれ識別情報が設定されており、
    前記管理サーバは、予め登録された識別情報が設定された頭部装着型表示装置に対して、他の頭部装着型表示装置において表示されている仮想物体を表示するよう制御する請求項９記載の仮想物体表示システム。
  11. 前記複数の頭部装着型表示装置は、それぞれ自装置の現在位置を検出する検出手段を備え、
    前記管理サーバは、ある頭部装着型表示装置に対して表示している仮想物体を、予め設定された距離内に存在する他の頭部装着型表示装置に対してのみ表示するよう制御する請求項９記載の仮想物体表示システム。
  12. 前記管理サーバは、ある頭部装着型表示装置に対して表示している仮想物体の外側に文字情報を表示した状態で、他の頭部装着型表示装置に対して表示するよう制御する請求項９記載の仮想物体表示システム。
JP2016241183A 2016-12-13 2016-12-13 頭部装着型表示装置、仮想物体表示システム Pending JP2018097141A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016241183A JP2018097141A (ja) 2016-12-13 2016-12-13 頭部装着型表示装置、仮想物体表示システム
US15/658,407 US20180165853A1 (en) 2016-12-13 2017-07-25 Head-mounted display apparatus and virtual object display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016241183A JP2018097141A (ja) 2016-12-13 2016-12-13 頭部装着型表示装置、仮想物体表示システム

Publications (1)

Publication Number Publication Date
JP2018097141A true JP2018097141A (ja) 2018-06-21

Family

ID=62489246

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016241183A Pending JP2018097141A (ja) 2016-12-13 2016-12-13 頭部装着型表示装置、仮想物体表示システム

Country Status (2)

Country Link
US (1) US20180165853A1 (ja)
JP (1) JP2018097141A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291266B (zh) * 2017-06-21 2018-08-31 腾讯科技（深圳）有限公司 图像显示的方法和装置
US10937215B1 (en) 2017-09-29 2021-03-02 Apple Inc. Techniques for enabling drawing in a computer-generated reality environment
CN108182730B (zh) * 2018-01-12 2022-08-12 北京小米移动软件有限公司 虚实对象合成方法及装置
US11748679B2 (en) * 2019-05-10 2023-09-05 Accenture Global Solutions Limited Extended reality based immersive project workspace creation

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0711721A (ja) * 1993-06-28 1995-01-13 Mitsubishi Denki Bill Techno Service Kk パーテーション設備
JP2000002856A (ja) * 1998-02-25 2000-01-07 Semiconductor Energy Lab Co Ltd 情報処理装置
JP2003304939A (ja) * 2002-04-15 2003-10-28 Nishi Jimukisha:Kk 側方視界遮断機能を有する学習机
JP2004150255A (ja) * 2002-09-06 2004-05-27 Koichi Matsuda 個室ボックス
US20120206452A1 (en) * 2010-10-15 2012-08-16 Geisner Kevin A Realistic occlusion for a head mounted augmented reality display
JP2014514652A (ja) * 2011-03-29 2014-06-19 クアルコム，インコーポレイテッド 骨格追跡を使用した物理的表面上への仮想投影上での選択的な手のオクルージョン
WO2014156388A1 (ja) * 2013-03-29 2014-10-02 ソニー株式会社 情報処理装置、通知状態制御方法及びプログラム
JP2015225025A (ja) * 2014-05-29 2015-12-14 株式会社日立システムズ 眼鏡型のウェアラブル端末および該ウェアラブル端末を使用する建屋内行先誘導システム
WO2016014875A2 (en) * 2014-07-25 2016-01-28 Microsoft Technology Licensing, Llc Smart transparency for holographic objects

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4642538B2 (ja) * 2005-04-20 2011-03-02 キヤノン株式会社 画像処理方法および画像処理装置
US20120113141A1 (en) * 2010-11-09 2012-05-10 Cbs Interactive Inc. Techniques to visualize products using augmented reality
US8558759B1 (en) * 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
KR101859774B1 (ko) * 2011-12-27 2018-05-18 한국전자통신연구원 디지털 홀로그래픽 콘텐츠 제작 시스템
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US9383895B1 (en) * 2012-05-05 2016-07-05 F. Vinayak Methods and systems for interactively producing shapes in three-dimensional space
WO2014113455A1 (en) * 2013-01-15 2014-07-24 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for generating an augmented scene display
US10055888B2 (en) * 2015-04-28 2018-08-21 Microsoft Technology Licensing, Llc Producing and consuming metadata within multi-dimensional data
KR102701209B1 (ko) * 2015-10-20 2024-08-29 매직 립, 인코포레이티드 3차원 공간에서 가상 객체들 선택
US20170372499A1 (en) * 2016-06-27 2017-12-28 Google Inc. Generating visual cues related to virtual objects in an augmented and/or virtual reality environment

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0711721A (ja) * 1993-06-28 1995-01-13 Mitsubishi Denki Bill Techno Service Kk パーテーション設備
JP2000002856A (ja) * 1998-02-25 2000-01-07 Semiconductor Energy Lab Co Ltd 情報処理装置
JP2003304939A (ja) * 2002-04-15 2003-10-28 Nishi Jimukisha:Kk 側方視界遮断機能を有する学習机
JP2004150255A (ja) * 2002-09-06 2004-05-27 Koichi Matsuda 個室ボックス
US20120206452A1 (en) * 2010-10-15 2012-08-16 Geisner Kevin A Realistic occlusion for a head mounted augmented reality display
JP2014514652A (ja) * 2011-03-29 2014-06-19 クアルコム，インコーポレイテッド 骨格追跡を使用した物理的表面上への仮想投影上での選択的な手のオクルージョン
WO2014156388A1 (ja) * 2013-03-29 2014-10-02 ソニー株式会社 情報処理装置、通知状態制御方法及びプログラム
JP2015225025A (ja) * 2014-05-29 2015-12-14 株式会社日立システムズ 眼鏡型のウェアラブル端末および該ウェアラブル端末を使用する建屋内行先誘導システム
WO2016014875A2 (en) * 2014-07-25 2016-01-28 Microsoft Technology Licensing, Llc Smart transparency for holographic objects

Also Published As

Publication number Publication date
US20180165853A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
JP5966510B2 (ja) 情報処理システム
US9778464B2 (en) Shape recognition device, shape recognition program, and shape recognition method
KR20230026505A (ko) 객체 조작을 사용한 증강 현실 경험들
CN105659295B (zh) 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备
US9979946B2 (en) I/O device, I/O program, and I/O method
US9268410B2 (en) Image processing device, image processing method, and program
CN112328078A (zh) 处理三维用户输入的方法
US20150378159A1 (en) Display control device, display control program, and display control method
KR20230029885A (ko) 말 풍선들 및 번역을 갖는 증강 현실 안경류
EP4172733A1 (en) Augmented reality eyewear 3d painting
US9906778B2 (en) Calibration device, calibration program, and calibration method
JP2018097141A (ja) 頭部装着型表示装置、仮想物体表示システム
US20210407213A1 (en) Augmented reality eyewear with 3d costumes
US10171800B2 (en) Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance
KR20230026503A (ko) 사회적 거리두기를 사용한 증강 현실 경험들
US12056826B2 (en) Head-mounted information processing apparatus and head-mounted display system
JP2019008623A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
EP4172732A1 (en) Augmented reality eyewear with mood sharing
JP2010205031A (ja) 入力位置特定方法、入力位置特定システムおよび入力位置特定用プログラム
US10296098B2 (en) Input/output device, input/output program, and input/output method
JP5215211B2 (ja) 関連情報表示位置特定システムおよび関連情報表示位置特定用プログラム
KR20190048810A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
JP2017134803A (ja) 情報処理装置、情報処理方法
WO2023278132A1 (en) Augmented reality eyewear with x-ray effect
US11972037B2 (en) Head mounted information processing apparatus and head mounted display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191125

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20201102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210831

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211102