JP2019117257A - 光照射装置、ヘッドマウントディスプレイ、仮想現実システム - Google Patents

光照射装置、ヘッドマウントディスプレイ、仮想現実システム Download PDF

Info

Publication number
JP2019117257A
JP2019117257A JP2017250579A JP2017250579A JP2019117257A JP 2019117257 A JP2019117257 A JP 2019117257A JP 2017250579 A JP2017250579 A JP 2017250579A JP 2017250579 A JP2017250579 A JP 2017250579A JP 2019117257 A JP2019117257 A JP 2019117257A
Authority
JP
Japan
Prior art keywords
light
mounted display
head mounted
signal
light irradiation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017250579A
Other languages
English (en)
Inventor
哲夫 榎本
Tetsuo Enomoto
哲夫 榎本
明子 池田
Akiko Ikeda
明子 池田
太郎 雨貝
Taro Amagai
太郎 雨貝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidec Corp
Original Assignee
Nidec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nidec Corp filed Critical Nidec Corp
Priority to JP2017250579A priority Critical patent/JP2019117257A/ja
Priority to US16/168,877 priority patent/US20190196580A1/en
Publication of JP2019117257A publication Critical patent/JP2019117257A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Optical Communication System (AREA)

Abstract

【課題】仮想現実システムにおいて、ユーザが装着したヘッドマウントディスプレイに適時に所望の情報を送信できるようにする。【解決手段】本発明の一実施形態は、ヘッドマウントディスプレイを装着したユーザが存在する実空間に対して光を照射する光照射装置であって、基準信号となる第1光を照射する第1光照射部と、基準信号に基づくタイミングで上記実空間を走査する走査信号となる第2光を照射する第2光照射部と、第1光照射部を制御する制御部と、を備える。上記基準信号は、ヘッドマウントディスプレイに通知すべき通知情報を含む。【選択図】図1

Description

本発明は、光照射装置、ヘッドマウントディスプレイ、および、仮想現実システムに関する。
ユーザの頭部にヘッドマウントディスプレイを装着させ、当該ヘッドマウントディスプレイに仮想空間の画像を表示させるようにした仮想現実システムが知られている。
仮想現実システムでは、実空間でのユーザの頭部の位置および向きを仮想空間の画像に反映させるために、ユーザが装着したヘッドマウントディスプレイの位置を追跡する場合がある。例えば、特許文献1に記載されたシステムでは、ユーザが存在する実空間にベースステーションが配置され、ヘッドマウントディスプレイに光受信機が設けられる。ベースステーションは、実空間を水平方向および垂直方向に掃引するビームを照射するとともに、当該ビームの掃引サイクルの開始時に、無指向性の光パルスにより同期信号を送信する。そして、同期信号の受信時刻からビームの受信時刻までの時間を計測することによって、ヘッドマウントディスプレイの位置が特定される。
米国特許出願公開第2016/0131761号明細書
しかしながら、上述した従来のシステムでは、ベースステーションからヘッドマウントディスプレイに向けて必要な情報を送信することができず、システムの運用を柔軟に変更することができなかった。例えば、従来のシステムでは、ビームの掃引速度を変更するコマンドやベースステーションの状態(エラー等)についての情報をヘッドマウントディスプレイに適時に送信することができなかった。
そこで、本発明は、仮想現実システムにおいて、ユーザが装着したヘッドマウントディスプレイに適時に所望の情報を送信できるようにすることを目的とする。
本願の例示的な第1発明は、ヘッドマウントディスプレイを装着したユーザが存在する実空間に対して光を照射する光照射装置であって、基準信号となる第1光を照射する第1光照射部と、前記基準信号に基づくタイミングで前記実空間を走査する走査信号となる第2光を照射する第2光照射部と、前記第1光照射部を制御する制御部と、を備え、前記基準信号が前記ヘッドマウントディスプレイに通知すべき通知情報を含む、光照射装置である。
本願の例示的な第2発明は、実空間に存在するユーザに装着され、前記ユーザに仮想空間を提供するヘッドマウントディスプレイであって、第1光を検出し、前記ヘッドマウントディスプレイに通知すべき通知情報を含む基準信号を取得する第1光検出部と、第2光を検出し、前記基準信号に基づくタイミングで前記実空間を走査する走査信号を取得する第2光検出部と、前記基準信号から前記通知情報を抽出する抽出部と、を備えたヘッドマウントディスプレイである。
本発明によれば、仮想現実システムにおいて、ユーザが装着したヘッドマウントディスプレイに適時に所望の情報を送信できるようになる。
第1の実施形態の仮想現実システムを示す図である。 第1の実施形態の光照射装置の斜視図である。 第1の実施形態の光照射装置の構成を示すブロック図である。 第1の実施形態のヘッドマウントディスプレイをユーザが装着した状態を示す斜視図である。 第1の実施形態のヘッドマウントディスプレイの構成を示すブロック図である。 第1の実施形態の光照射装置から送信される同期信号の構成例を説明する図である。 第1の実施形態の仮想現実システムにおける各種信号のタイミングチャートである。 第2の実施形態のヘッドマウントディスプレイの構成を示すブロック図である。 第2の実施形態のヘッドマウントディスプレイの抽出部に含まれるバンドパスフィルタの一例を示す回路図である。
(1)第1の実施形態
(1−1)第1の実施形態の仮想現実システム1のシステムの概要
以下、本発明の一実施形態に係る仮想現実システム1について説明する。
本実施形態の仮想現実システム1では、一例として、ユーザが頭部にヘッドマウントディスプレイ3を装着し、ヘッドマウントディスプレイ3を通してユーザに仮想現実の世界が提供される。すなわち、仮想現実システム1は、コンピュータを用いて人工的なデジタル環境を作り出し、あたかもユーザが当該環境にいるかのように感じさせる仮想現実の世界をユーザに提供する。仮想現実の世界では、ユーザの頭部の位置に応じてユーザにヘッドマウントディスプレイ3を通して提供される仮想現実画像を変更するように制御される。そのため、ユーザの目の向きに基づいた仮想現実の世界がユーザに見えるように、ユーザが装着したヘッドマウントディスプレイ3の位置を逐次正確に追跡することが必要となる。
なお、実施形態の説明において、ヘッドマウントディスプレイ3の位置とは、3次元の実空間(例えば、ユーザが実際に存在する部屋の空間)におけるヘッドマウントディスプレイ3の配置(向き、姿勢も含む。)を意味する。
そこで、本実施形態の仮想現実システム1では、ユーザが存在する実世界に対して無指向性のLED(Light Emitting Diode)光を照射し、かつ当該LED光の照射に同期してユーザが存在する実世界の走査を開始するレーザ光(ビーム)を照射することを定期的に繰り返し行う光照射装置2が設けられる。例えば、ユーザが存在する部屋を走査する場合、一定の走査速度で部屋全体を平面的なレーザ光で照射していく。また、ヘッドマウントディスプレイ3には、後述する光検出部が設けられる。光検出部は複数設けられるのが好ましい。
本実施形態の仮想現実システム1では、ヘッドマウントディスプレイ3の光検出部がLED光を受光した時刻とレーザ光を受光した時刻との差分により、レーザ光による走査開始位置とヘッドマウントディスプレイ3の光検出部の位置との角度が特定される。
好ましくは、レーザ光は、互いに直交する2方向の各々に沿って順に走査する。それによって、互いに直交する2方向の各々において、ヘッドマウントディスプレイ3の光検出部の走査開始位置からの角度が特定されるため、ヘッドマウントディスプレイ3の位置を3次元の実空間において特定することが可能となる。
なお、レーザ光の走査方向は直交する2方向に限定されない。例えば、走査する2方向のなす角が90度未満である場合、若しくは90度を超える場合であってもよい。
図1に、本実施形態の仮想現実システム1の構成例を示す。
図1に示すように、仮想現実システム1は、光照射装置2と、ユーザU1が装着するヘッドマウントディスプレイ3とを含む。光照射装置2とユーザU1は、所定の実空間RSに置かれている。実空間RSは、好ましくは、例えば部屋等の閉空間である。
光照射装置2は、ヘッドマウントディスプレイ3を装着したユーザU1が存在する実空間RSに対して光Lを照射する。光照射装置2は、照射する光Lが実空間RSの極力広い範囲をカバーできるような位置に配置される。ユーザU1は、実空間RS内を自由に移動し、ヘッドマウントディスプレイ3を通して所定のコンテンツの仮想現実の映像を見ることができる。
後述するが、光照射装置2から照射される光Lは、LED光Lsと、レーザ光Lh,Lvとを含む。上述したように、LED光Lsは、レーザ光Lh,Lvの照射タイミングの起点となるパルス信号である同期信号(基準信号の一例)となる光である。レーザ光Lh,Lvは、LED光Lsの照射時刻を起点として(すなわち、同期信号に基づくタイミングで)実空間RSを走査する走査信号となる光である。レーザ光Lhは実空間RSを水平方向に走査し、レーザ光Lvは実空間RSを垂直方向に走査する。
(1−2)本実施形態の光照射装置2
次に、本実施形態の光照射装置2について、図2および図3を参照して説明する。図2は、本実施形態の光照射装置2の斜視図である。図3は、本実施形態の光照射装置2の構成を示すブロック図である。
図2を参照すると、光照射装置2は、概ね直方体状の筐体2Bに、開口した光出射面2pが設けられた形態をなしている。なお、説明のために、図2に示す座標系が定義される。
図2に示すように、光出射面2pを通して2個のロータ243h,243vが設けられていることがわかる。ロータ243hは、光出射口243haと、z軸回りに回転して光出射口243haを水平方向に移動させる回転機構と、を備える。ロータ243vは、光出射口243vaと、y軸回りに回転して光出射口243vaを垂直方向に移動させる回転機構と、を備える。
図3に示すように、光照射装置2は、制御部21と、通信インタフェース(通信I/F)22と、光照射部23,24H,24Vと、を備える。光照射部23は第1光照射部の一例であり、光照射部24H,24Vはそれぞれ第2光照射部の一例である。
制御部21は、マイクロコントローラを備え、光照射装置2の全体の動作を制御する。例えば、制御部21は、LED光Ls、およびレーザ光Lh,Lvの発光タイミングを決定し、設定されている回転速度でロータ243h,243vが回転するように制御する。
通信インタフェース22は、図示しない外部のコンピュータ装置(図示せず)との間で無線若しくは有線で通信可能に接続される。通信インタフェース22は、コンピュータ装置から受信するコマンドを制御部21へ送信する。コマンドは、例えば光照射装置2のロータ243h,243vの回転速度を含む各種パラメータを変更するための指令である。
光照射部23は、同期信号となるLED光Ls(第1光の一例)を照射する。光照射部24H,24Vは、それぞれ、当該同期信号に基づくタイミングで実空間RSを走査する走査信号となるレーザ光Lh,Lv(第2光の一例)を照射する。
光照射部23は、LED駆動部231とLEDユニット232を含む。LEDユニット232は、1又は複数のLEDを有する。LED駆動部231は、制御部21から受信する制御信号に基づいてLEDユニット232に含まれる各LEDを駆動する駆動信号を生成する駆動回路を有する。LEDユニット232の各LEDが点灯することにより、光照射部23から無指向性のLED光Lsが出射する。
前述したように、LED光Lsは同期信号となる光である。本実施形態では、同期信号は、パルパルス信号であり、ヘッドマウントディスプレイ3に通知すべき通知情報を含む。通知情報を含むパルス信号を生成するために、制御部21により、LEDユニット232が所定のパターンで明滅するように制御される。通知情報については後述する。
光照射部24Hは、レーザダイオード(LD)駆動部241h、レーザダイオード(LD)ユニット242h、ロータ243h、モータ駆動部244h、およびモータ245hを含む。
LD駆動部241hは、LDユニット242hを駆動するための所定の定電流を生成する。また、LD駆動部241hは、LDユニット242hに接続されるスイッチ素子を備え、制御部21から受信する制御信号に基づいてスイッチ素子をON/OFFすることにより、LDユニット242hに対する通電を制御する。
LDユニット242hは、例えば、1又は複数のレーザダイオードを含む。LDユニット242hが単体のレーザダイオードを有する場合には、LDユニット242hは直接レーザ光Lhを出力し、LDユニット242hが複数のレーザダイオードを有する場合には、集光装置を用いて複数のレーザダイオードからのレーザ光を集光してレーザ光Lhを出力する。
モータ駆動部244hは、制御部21から受信する制御信号に基づいてモータ245hを駆動するための駆動電流を生成する。モータ245hは、如何なる形式のモータでもよいが、例えばDCブラシレスモータである。モータ駆動部244hによる駆動電流によって、モータ245hは、所定のタイミングでロータ243hの回転を開始させ、所定の回転速度でロータ243hを回転させる。
ロータ243hには光学系2430hが内蔵されている。光学系2430hは、LDユニット242hから送出されたレーザ光を光出射口243haまで導く1又は複数のレンズを有し、平面状のレーザ光を出射するために設けられる。
以上の構成により、光照射部24Hは、制御部21から指示されるタイミングで平面状のレーザ光Lhの照射を開始するとともに、ロータ243hを水平方向に回転させることで水平方向に走査する走査信号となるレーザ光Lhを照射する。
光照射部24Vは、LD駆動部241v、LDユニット242v、ロータ243v、モータ駆動部244v、およびモータ245vを含む。光照射部24Vは光照射部24Hと同様の構成であり、光照射部24Hと同様に動作するが、ロータ243vを垂直方向に回転させることで垂直方向に走査する走査信号となるレーザ光Lvを照射する点が光照射部24Hと異なる。
すなわち、本実施形態の走査信号は、互いに直交する2方向の各々に沿って実空間RSを順に走査するための、レーザ光Lhによる第1走査信号、および、レーザ光Lvによる第2走査信号を含む。
(1−3)本実施形態のヘッドマウントディスプレイ3
次に、本実施形態のヘッドマウントディスプレイ3について、図4〜6を参照して説明する。図4は、ユーザが本実施形態のヘッドマウントディスプレイ3を装着した状態を示す斜視図である。図5は、本実施形態のヘッドマウントディスプレイ3の構成を示すブロック図である。図6は、本実施形態の光照射装置2から送信される同期信号の構成例を説明する図である。
図4を参照すると、ヘッドマウントディスプレイ3は、ユーザU1の頭部に装着するゴーグル型の表示装置である。なお、図4に示すヘッドマウントディスプレイ3の形態は一例に過ぎず、ヘルメット型であってもよい。また、図4に示すヘッドマウントディスプレイ3は、目を完全に覆う非透過型(没入タイプ)であるが、その限りでなく、周囲が見える透過型であってもよい。
ヘッドマウントディスプレイ3は、本体部3Bと、本体部3Bを頭部に装着するためのヘッドバンド3hとを備える。本体部3Bには、複数の光検出部32−1〜32−4が設けられている。図4に示す例では4個の光検出部が設けられているが、光検出部の数は限定されない。なお、以下の説明において光検出部32−1〜32−4の各々に共通して言及するときには、総称して「光検出部32」という。
図5を参照すると、ヘッドマウントディスプレイ3は、制御部31、光検出部32、ストレージ34、表示部35、および、音声出力部36を備える。
制御部31は、マイクロコントローラを備え、ヘッドマウントディスプレイ3の全体の動作を制御する。
光検出部32は、受光素子としてフォトダイオードと、フォトダイオードによる光電変換によって得られた電気信号を必要に応じて増幅する電子回路とを含む。フォトダイオードは受光素子の一例に過ぎず、光を検出可能な機構であれば如何なる構成でもよい。例えば、受光素子としてフォトレジスタを適用してもよい。
光検出部32は、第1光検出部および第2光検出部の一例である。すなわち、第1光検出部としての光検出部32は、光照射装置2から照射されるLED光Lsを検出し、ヘッドマウントディスプレイ3に対する通知情報を含む同期信号を取得する。第2光検出部としての光検出部32は、光照射装置2から照射されるレーザ光Lh,Lvを検出し、同期信号に基づくタイミングで実空間RSを走査する走査信号を取得する。
同期信号に含まれる通知情報には、第1情報および第2情報のうち少なくともいずれかの情報が含まれる。ここで、第1情報は、ヘッドマウントディスプレイ3を特定する情報である。第2情報は、光照射装置2の動作状態、光照射装置2の設定を示す情報、および、光照射装置2の設定の変更指令を示す情報のうち、少なくともいずれかの情報である。
光照射装置2の動作状態とは、例えば、光照射装置2の正常、エラー等の状態を示す情報である。光照射装置2の設定を示す情報とは、例えば、ロータ243h,243vの回転速度等、光照射装置2の設定パラメータの情報である。光照射装置2の設定の変更指令を示す情報とは、例えば、ロータ243h,243vの回転速度を変更させるコマンド等の情報である。
第1情報および第2情報は上述した例示に限られず、システム上有用な、如何なる情報を含んでもよい。
図6に示す第1の例(EX1)では、パルス信号である同期信号Syncの中に、開始ビット(start bit)、8ビットのデータ列(DATA)、および、誤り検出符号であるCRC(Cyclic Redundancy Check)を含むビット列からなる通知情報が重畳されている例が示される。開始ビットは、通知情報の送信開始を受信側に認識させるための符号である。8ビットのデータ列の中に、上記第1情報および上記第2情報のうち少なくともいずれかの情報が組み込まれる。
第1の例の通知情報は、比較的短いビット列からなるため、同期信号Syncに占める通知情報の情報量が少なくて済む。
図6に示す第2の例(EX2)では、同期信号Syncの中に、開始ID(start ID)、システムID(system ID)、データ列(DATA)、終了ID(stop ID)、および、誤り検出符号であるCRCを含むビット列からなる通知情報が重畳されている例が示される。開始IDは、通知情報の送信開始を受信側に認識させるための符号である。システムIDは、他のユーザ向けの同期信号と区別するために、送信先のユーザが利用するシステム(あるいはコンテンツ)に特有のIDが割り当てられる。データ列(DATA)には、第1の例と同様に、上記第1情報および上記第2情報のうち少なくともいずれかの情報が組み込まれる。終了IDは、通知情報の送信の終了を受信側に認識させるための符号である。
第2の例の通知情報は、比較的長いビット列からなるため、伝送レートを高く設定することが好ましい。
図6の各例に示すパルス信号は、制御部21が光照射部23を制御することにより、出射するLED光Lsを明滅させることで生成される。
再度図5を参照すると、ヘッドマウントディスプレイ3の制御部31は、光検出部32によって検出された検出信号である同期信号をA/D(Analog to Digital)変換し、CRCによる誤り検出を行い、ヘッドマウントディスプレイ3からの通知情報を取得する。制御部31はさらに、同期信号の受信時刻を記録する。
本実施形態では、制御部31は、同期信号からヘッドマウントディスプレイ3に通知すべき通知情報を抽出する抽出部の一例である。
以上説明したように、本実施形態の仮想現実システム1では、同期信号の送受信を通して、光照射装置2とヘッドマウントディスプレイ3の間でシリアル通信が行われる。
光検出部32は、光照射装置2から照射されるレーザ光Lh,Lvを検出し、走査信号のアナログ値を取得する。
制御部31は、光検出部32によって取得した走査信号をA/D変換して取り込むとともに、走査信号の受信時刻を記録する。次いで、制御部31は、以下の(i)〜(iv)の処理を行う。
(i) 同期信号の受信時刻と、走査信号の受信時刻との差分値を算出する処理
(ii) ロータ243h,243vの回転速度と差分値と基づいて、実空間RSにおける走査開始位置からの光検出部32の角度を水平方向および垂直方向の2方向で算出する処理
(iii) (ii)で算出した角度から光検出部32の位置(光検出部32−1〜32−4の各々の位置)を特定する処理
(iv) (iii)の結果に基づいて、ヘッドマウントディスプレイ3の位置を特定する処理
再度図5を参照すると、ストレージ34には、ユーザU1がヘッドマウントディスプレイ3を装着することで視聴する仮想現実用コンテンツ(例えば、ゲームコンテンツ等)を再生するためのアプリケーションが格納されている。ヘッドマウントディスプレイ3が起動すると、制御部31は、ストレージ34からアプリケーションをロードして実行することで、ユーザに仮想現実用コンテンツを提供する。
表示部35は、ヘッドマウントディスプレイ3の本体部3Bに取り付けられる表示パネルを含み、制御部31によるアプリケーションの実行結果に基づいて仮想現実の画像を表示する。このとき、制御部31において逐次算出されるヘッドマウントディスプレイ3の位置に基づいて、仮想空間の視点を調整した画像が表示部35に表示される。
音声出力部36は、図示しないスピーカを含み、制御部31によるアプリケーションの実行結果に基づいて音声を出力する。
(1−4)本実施形態の仮想現実システム1の動作
次に、本実施形態の仮想現実システム1の動作について、図7を参照して説明する。図7は、本実施形態の仮想現実システム1における各種信号のタイミングチャートである。
図7には、同期信号Sync、水平方向の走査信号Scan_H、垂直方向の走査信号Scan_V、光検出部32による検出信号Sensの各信号のタイミングチャートが含まれる。
図7では、一例として、光照射装置2は、同期信号Syncを送信した後、水平方向の走査信号Scan_Hと水平方向の走査信号Scan_Hを連続して送信する場合を例示しているが、その限りではない。同期信号Syncを送信した後に水平方向の走査信号Scan_Hを送信し、再度同期信号Syncを送信してから垂直方向の走査信号Scan_Vを送信してもよい。なお、水平方向の走査信号Scan_Hと垂直方向の走査信号Scan_Vの送信順序はこの順序でなくてもよく、垂直方向の走査信号Scan_Vを先に送信してもよい。
図7に示す例では、時刻t1〜t2の間に光照射装置2が同期信号SyncとなるLED光Lsを照射し、同期信号Syncの立下りエッジ(時刻t2)に同期して水平方向の走査信号Scan_Hとなるレーザ光Lhの照射が開始される。時刻t2〜t4の間に、水平方向の走査信号Scan_Hとなるレーザ光Lhの照射が行われる。
時刻t2〜t4の間の時刻td1〜td4に、それぞれヘッドマウントディスプレイ3の光検出部32−1〜32−4で検出信号Sensが観測される。そして、ヘッドマウントディスプレイ3の制御部31は、時刻t2と時刻td1〜td4の差分値(図7では、総称して「ΔT_H」)を算出し、実空間における走査開始位置からの各光検出部32の水平方向の角度を算出する。
水平方向の走査信号Scan_Hとなるレーザ光Lhの照射が終了する時刻t4には、垂直方向の走査信号Scan_Vとなるレーザ光Lvの照射が開始される。時刻t4〜t6の間に、垂直方向の走査信号Scan_Vとなるレーザ光Lvの照射が行われる。
時刻t4〜t6の間の時刻td5〜td8に、それぞれヘッドマウントディスプレイ3の光検出部32−1〜32−4で検出信号Sensが観測される。そして、ヘッドマウントディスプレイ3の制御部31は、時刻t4と時刻td5〜td8の差分値(図7では、総称して「ΔT_V」)を算出し、実空間における走査開始位置からの各光検出部32の垂直方向の角度を算出する。
時刻t1〜t6により1サイクルの処理が完了することになる。時刻t6の時点で、ヘッドマウントディスプレイ3の制御部31は、ヘッドマウントディスプレイ3に取り付けられた各光検出部32の水平方向および垂直方向の照射開始位置を基準とした実空間RS内の位置を特定する。それによって、ヘッドマウントディスプレイ3の位置を特定することができる。
時刻t6に再度、同期信号SyncとなるLED光Lsの照射が開始され、以後、ヘッドマウントディスプレイ3の位置を特定する処理が繰り返し行われる。例えば、60Hz(1サイクル:約16.7ms)で動作する。
以上説明したように、本実施形態の仮想現実システム1では、光照射装置2が、同期信号となるLED光を照射し、同期信号に同期して走査信号となるレーザ光の照射を行うというサイクルを繰り返し行うことにより、ヘッドマウントディスプレイ3の位置が逐次追跡される。そして、ヘッドマウントディスプレイ3の位置に応じて、ヘッドマウントディスプレイ3で再生される仮想現実の画像の表示が制御され、ユーザの頭部の向きに応じた仮想現実の世界が再現される。
本実施形態では、定期的に光照射装置2からヘッドマウントディスプレイ3に向けて送信される同期信号に、ヘッドマウントディスプレイ3に通知すべき通知情報が含まれる。そのため、ヘッドマウントディスプレイ3側に有用な情報を適時に送信することが可能となる。そのような情報は、例えば、光照射装置2のエラーの有無や、光照射装置2での設定変更等の情報である。このような情報をヘッドマウントディスプレイ3側で適時に取得することができるため、ヘッドマウントディスプレイ3側で緊急時のエラー処理や、光照射装置2のロータの回転速度の変更に応じた処理等、直ちに必要な処理の実行に対処することができる。
(2)第2の実施形態
次に、本発明の仮想現実システムの第2の実施形態について説明する。なお、以下の説明では、主として第1の実施形態と異なる点について言及する。
本実施形態は、ユーザが存在する実空間に光学ノイズ(例えば、蛍光灯やリモコンの赤外線による光)がある場合であっても、光照射装置2と本実施形態のヘッドマウントディスプレイ3Aの間の通信に不都合が生じないようにすることを意図している。
従来、ユーザが存在する実空間に光学ノイズがある場合には、以下の問題が生じていた。例えば、光学ノイズによる光が光照射装置から照射されるLED光と干渉し、ヘッドマウントディスプレイの光検出部が光照射装置からの光を適切に検出できないか、若しくは誤検出する可能性があった。
また、同一の部屋で2以上の光照射装置を使用し、2以上のユーザがそれぞれ異なる仮想現実用コンテンツを視聴する状況では、あるユーザのヘッドマウントディスプレイの光検出部が別ユーザ向け(あるいは別コンテンツ向け)のLED光を受信することで、同期信号の受信タイミングにずれが生ずる場合がある。その場合、各ユーザがコンテンツを適切に視聴できない場合が生じていた。
そこで、本実施形態では、光照射装置2が送信するパルス信号の同期信号に、当該パルス信号よりも周波数が高い高周波信号として、ヘッドマウントディスプレイ3Aに通知すべき通知情報を重畳させる。同期信号に重畳させる高周波信号は、送信先のヘッドマウントディスプレイ3Aに予め割り当てられた周波数の信号とする。そして、光検出部32で検出した同期信号からフィルタにより高周波信号を抽出することで、ヘッドマウントディスプレイ3Aが目的とする(すなわち、自身宛の)通知情報を確実に得られるようにする。すなわち、光照射装置2以外の光学ノイズ、および別ユーザ向け(あるいは別コンテンツ向け)のLED光による信号をフィルタにより除去できるため、同期信号を通して通知情報をより確実にヘッドマウントディスプレイ3に送信することができるようになる。
(2−1)本実施形態のヘッドマウントディスプレイ3A
次に、本実施形態のヘッドマウントディスプレイ3Aについて、図8および図9を参照して説明する。図8は、本実施形態のヘッドマウントディスプレイ3Aの構成を示すブロック図である。図9は、本実施形態のヘッドマウントディスプレイ3Aの抽出部に含まれるバンドパスフィルタの一例を示す回路図である。
図8に示すように、本実施形態のヘッドマウントディスプレイ3Aは、第1の実施形態のヘッドマウントディスプレイ3(図5)と比較して、抽出部33が設けられる点で異なる。
図8に示す例では、抽出部33は、バンドパスフィルタ331,332と、スイッチ333とを備える。バンドパスフィルタ331,332は、それぞれ、パルス信号である同期信号から高周波信号(すなわち、通知情報)を抽出するフィルタである。スイッチ333は、制御部31によって切替可能となるアナログスイッチである。
バンドパスフィルタ331,332はそれぞれアナログのバンドパスフィルタであり、その回路構成例を図9に示す。
なお、図9は、アナログのバンドパスフィルタの一例に過ぎず、アナログのバンドパスフィルタとして様々な回路構成が知られている。本実施形態で用いられるバンドパスフィルタは、所望の通過中心周波数fが得られる限り、如何なる回路構成であってもよい。
図9に示す回路の伝達関数G(s)は以下の式(1)のとおりであり、通過中心周波数fは式(2)のとおりである。
Figure 2019117257
Figure 2019117257
図8の抽出部33では、バンドパスフィルタ331とバンドパスフィルタ332は、それぞれ異なる通過中心周波数fとなるように設定されている。すなわち、バンドパスフィルタ331の通過中心周波数fはF1であり、バンドパスフィルタ332の通過中心周波数fはF2(但し、F2≠F1)である。
本実施形態では、スイッチ333の一方の端子にバンドパスフィルタ331の出力端子が接続され、スイッチ333の他方の端子にバンドパスフィルタ332の出力端子が接続されている。スイッチ333の接続状態は、制御部31によって制御される。
図8に例示する構成において、異なる通過中心周波数fのバンドパスフィルタが切り替え可能に設けられている理由は、2つの異なるコンテンツ若しくはシステムにおいて、同期信号に含まれる通知情報を選択的に送信できるようにするためである。
例えば、同じ部屋で2ユーザがそれぞれ異なる仮想現実コンテンツCT1,CT2を視聴する場合、当該部屋に2台の光照射装置を設ける。そして、仮想現実コンテンツCT1に対応する光照射装置は周波数F1の通知信号を重畳させた同期信号を送信し、仮想現実コンテンツCT2に対応する光照射装置は周波数F2の通知信号を重畳させた同期信号を送信する。
仮想現実コンテンツCT1に対応するヘッドマウントディスプレイ3Aの制御部31は、通過中心周波数がF1となるバンドパスフィルタ331が選択されるようにスイッチ333を制御する。仮想現実コンテンツCT2に対応するヘッドマウントディスプレイ3Aの制御部31は、通過中心周波数がF2となるバンドパスフィルタ332が選択されるようにスイッチ333を制御する。このように、ヘッドマウントディスプレイ3Aにおいて、異なる通過中心周波数fのバンドパスフィルタを切り替え可能に設けることで、共通する実空間RS内において、異なるコンテンツを再生するヘッドマウントディスプレイ3A間で誤検出しないようにすることができる。
以上説明したように、本実施形態の仮想現実システムによれば、光照射装置が送信するパルス信号の同期信号に、当該パルス信号よりも周波数が高い高周波信号として通知情報を重畳する。そして、ヘッドマウントディスプレイ3Aの抽出部33では、光照射装置以外の他の光源、および別ユーザ向け(あるいは別コンテンツ向け)のLED光による信号をフィルタにより除去する。そのため、同期信号を通して通知情報をより確実にヘッドマウントディスプレイ3Aに送信することができる。
また、通知情報が高周波信号として同期信号に重畳されるため、通知情報の伝送効率が高いという利点がある。
図8に例示する構成では、切り替え可能なバンドパスフィルタは2つであるが、切り替え可能なバンドパスフィルタの数はその限りではない。3以上のそれぞれ異なる通過中心周波数fのバンドパスフィルタを切り替え可能に設けられることは、当業者であれば容易に理解できる。
部屋の蛍光灯等、他の光源からの光を除去する観点では、抽出部33は、単一のフィルタであってもよい。例えば、蛍光灯による光をノイズとして除去する場合、国内では一般的に蛍光灯は100Hz又は120Hzで点滅している。そのため、100Hz又は120Hzの光パルスの信号が十分に減衰するような単一のフィルタ(バンドパスフィルタに限らず、ローパスフィルタあるいはハイパスフィルタでもよい。)を設ければよい。
図8および図9に示す例では、アナログのバンドパスフィルタを設ける場合について説明したが、デジタルフィルタによって構成してもよい。その場合、制御部31内に、バンドパスフィルタ331,332にそれぞれ相当する2つのデジタルフィルタ(抽出部の一例)を設ける。制御部31は、光検出部32の検出信号をA/D変換してデジタル値に変換し、当該デジタル値に対して上記2つのデジタルフィルタによりフィルタリングを施す。そして、制御部31は、2つのデジタルフィルタの出力からいずれかの出力を選択して、目的とする(つまり、自身宛の)通知情報を取得する。
なお、デジタルフィルタは、FIR(Finite Impulse Response)型であってもよいし、IIR(Infinite Impulse Response)型であってもよい。
デジタルフィルタによって構成することで、通過中心周波数fの設定を容易に変更できるという利点がある。
また、図8および図9に示す例に代えて、制御部31内のマイクロコントローラに備わっているタイマを利用して、目的とする通知情報を取得する方法を採ってもよい。この方法では、ヘッドマウントディスプレイ3Aは、目的とする通知情報を含む信号の周波数が予め割り当てられているとする。
具体的には、制御部31は、光検出部32の検出信号をA/D変換してデジタル値に変換し、検出信号の隣接する立上りエッジ間(又は、隣接する立下りエッジ間)の時間Tsをタイマにより測定する。制御部31は、時間Tsが、割り当てられた周波数の逆数によって規定される所定の範囲内の値である場合には、受信した検出信号が目的とする信号であると判断する。
なお、検出信号にはノイズ成分や目的とする信号以外の信号が含まれている場合があるため、アナログフィルタあるいはデジタルフィルタと併用してノイズ成分や目的とする信号以外の信号を除去する構成とすることが好ましい。
以上、本発明の複数の実施形態について説明したが、本発明は上記各実施形態に限定されない。また、上記の各実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。
例えば、第2の実施形態では、光照射装置から送信されるパルス信号である同期信号に、当該パルス信号よりも周波数が高い高周波信号として、ヘッドマウントディスプレイに通知すべき通知情報を重畳させる場合について説明した。しかし、通知情報を同期信号に含ませる態様は、高周波信号による重畳に限られず、他の方法を採ってもよい。例えば、同期信号を振幅変調させることで、通知情報を同期信号に含ませるようにしてもよい。
上述した各実施形態では、光照射装置2から送信される同期信号に通知情報を含ませる場合について説明したが、光照射装置2から送信される走査信号にも通知情報を含ませてもよい。すなわち、図3において、光照射装置2の制御部21は、光照射部24H,24Vを制御し、レーザ光Lh,Lvを通して走査信号に通知情報を含ませるようにしてもよい。それによって、複数の光照射装置2が同一の部屋に配置される場合、通知情報としてヘッドマウントディスプレイ3を特定するIDを走査信号に含ませることで、ヘッドマウントディスプレイ3は、目的とする(つまり、自身宛の)走査信号を確実に受信することができるようになる。
上述した各実施形態では、第2光照射部の例である光照射部24H,24Vがレーザダイオード(半導体レーザ)を用いる場合について説明したが、その限りではない。他のタイプのレーザ(例えば、ガスレーザ、液体レーザ等)を適用してもよい。
上述した各実施形態では、ヘッドマウントディスプレイの光検出部が4個設けられている場合について説明したが、光検出部の数は限定されない。光検出部の数は、演算能力および/またはシステム要求に応じて適宜決定することができる。
1…仮想現実システム、2…光照射装置、2B…筐体、2p…光出射面、21…制御部、22…通信インタフェース、23,24H,24V…光照射部、231…LED駆動部、232…LED発光部、241h,241v…レーザ駆動部、242h,241v…レーザ発振器、243h,243v…ロータ、2430h,2430v…光学系、244h,244v…モータ駆動部、245h,245v…モータ、3,3A…ヘッドマウントディスプレイ、3B…本体部、3h…ヘッドバンド、31…制御部、32(32−1〜32−4)…光検出部、33…抽出部、331,332…バンドパスフィルタ、333…スイッチ、34…ストレージ、35…表示部、36…音声出力部、R1〜R3…抵抗、C1,C2…キャパシタ、OP1…オペアンプ、U1…ユーザ、RS…実空間、Ls…LED光、Lh,Lv…レーザ光

Claims (12)

  1. ヘッドマウントディスプレイを装着したユーザが存在する実空間に対して光を照射する光照射装置であって、
    基準信号となる第1光を照射する第1光照射部と、
    前記基準信号に基づくタイミングで前記実空間を走査する走査信号となる第2光を照射する第2光照射部と、
    前記第1光照射部を制御する制御部と、
    を備え、
    前記基準信号が前記ヘッドマウントディスプレイに通知すべき通知情報を含む、光照射装置。
  2. 前記基準信号はパルス信号であり、
    前記通知情報は、前記パルス信号よりも周波数が高い高周波信号として、前記パルス信号に重畳されている、
    請求項1に記載された光照射装置。
  3. 前記通知情報は、前記ヘッドマウントディスプレイを特定する第1情報を含む、
    請求項1又は2に記載された光照射装置。
  4. 前記通知情報は、前記光照射装置の動作状態、光照射装置の設定を示す情報、および、前記光照射装置の設定の変更指令を示す情報のうち、少なくともいずれかの情報である第2情報を含む、
    請求項1から3のいずれか1項に記載された光照射装置。
  5. 前記制御部は、前記第2光照射部を制御し、
    前記走査信号が前記通知情報を含む、
    請求項1から4のいずれか1項に記載された光照射装置。
  6. 前記走査信号は、互いに直交する2方向の各々に沿って前記実空間を順に走査するための第1走査信号および第2走査信号を含む、
    請求項1から5のいずれか1項に記載された光照射装置。
  7. 前記第1光はLED(Light Emitting Diode)による光であって、前記第2光はレーザ光である、
    請求項1から6のいずれか1項に記載された光照射装置。
  8. 実空間に存在するユーザに装着され、前記ユーザに仮想空間を提供するヘッドマウントディスプレイであって、
    第1光を検出し、前記ヘッドマウントディスプレイに通知すべき通知情報を含む基準信号を取得する第1光検出部と、
    第2光を検出し、前記基準信号に基づくタイミングで前記実空間を走査する走査信号を取得する第2光検出部と、
    前記基準信号から前記通知情報を抽出する抽出部と、
    を備えたヘッドマウントディスプレイ。
  9. 前記基準信号はパルス信号であり、
    前記通知情報は、前記パルス信号よりも周波数が高い高周波信号として、前記パルス信号に重畳されている、
    請求項8に記載されたヘッドマウントディスプレイ。
  10. 前記抽出部は、前記パルス信号から前記高周波信号を抽出するフィルタを含む、
    請求項9に記載されたヘッドマウントディスプレイ。
  11. 前記通知情報は、前記ヘッドマウントディスプレイを特定する第1情報を含む、
    請求項8から10のいずれか1項に記載されたヘッドマウントディスプレイ。
  12. 請求項1から7のいずれか1項に記載された光照射装置と、前記ヘッドマウントディスプレイと、を含む仮想現実システムであって、
    前記ヘッドマウントディスプレイは、
    前記第1光を検出し、前記基準信号を取得する第1光検出部と、
    前記第2光を検出し、前記走査信号を取得する第2光検出部と、
    前記基準信号から前記通知情報を抽出する抽出部と、を備えた、
    仮想現実システム。
JP2017250579A 2017-12-27 2017-12-27 光照射装置、ヘッドマウントディスプレイ、仮想現実システム Pending JP2019117257A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017250579A JP2019117257A (ja) 2017-12-27 2017-12-27 光照射装置、ヘッドマウントディスプレイ、仮想現実システム
US16/168,877 US20190196580A1 (en) 2017-12-27 2018-10-24 Light emitting apparatus, head-mounted display, and virtual reality system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017250579A JP2019117257A (ja) 2017-12-27 2017-12-27 光照射装置、ヘッドマウントディスプレイ、仮想現実システム

Publications (1)

Publication Number Publication Date
JP2019117257A true JP2019117257A (ja) 2019-07-18

Family

ID=66950261

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017250579A Pending JP2019117257A (ja) 2017-12-27 2017-12-27 光照射装置、ヘッドマウントディスプレイ、仮想現実システム

Country Status (2)

Country Link
US (1) US20190196580A1 (ja)
JP (1) JP2019117257A (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8957856B2 (en) * 2010-10-21 2015-02-17 Verizon Patent And Licensing Inc. Systems, methods, and apparatuses for spatial input associated with a display
EP3218736B1 (en) * 2014-11-10 2023-06-07 Valve Corporation Positional tracking systems and methods

Also Published As

Publication number Publication date
US20190196580A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
JP4708581B2 (ja) 座標入力装置、座標入力指示具及びコンピュータプログラム
EP2703836B1 (en) TOF illuminating system and TOF camera and method for operating, with control means for driving electronic devices located in the scene
CN105138135B (zh) 头戴式虚拟现实设备及虚拟现实系统
US12032087B2 (en) Systems and methods for remotely controlled device position and orientation determination
KR102446123B1 (ko) 위치 추적 시스템 및 방법
US20230366985A1 (en) Rotating Lidar
JP2023051993A (ja) 建物情報モデルの仮想画像の表示
CN107037880A (zh) 基于虚拟现实技术的空间定位定姿系统及其方法
WO2020135539A1 (zh) 头戴显示系统中手柄的定位方法、装置和头戴显示系统
CN109998677A (zh) 用于跟踪外科手术区域内的对象的系统和方法
TW201830892A (zh) 資訊通訊方法、資訊通訊裝置及程式
US20140225916A1 (en) Augmented reality system with encoding beacons
EP2536259A3 (en) Device, system, and method for controlling light source to capture image
WO2016138484A1 (en) Reliable synchronized delivery on multiple receivers with high accuracy
EP3262437B1 (en) Controller visualization in virtual and augmented reality environments
CN109791602A (zh) 在一组移动设备中定位移动设备的方法
JPWO2018110373A1 (ja) 送信方法、送信装置、およびプログラム
CN206989949U (zh) 一种激光投线仪
EP2767845A1 (en) Augmented reality system with encoding beacons
JP2019117257A (ja) 光照射装置、ヘッドマウントディスプレイ、仮想現実システム
CN113382228B (zh) 头戴显示设备和头戴显示系统
CN105338255B (zh) 一种深度恢复调整方法及电子设备
JP5813982B2 (ja) 双方向型物体検知センサ
JP2017175458A (ja) 撮像装置保持器具
US9135830B2 (en) Airport travel surface edge lighting and foreign object detection system and method