JP2018066713A - Information processing device, information processing method, and program - Google Patents
Information processing device, information processing method, and program Download PDFInfo
- Publication number
- JP2018066713A JP2018066713A JP2016207317A JP2016207317A JP2018066713A JP 2018066713 A JP2018066713 A JP 2018066713A JP 2016207317 A JP2016207317 A JP 2016207317A JP 2016207317 A JP2016207317 A JP 2016207317A JP 2018066713 A JP2018066713 A JP 2018066713A
- Authority
- JP
- Japan
- Prior art keywords
- irradiation
- information processing
- information
- light
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 49
- 238000003672 processing method Methods 0.000 title claims 2
- 238000001514 detection method Methods 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 4
- 230000005855 radiation Effects 0.000 abstract 7
- 238000000034 method Methods 0.000 description 32
- 230000008569 process Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 9
- 239000002131 composite material Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000001678 irradiating effect Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Abstract
Description
本発明は、光を照射する機器を制御する技術に関する。 The present invention relates to a technique for controlling a device that emits light.
近年、仮想空間を体験者に提示する仮想現実(VR:Virtual Reality)技術が知られている。また、現実空間と仮想空間を融合させて体験者に提示する複合現実感(MR:Mixed Reality)技術や拡張現実感(AR:Augmented Reality)技術も知られてきている。これらの技術では、提示する映像を体験する手段として、頭部装着型表示装置(HMD:Head Mounted Display)や、手持ち型表示装置(HHD:Hand Held Display)などを用いることが多い。 In recent years, a virtual reality (VR) technique for presenting a virtual space to an experienced person is known. In addition, a mixed reality (MR) technique and an augmented reality (AR) technique for presenting an experienced person with a fusion of a real space and a virtual space are also known. In these techniques, a head-mounted display device (HMD), a handheld display device (HHD), and the like are often used as means for experiencing the presented video.
HMDやHHDには、体験者の周囲の現実空間画像を取得したり、現実物体との距離を計測したり、現実物体の形状を取得するなどの目的のために、赤外光を照射するLEDと反射した赤外光を受光するセンサを備えたものがある。 HMD and HHD are LEDs that emit infrared light for purposes such as acquiring a real space image around the user, measuring the distance to the real object, and acquiring the shape of the real object. And a sensor that receives the reflected infrared light.
赤外光を照射する機器を複数同時利用する場合には、複数の機器から照射される赤外光が受光部に混じって入ってしまうことによって受光部により生成される画像や距離計測値に影響を与えてしまう場合がある。 When multiple devices that irradiate infrared light are used simultaneously, the infrared light emitted from multiple devices enters the light receiving unit and affects the images and distance measurement values generated by the light receiving unit. May be given.
特許文献1には、自動車の車室内に光(赤外光)を照射して乗員を検出するセンサを含む複数の赤外光センサの構成が開示されている。特許文献1では、反射体から反射された赤外光を受光したときに、その受光結果を無効とすることにより干渉を受けた車室内赤外光センサの受光結果が車載装置の制御動作に影響を及ぼすことを抑制している。
特許文献1の手法では、あらかじめ赤外光を照射する装置の位置姿勢や反射体の出現位置パターンが分かっているため、反射光に対して受光結果を無効とするパターンを特定することが可能である。しかしながら、赤外光を照射する各装置がそれぞれ自由に移動する場合には赤外光の干渉を抑制できない場合があるという課題があった。
In the method of
本発明は、上記課題に鑑みてなされたものであり、他の照射装置との干渉による影響を低減させつつ、自照射装置による光の照射を行うことを目的とする。 This invention is made | formed in view of the said subject, and it aims at irradiating light with a self-irradiation apparatus, reducing the influence by interference with another irradiation apparatus.
上記課題を解決するために、本願発明にかかる情報処理装置は、例えば、現実空間を撮影手段により撮影した画像を取得する画像取得手段と、前記撮影手段の位置姿勢に基づいて、距離情報を計測するための光を照射させる第1の照射装置によって光が照射される第1の領域を推定する推定手段と、前記第1の照射装置と異なる第2の照射装置により距離情報を計測するための光が照射される第2の領域に関する情報を取得する取得手段と、前記推定された第1の領域と、前記取得される第2の領域に関する情報とに基づいて、前記第1の照射装置による光の照射を制御する制御手段とを備える。 In order to solve the above problems, an information processing apparatus according to the present invention measures distance information based on, for example, an image acquisition unit that acquires an image obtained by shooting a real space by a shooting unit, and the position and orientation of the shooting unit. For estimating distance information by an estimation means for estimating a first region irradiated with light by a first irradiation device for irradiating with light and a second irradiation device different from the first irradiation device. Based on the acquisition means for acquiring information on the second region irradiated with light, the estimated first region, and the information on the acquired second region, by the first irradiation device Control means for controlling the irradiation of light.
本発明によれば、他の照射装置との干渉による影響を低減させつつ、自照射装置による光の照射を行うことが可能となる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to irradiate light with an own irradiation apparatus, reducing the influence by interference with another irradiation apparatus.
[第1の実施形態]
以下、本発明の実施形態について図面に基づいて説明する。
[First Embodiment]
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、本発明に係る表示装置10を示す図である。表示装置10は、情報処理装置100と、Head Mounted Display(HMD)110とを有している。情報処理装置100とHMD110は、無線または有線通信により接続される。HMD110は、ビデオシースルー型HMDである。情報処理装置100は、CPU101、RAM102、ROM103、NVMEM104、インターフェース105、装置バス106、通信部110を有している。CPU101は、RAM102をワークメモリとして、ROM103に格納されたプログラムを実行し、装置バス106を介して後述する各構成を統括的に制御する。これにより、後述する様々な処理が実行される。
FIG. 1 is a diagram showing a
NVMEM104は、書き換え可能な不揮発性メモリで二次記憶装置としての役割を持つ。CPU101は、NVMEM104からのデータ読み出し、およびNVMEM104へのデータ書き込みが可能である。なお、二次記憶装置は、フラッシュメモリやHDDの他、光ディスクドライブ等の記憶デバイスでもよい。インターフェース105は、後述する撮影部107、表示部108、照射部109、通信部110などの機器とのデータのやり取りを行う。なお、後述する情報処理装置100の機能や処理は、CPU101がROM103またはNVMEM104に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
The NVMEM 104 is a rewritable nonvolatile memory and serves as a secondary storage device. The CPU 101 can read data from the NVMEM 104 and write data to the
HMD110は、2つの撮影部107a、107b、表示部108及び照射部109を有している。なお、以下の説明においては、適宜2つの撮影部107a、107bを、撮影部107と称することとする。撮影部107は、指標の撮影を行うカメラである。表示部108は、CRTや液晶画面などにより構成されており、各種の情報を画像や文字などをもって表示することができる。照射部109は、赤外光を照射するデバイスである。センサ部113は、照射部109により照射された赤外光を受光センサであり、照射部109により赤外光が照射されてから受光までの時間を計測し、計測された時間に基づいて距離を計測するTOF(Time Of Flight)センサである。センサ部113は計測した距離情報を情報処理装置100に出力する。なお、TOF形式のセンサでなくとも、例えばアクティブステレオ形式のセンサやその他距離を取得できるセンサであればよい。また、赤外光以外の可視光や紫外光など、赤外光と異なる波長の光を用いてもよい。なお、本実施形態においては、撮影部107、表示部108、照射部109、センサ部113がビデオシースルー型HMD110内に組み込まれている形態であるが、HMD110に組み込まれていない外付けの形態であってもよい。通信部110は、インターフェース105を通じてネットワーク111に接続された他の情報処理装置112と通信データの送受信を行う。
The HMD 110 includes two
次に、図2は、HMD110と、HMD110を装着したユーザが観察する空間とを模式的に示す図である。ユーザAは、HMD110を装着している。HMD110には、それぞれ左眼、右眼に対応した撮影部107a、107bが内臓されている。撮影部107a、107bは、それぞれ現実空間の動画像を撮影するものであり、観察物体200を含む現実空間の動画像を撮影する。観察物体200は、観察対象の物体であり、現実空間に実際に存在する物体である。撮影部107a、107bが撮影した各フレームの画像は順次、情報処理装置100の画像取得部301に入力される。特徴検出部302は、撮影部107から入力された画像から特徴を検出し、位置姿勢算出部304は、検出した特徴に基づいて撮影部107の位置及び姿勢を算出する。
Next, FIG. 2 is a diagram schematically illustrating the
そして画像生成部305は、算出した撮影部107の位置及び姿勢に基づいて仮想物体210の画像を生成する。そして生成された仮想物体210の画像を、距離情報取得部310で取得した距離情報を参照しながら画像取得部301で取得した画像に合成して描画することで、合成画像を生成する。そして更に、画像生成部305は、この生成した合成画像を、HMD110の表示部108に出力する。これにより、表示部108には、観察物体200に仮想物体210が合成された合成画像が表示される。この表示デバイスは、この合成画像を表示する。ここで、HMD110の表示部は、HMD110を装着したユーザAの眼前に位置するようにHMD110に取り付けられているものとする。このため、ユーザAの眼前には、合成画像が表示される。
Then, the
図3は、本実施形態に係る情報処理装置100の機能構成を示すブロック図である。本ブロック内の各機能部の処理は、ROM103もしくはNVMEM104に格納されたプログラムをRAM102上に読み出してCPU101にて実行処理される。
FIG. 3 is a block diagram illustrating a functional configuration of the
画像取得部301は、撮影部107から順次出される各フレームの画像(現実空間画像)を受け、後段の特徴検出部302に対して転送する。なお、現実空間の動画像のファイルが、例えば、NVMEM104などに予め保存されており、情報処理装置100がこれを用いる場合には、画像取得部301は、このファイルを読み出し、後段の特徴検出部302に対して転送する処理を行う。特徴検出部302は、画像取得部301から画像を受けると、この画像から、撮影部107の位置及び姿勢を算出する為に用いる画像特徴を検出する。具体的には、特徴検出部302は、予め定められた指標を検出する。ここで、指標としては、HMD110の位置を特定するために現実空間中に人為的に配置されたマーカや、現実空間中に元来存在するコーナー点やエッジなどの自然特徴が挙げられる。
The
距離情報取得部310は、センサ部113で計測された現実空間に存在する物体の距離情報を取得する。距離情報は画像取得部301で取得される画像と同解像度の画像形式であってもよいし、三次元点群であってもよい。
The distance
モデルデータ保存部303は、観察物体200、およびHMD110に表示されるべき仮想物体210の3次元モデルデータを記憶している。モデルデータ保存部303は、例えば、RAM102の領域である。
The model
位置姿勢算出部304は、特徴検出部302が検出した画像特徴情報と、モデルデータ保存部303に保存されているモデルデータとに基づき、観察対象物体10を基準とした座標系(以下、基準座標系)における撮影部107の位置及び姿勢を算出する。
The position /
画像生成部305は、撮影部の位置姿勢に基づいて仮想物体210の画像を生成し、距離情報を参照しながら画像取得部301が取得した画像フレーム上に仮想物体210の画像を合成し合成画像を生成する。具体的には、距離情報を参照することにより、仮想物体210より手前に現実物体が存在する場合には仮想物体210が描画されず、仮想物体210よりも手前に現実物体が存在しない場合には仮想物体210の画像が描画することができる。これにより、仮想物体210と現実空間との奥行きの整合性を考慮したよりリアルな合成画像を描画することができる。生成された合成画像をHMD110の表示部108に出力する(表示制御)。
The
照射領域推定部306は、位置姿勢算出部304で求めた撮影部107の位置および姿勢に基づいて、照射部109から照射される照射領域を推定する。照射領域推定部306の処理については、後ほど図4を用いて詳細を説明する。そして、推定した照射領域の情報を照射制御部307に転送する。他の情報処理装置112と通信を行っている場合は、通信制御部308にも転送する。
The irradiation
照射制御部307は、照射領域推定部306からの赤外光照射領域の情報と、外部照射情報取得部309から転送された他の情報処理装置112により制御された照射部による照射情報に基づいて赤外光の出力強度を制御する。
The
通信制御部308は、照射領域推定部306から取得した照射領域の情報をネットワーク111を介して他の情報処理装置112に送信する。また、他の情報処理装置112から受信した赤外光照射情報を受信し、外部照射情報取得部309に転送する。
The
外部照射情報取得部309は、通信制御部308から受信した他の情報処理装置112が照射する照射情報をRAM102の領域に記録し、照射制御部307に通知する。
The external irradiation
図4は、照射領域推定部306による照射領域推定処理を示すフローチャートである。
FIG. 4 is a flowchart showing an irradiation area estimation process performed by the irradiation
位置姿勢算出部304から算出された位置姿勢の情報を取得する(S401)。位置姿勢の情報は、RAM102の領域に記録されており、その領域を参照して取得する。次に、照射制御部307でセットされている現在の赤外光出力強度を取得する(S402)。
Information on the position and orientation calculated from the position and
そして、取得した位置姿勢の情報と赤外光出力強度を基に、赤外光照射範囲を、図5の到達距離テーブル500を参照して推定する(S403)。図5は、到達距離の一例を示す図である。図5を用いて推定範囲の求める方法については後述する。推定した自装置(HMD110)の照射部109から照射される赤外光照射範囲は、RAM102の領域に記録する。推定が完了すると、S401に戻り、これらの処理フローを繰り返す。
Then, based on the acquired position and orientation information and infrared light output intensity, the infrared light irradiation range is estimated with reference to the reach distance table 500 of FIG. 5 (S403). FIG. 5 is a diagram illustrating an example of the reach distance. A method of obtaining the estimation range using FIG. 5 will be described later. The estimated infrared light irradiation range irradiated from the
図5は本実施形態に係る到達距離テーブルの一例を表形式で図示したものである。 FIG. 5 shows an example of the reach distance table according to the present embodiment in the form of a table.
到達距離テーブル500は、赤外光出力強度501と到達距離502が対になったテーブルであり、各出力強度における到達距離の値が記録されている。赤外光出力強度501は、出力強度を電流値(単位はmA)で示した値が設定されている。また、到達距離502は、赤外光が届く距離をメートルで示した値が設定されている。例えば、赤外光出力強度が200(mA)での到達距離は3.5(m)、というような形で、強度と距離が対の形式で値が記憶されている。到達距離テーブル500は、NVMEM104などに予め保存されている。このテーブルを参照することにより、赤外光が届く距離を推定することが出来る。なお、本実施形態ではテーブルを用いているが、関数式を用いて出力強度と到達距離の関係を求めてもよい。
The reach distance table 500 is a table in which the infrared
図6は本実施形態に係る照射領域推定部306で推定する照射範囲を模式図で示した図である。
FIG. 6 is a diagram schematically illustrating the irradiation range estimated by the irradiation
撮影部107の3次元位置の値601が(x1、y1、z1)であり、照射部109は撮影部107の近傍に装着されているため、ここでは、近似で同じ位置姿勢にあるとみなす。そこから姿勢ベクトル方向に赤外光到達距離602の距離を(この例では3.5m)移動させた3次元位置の値603が(x2、y2、z2)である。また、赤外光の照射角604は、この例では40°であり、照射範囲を円錐として近似することで、照射範囲605を推定することができる。
Since the
なお、本実施形態では、他の情報処理装置112においても、図6の模式図と同様の赤外光照射範囲を推定しており、ネットワーク111を介して赤外光照射情報として通信制御部308で情報のやり取りを行う。
In the present embodiment, the other
図7は本実施形態に係る照射制御部307の処理の流れをフローチャートで示した図である。
FIG. 7 is a flowchart showing the processing flow of the
まず、先ほど図6で説明した自装置(情報処理装置100に接続されたHMD110)の照射部109から照射される赤外光照射範囲を参照する(S701)。すでに説明したようにRAM102の領域に推定された照射範囲が記録されているので、その領域を参照する。
First, the infrared light irradiation range irradiated from the
次に、他の装置(他の情報処理装置112に接続されたHMD)の赤外光照射範囲を参照する(S702)。こちらも図3の説明のところで既に説明したとおり、外部照射情報取得部309によって記憶されたRAM102の領域を参照する。
Next, the infrared light irradiation range of another device (HMD connected to another information processing device 112) is referred to (S702). Here, as already described in the description of FIG. 3, the area of the
次に、参照した自装置の赤外光照射範囲と他の装置の赤外光照射範囲の情報を基に、照射領域が重複しているか否かの判断を行う(S703)。具体的には、自装置と外部装置のいずれの照射範囲も、図6の模式図で示したような3次元位置姿勢と形状を3次元CGデータとしてCPU101が描画を行う。そして照射範囲のCG同士が領域重複しているかを判断条件として判断を行う。 Next, it is determined whether or not the irradiation regions overlap based on the information on the infrared light irradiation range of the referred device and the infrared light irradiation range of another device (S703). Specifically, the CPU 101 renders the irradiation range of both the own device and the external device using the three-dimensional position and orientation and the shape as shown in the schematic diagram of FIG. 6 as the three-dimensional CG data. Then, a determination is made as to whether the CGs in the irradiation range overlap each other.
次に、前のループにおける照射領域の重複状態が変化したか否かの判断を行う(S704)。重複状態が変化(重複してない状態から重複した状態に変化、あるいは、重複した状態から重複してない状態に変化)したと判断された場合は赤外光出力強度の変更を行う(S705)。そしてまたS701にもどり処理を繰り返す。赤外光出力強度の変更は、具体的には強度を1段変化させる制御を行う。例えば、重複していない状態から重複した状態に変化した場合は、赤外光の出力強度を1段階弱める。例えば、重複した状態から重複していない状態に変化した場合には、一定時間重複していない状態を維持したことを確認したうえで赤外光の出力強度を元に戻す制御を行う。 Next, it is determined whether or not the overlapping state of the irradiation areas in the previous loop has changed (S704). If it is determined that the overlapping state has changed (changed from a non-overlapping state to an overlapping state, or changed from an overlapping state to a non-overlapping state), the infrared light output intensity is changed (S705). . Then, the process returns to S701 again. Specifically, the infrared light output intensity is changed by changing the intensity by one step. For example, when the state is changed from a non-overlapping state to an overlapping state, the output intensity of infrared light is decreased by one step. For example, when the state is changed from the overlapping state to the non-overlapping state, it is confirmed that the non-overlapping state has been maintained for a certain period of time, and control for returning the output intensity of the infrared light is performed.
赤外光の出力強度を変更する場合にはユーザにその旨を通知する。図11は本実施形態における赤外光の照射制御変更時の通知について表示画面の一例を図示したものである。 When changing the output intensity of infrared light, the user is notified of this. FIG. 11 shows an example of a display screen for notification when the infrared light irradiation control is changed in the present embodiment.
表示部108上に、現実物体としての観察対象物体10を含む現実映像に仮想物体210の画像を合成して表示する際、画像生成部305は、仮想物体210の画像と共に警告メッセージ1101と、現在の赤外光到達距離情報1102を重畳して画像を生成する。この警告メッセージ1101と赤外光到達距離情報1102は、照射制御部307が赤外光の出力強度を変更したり、出力タイミングを変更した際に、画像生成部305に描画指示を行うことにより画像生成部305で重畳される。以上のように、赤外光照射領域の重複とそれに伴う赤外光出力強度の変更をユーザ40に提示することができる。
When the image of the
一方、領域重複状態が変化しなかった場合は、前回のループで赤外光出力強度を変更したかを確認する(S706)。前回のループで赤外光出力強度を変更した場合は、変更してもまだその状態が続いてしまっていることになるため、S705に処理を進め更に赤外光出力強度の変更を行う。一方、前回のループで赤外光出力強度を変更していない場合は、赤外光出力強度の変更は行わずに、S701にもどり処理を繰り返す。 On the other hand, if the region overlap state has not changed, it is confirmed whether the infrared light output intensity has been changed in the previous loop (S706). If the infrared light output intensity is changed in the previous loop, the state still continues even if the infrared light output intensity is changed. Therefore, the process proceeds to S705 and the infrared light output intensity is further changed. On the other hand, if the infrared light output intensity has not been changed in the previous loop, the process returns to S701 without changing the infrared light output intensity.
なお、本実施形態では外部装置は1台(情報処理装置112に接続されたHMD)のみの構成で説明を行ったが、外部装置は複数台存在してもよい。その場合には複数台の外部装置の赤外光照射領域に対して同様にCG描画し、自装置の赤外光照射領域と領域重複するかの判断を行えばよい。 In the present embodiment, the description has been given with the configuration of only one external device (HMD connected to the information processing device 112), but a plurality of external devices may exist. In that case, CG drawing may be similarly performed on the infrared light irradiation regions of a plurality of external devices, and it may be determined whether the region overlaps with the infrared light irradiation region of the own device.
以上のように、自装置の照射部109から照射される赤外光の照射範囲を位置及び姿勢の情報と赤外光出力強度を基に推定し、外部装置の赤外光照射領域と領域重複していた場合に赤外光出力を弱めることで重複を回避することが可能となる。
As described above, the infrared light irradiation range irradiated from the
(変形例1)
第1の実施形態では、赤外光照射範囲が領域重複した場合に、自装置が赤外光出力強度を変更して重複を回避した。それに対して本変形例は、赤外光照射範囲が領域重複した場合に、自装置と他の装置のどちらが赤外光出力強度を下げるかという優先制御を行う。本変形例にかかるHMDおよび情報処理装置の構成は第1の実施形態と同様である。
(Modification 1)
In the first embodiment, when the infrared light irradiation range overlaps, the apparatus changes the infrared light output intensity to avoid the overlap. On the other hand, in the present modification, when the infrared light irradiation range overlaps, priority control is performed as to which of the own device and the other device lowers the infrared light output intensity. The configurations of the HMD and the information processing apparatus according to this modification are the same as those in the first embodiment.
図8は本変形例に係る優先レベル定義テーブルの一例を表形式で図示したものである。優先レベル定義テーブル800は、識別子801と優先レベル802が対になったテーブルであり、各装置の優先度の値が記録されている。
FIG. 8 shows an example of the priority level definition table according to the present modification in the form of a table. The priority level definition table 800 is a table in which an
識別子801の例として、HMD−A10001が自装置(HMD110)であり、HMD−B20003が他の装置(他の情報処理装置112に接続されたHMD)の識別子である。装置識別子はユニークで重複しない値が設定されている。
As an example of the
優先レベル802は、値が小さいほど優先度が高く、優先レベルが低い方の装置が赤外光の出力強度を下げるというルールを適用して制御を行うために用いる値である。優先レベル定義テーブル800は、NVMEM104の領域に記憶される。
The
図9は本変形例に係る優先レベルに応じた照射制御部307の処理を示すフローチャートである。
FIG. 9 is a flowchart showing processing of the
まず、先ほど図8で説明した優先レベル定義テーブル800の中の自装置の優先レベルを参照する(S901)。すでに説明したようにNVMEM104の領域に記録されているので、その領域を参照する。同様に、他の装置(本変形例では他の情報処理装置112に該当)の優先レベルを参照する(S902)。
First, the priority level of the own device in the priority level definition table 800 described with reference to FIG. 8 is referred to (S901). As already described, since it is recorded in the area of the
次に、参照した自装置の優先レベルと他の装置の優先レベルの値を比較し、自装置の方が優先レベルが高いか否かの判定を行う(S903)。自装置の方が優先レベルが高い場合と判定された場合にはS901へと処理が戻る。一方、自装置の方が優先レベルが高くないと判定された場合(同一である場合も含んでよい)には、S701〜S704と同様の処理を行い(S904)、自装置の優先レベルと他の装置の優先レベルが同一か確認を行う(S905)。自装置の優先レベルと他の装置の優先レベルが同一の場合は、赤外光出力タイミングの変更処理を実行する(S906)。その後、S901へと処理が戻る。なお、赤外光出力タイミングの変更処理については後述する。 Next, the reference priority level of the own device is compared with the priority level value of another device, and it is determined whether or not the own device has a higher priority level (S903). If it is determined that the own device has a higher priority level, the process returns to S901. On the other hand, when it is determined that the priority level of the own device is not higher (including the case where they are the same), the same processing as S701 to S704 is performed (S904), and the priority level of the own device and others It is checked whether the priority levels of the devices are the same (S905). If the priority level of the own device is the same as the priority level of the other device, the infrared light output timing changing process is executed (S906). Thereafter, the process returns to S901. The infrared light output timing changing process will be described later.
自装置の優先レベルが他の装置の優先レベルよりも低い場合は、赤外光出力強度を変更し(S907)、S901に戻る。なお、繰り返し処理を行うのは、優先レベルが変更された場合に、変更された優先レベルが即時に反映されるようにするためである。 When the priority level of the own device is lower than the priority level of other devices, the infrared light output intensity is changed (S907), and the process returns to S901. The reason why the repetitive processing is performed is to immediately reflect the changed priority level when the priority level is changed.
図10を参照して、S906における赤外光出力タイミングの変更処理について説明する。図10は、赤外光出力タイミングを時系列で示したタイミングチャート図である。 With reference to FIG. 10, the infrared light output timing changing process in S <b> 906 will be described. FIG. 10 is a timing chart showing the infrared light output timing in time series.
自装置のHMDの赤外光ON・OFFタイミング1001と、他の装置(他の情報処理装置112に接続されたHMD)の赤外光ON・OFFタイミング1002の2つのタイミングが時系列で示されている。
Two timings are shown in time series: the infrared light ON /
時刻t1のタイミングでは自装置が赤外光をONにし外部装置は赤外光をOFFする。時刻t1+10のタイミングでは自装置が赤外光をOFFにし、外部装置が赤外光をONする。そして、時刻t1+20のタイミングでは自装置が赤外光をONにし、外部装置が赤外光をOFFする。本変形例では10msecおきに交互に赤外光を照射するタイミングを入れ替え時分割処理を行う。 At the timing of time t1, the own device turns on the infrared light and the external device turns off the infrared light. At the timing of time t1 + 10, the own device turns off the infrared light, and the external device turns on the infrared light. Then, at the timing of time t1 + 20, the device turns on the infrared light and the external device turns off the infrared light. In this modification, the time division process is performed by switching the timing of alternately irradiating infrared light every 10 msec.
このように優先レベルが同一であった場合は、赤外光が重複しないように交互に赤外光を出力する制御を行う。 When the priority levels are the same in this way, control is performed to alternately output infrared light so that infrared light does not overlap.
(変形例2)
第1の実施形態および変形例1では、お互いに移動する自装置と他の装置の赤外光の照射領域の重複するケースについて説明した。本変形例では、固定で設置された通信を行えない赤外光照射装置が空間内に存在する場合について本願発明を適用した場合について説明する。具体的には、本変形例では、あらかじめ固定設置で赤外光を利用するエリアを照射禁止エリアとして登録しておき、そのエリアとの重複判断を行うことも可能である。照射禁止エリアの設定と取得について一例を図12を用いて説明を行う。
(Modification 2)
In 1st Embodiment and the
図12は本変形例に係る照射禁止エリアの範囲を模式図で図示したものである。 FIG. 12 is a schematic diagram illustrating the range of the irradiation prohibited area according to this modification.
照射禁止エリア1201は、各頂点ごとの3次元位置の値が(x5、y5、z5)〜(x12、y12、z12)の8箇所設定された直方体の領域として定義されている。本実施例では直方体で照射禁止エリアを定義したが、円錐などの別の形状を用いてもかまわない。本変形例では、ユーザ40があらかじめ照射禁止エリアの領域として直方体の各頂点の座標を情報処理装置100の入力手段(キーボード)を用いて入力し、入力された値はNVMEM104の領域に記憶する。そして、外部照射情報取得部309がNVMEM104の照射禁止エリアの領域情報を外部赤外光照射領域として取得する処理を行う。
The irradiation prohibited
以上のように、自装置は移動するが、固定設置の赤外光照射装置が環境に存在する場合においても、同様に重複判断と赤外光出力強度の制御が行うことができる。 As described above, although the device moves, even when a fixed infrared light irradiation device is present in the environment, it is possible to similarly determine overlap and control the infrared light output intensity.
[第2の実施形態]
第1の実施形態では、外部装置から照射される赤外光の照射情報を通信を介して受信して自装置の赤外光との重複を判断していた。第2の実施形態では、直接他の装置から照射された赤外光をセンサ部で取得した赤外画像から検知して自装置から照射される赤外光の照射強度を変更する実施形態について説明する。
[Second Embodiment]
In 1st Embodiment, the irradiation information of the infrared light irradiated from an external apparatus was received via communication, and the duplication with the infrared light of an own apparatus was judged. In the second embodiment, an embodiment is described in which infrared light directly irradiated from another device is detected from an infrared image acquired by a sensor unit and the irradiation intensity of the infrared light irradiated from the own device is changed. To do.
図13は、第2の実施形態に係る情報処理装置1000の機能構成を示すブロック図である。図3で示した第1の実施形態の外部照射情報取得部、通信制御部、ネットワークの代わりに、検知部311が追加されている。
FIG. 13 is a block diagram illustrating a functional configuration of the
本実施形態のHMD110のセンサ部113は、他の装置から照射された赤外光を表す赤外画像を取得可能である。そして検知部311で他の装置により照射された赤外光が直接赤外画像に映っているかを検知する。検知部311で外部装置からの赤外光が直接撮影部に映っていることを検知した場合、照射制御部307で赤外光の出力強度の変更を行い、他の装置への自装置の赤外光の影響を抑制する。検知部311では、赤外画像中の赤外の明るさが強い点(もしくは円)領域を検出する処理を行い、検出結果をRAM102の領域に書き込む。
The
図14は、第2の実施形態に係る照射制御部307の照射制御手段の処理の流れをフローチャートで示した図である。まず、検知部311の検知結果を取得(S1401)する。先ほど説明した検知部311により書き込まれたRAM102の領域を参照して取得する。
FIG. 14 is a flowchart illustrating the processing flow of the irradiation control unit of the
次に検知状態が変化したかを確認(S1402)する。 Next, it is confirmed whether the detection state has changed (S1402).
検知状態が変化(未検知状態から検知状態に変化、もしくは、検知状態から未検知状態に変化)した場合は、赤外光出力強度の変更(S1403)を行う。そして、検知部311での検知結果を取得(S1401)する処理に戻り、処理を繰り返す。状態の変化が無ければ、検知部311での検知結果を取得(S1401)する処理に戻り処理を繰り返す。 When the detection state changes (changes from the undetected state to the detected state, or changes from the detected state to the undetected state), the infrared light output intensity is changed (S1403). And it returns to the process which acquires the detection result in the detection part 311 (S1401), and repeats a process. If there is no change in state, the process returns to the process of acquiring the detection result in the detection unit 311 (S1401) and the process is repeated.
このようにして、検知部311で外部装置により照射された赤外光を撮影した赤外画像から検知し、照射制御部307で赤外光出力強度の変更を行い、他の装置への自装置の赤外光の影響を抑制することが出来る。
In this way, the
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介して装置又は装置に供給し、その装置又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a device or a device via a network or a storage medium, and one or more processors in the device or the computer of the device read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
Claims (15)
前記撮影手段の位置姿勢に基づいて、距離情報を計測するための光を照射させる第1の照射装置によって光が照射される第1の領域を推定する推定手段と、
前記第1の照射装置と異なる第2の照射装置により距離情報を計測するための光が照射される第2の領域に関する情報を取得する取得手段とを備え、
前記推定された第1の領域と、前記取得される第2の領域に関する情報とに基づいて、前記第1の照射装置による光の照射を制御する制御手段を備えることを特徴とする情報処理装置。 Image obtaining means for obtaining an image obtained by photographing the real space by the photographing means;
Estimating means for estimating a first region irradiated with light by a first irradiation device that emits light for measuring distance information based on the position and orientation of the photographing means;
Obtaining means for obtaining information on a second region irradiated with light for measuring distance information by a second irradiation device different from the first irradiation device;
An information processing apparatus comprising: control means for controlling light irradiation by the first irradiation apparatus based on the estimated first area and information on the acquired second area. .
前記推定した前記第1の領域と前記第2の領域とが重複するかを判断する判断手段を備えることを特徴とする請求項1に記載の情報処理装置。 Furthermore,
The information processing apparatus according to claim 1, further comprising a determination unit configured to determine whether the estimated first area and the second area overlap each other.
前記照射制御手段は、前記優先度に基づいて、前記光の照射を制御することを備えることを特徴とする請求項2または3に記載の情報処理装置。 Further, when the determination unit determines that the first region and the second region overlap, any one of the first irradiation device and the second irradiation device performs irradiation control. Storage means for storing a priority indicating whether to perform,
The information processing apparatus according to claim 2, wherein the irradiation control unit includes controlling the irradiation of the light based on the priority.
他の装置と通信を行う通信制御手段を備え、
前記取得手段は、前記通信制御手段によって受信したデータに基づいて、前記第2の領域に関する情報を取得することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。 Furthermore,
Comprising communication control means for communicating with other devices;
The information processing apparatus according to claim 1, wherein the acquisition unit acquires information related to the second area based on data received by the communication control unit.
撮影手段により撮影された画像から前記第2の照射装置から照射された光を検知する検知手段を備え、
前記取得手段は、前記検知手段による検知結果に基づいて前記第2の照射領域に関する情報を取得することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。 Furthermore,
A detecting means for detecting light emitted from the second irradiation device from an image photographed by the photographing means;
The information processing apparatus according to claim 1, wherein the acquisition unit acquires information related to the second irradiation region based on a detection result by the detection unit.
前記照射制御手段は、照射の条件を変更した際に、該変更を示す情報をユーザに提示する提示手段を備えることを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。 Furthermore,
The information processing apparatus according to claim 1, wherein the irradiation control unit includes a presentation unit that presents information indicating the change to the user when the irradiation condition is changed. .
現実空間に光の照射を行わない領域を設定する設定手段を備え、
前記取得手段は、前記設定された領域を、前記第2の領域として取得することを特徴とする請求項1乃至8の何れか1項に記載の情報処理装置。 Furthermore,
A setting means for setting a region where light is not irradiated in the real space,
The information processing apparatus according to claim 1, wherein the acquisition unit acquires the set area as the second area.
前記第1の照射装置によって照射された光を受光した結果に基づいて生成される距離情報を取得する距離情報取得手段を備えることを特徴とする請求項1乃至10の何れか1項に記載の情報処理装置。 Furthermore,
The distance information acquisition means which acquires the distance information produced | generated based on the result of having received the light irradiated by the said 1st irradiation apparatus, The any one of Claim 1 thru | or 10 characterized by the above-mentioned. Information processing device.
前記撮影手段の位置姿勢に基づいて仮想物体の画像を生成し、前記距離情報に基づき前記仮想物体の画像と前記撮影した画像とを合成した画像を表示部に表示させる表示制御手段を備えることを特徴とする請求項11に記載の情報処理装置。 Furthermore,
Display control means for generating an image of a virtual object based on the position and orientation of the photographing means and displaying on the display unit an image obtained by combining the image of the virtual object and the photographed image based on the distance information. The information processing apparatus according to claim 11.
前記撮影手段の位置姿勢に基づいて、距離情報を計測するための光を照射させる第1の照射装置によって光が照射される第1の領域を推定する推定工程と、
前記第1の照射装置と異なる第2の照射装置により距離情報を計測するための光が照射される第2の領域に関する情報を取得する取得工程と、
前記推定された第1の領域と、前記取得される第2の領域に関する情報とに基づいて、前記第1の照射装置による光の照射を制御する制御工程を備えることを特徴とする情報処理方法。 An image acquisition step of acquiring an image obtained by photographing the real space by the photographing means;
An estimation step of estimating a first region irradiated with light by a first irradiation device that irradiates light for measuring distance information based on the position and orientation of the photographing unit;
An acquisition step of acquiring information relating to a second region irradiated with light for measuring distance information by a second irradiation device different from the first irradiation device;
An information processing method comprising: a control step of controlling light irradiation by the first irradiation device based on the estimated first region and information on the acquired second region. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016207317A JP6929037B2 (en) | 2016-10-21 | 2016-10-21 | Information processing equipment, information processing methods, programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016207317A JP6929037B2 (en) | 2016-10-21 | 2016-10-21 | Information processing equipment, information processing methods, programs |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018066713A true JP2018066713A (en) | 2018-04-26 |
JP2018066713A5 JP2018066713A5 (en) | 2019-11-21 |
JP6929037B2 JP6929037B2 (en) | 2021-09-01 |
Family
ID=62086047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016207317A Active JP6929037B2 (en) | 2016-10-21 | 2016-10-21 | Information processing equipment, information processing methods, programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6929037B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021054342A1 (en) * | 2019-09-20 | 2021-03-25 | ソニー株式会社 | Information processing device and control method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013113670A (en) * | 2011-11-28 | 2013-06-10 | Mitsubishi Electric Corp | Laser radar system, laser distance measuring device and control device |
US20150097719A1 (en) * | 2013-10-03 | 2015-04-09 | Sulon Technologies Inc. | System and method for active reference positioning in an augmented reality environment |
JP2015165234A (en) * | 2014-02-28 | 2015-09-17 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh | Operation method of mobile platform, control program, recording medium and electronic control device |
-
2016
- 2016-10-21 JP JP2016207317A patent/JP6929037B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013113670A (en) * | 2011-11-28 | 2013-06-10 | Mitsubishi Electric Corp | Laser radar system, laser distance measuring device and control device |
US20150097719A1 (en) * | 2013-10-03 | 2015-04-09 | Sulon Technologies Inc. | System and method for active reference positioning in an augmented reality environment |
JP2015165234A (en) * | 2014-02-28 | 2015-09-17 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh | Operation method of mobile platform, control program, recording medium and electronic control device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021054342A1 (en) * | 2019-09-20 | 2021-03-25 | ソニー株式会社 | Information processing device and control method |
Also Published As
Publication number | Publication date |
---|---|
JP6929037B2 (en) | 2021-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10896497B2 (en) | Inconsistency detecting system, mixed-reality system, program, and inconsistency detecting method | |
CN112513712B (en) | Mixed reality system with virtual content warping and method of generating virtual content using the same | |
CN110022470B (en) | Method and system for training object detection algorithm using composite image and storage medium | |
KR101930657B1 (en) | System and method for immersive and interactive multimedia generation | |
KR102359978B1 (en) | Mixed reality system with multi-source virtual content synthesis and method for creating virtual content using same | |
JP4739002B2 (en) | Image processing method and image processing apparatus | |
JP6377863B2 (en) | Enhancement of depth map representation by reflection map representation | |
CN110377148B (en) | Computer readable medium, method of training object detection algorithm, and training apparatus | |
CN102959616A (en) | Interactive reality augmentation for natural interaction | |
US11490062B2 (en) | Information processing apparatus, information processing method, and storage medium | |
CN106327461B (en) | A kind of image processing method and device for monitoring | |
CN110031975B (en) | Method and system for calibrating augmented reality glasses in vehicle and augmented reality glasses | |
JP7005224B2 (en) | Information processing equipment, systems, image processing methods, computer programs, and storage media | |
JP6126501B2 (en) | Camera installation simulator and its computer program | |
JP2022058753A (en) | Information processing apparatus, information processing method, and program | |
JP6295296B2 (en) | Complex system and target marker | |
JP2015031978A (en) | Information providing device and method | |
US20220300120A1 (en) | Information processing apparatus, and control method | |
JP6929037B2 (en) | Information processing equipment, information processing methods, programs | |
CN116863107A (en) | Augmented reality providing method, apparatus, and non-transitory computer readable medium | |
JP2018067300A (en) | Information processing apparatus and control method thereof | |
JP2006197036A (en) | Device and method for stereoscopic image display | |
JP4217661B2 (en) | Image processing method and image processing apparatus | |
WO2016185634A1 (en) | Information processing device | |
JP7465133B2 (en) | Information processing device and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191011 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191011 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210810 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6929037 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |