JP2018066713A - Information processing device, information processing method, and program - Google Patents

Information processing device, information processing method, and program Download PDF

Info

Publication number
JP2018066713A
JP2018066713A JP2016207317A JP2016207317A JP2018066713A JP 2018066713 A JP2018066713 A JP 2018066713A JP 2016207317 A JP2016207317 A JP 2016207317A JP 2016207317 A JP2016207317 A JP 2016207317A JP 2018066713 A JP2018066713 A JP 2018066713A
Authority
JP
Japan
Prior art keywords
irradiation
information processing
information
light
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016207317A
Other languages
Japanese (ja)
Other versions
JP6929037B2 (en
JP2018066713A5 (en
Inventor
一大 古賀
Ichihiro Koga
一大 古賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016207317A priority Critical patent/JP6929037B2/en
Publication of JP2018066713A publication Critical patent/JP2018066713A/en
Publication of JP2018066713A5 publication Critical patent/JP2018066713A5/ja
Application granted granted Critical
Publication of JP6929037B2 publication Critical patent/JP6929037B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an information processing device and the like that can radiate light with a radiation device of the information processing device while reducing an impact of interference with another radiation device.SOLUTION: An information processing device includes image acquisition means for acquiring an image obtained by photographing a real space with photographing means, estimation means for estimating a first region to which light is radiated by a first radiation device that radiates the light for measuring distance information on the basis of the position and attitude of the photographing means, and acquisition means for acquiring information on a second region to which light for measuring distance information is radiated by a second radiation device different from the first radiation device, and further includes control means for controlling radiation of light by the first radiation device on the basis of the estimated first region and information on the acquired second region.SELECTED DRAWING: Figure 3

Description

本発明は、光を照射する機器を制御する技術に関する。   The present invention relates to a technique for controlling a device that emits light.

近年、仮想空間を体験者に提示する仮想現実(VR:Virtual Reality)技術が知られている。また、現実空間と仮想空間を融合させて体験者に提示する複合現実感(MR:Mixed Reality)技術や拡張現実感(AR:Augmented Reality)技術も知られてきている。これらの技術では、提示する映像を体験する手段として、頭部装着型表示装置(HMD:Head Mounted Display)や、手持ち型表示装置(HHD:Hand Held Display)などを用いることが多い。   In recent years, a virtual reality (VR) technique for presenting a virtual space to an experienced person is known. In addition, a mixed reality (MR) technique and an augmented reality (AR) technique for presenting an experienced person with a fusion of a real space and a virtual space are also known. In these techniques, a head-mounted display device (HMD), a handheld display device (HHD), and the like are often used as means for experiencing the presented video.

HMDやHHDには、体験者の周囲の現実空間画像を取得したり、現実物体との距離を計測したり、現実物体の形状を取得するなどの目的のために、赤外光を照射するLEDと反射した赤外光を受光するセンサを備えたものがある。   HMD and HHD are LEDs that emit infrared light for purposes such as acquiring a real space image around the user, measuring the distance to the real object, and acquiring the shape of the real object. And a sensor that receives the reflected infrared light.

赤外光を照射する機器を複数同時利用する場合には、複数の機器から照射される赤外光が受光部に混じって入ってしまうことによって受光部により生成される画像や距離計測値に影響を与えてしまう場合がある。   When multiple devices that irradiate infrared light are used simultaneously, the infrared light emitted from multiple devices enters the light receiving unit and affects the images and distance measurement values generated by the light receiving unit. May be given.

特許文献1には、自動車の車室内に光(赤外光)を照射して乗員を検出するセンサを含む複数の赤外光センサの構成が開示されている。特許文献1では、反射体から反射された赤外光を受光したときに、その受光結果を無効とすることにより干渉を受けた車室内赤外光センサの受光結果が車載装置の制御動作に影響を及ぼすことを抑制している。   Patent Document 1 discloses a configuration of a plurality of infrared light sensors including a sensor that detects a passenger by irradiating light (infrared light) into a vehicle interior of an automobile. In Patent Literature 1, when infrared light reflected from a reflector is received, the light reception result of the vehicle interior infrared light sensor that has received interference by invalidating the light reception result affects the control operation of the in-vehicle device. Is suppressed.

特開2016−45038号公報Japanese Patent Laid-Open No. 2006-45038

特許文献1の手法では、あらかじめ赤外光を照射する装置の位置姿勢や反射体の出現位置パターンが分かっているため、反射光に対して受光結果を無効とするパターンを特定することが可能である。しかしながら、赤外光を照射する各装置がそれぞれ自由に移動する場合には赤外光の干渉を抑制できない場合があるという課題があった。   In the method of Patent Document 1, since the position and orientation of the apparatus that irradiates infrared light and the appearance position pattern of the reflector are known in advance, it is possible to specify a pattern that invalidates the light reception result with respect to the reflected light. is there. However, there is a problem in that interference of infrared light may not be suppressed when each device that irradiates infrared light moves freely.

本発明は、上記課題に鑑みてなされたものであり、他の照射装置との干渉による影響を低減させつつ、自照射装置による光の照射を行うことを目的とする。   This invention is made | formed in view of the said subject, and it aims at irradiating light with a self-irradiation apparatus, reducing the influence by interference with another irradiation apparatus.

上記課題を解決するために、本願発明にかかる情報処理装置は、例えば、現実空間を撮影手段により撮影した画像を取得する画像取得手段と、前記撮影手段の位置姿勢に基づいて、距離情報を計測するための光を照射させる第1の照射装置によって光が照射される第1の領域を推定する推定手段と、前記第1の照射装置と異なる第2の照射装置により距離情報を計測するための光が照射される第2の領域に関する情報を取得する取得手段と、前記推定された第1の領域と、前記取得される第2の領域に関する情報とに基づいて、前記第1の照射装置による光の照射を制御する制御手段とを備える。   In order to solve the above problems, an information processing apparatus according to the present invention measures distance information based on, for example, an image acquisition unit that acquires an image obtained by shooting a real space by a shooting unit, and the position and orientation of the shooting unit. For estimating distance information by an estimation means for estimating a first region irradiated with light by a first irradiation device for irradiating with light and a second irradiation device different from the first irradiation device. Based on the acquisition means for acquiring information on the second region irradiated with light, the estimated first region, and the information on the acquired second region, by the first irradiation device Control means for controlling the irradiation of light.

本発明によれば、他の照射装置との干渉による影響を低減させつつ、自照射装置による光の照射を行うことが可能となる。   ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to irradiate light with an own irradiation apparatus, reducing the influence by interference with another irradiation apparatus.

本発明に係る情報処理装置の構成の一例を示す図。The figure which shows an example of a structure of the information processing apparatus which concerns on this invention. 本発明に係るHMDを装着したユーザと、このユーザが観察する空間とを模式的に示した図。The figure which showed typically the user who mounted | wore with HMD which concerns on this invention, and the space which this user observes. 本実施形態に係る情報処理装置100の機能構成を示すブロック図。The block diagram which shows the function structure of the information processing apparatus 100 which concerns on this embodiment. 本実施形態に係る照射領域推定部306の処理を示すフローチャート。The flowchart which shows the process of the irradiation area estimation part 306 which concerns on this embodiment. 本実施形態に係る到達距離テーブルの一例を示す図。The figure which shows an example of the reach | attainment distance table which concerns on this embodiment. 本実施形態に係る照射領域推定部306で推定する赤外光照射範囲を説明する模式図。The schematic diagram explaining the infrared light irradiation range estimated with the irradiation area estimation part 306 which concerns on this embodiment. 本実施形態に係る照射制御部307の処理の処理を示すフローチャート。The flowchart which shows the process of the process of the irradiation control part 307 which concerns on this embodiment. 本実施形態に係る優先レベル定義テーブルの一例を表形式で示した図。The figure which showed an example of the priority level definition table which concerns on this embodiment in a table format. 本実施形態に係る本実施形態に係る優先レベルに応じた照射制御部307の処理を示すフローチャート。The flowchart which shows the process of the irradiation control part 307 according to the priority level which concerns on this embodiment which concerns on this embodiment. 本実施形態に係る赤外光出力タイミングを時系列で示したタイミングチャート。The timing chart which showed the infrared-light output timing which concerns on this embodiment in time series. 本実施形態に係る本実施例における赤外光照射制御変更時の通知手段について表示画面の一例を示す図。The figure which shows an example of a display screen about the notification means at the time of the infrared light irradiation control change in the present Example which concerns on this embodiment. 本実施形態に係る照射禁止エリアの範囲を説明する模式図。The schematic diagram explaining the range of the irradiation prohibition area which concerns on this embodiment. 第2の実施形態に係る情報処理装置1000の機能構成を示すブロック図。The block diagram which shows the function structure of the information processing apparatus 1000 which concerns on 2nd Embodiment. 第2の実施形態に係る赤外光照射制御手段の処理を示すフローチャート。The flowchart which shows the process of the infrared light irradiation control means which concerns on 2nd Embodiment.

[第1の実施形態]
以下、本発明の実施形態について図面に基づいて説明する。
[First Embodiment]
Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1は、本発明に係る表示装置10を示す図である。表示装置10は、情報処理装置100と、Head Mounted Display(HMD)110とを有している。情報処理装置100とHMD110は、無線または有線通信により接続される。HMD110は、ビデオシースルー型HMDである。情報処理装置100は、CPU101、RAM102、ROM103、NVMEM104、インターフェース105、装置バス106、通信部110を有している。CPU101は、RAM102をワークメモリとして、ROM103に格納されたプログラムを実行し、装置バス106を介して後述する各構成を統括的に制御する。これにより、後述する様々な処理が実行される。   FIG. 1 is a diagram showing a display device 10 according to the present invention. The display device 10 includes an information processing device 100 and a head mounted display (HMD) 110. The information processing apparatus 100 and the HMD 110 are connected by wireless or wired communication. The HMD 110 is a video see-through HMD. The information processing apparatus 100 includes a CPU 101, a RAM 102, a ROM 103, an NVMEM 104, an interface 105, a device bus 106, and a communication unit 110. The CPU 101 executes a program stored in the ROM 103 using the RAM 102 as a work memory, and comprehensively controls each component to be described later via the device bus 106. Thereby, various processes described later are executed.

NVMEM104は、書き換え可能な不揮発性メモリで二次記憶装置としての役割を持つ。CPU101は、NVMEM104からのデータ読み出し、およびNVMEM104へのデータ書き込みが可能である。なお、二次記憶装置は、フラッシュメモリやHDDの他、光ディスクドライブ等の記憶デバイスでもよい。インターフェース105は、後述する撮影部107、表示部108、照射部109、通信部110などの機器とのデータのやり取りを行う。なお、後述する情報処理装置100の機能や処理は、CPU101がROM103またはNVMEM104に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。   The NVMEM 104 is a rewritable nonvolatile memory and serves as a secondary storage device. The CPU 101 can read data from the NVMEM 104 and write data to the NVMEM 104. The secondary storage device may be a storage device such as an optical disk drive in addition to the flash memory and HDD. The interface 105 exchanges data with devices such as an imaging unit 107, a display unit 108, an irradiation unit 109, and a communication unit 110, which will be described later. Note that the functions and processing of the information processing apparatus 100 to be described later are realized by the CPU 101 reading a program stored in the ROM 103 or the NVMEM 104 and executing this program.

HMD110は、2つの撮影部107a、107b、表示部108及び照射部109を有している。なお、以下の説明においては、適宜2つの撮影部107a、107bを、撮影部107と称することとする。撮影部107は、指標の撮影を行うカメラである。表示部108は、CRTや液晶画面などにより構成されており、各種の情報を画像や文字などをもって表示することができる。照射部109は、赤外光を照射するデバイスである。センサ部113は、照射部109により照射された赤外光を受光センサであり、照射部109により赤外光が照射されてから受光までの時間を計測し、計測された時間に基づいて距離を計測するTOF(Time Of Flight)センサである。センサ部113は計測した距離情報を情報処理装置100に出力する。なお、TOF形式のセンサでなくとも、例えばアクティブステレオ形式のセンサやその他距離を取得できるセンサであればよい。また、赤外光以外の可視光や紫外光など、赤外光と異なる波長の光を用いてもよい。なお、本実施形態においては、撮影部107、表示部108、照射部109、センサ部113がビデオシースルー型HMD110内に組み込まれている形態であるが、HMD110に組み込まれていない外付けの形態であってもよい。通信部110は、インターフェース105を通じてネットワーク111に接続された他の情報処理装置112と通信データの送受信を行う。   The HMD 110 includes two photographing units 107a and 107b, a display unit 108, and an irradiation unit 109. In the following description, the two photographing units 107a and 107b are referred to as photographing unit 107 as appropriate. The imaging unit 107 is a camera that captures an index. The display unit 108 is configured by a CRT, a liquid crystal screen, or the like, and can display various types of information as images or characters. The irradiation unit 109 is a device that irradiates infrared light. The sensor unit 113 is a light receiving sensor for infrared light irradiated by the irradiation unit 109, measures the time from when the infrared light is irradiated by the irradiation unit 109 to light reception, and calculates the distance based on the measured time. It is a TOF (Time Of Flight) sensor to be measured. The sensor unit 113 outputs the measured distance information to the information processing apparatus 100. For example, an active stereo sensor or any other sensor capable of acquiring a distance may be used instead of the TOF sensor. Further, light having a wavelength different from that of infrared light, such as visible light or ultraviolet light other than infrared light, may be used. In the present embodiment, the photographing unit 107, the display unit 108, the irradiation unit 109, and the sensor unit 113 are incorporated in the video see-through HMD 110, but are externally incorporated in the HMD 110. There may be. The communication unit 110 transmits / receives communication data to / from another information processing apparatus 112 connected to the network 111 through the interface 105.

次に、図2は、HMD110と、HMD110を装着したユーザが観察する空間とを模式的に示す図である。ユーザAは、HMD110を装着している。HMD110には、それぞれ左眼、右眼に対応した撮影部107a、107bが内臓されている。撮影部107a、107bは、それぞれ現実空間の動画像を撮影するものであり、観察物体200を含む現実空間の動画像を撮影する。観察物体200は、観察対象の物体であり、現実空間に実際に存在する物体である。撮影部107a、107bが撮影した各フレームの画像は順次、情報処理装置100の画像取得部301に入力される。特徴検出部302は、撮影部107から入力された画像から特徴を検出し、位置姿勢算出部304は、検出した特徴に基づいて撮影部107の位置及び姿勢を算出する。   Next, FIG. 2 is a diagram schematically illustrating the HMD 110 and a space observed by a user wearing the HMD 110. User A is wearing HMD 110. The HMD 110 incorporates photographing units 107a and 107b corresponding to the left eye and the right eye, respectively. The imaging units 107 a and 107 b each capture a moving image in the real space, and capture a moving image in the real space including the observation object 200. The observation object 200 is an object to be observed, and is an object that actually exists in the real space. The images of each frame captured by the imaging units 107 a and 107 b are sequentially input to the image acquisition unit 301 of the information processing apparatus 100. The feature detection unit 302 detects a feature from the image input from the imaging unit 107, and the position / orientation calculation unit 304 calculates the position and orientation of the imaging unit 107 based on the detected feature.

そして画像生成部305は、算出した撮影部107の位置及び姿勢に基づいて仮想物体210の画像を生成する。そして生成された仮想物体210の画像を、距離情報取得部310で取得した距離情報を参照しながら画像取得部301で取得した画像に合成して描画することで、合成画像を生成する。そして更に、画像生成部305は、この生成した合成画像を、HMD110の表示部108に出力する。これにより、表示部108には、観察物体200に仮想物体210が合成された合成画像が表示される。この表示デバイスは、この合成画像を表示する。ここで、HMD110の表示部は、HMD110を装着したユーザAの眼前に位置するようにHMD110に取り付けられているものとする。このため、ユーザAの眼前には、合成画像が表示される。   Then, the image generation unit 305 generates an image of the virtual object 210 based on the calculated position and orientation of the photographing unit 107. Then, the generated image of the virtual object 210 is combined with the image acquired by the image acquisition unit 301 while referring to the distance information acquired by the distance information acquisition unit 310, thereby generating a composite image. Further, the image generation unit 305 outputs the generated composite image to the display unit 108 of the HMD 110. As a result, a composite image in which the virtual object 210 is combined with the observation object 200 is displayed on the display unit 108. The display device displays this composite image. Here, it is assumed that the display unit of the HMD 110 is attached to the HMD 110 so as to be positioned in front of the user A wearing the HMD 110. For this reason, the composite image is displayed in front of the user A.

図3は、本実施形態に係る情報処理装置100の機能構成を示すブロック図である。本ブロック内の各機能部の処理は、ROM103もしくはNVMEM104に格納されたプログラムをRAM102上に読み出してCPU101にて実行処理される。   FIG. 3 is a block diagram illustrating a functional configuration of the information processing apparatus 100 according to the present embodiment. The processing of each functional unit in this block is executed by the CPU 101 by reading the program stored in the ROM 103 or the NVMEM 104 onto the RAM 102.

画像取得部301は、撮影部107から順次出される各フレームの画像(現実空間画像)を受け、後段の特徴検出部302に対して転送する。なお、現実空間の動画像のファイルが、例えば、NVMEM104などに予め保存されており、情報処理装置100がこれを用いる場合には、画像取得部301は、このファイルを読み出し、後段の特徴検出部302に対して転送する処理を行う。特徴検出部302は、画像取得部301から画像を受けると、この画像から、撮影部107の位置及び姿勢を算出する為に用いる画像特徴を検出する。具体的には、特徴検出部302は、予め定められた指標を検出する。ここで、指標としては、HMD110の位置を特定するために現実空間中に人為的に配置されたマーカや、現実空間中に元来存在するコーナー点やエッジなどの自然特徴が挙げられる。   The image acquisition unit 301 receives each frame image (real space image) sequentially output from the imaging unit 107 and transfers the image to the feature detection unit 302 in the subsequent stage. Note that when a file of a moving image in the real space is stored in advance in the NVMEM 104, for example, and the information processing apparatus 100 uses the file, the image acquisition unit 301 reads the file and performs a feature detection unit at a later stage. Transfer processing to 302 is performed. When the feature detection unit 302 receives an image from the image acquisition unit 301, the feature detection unit 302 detects an image feature used to calculate the position and orientation of the photographing unit 107 from the image. Specifically, the feature detection unit 302 detects a predetermined index. Here, examples of the index include markers that are artificially arranged in the real space in order to specify the position of the HMD 110, and natural features such as corner points and edges that originally exist in the real space.

距離情報取得部310は、センサ部113で計測された現実空間に存在する物体の距離情報を取得する。距離情報は画像取得部301で取得される画像と同解像度の画像形式であってもよいし、三次元点群であってもよい。   The distance information acquisition unit 310 acquires distance information of an object existing in the real space measured by the sensor unit 113. The distance information may be an image format having the same resolution as the image acquired by the image acquisition unit 301, or may be a three-dimensional point group.

モデルデータ保存部303は、観察物体200、およびHMD110に表示されるべき仮想物体210の3次元モデルデータを記憶している。モデルデータ保存部303は、例えば、RAM102の領域である。   The model data storage unit 303 stores three-dimensional model data of the observation object 200 and the virtual object 210 to be displayed on the HMD 110. The model data storage unit 303 is an area of the RAM 102, for example.

位置姿勢算出部304は、特徴検出部302が検出した画像特徴情報と、モデルデータ保存部303に保存されているモデルデータとに基づき、観察対象物体10を基準とした座標系(以下、基準座標系)における撮影部107の位置及び姿勢を算出する。   The position / orientation calculation unit 304 is based on the image feature information detected by the feature detection unit 302 and the model data stored in the model data storage unit 303, and is based on a coordinate system based on the observation target object 10 (hereinafter referred to as reference coordinates). The position and orientation of the photographing unit 107 in the system) are calculated.

画像生成部305は、撮影部の位置姿勢に基づいて仮想物体210の画像を生成し、距離情報を参照しながら画像取得部301が取得した画像フレーム上に仮想物体210の画像を合成し合成画像を生成する。具体的には、距離情報を参照することにより、仮想物体210より手前に現実物体が存在する場合には仮想物体210が描画されず、仮想物体210よりも手前に現実物体が存在しない場合には仮想物体210の画像が描画することができる。これにより、仮想物体210と現実空間との奥行きの整合性を考慮したよりリアルな合成画像を描画することができる。生成された合成画像をHMD110の表示部108に出力する(表示制御)。   The image generation unit 305 generates an image of the virtual object 210 based on the position and orientation of the photographing unit, and combines the image of the virtual object 210 on the image frame acquired by the image acquisition unit 301 with reference to the distance information. Is generated. Specifically, by referring to the distance information, when the real object exists before the virtual object 210, the virtual object 210 is not drawn, and when the real object does not exist before the virtual object 210, An image of the virtual object 210 can be drawn. This makes it possible to draw a more realistic composite image in consideration of the depth consistency between the virtual object 210 and the real space. The generated composite image is output to the display unit 108 of the HMD 110 (display control).

照射領域推定部306は、位置姿勢算出部304で求めた撮影部107の位置および姿勢に基づいて、照射部109から照射される照射領域を推定する。照射領域推定部306の処理については、後ほど図4を用いて詳細を説明する。そして、推定した照射領域の情報を照射制御部307に転送する。他の情報処理装置112と通信を行っている場合は、通信制御部308にも転送する。   The irradiation region estimation unit 306 estimates the irradiation region irradiated from the irradiation unit 109 based on the position and posture of the photographing unit 107 obtained by the position / orientation calculation unit 304. Details of the processing of the irradiation region estimation unit 306 will be described later with reference to FIG. Then, the estimated irradiation area information is transferred to the irradiation control unit 307. When communicating with another information processing apparatus 112, the information is also transferred to the communication control unit 308.

照射制御部307は、照射領域推定部306からの赤外光照射領域の情報と、外部照射情報取得部309から転送された他の情報処理装置112により制御された照射部による照射情報に基づいて赤外光の出力強度を制御する。   The irradiation control unit 307 is based on the information on the infrared light irradiation region from the irradiation region estimation unit 306 and the irradiation information by the irradiation unit controlled by the other information processing apparatus 112 transferred from the external irradiation information acquisition unit 309. Controls the output intensity of infrared light.

通信制御部308は、照射領域推定部306から取得した照射領域の情報をネットワーク111を介して他の情報処理装置112に送信する。また、他の情報処理装置112から受信した赤外光照射情報を受信し、外部照射情報取得部309に転送する。   The communication control unit 308 transmits the irradiation area information acquired from the irradiation area estimation unit 306 to the other information processing apparatus 112 via the network 111. In addition, the infrared irradiation information received from the other information processing apparatus 112 is received and transferred to the external irradiation information acquisition unit 309.

外部照射情報取得部309は、通信制御部308から受信した他の情報処理装置112が照射する照射情報をRAM102の領域に記録し、照射制御部307に通知する。   The external irradiation information acquisition unit 309 records the irradiation information irradiated by the other information processing apparatus 112 received from the communication control unit 308 in the area of the RAM 102 and notifies the irradiation control unit 307 of the irradiation information.

図4は、照射領域推定部306による照射領域推定処理を示すフローチャートである。   FIG. 4 is a flowchart showing an irradiation area estimation process performed by the irradiation area estimation unit 306.

位置姿勢算出部304から算出された位置姿勢の情報を取得する(S401)。位置姿勢の情報は、RAM102の領域に記録されており、その領域を参照して取得する。次に、照射制御部307でセットされている現在の赤外光出力強度を取得する(S402)。   Information on the position and orientation calculated from the position and orientation calculation unit 304 is acquired (S401). The position and orientation information is recorded in an area of the RAM 102, and is acquired by referring to the area. Next, the current infrared light output intensity set by the irradiation control unit 307 is acquired (S402).

そして、取得した位置姿勢の情報と赤外光出力強度を基に、赤外光照射範囲を、図5の到達距離テーブル500を参照して推定する(S403)。図5は、到達距離の一例を示す図である。図5を用いて推定範囲の求める方法については後述する。推定した自装置(HMD110)の照射部109から照射される赤外光照射範囲は、RAM102の領域に記録する。推定が完了すると、S401に戻り、これらの処理フローを繰り返す。   Then, based on the acquired position and orientation information and infrared light output intensity, the infrared light irradiation range is estimated with reference to the reach distance table 500 of FIG. 5 (S403). FIG. 5 is a diagram illustrating an example of the reach distance. A method of obtaining the estimation range using FIG. 5 will be described later. The estimated infrared light irradiation range irradiated from the irradiation unit 109 of the own apparatus (HMD 110) is recorded in the area of the RAM 102. When the estimation is completed, the process returns to S401 and repeats these processing flows.

図5は本実施形態に係る到達距離テーブルの一例を表形式で図示したものである。   FIG. 5 shows an example of the reach distance table according to the present embodiment in the form of a table.

到達距離テーブル500は、赤外光出力強度501と到達距離502が対になったテーブルであり、各出力強度における到達距離の値が記録されている。赤外光出力強度501は、出力強度を電流値(単位はmA)で示した値が設定されている。また、到達距離502は、赤外光が届く距離をメートルで示した値が設定されている。例えば、赤外光出力強度が200(mA)での到達距離は3.5(m)、というような形で、強度と距離が対の形式で値が記憶されている。到達距離テーブル500は、NVMEM104などに予め保存されている。このテーブルを参照することにより、赤外光が届く距離を推定することが出来る。なお、本実施形態ではテーブルを用いているが、関数式を用いて出力強度と到達距離の関係を求めてもよい。   The reach distance table 500 is a table in which the infrared light output intensity 501 and the reach distance 502 are paired, and the reach distance value at each output intensity is recorded. The infrared light output intensity 501 is set to a value indicating the output intensity as a current value (unit: mA). In addition, the reach distance 502 is set to a value indicating the distance that infrared light can reach in meters. For example, the value is stored in the form of a pair of intensity and distance in such a form that the reach distance is 3.5 (m) when the infrared light output intensity is 200 (mA). The reach distance table 500 is stored in advance in the NVMEM 104 or the like. By referring to this table, the distance that infrared light can reach can be estimated. Although a table is used in the present embodiment, the relationship between the output intensity and the reach distance may be obtained using a function formula.

図6は本実施形態に係る照射領域推定部306で推定する照射範囲を模式図で示した図である。   FIG. 6 is a diagram schematically illustrating the irradiation range estimated by the irradiation region estimation unit 306 according to the present embodiment.

撮影部107の3次元位置の値601が(x1、y1、z1)であり、照射部109は撮影部107の近傍に装着されているため、ここでは、近似で同じ位置姿勢にあるとみなす。そこから姿勢ベクトル方向に赤外光到達距離602の距離を(この例では3.5m)移動させた3次元位置の値603が(x2、y2、z2)である。また、赤外光の照射角604は、この例では40°であり、照射範囲を円錐として近似することで、照射範囲605を推定することができる。   Since the value 601 of the three-dimensional position of the imaging unit 107 is (x1, y1, z1) and the irradiation unit 109 is mounted in the vicinity of the imaging unit 107, it is assumed here that they are approximately in the same position and orientation. A three-dimensional position value 603 obtained by moving the distance of the infrared light reaching distance 602 in the orientation vector direction (3.5 m in this example) from there is (x2, y2, z2). The irradiation angle 604 of infrared light is 40 ° in this example, and the irradiation range 605 can be estimated by approximating the irradiation range as a cone.

なお、本実施形態では、他の情報処理装置112においても、図6の模式図と同様の赤外光照射範囲を推定しており、ネットワーク111を介して赤外光照射情報として通信制御部308で情報のやり取りを行う。   In the present embodiment, the other information processing apparatus 112 also estimates the infrared light irradiation range similar to the schematic diagram of FIG. 6, and the communication control unit 308 as infrared light irradiation information via the network 111. To exchange information.

図7は本実施形態に係る照射制御部307の処理の流れをフローチャートで示した図である。   FIG. 7 is a flowchart showing the processing flow of the irradiation control unit 307 according to the present embodiment.

まず、先ほど図6で説明した自装置(情報処理装置100に接続されたHMD110)の照射部109から照射される赤外光照射範囲を参照する(S701)。すでに説明したようにRAM102の領域に推定された照射範囲が記録されているので、その領域を参照する。   First, the infrared light irradiation range irradiated from the irradiation part 109 of the own apparatus (HMD110 connected to the information processing apparatus 100) demonstrated previously in FIG. 6 is referred (S701). As already described, since the estimated irradiation range is recorded in the area of the RAM 102, the area is referred to.

次に、他の装置(他の情報処理装置112に接続されたHMD)の赤外光照射範囲を参照する(S702)。こちらも図3の説明のところで既に説明したとおり、外部照射情報取得部309によって記憶されたRAM102の領域を参照する。   Next, the infrared light irradiation range of another device (HMD connected to another information processing device 112) is referred to (S702). Here, as already described in the description of FIG. 3, the area of the RAM 102 stored by the external irradiation information acquisition unit 309 is referred to.

次に、参照した自装置の赤外光照射範囲と他の装置の赤外光照射範囲の情報を基に、照射領域が重複しているか否かの判断を行う(S703)。具体的には、自装置と外部装置のいずれの照射範囲も、図6の模式図で示したような3次元位置姿勢と形状を3次元CGデータとしてCPU101が描画を行う。そして照射範囲のCG同士が領域重複しているかを判断条件として判断を行う。   Next, it is determined whether or not the irradiation regions overlap based on the information on the infrared light irradiation range of the referred device and the infrared light irradiation range of another device (S703). Specifically, the CPU 101 renders the irradiation range of both the own device and the external device using the three-dimensional position and orientation and the shape as shown in the schematic diagram of FIG. 6 as the three-dimensional CG data. Then, a determination is made as to whether the CGs in the irradiation range overlap each other.

次に、前のループにおける照射領域の重複状態が変化したか否かの判断を行う(S704)。重複状態が変化(重複してない状態から重複した状態に変化、あるいは、重複した状態から重複してない状態に変化)したと判断された場合は赤外光出力強度の変更を行う(S705)。そしてまたS701にもどり処理を繰り返す。赤外光出力強度の変更は、具体的には強度を1段変化させる制御を行う。例えば、重複していない状態から重複した状態に変化した場合は、赤外光の出力強度を1段階弱める。例えば、重複した状態から重複していない状態に変化した場合には、一定時間重複していない状態を維持したことを確認したうえで赤外光の出力強度を元に戻す制御を行う。   Next, it is determined whether or not the overlapping state of the irradiation areas in the previous loop has changed (S704). If it is determined that the overlapping state has changed (changed from a non-overlapping state to an overlapping state, or changed from an overlapping state to a non-overlapping state), the infrared light output intensity is changed (S705). . Then, the process returns to S701 again. Specifically, the infrared light output intensity is changed by changing the intensity by one step. For example, when the state is changed from a non-overlapping state to an overlapping state, the output intensity of infrared light is decreased by one step. For example, when the state is changed from the overlapping state to the non-overlapping state, it is confirmed that the non-overlapping state has been maintained for a certain period of time, and control for returning the output intensity of the infrared light is performed.

赤外光の出力強度を変更する場合にはユーザにその旨を通知する。図11は本実施形態における赤外光の照射制御変更時の通知について表示画面の一例を図示したものである。   When changing the output intensity of infrared light, the user is notified of this. FIG. 11 shows an example of a display screen for notification when the infrared light irradiation control is changed in the present embodiment.

表示部108上に、現実物体としての観察対象物体10を含む現実映像に仮想物体210の画像を合成して表示する際、画像生成部305は、仮想物体210の画像と共に警告メッセージ1101と、現在の赤外光到達距離情報1102を重畳して画像を生成する。この警告メッセージ1101と赤外光到達距離情報1102は、照射制御部307が赤外光の出力強度を変更したり、出力タイミングを変更した際に、画像生成部305に描画指示を行うことにより画像生成部305で重畳される。以上のように、赤外光照射領域の重複とそれに伴う赤外光出力強度の変更をユーザ40に提示することができる。   When the image of the virtual object 210 is combined and displayed on the display unit 108 with the real image including the observation target object 10 as a real object, the image generation unit 305 displays a warning message 1101 along with the virtual object 210 image, The infrared light reachable distance information 1102 is superimposed to generate an image. The warning message 1101 and the infrared light reachable distance information 1102 are obtained by issuing a drawing instruction to the image generation unit 305 when the irradiation control unit 307 changes the output intensity of the infrared light or the output timing. Superimposed by the generation unit 305. As described above, it is possible to present the user 40 with the overlapping of the infrared light irradiation region and the accompanying change in the infrared light output intensity.

一方、領域重複状態が変化しなかった場合は、前回のループで赤外光出力強度を変更したかを確認する(S706)。前回のループで赤外光出力強度を変更した場合は、変更してもまだその状態が続いてしまっていることになるため、S705に処理を進め更に赤外光出力強度の変更を行う。一方、前回のループで赤外光出力強度を変更していない場合は、赤外光出力強度の変更は行わずに、S701にもどり処理を繰り返す。   On the other hand, if the region overlap state has not changed, it is confirmed whether the infrared light output intensity has been changed in the previous loop (S706). If the infrared light output intensity is changed in the previous loop, the state still continues even if the infrared light output intensity is changed. Therefore, the process proceeds to S705 and the infrared light output intensity is further changed. On the other hand, if the infrared light output intensity has not been changed in the previous loop, the process returns to S701 without changing the infrared light output intensity.

なお、本実施形態では外部装置は1台(情報処理装置112に接続されたHMD)のみの構成で説明を行ったが、外部装置は複数台存在してもよい。その場合には複数台の外部装置の赤外光照射領域に対して同様にCG描画し、自装置の赤外光照射領域と領域重複するかの判断を行えばよい。   In the present embodiment, the description has been given with the configuration of only one external device (HMD connected to the information processing device 112), but a plurality of external devices may exist. In that case, CG drawing may be similarly performed on the infrared light irradiation regions of a plurality of external devices, and it may be determined whether the region overlaps with the infrared light irradiation region of the own device.

以上のように、自装置の照射部109から照射される赤外光の照射範囲を位置及び姿勢の情報と赤外光出力強度を基に推定し、外部装置の赤外光照射領域と領域重複していた場合に赤外光出力を弱めることで重複を回避することが可能となる。   As described above, the infrared light irradiation range irradiated from the irradiation unit 109 of the own device is estimated based on the position and posture information and the infrared light output intensity, and overlaps with the infrared light irradiation region of the external device. In such a case, it is possible to avoid duplication by weakening the infrared light output.

(変形例1)
第1の実施形態では、赤外光照射範囲が領域重複した場合に、自装置が赤外光出力強度を変更して重複を回避した。それに対して本変形例は、赤外光照射範囲が領域重複した場合に、自装置と他の装置のどちらが赤外光出力強度を下げるかという優先制御を行う。本変形例にかかるHMDおよび情報処理装置の構成は第1の実施形態と同様である。
(Modification 1)
In the first embodiment, when the infrared light irradiation range overlaps, the apparatus changes the infrared light output intensity to avoid the overlap. On the other hand, in the present modification, when the infrared light irradiation range overlaps, priority control is performed as to which of the own device and the other device lowers the infrared light output intensity. The configurations of the HMD and the information processing apparatus according to this modification are the same as those in the first embodiment.

図8は本変形例に係る優先レベル定義テーブルの一例を表形式で図示したものである。優先レベル定義テーブル800は、識別子801と優先レベル802が対になったテーブルであり、各装置の優先度の値が記録されている。   FIG. 8 shows an example of the priority level definition table according to the present modification in the form of a table. The priority level definition table 800 is a table in which an identifier 801 and a priority level 802 are paired, and records a priority value of each device.

識別子801の例として、HMD−A10001が自装置(HMD110)であり、HMD−B20003が他の装置(他の情報処理装置112に接続されたHMD)の識別子である。装置識別子はユニークで重複しない値が設定されている。   As an example of the identifier 801, the HMD-A 10001 is an own device (HMD 110), and the HMD-B 20003 is an identifier of another device (an HMD connected to another information processing device 112). The device identifier is set to a unique and non-overlapping value.

優先レベル802は、値が小さいほど優先度が高く、優先レベルが低い方の装置が赤外光の出力強度を下げるというルールを適用して制御を行うために用いる値である。優先レベル定義テーブル800は、NVMEM104の領域に記憶される。   The priority level 802 is a value used for performing control by applying a rule that the lower the value is, the higher the priority is, and the lower priority level apparatus lowers the output intensity of infrared light. The priority level definition table 800 is stored in the NVMEM 104 area.

図9は本変形例に係る優先レベルに応じた照射制御部307の処理を示すフローチャートである。   FIG. 9 is a flowchart showing processing of the irradiation control unit 307 according to the priority level according to the present modification.

まず、先ほど図8で説明した優先レベル定義テーブル800の中の自装置の優先レベルを参照する(S901)。すでに説明したようにNVMEM104の領域に記録されているので、その領域を参照する。同様に、他の装置(本変形例では他の情報処理装置112に該当)の優先レベルを参照する(S902)。   First, the priority level of the own device in the priority level definition table 800 described with reference to FIG. 8 is referred to (S901). As already described, since it is recorded in the area of the NVMEM 104, the area is referred to. Similarly, the priority level of another device (corresponding to another information processing device 112 in this modification) is referred to (S902).

次に、参照した自装置の優先レベルと他の装置の優先レベルの値を比較し、自装置の方が優先レベルが高いか否かの判定を行う(S903)。自装置の方が優先レベルが高い場合と判定された場合にはS901へと処理が戻る。一方、自装置の方が優先レベルが高くないと判定された場合(同一である場合も含んでよい)には、S701〜S704と同様の処理を行い(S904)、自装置の優先レベルと他の装置の優先レベルが同一か確認を行う(S905)。自装置の優先レベルと他の装置の優先レベルが同一の場合は、赤外光出力タイミングの変更処理を実行する(S906)。その後、S901へと処理が戻る。なお、赤外光出力タイミングの変更処理については後述する。   Next, the reference priority level of the own device is compared with the priority level value of another device, and it is determined whether or not the own device has a higher priority level (S903). If it is determined that the own device has a higher priority level, the process returns to S901. On the other hand, when it is determined that the priority level of the own device is not higher (including the case where they are the same), the same processing as S701 to S704 is performed (S904), and the priority level of the own device and others It is checked whether the priority levels of the devices are the same (S905). If the priority level of the own device is the same as the priority level of the other device, the infrared light output timing changing process is executed (S906). Thereafter, the process returns to S901. The infrared light output timing changing process will be described later.

自装置の優先レベルが他の装置の優先レベルよりも低い場合は、赤外光出力強度を変更し(S907)、S901に戻る。なお、繰り返し処理を行うのは、優先レベルが変更された場合に、変更された優先レベルが即時に反映されるようにするためである。   When the priority level of the own device is lower than the priority level of other devices, the infrared light output intensity is changed (S907), and the process returns to S901. The reason why the repetitive processing is performed is to immediately reflect the changed priority level when the priority level is changed.

図10を参照して、S906における赤外光出力タイミングの変更処理について説明する。図10は、赤外光出力タイミングを時系列で示したタイミングチャート図である。   With reference to FIG. 10, the infrared light output timing changing process in S <b> 906 will be described. FIG. 10 is a timing chart showing the infrared light output timing in time series.

自装置のHMDの赤外光ON・OFFタイミング1001と、他の装置(他の情報処理装置112に接続されたHMD)の赤外光ON・OFFタイミング1002の2つのタイミングが時系列で示されている。   Two timings are shown in time series: the infrared light ON / OFF timing 1001 of the HMD of the own device and the infrared light ON / OFF timing 1002 of the other device (HMD connected to the other information processing device 112). ing.

時刻t1のタイミングでは自装置が赤外光をONにし外部装置は赤外光をOFFする。時刻t1+10のタイミングでは自装置が赤外光をOFFにし、外部装置が赤外光をONする。そして、時刻t1+20のタイミングでは自装置が赤外光をONにし、外部装置が赤外光をOFFする。本変形例では10msecおきに交互に赤外光を照射するタイミングを入れ替え時分割処理を行う。   At the timing of time t1, the own device turns on the infrared light and the external device turns off the infrared light. At the timing of time t1 + 10, the own device turns off the infrared light, and the external device turns on the infrared light. Then, at the timing of time t1 + 20, the device turns on the infrared light and the external device turns off the infrared light. In this modification, the time division process is performed by switching the timing of alternately irradiating infrared light every 10 msec.

このように優先レベルが同一であった場合は、赤外光が重複しないように交互に赤外光を出力する制御を行う。   When the priority levels are the same in this way, control is performed to alternately output infrared light so that infrared light does not overlap.

(変形例2)
第1の実施形態および変形例1では、お互いに移動する自装置と他の装置の赤外光の照射領域の重複するケースについて説明した。本変形例では、固定で設置された通信を行えない赤外光照射装置が空間内に存在する場合について本願発明を適用した場合について説明する。具体的には、本変形例では、あらかじめ固定設置で赤外光を利用するエリアを照射禁止エリアとして登録しておき、そのエリアとの重複判断を行うことも可能である。照射禁止エリアの設定と取得について一例を図12を用いて説明を行う。
(Modification 2)
In 1st Embodiment and the modification 1, the case where the irradiation area of the infrared light of the own apparatus which moves mutually and another apparatus overlaps was demonstrated. In this modification, a case where the present invention is applied to a case where there is an infrared light irradiation device that is fixedly installed and cannot perform communication will be described. Specifically, in this modification, it is also possible to register an area that uses infrared light in a fixed installation in advance as an irradiation prohibited area, and to make an overlap determination with that area. An example of setting and acquiring the irradiation prohibited area will be described with reference to FIG.

図12は本変形例に係る照射禁止エリアの範囲を模式図で図示したものである。   FIG. 12 is a schematic diagram illustrating the range of the irradiation prohibited area according to this modification.

照射禁止エリア1201は、各頂点ごとの3次元位置の値が(x5、y5、z5)〜(x12、y12、z12)の8箇所設定された直方体の領域として定義されている。本実施例では直方体で照射禁止エリアを定義したが、円錐などの別の形状を用いてもかまわない。本変形例では、ユーザ40があらかじめ照射禁止エリアの領域として直方体の各頂点の座標を情報処理装置100の入力手段(キーボード)を用いて入力し、入力された値はNVMEM104の領域に記憶する。そして、外部照射情報取得部309がNVMEM104の照射禁止エリアの領域情報を外部赤外光照射領域として取得する処理を行う。   The irradiation prohibited area 1201 is defined as a rectangular parallelepiped area in which the three-dimensional position values for each vertex are set at eight locations (x5, y5, z5) to (x12, y12, z12). In this embodiment, the irradiation prohibited area is defined by a rectangular parallelepiped, but another shape such as a cone may be used. In this modification, the user 40 inputs the coordinates of each vertex of the rectangular parallelepiped in advance as an area of the irradiation prohibited area using the input means (keyboard) of the information processing apparatus 100, and the input value is stored in the area of the NVMEM 104. And the external irradiation information acquisition part 309 performs the process which acquires the area | region information of the irradiation prohibition area of NVMEM104 as an external infrared light irradiation area | region.

以上のように、自装置は移動するが、固定設置の赤外光照射装置が環境に存在する場合においても、同様に重複判断と赤外光出力強度の制御が行うことができる。   As described above, although the device moves, even when a fixed infrared light irradiation device is present in the environment, it is possible to similarly determine overlap and control the infrared light output intensity.

[第2の実施形態]
第1の実施形態では、外部装置から照射される赤外光の照射情報を通信を介して受信して自装置の赤外光との重複を判断していた。第2の実施形態では、直接他の装置から照射された赤外光をセンサ部で取得した赤外画像から検知して自装置から照射される赤外光の照射強度を変更する実施形態について説明する。
[Second Embodiment]
In 1st Embodiment, the irradiation information of the infrared light irradiated from an external apparatus was received via communication, and the duplication with the infrared light of an own apparatus was judged. In the second embodiment, an embodiment is described in which infrared light directly irradiated from another device is detected from an infrared image acquired by a sensor unit and the irradiation intensity of the infrared light irradiated from the own device is changed. To do.

図13は、第2の実施形態に係る情報処理装置1000の機能構成を示すブロック図である。図3で示した第1の実施形態の外部照射情報取得部、通信制御部、ネットワークの代わりに、検知部311が追加されている。   FIG. 13 is a block diagram illustrating a functional configuration of the information processing apparatus 1000 according to the second embodiment. A detection unit 311 is added instead of the external irradiation information acquisition unit, communication control unit, and network of the first embodiment shown in FIG.

本実施形態のHMD110のセンサ部113は、他の装置から照射された赤外光を表す赤外画像を取得可能である。そして検知部311で他の装置により照射された赤外光が直接赤外画像に映っているかを検知する。検知部311で外部装置からの赤外光が直接撮影部に映っていることを検知した場合、照射制御部307で赤外光の出力強度の変更を行い、他の装置への自装置の赤外光の影響を抑制する。検知部311では、赤外画像中の赤外の明るさが強い点(もしくは円)領域を検出する処理を行い、検出結果をRAM102の領域に書き込む。   The sensor unit 113 of the HMD 110 according to the present embodiment can acquire an infrared image representing infrared light emitted from another device. Then, the detection unit 311 detects whether the infrared light emitted from another device is directly reflected in the infrared image. When the detection unit 311 detects that the infrared light from the external device is directly reflected in the photographing unit, the irradiation control unit 307 changes the output intensity of the infrared light, and the red of the own device to the other device. Suppress the influence of external light. The detection unit 311 performs processing for detecting a point (or circle) region having a strong infrared brightness in the infrared image, and writes the detection result in the region of the RAM 102.

図14は、第2の実施形態に係る照射制御部307の照射制御手段の処理の流れをフローチャートで示した図である。まず、検知部311の検知結果を取得(S1401)する。先ほど説明した検知部311により書き込まれたRAM102の領域を参照して取得する。   FIG. 14 is a flowchart illustrating the processing flow of the irradiation control unit of the irradiation control unit 307 according to the second embodiment. First, the detection result of the detection unit 311 is acquired (S1401). Obtained by referring to the area of the RAM 102 written by the detection unit 311 described above.

次に検知状態が変化したかを確認(S1402)する。   Next, it is confirmed whether the detection state has changed (S1402).

検知状態が変化(未検知状態から検知状態に変化、もしくは、検知状態から未検知状態に変化)した場合は、赤外光出力強度の変更(S1403)を行う。そして、検知部311での検知結果を取得(S1401)する処理に戻り、処理を繰り返す。状態の変化が無ければ、検知部311での検知結果を取得(S1401)する処理に戻り処理を繰り返す。   When the detection state changes (changes from the undetected state to the detected state, or changes from the detected state to the undetected state), the infrared light output intensity is changed (S1403). And it returns to the process which acquires the detection result in the detection part 311 (S1401), and repeats a process. If there is no change in state, the process returns to the process of acquiring the detection result in the detection unit 311 (S1401) and the process is repeated.

このようにして、検知部311で外部装置により照射された赤外光を撮影した赤外画像から検知し、照射制御部307で赤外光出力強度の変更を行い、他の装置への自装置の赤外光の影響を抑制することが出来る。   In this way, the detection unit 311 detects infrared light emitted from the external device from the captured infrared image, the irradiation control unit 307 changes the infrared light output intensity, and the device itself to another device is detected. The effect of infrared light can be suppressed.

(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介して装置又は装置に供給し、その装置又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a device or a device via a network or a storage medium, and one or more processors in the device or the computer of the device read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

Claims (15)

現実空間を撮影手段により撮影した画像を取得する画像取得手段と、
前記撮影手段の位置姿勢に基づいて、距離情報を計測するための光を照射させる第1の照射装置によって光が照射される第1の領域を推定する推定手段と、
前記第1の照射装置と異なる第2の照射装置により距離情報を計測するための光が照射される第2の領域に関する情報を取得する取得手段とを備え、
前記推定された第1の領域と、前記取得される第2の領域に関する情報とに基づいて、前記第1の照射装置による光の照射を制御する制御手段を備えることを特徴とする情報処理装置。
Image obtaining means for obtaining an image obtained by photographing the real space by the photographing means;
Estimating means for estimating a first region irradiated with light by a first irradiation device that emits light for measuring distance information based on the position and orientation of the photographing means;
Obtaining means for obtaining information on a second region irradiated with light for measuring distance information by a second irradiation device different from the first irradiation device;
An information processing apparatus comprising: control means for controlling light irradiation by the first irradiation apparatus based on the estimated first area and information on the acquired second area. .
更に、
前記推定した前記第1の領域と前記第2の領域とが重複するかを判断する判断手段を備えることを特徴とする請求項1に記載の情報処理装置。
Furthermore,
The information processing apparatus according to claim 1, further comprising a determination unit configured to determine whether the estimated first area and the second area overlap each other.
前記照射制御手段は、前記判断手段が前記第1の領域と前記第2の領域とが重複していると判断した場合に、前記光の出力強度を変更することを特徴とする請求項2に記載の情報処理装置。   The said irradiation control means changes the output intensity of the said light, when the said judgment means judges that the said 1st area | region and the said 2nd area | region have overlapped. The information processing apparatus described. 更に、前記判断手段が前記第1の領域と前記第2の領域とが重複していると判断した場合に、前記第1の照射装置と前記第2の照射装置のいずれの装置が照射制御を行うかを示す優先度を記憶する記憶手段を備え、
前記照射制御手段は、前記優先度に基づいて、前記光の照射を制御することを備えることを特徴とする請求項2または3に記載の情報処理装置。
Further, when the determination unit determines that the first region and the second region overlap, any one of the first irradiation device and the second irradiation device performs irradiation control. Storage means for storing a priority indicating whether to perform,
The information processing apparatus according to claim 2, wherein the irradiation control unit includes controlling the irradiation of the light based on the priority.
前記照射制御手段は、前記判断手段が前記第1の領域と前記第2の領域とが重複したと判断した場合に、時分割で前記第1の照射装置と前記第2の照射装置とが交互に光を照射するように制御することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。   The irradiation control means alternates between the first irradiation apparatus and the second irradiation apparatus in a time division manner when the determination means determines that the first area and the second area overlap. The information processing apparatus according to claim 1, wherein the information processing apparatus is controlled so as to irradiate light. 更に、
他の装置と通信を行う通信制御手段を備え、
前記取得手段は、前記通信制御手段によって受信したデータに基づいて、前記第2の領域に関する情報を取得することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
Furthermore,
Comprising communication control means for communicating with other devices;
The information processing apparatus according to claim 1, wherein the acquisition unit acquires information related to the second area based on data received by the communication control unit.
更に、
撮影手段により撮影された画像から前記第2の照射装置から照射された光を検知する検知手段を備え、
前記取得手段は、前記検知手段による検知結果に基づいて前記第2の照射領域に関する情報を取得することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
Furthermore,
A detecting means for detecting light emitted from the second irradiation device from an image photographed by the photographing means;
The information processing apparatus according to claim 1, wherein the acquisition unit acquires information related to the second irradiation region based on a detection result by the detection unit.
更に、
前記照射制御手段は、照射の条件を変更した際に、該変更を示す情報をユーザに提示する提示手段を備えることを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。
Furthermore,
The information processing apparatus according to claim 1, wherein the irradiation control unit includes a presentation unit that presents information indicating the change to the user when the irradiation condition is changed. .
更に、
現実空間に光の照射を行わない領域を設定する設定手段を備え、
前記取得手段は、前記設定された領域を、前記第2の領域として取得することを特徴とする請求項1乃至8の何れか1項に記載の情報処理装置。
Furthermore,
A setting means for setting a region where light is not irradiated in the real space,
The information processing apparatus according to claim 1, wherein the acquisition unit acquires the set area as the second area.
前記第1の照射装置と前記第2の照射装置のうち、少なくともいずれかが照射する光は赤外光であることを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein light emitted from at least one of the first irradiation apparatus and the second irradiation apparatus is infrared light. . 更に、
前記第1の照射装置によって照射された光を受光した結果に基づいて生成される距離情報を取得する距離情報取得手段を備えることを特徴とする請求項1乃至10の何れか1項に記載の情報処理装置。
Furthermore,
The distance information acquisition means which acquires the distance information produced | generated based on the result of having received the light irradiated by the said 1st irradiation apparatus, The any one of Claim 1 thru | or 10 characterized by the above-mentioned. Information processing device.
更に、
前記撮影手段の位置姿勢に基づいて仮想物体の画像を生成し、前記距離情報に基づき前記仮想物体の画像と前記撮影した画像とを合成した画像を表示部に表示させる表示制御手段を備えることを特徴とする請求項11に記載の情報処理装置。
Furthermore,
Display control means for generating an image of a virtual object based on the position and orientation of the photographing means and displaying on the display unit an image obtained by combining the image of the virtual object and the photographed image based on the distance information. The information processing apparatus according to claim 11.
前記表示装置は頭部装着型表示装置であることを特徴とする請求項11に記載の情報処理装置。   The information processing apparatus according to claim 11, wherein the display device is a head-mounted display device. 現実空間を撮影手段により撮影した画像を取得する画像取得工程と、
前記撮影手段の位置姿勢に基づいて、距離情報を計測するための光を照射させる第1の照射装置によって光が照射される第1の領域を推定する推定工程と、
前記第1の照射装置と異なる第2の照射装置により距離情報を計測するための光が照射される第2の領域に関する情報を取得する取得工程と、
前記推定された第1の領域と、前記取得される第2の領域に関する情報とに基づいて、前記第1の照射装置による光の照射を制御する制御工程を備えることを特徴とする情報処理方法。
An image acquisition step of acquiring an image obtained by photographing the real space by the photographing means;
An estimation step of estimating a first region irradiated with light by a first irradiation device that irradiates light for measuring distance information based on the position and orientation of the photographing unit;
An acquisition step of acquiring information relating to a second region irradiated with light for measuring distance information by a second irradiation device different from the first irradiation device;
An information processing method comprising: a control step of controlling light irradiation by the first irradiation device based on the estimated first region and information on the acquired second region. .
コンピュータを、請求項1乃至13のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。   The program for functioning a computer as each means of the information processing apparatus of any one of Claims 1 thru | or 13.
JP2016207317A 2016-10-21 2016-10-21 Information processing equipment, information processing methods, programs Active JP6929037B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016207317A JP6929037B2 (en) 2016-10-21 2016-10-21 Information processing equipment, information processing methods, programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016207317A JP6929037B2 (en) 2016-10-21 2016-10-21 Information processing equipment, information processing methods, programs

Publications (3)

Publication Number Publication Date
JP2018066713A true JP2018066713A (en) 2018-04-26
JP2018066713A5 JP2018066713A5 (en) 2019-11-21
JP6929037B2 JP6929037B2 (en) 2021-09-01

Family

ID=62086047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016207317A Active JP6929037B2 (en) 2016-10-21 2016-10-21 Information processing equipment, information processing methods, programs

Country Status (1)

Country Link
JP (1) JP6929037B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021054342A1 (en) * 2019-09-20 2021-03-25 ソニー株式会社 Information processing device and control method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013113670A (en) * 2011-11-28 2013-06-10 Mitsubishi Electric Corp Laser radar system, laser distance measuring device and control device
US20150097719A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
JP2015165234A (en) * 2014-02-28 2015-09-17 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh Operation method of mobile platform, control program, recording medium and electronic control device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013113670A (en) * 2011-11-28 2013-06-10 Mitsubishi Electric Corp Laser radar system, laser distance measuring device and control device
US20150097719A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
JP2015165234A (en) * 2014-02-28 2015-09-17 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh Operation method of mobile platform, control program, recording medium and electronic control device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021054342A1 (en) * 2019-09-20 2021-03-25 ソニー株式会社 Information processing device and control method

Also Published As

Publication number Publication date
JP6929037B2 (en) 2021-09-01

Similar Documents

Publication Publication Date Title
US10896497B2 (en) Inconsistency detecting system, mixed-reality system, program, and inconsistency detecting method
CN112513712B (en) Mixed reality system with virtual content warping and method of generating virtual content using the same
CN110022470B (en) Method and system for training object detection algorithm using composite image and storage medium
KR101930657B1 (en) System and method for immersive and interactive multimedia generation
KR102359978B1 (en) Mixed reality system with multi-source virtual content synthesis and method for creating virtual content using same
JP4739002B2 (en) Image processing method and image processing apparatus
JP6377863B2 (en) Enhancement of depth map representation by reflection map representation
CN110377148B (en) Computer readable medium, method of training object detection algorithm, and training apparatus
CN102959616A (en) Interactive reality augmentation for natural interaction
US11490062B2 (en) Information processing apparatus, information processing method, and storage medium
CN106327461B (en) A kind of image processing method and device for monitoring
CN110031975B (en) Method and system for calibrating augmented reality glasses in vehicle and augmented reality glasses
JP7005224B2 (en) Information processing equipment, systems, image processing methods, computer programs, and storage media
JP6126501B2 (en) Camera installation simulator and its computer program
JP2022058753A (en) Information processing apparatus, information processing method, and program
JP6295296B2 (en) Complex system and target marker
JP2015031978A (en) Information providing device and method
US20220300120A1 (en) Information processing apparatus, and control method
JP6929037B2 (en) Information processing equipment, information processing methods, programs
CN116863107A (en) Augmented reality providing method, apparatus, and non-transitory computer readable medium
JP2018067300A (en) Information processing apparatus and control method thereof
JP2006197036A (en) Device and method for stereoscopic image display
JP4217661B2 (en) Image processing method and image processing apparatus
WO2016185634A1 (en) Information processing device
JP7465133B2 (en) Information processing device and information processing method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191011

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210810

R151 Written notification of patent or utility model registration

Ref document number: 6929037

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151