JP2022173253A - Information processing system and program - Google Patents

Information processing system and program Download PDF

Info

Publication number
JP2022173253A
JP2022173253A JP2022142065A JP2022142065A JP2022173253A JP 2022173253 A JP2022173253 A JP 2022173253A JP 2022142065 A JP2022142065 A JP 2022142065A JP 2022142065 A JP2022142065 A JP 2022142065A JP 2022173253 A JP2022173253 A JP 2022173253A
Authority
JP
Japan
Prior art keywords
real object
image
real
virtual object
transparency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022142065A
Other languages
Japanese (ja)
Other versions
JP7439197B2 (en
Inventor
政文 大田
Masafumi Ota
吉宏 湯本
Yoshihiro Yumoto
美緒 鶴岡
Mio Tsuruoka
賢知 小林
Kenchi Kobayashi
俊 白木
Shun Shiraki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Gas I Net Corp
Original Assignee
Tokyo Gas I Net Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Gas I Net Corp filed Critical Tokyo Gas I Net Corp
Priority to JP2022142065A priority Critical patent/JP7439197B2/en
Publication of JP2022173253A publication Critical patent/JP2022173253A/en
Application granted granted Critical
Publication of JP7439197B2 publication Critical patent/JP7439197B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To allow a user to feel as if a virtual object actually exists behind a translucent real object, even when translucency of the real object is not known in advance.
SOLUTION: An information processing system comprises: estimation means configured to estimate translucency information of a real object from a captured image of the real object; generation means configured to generate an image which reproduces how a region hiding behind the real object would look in real space on the basis of the estimated translucency information, when at least a portion of a virtual object is hiding behind the real object estimated to have translucency; and drawing means configured to draw the virtual object including the generated image. The estimation means, when contents of the image appearing on a surface of the real object do not coincide with the contents in which left and right of the image captured when capturing the real object while moving in the inverse direction of a direction of current movement are switched, and the contents appearing on the surface of the real object are continuously changed in conjunction with the movement of capturing means capturing the surface of the real object, estimates that the real object has the translucency.
SELECTED DRAWING: Figure 6
COPYRIGHT: (C)2023,JPO&INPIT

Description

本発明は、情報処理システム及びプログラムに関する。 The present invention relates to an information processing system and program.

現在、仮想現実(Virtual RealityまたはVR)や拡張現実(Augumented RealityまたはAR)ではなく、現実の空間(現実空間)と、コンピュータを用いて仮想的に作成する空間(仮想空間)との複合を意味する複合現実(Mixed RealityまたはMR)なる技術が注目されている。複合現実が実現された空間(複合現実空間)では、現実空間の物体と仮想空間の物体とが、現実空間と仮想空間の2つの三次元空間の形状情報を重ね合わせて、実時間で影響し合う体験が可能である。
例えば特許文献1には、仮想の物体の背後に現実の物体が位置する場合に(ユーザからは現実の物体が見えない場合に)、ユーザに近づいてきている現実の物体の存在を事前に知らせる技術が記載されている。具体的には、現実の物体とユーザとの距離とが予め定めた距離以内になると、手前側に位置する仮想の物体の表示を半透明又は輪郭線の表示に制御して背後に位置する現実の物体の視認を可能にする技術が記載されている。
Presently, instead of virtual reality (VR) or augmented reality (AR), it means a combination of a real space (real space) and a space created virtually using a computer (virtual space). A technology called Mixed Reality (MR) is attracting attention. In a space where mixed reality is realized (mixed reality space), an object in the real space and an object in the virtual space overlap the shape information of the two three-dimensional spaces of the real space and the virtual space, and influence in real time. Matching experiences are possible.
For example, in Patent Document 1, when a real object is positioned behind a virtual object (when the user cannot see the real object), the user is notified in advance of the existence of the real object approaching. technique is described. Specifically, when the distance between the real object and the user is within a predetermined distance, the display of the virtual object positioned in front is controlled to be semi-transparent or outline display, and the real object positioned in the background is displayed. describes a technique that allows for the visibility of objects in

特開2016-4493号公報JP 2016-4493 A

一方で、従前の技術では、現実の物体(現実物体)の背後に仮想の物体(仮想物体)が位置する場合、現実物体の形状情報のみを描画の判定基準としているため、仮想物体を一律に描画しない手法が採用されている。このため、現実物体が透明でも、その背後に隠れた途端に、仮想物体は空間から存在しなくなる。ところが、このような自然法則に反する現象は、複合現実を体験中のユーザに不自然な印象を与えてしまう。 On the other hand, in the conventional technology, when a virtual object (virtual object) is positioned behind a real object (real object), only the shape information of the real object is used as a criterion for drawing, so the virtual object is uniformly drawn. A non-rendering method is used. Therefore, even if the real object is transparent, the virtual object disappears from the space as soon as it is hidden behind it. However, such a phenomenon that goes against the laws of nature gives an unnatural impression to the user who is experiencing the mixed reality.

本発明は、現実の物体の透過性が事前に分からない状況でも、透過性を有する現実の物体の背後に位置する仮想の物体を描画して仮想の物体が実在するかのような体験 を可能にすることを目的とする。 The present invention renders a virtual object located behind a real object with transparency, even in a situation where the transparency of the real object is not known in advance, so that the virtual object can be experienced as if it were real. The purpose is to

請求項1に記載の発明は、現実の物体を撮像した画像から当該現実の物体の透過性の情報を推定する推定手段と、透過性を有すると推定された前記現実の物体の背後に仮想の物体の少なくとも一部が隠れる場合に、当該現実の物体の背後に隠れる領域の現実の空間での見え方を再現する画像を、推定された透過性の情報に基づいて生成する生成手段と、生成された前記画像を含めて前記仮想の物体を描画する描画手段とを有し、前記推定手段は、前記現実の物体の表面に現れる画像の内容が、現在の移動の方向とは逆向きに移動しながら当該現実の物体を撮像した際に撮像された画像の左右を入れ替えた内容と整合せず、かつ、当該現実の物体の表面を撮像する撮像手段の移動に連動して当該現実の物体の表面に現れる内容が連続的に変化する場合、当該現実の物体が透過性を有すると推定する、情報処理システムである。
請求項2に記載の発明は、現実の物体を撮像した画像から当該現実の物体の透過性の情報を推定する推定手段と、透過性を有すると推定された前記現実の物体の背後に仮想の物体の少なくとも一部が隠れる場合に、当該現実の物体の背後に隠れる領域の現実の空間での見え方を再現する画像を、推定された透過性の情報に基づいて生成する生成手段と、生成された前記画像を含めて前記仮想の物体を描画する描画手段とを有し、前記推定手段は、前記現実の物体の表面に、既知の光源と当該現実の物体の表面の傾きとの関係から推定される位置に明部が存在せず、かつ、当該現実の物体の表面を撮像する撮像手段の移動に連動して当該現実の物体の表面に現れる内容が連続的に変化する場合、当該現実の物体が透過性を有すると推定する、情報処理システムである。
請求項3に記載の発明は、コンピュータに、現実の物体を撮像した画像から当該現実の物体の透過性の情報を推定する機能と、透過性を有すると推定された前記現実の物体の背後に仮想の物体の少なくとも一部が隠れる場合に、当該現実の物体の背後に隠れる領域の現実の空間での見え方を再現する画像を、推定された透過性の情報に基づいて生成する機能と、生成された前記画像を含めて前記仮想の物体を描画する機能とを実現させるためのプログラムであり、前記推定する機能は、前記現実の物体の表面に現れる画像の内容が、現在の撮像の方向とは逆向きに当該現実の物体を撮像した際に撮像された画像の左右を入れ替えた内容と整合せず、かつ、当該現実の物体の表面を撮像する撮像手段の移動に連動して当該現実の物体の表面に現れる内容が連続的に変化する場合、当該現実の物体が透過性を有すると推定する、プログラムである。
請求項4に記載の発明は、コンピュータに、現実の物体を撮像した画像から当該現実の物体の透過性の情報を推定する機能と、透過性を有すると推定された前記現実の物体の背後に仮想の物体の少なくとも一部が隠れる場合に、当該現実の物体の背後に隠れる領域の現実の空間での見え方を再現する画像を、推定された透過性の情報に基づいて生成する機能と、生成された前記画像を含めて前記仮想の物体を描画する機能とを実現させるためのプログラムであり、前記推定する機能は、前記現実の物体の表面に、既知の光源と当該現実の物体の表面の傾きとの関係から推定される位置に明部が存在せず、かつ、当該現実の物体の表面を撮像する撮像手段の移動に連動して当該現実の物体の表面に現れる内容が連続的に変化する場合、当該現実の物体が透過性を有すると推定する、プログラムである。
The invention according to claim 1 comprises an estimating means for estimating transparency information of a real object from a photographed image of the real object, and a virtual image behind the real object estimated to have transparency. generating means for generating an image that reproduces how a region hidden behind a real object looks in a real space when at least part of the object is hidden, based on the estimated transparency information; and a drawing means for drawing the virtual object including the image that has been generated, and the estimation means is configured so that the content of the image appearing on the surface of the real object moves in a direction opposite to the current direction of movement. However, when the image of the real object is imaged, it is not consistent with the contents of the imaged image with the left and right interchanged, and the image of the real object is interlocked with the movement of the imaging means that images the surface of the real object. An information processing system that presumes that a real object has transparency when the content that appears on the surface changes continuously.
According to a second aspect of the present invention, an estimation means for estimating transparency information of a real object from a photographed image of the real object; generating means for generating an image that reproduces how a region hidden behind a real object looks in a real space when at least part of the object is hidden, based on the estimated transparency information; and a rendering means for rendering the virtual object including the image that has been obtained, and the estimation means renders the virtual object on the surface of the real object based on the relationship between a known light source and the inclination of the surface of the real object. If there is no bright part at the estimated position and the content appearing on the surface of the real object continuously changes in conjunction with the movement of the imaging means for imaging the surface of the real object, then the real object is an information processing system for estimating that objects of are transparent.
The invention according to claim 3 provides a computer with a function of estimating transparency information of a real object from an image of the real object, and a function of estimating transparency information of the real object, and A function of generating an image that reproduces how a region hidden behind a real object appears in a real space when at least a part of the virtual object is hidden, based on the estimated transparency information; and a function of drawing the virtual object including the generated image, and the function of estimating is that the content of the image appearing on the surface of the real object is the current imaging direction. When the image of the real object is imaged in the opposite direction, it does not match the contents of the image that is taken with the left and right interchanged, and the image of the real object is interlocked with the movement of the imaging means that images the surface of the real object. is a program that presumes that a real object has transparency if the content appearing on the surface of the object changes continuously.
In the invention according to claim 4, the computer has a function of estimating transparency information of the real object from an image of the real object, and a function of estimating transparency information of the real object and A function of generating an image that reproduces how a region hidden behind a real object appears in a real space when at least a part of the virtual object is hidden, based on the estimated transparency information; and a function of drawing the virtual object including the generated image, and the function of estimating is to draw a known light source and a surface of the real object on the surface of the real object. There is no bright part at the position estimated from the relationship between If it changes, the program assumes that the real object has transparency.

請求項1記載の発明によれば、現実の物体の透過性が事前に分からない状況でも、透過性を有する現実の物体の背後に位置する仮想の物体を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項2記載の発明によれば、現実の物体の透過性が事前に分からない状況でも、透過性を有する現実の物体の背後に位置する仮想の物体を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項3記載の発明によれば、現実の物体の透過性が事前に分からない状況でも、透過性を有する現実の物体の背後に位置する仮想の物体を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項4記載の発明によれば、現実の物体の透過性が事前に分からない状況でも、透過性を有する現実の物体の背後に位置する仮想の物体を描画して仮想の物体が実在するかのような体験を可能にできる。
According to the first aspect of the invention, even in a situation where the transparency of the real object is not known in advance, the virtual object positioned behind the real object having transparency is drawn to determine whether the virtual object actually exists. It can enable experiences such as
According to the second aspect of the invention, even in a situation where the transparency of the real object is not known in advance, the virtual object positioned behind the real object having transparency is drawn to determine whether the virtual object actually exists. It can enable experiences such as
According to the third aspect of the invention, even in a situation where the transparency of the real object is not known in advance, the virtual object positioned behind the real object having transparency is drawn to determine whether the virtual object actually exists. It can enable experiences such as
According to the fourth aspect of the invention, even in a situation where the transparency of the real object is not known in advance, the virtual object located behind the real object having transparency is drawn to determine whether the virtual object actually exists. It can enable experiences such as

外界を透過的に視認可能なメガネ型の端末を装着したユーザが、複合現実を体感する原理を説明する図である。FIG. 2 is a diagram illustrating the principle of a mixed reality experience experienced by a user wearing a glasses-type terminal capable of transparently viewing the outside world. メガネ型の端末のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of a glasses type terminal. メガネ型の端末の機能構成の一例を示す図である。FIG. 2 is a diagram illustrating an example of a functional configuration of a glasses-type terminal; メガネ型の端末で仮想物体を表示する場合に実行される処理動作の一例を説明するフローチャートである。FIG. 10 is a flowchart illustrating an example of processing operations performed when displaying a virtual object on a glasses-type terminal; FIG. 透過性の推定に用いる手法の一例を説明する図である。(A)は立方体形状の現実物体が単独で存在する時点T1の画像を示し、(B)は立方体形状の現実物体の一部が平板状の現実物体によって隠れる時点T2の画像を示す。It is a figure explaining an example of the method used for permeability estimation. (A) shows an image at time T1 when a cube-shaped physical object exists alone, and (B) shows an image at time T2 when a part of the cube-shaped physical object is hidden by a plate-shaped physical object. 透過性の推定に用いる手法の他の一例を説明する図である。(A)は長方形形状の現実物体の表面に現れる時点T1の画像を示し、(B)は長方形形状の現実物体の表面に現れる時点T2の画像を示し、(C)は長方形形状の現実物体の表面に現れる時点T3の画像を示す。FIG. 10 is a diagram illustrating another example of a technique used for estimating permeability; (A) shows the image at time T1 appearing on the surface of the rectangular physical object, (B) shows the image at time T2 appearing on the surface of the rectangular physical object, and (C) shows the image of the rectangular physical object. The image at time T3 as it appears on the surface is shown. 透過性の推定に用いる他の手法の一例を説明する図である。It is a figure explaining an example of another method used for permeability estimation. 透過性の推定に用いる他の手法の一例を説明する図である。It is a figure explaining an example of another method used for permeability estimation. 仮想物体のうち現実物体の背後に隠れる領域を説明する図である。(A)は現実物体と仮想物体の位置の関係を示し、(B)は仮想物体のうち現実物体の背後に隠れる部分を示す。FIG. 4 is a diagram for explaining a region of a virtual object that is hidden behind a real object; (A) shows the positional relationship between the physical object and the virtual object, and (B) shows the portion of the virtual object that is hidden behind the physical object. 従前の技術による仮想物体の描画と本実施の形態による仮想物体の描画の違いを説明する図である。(A)は従前の技術による仮想物体の描画例であり、(B)は本実施の形態による仮想物体の描画例である。FIG. 10 is a diagram for explaining the difference between drawing a virtual object according to a conventional technique and drawing a virtual object according to the present embodiment; (A) is an example of drawing a virtual object according to a conventional technique, and (B) is an example of drawing a virtual object according to the present embodiment. 現実物体の透過率の違いが仮想物体の描画に与える影響を説明する図である。(A)は現実物体の透過率が高い場合の仮想物体の描画例であり、(B)は現実物体の透過率が低い場合の仮想物体の描画例である。FIG. 10 is a diagram for explaining the effect of a difference in transmittance of a real object on rendering of a virtual object; (A) is an example of drawing a virtual object when the transmittance of the physical object is high, and (B) is an example of drawing the virtual object when the transmittance of the physical object is low. 現実物体の色の違いが仮想物体の描画に与える影響を説明する図である。(A)は現実物体に薄い青色が付されている場合の仮想物体の描画例であり、(B)は現実物体に薄い赤色が付されている場合の仮想物体の描画例である。FIG. 10 is a diagram for explaining the effect of the difference in color of the physical object on the rendering of the virtual object; (A) is a drawing example of the virtual object when the real object is colored light blue, and (B) is a drawing example of the virtual object when the physical object is colored light red. 現実物体に付されている模様の違いが仮想物体の描画に与える影響を説明する図である。(A)は現実物体の表面に対角線方向に延びる斜線が形成されている場合の仮想物体の描画例であり、(B)は現実物体の表面に網目状の模様が形成されている場合の仮想物体の描画例である。FIG. 10 is a diagram for explaining how different patterns applied to a physical object affect drawing of a virtual object; (A) is a drawing example of a virtual object when oblique lines extending in a diagonal direction are formed on the surface of the physical object, and (B) is a drawing example of a virtual object when a mesh pattern is formed on the surface of the physical object. It is a drawing example of an object. 現実物体の屈折率の違いが仮想物体の描画に与える影響を説明する図である。(A)は現実物体の屈折率が小さい場合の仮想物体の描画例であり、(B)は現実物体の屈折率が大きい場合の仮想物体の描画例である。FIG. 10 is a diagram for explaining the influence of a difference in refractive index between physical objects on rendering of a virtual object; (A) is a rendering example of a virtual object when the refractive index of the physical object is small, and (B) is a rendering example of the virtual object when the refractive index of the physical object is large. 現実物体の偏光度の違いが仮想物体の描画に与える影響を説明する図である。(A)は現実物体の偏光度が小さい場合の仮想物体の描画例であり、(B)は現実物体の偏光度が大きい場合の仮想物体の描画例である。FIG. 10 is a diagram for explaining how a difference in the degree of polarization of a physical object affects rendering of a virtual object; (A) is an example of drawing a virtual object when the degree of polarization of the physical object is small, and (B) is an example of drawing a virtual object when the degree of polarization of the physical object is large. 現実物体の表面の模様と仮想物体の表面の模様との関係で干渉縞(モアレ)が発生する場合と発生しない場合を説明する図である。(A)は干渉縞が発生しない場合の仮想物体の描画例であり、(B)は干渉縞が発生する場合の仮想物体の描画例である。FIG. 10 is a diagram illustrating a case where interference fringes (moiré) are generated and a case where they are not generated due to the relationship between the surface pattern of a real object and the surface pattern of a virtual object; (A) is a drawing example of a virtual object when interference fringes do not occur, and (B) is a drawing example of a virtual object when interference fringes occur. 現実物体が複数の場合における仮想物体の描画例を説明する図である。(A)はユーザによって知覚される複合現実を示し、(B)は仮想物体の描画処理を説明する図である。FIG. 10 is a diagram for explaining an example of drawing a virtual object when there are a plurality of physical objects; (A) shows a mixed reality perceived by a user, and (B) is a diagram for explaining drawing processing of a virtual object. 複合現実の体験に、実時間で撮像される外界の画像に仮想物体を合成した画像を表示する表示装置を装着したユーザが、複合現実を体感する原理を説明する図である。FIG. 10 is a diagram for explaining the principle of a mixed reality experience experienced by a user wearing a display device that displays an image obtained by synthesizing a virtual object with an image of the external world captured in real time. 表示装置の機能構成の一例を示す図である。It is a figure showing an example of functional composition of a display.

以下、図面を参照して、本発明の実施の形態を説明する。
<実施の形態1>
本実施の形態では、複合現実の体験に、外界を透過的に視認可能なメガネ型の端末を使用する場合について説明する。
図1は、外界を透過的に視認可能なメガネ型の端末1を装着したユーザが、複合現実を体感する原理を説明する図である。
BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<Embodiment 1>
In this embodiment, a case will be described where a glasses-type terminal capable of transparently viewing the outside world is used to experience mixed reality.
FIG. 1 is a diagram for explaining the principle of a mixed reality experience experienced by a user wearing a glasses-type terminal 1 capable of transmissively viewing the outside world.

この種の端末1のハードウェア部分は、既に複数のメーカによって実用化されている。例えばマイクロソフト社のHoloLens(商標)、ソニー社のSmartEyeglass(商標)、コニカミノルタ社のウェアラブルコミュニケーター(商標)がある。この種の端末1は、透過型デバイス、網膜投射型デバイス等とも呼ばれる。
図1に示すメガネ型の端末1は、透明度が高い導光板2と、画像を表示する小型の表示部3と、仮想の物体(仮想物体11)を描画する仮想物体描画部4とを有している。
ここでのメガネ型の端末1は、情報処理装置の一例であるとともに情報処理システムの一例でもある。
The hardware portion of this type of terminal 1 has already been put into practical use by a plurality of manufacturers. For example, Microsoft's HoloLens (trademark), Sony's SmartEyeglass (trademark), and Konica Minolta's Wearable Communicator (trademark). This type of terminal 1 is also called a transmissive device, a retinal projection device, or the like.
A glasses-type terminal 1 shown in FIG. 1 has a highly transparent light guide plate 2, a small display unit 3 for displaying images, and a virtual object drawing unit 4 for drawing a virtual object (virtual object 11). ing.
The glasses-type terminal 1 here is an example of an information processing apparatus and an example of an information processing system.

導光板2は、例えば85%以上の透明度を有する部材で構成され、その内部には、不図示の可視光透過型回折格子が配置されている。可視光透過型回折格子には、例えばホログラフィック回折格子が用いられる。
可視光透過型回折格子は、導光板2の前方から入射する外光B1を直線的に透過してユーザの眼球5に導くように作用する。一方で、可視光透過型回折格子は、表示部3から導光板2に入射した表示光B2を屈折させて導光板2の内部を伝搬させ、その後、眼球5の方向に表示光B2を屈折させるように作用する。
外光B1と表示光B2は、眼球5内で合成される。この結果、端末1を装着したユーザは、現実の物体(現実物体12)に仮想の物体(仮想物体11)を合成した複合現実の風景を知覚する。因みに、図1の例では、仮想物体11が現実物体12よりも手前側に位置している。
The light guide plate 2 is made of, for example, a member having a transparency of 85% or more, and a visible light transmissive diffraction grating (not shown) is arranged therein. A holographic diffraction grating, for example, is used as the visible light transmission diffraction grating.
The visible light transmissive diffraction grating acts to linearly transmit the external light B1 incident from the front of the light guide plate 2 and guide it to the user's eyeball 5 . On the other hand, the visible light transmissive diffraction grating refracts the display light B2 incident on the light guide plate 2 from the display unit 3 to propagate inside the light guide plate 2, and then refracts the display light B2 in the direction of the eyeball 5. acts like
The external light B1 and the display light B2 are synthesized within the eyeball 5 . As a result, the user wearing the terminal 1 perceives a mixed reality scene in which the virtual object (virtual object 11) is combined with the real object (real object 12). Incidentally, in the example of FIG. 1, the virtual object 11 is located closer to the user than the real object 12 is.

<メガネ型の端末1のハードウェア構成>
図2は、メガネ型の端末1のハードウェア構成の一例を示す図である。
図2に示す端末1は、プログラム(基本ソフトウェアを含む)の実行を通じて装置全体を制御するCPU(Central Processing Unit)21と、BIOS(Basic Input Output System)や基本ソフトウェア等のプログラムを記憶するROM22と、プログラムの実行領域として使用されるRAM(Random Access Memory)23と、を有している。
ROM22は、例えば電気的にデータの書き換えが可能な不揮発性の半導体メモリで構成される。
CPU21、ROM22、RAM23は、コンピュータ20として機能する。
<Hardware configuration of glasses-type terminal 1>
FIG. 2 is a diagram showing an example of the hardware configuration of the glasses-type terminal 1. As shown in FIG.
The terminal 1 shown in FIG. 2 includes a CPU (Central Processing Unit) 21 that controls the entire device through the execution of programs (including basic software), and a ROM 22 that stores programs such as BIOS (Basic Input Output System) and basic software. , and a RAM (Random Access Memory) 23 used as a program execution area.
The ROM 22 is composed of, for example, an electrically rewritable non-volatile semiconductor memory.
The CPU 21 , ROM 22 and RAM 23 function as the computer 20 .

コンピュータ20には、仮想の物体を表示する表示部3L及び3Rと、外界を撮像するカメラ24L及び24Rと、角度、角速度、加速度等の慣性情報を計測する慣性計測センサ25と、現実の物体までの距離を測定する深度センサ26と、周囲の明るさを検知する照度センサ27と、外部との通信に用いられる無線通信部28と、が接続されている。
左目用の表示部3Lには、左目用の画像が表示され、右目用の表示部3Rには、右目用の画像が表示される。左目用の画像と右目用の画像には視差が再現されている。このため、端末1を装着したユーザは、仮想物体11を立体視できる。
The computer 20 includes display units 3L and 3R that display virtual objects, cameras 24L and 24R that capture images of the outside world, inertial measurement sensors 25 that measure inertial information such as angles, angular velocities, and accelerations, as well as real objects. , an illuminance sensor 27 for detecting ambient brightness, and a wireless communication unit 28 for communicating with the outside are connected.
An image for the left eye is displayed on the display section 3L for the left eye, and an image for the right eye is displayed on the display section 3R for the right eye. Parallax is reproduced between the image for the left eye and the image for the right eye. Therefore, the user wearing the terminal 1 can view the virtual object 11 stereoscopically.

カメラ24Lはユーザの左目側に配置され、カメラ24Rはユーザの右目側に配置される。カメラ24L及び24Rによって、端末1の周囲がステレオ撮影される。カメラ24L及び24Rで撮像された画像は、現実の物体の認識や現実の物体の表面までの距離の測定に用いられる。なお、現実の物体までの距離の測定に用いるカメラと、現実の物体の認識に用いられるカメラは、それぞれ別に用意されてもよい。カメラ24L及び24Rは撮像手段の一例である。
慣性計測センサ25は、頭の位置や向きの計測に用いられ、視線の追跡などに使用される。
深度センサ26は、赤外線や超音波を使用して現実空間に存在する物体までの距離を計測する。
The camera 24L is placed on the left eye side of the user and the camera 24R is placed on the right eye side of the user. Stereo images of the surroundings of the terminal 1 are taken by the cameras 24L and 24R. The images captured by the cameras 24L and 24R are used for recognizing the real object and measuring the distance to the surface of the real object. Note that the camera used for measuring the distance to the real object and the camera used for recognizing the real object may be prepared separately. The cameras 24L and 24R are examples of imaging means.
The inertial measurement sensor 25 is used to measure the position and orientation of the head, and is used for line-of-sight tracking and the like.
The depth sensor 26 uses infrared rays and ultrasonic waves to measure the distance to objects existing in the real space.

<メガネ型の端末1の機能構成>
図3は、メガネ型の端末1の機能構成の一例を示す図である。
図3に示す機能構成は、CPU21によるプログラムの実行を通じて実現される。
図3に示す機能構成は、プログラムの実行を通じて実現される各種の機能のうち、現実の物体の背後に仮想の物体が配置される複合現実空間をユーザに知覚させる機能について表している。
<Functional configuration of glasses-type terminal 1>
FIG. 3 is a diagram showing an example of the functional configuration of the glasses-type terminal 1. As shown in FIG.
The functional configuration shown in FIG. 3 is realized through the execution of programs by the CPU 21 .
The functional configuration shown in FIG. 3 represents, among various functions realized through execution of a program, a function that allows the user to perceive a mixed reality space in which virtual objects are placed behind real objects.

図3の場合、CPU21は、カメラ24L及び24Rによって撮像される画像から現実空間の情報を取得する現実空間情報取得部31と、撮像された画像に基づいて現実物体12(図1参照)の透過性を推定する現実物体透過性推定部32と、現実物体12の透過情報を取得する現実物体透過情報取得部33と、仮想物体11(図1参照)のうち眼球5(図1参照)の位置を基準として透過性を有する現実物体12の背後に隠れる領域を判定する仮想物体透過領域判定部34と、表示部3L及び3R(図2参照)に仮想物体11の画像を描画する仮想物体描画部4と、を有している。 In the case of FIG. 3, the CPU 21 includes a real space information acquisition unit 31 that acquires information on the real space from the images captured by the cameras 24L and 24R, and a transparence detection unit 31 for the real object 12 (see FIG. 1) based on the captured images. a physical object transparency estimating unit 32 for estimating a physical property, a physical object transmission information acquiring unit 33 for acquiring transmission information of the physical object 12, and the position of the eyeball 5 (see FIG. 1) of the virtual object 11 (see FIG. 1) A virtual object transmission area determination unit 34 that determines an area hidden behind the transparent physical object 12 based on the virtual object transmission area determination unit 34, and a virtual object rendering unit that renders an image of the virtual object 11 on the display units 3L and 3R (see FIG. 2). 4 and .

現実空間情報取得部31は、撮像された画像から現実空間に関する様々な情報を取得し、現実空間情報41としてRAM23に保存する。
現実空間情報41として保存される情報の種類は、メガネ型の端末1を使用する場面や用途によって異なる。
ただし、情報の種類が増えることで、複合現実空間における体験を、現実空間の体験に近づけることができる。
本実施の形態の場合、現実空間情報41には、実時間で追加される現実物体12に関する情報に加え、事前に与えられた又は事前に取得された現実物体12に関する情報も含まれる。
The physical space information acquisition unit 31 acquires various pieces of information about the physical space from the captured image, and stores the acquired information in the RAM 23 as physical space information 41 .
The type of information stored as the physical space information 41 varies depending on the occasion and purpose of using the spectacles-type terminal 1 .
However, by increasing the types of information, the experience in the mixed reality space can be brought closer to the experience in the real space.
In the case of this embodiment, the physical space information 41 includes information on the physical object 12 that is given or acquired in advance in addition to information on the physical object 12 that is added in real time.

現実物体12に関する情報は、撮像された画像から推定(計算)される場合もあれば、現実物体12毎に既知の情報としてRAM23の不揮発性領域に保存されている場合もある。
撮像された画像から推定される情報には、色情報のように撮像された画像から直接的に取得可能な情報もあれば、後述する手法などを用いて推定される情報もある。
本実施の形態の場合、RAM23の不揮発性領域には、現実物体12の透過性を有する部分の全てに適用される情報(透過情報を計算するための式や透過情報の代表値を含む)も記憶される。なお、RAM23の不揮発性領域には、透過性を有する部分別の情報が記憶されていてもよい。
本実施の形態における現実空間情報取得部31は、RAM23から、画像認識によって特定された個々の現実物体12に関する情報を取得する。
Information about the physical object 12 may be estimated (calculated) from the captured image, or may be stored in the non-volatile area of the RAM 23 as known information for each physical object 12 .
Information estimated from a captured image includes information such as color information that can be directly obtained from the captured image, and information estimated using a method described later.
In the case of the present embodiment, the non-volatile area of the RAM 23 also contains information (including formulas for calculating transparency information and representative values of the transparency information) that are applied to all transparent portions of the physical object 12. remembered. Note that the non-volatile area of the RAM 23 may store information for each transparent portion.
The physical space information acquisition unit 31 in the present embodiment acquires from the RAM 23 information on each physical object 12 specified by image recognition.

また、RAM23に記憶される情報には、ある現実物体12が他の現実物体12を透過して視認される場合の見え方を再現する複数種類のフィルタの情報が含まれてもよい。個々のフィルタは、透過率、屈折率、偏光度などの複数の項目の組み合わせで与えられる。
本実施の形態における現実空間情報取得部31には、現実物体12の透過性を有する部分を撮像した画像と同様の見え方を実現するフィルタを取得する機能が設けられていてもよい。ここでのフィルタは、透過情報の一例である。
Also, the information stored in the RAM 23 may include information of a plurality of types of filters that reproduce the appearance when a certain physical object 12 is viewed through another physical object 12 . Individual filters are given by a combination of multiple items such as transmittance, refractive index, and degree of polarization.
The physical space information acquisition unit 31 in the present embodiment may be provided with a function of acquiring a filter that realizes the same appearance as an image obtained by capturing a transparent portion of the physical object 12 . The filter here is an example of transparency information.

現実物体12に関する情報には、例えば個別の物体(人を含む)の情報、ユーザが位置する現実空間の情報、ユーザの位置から画像内の各位置までの距離の情報、光源に関する情報、撮像に関する情報などが含まれる。
ここで、個別の物体の情報には、例えば形状、色調、材質、透過情報、現実空間内での位置を特定する情報が含まれる。物体の認識には、既存の技術を使用する。例えばエッジや色領域を特徴量として検出する手法が用いられる。物体の認識には、人工知能を用いてもよい。
撮像に関する情報には、現実の空間内におけるカメラ24L及び24Rの位置の情報、現実の空間内におけるカメラ24L及び24Rの移動の方向、現実の空間内におけるカメラ24L及び24Rが撮像する向きの情報等が含まれる。なお、カメラ24L及び24Rによって撮像された画像には、撮像の日時に関する情報なども付属する。
Information about the physical object 12 includes, for example, information about individual objects (including people), information about the physical space where the user is located, information about the distance from the user's position to each position in the image, information about the light source, and information about imaging. including information.
Here, the information of individual objects includes, for example, shape, color tone, material, transmission information, and information specifying the position in the physical space. Existing technology is used for object recognition. For example, a method of detecting edges and color regions as feature amounts is used. Artificial intelligence may be used for object recognition.
Information related to imaging includes information on the positions of the cameras 24L and 24R in the real space, directions of movement of the cameras 24L and 24R in the real space, information on directions in which the cameras 24L and 24R take images in the real space, and the like. is included. The images captured by the cameras 24L and 24R are accompanied by information on the date and time of capturing.

透過性に関する各種の情報を与える透過情報には、例えば透過性を有する部分と有しない部分の情報、透過性を有する部分の透過率の情報、透過性を有する部分の屈折率、透過性を有する部分の色調、透過性を有する部分の偏光度、透過性を有する部分の模様等が含まれる。因みに、透過性を有しない部分の透過率は0(ゼロ)である。
透過率等の情報は、画像の処理を通じて推定される場合もあれば、事前に与えられる場合もある。透過性を推定する手法には、複数の時点に撮像された複数の画像の比較による方法、人工知能によって特定された物体に対応する透過情報をデータベースから取得する方法等がある。データベースは、例えばクラウドネットワーク上の不図示のサーバに記憶されていてもよい。なお、特定された物体に対応する透過情報がデータベースに存在しない場合、人工知能は、特定された物体に対応する透過情報を、データベースに存在する類似する物品の情報に基づいて推定してもよい。
透過情報に含まれる個々の要素の組み合わせにより、物体の質感が変化する。
なお、現実空間情報41は、例えばクラウドネットワーク上の不図示のサーバに記憶されていてもよい。
Transmittance information that provides various information about transmittance includes, for example, information on portions with and without transmittance, transmittance information on portions with transmittance, refractive index of portions with transmittance, and information on transmittance. It includes the color tone of the part, the degree of polarization of the transmissive part, the pattern of the transmissive part, and the like. Incidentally, the transmittance of the non-transmissive portion is 0 (zero).
Information such as transmittance may be estimated through image processing or may be given in advance. Techniques for estimating transparency include a method of comparing multiple images taken at multiple times, a method of acquiring transmission information corresponding to an object identified by artificial intelligence from a database, and the like. The database may be stored in a server (not shown) on a cloud network, for example. Note that if the database does not contain the transmission information corresponding to the specified object, the artificial intelligence may estimate the transmission information corresponding to the specified object based on the information of similar items existing in the database. .
The texture of the object changes depending on the combination of individual elements included in the transmission information.
Note that the physical space information 41 may be stored in a server (not shown) on a cloud network, for example.

本実施の形態における現実空間情報取得部31には、現実空間を模した3次元モデルを生成又は更新する機能(すなわち、現実空間を仮想化する機能)も設けられている。
現実空間情報取得部31は、現実空間から取得された複数の情報を仮想空間上で整合的に統合し、3次元モデルを生成又は更新する。ここでの3次元モデルは、現実空間仮想化情報42としてRAM23に記憶される。
現実空間を仮想化した空間に仮想物体11を配置したものが複合現実空間である。
The physical space information acquisition unit 31 in the present embodiment also has a function of generating or updating a three-dimensional model simulating the physical space (that is, a function of virtualizing the physical space).
The physical space information acquisition unit 31 consistently integrates multiple pieces of information acquired from the physical space in the virtual space to generate or update a three-dimensional model. The three-dimensional model here is stored in the RAM 23 as the physical space virtualization information 42 .
A mixed reality space is a space in which the virtual object 11 is arranged in a space obtained by virtualizing the real space.

本実施の形態における現実物体透過性推定部32は、推定の対象に定めた現実物体12を異なる時点に撮像した複数の画像に基づいて、現実物体12の透過性を推定する。なお、現実物体透過性推定部32は、現実物体12の透過率や屈折率や偏光度を推定する機能も有している。
例えば現実物体12の偏光角は、カメラ24の前方に配置した偏光レンズ(偏光度100%)を90°回転させながら撮像し、その過程で一番暗くなる向きを撮像の対象である現実物体12の偏光角(角度)として推定する。また、一番暗くなる角度から偏光レンズを90°回転させながら撮像し、一番光が届く向きでの光の量を100として一番光が届かない向きでの光の量を表した値を、対象とする現実物体12の偏光度として推定する。
なお、屈折率は、例えば臨界角法による手法で推定すればよい。
ここでの現実物体透過性推定部32は、推定手段の一例である。
推定の結果は、推定の対象に定めた現実物体12に対応づけられた現実空間情報41の一部として保存される。
推定の精度は、現実空間情報41や現実空間仮想化情報42の集積に伴って向上する。
The physical object transparency estimating unit 32 in the present embodiment estimates the transparency of the physical object 12 based on a plurality of images of the physical object 12 determined as an estimation target captured at different times. The physical object transmittance estimator 32 also has a function of estimating the transmittance, refractive index, and degree of polarization of the physical object 12 .
For example, the polarization angle of the physical object 12 is captured by rotating a polarizing lens (with a degree of polarization of 100%) placed in front of the camera 24 by 90°. is estimated as the polarization angle (angle) of Also, an image is taken while rotating the polarizing lens 90° from the darkest angle, and the amount of light in the direction where the light reaches the most is set to 100, and the value representing the amount of light in the direction where the light reaches the least is calculated. , is estimated as the degree of polarization of the physical object 12 of interest.
The refractive index may be estimated by, for example, the critical angle method.
The physical object transparency estimating unit 32 here is an example of an estimating means.
The estimation result is stored as part of the physical space information 41 associated with the physical object 12 determined as the estimation target.
The accuracy of estimation improves as the physical space information 41 and the physical space virtualization information 42 are accumulated.

本実施の形態における現実物体透過情報取得部33は、現実物体12の現実空間情報41から透過情報を取得する。
本実施の形態の場合、現実物体透過情報取得部33は、端末1を装着しているユーザの眼球5の位置を基準として仮想物体11の手前側に位置する現実物体12を、透過情報の取得の対象とする。
ここで、仮想物体11が配置される位置(3次元モデル内での位置)、形状、色調、材質などの情報は、仮想物体情報43として記憶されている。
なお、ユーザの眼球5の位置は、実測されるのではなく、端末1との関係で与えられる。
The physical object transmission information acquisition unit 33 in this embodiment acquires transmission information from the physical space information 41 of the physical object 12 .
In the case of the present embodiment, the physical object transmission information acquisition unit 33 acquires transmission information of the physical object 12 positioned in front of the virtual object 11 with respect to the position of the eyeball 5 of the user wearing the terminal 1. subject to
Here, information such as the position where the virtual object 11 is arranged (the position within the three-dimensional model), shape, color tone, material, etc. is stored as virtual object information 43 .
Note that the position of the user's eyeball 5 is given in relation to the terminal 1 rather than being actually measured.

本実施の形態における仮想物体透過領域判定部34は、現実物体12のうち透過性を有する部分の背後に隠れる仮想物体11の領域を判定する。
ここで、仮想物体透過領域判定部34は、仮想物体11と現実物体12の位置の関係を、端末1を装着しているユーザの眼球5の位置を基準として判定する。ユーザの眼球5の位置は、実測されるのではなく、端末1との関係で与えられる。
仮想物体11が配置される位置(3次元モデル内での位置)、形状、色調、材質などの情報は、仮想物体情報43として記憶されている。
The virtual object transmission area determining unit 34 in the present embodiment determines the area of the virtual object 11 that is hidden behind the transparent portion of the physical object 12 .
Here, the virtual object transmission region determining unit 34 determines the positional relationship between the virtual object 11 and the real object 12 with reference to the position of the eyeball 5 of the user wearing the terminal 1 . The position of the user's eyeball 5 is given in relation to the terminal 1 rather than being actually measured.
Information such as the position where the virtual object 11 is arranged (position within the three-dimensional model), shape, color tone, material, etc. is stored as virtual object information 43 .

本実施の形態における仮想物体透過領域判定部34は、端末1を装着しているユーザの眼球5の位置を基準として仮想物体11の手前側に位置する現実物体12を判定の対象とする。
現実物体12の透過性を有する部分の背後に隠れると判定された仮想物体11の領域には、手前側に位置する現実物体12の透過情報が関連付けられる。
本実施の形態では、仮想物体11に関連付けられた現実物体12の透過情報を仮想物体描画情報44という。仮想物体描画情報44の内容は、端末1を装着しているユーザの移動、現実空間内での物体の移動、仮想物体11を配置する位置によっても変化する。
The virtual object transmission region determination unit 34 in the present embodiment uses the position of the eyeball 5 of the user wearing the terminal 1 as a reference to determine the physical object 12 positioned in front of the virtual object 11 .
A region of the virtual object 11 determined to be hidden behind a transparent portion of the physical object 12 is associated with the transparency information of the physical object 12 located on the near side.
In this embodiment, the transmission information of the physical object 12 associated with the virtual object 11 is called virtual object drawing information 44 . The contents of the virtual object drawing information 44 also change depending on the movement of the user wearing the terminal 1, the movement of the object in the physical space, and the position where the virtual object 11 is arranged.

仮想物体描画部4は、現実空間仮想化情報42、仮想物体情報43、仮想物体描画情報44を用い、表示部3L(図2参照)用の仮想物体11の画像と表示部3R(図2参照)用の仮想物体11の画像を描画する。
本実施の形態における仮想物体描画部4は、仮想物体11のうち現実物体12の背後に隠れる領域も描画の対象に含める。すなわち、仮想物体11の全体を描画の対象とする。
このように、透過性を有する現実物体12に隠れる位置の仮想物体11が表示されることで、ユーザは仮想物体11の全体を知覚できる。この結果、従前の技術に比して、複合現実の現実感を高めることができる。
The virtual object drawing unit 4 uses the real space virtualization information 42, the virtual object information 43, and the virtual object drawing information 44 to draw the image of the virtual object 11 for the display unit 3L (see FIG. 2) and the display unit 3R (see FIG. 2). ) draws the image of the virtual object 11 for
The virtual object drawing unit 4 in the present embodiment includes a region of the virtual object 11 that is hidden behind the real object 12 as a drawing target. That is, the virtual object 11 as a whole is to be drawn.
By displaying the virtual object 11 at a position hidden by the transparent physical object 12 in this manner, the user can perceive the virtual object 11 as a whole. As a result, it is possible to enhance the sense of reality in mixed reality as compared with the conventional technology.

更に、本実施の形態における仮想物体描画部4は、透過性を有する現実物体12に隠れる位置の仮想物体11の見え方をより現実に近づけるため、仮想物体11に関連付けられている現実物体12の透過率、屈折率、色調、偏光度、模様等を仮想物体11の描画に反映させる。
例えば仮想物体描画部4は、現実物体12の透過率、屈折率、色調、偏光度、模様等を適用したフィルタを用意し、用意されたフィルタを仮想物体11の対象とする領域に作用させた後の画像を描画する。ここでのフィルタには、複数の模様が重ね合わされることで知覚される干渉縞やその他の干渉の影響を描画するための情報も含まれる。
すなわち、仮想物体描画部4は、透過性を有する現実物体12の背後に他の現実の物体12が配置される場合の見え方を再現する画像を、現実物体12の透過率、屈折率、色調、模様等に基づいて生成する。
フィルタを用いる場合、仮想物体情報43には変更を加えずに済み、演算量が少なく済む。このため、現実物体12の背後に隠れる領域の変化が速い場合でも、現実物体12の透過情報を仮想物体11の描画に実時間で反映させることができる。
本実施の形態における仮想物体描画部4は、生成手段と描画手段の一例である。
Furthermore, the virtual object rendering unit 4 in the present embodiment makes the appearance of the virtual object 11 at a position hidden by the transparent physical object 12 more realistic. Transmittance, refractive index, color tone, degree of polarization, pattern, etc. are reflected in drawing of the virtual object 11 .
For example, the virtual object rendering unit 4 prepares a filter to which the transmittance, refractive index, color tone, degree of polarization, pattern, etc. of the physical object 12 are applied, and causes the prepared filter to act on the target area of the virtual object 11 Draw the image after. Filters here also include information for rendering interference fringes and other interference effects perceived by superimposing multiple patterns.
That is, the virtual object rendering unit 4 creates an image that reproduces the appearance when another real object 12 is placed behind the transmissive real object 12, using the transmittance, refractive index, and color tone of the real object 12. , pattern, etc.
When a filter is used, the virtual object information 43 does not need to be changed, and the amount of calculation can be reduced. Therefore, even when the area hidden behind the physical object 12 changes rapidly, the transmission information of the physical object 12 can be reflected in the drawing of the virtual object 11 in real time.
The virtual object drawing unit 4 in the present embodiment is an example of generating means and drawing means.

<メガネ型の端末1で実行される処理動作>
図4は、メガネ型の端末1で仮想物体11を描画する場合に実行される処理動作の一例を説明するフローチャートである。
図4に示す処理動作は、CPU21によるプログラムの実行を通じて実現される。なお、図中では、ステップを記号のSで表している。
まず、CPU21は、現実空間の情報を取得する(ステップ1)。この処理により、CPU21は、端末1を装着しているユーザが導光板2を透して視認している現実物体12を認識する。
次に、CPU21は、認識された現実物体12の透過性を推定する(ステップ2)。本実施の形態の場合、現実物体12のどの部分が透過性を有するかの認識が重要である。
透過性の推定処理は、透過性に関する情報が未知である現実物体12に限らず、以前に推定処理を行った現実物体12を対象に含めてもよい。
以前に推定処理の対象とした現実物体12でも、画像が取得される際の環境の違いにより、透過性に関する新たな情報を取得できる可能性があるからである。
なお、透過性を推定する処理は、仮想物体11を描画する処理とは独立に実行してもよい。
<Processing operation performed by glasses-type terminal 1>
FIG. 4 is a flowchart for explaining an example of processing operations performed when the virtual object 11 is drawn on the glasses-type terminal 1. As shown in FIG.
The processing operations shown in FIG. 4 are realized through the execution of the program by the CPU 21 . In the drawing, the step is represented by the symbol S.
First, the CPU 21 acquires information on the physical space (step 1). Through this process, the CPU 21 recognizes the physical object 12 that the user wearing the terminal 1 is visually recognizing through the light guide plate 2 .
Next, the CPU 21 estimates the transparency of the recognized physical object 12 (step 2). In the case of this embodiment, it is important to recognize which part of the physical object 12 has transparency.
The transparency estimation process is not limited to the physical object 12 whose transparency information is unknown, and may include the physical object 12 for which the estimation process has been previously performed.
This is because, even for the physical object 12 that was previously targeted for estimation processing, there is a possibility that new information regarding transparency can be acquired due to differences in the environment when the image is acquired.
Note that the process of estimating transparency may be executed independently of the process of drawing the virtual object 11 .

図5は、透過性の推定に用いる手法の一例を説明する図である。(A)は立方体形状の現実物体12Aが単独で存在する時点T1の画像を示し、(B)は立方体形状の現実物体12Aの一部が平板状の現実物体12Bによって隠れる時点T2の画像を示す。
時点T1と時点T2は、互いに異なる時点に対応する。
なお、時点T1の画像は第1の画像の一例であり、時点T2の画像は第2の画像の一例である。
図5の場合、端末1を装着するユーザの眼球5(図1参照)は、紙面から手前方向に延びる法線上に位置している。
時点T1では単独で存在した立方体形状の現実物体12Aが、別の時点T2では平板状の現実物体12Bの背後に隠れるような状態(すなわち背景側に位置する状態は)は、平板状の現実物体12Bの空間内における移動により、又は、端末1を装着するユーザの空間内の移動により生じる。
FIG. 5 is a diagram illustrating an example of a technique used for estimating transparency. (A) shows an image at time T1 when the cube-shaped physical object 12A exists alone, and (B) shows an image at time T2 when a part of the cube-shaped physical object 12A is hidden by the plate-shaped physical object 12B. .
Time T1 and time T2 correspond to different time points.
Note that the image at time T1 is an example of the first image, and the image at time T2 is an example of the second image.
In the case of FIG. 5, the eyeball 5 (see FIG. 1) of the user wearing the terminal 1 is positioned on the normal line extending forward from the plane of the paper.
A state in which the cubic physical object 12A that existed alone at time T1 is hidden behind the flat physical object 12B at another time T2 (that is, the state in which it is located on the background side) is a flat physical object. 12B, or by the movement of the user wearing the terminal 1 in space.

因みに、時点T2に対応する画像は、現実物体12Bが現実物体12Aの手前側に移動された状態を示している。
透過性の推定に際し、CPU21は、時点T2で撮像された現実物体12Bの表面の画像を解析し、表面の画像に現れるエッジ51を抽出する。図5の例では、4本のエッジ51が抽出されている。
なお、CPU21は、現実空間情報41や現実空間仮想化情報42の情報(例えば個々の現実物体12について保存されている位置の情報)を用い、現実物体12Bの背後に位置する物体が現実物体12Aであると認識する。
Incidentally, the image corresponding to time T2 shows a state in which the physical object 12B is moved to the front side of the physical object 12A.
When estimating transparency, the CPU 21 analyzes the image of the surface of the physical object 12B captured at time T2, and extracts edges 51 appearing in the surface image. In the example of FIG. 5, four edges 51 are extracted.
Note that the CPU 21 uses the information of the physical space information 41 and the physical space virtualization information 42 (for example, positional information stored for each physical object 12) to determine whether the object located behind the physical object 12B is the physical object 12A. Recognize that.

次に、CPU21は、現実物体12Aが単独で撮像されている時点T1の画像と照合し、抽出された4本のエッジ51が現実物体12Aと整合するか否かを判定する。
ここで、整合するとは、4本のエッジ51の配置と、現実物体12Aの表面の画像から抽出されるエッジの情報との間に高い類似性が認められることをいう。
エッジの情報には、物体の外縁を規定するエッジと物体の表面の構造や模様を規定するエッジの両方が含まれる。
ここで、完全な一致を要求しないのは、透過性を有する物体を透して抽出されるエッジには、透過性を有する現実物体12Bの影響(屈折の影響を含む)や外光の影響が含まれるためである。
Next, the CPU 21 collates the image of the physical object 12A alone at time T1, and determines whether or not the four extracted edges 51 match the physical object 12A.
Here, matching means that a high degree of similarity is recognized between the arrangement of the four edges 51 and edge information extracted from the image of the surface of the physical object 12A.
The edge information includes both edges that define the outer edge of the object and edges that define the surface structure and pattern of the object.
The reason why perfect matching is not required here is that the edge extracted through the transparent object is affected by the effect of the transparent physical object 12B (including the effect of refraction) and the effect of external light. because it is included.

図5の例では、抽出された4本のエッジ51が、立方体形状の現実物体12Aの左上部分のエッジと一致しているので、CPU21は、平板状の現実物体12Bが透過性を有すると推定する。
本実施の形態の場合、平板状の現実物体12Aの全体が透過性を有すると推定される。もっとも、現実物体12Aと重複する領域に限り、透過性を有すると推定し、残りの領域についての透過性の有無は、他の機会に推定してもよい。
図5の場合、CPU21は、透過率や屈折率も推定する。例えばCPU21は、時点T2に撮像された画像を処理対象として、平板状の現実物体12Bと重なっている部分における立方体形状の現実物体12Aの見え方と、平板状の現実物体12Bに隠れていない部分における立方体形状の現実物体12Aの見え方との違いから透過率や屈折率を計算することができる。
例えば透過率は、平板状の現実物体12Bに隠れていない部分における立方体形状の現実物体12Aの輝度に対する平板状の現実物体12Bと重なっている部分における立方体形状の現実物体12Aの輝度の比として計算する。また例えば屈折率は、平板状の現実物体12Bについて推定された反射率を、既知の公式に代入することにより計算可能である。
In the example of FIG. 5, the four extracted edges 51 match the upper left edge of the cubic physical object 12A, so the CPU 21 presumes that the planar physical object 12B has transparency. do.
In the case of the present embodiment, it is estimated that the entire plate-like physical object 12A has transparency. However, it is also possible to estimate that only the region overlapping the physical object 12A has transparency, and to estimate the presence or absence of transparency for the remaining region on another occasion.
In the case of FIG. 5, the CPU 21 also estimates the transmittance and refractive index. For example, the CPU 21 processes the image captured at time T2 as a processing target, and determines how the cubic physical object 12A appears in the portion overlapping the flat plate-shaped physical object 12B and the portion not hidden by the flat plate-shaped physical object 12B. It is possible to calculate the transmittance and the refractive index from the difference from the appearance of the cubic physical object 12A in .
For example, the transmittance is calculated as the ratio of the luminance of the cubic physical object 12A in the portion overlapping the flat physical object 12B to the luminance of the cubic physical object 12A in the portion not hidden by the flat physical object 12B. do. Also, for example, the refractive index can be calculated by substituting the reflectance estimated for the plate-like physical object 12B into a known formula.

図6は、透過性の推定に用いる手法の他の一例を説明する図である。(A)は長方形形状の現実物体12の表面に現れる時点T1の画像を示し、(B)は長方形形状の現実物体12の表面に現れる時点T2の画像を示し、(C)は長方形形状の現実物体12の表面に現れる時点T3の画像を示す。
時点T1と時点T2と時点T3は、互いに異なる時点に対応する。
図6の場合も、端末1を装着するユーザの眼球5(図1参照)は、紙面から手前方向に延びる法線上に位置している。
FIG. 6 is a diagram illustrating another example of a technique used for estimating transparency. (A) shows an image appearing on the surface of the rectangular physical object 12 at time T1, (B) shows an image appearing on the surface of the rectangular physical object 12 at time T2, and (C) shows the image appearing on the surface of the rectangular physical object 12. An image at time T3 as it appears on the surface of object 12 is shown.
Time T1, time T2, and time T3 correspond to different time points.
In the case of FIG. 6 as well, the eyeball 5 (see FIG. 1) of the user wearing the terminal 1 is positioned on the normal line extending forward from the paper surface.

図6で説明する推定の手法では、長方形形状の現実物体12の表面に現れる内容が以下に示す2つの条件を満たす場合に、現実物体12が透過性を有すると推定する。
条件の1つは、現実物体12の表面に現れる内容が、物理的な構造や模様とも表示デバイスに表示される画像とも異なることである。
別の1つの条件は、現実物体12の表面に現れる内容が、鏡像ではないことである。
In the estimation method described with reference to FIG. 6, when the content appearing on the surface of the rectangular physical object 12 satisfies the following two conditions, it is estimated that the physical object 12 has transparency.
One of the conditions is that the content appearing on the surface of the physical object 12 is different from the physical structure and pattern and from the image displayed on the display device.
Another condition is that the content appearing on the surface of the physical object 12 is not a mirror image.

本実施の形態では、現実物体12を撮像しているカメラ24L及び24R(図2参照)の移動に連動して現実物体12の表面に現れる内容が連続的に変化する場合、前者の条件を満たすものとして扱う。
現実物体12の表面に現れる内容が物理的な構造や模様に起因する場合、カメラ24L及び24R(図2参照)が移動しても内容は不変だからである。また、現実物体12が表示デバイスの場合には、その表示の内容の変化は、現実物体12を撮像しているカメラ24L及び24Rの移動と無関係だからである。
In the present embodiment, the former condition is satisfied when the content appearing on the surface of the physical object 12 continuously changes in conjunction with the movement of the cameras 24L and 24R (see FIG. 2) capturing the images of the physical object 12. treated as a thing.
This is because when the content appearing on the surface of the physical object 12 is caused by a physical structure or pattern, the content remains unchanged even if the cameras 24L and 24R (see FIG. 2) move. This is also because when the physical object 12 is a display device, the change in the content of the display is irrelevant to the movement of the cameras 24L and 24R capturing the physical object 12. FIG.

ただし、現実物体12が鏡の場合、その表面に現れる内容が、現実物体12を撮像しているカメラ24L及び24Rの移動と連動して変化する。
そこで、CPU21は、現実物体12の表面に現れる内容が鏡像でないことを要求する。
本実施の形態の場合、CPU12は、例えば現実物体12の表面に現れる内容が、メガネ型の端末1を装着しているユーザの像を含む場合、現実物体12の表面に現れる内容が鏡像であると判定する。
また、CPU21は、例えば現実物体12の表面に現れる内容が、現在の撮像の方向とは逆向きを撮像した際に撮像された画像の左右を入れ替えた画像と整合する場合、現実物体12の表面に現れる内容が鏡像であると判定する。
However, when the physical object 12 is a mirror, the content appearing on its surface changes in conjunction with the movement of the cameras 24L and 24R capturing the physical object 12. FIG.
Therefore, the CPU 21 requires that the content appearing on the surface of the physical object 12 is not a mirror image.
In the case of this embodiment, for example, when the content appearing on the surface of the physical object 12 includes the image of the user wearing the glasses-type terminal 1, the CPU 12 determines that the content appearing on the surface of the physical object 12 is a mirror image. I judge.
In addition, for example, when the content appearing on the surface of the physical object 12 matches the image obtained by switching the left and right of the image captured when the image was captured in the opposite direction to the current image capturing direction, the surface of the physical object 12 is the mirror image.

鏡像であることは、他の手法によっても判定が可能である。
例えば、推定の対象である現実物体12の表面に現れる内容(個々の像)と別の現実物体12とがいずれも対称の位置に存在する場合(換言すると、推定の対象である現実物体12の表面に現れる内容と対をなす別の現実物体12とが、共通の外形を有し、かつ、推定の対象である現実物体12の表面を挟んで等距離に位置する場合)も、CPU21は、現実物体12の表面に現れる内容が鏡像であると判定する。
また、CPU21は、既知の光源の位置と現実物体12の表面の傾きとの関係から推定される位置に明部(ハイライト)が存在する場合、推定の対象である現実物体12は反射特性を有すると判定する。すなわち、現実物体12の表面に現れる内容が鏡像であると判定する。
この他、CPU21は、推定の対象である現実物体12の表面の明るさが、距離が近い位置の光源によって直接照らされる場合に比して暗い場合、現実物体12の表面に現れる内容が鏡像であると判定する。
Being a mirror image can also be determined by other methods.
For example, when the contents (individual images) appearing on the surface of the physical object 12 that is the target of estimation and another physical object 12 both exist in symmetrical positions (in other words, if the physical object 12 that is the target of estimation When the content appearing on the surface and another physical object 12 paired with each other have a common external shape and are located at equal distances across the surface of the physical object 12 to be estimated), the CPU 21 It is determined that the content appearing on the surface of the physical object 12 is a mirror image.
Further, when a bright portion (highlight) exists at a position estimated from the relationship between the known position of the light source and the inclination of the surface of the physical object 12, the CPU 21 determines that the physical object 12 to be estimated has a reflection characteristic. Determine that you have. That is, it is determined that the content appearing on the surface of the physical object 12 is a mirror image.
In addition, when the brightness of the surface of the physical object 12 to be estimated is darker than when it is directly illuminated by a light source located at a short distance, the CPU 21 determines that the content appearing on the surface of the physical object 12 is a mirror image. Determine that there is.

図6の場合では、時点T1に撮像された現実物体12の表面に現れる画像61も、時点T2に撮像された現実物体12の表面に現れる画像62も、時点T3に撮像された現実物体12の表面に現れる画像63も鏡像ではない場合を想定している。
例えばカメラ24L及び24R(すなわちユーザ)が現実物体12に向かって左の方向MLに移動する場合(時点T1から時点T2への移動の場合)、画像62を構成するビル群は、移動の方向と移動の速度に連動して全体的に左に移動される。同時に、画像62の右側には新たなビル群が出現する。
また、カメラ24L及び24R(すなわちユーザ)が現実物体12に向かって右の方向MRに移動する場合(時点T1から時点T3への移動の場合)、画像63を構成するビル群は、移動の方向と移動の速度に連動して全体的に右に移動される。同時に、画像63の左側には新たなビルが出現する。
このとき、CPU21は、現実物体12が、透過性を有すると推定する。
In the case of FIG. 6, both the image 61 appearing on the surface of the physical object 12 captured at time T1 and the image 62 appearing on the surface of the physical object 12 captured at time T2 are the images of the physical object 12 captured at time T3. It is assumed that the image 63 appearing on the surface is also not a mirror image.
For example, when the cameras 24L and 24R (that is, the user) move toward the physical object 12 in the left direction ML (in the case of movement from time T1 to time T2), the group of buildings forming the image 62 is aligned with the direction of movement. Moves to the left as a whole in conjunction with the speed of movement. At the same time, a new group of buildings appears on the right side of the image 62 .
Also, when the cameras 24L and 24R (that is, the user) move toward the physical object 12 in the right direction MR (in the case of movement from time T1 to time T3), the group of buildings forming the image 63 moves in the direction of movement. and moves to the right as a whole in conjunction with the speed of movement. At the same time, a new building appears on the left side of image 63 .
At this time, the CPU 21 estimates that the physical object 12 has transparency.

図7は、透過性の推定に用いる他の手法の一例を説明する図である。ここでは、1枚の画像から被写体である現実物体12の透過性を推定する手法について説明する。
図7に示す画像では、装置1(図1参照)を装着しているユーザが、手6で現実物体12を掴んでいる。光源の位置が既知である場合、CPU21は、現実物体12によって生じる影ができる領域71の輝度と影ができない領域72の輝度との比較に基づいて現実物体12の透過性(透過率を含む)を推定する。
例えば現実物体12の影ができる領域71の輝度が、現実物体12が透過性を有しない(不透過である)場合に領域72の輝度から想定される輝度よりも明るい場合、CPU21は、現実物体12が透過性を有すると推定する。また、領域71の輝度が確定されれば、CPU21は、現実物体12の透過率を計算により推定することができる。
FIG. 7 is a diagram illustrating an example of another technique used for estimating transparency. Here, a method for estimating the transparency of the physical object 12, which is a subject, from one image will be described.
In the image shown in FIG. 7, the user wearing the device 1 (see FIG. 1) is holding the physical object 12 with the hand 6. As shown in FIG. When the position of the light source is known, the CPU 21 calculates the transparency (including transmittance) of the physical object 12 based on the comparison between the brightness of the shadowable region 71 and the brightness of the shadowless region 72 caused by the physical object 12 . to estimate
For example, when the brightness of the region 71 where the shadow of the physical object 12 is formed is brighter than the brightness assumed from the brightness of the region 72 when the physical object 12 does not have transparency (is opaque), the CPU 21 Assume that 12 are permeable. Also, once the brightness of the area 71 is determined, the CPU 21 can estimate the transmittance of the physical object 12 by calculation.

図8は、透過性の推定に用いる他の手法の一例を説明する図である。図8も、1枚の画像から被写体である現実物体12の透過性を推定する手法について説明する。
図8では、光源光によって照射される面(表面)の輝度を用いて、現実物体12の透過性を推定する。
例えば影(領域71)が透けて見えるはずの表面側の部位74と、影(領域71)が透けて見えない表面側の部位73との間で輝度の差が存在する場合(領域74の輝度が領域73の輝度よりも低い場合)、CPU21は、現実物体12は透過性を有すると推定する。図8では、輝度を比較する2つの部位を破線で囲んでいる。
また例えば現実物体12の1つの部位77を2つの方向から撮像した場合の輝度の違いから現実物体12の透過性を推定してもよい。現実物体12が透過性を有する場合には、現実物体12の表面と眼球5の視線の方向とが平行に近づくほど(位置75よりも位置76に近いほど)、視線の延長線が現実物体12の内部を通過する厚み(距離)が長くなるため表面の色が濃く撮像されることになる。換言すると、位置76に近いほど現実物体12の背後が見えづらくなる。このように視認する角度によって現実物体12の色調が変化する場合、CPU21は、対象とする現実物体12が透過性を有すると推定する。
なお、前述した複数の推定の手法を組み合わせてもよい。
図4の説明に戻る。
FIG. 8 is a diagram illustrating an example of another technique used for estimating transparency. FIG. 8 also describes a method of estimating the transparency of the physical object 12, which is a subject, from one image.
In FIG. 8, the transmittance of the physical object 12 is estimated using the brightness of the surface (surface) illuminated by the light source light.
For example, if there is a difference in brightness between a surface-side portion 74 through which the shadow (region 71) should be visible and a surface-side portion 73 through which the shadow (region 71) is not visible (the brightness of the region 74 is lower than the luminance of the area 73), the CPU 21 presumes that the physical object 12 has transparency. In FIG. 8, two parts whose brightness is to be compared are enclosed by dashed lines.
Further, for example, the transparency of the physical object 12 may be estimated from the difference in brightness when one part 77 of the physical object 12 is imaged from two directions. When the physical object 12 has transparency, the closer the surface of the physical object 12 and the direction of the line of sight of the eyeball 5 become parallel (the closer the position 76 is to the position 75 than the position 75 ), the more the line of sight extends from the physical object 12 . Since the thickness (distance) passing through the inside of the is long, the color of the surface is imaged dark. In other words, the closer the position 76 is, the harder it is to see behind the physical object 12 . When the color tone of the physical object 12 changes depending on the viewing angle, the CPU 21 estimates that the target physical object 12 has transparency.
In addition, you may combine the several estimation methods mentioned above.
Returning to the description of FIG.

続いて、CPU21は、描画の対象である1つ又は複数の仮想物体11のうちで未選択の1つを選択する(ステップ3)。
CPU21は、選択された仮想物体11を処理の対象として、現実物体12の背後に隠れる領域があるか否かを判定する(ステップ4)。
ここで、CPU21は、端末1を装着しているユーザの眼球5(図1参照)の位置を基準として、処理対象とする仮想物体11が現実物体12の背後に隠れるか否かを判定する。
背後に隠れるか否かは、端末1を装着しているユーザの眼球5の位置を基準として判定される。ステップ4の場合、眼球5と現実物体12の外縁とを結ぶ仮想の直線を延長した範囲内に仮想物体11が含まれるか否かが判定される。
例えば仮想物体11と端末1との間に現実物体12が存在しない場合、CPU21は、否定結果を得てステップ7に進む。
Next, the CPU 21 selects one of the one or more virtual objects 11 to be drawn (step 3).
The CPU 21 determines whether or not there is an area hidden behind the physical object 12 with the selected virtual object 11 as the processing target (step 4).
Here, the CPU 21 determines whether or not the virtual object 11 to be processed is hidden behind the real object 12 based on the position of the eyeball 5 (see FIG. 1) of the user wearing the terminal 1 .
Whether or not the terminal 1 is hidden behind is determined based on the position of the eyeball 5 of the user wearing the terminal 1 . In step 4, it is determined whether or not the virtual object 11 is included within the range obtained by extending the virtual straight line connecting the eyeball 5 and the outer edge of the physical object 12 .
For example, if the physical object 12 does not exist between the virtual object 11 and the terminal 1 , the CPU 21 obtains a negative result and proceeds to step 7 .

図9は、仮想物体11のうち現実物体12の背後に隠れる領域15を説明する図である。(A)は現実物体12と仮想物体11の位置の関係を示し、(B)は仮想物体11のうち現実物体12の背後に隠れる領域15を示す。
図9において、端末1を装着しているユーザの眼球5(図1参照)は、紙面から手前方向に延びる法線上に位置している。すなわち、ユーザから見て現実物体12の方が仮想物体11よりも手前側に位置している。
図9で想定する眼球5の位置を基準とする場合、現実物体12の背後に隠れる仮想物体11の領域15は、網掛けで示す範囲になる。
図4の説明に戻る。
FIG. 9 is a diagram for explaining a region 15 hidden behind the real object 12 in the virtual object 11. As shown in FIG. (A) shows the positional relationship between the physical object 12 and the virtual object 11 , and (B) shows the area 15 hidden behind the physical object 12 in the virtual object 11 .
In FIG. 9, the eyeball 5 (see FIG. 1) of the user wearing the terminal 1 is positioned on the normal line extending forward from the plane of the paper. That is, the physical object 12 is located closer to the user than the virtual object 11 is.
When the position of the eyeball 5 assumed in FIG. 9 is used as a reference, the region 15 of the virtual object 11 hidden behind the real object 12 is the hatched range.
Returning to the description of FIG.

ステップ4で肯定結果が得られた場合、CPU21は、現実物体12が透過性を有する部分の背後に隠れる領域と、透過性を有しない(不透過の)部分の背後に隠れる領域とを特定する(ステップ5)。現実物体12が透過性を有する領域の情報は、現実物体透過情報取得部33(図3参照)によって現実空間情報41(図3参照)から取得される。
ステップ5の場合、CPU21は、眼球5と透過性を有する部分の外縁とを結ぶ仮想の直線を延長した範囲内に含まれる仮想物体11の領域を、現実物体12が透過性を有する部分の背後に隠れる領域として特定する。
本実施の形態の場合、CPU21は、現実物体12が透過性を有する部分の背後に隠れる領域として特定された領域以外を、透過性を有しない(不透過の)部分の背後に隠れる領域として特定する。
因みに、図9の場合において、現実物体12の全体が透過性を有する部分であれば、透過性を有する部分の背後に隠れる領域は網掛けで示す領域15と一致する。
If a positive result is obtained in step 4, the CPU 21 identifies the area where the physical object 12 is hidden behind the transparent part and the area where the physical object 12 is hidden behind the non-transparent (non-transparent) part. (Step 5). The information on the area where the physical object 12 has transparency is acquired from the physical space information 41 (see FIG. 3) by the physical object transmission information acquisition unit 33 (see FIG. 3).
In the case of step 5, the CPU 21 places the area of the virtual object 11 within the range obtained by extending the imaginary straight line connecting the eyeball 5 and the outer edge of the transmissive portion behind the transmissive portion of the real object 12. identified as a region hidden in
In the case of the present embodiment, the CPU 21 identifies areas other than the area identified as the area where the physical object 12 is hidden behind the transparent portion as the area hidden behind the non-transparent (non-transparent) portion. do.
Incidentally, in the case of FIG. 9, if the entire physical object 12 is a transparent portion, the region hidden behind the transparent portion matches the hatched region 15 .

なお、仮想物体11を背後に隠す位置関係にある現実物体12が複数ある場合、CPU21は、個々の現実物体12について、その透過性を有する部分の背後に隠れる仮想物体11の領域を特定する。
また、1つの現実物体12に透過性を有する部分が複数ある場合、CPU21は、透過性を有する個々の部分について、その背後に隠れる仮想物体11の領域を特定する。
従って、1つの仮想物体11について特定される領域の数は1つに限らない。なお、複数の領域が特定される場合、それらの領域は一致するとは限らない。
Note that when there are a plurality of physical objects 12 positioned to hide the virtual object 11 behind, the CPU 21 identifies the region of the virtual object 11 hidden behind the transparent portion of each physical object 12 .
Also, when one physical object 12 has a plurality of transparent parts, the CPU 21 identifies the area of the virtual object 11 hidden behind each transparent part.
Therefore, the number of areas specified for one virtual object 11 is not limited to one. Note that when multiple areas are specified, those areas do not always match.

次に、CPU21は、ステップ5で特定された領域毎に現実物体12の透過情報を関連付けて保存する(ステップ6)。
すなわち、CPU21は、処理の対象である仮想物体11に対応付けて仮想物体描画情報44を保存する。
この後、CPU21は、全ての仮想物体11が選択済みであるか否かを判定する(ステップ7)。
ステップ7で否定結果が得られた場合、CPU21は、ステップ3に戻る。ステップ3では未選択の仮想物体11の中から1つが処理の対象として選択される。
一方、ステップ7で肯定結果が得られた場合、CPU21は、全ての仮想物体11の全ての部位を、関連付けられている透過情報を用いて描画する(ステップ8)。
Next, the CPU 21 associates and stores the transmission information of the physical object 12 for each area specified in step 5 (step 6).
That is, the CPU 21 stores the virtual object drawing information 44 in association with the virtual object 11 to be processed.
After that, the CPU 21 determines whether or not all the virtual objects 11 have been selected (step 7).
If a negative result is obtained in step 7, the CPU 21 returns to step 3. At step 3, one of the unselected virtual objects 11 is selected as a processing target.
On the other hand, if a positive result is obtained in step 7, the CPU 21 draws all parts of all virtual objects 11 using the associated transparency information (step 8).

<描画例>
以下では、具体例を用いて、本実施の形態における仮想物体11の描画例について説明する。
<描画例1>
図10は、従前の技術による仮想物体11の描画と本実施の形態による仮想物体11の描画の違いを説明する図である。(A)は従前の技術による仮想物体11の描画例であり、(B)は本実施の形態による仮想物体11の描画例である。
図10では、従前の技術による描画例を比較例と記している。
図10の場合も、端末1を装着するユーザの眼球5(図1参照)は、紙面から手前方向に延びる法線上に位置している。
<Drawing example>
A drawing example of the virtual object 11 according to the present embodiment will be described below using a specific example.
<Drawing example 1>
FIG. 10 is a diagram for explaining the difference between drawing the virtual object 11 according to the conventional technique and drawing the virtual object 11 according to the present embodiment. (A) is a rendering example of the virtual object 11 according to the conventional technique, and (B) is a rendering example of the virtual object 11 according to the present embodiment.
In FIG. 10, a drawing example by the conventional technique is indicated as a comparative example.
In the case of FIG. 10 as well, the eyeball 5 (see FIG. 1) of the user wearing the terminal 1 is positioned on the normal line extending forward from the plane of the paper.

(A)に示すように、従前の技術では、平板形状の現実物体12が円筒形状の仮想物体11よりもユーザに近い場合(すなわち、仮想物体11の一部の領域が現実物体12の背後に隠れる場合)、現実物体12の全体が半透明であっても、その背後に隠れる領域の仮想物体11は、描画の対象から除外される。
このため、半透明の現実物体12の内側では、仮想物体11が知覚されず、代わりに、透過性のある現実物体12の背後に位置する現実の物体がユーザに知覚される。
As shown in (A), in the conventional technology, when the flat plate-shaped physical object 12 is closer to the user than the cylindrical virtual object 11 (that is, a part of the virtual object 11 is behind the physical object 12) hidden), even if the real object 12 is wholly translucent, the virtual object 11 in the area hidden behind it is excluded from the rendering target.
Therefore, the user does not perceive the virtual object 11 inside the translucent real object 12 , and instead perceives the real object located behind the translucent real object 12 .

一方、半透明の現実物体12の外側では、円筒形状の仮想物体11がユーザに知覚されるが、反対に、半透明の現実物体12の内側では知覚されていた他の現実の物体が知覚されなくなる。
このように、透過性を有する現実物体12の内側と外側とで、ユーザに知覚される風景が不自然につながる状態が生じる。
また、従前の技術では、仮想物体11の全体が現実物体12の背後に隠れるように配置されていても、ユーザは、仮想物体11の存在を知りえない。
On the other hand, outside the translucent physical object 12, the user perceives the cylindrical virtual object 11; Gone.
In this way, the scenery perceived by the user unnaturally connects between the inside and the outside of the transparent physical object 12 .
Further, in the conventional technology, even if the virtual object 11 is entirely hidden behind the physical object 12, the user cannot know the existence of the virtual object 11. FIG.

一方で、本実施の形態の場合には、(B)に示すように、仮想物体11の一部が半透明の現実物体12の背後に隠れる場合でも、円筒形状の仮想物体11の全体をユーザに知覚させることができる。
このように、本実施の形態に係る技術を用いれば、透過性を有する現実物体12の内側と外側とで風景が不自然につながることがなくなり、仮想物体11が実在するかのような体験が可能になる。
On the other hand, in the case of the present embodiment, as shown in (B), even if a part of the virtual object 11 is hidden behind the translucent real object 12, the user can see the entire cylindrical virtual object 11. can be perceived by
In this way, by using the technique according to the present embodiment, the scenery will not unnaturally connect between the inside and the outside of the real object 12 having transparency, and the user can experience as if the virtual object 11 actually exists. be possible.

また、本実施の形態に係る技術を用いれば、ユーザが現実空間内を移動する場合に、直前まで知覚されていた仮想物体11が半透明の現実物体12の背後に隠れた途端に消滅する現象や直前まで知覚されていなかった仮想物体11が半透明の現実物体12の背後から突然出現する現象を無くすことができる。
すなわち、ユーザが半透明の現実物体12の周囲を移動しても、仮想物体11が継続的に知覚されるようにできる。
このため、仮想物体11を、現実の物体と区別なくユーザに知覚させることが可能になる。
Moreover, if the technology according to the present embodiment is used, when the user moves in the real space, the virtual object 11 that was perceived just before disappears as soon as it is hidden behind the translucent real object 12. It is possible to eliminate phenomena and phenomena in which the virtual object 11, which was not perceived until just before, suddenly appears from behind the translucent real object 12. - 特許庁
That is, even if the user moves around the translucent physical object 12, the virtual object 11 can be continuously perceived.
Therefore, it is possible for the user to perceive the virtual object 11 without distinguishing it from a real object.

なお、ユーザと仮想物体11は移動せず、半透明の現実物体12だけが移動する場合やユーザと半透明の現実物体12は移動せず、仮想物体11だけが移動する場合にも、同様の不自然な現象が無くなるので、仮想物体11の実在感を高めることができる。
また、従前の技術では気づくことができなかった、現実物体12の背後に全体が隠れている仮想物体11をユーザに気づかせることも可能になる。
The same applies when only the translucent physical object 12 moves without the user and the virtual object 11 moving, or when only the virtual object 11 moves without the user and the translucent physical object 12 moving. Since unnatural phenomena are eliminated, the sense of reality of the virtual object 11 can be enhanced.
Also, it becomes possible to make the user aware of the virtual object 11 that is entirely hidden behind the real object 12, which could not be noticed by the conventional technology.

<描画例2>
図11は、現実物体12の透過率の違いが仮想物体11の描画に与える影響を説明する図である。(A)は現実物体12の透過率が高い場合の仮想物体11の描画例であり、(B)は現実物体12の透過率が低い場合の仮想物体11の描画例である。
図11の場合も、端末1(図1参照)を装着するユーザの眼球5(図1参照)は、紙面から手前方向に延びる法線上に位置している。
図11の場合、透過率が相対的に高い透過率1の場合((A)の場合)の方が、透過率が相対的に低い透過率2の場合((B)の場合)よりも、仮想物体11の形状をはっきり知覚することが可能である。
このため、ユーザは、仮想物体11が実在するかのような体験を可能に できる。
<Drawing example 2>
11A and 11B are diagrams for explaining the influence of the difference in transmittance of the physical object 12 on drawing of the virtual object 11. FIG. (A) is a drawing example of the virtual object 11 when the transmittance of the physical object 12 is high, and (B) is a drawing example of the virtual object 11 when the transmittance of the physical object 12 is low.
In the case of FIG. 11 as well, the eyeball 5 (see FIG. 1) of the user wearing the terminal 1 (see FIG. 1) is positioned on the normal extending forward from the plane of the paper.
In the case of FIG. 11, the relatively high transmittance of 1 (case (A)) is higher than the relatively low transmittance of 2 (case (B)). It is possible to clearly perceive the shape of the virtual object 11 .
Therefore, the user can experience as if the virtual object 11 actually exists.

<描画例3>
図12は、現実物体12の色の違いが仮想物体11の描画に与える影響を説明する図である。(A)は現実物体12に薄い青色が付されている場合の仮想物体11の描画例であり、(B)は現実物体12に薄い赤色が付されている場合の仮想物体11の描画例である。
図12の場合も、端末1(図1参照)を装着するユーザの眼球5(図1参照)は、紙面から手前方向に延びる法線上に位置している。
作図上の制約のため、図12においては、薄い青色や薄い赤色を表現することはできないが、現実物体12を透して知覚される仮想物体11の見え方を、現実物体12を透して知覚される現実空間の他の物体の見え方に近づけることが可能になる。
このため、ユーザは、仮想物体11が実在するかのような体験を可能にできる。
<Drawing example 3>
12A and 12B are diagrams for explaining the influence of the difference in color of the physical object 12 on drawing of the virtual object 11. FIG. (A) is a rendering example of the virtual object 11 when the physical object 12 is colored light blue, and (B) is a rendering example of the virtual object 11 when the physical object 12 is colored light red. be.
In the case of FIG. 12 as well, the eyeball 5 (see FIG. 1) of the user wearing the terminal 1 (see FIG. 1) is positioned on the normal line extending forward from the paper surface.
Due to drawing restrictions, light blue and light red colors cannot be expressed in FIG. It becomes possible to approximate the appearance of other objects in the perceived real space.
Therefore, the user can experience as if the virtual object 11 actually exists.

<描画例4>
図13は、現実物体12に付されている模様の違いが仮想物体11の描画に与える影響を説明する図である。(A)は現実物体12の表面に対角線方向に延びる斜線(模様1)が形成されている場合の仮想物体11の描画例であり、(B)は現実物体12の表面に網目状の模様(模様2)が形成されている場合の仮想物体11の描画例である。
図13の場合も、端末1(図1参照)を装着するユーザの眼球5(図1参照)は、紙面から手前方向に延びる法線上に位置している。
図13に示すように、現実物体12の表面に形成された模様を仮想物体11の描画に反映することで、現実物体12を透して知覚される仮想物体11の見え方を、現実物体12を透して知覚される現実空間の他の物体の見え方に近づけることが可能になる。
このため、ユーザは、仮想物体11が実在するかのような体験を可能にできる。
<Drawing example 4>
13A and 13B are diagrams for explaining the influence of different patterns applied to the physical object 12 on the rendering of the virtual object 11. FIG. (A) is a drawing example of the virtual object 11 when oblique lines (pattern 1) extending diagonally are formed on the surface of the physical object 12, and (B) is a mesh pattern (pattern 1) on the surface of the physical object 12. This is a drawing example of the virtual object 11 when the pattern 2) is formed.
In the case of FIG. 13 as well, the eyeball 5 (see FIG. 1) of the user wearing the terminal 1 (see FIG. 1) is positioned on the normal line extending forward from the plane of the paper.
As shown in FIG. 13, by reflecting the pattern formed on the surface of the physical object 12 in the rendering of the virtual object 11, the appearance of the virtual object 11 perceived through the physical object 12 can be It is possible to approximate the appearance of other objects in the real space perceived through the .
Therefore, the user can experience as if the virtual object 11 actually exists.

<描画例5>
図14は、現実物体12の屈折率の違いが仮想物体11の描画に与える影響を説明する図である。(A)は現実物体12の屈折率が小さい場合の仮想物体11の描画例であり、(B)は現実物体12の屈折率が大きい場合の仮想物体11の描画例である。
図14の場合も、端末1(図1参照)を装着するユーザの眼球5(図1参照)は、紙面から手前方向に延びる法線上に位置している。
図14の場合、現実物体12の屈折率の影響により、現実物体12の背後に隠れる位置に描画される仮想物体11の外縁と、現実物体12の外側に描画される仮想物体11の外縁とが非連続になっている。すなわち、現実物体12の外縁を境界として、仮想物体11の外縁を描画する位置にずれが生じている。
また、描画上のずれの量は、屈折率が相対的に小さい屈折率1((A)の場合)では小さく、屈折率が相対的に大きい屈折率2((B)の場合)では大きくなっている。
このため、ユーザは、仮想物体11が実在するかのような体験を可能にできる。
<Drawing example 5>
14A and 14B are diagrams for explaining how the difference in the refractive index of the physical object 12 affects the rendering of the virtual object 11. FIG. (A) is a drawing example of the virtual object 11 when the physical object 12 has a small refractive index, and (B) is a drawing example of the virtual object 11 when the physical object 12 has a large refractive index.
In the case of FIG. 14 as well, the eyeball 5 (see FIG. 1) of the user wearing the terminal 1 (see FIG. 1) is positioned on the normal extending forward from the plane of the paper.
In the case of FIG. 14, due to the influence of the refractive index of the physical object 12, the outer edge of the virtual object 11 drawn at a position hidden behind the physical object 12 and the outer edge of the virtual object 11 drawn outside the physical object 12 are different. are discontinuous. That is, there is a shift in the drawing position of the outer edge of the virtual object 11 with the outer edge of the physical object 12 as a boundary.
Further, the amount of deviation in drawing is small at a relatively small refractive index of 1 (in the case of (A)), and is large at a relatively high refractive index of 2 (in the case of (B)). ing.
Therefore, the user can experience as if the virtual object 11 actually exists.

<描画例6>
図15は、現実物体12の偏光に関する情報の 違いが仮想物体11の描画に与える影響を説明する図である。(A)は現実物体12の偏光度が小さい場合の仮想物体11の描画例であり、(B)は現実物体12の偏光度が大きい場合の仮想物体11の描画例である。
図15の場合も、端末1(図1参照)を装着するユーザの眼球5(図1参照)は、紙面から手前方向に延びる法線上に位置している。
(A)の例では、偏光度が小さい(反射光や雑光を除去する割合が小さい)ため、現実物体12を透過する光成分のうち仮想物体11から到来する光成分の割合が相対的に少ない状態にある。このため、仮想物体11の視認性が低下している。
一方、(B)の例では、偏光度が相対的に大きい(反射光や雑光を除去する割合が大きい)ため、現実物体12を透過する光成分のうち仮想物体11から到来する光成分の割合が相対的に大きい状態にある。このため、仮想物体11の視認性が向上している。
このため、ユーザは、仮想物体11が実在するかのような体験を可能にできる。
なお、偏光に関する情報の違いによる効果には、旋光性の違いによる影響を含めてもよい。旋光性の違いを描画に反映することにより、光学異性体の見え方の違いを表現できる。
<Drawing example 6>
15A and 15B are diagrams for explaining the effect of the difference in the polarization information of the physical object 12 on the rendering of the virtual object 11. FIG. (A) is an example of drawing the virtual object 11 when the degree of polarization of the physical object 12 is small, and (B) is an example of drawing the virtual object 11 when the degree of polarization of the physical object 12 is large.
In the case of FIG. 15 as well, the eyeball 5 (see FIG. 1) of the user wearing the terminal 1 (see FIG. 1) is positioned on the normal extending forward from the plane of the paper.
In the example of (A), since the degree of polarization is small (the rate of removing reflected light and miscellaneous light is small), the proportion of the light component arriving from the virtual object 11 to the light component transmitted through the physical object 12 is relatively in a low state. Therefore, the visibility of the virtual object 11 is degraded.
On the other hand, in the example of (B), since the degree of polarization is relatively large (the rate of removing reflected light and random light is large), the light component arriving from the virtual object 11 among the light components passing through the real object 12 is The ratio is relatively large. Therefore, the visibility of the virtual object 11 is improved.
Therefore, the user can experience as if the virtual object 11 actually exists.
In addition, the effect due to the difference in information on polarization may include the influence due to the difference in optical rotation. By reflecting the difference in optical rotation in drawing, it is possible to express the difference in appearance of optical isomers.

<描画例7>
図16は、現実物体12の表面の模様と仮想物体11の表面の模様との関係で干渉縞(モアレ)が発生する場合と発生しない場合を説明する図である。(A)は干渉縞が発生しない場合の仮想物体11の描画例であり、(B)は干渉縞が発生する場合の仮想物体11の描画例である。
干渉縞は、規則正しい繰り返し模様を複数重ね合わせた場合に、それらの周期のずれに起因して知覚される模様である。
<Drawing example 7>
16A and 16B are diagrams for explaining a case where interference fringes (moire) are generated and a case where they are not generated due to the relationship between the surface pattern of the real object 12 and the surface pattern of the virtual object 11. FIG. (A) is a drawing example of the virtual object 11 when no interference fringes are generated, and (B) is a drawing example of the virtual object 11 when interference fringes are generated.
An interference fringe is a pattern that is perceived due to a shift in the period when a plurality of regularly repeated patterns are superimposed.

図16の場合も、端末1(図1参照)を装着するユーザの眼球5(図1参照)は、紙面から手前方向に延びる法線上に位置している。
(A)の例では、現実物体12の表面に横線が一様に形成され、仮想物体11の表面には斜線が一様に形成されている。ここでの横線と斜線とがなす角度は、干渉縞が発生する条件を満たしていない。このため、透過性を有する現実物体12と仮想物体11とが重なる領域には、2つの物体の模様を単純に重ねた模様が描画されている。
In the case of FIG. 16 as well, the eyeball 5 (see FIG. 1) of the user wearing the terminal 1 (see FIG. 1) is positioned on the normal extending forward from the plane of the paper.
In the example of (A), horizontal lines are uniformly formed on the surface of the physical object 12 and oblique lines are uniformly formed on the surface of the virtual object 11 . The angle formed by the horizontal line and the oblique line here does not satisfy the conditions for generating interference fringes. For this reason, in the area where the real object 12 and the virtual object 11 having transparency overlap, a pattern in which the patterns of the two objects are simply superimposed is drawn.

干渉縞は、例えば幅が同じ2つの縞模様がわずかな角度で交差する場合や幅が僅かに異なる2つの縞模様が平行に重なり、縞と縞の間隔が周期的に変化する場合に発生する。言うまでもなく、干渉縞は、周期性を有する模様(例えば平行線、同心円)どうしが特定の条件を満たせば発生する。
(B)の例は、現実物体12の縞模様と仮想物体11の縞模様とが同じ幅を有し、かつ、それらがわずかな角度で交差するように配置される場合に発生する干渉縞を表している。干渉縞は、擬似的な濃淡の模様として発生する。
Interference fringes occur, for example, when two fringes with the same width intersect at a slight angle, or when two fringes with slightly different widths overlap in parallel and the spacing between fringes changes periodically. . Needless to say, interference fringes are generated when patterns having periodicity (for example, parallel lines and concentric circles) meet specific conditions.
The example of (B) shows interference fringes that occur when the striped pattern of the real object 12 and the striped pattern of the virtual object 11 have the same width and are arranged so that they intersect at a slight angle. represent. The interference fringes appear as a pattern of pseudo grayscale.

本実施の形態の場合、CPU21が、画像処理で認識した現実物体12の縞模様と描画の対象である仮想物体11の縞模様とが干渉縞の発生条件を満たすと判定した場合に、干渉縞を描画する。
このため、ユーザは、仮想物体11が実在するかのような体験を可能にできる。
なお、図16においては光の干渉によって知覚される現象の一例として干渉縞を例示しているが、例えばモルフォ蝶の鱗粉やマジョーラ塗装のように干渉縞を伴わない効果を再現してもよい。ここで、モルフォ蝶の鱗粉による効果は、干渉によって青色の波長の光だけを反射させる効果をいい、マジョーラ塗装による効果は、見る角度や光の当たり方によって物体の表面が様々な色に変化する効果をいう。
In the case of this embodiment, when the CPU 21 determines that the striped pattern of the real object 12 recognized by the image processing and the striped pattern of the virtual object 11 to be drawn satisfy the conditions for generating interference fringes, the interference fringes are generated. to draw.
Therefore, the user can experience as if the virtual object 11 actually exists.
Although FIG. 16 exemplifies interference fringes as an example of a phenomenon perceived by interference of light, effects not accompanied by interference fringes, such as morpho butterfly scales and majora paint, may be reproduced. Here, the effect of morpho butterfly scales is the effect of reflecting only blue wavelength light through interference, and the effect of majora coating is that the surface of an object changes color depending on the viewing angle and how the light hits it. say the effect.

<描画例8>
図17は、現実物体12が複数の場合における仮想物体11の描画例を説明する図である。(A)はユーザによって知覚される複合現実を示し、(B)は仮想物体11の描画処理を説明する図である。
図17の場合も、端末1(図1参照)を装着するユーザの眼球5(図1参照)は、紙面から手前方向に延びる法線上に位置している。
図17の場合、現実物体12Aは透過性を有しない枠形状の部材であり、現実物体12Bは透過性を有する部材である。現実物体12Aは、例えば窓ガラスの枠体であり、現実物体12Bは、例えば窓ガラスのガラス板である。
<Drawing example 8>
FIG. 17 is a diagram illustrating an example of drawing the virtual object 11 when there are a plurality of physical objects 12. FIG. (A) shows a mixed reality perceived by a user, and (B) is a diagram for explaining drawing processing of a virtual object 11. FIG.
In the case of FIG. 17 as well, the eyeball 5 (see FIG. 1) of the user wearing the terminal 1 (see FIG. 1) is positioned on the normal line extending forward from the paper surface.
In the case of FIG. 17, the physical object 12A is a frame-shaped member that does not have transparency, and the physical object 12B is a member that has transparency. The physical object 12A is, for example, a windowpane frame, and the physical object 12B is, for example, a glass plate of the windowpane.

図17の場合、仮想物体11の一部は現実物体12Aの背後に隠れ、仮想物体11の残りの部分は現実物体12Bの背後に隠れている。
すなわち、仮想物体11の全体は、現実物体12A及び12Bの背後に隠れている。
従って、従前の技術であれば、仮想物体11は描画されることはない。結果的に、ユーザは、仮想物体11の存在に気づくことはできない。
In the case of FIG. 17, part of the virtual object 11 is hidden behind the physical object 12A, and the remaining part of the virtual object 11 is hidden behind the physical object 12B.
That is, the entire virtual object 11 is hidden behind the physical objects 12A and 12B.
Therefore, with the conventional technology, the virtual object 11 is not rendered. As a result, the user cannot notice the existence of the virtual object 11 .

一方で、本実施の形態では、仮想物体11のうち透過性を有する現実物体12Bの背後に隠れる領域11Bには現実物体12Bの透過情報を関連付け、仮想物体11のうち透過性を有しない現実物体12Aの背後に隠れる領域11Aには現実物体12Aの透過情報を関連付けている。
このため、仮想物体11のうち領域11Bは描画領域となり、領域11Aは非描画領域となる。
また、端末1を装着するユーザは、領域11Bの背後に他の現実の物体の一部分が知覚されることで、仮想物体11が他の現実の物体の手前側に位置し、他の現実の物体が仮想物体11の背後に位置する関係を理解できる。
以上により、ユーザは、仮想物体11が実在するかのような体験を可能にできる。
On the other hand, in the present embodiment, transparency information of the physical object 12B is associated with the region 11B of the virtual object 11 that is hidden behind the real object 12B having transparency, and The transmission information of the physical object 12A is associated with the region 11A hidden behind the object 12A.
Therefore, the area 11B of the virtual object 11 becomes a drawing area, and the area 11A becomes a non-drawing area.
In addition, the user wearing the terminal 1 perceives a part of another real object behind the area 11B. is behind the virtual object 11 can be understood.
As described above, the user can experience as if the virtual object 11 actually exists.

<実施の形態2>
本実施の形態では、複合現実の体験に頭部に装着された表示装置を使用する場合について説明する。
図18は、複合現実の体験に、実時間で撮像される外界の画像に仮想物体を合成した画像を表示する表示装置100を装着したユーザが、複合現実を体感する原理を説明する図である。
<Embodiment 2>
In this embodiment, a case of using a head-mounted display device for experiencing mixed reality will be described.
FIG. 18 is a diagram for explaining the principle of experiencing mixed reality by a user wearing a display device 100 that displays an image obtained by synthesizing a virtual object with an image of the outside world captured in real time. .

図18には、図1及び図2と対応する部分に対応する符号を付して示している。
表示装置100は、カメラ24L及び24Rによって撮像された外界の画像と、仮想物体描画部4が描画した仮想物体11の画像とを画像合成部101で合成した画像を、ユーザの眼球5の前方に配置された表示部3L及び3Rに表示する。
ここでの表示装置100は、情報処理装置の一例であるとともに情報処理システムの
一例でもある。
なお、表示装置100のハードウェア構成は、メガネ型の端末1(図2参照)と同様である。このため、表示装置100のハードウェア構成の説明は省略する。
In FIG. 18, parts corresponding to those in FIGS. 1 and 2 are denoted by corresponding reference numerals.
The display device 100 displays in front of the user's eyeball 5 an image obtained by synthesizing the image of the external world captured by the cameras 24L and 24R and the image of the virtual object 11 drawn by the virtual object drawing unit 4 by the image synthesizing unit 101. It is displayed on the arranged display units 3L and 3R.
The display device 100 here is an example of an information processing device and an example of an information processing system.
The hardware configuration of the display device 100 is the same as that of the glasses-type terminal 1 (see FIG. 2). Therefore, description of the hardware configuration of the display device 100 is omitted.

図19は、表示装置100の機能構成の一例を示す図である。
図19には、図3との対応部分に対応する符号を付して示している。
表示装置100の基本的な機能構成は、メガネ型の端末1(図2参照)と同様である。表示装置100に特有の機能構成は、画像合成部101である。
画像合成部101は、仮想物体描画部4が描画した画像と、カメラ24L及び24Rで撮像されている外界の画像とが整合するように2つの画像を合成する機能を有している。
例えば画像合成部101は、現実空間仮想化情報42として記憶されている3次元モデルとカメラ24L及び24Rで撮像されている外界の画像とを照合して、仮想物体11の画像を合成する領域を決定する。
このように、本実施の形態が複合現実を知覚させる方式は実施の形態1と異なるが、ユーザによって知覚される複合現実の現実感が従前の技術に比して高くなる点は、実施の形態1と同じである。
FIG. 19 is a diagram showing an example of the functional configuration of the display device 100. As shown in FIG.
In FIG. 19, parts corresponding to those in FIG. 3 are shown with reference numerals.
The basic functional configuration of the display device 100 is the same as that of the glasses-type terminal 1 (see FIG. 2). A functional configuration unique to the display device 100 is an image synthesizing unit 101 .
The image synthesizing unit 101 has a function of synthesizing two images so that the image drawn by the virtual object drawing unit 4 and the image of the external world picked up by the cameras 24L and 24R are matched.
For example, the image synthesizing unit 101 compares the three-dimensional model stored as the physical space virtualization information 42 with the images of the external world captured by the cameras 24L and 24R, and selects an area for synthesizing the image of the virtual object 11. decide.
As described above, although the system of this embodiment for perceiving mixed reality is different from that of the first embodiment, the fact that the sense of reality of mixed reality perceived by the user is higher than that of the conventional technique is the same as that of the embodiment. Same as 1.

<他の実施形態>
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば前述の実施の形態では、左右両目用の表示部3L及び3Rを用いているが、表示部は1つでも構わない。例えばメガネ型の端末1(図1参照)の場合には、左右どちら一方の前方に表示部を1つ配置してもよい。また例えば表示装置100(図14参照)の場合には、両目の前に表示部を1つ配置してもよい。
また、前述の実施の形態では、仮想物体描画部4をメガネ型の端末1(図1参照)や表示装置100(図14参照)の機能の1つとして実現しているが、外部ネットワーク(例えばクラウドネットワーク)に接続されているサーバなどの情報処理装置において、仮想物体描画部4の機能を実行してもよい。ここでのメガネ型の端末1と仮想物体描画部4の機能を実行する外部ネットワーク上のサーバは、情報処理システムの一例である。
また、前述の実施の形態では、仮想物体描画部4の機能を汎用的な演算装置であるCPU21を用いて実現しているが、実時間での画像処理に特化した演算装置であるGPU(Graphics Processing Unit)を用いて実現してもよい。
<Other embodiments>
Although the embodiments of the present invention have been described above, the technical scope of the present invention is not limited to the scope described in the above-described embodiments. It is clear from the scope of claims that the technical scope of the present invention includes various modifications and improvements to the above-described embodiment.
For example, in the above embodiment, the display units 3L and 3R for both the left and right eyes are used, but the number of display units may be one. For example, in the case of a glasses-type terminal 1 (see FIG. 1), one display unit may be arranged in front of either the left or the right. Further, for example, in the case of the display device 100 (see FIG. 14), one display section may be arranged in front of both eyes.
In the above-described embodiment, the virtual object drawing unit 4 is implemented as one of the functions of the glasses-type terminal 1 (see FIG. 1) or the display device 100 (see FIG. 14). The function of the virtual object drawing unit 4 may be executed in an information processing device such as a server connected to a cloud network. The glasses-type terminal 1 and the server on the external network that executes the functions of the virtual object drawing unit 4 are an example of an information processing system.
In the above-described embodiment, the functions of the virtual object rendering unit 4 are realized using the CPU 21, which is a general-purpose arithmetic unit. Graphics Processing Unit) may be used.

1…メガネ型の端末、2…導光板、3、3L、3R…表示部、4…仮想物体描画部、6…手、11…仮想物体、11A…現実物体12Aの背後に隠れる領域、11B…現実物体12Bの背後に隠れる領域、15…仮想物体11のうち現実物体12の背後に隠れる領域、12、12A、12B…現実物体、31…現実空間情報取得部、32…現実物体透過性推定部、33…現実物体透過情報取得部、34…仮想物体透過領域判定部、41…現実空間情報、42…現実空間仮想化情報、43…仮想物体情報、44…仮想物体描画情報、51…エッジ、61、62、63…画像、100…表示装置、101…画像合成部、B1…外光、B2…表示光 REFERENCE SIGNS LIST 1 glasses-type terminal 2 light guide plate 3, 3L, 3R display section 4 virtual object rendering section 6 hand 11 virtual object 11A area hidden behind real object 12A 11B Region hidden behind physical object 12B 15 Region hidden behind physical object 12 in virtual object 11 12, 12A, 12B Real object 31 Real space information acquisition unit 32 Real object transparency estimation unit , 33... real object transmission information acquisition unit, 34... virtual object transmission area determination unit, 41... real space information, 42... real space virtualization information, 43... virtual object information, 44... virtual object drawing information, 51... edge, 61, 62, 63... Image 100... Display device 101... Image synthesizing unit B1... Outside light B2... Display light

Claims (4)

現実の物体を撮像した画像から当該現実の物体の透過性の情報を推定する推定手段と、
透過性を有すると推定された前記現実の物体の背後に仮想の物体の少なくとも一部が隠れる場合に、当該現実の物体の背後に隠れる領域の現実の空間での見え方を再現する画像を、推定された透過性の情報に基づいて生成する生成手段と、
生成された前記画像を含めて前記仮想の物体を描画する描画手段と
を有し、
前記推定手段は、前記現実の物体の表面に現れる画像の内容が、現在の移動の方向とは逆向きに移動しながら当該現実の物体を撮像した際に撮像された画像の左右を入れ替えた内容と整合せず、かつ、当該現実の物体の表面を撮像する撮像手段の移動に連動して当該現実の物体の表面に現れる内容が連続的に変化する場合、当該現実の物体が透過性を有すると推定する、情報処理システム。
estimating means for estimating transparency information of a real object from a captured image of the real object;
When at least part of a virtual object is hidden behind the real object estimated to have transparency, an image that reproduces how the area hidden behind the real object appears in the real space, generating means for generating based on the estimated transparency information;
a rendering means for rendering the virtual object including the generated image,
The estimating means is configured such that the content of the image appearing on the surface of the real object is the content obtained by switching the left and right of the image taken when the real object is picked up while moving in the direction opposite to the current direction of movement. and the content appearing on the surface of the real object continuously changes in conjunction with the movement of the imaging means for imaging the surface of the real object, the real object has transparency. An information processing system that presumes that
現実の物体を撮像した画像から当該現実の物体の透過性の情報を推定する推定手段と、
透過性を有すると推定された前記現実の物体の背後に仮想の物体の少なくとも一部が隠れる場合に、当該現実の物体の背後に隠れる領域の現実の空間での見え方を再現する画像を、推定された透過性の情報に基づいて生成する生成手段と、
生成された前記画像を含めて前記仮想の物体を描画する描画手段と
を有し、
前記推定手段は、前記現実の物体の表面に、既知の光源と当該現実の物体の表面の傾きとの関係から推定される位置に明部が存在せず、かつ、当該現実の物体の表面を撮像する撮像手段の移動に連動して当該現実の物体の表面に現れる内容が連続的に変化する場合、当該現実の物体が透過性を有すると推定する、情報処理システム。
estimating means for estimating transparency information of a real object from a captured image of the real object;
When at least part of a virtual object is hidden behind the real object estimated to have transparency, an image that reproduces how the area hidden behind the real object appears in the real space, generating means for generating based on the estimated transparency information;
a rendering means for rendering the virtual object including the generated image,
The estimating means determines that the surface of the real object does not have a bright portion at a position estimated from a relationship between a known light source and the inclination of the surface of the real object, and that the surface of the real object is An information processing system for estimating that a real object has transparency when the content appearing on the surface of the real object continuously changes in conjunction with the movement of an imaging means that takes an image.
コンピュータに、
現実の物体を撮像した画像から当該現実の物体の透過性の情報を推定する機能と、
透過性を有すると推定された前記現実の物体の背後に仮想の物体の少なくとも一部が隠れる場合に、当該現実の物体の背後に隠れる領域の現実の空間での見え方を再現する画像を、推定された透過性の情報に基づいて生成する機能と、
生成された前記画像を含めて前記仮想の物体を描画する機能と
を実現させるためのプログラムであり、
前記推定する機能は、
前記現実の物体の表面に現れる画像の内容が、現在の撮像の方向とは逆向きに当該現実の物体を撮像した際に撮像された画像の左右を入れ替えた内容と整合せず、かつ、当該現実の物体の表面を撮像する撮像手段の移動に連動して当該現実の物体の表面に現れる内容が連続的に変化する場合、当該現実の物体が透過性を有すると推定する、
プログラム。
to the computer,
a function of estimating transparency information of a real object from an image of the real object;
When at least part of a virtual object is hidden behind the real object estimated to have transparency, an image that reproduces how the area hidden behind the real object appears in the real space, a function to generate based on the estimated transparency information;
A program for realizing a function of drawing the virtual object including the generated image,
The function to estimate is
The content of the image appearing on the surface of the real object does not match the content of the image taken when the image of the real object was taken in the opposite direction to the current image pickup direction, and When the content appearing on the surface of the real object continuously changes in conjunction with the movement of the imaging means for imaging the surface of the real object, it is assumed that the real object has transparency.
program.
コンピュータに、
現実の物体を撮像した画像から当該現実の物体の透過性の情報を推定する機能と、
透過性を有すると推定された前記現実の物体の背後に仮想の物体の少なくとも一部が隠れる場合に、当該現実の物体の背後に隠れる領域の現実の空間での見え方を再現する画像を、推定された透過性の情報に基づいて生成する機能と、
生成された前記画像を含めて前記仮想の物体を描画する機能と
を実現させるためのプログラムであり、
前記推定する機能は、
前記現実の物体の表面に、既知の光源と当該現実の物体の表面の傾きとの関係から推定される位置に明部が存在せず、かつ、当該現実の物体の表面を撮像する撮像手段の移動に連動して当該現実の物体の表面に現れる内容が連続的に変化する場合、当該現実の物体が透過性を有すると推定する、
プログラム。
to the computer,
a function of estimating transparency information of a real object from an image of the real object;
When at least part of a virtual object is hidden behind the real object estimated to have transparency, an image that reproduces how the area hidden behind the real object appears in the real space, a function to generate based on the estimated transparency information;
A program for realizing a function of drawing the virtual object including the generated image,
The function to estimate is
The surface of the real object does not have a bright portion at a position estimated from the relationship between the known light source and the inclination of the surface of the real object, and the imaging means for imaging the surface of the real object. When the content appearing on the surface of the real object continuously changes in conjunction with movement, it is assumed that the real object has transparency.
program.
JP2022142065A 2018-03-30 2022-09-07 Information processing systems and programs Active JP7439197B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022142065A JP7439197B2 (en) 2018-03-30 2022-09-07 Information processing systems and programs

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018070416A JP2019179540A (en) 2018-03-30 2018-03-30 Information processing system and program
JP2022142065A JP7439197B2 (en) 2018-03-30 2022-09-07 Information processing systems and programs

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018070416A Division JP2019179540A (en) 2018-03-30 2018-03-30 Information processing system and program

Publications (2)

Publication Number Publication Date
JP2022173253A true JP2022173253A (en) 2022-11-18
JP7439197B2 JP7439197B2 (en) 2024-02-27

Family

ID=68278884

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018070416A Pending JP2019179540A (en) 2018-03-30 2018-03-30 Information processing system and program
JP2022142065A Active JP7439197B2 (en) 2018-03-30 2022-09-07 Information processing systems and programs

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018070416A Pending JP2019179540A (en) 2018-03-30 2018-03-30 Information processing system and program

Country Status (1)

Country Link
JP (2) JP2019179540A (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3965686B2 (en) * 2002-12-19 2007-08-29 株式会社日立製作所 Visual information processing apparatus and application system
JP4999711B2 (en) * 2007-11-07 2012-08-15 キヤノン株式会社 Image processing apparatus and image processing method
JP2015219166A (en) * 2014-05-20 2015-12-07 国立大学法人信州大学 Estimation method of existence location of object
KR20180104051A (en) 2016-01-19 2018-09-19 매직 립, 인코포레이티드 Augmented reality systems and methods that utilize reflections
JP2018070415A (en) * 2016-10-31 2018-05-10 三菱ケミカル株式会社 Method for manufacturing GaN wafer

Also Published As

Publication number Publication date
JP7439197B2 (en) 2024-02-27
JP2019179540A (en) 2019-10-17

Similar Documents

Publication Publication Date Title
US10083540B2 (en) Virtual light in augmented reality
US10204452B2 (en) Apparatus and method for providing augmented reality-based realistic experience
EP3063739B1 (en) Mixed reality spotlight
US9123272B1 (en) Realistic image lighting and shading
JP7329612B2 (en) Generate latent texture proxies for object category modeling
WO2015098807A1 (en) Image-capturing system for combining subject and three-dimensional virtual space in real time
EP3437314A1 (en) Virtual cues for augmented-reality pose alignment
CN101796372A (en) Three-dimensional shape measuring device, integrated circuit, and method
US11720996B2 (en) Camera-based transparent display
CN107209567A (en) The user interface for watching actuating attentively with visual feedback
US10264245B2 (en) Methods and system for generating three-dimensional spatial images
US9449427B1 (en) Intensity modeling for rendering realistic images
US11579449B2 (en) Systems and methods for providing mixed-reality experiences under low light conditions
JP7088721B2 (en) Information processing system and program
JP2022173253A (en) Information processing system and program
WO2023098358A1 (en) Model rendering method and apparatus, computer device, and storage medium
CN108885802A (en) Information processing unit, information processing method and program
JP7188900B2 (en) Information processing system and program
JP7188902B2 (en) Information processing system and program
JP7188901B2 (en) Information processing system and program
CN107635119B (en) Projective techniques and equipment
KR20230097163A (en) Three-dimensional (3D) facial feature tracking for autostereoscopic telepresence systems
JP2019179541A (en) Information processing system and program
JP2019185072A (en) Information processing system and program
JP2019185071A (en) Information processing system and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240214

R150 Certificate of patent or registration of utility model

Ref document number: 7439197

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150