JP2021086287A - Information processing system, information processing device, and information processing method - Google Patents
Information processing system, information processing device, and information processing method Download PDFInfo
- Publication number
- JP2021086287A JP2021086287A JP2019213348A JP2019213348A JP2021086287A JP 2021086287 A JP2021086287 A JP 2021086287A JP 2019213348 A JP2019213348 A JP 2019213348A JP 2019213348 A JP2019213348 A JP 2019213348A JP 2021086287 A JP2021086287 A JP 2021086287A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- information processing
- user
- hmd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 75
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 239000003550 marker Substances 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 6
- WBMKMLWMIQUJDP-STHHAXOLSA-N (4R,4aS,7aR,12bS)-4a,9-dihydroxy-3-prop-2-ynyl-2,4,5,6,7a,13-hexahydro-1H-4,12-methanobenzofuro[3,2-e]isoquinolin-7-one hydrochloride Chemical compound Cl.Oc1ccc2C[C@H]3N(CC#C)CC[C@@]45[C@@H](Oc1c24)C(=O)CC[C@@]35O WBMKMLWMIQUJDP-STHHAXOLSA-N 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、情報処理システム、情報処理装置、及び情報処理方法に関する。 The present invention relates to an information processing system, an information processing device, and an information processing method.
現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：頭部装着型画像表示装置）を利用して、現実世界の映像と仮想世界の映像とを合成した映像をＨＭＤ使用者が観察できる技術が知られている。この技術によれば、ＨＭＤ使用者は、例えば、ＨＭＤ使用者の瞳位置から観察される被写体と略一致する被写体をビデオカメラ等の撮像装置で撮像した撮像映像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）映像を重畳表示した映像を観察できる。 Mixed reality, so-called MR (Mixed Reality) technology, is known as a technology for seamlessly fusing the real world and the virtual world in real time. As one of the MR technologies, a video see-through type HMD (Head Mounted Display) can be used by an HMD user to observe a composite image of a real world image and a virtual world image. The technology is known. According to this technique, the HMD user superimposes a CG (Computer Graphics) image on an image captured by an imaging device such as a video camera, for example, a subject that substantially matches the subject observed from the pupil position of the HMD user. You can observe the displayed image.
撮像映像にＣＧ映像を重畳表示させるためには、コンピュータ等の処理装置による計算が必要である。ＨＭＤと処理装置との接続は、ケーブルを用いて有線接続するケース（ワイヤード）と、電波を送受信して無線接続するケース（ワイヤレス）がある。ＭＲ技術において、リアリティを有する映像を表示させるためには低遅延であることが望ましいが、一般的に有線接続に比して無線接続では通信リソースが限定されるため、無線でやり取りするデータ量を削減することが求められる。視線検出機構により使用者の注視点を検出し、注視領域を高解像度化し、非注視領域を低解像度化することにより、処理負荷やデータ伝送量を低減するフォービエイティッドレンダリング（ｆｏｖｅａｔｅｄ ｒｅｎｄｅｒｉｎｇ）という技術がある。 In order to superimpose and display the CG image on the captured image, a calculation by a processing device such as a computer is required. The connection between the HMD and the processing device includes a case of wired connection using a cable (wired) and a case of wireless connection by transmitting and receiving radio waves (wireless). In MR technology, it is desirable to have a low delay in order to display realistic images, but in general, communication resources are limited in wireless connections compared to wired connections, so the amount of data exchanged wirelessly is increased. It is required to reduce. Foveated rendering reduces the processing load and data transmission amount by detecting the user's gaze point with the line-of-sight detection mechanism, increasing the resolution of the gaze area, and lowering the resolution of the non-gaze area. There is technology.
また、特許文献１には、ある一定の伝送容量をもつ伝送路により画像情報を送信者から受信者へ伝送し、受信側で画像表示する画像通信方式において、下記のような技術が提案されている。受信者が画面上の一部分を注視したい場合、受信者の注視点に関する情報を送信側に伝達する。そして、この情報によって受信側に表示する画面上の注視点部分のみを高解像度の画像情報として伝送するとともに、画面上の他の部分については残りの伝送容量内で許容される解像度の画像情報として伝送し表示する。 Further, Patent Document 1 proposes the following techniques in an image communication method in which image information is transmitted from a sender to a receiver by a transmission line having a certain transmission capacity and an image is displayed on the receiving side. There is. When the receiver wants to gaze at a part of the screen, the information about the receiver's gaze point is transmitted to the sender. Then, by this information, only the gaze point portion on the screen displayed on the receiving side is transmitted as high-resolution image information, and the other parts on the screen are used as image information with an allowable resolution within the remaining transmission capacity. Transmit and display.
ＨＭＤの使用者が体験している映像を、液晶ディスプレイ等の外部モニターに出力して、ＨＭＤ使用者以外にも見せる場合がある。この際、ＨＭＤを装着している使用者の注視点に基づき、注視領域を高解像度化し、非注視領域を低解像度化すると、ＨＭＤの使用者と外部モニターの観察者が注視している箇所が同じとは限らないため、外部モニターの観察者に違和感を与えることがある。 The image experienced by the HMD user may be output to an external monitor such as a liquid crystal display so that it can be shown to other than the HMD user. At this time, if the gaze area is made high resolution and the non-gaze area is made low resolution based on the gaze point of the user wearing the HMD, the part that the HMD user and the observer of the external monitor are gaze at is Since it is not always the same, it may make the observer of the external monitor feel uncomfortable.
本発明は、ＨＭＤとの間で伝送されるデータ量を低減するとともに、外部モニターの観察者に対して違和感のない映像を表示できるようにすることを目的とする。 An object of the present invention is to reduce the amount of data transmitted to and from the HMD, and to enable the observer of the external monitor to display a comfortable image.
本発明に係る情報処理システムは、ヘッドマウントディスプレイ及び表示装置を有する情報処理システムであって、前記ヘッドマウントディスプレイの使用者の注視点を検出する検出手段と、表示映像を、前記検出手段により検出された前記使用者の注視点に基づいて、前記使用者の非注視領域では注視領域の中央よりも映像の情報を間引いて前記ヘッドマウントディスプレイの表示部に表示させる表示制御手段と、前記使用者の注視点に応じた映像の情報の間引きを行わずに前記表示映像を表示する前記表示装置とを有することを特徴とする。 The information processing system according to the present invention is an information processing system having a head-mounted display and a display device, and detects a detection means for detecting a gaze point of a user of the head-mounted display and a display image by the detection means. Based on the gaze point of the user, the display control means for thinning out the image information from the center of the gaze area and displaying it on the display unit of the head-mounted display in the non-gaze area of the user, and the user. It is characterized by having the display device for displaying the display image without thinning out the information of the image according to the gazing point of the above.
本発明によれば、ＨＭＤとの間で伝送されるデータ量を低減しつつ、外部モニターの観察者に対して違和感のない映像を表示することが可能となる。 According to the present invention, it is possible to display an image that does not give a sense of discomfort to an observer on an external monitor while reducing the amount of data transmitted to and from the HMD.
以下、本発明の実施形態を図面に基づいて説明する。以下に説明する実施形態は一例であり、本発明はこれに限定されるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The embodiments described below are examples, and the present invention is not limited thereto.
（第１の実施形態）
本発明の第１の実施形態について説明する。図１は、第１の実施形態における情報処理システムの構成例を示す図である。本実施形態における情報処理システムは、ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、頭部装着型映像表示装置）１１０、情報処理装置１２０、及び外部モニター１３０を有する。ＨＭＤ１１０は、例えばビデオシースルー型のＨＭＤである。また、図１において、１４０はＨＭＤ１１０を装着している使用者（頭部上方から見た模式図）である。
(First Embodiment)
The first embodiment of the present invention will be described. FIG. 1 is a diagram showing a configuration example of an information processing system according to the first embodiment. The information processing system in the present embodiment includes a head-mounted display (HMD: Head Mounted Display, head-mounted image display device) 110, an
図１に示した情報処理システムは一例であり、これに限定されるものではない。例えば、ＨＭＤ１１０がネットワークに接続されていて、ネットワーク上に情報処理装置１２０が存在してもよい。また、情報処理装置１２０が有する機能の一部又は全部をＨＭＤ１１０が有していてもよく、情報処理装置１２０がなくても良い。また、情報処理装置１２０は、ワークステーションやパーソナルコンピュータ、スマートフォンなど、一般的な情報機器すべて適用できる。
The information processing system shown in FIG. 1 is an example, and is not limited thereto. For example, the HMD 110 may be connected to a network, and the
以下、ＨＭＤ１１０に実写映像とコンピュータグラフィックス（ＣＧ：Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）映像とを重畳させた複合現実映像を表示し、使用者が複合現実映像を体験するシステムを例に説明する。ここで、コンピュータグラフィックス映像とは、コンピュータ等の情報処理装置を用いて作成される２次元画像及び３次元画像であり、静止画及び動画が含まれる。また、実写映像とは、ヘッドマウントディスプレイを着用した使用者を取り巻く、現実世界を撮影したリアルタイム映像である。しかし、本発明はこれに限定されるものではなく、例えば、使用者に対して、ＣＧ映像、すなわちヴァーチャル映像を表示させるシステムにも適用できる。 Hereinafter, a system in which a mixed reality image in which a live-action image and a computer graphics (CG: Computer Graphics) image are superimposed on the HMD 110 is displayed and the user experiences the mixed reality image will be described as an example. Here, the computer graphics image is a two-dimensional image and a three-dimensional image created by using an information processing device such as a computer, and includes a still image and a moving image. The live-action image is a real-time image of the real world surrounding the user wearing the head-mounted display. However, the present invention is not limited to this, and can be applied to, for example, a system for displaying a CG image, that is, a virtual image to a user.
ＨＭＤ１１０は、左眼カメラ１１１Ｌ、右眼カメラ１１１Ｒ、左眼ディスプレイ１１２Ｌ、右眼ディスプレイ１１２Ｒ、左眼視線カメラ１１３Ｌ、及び右眼視線カメラ１１３Ｒを有する。また、ＨＭＤ１１０は、撮像映像取得部１１４、撮像映像送信部１１５、表示映像受信部１１６、表示制御部１１７、及び視線情報処理部１１８を有する。
The HMD 110 includes a left-
左眼カメラ１１１Ｌ及び右眼カメラ１１１Ｒは、ＨＭＤ１１０を着用した使用者の左右の眼の位置における現実世界の映像（実写映像）を撮影する。左眼ディスプレイ１１２Ｌ及び右眼ディスプレイ１１２Ｒは、ＨＭＤ１１０を着用した使用者の左右の眼に対する映像を表示する。本実施形態では、左眼ディスプレイ１１２Ｌ及び右眼ディスプレイ１１２Ｒは、実写映像とＣＧ映像とを重畳させた複合現実映像を表示する。左眼カメラ１１１Ｌ及び右眼カメラ１１１Ｒは撮像手段の一例であり、左眼ディスプレイ１１２Ｌ及び右眼ディスプレイ１１２Ｒは表示部の一例である。
The left-
このようにＨＭＤ１１０は、左眼カメラ１１１Ｌと右眼カメラ１１１Ｒ、左眼ディスプレイ１１２Ｌと右眼ディスプレイ１１２Ｒ、それぞれ左右１つずつ搭載することにより、ステレオ映像を取得・表示できる。しかしながら本実施形態は、ステレオ映像を表示させるシステムに限定されるものではなく、２次元映像を表示させるシステムにも適用することが可能である。図１には図示していないが、左眼ディスプレイ１１２Ｌ及び右眼ディスプレイ１１２Ｒに対してレンズ・プリズムを設けて、ディスプレイの映像を拡大して使用者１４０に対し表示させるようにしても良い。
As described above, the HMD 110 can acquire and display a stereo image by mounting the left-
左眼視線カメラ１１３Ｌ及び右眼視線カメラ１１３Ｒは、左眼ディスプレイ１１２Ｌ及び右眼ディスプレイ１１２Ｒを観察している使用者１４０の左右の眼球像を撮影する。撮影映像取得部１１４は、左眼カメラ１１１Ｌ及び右眼カメラ１１１Ｒにより撮影された撮像映像（実写映像）を取得する。撮影映像送信部１１５は、撮影映像取得部１１４により取得された撮像映像（実写映像）を情報処理装置１２０に対して送信する。
The left-eye line-of-
表示映像受信部１１６は、情報処理装置１２０から送信された、実写映像とＣＧ映像とが重畳された表示映像（複合現実映像）を受信する。表示制御部１１７は、表示映像受信部１１６により受信された表示映像（複合現実映像）を左眼ディスプレイ１１２Ｌ及び右眼ディスプレイ１１２Ｒに表示させる。このとき、表示制御部１１７は、視線情報処理部１１８から入力される、使用者１４０の左右の眼に係る視線情報に基づいて、表示映像（複合現実映像）の表示制御を行う。
The display
情報処理装置１２０は、撮像映像受信部１２１、位置合わせ演算部１２２、ＣＧ映像生成部１２３、映像合成部１２４、及び重畳映像送信部１２５を有する。撮像映像受信部１２１は、ＨＭＤ１１０から送信された実写映像を受信し、位置合わせ演算部１２２及び映像合成部１２４に転送する。
The
位置合わせ演算部１２２は、入力される実写映像に基づいて、ＨＭＤ１１０のカメラ１１１Ｌ、１１１Ｒの位置姿勢を計算する。例えば、位置合わせ用のマーカーを実写映像に映り込ませるようにして、位置合わせ演算部１２２が、マーカーのサイズ、マーカーの傾きにより位置姿勢を計算する。また、実写映像の左右視差から、ある特定の物体からの位置、傾きを計算するようにしても良い。また、実写映像中のコントラストが高い特徴点を検出して位置姿勢を計算するようにしても良い。位置合わせ演算部１２２は、計算により得られた位置姿勢情報をＣＧ映像生成部１２３に出力する。
The
ＣＧ映像生成部１２３は、情報処理装置１２０が有する図示しない記憶媒体に蓄積されたＣＧデータを呼び出し、ＣＧ映像を生成する。ＣＧ映像生成部１２３は、位置合わせ演算部１２２から送られてきたＨＭＤ１１０のカメラ１１１Ｌ、１１１Ｒの位置姿勢情報に基づいて、表示すべき適正な向き及び大きさを計算しＣＧ映像を生成する。ＣＧ映像生成部１２３は、例えばＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びアプリケーションにより実現される。
The CG
映像合成部１２４は、撮像映像受信部１２１から入力される実写映像とＣＧ映像生成部１２３で生成されたＣＧ映像を合成する。この重畳映像は複合現実映像である。映像合成部１２４により合成された重畳映像（複合現実映像）は、表示映像として重畳映像送信部１２５及び外部モニター１３０に出力される。重畳映像送信部１２５は、実写映像とＣＧ映像とを合成した重畳映像（複合現実映像）をＨＭＤ１１０に対して送信する。なお、位置合わせ演算部１２２や映像合成部１２４をＧＰＵにより実現するようにしてもよい。
The
ＨＭＤ１１０と情報処理装置１２０は、有線あるいは無線で接続されている。具体的には、ＨＭＤ１１０の撮像映像送信部１１５から、情報処理装置１２０の撮像映像受信部１２１に対して、実写映像が送信される。また、情報処理装置１２０の重畳映像送信部１２５から、ＨＭＤ１１０の表示映像受信部１１６に対して、実写映像とＣＧ映像を重畳させた映像、すなわち複合現実映像が送信される。なお、有線あるいは無線の通信データ量を削減するために、データを圧縮して送受信するようにしても良い。すなわち送信部１１５、１２５で符号化し、受信部１２１、１１６で復号化する機能を設けても良い。
The
外部モニター１３０は、情報処理装置１２０の映像合成部１２４により合成された、実写映像とＣＧ映像を重畳させた重畳映像（複合現実映像）を表示する。外部モニター１３０は表示装置の一例である。ここで、本実施形態において、外部モニター１３０に表示される映像は、ＨＭＤ１１０の使用者１４０の注視点によらない映像である。図１では、外部モニター１３０は、情報処理装置１２０に接続されているが、それに限定されるものではない。例えば、情報処理装置１２０がネットワーク上に存在し、外部モニター１３０がネットワーク接続されていても良い。
The
前述したようにＨＭＤ１１０は、使用者１４０の注視点を検出するための機構として、左眼視線カメラ１１３Ｌ及び右眼視線カメラ１１３Ｒを有する。左眼視線カメラ１１３Ｌ及び右眼視線カメラ１１３Ｒは、左眼ディスプレイ１１２Ｌ及び右眼ディスプレイ１１２Ｒを観察している使用者１４０の左右の眼球像を撮影している。視線情報処理部１１８は、左眼視線カメラ１１３Ｌ及び右眼視線カメラ１１３Ｒで取得した左右の眼球像から、注視点（視線）を検出している。注視点（視線）を検出する方法としては、例えば眼球像から検出した瞳孔及びプルキニエ像（角膜表面での反射光）を利用して注視点を検出する角膜反射法が考えられるが、これに限定されず、あらゆる視線検出方法が適用可能である。
As described above, the
視線情報処理部１１８で計算された注視点（視線）情報は、表示制御部１１７に送信される。表示制御部１１７は、視線情報処理部１１８からの注視点（視線）情報に基づいて、表示映像受信部１１６により受信された複合現実映像に対して画像処理を行う。具体的には、表示制御部１１７は、複合現実映像の情報の間引きを行うが、この際、非注視領域では間引き量が多くなるように、それに比して注視領域の中央では間引き量が少なくなるようにする。表示制御部１１７で処理された複合現実映像は、左眼ディスプレイ１１２Ｌ及び右眼ディスプレイ１１２Ｒに送信され表示される。
The gaze point (line of sight) information calculated by the line-of-sight
表示制御部１１７が複合現実映像から間引く情報としては、例えば解像度が挙げられる。この場合、表示制御部１１７は、使用者１４０の非注視領域では低解像度の映像にし、注視領域の中央では高解像度の映像になるよう画像処理を行う。視力が１．０の人間であっても、注視点から５°〜１０°外れると視力０．１相当にしか見えていないと言われている。したがって、表示させる複合現実映像において、非注視領域を低解像度化しても、ＨＭＤ１１０を装着している使用者１４０にとっては気にならない。このように解像度を間引く方法を、一般的にフォービエイティッドレンダリング（ｆｏｖｅａｔｅｄ ｒｅｎｄｅｒｉｎｇ）と呼ぶ。
As the information thinned out from the mixed reality image by the
また解像度を間引く際に、注視物体までの距離を算出し、その距離に相当する位置に存在するオブジェクトにはピントを合わせて、注視物体までの距離から外れた位置に存在するオブジェクトにはピントを外すようにすることも考えられる。この場合、裸眼で観察した際と同じような、被写界深度の浅い映像を表示させることが可能となり、使用者がより自然な映像を体験できるようになる。 Also, when thinning out the resolution, the distance to the gaze object is calculated, the object existing at the position corresponding to that distance is focused, and the object located outside the distance to the gaze object is focused. It is also possible to remove it. In this case, it is possible to display an image having a shallow depth of field similar to that when observed with the naked eye, and the user can experience a more natural image.
また、表示制御部１１７が複合現実映像から間引く情報としては、階調数が挙げられる。この場合、表示制御部１１７は、使用者１４０の非注視領域では階調数を少なくし、注視領域の中央では階調数を多くする。解像度と同様に、注視点から外れると、人間の色（階調）に対する感度は落ちるため、このように階調数を制御してもＨＭＤ１１０を装着している使用者１４０にとっては気にならない。
Further, as the information thinned out from the mixed reality image by the
また、表示制御部１１０が複合現実映像から間引く情報として奥行情報や３Ｄ情報等も挙げられるが、本発明は前述した例のみに限定されるものではなく、データ量に影響する情報すべてを間引くことが可能である。
Further, the information that the
第１の実施形態によれば、ＨＭＤ１１０の使用者１４０の非注視領域では、注視領域の中央よりも、映像の情報を間引くため、通信データ量や処理負荷を低減することができる。また、外部モニター１３０には、ＨＭＤ１１０の使用者１４０の注視点に基づく映像の情報の間引きを適用することなく映像を表示させるため、外部モニター１３０の観察者に対して違和感のない映像を表示することが可能となる。
According to the first embodiment, in the non-gaze area of the
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態における情報処理システムは、ＨＭＤには、ＨＭＤが有するカメラにより撮影した実写映像を用いた映像を表示し、外部モニターには、事前に３Ｄスキャナー等の画像入力装置で取得した映像を実写映像として用いた映像を表示する。
(Second Embodiment)
Next, a second embodiment of the present invention will be described. In the information processing system according to the second embodiment, the HMD displays an image using a live-action image taken by the camera of the HMD, and the external monitor displays an image acquired in advance by an image input device such as a 3D scanner. Is displayed as a live-action image.
図２は、第２の実施形態における情報処理システムの構成例を示す図である。図２において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。 FIG. 2 is a diagram showing a configuration example of the information processing system according to the second embodiment. In FIG. 2, components having the same functions as the components shown in FIG. 1 are designated by the same reference numerals, and redundant description will be omitted.
本実施形態における情報処理システムは、ＨＭＤ２１０、情報処理装置２２０、外部モニター２３０、及び画像入力装置２５０を有する。ＨＭＤ２１０は、例えばビデオシースルー型のＨＭＤである。また、図２において、２４０はＨＭＤ２１０を装着している使用者（頭部上方から見た模式図）である。本変形形態においても、ＨＭＤ２１０に実写映像とＣＧ映像とを重畳させた複合現実映像を表示し、使用者が複合現実映像を体験するシステムを例に説明する。
The information processing system in this embodiment includes an
ＨＭＤ２１０は、左眼カメラ１１１Ｌ、右眼カメラ１１１Ｒ、左眼ディスプレイ１１２Ｌ、右眼ディスプレイ１１２Ｒ、左眼視線カメラ１１３Ｌ、及び右眼視線カメラ１１３Ｒを有する。また、ＨＭＤ２１０は、撮像映像取得部１１４、表示制御部１１７、視線情報処理部１１８、位置合わせメタデータ抽出部２１１、位置合わせメタデータ送信部２１２、ＣＧ映像受信部２１３、及び映像合成部２１４を有する。
The
本変形形態では、ＨＭＤ２１０で取得した実写映像を情報処理装置２２０に送信することはせず、情報処理装置２２０に対しては位置合わせメタデータのみを送信する。位置合わせメタデータ抽出部２１１は、撮影映像取得部１１４により取得された撮像映像（実写映像）中の位置合わせメタデータ（特徴点）を抽出する。位置合わせメタデータ送信部２１２は、位置合わせメタデータ抽出部２１１により抽出された位置合わせメタデータを情報処理装置２２０に対して送信する。以下、位置合わせメタデータについて説明する。
In this modification, the live-action video acquired by the
実写映像とＣＧ映像とを重畳させて複合現実映像を作成するためには位置合わせが必要である。位置合わせ手法としては、例えば位置合わせ用のマーカーを実写映像に映り込ませるようにして、マーカーのサイズ、マーカーの傾きにより位置姿勢を計算する手法がある。また、例えば実写映像中のコントラストが高い特徴点を検出して位置姿勢を計算する手法がある。これらにおいて、位置合わせメタデータとは、マーカーの特徴点の座標であっても良いし、実写映像（自然画）中のコントラストが高い特徴点の座標であっても良い。また、位置合わせメタデータは、位置姿勢を計算された結果であっても良い。つまり、ＨＭＤ２１０と情報処理装置２２０との間で、映像を通信するとデータ量が多大になる。これを回避するため、位置合わせに必要な情報のみを送信することにより、データ量を削減できる。
Alignment is necessary to create a mixed reality image by superimposing a live-action image and a CG image. As an alignment method, for example, there is a method in which a marker for alignment is reflected in a live-action image, and the position and orientation are calculated based on the size of the marker and the inclination of the marker. Further, for example, there is a method of calculating a position / orientation by detecting a feature point having high contrast in a live-action image. In these, the alignment metadata may be the coordinates of the feature points of the marker, or may be the coordinates of the feature points having high contrast in the live-action image (natural image). Further, the alignment metadata may be the result of calculating the position and orientation. That is, when video is communicated between the
ＣＧ映像受信部２１３は、情報処理装置２２０から送信されたＣＧ映像を受信する。映像合成部２１４は、撮影映像取得部１１４により取得された実写映像とＣＧ映像受信部２１３により受信されたＣＧ映像とを重畳し、複合現実映像を生成する。すなわち、本実施形態においてＨＭＤ２１０では、クロマキー映像が表示されることになる。映像合成部２１４により生成された複合現実映像は、表示制御部１１７に出力される。
The CG
表示制御部１１７は、視線情報処理部１１８からの注視点（視線）情報に基づいて、映像合成部２１４から出力される複合現実映像に対して画像処理を行う。具体的には、複合現実映像の情報の間引きを行うが、この方法については第１の実施形態と同様であるので説明は省略する。このようにしてＨＭＤ２１０では、左眼カメラ１１１Ｌ及び右眼カメラ１１１Ｒでそれぞれ撮影した実写映像を、ＨＭＤ２１０内でＣＧ映像と重畳した映像が表示される。
The
また、情報処理装置２２０は、ＣＧ映像生成部１２３、映像合成部１２４、位置合わせメタデータ受信部２２１、位置合わせ演算部２２２、ＣＧ映像送信部２２３、実写映像生成部２２４、及び記憶媒体２２５を有する。位置合わせメタデータ受信部２２１は、ＨＭＤ２１０から送信された位置合わせメタデータを受信し、位置合わせ演算部２２２に転送する。
Further, the
位置合わせ演算部２２２は、入力される位置合わせメタデータに基づいて、ＨＭＤ２１０のカメラ１１１Ｌ、１１１Ｒの位置姿勢を計算する。前述したように、位置合わせメタデータは、マーカーの特徴点であったり、実写映像中のコントラストが高い特徴点であったりする。なお、ＨＭＤ２１０内でＨＭＤ２１０の位置姿勢を計算するようにしてもよく、この場合、ＨＭＤ２１０の位置姿勢情報がＨＭＤ２１０から情報処理装置２２０に送信されるとともに、位置合わせ演算部２２２は不要となる。位置合わせ演算部２２２は、計算により得られた位置姿勢情報をＣＧ映像生成部１２３及び実写映像生成部２２４に出力する。
The
ＣＧ映像送信部２２３は、ＣＧ映像生成部１２３で生成されたＣＧ映像をＨＭＤ２１０に対して送信する。
The CG
前述したように本実施形態では、ＨＭＤ２１０の使用者に対しては、ＨＭＤ２１０が有するカメラ１１１Ｌ、１１１Ｒにより撮影された実写映像を用いた複合現実映像を表示する。一方、外部モニター２３０の観察者に対しては、事前に画像入力装置２５０で取得した映像を実写映像として用いた複合現実映像を表示する。画像入力装置２５０としては、例えばデジタルスチルカメラや３Ｄスキャナー等が考えられるが、それらに限定されない。例えば、デプスセンサーなどを併用しても良い。また、ＨＭＤに備わるカメラを用いることもできる。
As described above, in the present embodiment, the mixed reality image using the live-action image taken by the
例えば、３Ｄスキャナーで実写映像を事前に取得する場合、使用者の周囲の現実空間のオブジェクトはすべて３Ｄデータ化される。また、ＨＭＤにステレオカメラが搭載されている場合、ステレオカメラ映像の左右視差から奥行情報が取得できるため、同様に使用者の周囲の現実空間のオブジェクトはすべて３Ｄデータ化される。 For example, when a live-action image is acquired in advance with a 3D scanner, all objects in the real space around the user are converted into 3D data. Further, when the HMD is equipped with a stereo camera, the depth information can be acquired from the left-right parallax of the stereo camera image, so that all the objects in the real space around the user are similarly converted into 3D data.
本実施形態では、画像入力装置２５０によって、使用者の周囲の現実空間のオブジェクトはすべて３Ｄデータ化して情報処理装置２２０の記憶媒体２２５に保存する。実写映像生成部２２４は、記憶媒体２４４から実写映像の３Ｄデータを呼び出し、位置合わせ演算部２２２から送られてきたＨＭＤ２１０のカメラ１１１Ｌ、１１１Ｒの位置姿勢情報に基づいて、表示すべき適正な向き及び大きさを計算し実写映像を生成する。実写映像生成部２２４は、例えばＧＰＵにより実現される。
In the present embodiment, the
映像合成部１２４は、実写映像生成部２２４により生成された実写映像とＣＧ映像生成部１２３で生成されたＣＧ映像を合成して複合現実映像を生成する。映像合成部１２４により生成された複合現実映像は、外部モニター１３０により表示される。このようにして本実施形態では、ＨＭＤ２１０の使用者２５０の注視点によらない映像が、外部モニター２３０に表示される。なお、位置合わせ演算部２２２や映像合成部１２４をＧＰＵにより実現するようにしてもよい。
The
ＨＭＤ２１０と情報処理装置２２０は、有線あるいは無線で接続されている。具体的には、ＨＭＤ２１０の位置合わせメタデータ送信部２１２から、情報処理装置２２０の位置合わせメタデータ受信部２２１に対して、位置合わせメタデータが送信される。また、情報処理装置２２０のＣＧ映像送信部２２３から、ＨＭＤ２１０のＣＧ映像受信部２１３に対して、ＣＧ映像が送信される。なお、有線あるいは無線の通信データ量を削減するために、データを圧縮して送受信するようにしても良い。すなわち送信部２１２、２２３で符号化し、受信部２２１、２１３で復号化する機能を設けても良い。
The
第２の実施形態によれば、第１の実施形態と同様に、ＨＭＤ２１０の使用者２４０の非注視領域では、注視領域の中央よりも、映像の情報を間引くため、通信データ量や処理負荷を低減することができる。また、外部モニター２３０には、画像入力装置２５０で事前に取り込んだ実写映像とＣＧ映像が重畳された、ＨＭＤ２１０の使用者２５０の注視点によらない映像を表示させるため、外部モニター１３０の観察者に対して違和感のない映像を表示できる。また、ＨＭＤ２１０の使用者２４０は、ＨＭＤ２１０が有するカメラ１１１Ｌ、１１１Ｒで取得した実写映像を直接見る一方、実写映像そのものは情報処理装置２２０に送信されないため、通信データ量を低減することができる。
According to the second embodiment, as in the first embodiment, in the non-gaze area of the
なお、前述した各実施形態では、ＨＭＤの使用者の注視点に基づいて画像処理を施した映像をＨＭＤで表示するようにしているが、外部モニターの観察者の注視点に基づいて画像処理を施した映像を外部モニターで表示するようにしてもよい。この場合には、外部モニターの観察者の注視点を検出するための機構を設け、検出された注視点に基づいてＨＭＤと同様の処理を行って映像を表示するようにすればよい。 In each of the above-described embodiments, the image processed based on the gaze point of the HMD user is displayed on the HMD, but the image processing is performed based on the gaze point of the observer of the external monitor. The applied image may be displayed on an external monitor. In this case, a mechanism for detecting the gaze point of the observer on the external monitor may be provided, and the image may be displayed by performing the same processing as the HMD based on the detected gaze point.
（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other Embodiments of the present invention)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
図３は、本実施形態におけるＨＭＤや情報処理装置のハードウェア構成の一例を示すブロック図である。図３に示すように、ＨＭＤ、情報処理装置は、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、入力部３０４、出力部３０５、記憶部３０６、及び通信インターフェース（ＩＦ）３０７を有する。ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、入力部３０４、出力部３０５、記憶部３０６、及び通信ＩＦ３０７は、システムバス３０８を介して通信可能に接続される。
FIG. 3 is a block diagram showing an example of the hardware configuration of the HMD and the information processing device according to the present embodiment. As shown in FIG. 3, the HMD and the information processing device include a
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１は、システムバス３０８に接続された各部の制御を行う。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０２は、ＣＰＵ３０１の主記憶装置として使用される。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０３は、装置の起動プログラム等を記憶する。ＣＰＵ３０１が、記憶部３０６からプログラムを読み出して実行することで、例えばＨＭＤ及び情報処理装置において各機能部の機能が実現される。
The CPU (Central Processing Unit) 301 controls each unit connected to the
入力部３０４は、ユーザによる入力等を受け付けたり、映像データを入力したりする。出力部３０５は、映像データやＣＰＵ３０１における処理結果等を出力する。記憶部３０６は、装置の動作や処理に係る制御プログラム等を記憶する不揮発性の記憶装置である。通信ＩＦ３０７は、本装置と他の装置との通信を制御する。
The
前述のように構成された装置において、装置に電源が投入されると、ＣＰＵ３０１は、ＲＯＭ３０３に格納された起動プログラムに従って、記憶部３０６から制御プログラム等をＲＡＭ３０２に読み込む。ＣＰＵ３０１は、ＲＡＭ３０２に読み込んだ制御プログラム等に従い処理を実行することによって、ＨＭＤや情報処理装置の機能を実現する。つまり、ＨＭＤや情報処理装置のＣＰＵ３０１が制御プログラム等に基づき処理を実行することによって、ＨＭＤや情報処理装置の機能構成及び動作が実現される。
In the device configured as described above, when the power is turned on to the device, the
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 It should be noted that the above-described embodiments are merely examples of embodiment of the present invention, and the technical scope of the present invention should not be construed in a limited manner by these. That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.
１１０、２１０：ＨＭＤ １１１：カメラ １１２：ディスプレイ １１３：視線カメラ １１４：撮像映像取得部 １１５：撮像映像送信部 １１６：表示映像受信部 １１７：表示制御部 １１８：視線情報処理部 １２０、２２０：情報処理装置 １２１：撮像映像受信部 １２２、２２２：位置合わせ演算部 １２３：ＣＧ生成部 １２４、２１４：映像合成部 １２５：重畳映像送信部 １３０、２３０：外部モニター ２１３：ＣＧ映像受信部 ２２３：ＣＧ映像送信部 ２２４：実写映像生成部 ２５０：画像入力装置
110, 210: HMD 111: Camera 112: Display 113: Line-of-sight camera 114: Captured image acquisition unit 115: Captured image transmission unit 116: Display image receiving unit 117: Display control unit 118: Line-of-sight
Claims (10)
前記ヘッドマウントディスプレイの使用者の注視点を検出する検出手段と、
表示映像を、前記検出手段により検出された前記使用者の注視点に基づいて、前記使用者の非注視領域では注視領域の中央よりも映像の情報を間引いて前記ヘッドマウントディスプレイの表示部に表示させる表示制御手段と、
前記使用者の注視点に応じた映像の情報の間引きを行わずに前記表示映像を表示する前記表示装置とを有することを特徴とする情報処理システム。 An information processing system having a head-mounted display and a display device.
A detection means for detecting the gaze point of the user of the head-mounted display, and
Based on the gaze point of the user detected by the detection means, the display image is displayed on the display unit of the head-mounted display by thinning out the image information from the center of the gaze area in the non-gaze area of the user. Display control means to make
An information processing system including the display device that displays the displayed image without thinning out the information of the image according to the gaze point of the user.
前記実写映像を撮影する撮像手段を有し、
前記表示部に前記撮像手段により撮影された前記実写映像と前記コンピュータグラフィックス映像とを重畳させた複合現実映像を表示させることを特徴とする請求項５に記載の情報処理システム。 The head-mounted display is
It has an imaging means for capturing the live-action video, and has
The information processing system according to claim 5, wherein the display unit displays a mixed reality image in which the live-action image captured by the imaging means and the computer graphics image are superimposed.
前記ヘッドマウントディスプレイの使用者の注視点に応じた映像の情報の間引きを行わずに前記表示映像を表示装置に出力する出力手段とを有することを特徴とする情報処理装置。 Based on the gaze point of the user of the head-mounted display detected by the head-mounted display, in the non-gaze area of the user, a display image in which image information is thinned out from the center of the gaze area is transmitted to the head-mounted display. Transmission means and
An information processing device including an output means for outputting the displayed image to a display device without thinning out image information according to the gazing point of the user of the head-mounted display.
前記ヘッドマウントディスプレイの使用者の注視点を検出する検出工程と、
表示映像を、検出された前記使用者の注視点に基づいて、前記使用者の非注視領域では注視領域の中央よりも映像の情報を間引いて前記ヘッドマウントディスプレイの表示部に表示させる表示制御工程と、
前記使用者の注視点に応じた映像の情報の間引きを行わずに前記表示装置に前記表示映像を表示する表示工程とを有することを特徴とする情報処理方法。 An information processing method for an information processing system having a head-mounted display and a display device.
A detection process for detecting the gaze point of the user of the head-mounted display, and
A display control step of displaying a display image on the display unit of the head-mounted display by thinning out image information from the center of the gaze area in the non-gaze area of the user based on the detected gaze point of the user. When,
An information processing method comprising a display step of displaying the display image on the display device without thinning out image information according to the gaze point of the user.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019213348A JP2021086287A (en) | 2019-11-26 | 2019-11-26 | Information processing system, information processing device, and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019213348A JP2021086287A (en) | 2019-11-26 | 2019-11-26 | Information processing system, information processing device, and information processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021086287A true JP2021086287A (en) | 2021-06-03 |
Family
ID=76087745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019213348A Pending JP2021086287A (en) | 2019-11-26 | 2019-11-26 | Information processing system, information processing device, and information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021086287A (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018055196A (en) * | 2016-09-26 | 2018-04-05 | キヤノン株式会社 | Composite reality presentation system, information processing unit, and control method thereof |
-
2019
- 2019-11-26 JP JP2019213348A patent/JP2021086287A/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018055196A (en) * | 2016-09-26 | 2018-04-05 | キヤノン株式会社 | Composite reality presentation system, information processing unit, and control method thereof |
Non-Patent Citations (1)
| Title |
|---|
| 西川 善司 ZENNJI NISHIKAWA: "ゲームのムズカシイ話 ＶＯＬ．２２０ ＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＲＴＸシリーズ発表の衝撃（４）", 週刊ファミ通 第３３巻 第４２号, vol. 第33巻, JPN6023042893, ISSN: 0005179365 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10235560B2 (en) | Image processing apparatus, image processing method, and image communication system | |
| JP4553362B2 (en) | System, image processing apparatus, and information processing method | |
| JP5113426B2 (en) | Head-mounted display device and control method thereof | |
| JP2019028368A (en) | Rendering device, head-mounted display, image transmission method, and image correction method | |
| WO2017141511A1 (en) | Information processing apparatus, information processing system, information processing method, and program | |
| US11204502B2 (en) | Image generation apparatus, head mounted display, image generation system, image generation method, and program | |
| US11956415B2 (en) | Head mounted display apparatus | |
| US11003408B2 (en) | Image generating apparatus and image generating method | |
| JP4580678B2 (en) | Gaze point display device | |
| JP2011010126A (en) | Image processing apparatus, and image processing method | |
| JP6419118B2 (en) | Image display system | |
| JP2021039444A (en) | Image processing device, control method and program thereof | |
| JP6858007B2 (en) | Image processing system, image processing method | |
| JP6618260B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2018133746A (en) | Image processing apparatus, image processing system, image processing method and program | |
| JP7091043B2 (en) | Image processing equipment, image processing system, and image processing method | |
| JP2021086287A (en) | Information processing system, information processing device, and information processing method | |
| JP2024013947A (en) | Imaging device, imaging method of imaging device and program | |
| KR101242764B1 (en) | Apparatus and method for creating 3-dimensional augmented reality image using 3d image and gpu | |
| WO2024071208A1 (en) | Display device, display method, and program | |
| US20240320876A1 (en) | Image processing apparatus for combining a captured image and a virtual image, method for the same, and storage medium | |
| JP2012023589A (en) | Stereoscopic image processing device, stereoscopic image photographing device, stereoscopic image display device, and stereoscopic image processing method | |
| JP7005134B2 (en) | Image processing equipment, image processing methods and programs | |
| JP2020035481A (en) | Information processor, and information processing method and program | |
| CN117111731A (en) | Information processing apparatus and method, head-mounted display apparatus, and computer-readable medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231012 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231024 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240416 |