JP2014240961A - Substitutional reality system control device, substitutional reality system, substitutional reality control method, program, and storage medium - Google Patents
Substitutional reality system control device, substitutional reality system, substitutional reality control method, program, and storage medium Download PDFInfo
- Publication number
- JP2014240961A JP2014240961A JP2014124112A JP2014124112A JP2014240961A JP 2014240961 A JP2014240961 A JP 2014240961A JP 2014124112 A JP2014124112 A JP 2014124112A JP 2014124112 A JP2014124112 A JP 2014124112A JP 2014240961 A JP2014240961 A JP 2014240961A
- Authority
- JP
- Japan
- Prior art keywords
- video
- alternative
- head
- reality system
- omnidirectional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体に関する。 The present invention relates to an alternative reality system control apparatus, an alternative reality system, an alternative reality system control method, a program, and a recording medium.
従来、仮想現実研究においては、実際には目の前で起きていない事象(例えば、人工的なコンテンツに映し出されている事象、過去の映像に映し出されている事象、視聴場所と異なる場所の事象等)を、いかに実際に目の前で起きている事象として被験者に認識させるか、課題となっている。 Conventionally, in virtual reality research, events that have not actually occurred in front of you (for example, events that appear in artificial content, events that appear in past images, events that are different from the viewing location) Etc.) is an issue for the subject to recognize as an event actually occurring in front of him.
例えば、このような技術の一例として、「拡張現実」および「テレプレゼンス」がある。 For example, examples of such technologies include “augmented reality” and “telepresence”.
「拡張現実」とは、ユーザ視点からのライブ映像に、CG技術による映像を重ね合わせ、ディスプレイ(例えば、被験者の頭部に装着されたヘッドマウントディスプレイ)に映し出すというものである(例えば、下記特許文献1〜3参照)。 “Augmented reality” is to superimpose a video by CG technology on a live video from the user's viewpoint and project it on a display (for example, a head-mounted display mounted on the head of a subject) (for example, the following patent) References 1-3).
一方、「テレプレゼンス」とは、遠隔地に設けられたカメラによって撮像される映像を、リアルタイムに視聴者の頭部に装着されたヘッドマウントディスプレイに映し出すとともに、視聴者の頭部の動きに連動して、カメラの撮像方向を遠隔操作するというものである。 On the other hand, “telepresence” means that images captured by a remote camera are displayed in real time on a head-mounted display mounted on the viewer's head and linked to the movement of the viewer's head. Then, the imaging direction of the camera is remotely controlled.
例えば、下記特許文献1には、携帯型ディスプレイの裏面方向の画像をカメラで撮像し、その画像に対し、カメラの位置および方向に応じた3次元仮想物体の画像を重畳させる技術が開示されている。この技術によれば、3次元仮想物体があたかも現実に実在するかの如く、ユーザに体験させることができるとされている。 For example, Patent Document 1 below discloses a technique in which an image in the back direction of a portable display is captured by a camera, and an image of a three-dimensional virtual object corresponding to the position and direction of the camera is superimposed on the image. Yes. According to this technique, it is supposed that a user can experience a three-dimensional virtual object as if it actually exists.
また、下記特許文献2には、2次元コードが印刷された対象物をカメラによって撮像すると、2次元コードに対応する情報をデータベースから取得し、取得した情報と上記対象物とを重ねてディスプレイに表示する技術が開示されている。 Further, in Patent Document 2 below, when an object on which a two-dimensional code is printed is imaged by a camera, information corresponding to the two-dimensional code is acquired from a database, and the acquired information and the object are overlapped on a display. A technique for displaying is disclosed.
また、下記特許文献3には、撮影手段によって撮影された撮影画像データに適合する画像データを特定し、当該画像データに対応するホームページをWWWサーバから取得する技術が開示されている。 Patent Document 3 listed below discloses a technique for specifying image data suitable for captured image data captured by an imaging unit and acquiring a home page corresponding to the image data from a WWW server.
しかしながら、従来の技術では、被験者が、実際には目の前で起きていない事象を実際に目の前で起きている事象として認識(本書では、このような認識を被験者に体験させることを「代替現実」と称している。)するには至らない。このような実際には目の前で起きていない事象の映像(以下、「代替映像」と示す。)においては、その映像そのものや、その映像の視聴環境において、その映像を実際に生じているものと認識させることを阻害する様々な要因(例えば、CGの不自然さ、映像の動きの不自然さ、映像シーンの不自然さ等)が存在するからである。 However, in the conventional technology, the subject recognizes an event that does not actually occur in front of the eyes as an event that actually occurs in front of the eyes (in this document, “ It is called “alternative reality.”) In such a video of an event that has not actually occurred in front of you (hereinafter referred to as “alternative video”), the video actually occurs in the video itself or in the viewing environment of the video. This is because there are various factors (for example, CG unnaturalness, video motion unnaturalness, video scene unnaturalness, etc.) that hinder recognition of the subject.
特に、従来技術において、代替映像を映しだす場合、例え、その映像がいかに精巧であっても、殆どの場合、被験者から「実際には生じていない映像を視聴している」という意識は拭い去ることはできない。したがって、従来の技術では、被験者に代替現実を体験させることは困難である。 In particular, when displaying alternative images in the prior art, no matter how elaborate the image is, in most cases, the subject will wipe away the consciousness of “viewing an image that did not actually occur” It is not possible. Therefore, it is difficult for the subject to experience the alternative reality with the conventional technique.
例えば、上記「拡張現実」では、ライブ映像に重ね合わせられたCGの不自然さにより、被験者はこの映像が人工的なものであると判断するため、代替現実の実現は困難である。また、上記「テレプレゼンス」では、そもそも遠隔地の映像が映し出されるため、被験者がこの映像を、実際に目の前で起きている事象として認識することはなく、したがって、代替現実の実現に資するものではない。 For example, in the above “augmented reality”, the subject determines that the video is artificial because of the unnaturalness of the CG superimposed on the live video, and it is difficult to realize the alternative reality. In addition, in the above “telepresence”, a video of a remote place is projected in the first place, so the subject does not recognize this video as an event actually occurring in front of the eyes, thus contributing to the realization of alternative reality. It is not a thing.
本発明は、上記の問題に鑑みてなされたものであり、被験者に対し、実際には目の前で起きていない事象を、あたかも実際に目の前で起きている事象として認識させることのできる代替現実システムを実現することにある。 The present invention has been made in view of the above problems, and allows a subject to recognize an event that has not actually occurred in front of him as if it had actually occurred in front of him. To realize an alternative reality system.
上記した課題を解決するため、本発明に係る代替現実システム制御装置は、所定の場所において撮像された映像であって、現在撮像された映像である現在映像を取得する現在映像取得手段と、前記所定の場所を視点とする映像であって、前記現在映像とは異なる映像である代替映像を取得する代替映像取得手段と、前記所定の場所において表示装置が表示する映像を、前記現在映像、前記代替映像、またはそれらを組み合わせて得られる複合映像へ切り替える映像切替手段とを備えることを特徴とする。 In order to solve the above-described problem, an alternative reality system control device according to the present invention includes a current video acquisition unit that acquires a current video that is a video captured at a predetermined location and that is currently captured. Alternative video acquisition means for acquiring an alternative video that is a video with a predetermined location as a viewpoint and is different from the current video, and an image displayed on the display device at the predetermined location, the current video, Video switching means for switching to a substitute video or a composite video obtained by combining them is provided.
この代替現実システム制御装置によれば、所定の場所において撮像された現在映像と、当該所定の場所を視点とする代替映像とを切り替えるため、表示装置によって映像を視聴している視聴者にとっては、現在視聴している映像が代替映像であるか現在映像であるかを判別することが困難である。したがって、上記代替現実システム制御装置によれば、視聴者に代替現実を体験させることが可能である。 According to this alternative reality system control device, for the viewer who is viewing the video by the display device in order to switch between the current video imaged at the predetermined location and the alternative video having the predetermined location as a viewpoint, It is difficult to determine whether the video currently being viewed is a substitute video or a current video. Therefore, according to the above-described alternative reality system control apparatus, it is possible for the viewer to experience the alternative reality.
また、本発明に係る代替現実システムは、所定の場所において、過去に撮像された映像である過去映像を撮像する第1の撮像装置と、前記所定の場所において、現在撮像されている映像である現在映像を撮像する第2の撮像装置と、前記所定の場所において映像を表示する表示装置と、当該代替現実システムを制御する代替現実システム制御装置と、を備え、前記代替現実システム制御装置は、前記第1の撮像装置によって撮像された前記過去映像を取得する過去映像取得手段と、前記第2の撮像装置によって撮像された前記現在映像を取得する現在映像取得手段と、前記表示装置が表示する映像を、前記過去映像、前記現在映像、またはそれらを組み合わせて得られる複合映像へ切り替える映像切替手段と、を有することを特徴とする。 The alternative reality system according to the present invention is a first imaging device that captures a past video that is a video captured in the past at a predetermined location, and a video that is currently captured at the predetermined location. A second imaging device that captures a current image; a display device that displays an image at the predetermined location; and an alternative reality system control device that controls the alternative reality system, the alternative reality system control device comprising: The past image acquisition means for acquiring the past image captured by the first imaging device, the current image acquisition means for acquiring the current image captured by the second imaging device, and the display device display Video switching means for switching the video to the past video, the current video, or a composite video obtained by combining them;
また、本発明に係る代替現実システム制御方法は、代替現実システムを制御する代替現実システム制御方法であって、所定の場所において撮像された映像であって、現在撮像された映像である現在映像を取得する現在映像取得工程と、前記所定の場所を視点とする映像であって、前記現在映像とは異なる映像である代替映像を取得する代替映像取得工程と、前記所定の場所において表示装置が表示する映像を、前記現在映像、前記代替映像、またはそれらを組み合わせて得られる複合映像へ切り替える映像切替工程とを含むことを特徴とする。 An alternative reality system control method according to the present invention is an alternative reality system control method for controlling an alternative reality system, which is a video imaged at a predetermined location and is a current video image. A current video acquisition step of acquiring, an alternative video acquisition step of acquiring an alternative video different from the current video, wherein the display device displays the video at the predetermined location; A video switching step of switching the video to be performed to the current video, the alternative video, or a composite video obtained by combining them.
また、本発明に係るプログラムは、コンピュータを上記代替現実システム制御装置として機能させるためのプログラムであって、前記コンピュータを前記代替現実システム制御装置が備える前記各手段として機能させるプログラムである。 A program according to the present invention is a program for causing a computer to function as the above-described alternative reality system control device, and causes the computer to function as each of the means included in the alternative reality system control device.
また、本発明に係る記録媒体は、上記プログラムを記録しているコンピュータ読取り可能な記録媒体である。 A recording medium according to the present invention is a computer-readable recording medium in which the program is recorded.
上記代替現実システム、上記代替現実システム制御方法、上記プログラム、および上記記録媒体によれば、上記代替現実システム制御装置と同様の効果を奏することができる。 According to the alternative reality system, the alternative reality system control method, the program, and the recording medium, the same effects as those of the alternative reality system control device can be obtained.
本発明によれば、被験者に対し、実際には目の前で起きていない事象を、あたかも実際に目の前で起きている事象として認識させることができる。 According to the present invention, it is possible to cause a subject to recognize an event that has not actually occurred in front of the eyes as if it had actually occurred in front of the eyes.
以下、本発明の実施形態について、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
〔代替現実システム100の構成〕
まず、図1〜図3を参照して、本発明の実施形態に係る代替現実システム100のシステム構成について説明する。図1は、本発明の実施形態に係る代替現実システム100のシステム構成を示す。
[Configuration of Alternative Reality System 100]
First, a system configuration of an
図1に示す代替現実システム100は、代替現実を被験者に体験させるシステムである。図1に示すように、代替現実システム100は、制御装置110、録画モジュール120、および視聴モジュール130を備えて構成されている。
An
(制御装置110)
制御装置110は、代替現実システム100を制御する。例えば、制御装置110は、パーソナルコンピュータによって実現されてもよく、サーバや、専用の機器によって実現されてもよい。
(Control device 110)
The
(録画モジュール120)
図2は、本発明の第1実施形態に係る録画モジュール120の具体例を示す。録画モジュール120は、過去映像(過去に撮像されたものとして扱われる映像)の撮像および録画に利用される。図2に示すように、録画モジュール120は、全方位カメラ122およびマイク124を備えている。
(Recording module 120)
FIG. 2 shows a specific example of the
全方位カメラ122は、周辺の映像を撮像する。全方位カメラ122は、撮像方向が異なる複数の撮像装置を備えて構成されており、これにより、全ての方向(水平方向に360°かつ垂直方向に360°)を撮像することが可能となっている。全方位カメラ122によって撮像された映像は、制御装置110へ出力され、その撮像位置において過去に撮像された過去映像として扱われる。全方位カメラ122は、ワンショットパノラマミラーレンズを装着したカメラでも代用可能である。
The
マイク124は、周辺の音声を集音する。マイク124によって集音された音声は、制御装置110へ出力され、上記過去映像の音声として扱われる。
The
(視聴モジュール130)
図3は、本発明の第1実施形態に係る視聴モジュール130の具体例を示す。視聴モジュール130は、現在映像(現在に撮像されたものとして扱われる映像)の撮像、各映像(現在映像および過去映像)の視聴に利用される。図3に示すように、視聴モジュール130は、ヘッドフォン132、ヘッドカメラ134、ヘッドマウントディスプレイ136、動きセンサ138、マイク140、スイッチ142、およびアイトラッカー144(図1参照)を備えて構成されている。
(Viewing module 130)
FIG. 3 shows a specific example of the
ヘッドカメラ134は、被験者の頭部の前方の映像を撮像する。ヘッドカメラ134によって撮像された映像は、その撮像位置において現在撮像された現在映像として、制御装置110へ出力される。マイク140は、周辺の音声を録音する。マイク140によって録音された音声は、上記現在映像の音声として、制御装置110へ出力される。
The
ヘッドマウントディスプレイ136は、制御装置110から出力された映像(すなわち、現在映像または過去映像)を表示する。ヘッドフォン132は、制御装置110から出力された音声(すなわち、現在映像の音声または過去映像の音声)を出力する。
The head mounted
動きセンサ138は、被験者の頭部の動きを検出する。例えば、動きセンサ138は、ジャイロセンサ、傾斜センサ等が用いられ、被験者の頭部の角度および傾きを検出する。動きセンサ138は、頭部の位置を検出するものであってもよい。また、動きセンサ138は、体験環境に設置したカメラによるモーションキャプチャーシステムに置き換えることも可能である。
The
アイトラッカー144は、被験者がヘッドマウントディスプレイ136画面のどこを見ているかを知るために視線方向を計測する。例えば、アイトラッカー144は、少なくとも被験者の目が領域内に収まっている映像を撮像し、当該映像における瞳の方向を検出することにより、上記視線方向を計測する。
The
スイッチ142は、制御装置110に対して、映像の切り替えを指示するためのものである。被験者は、スイッチ142を押下することにより、制御装置110に対して、映像の切り替えを指示することができる。
The
〔制御装置110の機能構成〕
次に、図4を参照して、制御装置110の機能構成について説明する。図4は、本発明の第1実施形態に係る制御装置110の機能構成を示す。図4に示すように、制御装置110は、過去映像取得部402、映像蓄積部404、現在映像取得部406、映像再生部408、映像出力部410、映像切替部412、頭部方向特定部414、映像切出し方向更新部416、および視線方向特定部418を備えている。
[Functional Configuration of Control Device 110]
Next, the functional configuration of the
過去映像取得部402は、全方位カメラ122によって撮像された過去映像を取得する。映像蓄積部404は、過去映像取得部402によって取得された過去映像を蓄積する。映像蓄積部404は、制御装置110の外部に設けられていても良い。
The past
現在映像取得部406は、ヘッドカメラ134によって撮像された現在映像を取得する。
The current
映像再生部408は、映像蓄積部404に蓄積されている過去映像、または、現在映像取得部406によって取得された現在映像を再生する。映像出力部410は、映像再生部408によって再生された過去映像または現在映像を、ヘッドマウントディスプレイ136へ出力する。
The
映像切替部412は、ヘッドマウントディスプレイ136へ出力する映像を、上記過去映像または上記現在映像へ切り替える。例えば、映像切替部412において、制御装置110において何らかのイベント(以下、「映像切り替えイベント」と示す)が発生すると、上記切り替えを行う。
The
例えば、上記映像切り替えイベントは、例えば、試験者がボタンを押したタイミング等、試験者の指示したタイミングで発生する。または、再生中の映像における予め試験者によって指示されたタイミングで発生する。さらに、上記映像切り替えイベントは、被験者の指示したタイミング(例えば、スイッチ142を押下したタイミング)で発生することも可能である。
For example, the video switching event occurs at a timing instructed by the tester, for example, when the tester presses a button. Alternatively, it occurs at a timing instructed in advance by the tester in the video being reproduced. Furthermore, the video switching event can also occur at the timing instructed by the subject (for example, the timing at which the
また、上記映像切り替えイベントは、動きセンサ138によって被験者の頭部方向、または、アイトラッカー144によって特定の視線方向が検出されたタイミング、で発生するようにしてもよい(工夫点4参照)。
In addition, the video switching event may be generated at the timing when the
映像の切り替えパターンとしては、過去映像から現在映像への切り替え、現在映像から過去映像への切り替え、第1の過去映像から第2の過去映像への切り替え、同一の過去映像内の別シーンへの切り替え等が考え得る。 The video switching pattern includes switching from the past video to the current video, switching from the current video to the past video, switching from the first past video to the second past video, and switching to another scene in the same past video. Switching can be considered.
頭部方向特定部414は、動きセンサ138からの信号に基づいて、被験者の頭部の方向を特定する。
The head
視線方向特定部418は、アイトラッカー144からの信号に基づいて、被験者の視線方向(すなわち、呈示映像内のどの領域をみているか)を特定する。
The line-of-sight
映像切出し方向更新部416は、頭部方向特定部414によって特定された被験者の頭部の方向に応じて、ヘッドマウントディスプレイ136へ出力する映像の、切出し方向を更新する。
The video cutout
本書において、「映像を切り出す」とは、頭部の方向に応じた領域の映像であって、ヘッドマウントディスプレイ136に映し出す部分的な映像を、全方位カメラ122によって撮像された映像から切り出すことを意味する。また、「映像の切出し方向を更新する」とは、上記部分映像を、頭部の方向に応じた領域の部分映像に変更することを意味する。
In this document, “cutting out an image” means to cut out a partial image displayed on the head mounted
なお、本実施形態では、被験者の頭部が動かずに視線が動いた場合には、映像の切出し方向を更新しないこととしているが、被験者の網膜に映る映像自体は変化するので、このタイミングで過去映像・現在映像の切り替えを行うようにしてもよい。これにより、頭部が動いたときに過去映像・現在映像の切り替えを行う(下記工夫点4)のと同様に、被験者はその切り替えに気づきにくくなる。また、被験者の視線方向に基づき、映像のどこに注目しているかを特定することができるので、その注目先に応じて切り替えを行うようにしてもよい。例えば、「映像内の『椅子』に体験者が注意を向けた時に切り替える」といった具合である。 In this embodiment, when the line of sight moves without moving the subject's head, the cutout direction of the image is not updated, but the image itself reflected in the retina of the subject changes, so at this timing Switching between past video and current video may be performed. This makes it difficult for the subject to notice the switching as in the case of switching between the past video and the current video when the head moves (the following contrivance point 4). In addition, since it is possible to specify where in the video the user is paying attention based on the line-of-sight direction of the subject, switching may be performed according to the attention destination. For example, “switch when an experienced person pays attention to the“ chair ”in the video”.
(制御装置110による処理の手順)
次に、図5を参照して、制御装置110による処理の手順について説明する。図5は、本発明の実施形態に係る制御装置110による処理の手順を示すフローチャートである。
(Processing procedure by the control device 110)
Next, with reference to FIG. 5, the procedure of processing by the
初めに、制御装置110は、ヘッドカメラ134によって撮像されたライブ映像を、ヘッドマウントディスプレイ136に表示する(ステップS502)。
First, the
その後、制御装置110において何らかの映像切り替えイベントが発生すると(ステップS504:Yes)、制御装置110(映像切替部412)は、ヘッドマウントディスプレイ136に表示する映像を切り替える(ステップS506)。そして、制御装置110は、処理をステップS504に戻す。
Thereafter, when any video switching event occurs in the control device 110 (step S504: Yes), the control device 110 (video switching unit 412) switches the video displayed on the head mounted display 136 (step S506). And the
例えば、ヘッドマウントディスプレイ136にライブ映像が表示されている場合、制御装置110は、ヘッドマウントディスプレイ136に表示する映像を、ライブ映像から録画映像に切り替える。反対に、ヘッドマウントディスプレイ136に録画映像が表示されている場合、制御装置110は、ヘッドマウントディスプレイ136に表示する映像を、録画映像からライブ映像に切り替える。
For example, when live video is displayed on the head mounted
一方、制御装置110において何らかの映像切出し方向更新イベント(例えば、動きセンサ138による頭部方向の動きの検出)が発生すると(ステップS508:Yes)、制御装置110(映像切出し方向更新部416)は、ヘッドマウントディスプレイ136に表示されている映像の映像切出し方向を更新する(ステップS510)。そして、制御装置110は、処理をステップS504に戻す。
On the other hand, when any video cut direction update event (for example, detection of head direction movement by the motion sensor 138) occurs in the control device 110 (step S508: Yes), the control device 110 (video cut direction update unit 416) The video cutout direction of the video displayed on the head mounted
例えば、過去映像が表示されているときに、被験者の頭の向きが変わった場合、制御装置110は、その向きに応じた過去映像に変更する。
For example, when the direction of the subject's head changes while the past video is displayed, the
一方、現在映像が表示されているときに、被験者の頭の向きが変わった場合、ヘッドカメラ134の撮像方向もその向きに変更されるから、ヘッドマウントディスプレイ136に表示されている現在映像の切出し方向も、自動的にその方向に変更されることとなる。
On the other hand, if the direction of the subject's head changes while the current video is displayed, the imaging direction of the
このような手順により、代替現実システム100によって実現される一連の代替現実体験において、制御装置110は、映像切り替えイベントが発生する毎に、ヘッドマウントディスプレイ136に表示する映像を、過去映像または現在映像へ切り替えることができる。また、制御装置110は、被験者の頭部方向が変更する毎に、ヘッドマウントディスプレイ136に表示されている映像の切出し方向を、その頭部方向に変更することができる。
With this procedure, in a series of alternative reality experiences realized by the
〔映像切替処理の具体例〕
次に、図6を参照して、代替現実システム100による代替現実体験の具体例について説明する。図6は、本発明の実施形態に係る代替現実システム100による代替現実体験の具体例を示す。図6(a)〜(e)は、代替現実体験における代表的なシーンを、時系列に示すものである。
[Specific example of video switching processing]
Next, a specific example of an alternative reality experience by the
(a.過去映像の撮影シーン)
図6(a)は、代替現実体験における過去映像の撮影シーンを示すものである。この撮影シーンにおいては、体験室における所定の位置に全方位カメラ122が設置されており、当該全方位カメラ122によって体験室における全方向の過去映像が撮像されている。また、この体験室に被験者が案内され、案内者によってこの体験室で体験を行うことが説明されている。当然、この様子も、全方位カメラ122によって撮像されている。その後、被験者は、同じ部屋の全方位カメラ122が置かれていた場所に移動し、ヘッドマウントディスプレイ136が装着される。ヘッドマウントディスプレイ136から表示される映像は、初めは現在の映像(ヘッドカメラ134によって撮像されているライブ映像)であるが、その後、被験者が気付かぬ間に、過去の映像に切り替えられる。このように、最初に現在の映像を表示することにより、被験者に「現在の映像を視聴している」という意識を植え付けることができ、過去の映像への切り替えを気付かせ難くしているのである。
(A. Shooting scene of past video)
FIG. 6A shows a shooting scene of a past video in an alternative reality experience. In this shooting scene, an
(b.録画シーン)
図6(b)は、代替現実体験における録画シーンを示すものである。この録画シーンにおいては、案内者が被験者に対して、ヘッドマウントディスプレイの具合について問いかけているが、これは、過去の映像によるものである。被験者は、上記問いかけが過去の映像によるものであることに気付かず、上記問いかけに対して応答している。
(B. Recording scene)
FIG. 6B shows a recording scene in the alternative reality experience. In this recording scene, the guide asks the subject about the condition of the head mounted display, which is based on past images. The subject does not realize that the question is based on a past video, and responds to the question.
(c.録画シーン)
図6(c)は、代替現実体験における録画シーンを示すものである。図6(b)に示すシーンの後、図6(c)に示すように、ヘッドマウントディスプレイ136には、図6(a)で撮像した過去の映像が表示される。この映像には、被験者自身が映し出されているため、被験者は、この映像が過去の映像であることを認識する。そして、被験者は、いつの間にか過去の映像に切り替わっていたことを知り、ヘッドマウントディスプレイに表示されている映像が、操作されているのかもしれないと疑念を抱くようになる。
(C. Recording scene)
FIG. 6C shows a recording scene in the alternative reality experience. After the scene shown in FIG. 6B, as shown in FIG. 6C, the past video imaged in FIG. 6A is displayed on the head mounted
(d.録画シーン)
図6(d)は、代替現実体験における録画シーンを示すものである。この録画シーンにおいては、案内者が被験者に対して、図6(c)の映像が過去の映像であることを説明している。そして、今現在視聴している映像が、現在の映像であることを説明している。しかしながら、この説明は、過去の映像によるものである。にも関わらず、被験者は、シーンが切り替わったこと、および、上記説明を受けたことにより、今現在視聴している映像が、現在の映像であると思い込んでしまっている。特に、図6(c)のシーンにおいて、被験者自身を映像に映し出すことによって、過去の映像を過去の映像らしく演出したことにより、図6(d)のシーンにおける上記説明の真実感が高められ、したがって、図6(d)のシーンにおける映像の現実感がより高められている。
(D. Recording scene)
FIG. 6D shows a recording scene in the alternative reality experience. In this recording scene, the guide explains to the subject that the video in FIG. 6C is a past video. It explains that the video currently being viewed is the current video. However, this explanation is based on past images. Nevertheless, the subject has assumed that the video currently being viewed is the current video because the scene has been switched and the above explanation has been received. In particular, in the scene of FIG. 6 (c), by projecting the subject himself / herself on the video, the past video is produced as if it were a past video, so that the truthfulness of the above description in the scene of FIG. 6 (d) is enhanced, Therefore, the reality of the video in the scene of FIG. 6D is further enhanced.
(e.ライブシーン)
図6(e)は、代替現実体験におけるライブシーンを示すものである。このライブシーンでは、さらに、案内者が被験者に対して、今現在視聴している映像が、現在の映像であることを説明している。これにより、図6(d)のシーンにおいて既に現実に戻ったと信じて疑わない被験者にとっては、もはや、何が現実で何か過去であるのかが判別できなくなっている。
(E. Live scene)
FIG. 6 (e) shows a live scene in an alternative reality experience. In this live scene, the guide further explains to the subject that the video currently being viewed is the current video. As a result, it is no longer possible to determine what is real and what is past for a subject who believes that he has already returned to reality in the scene of FIG. 6D.
〔映像の切り替え時の工夫〕
このように、本実施形態の代替現実システム100では、被験者に視聴させる映像の切り替えを適宜行うことにより、被験者に代替現実を体験させることが可能となっている。特に、本実施形態の代替現実システム100では、これまでに説明した事項のみならず、以下を代表的なものとする各種工夫を施すことによって、映像の切り替えをより自然なものとし、被験者による判別をより困難なものとしている。
[Concept when switching video]
Thus, in the
(工夫点1:頭部方向の連動)
既に説明したとおり、本実施形態の代替現実システム100では、被験者の頭部の動きに連動して、表示する映像の切出し方向を変化させている。本実施形態の代替現実システム100では、以下(1)〜(3)によって、これを実現している。(1)全方位カメラ122によって全方向の映像を撮像する。(2)被験者の頭部に装着された動きセンサ138からの検出信号に基づき、被験者の頭部の方向を特定する。(3)被験者の頭部方向に応じた方向の映像を、全方向の映像から切り出す。
(Ingenuity 1: Interlocking head direction)
As already described, in the
(工夫点2:同一場所での撮影)
既に説明したとおり、本実施形態の代替現実システム100では、過去映像の撮像位置と、現在映像の撮像位置とを同じ位置としている。より好ましくは、全方位カメラ122の焦点位置と、被験者の頭部の旋回中心とが略同位置となることである。本実施形態の代替現実システム100では、これを実現するため、代替現実の体験時には、全方位カメラ122を撤去し、その位置に被験者を着座させている。
(Convention point 2: Shooting at the same place)
As already described, in the
(工夫点3:画質調整)
本実施形態の代替現実システム100では、過去映像の画質と、現在映像の画質とが、同一または近似するように、少なくとも一方の映像の画質を調整することもできる。例えば、代替現実システム100は、両カメラの撮像素子の特性データから求められた調整値により、画質調整を行う。または、両映像に基準画像を表示して、この基準画像の画質が近似するように、自動的に画質調整を行う。
(Ingenuity 3: Image quality adjustment)
In the
(工夫点4:切り替えタイミング)
映像を切り替える際、過去映像、現在映像の間の画質等の差が生じる場合があるが、本実施形態の代替現実システム100では、被験者の頭部の動きを検出したタイミングで、映像の切り替えを行うこともできる。これにより、表示中の映像が変化しているときに、すなわち映像の切出し方向が変化しているときに映像が切り替えられるため、上述の差、ひいては切り替え自体に被験者はより気づき難くなる。また、アイトラッカー144が急速眼球運動(サッカード)を検出したタイミングで映像の切り替えを行うこともできる。この場合も被験者は切り替えに気付き難くなる。また、アイトラッカー144を用いて、被験者が映像上の特定の事物(特に切り替え前後で変化しない事物であることが好ましい)に注意を向けていることを確認した上で切り替えを行う、ということも可能である。
(Convention point 4: switching timing)
When switching the video, there may be a difference in image quality between the past video and the current video, but in the
(工夫点5:映像の重ね合わせ(ブレンド))
本実施形態の代替現実システム100では、映像の切り替え時に、過去映像と現在映像とを切り替えることとしたが、過去映像と現在映像とを重ね合わせることもできる。この際、少なくとも一方の映像に対し、背景を除去したり、人物を抽出したりする等の、加工を施すことも可能である。これにより、例えば、現実に存在するものと認識されていた人物等の対象物を、過去映像にも表示することができるため、過去映像の現実感をより高めることができる。さらに、過去映像または現在映像に対して、過去映像の対象物と現在映像の対象物とを混在させることも可能であり、これにより、過去映像と現在映像との区別をよりし難くすることができる。
(Ingenuity point 5: Image overlay (blend))
In the
また、重ね合わせ後の映像を生成する際には、過去映像の透過比率と現在映像の透過比率とをそれぞれ調整することが可能である。例えば、現在映像に対して、過去映像がフェードイン及びフェードアウトするような構成とすることも可能である。これにより、現実映像には存在しない人物が出現及び消滅したとしても、被験者に気付かれ難くなっている。 Further, when generating the superimposed video, it is possible to adjust the transmission ratio of the past video and the transmission ratio of the current video, respectively. For example, it is possible to adopt a configuration in which past video fades in and out with respect to the current video. Thereby, even if a person who does not exist in the real image appears and disappears, it is difficult for the subject to notice.
過去映像と現在映像の透過度は、映像のピクセルごとに設定することが可能であり、過去映像と現在映像を常時重ね合わせておいても、実際に重ねあわせが起きているのは、環境空間の一部だけに(たとえば右もしくは左半分だけのように)留めることがができる。また、ピクセル単位の透過度を時系列や体験者の行動に沿って動的に変化させることで、過去映像と現在映像が混ざり合う環境空間部位やその形状を自由に変化させることができる。 The transparency of the past video and the current video can be set for each pixel of the video. Even if the past video and the current video are always superposed, the superposition actually occurs in the environment space. Can be only part of it (eg just the right or left half). In addition, by dynamically changing the transparency in pixel units according to the time series and the behavior of the experiencer, it is possible to freely change the environment space part where the past video and the current video are mixed and its shape.
以上より、例えば、現在映像内の人物と過去映像内の人物とが同時に画面に登場し、会話をするといったシーンを構成することができる。現在映像内の人物と、過去映像内の人物は、同一人物とすることもできる。 From the above, for example, a scene in which a person in the current video and a person in the past video simultaneously appear on the screen and have a conversation can be configured. The person in the current video and the person in the past video can be the same person.
(工夫点6:映像における対象物の調整)
本実施形態の代替現実システム100では、過去映像と現在映像に同一の対象物が映し出されるように、両映像の撮像環境が調整されている。これにより、映像の切り替え時に、対象物が突然消滅したり出現したりすることを防止している。但し、上記したように、過去映像と現在映像とに共通しない対象物を出現および消滅させたとしても、当該対象物をフェードイン及びフェードアウトさせることで、被験者に気付かれ難くすることができる。
(Ingenuity point 6: Adjustment of object in video)
In the
(工夫点7:被験者への錯誤の誘引効果)
本実施形態の代替現実システム100では、被験者が錯誤状態に陥るように、映像の切り替えタイミングや、切り替え前後の映像の内容を調整している。例えば、図6dに例示したように、過去映像において、あたかも現在映像であるかのようなナレーションを含めたり、過去映像から、別の過去映像に切り替えたりするシナリオにより、過去映像を現在映像と思い込ませることが可能となっている。本実施形態の代替現実システム100では、このような動作を、一連の代替現実の体験において複数回行うことで、被験者は、自分自身の判断に自身を持つことが出来なくなり、殆どの過去映像を現在実際に生じている事象として受け止めるようになる。
(Ingenuity point 7: Attracting error to subject)
In the
〔映像の切り替え時のさらなる工夫〕
本実施形態の代替現実システム100においては、以下に例示するようなさらなる工夫を施すことによって、映像の切り替えをより自然なものとし、被験者による判別をより困難なものとすることも可能である。
[Further ideas when switching images]
In the
(さらなる工夫点1:被験者の五感によるシーン体験)
本実施形態の代替現実システム100において、前記映像切替手段が前記過去映像に切り替える際に、当該過去映像に予め対応付けられた、匂い、熱、振動、および触感の少なくともいずれか一つを発生させる発生手段をさらに備えるようにしてもよい。例えば、過去映像に人が倒れるシーンが含まれている場合、その過去映像を被験者に視聴させるとともに、そのタイミングで被験者が検知可能な振動を発生させる。これにより、被験者に対し、あたかも現実的に人が倒れたものと認識させることができ、より過去映像の現実感を高めることができる。他の例として、過去映像に火災のシーンが含まれている場合、その過去映像を被験者に視聴させるとともに、そのタイミングで被験者が検知可能な熱および匂いを発生させる。これにより、被験者に対し、あたかも現実的に火災が発生しているものと認識させることができ、より過去映像の現実感を高めることができる。
(Further ingenuity 1: Scene experience by subject's five senses)
In the
例えば、匂い、熱、振動、または触感を発生させる場合は、被験者に装着された、または、被験者の近傍に設置された、匂い、熱、振動、または触感を生じさせる既知の何らかの装置(例えば、匂い発生装置、照明等の発熱装置、振動発生器、触感制御装置等)を制御装置110によって制御することにより、これらを実現することができる。
For example, if odor, heat, vibration, or tactile sensation is to be generated, any known device that produces odor, heat, vibration, or tactile that is worn on or located near the subject (e.g., These can be realized by controlling the odor generating device, the heating device such as lighting, the vibration generator, the tactile sensation control device, etc.) by the
(さらなる工夫点2:切り替えタイミング)
本実施形態の代替現実システム100では、被験者が指定したタイミング(例えば、スイッチ142を押下したタイミング)で、映像を切り替えることが可能である。この際、被験者が指定したタイミングと、映像を切り替えるタイミングとの間に、タイムラグを生じさせるようにしてもよい。これにより、被験者による過去映像と現在映像との判別がより困難なものとなり、過去映像の現実感をより高めることができる。大概の被験者は、自ら指定したタイミングで映像が切り替わっていると信じ込むためである。
(Further device 2: switching timing)
In the
(さらなる工夫点3:映像の編集)
被験者による過去映像と現在映像との判別がより困難なものとなるように、過去映像および現在映像の一方または双方に映像編集処理を施すことも可能である。例えば、双方を線画映像としたり、双方の背景を削除したりする、といった具合である。すなわち、映像を単純化することで、両映像の判別をより困難なものとすることができる。
(Further contrivance point 3: Video editing)
It is also possible to perform video editing processing on one or both of the past video and the current video so that it becomes more difficult for the subject to discriminate between the past video and the current video. For example, both line images are used, or both backgrounds are deleted. That is, by simplifying the video, it is possible to make it more difficult to discriminate both videos.
〔補足事項〕
以上の説明では、被験者に対して、過去映像と現在映像とを選択的に提示する構成を例に挙げたが、本実施形態はこれに限定されるものではない。例えば、上述した過去映像は、上述した現在映像の撮像地点を視点とする映像であって、当該現在映像と異なる映像であればよく、より一般には代替映像と表現すべきものである。ここで、代替映像には、人工的なコンテンツ、過去の映像、視聴場所と異なる場所にて撮像された映像等が含まれる。
[Additional notes]
In the above description, the configuration in which the past video and the current video are selectively presented to the subject has been described as an example, but the present embodiment is not limited to this. For example, the above-described past video is a video having the viewpoint of the above-described current video imaging point and may be a video different from the current video, and more generally should be expressed as a substitute video. Here, the substitute video includes an artificial content, a past video, a video captured at a location different from the viewing location, and the like.
このように、本実施形態には、所定の場所において撮像された映像であって、現在撮像された映像である現在映像を取得する現在映像取得手段(現在映像取得部406)と、前記所定の場所を視点とする映像であって、前記現在映像とは異なる映像である代替映像を取得する代替映像取得手段(過去映像取得部402)と、前記所定の場所において表示装置が表示する映像を、前記現在映像、前記代替映像、またはそれらを組み合わせて得られる複合映像へ切り替える映像切替手段(映像切替部412)とを備える代替現実システム制御装置(制御装置110)が記載されている。 As described above, in the present embodiment, a current video acquisition unit (current video acquisition unit 406) that acquires a current video that is a video captured at a predetermined location and that is currently captured, and the predetermined video Alternative video acquisition means (past video acquisition unit 402) for acquiring an alternative video that is a video with a viewpoint as a viewpoint and is different from the current video, and a video displayed by the display device at the predetermined location, There is described an alternative reality system control device (control device 110) including video switching means (video switching unit 412) for switching to the current video, the alternative video, or a composite video obtained by combining them.
〔代替現実システムの適用例〕
以上のように、本実施形態の代替現実システム100では、被験者に代替現実を体験させることができる。このような代替現実システム100の利用は、以下に例示するように、広範囲に及ぶ。
[Application example of alternative reality system]
As described above, in the
(適用例1)
例えば、本実施形態の代替現実システム100は、心理的実験に適用することができる。例えば、テレビモニターにあるイベントをし被験者に呈示した場合、被験者は、そのイベントが実際に目の前で生じているものである、という信念は持たないが、本実施形態の代替現実システムを用いればそのような信念を保持したまま被験者に実験参加させることが可能である。このような信念の実験的調整が必要となる心理実験に広く応用可能である。この場合、上述した代替映像として、例えば、実際には生じないようなイベント、(通常よりもスローモーションなイベント等)を用意することも可能である。
(Application example 1)
For example, the
(適用例2)
また、例えば、本実施形態の代替現実システム100は、ヘッドマウントディスプレイを用いた没入型一人称ゲームに適用することができる。通常このようなゲームは、プレイヤーの操作に応じてゲーム内でのプレイヤーの位置が変化する。パノラマビデオカメラを用いた本実施形態の代替現実システム100では、そのような位置変化を過去映像内で再現することは困難であるため、代替現実そのものをプレイ中常に実現することは困難であるが、例えばゲーム内環境に出入りする際(ゲームを開始、停止する際)に限れば可能である。このように、ゲーム内環境に出入りするインターフェイスとして用いることにより、ゲーム内環境の現実感等を高める、といったことが可能である。これは、映画を視聴開始、停止する際のインターフェイスとしても利用することができる。
(Application example 2)
Further, for example, the
(適用例3)
また、本実施形態の代替現実システム100は、体験中に被験者が移動できる形態に拡張することができる。例えば、視聴モジュールの配線を調整、あるいは無線化することにより、被験者は視聴モジュールを装着したまま移動できるようにする。予め複数の所定の場所にて過去映像を撮影しておけば、それら所定の位置に被験者が留まる際に現在映像、過去映像間の切り替えが可能となる。さらに、移動中は現在映像だけを流すようにすることによって、移動しながらの代替現実体験が可能である。移動可能な代替現実は、上述の心理実験、ゲーム、映画等への応用に取り入れることもできる。
(Application example 3)
Moreover, the
(プログラム、記憶媒体)
実施形態で説明した代替現実システム制御装置110の各機能は、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPUを用いてソフトウェア的に実現してもよい。
(Program, storage medium)
Each function of the alternative reality
例えば、代替現実システム制御装置110は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM、上記プログラムを展開するRAM、上記プログラム及び各種データを格納するメモリ等の各種記憶装置(記録媒体)を備えている。そして、上記CPUが、上記各種記憶装置に格納されているプログラムを読み出し、このプログラムを実行することによって、代替現実システム制御装置110の各機能を実現することができる。
For example, the alternative reality
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM(登録商標)/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類等を用いることができる。 Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and disks including optical disks such as CD-ROM / MO / MD / DVD / CD-R. IC cards (including memory cards) / optical cards, semiconductor memories such as mask ROM / EPROM / EEPROM (registered trademark) / flash ROM, PLD (Programmable logic device) and FPGA (Field Programmable Gate) Logic circuits such as (Array) can be used.
なお、上記プログラムは、通信ネットワークを介して代替現実システム制御装置110に供給されてもよい。この通信ネットワークは、少なくとも上記プログラムを代替現実システム制御装置110に伝送可能であればよく、その種類はどのようなものであっても良い。例えば、有線もしくは無線による通信ネットワークとしては、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。
The program may be supplied to the alternative reality
また、上記プログラムを代替現実システム制御装置110に供給するための伝送媒体としても、どのような種類のものを利用しても良い。例えば、伝送媒体として、光学ネットワーク、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線によるものを利用しても良い。また、伝送媒体として、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE80211無線、HDR(High Data Rate)、NFC、DLNA、携帯電話網、衛星回線、地上波デジタル網等の無線によるものを利用しても良い。
Further, any kind of transmission medium for supplying the program to the alternative reality
本発明は、被験者やユーザに対して代替現実を提示する代替現実システムに好適に適用することができる。 The present invention can be suitably applied to an alternative reality system that presents an alternative reality to a subject or a user.
100 代替現実システム
110 制御装置(代替現実システム制御装置)
120 録画モジュール
122 全方位カメラ
124 マイク
130 視聴モジュール
132 ヘッドフォン
134 ヘッドカメラ
136 ヘッドマウントディスプレイ
138 動きセンサ
140 マイク
142 スイッチ
144 アイトラッカー
402 過去映像取得部(代替映像取得手段)
404 映像蓄積部
406 現在映像取得部(現在映像取得手段)
408 映像再生部
410 映像出力部
412 映像切替部(映像切替手段)
414 頭部方向特定部
416 映像切出し方向更新部(映像方向更新手段)
418 視線方向特定部
100
120
404
408
414 Head
418 Gaze direction identification part
Claims (15)
前記頭部に装着され、前記頭部の前方を撮像するカメラ、
前記頭部の位置、角度および傾きを検出するセンサ、
あらかじめ用意された全方位映像が蓄積される蓄積部、
前記ディスプレイに、
(1)前記カメラにより現在撮像されている現在映像と、
(2)前記全方位映像から、前記検出された角度および傾きに応じた領域を切り出した部分映像、もしくは、前記部分映像と前記現在映像とを組み合わせた複合映像からなる代替映像と、
のいずれかを再生映像として再生する再生部、
前記検出された位置が、
(a)前記全方位映像に対応付けられる場所にあれば、前記再生映像を、前記代替映像へ切り替えることを可能とし、
(b)前記全方位映像に対応付けられる場所から離れれば、前記再生映像を、前記現在映像へ切り替える
切替部
を備えることを特徴とする代替現実システム。 A display worn on the subject's head,
A camera that is mounted on the head and images the front of the head;
A sensor for detecting the position, angle and inclination of the head;
A storage unit that stores omnidirectional video prepared in advance,
On the display,
(1) a current image currently captured by the camera;
(2) From the omnidirectional video, a partial video obtained by cutting out the area according to the detected angle and inclination, or an alternative video consisting of a composite video combining the partial video and the current video,
A playback unit that plays back any of
The detected position is
(a) If there is a place that is associated with the omnidirectional video, it is possible to switch the playback video to the alternative video,
(b) An alternative reality system comprising: a switching unit that switches the reproduced video to the current video when it is away from a location associated with the omnidirectional video.
前記被験者が、前記複数の全方位映像に対応付けられる場所の間を移動している間は、前記切替部は、前記再生映像を前記現在映像へ切り替える
ことを特徴とする請求項1に記載の代替現実システム。 In the storage unit, a plurality of omnidirectional videos associated with different places are stored in advance,
2. The switching unit switches the playback video to the current video while the subject is moving between locations associated with the plurality of omnidirectional videos. Alternative reality system.
ことを特徴とする請求項1に記載の代替現実システム。 When the detected position remains at a location associated with the omnidirectional video and the detected angle and inclination change, the switching unit switches the playback video to the substitute video. The alternative reality system according to claim 1, wherein the system is an alternative reality system.
ことを特徴とする請求項1に記載の代替現実システム。 When the detected position remains at a location associated with the omnidirectional video and rapid eye movement is detected by an eye tracker that detects the direction of the pupil of the subject, the switching unit displays the reproduced video as the reproduction video. 2. The alternative reality system according to claim 1, wherein switching to the alternative video is performed.
ことを特徴とする請求項1に記載の代替現実システム。 When the detected position remains at a location associated with the omnidirectional video, and the head image moves and the current video that is played back by the playback unit is changing, the switching unit 2. The alternative reality system according to claim 1, wherein a video is switched to the alternative video.
ことを特徴とする請求項1、3、4、5のいずれか1項に記載の代替現実システム。 6. The substitute image is obtained by extracting an object from the partial image and superimposing the extracted object on the current image. Alternative reality system as described in.
ことを特徴とする請求項1に記載の代替現実システム。 2. The alternative reality system according to claim 1, wherein the alternative video is obtained by extracting a target from the current video and superimposing the extracted target on the partial video.
をさらに備え、
前記検出された位置が、前記全方位映像に対応付けられる場所に留まり、前記現在映像と前記代替映像において前記特定された領域に、前記対象物が映し出されていれば、前記切替部は、前記再生映像を前記代替映像へ切り替える
ことを特徴とする請求項7に記載の代替現実システム。 A specifying unit for specifying a region of interest of the subject in the display;
If the detected position remains at a location associated with the omnidirectional video and the object is displayed in the specified area in the current video and the alternative video, the switching unit is 8. The alternative reality system according to claim 7, wherein the reproduced video is switched to the alternative video.
ことを特徴とする請求項8に記載の代替現実システム。 After the playback video is switched to the substitute video, another object is extracted from the current video, and the extracted object and the extracted other object are used as the other object. 9. The alternative reality system according to claim 8, wherein the alternative video is obtained by superimposing the partial video so as to fade in.
ことを特徴とする請求項1に記載の代替現実システム。 2. The alternative reality system according to claim 1, wherein the omnidirectional video is a video imaged in the past with a place associated with the omnidirectional video as a viewpoint.
前記再生部は、前記カメラにより現在撮像されている映像の背景を除去した映像もしくは当該現在撮像されている映像を線画化した映像を、前記現在映像とする
ことを特徴とする請求項1に記載の代替現実システム。 The omnidirectional video is a video obtained by removing a background of a video captured in the past from a viewpoint associated with the omnidirectional video or a video obtained by linearizing the video captured in the past,
2. The playback unit according to claim 1, wherein the playback unit uses, as the current video, a video obtained by removing a background of a video currently captured by the camera or a video obtained by linearly rendering the video currently captured. Alternative reality system.
(1)前記頭部に装着され、前記頭部の前方を撮像するカメラにより現在撮像されている現在映像と、
(2)あらかじめ用意された全方位映像から、前記頭部の位置、角度および傾きを検出するセンサにより前記検出された角度および傾きに応じた領域を切り出した部分映像、もしくは、前記部分映像と前記現在映像とを組み合わせた複合映像からなる代替映像と、
のいずれかを再生映像として再生する再生部、
前記検出された位置が、
(a)前記全方位映像に対応付けられる場所にあれば、前記再生映像を、前記代替映像へ切り替えることを可能とし、
(b)前記全方位映像に対応付けられる場所から離れれば、前記再生映像を、前記現在映像へ切り替える
切替部
を備えることを特徴とする代替現実システム制御装置。 On the display worn on the subject's head,
(1) a current image that is mounted on the head and currently captured by a camera that images the front of the head;
(2) A partial video obtained by cutting out a region corresponding to the detected angle and inclination by a sensor that detects the position, angle, and inclination of the head from an omnidirectional video prepared in advance, or the partial video and the An alternative video consisting of a composite video combined with the current video,
A playback unit that plays back any of
The detected position is
(a) If there is a place that is associated with the omnidirectional video, it is possible to switch the playback video to the alternative video,
(b) An alternative reality system control device comprising: a switching unit that switches the reproduced video to the current video when it is away from a location associated with the omnidirectional video.
(1)前記頭部に装着され、前記頭部の前方を撮像するカメラにより現在撮像されている現在映像と、
(2)あらかじめ用意された全方位映像から、前記頭部の位置、角度および傾きを検出するセンサにより前記検出された角度および傾きに応じた領域を切り出した部分映像、もしくは、前記部分映像と前記現在映像とを組み合わせた複合映像からなる代替映像と、
のいずれかを再生映像として再生する再生工程、
前記検出された位置が、
(a)前記全方位映像に対応付けられる場所にあれば、前記再生映像を、前記代替映像へ切り替えることを可能とし、
(b)前記全方位映像に対応付けられる場所から離れれば、前記再生映像を、前記現在映像へ切り替える
切替工程
を備えることを特徴とする代替現実システム制御方法。 On the display worn on the subject's head,
(1) a current image that is mounted on the head and currently captured by a camera that images the front of the head;
(2) A partial video obtained by cutting out a region corresponding to the detected angle and inclination by a sensor that detects the position, angle, and inclination of the head from an omnidirectional video prepared in advance, or the partial video and the An alternative video consisting of a composite video combined with the current video,
A playback process for playing back any of the above as playback video,
The detected position is
(a) If there is a place that is associated with the omnidirectional video, it is possible to switch the playback video to the alternative video,
(b) An alternative reality system control method comprising: a switching step of switching the reproduced video to the current video when it is away from a location associated with the omnidirectional video.
被験者の頭部に装着されるディスプレイに、
(1)前記頭部に装着され、前記頭部の前方を撮像するカメラにより現在撮像されている現在映像と、
(2)あらかじめ用意された全方位映像から、前記頭部の位置、角度および傾きを検出するセンサにより前記検出された角度および傾きに応じた領域を切り出した部分映像、もしくは、前記部分映像と前記現在映像とを組み合わせた複合映像からなる代替映像と、
のいずれかを再生映像として再生する再生部、
前記検出された位置が、
(a)前記全方位映像に対応付けられる場所にあれば、前記再生映像を、前記代替映像へ切り替えることを可能とし、
(b)前記全方位映像に対応付けられる場所から離れれば、前記再生映像を、前記現在映像へ切り替える
切替部
として機能させることを特徴とするプログラム。 Computer
On the display worn on the subject's head,
(1) a current image that is mounted on the head and currently captured by a camera that images the front of the head;
(2) A partial video obtained by cutting out a region corresponding to the detected angle and inclination by a sensor that detects the position, angle, and inclination of the head from an omnidirectional video prepared in advance, or the partial video and the An alternative video consisting of a composite video combined with the current video,
A playback unit that plays back any of
The detected position is
(a) If there is a place that is associated with the omnidirectional video, it is possible to switch the playback video to the alternative video,
(b) A program that causes the playback video to function as a switching unit that switches to the current video when it is away from a location associated with the omnidirectional video.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014124112A JP2014240961A (en) | 2014-06-17 | 2014-06-17 | Substitutional reality system control device, substitutional reality system, substitutional reality control method, program, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014124112A JP2014240961A (en) | 2014-06-17 | 2014-06-17 | Substitutional reality system control device, substitutional reality system, substitutional reality control method, program, and storage medium |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012181114A Division JP5594850B2 (en) | 2012-08-17 | 2012-08-17 | Alternative reality system control apparatus, alternative reality system, alternative reality system control method, program, and recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014240961A true JP2014240961A (en) | 2014-12-25 |
Family
ID=52140219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014124112A Pending JP2014240961A (en) | 2014-06-17 | 2014-06-17 | Substitutional reality system control device, substitutional reality system, substitutional reality control method, program, and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014240961A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017047173A1 (en) * | 2015-09-14 | 2017-03-23 | ソニー株式会社 | Information processing device and information processing method |
JP2018136706A (en) * | 2017-02-21 | 2018-08-30 | 東京瓦斯株式会社 | Image displaying device |
-
2014
- 2014-06-17 JP JP2014124112A patent/JP2014240961A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017047173A1 (en) * | 2015-09-14 | 2017-03-23 | ソニー株式会社 | Information processing device and information processing method |
CN108028964A (en) * | 2015-09-14 | 2018-05-11 | 索尼公司 | Information processor and information processing method |
JPWO2017047173A1 (en) * | 2015-09-14 | 2018-06-28 | ソニー株式会社 | Information processing apparatus and information processing method |
US11132099B2 (en) | 2015-09-14 | 2021-09-28 | Sony Corporation | Information processing device and information processing method |
JP2018136706A (en) * | 2017-02-21 | 2018-08-30 | 東京瓦斯株式会社 | Image displaying device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5594850B2 (en) | Alternative reality system control apparatus, alternative reality system, alternative reality system control method, program, and recording medium | |
CN107852476B (en) | Moving picture playback device, moving picture playback method, moving picture playback system, and moving picture transmission device | |
JP6992845B2 (en) | Information processing equipment, information processing methods, programs, and information processing systems | |
CA2949005C (en) | Method and system for low cost television production | |
WO2016009864A1 (en) | Information processing device, display device, information processing method, program, and information processing system | |
US9805767B1 (en) | Perspective view entertainment system and method | |
CN105794202B (en) | Depth for video and line holographic projections is bonded to | |
WO2016080005A1 (en) | Program and information processing device | |
JP6292658B2 (en) | Head-mounted video display system and method, head-mounted video display program | |
JPWO2019124111A1 (en) | Control device and control method | |
WO2017002642A1 (en) | Information device and display processing method | |
JP2014240961A (en) | Substitutional reality system control device, substitutional reality system, substitutional reality control method, program, and storage medium | |
WO2022190919A1 (en) | Information processing device, information processing method, and program | |
JP2016213667A (en) | Feeling feed-back device | |
WO2022259480A1 (en) | Video processing device, video processing method, and video processing program | |
JP7403256B2 (en) | Video presentation device and program | |
US20240163414A1 (en) | Information processing apparatus, information processing method, and system | |
WO2023171120A1 (en) | Information processing device, information processing method, and program | |
KR20180022349A (en) | Method of Replaying Game Video Using Camera Information Calibration | |
JP2024031114A (en) | Information processing device and image generation method | |
JP2021190917A (en) | Image processing system, control method and program of image processing system | |
OA19208A (en) | A system for combining virtual simulated images with real footage from a studio. | |
AU2015262095A1 (en) | A system for combining virtual simulated images with real footage from a studio |