JP2019049831A

JP2019049831A - Video display control device, video display system and video display control method

Info

Publication number: JP2019049831A
Application number: JP2017173325A
Authority: JP
Inventors: 紀之志水; Noriyuki Shimizu; 滝田　眞帆; Maho Takita; 眞帆滝田; 浅野　弘明; Hiroaki Asano; 弘明浅野; 秀樹新宮; Hideki Shingu; 正哲吉野; Masaaki Yoshino; 哲郎佐藤; Tetsuo Sato
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2017-09-08
Filing date: 2017-09-08
Publication date: 2019-03-28

Abstract

To allow for displaying a video in a desired line-of-sight direction in conjunction with a motion of a user independently of a motion of a vehicle that the user boards.SOLUTION: In a video display control device 6, a processor 35 is configured to acquire a first motion detection value detected by a motion sensor 7 mounted on a body of a user 2, acquire a second motion detection value relating to a motion of a vehicle 3 that the user 2 boards, use a value obtained by subtracting the second motion detection value from the first motion detection value to set coordinates relating to a line-of-sight direction of the user 2, and determine a viewing region of a video to be displayed on a video display device 4 on the basis of the coordinates relating to the line-of-sight direction of the user 2.SELECTED DRAWING: Figure 1

Description

本開示は、ユーザの身体の動きに連動した映像をユーザに視聴可能とするための映像表示制御装置、映像表示システムおよび映像表示制御方法に関する。 The present disclosure relates to an image display control apparatus, an image display system, and an image display control method for enabling a user to view an image linked to the movement of the user's body.

近年、ＶＲ（Virtual Reality）、ＡＲ（Augmented Reality）、ＭＲ（Mixed Reality）等の仮想的な映像を利用した映像表示技術の開発が急速に進められている。この種の映像表示技術では、例えば、ユーザの頭部の動きを感知するためのジャイロセンサや加速度センサなどを含むモーションセンサを備えたヘッドマウントディスプレイが用いられ、ユーザは、モーションセンサによって感知された頭部の動きに応じた映像を視聴することができる（特許文献１参照）。 In recent years, development of image display technology using virtual images such as VR (Virtual Reality), AR (Augmented Reality) and MR (Mixed Reality) has been rapidly advanced. In this type of image display technology, for example, a head mounted display provided with a motion sensor including a gyro sensor, an acceleration sensor, etc. for sensing the movement of the head of the user is used, and the user is sensed by the motion sensor It is possible to view a video according to the movement of the head (see Patent Document 1).

一方、近年、運転者の運転操作を必要とすることなく自動走行を可能とする自動運転車が開発されており、特定の走行環境において運転者による加速、操舵、制動等の操作を全く必要としない高度自動運転（レベル４）や、走行環境の制約のない完全自動運転（レベル５）が実現されつつある。このような自動運転車の普及にともない、車内における搭乗者の余暇の過ごし方の１つとして映像視聴の機会が増大することが考えられる。 On the other hand, in recent years, an autonomous vehicle has been developed which enables automatic traveling without requiring the driver's driving operation, and the driver needs to perform operations such as acceleration, steering and braking in a specific traveling environment. Advanced automatic driving (level 4) and fully automatic driving (level 5) without restrictions on the driving environment are being realized. Along with the spread of such an autonomous driving vehicle, it is conceivable that an opportunity to view a video increases as one of the ways of spending the leisure time of the passenger in the vehicle.

従来、車内に搭載されたディスプレイによって映像を表示する技術としては、例えば、映像制御手段が、右左折、加減速などの車両の走行状況に応じて、映像表示手段における映像の表示位置を制御することで、車両の現在および次期動作を乗員に把握および予知させて、乗員の負担を低減させる技術が知られている（特許文献２参照）。 Conventionally, as a technique for displaying an image by a display mounted in a car, for example, an image control means controls the display position of the image in the image display means according to the traveling condition of the vehicle such as right turn, acceleration or deceleration. Thus, there is known a technology for reducing the burden on the occupant by causing the occupant to grasp and predict the current and next operations of the vehicle (see Patent Document 2).

特開２０１３−２５８６１４号公報JP, 2013-258614, A 特開２００６−７８６７号公報JP, 2006-7867, A

ところで、上記特許文献１に記載されたヘッドマウントディスプレイ等の映像表示装置を自動運転車等の乗物の車内で利用する場合、映像表示装置に搭載されたモーションセンサが乗物の動作をユーザの動きとして検出することにより、本来ユーザが見たい方向とは異なる映像が映像表示装置に表示されてしまうという問題が生じ得る。 By the way, when using an image display device such as a head mounted display described in Patent Document 1 in a vehicle such as an autonomous driving vehicle, a motion sensor mounted on the image display device makes the motion of the vehicle the movement of the user. The detection may cause a problem that an image different from the direction in which the user originally wanted to view is displayed on the image display device.

上記特許文献２に記載された技術では、車両の走行状況に応じて映像表示手段における映像の表示位置をシフトさせる（例えば、左折を検出した場合には左の方向にシフトさせ、右折を検出した場合には右の方向にシフトさせる）が、この映像の表示位置のシフトはユーザの乗り物酔い（動揺病）対策を目的とするものであり、上述のような問題を解決するものではない。 In the technology described in Patent Document 2, the display position of the image in the image display means is shifted according to the traveling condition of the vehicle (for example, when a left turn is detected, it is shifted in the left direction and a right turn is detected) In this case, the shift in the display position of the image is intended to prevent motion sickness (motion sickness) of the user, and does not solve the above-mentioned problems.

本開示は、このような従来技術の課題を鑑みて案出されたものであり、ユーザが搭乗した乗物の動作に拘わらず、ユーザの動きに連動した所望の視線方向における映像を表示可能とする映像表示制御装置、映像表示システムおよび映像表示制御方法を提供することを主目的とする。 The present disclosure has been made in view of the problems of the related art as described above, and can display an image in a desired gaze direction interlocked with the movement of the user regardless of the operation of the vehicle on which the user boarded. A main object of the present invention is to provide a video display control device, a video display system, and a video display control method.

本開示の映像表示制御装置は、ユーザの身体の動きに連動した映像を前記ユーザに視聴可能とする映像表示装置における映像表示を制御するプロセッサを備えた映像表示制御装置であって、前記プロセッサは、前記ユーザの身体に設置された第１モーションセンサによって検出された第１モーション検出値を取得し、前記ユーザが搭乗している乗物の動作に関する第２モーション検出値を取得し、前記第１モーション検出値から前記第２モーション検出値を減算した値を用いて前記ユーザの視線方向に関する座標を設定し、前記ユーザの視線方向に関する座標に基づき、前記映像表示装置に表示される映像の視聴領域を決定することを特徴とする。 The video display control device according to the present disclosure is a video display control device including a processor that controls video display in the video display device that enables the user to view a video linked to the movement of the user's body, and the processor is Acquiring a first motion detection value detected by a first motion sensor installed on the body of the user, acquiring a second motion detection value regarding an operation of the vehicle on which the user is on board, and The coordinate of the user's gaze direction is set using a value obtained by subtracting the second motion detection value from the detection value, and the viewing area of the video displayed on the video display device is set based on the coordinate of the user's gaze direction. It is characterized by deciding.

また、映像表示システムは、前記映像表示制御装置と、前記視聴領域に基づく映像を表示する前記映像表示装置と、を備えたことを特徴とする。 Further, the video display system includes the video display control device and the video display device for displaying a video based on the viewing area.

また、映像表示制御方法は、ユーザの身体の動きに連動した映像を前記ユーザに視聴可能とする映像表示装置における映像表示を制御する映像表示制御方法であって、前記ユーザの身体に設置された第１モーションセンサによって検出された第１モーション検出値を取得するステップと、前記ユーザが搭乗している乗物の動作に関する第２モーション検出値を取得するステップと、前記第１モーション検出値から前記第２モーション検出値を減算した値を用いて前記ユーザの視線方向に関する座標を設定するステップと、前記ユーザの視線方向に関する座標に基づき、前記映像表示装置に表示される映像の視聴領域を決定するステップと、を含むことを特徴とする。 Further, the video display control method is a video display control method for controlling video display in the video display device which enables the user to view a video linked to the movement of the user's body, and is installed on the user's body. Acquiring a first motion detection value detected by a first motion sensor; acquiring a second motion detection value related to an operation of the vehicle on which the user is on the vehicle; (2) setting coordinates of the user's gaze direction using a value obtained by subtracting the motion detection value; and determining a viewing area of the video displayed on the video display device based on coordinates of the user's gaze direction. And.

本開示によれば、ユーザが搭乗した乗物の動作に拘わらず、ユーザの動きに連動した所望の視線方向における映像を表示することが可能となる。 According to the present disclosure, it is possible to display an image in a desired line-of-sight direction interlocked with the movement of the user regardless of the movement of the vehicle on which the user boarded.

第１実施形態に係る映像表示システムの全体構成図The whole block diagram of the video display system concerning a 1st embodiment 図１に示した映像表示装置の概略構成を示すブロック図A block diagram showing a schematic configuration of the video display device shown in FIG. 図１に示したモーションセンサ装置の概略構成を示すブロック図A block diagram showing a schematic configuration of the motion sensor device shown in FIG. 1 図１に示した映像表示制御装置の概略構成を示すブロック図A block diagram showing a schematic configuration of the video display control device shown in FIG. 1 図１に示した映像表示制御装置による表示画像生成処理の流れを示すフロー図A flowchart showing a flow of display image generation processing by the video display control device shown in FIG. 1 映像視聴時におけるユーザの身体の動きおよび乗物の動作の変化の一例を示す説明図Explanatory drawing which shows an example of a user's body movement at the time of image viewing, and a change of movement of a vehicle 図６に示したユーザの映像視聴に関するパノラマ映像の座標空間を示す説明図Explanatory drawing which shows the coordinate space of the panoramic image regarding the image viewing and listening of the user shown in FIG. 6 図６に示したユーザの映像視聴開始時におけるセンサ情報（１）、（２）に関する検出座標空間を示す説明図Explanatory drawing which shows the detection coordinate space regarding sensor information (1), (2) at the time of the image viewing start of a user shown in FIG. 6 図６に示したユーザの映像視聴開始時におけるプライベートモードでの対面画像抽出用の座標空間を示す説明図An explanatory view showing a coordinate space for face-to-face image extraction in the private mode at the start of video viewing of the user shown in FIG. 図６に示したユーザの映像視聴（開始時）におけるリアルモードでの対面画像抽出用の座標空間を示す説明図An explanatory view showing a coordinate space for face-to-face image extraction in the real mode in the video viewing (at the start) of the user shown in FIG. 図６に示したユーザの視線方向変更時におけるモーションセンサ（１）、（２）による検出座標空間を示す説明図Explanatory drawing which shows the detection coordinate space by motion sensor (1), (2) at the time of a user's gaze direction change shown in FIG. 6 図６に示したユーザの視線方向変更時におけるプライベートモードでの対面画像抽出用の座標空間を示す説明図An explanatory view showing a coordinate space for face-to-face image extraction in the private mode at the time of the user's gaze direction change shown in FIG. 図６に示したユーザの視線方向変更時におけるリアルモードでの対面画像抽出用の座標空間を示す説明図An explanatory view showing a coordinate space for face-to-face image extraction in the real mode at the time of the user's gaze direction change shown in FIG. 6 図６に示した乗物の方向転換時におけるモーションセンサ（１）、（２）による検出座標空間を示す説明図Explanatory drawing which shows the detection coordinate space by motion sensor (1), (2) at the time of direction change of the vehicle shown in FIG. 6 図６に示した乗物の方向転換時におけるプライベートモードでの対面画像抽出用の座標空間を示す説明図An explanatory view showing a coordinate space for face-to-face image extraction in the private mode at the time of turning of the vehicle shown in FIG. 図６に示した乗物の方向転換時におけるリアルモードでの対面画像抽出用の座標空間を示す説明図An explanatory view showing a coordinate space for face-to-face image extraction in the real mode at the time of turning of the vehicle shown in FIG. 第２実施形態に係る映像表示システムの全体構成図The whole block diagram of the picture display system concerning a 2nd embodiment 第３実施形態に係る映像表示システムの全体構成図The whole block diagram of the video display system concerning a 3rd embodiment 第４実施形態に係る映像表示システムの全体構成図The whole block diagram of the video display system concerning a 4th embodiment 図１３に示したモーション予測装置の概略構成を示すブロック図A block diagram showing a schematic configuration of the motion prediction apparatus shown in FIG. 図１３に示したモーション予測装置によるモーション予測方法を示す説明図Explanatory drawing which shows the motion prediction method by the motion prediction apparatus shown in FIG. 図１３に示したモーション予測装置によるモーション予測処理の流れを示すフロー図Flow chart showing a flow of motion prediction processing by the motion prediction apparatus shown in FIG. 第５実施形態に係る映像表示システムにおける映像表示制御装置による表示画像生成処理の流れを示すフロー図Flow chart showing a flow of display image generation processing by the video display control device in the video display system according to the fifth embodiment

前記課題を解決するためになされた第１の発明は、ユーザの身体の動きに連動した映像を前記ユーザに視聴可能とする映像表示装置における映像表示を制御するプロセッサを備えた映像表示制御装置であって、前記プロセッサは、前記ユーザの身体に設置された第１モーションセンサによって検出された第１モーション検出値を取得し、前記ユーザが搭乗している乗物の動作に関する第２モーション検出値を取得し、前記第１モーション検出値から前記第２モーション検出値を減算した値を用いて前記ユーザの視線方向に関する座標を設定し、前記ユーザの視線方向に関する座標に基づき、前記映像表示装置に表示される映像の視聴領域を決定することを特徴とする。 A first invention for solving the above problems is a video display control device including a processor for controlling video display in a video display device which enables the user to view a video linked to the movement of the user's body. And the processor acquires a first motion detection value detected by a first motion sensor installed on the user's body, and acquires a second motion detection value regarding the motion of the vehicle on which the user is on board And setting a coordinate related to the gaze direction of the user using a value obtained by subtracting the second motion detected value from the first motion detected value, and displaying the coordinate on the video display device based on the coordinate related to the gaze direction of the user. To determine the viewing area of the video.

これによると、ユーザの身体に設置された第１モーションセンサの検出値に対してユーザが搭乗している乗物の動作が与える影響を排除または抑制できるため、ユーザが搭乗した乗物の動作（方向転換等）に拘わらず、ユーザの動きに連動した所望の視線方向における映像を表示することが可能となる。 According to this, it is possible to eliminate or suppress the influence of the motion of the vehicle on which the user is riding on the detection value of the first motion sensor installed on the user's body, so that the motion of the vehicle on which the user is boarded It becomes possible to display an image in a desired gaze direction interlocked with the movement of the user regardless of etc.).

また、第２の発明は、前記プロセッサは、前記第１モーション検出値から前記第２モーション検出値を減算した値を用いて前記ユーザの視線方向に関する座標を設定する第１の動作モードと、前記第１モーション検出値のみを用いて設定された前記ユーザの視線方向に関する座標を設定する第２の動作モードと、を選択的に実行することを特徴とする。 A second aspect of the present invention is the first operation mode, wherein the processor sets a coordinate regarding the gaze direction of the user using a value obtained by subtracting the second motion detection value from the first motion detection value, and And a second operation mode for setting coordinates related to the gaze direction of the user set using only the first motion detection value.

これによると、ユーザが搭乗している乗物の動作が与える影響を排除または抑制することが不要な映像（例えば、乗物に設置されたカメラで撮影したリアルタイム映像を含むもの）を視聴する場合には、第２動作モードが選択されることにより、ユーザの所望の視線方向における映像を表示することが可能となる。 According to this, in the case of viewing a video (for example, including a real-time video shot by a camera installed in a vehicle) which is unnecessary to eliminate or suppress the influence of the motion of the vehicle on which the user is riding. By selecting the second operation mode, it is possible to display an image in the user's desired gaze direction.

また、第３の発明は、前記乗物が自動運転車であることを特徴とする。 The third invention is characterized in that the vehicle is an automatic driving vehicle.

これによると、運転操作を必要としない自動運転車に搭乗したユーザは、所望の視線方向における映像を視聴することが可能となり、自動運転車内におけるユーザの余暇の過ごし方の選択肢が広がる。 According to this, it is possible for a user who gets on an autonomous vehicle that does not require a driving operation to view an image in a desired gaze direction, and the choice of how to spend the user's leisure time in the autonomous vehicle is expanded.

また、第４の発明は、前記プロセッサおよび前記第１モーションセンサの少なくとも一方を有する携帯情報端末と、前記携帯情報端末を保持した状態で前記ユーザの身体に装着される装着具と、を備えたことを特徴とする。 A fourth invention comprises a portable information terminal having at least one of the processor and the first motion sensor, and an attachment which is attached to the body of the user while holding the portable information terminal. It is characterized by

これによると、携帯情報端末が有する機能の一部を利用した簡易な構成により、ユーザの動きに連動した所望の視線方向における映像を表示することが可能となる。 According to this, it is possible to display an image in a desired gaze direction interlocked with the movement of the user by a simple configuration using a part of the function of the portable information terminal.

また、第５の発明は、前記プロセッサは、前記乗物の走行状況に関する情報に基づき予測された予測値として前記第２モーション検出値を取得することを特徴とする。 The fifth invention is characterized in that the processor acquires the second motion detection value as a predicted value predicted based on information on the traveling condition of the vehicle.

これによると、乗物の動作に関する第２モーション検出値を検出できない（あるいは、第２モーション検出値の取得に遅延が生じる）場合でも、第２モーション検出値の予測値を用いてユーザの動きに連動した所望の視線方向における映像を表示することが可能となる。 According to this, even when the second motion detection value related to the motion of the vehicle can not be detected (or a delay occurs in obtaining the second motion detection value), the predicted value of the second motion detection value is used to interlock with the user's motion It is possible to display an image in a desired desired gaze direction.

また、第６の発明は、前記プロセッサは、前記乗物の現在位置、移動速度、及び走行経路の情報に基づき前記第２モーション検出値を予測することを特徴とする。 A sixth aspect of the invention is characterized in that the processor predicts the second motion detection value based on information on the current position of the vehicle, the traveling speed, and the traveling route.

これによると、乗物に関して取得容易な情報に基づき、第２モーション検出値を簡易に予測することが可能となる。 According to this, it is possible to easily predict the second motion detection value based on easily obtained information on the vehicle.

また、第７の発明は、前記映像表示制御装置と、前記視聴領域に基づく映像を表示する前記映像表示装置と、を備えたことを特徴とする映像表示システムである。 A seventh invention is a video display system comprising the video display control device and the video display device for displaying a video based on the viewing area.

また、第８の発明は、前記映像表示システムにおいて、前記映像表示制御装置は、前記視聴領域に基づく前記映像を、通信ネットワークを介して前記映像表示装置に対して提供することを特徴とする。 The eighth invention is characterized in that, in the video display system, the video display control device provides the video based on the viewing area to the video display device via a communication network.

これによると、ユーザが搭乗する乗物に映像表示制御装置を設置する必要なく簡易な構成により映像表示システムを実現することが可能となる。 According to this, it is possible to realize the video display system with a simple configuration without the need to install the video display control device on the vehicle on which the user boardes.

また、第９の発明は、前記映像表示システムにおいて、前記第２モーション検出値を検出可能な携帯型の装置である第２モーションセンサを更に備えたことを特徴とする。 A ninth invention is characterized in that the image display system further comprises a second motion sensor which is a portable device capable of detecting the second motion detection value.

これによると、ユーザが搭乗する乗物に第２モーション検出値を検出するための装置を設置する必要なく簡易な構成により映像表示システムを実現することが可能となる。 According to this, it is possible to realize the video display system with a simple configuration without the need to install a device for detecting the second motion detection value on the vehicle on which the user boardes.

また、第１０の発明は、ユーザの身体の動きに連動した映像を前記ユーザに視聴可能とする映像表示装置における映像表示を制御する映像表示制御方法であって、前記ユーザの身体に設置された第１モーションセンサによって検出された第１モーション検出値を取得するステップと、前記ユーザが搭乗している乗物の動作に関する第２モーション検出値を取得するステップと、前記第１モーション検出値から前記第２モーション検出値を減算した値を用いて前記ユーザの視線方向に関する座標を設定するステップと、前記ユーザの視線方向に関する座標に基づき、前記映像表示装置に表示される映像の視聴領域を決定するステップと、を含むことを特徴とする。 A tenth invention is a video display control method for controlling video display in a video display device which enables the user to view a video linked to the movement of the user's body, and is installed on the user's body. Acquiring a first motion detection value detected by a first motion sensor; acquiring a second motion detection value related to an operation of the vehicle on which the user is on the vehicle; (2) setting coordinates of the user's gaze direction using a value obtained by subtracting the motion detection value; and determining a viewing area of the video displayed on the video display device based on coordinates of the user's gaze direction. And.

以下、本開示の実施の形態を、図面を参照しながら説明する。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings.

（第１実施形態）
図１は、本開示の第１実施形態に係る映像表示システム１の全体構成図であり、図２、図３、及び図４は、それぞれ図１に示した映像表示装置４、モーションセンサ装置５、及び映像表示制御装置６の概略構成を示すブロック図である。 First Embodiment
FIG. 1 is an entire configuration diagram of a video display system 1 according to a first embodiment of the present disclosure, and FIGS. 2, 3 and 4 are a video display device 4 and a motion sensor device 5 shown in FIG. , And a block diagram showing a schematic configuration of the video display control device 6.

映像表示システム１は、ユーザ２の身体の動きに連動した映像をユーザに視聴可能とするために用いられるものであり、例えば図１に示すように、ユーザ２が搭乗する乗物３への適用に好適である。映像表示システム１は、ユーザ２に所望の映像（ここでは、ＶＲ映像）を表示する映像表示装置４と、ユーザ２が搭乗する乗物３の動作（方向転換等に基づく乗物３の姿勢変化）を検出可能なモーションセンサ装置５と、映像表示装置４における映像表示を制御する映像表示制御装置６とを主として備える。 The image display system 1 is used to enable the user to view an image linked to the movement of the body of the user 2 to the user, and for example, as shown in FIG. It is suitable. The video display system 1 includes the video display device 4 for displaying a desired video (here, a VR video) for the user 2 and the operation of the vehicle 3 on which the user 2 is boarded (attitude change of the vehicle 3 based on change of direction). It mainly includes a detectable motion sensor device 5 and a video display control device 6 for controlling video display in the video display device 4.

映像表示装置４、モーションセンサ装置５、及び映像表示制御装置６は、図示しない公知の有線または無線通信システム（例えば、有線ＬＡＮ、無線ＬＡＮ、ブルートゥース（登録商標）など）を利用するための通信機能を有しており、相互に通信可能である。 The video display device 4, the motion sensor device 5, and the video display control device 6 have a communication function for using a known wired or wireless communication system (for example, wired LAN, wireless LAN, Bluetooth (registered trademark), etc.) not shown. And can communicate with each other.

乗物３は、ユーザ２による加速、操舵、制動等の操作を全く必要としない高度自動運転や、完全自動運転を実現する自動運転車である。自動運転車に搭乗したユーザ２は、所望の視線方向における映像を視聴することが可能となり、自動運転車内におけるユーザ２の余暇の過ごし方の選択肢が広がるという利点がある。 The vehicle 3 is an automatic driving vehicle that realizes highly automatic driving or completely automatic driving that does not require any operation such as acceleration, steering, or braking by the user 2. The user 2 who has boarded the autonomous vehicle can view a video in a desired gaze direction, and has an advantage that the choice of how to spend the leisure time of the user 2 in the autonomous vehicle is expanded.

なお、映像表示システム１は、少なくとも乗物３の走行に関してユーザ２の特段の操作を必要としない限りにおいて、自動運転車に限らず、電車や船舶などの他の公知の乗物にも適用可能である。また、乗物３は、一般の交通機関に限らず、例えば、遊園地等に設けられた娯楽設備であってもよい。 The image display system 1 is applicable not only to an autonomous vehicle but also to other known vehicles such as a train or a ship, as long as it does not require the special operation of the user 2 at least for traveling of the vehicle 3. . Also, the vehicle 3 is not limited to a general transportation system, and may be, for example, an entertainment facility provided in an amusement park or the like.

映像表示装置４は、ユーザ２の頭部２Ａに装着されたヘッドマウントディスプレイから構成される。図２に示すように、映像表示装置４は、通信部１１、３軸加速度センサ１２、３軸角速度センサ１３、３軸地磁気センサ１４、入力操作部１５、表示部１６、バッテリ部１７、記憶部１８、及び制御部１９を有している。 The image display device 4 is composed of a head mounted display mounted on the head 2A of the user 2. As shown in FIG. 2, the video display device 4 includes a communication unit 11, a 3-axis acceleration sensor 12, a 3-axis angular velocity sensor 13, a 3-axis geomagnetic sensor 14, an input operation unit 15, a display unit 16, a battery unit 17, and a storage unit. 18 and a control unit 19.

通信部１１は、所定の通信規格に基づき有線または無線通信を行う公知の通信モジュールを備え、表示部１６において表示可能な表示用映像を映像表示制御装置６から順次受信する。また、通信部１１は、後述する入力操作部１５においてユーザ２に入力された設定情報（動作命令）を映像表示制御装置６に対して送信することも可能である。 The communication unit 11 includes a known communication module that performs wired or wireless communication based on a predetermined communication standard, and sequentially receives from the image display control device 6 display images that can be displayed on the display unit 16. The communication unit 11 can also transmit, to the video display control device 6, setting information (operation instruction) input to the user 2 by the input operation unit 15 described later.

３軸加速度センサ１２は、映像表示装置４におけるＸＹＺの３軸方向の加速度成分を検出し、３軸角速度センサ１３は、３軸まわり（すなわち、ＺＹ平面、ＸＺ平面、ＹＸ平面）における角速度を検出し、３軸地磁気センサ１４は、ＸＹＺの３軸方向の地磁気を検出する。 The three-axis acceleration sensor 12 detects acceleration components in the three axial directions of the X, Y, and Z axes in the image display device 4, and the three-axis angular velocity sensor 13 detects angular velocities around three axes (that is, ZY plane, XZ plane, YX plane) The three-axis geomagnetic sensor 14 detects geomagnetism in the three axial directions of XYZ.

これら３軸加速度センサ１２、３軸角速度センサ１３、及び３軸地磁気センサ１４は、図１に示した公知のモーションセンサ７（第１モーションセンサ）を構成し、ユーザの頭部２Ａの動きの検出に用いられる。モーションセンサ７による検出結果（以下、「センサ情報（１）」という。）は、通信部１１を介して映像表示制御装置６に順次送信される。なお、モーションセンサ７の構成については、少なくともユーザの頭部２Ａの動きを検出可能な限りにおいて、ここに示したものに限らず種々の変更が可能である。 The three-axis acceleration sensor 12, the three-axis angular velocity sensor 13, and the three-axis geomagnetic sensor 14 constitute the known motion sensor 7 (first motion sensor) shown in FIG. 1 and detect the movement of the head 2A of the user. Used for The detection result by the motion sensor 7 (hereinafter referred to as “sensor information (1)”) is sequentially transmitted to the video display control device 6 through the communication unit 11. The configuration of the motion sensor 7 is not limited to that shown here, and various changes can be made as long as it can detect at least the motion of the head 2A of the user.

入力操作部１５は、映像視聴に関するユーザ２の入力操作（すなわち、各種設定や動作命令に関する操作）を可能とする入力ボタン等を備え、ユーザ２の入力操作に応じた操作信号を生成して、制御部１９に入力する。 The input operation unit 15 includes an input button or the like that enables an input operation of the user 2 (i.e., an operation related to various settings and operation commands) related to video viewing, and generates an operation signal according to the input operation of the user 2 Input to the control unit 19.

表示部１６は、公知のディスプレイ（例えば、液晶ディスプレイ）を備え、映像表示制御装置６から受信した表示用映像を表示する。 The display unit 16 includes a known display (for example, a liquid crystal display), and displays a display video received from the video display control device 6.

バッテリ部１７は、公知の二次電池を備え、映像表示装置４の動作に必要な電力を供給する。 The battery unit 17 includes a known secondary battery, and supplies power necessary for the operation of the video display device 4.

記憶部１８は、公知のメモリを備え、制御部１９が実行する映像表示処理に必要なプログラムや各種データを記憶する。 The storage unit 18 includes a known memory, and stores programs and various data necessary for the image display process performed by the control unit 19.

制御部１９は、１以上のプロセッサを備え、所定のプログラムに基づき、上述の映像表示装置４の各構成要素を統括的に制御するとともに、ユーザ２に所望の映像を視聴させるための映像表示処理を実行する。 The control unit 19 includes one or more processors, and overall control of each component of the above-described video display device 4 based on a predetermined program, and a video display process for causing the user 2 to view a desired video Run.

このような構成により、映像表示装置４は、映像表示制御装置６から送信された表示用映像に基づき、表示部１６のディスプレイに映像をユーザ２に視認可能な映像を表示することが可能である。映像表示装置４は、ユーザの身体の動きに連動した映像をユーザに視聴可能とする限りにおいて、ヘッドマウントディスプレイに限らず、他の公知の装置であってもよい。 With such a configuration, the video display device 4 can display a video that allows the user 2 to view the video on the display of the display unit 16 based on the display video transmitted from the video display control device 6 . The image display device 4 is not limited to the head mounted display, but may be another known device as long as it enables the user to view an image linked to the movement of the user's body.

モーションセンサ装置（第２モーションセンサ）５は、持ち運び容易な携帯型の装置であり、その使用時には、ユーザ２によって乗物３の車内の適所（ここでは、図１に示した座席１０上）に配置される。これにより、ユーザ２が搭乗する乗物３には、その動作を検出するための装置を設置する必要はなく、簡易な構成により映像表示システム１を実現することが可能となる。 The motion sensor device (second motion sensor) 5 is a portable device that is easy to carry, and in use, is placed by the user 2 in a suitable place in the vehicle 3 (here, on the seat 10 shown in FIG. 1) Be done. As a result, it is not necessary to install a device for detecting the operation of the vehicle 3 on which the user 2 is boarded, and the video display system 1 can be realized with a simple configuration.

図３に示すように、モーションセンサ装置５は、通信部２１、３軸加速度センサ２２、３軸角速度センサ２３、３軸地磁気センサ２４、バッテリ部２５、記憶部２６、及び制御部２７を有している。 As shown in FIG. 3, the motion sensor device 5 includes a communication unit 21, a three-axis acceleration sensor 22, a three-axis angular velocity sensor 23, a three-axis geomagnetic sensor 24, a battery unit 25, a storage unit 26, and a control unit 27. ing.

３軸加速度センサ２２、３軸角速度センサ２３、及び３軸地磁気センサ２４は、上述の３軸加速度センサ１２、３軸角速度センサ１３、及び３軸地磁気センサ１４と同様の機能を有している。３軸加速度センサ２２、３軸角速度センサ２３、及び３軸地磁気センサ２４による乗物３の動作に関する検出結果（以下、「センサ情報（２）」という。）は、通信部１１を介して映像表示制御装置６に順次送信される。なお、モーションセンサ装置５の構成については、少なくとも乗物３の動作を検出可能な限りにおいて、ここに示すものに限らず種々の変更が可能である。 The three-axis acceleration sensor 22, the three-axis angular velocity sensor 23, and the three-axis geomagnetic sensor 24 have the same functions as the three-axis acceleration sensor 12, the three-axis angular velocity sensor 13, and the three-axis geomagnetic sensor 14 described above. The detection result (hereinafter referred to as “sensor information (2)”) concerning the operation of the vehicle 3 by the three-axis acceleration sensor 22, the three-axis angular velocity sensor 23, and the three-axis geomagnetic sensor 24 controls image display via the communication unit 11 It is sequentially transmitted to the device 6. The configuration of the motion sensor device 5 is not limited to the one shown here as long as at least the motion of the vehicle 3 can be detected, and various modifications are possible.

通信部２１は、所定の通信規格に基づき有線または無線通信を行う公知の通信モジュールを備え、映像表示制御装置６に対してセンサ情報（２）を順次送信する。 The communication unit 21 includes a known communication module that performs wired or wireless communication based on a predetermined communication standard, and sequentially transmits sensor information (2) to the image display control device 6.

バッテリ部２５は、公知の二次電池を備え、モーションセンサ装置５の動作に必要な電力を供給する。 The battery unit 25 includes a known secondary battery, and supplies power necessary for the motion sensor device 5 to operate.

記憶部２６は、公知のメモリを備え、制御部２７が実行する乗物３の動作を検出するためのモーション検出処理に必要なプログラムや、検出された加速度、角速度、及び磁束密度などの各種データを記憶する。 The storage unit 26 includes a known memory, and a program necessary for motion detection processing for detecting the operation of the vehicle 3 executed by the control unit 27 and various data such as the detected acceleration, angular velocity, and magnetic flux density. Remember.

制御部２７は、１以上のプロセッサを備え、所定のプログラムに基づき、上述のモーションセンサ装置５の各構成要素を統括的に制御するとともに、乗物３の動作を検出するためのモーション検出処理を実行する。 The control unit 27 includes one or more processors, and based on a predetermined program, performs overall control of each component of the motion sensor device 5 described above and executes motion detection processing for detecting the operation of the vehicle 3 Do.

なお、モーションセンサ装置５としては、必ずしも携帯型の装置に限定されず、乗物３の走行状況を検出するために乗物３に設置されている加速度センサ、角速度センサ（ジャイロセンサ）、及び地磁気センサ等を用いてもよい。 The motion sensor device 5 is not necessarily limited to a portable device, and an acceleration sensor, an angular velocity sensor (gyro sensor), a geomagnetic sensor, etc. installed on the vehicle 3 to detect the traveling condition of the vehicle 3 May be used.

映像表示制御装置６は、乗物３に予め設置され、公知のハードウェア構成を備えたコンピュータから構成される。図４に示すように、映像表示制御装置６は、通信部３１、表示画像生成部３２、バッテリ部３３、記憶部３４、及び制御部３５を有している。 The image display control device 6 is configured from a computer installed in advance on the vehicle 3 and having a known hardware configuration. As shown in FIG. 4, the video display control device 6 includes a communication unit 31, a display image generation unit 32, a battery unit 33, a storage unit 34, and a control unit 35.

通信部３１は、所定の通信規格に基づき有線または無線通信を行う公知の通信モジュールを備え、映像表示装置４からのセンサ情報（１）と、モーションセンサ装置５からのセンサ情報（２）とを順次受信する。 The communication unit 31 includes a known communication module that performs wired or wireless communication based on a predetermined communication standard, and transmits sensor information (1) from the image display device 4 and sensor information (2) from the motion sensor device 5 Receive sequentially.

表示画像生成部３２は、ユーザ２の視線方向（ここでは、ユーザ２の顔の向き）に基づき、全方位のパノラマ映像からユーザ２の顔に対面する視聴領域（所定の画角枠）を順次決定し、この視聴領域内の画像（以下、「対面画像」という。）を順次抽出する。ここで用いられるパノラマ映像は、予め記憶部３４に記憶された仮想現実空間における３次元画像の情報に基づくものであるが、これに限らず、ユーザが視聴可能な映像を提供する外部のサーバ等から適宜取得してもよい。 The display image generation unit 32 sequentially selects a viewing area (a predetermined angle of view frame) facing the face of the user 2 from panoramic images in all directions based on the line-of-sight direction of the user 2 (here, the direction of the face of the user 2). It decides and extracts an image in the viewing area (hereinafter referred to as "face-to-face image") sequentially. The panoramic video used here is based on the information of the three-dimensional image in the virtual reality space previously stored in the storage unit 34, but the present invention is not limited to this, and an external server or the like that provides a video viewable by the user You may obtain it from.

後に詳述するように、表示画像生成部３２は、映像表示装置４からのセンサ情報（１）およびモーションセンサ装置５からのセンサ情報（２）に基づきユーザ２の視線方向を設定し、このユーザ２の視線方向に基づきユーザ２の顔に対面する視聴領域を決定することにより、対面画像を抽出することができる。 As will be described in detail later, the display image generation unit 32 sets the line of sight direction of the user 2 based on the sensor information (1) from the video display device 4 and the sensor information (2) from the motion sensor device 5 A face-to-face image can be extracted by determining a viewing area facing the face of the user 2 based on the line of sight direction 2.

バッテリ部３３は、公知の二次電池を備え、映像表示制御装置６の動作に必要な電力を供給する。 The battery unit 33 includes a known secondary battery, and supplies power necessary for the operation of the video display control device 6.

記憶部３４は、公知のメモリを備え、制御部３５が実行する表示画像生成処理に必要なプログラムや各種データを記憶する。 The storage unit 34 includes a known memory, and stores programs and various data necessary for the display image generation process performed by the control unit 35.

制御部３５は、１以上のプロセッサを備え、所定のプログラムに基づき、上述の映像表示制御装置６の各構成要素を統括的に制御するとともに、対面画像を抽出するための表示画像生成処理を実行する。この表示画像生成処理に関し、映像表示制御装置６では、プライベートモード（第１の動作モード）およびリアルモード（第２の動作モード）の２つの動作モードを選択的に実行可能である。ユーザ２は、映像表示装置４の入力操作部１５における入力操作によって、映像表示制御装置６にいずれの動作モードを実行させるかを設定（選択）することが可能である。 The control unit 35 includes one or more processors, and based on a predetermined program, performs overall control of each component of the above-described video display control device 6 and executes display image generation processing for extracting a facing image. Do. With regard to this display image generation processing, the video display control device 6 can selectively execute two operation modes, a private mode (first operation mode) and a real mode (second operation mode). The user 2 can set (select) which operation mode is to be performed by the video display control device 6 by an input operation in the input operation unit 15 of the video display device 4.

プライベートモードでは、表示画像生成部３２による対面画像の抽出（視聴領域の決定）においてユーザ２の頭部２Ａの動き（ここでは、ユーザ２の顔の向きの変化）に応じてユーザ２の視線方向が適宜設定され、ユーザ２が搭乗している乗物３の動作によるユーザ２の視線方向の変化は排除または抑制される。 In the private mode, the gaze direction of the user 2 according to the movement of the head 2A of the user 2 (here, the change in the direction of the face of the user 2) in extraction of the face-to-face image by the display image generation unit 32 (determination of viewing area). Is appropriately set, and the change in the line-of-sight direction of the user 2 due to the operation of the vehicle 3 on which the user 2 is aboard is eliminated or suppressed.

一方、リアルモードでは、乗物３の動作およびユーザ２の頭部２Ａの動きに応じてユーザ２の視線方向が設定される。つまり、リアルモードでは、対面画像の抽出において、乗物３の移動によるユーザ２の視線方向の変化も考慮される（すなわち、モーションセンサ７の検出結果がそのまま用いられる）。 On the other hand, in the real mode, the gaze direction of the user 2 is set according to the movement of the vehicle 3 and the movement of the head 2A of the user 2. That is, in the real mode, in the extraction of the face-to-face image, the change in the line-of-sight direction of the user 2 due to the movement of the vehicle 3 is also taken into consideration.

なお、映像表示制御装置６は、必ずしも専用の装置として設けられる必要はなく、例えば、乗物３に搭載された他の情報機器（例えば、ナビゲーションシステム）の機能の一部として実現されてもよい。 Note that the video display control device 6 does not necessarily have to be provided as a dedicated device, and may be realized, for example, as a part of the function of another information device (for example, a navigation system) mounted on the vehicle 3.

図５は、図１に示した映像表示制御装置６による表示画像生成処理の流れを示すフロー図である。 FIG. 5 is a flow chart showing a flow of display image generation processing by the video display control device 6 shown in FIG.

表示画像生成処理では、まず、所定のタイミングにて映像表示装置４からのセンサ情報（１）が取得され（ＳＴ１０１）、また、モーションセンサ装置５からのセンサ情報（２）が取得される（ＳＴ１０２）。 In the display image generation process, first, sensor information (1) from the image display device 4 is acquired at a predetermined timing (ST101), and sensor information (2) from the motion sensor device 5 is acquired (ST102). ).

続いて、プライベートモードが選択されている場合（ＳＴ１０３：Ｙｅｓ）には、センサ情報（１）およびセンサ情報（２）に基づき、ユーザ２の視線方向の座標が設定される（ＳＴ１０４）。より詳細には、センサ情報（１）に基づく検出値（第１モーション検出値）からセンサ情報（２）に基づく検出値（第２モーション検出値）を減算した値に基づきユーザ２の視線方向の座標が設定される。これにより、プライベートモードでは、ユーザ２の頭部２Ａに設置されたモーションセンサ７の検出値に対してユーザ２が搭乗している乗物３の動作が与える影響を排除または抑制できる。したがって、プライベートモードでは、ユーザ２が搭乗した乗物３の動作（方向転換等）に拘わらず、ユーザ２の動きに連動した所望の視線方向における映像を表示することが可能となる。 Subsequently, when the private mode is selected (ST103: Yes), the coordinate of the line-of-sight direction of the user 2 is set based on the sensor information (1) and the sensor information (2) (ST104). More specifically, based on the value obtained by subtracting the detection value (second motion detection value) based on the sensor information (2) from the detection value (first motion detection value) based on the sensor information (1), Coordinates are set. Thereby, in the private mode, it is possible to eliminate or suppress the influence exerted by the operation of the vehicle 3 on which the user 2 is on the detection value of the motion sensor 7 installed on the head 2A of the user 2. Therefore, in the private mode, it is possible to display an image in a desired gaze direction interlocked with the movement of the user 2 regardless of the movement (direction change or the like) of the vehicle 3 on which the user 2 has boarded.

一方、ステップＳＴ１０３においてリアルモードが選択されている場合（Ｎｏ）には、センサ情報（１）に基づきユーザ２の視線方向の座標が設定される（ＳＴ１０５）。これにより、リアルモードでは、ユーザ２が搭乗している乗物３の動作が与える影響を排除または抑制することが不要な映像を視聴する場合に、ユーザ２の所望の視線方向における映像を表示することが可能となる。 On the other hand, when the real mode is selected in step ST103 (No), the coordinates of the line-of-sight direction of the user 2 are set based on the sensor information (1) (ST105). Thereby, in the real mode, when viewing a video that does not require eliminating or suppressing the influence of the operation of the vehicle 3 on which the user 2 is riding, displaying the video in the desired viewing direction of the user 2 Is possible.

続いて、ステップＳＴ１０４またはステップＳＴ１０５において設定されたユーザ２の視線方向の座標に基づき、パノラマ映像から対面画像が抽出される（ＳＴ１０６）。より詳細には、パノラマ映像において視線方向（座標）を中心とした所定の視聴領域内の画像として対面画像が抽出される。 Subsequently, based on the coordinates of the line-of-sight direction of the user 2 set in step ST104 or step ST105, a meeting image is extracted from the panoramic video (ST106). More specifically, the facing image is extracted as an image within a predetermined viewing area centered on the gaze direction (coordinates) in the panoramic video.

ステップＳＴ１０６において抽出された対面画像は、表示用映像として映像表示装置４に対して送信される（ＳＴ１０７）。 The face-to-face image extracted in step ST106 is transmitted to the video display apparatus 4 as a display video (ST107).

このような表示画像生成処理の各ステップＳＴ１０１−ＳＴ１０７は、所定の周期で繰り返し実行される。ユーザ２は、上述のプライベートモードの実行時には、乗物３の走行状況（方向転換等）を意識することなく、ユーザ２の頭部２Ａの動き（すなわち、顔の向き）に連動した映像を視聴することが可能である。このプライベートモードは、例えば、映画やスポーツ観戦等に関する映像の視聴に好適である。 Each step ST101 to ST107 of such display image generation processing is repeatedly executed in a predetermined cycle. At the time of execution of the above-described private mode, the user 2 views a video linked to the movement (that is, the direction of the face) of the head 2A of the user 2 without being aware of the traveling situation (turning direction etc.) of the vehicle 3 It is possible. This private mode is suitable, for example, for viewing a video related to a movie or watching sports.

一方、ユーザ２は、上述のリアルモードの実行時には、乗物３の走行状況を意識しながら、ユーザ２の頭部２Ａの動きに連動した映像を視聴することが可能である。リアルモードは、例えば、車載カメラで撮影されたリアルタイムの画像を含む映像の視聴に好適である。 On the other hand, at the time of execution of the above-mentioned real mode, user 2 can watch a picture interlocked with movement of head 2A of user 2 paying attention to a run situation of vehicles 3. The real mode is suitable, for example, for viewing a video including a real-time image captured by an on-vehicle camera.

次に、映像表示システム１においてユーザ２が視聴可能な表示用映像の一例について説明する。 Next, an example of a display video that can be viewed by the user 2 in the video display system 1 will be described.

図６は、映像視聴時におけるユーザ２の身体（頭部２Ａ）の動きおよび乗物３の動作の変化の一例を示す説明図であり、図７は、図６に示したユーザの映像視聴に関するパノラマ映像の座標空間を示す説明図である。 FIG. 6 is an explanatory view showing an example of the movement of the body of the user 2 (the head 2A) and the change of the movement of the vehicle 3 at the time of viewing an image. FIG. 7 is a panorama relating to the image viewing of the user shown in FIG. It is explanatory drawing which shows the coordinate space of an image | video.

図６では、乗物３としての自動運転車が、実際に道路４１を走行している様子を示している。また、図６には、現実の風景には存在しないが、ユーザ２が視聴中の映像（すなわち、仮想現実空間）に存在する仮想オブジェクトの一例としてランナー４２、橋４３、及び飛行船４４が示されている。 FIG. 6 shows a state where the autonomous vehicle as the vehicle 3 is actually traveling on the road 41. Also, FIG. 6 shows a runner 42, a bridge 43, and an airship 44 as an example of a virtual object that does not exist in a real landscape but exists in an image being viewed by the user 2 (that is, a virtual reality space). ing.

ここで、図７に示すように、ユーザ２が視聴する映像が抽出されるパノラマ映像では、ユーザ２の頭部２Ａを中心Ｏとした３次元座標系（Ｘ０、Ｙ０、Ｚ０座標）を有する天球状をなす仮想現実空間が規定されている。この仮想現実空間では、映像視聴開始時におけるユーザ２の上下方向（垂直方向）がＺ０軸、ユーザ２の前後方向がＸ０軸、ユーザ２の左右方向がＹ０軸に設定されている。ユーザ２が視聴する映像に関するデータは、天球にレンダリングされることにより、背景やオブジェクトを構成する。このようなパノラマ映像の座標空間において、ユーザ２の視線方向の座標（ベクトル）が設定されると、その視線方向の座標によって決定された所定の視聴領域に基づき対面画像を抽出可能となる。 Here, as shown in FIG. 7, in a panoramic image from which an image viewed by the user 2 is extracted, a sky having a three-dimensional coordinate system (X0, Y0, Z0 coordinates) centering on the head 2A of the user 2 A spherical virtual reality space is defined. In this virtual reality space, the vertical direction (vertical direction) of the user 2 at the start of video viewing is set to the Z0 axis, the longitudinal direction of the user 2 to the X0 axis, and the horizontal direction of the user 2 to the Y0 axis. The data relating to the video that the user 2 views is rendered on a celestial sphere to construct a background or an object. When coordinates (vectors) of the gaze direction of the user 2 are set in the coordinate space of such a panoramic image, it is possible to extract a facing image based on a predetermined viewing area determined by the coordinates of the gaze direction.

図７では、映像視聴開始時におけるユーザ２の視線方向に関する座標値は（ｘ０ｂ、ｙ０ｂ、ｚ０ｂ）に設定されており、このとき、パノラマ映像におけるユーザ２の視線方向にはランナー４２が存在する。また、パノラマ映像の視聴領域外におけるユーザ２の左斜め前方には橋４３が存在し、さらに、パノラマ映像におけるユーザ２の左斜め後方には飛行船４４が存在する。 In FIG. 7, the coordinate values regarding the viewing direction of the user 2 at the start of video viewing are set to (x0b, y0b, z0b), and at this time, the runner 42 exists in the viewing direction of the user 2 in the panoramic video. In addition, a bridge 43 exists diagonally to the left of the user 2 outside the viewing area of the panoramic video, and an airship 44 exists further to the left of the user 2 in the panoramic video.

再び図６を参照して、ユーザ２が映像視聴を開始したタイミングＴ１では、乗物３は道路４１を東の方向に走行している。また、乗物３内のユーザ２は視線方向を乗物３の前方（東の方向）に向けている。 Referring again to FIG. 6, the vehicle 3 is traveling on the road 41 in the east direction at a timing T1 when the user 2 starts viewing the image. In addition, the user 2 in the vehicle 3 directs the sight line direction to the front of the vehicle 3 (east direction).

また、タイミングＴ１から所定時間が経過した後のタイミングＴ２では、依然として乗物３は道路４１を東の方向に走行している。このとき、乗物３内のユーザ２は視線方向を乗物３の左斜め前方（北東の方向）に変化する。 Further, at timing T2 after a predetermined time has elapsed from timing T1, the vehicle 3 is still traveling on the road 41 in the east direction. At this time, the user 2 in the vehicle 3 changes the sight line direction to the left front of the vehicle 3 (the north-east direction).

さらに、タイミングＴ２から所定時間が経過した後のタイミングＴ３では、乗物３は左にカーブする道路４１に沿って北の方向に向かうように方向転換する。このとき、乗物３内のユーザ２の視線方向は、乗物３に対しては左斜め前方のまま変化しないが、実際の方角に対しては、北西の方向に変化する。 Furthermore, at timing T3 after a predetermined time has elapsed from timing T2, the vehicle 3 turns to the north along the road 41 curving to the left. At this time, the line-of-sight direction of the user 2 in the vehicle 3 does not change left diagonally forward with respect to the vehicle 3, but changes in the northwest direction with respect to the actual direction.

図８Ａは、ユーザ２の映像視聴開始時（図６中のタイミングＴ１）におけるセンサ情報（１）、（２）に関する検出座標空間を示す説明図であり、図８Ｂおよび図８Ｃは、それぞれユーザ２の映像視聴開始時におけるプライベートモードおよびリアルモードでの対面画像抽出用の座標空間を示す説明図である。 FIG. 8A is an explanatory view showing a detection coordinate space regarding sensor information (1) and (2) at the start of video viewing of user 2 (timing T1 in FIG. 6), and FIG. 8B and FIG. FIG. 16 is an explanatory view showing a coordinate space for face-to-face image extraction in the private mode and the real mode at the start of the video viewing of the above.

また、図９Ａは、ユーザ２の視線方向変更時（図６中のタイミングＴ２）におけるセンサ情報（１）、（２）に関する検出座標空間を示す説明図であり、図９Ｂおよび図９Ｃは、それぞれユーザ２の映像視聴開始時におけるプライベートモードおよびリアルモードでの対面画像抽出用の座標空間を示す説明図である。 Further, FIG. 9A is an explanatory view showing a detection coordinate space regarding the sensor information (1) and (2) at the time of changing the gaze direction of the user 2 (timing T2 in FIG. 6). FIG. 9B and FIG. FIG. 10 is an explanatory view showing a coordinate space for face-to-face image extraction in the private mode and the real mode at the start of video viewing of the user 2;

また、図１０Ａは、乗物３の方向転換時（図６中のタイミングＴ３）におけるセンサ情報（１）、（２）に関する検出座標空間を示す説明図であり、図１０Ｂおよび図１０Ｃは、それぞれ乗物３の方向転換時におけるプライベートモードおよびリアルモードでの対面画像抽出用の座標空間を示す説明図である。 10A is an explanatory view showing a detection coordinate space regarding sensor information (1) and (2) at the time of turning of the vehicle 3 (timing T3 in FIG. 6), and FIG. 10B and FIG. It is an explanatory view showing a coordinate space for face-to-face image extraction in a private mode and a real mode at the time of direction change 3.

図８Ａに示すように、モーションセンサ７の検出座標空間としては、３次元座標系（Ｘ１、Ｙ１、Ｚ１座標）を有する天球状の仮想現実空間が規定されている。ユーザ２の映像視聴開始時には、モーションセンサ７の検出座標の基準となる座標値（初期値）として（ｘ１ｂ、ｙ１ｂ、ｚ１ｂ）が設定されて、記憶される。モーションセンサ装置５についても同様に、その検出座標空間として３次元座標系（Ｘ２、Ｙ２、Ｚ２座標）を有する天球状の仮想現実空間が規定されている。ユーザ２の映像視聴開始時には、モーションセンサ装置５の検出座標の基準となる座標値（初期値）として（ｘ２ｂ、ｙ２ｂ、ｚ２ｂ）が設定されて、記憶される。 As shown in FIG. 8A, as a detection coordinate space of the motion sensor 7, a heavenly spherical virtual reality space having a three-dimensional coordinate system (X1, Y1, Z1 coordinates) is defined. At the start of video viewing of the user 2, (x 1 b, y 1 b, z 1 b) is set and stored as a coordinate value (initial value) which is a reference of detection coordinates of the motion sensor 7. Similarly for the motion sensor device 5, a celestial spherical virtual reality space having a three-dimensional coordinate system (X2, Y2, Z2 coordinates) is defined as the detection coordinate space. At the start of video viewing of the user 2, (x2b, y2b, z2b) is set and stored as a coordinate value (initial value) which is a reference of detection coordinates of the motion sensor device 5.

これにより、プライベートモードでは、ユーザ２の映像視聴開始時には、図８Ｂに示すような対面画像抽出に関する座標空間が設定される。このとき、ユーザ２の視線方向に関する座標値として、モーションセンサ７の検出座標の基準となる座標値（ｘ１ｂ、ｙ１ｂ、ｚ１ｂ）が設定される。また、このとき、視線方向に関する座標値によって決定された視聴領域に基づき抽出される対面画像５１には、ランナー４２が表示される。 Thus, in the private mode, at the start of video viewing of the user 2, a coordinate space regarding face-to-face image extraction as shown in FIG. 8B is set. At this time, coordinate values (x1 b, y1 b, z1 b) as a reference of detection coordinates of the motion sensor 7 are set as coordinate values regarding the direction of the user 2's line of sight. Further, at this time, the runner 42 is displayed in the facing image 51 extracted based on the viewing area determined by the coordinate value regarding the gaze direction.

一方、リアルモードでは、ユーザ２の映像視聴開始時には、図８Ｃに示すような対面画像抽出に関する座標空間が設定される。このとき、ユーザ２の視線方向に対する乗物３の動作の影響はない（乗物３は直進中である）ため、ユーザ２の視線方向に関する座標値として、モーションセンサ７の検出座標の基準となる座標値（ｘ１ｂ、ｙ１ｂ、ｚ１ｂ）が設定される。このとき、リアルモードで抽出される対面画像５２は、プライベートモードにおける対面画像５１と同一の画像となり、ランナー４２が表示される。 On the other hand, in the real mode, at the start of video viewing of the user 2, a coordinate space regarding face-to-face image extraction as shown in FIG. 8C is set. At this time, there is no influence of the movement of the vehicle 3 with respect to the line of sight direction of the user 2 (the vehicle 3 is going straight). (X1 b, y1 b, z1 b) is set. At this time, the facing image 52 extracted in the real mode is the same image as the facing image 51 in the private mode, and the runner 42 is displayed.

次に、図９Ａに示すように、ユーザ２の視線方向変更時（図６中のタイミングＴ２）では、モーションセンサ７の検出結果に基づく座標値は、ユーザ２の視線方向の変化に応じて（ｘ１、ｙ１、ｚ１）に変化する。このような座標値は、センサ情報（１）に基づく方位角、傾斜角、回転角の値によって決定される。一方、乗物３の走行方向に変化はないため、モーションセンサ装置５の検出結果に基づく座標値は（ｘ２ｂ、ｙ２ｂ、ｚ２ｂ）のままである。 Next, as shown in FIG. 9A, at the time of the line of sight direction change of the user 2 (timing T2 in FIG. 6), the coordinate value based on the detection result of the motion sensor 7 corresponds to the change of the line of sight direction of the user 2 It changes to x1, y1, z1). Such coordinate values are determined by the values of azimuth angle, tilt angle and rotation angle based on sensor information (1). On the other hand, since there is no change in the traveling direction of the vehicle 3, the coordinate values based on the detection result of the motion sensor device 5 remain (x2b, y2b, z2b).

これにより、プライベートモードでは、図９Ｂに示すように、ユーザ２の視線方向に関する座標値は（ｘ１、ｙ１、ｚ１）に変化し、また、この視線方向に関する座標値によって決定された視聴領域に基づき抽出される対面画像５１には、その視線方向に位置する橋４３が表示される。 Thereby, in the private mode, as shown in FIG. 9B, the coordinate value regarding the viewing direction of the user 2 changes to (x1, y1, z1), and based on the viewing area determined by the coordinate value regarding this viewing direction. In the face-to-face image 51 to be extracted, the bridge 43 located in the direction of the line of sight is displayed.

一方、リアルモードでも同様に、図９Ｃに示すように、ユーザ２の視線方向に関する座標値は（ｘ１、ｙ１、ｚ１）となり、また、この視線方向に関する座標値によって決定された視聴領域に基づき抽出される対面画像５２には、その視線方向に位置する橋４３が表示される。 On the other hand, also in the real mode, as shown in FIG. 9C, the coordinate values regarding the viewing direction of the user 2 are (x1, y1, z1), and extraction is performed based on the viewing area determined by the coordinate values regarding this viewing direction. In the facing image 52, the bridge 43 located in the direction of the line of sight is displayed.

次に、図１０Ａに示すように、乗物３の方向転換時（図６中のタイミングＴ３）では、モーションセンサ７の検出結果に基づく座標値は、乗物３の移動方向の変化に応じて（ｘ１＋ｘ２、ｙ１＋ｙ２、ｚ１＋ｚ２）に変化する。一方、モーションセンサ装置５の検出結果に基づく座標値は、乗物３の移動方向の変化に応じて（ｘ２、ｙ２、ｚ２）に変化する。 Next, as shown in FIG. 10A, at the time of turning of the vehicle 3 (timing T3 in FIG. 6), the coordinate value based on the detection result of the motion sensor 7 corresponds to (x1 + x2) according to the change of the moving direction of the vehicle 3. , Y1 + y2, z1 + z2). On the other hand, the coordinate value based on the detection result of the motion sensor device 5 changes to (x2, y2, z2) according to the change of the moving direction of the vehicle 3.

このとき、プライベートモードでは、図１０Ｂに示すように、ユーザ２の視線方向に関する座標値は、モーションセンサ７の検出結果に基づく座標値（第１モーション検出値）からモーションセンサ装置５の検出結果に基づく座標値（第２モーション検出値）が減算されることにより（ｘ１、ｙ１、ｚ１）となる。また、この視線方向に関する座標値によって決定された視聴領域に基づき抽出される対面画像５１には、タイミングＴ２と同様に、その視線方向に位置する橋４３が表示される。 At this time, in the private mode, as shown in FIG. 10B, the coordinate value regarding the direction of the line of sight of the user 2 is converted from the coordinate value (first motion detection value) based on the detection result of the motion sensor 7 to the detection result of the motion sensor device 5 It becomes (x1, y1, z1) by subtracting the coordinate value (second motion detection value) based on it. Moreover, the bridge | brid 43 located in the gaze direction is displayed on the facing image 51 extracted based on the viewing-and-listening area | region determined by the coordinate value regarding this gaze direction similarly to timing T2.

一方、リアルモードでは、図１０Ｃに示すように、ユーザ２の視線方向に関する座標値は（ｘ１＋ｘ２、ｙ１＋ｙ２、ｚ１＋ｚ２）となり、また、この視線方向に関する座標値によって決定された視聴領域に基づき抽出される対面画像５２には、その視線方向に位置する飛行船４４が表示される。 On the other hand, in the real mode, as shown in FIG. 10C, the coordinate values of the user 2 with respect to the line of sight are (x1 + x2, y1 + y2, z1 + z2), and are extracted based on the viewing area determined by the coordinate values with respect to this line of sight. In the facing image 52, the airship 44 located in the direction of the line of sight is displayed.

（第２実施形態）
図１１は、本開示の第２実施形態に係る映像表示システム１の全体構成図である。図１１では、上述の第１実施形態と同様の構成要素には同一の符号が付されている。また、第２実施形態に関し、以下で特に言及しない事項については、第１実施形態の場合と同様とする。 Second Embodiment
FIG. 11 is an overall configuration diagram of a video display system 1 according to a second embodiment of the present disclosure. In FIG. 11, the same components as those of the first embodiment described above are denoted by the same reference numerals. In addition, regarding the second embodiment, matters that are not particularly mentioned below are the same as those in the first embodiment.

図１１に示す第２実施形態では、上述の映像表示装置４および映像表示制御装置６が１つの装置として構成される点において第１実施形態の場合とは異なる。ここでは、映像表示装置４および映像表示制御装置６は、公知のハードウェア構成を有するスマートフォン（携帯情報端末）６１によって実現される。スマートフォン６１は、装着具６２によってユーザ２の頭部２Ａに取り付けられている。 The second embodiment shown in FIG. 11 is different from that of the first embodiment in that the video display device 4 and the video display control device 6 described above are configured as one device. Here, the video display device 4 and the video display control device 6 are realized by a smartphone (portable information terminal) 61 having a known hardware configuration. The smartphone 61 is attached to the head 2 A of the user 2 by the attachment 62.

第２実施形態に係る映像表示システム１では、上述の図２および図３に示した映像表示装置４および映像表示制御装置６の各機能は、スマートフォン６１によるハードウェアおよびソフトウェア処理によって実現される。この場合、スマートフォン６１には、映像表示装置４および映像表示制御装置６の機能を実現するための専用のプログラムが予めインストールされる。 In the video display system 1 according to the second embodiment, each function of the video display device 4 and the video display control device 6 shown in FIG. 2 and FIG. 3 described above is realized by hardware and software processing by the smartphone 61. In this case, a dedicated program for realizing the functions of the video display device 4 and the video display control device 6 is installed in the smartphone 61 in advance.

このように、第２実施形態では、スマートフォン６１が有する機能の一部を利用した簡易な構成により、ユーザ２の頭部２Ａの動きに連動した所望の視線方向における映像を表示することが可能となる。なお、スマートフォン６１は、上述の映像表示装置４および映像表示制御装置６の少なくとも一部の機能を代替するものであればよい。また、映像表示装置４および映像表示制御装置６については、スマートフォン６１に限らず、それと同様の機能を果たし得る他の公知の電子情報機器によって実現してもよい。 As described above, in the second embodiment, it is possible to display an image in a desired gaze direction interlocked with the movement of the head 2A of the user 2 by a simple configuration using a part of the functions of the smartphone 61. Become. In addition, the smart phone 61 should just substitute the function of at least one part of the above-mentioned video display apparatus 4 and the video display control apparatus 6. FIG. Further, the video display device 4 and the video display control device 6 are not limited to the smartphone 61, and may be realized by other known electronic information devices that can perform the same function.

（第３実施形態）
図１２は、本開示の第３実施形態に係る映像表示システム１の全体構成図である。図１２では、上述の第１実施形態と同様の構成要素には同一の符号が付されている。また、第３実施形態に関し、以下で特に言及しない事項については、第１実施形態の場合と同様とする。 Third Embodiment
FIG. 12 is an overall configuration diagram of a video display system 1 according to a third embodiment of the present disclosure. In FIG. 12, the same components as those in the first embodiment described above are denoted by the same reference numerals. Further, regarding the third embodiment, matters that are not particularly mentioned below are the same as those in the first embodiment.

図１２に示す第３実施形態では、映像表示装置４および映像表示制御装置６は、無線ＬＡＮの基地局７１に接続することが可能であり、この無線ＬＡＮの基地局７１を介して、相互に通信することが可能である点において第１実施形態の場合とは異なる。なお、映像表示装置４および映像表示制御装置６は、無線ＬＡＮの基地局７１に限らず、他の公知の中継装置（例えば、携帯電話の基地局）を介して通信を行ってもよい。 In the third embodiment shown in FIG. 12, the video display device 4 and the video display control device 6 can be connected to the base station 71 of the wireless LAN, and mutually via the base station 71 of the wireless LAN. It differs from the case of the first embodiment in that it can communicate. Note that the video display device 4 and the video display control device 6 may communicate via not only the wireless LAN base station 71 but also other known relay devices (for example, a mobile phone base station).

このような構成により、第３実施形態に係る映像表示システム１では、図１に示したような映像表示制御装置６を予め乗物３に設置しておく必要はなくなる。 With such a configuration, in the video display system 1 according to the third embodiment, it is not necessary to install the video display control device 6 as shown in FIG. 1 on the vehicle 3 in advance.

（第４実施形態）
図１３は、本開示の第４実施形態に係る映像表示システム１の全体構成図であり、図１４は、図１３に示したモーション予測装置７５の概略構成を示すブロック図であり、図１５は、モーション予測装置７５によるモーション予測方法を示す説明図である。図１３および図１４では、上述の第１または第２実施形態と同様の構成要素には同一の符号が付されている。また、第４実施形態に関し、以下で特に言及しない事項については、第１または第２実施形態の場合と同様とする。 Fourth Embodiment
FIG. 13 is an overall configuration diagram of a video display system 1 according to a fourth embodiment of the present disclosure, FIG. 14 is a block diagram showing a schematic configuration of a motion prediction device 75 shown in FIG. 9 is an explanatory view showing a motion prediction method by the motion prediction device 75. FIG. In FIG. 13 and FIG. 14, the same components as those in the first or second embodiment described above are denoted by the same reference numerals. In addition, regarding the fourth embodiment, items that are not particularly mentioned below are the same as those in the first or second embodiment.

上述の例では、乗物３の動作に関するセンサ情報（２）がモーションセンサ装置５によって実際に検出される構成としたが、これに限らず、センサ情報（２）をモーション予測装置７５による予測値として取得することも可能である。 In the above-mentioned example, although sensor information (2) about operation of vehicles 3 was constituted by motion sensor device 5 actually being detected, not only this but sensor information (2) is considered as a predicted value by motion prediction device 75 It is also possible to obtain.

つまり、図１３に示すように、映像表示システム１は、上述のモーションセンサ装置５に加え、乗物３の走行状況に関する情報に基づきセンサ情報（２）の予測値を取得するモーション予測装置７５を更に備える。ただし、映像表示システム１では、モーションセンサ装置５を省略することも可能である。 That is, as shown in FIG. 13, in addition to the motion sensor device 5 described above, the video display system 1 further includes a motion prediction device 75 for acquiring a predicted value of the sensor information (2) based on the information on the traveling condition of the vehicle 3. Prepare. However, in the image display system 1, the motion sensor device 5 can be omitted.

モーション予測装置７５は、乗物３に設置され、図１４に示すように、通信部８１、位置情報取得部８２、移動速度情報取得部８３、経路情報取得部８４、バッテリ部８５、記憶部８６、及び制御部８７を有している。 The motion prediction device 75 is installed in the vehicle 3, and as shown in FIG. 14, the communication unit 81, the position information acquisition unit 82, the moving speed information acquisition unit 83, the route information acquisition unit 84, the battery unit 85, the storage unit 86, And a control unit 87.

通信部８１は、所定の通信規格に基づき有線または無線通信を行う公知の通信モジュールを備え、センサ情報（２）の予測値を映像表示制御装置６に順次送信する。 The communication unit 81 includes a known communication module that performs wired or wireless communication based on a predetermined communication standard, and sequentially transmits the predicted value of the sensor information (2) to the video display control device 6.

位置情報取得部８２は、公知のＧＰＳ（Global Positioning System）モジュールを有しており、乗物３の現在位置の情報を適宜取得することが可能である。移動速度情報取得部８３は、公知の速度センサを有しており、乗物３の移動速度の情報を適宜取得することが可能である。経路情報取得部８４は、記憶部８６に記憶された乗物３の走行予定経路（または目的地）の情報と、取得された乗物３の現在位置の情報とに基づき、現在から所定時間経過後までの乗物３の走行経路情報を取得することが可能である。 The position information acquisition unit 82 has a known GPS (Global Positioning System) module, and can appropriately acquire information on the current position of the vehicle 3. The moving speed information acquisition unit 83 has a known speed sensor, and can appropriately acquire information on the moving speed of the vehicle 3. Based on the information on the planned travel route (or destination) of the vehicle 3 stored in the storage unit 86 and the information on the acquired current position of the vehicle 3, the route information acquisition unit 84 continues until a predetermined time has elapsed from the present time. It is possible to obtain travel route information of the vehicle 3 of

バッテリ部８５は、公知の二次電池を備え、モーション予測装置７５の動作に必要な電力を供給する。 The battery unit 85 includes a known secondary battery and supplies power necessary for the motion prediction device 75 to operate.

記憶部８６は、公知のメモリを備え、制御部８７が実行するモーション予測処理に必要なプログラムや各種データを記憶する。 The storage unit 86 includes a known memory, and stores programs and various data necessary for motion prediction processing executed by the control unit 87.

制御部８７は、１以上のプロセッサを備え、所定のプログラムに基づき、上述のモーション予測装置７５の各構成要素を統括的に制御するとともに、センサ情報（２）を予測するためのモーション予測処理を実行する。このモーション予測処理では、例えば、図１５に示すように、ユーザ２の映像視聴開始時の乗物３の道路９１における進行方向が基準方向として設定され、乗物３の現在位置より先の走行経路情報および移動速度の情報に基づき、この基準位置との差分である移動方向変動情報が所定時刻におけるセンサ情報（２）の予測値として順次算出される。 The control unit 87 includes one or more processors, and based on a predetermined program, performs overall control of each component of the motion prediction device 75 described above, and a motion prediction process for predicting sensor information (2). Run. In this motion prediction process, for example, as shown in FIG. 15, the traveling direction on the road 91 of the vehicle 3 at the start of video viewing of the user 2 is set as a reference direction, and travel route information ahead of the current position of the vehicle 3 and Based on the information on the moving speed, moving direction fluctuation information which is a difference from the reference position is sequentially calculated as a predicted value of the sensor information (2) at a predetermined time.

図１６は、図１３に示したモーション予測装置７５によるモーション予測処理の流れを示すフロー図である。 FIG. 16 is a flow chart showing a flow of motion prediction processing by the motion prediction device 75 shown in FIG.

図１６に示すように、モーション予測処理では、まず、乗物３の現在位置の情報、走行経路情報、及び移動速度の情報がそれぞれ取得される（ＳＴ２０１、ＳＴ２０２、ＳＴ２０３）。続いて、それらステップＳＴ２０１−ＳＴ２０３において取得された各情報に基づき、現在時刻から所定時間経過後（Ｔ時間後）までの移動方向の変動が算出される（ＳＴ２０４）。 As shown in FIG. 16, in the motion prediction process, first, information on the current position of the vehicle 3, traveling route information, and information on the traveling speed are obtained (ST201, ST202, and ST203). Subsequently, based on the respective information acquired in the steps ST201 to ST203, the fluctuation of the moving direction from the present time to the end of a predetermined time (after time T) is calculated (ST204).

その後、移動方向の変動に関する移動方向変動情報は、センサ情報（２）の予測値として映像表示制御装置６に送信される（ＳＴ２０５）。なお、映像表示制御装置６は、モーション予測装置７５から受信したセンサ情報（２）の予測値を上述の測定されたセンサ情報（２）と同様に処理することができる。ただし、映像表示制御装置６では、モーションセンサ装置５からセンサ情報（２）を規定の時間内に取得できた場合には、センサ情報（２）の予測値よりも、モーションセンサ装置５からセンサ情報（２）が優先される。 After that, the moving direction fluctuation information related to the movement direction fluctuation is transmitted to the video display control device 6 as a predicted value of the sensor information (2) (ST205). The video display control device 6 can process the predicted value of the sensor information (2) received from the motion prediction device 75 in the same manner as the measured sensor information (2) described above. However, in the image display control device 6, when the sensor information (2) can be acquired from the motion sensor device 5 within a prescribed time, the sensor information from the motion sensor device 5 is more than the predicted value of the sensor information (2). (2) takes precedence.

このように、第４実施形態に係る映像表示システム１では、乗物３の動作に関するセンサ情報（２）をモーションセンサ装置５において検出できない（あるいは、モーションセンサ装置５からのセンサ情報（２）の取得に遅延が生じる）場合でも、センサ情報（２）の予測値を用いてユーザ２の動きに連動した所望の視線方向における映像を表示することが可能となる。また、第４実施形態に係る映像表示システム１では、乗物３に関して取得容易な現在位置、移動速度、及び走行経路の情報に基づき、センサ情報（２）を簡易に予測することができるという利点もある。 As described above, in the image display system 1 according to the fourth embodiment, the sensor information (2) related to the operation of the vehicle 3 can not be detected by the motion sensor device 5 (or acquisition of the sensor information (2) from the motion sensor device 5) Even in the case where a delay occurs, it is possible to display an image in a desired gaze direction interlocked with the movement of the user 2 using the predicted value of the sensor information (2). Further, in the video display system 1 according to the fourth embodiment, the sensor information (2) can be easily predicted on the basis of the information of the current position, the moving speed, and the traveling route which can be easily acquired for the vehicle 3. is there.

（第５実施形態）
図１７は、本開示の第５実施形態に係る映像表示システム１における映像表示制御装置６による表示画像生成処理の流れを示すフロー図である。図１７では、上述の第１実施形態と同様の構成要素には同一の符号が付されている。また、第５実施形態に関し、以下で特に言及しない事項については、第１実施形態の場合と同様とする。 Fifth Embodiment
FIG. 17 is a flowchart showing a flow of display image generation processing by the video display control device 6 in the video display system 1 according to the fifth embodiment of the present disclosure. In FIG. 17, the same components as those of the first embodiment described above are denoted by the same reference numerals. Further, regarding the fifth embodiment, matters that are not particularly mentioned below are the same as those in the first embodiment.

上述の例では、ユーザ２が視聴する映像としてＶＲ映像の例を示したが、映像表示システム１は、ＡＲ映像についても同様に適用することが可能である。第５実施形態は、映像表示システム１においてユーザ２がＡＲ映像を視聴する場合を示す。 In the above-mentioned example, although the example of VR picture was shown as a picture which user 2 views and sees, picture display system 1 can be applied also to AR picture similarly. The fifth embodiment shows the case where the user 2 views an AR video in the video display system 1.

ＡＲ映像において、例えば、乗物３の車内に紐付けられた仮想オブジェクトが存在する場合には、走行する乗物３の姿勢や位置が変化した場合でも当該仮想オブジェクトは、車内の特定の位置に表示することが望ましい場合がある。一方、乗物３の車外における位置に紐付けられた仮想オブジェクトは、乗物３の姿勢や位置の変化に応じて表示位置を変更することが望ましい場合がある。 In the AR image, for example, when there is a virtual object linked in the vehicle of the vehicle 3, the virtual object is displayed at a specific position in the vehicle even when the posture or the position of the traveling vehicle 3 changes. May be desirable. On the other hand, it may be desirable for the virtual object tied to the position of the vehicle 3 outside the vehicle to change the display position according to the change in the posture or position of the vehicle 3.

そこで、第５実施形態に係る映像表示制御装置６の表示画像生成処理では、ＡＲ映像における仮想オブジェクト毎に上述のプライベートモードおよびリアルモードをそれぞれ適用することが可能である Therefore, in the display image generation processing of the video display control device 6 according to the fifth embodiment, the private mode and the real mode described above can be applied to each virtual object in the AR video.

図１７に示すように、表示画像生成処理では、映像視聴開始時のＡＲ映像（対象の仮想オブジェクト画像）の初期位置の座標を含む情報（位置情報（１））、乗物３の初期位置の座標を含む情報（位置情報（２））、及び乗物３の現在位置の座標を含む情報（位置情報（３））がそれぞれ取得される（ＳＴ３０１、ＳＴ３０２、ＳＴ３０３）。 As shown in FIG. 17, in the display image generation process, information (position information (1)) including the coordinates of the initial position of the AR video (target virtual object image) at the start of video viewing, and the coordinates of the initial position of the vehicle 3 Information (position information (2)) and information (coordinates of position information (3)) including coordinates of the current position of the vehicle 3 are acquired (ST301, ST302, ST303).

ここでは、走行する乗物３の姿勢や位置が変化した場合でも車内の特定の位置に表示することが望ましいＡＲ映像については、プライベートモードが予め選択されている。また、走行する乗物３の姿勢や位置に応じて表示位置を変更することが望ましＡＲ映像については、リアルモードが予め選択されている。 Here, the private mode is selected in advance for an AR image which is desirably displayed at a specific position in the vehicle even when the posture or the position of the traveling vehicle 3 changes. In addition, it is desirable to change the display position according to the posture or position of the traveling vehicle 3 and the real mode is selected in advance for the AR video.

そこで、ＡＲ映像についてプライベートモードが選択されている場合（ＳＴ３０４：Ｙｅｓ）には、上述のＡＲ映像の位置情報（１）に対し、乗物３の移動ベクトル（位置情報（３）−位置情報（２））を加算することにより、ＡＲ映像の表示位置が決定される（ＳＴ３０５）。 Therefore, when the private mode is selected for AR video (ST 304: Yes), the movement vector of vehicle 3 (position information (3)-position information (2 The display position of the AR video is determined by adding)) (ST 305).

一方、ステップＳＴ３０４において、ＡＲ映像に対してリアルモードが選択されている場合（Ｎｏ）には、位置情報（１）に基づきＡＲ映像の表示位置が決定される（ＳＴ３０６）。 On the other hand, in step ST304, when the real mode is selected for AR video (No), the display position of the AR video is determined based on the position information (1) (ST 306).

ステップＳＴ３０５またはステップＳＴ３０６において決定されたＡＲ映像の表示位置の情報は、映像表示装置４に対して順次送信される（ＳＴ３０７）。映像表示装置４では、映像表示制御装置６から受信した仮想オブジェクトの位置情報に基づき、ＡＲ映像内に仮想オブジェクトを表示することが可能である。 The information on the display position of the AR video determined in step ST305 or step ST306 is sequentially transmitted to the video display device 4 (ST307). The video display device 4 can display the virtual object in the AR video based on the position information of the virtual object received from the video display control device 6.

以上、本開示を特定の実施の形態に基づいて説明したが、これらの実施の形態はあくまでも例示であって、本開示はこれらの実施の形態によって限定されるものではない。例えば、上述の例では、ユーザ２の頭部２Ａの動き（顔の向きの変化）に連動して映像が表示される例を示したが、映像はユーザ２の移動に関しても連動する構成であってもよい。なお、上記実施の形態に示した本開示に係る映像表示制御装置、映像表示システムおよび映像表示制御方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。 Although the present disclosure has been described above based on the specific embodiments, these embodiments are merely examples, and the present disclosure is not limited by these embodiments. For example, in the above-described example, the video is displayed in conjunction with the movement (change in the direction of the face) of the head 2A of the user 2, but the video is also linked with the movement of the user 2. May be The components of the video display control device, the video display system, and the video display control method according to the present disclosure described in the above embodiment are not necessarily all essential, and at least as long as they do not deviate from the scope of the present invention. It is possible to trade off.

本開示に係る映像表示制御装置、映像表示システムおよび映像表示制御方法は、ユーザが搭乗した乗物の動作に拘わらず、ユーザの動きに連動した所望の視線方向における映像を表示可能とし、ユーザの身体の動きに連動した映像をユーザに視聴可能とするための映像表示制御装置、映像表示システムおよび映像表示制御方法などとして有用である。 A video display control device, a video display system, and a video display control method according to the present disclosure enable display of a video in a desired gaze direction interlocked with the movement of the user regardless of the operation of the vehicle on which the user boarded. The present invention is useful as a video display control device, a video display system, a video display control method, and the like for enabling a user to view a video linked to the movement of the video.

１：映像表示システム
２：ユーザ
２Ａ：頭部
３：乗物（自動運転車）
４：映像表示装置
５：モーションセンサ装置（第２モーションセンサ）
６：映像表示制御装置
７：モーションセンサ（第１モーションセンサ）
１０：座席
１１：通信部
３５：制御部（プロセッサ）
４１：道路
４２：ランナー
４３：橋
４４：飛行船
５１：対面画像
５２：対面画像
６１：スマートフォン（携帯情報端末）
６２：装着具
７１：基地局
７５：モーション予測装置 1: Video display system 2: User 2A: Head 3: Vehicle (automated car)
4: Video display device 5: Motion sensor device (second motion sensor)
6: Video display control device 7: Motion sensor (first motion sensor)
10: Seat 11: Communication unit 35: Control unit (processor)
41: Road 42: Runner 43: Bridge 44: Airship 51: Face-to-face image 52: Face-to-face image 61: Smartphone (portable information terminal)
62: Mounting tool 71: Base station 75: Motion prediction device

Claims

A video display control device comprising a processor that controls video display in a video display device that enables the user to view a video linked to the movement of the user's body, the video display device comprising:
The processor is
Acquiring a first motion detection value detected by a first motion sensor installed on the user's body,
Obtaining a second motion detection value related to the motion of the vehicle on which the user is on board;
Setting coordinates of the user's gaze direction using a value obtained by subtracting the second motion detection value from the first motion detection value;
A video display control device, wherein a viewing area of a video displayed on the video display device is determined based on coordinates related to a gaze direction of the user.

The processor is
A first operation mode for setting coordinates related to the gaze direction of the user using a value obtained by subtracting the second motion detection value from the first motion detection value;
A second operation mode for setting coordinates related to the gaze direction of the user set using only the first motion detection value;
The image display control apparatus according to claim 1, wherein:

The image display control apparatus according to claim 1, wherein the vehicle is an autonomous vehicle.

A portable information terminal comprising at least one of the processor and the first motion sensor;
A mounting tool mounted on the body of the user while holding the portable information terminal;
The image display control apparatus according to any one of claims 1 to 3, further comprising:

The video display control apparatus according to any one of claims 1 to 4, wherein the processor acquires the second motion detection value as a predicted value predicted based on information on the traveling condition of the vehicle. .

The video display control apparatus according to claim 5, wherein the processor predicts the second motion detection value based on information on a current position of the vehicle, a traveling speed, and a traveling route.

The video display control apparatus according to any one of claims 1 to 6.
The video display device for displaying a video based on the viewing area;
An image display system characterized by comprising:

The video display system according to claim 7, wherein the video display control device provides the video based on the viewing area to the video display device via a communication network.

9. The image display system according to claim 7, further comprising a second motion sensor, which is a portable device capable of detecting the second motion detection value.

A video display control method for controlling video display in a video display device, which enables a user to view a video linked to the movement of a user's body to the user,
Acquiring a first motion detection value detected by a first motion sensor installed on the user's body;
Obtaining a second motion detection value related to the operation of the vehicle on which the user is on the vehicle;
Setting coordinates of the user's gaze direction using a value obtained by subtracting the second motion detection value from the first motion detection value;
Determining a viewing area of the video displayed on the video display device based on the coordinates related to the gaze direction of the user;
And a video display control method including: