JP2012019452A - Image processing device and image processing method - Google Patents
Image processing device and image processing method Download PDFInfo
- Publication number
- JP2012019452A JP2012019452A JP2010156777A JP2010156777A JP2012019452A JP 2012019452 A JP2012019452 A JP 2012019452A JP 2010156777 A JP2010156777 A JP 2010156777A JP 2010156777 A JP2010156777 A JP 2010156777A JP 2012019452 A JP2012019452 A JP 2012019452A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- displacement
- image processing
- moving body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
本発明は、移動体の搭乗者が視聴する画像を処理する画像処理装置及び画像処理方法に関するものである。 The present invention relates to an image processing apparatus and an image processing method for processing an image viewed by a passenger on a moving body.
近年、車両などの移動体内に搭載した画像処理装置で、助手席や後部座席の人が、DVD等の映像を視聴している。しかし、振動や揺れがある移動体内で、DVD等を視聴すると、視線が固定され、動揺病(乗り物酔い)が発生するとされている。
このような動揺病に対して、視覚情報と乗り物の動きによる前庭情報及び体性感覚情報を一致させることで、視聴者の乗り物酔いの負担を軽減することができる映像表示装置がある。(例えば、特許文献1)
この映像表示装置では、移動体の加速度に基づいて背景映像を生成し、その背景映像とDVD等の映像を合成する。そして、この合成した映像が、助手席や後部座席の視聴者に対して、視覚的に自分の体が動いている感覚(視覚誘導自己運動感覚)を与えることにより、視覚情報と乗り物の動きによる前庭情報及び体性感覚情報を一致させて、乗り物酔いの発生を減少させることができる。
2. Description of the Related Art In recent years, people in a passenger seat and a rear seat are watching images such as a DVD with an image processing apparatus mounted in a moving body such as a vehicle. However, when viewing a DVD or the like in a moving body with vibration or shaking, it is said that the line of sight is fixed and motion sickness (motion sickness) occurs.
There is a video display device that can reduce the burden of motion sickness of a viewer by matching visual information with vestibule information and somatosensory information by movement of a vehicle against such a motion sickness. (For example, Patent Document 1)
In this video display device, a background video is generated based on the acceleration of the moving body, and the background video and a video such as a DVD are synthesized. This combined video gives the passengers in the passenger seat and rear seats a visual sense of moving their bodies (visually induced self-motion sensation). The occurrence of motion sickness can be reduced by matching the vestibule information and the somatosensory information.
従来の技術は、加速度に応じた背景映像を生成し、DVD等のコンテンツの背景として合成して表示するものである。しかし、移動体の前方に搭載したカメラ等で撮像した画像を表示すると、移動体の窓から見える実景よりも、最低1回の描画に要する時間分、画像処理による遅延が乗じる。
そのため、前方カメラによる画像と、窓から見える実景が不連続に見えてしまい、前庭情報と体性感覚情報が一致せずに酔いの原因になるという課題があった。
In the conventional technique, a background video corresponding to acceleration is generated and combined and displayed as a background of content such as a DVD. However, when an image captured by a camera or the like mounted in front of the moving body is displayed, a delay due to image processing is multiplied by a time required for at least one drawing rather than a real scene seen from the window of the moving body.
For this reason, the image from the front camera and the actual scene seen from the window appear discontinuous, and there is a problem that the vestibule information and the somatosensory information do not match and cause sickness.
この発明は、前記のような課題を解決するためになされたものであり、移動体内で移動体の外の画像を表示する場合に、画像を表示することによる遅延で、表示された移動体の外の画像と移動体の外の実景が不連続であるために起こる酔いが生じないように、表示された移動体の外の画像によって移動体の動きが自然に認識でき、変位に体を合わせることが容易な画像処理装置を得ることを目的としている。 The present invention has been made to solve the above-described problems. When an image outside the moving body is displayed inside the moving body, the displayed moving body is displayed with a delay caused by displaying the image. In order to avoid the intoxication caused by the discontinuity between the outside image and the actual scene outside the moving body, the movement of the moving body can be naturally recognized by the displayed image outside the moving body, and the body is adjusted to the displacement. It is an object of the present invention to obtain an image processing apparatus that is easy to handle.
この発明に係る画像処理装置は、移動体の外を撮影した画像を入力する画像入力部と、前記画像を撮影した時点に対応する前記移動体の物理的状態を検出するセンサーと、前記センサーで検出された物理的状態に基づいて、前記画像を撮影した時点から所定時間後の前記移動体の変位を予測する変位予測部と、前記変位予測部によって予測される変位に基づいて、前記画像入力部から入力される画像を切り出す画像切り出し部と、前記画像切り出し部で切り出された画像に基づき表示画像を生成する画像処理部と、を備えたものである。 An image processing apparatus according to the present invention includes an image input unit that inputs an image captured outside the moving body, a sensor that detects a physical state of the moving body corresponding to the time when the image is captured, and the sensor. Based on the detected physical state, a displacement prediction unit that predicts the displacement of the moving body after a predetermined time from the time when the image was captured, and the image input based on the displacement predicted by the displacement prediction unit An image cutout unit that cuts out an image input from the image processing unit, and an image processing unit that generates a display image based on the image cut out by the image cutout unit.
この発明は、移動体の所定時間後の変位を予測し、予測した変位に基づいて移動体の外を撮影した画像を切り出し、表示画像として出力することによって、実景と連続して見えるので、視覚誘導自己運動感覚を与えて移動体による酔いを軽減することができる。 This invention predicts the displacement of the moving body after a predetermined time, cuts out an image of the outside of the moving body based on the predicted displacement, and outputs it as a display image. Gives a sense of guided self-motion and can reduce sickness caused by moving objects.
実施の形態1.
図1は、この発明の実施の形態1における画像処理装置1を示すシステム構成図である。
図1において画像処理装置1は、センサー(以下、傾き振動センサー)2で車両の傾き、振動、速度、加速度、回転等の物理的状態が検出され、検出された情報は、センサー情報入力部3によって変位予測部4に入力される。
また、外部システム通信部5によって、全地球測位システム(GPS:Global Positioning System)やカーナビから車両の位置情報や走行予定の道路に関する情報、地図情報等の位置関連情報が変位予測部4に入力される。
FIG. 1 is a system configuration diagram showing an
In FIG. 1, an
In addition, the external
そして、センサー情報入力部3から入力された傾き、振動、速度、加速度及び回転等の物理的状態の情報から、変位予測部4が所定時間後の車両の変位を予測する。
一方、車両内(車内)にディスプレイ6が設置され、このディスプレイ6に表示されるDVD等のコンテンツを車両の後部座席の搭乗者が視聴する。そして、コンテンツを視聴する視聴者の視点を車内カメラ7によって撮影し、撮影された画像から、視点検出部8が視聴者の視点位置を検出する。
Then, the displacement prediction unit 4 predicts the displacement of the vehicle after a predetermined time from the physical state information such as tilt, vibration, speed, acceleration, and rotation input from the sensor information input unit 3.
On the other hand, a
また、車両の前方に設置された前方カメラ9で車両の外(車外)を撮影し、撮影された画像が、画像入力部(以下、カメラ画像入力部)10によって画像水平検出部(以下、カメラ画像水平検出部)11を経由して画像切り出し部(以下、カメラ画像切り出し部)12に入力される。
カメラ画像水平検出部11では、車外の画像が水平面からどれくらい傾いているか(水平面に対する傾き)が検出される。
Further, the outside camera (outside the vehicle) is photographed by the front camera 9 installed in front of the vehicle, and the photographed image is converted into an image horizontal detection unit (hereinafter referred to as camera) by an image input unit (hereinafter referred to as camera image input unit) 10. The image is input to an image cutout unit (hereinafter, camera image cutout unit) 12 via an image horizontal detection unit) 11.
The camera image level detection unit 11 detects how much the image outside the vehicle is inclined from the horizontal plane (inclination with respect to the horizontal plane).
そして、変位予測部4で予測された変位と視点検出部8で検出された視点位置に基づいて、同期情報算出部13が同期情報を算出する。
同期情報算出部13で算出される同期情報は、視聴者が見る車外の実景とディスプレイ6に表示される前方カメラ9で撮影した車外の画像を同期させるため(連続して見えるようにするため)の情報である。
同期情報算出部13で算出される同期情報の算出の詳細については後述する。
Then, based on the displacement predicted by the displacement prediction unit 4 and the viewpoint position detected by the
The synchronization information calculated by the synchronization
Details of the calculation of the synchronization information calculated by the synchronization
次に、カメラ画像切り出し部12は、同期情報算出部13の同期情報に基づいて、前方カメラ9の画像を1/30秒先の画像に切り出して補正し、画像処理部15に送る。
又、カメラ画角制御部14は、同期情報算出部13の同期情報に基づいて、前方カメラ9の画角を制御する。
カメラ画像切り出し部12とカメラ画角制御部14の詳細については後述する。
Next, the camera
In addition, the camera angle-of-view control unit 14 controls the angle of view of the front camera 9 based on the synchronization information from the synchronization
Details of the camera
そして、画像処理部15で、同期情報に基づいて切り出し補正された車外の画像を射影変換する。更に、コンテンツ入力部16から入力されるコンテンツの画像(コンテンツ画像)を同期情報に基づいて回転移動する画像処理を行う。
この時、カメラ画像水平検出部11で検出された水平面に対する傾きに基づいて、車外の画像とコンテンツ画像が常に水平面と平行になるように回転移動することもできる。
この様に、回転移動したコンテンツ画像の周辺部に、射影変換した車外の画像を3次元(3D)で奥行きのある画像に合成し、ディスプレイ6に表示する。
Then, the
At this time, based on the inclination with respect to the horizontal plane detected by the camera image level detection unit 11, the image outside the vehicle and the content image can be rotated and moved so as to be always parallel to the horizontal plane.
In this way, the image outside the vehicle that has undergone the projective transformation is synthesized with a three-dimensional (3D) depth image on the periphery of the rotated content image and displayed on the
また、画像処理部15は、画像処理した車外の画像の代わりに、記録部17に記録されている過去の車外の画像(同期情報に基づいて画像処理済みの車外の画像)を取得して、コンテンツ画像と共に表示することもできる。記録部17には、変位予測部4で予測された変位と外部システム通信部5から取得する現在位置と共に、同期情報に基づき画像処理済みの車外の画像が記録されていて、外部システム通信部5から得られる現在位置に基づいて、記録された画像処理済みの車外の画像が取得される。
また、付加情報生成部18が、外部システム通信部5から現在位置と地図情報を取得し、車外の画像の付加情報(例えば、ビルや山、川の名前等)を文字情報として生成する。
画像処理部15は、その文字情報を車外の画像に合わせてディスプレイ6に表示することもできる。
Further, the
Further, the additional
The
次に画像処理装置1の動作について図2のフロー図に基づいて説明する。
車両の走行中には、振動や傾き、速度、加速度、回転等の物理的状態の変位が生じている。
まず、傾き振動センサー2によって、これらの車両の物理的状態を検出する(ステップ(以下S)1)。
そして、センサー情報入力部3が、傾き振動センサー2で検出された車両の物理的状態の情報を変位予測部4に入力する。(S2)
Next, the operation of the
While the vehicle is running, physical state displacements such as vibration, tilt, speed, acceleration, and rotation occur.
First, the physical state of these vehicles is detected by the tilt vibration sensor 2 (step (hereinafter S) 1).
The sensor information input unit 3 inputs information on the physical state of the vehicle detected by the tilt vibration sensor 2 to the displacement prediction unit 4. (S2)
次に、変位予測部4は、傾き振動センサー2によってリアルタイムに測定される車両の物理的状態に基づいて、例えば1/30秒先の変位を予測する(S3)。
1/30秒は、ディスプレイ6のフレームレートが30fps(frame per second)である場合の予測時間である。1秒間に30回描画が行われる場合、即ち1回の描画に要する1/30秒は、車両の外の実景とディスプレイ6に表示される車外を撮影した画像を同期させる(連続して見えるようにする)ための時間である。
そこで、変位の予測として、例えば1/30秒で移動する距離と方向を算出する。
Next, the displacement prediction unit 4 predicts a displacement, for example, 1/30 second ahead based on the physical state of the vehicle measured in real time by the tilt vibration sensor 2 (S3).
1/30 second is an estimated time when the frame rate of the
Therefore, as a displacement prediction, for example, the distance and direction of movement in 1/30 seconds are calculated.
一方、視点検出部8では、車内カメラ7等により、車両に乗車してDVD等のコンテンツ映像を視聴する視聴者の視点を撮影し、視点位置を検出する。複数の視聴者がいる場合には、複数の視聴者の中央を視点位置とする。
そして、同期情報算出部13が、変位予測部4で予測した変位と視点検出部8で検出された視点位置に基づいて、同期情報を算出する(S4)。
On the other hand, the
Then, the synchronization
ここで、同期情報算出部13の同期情報の算出方法について、図3を用いて詳細に説明する。
同期情報の算出は、傾き振動センサー2で検出される車両の傾きや振動、速度、加速度、回転等の物理的状態の変位とコンテンツの視聴者の視点位置の変化に基づいて算出されるが、ここでは、速度vが検出された時に予測される1/30秒後の変位の距離hと、カメラ画角制御部14が制御する前方カメラ9の1/2の画角θが同期情報として算出される例について述べる。
Here, the calculation method of the synchronization information of the synchronization
The calculation of the synchronization information is calculated based on the change in the viewpoint of the viewer of the content and the displacement of the physical state such as the inclination, vibration, speed, acceleration, rotation, etc. of the vehicle detected by the inclination vibration sensor 2, Here, the distance h of the displacement after 1/30 seconds predicted when the velocity v is detected and the half field angle θ of the front camera 9 controlled by the camera field angle control unit 14 are calculated as synchronization information. An example will be described.
以下の式(2)が成り立つ。
図3において、
ディスプレイ6の1/2幅をw、
視点とディスプレイ6の距離をd、
視点と前方カメラ9の距離をl、
撮影画像の同期対象距離(車両の外の実景と撮影した画像の同期を取る範囲の距離)をD、
撮像範囲の横幅の1/2をW、とする。
The following formula (2) holds.
In FIG.
½ width of
The distance between the viewpoint and the
The distance between the viewpoint and the front camera 9 is l,
D, the synchronization target distance of the captured image (distance of the range in which the actual scene outside the vehicle and the captured image are synchronized)
Let W be 1/2 of the horizontal width of the imaging range.
この時、以下の式(1)が成り立つ。
W=D×w/d (1)
h=v×(1/30) (2)
上記式(2)において、
時速20kmの時は、h=19cm、
時速60kmの時は、h=56cm、
時速100kmの時は、h=93cm、となる。
At this time, the following equation (1) holds.
W = D × w / d (1)
h = v × (1/30) (2)
In the above formula (2),
When the speed is 20 km / h, h = 19 cm,
When the speed is 60 km / h, h = 56 cm,
When the speed is 100 km / h, h = 93 cm.
又、同期情報に基づいてカメラ画角制御部14が制御する前方カメラ9の画角の1/2をθとすると、以下の式(3)が成り立つ。
θ=Arctan(W/(D−l+h) (3)
ここで、Wに上記式(1)を当てはめると以下の式(4)が成り立つ。
θ=Arctan((D×w/d)/(D−l+h)) (4)
このθの値に基づいて、画角を調整することにより、1/30秒後の撮像範囲を前方カメラ9で撮影することができる。
また、撮影画像の同期対象距離Dについては、市街地で5m〜20m、郊外で20m〜50mと考えられる。市街地は視野が狭く、車両の速度が遅いためである。
Also, when 1/2 of the angle of view of the front camera 9 controlled by the camera angle-of-view control unit 14 based on the synchronization information is θ, the following expression (3) is established.
θ = Arctan (W / (D−l + h) (3)
Here, when the above equation (1) is applied to W, the following equation (4) is established.
θ = Arctan ((D × w / d) / (D−1 + h)) (4)
By adjusting the angle of view based on the value of θ, the imaging range after 1/30 second can be taken with the front camera 9.
Further, the synchronization target distance D of the captured image is considered to be 5 m to 20 m in an urban area and 20 m to 50 m in a suburb. This is because the urban area has a narrow field of view and the vehicle speed is slow.
図2のフロー図に戻り、以上のように同期情報算出部13で算出された同期情報に基づいて、カメラ画角制御部14が前方カメラ9の画角を制御する(S5)。
カメラ画角制御部14は、同期情報算出部13の同期情報に基づいて、車両の変位が大きい(速度が速い)場合や視聴者の視点が前方に移動した場合には望遠側に、車両の変位が小さい(速度が遅い)場合や視聴者の視点が後方に移動した場合には広角側に前方カメラ9の画角を制御する。
この様に、車両の変位や視聴者の視点位置の移動に基づいて、カメラ画角制御部14が前方カメラ9の画角を制御する角度の1/2が、前述した値θである。
Returning to the flowchart of FIG. 2, the camera angle-of-view control unit 14 controls the angle of view of the front camera 9 based on the synchronization information calculated by the synchronization
Based on the synchronization information of the synchronization
In this way, ½ of the angle at which the camera angle-of-view control unit 14 controls the angle of view of the front camera 9 based on the displacement of the vehicle and the movement of the viewer's viewpoint is the value θ described above.
一方、カメラ画像入力部10が、カメラ画角制御部14で画角を制御された前方カメラ9によって撮影した車外の画像データを画像処理装置1に入力し、カメラ画像水平検出部11に送信する(S6)。
そして、カメラ画像水平検出部11では、カメラ画像入力部10によって入力された車外の画像データから道路の水平部、ビルや壁の垂直部のエッジを検出する。そして、前方カメラ9で撮影された車外の画像が、水平面からどれくらい傾いているかを検出する(S7)。
On the other hand, the camera
The camera image horizontal detection unit 11 detects the edges of the horizontal part of the road and the vertical part of the building or wall from the image data outside the vehicle input by the camera
カメラ画像水平検出部11で傾きが検出された車外の画像は、カメラ画像切り出し部12に送られる(S8)。
カメラ画像水平検出部11で検出される水平面からの傾きは、同期情報の傾き情報の代わりに利用される情報であり、同期情報だけでも処理を行うことはできる。そのため、カメラ画像入力部10によって入力された車外の画像データは、カメラ画像切り出し部12に直接送ってもよい。
The image outside the vehicle whose inclination is detected by the camera image level detection unit 11 is sent to the camera image cutout unit 12 (S8).
The inclination from the horizontal plane detected by the camera image level detection unit 11 is information used instead of the inclination information of the synchronization information, and the process can be performed only with the synchronization information. Therefore, image data outside the vehicle input by the camera
次に、カメラ画像切り出し部12では、同期情報算出部13の同期情報である車両の変位と視聴者の視点位置の変化に基づいて、前方カメラ9の車外の画像を切り出し、補正を行う(S9)。
例えば、車両が上方向に変位し、視聴者の視点が右の方に移動した場合には、同期情報の右上方向への変位に基づき、前方カメラの車外の画像から左下の方を切り出す補正を行う。また、車両が前方にある速度で進んでいる時、1/30秒後に移動する距離の分だけ先の画像となる様に、撮影した時の車外の画像から中心に向かって周囲の画像を除いて画像を切り出す。
Next, the camera
For example, when the vehicle is displaced upward and the viewer's viewpoint moves to the right, correction is performed to cut out the lower left from the image outside the vehicle of the front camera based on the displacement of the synchronization information in the upper right direction. Do. Also, when the vehicle is moving forward at a certain speed, the surrounding image toward the center is removed from the image outside the vehicle at the time of shooting so that the previous image will be the distance moved by 1/30 second. To crop the image.
同期情報は、変位予測部4で予測された変位だけに基づいてもよく、また、視点検出部8で検出された視点位置だけに基づいてもよい。
また、カメラ画像水平検出部11で検出された水平面からの傾きと視点検出部8の視点位置に基づいて、車外の画像を切り出すこともできる。
ここで、カメラ画像切り出し部12が、画角を制御された前方カメラ9で撮影した車外の画像をどのように切り出すかについて、図4〜6を用いて説明する。
The synchronization information may be based only on the displacement predicted by the displacement prediction unit 4 or may be based only on the viewpoint position detected by the
Further, based on the inclination from the horizontal plane detected by the camera image level detection unit 11 and the viewpoint position of the
Here, how the camera
図4は、車両の後部座席の視聴者のために、DVD等のコンテンツ画像を映すディスプレイ6が設置されている例である。20は、ディスプレイ6の中央に表示されたコンテンツ画像である。21は、前方カメラ9で撮影された車外の画像である。
コンテンツ画像20を見る視聴者は、コンテンツ画像20を見ながら、前方カメラ9で撮影された車外の画像21を実景と連続してみることにより、車両の変位を感じながらコンテンツを楽しむことができる。
FIG. 4 shows an example in which a
A viewer who views the
図5は、車両が高速走行中に、カメラ画角制御部14で前方カメラ9の画角を望遠側の画角に制御し、撮影された画像である。望遠側に制御された前方カメラ9で車外を撮影すると、遠くの景色まで撮影することができる。
カメラ画像切り出し部12は、このように遠くの景色まで撮影された車外の画像21をコンテンツ画像20の領域だけ除いて切り出し、画像処理部15に送信する。
FIG. 5 is a photographed image obtained by controlling the angle of view of the front camera 9 to the angle of view on the telephoto side while the vehicle is traveling at a high speed. If the outside camera is photographed with the front camera 9 controlled to the telephoto side, it is possible to photograph a distant view.
The camera
図6は、車両が低速走行中に、カメラ画像制御部14で前方カメラ9の画角を広角側の画角に制御し、撮影された画像である。広角側に制御された前方カメラ9で車外を撮影すると、近くの景色をより詳細に捉えることができる。
カメラ画像切り出し部12は、このように近くの景色がより詳細に撮影された車外の画像21をコンテンツ画像20の領域だけ除いて切り出し、画像処理部15に送信する。
ここで述べた望遠側又は広角側に制御する画角の1/2が、前述した同期情報算出手段13で算出される角度θである。
FIG. 6 is a photographed image obtained by controlling the angle of view of the front camera 9 to the angle of view on the wide angle side while the vehicle is traveling at a low speed. When the outside of the vehicle is photographed by the front camera 9 controlled to the wide angle side, the nearby scenery can be captured in more detail.
The camera
The angle θ calculated by the above-described synchronization
カメラ画角制御部10による画角の制御を行わない場合には、カメラ画像切り出し部12が切り出し範囲を変更することによって、同期情報に基づく補正を行う。1/30秒後の画像として、画角θを考慮した撮像範囲からコンテンツ画像20の領域を除いて切り出す。詳細は、後述する。
When the angle of view control by the camera angle of
そして、画像処理部15は、コンテンツ入力部16から入力されたDVD等のコンテンツ画像を同期情報に基づいてコンテンツ画像が水平になるように保ち、変位や視点位置の移動に基づき回転移動する画像処理を行う。
例えば、車両が左カーブで変位が右に移動し、時計回りのロールが生じる場合には、コンテンツ画像を左に移動し、コンテンツ画像が水平面に対して平行に保つように反時計回りに回転させる画像処理を行う。
Then, the
For example, if the vehicle has a left curve and the displacement moves to the right, causing a clockwise roll, move the content image to the left and rotate it counterclockwise to keep the content image parallel to the horizontal plane. Perform image processing.
カメラ画像水平検出部11によって検出された水平面からの傾きと視点検出部8によって検出された視点位置に基づいて、コンテンツ画像を回転移動することもできる。
そして、回転移動されたコンテンツ画像を画面中央部に配置する。
次に、回転移動したコンテンツ画像の周辺に、実景と同期するように切り出して補正した車外の画像を射影変換し、3D効果で奥行きを表現するように画像処理して配置し、ディスプレイ6に表示する(S10)。
The content image can also be rotated based on the inclination from the horizontal plane detected by the camera image level detection unit 11 and the viewpoint position detected by the
Then, the rotated content image is arranged at the center of the screen.
Next, the image outside the vehicle that has been cut out and corrected so as to be synchronized with the actual scene is subjected to projective transformation around the content image that has been rotated and moved, image processing is performed so as to express the depth by the 3D effect, and the image is displayed on the
ここで、画像処理部15で行われる画像処理について、図7と図8を用いて詳細に説明する。
まず、コンテンツ画像の画像処理について説明する。
図7は、ディスプレイ6に表示されるコンテンツ画像の表示例を示す図である。
図7において、ディスプレイ6は、図1のディスプレイ6と同じものであり、20は、ディスプレイ6の中央に表示されているコンテンツ映像(コンテンツ画像)である。
Here, the image processing performed in the
First, content image processing will be described.
FIG. 7 is a diagram illustrating a display example of a content image displayed on the
In FIG. 7, the
画像処理部15では、同期情報に基づいて、コンテンツ画像20を上下左右に移動し、コンテンツ画像20が常に水平面に対して平行を保つように回転させる画像処理をする。
この時、カメラ画像水平検出部11によって検出された水平面からの傾きと視点検出部8によって検出された視点位置に基づいて、コンテンツ画像20を回転移動することもできる。
また、コンテンツ画像20を上下左右に移動、又は回転させた画像を表示しても表示内容の欠損が起きないように、コンテンツ画像20をディプレイ7の表示範囲よりも縮小する処理を行っている。
Based on the synchronization information, the
At this time, based on the inclination from the horizontal plane detected by the camera image level detection unit 11 and the viewpoint position detected by the
Further, a process of reducing the
次に、コンテンツ画像と車外の画像を画像処理して表示する表示例について説明する。
図8は、車両が左カーブ走行中の表示例を示す図である。
図8において、19はコンテンツ画像を視聴している視聴者の頭部、20はディスプレイ6の中央に表示されたコンテンツ画像であり、21は前方カメラ9で撮影された車外の画像である。
左カーブでは、車両が進行方向に向かって時計方向にロールし、ディスプレイ6も時計方向に傾いている。
Next, a display example in which content images and images outside the vehicle are processed and displayed will be described.
FIG. 8 is a diagram illustrating a display example when the vehicle is traveling on the left curve.
In FIG. 8, 19 is the head of the viewer who is viewing the content image, 20 is the content image displayed in the center of the
On the left curve, the vehicle rolls clockwise in the traveling direction, and the
前方カメラ9で撮影される車外の画像21は、同期情報に基づいて画角が調整される前方カメラ9で撮影された画像であり、カメラ画像切り出し部12で切り出される画像である。前方カメラ9の画角が調整されない時は、同期情報に基づく角度の撮像範囲で切り出して補正される。
また、車外の画像21は、水平面に対して平行を保つように、ディスプレイ6の中では、時計方向と逆に回転した画像処理をして表示される。
An
In addition, the
一方、コンテンツ画像20は、画像処理をしなければ、ディスプレイ6と共に傾いて表示される。しかし、画像処理部15は、コンテンツ画像20を水平面に対して平行に保つように回転させて表示する。この場合では、時計方向と逆に回転するように画像処理を行い、前方カメラ9で撮影した車外の画像21と同様に、水平面に対し平行を保つ。
そして、補正された車外の画像21が、回転などで水平面と平行に保たれたコンテンツ画像20の周辺部に配置され、ディスプレイ6に表示される。
On the other hand, the
Then, the corrected
ディスプレイ6の視聴者は、画面中央に表示されるコンテンツ画像20が、常に水平面に対して平行となるように回転しているのを見ることで、視覚誘導自己運動感覚が得られる。さらに、コンテンツ画像20の周囲に補正された車外の画像21によって、変位に連動して、窓から見える実景と連続して見えるので、視覚誘導自己運動感覚がより得られやすくなる。
The viewer of the
この時に得られる視覚誘導自己運動感覚は、運転手が前方の景色を見て自然に行っている遠心力への抵抗と同じ動作が自然に行われることによるものである。
このように、視覚と平衡感覚への刺激のずれを少なくすることで、視覚誘導自己運動感覚の効果が大きくなり、車酔いをより軽減させることができる。
The visually induced self-motion sensation obtained at this time is due to the fact that the driver naturally performs the same action as the resistance to the centrifugal force that the driver naturally sees in front of the scenery.
Thus, by reducing the deviation of the stimulus between the visual sense and the sense of balance, the effect of the visually induced self-motion sensation is increased, and car sickness can be further reduced.
次に、画像処理部15でどのように画像を処理して表示するかについて、図9を用いて詳細に説明する。
図9は、コンテンツ画像20と前方カメラ9で撮影された車外の画像21をディスプレイ6に表示する画像処理を示した図である。
まず、同期情報算出部13の同期情報から得られる予測された車両の変位から、コンテンツ画像20の表示位置と回転角度を決定する。車両の変位の方向(例えば、図8の様な場合、カーブの出口方向である左側)にコンテンツ画像20の表示位置をシフトし、決定した回転角度にコンテンツ画像20を回転する。
Next, how the image is processed and displayed by the
FIG. 9 is a diagram showing image processing for displaying the
First, the display position and the rotation angle of the
次に、前方カメラ9で撮影した車外の画像21を射影変換し、3Dで奥行きを持たせてコンテンツ画像20の周囲に重畳表示する。
ここでいう射影変換とは、3次元の絵を平面の写真に写す時や、光源を固定して物体の影を対応させる時などに使われる変換のことである。
射影変換して4枚に分割した車外の画像に、それぞれ、奥側(コンテンツ画面20の辺)に向かって暗くするグラデーションを焼きこむ。
Next, the
The projective transformation referred to here is a transformation used when a three-dimensional picture is projected on a plane photograph or when a shadow of an object is made to correspond by fixing a light source.
A gradation that darkens toward the back side (side of the content screen 20) is imprinted on each of the images outside the vehicle divided into four images by projective conversion.
そして、これらをコンテンツ画像20の周囲画像として配置することによって、3Dで奥行きを持たせてディスプレイ6に表示することができる。
このようにして、視聴者が視聴しているコンテンツ画像20が変位に合わせて回転移動し、水平面に対して常に平行を保って表示され、その周囲の車外の画像21が車外の実景と遅延なく、3Dで奥行きを持って表示されることにより、視聴者は、画像に合わせて頭部を自然に傾けやすくなり、視覚と平衡感覚への刺激のずれを少なくすることができる。
Then, by arranging these as surrounding images of the
In this way, the
次に、画像処理装置1の付加機能で利用される記録部17と付加情報生成部18について説明する。
まず、カメラ画像切り出し部12で同期情報に基づいて切り出して補正され、画像処理部15で画像処理された車外の画像が、外部システム通信部5から得られる現在位置と変位予測部4で予測される変位と共に、記録部17に記録されている。
そして、画像処理部15は、外部システム通信部5から得た車両の現在位置に基づいて、記録部17から画像処理済みの車外の画像を取り出し、コンテンツ画像の周辺画像としてディスプレイ6に表示する。
記録部17で記録された画像処理済みの画像は、雨天の時など、前方カメラ9で撮影される画像では、車両の動きが体感されにくい時に利用される。
Next, the
First, an image outside the vehicle which is cut out and corrected based on the synchronization information by the camera
Then, based on the current position of the vehicle obtained from the external
The image processed image recorded by the
また、付加情報生成部18は、外部システム通信部5から得た車両の位置情報やカーナビの地図情報から、画像処理部15で画像処理された車外の画像に何が写っているかという情報を文字情報として生成する。例えば、ビルや山、川の名前などの付加情報を生成し、画像処理部15に送る。
そして、画像処理部15は、付加情報生成部18で生成された文字情報をビルや山、川の位置に重ねてディスプレイ6に表示する。
Further, the additional
Then, the
最後に、画像処理部15で処理された画像例の図10と図11を用いて、本発明によって車酔いを軽減する効果について説明する。
図10は、直線走行中の移動体の内部を表す概念図である。
図10において、ディスプレイ6は図1のディスプレイ6と同じものである。19は、視聴者の頭部である。ディスプレイ6は、直線走行中の移動体の変位に影響を受けて水平になっている。視聴者の頭部19は、垂直であり、傾いてない。
Finally, the effect of reducing car sickness according to the present invention will be described with reference to FIGS. 10 and 11 of image examples processed by the
FIG. 10 is a conceptual diagram illustrating the inside of a moving body that is traveling in a straight line.
In FIG. 10, the
これに対し、図11は左カーブ走行中の移動体の内部を表す概念図である。
図11において、ディスプレイ6は、カーブ走行中の車両の変位に影響を受けて、ロール(車両が前後を軸として回転すること)が生じている。この様な状況のディスプレイ6に、図8と同じ構成の画像、即ちコンテンツの周辺部に、同期情報に基づいて補正したことにより車外の実景と連続して見える車外の画像を配置して表示する。
視聴者は、車両に対して垂直に座っているため、遠心力によって頭部をカーブ外側に振られていると車酔いが生じる。
On the other hand, FIG. 11 is a conceptual diagram showing the inside of the moving body that is traveling on the left curve.
In FIG. 11, the
Since the viewer sits perpendicularly to the vehicle, car sickness occurs when the head is shaken outside the curve by centrifugal force.
しかし、図11の様な状況で、ディスプレイ6に図8の様な画像が表示され、視聴者が視聴すると、運転手が前方の景色を見て自然に行っている遠心力への抵抗と同じ動作が自然に行われる。
運転手の無意識の行動と同じように、遠心力に対向して頭部を積極的にカーブの内側に傾けることで、視覚誘導自己運動感覚(映像などによる視覚への作用で自己が運動していると錯覚する感覚)が得られ、車酔いになりにくい効果がある。
運転手以外の視聴者は、前方の景色が見えにくい問題がある。そのため、本発明では、車外の実景と連続して見えるように補正した車外の画像21をコンテンツ画像20と共に表示して、視聴者が視聴するので、車酔いを軽減することができる。
However, in the situation as shown in FIG. 11, an image as shown in FIG. 8 is displayed on the
Like the driver's unconscious behavior, the head is actively tilted to the inside of the curve in opposition to the centrifugal force. The illusion of illusion is obtained, and there is an effect of preventing car sickness.
Viewers other than the driver have a problem that it is difficult to see the scenery in front. For this reason, in the present invention, the
実施の形態1では、車両を例にして説明したが、列車や船、飛行機、エレベー等、振動、速度、加速度、傾き、回転といった物理的状態の変位が生じる他の移動体であってもよい。 In the first embodiment, the vehicle has been described as an example. However, a train, a ship, an airplane, an elevator, and the like may be another moving body that generates a physical state displacement such as vibration, speed, acceleration, inclination, and rotation. .
1 画像処理装置、2 傾き振動センサー、3 センサー情報入力部、4 変位予測部、5 外部システム通信部、6 ディスプレイ、7 車内カメラ、8 視点検出部、9 前方カメラ、10 カメラ画像入力部、11 カメラ画像水平検出部、12 カメラ画像切り出し部、13 同期情報算出部、14 カメラ画角制御部、15 画像処理部、16 コンテンツ入力部、17 記録部、18 付加情報生成部。
DESCRIPTION OF
Claims (6)
前記画像を撮影した時点に対応する前記移動体の物理的状態を検出するセンサーと、
前記センサーで検出された物理的状態に基づいて、前記画像を撮影した時点から所定時間後の前記移動体の変位を予測する変位予測部と、
前記変位予測部によって予測される変位に基づいて、前記画像入力部から入力される画像を切り出す画像切り出し部と、
前記画像切り出し部で切り出された画像に基づき表示画像を生成する画像処理部と、
を備えたことを特徴とする画像処理装置。 An image input unit for inputting an image taken outside the moving body;
A sensor for detecting a physical state of the moving body corresponding to the time when the image is captured;
Based on the physical state detected by the sensor, a displacement prediction unit that predicts the displacement of the moving body after a predetermined time from the time when the image is captured;
An image cutout unit that cuts out an image input from the image input unit based on the displacement predicted by the displacement prediction unit;
An image processing unit that generates a display image based on the image cut out by the image cutout unit;
An image processing apparatus comprising:
前記画像切り出し部は、前記カメラ画角制御部により制御された画角で撮影された画像を切り出すことを特徴とする請求項1記載の画像処理装置。 Based on the displacement predicted by the displacement prediction unit, a camera angle of view control unit that controls the angle of view of the camera that captures the outside of the moving body,
The image processing apparatus according to claim 1, wherein the image cutout unit cuts out an image shot at an angle of view controlled by the camera angle of view control unit.
前記車内カメラで撮影した画像から視聴者の視点位置を検出する視点検出部と、
前記変位予測部で予測された変位と前記視点検出部で検出された視点位置に基づいて、移動体の外を撮影した画像の表示を移動体の外の実景と同期させる同期情報を算出する同期情報算出部を備え、
前記カメラ画角制御部は、前記同期情報算出部で算出される同期情報に基づいて、移動体の外を撮影するカメラの画角を制御し、
前記画像切り出し部は、前記同期情報に基づいて、前記カメラ画角制御部により制御された画角で撮影された画像を切り出し、
前記画像処理部は、前記画像切り出し部で切り出された画像を前記同期情報に基づいて画像処理し、コンテンツの画像と共に表示画像を生成することを特徴とする請求項2記載の画像処理装置。 An in-car camera that captures the viewpoint of the viewer who views the content image on a mobile object,
A viewpoint detection unit that detects a viewer's viewpoint position from an image captured by the vehicle camera;
Synchronization that calculates synchronization information that synchronizes the display of an image taken outside the moving body with the actual scene outside the moving body, based on the displacement predicted by the displacement prediction section and the viewpoint position detected by the viewpoint detecting section. With an information calculator,
The camera angle-of-view control unit controls the angle of view of the camera that captures the outside of the moving body based on the synchronization information calculated by the synchronization information calculation unit,
The image cutout unit cuts out an image shot at an angle of view controlled by the camera angle of view control unit based on the synchronization information,
The image processing apparatus according to claim 2, wherein the image processing unit performs image processing on the image cut out by the image cutout unit based on the synchronization information, and generates a display image together with a content image.
前記外部システム通信部で入手する位置関連情報と、前記変位予測部で予測される変位と、前記画像処理部から出力される画像を記録する記録部を備え、
前記画像処理部は、前記外部システム通信部から入手した移動体の位置関連情報と一致する前記記録部に記録された画像をコンテンツの画像と共に表示画像を生成することを特徴とする請求項3又は請求項4記載の表示装置。 An external system communication unit that obtains position-related information of the moving object;
A recording unit that records position-related information obtained by the external system communication unit, a displacement predicted by the displacement prediction unit, and an image output from the image processing unit;
The said image processing part produces | generates a display image with the image of the content recorded on the said recording part which corresponds to the positional relevant information of the moving body acquired from the said external system communication part, The image of Claim 3 characterized by the above-mentioned. The display device according to claim 4.
前記画像を撮影した時点に対応する前記移動体の物理的状態をセンサーで検出する状態検出ステップと、
前記状態検出ステップで検出された前記移動体の物理的状態に基づいて、前記画像を撮影した時点から所定時間後の前記移動体の変位を予測する変位予測ステップと、
前記変位予測ステップによって予測された変位に基づいて、前記画像入力ステップで入力された画像を切り出す画像切り出しステップと、
前記画像切り出しステップで切り出された画像に基づき表示画像を生成する画像処理ステップと、
を備えたことを特徴とする画像処理方法。 An image input step for inputting an image taken outside the moving body;
A state detection step of detecting with a sensor a physical state of the moving body corresponding to the time when the image was captured;
Based on the physical state of the moving body detected in the state detecting step, a displacement predicting step of predicting the displacement of the moving body after a predetermined time from the time when the image is captured;
Based on the displacement predicted by the displacement prediction step, an image cutout step of cutting out the image input in the image input step;
An image processing step for generating a display image based on the image cut out in the image cutting step;
An image processing method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010156777A JP5360004B2 (en) | 2010-07-09 | 2010-07-09 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010156777A JP5360004B2 (en) | 2010-07-09 | 2010-07-09 | Image processing apparatus and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012019452A true JP2012019452A (en) | 2012-01-26 |
JP5360004B2 JP5360004B2 (en) | 2013-12-04 |
Family
ID=45604333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010156777A Expired - Fee Related JP5360004B2 (en) | 2010-07-09 | 2010-07-09 | Image processing apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5360004B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105943327A (en) * | 2016-06-02 | 2016-09-21 | 北京伟世万联科技有限公司 | Vision-exercising health caring system with anti-dizziness device |
WO2018155127A1 (en) * | 2017-02-21 | 2018-08-30 | 京セラ株式会社 | Display device, display method, control device, and vehicle |
JP2019049831A (en) * | 2017-09-08 | 2019-03-28 | パナソニックIpマネジメント株式会社 | Video display control device, video display system and video display control method |
WO2019181233A1 (en) * | 2018-03-19 | 2019-09-26 | ソニー株式会社 | Image display system, information processing device, information processing method, program, and moving body |
WO2020026825A1 (en) * | 2018-08-01 | 2020-02-06 | ソニー株式会社 | Information processing device, information processing method, program, and mobile body |
JP2020523706A (en) * | 2017-06-14 | 2020-08-06 | ハダル, インコーポレイテッド | System and method for motion sickness prevention by virtual reality |
JP7443749B2 (en) | 2019-12-19 | 2024-03-06 | 株式会社Jvcケンウッド | Image adjustment device, virtual reality image display system, and image adjustment method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005293376A (en) * | 2004-04-01 | 2005-10-20 | Calsonic Kansei Corp | Onboard camera |
JP2009093076A (en) * | 2007-10-11 | 2009-04-30 | Mitsubishi Electric Corp | Image display system in train |
-
2010
- 2010-07-09 JP JP2010156777A patent/JP5360004B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005293376A (en) * | 2004-04-01 | 2005-10-20 | Calsonic Kansei Corp | Onboard camera |
JP2009093076A (en) * | 2007-10-11 | 2009-04-30 | Mitsubishi Electric Corp | Image display system in train |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105943327B (en) * | 2016-06-02 | 2023-12-08 | 北京伟世万联科技有限公司 | Vision exercise health care system with anti-dizziness device |
CN105943327A (en) * | 2016-06-02 | 2016-09-21 | 北京伟世万联科技有限公司 | Vision-exercising health caring system with anti-dizziness device |
WO2018155127A1 (en) * | 2017-02-21 | 2018-08-30 | 京セラ株式会社 | Display device, display method, control device, and vehicle |
JP2018136400A (en) * | 2017-02-21 | 2018-08-30 | 京セラ株式会社 | Display, display method, control device, and vehicle |
JP2020523706A (en) * | 2017-06-14 | 2020-08-06 | ハダル, インコーポレイテッド | System and method for motion sickness prevention by virtual reality |
JP7232779B2 (en) | 2017-06-14 | 2023-03-03 | ハダル, インコーポレイテッド | Systems and methods for virtual reality motion sickness prevention |
JP2019049831A (en) * | 2017-09-08 | 2019-03-28 | パナソニックIpマネジメント株式会社 | Video display control device, video display system and video display control method |
CN111837175B (en) * | 2018-03-19 | 2023-11-14 | 索尼公司 | Image display system, information processing device, information processing method, program, and moving object |
WO2019181233A1 (en) * | 2018-03-19 | 2019-09-26 | ソニー株式会社 | Image display system, information processing device, information processing method, program, and moving body |
CN111837175A (en) * | 2018-03-19 | 2020-10-27 | 索尼公司 | Image display system, information processing device, information processing method, program, and moving object |
US11232769B2 (en) | 2018-03-19 | 2022-01-25 | Sony Corporation | Image display system, information processing apparatus, information processing method, program, and mobile object |
JPWO2020026825A1 (en) * | 2018-08-01 | 2021-08-19 | ソニーグループ株式会社 | Information processing equipment, information processing methods, programs, and mobiles |
JP7371629B2 (en) | 2018-08-01 | 2023-10-31 | ソニーグループ株式会社 | Information processing device, information processing method, program, and vehicle |
US11694408B2 (en) | 2018-08-01 | 2023-07-04 | Sony Corporation | Information processing device, information processing method, program, and movable object |
WO2020026825A1 (en) * | 2018-08-01 | 2020-02-06 | ソニー株式会社 | Information processing device, information processing method, program, and mobile body |
JP7443749B2 (en) | 2019-12-19 | 2024-03-06 | 株式会社Jvcケンウッド | Image adjustment device, virtual reality image display system, and image adjustment method |
Also Published As
Publication number | Publication date |
---|---|
JP5360004B2 (en) | 2013-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5360004B2 (en) | Image processing apparatus and image processing method | |
US12076640B2 (en) | Reality vs virtual reality racing | |
CN104781873B (en) | Image display device, method for displaying image, mobile device, image display system | |
JP5798392B2 (en) | Parking assistance device | |
US20090002142A1 (en) | Image Display Device | |
US11410634B2 (en) | Information processing apparatus, information processing method, display system, and mobile object | |
JP2007325166A (en) | Parking support program, parking supporting apparatus, and parking supporting screen | |
KR20160147735A (en) | Head region position detection device and head region position detection method, image processing device and image processing method, display device, and computer program | |
JP2009093076A (en) | Image display system in train | |
JP2006017626A (en) | Navigation system | |
WO2018088362A1 (en) | Head-up display | |
US11987182B2 (en) | Image processing apparatus, image processing method, and image processing system | |
US11794667B2 (en) | Image processing apparatus, image processing method, and image processing system | |
US20240017669A1 (en) | Image processing apparatus, image processing method, and image processing system | |
JP2005269010A (en) | Image creating device, program and method | |
US20220244726A1 (en) | Information processing apparatus, information processing method, and program | |
JP2023179496A (en) | Image processing device and image processing method | |
US12088952B2 (en) | Image processing apparatus, image processing method, and image processing system | |
JP2005214730A (en) | Image display device, method, and program for vehicle | |
JPWO2012131862A1 (en) | Image processing apparatus, stereoscopic image display apparatus, method, and program | |
JP5672942B2 (en) | Video display device, video display method, and program | |
JP2007218655A (en) | Navigation device | |
KR101550426B1 (en) | Apparatus and method for displaying driving line | |
JP2024078815A (en) | Display System | |
JP2023012155A (en) | display system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121203 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130611 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130717 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130806 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130819 |
|
LAPS | Cancellation because of no payment of annual fees |