JP2003323170A - Image display system, image processor and image display method - Google Patents
Image display system, image processor and image display methodInfo
- Publication number
- JP2003323170A JP2003323170A JP2002130592A JP2002130592A JP2003323170A JP 2003323170 A JP2003323170 A JP 2003323170A JP 2002130592 A JP2002130592 A JP 2002130592A JP 2002130592 A JP2002130592 A JP 2002130592A JP 2003323170 A JP2003323170 A JP 2003323170A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- signal
- motion information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は画像表示システム
と画像処理装置及び画像表示方法に関する。詳しくは、
撮影画像の画像信号と撮影方向の動きに応じた動き情報
を生成する。また、撮影画像よりも広画角の画像表示領
域を設けるもとして、表示信号に基づき画像表示を行
う。ここで、表示信号に基づく画像が、撮影画像の表示
位置を動き情報に基づき画像表示領域で移動する画像と
なるように、画像信号と動き情報に基づき表示信号を生
成することにより、画像の動きに応じて画像表示位置を
移動させて、臨場感の高い画像表示を行うものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image display system, an image processing device and an image display method. For more information,
Motion information is generated according to the image signal of the captured image and the movement in the shooting direction. Further, the image display is performed based on the display signal by providing an image display area having a wider angle of view than the captured image. Here, by generating the display signal based on the image signal and the motion information so that the image based on the display signal becomes an image in which the display position of the captured image moves in the image display area based on the motion information, the motion of the image is moved. The image display position is moved in accordance with the above, and a highly realistic image display is performed.
【０００２】[0002]
【従来の技術】従来の画像表示システム、例えば放送信
号をテレビジョン装置で受信して画面上にテレビジョン
番組の画像を表示する画像表示システムや、画像投影装
置を用いてスクリーン中央に画像を投影する画像表示シ
ステムでは、固定画枠内に様々の画像を表示することを
想定して番組や映画の制作が行われている。例えば、動
きのある被写体を撮影する場合には、この被写体が固定
画枠内の位置となるように、被写体の動きに合わせてビ
デオカメラの撮影方向を移動させることが行われてい
る。この場合、被写体の動きが大きくとも被写体の画像
は固定画枠内の位置とされており、視聴者は背景の動き
量や動き方向によって被写体がどのように動いているか
を認識することができる。2. Description of the Related Art A conventional image display system, for example, an image display system in which a television device receives a broadcast signal to display an image of a television program on the screen, or an image projection device is used to project an image in the center of the screen. In such an image display system, programs and movies are produced on the assumption that various images are displayed in a fixed image frame. For example, when shooting a moving subject, the shooting direction of a video camera is moved in accordance with the movement of the subject so that the subject is located within a fixed image frame. In this case, even if the movement of the subject is large, the image of the subject is positioned within the fixed image frame, and the viewer can recognize how the subject is moving depending on the amount of movement and the direction of movement of the background.
【０００３】[0003]
【発明が解決しようとする課題】ところで、撮影された
広い空間を固定画枠の２次元平面上に射影する画像表示
システムでは、人間の錯覚を用いて空間の広がりやその
中の動きを表現しているため、現実空間との不整合によ
る不自然さが付きまとう。例えば、被写体が動いている
場合、現実空間では被写体の動きに合わせて視点を移動
させなければ、被写体を認識し続けることができない。
しかし、上述の画像表示システムでは、視聴者が視点の
位置を固定画枠内に固定しておくだけで、被写体を認識
し続けることが可能となると共に、錯覚によって視点を
移動させたこととなり、不自然さが付きまとう。By the way, in an image display system for projecting a wide space photographed onto a two-dimensional plane of a fixed image frame, the illusion of human beings is used to express the expansion of the space and the movement therein. Therefore, it is unnatural due to inconsistency with the real space. For example, when the subject is moving, the subject cannot be continuously recognized unless the viewpoint is moved according to the movement of the subject in the real space.
However, in the above-described image display system, the viewer can continue to recognize the subject simply by fixing the position of the viewpoint within the fixed image frame, and the viewpoint is moved by an illusion. It's unnatural.
【０００４】また上述したように、番組や映画の制作
は、固定画枠内に様々の画像を表示することを想定して
行われていることから、画像の表現力が狭められてしま
い、より現実的な画像表示を行うことができない。Further, as described above, since the production of programs and movies is performed on the assumption that various images are displayed in a fixed image frame, the expressive power of images is narrowed, and It is not possible to display realistic images.
【０００５】さらに、撮影された自然画像を画像表示シ
ステムで表示する場合に限らず、編集された画像や、ゲ
ーム、ＣＧ、アニメなどのように画像をつくって表示す
る場合も同様のことが言える。Furthermore, the same applies not only to displaying a photographed natural image on an image display system, but also to creating and displaying an edited image or an image such as a game, CG, or animation. .
【０００６】そこで、この発明では、臨場感が高く不自
然さのない画像表示を行うことができる画像表示システ
ムを提供するものである。Therefore, the present invention is to provide an image display system capable of displaying an image with a high sense of reality and without unnaturalness.
【０００７】[0007]
【課題を解決するための手段】この発明に係る画像表示
システムは、撮影画像の画像信号と撮影方向の動きに応
じた動き情報を生成する情報生成手段と、前記撮影画像
よりも広画角の画像表示領域を用いて、表示信号に基づ
いた画像表示を行う画像表示手段と、前記表示信号に基
づく画像が、前記撮影画像の表示位置を前記動き情報に
基づき前記画像表示領域で移動する画像となるように、
前記画像信号と前記動き情報に基づき前記表示信号を生
成する画像処理手段を有するものである。An image display system according to the present invention includes information generating means for generating motion information in accordance with an image signal of a photographed image and movement in a photographing direction, and a wider angle of view than the photographed image. An image display means for displaying an image based on a display signal using the image display area; and an image based on the display signal, wherein the display position of the captured image moves in the image display area based on the motion information. So that
It has an image processing means for generating the display signal based on the image signal and the motion information.
【０００８】また画像処理装置は、画像信号と撮影方向
の動きに応じた動き情報を用いて画像表示用の表示信号
を生成する画像処理装置において、撮影方向の動きに応
じた動き情報に基づいて、画像の表示位置を決定する表
示位置算出手段と、前記表示位置算出手段で決定された
表示位置に、前記画像信号に基づく画像を移動させる画
像移動手段と、前記画像移動手段で移動された画像の画
像信号を用いて前記表示信号を生成する表示信号生成手
段とを有するものである。In the image processing apparatus, which generates a display signal for image display using the image signal and the motion information according to the movement in the shooting direction, the image processing apparatus is based on the motion information according to the movement in the shooting direction. A display position calculating means for determining a display position of the image, an image moving means for moving the image based on the image signal to the display position determined by the display position calculating means, and an image moved by the image moving means And a display signal generating means for generating the display signal using the image signal.
【０００９】さらに、画像表示方法は、撮影画像の画像
信号と撮影方向の動きに応じた動き情報を生成し、前記
撮影画像よりも広画角の画像表示領域を設けて、表示信
号に基づき画像表示を行い、前記表示信号に基づく画像
が、前記撮影画像の表示位置を前記動き情報に基づき前
記画像表示領域で移動する画像となるように、前記画像
信号と前記動き情報に基づき前記表示信号を生成するも
のである。Further, in the image display method, the image signal of the photographed image and motion information according to the movement in the photographing direction are generated, an image display area having a wider field angle than the photographed image is provided, and the image is displayed based on the display signal. The display signal is displayed based on the image signal and the motion information so that the image based on the display signal is displayed and the display position of the captured image moves in the image display area based on the motion information. To generate.
【００１０】この発明においては、動き情報生成手段が
撮像手段に取り付けられて、あるいは、撮像手段の撮影
方向を制御するために用いる情報が動き情報とされて、
撮影画像の画像信号と撮影方向の動きに応じた動き情報
が画像信号と動き情報が同時に生成される。また、撮影
画像よりも広画角の画像表示領域が設けられて、表示信
号に基づき画像表示が行われる。ここで、表示信号に基
づく画像が、撮影画像の表示位置を動き情報に基づき画
像表示領域で移動されて、例えば撮影方向の動きと撮影
画像の表示位置の移動が等しくなるように、画像信号と
動き情報に基づき表示信号が生成される。また、生成さ
れた画像信号と動き情報は伝送路を介して伝送されて、
この伝送された画像信号と動き情報に基づき表示信号が
生成される。あるいは、画像信号と動き情報が蓄積され
て、その後蓄積された画像信号や動き情報が読み出され
て表示信号の生成が行われる。In the present invention, the motion information generating means is attached to the image pickup means, or the information used for controlling the shooting direction of the image pickup means is the motion information.
The image signal of the photographed image and the motion information corresponding to the movement in the photographing direction are simultaneously generated. Further, an image display area having a wider angle of view than the captured image is provided, and image display is performed based on the display signal. Here, the image based on the display signal is moved so that the display position of the captured image is moved in the image display area based on the movement information, and the movement in the shooting direction and the movement of the display position of the captured image become equal, for example. A display signal is generated based on the motion information. Further, the generated image signal and motion information are transmitted via a transmission line,
A display signal is generated based on the transmitted image signal and motion information. Alternatively, an image signal and motion information are accumulated, and then the accumulated image signal and motion information are read out to generate a display signal.
【００１１】[0011]
【発明の実施の形態】以下、図を参照しながら、この発
明の実施の一形態について説明する。図１は、この発明
に係る画像表示システムの全体構成を示している。この
画像表示システムでは、情報取得装置１０と画像処理装
置２０および画像表示装置３０を用いて構成されてい
る。DETAILED DESCRIPTION OF THE INVENTION An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 shows the overall configuration of an image display system according to the present invention. This image display system includes an information acquisition device 10, an image processing device 20, and an image display device 30.
【００１２】情報取得装置１０は、撮影画像の画像信号
ＤＶと画像の動きを示す動き情報ＭＶを生成して画像処
理装置２０に供給する。画像処理装置２０は、画像信号
ＤＶと動き情報ＭＶに基づき、撮影画像の表示位置を画
像の動きに応じて移動させる表示位置移動処理を行う。
さらに、この表示位置移動処理後の画像信号に基づい
て、画像表示装置３０に応じた表示信号ＤＳを生成す
る。画像表示装置３０は、広画角の画像表示領域を有し
ており、表示信号ＤＳに基づいて画像表示を行う。例え
ば３つのスクリーンをユーザＶＰの前面および両側面に
配置して広画角の画像表示領域を形成する。さらに、各
スクリーン３１L，３１C，３１Rに対応して設けたプロ
ジェクタ３２L，３２C，３２Rから画像を投影する。こ
のように、広画角の画像表示領域に画像を表示するため
プロジェクタ３２L，３２C，３２Rを用いる場合、画像
処理装置２０は表示信号ＤＳとして、プロジェクタ３２
Lに供給する表示信号ＤＳL、プロジェクタ３２Cに供給
する表示信号ＤＳC、プロジェクタ３２Rに供給する表示
信号ＤＳRを生成する。The information acquisition device 10 generates the image signal DV of the captured image and the motion information MV indicating the motion of the image and supplies it to the image processing device 20. The image processing device 20 performs display position movement processing for moving the display position of the captured image according to the movement of the image based on the image signal DV and the movement information MV.
Further, the display signal DS corresponding to the image display device 30 is generated based on the image signal after the display position moving process. The image display device 30 has an image display area with a wide angle of view, and displays an image based on the display signal DS. For example, three screens are arranged on the front surface and both side surfaces of the user VP to form a wide-angle image display area. Further, images are projected from the projectors 32L, 32C, 32R provided corresponding to the screens 31L, 31C, 31R. As described above, when the projectors 32L, 32C, and 32R are used to display an image in the image display area having a wide angle of view, the image processing device 20 uses the projector 32 as the display signal DS.
The display signal DSL supplied to L, the display signal DSC supplied to the projector 32C, and the display signal DSR supplied to the projector 32R are generated.
【００１３】図２は情報取得装置１０と画像処理装置２
０の構成を示す図である。情報取得装置１０は、撮像部
（例えばビデオカメラ）１１と、この撮像部１１の撮影
方向についての動きを取得して動き情報ＭＶを生成する
動き情報生成部１２を有している。FIG. 2 shows an information acquisition device 10 and an image processing device 2.
It is a figure which shows the structure of 0. The information acquisition device 10 includes an imaging unit (for example, a video camera) 11 and a motion information generation unit 12 that acquires a motion of the imaging unit 11 in the shooting direction and generates motion information MV.
【００１４】撮像部１１は、撮影画像の画像信号ＤＶを
生成して画像処理装置２０に供給する。動き情報生成部
１２は、撮像部１１における撮影方向を手動で動かす場
合、例えば磁気センサや三次元ジャイロなどを用いた角
速度センサあるいは三次元加速度センサ等を用いて構成
する。このセンサを撮像部１１に取り付けて撮像部１１
の姿勢変化を検出することで、撮影方向についての動き
を取得する。さらに、取得した動きを示すセンサ信号を
動き情報ＭＶとして画像処理装置２０に供給する。The image pickup section 11 generates an image signal DV of a photographed image and supplies it to the image processing apparatus 20. When the imaging direction in the imaging unit 11 is manually moved, the motion information generation unit 12 is configured by using, for example, an angular velocity sensor using a magnetic sensor or a three-dimensional gyro or a three-dimensional acceleration sensor. By attaching this sensor to the image pickup unit 11, the image pickup unit 11
The movement in the shooting direction is acquired by detecting the change in the posture. Further, the sensor signal indicating the acquired motion is supplied to the image processing device 20 as motion information MV.
【００１５】また、撮像部１１における撮影方向が遠隔
制御される場合、この遠隔制御のための制御データを動
き情報ＭＶとして用いる。例えば図３に示すように、外
部の遠隔制御装置から動き情報ＭＶとして制御データが
供給されたとき、この動き情報ＭＶを制御部１６に供給
すると共に、画像処理装置２０に供給する。制御部１６
は、供給された動き情報ＭＶに基づき駆動信号ＧＭを生
成して方向調整部１７に供給する。方向調整部１７は、
例えば雲台を用いて構成されてていると共に、この方向
調整部１７には撮像部１１が取り付けられている。方向
調整部１７は駆動信号ＧＭに基づき撮像部１１の撮影方
向を変更して、動き情報ＭＶに基づいたパン動作やチル
ト動作を行う。このように動き情報ＭＶとして制御デー
タを用いる場合、センサ等を撮像部１１に設ける必要が
ないので、情報取得装置１０が安価で簡単な構成とな
る。When the shooting direction in the image pickup section 11 is remotely controlled, the control data for this remote control is used as the motion information MV. For example, as shown in FIG. 3, when control data is supplied as the motion information MV from an external remote control device, the motion information MV is supplied to the control unit 16 and the image processing device 20. Control unit 16
Generates a drive signal GM based on the supplied motion information MV and supplies it to the direction adjustment unit 17. The direction adjusting unit 17 is
For example, it is configured by using a platform, and the image pickup unit 11 is attached to the direction adjusting unit 17. The direction adjustment unit 17 changes the shooting direction of the imaging unit 11 based on the drive signal GM, and performs the pan operation and the tilt operation based on the motion information MV. When the control data is used as the motion information MV in this way, since it is not necessary to provide a sensor or the like in the image pickup unit 11, the information acquisition device 10 has a cheap and simple configuration.
【００１６】画像処理装置２０の表示位置算出部２１
は、情報取得装置１０から供給された動き情報ＭＶに基
づき画像の表示位置を決定して、この決定した表示位置
を示す表示位置情報ＰＳを画像移動部２２に供給する。
画像移動部２２は、情報取得装置１０から供給された画
像信号ＤＶに基づく画像の表示位置を、表示位置算出部
２１から供給された表示位置情報ＰＳで示された位置に
設定する。例えば、図４に示すように、スクリーン３１
L，３１C，３１Rで形成される画像表示領域ＡＲに対応
させて画像メモリ２２１を設けるものとし、画像信号Ｄ
Ｖを画像メモリ２２１に書き込む際の書き込み位置を、
表示位置情報ＰＳに基づいて制御することで、画像の表
示位置を表示位置情報ＰＳで示された位置に設定でき
る。The display position calculation unit 21 of the image processing apparatus 20
Determines the display position of the image based on the motion information MV supplied from the information acquisition device 10, and supplies the display position information PS indicating the determined display position to the image moving unit 22.
The image moving unit 22 sets the display position of the image based on the image signal DV supplied from the information acquisition device 10 to the position indicated by the display position information PS supplied from the display position calculation unit 21. For example, as shown in FIG.
The image memory 221 is provided corresponding to the image display area AR formed by L, 31C, and 31R, and the image signal D
The writing position when writing V into the image memory 221 is
By controlling based on the display position information PS, the display position of the image can be set to the position indicated by the display position information PS.
【００１７】表示信号生成部２３は、表示位置が移動さ
れた画像を表示するための表示信号ＤＳを画像表示装置
３０に応じて生成する。例えば画像表示装置３０がスク
リーン３１L，３１C，３１Rを用いて構成されている場
合、これらのスクリーン３１L，３１C，３１Rを用いて
表示位置の移動が行われた画像を表示するため表示信号
ＤＳL，ＤＳC，ＤＳRを生成して画像表示装置３０に供
給する。The display signal generator 23 generates a display signal DS for displaying the image whose display position has been moved, in accordance with the image display device 30. For example, when the image display device 30 is configured by using the screens 31L, 31C, 31R, the display signals DSL, DSC for displaying the image whose display position has been moved using these screens 31L, 31C, 31R. , DSR are generated and supplied to the image display device 30.
【００１８】ここで、上述したように、画像移動部２２
では、画像表示領域ＡＲに対応して設けた画像メモリ２
２１を用いて、表示位置の移動された画像の画像信号を
記憶する場合、画像メモリ２２１の各スクリーンに対応
する領域毎に信号を読み出すことで、表示信号ＤＳL，
ＤＳC，ＤＳRを簡単に生成できる。例えばスクリーン３
１Lに対応した領域２２１Lから信号を読み出すことで表
示信号ＤＳLを簡単に生成できる。同様に、スクリーン
３１C，３１Rに対応した領域２２１C，２２１Rから信号
を読み出すことで表示信号ＤＳC，ＤＳRを簡単に生成で
きる。なお、画像メモリ２２１において、画像信号ＤＶ
が書き込まれていない領域に黒レベルの信号を書き込む
ものとすれば、スクリーン上に撮影画像のみを表示でき
る。Here, as described above, the image moving unit 22
Then, the image memory 2 provided corresponding to the image display area AR
When the image signal of the image whose display position has been moved is stored using the display signal 21, the signal is read out for each area corresponding to each screen of the image memory 221 to display the display signal DSL,
You can easily generate DSC and DSR. Screen 3 for example
The display signal DSL can be easily generated by reading the signal from the area 221L corresponding to 1L. Similarly, the display signals DSC and DSR can be easily generated by reading the signals from the areas 221C and 221R corresponding to the screens 31C and 31R. In the image memory 221, the image signal DV
If a black level signal is written in a region where is not written, only the captured image can be displayed on the screen.
【００１９】また画像移動部２２は、１画面分の画像信
号ＤＶを記憶する画像メモリと、記憶されている画像信
号ＤＶを読み出す際に、表示位置情報ＰＳに基づいて読
み出しアドレス位置を変換するアドレス変換回路を設け
るものとしても良い。この場合、表示信号生成部２３
は、画像表示領域ＡＲ上の位置を指定して画像メモリに
対する信号の読み出しを行い、読み出された信号を用い
て表示信号ＤＳL，ＤＳC，ＤＳRを生成する。ここで、
画像移動部２２は、指定された画像表示領域ＡＲ上の位
置が画像の表示位置となったときに、画像メモリに記憶
されている画像信号ＤＶが読み出されるようにアドレス
変換を行う。このようにアドレス変換を行えば、画像表
示領域分の記憶容量を有した画像メモリを用いることな
く設けることなく表示信号ＤＳL，ＤＳC，ＤＳRを生成
できる。なお、指定された画像表示領域ＡＲ上の位置が
画像の表示位置でないときには、黒レベルの信号を表示
信号生成部２３に供給することで、スクリーン上に撮影
画像のみを表示できる。Further, the image moving section 22 has an image memory for storing the image signal DV for one screen and an address for converting the read address position based on the display position information PS when reading the stored image signal DV. A conversion circuit may be provided. In this case, the display signal generator 23
Specifies a position on the image display area AR, reads a signal from the image memory, and generates display signals DSL, DSC, and DSR using the read signal. here,
The image moving unit 22 performs address conversion so that the image signal DV stored in the image memory is read when the designated position on the image display area AR becomes the display position of the image. By performing the address conversion in this way, the display signals DSL, DSC, and DSR can be generated without using the image memory having the storage capacity for the image display area. When the designated position on the image display area AR is not the display position of the image, a black level signal is supplied to the display signal generation unit 23 so that only the captured image can be displayed on the screen.
【００２０】次に画像提示システムの動作について説明
する。ここで、情報取得装置１０の撮像部１１は、例え
ばＮＴＳＣ方式などのＳＤサイズ（７２０画素×４８０
ライン）の画像信号ＤＶを生成する。また画像表示装置
３０における画像表示領域ＡＲのサイズは、例えばＳＤ
サイズの画面を横方向に３画面並べたサイズ（２１６０
画素×４８０ライン）として、撮像部１１での撮影画像
よりも広画角の画像表示領域を設ける。なお、本実施の
形態では、説明を簡単とするため、画像信号ＤＶに基づ
く画像の垂直方向サイズと画像表示領域ＡＲの垂直方向
サイズが等しい場合を説明する。Next, the operation of the image presentation system will be described. Here, the image capturing unit 11 of the information acquisition device 10 uses, for example, an SD size (720 pixels × 480
Line) image signal DV is generated. The size of the image display area AR in the image display device 30 is SD, for example.
The size of three screens arranged horizontally (2160
An image display area having a wider angle of view than the image captured by the image capturing unit 11 is provided as (pixels × 480 lines). In the present embodiment, for simplicity of description, a case will be described in which the vertical size of the image based on the image signal DV is equal to the vertical size of the image display area AR.
【００２１】情報取得装置１０の動き情報生成部１２
は、センサからの出力信号や制御データに基づき、動き
情報ＭＶとして例えば水平方向の向きの角速度Ｙaωを
生成する。画像処理装置２０の表示位置算出部２１は、
動き情報ＭＶに基づいて画像の表示位置を算出する。こ
の表示位置の算出では、撮像部１１の撮影方向と視聴者
から見たときの画像提示方向が一致するように表示位置
を設定する。このため、図５に示すように、撮像部１１
の基準方向ＲＦを視聴者から見たときの正面方向とし
て、図５Ａに示すように撮像部１１の撮影方向が基準方
向ＲＦに対して右方向に角度「φ」を有する場合、図５
Ｂに示すように、画像提示方向は正面方向に対して右方
向に角度「φ」を有するものとする。なお、図５におい
て、角度「θ」は、視聴者が１つのスクリーン全面を認
識する際の水平方向の視野角である。つまり３つのスク
リーンを用いて、視野角「３θ」の範囲内で画像表示が
行われる。The motion information generator 12 of the information acquisition device 10
Generates the angular velocity Yaω in the horizontal direction, for example, as the motion information MV based on the output signal from the sensor and the control data. The display position calculation unit 21 of the image processing device 20
The display position of the image is calculated based on the motion information MV. In the calculation of the display position, the display position is set so that the shooting direction of the image pickup unit 11 and the image presentation direction when viewed from the viewer are the same. Therefore, as shown in FIG.
5A when the reference direction RF is the front direction when viewed from the viewer, and the image capturing direction of the imaging unit 11 has an angle “φ” to the right with respect to the reference direction RF as shown in FIG. 5A.
As shown in B, the image presentation direction has an angle “φ” to the right with respect to the front direction. In FIG. 5, the angle “θ” is the horizontal viewing angle when the viewer recognizes the entire surface of one screen. That is, an image is displayed within the range of the viewing angle “3θ” using the three screens.
【００２２】このように、画像表示の範囲が限られてい
る場合、撮像部１１の撮影方向に応じて画像の表示位置
を移動させると、角度「φ」が大きい場合には、画像の
表示位置がスクリーンから外れてしまう。そこで、限ら
れた画像表示範囲内で撮像部１１の水平動きをなるべく
忠実に表現するために、動き情報生成部１２から動き情
報ＭＶとして供給された角速度Ｙaωに従って画像の表
示位置を移動させる。As described above, when the image display range is limited and the image display position is moved according to the shooting direction of the image pickup unit 11, when the angle "φ" is large, the image display position is changed. Goes off the screen. Therefore, in order to represent the horizontal movement of the image pickup unit 11 as faithfully as possible within the limited image display range, the display position of the image is moved according to the angular velocity Yaω supplied as the movement information MV from the movement information generation unit 12.
【００２３】図６は、表示位置の算出動作を示してい
る。表示する画像の更新周波数、例えばフレーム周波数
が６０Ｈｚのとき、（１／６０）秒あたりの撮像部１１
の移動角度は、角速度Ｙaωを時間で除することにより
算出でき、この移動角度を「ω」とする。なお、図６に
示すように、画像表示領域ＡＲは多角面となっているた
め、厳密には画像上の座標と水平方向の角度は異なる
が、画像表示領域ＡＲを円柱面に近似して、水平方向角
度と水平方向の座標位置は線形の関係にあると仮定して
計算する。FIG. 6 shows a display position calculating operation. When the update frequency of the image to be displayed, for example, the frame frequency is 60 Hz, the imaging unit 11 per (1/60) second
The moving angle can be calculated by dividing the angular velocity Yaω by time, and this moving angle is defined as "ω". Note that, as shown in FIG. 6, since the image display area AR is a polygonal surface, the coordinates on the image and the angle in the horizontal direction are different from each other, but the image display area AR is approximated to a cylindrical surface. The calculation is performed assuming that the horizontal angle and the horizontal coordinate position have a linear relationship.
【００２４】このように表示位置の算出のための条件設
定を行う場合、図６Ａに示すように「ｎ−１」フレーム
と「ｎ」フレームとの間に撮影方向が移動角度ωだけ移
動されていることが動き情報ＭＶで示されたとき、この
移動角度ωを式（１）に代入することで、図６Ｂに示す
ように、表示する「ｎ」フレーム画像の中心を示す表示
位置「Ｘn」を決定できる。
Ｘn＝Ｘn-1＋ω（Ｌ／θ）・・・（１）
なお、「Ｌ」は１画面の水平画素数（例えばＬ＝７２０
画素）であり、「θ」は上述のように水平方向の視野角
（例えば４８度）である。また、「Ｘn-1」は１フレー
ム前の画像の座標を示しており、「Ｘn」の単位は画素
となる。When the conditions for calculating the display position are set as described above, the photographing direction is moved by the movement angle ω between the "n-1" frame and the "n" frame as shown in FIG. 6A. When it is indicated by the motion information MV, the moving angle ω is substituted into the equation (1), and as shown in FIG. 6B, the display position “Xn” indicating the center of the “n” frame image to be displayed is displayed. Can be determined. Xn = Xn-1 + ω (L / θ) (1) Note that “L” is the number of horizontal pixels in one screen (for example, L = 720).
Pixel), and “θ” is the horizontal viewing angle (for example, 48 degrees) as described above. Further, "Xn-1" indicates the coordinates of the image one frame before, and the unit of "Xn" is a pixel.
【００２５】ここで、正面を座標の基準「０」としたと
き、表示位置「Ｘn」が「−Ｌ」よりも小さくなる場合
や表示位置「Ｘn」が「Ｌ」よりも大きくなると、表示
画像が画像表示領域ＡＲを超えてしまう。このため、表
示位置「Ｘn」が「−Ｌ≦Ｘn≦Ｌ」の条件を満たすと
き、画像の中心が式（１）で算出した表示位置「Ｘn」
となるように表示画像の移動を行う。また、表示位置
「Ｘn」が「Ｘn＜−Ｌ」の条件を満たすとき、表示画像
が画像表示領域ＡＲを超えてしまうことがないように、
画像表示領域ＡＲの左側端と表示画像の左側端が一致す
るように表示画像の位置を設定する。さらに、表示位置
「Ｘn」が「Ｘn＞Ｌ」の条件を満たすとき、表示画像が
画像表示領域ＡＲを超えてしまうことがないように、画
像表示領域ＡＲの右側端と表示画像の右側端が一致する
ように表示画像の位置を設定する。When the display position "Xn" is smaller than "-L" or the display position "Xn" is larger than "L" when the front is the coordinate reference "0", a display image is displayed. Exceeds the image display area AR. Therefore, when the display position “Xn” satisfies the condition of “−L ≦ Xn ≦ L”, the center of the image is the display position “Xn” calculated by the equation (1).
The display image is moved so that Further, when the display position “Xn” satisfies the condition of “Xn <−L”, the displayed image does not exceed the image display area AR.
The position of the display image is set so that the left edge of the image display area AR and the left edge of the display image match. Furthermore, when the display position “Xn” satisfies the condition of “Xn> L”, the right edge of the image display area AR and the right edge of the display image are prevented so that the display image does not exceed the image display area AR. Set the positions of the displayed images so that they match.
【００２６】このように表示位置を決定することで、図
７Ａに示すように、撮像部１１では動きのある被写体Ｏ
Ｂが撮影画面の中央位置となるように撮影を行って画像
信号ＤＶを生成したとき、画像表示装置３０のスクリー
ンには、図７Ｂに示すように、動きのある被写体ＯＢ
が、実際の動き合わせて移動して表示されるので、臨場
感が高く不自然さのない画像表示を行うことができる。
また、基準方向に対する撮影方向の角度「φ」が大きく
なっても、表示画像が画像表示領域ＡＲから外れてしま
うことも防止できる。By deciding the display position in this way, as shown in FIG.
When an image signal DV is generated by performing shooting so that B is at the center position of the shooting screen, a moving object OB is displayed on the screen of the image display device 30 as shown in FIG. 7B.
However, since the image is displayed while moving in accordance with the actual movement, it is possible to perform an image display that is highly realistic and has no unnaturalness.
In addition, even if the angle “φ” of the shooting direction with respect to the reference direction becomes large, it is possible to prevent the display image from deviating from the image display area AR.
【００２７】さらに、実際の動きに合わせて表示位置を
移動させて画像表示を行う処理は、リアルタイムあるい
は非リアルタイムのいずれでも行うことができる、リア
ルタイムで画像表示を行う場合、図８に示すように、情
報取得装置１０には画像信号ＤＶと動き情報ＭＶに基づ
いて伝送信号ＴＤを生成して送信する送信部１９を設け
る。また、画像処理装置２０は、伝送信号ＴＤを受信し
て、動き情報ＭＶを表示位置算出部２１に供給すると共
に画像信号ＤＶを画像移動部２２に供給する受信部２５
を設け、送信部１９と受信部２５とを有線あるいは無線
の伝送路を介して接続する。なお、送信部１９では符号
化処理を行うと共に受信部２５では復号化処理を行うも
のとすれば、伝送信号ＴＤの信号量を削減できる。ま
た、多重化処理等を行うものとすれば、異なる番組等の
画像を同時に伝送できる。Further, the processing of moving the display position according to the actual movement to display the image can be performed in either real time or non-real time. In the case of displaying the image in real time, as shown in FIG. The information acquisition device 10 is provided with a transmission unit 19 that generates and transmits a transmission signal TD based on the image signal DV and the motion information MV. Further, the image processing device 20 receives the transmission signal TD, supplies the motion information MV to the display position calculation unit 21, and supplies the image signal DV to the image moving unit 22.
Is provided, and the transmitter 19 and the receiver 25 are connected via a wired or wireless transmission path. If the transmitting unit 19 performs the encoding process and the receiving unit 25 performs the decoding process, the signal amount of the transmission signal TD can be reduced. Further, if the multiplexing process is performed, images of different programs can be transmitted at the same time.
【００２８】非リアルタイムで画像表示を行う場合、図
９Ａに示すように、情報取得装置１０で生成した画像信
号ＤＶと動き情報ＭＶを情報蓄積装置４０に供給する。
情報蓄積装置４０は、光学的手段や磁気的手段を用い
て、画像信号ＤＶと動き情報ＭＶを記録媒体に蓄積す
る。なお、記録媒体は、情報蓄積装置４０に固定されて
いるものあっても良く、また交換可能なものであっても
良い。画像表示を行う際には、情報蓄積装置４０に蓄積
されている画像信号ＤＶと動き情報ＭＶを読み出して画
像処理装置２０に供給することで、上述のように画像の
動きにあわせて表示位置を移動させることができる。な
お、画像信号ＤＶと動き情報ＭＶを情報蓄積装置４０に
蓄積する場合、画像信号ＤＶと動き情報ＭＶのタイミン
グが一致しないと、画像の動きと表示位置の移動が同期
しなくなり、画像の動きが無いときに表示位置が移動さ
れてしまう等の不具合を生じるおそれがある。このた
め、画像信号ＤＶと動き情報ＭＶを同期して再生できる
ように情報蓄積装置４０に蓄積させる。When displaying an image in non-real time, as shown in FIG. 9A, the image signal DV and the motion information MV generated by the information acquisition device 10 are supplied to the information storage device 40.
The information storage device 40 stores the image signal DV and the motion information MV in a recording medium by using optical means or magnetic means. The recording medium may be fixed to the information storage device 40 or may be replaceable. When displaying an image, the image signal DV and the motion information MV stored in the information storage device 40 are read out and supplied to the image processing device 20, so that the display position is adjusted according to the motion of the image as described above. It can be moved. When the image signal DV and the motion information MV are stored in the information storage device 40, if the timings of the image signal DV and the motion information MV do not match, the movement of the image and the movement of the display position are not synchronized, and the movement of the image is There is a risk that the display position may be moved when it is not present. For this reason, the image signal DV and the motion information MV are stored in the information storage device 40 so that they can be reproduced in synchronization.
【００２９】また、情報蓄積装置４０に蓄積する情報
は、画像信号ＤＶと動き情報ＭＶに限られるものではな
く、図９Ｂに示すように、画像処理装置２０で生成した
表示信号ＤＳL，ＤＳC，ＤＳRを蓄積することもでき
る。この情報蓄積装置４０に蓄積されている表示信号Ｄ
ＳL，ＤＳC，ＤＳRを読み出して画像表示装置３０に供
給すれば、画像の動きにあわせて表示位置を移動させる
ことができる。Further, the information stored in the information storage device 40 is not limited to the image signal DV and the motion information MV, but as shown in FIG. 9B, the display signals DSL, DSC, DSR generated by the image processing device 20. Can also be stored. The display signal D stored in the information storage device 40
If SL, DSC, and DSR are read and supplied to the image display device 30, the display position can be moved according to the movement of the image.
【００３０】このように、情報蓄積装置４０に画像信号
ＤＶと動き情報ＭＶを蓄積すれば、表示信号ＤＳL，Ｄ
ＳC，ＤＳRを蓄積する場合に比べて情報量を少なくでき
る。また、表示信号ＤＳL，ＤＳC，ＤＳRを蓄積すれ
ば、画像表示の際に演算処理を行う必要がないので、容
易に画像表示を行える。In this way, if the image signal DV and the motion information MV are stored in the information storage device 40, the display signals DSL, D
The amount of information can be reduced compared to the case of storing SC and DSR. Further, by accumulating the display signals DSL, DSC, DSR, it is not necessary to perform arithmetic processing at the time of displaying an image, so that the image can be displayed easily.
【００３１】さらに、リアルタイムあるいは非リアルタ
イムで画像表示を行うことができるので、例えば局側で
は、番組の送信あるいは配信時に画像信号ＤＶと動き情
報ＭＶを同時に送信する。また視聴者側には、画像処理
装置２０や画像表示装置３０を設けるものとすれば、臨
場感の高い番組視聴が可能となる。また、上述の図９に
おける情報蓄積装置４０として磁気テープや光ディスク
等を用いるものとして、図１０Ａに示すように配布や販
売が可能なパッケージメディア化すれば、このパッケー
ジメディア４１をプレーヤ５０で再生することにより、
臨場感の高い画像提示を行うことができる。さらに、臨
場感の高い画像提示を行うことができるコンテンツを広
く流通させることができる。なお、パッケージメディア
４１に画像信号ＤＶと動き情報ＭＶを記録する場合、プ
レーヤ５０は、上述の画像処理装置２０の機能を有する
ものとする。Furthermore, since image display can be performed in real time or non-real time, for example, the station side simultaneously transmits the image signal DV and the motion information MV when transmitting or distributing a program. Further, if the image processing device 20 and the image display device 30 are provided on the viewer side, it is possible to view the program with a high sense of presence. Further, if a magnetic tape, an optical disk, or the like is used as the information storage device 40 in FIG. 9 described above, and a package medium that can be distributed or sold is formed as shown in FIG. 10A, the package medium 41 is reproduced by the player 50. By
It is possible to present a highly realistic image. Further, it is possible to widely disseminate contents that can provide highly realistic image presentation. When the image signal DV and the motion information MV are recorded on the package medium 41, the player 50 is assumed to have the function of the image processing device 20 described above.
【００３２】また、情報蓄積装置４０としてハード・デ
ィスク装置等のストレージ４２を用いるものとすれば、
図１０Ｂに示すように、フィルムを用いることなくスク
リーンに画像を表示する電子映画館等になどに対して、
ストレージ４２に記憶されている情報を配信すること
で、より現実的で臨場感の高い映画鑑賞が可能になる。
なお、ストレージ４２に画像信号ＤＶと動き情報ＭＶを
記録する場合、ストレージ再生装置５５は、上述の画像
処理装置２０の機能を有するものとする。If a storage 42 such as a hard disk device is used as the information storage device 40,
As shown in FIG. 10B, for an electronic movie theater or the like that displays an image on a screen without using a film,
By distributing the information stored in the storage 42, a more realistic and highly realistic movie viewing becomes possible.
When the image signal DV and the motion information MV are recorded in the storage 42, the storage reproduction device 55 has the function of the image processing device 20 described above.
【００３３】ところで、上述の実施の形態では、水平方
向にのみ画像を移動する場合について説明したが、画像
表示領域ＡＲの垂直方向のサイズが表示画像のサイズよ
りも大きい場合には、水平方向の場合と同様にして垂直
方向の画像の移動を行うこともできる。また、スクリー
ン３１L，３１C，３１Rで構成される多面スクリーンに
限られるものではなく、曲面スクリーンやシリンドリカ
ルスクリーン、あるいは３６０度スクリーンなどであっ
ても同様の処理が可能である。By the way, in the above embodiment, the case where the image is moved only in the horizontal direction has been described. However, when the size of the image display area AR in the vertical direction is larger than the size of the display image, the image is moved in the horizontal direction. The image can be moved in the vertical direction as in the case. Further, the present invention is not limited to the multi-sided screen composed of the screens 31L, 31C and 31R, and the same processing can be performed even for a curved screen, a cylindrical screen, a 360-degree screen, or the like.
【００３４】[0034]
【発明の効果】この発明によれば、撮影画像の画像信号
と撮影方向の動きに応じた動き情報を生成し、撮影画像
よりも広画角の画像表示領域を設けて、表示信号に基づ
き画像表示を行い、表示信号に基づく画像が、前記撮影
画像の表示位置を前記動き情報に基づき前記画像表示領
域で移動する画像となるように、前記画像信号と前記動
き情報に基づき前記表示信号が生成される。このよう
に、撮影画像の動きに応じて画像表示位置が移動される
ので、臨場感の高い画像表示を行うことができる。According to the present invention, the image signal of the photographed image and the motion information according to the movement in the photographing direction are generated, the image display area having a wider field angle than the photographed image is provided, and the image is displayed based on the display signal. The display signal is generated based on the image signal and the motion information such that the image is displayed and the image based on the display signal is an image that moves the display position of the captured image in the image display area based on the motion information. To be done. In this way, since the image display position is moved according to the movement of the captured image, it is possible to display an image with a high sense of presence.
【００３５】また、動き情報生成手段が撮像手段に取り
付けられて、画像信号と動き情報が同時に生成される。
また、撮像手段の撮影方向を制御するために用いる情報
が動き情報とされるので、画像の動きにあわせて表示位
置を移動させることができる。Further, the motion information generating means is attached to the image pickup means, and the image signal and the motion information are simultaneously generated.
Further, since the information used for controlling the shooting direction of the image pickup means is the motion information, the display position can be moved according to the movement of the image.
【００３６】さらに、撮影方向の動きと撮影画像の表示
位置の移動が等しくなるように表示信号が生成されるの
で、視聴者は現実と同じ空間あるいは動きを視聴時に取
得することができる。Further, since the display signal is generated so that the movement in the photographing direction and the movement of the display position of the photographed image become equal, the viewer can acquire the same space or movement as the reality at the time of viewing.
【００３７】また、生成された画像信号と動き情報が伝
送路を介して伝送されて処理されるので、リアルタイム
で画像表示を行うことができる。また、画像信号と動き
情報が蓄積されて、その後蓄積された画像信号や動き情
報が読み出されて表示信号の生成が行われるので、非リ
アルタイムでも臨場感の高い画像表示を行うことができ
る。Further, since the generated image signal and the motion information are transmitted and processed through the transmission path, the image can be displayed in real time. Further, since the image signal and the motion information are accumulated and then the accumulated image signal and the motion information are read out to generate the display signal, it is possible to perform a highly realistic image display even in non-real time.
【図１】画像表示システムを示す図である。FIG. 1 is a diagram showing an image display system.
【図２】情報取得装置と画像処理装置の構成を示す図で
ある。FIG. 2 is a diagram showing configurations of an information acquisition device and an image processing device.
【図３】情報取得装置の他の構成を示す図である。FIG. 3 is a diagram showing another configuration of the information acquisition device.
【図４】画像メモリの構成を示す図である。FIG. 4 is a diagram showing a configuration of an image memory.
【図５】撮影方向と撮像提示方向の関係を示す図であ
る。FIG. 5 is a diagram showing a relationship between a shooting direction and a shooting presentation direction.
【図６】表示位置の算出動作を示す図である。FIG. 6 is a diagram showing a display position calculation operation.
【図７】画像表示システムの動作を示す図である。FIG. 7 is a diagram showing an operation of the image display system.
【図８】リアルタイムで画像表示を行う場合の構成を示
す図である。FIG. 8 is a diagram showing a configuration when an image is displayed in real time.
【図９】非リアルタイムで画像表示を行う場合の構成を
示す図である。FIG. 9 is a diagram showing a configuration for displaying an image in non-real time.
【図１０】非リアルタイムで画像表示を行う場合の他の
構成を示す図である。FIG. 10 is a diagram showing another configuration for displaying an image in non-real time.
１０・・・情報取得装置、１１・・・撮像部、１２・・
・動き情報生成部、１６・・・制御部、１７・・・方向
調整部、１９・・・送信部、２０・・・画像処理装置、
２１・・・表示位置算出部、２２・・・画像移動部、２
３・・・表示信号生成部、２５・・・受信部、３０・・
・画像表示装置、４０・・・情報蓄積装置、４１・・・
パッケージメディア、４２・・・ストレージ、５０・・
・プレーヤ、５５・・・ストレージ再生装置、２２１・
・・画像メモリ10 ... Information acquisition device, 11 ... Imaging unit, 12 ...
・ Motion information generation unit, 16 ... Control unit, 17 ... Direction adjustment unit, 19 ... Transmission unit, 20 ... Image processing device,
21 ... Display position calculation unit, 22 ... Image moving unit, 2
3 ... Display signal generating unit, 25 ... Receiving unit, 30 ...
Image display device, 40 ... Information storage device, 41 ...
Package media, 42 ... Storage, 50 ...
Player 55 storage storage device 221
..Image memory
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/66 Ｈ０４Ｎ 5/74 Ｚ 5/74 Ｇ０９Ｇ 5/00 ５５５Ｇ Ｆターム(参考） 5C022 AB62 AB65 AB68 5C058 AA16 BA23 BA24 BB13 EA02 5C082 AA02 AA27 BA12 BA20 BA42 BB01 BD06 BD09 CA52 CA81 CB03 DA61 MM05 MM10 ─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 7 Identification code FI theme code (reference) H04N 5/66 H04N 5/74 Z 5/74 G09G 5/00 555G F term (reference) 5C022 AB62 AB65 AB68 5C058 AA16 BA23 BA24 BB13 EA02 5C082 AA02 AA27 BA12 BA20 BA42 BB01 BD06 BD09 CA52 CA81 CB03 DA61 MM05 MM10
Claims (10)
応じた動き情報を生成する情報生成手段と、 前記撮影画像よりも広画角の画像表示領域を用いて、表
示信号に基づいた画像表示を行う画像表示手段と、 前記表示信号に基づく画像が、前記撮影画像の表示位置
を前記動き情報に基づき前記画像表示領域で移動する画
像となるように、前記画像信号と前記動き情報に基づき
前記表示信号を生成する画像処理手段を有するを有する
ことを特徴とする画像表示システム。1. An image based on a display signal using an information generation unit that generates motion information in accordance with a movement of an image signal of a photographed image and a photographing direction, and an image display area having a wider angle of view than the photographed image. Based on the image signal and the movement information, an image display unit that performs display, and an image based on the display signal, based on the image signal and the movement information, so that the display position of the captured image is an image that moves in the image display area based on the movement information. An image display system having an image processing means for generating the display signal.
号を生成する撮像手段と、前記動き情報を生成する動き
情報生成手段を有し、 前記動き情報生成手段はセンサを用いて形成し、 前記動き情報生成手段を前記撮像手段に取り付けること
で、前記画像信号と前記動き情報を同時に生成すること
を特徴とする請求項１記載の画像表示システム。2. The information generating means includes an imaging means for generating an image signal of a captured image and a motion information generating means for generating the motion information, and the motion information generating means is formed by using a sensor, The image display system according to claim 1, wherein the image information and the motion information are generated at the same time by attaching the motion information generation means to the image pickup means.
号を生成する撮像手段と、前記撮像手段の撮影方向を制
御する方向制御手段とを有し、 前記方向制御手段で撮影方向を制御するために用いる情
報を前記動き情報とすることで、前記画像信号と前記動
き情報を同時に生成することを特徴とする請求項１記載
の画像表示システム。3. The information generating means includes image pickup means for generating an image signal of a picked-up image, and direction control means for controlling a shooting direction of the image pickup means, and the direction control means controls the shooting direction. The image display system according to claim 1, wherein the image signal and the motion information are generated at the same time by using the motion information as information used for that purpose.
きと前記撮影画像の表示位置の移動が等しくなるように
前記表示信号を生成することを特徴とする請求項１記載
の画像表示システム。4. The image display system according to claim 1, wherein the image processing means generates the display signal so that the movement in the photographing direction and the movement of the display position of the photographed image become equal to each other.
と動き情報を、伝送路を介して前記画像処理手段に供給
することを特徴とする請求項１記載の画像表示システ
ム。5. The image display system according to claim 1, wherein the image signal and the motion information generated by the information generating means are supplied to the image processing means via a transmission path.
と動き情報を、情報蓄積手段に蓄積させるものとし、 前記画像処理手段は、前記情報蓄積手段に蓄積されてい
る画像信号と動き情報を用いて前記表示信号を生成する
ことを特徴とする請求項１記載の画像表示システム。6. The image signal and the motion information generated by the information generating means are stored in the information storing means, and the image processing means stores the image signal and the motion information stored in the information storing means. The image display system according to claim 1, wherein the display signal is generated by using the display signal.
情報を用いて画像表示用の表示信号を生成する画像処理
装置において、 撮影方向の動きに応じた動き情報に基づいて、画像の表
示位置を決定する表示位置算出手段と、 前記表示位置算出手段で決定された表示位置に、前記画
像信号に基づく画像を移動させる画像移動手段と、 前記画像移動手段で移動された画像の画像信号を用いて
前記表示信号を生成する表示信号生成手段とを有するこ
とを特徴とする画像処理装置。7. An image processing apparatus for generating a display signal for image display using an image signal and motion information according to a motion in a shooting direction, wherein an image is displayed based on the motion information according to a motion in the shooting direction. A display position calculating unit that determines a position; an image moving unit that moves an image based on the image signal to the display position determined by the display position calculating unit; and an image signal of the image moved by the image moving unit. An image processing apparatus, comprising: a display signal generation unit that generates the display signal by using the display signal generation unit.
づき、前記撮影方向の動きと前記画像の表示位置の移動
が等しくなるように前記表示位置を決定することを特徴
とする請求項７記載の画像処理装置。8. The position calculating means determines the display position based on the movement information so that the movement in the photographing direction and the movement of the display position of the image are equal to each other. Image processing device.
応じた動き情報を生成し、 前記撮影画像よりも広画角の画像表示領域を設けて、表
示信号に基づき画像表示を行い、 前記表示信号に基づく画像が、前記撮影画像の表示位置
を前記動き情報に基づき前記画像表示領域で移動する画
像となるように、前記画像信号と前記動き情報に基づき
前記表示信号を生成することを特徴とする画像表示方
法。9. An image signal of a photographed image and motion information according to movement in a photographing direction are generated, an image display area having a wider field angle than the photographed image is provided, and image display is performed based on the display signal. The display signal is generated based on the image signal and the motion information so that the image based on the display signal becomes an image in which the display position of the captured image moves in the image display area based on the motion information. Image display method.
表示位置の移動が等しくなるように前記表示信号を生成
することを特徴とする請求項９記載の画像表示方法。10. The image display method according to claim 9, wherein the display signal is generated so that the movement in the photographing direction and the movement of the display position of the photographed image become equal to each other.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002130592A JP4019785B2 (en) | 2002-05-02 | 2002-05-02 | Image display system, image processing apparatus, and image display method |
| DE60331534T DE60331534D1 (en) | 2002-04-25 | 2003-04-25 | PICTURE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND PICTURE PROCESSING PROGRAM |
| PCT/JP2003/005403 WO2003092276A1 (en) | 2002-04-25 | 2003-04-25 | Image processing apparatus, image processing method, and image processing program |
| EP03727995A EP1499119B1 (en) | 2002-04-25 | 2003-04-25 | Image processing apparatus, image processing method, and image processing program |
| KR1020037016864A KR100965947B1 (en) | 2002-04-25 | 2003-04-25 | Image processing apparatus, image processing method, and image processing program recording medium |
| US10/481,910 US8643788B2 (en) | 2002-04-25 | 2003-04-25 | Image processing apparatus, image processing method, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002130592A JP4019785B2 (en) | 2002-05-02 | 2002-05-02 | Image display system, image processing apparatus, and image display method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003323170A true JP2003323170A (en) | 2003-11-14 |
| JP2003323170A5 JP2003323170A5 (en) | 2005-03-17 |
| JP4019785B2 JP4019785B2 (en) | 2007-12-12 |
Family
ID=29543584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002130592A Expired - Fee Related JP4019785B2 (en) | 2002-04-25 | 2002-05-02 | Image display system, image processing apparatus, and image display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4019785B2 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009072551A1 (en) * | 2007-12-07 | 2009-06-11 | Sony Corporation | Image processing device, dynamic image reproduction device, and processing method and program used in the devices |
| WO2009081806A1 (en) * | 2007-12-21 | 2009-07-02 | Sony Corporation | Image processor, animation reproduction apparatus, and processing method and program for the processor and apparatus |
| JP2010283529A (en) * | 2009-06-03 | 2010-12-16 | Canon Inc | Display control device, method of controlling display device, program, and storage medium |
| JP2011035590A (en) * | 2009-07-31 | 2011-02-17 | Sharp Corp | Multiscreen image display device |
| WO2011024363A1 (en) * | 2009-08-31 | 2011-03-03 | パナソニック株式会社 | Image display control device, image display control method, and integrated circuit |
| JP2012048066A (en) * | 2010-08-27 | 2012-03-08 | Toshiba Corp | Image display apparatus |
| US8369641B2 (en) | 2009-05-15 | 2013-02-05 | Kabushiki Kaisha Toshiba | Image processing apparatus, display device, and image processing method |
| CN103957356A (en) * | 2010-02-19 | 2014-07-30 | 株式会社尼康 | Electronic device, and image obtaining method of electronic device |
| WO2016157996A1 (en) * | 2015-03-31 | 2016-10-06 | ソニー株式会社 | Information processing device, information processing method, program, and image display system |
| JP2020068514A (en) * | 2018-10-26 | 2020-04-30 | キヤノン株式会社 | Image processing device, image processing method, and program |
-
2002
- 2002-05-02 JP JP2002130592A patent/JP4019785B2/en not_active Expired - Fee Related
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8768097B2 (en) | 2007-12-07 | 2014-07-01 | Sony Corporation | Image processing apparatus, moving image reproducing apparatus, and processing method and program therefor |
| WO2009072551A1 (en) * | 2007-12-07 | 2009-06-11 | Sony Corporation | Image processing device, dynamic image reproduction device, and processing method and program used in the devices |
| WO2009081806A1 (en) * | 2007-12-21 | 2009-07-02 | Sony Corporation | Image processor, animation reproduction apparatus, and processing method and program for the processor and apparatus |
| US8810708B2 (en) | 2007-12-21 | 2014-08-19 | Sony Corporation | Image processing apparatus, dynamic picture reproduction apparatus, and processing method and program for the same |
| US8305457B2 (en) | 2007-12-21 | 2012-11-06 | Sony Corporation | Image processing apparatus, dynamic picture reproduction apparatus, and processing method and program for the same |
| US8369641B2 (en) | 2009-05-15 | 2013-02-05 | Kabushiki Kaisha Toshiba | Image processing apparatus, display device, and image processing method |
| JP2010283529A (en) * | 2009-06-03 | 2010-12-16 | Canon Inc | Display control device, method of controlling display device, program, and storage medium |
| US8264589B2 (en) | 2009-06-03 | 2012-09-11 | Canon Kabushiki Kaisha | Display control apparatus, method of controlling display apparatus, and storage medium |
| JP2011035590A (en) * | 2009-07-31 | 2011-02-17 | Sharp Corp | Multiscreen image display device |
| US8471872B2 (en) | 2009-08-31 | 2013-06-25 | Panasonic Corporation | Image display controlling apparatus, image display controlling method and integrated circuit |
| JP5439474B2 (en) * | 2009-08-31 | 2014-03-12 | パナソニック株式会社 | Image display control device, image display control method, and integrated circuit |
| WO2011024363A1 (en) * | 2009-08-31 | 2011-03-03 | パナソニック株式会社 | Image display control device, image display control method, and integrated circuit |
| CN103957356A (en) * | 2010-02-19 | 2014-07-30 | 株式会社尼康 | Electronic device, and image obtaining method of electronic device |
| CN103957356B (en) * | 2010-02-19 | 2018-11-09 | 株式会社尼康 | The image acquisition method of electronic equipment and electronic equipment |
| JP2012048066A (en) * | 2010-08-27 | 2012-03-08 | Toshiba Corp | Image display apparatus |
| JPWO2016157996A1 (en) * | 2015-03-31 | 2018-01-25 | ソニー株式会社 | Information processing apparatus, information processing method, program, and image display system |
| WO2016157996A1 (en) * | 2015-03-31 | 2016-10-06 | ソニー株式会社 | Information processing device, information processing method, program, and image display system |
| US11003062B2 (en) | 2015-03-31 | 2021-05-11 | Sony Corporation | Information processing device, method of information processing, and image display system |
| JP2020068514A (en) * | 2018-10-26 | 2020-04-30 | キヤノン株式会社 | Image processing device, image processing method, and program |
| JP7296712B2 (en) | 2018-10-26 | 2023-06-23 | キヤノン株式会社 | Image processing device, image processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4019785B2 (en) | 2007-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10397556B2 (en) | Perspective altering display system | |
| JP3992045B2 (en) | Video signal processing apparatus and method, and virtual reality generation apparatus | |
| TWI530157B (en) | Method and system for displaying multi-view images and non-transitory computer readable storage medium thereof | |
| US5684529A (en) | Stereoscopio display using movement direction detection | |
| KR100965947B1 (en) | Image processing apparatus, image processing method, and image processing program recording medium | |
| US20020075295A1 (en) | Telepresence using panoramic imaging and directional sound | |
| JP2005500721A5 (en) | ||
| US20070247518A1 (en) | System and method for video processing and display | |
| JP2005500721A (en) | VTV system | |
| JP4622570B2 (en) | Virtual reality generation device and program used therefor | |
| JP2003143505A (en) | Device and method for processing display image control, system and method for transmitting and receiving moving picture information, and computer program | |
| JPH11133347A (en) | Video observation device | |
| US20170366803A1 (en) | System and method for capturing and viewing panoramic images having motion parallax depth perception without image stitching | |
| JP4019785B2 (en) | Image display system, image processing apparatus, and image display method | |
| Naimark | Elements of real-space imaging: a proposed taxonomy | |
| CN110730340B (en) | Virtual audience display method, system and storage medium based on lens transformation | |
| KR20030049642A (en) | Camera information coding/decoding method for composition of stereoscopic real video and computer graphic | |
| JP2006246307A (en) | Image data processing apparatus | |
| JP2004515169A (en) | A method for displaying an object present in a rotation image in one window and a device for transmitting and receiving the data | |
| JP2003143477A (en) | Image compositing device and method | |
| JP2008005427A (en) | Imaging apparatus and imaging method, and program | |
| CN113923354A (en) | Video processing method and device based on multi-frame image and virtual background shooting system | |
| KR101908068B1 (en) | System for Authoring and Playing 360° VR Contents | |
| US7480001B2 (en) | Digital camera with a spherical display | |
| JP4998253B2 (en) | Video providing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040423 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040423 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070320 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070521 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070612 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070809 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070817 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070904 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070917 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121005 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131005 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |