JP2008294961A - Video display apparatus - Google Patents

Video display apparatus Download PDF

Info

Publication number
JP2008294961A
JP2008294961A JP2007140811A JP2007140811A JP2008294961A JP 2008294961 A JP2008294961 A JP 2008294961A JP 2007140811 A JP2007140811 A JP 2007140811A JP 2007140811 A JP2007140811 A JP 2007140811A JP 2008294961 A JP2008294961 A JP 2008294961A
Authority
JP
Japan
Prior art keywords
video
image
unit
projection
observer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007140811A
Other languages
Japanese (ja)
Inventor
Hiroko Nakayama
弘子 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Panasonic Electric Works Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Electric Works Co Ltd filed Critical Panasonic Electric Works Co Ltd
Priority to JP2007140811A priority Critical patent/JP2008294961A/en
Publication of JP2008294961A publication Critical patent/JP2008294961A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Video Image Reproduction Devices For Color Tv Systems (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a video display apparatus capable of projecting a video image on a video projection surface in any arbitrary shape to display such a video image as to cover a field of view of an observer. <P>SOLUTION: The present invention relates to a video display apparatus 1 in which a video image is projected on a video projection surface in any arbitrary shape by a video image projection unit, including: an observer field-of-view display unit 2 for displaying thereon a field of view of an observer; an observer field-of-view detection unit 13 for detecting the field of view of the observer displayed by the observer field-of-view display unit 2; a display video image detection unit 12 for detecting a video image projection range of the video image being projected on the video projection surface by the video image projection unit 11; a control arithmetic unit 14 and a video image projecting position moving unit 15 for moving the video image projection unit 11 in such a way as to reduce a difference between the field of view of the observer detected by the observer field-of-view detection unit 13 and the video image projection range detected by the display video image detection unit 12. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、プロジェクタ等によって壁や任意形状スクリーン等の映像投影面に映像を投影させて、観察者の視野を覆うような映像を表示する映像表示装置に関する。   The present invention relates to a video display device that displays an image that covers an observer's field of view by projecting an image on a video projection surface such as a wall or an arbitrary shape screen by a projector or the like.

従来より、プロジェクタによって映像光をスクリーンに投影して、スクリーンの投射面内に投影画像を自動で位置付けるような技術としては、下記の特許文献1に記載された技術が存在する。   Conventionally, as a technique for projecting image light onto a screen by a projector and automatically positioning a projected image within a projection surface of the screen, there is a technique described in Patent Document 1 below.

通常、プロジェクタから出射した映像光をスクリーンに投影する映像表示装置は、プロジェクタの正面に投影先となるスクリーンを配して投影を行うのが一般的である。このような映像表示形式では、スクリーンの設置位置に依存した場所でしか投影することができないため、スクリーンの設置位置までプロジェクタを運ばなければならないなどの使用上の制約が多い。   In general, an image display apparatus that projects image light emitted from a projector onto a screen generally performs projection by arranging a screen as a projection destination in front of the projector. In such a video display format, since projection can be performed only at a place depending on the installation position of the screen, there are many usage restrictions such as having to carry the projector to the installation position of the screen.

このような制約に対し、特許文献1に記載された技術では、映像光が投影されているスクリーン内の所定の複数位置で各輝度値を算出し、スクリーンの外縁部を検出し、プロジェクタの投射位置の調整によって映像光の投影範囲をスクリーン内に位置づけることが行われている。
特開2006−313979号公報
With respect to such restrictions, in the technique described in Patent Document 1, each luminance value is calculated at a plurality of predetermined positions in the screen on which the image light is projected, the outer edge of the screen is detected, and the projection of the projector By adjusting the position, the projection range of the image light is positioned within the screen.
JP 2006-313979 A

しかしながら、上述した特許文献1に記載された技術において、プロジェクタは、スクリーンまで映像光が届く範囲に設置した上で、スクリーン内に投影範囲が収まるようにするものであるので、スクリーンのある場所でないと、プロジェクタから投影する映像を表示させることができない。更に、上述した特許文献1には、映像の補正処理として台形補正、ガンマ補正などしか記載されておらず、スクリーンの形状が平面である必要があるなどの制約が多い。したがって、上述した特許文献1に記載の技術では、プロジェクタのみによって任意形状の映像投影面で映像を表示させることは困難であった。   However, in the technique described in Patent Document 1 described above, the projector is installed in a range where the image light reaches the screen, and the projection range is accommodated in the screen. The video projected from the projector cannot be displayed. Furthermore, the above-described Patent Document 1 describes only trapezoidal correction, gamma correction, and the like as image correction processing, and there are many restrictions such as that the shape of the screen needs to be a flat surface. Therefore, with the technique described in Patent Document 1 described above, it is difficult to display an image on an image projection surface having an arbitrary shape only by a projector.

そこで、本発明は、上述した実情に鑑みて提案されたものであり、任意形状の映像投影面に映像を投影して、観察者の視野を覆うような映像を表示することができる映像表示装置を提供することを目的とする。   Therefore, the present invention has been proposed in view of the above-described circumstances, and an image display device capable of projecting an image on an image projection surface having an arbitrary shape and displaying an image that covers an observer's visual field. The purpose is to provide.

本発明は、任意形状の映像投影面に対して映像投影部によって映像を投影する映像表示装置であって、上述の課題を解決するために、観察者の視野を表示する観察者視野表示手段と、観察者視野表示手段により表示した観察者の視野を検出する観察者視野検出手段と、映像投影部が映像投影面へ投影している映像の映像投影範囲を検出する映像投影範囲検出手段と、観察者視野検出手段により検出された観察者の視野と映像投影範囲検出手段により検出された映像投影範囲との差が小さくなるように映像投影部を移動させる映像投影位置移動手段とを備える。   The present invention is an image display device that projects an image on an image projection surface of an arbitrary shape by an image projection unit, and in order to solve the above-described problem, an observer field display means for displaying an observer's field of view An observer visual field detection means for detecting the visual field of the observer displayed by the observer visual field display means; a video projection range detection means for detecting the video projection range of the video projected on the video projection plane by the video projection unit; Video projection position moving means for moving the video projection unit so as to reduce the difference between the visual field of the observer detected by the observer visual field detection means and the video projection range detected by the video projection range detection means;

本発明によれば、観察者の視野と映像投影範囲との差が小さくなるように映像投影部を移動させるので、任意形状の映像投影面に映像を投影しても、観察者の視野を覆うような映像を表示することができる。   According to the present invention, the image projection unit is moved so that the difference between the observer's field of view and the image projection range is small. Therefore, even if an image is projected on an arbitrarily shaped image projection surface, the observer's field of view is covered. Such an image can be displayed.

以下、本発明の実施の形態について図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

本発明は、例えば図1に示すように、映像表示装置1に観察者視野表示部2が接続され、映像表示装置1によってスクリーンではない壁面等に映像を表示させる映像表示システムに適用される。なお、図1には、映像表示装置1によって出射された映像光が投影される映像投影面を図示していないが、この映像投影面は、映像表示システム用のスクリーンではなく、映像表示システムが設置された部屋の壁等の任意形状面である。すなわち、映像表示システムは、スクリーンを必要とせずに、観察者の指定した範囲を検出することによって、当該範囲を映像で覆うものである。この観察者の指定した範囲を検出するとは、例えば、観察者視野表示部2によって観察者の視野を検出することである。   For example, as shown in FIG. 1, the present invention is applied to a video display system in which an observer field-of-view display unit 2 is connected to a video display device 1 and a video is displayed on a wall or the like that is not a screen by the video display device 1. 1 does not show a video projection surface onto which the video light emitted from the video display device 1 is projected. However, this video projection surface is not a screen for a video display system, but a video display system. It is an arbitrarily shaped surface such as a wall of an installed room. In other words, the video display system covers the range with the video by detecting the range designated by the observer without requiring a screen. The detection of the range designated by the observer means, for example, that the observer's visual field is detected by the observer visual field display unit 2.

この映像表示システムにおいて、映像表示装置1は、映像光を投影するプロジェクタ等からなる映像投影部11と、表示映像検出部12と、観察者視野表示部2と接続された観察者視野検出部13と、制御演算部14と、映像投影位置移動部15とを備える。   In this video display system, the video display device 1 includes a video projection unit 11 including a projector that projects video light, a display video detection unit 12, and an observer visual field detection unit 13 connected to the observer visual field display unit 2. A control calculation unit 14 and a video projection position moving unit 15.

映像投影部11は、映像データが供給されることによって映像光を出射するプロジェクタ等からなる。映像投影部11におけるプロジェクタの機能部は、映像光の出射位置を上下、左右及び回転させる移動機構に搭載されている。この移動機構は、図1に示す映像投影位置移動部15である。映像投影位置移動部15は、映像光の出射位置を移動させることによって映像投影範囲を移動させる車輪型、波動型などの映像投影部11自体を物理的に移動させる。   The video projection unit 11 includes a projector that emits video light when video data is supplied. The function unit of the projector in the image projection unit 11 is mounted on a moving mechanism that rotates the emission position of the image light vertically and horizontally. This moving mechanism is the image projection position moving unit 15 shown in FIG. The image projection position moving unit 15 physically moves the image projection unit 11 such as a wheel type or a wave type that moves the image projection range by moving the emission position of the image light.

更に、映像投影位置移動部15は、映像光の出射位置を上下運動させる伸縮型の直動アクチュエータ、映像光の出射位置を左右に平行移動させる伸縮型の直動アクチュエータ、映像光の出射位置を回転させる回転アクチュエータなどの映像光の光軸を移動させる手段を備えていることが望ましい。この機構は、後述の制御演算部14からの制御信号(差分データ)に従って、映像光の出射位置を移動させるための駆動力を発生させる。   Further, the image projection position moving unit 15 includes an extendable linear motion actuator that moves the image light emission position up and down, an extendable linear motion actuator that translates the image light emission position left and right, and an image light emission position. It is desirable to have means for moving the optical axis of the image light, such as a rotary actuator that rotates. This mechanism generates a driving force for moving the emission position of the image light in accordance with a control signal (difference data) from a control calculation unit 14 described later.

更にまた、映像投影位置移動部15は、映像投影部11のフォーカス機能、ズーム機能を制御することによって、映像投影部11によって投影している映像投影範囲を変更できる。   Furthermore, the image projection position moving unit 15 can change the image projection range projected by the image projection unit 11 by controlling the focus function and zoom function of the image projection unit 11.

観察者視野表示部2は、レーザ光等の可視光や赤外線光を出射する。観察者視野表示部2は、例えば観察者が操作するペン型のポインタであって映像投影面内に視野中心位置を表示して指定できるもの、プロジェクタの一部の機能であってパーソナルコンピュータによって映像投影面内に視野中心位置を表示して指定できるものが挙げられる。この観察者視野表示部2によって指定された観察者視野を示す画像は、映像投影部11によって映像投影面に表示している映像に重畳されて表示される。観察者は、観察者視野表示部2によって、映像投影面に表示されている観察者視野を示す画像の位置を調整することができる。なお、観察者視野を示す画像は、観察者視野の中心位置を点で示す画像であっても良く、観察者視野の範囲を円形画像で示すものであっても良い。   The observer visual field display unit 2 emits visible light such as laser light or infrared light. The observer visual field display unit 2 is, for example, a pen-type pointer operated by the observer, which can display and specify the visual field center position in the video projection plane, and is a partial function of the projector. There are those that can display and specify the center position of the visual field in the projection plane. An image showing the observer field designated by the observer field display unit 2 is displayed by being superimposed on the video displayed on the video projection plane by the video projection unit 11. The observer can adjust the position of the image indicating the observer's field of view displayed on the video projection plane by the observer field of view display unit 2. Note that the image showing the observer's field of view may be an image showing the center position of the observer's field of view as a point, or may show the range of the observer's field of view as a circular image.

観察者視野検出部13は、観察者視野表示部2によって映像に表示されている観察者視野を示す画像の位置を検出する。この観察者視野検出部13は、映像投影面内に表示されている映像に重畳された観察者視野を示す画像を検知するための構成として、カメラや画像抽出機能を有する。観察者視野検出部13は、観察者視野を示す画像の位置を座標データとして制御演算部14に供給する。   The observer visual field detection unit 13 detects the position of an image showing the observer visual field displayed on the video by the observer visual field display unit 2. This observer visual field detection unit 13 has a camera and an image extraction function as a configuration for detecting an image showing the observer visual field superimposed on the video displayed in the video projection plane. The observer visual field detector 13 supplies the position of the image showing the observer visual field to the control calculator 14 as coordinate data.

表示映像検出部12は、映像投影部11によって表示されている映像の投影範囲を検出する。表示映像検出部12は、映像投影部11によって映像を表示した時に、同時に表示される映像中心位置を示す画像を検出する。この表示映像検出部12は、映像投影面内に表示されている映像投影範囲を検知するための構成として、カメラや画像抽出機能を有する。表示映像検出部12は、映像投影範囲を座標データとして制御演算部14に供給する。   The display video detection unit 12 detects the projection range of the video displayed by the video projection unit 11. The display image detection unit 12 detects an image indicating the image center position that is displayed at the same time when an image is displayed by the image projection unit 11. The display video detection unit 12 has a camera and an image extraction function as a configuration for detecting the video projection range displayed in the video projection plane. The display video detection unit 12 supplies the video projection range to the control calculation unit 14 as coordinate data.

制御演算部14は、観察者視野検出部13により検出された観察者の視野と表示映像検出部12により検出された映像投影範囲との差分を検出する。制御演算部14は、観察者視野検出部13から観察者視野の中心位置を示す座標データが供給された場合、当該観察者視野の中心位置を中心とした所定範囲を観察者視野の範囲とする。そして、制御演算部14は、映像投影範囲と観察者視野の範囲との差分を示す差分方向及び差分量を示す差分データを映像投影位置移動部15に供給する。   The control calculation unit 14 detects a difference between the visual field of the observer detected by the observer visual field detection unit 13 and the video projection range detected by the display video detection unit 12. When the coordinate data indicating the center position of the observer visual field is supplied from the observer visual field detector 13, the control calculation unit 14 sets a predetermined range centered on the central position of the observer visual field as the range of the observer visual field. . Then, the control calculation unit 14 supplies the difference direction data indicating the difference between the image projection range and the range of the observer's field of view and the difference data indicating the difference amount to the image projection position moving unit 15.

映像投影位置移動部15は、制御演算部14から差分データが供給された場合に、当該差分データに従って映像光の光軸や、当該映像中心からの映像投影半径や、映像投影部11自体の位置を移動させる。これにより、映像表示システムは、映像投影部11による映像投影範囲を、観察者視野の範囲に近づける。   When the difference data is supplied from the control calculation unit 14, the image projection position moving unit 15, according to the difference data, the optical axis of the image light, the image projection radius from the image center, and the position of the image projection unit 11 itself. Move. Thereby, the video display system brings the video projection range by the video projection unit 11 closer to the range of the observer's visual field.

このように構成された映像表示システムは、任意形状の映像投影面に映像表示を行う場合には、図2に示すように、ステップS1〜ステップS3の処理を行うことによって観察者視野の中心を検出すると共に、ステップS4〜ステップS6の処理を行うことによって映像投影範囲の中心位置を検出する。   In the video display system configured as described above, when video is displayed on a video projection surface having an arbitrary shape, the center of the observer's field of view is obtained by performing the processing in steps S1 to S3 as shown in FIG. In addition to the detection, the center position of the video projection range is detected by performing the processing of step S4 to step S6.

すなわち、映像表示システムは、ステップS1において観察者視野表示部2によって観察者視野の中心位置を表示すると、ステップS2において観察者視野検出部13によって観察者視野の中心位置を探索して、ステップS3において、観察者視野検出部13によって観察者視野の中心位置が検出できたか否かを判定する。一方、映像表示システムは、ステップS4において映像投影部11が映像中心位置を表示すると、ステップS5において表示映像検出部12により映像中心位置を探索して、ステップS6において、表示映像検出部12によって映像中心位置が検出できたか否かを判定する。   In other words, when the observer visual field display unit 2 displays the center position of the observer visual field in step S1, the video display system searches for the central position of the observer visual field by the observer visual field detector 13 in step S2, and step S3 The observer visual field detector 13 determines whether or not the center position of the observer visual field has been detected. On the other hand, when the image projection unit 11 displays the image center position in step S4, the image display system searches for the image center position by the display image detection unit 12 in step S5, and in step S6, the image display unit 12 displays the image center position. It is determined whether or not the center position has been detected.

映像表示システムは、ステップS3において観察者視野検出部13が観察者視野の中心位置を検出でき、且つステップS6において表示映像検出部12が映像中心位置を検出できた場合に、ステップS7において、映像中心位置を観察者視野の中心位置に合わせるように映像投影部11から出射する映像光の光軸方向を変更させる。映像投影位置移動部15は、映像投影部11のフォーカス機能、ズーム機能、回転アクチュエータや直動アクチュエータ等を駆動することによって、差分データに基づいて映像投影部11から出射される映像光の光軸を変更して、観察者視野の範囲との差が小さくなるように映像投影範囲を調整する。   When the observer visual field detection unit 13 can detect the center position of the observer visual field in step S3 and the display video detection unit 12 can detect the video central position in step S6, the video display system displays the video in step S7. The optical axis direction of the image light emitted from the image projection unit 11 is changed so that the center position matches the center position of the observer's visual field. The image projection position moving unit 15 drives the focus function, the zoom function, the rotation actuator, the linear motion actuator, and the like of the image projection unit 11, and thereby the optical axis of the image light emitted from the image projection unit 11 based on the difference data. And the image projection range is adjusted so that the difference from the range of the observer's field of view becomes small.

次に制御演算部14は、ステップS8において、ステップS3において検出された観察者視野の中心位置に基づく観察者視野の範囲と、ステップS7において変更された映像中心位置に基づく映像投影範囲との差異を求めて、映像投影範囲が観察者視野の範囲に近づくような差分データを映像投影位置移動部15に供給する。これにより、映像投影範囲の全体が観察者視野の範囲と合致するように映像投影位置移動部15が駆動する。なお、映像投影位置移動部15は、映像投影部11のズーム機能やフォーカス機能を併用して、映像投影範囲の全体が観察者視野の範囲となるようにしても良い。   Next, in step S8, the control calculation unit 14 determines the difference between the observer visual field range based on the central position of the observer visual field detected in step S3 and the video projection range based on the video central position changed in step S7. Thus, difference data is supplied to the image projection position moving unit 15 so that the image projection range approaches the range of the observer's visual field. Thereby, the image projection position moving unit 15 is driven so that the entire image projection range matches the range of the observer's visual field. Note that the video projection position moving unit 15 may use the zoom function and the focus function of the video projection unit 11 together so that the entire video projection range becomes the range of the observer's field of view.

次のステップS9において、映像表示システムの制御演算部14は、ステップS8において映像投影位置移動部15が映像投影範囲を変更した結果、映像投影範囲と観察者視野の範囲との差が所定内であるか否かを判定する。ここで、制御演算部14は、観察者視野の範囲に対して映像投影範囲の差異が略0とみなせる差分を予め設定しておく必要がある。このとき、制御演算部14は、表示映像検出部12及び観察者視野検出部13によって検出された映像中心位置及び観察者視野の中心位置に基づいて、映像投影範囲と観察者視野の範囲との差を求める。映像投影範囲と観察者視野の範囲との差が所定内の小さい値となった場合には処理を終了し、未だに映像投影範囲と観察者視野の範囲との差が大きい場合にはステップS10に処理を進める。   In the next step S9, the control calculation unit 14 of the video display system determines that the difference between the video projection range and the viewer field of view is within a predetermined range as a result of the video projection position moving unit 15 changing the video projection range in step S8. It is determined whether or not there is. Here, the control calculation unit 14 needs to set in advance a difference that allows the difference in the video projection range to be regarded as substantially 0 with respect to the range of the observer's visual field. At this time, the control calculation unit 14 determines whether the image projection range and the range of the observer field of view are based on the image center position detected by the display image detector 12 and the observer field detector 13 and the center position of the observer field of view. Find the difference. If the difference between the image projection range and the observer field of view becomes a small value within the predetermined range, the process ends. If the difference between the image projection range and the observer field of view is still large, the process proceeds to step S10. Proceed with the process.

ステップS10において、制御演算部14は、ステップS9で判定した映像投影範囲と観察者視野の範囲との差に基づいて、映像投影位置移動部15によって更に移動させる必要がある映像光の光軸の移動量を演算し、ステップS11において、映像投影位置移動部15を更に駆動させる。そして、映像表示システムは、再度ステップS9の処理を行い、映像投影範囲と観察者視野の範囲との差が所定内と判定した場合には処理を終了し、所定内ではないと判定した場合には再度ステップS10,ステップS11を繰り返す。   In step S10, the control calculation unit 14 determines the optical axis of the video light that needs to be further moved by the video projection position moving unit 15 based on the difference between the video projection range determined in step S9 and the range of the observer's visual field. The movement amount is calculated, and in step S11, the image projection position moving unit 15 is further driven. Then, the video display system performs the process of step S9 again. When it is determined that the difference between the video projection range and the observer field of view is within the predetermined range, the processing is terminated. Repeats step S10 and step S11 again.

以上説明したように、本発明を適用した映像表示システムによれば、スクリーンがない空間において映像を提示する場合であっても、映像投影範囲を観察者視野の範囲に合わせるように映像投影部11を移動させることができるので、任意形状の映像投影面に映像を投影して、観察者の視野を覆うような映像を表示することができる。   As described above, according to the video display system to which the present invention is applied, even when a video is presented in a space without a screen, the video projection unit 11 is set so that the video projection range matches the range of the observer's visual field. Therefore, it is possible to project an image on an image projection surface having an arbitrary shape and display an image that covers the visual field of the observer.

なお、上述した映像表示システムの説明においては、その映像投影範囲の調節を複数回行うか、試行回数に制限を設けても良い。すなわち、図2におけるステップS9にて映像投影範囲と観察者視野の範囲との差異が所定内ではないと判定した後に、映像投影範囲を調整する回数を判定して、所定の試行回数となった場合には処理を終了させる。   In the description of the video display system described above, the video projection range may be adjusted a plurality of times, or the number of trials may be limited. That is, in step S9 in FIG. 2, after determining that the difference between the video projection range and the observer field of view is not within the predetermined range, the number of times to adjust the video projection range is determined to be the predetermined number of trials. If so, the process is terminated.

また、ユーザの設定操作によって、映像投影部11の移動量について予め閾値を設定しておき、映像投影部11の移動量が閾値を超える場合には、観察者視野の範囲を通知しても良く、又は、映像投影部11の設置位置を変更することを通知しても良い。これにより、映像投影範囲と観察者視野の範囲とが著しく離れている場合には観察者によって映像投影部11を移動させることができる。   In addition, a threshold value may be set in advance for the movement amount of the video projection unit 11 by a user setting operation, and the range of the observer's field of view may be notified when the movement amount of the video projection unit 11 exceeds the threshold value. Alternatively, it may be notified that the installation position of the video projection unit 11 is changed. Thereby, when the image projection range and the range of the observer's visual field are significantly separated, the image projection unit 11 can be moved by the observer.

更に、映像投影範囲と観察者視野範囲との調整について、ステップS9において映像投影範囲と観察者視野の範囲とが所定内の略ゼロとなっていなくても、観察者が調整完了との操作をしたことなどを検知した場合には、中止しても良い。   Further, regarding the adjustment of the video projection range and the observer visual field range, even if the video projection range and the observer visual field range are not substantially within the predetermined range in step S9, the observer performs an operation to complete the adjustment. If it is detected, it may be canceled.

つぎに、本発明を適用した映像表示システムにおいて、映像投影部11に供給される映像データに歪み補正処理を施す例について、図3及び図4を参照して説明する。なお、上述した映像表示システムと同様の部分については同一符号を付することによってその詳細な説明を省略する。   Next, in the video display system to which the present invention is applied, an example in which distortion correction processing is performed on the video data supplied to the video projection unit 11 will be described with reference to FIGS. The same parts as those in the video display system described above are denoted by the same reference numerals, and detailed description thereof is omitted.

この映像表示システムは、図3に示すように、映像投影位置移動部15により映像投影部11が移動された後に、当該映像投影部11が投影している映像が表示されている映像投影面の形状を取得する投影面形状取得部21と、投影面形状取得部21により取得された映像投影面の形状に向けて映像を投影した場合に映像に歪みが生じないように歪み補正を行う歪み補正部22とを更に備える。   As shown in FIG. 3, the video display system includes a video projection plane on which a video projected by the video projection unit 11 is displayed after the video projection unit 11 is moved by the video projection position moving unit 15. A projection surface shape acquisition unit 21 that acquires a shape, and a distortion correction that performs distortion correction so that the image is not distorted when the image is projected toward the shape of the image projection surface acquired by the projection surface shape acquisition unit 21. And a unit 22.

歪み補正部22は、任意形状の映像投影面に平面映像を投影したときに、当該平面映像が観察者から歪みの無い映像として視認させるために、当該平面映像を歪ませた映像データを作成させる。このために、歪み補正部22は、映像投影部11によって平面映像を歪ませるパラメータとして、歪み補正パラメータを生成する。投影面形状に基づく歪み補正パラメータは、投影面形状に平面映像を投影した場合に、映像が歪み無く見えるように平面映像を歪ませるためのパラメータである。具体的には、歪み補正パラメータは、予め用意されている平面映像を歪み無く表示させるために、平面映像の画素座標を表示用映像の画素座標に変換する座標変換テーブルである。   The distortion correction unit 22 generates video data obtained by distorting the planar image so that the planar image is visually recognized as an undistorted image from the observer when the planar image is projected on the video projection surface having an arbitrary shape. . For this purpose, the distortion correction unit 22 generates a distortion correction parameter as a parameter for distorting the planar video by the video projection unit 11. The distortion correction parameter based on the projection surface shape is a parameter for distorting the planar image so that the image can be seen without distortion when the planar image is projected onto the projection surface shape. Specifically, the distortion correction parameter is a coordinate conversion table for converting pixel coordinates of a plane image into pixel coordinates of a display image in order to display a prepared plane image without distortion.

また、この映像表示システムは、歪み補正部22によって歪み補正を施すためのパラメータを取得する手段として、観察者の視点位置を計測する視点位置検出部23を備えていても良い。この場合、歪み補正部22は、視点位置検出部23により計測された観察者の視点位置から映像投影面に表示された映像が歪み無く見えるように歪み補正を行う。   Further, this video display system may include a viewpoint position detection unit 23 that measures the viewpoint position of the observer as means for acquiring parameters for performing distortion correction by the distortion correction unit 22. In this case, the distortion correction unit 22 performs distortion correction so that the image displayed on the image projection plane can be seen without distortion from the viewpoint position of the observer measured by the viewpoint position detection unit 23.

このような映像表示システムは、映像投影位置移動部15によって差分データに基づく映像光の光軸の変更や、映像投影範囲の変更や、映像投影部11自体の移動が行われると、当該変更した情報が歪み補正部22に供給される。これに対し、歪み補正部22は、入力した変更の情報に基づいて歪み補正パラメータを生成する歪み補正処理を行う。この歪み補正パラメータは、歪み補正部22から映像投影部11に供給される。映像投影部11は、歪み補正パラメータが供給されると、映像データに対して歪み補正パラメータを用いた歪み補正を施し、補正済の映像データによって映像光を投影する。   Such a video display system is changed when the video projection position moving unit 15 changes the optical axis of the video light based on the difference data, the video projection range, or the video projection unit 11 itself is moved. Information is supplied to the distortion correction unit 22. On the other hand, the distortion correction unit 22 performs distortion correction processing for generating a distortion correction parameter based on the input change information. This distortion correction parameter is supplied from the distortion correction unit 22 to the video projection unit 11. When the distortion correction parameter is supplied, the video projection unit 11 performs distortion correction using the distortion correction parameter on the video data, and projects video light with the corrected video data.

投影面形状取得部21は、映像投影部11の可視光、赤外線、超音波などを映像投影面に出射し、その反射光、反射波に基づいて、映像投影部11と映像投影面との距離を求める。投影面形状取得部21は、映像投影面中の複数の点について、映像投影部11との距離を求めて、映像投影面の形状を取得する。この映像投影面の形状を示す距離データは、歪み補正部22に供給される。歪み補正部22は、距離データに基づいて、歪み補正パラメータを更新する。これにより、映像表示システムは、映像投影部11によって、観察者が映像投影面で映像を見たときに歪みなく見えるように歪み補正を行う。なお、投影面形状取得部21は、例えばCADデータを読み込むなど、映像投影面となる面の三次元形状を直接的に入力して、映像投影面の形状を得ても良い。   The projection surface shape acquisition unit 21 emits visible light, infrared light, ultrasonic waves, and the like of the video projection unit 11 to the video projection surface, and the distance between the video projection unit 11 and the video projection surface based on the reflected light and the reflected wave. Ask for. The projection plane shape acquisition unit 21 obtains the distance from the video projection unit 11 for a plurality of points on the video projection plane and acquires the shape of the video projection plane. The distance data indicating the shape of the image projection plane is supplied to the distortion correction unit 22. The distortion correction unit 22 updates the distortion correction parameter based on the distance data. Thus, in the video display system, the video projection unit 11 performs distortion correction so that the viewer can see no distortion when viewing the video on the video projection surface. Note that the projection plane shape acquisition unit 21 may obtain the shape of the video projection plane by directly inputting the three-dimensional shape of the plane to be the video projection plane, for example, by reading CAD data.

視点位置検出部23は、映像投影面に映像を表示している時における観察者の視点位置を検出する。視点位置検出部23は、例えば、観察者視野表示部2によって表示している赤外線光などのマーカや、観察者視野表示部2によって表示している形状などを認識し、観察者の視点位置を検出する。この観察者の視点位置は、例えば所定期間ごとに歪み補正部22に供給される。歪み補正部22は、観察者の視点位置に基づいて、歪み補正パラメータを構成する。例えば観察者の視点位置が所定の推奨位置からずれた場合には、当該ずれた視点位置から映像投影面の映像を観察しても、歪み無く観察できるように映像データに歪み補正を施させる歪み補正パラメータに更新する。   The viewpoint position detection unit 23 detects the viewpoint position of the observer when an image is displayed on the image projection plane. The viewpoint position detection unit 23 recognizes, for example, a marker such as infrared light displayed by the observer visual field display unit 2, a shape displayed by the observer visual field display unit 2, and the like, and determines the viewpoint position of the observer. To detect. The observer's viewpoint position is supplied to the distortion correction unit 22, for example, every predetermined period. The distortion correction unit 22 configures distortion correction parameters based on the viewpoint position of the observer. For example, if the observer's viewpoint position deviates from a predetermined recommended position, distortion that applies distortion correction to the image data so that the image can be observed without distortion even if the image on the image projection plane is observed from the deviated viewpoint position. Update to correction parameters.

このような映像表示システムにおける歪み補正部22は、投影面形状取得部21によって取得された投影面形状と、視点位置検出部23によって取得された観察者の視点位置との双方を統合した形で歪み補正パラメータを更新して、投影面形状、観察者の視点位置の変動に応じた歪み補正を行わせる。   In such a video display system, the distortion correction unit 22 integrates both the projection surface shape acquired by the projection surface shape acquisition unit 21 and the observer's viewpoint position acquired by the viewpoint position detection unit 23. The distortion correction parameters are updated, and distortion correction is performed according to changes in the projection plane shape and the viewpoint position of the observer.

このような映像表示システムは、その動作を図4に示すように、先ず上述したステップS1〜ステップS11の処理を行って、映像投影範囲と観察者視野の範囲との差分を略0とした後に、ステップS21以降の処理を行う。   As shown in FIG. 4, such a video display system first performs the processes of steps S <b> 1 to S <b> 11 described above, and sets the difference between the video projection range and the range of the observer's field of view to be substantially zero. Then, the processing after step S21 is performed.

投影面形状取得部21は、ステップS21において、映像投影部11から映像投影面までの距離を複数の映像投影面上の点について取得し、ステップS22において、投影面形状を算出する。この投影面形状は、投影面形状取得部21から歪み補正部22に供給される。   In step S21, the projection plane shape acquisition unit 21 acquires distances from the video projection unit 11 to the video projection plane for points on the plurality of video projection planes, and in step S22, calculates the projection plane shape. This projection plane shape is supplied from the projection plane shape acquisition unit 21 to the distortion correction unit 22.

次のステップS23において、歪み補正部22は、ステップS22にて算出された投影面形状と、映像投影部11と投影面形状までの距離、推奨視点位置に基づいて、歪み補正パラメータを作成する。なお、この歪み補正パラメータの作成処理は、映像投影部11の画角など、映像投影部11の画角等の観察者が映像投影面の映像を観察したときに歪みに影響するような他の値を加えて、更に歪み無く映像を観察させるような歪み補正パラメータを作成しても良い。   In the next step S23, the distortion correction unit 22 creates a distortion correction parameter based on the projection plane shape calculated in step S22, the distance between the video projection unit 11 and the projection plane shape, and the recommended viewpoint position. Note that this distortion correction parameter creation processing is another process that affects the distortion when an observer observes the video on the video projection plane, such as the angle of view of the video projection unit 11. A distortion correction parameter may be created by adding a value so that the image can be observed without distortion.

これにより、映像表示システムは、映像光を投影する映像投影面が任意の形状であっても、当該投影面形状に合わせて歪み補正パラメータを作成することによって、歪みを抑制した映像を観察させることができる。   As a result, even if the video projection surface onto which the video light is projected has an arbitrary shape, the video display system makes it possible to observe a video with suppressed distortion by creating a distortion correction parameter in accordance with the shape of the projection surface. Can do.

また、映像表示システムは、ステップS23の処理後に、ステップS23にて作成された歪み補正パラメータを用いて歪み補正を施した映像データによって映像を表示している時に、ステップS24において、観察者の視点位置が推奨視点位置から変更したか否かを判定する。この判定は、歪み補正部22によって、視点位置検出部23からの視点位置を所定期間ごとに入力した時に行う。   In addition, when the video display system displays the video with the video data that has been subjected to distortion correction using the distortion correction parameter created in step S23 after the processing in step S23, in step S24, the viewpoint of the observer is displayed. It is determined whether or not the position has changed from the recommended viewpoint position. This determination is performed when the distortion correction unit 22 inputs the viewpoint position from the viewpoint position detection unit 23 every predetermined period.

観察者の視点位置が推奨視点位置又は前回に取得された視点位置から変更したと判定していないと判定した場合には、歪み補正部22によって歪み補正パラメータを変更する処理をしない。一方、視点位置が変更したと判定した場合には、ステップS25において、歪み補正部22によって当該変更後の視点位置に基づいて歪み補正パラメータを更新し、ステップS26において、当該歪み補正パラメータを映像投影部11に出力して、更新した歪み補正パラメータによって歪み補正を行わせる。   When it is determined that the viewpoint position of the observer has not been changed from the recommended viewpoint position or the previously acquired viewpoint position, the distortion correction unit 22 does not perform the process of changing the distortion correction parameter. On the other hand, when it is determined that the viewpoint position has been changed, in step S25, the distortion correction unit 22 updates the distortion correction parameter based on the changed viewpoint position, and in step S26, the distortion correction parameter is projected as a video. It outputs to the part 11 and performs distortion correction by the updated distortion correction parameter.

以上説明したように、本発明を適用した映像表示システムによれば、投影面形状に基づいて歪み補正を施した映像を映像投影面に表示することができるので、観察者視野の範囲を覆うように映像投影範囲を変更した後に、当該変更後の映像投影範囲での投影面形状に応じて歪み補正を施すことができる。また、この映像表示システムによれば、観察者の視点位置がずれた場合であっても、当該視点位置のずれによって観察者から見える映像が歪むことを抑制することができる。   As described above, according to the video display system to which the present invention is applied, an image subjected to distortion correction based on the projection plane shape can be displayed on the video projection plane, so that the range of the observer's field of view is covered. After the video projection range is changed, distortion correction can be performed according to the projection plane shape in the changed video projection range. Moreover, according to this video display system, even when the viewpoint position of the observer is deviated, it is possible to suppress distortion of the video viewed from the observer due to the deviation of the viewpoint position.

なお、視点位置を入力する手法としては、観察者視点位置の入力機構によって観察者の好みに応じて変更しても良く、人間の顔を検出する機能であっても良い。この場合、視点位置検出部23は、観察者視野が映像投影範囲に正対していると考え、観察者視点を探すことになる。更に、視点位置検出部23は、観察者視野表示部2と赤外線等の通信をして、それにより観察者の視点位置を検出しても良い。更にまた、視点位置検出部23は、観察者の視点位置を検出する際に、特定の物体を視点位置として検出してもよい。   Note that the method for inputting the viewpoint position may be changed according to the preference of the observer by the observer viewpoint position input mechanism, or may be a function for detecting a human face. In this case, the viewpoint position detection unit 23 considers that the observer's visual field is directly facing the video projection range, and searches for the observer's viewpoint. Furthermore, the viewpoint position detection unit 23 may detect the viewpoint position of the observer by communicating with the observer visual field display unit 2 using infrared rays or the like. Furthermore, the viewpoint position detection unit 23 may detect a specific object as the viewpoint position when detecting the viewpoint position of the observer.

また、観察者が複数存在する場合には、映像歪みが最も抑制できる最適視点位置となる観察者を登録して当該登録された観察者からは最も歪みの少ないように映像を観察させても良く、複数の観察者で均一の歪み度合いとなるように視点位置を最適化して歪み補正パラメータを設定しても良い。更に、観察者が3名以上いる場合、そのうち2名以上には歪みが少なくするように歪み補正パラメータを設定し、特定人物(複数可)には同じように歪みの少ない映像を観察できるように歪み補正をすることができる。   In addition, when there are a plurality of observers, it is possible to register an observer who is the optimum viewpoint position where the image distortion can be most suppressed and to observe the image with the least distortion from the registered observer. Alternatively, the distortion correction parameter may be set by optimizing the viewpoint position so that a plurality of observers have a uniform degree of distortion. In addition, when there are three or more observers, distortion correction parameters are set so that distortion is reduced for two or more of them, so that a specific person (s) can observe an image with the same distortion. Distortion correction can be performed.

つぎに、本発明を適用した映像表示システムにおいて、映像投影部11によって表示させた映像に輝度補正を施す例について、図5及び図6を参照して説明する。なお、上述した映像表示システムと同様の部分については同一符号を付することによってその詳細な説明を省略する。   Next, in the video display system to which the present invention is applied, an example in which luminance correction is performed on the video displayed by the video projection unit 11 will be described with reference to FIGS. 5 and 6. The same parts as those in the video display system described above are denoted by the same reference numerals, and detailed description thereof is omitted.

この映像表示システムは、図5に示すように、映像投影部11によって投影して前記映像投影面に表示される映像の輝度分布を記憶する輝度分布記憶部31と、映像投影部11によって映像を映像投影面に投影した時の映像の輝度分布を検出する輝度分布測定部32と、輝度分布測定部32により検出された映像の輝度分布を、輝度分布記憶部31に記憶された映像の輝度分布に近づけるように輝度補正を行う輝度補正処理部33とを更に備える。   As shown in FIG. 5, the video display system includes a luminance distribution storage unit 31 that stores a luminance distribution of a video that is projected by the video projection unit 11 and displayed on the video projection plane, and a video that is displayed by the video projection unit 11. A luminance distribution measuring unit 32 that detects the luminance distribution of the video when projected onto the video projection plane, and the luminance distribution of the video detected by the luminance distribution measuring unit 32 is stored in the luminance distribution storage unit 31. And a brightness correction processing unit 33 that performs brightness correction so that

輝度分布記憶部31は、予め投影する映像の輝度情報を保有している。この輝度分布は、映像投影部11に供給される映像データや、ユーザの設定に基づいて設定されている。輝度分布記憶部31に記憶されている輝度分布は、基本となる数段階の輝度画像(テストパターン)を記録しており、その映像を任意曲面に投影することで、輝度補正を行う為のデータであっても良い。   The luminance distribution storage unit 31 holds the luminance information of the image to be projected in advance. This luminance distribution is set based on video data supplied to the video projection unit 11 and user settings. The luminance distribution stored in the luminance distribution storage unit 31 records basic luminance images (test patterns) in several steps, and data for correcting the luminance by projecting the video onto an arbitrary curved surface. It may be.

輝度分布測定部32は、例えばカメラであり、映像投影面に表示された映像を撮像して、当該映像の輝度分布を算出して、輝度補正処理部33に渡す。   The luminance distribution measurement unit 32 is, for example, a camera, images a video displayed on the video projection plane, calculates the luminance distribution of the video, and passes it to the luminance correction processing unit 33.

輝度補正処理部33は、輝度分布記憶部31に記憶された輝度分布と、輝度分布測定部32による輝度分布の測定値とを比較して、輝度補正をするための補正データを映像投影部11に供給する。ここで、輝度分布記憶部31に記憶されている映像の輝度分布は、平面映像を平面に投影した時に表示される輝度分布であり、輝度分布測定部32により計測される輝度分布は、任意形状の映像投影面に表示された映像の輝度分布である。したがって、輝度補正処理部33は、任意形状の映像投影面に表示された映像の輝度分布を、できる限り平面に映像を投影したときの輝度分布に近づける補正データを作成する。この補正データは、例えば、映像の各画素データの輝度をどの程度増減させるかを示す。   The luminance correction processing unit 33 compares the luminance distribution stored in the luminance distribution storage unit 31 with the measured value of the luminance distribution by the luminance distribution measuring unit 32, and supplies correction data for correcting the luminance to the video projection unit 11. To supply. Here, the luminance distribution of the video stored in the luminance distribution storage unit 31 is a luminance distribution displayed when a plane image is projected onto a plane, and the luminance distribution measured by the luminance distribution measuring unit 32 is an arbitrary shape. It is a luminance distribution of the image | video displayed on the image | video projection surface. Therefore, the luminance correction processing unit 33 creates correction data that approximates the luminance distribution of the video displayed on the video projection surface having an arbitrary shape to the luminance distribution when the video is projected onto a plane as much as possible. This correction data indicates, for example, how much the luminance of each pixel data of the video is increased or decreased.

また、輝度補正処理部33によって補正データを作成する場合に、輝度分布記憶部31に記憶された所定の輝度分布と、相似形の輝度分布となるように補正データを作成することが望ましい。すなわち、例えば所定の輝度分布が、映像中央部の輝度が最も高く映像端部の輝度が最も低いような輝度分布である場合、当該輝度分布の形状と相似形となるように補正データを作成できれば、最も輝度が高い映像部分を所定の輝度分布と同じ輝度とする必要はない。   When the correction data is generated by the luminance correction processing unit 33, it is desirable to generate the correction data so that the predetermined luminance distribution stored in the luminance distribution storage unit 31 is similar to the luminance distribution. That is, for example, if the predetermined luminance distribution is such that the luminance at the center of the video is the highest and the luminance at the end of the video is the lowest, if correction data can be created so as to be similar to the shape of the luminance distribution It is not necessary for the video portion with the highest luminance to have the same luminance as the predetermined luminance distribution.

映像投影部11は、輝度補正処理部33から輝度分布の補正データが供給された場合に、当該補正データに基づいて映像の輝度を補正する。これによって、平面映像に近い輝度分布の映像を映像投影面に表示できる。   When the luminance distribution correction data is supplied from the luminance correction processing unit 33, the video projection unit 11 corrects the luminance of the video based on the correction data. As a result, an image having a luminance distribution close to a planar image can be displayed on the image projection surface.

このような映像表示システムは、その動作を図6に示すように、先ず上述したステップS1〜ステップS11の処理を行って、映像投影範囲と観察者視野の範囲との差分を略0とした後に、ステップS31以降の処理を行う。   As shown in FIG. 6, such a video display system first performs the processes of steps S <b> 1 to S <b> 11 described above, and sets the difference between the video projection range and the range of the observer's field of view to be substantially zero. The processes after step S31 are performed.

ステップS31において、映像投影部11は、輝度補正のための映像投影を行う。このとき、映像投影部11は、予め輝度分布記憶部31に記憶されているテストパターンを投影しても良い。   In step S31, the video projection unit 11 performs video projection for luminance correction. At this time, the video projection unit 11 may project a test pattern stored in advance in the luminance distribution storage unit 31.

次のステップS32において、輝度分布測定部32は、輝度補正のために、ステップS31にて投影された映像の輝度分布を測定する。   In the next step S32, the luminance distribution measuring unit 32 measures the luminance distribution of the image projected in step S31 for luminance correction.

次のステップS33において、輝度補正処理部33は、ステップS31にて投影している映像の所定の輝度分布を輝度分布記憶部31から取得し、当該所定の輝度分布と、ステップS32にて測定された輝度分布とを比較する。そして、現在映像投影面に表示されている映像の輝度分布を所定の輝度分布に近づける補正データを作成して、映像投影部11によって輝度補正を行わせる。ここで、映像表示システムは、上述の歪み補正部22を備えている場合には、歪み補正パラメータによって歪み補正後の映像についての補正データを輝度補正処理部33によって作成して、映像投影部11に供給する。   In the next step S33, the luminance correction processing unit 33 acquires a predetermined luminance distribution of the image projected in step S31 from the luminance distribution storage unit 31, and the predetermined luminance distribution and the measured luminance distribution are measured in step S32. Compare the brightness distribution. Then, correction data for making the luminance distribution of the video currently displayed on the video projection plane close to a predetermined luminance distribution is generated, and the video projection unit 11 performs luminance correction. Here, when the video display system includes the above-described distortion correction unit 22, correction data for the video after distortion correction is generated by the luminance correction processing unit 33 using the distortion correction parameter, and the video projection unit 11. To supply.

次のステップS34において、輝度補正処理部33は、再度輝度分布測定部32によって測定された現在映像投影面に表示されている映像の輝度分布と所定の輝度分布とを比較して、補正後の輝度分布が所定の輝度分布に対してしきい値内の差異か否かを判定する。このしきい値は、映像表示システムの導入時にユーザ等によって決定される。例えば均一輝度のテストパターンをステップS31で表示した場合において、当該輝度のムラが所定のしきい値内か否かを判定することになる。   In the next step S34, the luminance correction processing unit 33 compares the luminance distribution of the image displayed on the current image projection plane measured by the luminance distribution measuring unit 32 again with a predetermined luminance distribution, and corrects the corrected luminance. It is determined whether the luminance distribution is a difference within a threshold with respect to a predetermined luminance distribution. This threshold is determined by the user or the like when the video display system is introduced. For example, when a uniform luminance test pattern is displayed in step S31, it is determined whether or not the luminance unevenness is within a predetermined threshold value.

補正後の輝度分布が所定の輝度分布に対してしきい値内の差異である場合には、輝度補正を終了し、そうではない場合には、ステップS31に処理を戻して再度輝度補正を開始する。   If the corrected luminance distribution is within the threshold value with respect to the predetermined luminance distribution, the luminance correction is terminated. If not, the process returns to step S31 and the luminance correction is started again. To do.

以上説明したように、本発明を適用した映像表示システムによれば、任意形状の映像投影面に映像を投影して、映像投影範囲を観察者視野の範囲に設定した場合において、輝度分布が所定の輝度分布とは異なる場合であっても輝度分布を補正して、平面映像と同様の輝度分布で映像を観察させることができる。これにより、映像表示システムは、任意形状の映像投影面に映像を表示する場合であっても、平面スクリーンに映像を投影した場合と近い輝度分布を再現できる。   As described above, according to the video display system to which the present invention is applied, the luminance distribution is predetermined when the video is projected onto the video projection surface having an arbitrary shape and the video projection range is set to the range of the observer's field of view. Even when the brightness distribution is different from the brightness distribution, the brightness distribution can be corrected so that the image can be observed with the same brightness distribution as that of the planar image. As a result, the video display system can reproduce the luminance distribution close to the case where the video is projected on the flat screen even when the video is displayed on the video projection surface having an arbitrary shape.

また、この映像表示システムによれば、映像の歪み補正と共に映像の輝度補正を行うことによって、任意形状の映像投影面に歪みや明るさにムラのない映像を、観察者が指定した視野を覆うような表示を実現できる。   In addition, according to this video display system, by correcting the video brightness as well as correcting the video distortion, the video image with no distortion or brightness on the video projection surface of any shape is covered with the visual field specified by the observer. Such a display can be realized.

なお、輝度補正処理部33で演算される輝度分布の補正データは、繰り返して輝度分布を補正することによって、より精度よく補正することができる。また、輝度補正処理部33で行われる輝度補正は、輝度補正の繰り返し回数又は輝度分布の差の平均値にしきい値を設けることによって、補正精度を調整できる。   Note that the luminance distribution correction data calculated by the luminance correction processing unit 33 can be corrected more accurately by repeatedly correcting the luminance distribution. Further, the luminance correction performed by the luminance correction processing unit 33 can adjust the correction accuracy by providing a threshold value for the average value of the number of repetitions of luminance correction or the difference in luminance distribution.

また、輝度補正を所定の回数行っても映像の輝度分布が所定の輝度分布とならない場合には、観察者視野の範囲を変更するなどの対応を通知しても良い。更に、忠実な輝度分布の再現が難しい場合には、相互に隣接する画素の輝度差を保持しつつ元となる映像より全体的に輝度を上げる又は下げる輝度分布の補正をしても良い。更にまた、輝度補正を行わない動作モードと自動的に輝度補正を行う動作モードとを観察者によって判断させて、観察者の好みに合わせた輝度補正を行うこともできる。   If the luminance distribution of the video does not become the predetermined luminance distribution even after performing the luminance correction a predetermined number of times, a response such as changing the range of the observer's visual field may be notified. Furthermore, when it is difficult to reproduce a faithful luminance distribution, the luminance distribution may be corrected as a whole to increase or decrease the luminance of the original video while maintaining the luminance difference between adjacent pixels. Furthermore, it is possible to perform brightness correction according to the viewer's preference by allowing an observer to determine an operation mode in which no brightness correction is performed and an operation mode in which brightness correction is automatically performed.

つぎに、本発明を適用した映像表示システムにおいて、映像投影部11によって表示させた映像に色補正を施す例について、図7及び図8を参照して説明する。なお、上述した映像表示システムと同様の部分については同一符号を付することによってその詳細な説明を省略する。   Next, an example in which color correction is performed on an image displayed by the image projection unit 11 in the image display system to which the present invention is applied will be described with reference to FIGS. The same parts as those in the video display system described above are denoted by the same reference numerals, and detailed description thereof is omitted.

この映像表示システムは、図7に示すように、映像投影部11によって所定の画像パターンを投影して映像投影面に表示される映像の色分布を記憶する色分布記憶部41と、映像投影部11によって所定の画像パターンを映像投影面に投影した時の映像の色分布を検出する色分布測定部42と、色分布測定部42により検出された映像の色分布を、色分布記憶部41に記憶された映像の色分布に近づけるように色補正を行う色補正処理部43とを備えている。この映像表示システムは、映像投影面に投影するための映像の色分布データ(RGBなど)と実際に投影されている映像の色分布とに基づいて色補正処理部43によって映像の色補正を行い、映像投影面に投影する映像をオリジナルの色分布で投影するものである。なお、図7には、歪み補正をする機能や、輝度分布を補正する機能を図示していないが備えていても良いのは勿論である。   As shown in FIG. 7, this video display system includes a color distribution storage unit 41 that stores a color distribution of a video that is projected on a video projection plane by projecting a predetermined image pattern by the video projection unit 11, and a video projection unit. 11, the color distribution measuring unit 42 that detects the color distribution of the image when a predetermined image pattern is projected onto the image projection plane, and the color distribution of the image detected by the color distribution measuring unit 42 are stored in the color distribution storage unit 41. A color correction processing unit 43 that performs color correction so as to be close to the color distribution of the stored video. In this video display system, the color correction processing unit 43 performs color correction of the video based on the color distribution data (RGB, etc.) of the video to be projected onto the video projection plane and the color distribution of the video actually projected. The video projected on the video projection plane is projected with the original color distribution. In addition, although the function which corrects distortion and the function which correct | amends luminance distribution are not illustrated in FIG. 7, of course, you may provide.

色分布記憶部41は、例えば、基本色となる16色の色情報をRGB値として記憶している。   The color distribution storage unit 41 stores, for example, color information of 16 colors serving as basic colors as RGB values.

色分布測定部42は、例えばカメラであり、映像投影面に表示された映像を撮像して、当該映像のRGBの色分布を算出して、色補正処理部43に渡す。   The color distribution measurement unit 42 is, for example, a camera, captures an image displayed on the image projection plane, calculates an RGB color distribution of the image, and passes the image to the color correction processing unit 43.

色補正処理部43は、色分布記憶部41に記憶された色分布と、色分布測定部42による色分布の測定値とを比較して、色補正をするための補正データを映像投影部11に供給する。ここで、色分布記憶部41に記憶されている映像の色分布は、例えば白色単色のスクリーンに映像を投影した時に表示される均一の色分布であり、色分布測定部42により計測される色分布は、任意形状の映像投影面に表示された映像の色分布である。したがって、色補正処理部43は、任意形状の映像投影面に表示された映像の色分布を、できる限り単色の映像投影面に映像を投影したときの色分布に近づける補正データを作成する。この補正データは、例えば、映像の各画素データの色をどの程度増減させるかを示す。   The color correction processing unit 43 compares the color distribution stored in the color distribution storage unit 41 with the measurement value of the color distribution measured by the color distribution measurement unit 42 and supplies correction data for color correction to the video projection unit 11. To supply. Here, the color distribution of the video stored in the color distribution storage unit 41 is, for example, a uniform color distribution displayed when the video is projected onto a white monochrome screen, and the color measured by the color distribution measurement unit 42. The distribution is a color distribution of an image displayed on a video projection surface having an arbitrary shape. Therefore, the color correction processing unit 43 creates correction data that approximates the color distribution of the video displayed on the video projection plane having an arbitrary shape as close as possible to the color distribution when the video is projected onto the monochromatic video projection plane. This correction data indicates, for example, how much the color of each pixel data of the video is increased or decreased.

映像投影部11は、色補正処理部43から色分布の補正データが供給された場合に、当該補正データに基づいて映像の色を補正する。   When the color distribution correction data is supplied from the color correction processing unit 43, the video projection unit 11 corrects the color of the video based on the correction data.

このような映像表示システムは、その動作を図8に示すように、先ず上述したステップS1〜ステップS11の処理を行って、映像投影範囲と観察者視野の範囲との差分を略0とした後に、ステップS41以降の処理を行う。   As shown in FIG. 8, such a video display system first performs the processes of steps S <b> 1 to S <b> 11 described above to set the difference between the video projection range and the range of the observer's field of view to substantially zero. The process after step S41 is performed.

ステップS41において、映像投影部11は、色補正のための映像投影を行う。このとき、映像投影部11は、予め色分布記憶部41に記憶されている単色の単色映像を投影しても良い。   In step S41, the video projection unit 11 performs video projection for color correction. At this time, the video projection unit 11 may project a monochromatic single-color video stored in advance in the color distribution storage unit 41.

次のステップS42において、色分布測定部42は、色補正のために、ステップS41にて投影された映像の色分布を測定する。   In the next step S42, the color distribution measuring unit 42 measures the color distribution of the image projected in step S41 for color correction.

次のステップS43において、色補正処理部43は、ステップS41にて投影している映像の所定の色分布を色分布記憶部41から取得し、当該所定の色分布と、ステップS42にて測定された色分布とを比較する。そして、現在映像投影面に表示されている映像の色分布を所定の色分布に近づける補正データを作成して、映像投影部11によって色補正を行わせる。ここで、映像表示システムは、上述の歪み補正部22を備えている場合には、歪み補正パラメータによって歪み補正後の映像についての補正データを色補正処理部43によって作成して、映像投影部11に供給する。   In the next step S43, the color correction processing unit 43 acquires a predetermined color distribution of the image projected in step S41 from the color distribution storage unit 41, and the predetermined color distribution and the measurement are measured in step S42. Compare the color distribution. Then, correction data for making the color distribution of the image currently displayed on the image projection plane close to a predetermined color distribution is generated, and the image projection unit 11 performs color correction. Here, when the video display system includes the distortion correction unit 22 described above, the color correction processing unit 43 generates correction data for the video after distortion correction using the distortion correction parameters, and the video projection unit 11. To supply.

ステップS41において単色の映像を表示した場合、色分布記憶部41は、ステップS43において、それぞれの単色データの情報をRGB分布として取得する。壁面である映像投影面が均一な色又は材質で無い場合には、単色の映像を投影しても、映像投影面に色が均一な映像が投影されないので、色分布を均一にするための補正データを作成する。色補正処理部43では、それぞれの色でどのように補正すればよいかを演算して、補正データを作成する。   When a monochrome image is displayed in step S41, the color distribution storage unit 41 acquires information of each monochrome data as an RGB distribution in step S43. If the image projection surface, which is a wall, is not of a uniform color or material, even if a single color image is projected, an image with a uniform color will not be projected on the image projection surface, so correction to make the color distribution uniform Create data. The color correction processing unit 43 calculates how to correct each color and creates correction data.

次のステップS44において、色補正処理部43は、再度色分布測定部42によって測定された現在映像投影面に表示されている映像の色分布と所定の色分布とを比較して、補正後の色分布が所定の色分布に対してしきい値内の差異か否かを判定する。このしきい値は、映像表示システムの導入時にユーザ等によって決定される。例えば均一色のテストパターンをステップS31で表示した場合において、当該色のムラが所定のしきい値内か否かを判定することになる。   In the next step S44, the color correction processing unit 43 compares the color distribution of the image displayed on the current image projection plane again measured by the color distribution measuring unit 42 with a predetermined color distribution, and corrects the corrected color. It is determined whether the color distribution is a difference within a threshold with respect to a predetermined color distribution. This threshold is determined by the user or the like when the video display system is introduced. For example, when a uniform color test pattern is displayed in step S31, it is determined whether or not the color unevenness is within a predetermined threshold value.

補正後の色分布が所定の色分布に対してしきい値内の差異である場合には、ステップS45に処理を進め、そうではない場合には、ステップS31に処理を戻して再度色補正を開始する。ステップS45においては、ステップS41〜ステップS44の処理を予め設定された全色について行ったか否かを判定して、全色について補正が完了したと判定した場合には、処理を終了する。   If the corrected color distribution is a difference within the threshold with respect to the predetermined color distribution, the process proceeds to step S45. If not, the process returns to step S31 to perform color correction again. Start. In step S45, it is determined whether or not the processing in steps S41 to S44 has been performed for all the preset colors. If it is determined that the correction has been completed for all the colors, the processing ends.

これによって、映像表示システムは、例えば、赤色の単色映像を表示してRGB分布を測定してRGBのそれぞれについて補正データを作成し、緑色の単色映像を表示してRGB分布を測定してRGBのそれぞれについて補正データを作成し、青色の単色映像を表示してRGB分布を測定してRGBのそれぞれについて補正データを作成することができる。   Accordingly, the video display system displays, for example, a red single color video, measures the RGB distribution, creates correction data for each of RGB, displays a green single color video, measures the RGB distribution, and measures the RGB distribution. It is possible to create correction data for each of them, display a blue monochromatic image, measure the RGB distribution, and create correction data for each of RGB.

以上説明したように、本発明を適用した映像表示システムによれば、任意形状の映像投影面に映像を投影して、映像投影範囲を観察者視野の範囲に設定した場合において、色分布が所定の色分布とは異なる場合であっても色分布を補正して、白色単色のスクリーンに映像を投影した場合と同様の色分布で映像を観察させることができる。これにより、映像表示システムは、任意形状且つ複数色又は複数の異なる材質からなる壁面などを映像投影面とした場合であっても、平面スクリーンに映像を投影した場合と近い色分布を再現できる。   As described above, according to the video display system to which the present invention is applied, the color distribution is predetermined when the video is projected onto the video projection surface having an arbitrary shape and the video projection range is set to the range of the observer's field of view. Even if the color distribution is different from the color distribution, the color distribution can be corrected and the video can be observed with the same color distribution as when the video is projected onto a white monochrome screen. As a result, the video display system can reproduce a color distribution close to that when an image is projected onto a flat screen even when a wall surface made of an arbitrary shape and a plurality of colors or different materials is used as a video projection surface.

また、映像表示システムは、上述したように歪み補正部22を更に備えることにより、映像投影部11と映像投影面との位置関係や映像投影面の形状に基づいて歪み補正をした映像に、色分布の補正を施すことができる。   In addition, the video display system further includes the distortion correction unit 22 as described above, so that the color corrected by the distortion correction based on the positional relationship between the video projection unit 11 and the video projection surface or the shape of the video projection surface Distribution correction can be performed.

なお、色補正処理部43で演算される色分布の補正データは、繰り返して色分布を補正することによって、より精度よく補正することができる。また、色補正処理部43で行われる色補正は、色補正の繰り返し回数又は色分布の差の平均値にしきい値を設けることによって、補正精度を調整できる。更に、色補正を所定の回数行っても映像の色分布が所定の色分布とならない場合には、観察者視野の範囲を変更するなどの対応を通知しても良い。更に、忠実な色分布の再現が難しい場合には、相互に隣接する画素の色の相対差を保持しつつ元となる映像より全体的に色味を変化させる補正をしても良い。更にまた、色補正を行わない動作モードと自動的に色補正を行う動作モードとを観察者によって判断させて、観察者の好みに合わせた色補正を行うこともできる。   The color distribution correction data calculated by the color correction processing unit 43 can be corrected more accurately by repeatedly correcting the color distribution. Further, the color correction performed by the color correction processing unit 43 can adjust the correction accuracy by providing a threshold value for the average number of color correction repetitions or color distribution differences. Furthermore, if the color distribution of the video does not become the predetermined color distribution even after the color correction is performed a predetermined number of times, a response such as changing the range of the observer's visual field may be notified. Further, when it is difficult to reproduce the faithful color distribution, correction may be performed so that the color is changed as a whole from the original video while maintaining the relative difference between the colors of adjacent pixels. Furthermore, it is possible to perform color correction according to the observer's preference by allowing the observer to determine an operation mode in which color correction is not performed and an operation mode in which color correction is automatically performed.

つぎに、本発明を適用した映像表示システムにおいて、映像投影部11によって表示させた映像における画素サイズに補正を施す例について、図9,図10及び図11を参照して説明する。なお、上述した映像表示システムと同様の部分については同一符号を付することによってその詳細な説明を省略する。   Next, in the video display system to which the present invention is applied, an example in which the pixel size in the video displayed by the video projection unit 11 is corrected will be described with reference to FIG. 9, FIG. 10, and FIG. The same parts as those in the video display system described above are denoted by the same reference numerals, and detailed description thereof is omitted.

この映像表示システムは、図9に示すように、映像投影位置移動部15によって移動された映像投影部11と映像投影面との距離を検出する投影面距離取得部51(距離検出手段)と、投影面距離取得部51により検出された距離に基づいて、映像投影面の全面における映像の画素サイズを演算する画素サイズ演算部52と、映像投影面の全面において画素サイズが均一となるように映像を補正する映像補正処理部53とを更に備える。この映像表示システムは、映像投影部11から映像投影面までの距離を算出することによって映像投影面の形状を求めて、映像投影面に表示された画素が均一の大きさとなるような補正処理を行う。なお、図9には、歪み補正をする機能や、輝度分布、色分布を補正する機能を図示していないが備えていても良いのは勿論である。   As shown in FIG. 9, the video display system includes a projection plane distance acquisition unit 51 (distance detection unit) that detects a distance between the video projection unit 11 moved by the video projection position moving unit 15 and the video projection plane, Based on the distance detected by the projection plane distance acquisition unit 51, a pixel size calculation unit 52 that calculates the pixel size of the image on the entire surface of the image projection surface, and an image so that the pixel size is uniform on the entire surface of the image projection surface And a video correction processing unit 53 for correcting the above. This video display system obtains the shape of the video projection surface by calculating the distance from the video projection unit 11 to the video projection surface, and performs correction processing so that the pixels displayed on the video projection surface have a uniform size. Do. Note that FIG. 9 does not show a function for correcting distortion, or a function for correcting luminance distribution and color distribution, but of course may be provided.

投影面距離取得部51としては、例えば映像投影部11の可視光、赤外線、超音波などを映像投影面に出射し、その反射光、反射波に基づいて、映像投影部11と映像投影面との距離を求めるものや、カメラによって撮影した映像を解析して距離を演算するものなどが用いられる。投影面距離取得部51は、映像投影面中の複数の点について、映像投影部11との距離を求めて、映像投影面の形状を取得する。この映像投影面の形状を示す距離データは、画素サイズ演算部52に供給される。   As the projection plane distance acquisition unit 51, for example, the visible light, infrared rays, and ultrasonic waves of the video projection unit 11 are emitted to the video projection surface, and the video projection unit 11 and the video projection surface are based on the reflected light and the reflected wave. For calculating the distance of the camera, or for calculating the distance by analyzing the video taken by the camera. The projection plane distance acquisition unit 51 obtains the distance from the video projection unit 11 for a plurality of points on the video projection plane, and acquires the shape of the video projection plane. The distance data indicating the shape of the image projection plane is supplied to the pixel size calculation unit 52.

画素サイズ演算部52は、投影面距離取得部51かあら得られた距離データから、当該距離によって生じる映像の歪みを算出する。例えば、映像投影部11に正対した平面に映像を投影した場合には、図11(a)に示すように映像の全画素(A1,A2,A3,・・・、B1,B2,B3,・・・、C1,C2,C3,・・・)が同一の大きさで投影されるが、映像投影面内に凹凸があり映像投影部11との距離が異なると、図11(b)に示すように、一部の画素(A3,B3,C3,・・・)のみが大きくなるといった不具合が発生する。画素サイズ演算部52は、このような映像投影面内で最も画素が大きいものを検出して、図11(c)に示すように、全画素を同じ大きさとする。例えば、映像投影面の凹凸によって拡大された画素が、通常の大きさの画素の2倍となった場合には、画素A1と画素A2とを1画素とする補正データを作成する。この補正は、映像の解像度を映像投影面に表示されている映像の全体で低下させる処理に相当する。なお、この画素サイズの補正データは、解像度を示すデータや、最大画素サイズを示すデータであっても良く、最大サイズの縦横比を示すデータであっても良い。   The pixel size calculation unit 52 calculates the distortion of the video caused by the distance from the distance data obtained from the projection plane distance acquisition unit 51. For example, when an image is projected on a plane facing the image projection unit 11, all the pixels (A1, A2, A3,..., B1, B2, B3, etc.) are displayed as shown in FIG. .., C1, C2, C3,... Are projected with the same size, but there are irregularities in the image projection plane and the distance from the image projection unit 11 is different, the result is as shown in FIG. As shown, there is a problem that only some pixels (A3, B3, C3,...) Become large. The pixel size calculator 52 detects the largest pixel in such a video projection plane, and sets all the pixels to the same size as shown in FIG. For example, when the number of pixels enlarged by the projections and depressions on the image projection surface is twice that of a normal size pixel, correction data is created with the pixels A1 and A2 as one pixel. This correction corresponds to a process of reducing the resolution of the video for the entire video displayed on the video projection plane. The pixel size correction data may be data indicating resolution, data indicating the maximum pixel size, or data indicating the aspect ratio of the maximum size.

映像補正処理部53は、画素サイズ演算部52から供給された補正データに基づいて映像データに補正処理を施して、映像投影部11に供給する。このとき、映像補正処理部53は、補正データに従って映像投影面の画素を最大画素サイズで統一し、且つ、補正後の最大サイズの画素を構成していた画素の色情報を混合して、補正後の画素の色情報とする。例えば図11(c)に示すように、画素A1と画素A2とを1画素とした場合、当該1画素の色情報を、当該画素A1と画素A2との中間色とする。   The video correction processing unit 53 performs correction processing on the video data based on the correction data supplied from the pixel size calculation unit 52 and supplies the video data to the video projection unit 11. At this time, the video correction processing unit 53 unifies the pixels on the video projection surface with the maximum pixel size according to the correction data, and mixes the color information of the pixels that constitute the corrected maximum size pixel to correct the image. The color information of the subsequent pixel is used. For example, as shown in FIG. 11C, when the pixel A1 and the pixel A2 are one pixel, the color information of the one pixel is an intermediate color between the pixel A1 and the pixel A2.

このような映像表示システムは、その動作を図10に示すように、先ず上述したステップS1〜ステップS11の処理を行って、映像投影範囲と観察者視野の範囲との差分を略0とした後に、ステップS51以降の処理を行う。   As shown in FIG. 10, such an image display system first performs the above-described steps S1 to S11 and sets the difference between the image projection range and the range of the observer's field of view to be substantially zero. Then, the processing after step S51 is performed.

投影面距離取得部51は、ステップS51において、映像投影部11から映像投影面までの距離を複数の映像投影面上の点について取得し、画素サイズ演算部52は、ステップS52において、最大の画素サイズを算出する。画素サイズ演算部52は、最大サイズで映像を構成した時の解像度を補正データとする。   In step S51, the projection plane distance acquisition unit 51 acquires the distances from the video projection unit 11 to the video projection plane for points on the plurality of video projection planes, and the pixel size calculation unit 52 determines the maximum pixel in step S52. Calculate the size. The pixel size calculation unit 52 uses the resolution when the video is composed with the maximum size as the correction data.

次のステップS53において、映像補正処理部53は、ステップS52にて算出された補正データに基づいて、映像データの解像度を補正する。   In the next step S53, the video correction processing unit 53 corrects the resolution of the video data based on the correction data calculated in step S52.

次のステップS54において、映像補正処理部53は、実際の各画素に色情報を割り当てる。このとき、補正前の映像データの色情報が、補正後の映像データのどの画素の色情報に含まれるかを決定して、補正後の映像データを作成する。   In the next step S54, the video correction processing unit 53 assigns color information to each actual pixel. At this time, it is determined which pixel color information of the video data after correction is included in the color information of the video data after correction, and the corrected video data is created.

以上説明したように、本発明を適用した映像表示システムによれば、任意形状の映像投影面に映像を投影して、映像投影範囲を観察者視野の範囲に設定した場合において、映像投影面の形状によって映像全体に亘って画素サイズが均一にならない時でも、全画素のサイズを最大の画素サイズに補正することができる。したがって、この映像表示システムによれば、壁面の凹凸に映像を表示させても、画像全体で均一な画質の映像を表示することができる。   As described above, according to the video display system to which the present invention is applied, when the video is projected onto the video projection surface having an arbitrary shape and the video projection range is set to the range of the observer's field of view, Even when the pixel size does not become uniform over the entire image due to the shape, the size of all the pixels can be corrected to the maximum pixel size. Therefore, according to this video display system, even if a video is displayed on the unevenness of the wall surface, a video with uniform image quality can be displayed over the entire image.

なお、映像補正処理部53には、画素サイズ演算部52によって演算した補正データに代えて、画素についての縦横比を観察者によって直接入力しても良い。また、最大の画素サイズを決定する処理は、観察者が映像をみながら手動で入力しても良く、更に、観察者視野(映像投影範囲内)において、できる限り画素サイズを大きくしたくない部分が存在する場合には、図示しないタッチパネルによって重要範囲を指定させ、当該重要範囲の画素サイズで均一としても良く、更にまた、重要範囲以外での画素サイズと、それ以外での画素サイズとを別々に設定しても良い。   In addition, instead of the correction data calculated by the pixel size calculation unit 52, the aspect ratio of the pixels may be directly input to the video correction processing unit 53 by the observer. In addition, the process of determining the maximum pixel size may be manually input by the observer while viewing the image, and further, in the observer's field of view (within the image projection range), where the pixel size is not desired to be as large as possible. If an important range is present, an important range may be specified by a touch panel (not shown), and the pixel size of the important range may be uniform. Further, the pixel size outside the important range and the pixel size outside the important range may be separated. It may be set to.

つぎに、本発明を適用した映像表示システムにおいて、映像投影部11によって表示させた映像における重要部分を表示する例について、図12〜図14を参照して説明する。なお、上述した映像表示システムと同様の部分については同一符号を付することによってその詳細な説明を省略する。   Next, in the video display system to which the present invention is applied, an example in which an important part in the video displayed by the video projection unit 11 is displayed will be described with reference to FIGS. The same parts as those in the video display system described above are denoted by the same reference numerals, and detailed description thereof is omitted.

この映像表示システムは、図12及び図13に示すように、重要視野表示部61を備え、観察者の視野の範囲内且つ映像投影範囲内に、当該映像投影面に表示させている映像内の一部(重要部分)を強調する強調表示画像を表示するものである。   As shown in FIGS. 12 and 13, this video display system includes an important visual field display unit 61, which is within the range of the viewer's visual field and within the video projection range, in the video displayed on the video projection plane. A highlighted image that emphasizes a part (important part) is displayed.

重要視野表示部61は、映像内で観察者に注目させたい重要な領域を、可視光や赤外線光によって指定するものである。重要視野表示部61は、例えば観察者によって操作されることによって、観察者視野表示部2と同様に、映像投影範囲のうちで観察者が重要と指定する領域を表示する。この重要視野表示部61によって指定されている重要部分は、観察者視野検出部13によって検出される。   The important visual field display unit 61 is used to designate an important region in the video that the observer wants to pay attention to by visible light or infrared light. The important visual field display unit 61 is operated by, for example, an observer, and displays an area designated by the observer as important in the video projection range, like the observer visual field display unit 2. The important part designated by the important visual field display unit 61 is detected by the observer visual field detection unit 13.

重要視野表示部61によって指定されている重要部分を示す座標データは、観察者視野検出部13から制御演算部14に供給される。制御演算部14は、重要部分についての解像度を、当該重要部分以外の解像度よりも高くする制御信号を映像投影部11に与える。これにより、重要部分を強調表示して、当該重要部分に視線を誘導させる。   Coordinate data indicating an important part designated by the important visual field display unit 61 is supplied from the observer visual field detection unit 13 to the control calculation unit 14. The control calculation unit 14 gives the video projection unit 11 a control signal that makes the resolution of the important part higher than the resolution of the other important parts. As a result, the important part is highlighted and the line of sight is guided to the important part.

制御演算部14は、例えば映像投影部11が一台のプロジェクタからなる場合、図12に示した重要映像範囲とそれ以外の範囲との解像度の差を付けて、映像を表示するように一台の映像投影部11を制御する。また、映像表示装置1を映像投影部11が複数台からなるプロジェクタである場合、映像投影範囲全体を一台の映像投影部11によって表示し、図12に示した重要映像範囲を他の映像投影部11によって表示する。このとき、重要映像範囲を表示する映像投影部11は、他の部分を表示する映像投影部11よりも高い解像度の映像を出力する。   For example, when the video projection unit 11 is composed of a single projector, the control calculation unit 14 displays a video with a difference in resolution between the important video range shown in FIG. 12 and other ranges. The video projection unit 11 is controlled. When the video display device 1 is a projector including a plurality of video projection units 11, the entire video projection range is displayed by the single video projection unit 11, and the important video range shown in FIG. Displayed by the unit 11. At this time, the video projection unit 11 that displays the important video range outputs a video having a higher resolution than the video projection unit 11 that displays other portions.

このような映像表示システムは、その動作を図14に示すように、上述のステップS1〜ステップS6と並列して、ステップS61〜ステップS63の処理を行う。   Such a video display system performs the processing of steps S61 to S63 in parallel with the above-described steps S1 to S6, as shown in FIG.

この映像表示システムは、上述したステップS1〜ステップS6が、観察者視野及び映像投影範囲を認識する処理であって映像投影範囲を観察者視野に近づけるための準備のための処理を行う(ステップS70)。また、ステップS70に平行して、映像表示システムは、重要映像範囲が観察者視野内に存在しているか否かを判定する処理として、ステップS1〜ステップS3及びステップS61〜ステップS63を行う(ステップS71)。また、ステップS70及びステップS71の処理後は、映像投影範囲を観察者視野に近づけるステップS7〜ステップS11の処理が行われる。   In this video display system, the above-described steps S1 to S6 are processes for recognizing the observer's visual field and video projection range, and perform preparations for bringing the video projection range closer to the observer's visual field (step S70). ). In parallel with step S70, the video display system performs steps S1 to S3 and steps S61 to S63 as processing for determining whether or not the important video range exists in the observer's field of view (step S63). S71). In addition, after the processing of Step S70 and Step S71, the processing of Step S7 to Step S11 is performed to bring the video projection range closer to the observer's field of view.

ステップS61において、映像表示システムは、例えば観察者の操作によって重要視野表示部61によって映像投影範囲に重要部分における視野中心を表示し、ステップS62において、観察者視野検出部13によって重要部分の視野中心を探索する。そして、観察者視野検出部13によって重要部分の視野中心が検出された場合に、ステップS7に処理を進める。   In step S61, the video display system displays, for example, the visual field center in the important part in the video projection range by the important visual field display unit 61 by the operation of the observer, and in step S62, the visual field center of the important part is displayed by the observer visual field detection unit 13. Explore. When the observer visual field detection unit 13 detects the visual field center of the important part, the process proceeds to step S7.

次に、映像表示システムは、映像投影部11を制御することによってステップS7〜ステップS11の処理を行って重要部分以外の視野範囲に表示を行うと共に、映像投影範囲における重要部分を重要視野表示部61によって表示する(ステップS72)。   Next, the video display system controls the video projection unit 11 to perform the processes in steps S7 to S11 to display in the visual field range other than the important part, and to display the important part in the video projection range as the important visual field display unit. 61 is displayed (step S72).

映像投影部11が一台である場合、ステップS72においては、映像投影部11は、映像投影範囲の解像度を高い状態で映像を表示しており、この状態において、映像投影位置移動部15によって映像投影範囲が移動される。ステップS72によって、映像投影範囲が観察者視野に一致した後、ステップS80において、重要映像範囲における映像のみの解像度を維持し、そのほかの映像の解像度を低下させる。   When there is one video projection unit 11, in step S <b> 72, the video projection unit 11 displays a video with a high resolution of the video projection range. In this state, the video projection position moving unit 15 displays the video. The projection range is moved. After the video projection range matches the observer's field of view in step S72, in step S80, the resolution of only the video in the important video range is maintained, and the resolution of the other video is reduced.

また、映像投影部11が複数台からなる場合、ステップS72においては、重要映像範囲の映像表示用の映像投影部11に、重要映像範囲に映像を投影するための制御信号が供給される。映像投影範囲全体を表示させる映像投影部11は、上述した制御と同様に、ステップS70によって検出された映像投影範囲を観察者視野に近づけるように制御される。一方、重要映像範囲を表示させる映像投影部11は、ステップS80において、映像投影位置移動部15によって映像投影範囲が移動されることとは別個に、重要視野表示部61によって指示されている重要映像範囲のみに追従させて重要映像範囲における映像を表示する。   When the video projection unit 11 is composed of a plurality of units, in step S72, a control signal for projecting a video in the important video range is supplied to the video projection unit 11 for displaying the video in the important video range. The video projection unit 11 that displays the entire video projection range is controlled to bring the video projection range detected in step S70 closer to the observer's field of view, similarly to the control described above. On the other hand, the video projection unit 11 that displays the important video range, in step S80, separately from the video projection range being moved by the video projection position moving unit 15, the important video indicated by the important visual field display unit 61. The video in the important video range is displayed by following only the range.

以上説明したように、本発明を適用した映像表示システムによれば、任意形状の映像投影面に映像を投影して、映像投影範囲を観察者視野の範囲に設定した場合において、当該映像投影範囲における重要部分を強調して表示できる。例えば、映像表示装置1は、映像投影部11によって表示している映像の解像度よりも、重要部分における映像の解像度を高くすることによって、重要部分を強調して表示して、観察者の視線を誘うことができる。   As described above, according to the video display system to which the present invention is applied, when a video is projected onto a video projection surface of an arbitrary shape and the video projection range is set to the range of the observer's field of view, the video projection range You can highlight and display important parts of. For example, the video display device 1 emphasizes and displays the important part by increasing the resolution of the video in the important part as compared with the resolution of the video displayed by the video projection unit 11, and the viewer's line of sight is displayed. Can invite.

また、映像表示システムによれば、重要部分が観察者視野よりも必ず小さくなり、周りに比べ映像の解像度を高くすることにより、効果的に注意を引く又は重要部分に集中できるような映像を表示することができる。   Also, according to the video display system, the important part is always smaller than the observer's field of view, and by raising the resolution of the video compared to the surroundings, the video that can effectively draw attention or concentrate on the important part is displayed can do.

なお、重要視野表示部61と制御演算部14とを接続する場合としては、赤外線などの無線通信、シリアル通信やLANなどの有線通信の何れであっても良い。また、重要視野表示部61を増加させて、映像投影範囲内の重要視野範囲の数を増やしても良い。更に、複数の観察者の視点位置を計測をしている場合、指定した観察者から最も歪みが小さくするようにしても良い。また、複数の観察者に映像を提示しており、複数の重要部分を表示している場合、それぞれの観察者に重要部分を割り振り、それぞれの観察者から見てそれぞれの重要部分の歪みを最小限とするように歪み補正を施しても良い。   In addition, as a case where the important visual field display part 61 and the control calculating part 14 are connected, any of wireless communications, such as infrared rays, and wired communications, such as serial communications and LAN, may be sufficient. Further, the number of important visual field ranges in the video projection range may be increased by increasing the important visual field display unit 61. Further, when the viewpoint positions of a plurality of observers are measured, the distortion may be minimized from the designated observer. In addition, when video is presented to multiple observers and multiple important parts are displayed, the important parts are allocated to each observer, and the distortion of each important part is minimized by each observer. Distortion correction may be performed so as to be limited.

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。   The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and various modifications can be made depending on the design and the like as long as the technical idea according to the present invention is not deviated from this embodiment. Of course, it is possible to change.

本発明を適用した映像表示システムの構成を示すブロック図である。It is a block diagram which shows the structure of the video display system to which this invention is applied. 本発明を適用した映像表示システムにおける処理手順を示すフローチャートである。It is a flowchart which shows the process sequence in the video display system to which this invention is applied. 本発明を適用した映像表示システムにおいて、視点が変更した場合に歪み補正を行う構成を示すブロック図である。It is a block diagram which shows the structure which performs distortion correction when the viewpoint changes in the video display system to which this invention is applied. 本発明を適用した映像表示システムにおいて、視点が変更した場合に歪み補正を行う処理手順を示すフローチャートである。It is a flowchart which shows the process sequence which performs distortion correction, when the viewpoint changes in the video display system to which this invention is applied. 本発明を適用した映像表示システムにおいて、映像データの輝度補正を行う構成を示すブロック図である。It is a block diagram which shows the structure which performs the brightness | luminance correction | amendment of video data in the video display system to which this invention is applied. 本発明を適用した映像表示システムにおいて、映像データの輝度補正を行う処理手順を示すフローチャートである。It is a flowchart which shows the process sequence which performs the brightness | luminance correction | amendment of video data in the video display system to which this invention is applied. 本発明を適用した映像表示システムにおいて、映像データの色補正を行う構成を示すブロック図である。It is a block diagram which shows the structure which performs the color correction of video data in the video display system to which this invention is applied. 本発明を適用した映像表示システムにおいて、映像データの色補正を行う処理手順を示すフローチャートである。It is a flowchart which shows the process sequence which performs the color correction of video data in the video display system to which this invention is applied. 本発明を適用した映像表示システムにおいて、画素サイズを最大の画素サイズに合わせる処理手順を示すフローチャートである。It is a flowchart which shows the process sequence which adjusts a pixel size to the largest pixel size in the video display system to which this invention is applied. 本発明を適用した映像表示システムにおいて、投影面形状によって画素サイズが変わるために映像全体において画素サイズを最大サイズに変更する処理の説明図である。In the video display system to which the present invention is applied, since the pixel size changes depending on the shape of the projection surface, it is an explanatory diagram of processing for changing the pixel size to the maximum size in the entire video. 本発明を適用した映像表示システムにおいて、画素サイズが変化する様子を示す図である。It is a figure which shows a mode that pixel size changes in the video display system to which this invention is applied. 本発明を適用した映像表示システムにおいて、観察者によって映像投影範囲の重要映像範囲を指定する様子を示す図である。It is a figure which shows a mode that the important video range of a video projection range is designated by the observer in the video display system to which this invention is applied. 本発明を適用した映像表示システムにおいて、映像投影範囲に重要部分を表示させる構成を示すブロック図である。It is a block diagram which shows the structure which displays an important part in the image | video projection range in the image | video display system to which this invention is applied. 本発明を適用した映像表示システムにおいて、映像投影範囲に重要部分を表示させる処理手順を示すフローチャートである。It is a flowchart which shows the process sequence which displays an important part in the image | video projection range in the image | video display system to which this invention is applied.

符号の説明Explanation of symbols

1 映像表示装置
2 観察者視野表示部
11 映像投影部
12 表示映像検出部
13 観察者視野検出部
14 制御演算部
15 映像投影位置移動部
21 投影面形状取得部
22 歪み補正部
23 視点位置検出部
31 輝度分布記憶部
32 輝度分布測定部
33 輝度補正処理部
41 色分布記憶部
42 色分布測定部
43 色補正処理部
51 投影面距離取得部
52 画素サイズ演算部
53 映像補正処理部
61 重要視野表示部
DESCRIPTION OF SYMBOLS 1 Video display apparatus 2 Observer visual field display part 11 Video projection part 12 Display video detection part 13 Observer visual field detection part 14 Control calculating part 15 Video projection position moving part 21 Projection surface shape acquisition part 22 Distortion correction part 23 Viewpoint position detection part DESCRIPTION OF SYMBOLS 31 Luminance distribution memory | storage part 32 Luminance distribution measurement part 33 Luminance correction process part 41 Color distribution memory | storage part 42 Color distribution measurement part 43 Color correction process part 51 Projection plane distance acquisition part 52 Pixel size calculation part 53 Image correction process part 61 Important field display Part

Claims (7)

任意形状の映像投影面に対して映像投影部によって映像を投影する映像表示装置であって、
観察者の視野を表示する観察者視野表示手段と、
前記観察者視野表示手段により表示した前記観察者の視野を検出する観察者視野検出手段と、
前記映像投影部が前記映像投影面へ投影している映像の映像投影範囲を検出する映像投影範囲検出手段と、
前記観察者視野検出手段により検出された前記観察者の視野と前記映像投影範囲検出手段により検出された前記映像投影範囲との差が小さくなるように前記映像投影部を移動させる映像投影位置移動手段と
を備えたことを特徴とする映像表示装置。
An image display device that projects an image by an image projection unit on an image projection surface of an arbitrary shape
An observer visual field display means for displaying an observer's visual field;
An observer visual field detection means for detecting the visual field of the observer displayed by the observer visual field display means;
Video projection range detection means for detecting a video projection range of the video projected by the video projection unit onto the video projection plane;
Video projection position moving means for moving the video projection unit so that a difference between the visual field of the observer detected by the observer visual field detection means and the video projection range detected by the video projection range detection means becomes small. An image display device comprising:
前記映像投影位置移動手段により前記映像投影部が移動された後に、当該映像投影部が投影している映像が表示されている映像投影面の形状を取得する投影面形状取得手段と、
前記投影面形状取得手段により取得された映像投影面の形状に向けて映像を投影した場合に映像に歪みが生じないように歪み補正を行う歪み補正手段と
を更に備えたことを特徴とする請求項1に記載の映像表示装置。
A projection surface shape obtaining unit for obtaining a shape of a video projection surface on which an image projected by the video projection unit is displayed after the video projection unit is moved by the video projection position moving unit;
And further comprising distortion correction means for correcting distortion so that the image is not distorted when the image is projected toward the shape of the image projection plane acquired by the projection plane shape acquisition means. Item 2. The video display device according to Item 1.
前記観察者の視点位置を計測する視点位置計測手段と、
前記視点位置計測手段により計測された観察者の視点位置から前記映像投影面に表示された映像が歪み無く見えるように歪み補正を行う歪み補正手段と
を更に備えたことを特徴とする請求項1に記載の映像表示装置。
Viewpoint position measuring means for measuring the viewpoint position of the observer;
2. The apparatus according to claim 1, further comprising distortion correction means for performing distortion correction so that an image displayed on the image projection plane can be seen without distortion from an observer's viewpoint position measured by the viewpoint position measurement means. The video display device described in 1.
前記映像投影部によって投影して前記映像投影面に表示される映像の輝度分布を記憶する輝度分布記憶手段と、
前記映像投影部によって映像を前記映像投影面に投影した時の映像の輝度分布を検出する輝度分布検出手段と、
前記輝度分布検出手段により検出された映像の輝度分布を、前記輝度分布記憶手段に記憶された映像の輝度分布に近づけるように輝度補正を行う輝度補正手段と
を更に備えたことを特徴とする請求項1乃至請求項3の何れか一項に記載の映像表示装置。
A luminance distribution storage means for storing a luminance distribution of an image projected by the image projection unit and displayed on the image projection plane;
A luminance distribution detecting means for detecting a luminance distribution of an image when the image is projected onto the image projection plane by the image projection unit;
And a brightness correction unit configured to perform brightness correction so that the luminance distribution of the video detected by the luminance distribution detection unit approaches the luminance distribution of the video stored in the luminance distribution storage unit. The video display device according to any one of claims 1 to 3.
前記映像投影部によって所定の画像パターンを投影した時の前記映像投影面に表示される映像の色分布を記憶する色分布記憶手段と、
前記映像投影部によって所定の画像パターンを前記映像投影面に投影した時の映像の色分布を検出する色分布検出手段と、
前記色分布検出手段により検出された映像の色分布を、前記色分布記憶手段に記憶された映像の色分布に近づけるように色補正を行う色補正手段と
を更に備えたことを特徴とする請求項1乃至請求項4の何れか一項に記載の映像表示装置。
Color distribution storage means for storing a color distribution of a video displayed on the video projection plane when a predetermined image pattern is projected by the video projection unit;
Color distribution detection means for detecting a color distribution of a video when a predetermined image pattern is projected onto the video projection plane by the video projection unit;
And a color correction unit configured to perform color correction so that the color distribution of the video detected by the color distribution detection unit approaches the color distribution of the video stored in the color distribution storage unit. The video display device according to any one of claims 1 to 4.
前記映像投影部と映像投影面との距離を検出する距離検出手段と、
前記距離検出手段により検出された距離に基づいて、前記映像投影面の全面における映像の画素サイズを演算する画素サイズ演算手段と、
前記映像投影面の全面において画素サイズが均一となるように映像を補正する映像補正手段と
を更に備えたことを特徴とする請求項1乃至請求項5の何れか一項に記載の映像表示装置。
Distance detecting means for detecting a distance between the image projection unit and the image projection plane;
Pixel size calculation means for calculating the pixel size of the image on the entire surface of the image projection surface based on the distance detected by the distance detection means;
6. The video display device according to claim 1, further comprising: a video correction unit that corrects a video so that a pixel size is uniform over the entire surface of the video projection surface. .
前記観察者の視野の範囲内且つ前記映像投影範囲内に、当該映像投影面に表示させている映像内の一部を強調する強調表示を表示することを特徴とする請求項1乃至請求項6の何れか一項に記載の映像表示装置。   7. The highlighting for emphasizing a part of the image displayed on the image projection plane is displayed within the range of the visual field of the observer and within the image projection range. The video display device according to any one of the above.
JP2007140811A 2007-05-28 2007-05-28 Video display apparatus Pending JP2008294961A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007140811A JP2008294961A (en) 2007-05-28 2007-05-28 Video display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007140811A JP2008294961A (en) 2007-05-28 2007-05-28 Video display apparatus

Publications (1)

Publication Number Publication Date
JP2008294961A true JP2008294961A (en) 2008-12-04

Family

ID=40169214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007140811A Pending JP2008294961A (en) 2007-05-28 2007-05-28 Video display apparatus

Country Status (1)

Country Link
JP (1) JP2008294961A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157180A (en) * 2009-01-05 2010-07-15 Canon Inc Image processing apparatus and method
JP2011013310A (en) * 2009-06-30 2011-01-20 Dainippon Printing Co Ltd Image projection device
JP2016019194A (en) * 2014-07-09 2016-02-01 株式会社東芝 Image processing apparatus, image processing method, and image projection device
KR101635167B1 (en) * 2014-12-30 2016-06-30 도회린 Apparatus and Method for correcting display
WO2016129489A1 (en) * 2015-02-10 2016-08-18 シャープ株式会社 Display apparatus, method of controlling display apparatus, control program, and recording medium
WO2017006780A1 (en) * 2015-07-08 2017-01-12 ソニー株式会社 Information processing device and method, and program
JP2017037190A (en) * 2015-08-10 2017-02-16 株式会社ネイキッド Projection device, image processing device, image processing program and image distribution system
JP2017514185A (en) * 2014-04-28 2017-06-01 京東方科技集團股▲ふん▼有限公司Boe Technology Group Co.,Ltd. Wearable projection apparatus and projection method
JP6259933B1 (en) * 2016-07-27 2018-01-10 株式会社オプティム Projection system, projection method and program
WO2021161689A1 (en) * 2020-02-10 2021-08-19 ソニーグループ株式会社 Information processing apparatus, information processing system, information processing method, and program

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157180A (en) * 2009-01-05 2010-07-15 Canon Inc Image processing apparatus and method
JP2011013310A (en) * 2009-06-30 2011-01-20 Dainippon Printing Co Ltd Image projection device
JP2017514185A (en) * 2014-04-28 2017-06-01 京東方科技集團股▲ふん▼有限公司Boe Technology Group Co.,Ltd. Wearable projection apparatus and projection method
JP2016019194A (en) * 2014-07-09 2016-02-01 株式会社東芝 Image processing apparatus, image processing method, and image projection device
US9716870B2 (en) 2014-07-09 2017-07-25 Kabushiki Kaisha Toshiba Image processor, image processing method, and image projector
KR101635167B1 (en) * 2014-12-30 2016-06-30 도회린 Apparatus and Method for correcting display
WO2016129489A1 (en) * 2015-02-10 2016-08-18 シャープ株式会社 Display apparatus, method of controlling display apparatus, control program, and recording medium
JPWO2016129489A1 (en) * 2015-02-10 2018-01-18 シャープ株式会社 Display device, display device control method, control program, and recording medium
WO2017006780A1 (en) * 2015-07-08 2017-01-12 ソニー株式会社 Information processing device and method, and program
CN107852484A (en) * 2015-07-08 2018-03-27 索尼公司 Information processor, information processing method and program
JPWO2017006780A1 (en) * 2015-07-08 2018-05-24 ソニー株式会社 Information processing apparatus and method, and program
US10218949B2 (en) 2015-07-08 2019-02-26 Sony Corporation Information processing apparatus, information processing method, and program
US10602106B2 (en) 2015-07-08 2020-03-24 Sony Corporation Information processing apparatus, information processing method, and program
CN107852484B (en) * 2015-07-08 2021-08-13 索尼公司 Information processing apparatus, information processing method, and program
JP2017037190A (en) * 2015-08-10 2017-02-16 株式会社ネイキッド Projection device, image processing device, image processing program and image distribution system
JP6259933B1 (en) * 2016-07-27 2018-01-10 株式会社オプティム Projection system, projection method and program
WO2018020606A1 (en) * 2016-07-27 2018-02-01 株式会社オプティム Projection system, projection method, and program
US10345687B2 (en) 2016-07-27 2019-07-09 Optim Corporation Projection system, projection method, and projection program
WO2021161689A1 (en) * 2020-02-10 2021-08-19 ソニーグループ株式会社 Information processing apparatus, information processing system, information processing method, and program

Similar Documents

Publication Publication Date Title
JP2008294961A (en) Video display apparatus
US11930304B2 (en) System and method for providing improved display quality by display adjustment and image processing using optical feedback
JP6736423B2 (en) Three-dimensional measuring device
US8878858B2 (en) Video projection apparatus and methods, with image content control
CN108989777A (en) Projection device, the control method of projection device and non-transitory storage medium
NO330155B1 (en) Method and apparatus for use in calibrating a projector&#39;s image display to a display screen, and display screen for such use.
JP2006313979A (en) Projector, and method for controlling projector
JP2011244044A (en) Image projector
EP2290442B1 (en) Method for compensating light reflection of projection frame and projection apparatus
JP2010086928A (en) Illuminating device
JP2016123079A (en) Projector and projection method
JP4645455B2 (en) Image projection apparatus, projection image correction method, and program
JP2016161882A (en) Light projection device
JP2008147889A (en) Image processor and method thereof
JP6155736B2 (en) Projection control apparatus, projection apparatus, projection system, projection control method, and program
JP5058532B2 (en) Image display system and image display method
KR20190093083A (en) Image compensation device for matching virtual space and real space and image matching system using the same
JP2020191586A (en) Projection device
JP2012120126A (en) Image processing system and image processing method
KR20190100122A (en) Image compensation device using space synchronization based on the measurement of virtual space and real space and image matching system using the same
JP2008015425A (en) Projector apparatus, pointer display processing method, and program
JP2009116227A (en) Color unevenness correction system and color unevenness correcting method
JP2017118365A (en) Projection apparatus and projection method
JP5162393B2 (en) Lighting device
JP2017107052A (en) Display system, method and program for measuring display, and display