JP2020127162A - Projection type video display system - Google Patents
Projection type video display system Download PDFInfo
- Publication number
- JP2020127162A JP2020127162A JP2019019388A JP2019019388A JP2020127162A JP 2020127162 A JP2020127162 A JP 2020127162A JP 2019019388 A JP2019019388 A JP 2019019388A JP 2019019388 A JP2019019388 A JP 2019019388A JP 2020127162 A JP2020127162 A JP 2020127162A
- Authority
- JP
- Japan
- Prior art keywords
- image
- projectors
- unit
- projected
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Projection Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、投射型映像表示システムに関し、特に、複数台のプロジェクタを用いた映像投影における映像の歪み補正に有効な技術に関する。 The present invention relates to a projection type image display system, and more particularly to a technique effective for correcting image distortion in image projection using a plurality of projectors.
近年、大画面の映像表示を行うプロジェクタでは、高輝度化の要求が高まっている。表示映像を高輝度化する投影技術としては、例えば複数台のプロジェクタを用いて重畳投影する、いわゆるスタック投影がある。 2. Description of the Related Art In recent years, there is an increasing demand for higher brightness in projectors that display large-screen images. As a projection technique for increasing the brightness of a display image, for example, there is so-called stack projection in which a plurality of projectors are used to perform superimposed projection.
このスタック投影を行う場合には、プロジェクタの設置に複数のプロジェクタ映像をピクセル精度にて重ね合わせる作業が必要である。この作業は、例えば各々のプロジェクタから投影される調整用パターン映像をカメラなどによって撮影し、撮影した映像に基づいて幾何学補正する。 When this stack projection is performed, it is necessary to install a plurality of projector images with pixel accuracy in order to install the projector. In this work, for example, an adjustment pattern image projected from each projector is photographed by a camera or the like, and geometric correction is performed based on the photographed image.
なお、この種の複数台のプロジェクタを用いた投影映像を補正する技術としては、複数のプロジェクタを用いて投影領域の少なくとも一部を重畳させた投影領域を形成する場合に、その投影領域の形状をコンテンツ画像の形状に対応させるものがある（例えば特許文献１参照）。 Note that, as a technique for correcting a projected image using a plurality of projectors of this type, when forming a projection area in which at least a part of the projection area is overlapped using the plurality of projectors, the shape of the projection area There is one that corresponds to the shape of the content image (for example, see Patent Document 1).
前述したプロジェクタのスタック投影では、プロジェクタの設置時にピクセル単位にて映像を重ね合わせても、時間の経過とともに重ね合わせた映像がずれてしまう、経時ずれが発生してしまう恐れがある。 In the stack projection of the projector described above, even if the images are superposed on a pixel-by-pixel basis when the projector is installed, there is a possibility that the superposed images may shift over time or a temporal shift may occur.
経時ずれが発生する要因としては、振動などによってプロジェクタが移動する、いわゆる設置ずれ、あるいはスクリーンの設置位置ずれなどがある。この経時ずれを補正するには、定期的に再度調整用パターンを投影して幾何学補正を行わなければならず、その都度時間および工数が必要となる。 Factors that cause the time shift include so-called installation shifts in which the projector moves due to vibrations or the like, or screen placement position shifts. In order to correct this time-dependent shift, it is necessary to periodically project the adjustment pattern again to perform geometric correction, which requires time and man-hours each time.
また、定期的な補正を行っていても、補正する間隔が長くなった場合には、映像を投射した際に映像ずれが発生していることが考えられる。その場合には、ずれた映像が投射され続けることになり、映像の鮮明度が低下してしまうという問題がある。 Further, even if the correction is performed periodically, if the correction interval becomes long, it is considered that the image shift occurs when the image is projected. In that case, there is a problem that the shifted image continues to be projected, and the sharpness of the image decreases.
本発明の目的は、映像コンテンツを投影している際に映像の歪みを自動的に検出補正して、プロジェクタの設置後の定期的な映像補正などを不要とすることのできる技術を提供することにある。 An object of the present invention is to provide a technique capable of automatically detecting and correcting image distortion when projecting image content, and eliminating the need for periodic image correction after the projector is installed. It is in.
本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。 The above and other objects and novel features of the present invention will be apparent from the description of the present specification and the accompanying drawings.
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。 The following is a brief description of the outline of the typical invention disclosed in the present application.
すなわち、代表的な投射型映像表示システムは、複数のプロジェクタ、コンピュータ、および撮像部を備える。複数のプロジェクタは、映像を投影する。コンピュータは、複数のプロジェクタに映像データを出力する。撮像部は、複数のプロジェクタが映像投射面(に投影する映像を撮影する。 That is, a typical projection-type image display system includes a plurality of projectors, a computer, and an imaging unit. The plurality of projectors project an image. The computer outputs the video data to the plurality of projectors. The imaging unit captures an image projected by the plurality of projectors on the image projection surface (.
複数のプロジェクタは、幾何補正部および映像投射部を有する。幾何補正部は、投影される映像の幾何学的歪みを幾何パラメータに基づいて補正する。映像投射部は、映像投射面に映像を投影する。 The plurality of projectors have a geometric correction unit and a video projection unit. The geometric correction unit corrects the geometric distortion of the projected image based on the geometric parameter. The image projection unit projects an image on the image projection surface.
コンピュータは、映像解析部および制御部を有する。映像解析部は、撮像部が撮影した映像を解析して、複数のプロジェクタが投影する映像にずれが生じる経時ずれが発生しているか否かを判定する。制御部は、複数のプロジェクタを制御する。 The computer has a video analysis unit and a control unit. The video analysis unit analyzes the video captured by the imaging unit, and determines whether or not there is a temporal shift that causes a shift in the images projected by the plurality of projectors. The control unit controls the plurality of projectors.
そして、映像解析部は、撮像部が撮影した各々のプロジェクタが投影する映像の４つのコーナ部の座標をそれぞれ算出し、算出した座標とあらかじめ設定されているしきい値とを比較して、座標がしきい値を超えている場合に経時ずれが発生していると判定する。 Then, the video analysis unit calculates the coordinates of the four corners of the video projected by each projector captured by the imaging unit, compares the calculated coordinates with a preset threshold, and calculates the coordinates. Is above the threshold value, it is determined that a time lag has occurred.
幾何補正部は、映像解析部が経時ずれが発生していると判定した際に各々のプロジェクタが投影する映像を補正する。 The geometric correction unit corrects the image projected by each projector when the image analysis unit determines that the time shift has occurred.
また、制御部は、撮像部が各々のプロジェクタの映像を撮影する際に、座標算出の対象となるプロジェクタの映像のみを投影させ、対象ではないプロジェクタのコーナを減光させる。 Further, when the image capturing unit captures the image of each projector, the control unit projects only the image of the projector that is the target of coordinate calculation, and dims the corners of the projector that is not the target.
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。 The effects obtained by the typical ones of the inventions disclosed in the present application will be briefly described as follows.
プロジェクタ設置後における定期的な投影映像の補正を不要にすることができる。 It is possible to eliminate the need to periodically correct the projected image after the projector is installed.
実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。 In all the drawings for explaining the embodiments, the same members are denoted by the same reference symbols in principle and the repeated description thereof will be omitted.
以下、実施の形態を詳細に説明する。 Hereinafter, embodiments will be described in detail.
（実施の形態１）
〈投射型映像表示システムの外観例〉
図１は、本実施の形態１による投射型映像表示システム１０における外観の一例を示す説明図である。
(Embodiment 1)
<Example of appearance of projection type video display system>
FIG. 1 is an explanatory diagram showing an example of the external appearance of a projection-type
投射型映像表示システム１０は、図１に示すように、プロジェクタ１１〜１４、カメラ１５、およびパーソナルコンピュータ１６から構成されている。この投射型映像表示システム１０は、プロジェクタ１１〜１４から投射される映像を重ね合わせることにより、高輝度化を実現するスタック投影を行う。
As shown in FIG. 1, the projection type
プロジェクタ１１〜１４は、外部から入力される映像データを投影対象である壁面またはスクリーン５０などの映像投射面に照射する。撮像部であるカメラ１５は、スクリーン５０に投影された映像を撮影する。
The
コンピュータであるパーソナルコンピュータ１６には、プロジェクタ１１〜１４およびカメラ１５がそれぞれ接続されている。パーソナルコンピュータ１６は、プロジェクタ１１〜１４に映像データをそれぞれ出力する。
The
ここで、図１では、４台のプロジェクタ１１〜１４から投射される映像を重畳投影する例を示しているが、スタック投影するプロジェクタの数については、特に制限なく、２台以上であればよい。
Here, FIG. 1 shows an example in which images projected from the four
〈投射型映像表示システムの構成例〉
図２は、図１の投射型映像表示システム１０における構成の一例を示す説明図である。
<Configuration example of projection type video display system>
FIG. 2 is an explanatory diagram showing an example of the configuration of the projection type
プロジェクタ１１は、映像インタフェース２０、マーカ生成回路２１、マスク生成回路２２、パターン生成回路２３、映像演算回路２４、幾何補正回路２５、幾何補正パラメータ格納部２６、光学系２７、通信インタフェース２８、および制御回路２９から構成されている。
The
なお、図２において、プロジェクタ１２〜１４の構成については、プロジェクタ１１と同様であるので説明は省略する。これらプロジェクタ１１〜１４は、カメラ１５が撮影した映像からスタック投影における映像のずれを調整する調整機能を有する。
Note that, in FIG. 2, the configuration of the
映像インタフェース２０は、パーソナルコンピュータ１６から出力される映像データを伝送するインタフェースであり、例えばＨＤＭＩ（High Definition Multimedia Interface）端子を介してパーソナルコンピュータ１６に接続される。
The
マーカ生成部であるマーカ生成回路２１は、制御回路２９の制御に基づいて、マーカあるいは額縁状の白枠などを生成する。マーカあるいは白枠は、スタック投影における映像のずれを調整用として用いられる。マーカは、投射する映像のコーナ部などに表示される。白枠は、投射する映像の周辺部に表示される。
The
マスク生成部であるマスク生成回路２２は、マスクを生成する。マスクは、スクリーン５０に投影される映像のコーナ部の明暗度を調整する。パターン生成回路２３は、補正用パターンを生成する。
The
映像演算回路２４は、マーカ生成回路２１が生成するマーカを投影映像に合成させる合成表示、マスク生成回路２２が生成するマスクを投影映像に合成させる合成表示、あるいはパターン生成回路２３が生成する全白画像または全黒画像などの補正用パターンの表示などを行う。
The
これらマーカ生成回路２１、マスク生成回路２２、パターン生成回路２３、および映像演算回路２４は、制御回路２９の制御に基づいて、それぞれ動作する。幾何補正部である幾何補正回路２５は、投射される映像の幾何学的歪みを幾何パラメータに基づいて、幾何補正して投影画像を補正する。
The
幾何補正パラメータ格納部２６は、例えばフラッシュメモリなどに例示される不揮発性メモリであり、後述するパラメータ算出部３４が算出する幾何パラメータを格納する。幾何補正回路２５は、幾何補正パラメータ格納部２６に格納される幾何パラメータに基づいて、投射される映像の幾何学的歪みを幾何補正する。通信インタフェース２８は、プロジェクタ１１〜１４と通信するインタフェースである。
The geometric correction
映像投射部である光学系２７は、幾何補正回路２５によって幾何変換された映像データを光に変換して投影する。光学系２７は、例えば映像をスクリーン５０に投射する投射レンズ、投射する映像を生成する表示素子、および投射用の照明光を発生する光源部などから構成される。
The
表示素子は、例えばＤＭＤ（Digital Micromirror Device）（登録商標）パネルなどが用いられる。 As the display device, for example, a DMD (Digital Micromirror Device) (registered trademark) panel or the like is used.
表示素子については、ＤＭＤパネルに限定されるものではなく、例えば透過型液晶パネルあるいは反射型液晶パネルなどであってもよい。制御回路２９は、プロジェクタ１１における動作を制御する。
The display element is not limited to the DMD panel, and may be, for example, a transmissive liquid crystal panel or a reflective liquid crystal panel. The
パーソナルコンピュータ１６は、カメラ入力部３０、投影映像選択部３１、映像送出部３２、カメラ映像解析部３３、パラメータ算出部３４、通信制御部３５、投影映像生成部３６、投影映像解析部３７、記憶部３８、およびシーケンス制御部３９から構成されている。
The
カメラ入力部３０は、例えばＵＳＢ（Universal Serial Bus）端子を介してカメラ１５が撮影した画像データを取得する。投影映像選択部３１は、投影画像の補正に用いる補正用パターンを決定してプロジェクタ１１〜１４の制御回路２９にそれぞれ送信する。
The
映像送出部３２は、投影映像生成部３６が生成した映像データをプロジェクタ１１〜１４に送信する。
The
映像解析部であるカメラ映像解析部３３は、カメラ１５が撮影した映像を解析して投影映像のコーナ部を検出する。パラメータ算出部３４は、投射される映像の幾何学的歪みを補正する幾何パラメータを算出する。
The camera
通信制御部３５は、プロジェクタ１１〜１４が有する制御回路２９との通信を行う。投影映像生成部３６は、記憶部３８に格納されている映像コンテンツをデコードする。デコードされた映像コンテンツは、投影映像生成部３６に出力される。
The
投影映像解析部３７は、映像送出部３２が送信する映像データすなわちプロジェクタが投影している映像を解析して、投影映像のコーナ部を検出できるか否かを判定する。記憶部３８は、例えばハードディスクドライブ（ＨＤＤ）あるいはフラッシュメモリに例示される不揮発性メモリなどからなり、スクリーン５０に投影する映像コンテンツなどが格納される。制御部となるシーケンス制御部３９は、投影画像の補正処理における動作を制御する。
The projected
〈スタック投影の映像例〉
図３は、図１のプロジェクタ１１〜１４が幾何補正を行わずに「Ａ」という映像を投影したときにスクリーン５０上に表示される映像の一例を示す説明図である。図４は、図１のプロジェクタ１１〜１４がスタック投影した際の映像の一例を示す説明図である。
<Example of stack projection image>
FIG. 3 is an explanatory diagram showing an example of an image displayed on the
図３（ａ）は、プロジェクタ１１が投射した「Ａ」の映像がスクリーン５０上に表示された様子、図３（ｂ）は、プロジェクタ１２が投射した「Ａ」の映像、図３（ｃ）は、プロジェクタ１３が投射した「Ａ」の映像、および図３（ｄ）は、プロジェクタ１４が投射した「Ａ」の映像のスクリーン５０上の様子をそれぞれ示している。
3A shows a state in which the image of "A" projected by the
各々のプロジェクタ１１〜１４は、設置されている位置がそれぞれ異なっているため、歪の無い同一の映像を投影した場合であっても、図３（ａ）〜図３（ｄ）に示すように、その設置位置に応じてスクリーン５０に投影される映像に歪が生じてしまう。
Since the
この歪みを補正せずに、そのままスクリーン５０に表示させた場合には、図４（ａ）に示すように、それぞれの歪みによってスクリーン５０に表示される「Ａ」の文字がずれて不鮮明に表示される。
If the distortion is not corrected and is displayed on the
投射型映像表示システム１０では、補正前、すなわち図４（ａ）に示す各プロジェクタの表示領域から矩形領域を決定して、決定した矩形領域に合致するように幾何変換して映像を重ね合わせる。また、投射型映像表示システム１０は、時間の経過とともに重ね合わせた映像がずれてしまう、経時ずれについても自動的に補正する機能を有している。
In the projection type
これにより、図４（ｂ）に示すように、各プロジェクタ１１〜１４から投影される「Ａ」の映像のずれが減少し、経時ずれが発生する環境下であっても鮮明な映像をスクリーン５０に表示させることができる。
As a result, as shown in FIG. 4B, the deviation of the image of “A” projected from each of the
〈投射型映像表示システムの動作例〉
続いて、投射型映像表示システム１０による動作について説明する。
<Operation example of projection type video display system>
Next, the operation of the projection type
図５は、図２の投射型映像表示システム１０による全体処理の概要の一例を示すフローチャートである。
FIG. 5 is a flowchart showing an example of the outline of the overall processing by the projection type
なお、図５における各ステップの処理は、後述するように各機能ブロックが実行するものであるが、ソフトウェアによってその機能を実現する構成であってもよい。その場合には、パーソナルコンピュータ１６やプロジェクタ１１〜１４の図示しないプログラム格納メモリなどに記憶されているプログラム形式のソフトウェアを、シーケンス制御部３９および制御回路２９などがそれぞれ実行することにより実現される。
The processing of each step in FIG. 5 is executed by each functional block as described later, but the function may be realized by software. In that case, it is realized by the
まず、初期調整を行う（ステップＳ１０１）。この初期調整は、投射型映像表示システム１０を最初の設置する時にのみ行われる調整である。このステップＳ１０１の処理では、各々のプロジェクタ１１〜１４を設置した後、スクリーン５０に表示される投影映像のずれを調整する。
First, initial adjustment is performed (step S101). This initial adjustment is performed only when the projection type
その後、プロジェクタ１１〜１４による映像コンテンツの投影が開始される（ステップＳ１０２）。そして、映像コンテンツが投影されている際、経時ずれの発生を検出する経時ずれ検出処理を実行する（ステップＳ１０３）。
Then, the projection of the video content by the
経時ずれ検出処理において、経時ずれが発生したことを検出すると（ステップＳ１０４）、投射型映像表示システム１０による経時ずれを補正する経時ずれ補正処理が行われる（ステップＳ１０５）。
When it is detected in the time shift detection process that a time shift has occurred (step S104), a time shift correction process for correcting the time shift by the projection-type
ステップＳ１０４の処理にて、経時ずれが発生したことを検出しない場合、あるいはステップＳ１０５の処理による経時ずれ補正処理が終了すると、再びステップＳ１０２の処理に戻る。 In the process of step S104, when it is not detected that a time-lapse shift has occurred, or when the time-lapse shift correction process of the process of step S105 ends, the process returns to step S102.
〈初期調整について〉
続いて、初期調整について、図６を用いて説明する。
<About initial adjustment>
Next, the initial adjustment will be described with reference to FIG.
図６は、図５のステップＳ１０１の処理である初期調整における処理の一例を示すフローチャートである。 FIG. 6 is a flowchart showing an example of processing in the initial adjustment which is the processing of step S101 in FIG.
まず、シーケンス制御部３９は、投影映像選択部３１に保持している変数であるターゲットプロジェクタ番号を０に設定する（ステップＳ２０１）。続いて、シーケンス制御部３９は、ターゲットプロジェクタ番号に従って、通信制御部３５を経由して、ターゲットプロジェクタ（例えばプロジェクタ１１）の制御回路２９に全白映像を投影するコマンドを発行する（ステップＳ２０２）。
First, the
シーケンス制御部３９からコマンドを受け取った制御回路２９は、パターン生成回路２３を制御して全白映像を生成させる。パターン生成回路２３が生成した全白映像は、映像演算回路２４および幾何補正回路２５を経由して光学系２７によって投影される。
The
その後、シーケンス制御部３９は、ターゲットプロジェクタ番号に従って、通信制御部３５を経由して、ターゲットプロジェクタ以外のプロジェクタ（例えばプロジェクタ１２〜１４）の制御回路２９に全黒映像を投影するコマンドを発行する（ステップＳ２０３）。
After that, the
ステップＳ２０３の処理にて、コマンドを受け取った制御回路２９は、パターン生成回路２３に全黒映像を生成させる。パターン生成回路２３が生成した全黒映像は、映像演算回路２４および幾何補正回路２５を経由して光学系２７によって投影される。
Upon receiving the command in the process of step S203, the
ステップＳ２０３の処理が終了すると、シーケンス制御部３９は、あらかじめ規定されている待ち時間分待つ（ステップＳ２０４）。待ち時間は、例えば各プロジェクタにコマンドを発行してから、実際に投影映像が反映されるまでの時間＋マージンに基づいて規定する。
When the process of step S203 ends, the
そして、シーケンス制御部３９は、カメラ入力部３０を経由して、カメラ１５に対して撮影コマンドを発行する。このコマンドを受け取ると、カメラ１５は、スクリーンを撮影する（ステップＳ２０５）。
Then, the
カメラ１５は、撮影した映像をカメラ入力部３０に送信する。カメラ入力部３０は、入力された映像を該カメラ入力部３０に設けられた図示しない内部バッファに格納し、該映像の格納が終了した際に、撮影完了信号をシーケンス制御部３９に送信する。
The
シーケンス制御部３９は、カメラ入力部３０から撮影完了信号を受け取ると、カメラ映像解析部３３に映像解析指示コマンドを発行する。カメラ映像解析部３３は、シーケンス制御部３９からコマンドを受信すると、カメラ入力部３０の内部バッファから撮影画像を受け取り、受け取ったカメラ画像の含まれている投影映像の表示領域の４つのコーナ部の座標を算出する（ステップＳ２０６）。
When the
投影映像におけるコーナ部の座標の算出が終了すると、カメラ映像解析部３３は、シーケンス制御部３９に算出が終了したことを通知する。シーケンス制御部３９は、算出終了の通知を受け取ると、算出された４隅の座標をターゲットプロジェクタ番号ごとに格納する。
When the calculation of the coordinates of the corner portion in the projected image is completed, the camera
算出した座標は、例えばカメラ映像解析部３３が有する図示しない格納領域に格納してもよいし、あるいは記憶部３８に算出した座標を格納するようにしてもよい。
The calculated coordinates may be stored in, for example, a storage area (not shown) included in the camera
ステップＳ２０６の処理が終了すると、シーケンス制御部３９は、投影映像選択部３１に保持されている変数であるターゲットプロジェクタ番号を１増やす（ステップＳ２０７）。
When the process of step S206 ends, the
シーケンス制御部３９は、ターゲットプロジェクタ番号がプロジェクタ台数よりも小さければ（ステップＳ２０８）、ループの先頭に戻ってステップＳ２０２から処理を繰り返す。また、全プロジェクタの処理が完了していれば（ステップＳ２０８）、幾何パラメータ算出処理を実行する（ステップＳ２０９）。
If the target projector number is smaller than the number of projectors (step S208), the
ステップＳ２０９の処理では、シーケンス制御部３９がパラメータ算出部３４に対して、幾何変換パラメータ算出コマンドを発行する。パラメータ算出部３４は、シーケンス制御部３９からコマンドを受信すると、カメラ映像解析部３３が有する図示しない格納領域にターゲットプロジェクタごとに格納されているコーナ部の座標を読み出し、各プロジェクタ１１〜１４に対応した幾何変換行列を算出する。
In the process of step S209, the
全ての幾何変換行列が求められると、カメラ映像解析部３３は、シーケンス制御部３９に完了を通知する。シーケンス制御部３９は、完了通知を受け取ると、各プロジェクタ１１〜１４の制御回路２９に幾何変換行列を送信する。
When all the geometric transformation matrices are obtained, the camera
プロジェクタ１１〜１４の制御回路２９は、幾何変換行列を受信すると、受信した幾何変換行列を幾何補正パラメータ格納部２６に格納し、幾何補正回路２５に対して、幾何補正パラメータ格納部２６に格納されたパラメータ、すなわち幾何変換行列を用いて幾何変換を実行させる。また、制御回路２９は、映像演算回路２４が映像インタフェース２０から出力される信号を出力するように設定する。
Upon receiving the geometric transformation matrix, the
これらの設定を行うことにより、各プロジェクタ１１〜１４は、映像インタフェース２０から入力された映像に対して、幾何補正パラメータ格納部２６に格納されている幾何変換パラメータに基づいた幾何変換を実施し、変換後の映像を投影する。
By performing these settings, each of the
投影映像生成部３６は、シーケンス制御部３９からコンテンツ再生の指示を受け取ると、あらかじめ設定されているコンテンツ名に基づいて、映像コンテンツを記憶部３８から読み出し、読み出した映像コンテンツに対してデコード処理を行い、映像データを生成する。
When the projection
投影映像生成部３６は、生成した映像データを通信制御部３５を経由して、各プロジェクタ１１〜１４に送出する。投影映像生成部３６は、コンテンツに応じたフレーム周期、例えば３０フレーム／秒ごとに、上記処理を実行して映像を更新することによって動画再生を実現する。さらに、各フレームの処理が完了するごとにフレーム同期信号をシーケンス制御部３９に送出する。
The projection
ここで、パラメータ算出部３４による幾何変換行列の算出処理について説明する。
Here, the calculation processing of the geometric conversion matrix by the
プロジェクタによる映像投射やカメラ１５による撮影では、透視変換と呼ばれる変換に基づいて画像が変形されることになる。透視変換を行うことによって、実世界と同様に近くにある物体は大きく、遠くにある物体は小さく表示される。
When projecting an image with a projector or shooting with the
透視変換によって、ある座標系の点（ｘｉ，ｙｉ）が、別の座標系の点（ｘｏ，ｙｏ）に変換されるとき、両者の間には式１の関係が成り立っている。
When a point (xi, yi) in one coordinate system is converted into a point (xo, yo) in another coordinate system by perspective transformation, the relationship of
この式は同次座標で書かれており、ｘｏとｙｏは、以下に示す式２、式３によって求めることができる。 This equation is written in homogeneous coordinates, and xo and yo can be obtained by the following equations 2 and 3.
式１の中の３×３行列が透視変換を規定する変換行列である。この変換行列は、行列の要素であるａ００〜ａ２１までの８個の変数を求めることにより特定することができる。８個の未知数を求めるには、８本の方程式が必要であり、そのためには、（ｘｉ，ｙｉ）と（ｘｏ，ｙｏ）との組を４つ知ることができればよい。
The 3×3 matrix in
すなわち、透視変換前の映像上の４点の座標が、それぞれどの座標に変換されるかが判れば変換行列を求めることが可能である。ここでは、これを用いて、幾何変換行列を算出する。 That is, it is possible to obtain the conversion matrix by knowing to which coordinates the coordinates of the four points on the image before the perspective conversion are respectively converted. Here, this is used to calculate the geometric transformation matrix.
〈座標算出例〉
続いて、幾何変換行列による補正後の映像における４つのコーナ部の座標を算出例について説明する。なお、ここでは、説明を簡単にするために、２つのプロジェクタ１１，１２から映像が投影されるものとする。
<Coordinate calculation example>
Next, an example of calculating the coordinates of the four corners in the video after correction by the geometric transformation matrix will be described. In addition, here, for simplicity of description, it is assumed that images are projected from the two
図７は、図１のプロジェクタ１１，１２による全白画像の投影映像の一例を示す説明図である。
FIG. 7 is an explanatory diagram showing an example of a projected image of an all-white image by the
図７（ａ）は、プロジェクタ１１がスクリーン５０に投影した全白画像５１の形状を示したものであり、カメラ１５によってプロジェクタ１１がスクリーン５０に投影した全白画像５１を撮影したものである。
FIG. 7A shows the shape of the all-
同様に、図７（ｂ）は、プロジェクタ１２がスクリーン５０に投影した全白画像５２の形状を示したものであり、カメラ１５によってプロジェクタ１２がスクリーン５０に投影した全白画像５２を撮影したものである。
Similarly, FIG. 7B shows the shape of the all-
ここで、全白画像５１の４つのコーナ部の頂点を、図７（ａ）に示すように、それぞれ点Ａ０，Ｂ０，Ｃ０，Ｄ０とし、全白画像５２の４つのコーナ部の頂点を、図７（ｂ）に示すように、それぞれ点Ａ１，Ｂ１，Ｃ１，Ｄ１とする。
Here, the vertices of the four corner portions of the all-
これら図７の全白画像５１，５２を用いて補正後の映像５３の４つのコーナ部の頂点である点Ａｍ，Ｂｍ，Ｃｍ，Ｄｍを求めることによって補正後の映像５３の表示領域を決定する。
The display area of the corrected
〈表示領域の算出例〉
図８は、初期調整による表示領域における算出の一例を示す説明図である。
<Display area calculation example>
FIG. 8 is an explanatory diagram showing an example of calculation in the display area by initial adjustment.
この図８では、図７（ａ）の全白画像５１および図７（ｂ）の全白画像５２をそれぞれ点線にて示しており、補正後の映像５３を実線にて示している。
In FIG. 8, the all-
まず、図８のスクリーン５０の左下方のコーナ部を原点として、全白画像５１の点Ａ０，Ｄ０および全白画像５２の点Ａ１，Ｄ１のＸ座標をそれぞれ求める。求めた点Ａ０，Ｄ０および点Ａ１，Ｄ１のＸ座標のうち、最大値となる点のＸ座標をそれぞれ点Ａｍおよび点ＤｍのＸ座標として設定する。
First, the X-coordinates of points A0 and D0 of the all-
同様に、全白画像５１の点Ｂ０，Ｃ０および全白画像５２の点Ｂ１，Ｃ１のＸ座標をそれぞれ求め、求めた点Ｂ０，Ｃ０および点Ｂ１，Ｃ１のＸ座標のうち、最小値となる点のＸ座標をそれぞれ点Ｂｍおよび点ＣｍのＸ座標として設定する。
Similarly, the X-coordinates of the points B0 and C0 of the all-
続いて、全白画像５１の点Ａ０，Ｂ０および全白画像５２の点Ａ１，Ｂ１のＹ座標をそれぞれ求め、求めた点Ａ０，Ｂ０および点Ａ１，Ｂ１のＹ座標のうち、最大値となる点のＹ座標をそれぞれ点Ａｍおよび点ＢｍのＹ座標として設定する。
Subsequently, the Y coordinates of the points A0 and B0 of the all-
同様に、全白画像５１の点Ｄ０，Ｃ０および全白画像５２の点Ｄ１，Ｃ１のＹ座標をそれぞれ求め、求めた点Ｄ０，Ｃ０および点Ｄ１，Ｃ１のＹ座標のうち、最大値となる点のＹ座標をそれぞれ点Ｄｍおよび点ＣｍのＹ座標として設定する。
Similarly, the Y coordinates of the points D0 and C0 of the all-
このようにして求めた点Ａｍ，Ｂｍ，Ｃｍ，Ｄｍをコーナ部とする矩形領域を補正後の映像５３の表示領域とする。
The rectangular area having the corners of the points Am, Bm, Cm, and Dm obtained in this way is used as the display area of the corrected
〈経時ずれ検出例〉
続いて、投射型映像表示システム１０による経時ずれ検出の動作について説明する。
<Example of detection of time lag>
Next, the operation of detecting the time shift by the projection type
図９は、図５のステップＳ１０３の処理である経時ずれ検出における処理の一例を示すフローチャートである。 FIG. 9 is a flowchart showing an example of the process in the time shift detection which is the process of step S103 of FIG.
この図９に示す処理は、図２のカメラ映像解析部３３が主体となって行うものである。シーケンス制御部３９は、投影映像生成部３６から出力されるフレーム同期信号ごとに図９に示す処理を実行するものとする。フレーム同期信号は、例えば３０フレーム／毎に出力される。
The process shown in FIG. 9 is performed mainly by the camera
まず、カメラ映像のフレーム重畳処理を行う（ステップＳ３０１）。ステップＳ３０１の処理において、シーケンス制御部３９は、投影映像生成部３６から出力されるフレーム同期信号を受信すると、カメラ入力部３０に対して撮影要求を発行し、カメラ１５による撮影が行われる。
First, frame superimposition processing of camera images is performed (step S301). In the process of step S301, when the
カメラ１５が撮影した映像は、カメラ入力部３０の図示しないバッファなどに格納される。カメラ１５の撮影が終了すると、該カメラ１５から撮影完了信号が出力される。カメラ１５からの撮影完了信号を受け取ると、シーケンス制御部３９は、カメラ映像解析部３３に映像格納コマンドを発行する。
The image captured by the
カメラ映像解析部３３は、映像格納コマンドを受信すると、カメラ入力部３０のバッファから撮影映像を受け取り、該カメラ映像解析部３３が有する内部バッファに映像を格納する。
Upon receiving the video storage command, the camera
この内部バッファは、Ｎ個分の画像を格納することができ、直近Ｎフレーム分の撮影画像が格納される。ここで、Ｎの値は、あらかじめ規定されており、例えばＮ＝３０程度である。 The internal buffer can store N images, and the latest N frames of captured images are stored. Here, the value of N is defined in advance and is, for example, about N=30.
カメラ映像解析部３３は、Ｎ枚分の画像の重畳処理を行う。重畳方法は、例えば比較明合成などである。この比較明合成は、画素位置ごとにＮ枚の画像の中から最大の値の画素を選択して合成する。
The camera
続いて、プロジェクタ画像をＮフレーム重畳する（ステップＳ３０２）。ステップＳ３０２の処理において、シーケンス制御部３９は、投影映像解析部３７に対して映像格納コマンドを発行する。
Then, N frames of the projector image are superimposed (step S302). In the process of step S302, the
投影映像解析部３７は、映像格納コマンドを受信すると、投影映像生成部３６から投影画像を受け取り、投影映像解析部３７の内部バッファに受け取った映像を格納する。この内部バッファは、Ｎ個分の画像を格納可能となっており、直近Ｎフレーム分の投影画像が格納される。
Upon receiving the image storage command, the projected
Ｎの値はあらかじめ規定されており、例えばＮ＝３０程度である。投影映像解析部３７は、Ｎ枚分の画像の重畳処理を行う。重畳方法は、ステップＳ３０１の処理と同様に、比較明合成である。
The value of N is defined in advance and is, for example, about N=30. The projected
そして、投影映像解析部３７は、生成した重畳映像を解析して、映像の４つのコーナ部を検出することのできる映像であるか否かを判定する（ステップＳ３０３）。コーナ部を検出することのできる映像であると判定すると、投影映像解析部３７は、重畳映像を解析して映像の４隅の座標を算出する（ステップＳ３０４）。
Then, the projected
また、ステップＳ３０３の処理において、コーナ部を検出することのできる映像でないと判定した際には、ステップＳ３０１の処理に戻る。 When it is determined in the process of step S303 that the image is not a corner-detectable image, the process returns to step S301.
続いて、投影映像解析部３７は、算出した映像の４つのコーナ部の座標を、過去の算出結果と比較し、座標のずれがあらかじめ規定したしきい値を超えているか否かを判定する（ステップＳ３０５）。
Subsequently, the projection
座標のずれがしきい値を超えていないと判定した場合、投影映像解析部３７は、経時ずれが発生していないと判定し、ステップＳ３０１の処理に戻る。また、座標のずれがしきい値を超えていると判定した場合、投影映像解析部３７は、経時ずれが発生していると判定し、経時ずれを検出する（ステップＳ３０６）。経時ずれを検出した場合には、図５のステップＳ１０５の処理である経時ずれ補正が行われる。
If it is determined that the coordinate shift does not exceed the threshold value, the projected
また、ステップＳ３０５の処理において、投影映像解析部３７は、算出した最新の４つのコーナ部の座標を次回以降に比較するために該投影映像解析部３７が有する図示しないメモリなどに格納する。
Further, in the process of step S305, the projection
以上により、経時ずれ検出の処理が終了となる。 With the above, the process for detecting the time shift is completed.
図１０は、図９の経時ずれ検出の一例を示す説明図である。 FIG. 10 is an explanatory diagram showing an example of detection of time-dependent shift in FIG. 9.
図１０（ａ）は、２つのプロジェクタから投影される２つの映像に経時ずれが発生していない場合を示したものであり、図１０（ｂ）は、２つのプロジェクタから投影される２つの映像に経時ずれが発生している場合を示したものである。 FIG. 10A shows a case where two images projected from two projectors have no time lag, and FIG. 10B shows two images projected from two projectors. The figure shows the case where there is a time lag in.
まず、２つのプロジェクタから投影される２つの映像に経時ずれが発生していないときには、２つのプロジェクタからの投影映像が重なって表示される。 First, when the two images projected from the two projectors have no time lag, the projected images from the two projectors are displayed in an overlapping manner.
よって、２つのプロジェクタからの投影映像が表示される矩形領域、言い換えれば映像表示領域の４つのコーナ部の点は、図１０（ａ）に示すように、図６の初期調整にて求めた点Ａｍ，Ｂｍ，Ｃｍ，Ｄｍと一致することになる。 Therefore, as shown in FIG. 10A, the rectangular area where the projected images from the two projectors are displayed, in other words, the points at the four corners of the image display area are the points obtained by the initial adjustment in FIG. It will coincide with Am, Bm, Cm, and Dm.
一方、２つのプロジェクタからの投影映像に経時ずれが発生すると、それぞれのプロジェクタの映像表示領域がずれるために、各々の映像表示領域の４つのコーナ部の点が、図１０（ｂ）に示すように、図６の初期調整にて求めた点Ａｍ，Ｂｍ，Ｃｍ，Ｄｍと一致しない。 On the other hand, when the projected images from the two projectors deviate over time, the image display areas of the respective projectors deviate, so that the four corner points of each image display area are as shown in FIG. In addition, the points Am, Bm, Cm, and Dm obtained by the initial adjustment in FIG. 6 do not match.
よって、２つのプロジェクタから投影された矩形領域のコーナ部の点と初期調整にて求めたコーナ部との座標とを比較して、該座標が一致している場合には、経時ずれが発生していないと判断することができる。また、座標が一致していない場合には、経時ずれが発生したと判定することができる。 Therefore, the coordinates of the corner portion of the rectangular area projected from the two projectors are compared with the coordinates of the corner portion obtained in the initial adjustment, and when the coordinates are the same, a time lag occurs. You can determine that you have not. Further, when the coordinates do not match, it can be determined that a time lapse has occurred.
〈経時ずれ補正について〉
続いて、経時ずれを検出した際の経時ずれ補正について説明する。
<About time lapse correction>
Next, a description will be given of the correction of time deviation when detecting the time deviation.
まず、各々のプロジェクタの全点灯時における４つのコーナ部の座標をそれぞれ求める。すべてのプロジェクタの座標が求まると、図６の初期調整と同様に幾何補正パラメータを算出する。 First, the coordinates of the four corner portions when all of the projectors are fully lit are obtained. When the coordinates of all the projectors are obtained, the geometric correction parameters are calculated as in the initial adjustment shown in FIG.
この経時ずれの補正は、動画コンテンツが投影されている際に行われるので、視聴者にできるだけ違和感を与えずに各プロジェクタの全点灯時におけるコーナ部の座標を求めることが重要となる。 Since the correction of the time lag is performed while the moving image content is being projected, it is important to obtain the coordinates of the corner portion when all the projectors are fully lit, without giving the viewer a feeling of strangeness.
続いて、前述した経時ずれ補正におけるプロジェクタの全点灯時におけるコーナ部の座標を求める方法について具体的に説明する。 Next, a method of obtaining the coordinates of the corner portion when the projector is fully lit in the above-described time deviation correction will be specifically described.
図１１は、図２の投射型映像表示システム１０による経時ずれ補正におけるコーナ部の座標算出の一例を示す説明図である。
FIG. 11 is an explanatory diagram showing an example of the calculation of the coordinates of the corner portion in the correction of the time lapse by the projection type
なお、図１１は、説明を簡単にするために２つのプロジェクタ１１，１２による座標の算出例を示している。
It should be noted that FIG. 11 shows an example of calculation of coordinates by the two
図１１に示す座標の算出方法は、座標算出の対象となるターゲットプロジェクタを点灯状態とし、それ以外、すなわち対象外のプロジェクタを消灯させるものである。 In the coordinate calculation method shown in FIG. 11, the target projector that is the target of the coordinate calculation is turned on, and the other projectors, that is, the non-target projectors are turned off.
プロジェクタ１１における４つのコーナ部の座標をそれぞれ求める。この場合、図１１（ａ）の左側に示すように、まず、座標算出の対象となるプロジェクタ１１による映像投影を行う。このとき、図１１（ａ）の右側に示すように、対象外のプロジェクタ１２は、消灯させる。この状態にて、プロジェクタ１１における４つのコーナ部の座標をそれぞれ求める。
The coordinates of the four corners of the
続いて、プロジェクタ１２の４つのコーナ部の座標を求める。この場合、図１１（ｂ）の左側に示すように、該プロジェクタ１１を消灯させるとともに、図１１（ｂ）の右側に示すようにプロジェクタ１２を点灯させる。この状態にて、プロジェクタ１２における４つのコーナ部の座標をそれぞれ求める。
Then, the coordinates of the four corners of the
なお、４つのプロジェクタの場合には、順次対象となるプロジェクタを点灯し、それ以外の非対象のすべてのプロジェクタを消灯することによって、４つのプロジェクタにおけるコーナ部の座標を求める。 In the case of four projectors, the target projectors are sequentially turned on and all other non-target projectors are turned off to obtain the coordinates of the corners of the four projectors.
これにより、視聴者に違和感を与えることなく、動画コンテンツを投影中に経時ずれを補正することができる。 With this, it is possible to correct the time lag during the projection of the moving image content without giving the viewer a feeling of strangeness.
ここでは、非対象のプロジェクタを消灯させていたが、非対象のプロジェクタを消灯させるのではなく、座標の算出に影響が出ない程度の映像となるように輝度を低下させるようにしてもよい。 Although the non-target projector is turned off here, the non-target projector may be turned off, and the brightness may be reduced so that the image does not affect the calculation of the coordinates.
図１２は、図１１の座標算出例を用いた経時ずれ補正における処理の一例を示すフローチャートである。 FIG. 12 is a flowchart showing an example of processing in the time shift correction using the coordinate calculation example of FIG. 11.
まず、シーケンス制御部３９は、投影映像選択部３１に保持している変数であるターゲットプロジェクタ番号を０に設定する（ステップＳ４０１）。続いて、ターゲットではないプロジェクタを消灯する（ステップＳ４０２）。
First, the
ステップＳ４０２の処理において、シーケンス制御部３９は、ターゲットプロジェクタ番号に従って、通信制御部３５を経由して、ターゲットではないプロジェクタ（例えばプロジェクタ１２〜１４）の制御回路２９に映像を消灯するコマンドを発行する。
In the process of step S402, the
シーケンス制御部３９からコマンドを受け取った制御回路２９は、光学系２７を制御して消灯させる。これによって、ターゲットではないプロジェクタ１２〜１４は消灯され、ターゲットプロジェクタ（例えばプロジェクタ１１）の映像のみがスクリーン５０に投影される。
The
以降、図１２のステップＳ４０３〜Ｓ４０８の処理は、図６のステップＳ２０４〜Ｓ２０９の処理と同様であるので、説明は省略する。そして、このように算出した幾何補正パラメータを用いて、前述した図８のように経時ずれを補正する。 After that, the processes of steps S403 to S408 of FIG. 12 are the same as the processes of steps S204 to S209 of FIG. 6, so description thereof will be omitted. Then, using the geometrical correction parameters calculated in this way, the temporal shift is corrected as shown in FIG.
以上により、経時ずれを定期的に自動的に補正することができるので、ユーザによるプロジェクタ１１〜１４設置後の再調整を不要とすることができる。これにより、利便性を向上させることができる。
As described above, since the time lag can be automatically corrected periodically, it is possible to eliminate the need for the user to readjust after installing the
また、動画コンテンツの投影中に経時ずれを自動的に補正するので、画像のずれた動画コンテンツが投影されつつけることを低減することが可能となる。その結果、視聴者に高品質の映像を提供することができる。 In addition, since the time lapse is automatically corrected during the projection of the moving image content, it is possible to reduce the continuous projection of the moving image content with the shifted image. As a result, the viewer can be provided with high-quality video.
（実施の形態２）
〈座標算出例〉
図１３は、本実施の形態２による経時ずれ補正におけるコーナ部の座標算出の一例を示す説明図である。
(Embodiment 2)
<Coordinate calculation example>
FIG. 13 is an explanatory diagram showing an example of the calculation of the coordinates of the corner portion in the correction of the time lapse according to the second embodiment.
なお、図１３についても、説明を簡単にするために２つのプロジェクタ１１，１２による座標の算出例を示している。また、投射型映像表示システム１０の構成については、図２の投射型映像表示システム１０と同様であるので、説明は省略する。
Note that FIG. 13 also shows an example of calculating coordinates by the two
図１３に示す座標の算出方法は、座標算出の対象となるプロジェクタを点灯状態とし、それ以外である対象外のプロジェクタにおける投影映像のコーナ部の輝度を低下させるものである。 The coordinate calculation method shown in FIG. 13 is to turn on the projector that is the target of coordinate calculation and reduce the brightness of the corner portion of the projected image in the other projectors that are not the target.
まず、図１３（ａ）の左側に示すように、座標算出の対象となるプロジェクタ１１を点灯させるとともに、図１３（ａ）の右側に示すように、対象外のプロジェクタ１２においては、投影映像のコーナ部の輝度を低下させる。この状態にて、プロジェクタ１１の投影映像における４つのコーナ部の座標をそれぞれ求める。
First, as shown on the left side of FIG. 13A, the
プロジェクタ１１の４つのコーナ部の座標が求められると、図１３（ｂ）の右側に示すように、低下させていたプロジェクタ１２のコーナ部の輝度を規定に戻すとともに、図１３（ｂ）の左側に示すように、プロジェクタ１１における投影映像のコーナ部の輝度を低下させる。この状態にて、プロジェクタ１２における４つのコーナ部の座標をそれぞれ求める。
When the coordinates of the four corners of the
これにより、座標算出時には、コーナ部のみ輝度が低下し、その他の領域の輝度は低減しないので、投影映像の違和感をより少なくしながら、コーナ部の座標算出を行うことができる。 As a result, at the time of coordinate calculation, the luminance of only the corner portion is reduced and the luminance of the other regions is not reduced. Therefore, the coordinate calculation of the corner portion can be performed while further reducing the discomfort of the projected image.
ここでは、非対象のプロジェクタが投影するコーナ部の輝度を低下させていたが、投影映像のコーナ部にグラデーションがかかるように該プロジェクタを制御してもよい。また、輝度を低下させるコーナ部は、コーナ部が容易に検出される形状であればよい。 Here, the brightness of the corner portion projected by the non-target projector is reduced, but the projector may be controlled so that the corner portion of the projected image is gradationally applied. Further, the corner portion that reduces the brightness may have a shape that allows the corner portion to be easily detected.
図１４は、図１３の座標算出例を用いた経時ずれ補正における処理の一例を示すフローチャートである。 FIG. 14 is a flowchart showing an example of processing in the time shift correction using the coordinate calculation example of FIG.
まず、シーケンス制御部３９は、投影映像選択部３１に保持している変数であるターゲットプロジェクタ番号を０に設定する（ステップＳ５０１）。続いて、非対象のプロジェクタが投影するコーナ部の輝度を低下させる（ステップＳ５０２）。
First, the
このステップＳ５０２の処理において、シーケンス制御部３９は、ターゲットプロジェクタ番号に従って、通信制御部３５を経由して、ターゲットではないプロジェクタ（例えばプロジェクタ１２〜１４）の制御回路２９に投影映像のコーナ部の輝度を低下させるコマンドを発行する。
In the process of step S502, the
シーケンス制御部３９からコマンドを受け取った制御回路２９は、マスク生成回路２２を制御して投影映像のコーナ部の輝度を低下させるマスクを生成させる。映像演算回路２４は、マスク生成回路２２が生成したマスクを投影映像に合成して光学系２７によって投影される。
The
これによって、ターゲットではないプロジェクタ１２〜１４の投影映像のコーナ部の輝度が低下するので、輝度が低下していないターゲットプロジェクタ（例えばプロジェクタ１１）の投影映像のコーナ部の座標を精度よく算出することができる。
As a result, the luminance of the corner portion of the projected image of the
以降、図１４のステップＳ５０３〜Ｓ５０８の処理は、図６のステップＳ２０４〜Ｓ２０９の処理と同様であるので、説明は省略する。そして、このように算出した幾何補正パラメータを用いて、前述した図８のように経時ずれを補正する。 After that, the processes of steps S503 to S508 of FIG. 14 are the same as the processes of steps S204 to S209 of FIG. 6, so description thereof will be omitted. Then, using the geometrical correction parameters calculated in this way, the temporal shift is corrected as shown in FIG.
以上により、投影映像の違和感をより軽減しながら、経時ずれの補正を行うことができる。 As described above, it is possible to correct the temporal shift while further reducing the discomfort of the projected image.
（実施の形態３）
〈座標算出例〉
図１５は、本実施の形態３によるコーナ部の座標算出における一例を示す説明図である。
(Embodiment 3)
<Coordinate calculation example>
FIG. 15 is an explanatory diagram showing an example of the coordinate calculation of the corner portion according to the third embodiment.
図１５では、図１３に示した座標算出方法において、検出対象のプロジェクタによってコーナ部にマーカを表示させる例を示している。投射型映像表示システム１０の構成については、図２の投射型映像表示システム１０と同様であるので、説明は省略する。
In the coordinate calculation method shown in FIG. 13, FIG. 15 shows an example in which a marker is displayed on the corner section by the projector to be detected. The configuration of the projection type
この場合、図１５（ａ）の左側に示すように、座標算出の対象となるプロジェクタ１１を点灯させるとともに該プロジェクタ１１にて投影映像における４つのコーナ部にマーカ６０をそれぞれ重畳表示させる。
In this case, as shown on the left side of FIG. 15A, the
また、対象外のプロジェクタ１２においては、図１５（ａ）の右側に示すように、投影映像のコーナ部の輝度を低下させる。この状態にて、プロジェクタ１１の投影映像における４つのコーナ部の座標をそれぞれ求める。マーカ６０を表示させることにより、プロジェクタ１１の４つのコーナ部の座標をより精度よく、より短時間で検出することができる。
Further, in the
プロジェクタ１１の４つのコーナ部の座標が求められると、図１５（ｂ）の左側に示すように、投影映像のコーナ部の輝度を低下させる。また、プロジェクタ１２は、図１５（ｂ）の右側に示すように、コーナ部の輝度を規定に戻すとともに、各々のコーナ部にマーカ６１を表示させる。これによって、プロジェクタ１２の４つのコーナ部の座標をより精度よく、より短時間にて検出することができる。
When the coordinates of the four corners of the
マーカ６０，６１は、マーカ生成回路２１によって生成される。そして、映像演算回路２４が、マーカ生成回路２１が生成したマーカを投影される映像コンテンツに合成する、マーカ６０，６１が合成された映像コンテンツは、光学系２７によって投影される。
The
マーカ６０，６１は、四角形や丸などのコーナ部が精度よく検出することのできる形状であればよく、制限はない。
The
また、マーカ６０，６１は、表示されている映像コンテンツの色相に近い色とするようにしてもよい。例えば、マーカ６０，６１付近の映像が草原などの場合には、該マーカ６０，６１の表示色を草原の色に近い緑色などとし、青空などの場合には、マーカ６０，６１を青空に近い青色などによって表示する。これによって、マーカ６０、６１を目立たなくすることができ、視聴者の違和感を軽減することができる。
Further, the
〈座標算出の他の例〉
図１６は、図１５の他の例を示す説明図である。
<Other examples of coordinate calculation>
FIG. 16 is an explanatory diagram showing another example of FIG.
この図１６では、コーナ部にマーカ６０，６１を重畳表示させるのではなく、プロジェクタが投影する映像の表示領域の外周部に白色の枠を重畳表示する例を示している。なお、図１６の外周部の黒色の線は図面を見やすくするためのものであり、実際には存在しない。
FIG. 16 shows an example in which the
まず、図１６（ａ）に示すように、プロジェクタ１１の投影映像における外周部に額縁状の枠６０ａを重畳表示させて、４つのコーナ部の座標をそれぞれ求める。その後、図１６（ｂ）に示すように、プロジェクタ１２の投影映像における外周部に額縁状の枠６１ａを重畳表示させて、４つのコーナ部の座標をそれぞれ求める。
First, as shown in FIG. 16A, a frame-shaped
これによっても、プロジェクタ１１，１２の４つのコーナ部の座標をより精度よく，より短時間にて検出することができる。
This also enables the coordinates of the four corners of the
以上により、動画コンテンツを視聴中における視聴者の違和感を低減しながら、より精度よく、より短時間で経時ずれを補正することができる。 As described above, it is possible to correct the time lag with higher accuracy and in a shorter time while reducing the discomfort of the viewer while watching the moving image content.
（実施の形態４）
〈座標算出例〉
図１７は、本実施の形態４による経時ずれ補正におけるコーナ部の座標算出の一例を示す説明図である。投射型映像表示システム１０の構成については、図２の投射型映像表示システム１０と同様であるので、説明は省略する。
(Embodiment 4)
<Coordinate calculation example>
FIG. 17 is an explanatory diagram showing an example of the calculation of the coordinates of the corner portion in the time lapse correction according to the fourth embodiment. The configuration of the projection type
なお、図１７についても、説明を簡単にするために２つのプロジェクタ１１，１２による座標の算出例を示している。
Note that FIG. 17 also shows an example of calculating coordinates by the two
図１７に示す座標の算出方法は、対象外のプロジェクタにおける投影映像のコーナ部の輝度を低下させる図１３の処理に加えて、対象のプロジェクタにおいて、輝度が低下したコーナ部の輝度を上げる処理を行うものである。 The coordinate calculation method shown in FIG. 17 includes a process of increasing the brightness of the corner part of the target projector whose brightness has decreased, in addition to the process of FIG. 13 of decreasing the brightness of the corner part of the projected image on the non-target projector. It is something to do.
まず、図１７（ａ）の左側に示すように、座標算出の対象となるプロジェクタ１１を点灯させるとともに、図１７（ｂ）の右側に示すように、対象外のプロジェクタ１２においては、投影映像のコーナ部の輝度を低下させる。
First, as shown on the left side of FIG. 17A, the
このとき、プロジェクタ１１は、輝度が低下したプロジェクタ１２の投影映像のコーナ部の輝度を増加させる。この際、プロジェクタ１１では、コーナ部が明確に検出できる程度の輝度まで増加させる。
At this time, the
これによって、コーナ部の輝度低下を補うことができるので、違和感の少ない投影映像を視聴者などに提供することができる。この状態にて、プロジェクタ１１の投影映像における４つのコーナ部の座標をそれぞれ求める。
With this, it is possible to compensate for the decrease in the brightness of the corner portion, and thus it is possible to provide a viewer or the like with a projected image with less discomfort. In this state, the coordinates of the four corners in the projected image of the
プロジェクタ１１の４つのコーナ部の座標が求められると、図１７（ｂ）の左側に示すように、プロジェクタ１１における投影映像のコーナ部の輝度を低下させるとともに、図１７（ｂ）の右側に示すように、低下させていたプロジェクタ１２のコーナ部の輝度を規定よりも明るくなるように増加させる。この場合も、プロジェクタ１２は、コーナ部が明確に検出できる程度の輝度まで増加させる。
When the coordinates of the four corners of the
この状態にて、プロジェクタ１２における４つのコーナ部の座標をそれぞれ求める。これによっても、コーナ部の輝度低下を補うことができるので、より違和感の少ない投影映像を視聴者などに提供することができる。
In this state, the coordinates of the four corners of the
この場合、図１７に示すコーナ部の輝度の増加は、シーケンス制御部３９がマスク生成回路２２を制御して投影映像のコーナ部の輝度を低下させるマスクおよびコーナ部の輝度を増加させるマスクを生成させる。
In this case, in order to increase the brightness of the corner portion shown in FIG. 17, the
これにより、求めた各プロジェクタの投影映像のコーナ部の座標から算出した幾何補正パラメータを用いて、前述した図８のように経時ずれを補正する。 As a result, the temporal shift is corrected as shown in FIG. 8 using the geometric correction parameters calculated from the obtained coordinates of the corners of the projected image of each projector.
投影映像のコンテンツによっては、映像の周辺部の明るく表示されるものがある。このようなコンテンツを表示している場合には、図１７に示すようにコーナ部の輝度を上げると画素の輝度値の上限を超えるオーバフローとなってしまい、表示される映像が飽和してしまう場合がある。 Depending on the content of the projected image, there is one that is brightly displayed around the image. When such a content is displayed, if the brightness of the corner portion is increased as shown in FIG. 17, the overflow exceeds the upper limit of the brightness value of the pixel, and the displayed image is saturated. There is.
よって、投影映像解析部３７は、投影するコンテンツ映像の周辺が明るい場合に、座標算出時にコーナ部の輝度を上げると、画素の輝度値がオーバフローするか否かを判断する。この処理は、フレーム毎に行われる。
Therefore, when the surroundings of the projected content video are bright, the projection
オーバフローが発生すると判断すると、投影映像解析部３７は、シーケンス制御部３９に対して、座標の算出処理におけるコーナ部の輝度の増加を停止する制御信号を出力する。シーケンス制御部３９は、制御信号を受け取ると、当該フレームによるコーナ部の輝度の増加を中止し、 座標の算出処理を取りやめる。
When determining that an overflow occurs, the projected
シーケンス制御部３９は、投影映像解析部３７からオーバフローが発生しない映像コンテンツであると判断したことを示す制御信号を受け取ると、コーナ部の輝度の増加を再開して 座標の算出処理を実行する。
When the
以上により、経時ずれ補正において、視聴者に、より違和感のない動画コンテンツを提供することができる。 As described above, in the temporal shift correction, the viewer can be provided with moving image content that is more comfortable.
（実施の形態５）
〈経時ずれの補正例〉
図９に示したように経時ずれ検出処理では、カメラ映像を重畳してずれを検出する。そのため、例えば設置されているプロジェクタが前方向にずれた場合には、ずれたプロジェクタの投影映像が小さくなるだけであり、そのずれを検出できることができない。
(Embodiment 5)
<Example of correction of time lag>
As shown in FIG. 9, in the temporal shift detection process, camera images are superimposed to detect the shift. Therefore, for example, when the installed projector is displaced in the forward direction, the projected image of the displaced projector is only reduced, and the displacement cannot be detected.
そこで、本実施の形態５においては、プロジェクタが前方向にずれた場合であっても、経時ずれの補正を行うことのできる技術について説明する。 Therefore, in the fifth embodiment, a technique capable of correcting the temporal shift even when the projector shifts in the forward direction will be described.
図１８は、本実施の形態５による投射型映像表示システム１０における全体処理の概要の一例を示すフローチャートである。図１９は、経時ずれが発生した画像コンテンツの一例を示す説明図である。
FIG. 18 is a flowchart showing an example of the outline of the overall processing in the projection type
図１９（ａ）に示す映像コンテンツは、経時ずれが発生していない場合を示しており、図１９（ｂ）に示す映像コンテンツは、２つのプロジェクタ１１，１２のうち、例えばプロジェクタ１１が前方向にずれる経時ずれが発生している場合の例を示している。
The video content shown in FIG. 19A shows a case in which no time lag has occurred, and the video content shown in FIG. 19B shows that the
図１９（ｂ）に示したプロジェクタ１１が前方向にずれて経時ずれが発生した場合には、前述したように前方にずれたプロジェクタ１１の映像表示領域が小さくあるだけである。よって、図９に示す経時ずれ検出の処理の場合、Ｎフレームを重畳して撮影したカメラ映像から４つのコーナ部の検出しているため、経時ずれを検出することができない。
When the
そこで、図１８のフローチャートに示すように、初期調整の処理において、ステップＳ６０６の処理を追加することにより、プロジェクタが前方向にずれることによる経時ずれの発生を低減する。 Therefore, as shown in the flowchart of FIG. 18, in the initial adjustment process, the process of step S606 is added to reduce the occurrence of a time-dependent shift due to the forward shift of the projector.
ここで、図１８のフローチャートにおけるステップＳ６０１〜ステップＳ６０５の処理は、図５のステップＳ１０１〜Ｓ１０５の処理と同様であるので、説明は省略する。 Here, the processing of steps S601 to S605 in the flowchart of FIG. 18 is the same as the processing of steps S101 to S105 of FIG. 5, so description thereof will be omitted.
ステップＳ６０６の処理では、ステップＳ６０４の検出処理にて経時ずれが発生したことが検出されなかった場合、図２のシーケンス制御部３９が、予め設定された時間が経過したか否かの判断を行う。設定される時間は、例えば２４時間程度である。
In the process of step S606, if it is not detected in the detection process of step S604 that a time-dependent shift has occurred, the
設定時間を経過している場合、シーケンス制御部３９は、ステップＳ６０１の処理である初期調整を実行して、幾何補正パラメータを算出して投影映像のずれを補正する。この初期調整は、図６に示す処理である。
If the set time has elapsed, the
これにより、プロジェクタが前方にずれる経時ずれであっても、補正することがきるので、良好な動画コンテンツを提供することができる。 As a result, even if the projector is displaced forward with time, it can be corrected, so that good moving image content can be provided.
（実施の形態６）
〈投射型映像表示システムの構成例〉
図２０は、本実施の形態６による投射型映像表示システム１０における構成の一例を示す説明図である。
(Embodiment 6)
<Configuration example of projection type video display system>
FIG. 20 is an explanatory diagram showing an example of the configuration of the projection-type
図２０に示す投射型映像表示システム１０は、図２と同様に、プロジェクタ１１〜１４、カメラ１５、およびパーソナルコンピュータ１６から構成されている。
The projection-type
図２の投射型映像表示システム１０では、初期調整の処理および経時ずれ補正の処理をプロジェクタ１１〜１４にて実行したが、図２０に示す投射型映像表示システム１０では、初期調整の処理および経時ずれ補正の処理を実行する機能をパーソナルコンピュータ１６に持たせた例を示している。
In the projection type
プロジェクタ１１〜１４は、映像インタフェース２０、光学系２７、通信インタフェース２８、および制御回路２９からそれぞれ構成されている。これら映像インタフェース２０、光学系２７、通信インタフェース２８、および制御回路２９における動作については、図２と同様であるので、説明は省略する。
The
パーソナルコンピュータ１６は、カメラ入力部３０、投影映像選択部３１、映像送出部３２、カメラ映像解析部３３、パラメータ算出部３４、通信制御部３５、投影映像生成部３６、投影映像解析部３７、記憶部３８、およびシーケンス制御部３９からなる図２のパーソナルコンピュータ１６と同様の構成に、初期調整の処理および経時ずれ補正の処理を実行する機能ブロックであるマーカ重畳部４１、マスク生成処理部４２、パターン生成処理部４３、映像演算処理部４４、幾何補正処理部４５、ならびに幾何補正パラメータ格納部４６が新たに設けられている。
The
パーソナルコンピュータ１６に新たに設けられたマーカ重畳部４１、マスク生成処理部４２、パターン生成処理部４３、映像演算処理部４４、幾何補正処理部４５、および幾何補正パラメータ格納部４６の動作については、図２のマーカ生成回路２１、マスク生成回路２２、パターン生成回路２３、映像演算回路２４、幾何補正回路２５、および幾何補正パラメータ格納部２６と同様であるので、説明は省略する。
Regarding the operation of the
また、カメラ入力部３０、投影映像選択部３１、映像送出部３２、カメラ映像解析部３３、パラメータ算出部３４、通信制御部３５、投影映像生成部３６、投影映像解析部３７、記憶部３８、およびシーケンス制御部３９における動作についても、図２と同様であるので、説明は省略する。
Further, the
このように、初期調整の処理および経時ずれ補正の処理を実行する機能ブロックをパーソナルコンピュータ１６に設けることにより、各プロジェクタ１１〜１４の小型化および低コスト化を実現することができる。
As described above, by providing the
（実施の形態７）
〈投射型映像表示システムの構成例〉
本実施の形態７においては、図２のパーソナルコンピュータ１６およびカメラ１５を不要とする構成について説明する。
(Embodiment 7)
<Configuration example of projection type video display system>
In the seventh embodiment, a configuration in which the
図２１は、本実施の形態７による投射型映像表示システム１０における構成の一例を示す説明図である。
FIG. 21 is an explanatory diagram showing an example of the configuration of the projection-type
図２１に示す投射型映像表示システム１０は、プロジェクタ１１〜１４および携帯端末９０から構成されており、該携帯端末９０がカメラ１５およびパーソナルコンピュータ１６の機能を実行する。
The projection type
プロジェクタ１１〜１４の構成については、図２の通信インタフェース２８の代わりに通信インタフェース２８ａが設けられている。その他の映像インタフェース２０、マーカ生成回路２１、マスク生成回路２２、パターン生成回路２３、映像演算回路２４、幾何補正回路２５、幾何補正パラメータ格納部２６、光学系２７、および制御回路２９の接続構成については、図２と同様であるので、説明は省略する。
Regarding the configuration of the
通信インタフェース２８ａは、無線ＬＡＮ（Local Area Network）やBluetooth（登録商標）などによる無線通信などを行う。映像インタフェース２０は、図示しないパーソナルコンピュータが接続される。パーソナルコンピュータは、視聴者に対して表示する投影映像である映像コンテンツのデータを出力する。
The
携帯端末９０は、スマートフォンあるいはタブレットなどの電子携帯機器である。携帯端末９０は、カメラ８０、カメラ入力部８１、カメラ映像解析部８２、パラメータ算出部８３、記憶部８４、シーケンス制御部８５、表示部８６、および通信制御部８７から構成されている。
The
これらカメラ入力部８１、カメラ映像解析部８２、パラメータ算出部８３、記憶部８４、シーケンス制御部８５、表示部８６、および通信制御部８７は、内部バス８８によって相互に接続されている。
The
通信制御部８７は、例えば３Ｇ（Generation）や４Ｇなどの通信規格による無線通信および無線ＬＡＮ（Local Area Network）やBluetooth（登録商標）などによる無線通信などを行う。表示部８６は、例えば液晶ディスプレイであり、各種の情報を表示する。
The communication control unit 87 performs, for example, wireless communication according to a communication standard such as 3G (Generation) or 4G and wireless communication according to a wireless LAN (Local Area Network) or Bluetooth (registered trademark). The
ここで、映像コンテンツのデータは、前述したパーソナルコンピュータからではなく、携帯端末９０から送信するようにしてもよい。その場合には、通信制御部８７が、プロジェクタ１１〜１４が有する無線通信インタフェース４６に対して無線通信によって送信する。
Here, the data of the video content may be transmitted from the
カメラ８０、カメラ入力部８１、カメラ映像解析部８２、パラメータ算出部８３、記憶部８４、シーケンス制御部８５、表示部８６、および通信制御部８７については、図２のカメラ１５、カメラ入力部３０、カメラ映像解析部３３、パラメータ算出部３４、記憶部３８、およびシーケンス制御部３９と同様であるので、説明は省略する。
Regarding the
このように、投射型映像表示システム１０をプロジェクタ１１〜１４および携帯端末９０から構成することによって、システムの小型化を実現することができる。
As described above, by configuring the projection-type
（実施の形態８）
〈投射型映像表示システムの構成例〉
図２２は、本実施の形態８による投射型映像表示システム１０における構成の一例を示す説明図である。
(Embodiment 8)
<Configuration example of projection type video display system>
FIG. 22 is an explanatory diagram showing an example of the configuration of the projection-type
図２２に示す投射型映像表示システム１０は、プロジェクタ１１〜１４およびパーソナルコンピュータ１６から構成されている。
The projection-type
図２２の投射型映像表示システム１０が、図２の投射型映像表示システム１０と異なる点は、プロジェクタ１１にカメラ９５が内蔵されたところである。その他の構成および動作については、図２と同様であるので、説明を省略する。
The projection-type
このように、プロジェクタ１１にカメラ９５を内蔵することにより、カメラの取り付け作業などを不要にすることができるので、利便性をより向上することができる。また、投射型映像表示システム１０における設置時間についても短縮することができる。
As described above, by incorporating the
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。 Although the invention made by the present inventor has been specifically described based on the embodiment, the invention is not limited to the embodiment, and various modifications can be made without departing from the scope of the invention. Needless to say.
１０ 投射型映像表示システム
１１ プロジェクタ
１２ プロジェクタ
１３ プロジェクタ
１４ プロジェクタ
１５ カメラ
１６ パーソナルコンピュータ
２０ 映像インタフェース
２１ マーカ生成回路
２２ マスク生成回路
２３ パターン生成回路
２４ 映像演算回路
２５ 幾何補正回路
２６ 幾何補正パラメータ格納部
２７ 光学系
２８ 通信インタフェース
２９ 制御回路
３０ カメラ入力部
３１ 投影映像選択部
３２ 映像送出部
３３ カメラ映像解析部
３４ パラメータ算出部
３５ 通信制御部
３６ 投影映像生成部
３７ 投影映像解析部
３８ 記憶部
３９ シーケンス制御部
４１ マーカ重畳部
４２ マスク生成処理部
４３ パターン生成処理部
４４ 映像演算処理部
４５ 幾何補正処理部
４６ 幾何補正パラメータ格納部
８０ カメラ
８１ カメラ入力部
８２ カメラ映像解析部
８３ パラメータ算出部
８４ 記憶部
８５ シーケンス制御部
８６ 表示部
８７ 通信制御部
８８ 内部バス
９０ 携帯端末
９５ カメラ
10 Projection Type
Claims (10)
前記映像を投影する複数のプロジェクタと、
複数の前記プロジェクタに映像データを出力するコンピュータと、
複数の前記プロジェクタが映像投射面に投影する前記映像を撮影する撮像部と、
を備え、
複数の前記プロジェクタは、
投影される前記映像の幾何学的歪みを幾何パラメータに基づいて補正する幾何補正部と、
前記映像投射面に前記映像を投影する映像投射部と、
を有し、
前記コンピュータは、
前記撮像部が撮影した前記映像を解析して、複数の前記プロジェクタが投影する映像にずれが生じる経時ずれが発生しているか否かを判定する映像解析部と、
複数の前記プロジェクタを制御する制御部と、
を有し、
前記映像解析部は、前記撮像部が撮影した各々の前記プロジェクタが投影する前記映像を全て重畳した映像の４つのコーナ部の座標をそれぞれ算出し、算出した前記座標とあらかじめ設定されているしきい値とを比較して、前記座標が前記しきい値を超えている場合に経時ずれが発生していると判定し、
前記幾何補正部は、前記映像解析部が経時ずれが発生していると判定した際に各々の前記プロジェクタが投影する前記映像を補正する、投射型映像表示システム。 A projection type image display system for displaying a plurality of images in an overlapping manner,
A plurality of projectors for projecting the image,
A computer that outputs video data to the plurality of projectors;
An imaging unit that captures the video projected by the plurality of projectors onto a video projection surface;
Equipped with
A plurality of said projectors,
A geometric correction unit that corrects the geometric distortion of the projected image based on a geometric parameter;
An image projection unit that projects the image on the image projection surface,
Have
The computer is
An image analysis unit that analyzes the image captured by the image capturing unit and determines whether there is a time-dependent shift that causes a shift in the images projected by the plurality of projectors,
A control unit for controlling the plurality of projectors;
Have
The image analysis unit calculates coordinates of four corners of an image obtained by superimposing all of the images projected by each of the projectors captured by the imaging unit, and the calculated coordinates and preset thresholds. By comparing with the value, it is determined that a time lapse has occurred when the coordinates exceed the threshold value,
The projection type image display system, wherein the geometric correction unit corrects the image projected by each of the projectors when the image analysis unit determines that a time lag has occurred.
前記制御部は、前記撮像部が各々の前記プロジェクタの前記映像を撮影する際に、座標算出の対象ではないプロジェクタの投影映像の一部の輝度を低減させる、投射型映像表示システム。 The projection type image display system according to claim 1,
The projection-type image display system, wherein the control unit reduces the brightness of a part of the projection image of the projector that is not the target of coordinate calculation when the imaging unit captures the image of the projector.
前記制御部は、前記撮像部が各々の前記プロジェクタの前記映像を撮影する際に、座標算出の対象となるプロジェクタの映像のみを投影させ、対象ではないプロジェクタを消灯させる、投射型映像表示システム。 The projection type image display system according to claim 1,
The projection-type video display system, wherein the control unit projects only the video of the projector that is the target of coordinate calculation and turns off the projector that is not the target when the imaging unit captures the video of each of the projectors.
複数の前記プロジェクタは、
前記映像のコーナ部の座標の算出を補助するマーカを生成するマーカ生成部と、
前記マーカ生成部が生成する前記マーカを前記映像の４つのコーナ部に重畳させる映像演算部と、
を有し、
前記撮像部は、前記マーカが重畳表示された前記映像を前記プロジェクタ毎にそれぞれ撮影し、
前記映像解析部は、前記撮像部が撮影した前記マーカが重畳表示された前記映像から前記コーナ部の座標を算出する、投射型映像表示システム。 The projection type image display system according to claim 1,
A plurality of said projectors,
A marker generation unit that generates a marker for assisting the calculation of the coordinates of the corner portion of the image,
An image calculation unit that superimposes the markers generated by the marker generation unit on four corners of the image,
Have
The image capturing unit captures the image on which the marker is superimposed and displayed for each of the projectors,
The projection image display system, wherein the image analysis unit calculates coordinates of the corner from the image on which the marker captured by the image capturing unit is superimposed and displayed.
前記マーカ生成部は、投影される前記映像に近似する色のマーカを生成する、投射型映像表示システム。 The projection type image display system according to claim 4,
The projection type image display system, wherein the marker generation unit generates a marker of a color similar to the projected image.
複数の前記プロジェクタは、
前記映像のコーナ部の算出を補助するマーカを生成するマーカ生成部と、
前記マーカ生成部が生成する前記マーカを前記映像の４つのコーナ部に重畳させる映像演算部と、
を有し、
前記マーカ生成部が生成する前記マーカは、前記映像の外周部を取り囲む額縁状の枠であり、
前記撮像部は、前記マーカが重畳表示された前記映像を前記プロジェクタ毎にそれぞれ撮影し、
前記映像解析部は、前記撮像部が撮影した前記マーカが重畳表示された前記映像から前記コーナ部の座標を算出する、投射型映像表示システム。 The projection type image display system according to claim 1,
A plurality of said projectors,
A marker generation unit that generates a marker for assisting the calculation of the corner portion of the image,
An image calculation unit that superimposes the markers generated by the marker generation unit on four corners of the image,
Have
The marker generated by the marker generation unit is a frame-shaped frame surrounding the outer peripheral portion of the image,
The image capturing unit captures the image on which the marker is superimposed and displayed for each of the projectors,
The projection image display system, wherein the image analysis unit calculates coordinates of the corner from the image on which the marker captured by the image capturing unit is superimposed and displayed.
複数の前記プロジェクタは、
前記映像の輝度を増加または減少させるマスクを生成するマスク生成部と、
前記マスク生成部が生成する前記マスクを、投影される映像の４つのコーナ部に重畳させる映像演算部と、
を有し、
前記撮像部は、前記マスクによってコーナ部の輝度が増加または減少した前記映像を前記プロジェクタ毎にそれぞれ撮影し、
前記映像解析部は、前記撮像部が撮影した前記映像から前記コーナ部の座標を算出する、投射型映像表示システム。 The projection type image display system according to claim 1,
A plurality of said projectors,
A mask generation unit that generates a mask that increases or decreases the brightness of the image;
An image calculation unit that superimposes the mask generated by the mask generation unit on four corners of a projected image;
Have
The image capturing unit captures the image in which the brightness of the corner portion is increased or decreased by the mask for each of the projectors,
The projection type video display system, wherein the video analysis unit calculates coordinates of the corner from the video captured by the imaging unit.
前記映像を投影する複数のプロジェクタと、
複数の前記プロジェクタに映像データを出力するコンピュータと、
複数の前記プロジェクタが映像投射面に投影する前記映像を撮影する撮像部と、
を備え、
複数の前記プロジェクタは、
投影される前記映像の幾何学的歪みを幾何パラメータに基づいて補正する幾何補正部と、
前記映像投射面に前記映像を投影する映像投射部と、
前記撮像部が撮影した前記映像を解析して、複数の前記プロジェクタが投影する映像にずれが生じる経時ずれが発生しているか否かを判定する映像解析部と、
を有し、
前記映像解析部は、前記撮像部が撮影した各々の前記プロジェクタが投影する前記映像の４つのコーナ部の座標をそれぞれ算出し、算出した前記座標とあらかじめ設定されているしきい値とを比較して、前記座標が前記しきい値を超えている場合に経時ずれが発生していると判定し、
前記幾何補正部は、前記映像解析部が経時ずれが発生していると判定した際に各々の前記プロジェクタが投影する前記映像を補正する、投射型映像表示システム。 A projection type image display system for displaying a plurality of images in an overlapping manner,
A plurality of projectors for projecting the image,
A computer that outputs video data to the plurality of projectors;
An imaging unit that captures the video projected by the plurality of projectors onto a video projection surface;
Equipped with
A plurality of said projectors,
A geometric correction unit that corrects the geometric distortion of the projected image based on a geometric parameter;
An image projection unit that projects the image on the image projection surface,
An image analysis unit that analyzes the image captured by the image capturing unit and determines whether there is a time-dependent shift that causes a shift in the images projected by the plurality of projectors,
Have
The video analysis unit calculates coordinates of four corners of the video projected by each of the projectors captured by the imaging unit, and compares the calculated coordinates with a preset threshold value. Then, if the coordinates exceed the threshold value, it is determined that a time lag has occurred,
The projection type image display system, wherein the geometric correction unit corrects the image projected by each of the projectors when the image analysis unit determines that a time lag has occurred.
前記映像を投影する複数のプロジェクタと、
複数の前記プロジェクタに映像データを出力するコンピュータと、
を備え、
複数の前記プロジェクタのうち、１つの前記プロジェクタは、映像投射面に投影される前記映像を撮影する撮像部を有し、
複数の前記プロジェクタは、
投影される前記映像の幾何学的歪みを幾何パラメータに基づいて補正する幾何補正部と、
前記映像投射面に前記映像を投影する映像投射部と、
を有し、
前記コンピュータは、前記撮像部が撮影した前記映像を解析して、複数の前記プロジェクタが投影する映像にずれが生じる経時ずれが発生しているか否かを判定する映像解析部を有し、
前記映像解析部は、前記撮像部が撮影した各々の前記プロジェクタが投影する前記映像の４つのコーナ部の座標をそれぞれ算出し、算出した前記座標とあらかじめ設定されているしきい値とを比較して、前記座標が前記しきい値を超えている場合に経時ずれが発生していると判定し、
前記幾何補正部は、前記映像解析部が経時ずれが発生していると判定した際に各々の前記プロジェクタが投影する前記映像を補正する、投射型映像表示システム。 A projection type image display system for displaying a plurality of images in an overlapping manner,
A plurality of projectors for projecting the image,
A computer that outputs video data to the plurality of projectors;
Equipped with
One of the plurality of projectors has an imaging unit that captures the image projected on the image projection surface,
A plurality of said projectors,
A geometric correction unit that corrects the geometric distortion of the projected image based on a geometric parameter;
An image projection unit that projects the image on the image projection surface,
Have
The computer has an image analysis unit that analyzes the image captured by the image capturing unit and determines whether or not there is a time-dependent shift that causes a shift in the images projected by the plurality of projectors,
The video analysis unit calculates coordinates of four corners of the video projected by each of the projectors captured by the imaging unit, and compares the calculated coordinates with a preset threshold value. Then, if the coordinates exceed the threshold value, it is determined that a time lag has occurred,
The projection type image display system, wherein the geometric correction unit corrects the image projected by each of the projectors when the image analysis unit determines that a time lag has occurred.
前記映像を投影する複数のプロジェクタと、
複数の前記プロジェクタが投影する映像にずれが生じる経時ずれを検出して補正する携帯端末と、
を備え、
複数の前記プロジェクタは、
投影される前記映像の幾何学的歪みを幾何パラメータに基づいて補正する幾何補正部と、
映像投射面に前記映像を投影する映像投射部と、
を有し、
前記携帯端末は、
複数の前記プロジェクタが前記映像投射面に投影する前記映像を撮影する撮像部と、
前記撮像部が撮影した前記映像を解析して、複数の前記プロジェクタが投影する前記映像に前記経時ずれが発生しているか否かを判定する映像解析部と、
を有し、
前記映像解析部は、前記撮像部が撮影した各々の前記プロジェクタが投影する前記映像の４つのコーナ部の座標をそれぞれ算出し、算出した前記座標とあらかじめ設定されているしきい値とを比較して、前記座標が前記しきい値を超えている場合に経時ずれが発生していると判定し、
前記幾何補正部は、前記映像解析部が経時ずれが発生していると判定した際に各々の前記プロジェクタが投影する前記映像を補正する、投射型映像表示システム。 A projection type image display system for displaying a plurality of images in an overlapping manner,
A plurality of projectors for projecting the image,
A mobile terminal that detects and corrects a time-dependent shift that causes a shift in images projected by the plurality of projectors;
Equipped with
A plurality of said projectors,
A geometric correction unit that corrects the geometric distortion of the projected image based on a geometric parameter;
An image projection unit that projects the image on an image projection surface,
Have
The mobile terminal is
An imaging unit that captures the image projected by the plurality of projectors onto the image projection surface;
An image analysis unit that analyzes the image captured by the image capturing unit and determines whether or not the time lapse has occurred in the images projected by the plurality of projectors,
Have
The video analysis unit calculates coordinates of four corners of the video projected by each of the projectors captured by the imaging unit, and compares the calculated coordinates with a preset threshold value. Then, if the coordinates exceed the threshold value, it is determined that a time lag has occurred,
The projection type image display system, wherein the geometric correction unit corrects the image projected by each of the projectors when the image analysis unit determines that a time lag has occurred.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019019388A JP2020127162A (en) | 2019-02-06 | 2019-02-06 | Projection type video display system |
| PCT/JP2019/049517 WO2020162051A1 (en) | 2019-02-06 | 2019-12-18 | Projection type video display system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019019388A JP2020127162A (en) | 2019-02-06 | 2019-02-06 | Projection type video display system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020127162A true JP2020127162A (en) | 2020-08-20 |
Family
ID=71947602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019019388A Pending JP2020127162A (en) | 2019-02-06 | 2019-02-06 | Projection type video display system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2020127162A (en) |
| WO (1) | WO2020162051A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11800070B2 (en) | 2020-12-24 | 2023-10-24 | Seiko Epson Corporation | Control method for projector, projector, and image projection system |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4578341B2 (en) * | 2005-07-01 | 2010-11-10 | シャープ株式会社 | Image projection method, projector, and computer program |
| JP2011228832A (en) * | 2010-04-16 | 2011-11-10 | Seiko Epson Corp | Image processing device, image display system, and image processing method |
| JP5641820B2 (en) * | 2010-08-25 | 2014-12-17 | キヤノン株式会社 | Projection type display system and projection type display device |
| JP5970879B2 (en) * | 2012-03-14 | 2016-08-17 | 株式会社リコー | Projection system, projection method, program, and recording medium |
| JP2017009909A (en) * | 2015-06-25 | 2017-01-12 | 日立マクセル株式会社 | Projection type video display system, projection type video display device, and projection correction method |
-
2019
- 2019-02-06 JP JP2019019388A patent/JP2020127162A/en active Pending
- 2019-12-18 WO PCT/JP2019/049517 patent/WO2020162051A1/en active Application Filing
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11800070B2 (en) | 2020-12-24 | 2023-10-24 | Seiko Epson Corporation | Control method for projector, projector, and image projection system |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020162051A1 (en) | 2020-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9906761B2 (en) | Projector, its control method, and image projection system | |
| US9554105B2 (en) | Projection type image display apparatus and control method therefor | |
| JP6645687B2 (en) | Display device and control method | |
| JP5796286B2 (en) | Projector and projector control method | |
| JP6793483B2 (en) | Display devices, electronic devices and their control methods | |
| US20170244941A1 (en) | Projector and control method thereof | |
| US9568812B2 (en) | Image projection apparatus and control method thereof | |
| JP2019161397A (en) | Control device, program, and control method | |
| JP2016014713A (en) | Image projection device, image projection method, and control program of image projection device | |
| JP5262743B2 (en) | Projection display apparatus, control method therefor, and control program therefor | |
| JP6794092B2 (en) | Display device | |
| JP2018125819A (en) | Control device, control method, program, and storage medium | |
| WO2017179111A1 (en) | Display system and information processing method | |
| JP2011188404A (en) | Image processing apparatus in multi-projection system, method of processing image in multi-projection system, and multi-projection system | |
| WO2020162051A1 (en) | Projection type video display system | |
| JP2015192310A (en) | Projection system, portable equipment, program, and control method of portable equipment | |
| JP6700955B2 (en) | Projection apparatus and projection method | |
| JP2018142856A (en) | Projector, and method for controlling projector | |
| JP6345316B2 (en) | Projector, control method therefor, program, and storage medium | |
| JP2020150481A (en) | Information processing device, projection system, information processing method, and program | |
| JP2015109560A (en) | Display system, display control device, and method | |
| JP2019047355A (en) | projector | |
| JP2014137386A (en) | Projector, control method therefor, and image projection system | |
| JP2019149633A (en) | Projector, control device, image projection system, control method, and program | |
| JP2012095181A (en) | Projector, and method of controlling projector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20211022 |