JP2021164100A - 映像調整システムおよび映像調整装置 - Google Patents

Abstract

【課題】複数の映像投写装置を使用する場合に、視認性および操作性を向上する映像調整システムを提供する。
【解決手段】
複数の映像投写装置１１〜１３と、複数の映像投写装置１１〜１３それぞれの投写範囲を包含する領域を撮像して、撮像画像を取得する撮像装置２１と、映像投写装置１１〜１３と撮像装置２１とを制御する制御装置３１と、を備え、制御装置３１は、撮像画像における第１基準向きに対する、映像投写装置１１〜１３により投写された映像の向きを示す第１回転情報を算出し、第１回転情報に基づいて、映像の向きと第１基準向きとが所定の関係となるよう、映像の表示を調整する。
【選択図】図１

Description

本開示は、映像調整システムおよび映像調整装置に関する。

特許文献１に記載のプロジェクタ装置は、映像を生成する際に、映像を回転または傾けるべき角度を検出し、検出した角度に従い、画像信号のアスペクト比を維持しながら所定量回転して、映像をスクリーンに投写する。

特開２０１０−１７００４８号公報

特許文献１では、複数の映像投写装置の使用する場合に、映像調整の作業性の向上という点において未だ改善の余地がある。

そこで、本開示では、複数の映像投写装置を使用する場合に、映像調整の作業性を向上する映像調整システムおよび映像調整装置を提供することを目的とする。

本開示にかかる映像調整システムは、複数の映像投写装置と、複数の映像投写装置それぞれの投写範囲を包含する領域を撮像して撮像画像を取得する撮像装置と、映像投写装置と撮像装置とを制御する制御装置と、を備える。制御装置は、撮像画像における第１基準向きに対する、映像投写装置により投写された映像の向きを示す第１回転情報を算出し、第１回転情報に基づいて、映像の向きと第１基準向きとが所定の関係となるよう、映像の表示を調整する。

本開示にかかる映像調整装置は、複数の映像投写装置によるそれぞれの映像の表示を調整する映像調整装置であって、複数の映像投写装置それぞれの投写範囲を包含する領域を撮像装置により撮像した撮像画像における第１基準向きに対する映像投写装置により投写された映像の向きを示す第１回転情報を算出する算出部と第１回転情報に基づいて、映像の向きと第１基準向きとが所定の関係となるよう、映像の表示を調整する映像調整部と、を備える。

本開示によると、複数の映像投写装置を使用する場合に、映像調整の作業性を向上する映像調整システムを提供することができる。

本開示の実施の形態１にかかる映像調整システムを示すブロック図である。 図１の映像調整システムの映像投写装置とそれぞれの投写範囲を示す概略図である。 図１の映像調整システムによる調整前の各映像投写装置による映像を示す概略図である。 図１の映像調整システム１００における映像の調整を説明するための概略図である。 各映像投写装置における変換情報の算出方法を示すフローチャートである。 第１回転情報の算出に使用するテストパターンを示す図である。 第１回転情報の算出に使用する別のテストパターンを示す図である。 図６Ａのテストパターンを映像投写装置により投写した映像を撮像装置により撮像した画像を示す図である。 図６Ｂのテストパターンを映像投写装置により投写した映像を撮像装置により撮像した画像を示す図である。 各映像投写装置の第１回転情報および撮像装置の第２回転情報を示す表である。 各映像投写装置において、変換情報に基づいて映像を表示させる処理を示すフローチャートである。 図８の処理により回転されたそれぞれの映像を示す概略図である。 、実施の形態１の変形例にかかるテストパターンを示す概略図である。 映像投写装置により投写されたテストパターンを撮像装置により撮像した撮像画像を示す図である。 実施の形態２にかかる映像調整システムの概略構成を示すブロック図である。 図１１の映像調整システムの方向を指示する入力に対する移動方向を変換する動作を示すフローチャートである。 図１２の方向変換前の方向を指示する入力に対する映像の移動方向を示す概略図である。 図１２の方向変換後の方向を指示する入力に対する映像の移動方向を示す概略図である。 図１１の映像調整システムにおける表示切替の動作を示すフローチャートである。 表示を切り替える前のポインタ映像を示す概略図である。 表示を切り替えた後のポインタ映像を示す概略図である。 実施の形態３にかかる映像調整システムの構成を示す概略図である。 図１６Ａの映像調整システムの撮像装置による撮像画像を示す図である。 実施の形態４にかかる映像調整システムの構成を示す概略図である。 図１７Ａの映像調整システムの撮像装置による撮像画像を示す図である。

（本開示に至った経緯）
近年、複数の映像投写装置を使用して１つの映像を投写するということが多くなってきている。複数の映像投写装置を使用する場合、１つの映像を投写するために、複数の映像投写装置のそれぞれを異なる向きに配置して使用することがある。例えば、ある映像投写装置はランドスケープ（横置き）配置とし、別の映像投写装置はポートレート（縦置き）配置とする、というように、映像投写装置ごとに配置される向きを変えることがある。この場合、それぞれの映像投写装置の配置される向きに合わせてそれぞれの映像が表示される。従来の映像投写装置において、それぞれの映像を同じ向きに表示させるための映像調整の作業性を向上させるという点において、未だ改善の余地がある。

そこで、本発明者らは、例えば実世界での鉛直線の方向などの所定の基準に基づいて、それぞれの画像の向き、およびキーボードまたはマウス等による入力の向きを調整することを検討し、以下の発明に至った。

本開示の一態様にかかる映像調整システムは、複数の映像投写装置と、複数の映像投写装置それぞれの投写範囲を包含する領域を撮像して、撮像画像を取得する撮像装置と、映像投写装置と撮像装置とを制御する制御装置と、を備える。制御装置は、撮像画像における第１基準向きに対する、映像投写装置により投写された映像の向きを示す第１回転情報を算出し、第１回転情報に基づいて映像の向きと第１基準向きとが所定の関係となるよう、映像の表示を調整する。

この構成によると、複数の映像投写装置を使用する場合に、映像調整の作業性を向上した映像調整システムを提供することができる。

制御装置は、さらに、第１回転情報に基づいて、映像投写装置におけるプロジェクタ座標と、撮像装置におけるカメラ座標とのマッピング情報を生成し、マッピング情報に基づいて、映像のプロジェクタ座標をカメラ座標に変換する変換情報を生成してもよい。

この構成によると、複数の映像投写装置の間で、映像を移動させることができる。

さらに、方向を指示する入力を行う入力装置、を備え、制御装置は、入力と変換情報とに基づいて、入力の指示する方向を変換してもよい。

この構成によると、入力により指示された方向と映像の移動方向とが一致するため、視認性および操作性を向上することができる。

複数の映像投写装置は、第１映像投写装置と第２映像投写装置とを含み、投写範囲は、第１映像投写装置の第１範囲と第２映像投写装置の第２範囲とを含み、制御装置は、第１範囲に投写された映像の一部が入力により第１範囲の外に移動したとき、変換情報に基づいて所定の点の撮像装置におけるカメラ座標を算出し、複数の映像投写装置のうち、変換情報に基づいてカメラ座標を投写範囲に含む映像投写装置を検索し、カメラ座標が第２範囲に含まれるとき、映像を第１映像投写装置による表示から、第２映像投写装置による表示に切り替えてもよい。

この構成によると、複数の映像投写装置にまたがって表示される映像をスムーズに表示することができる。このため、視認性をさらに向上することができる。

撮像装置は、第１基準向きと異なる第２基準向きに対する撮像装置の傾きを検出するセンサを有し、制御装置は、第２基準向きと傾きとに基づいて第２回転情報を算出し、第１回転情報と第２回転情報とに基づき、変換情報を生成してもよい。

この構成によると、例えば、鉛直方向など、任意の向きに合わせて映像を表示させることができる。

制御装置は、それぞれの映像の向きと第１基準向きとが一致するよう、映像の座標を変換してもよい。

この構成によると、複数の映像投写装置により１つの映像を投写する際に、それぞれの映像の表示される向きを一致させることができ、視認性をさらに向上することができる。

本開示の一態様にかかる映像調整装置は、複数の映像投写装置によるそれぞれの映像の表示を調整する映像調整装置であって、複数の映像投写装置それぞれの投写範囲を包含する領域を撮像装置により撮像した撮像画像における第１基準向きに対する、映像投写装置により投写された映像の向きを示す第１回転情報を算出する算出部と、第１回転情報に基づいて、映像の向きと第１基準向きとが所定の関係となるよう、映像の表示を調整する映像調整部と、を備える。

この構成によると、複数の映像投写装置を使用する場合に、映像調整の作業性を向上することができる。

さらに、第１回転情報に基づいて、映像投写装置におけるプロジェクタ座標と、撮像装置におけるカメラ座標とのマッピング情報を生成するマッピング部と、マッピング情報に基づいて、映像のプロジェクタ座標をカメラ座標に変換する変換情報を生成する座標変換部と、を備えてもよい。

この構成によると、複数の映像投写装置の間で、映像を移動させることができる。

以下、実施の形態を図面に基づいて説明する。

（実施の形態１）
図１は、本開示の実施の形態１にかかる映像調整システム１００を示すブロック図である。図２は、図１の映像調整システム１００の映像投写装置１１〜１３とそれぞれの投写範囲ＰＬ１１〜ＰＬ１３を示す概略図である。図３は、図１の映像調整システム１００による調整前の各映像投写装置１１〜１３による映像Ｖ１１〜Ｖ１３を示す概略図である。図４は、図１の映像調整システム１００における映像の調整を説明するための概略図である。なお、図４のＸ、Ｙ方向はそれぞれ、水平方向、鉛直上方向を示す。

［全体構成］
図１に示すように、映像調整システム１００は、３つの映像投写装置１１、１２、１３と、撮像装置２１と、制御装置３１と、を備える。

＜映像投写装置＞
それぞれの映像投写装置１１、１２、１３は、入力される映像信号に基づいて映像を投写する装置である。各映像投写装置１１〜１３は、後述する制御装置３１との間で、映像信号等のデータまたは情報の送受信が可能である。それぞれの映像投写装置１１〜１３は、制御装置３１から入力された映像信号に基づいて、映像を生成し、スクリーンまたは壁面等の投写面に投写するための投写光（例えば、可視光）を出力する。それぞれの映像投写装置１１〜１３は、投写面に向かって投写光を出力可能な位置に配置される。

本実施の形態では、３つの映像投写装置１１〜１３により１つの映像を投写することができる。このため、図２に示すように、それぞれの映像投写装置１１、１２、１３のそれぞれの投写範囲ＰＬ１１、ＰＬ１２、ＰＬ１３を超える大きさの映像を投写することができる。ここで、「１つの映像」とは、３つの映像投写装置１１〜１３により、相互に関係を有する映像のことである。相互に関係を有する映像であれば、「１つの映像」の中に複数の映像または画像が含まれていてもよい。

また、本実施の形態では、それぞれの映像投写装置１１〜１３はそれぞれ異なる向きで配置されている。具体的には、図２に示すように、映像投写装置１１はポートレート（縦置き）配置であり、映像投写装置１２、１３はランドスケープ（横置き）配置である。それぞれの映像投写装置１１〜１３の配置は、ポートレート配置またはランドスケープ配置に限らず、例えば、傾斜させて配置されていてもよい。

上述のように、それぞれの映像投写装置１１〜１３がそれぞれ異なる向きで配置されている。このため、図３に示すように、それぞれの映像投写装置１１〜１３により投写されたそれぞれの映像Ｖ１１〜Ｖ１３もそれぞれ異なる向きで表示される。

＜撮像装置＞
撮像装置は、静止画または動画を撮像する装置である。撮像装置２１は、それぞれの投写範囲ＰＬ１１、ＰＬ１２、ＰＬ１３を包含する領域を撮像して、図４に示す撮像画像ＣＬ１を取得する。撮像装置２１は、制御装置３１との間で、データまたは情報の送受信が可能である。撮像装置２１は、映像投写装置１１〜１３により映像が投写される投写面に向かって撮影可能な位置に配置される。撮像装置２１は、後述する第２基準向きＳＲ２に対する撮像装置の傾きを検出するセンサ２２を有する。センサ２２としては、例えばジャイロセンサ等の角度を検出することができるセンサを用いることができる。本実施の形態では、第２基準向きＳＲ２はＹ方向である。

＜制御装置＞
制御装置３１は、３つの映像投写装置１１〜１３と、撮像装置２１とを制御する。本実施の形態では、制御装置３１は、算出部３２と、マッピング部３３と、座標変換部３４と、映像調整部３５と、を備える。

算出部３２は、撮像画像ＣＬ１における、第１基準向きＳＲ１に対する、それぞれの映像投写装置１１、１２、１３の向きである第１回転情報ＰＲ１１、ＰＲ１２、ＰＲ１３を算出する。ここで、第１基準向きＳＲ１は、撮像画像ＣＬ１のカメラ座標において基準となる方向である。本実施の形態では、図４に示す矢印ＳＲ１（ＣＲ）が第１基準向きＳＲ１を示す。それぞれの第１回転情報ＰＲ１１〜ＰＲ１３は、例えば、それぞれの映像ＰＬ１１〜ＰＬ１３の第１基準向きＳＲ１に対する角度を指す。

マッピング部３３は、第１回転情報ＰＲ１１〜ＰＲ１３のそれぞれに基づいて、映像投写装置１１〜１３のそれぞれにおけるプロジェクタ座標と、撮像装置２１におけるカメラ座標とのマッピング情報を生成する。プロジェクタ座標とは、それぞれの映像投写装置１１〜１３の投写範囲ＰＬ１１〜ＰＬ１３における座標のことである。カメラ座標とは、撮像装置２１の撮像画像ＣＬ１における座標のことである。マッピング部３３の生成するマッピング情報は、それぞれの映像投写装置１１〜１３のそれぞれのプロジェクタ座標とカメラ座標との対応関係を示す。

また算出部３２は、第２基準向きＳＲ２に対する撮像装置２１の第２回転情報ＣＲを算出してもよい。第２基準向きＳＲ２は、映像Ｖ１１〜Ｖ１３の観察者にとって基準となる向きであり、本実施の形態ではＹ方向とすることができる。本実施の形態では、第２回転情報ＣＲは、第１基準向きＳＲ１のＹ方向に対する角度を指す。

座標変換部３４は、それぞれの映像投写装置１１〜１３のそれぞれの映像Ｖ１１〜Ｖ１３の向きと、第１基準向きＳＲ１とが所定の関係となるよう、それぞれの映像投写装置のプロジェクタ座標を変換する変換情報を生成する。所定の関係とは、例えば、それぞれの映像Ｖ１１〜Ｖ１３の向きと第１基準向きとが一致することである。または、所定の関係は、それぞれの映像の向きが、第１基準向きに対して一定の角度を有していることであってもよい。

映像調整部３５は、変換情報に基づいて、映像Ｖ１１〜Ｖ１３の表示の向きを調整する。例えば、図３に示すように、映像Ｖ１１〜Ｖ１３は異なる向きに表示されているが、変換情報に基づいてそれぞれの映像Ｖ１１〜Ｖ１３の座標を変換することにより、後述する図９に示すように、それぞれの映像Ｖ１１〜Ｖ１３の向きをそろえることができる。

制御装置３１は、プログラムを実行することにより所定の機能を実現するＣＰＵまたはＭＰＵのような汎用プロセッサを含む。制御装置３１は、図示省略の記憶部に格納された制御プログラムを呼び出して実行することにより、上述した算出部、マッピング部、座標変換部、および映像調整部の機能を実現する。制御装置３１は、ハードウェアとソフトウェアとの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路であってもよい。すなわち、制御装置３１は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等の種々のプロセッサで実現することができる。

［動作］
以上のように構成される、映像調整システム１００の動作を図３〜図９を参照して説明する。図５は、各映像投写装置１１〜１３における回転情報の算出および変換情報の生成方法を示すフローチャートである。図６Ａは、第１回転情報ＰＲ１１〜ＰＲ１３の算出に使用するテストパターンＴＰ１を示す図である。図６Ｂは、第１回転情報ＰＲ１１〜ＰＲ１３の算出に使用する別のテストパターンＴＰ２を示す図である。図６Ｃは、図６ＡのテストパターンＴＰ１を映像投写装置１１により投写した映像を撮像装置２１により撮像した画像ＣＬ１を示す図である。図６Ｄは、図６ＢのテストパターンＴＰ２を映像投写装置１１により投写した映像を撮像装置２１により撮像した画像ＣＬ１を示す図である。図７は、各映像投写装置１１〜１３の第１回転情報ＰＲ１１〜ＰＲ１３および撮像装置２１の第２回転情報ＣＲを示す表である。図８は、各映像投写装置１１〜１３において、変換情報に基づいて映像Ｖ１１〜Ｖ１３を表示させる処理を示すフローチャートである。図９は、図８の処理により回転されたそれぞれの映像Ｖ１１〜Ｖ１３を示す概略図である。図５のフローチャート、および図６Ａ〜図９を参照して、回転情報の算出および変換情報の生成方法について説明する。

＜回転情報の算出＞
それぞれの映像投写装置１１〜１３において第１回転情報ＰＲ１１〜ＰＲ１３を算出し、撮像装置２１において第２回転情報ＣＲを算出する。

制御装置３１により、映像投写装置（プロジェクタ）１１〜１３のうちのいずれかを選択する（ステップＳ１０１）。ここでは、ステップＳ１０１において映像投写装置１１が選択された場合を例に以下のステップＳ１０２〜Ｓ１０７を説明するが、同一のステップが映像投写装置１２および映像投写装置１３に対しても実行される。

映像投写装置１１により、図６Ａに示すテストパターンＴＰ１が投写される。また、投写されたテストパターンＴＰ１を撮像装置２１により撮像する。このとき、制御装置３１の算出部３２は、撮像装置２１により撮像された画像ＣＬ１において、テストパターンＴＰ１の四隅のカメラ座標ＣＰ１〜ＣＰ４（図６Ｃ参照）および投写されたテストパターンＴＰ１の中心点のカメラ座標Ｃ１（図６Ｃ参照）を検出する（ステップＳ１０２）。

次に、映像投写装置１１により、図６Ｂに示すテストパターンＴＰ２が投写される。ステップＳ１０１と同様に、投写された映像を撮像装置２１により撮像する。このとき、制御装置３１の算出部３２は、撮像装置２１により撮像された画像ＣＬ１において、テストパターンＴＰ２の中心点のカメラ座標Ｃ２（図６Ｄ参照）を検出する（ステップＳ１０３）。

テストパターンＴＰ１における中心点のカメラ座標Ｃ１と、テストパターンＴＰ２における中心点のカメラ座標Ｃ２との位置関係により、算出部３２は、第１回転情報ＰＲ１１を算出する（ステップＳ１０４）。ここで、図６Ｄに示すように、第１回転情報ＰＲ１１は、テストパターンＴＰ１の中心点のカメラ座標Ｃ１からテストパターンＴＰ２の中心点のカメラ座標Ｃ２へのベクトルとなる。したがって、第１回転情報ＰＲ１１は、映像投写装置１１により投写される映像Ｖ１１の、第１基準向きＳＲ１に対する角度θ１を示す。すなわち、第１回転情報ＰＲ１１は、映像投写装置１１による映像Ｖ１１が、カメラ座標における上方向（第１基準向きＳＲ１）に対してどの程度傾いているかを示す。なお、第１基準向きＳＲ１は、例えば撮像装置２１の撮像範囲における上方向など、映像投写装置１１の映像Ｖ１１を表示させたい向きに応じて選択することができる。

本実施の形態では、第１回転情報ＰＲ１１は、図７の表に示すように１０２度であり、これは、図４に示す第１基準向きＳＲ１に対して、映像Ｖ１１の向きが１０２度傾いていることを示す。

＜変換情報の生成＞
次に、制御装置３１のマッピング部３３は、第１回転情報ＰＲ１に基づいて、映像投写装置１１におけるプロジェクタ座標と、撮像装置２１におけるカメラ座標とのマッピング情報を生成する（ステップＳ１０５）。具体的には、マッピング部３３は、第１回転情報ＰＲ１１に基づいて、テストパターンＴＰ１の四隅のプロジェクタ座標ＰＰ１〜ＰＰ４（図４参照）と、テストパターンＴＰ１の四隅のカメラ座標ＣＰ１〜ＣＰ４との対応関係を求める。プロジェクタ座標とカメラ座標とのマッピング情報とは、例えば、プロジェクタ座標ＰＰ１〜ＰＰ４と、カメラ座標ＣＰ１〜ＣＰ４とをマッピングさせるための情報である。例えば、テストパターンＴＰ１の四隅のように、プロジェクタ座標とカメラ座標の４点以上のマッピング情報を取得すると、後述するプロジェクタ座標とカメラ座標とを変換するための変換情報を生成することができる。

制御装置３１の座標変換部３４は、マッピング情報に基づいて、映像投写装置１１の投写範囲ＰＬ１１におけるプロジェクタ座標をカメラ座標に変換する変換情報Ｈ１を生成する（ステップＳ１０６）。変換情報は、例えば、プロジェクタ座標とカメラ座標との変換行列である。

変換情報Ｈ１が生成されると、制御装置３１により変換情報の生成されていない次の映像投写装置（プロジェクタ）があるか否かを判定する（ステップＳ１０７）。変換情報の生成されていない映像投写装置がある場合（ステップＳ１０７のＹｅｓ）、ステップＳ１０１に戻り、当該映像投写装置に対してステップＳ１０１〜ステップＳ１０６と同じ処理を実行する。変換情報の生成されていない映像投写装置がない場合（ステップＳ１０７のＮｏ）、ステップＳ１０８に進む。

このように、ステップＳ１０２〜ステップＳ１０６は、映像投写装置１２、１３に対しても実行される。その結果、図７の表に示すように、映像投写装置１２、１３に対する第１回転情報ＰＲ１２、ＰＲ１３と、変換情報Ｈ２、Ｈ３が生成される。なお、ステップＳ１０５およびステップＳ１０６は必須の工程ではなく、マッピング情報および変換情報Ｈ１〜Ｈ３は必ずしも生成されなくてもよい。変換情報Ｈ１〜Ｈ３は、後述する映像投写装置１１〜１３の間における、ポインタ等の図形の表示切替を行う場合に使用される。

また、算出部３２により、撮像装置２１に搭載されたジャイロセンサ等により、撮像装置２１の第２回転情報ＣＲが取得される（ステップＳ１０８）。第２回転情報ＣＲは、例えば、鉛直上方向（Ｙ方向）に対する撮像装置２１の角度である。本実施の形態では、図７の表に示すように、第２回転情報ＣＲは−１０度である。

＜映像の表示＞
第１回転情報ＰＲ１〜ＰＲ３および第２回転情報ＣＲに基づいて、それぞれの映像投写装置１１〜１３において、それぞれの映像Ｖ１１〜Ｖ１３を回転して表示させる処理が行われる。以下の説明では、図８のフローチャートを参照して、映像投写装置１１を例に説明するが、映像投写装置１２、１３でも同様の処理が実行される。

第１回転情報ＰＲ１〜ＰＲ３および第２回転情報ＣＲが算出されると、制御装置３１の映像調整部３５により、映像投写装置１１により投写される映像Ｖ１１のが回転される（ステップＳ２０１）。例えば、本実施の形態では、第１回転情報ＰＲと第２回転情報ＣＲを使用して、映像Ｖ１１を（ＣＲ−ＰＲ）の角度で回転させる。したがって、映像Ｖ１１を（（−１０度）−１０２度）＝−１１２度の角度で回転させると、映像Ｖ１１は、Ｙ方向に向いて表示される。

映像Ｖ１１が回転されると、映像調整部３５は、回転した方向に映像Ｖ１１が表示されるよう映像を描画する（ステップＳ２０２）。

ステップＳ２０１〜ステップＳ２０２の処理は、映像投写装置１２、１３に対しても実行される。その結果、図９に示すように、それぞれの映像投写装置１１〜１３による映像Ｖ１１〜Ｖ１３は、同じ向きに表示される。

（変形例）
図１０Ａは、実施の形態１の変形例にかかるテストパターンＴＰ３を示す概略図である。図１０Ｂは、映像投写装置１１により投写されたテストパターンＴＰ３を撮像装置２１により撮像した撮像画像ＣＬ２を示す図である。

図１０ＡのようなテストパターンＴＰ３を使用すると、第１回転情報ＰＲを１つのテストパターンにより算出することができる。以下に、テストパターンＴＰ３による第１回転情報の算出処理の詳細を説明する。

まず、映像投写装置１１によりテストパターンＴＰ３を投写し、撮像装置２１で投写したテストパターンＴＰ３を撮像する。図１０Ａに示すように、テストパターンＴＰ３には、５箇所の白領域Ｗ１〜Ｗ５が設けられている。５箇所の白領域Ｗ１〜Ｗ５のうち、４つの白領域Ｗ１〜Ｗ４はそれぞれ、テストパターンＴＰ３の四隅に配置されている。残りの１つの白領域Ｗ５は、テストパターンＴＰ３の中央より上側に配置される。

撮像画像ＣＬ２において、白領域Ｗ１〜Ｗ５の中心のカメラ座標ＣＰＷ１〜ＣＰＷ５を検出する。検出したカメラ座標ＣＰＷ１〜ＣＰＷ５のうち、他の４点に囲まれる点を特定する。図１０Ｂにおいては、ＣＰＷ３が他の４点に囲まれる点である。ここで、カメラ座標ＣＰＷ１〜ＣＰＷ５のうち、四隅に当たるＣＰＷ１、ＣＰＷ２、ＣＰＷ４、ＣＰＷ５の４点の重心ＣＰＣとＣＰＷ３とを結ぶ線分の向きＣＰＶを算出する。このＣＰＶの向きが第１回転情報ＰＲ１１に相当する。

また、それぞれの白領域Ｗ１〜Ｗ５の中心のプロジェクタ座標は、図１０Ａに示すＰＴ１〜ＰＴ５である。このうち、四隅のプロジェクタ座標ＰＴ１〜ＰＴ４と、カメラ座標ＣＰＷ１、ＣＰＷ２、ＣＰＷ４、ＣＰＷ５とのマッピング情報を生成し、このマッピング情報に基づいて、プロジェクタ座標とカメラ座標との変換行列を生成することができる。

この場合、１つのテストパターンで必要な情報を生成することができる。

［効果］
上述した実施の形態によると、複数の映像投写装置を使用する場合に、映像調整の作業性を向上した映像調整システムを提供することができる。

それぞれの映像Ｖ１１〜Ｖ１３の第１基準向きＳＲ１に対する傾きである第１回転情報ＰＲ１１〜ＰＲ１３を算出する。これを利用して、それぞれの映像Ｖ１１〜Ｖ１３の向きが第１基準向きＳＲ１に対して所定の関係となるよう、それぞれの映像Ｖ１１〜Ｖ１３の表示を調整することができる。このため、複数の映像投写装置により１つの映像を投写する場合に、それぞれの映像投写装置１１〜１３の表示する映像Ｖ１１〜Ｖ１３が異なる方向を向くことを抑制でき、映像の視認性が向上する。

なお、実施の形態１では、映像投写装置が３つ配置された構成について説明したが、映像投写装置は複数であれば３つに限定されない。また、それぞれの映像投写装置１１〜１３の配置（ランドスケープ配置またはポートレート配置）も単なる例示であり、各映像投写装置１１〜１３は、上述したものと異なる配置であってもよい。

また、それぞれの映像投写装置における処理は、順次行われてもよいし、同時に行われてもよい。

また、実施の形態１では、それぞれの映像投写装置１１〜１３の投写範囲ＰＬ１１〜ＰＬ１３は、それぞれ重なる部分を有しているが、それぞれの投写範囲ＰＬ１１〜ＰＬ１３は必ずしも重なっていなくてもよい。

また、実施の形態１では、第１基準向きＳＲ１および第２基準向きＳＲ２に基づいて映像の表示を調整したが、例えば、第２基準向きＳＲ２を使用せず第１基準向きＳＲ１に基づいて映像の表示を調整してもよい。第１基準向きＳＲ１に基づいて映像の表示を調整することで、映像の向きを第１基準向きＳＲ１に一致するようそろえることが可能である。

また、実施の形態１で示したテストパターンは単なる例示であり、テストパターンＴＰ１〜ＴＰ３以外のテストパターンが使用されてもよい。

（実施の形態２）
図１１〜図１５Ｂを参照して、実施の形態２について説明する。なお、実施の形態２においては、実施の形態１と同一または同等の構成については同じ符号を付して説明する。また、実施の形態２では、実施の形態１と重複する記載を省略する。

図１１は、実施の形態２にかかる映像調整システム１０１の概略構成を示すブロック図である。

実施の形態２では、映像調整システム１０１が入力装置４１を備え、座標変換部３４が方向を指示する入力に対する映像の移動方向を変換する点で実施の形態１と異なる。ここで、「方向を指示する入力」とは、映像投写装置１１〜１３により表示される映像、画像、または図形等を移動する方向を示す入力である。

図１１に示すように、映像調整システム１０１は、入力装置４１を備える。入力装置４１は、ユーザからの入力指示を受け付ける入力用インタフェースである。入力装置４１は、ユーザから受け付けた入力指示または操作の内容を電気信号に変換して制御装置３１に伝達する。入力装置４１としては、例えば、キーボード、マウス、タッチパネル、ボタン等を使用することができる。

入力装置４１によりユーザが方向を指示する入力を行うと、制御装置３１により映像を入力された方向に移動する映像信号が生成され、映像投写装置１１〜１３のうち少なくとも１つに送信される。このため、入力装置４１により方向を指示する入力が行われると、ユーザの指定した方向に映像を移動させることができる。

例えば、それぞれの映像投写装置１１〜１３により投写される映像の領域Ｒ１のコーナーに表示されるポインタ映像Ｐ１〜Ｐ４（図１３Ａ参照）を入力装置４１からの入力により移動させることにより、領域Ｒ１の範囲を指定することができる。

例えば、映像投写装置１１により表示されているポインタ映像Ｐ１を移動させるために、入力装置４１により右方向の入力が行われる。このとき、映像投写装置１１は、ポートレート配置されているため、入力装置４１により右方向の入力が行われると、ポインタ映像Ｐ１は、図１３Ａの上方向に移動してしまう。ユーザによる入力の方向と、投写された映像の移動する方向とを合わせるため、本実施の形態のように、方向を指示する入力と、変換情報Ｈ１〜Ｈ３（図７参照）とに基づいて、方向を指示する入力を変換する処理を行う。

また、ポインタ映像Ｐ１を移動させた結果、ポインタ映像Ｐ１の表示位置が映像投写装置１１の投写範囲ＰＬ１１を超える場合に、ポインタ映像Ｐ１を表示可能な別の映像投写装置を検索し、表示の切り替えを行う。

［動作］
＜移動方向の変換＞
図１２〜図１３Ｂを参照して、映像調整システム１０１の方向変換の動作を説明する。本実施の形態では、入力装置４１がキーボードであり、上キー、下キー、右キー、左キーのいずれかにより上下左右の方向を指示する入力を行う場合を例に説明をする。

図１２は、図１１の映像調整システムの方向を指示する入力に対する移動方向を変換する動作を示すフローチャートである。図１３Ａは、図１２の方向変換前の方向を指示する入力に対する映像の移動方向を示す概略図である。図１３Ｂは、図１２の方向変換後の方向を指示する入力に対する映像の移動方向を示す概略図である。

ユーザが入力装置４１を操作することにより、方向ＫＲが入力される（ステップＳ３０１）。ここでは、例えば入力装置４１がキーボードであり、右キーが押下されたとする。このとき、制御装置３１の座標変換部３４は、入力装置４１からの入力ＫＲに対して、角度情報を割り当てる。例えば、上キーの場合は０度、左キーは９０度、下キーは１８０度、右キーは２７０度を入力ＫＲに割り当てるとする。ここでは、右キーが押下されたため、ＫＲに２７０度が割り当てられる。

次に、座標変換部３４は、第１回転情報ＰＲおよび第２回転情報ＣＲに基づいて、方向ＫＲを調整する（ステップＳ３０２）。ポインタ映像Ｐ１は、映像投写装置１１により表示されているため、第１回転情報ＰＲ１１と第２回転情報ＣＲを使用する。第１回転情報ＰＲ１１と第２回転情報ＣＲに基づいて、ＫＲ＝ＫＲ＋（ＣＲ−ＰＲ１１）のように方向ＫＲを調整する。したがって、方向ＫＲは、ＫＲ＝２７０度＋（（−１０度）−１０２度）＝１５８度に調整される。

座標変換部３４は、調整された方向ＫＲに基づいて、ポインタ映像Ｐ１の移動方向を変換する（ステップＳ３０３）。調整された方向ＫＲの値に基づき、ポインタ映像Ｐ１の移動方向が変換される。具体的には、調整された方向ＫＲが、−４５度より大きく４５度以下の場合、４５度より大きく１３５度以下の場合、１３５度より大きく２２５度以下の場合、２２５度より大きく３１５度以下の場合で、それぞれ、上、左、下、右のキーを押下したときのようにポインタ映像Ｐ１が移動する。本実施の形態では、調整された方向ＫＲが１５８度であるため、ポインタ映像Ｐ１は下キーを押下したときのように、すなわち図１３Ｂのように図面右方向に移動する。

方向変換処理を実行する前は、入力装置４１により「右」を指示する入力が行われると、図１３Ａに示すように、ポインタ映像Ｐ１は図面の上方向に移動する。ここで、上述の方向変換の処理を実行した後、図１３Ｂに示すように、ポインタ映像Ｐ１は、「右」を指示する入力に対して右方向に移動する。

＜表示切替＞
次に、ポインタ映像Ｐ１を、方向を指示する入力により移動させ、映像投写装置１１の投写範囲ＰＬ１１の外に移動した際に、ポインタ映像Ｐ１を映像投写装置間で切り替える処理について説明する。

図１４は、図１１の映像調整システム１０１における表示切替の動作を示すフローチャートである。図１５Ａは、表示を切り替える前のポインタ映像Ｐ１を示す概略図である。図１５Ｂは、表示を切り替えた後のポインタ映像Ｐ１を示す概略図である。

座標変換部３４は、入力装置４１により方向ＫＲを指示する入力があるか否かを判定する（ステップＳ４０１）。方向ＫＲを指示する入力がない場合、方向ＫＲを指示する入力があるまで待機する（ステップＳ４０１のＮｏ）。方向ＫＲを指示する入力がある場合（ステップＳ４０１のＹｅｓ）、上述した、移動方向変換の処理を実行する（ステップＳ４０２）。移動方向変換の処理が終了すると、調整された方向ＫＲに基づいてポインタ映像Ｐ１の座標を更新していく（ステップＳ４０３）。すなわち、調整された方向ＫＲに基づいて、ポインタ映像Ｐ１を移動させる。

次に、座標変換部３４により、ポインタ映像Ｐ１が映像投写装置１１の投写範囲外に移動したか否かの判定が行われる（ステップＳ４０４）。ポインタ映像Ｐ１が投写範囲外に移動したか否かは、例えば、ポインタ映像Ｐ１の中心点（図示省略）のプロジェクタ座標が投写範囲ＰＬ１１に含まれているか否かにより判定することができる。ポインタ映像Ｐ１が投写範囲ＰＬ１１に含まれているか否かの判定は、ポインタ映像Ｐ１の中心点を使用すること限らず、ポインタ映像Ｐ１の任意の点が使用されてもよい。

ポインタ映像Ｐ１が映像投写装置１１の投写範囲ＰＬ１１の中に表示されている場合、後述するステップＳ４０８に移動する。

図１５Ａに示すように、ポインタ映像Ｐ１が投写範囲ＰＬ１１の外に移動した場合（ステップＳ４０４のＹｅｓ）、座標変換部３４は、映像投写装置１１から引き継いでポインタ映像Ｐ１の表示をすることができる継承プロジェクタを検索する（ステップＳ４０５）。本実施の形態では、映像投写装置１１〜１３のいずれか１つ以上が継承プロジェクタとなり得る。

継承プロジェクタの検索は、まず、ポインタ映像Ｐ１の中心点の映像投写装置１１の投写範囲ＰＬ１１におけるプロジェクタ座標から、変換情報に基づいてカメラ座標を算出する。すなわち、投写範囲ＰＬ１１に投写されたポインタ映像Ｐ１の一部が投写範囲ＰＬ１１の外に移動したとき、変換情報に基づいて、ポインタ映像Ｐ１の一部のカメラ座標を算出する。ここで、ポインタ映像Ｐ１の一部とは、表示されたポインタ映像Ｐ１のうち、特定の点または領域とすることができる。

続いて、算出されたカメラ座標を、映像投写装置１２および映像投写装置１３における変換情報に基づいて、それぞれの映像投写装置１２、１３におけるプロジェクタ座標に変換する。例えば、ポインタ映像Ｐ１の中心点のカメラ座標が映像投写装置１２におけるプロジェクタ座標が映像投写装置１２の投写範囲ＰＬ１２に含まれる場合、映像投写装置１２は継承プロジェクタとして検出される。同様に、ポインタ映像Ｐ１の中心点のカメラ座標が映像投写装置１３におけるプロジェクタ座標が映像投写装置１３の投写範囲ＰＬ１３に含まれる場合、映像投写装置１３は継承プロジェクタとして検出される。このように、複数の映像投写装置１２、１３のうち、変換情報に基づいて中心点のカメラ座標を投写範囲に含む映像投写装置を検索する。

継承プロジェクタが２つ以上検出される場合は、所定の規則に従ってポインタ映像Ｐ１の表示を引き継ぐ映像投写装置を決定することができる。例えば、それぞれの映像投写装置にＩＤを振り、ＩＤの若い順にポインタ映像Ｐ１の映像を引き継いでもよい。

座標変換部３４により、継承プロジェクタが検出されない場合（ステップＳ４０６のＮｏ）、処理を終了する。座標変換部３４により、継承プロジェクタが検出されると（ステップＳ４０６のＹｅｓ）、継承プロジェクタにおいて、ポインタ映像Ｐ１の座標が計算される（ステップＳ４０７）。本実施の形態では、図１５Ｂに示すように、ポインタ映像Ｐ１の中心点のカメラ座標は投写範囲ＰＬ１２に含まれているため、映像投写装置１２が継承プロジェクタとなる。

継承プロジェクタ（映像投写装置１２）において、ポインタ映像Ｐ１の座標を計算する（ステップＳ４０７）。ポインタ映像Ｐ１の中心点のカメラ座標を、変換情報に基づいて映像投写装置１２のプロジェクタ座標に変換することで、ポインタ映像Ｐ１の座標を計算することができる。さらに、映像投写装置１２において、実施の形態１で説明した表示調整の処理を実行（ステップＳ４０８）し、処理が終了する。すなわち、中心点のカメラ座標が投写範囲ＰＬ１２に含まれるとき、ポインタ映像Ｐ１を映像投写装置１１による表示から映像投写装置１２による表示に切り替える。

なお、本実施の形態において、映像投写装置１１が本開示の「第１映像投写装置」、映像投写装置１２が本開示の「第２映像投写装置」、投写範囲ＰＬ１１が本開示の「第１範囲」、投写範囲ＰＬ１２が本開示の「第２範囲」に相当する。

［効果］
上述した実施の形態によると、映像の移動する方向をユーザの指示した方向に合わせることができるため、ユーザが直感的に操作を行うことができ、操作性を向上させることができる。

表示された映像を、キーボードまたはマウス等の入力により移動させる場合、映像投写装置の配置される向きによっては、キーボードまたはマウス等により入力された方向と、映像が移動する方向が異なることがある。そこで、カメラ座標とそれぞれの映像投写装置のプロジェクタ座標とに基づいて映像の座標を変換することで、映像投写装置間にまたがって映像を移動させることも可能であり、映像の視認性を向上させることができる。

また、実施の形態２において、ポインタ映像Ｐ１〜Ｐ４は十字の画像で表示されているがこれに限定されず、ポインタ映像Ｐ１〜Ｐ４は任意の画像で表示することができる。

（実施の形態３）
図１６Ａ〜図１６Ｂを参照して、実施の形態３について説明する。なお、実施の形態３においては、実施の形態１と同一または同等の構成については同じ符号を付して説明する。また、実施の形態３では、実施の形態１と重複する記載を省略する。

図１６Ａは、実施の形態３にかかる映像調整システムの構成を示す概略図である。図１６Ｂは、図１６Ａの映像調整システムの撮像装置２１ａによる撮像画像ＣＬ２を示す図である。

実施の形態３では、ドーム状のスクリーンＤ１に映像を投写する点で、実施の形態１と異なる。実施の形態３では、ドーム状のスクリーンＤ１は、天頂方向に向けて設置されている。

本実施の形態では、撮像装置２１ａは、例えば魚眼レンズを有する撮像装置である。撮像装置２１ａは、図１６Ａに示すように、レンズが天頂方向に向くよう設置される。このとき、図１６Ｂに示すように、撮像装置２１ａにより撮像された撮像画像ＣＬ２において、円Ｃ１の円周がスクリーンＤ１の端部である。この場合、それぞれの映像投写装置１１ａ、１２ａにより投写される映像の向きは、観察者５１から見て円Ｃ１の中心が上、円Ｃ１の円周側が下になるよう調整される。すなわち、図１６Ａにおける鉛直方向ｇは、撮像画像ＣＬ２において、円Ｃ１の中心から放射状に射影されるとみなされる。

すなわち、本実施の形態では、円Ｃ１の中心から放射状に延びる線ＳＲ１１〜ＳＲ１８それぞれが、スクリーンＤ１において鉛直方向を示す第１基準向きに相当する。それぞれの映像投写装置１１ａ、１２ａの投写範囲に含まれる第１基準向きＳＲ１１〜ＳＲ１８に基づいて、映像の表示が調整される。

例えば、投写範囲に複数の第１基準向きＳＲ１１〜ＳＲ１８が含まれる場合、投写範囲の中央に位置する第１基準向きと所定の関係になるよう映像の表示を調整することができる。または、投写範囲を１つの第１基準向きを含む領域に分割し、それぞれの領域の第１基準向きと所定の関係となるように映像の表示を調整してもよい。

［効果］
上述した実施の形態によると、天頂方向に配置されたドーム状のスクリーンＤ１のように映像投写装置により基準となる向きが異なる場合にも、視認性の高い映像を投写することができる。

なお、円Ｃ１の中心から放射状に延びる線ＳＲ１１〜ＳＲ１８の数は８つに限られず、使用される映像投写装置の数などにより増減してもよい。

（実施の形態４）
図１７Ａ〜図１７Ｂを参照して、実施の形態４について説明する。なお、実施の形態４においては、実施の形態３と同一または同等の構成については同じ符号を付して説明する。また、実施の形態４では、実施の形態３と重複する記載を省略する。

図１７Ａは、実施の形態４にかかる映像調整システムの構成を示す概略図である。図１７Ｂは、図１７Ａの映像調整システムの撮像装置２１ｂによる撮像画像ＣＬ３を示す図である。

実施の形態４では、ドーム状のスクリーンＤ２は、水平方向に向けて設置されている点で実施の形態３と異なる。

本実施の形態では、図１７Ａに示すように、例えば魚眼レンズを有する撮像装置２１ｂが水平方向に向くよう設置される。このとき、図１７Ｂに示すように、撮像装置２１ｂにより撮像された撮像画像ＣＬ３において、円Ｃ２の円周がスクリーンＤ２の端部である。この場合、円Ｃ２の頂部Ｚ１を天頂、頂部Ｚ１から円Ｃ２の中心を通って反対側の頂部Ｚ２を天底とする。観察者５２から見て、天頂Ｚ１が上、天底Ｚ２が下になるよう、映像の表示が調整される。鉛直方向ｇは、撮像画像ＣＬ３において、天頂Ｚ１から天底Ｚ２に向かって楕円弧上に射影されるとみなされる。

すなわち、本実施の形態では、円Ｃ２の天頂Ｚ１から天底Ｚ２に向かって延びる線ＳＲ２１、および天頂Ｚ１から天底Ｚ２に向かって延びる曲線ＳＲ２２〜ＳＲ２５のそれぞれが、スクリーンＤ２において鉛直方向を示す第１基準向きに相当する。それぞれの映像投写装置１１ｂ、１２ｂの投写範囲に含まれる第１基準向きＳＲ２１〜ＳＲ２５に基づいて、映像の表示が調整される。

［効果］
上述した実施の形態によると、水平方向に配置されたドーム状のスクリーンＤ２のように映像投写装置により基準となる向きが異なる場合にも、視認性の高い映像を投写することができる。

本開示は、複数の映像投写装置を使用して映像を投写する種々の用途に適用可能である。

１１、１１ａ、１１ｂ 映像投写装置
１２、１２ａ、１２ｂ 映像投写装置
１３ 映像投写装置
２１、２１ａ、２１ｂ 撮像装置
３１ 制御装置
３２ 算出部
３３ マッピング部
３４ 座標変換部
３５ 映像調整部
４１ 入力装置
１００ 映像調整システム
１０１ 映像調整システム

Claims (8)

1. 複数の映像投写装置と、
   前記複数の映像投写装置それぞれの投写範囲を包含する領域を撮像して、撮像画像を取得する撮像装置と、
   前記映像投写装置と前記撮像装置とを制御する制御装置と、
   を備え、
   前記制御装置は、
   前記撮像画像における第１基準向きに対する、前記映像投写装置により投写された映像の向きを示す第１回転情報を算出し、
   前記第１回転情報に基づいて、前記映像の向きと前記第１基準向きとが所定の関係となるよう、前記映像の表示を調整する、
   映像調整システム。
2. 前記制御装置は、さらに、
   前記第１回転情報に基づいて、前記映像投写装置におけるプロジェクタ座標と、前記撮像装置におけるカメラ座標とのマッピング情報を生成し、
   前記マッピング情報に基づいて、前記映像のプロジェクタ座標をカメラ座標に変換する変換情報を生成する、
   請求項１に記載の映像調整システム。
3. さらに、
   方向を指示する入力を行う入力装置、
   を備え、
   前記制御装置は、前記入力と前記変換情報とに基づいて、前記入力の指示する方向を変換する、
   請求項２に記載の映像調整システム。
4. 前記複数の映像投写装置は、第１映像投写装置と第２映像投写装置とを含み、
   前記投写範囲は、前記第１映像投写装置の第１範囲と前記第２映像投写装置の第２範囲とを含み、
   前記制御装置は、
   前記第１範囲に投写された前記映像の一部が前記入力により前記第１範囲の外に移動したとき、前記変換情報に基づいて前記所定の点の前記撮像装置におけるカメラ座標を算出し、
   前記複数の映像投写装置のうち、前記変換情報に基づいて前記カメラ座標を投写範囲に含む前記映像投写装置を検索し、
   前記カメラ座標が前記第２範囲に含まれるとき、前記映像を前記第１映像投写装置による表示から、前記第２映像投写装置による表示に切り替える、
   請求項３に記載の映像調整システム。
5. 前記撮像装置は、前記第１基準向きと異なる第２基準向きに対する前記撮像装置の傾きを検出するセンサを有し、
   前記制御装置は、
   前記第２基準向きと前記傾きとに基づいて第２回転情報を算出し、
   前記第１回転情報と前記第２回転情報とに基づき、前記変換情報を生成する、
   請求項２ないし４のいずれか１項に記載の映像調整システム。
6. 前記制御装置は、前記映像の向きと前記第１基準向きとが一致するよう、前記映像の表示を調整する、
   請求項１ないし５のいずれか１項に記載の映像調整システム。
7. 複数の映像投写装置によるそれぞれの映像の表示を調整する映像調整装置であって、
   前記複数の映像投写装置それぞれの投写範囲を包含する領域を撮像装置により撮像した撮像画像における第１基準向きに対する、前記映像投写装置により投写された映像の向きを示す第１回転情報を算出する算出部と、
   
   前記第１回転情報に基づいて、前記映像の向きと前記第１基準向きとが所定の関係となるよう、前記映像の表示を調整する映像調整部と、
   を備える、
   映像調整装置。
8. さらに、
   前記第１回転情報に基づいて、前記映像投写装置におけるプロジェクタ座標と、前記撮像装置におけるカメラ座標とのマッピング情報を生成するマッピング部と、
   前記マッピング情報に基づいて、前記映像のプロジェクタ座標をカメラ座標に変換する変換情報を生成する座標変換部と、
   を備える、
   請求項７に記載の映像調整装置。

Images