JP2015169832A - 映像投影装置、映像投影方法及びプログラム - Google Patents

Abstract

【課題】投影に適さない領域がどのような領域かによらず、その領域を避けるように映像を分割して投影できるようにする。【解決手段】まず、ユーザーの操作により、映像を投影したくない領域の範囲を分割位置情報として生成する。そして、生成された分割位置情報に基づいて画像変形を行う。このとき、座標変換作用素として、複数の４点指定変形を実現するための作用素を用い、分割位置を示す線分は変換後に黒色の領域とし、その他の領域については、変換後の四角形に含まれる座標の画素値を、変換前の四角形に存在する座標の画素値を用いて４点指定変形にて求める。【選択図】図１

Description

本発明は、特に、隙間や段差などを有する投影面に映像を投影するために用いて好適な映像投影装置、映像投影方法及びプログラムに関する。

一般的に映像投影装置は、投影用スクリーンがない環境であっても、会議室の壁などに画像を投影することができ、視聴者は壁などに投影された画像を視聴することができる。しかしながら、投影用スクリーンのように常に平らで継ぎ目のない投影領域が壁などに確保されているわけではない。例えば石膏ボードを並べて貼って構成された壁には、石膏ボードの継ぎ目に隙間が生じている。この継ぎ目の部分に画像中の文字が投影された場合、文字が判別しづらくなってしまうという課題があった。そこで、これらを解決する方法として、投影に適した領域を効率よく用い、見やすい画像を投影する映像投影装置が提案されている（例えば特許文献１及び２参照）。

特開２０１１−５００１３号公報 特開２０１３−６４８２７号公報

しかしながら特許文献１及び２に記載の方法では、映像投影装置から投影される光の反射量が少ない領域を投影に適さない領域と定義している。一方、投影に適さない領域としては、壁の中の段差を有する領域なども考えられる。例えばこのような段差を有し、光の反射量が十分にある領域では、このような技術を適用することができない。

本発明は前述の問題点に鑑み、投影に適さない領域がどのような領域かによらず、その領域を避けるように映像を分割して投影できるようにすることを目的としている。

本発明に係る映像投影装置は、投影面に入力映像を投影する映像投影装置であって、前記投影面に投影された入力映像の中の、ユーザーにより指定された領域の位置情報を取得する取得手段と、前記取得手段によって取得された位置情報に基づいて、前記指定された領域に前記入力映像の一部が含まれないように前記入力映像の座標変換を行うための作用素を生成する作用素生成手段と、前記作用素生成手段によって生成された作用素を用いて前記入力映像の座標変換を行う座標変換手段と、前記座標変換手段によって座標が変換された入力映像を前記投影面に投影する投影手段と、を備えたことを特徴とする。

本発明によれば、投影に適さない領域がどのような領域かによらず、その領域を避けるように映像を分割して投影することができる。

第１の実施形態に係る映像投影装置の内部構成例を示すブロック図である。 第１の実施形態における映像投影装置から映像を投影している様子及び投影される映像を説明するための図である。 映像の投影したくない領域を設定する際の投影面の一例を示す図である。 第１の実施形態における４点指定変形の作用素及びその変換前後の領域の例を示す図である。 第１の実施形態において、入力映像を変形する処理手順の一例を示すフローチャートである。 第１の実施形態において、分割位置情報を生成する詳細な処理手順の一例を示すフローチャートである。 第２の実施形態における映像投影装置から映像を投影している様子及び投影される映像を説明するための図である。 第２の実施形態に係る映像投影装置及び情報処理装置の内部構成例を示すブロック図である。 第２の実施形態における分割位置及び映像を投影したくない領域を説明するための図である。 第２の実施形態における４点指定変形の作用素の変換前後の領域の例を示す図である。 第２の実施形態において、情報処理装置により指定情報を生成する処理手順の一例を示すフローチャートである。 第２の実施形態において、映像投影装置により入力映像を変形する処理手順の一例を示すフローチャートである。 第３の実施形態に係る映像投影装置の内部構成例を示すブロック図である。 第３の実施形態において、文字位置情報、及び文字の位置を解析する手順を説明するための図である。 第３の実施形態における４点指定変形の作用素の変換前後の領域の例を示す図である。 第３の実施形態において、入力映像を変形する処理手順の一例を示すフローチャートである。 第３の実施形態において、映像を投影したくない領域を決定した後の入力映像を変形する処理手順の一例を示すフローチャートである。 第４の実施形態における映像投影装置から映像を投影している様子を説明するための図である。 第４の実施形態に係る映像投影装置の内部構成例を示すブロック図である。

（第１の実施形態）
以下、本発明の実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係る映像投影装置１００の内部構成例を示すブロック図である。
図１に示すように、映像投影装置１００は、映像入力部１０１、指示入力部１０２、グラフィック制御部１０３、グラフィック画像生成部１０４、映像合成部１０５、座標変換作用素生成部１０６、座標変換部１０７及び映像投影部１０８を備えている。

映像入力部１０１は、外部もしくは内部の不図示の記憶装置等から映像を入力する。指示入力部１０２は、ユーザーの操作に応じて映像の分割位置等を指示する。グラフィック制御部１０３は、指示入力部１０２からの指示に基づいて映像の変形等を制御する。グラフィック画像生成部１０４は、パターン画像としてグラフィックを生成する。映像合成部１０５は、入力映像にグラフィックを合成する場合に、映像入力部１０１から出力された画像とグラフィック画像生成部１０４が生成したパターン画像とを合成する。

座標変換作用素生成部１０６は、後述する座標変換作用素を生成する。座標変換部１０７は、座標変換作用素生成部１０６が生成した座標変換作用素に基づいて入力映像を変形する。映像投影部１０８は、変形した映像を表示素子へ出力することによって、スクリーンに対して映像を投影する。

図２は、映像投影装置１００から映像を投影している様子及び投影される映像を説明するための図である。

図２（ａ）は、投影面２０１と映像投影装置１００との関係を示している。図２（ａ）において、映像投影装置１００により投影される領域が投影領域２０２である。投影面２０１には網掛けで示した投影に適さない領域２０３が存在する。投影に適さない領域とは、例えば投影光の反射率が著しく低かったり、投影面を構成するボードやパネルなどの継ぎ目などで隙間や段差が存在したりする領域を指す。

図２（ｂ）は、投影する映像の例を示しており、図２（ｃ）は、映像投影装置１００から図２（ｂ）に示す映像をそのまま投影した場合の投影面の一例を示している。図２（ｃ）に示す例では、投影面上の投影に適さない領域２０３に文字が投影されており、視認しづらい状態が発生している。

図２（ｄ）は、映像を分割する位置を説明するための図である。図２（ｄ）において、線分２０５は映像を分割する位置を示しており、範囲２０６は、入力映像の一部であって映像を投影したくない領域の範囲を示している。いずれも、ユーザーが図２（ｃ）に示すような実際の投影の様子を見ながら、線分２０５、及び範囲２０６を指示する。図２（ｅ）は、映像を分割する指示によって、投影に適さない領域を避けて映像を変形した様子を示している。なお、本実施形態において映像の分割とは、分割位置（例えば図２（ｄ）に示す線分２０５）と、投影から除外すべき領域、すなわち映像を投影したくない領域（例えば図２（ｄ）に示す領域の範囲２０６）との情報を用いて画像変形処理を行うことである。つまり、例えば図２（ｅ）に示すような映像に変形することである。

次に、映像を分割するためにユーザーが操作する指示入力部１０２の詳細について説明する。本実施形態における指示入力部１０２は、分割位置を決める機能と、決められた分割位置を元に映像を変形する指示を行う機能とを有する。まず、分割位置を決める機能に係る各部について説明する。

指示入力部１０２は、図２（ａ）に示すように複数のボタンを有する操作部材を備えており、これらのボタンが押されることによってグラフィック制御部１０３がどのようなグラフィックを表示するかを決定する。指示入力部１０２は、上ボタン２０７、下ボタン２０８、左ボタン２０９、右ボタン２１０、及びＭｅｎｕボタン２１１を備えている。以下、これらのボタンを用いて分割位置を指示する例と、その指示に付随するグラフィックの表示例とについて、図３を参照しながら説明する。

まず、Ｍｅｎｕボタン２１１をユーザーが押下すると、指示入力部１０２は、Ｍｅｎｕボタン２１１が押下されたという情報を、グラフィック制御部１０３へ送る。グラフィック制御部１０３は、該情報を受け取ると、図３（ａ）に示すような分割位置を指定するためのグラフィック３０２を生成するよう、グラフィック画像生成部１０４へ指示を出す。指示を受けたグラフィック画像生成部１０４はグラフィック３０２を生成する。なお、図２（ｄ）に示す線分２０５のように、分割位置は文字と文字との間などとすることが好ましく、この好ましい位置をユーザーが決定する。

具体的には、まず、映像合成部１０５が、映像入力部１０１から出力された映像に、グラフィック画像生成部１０４が生成したグラフィック３０２を合成した合成映像を生成する。そして、映像投影部１０８は、その合成映像を出力し、投影面にその合成映像を投影する。ユーザーは、投影された映像を見ながら、分割位置を表すグラフィック３０２を左ボタン２０９と右ボタン２１０とを用いて移動させ、分割位置を決定する。左ボタン２０９を押下すると、グラフィック３０２が左に移動し、右ボタン２１０を押下すると、グラフィック３０２が右に移動する。

グラフィック制御部１０３は、指示入力部１０２から左ボタン２０９または右ボタン２１０が押下された旨の情報を受け取ると、グラフィック３０２を左または右にずらして生成するよう、グラフィック画像生成部１０４へ指示を出す。指示を受けたグラフィック画像生成部１０４は新たにグラフィック３０２を生成する。そして、同様に映像合成部１０５が、その合成映像を生成し、映像投影部１０８は、その合成映像を出力し、投影面にその合成映像を投影する。

また、図３（ａ）に示す状態でユーザーによりＭｅｎｕボタン２１１が押下されると、分割位置が確定する。続いて、映像を投影したくない領域を設定することとなる。このようにユーザーによりＭｅｎｕボタン２１１が押下されると、図３（ｂ）に示すグラフィック３０３、３０４が表示されるようになる。

グラフィック制御部１０３は、指示入力部１０２からＭｅｎｕボタン２１１が押下された旨の情報を受け取ると、グラフィック３０２を消去して、グラフィック３０３、３０４を生成するよう、グラフィック画像生成部１０４へ指示を出す。指示を受けたグラフィック画像生成部１０４はグラフィック３０３、３０４を生成する。そして、同様に映像合成部１０５が、その合成映像を生成し、映像投影部１０８は、その合成映像を出力し、投影面にその合成映像を投影する。

図３（ｂ）に示す状態では、映像を投影したくない領域のうち、まず左端を調整することとなる。具体的には、映像を投影したくない領域の左端を表すグラフィック３０３を左ボタン２０９または右ボタン２１０を用いて移動させ、領域の左端を決定する。左ボタン２０９を押下すると、グラフィック３０３が左に移動し、右ボタン２１０を押下すると、グラフィック３０３が右に移動する。また、グラフィック３０４は、グラフィック３０３の線分がグラフィック３０４の左端になるよう、矩形領域を調整する。

図３（ｂ）に示す状態で、ユーザーによりＭｅｎｕボタン２１１が押下されると、左端が確定し、続いて右端を決めるグラフィックに切り替わる。すなわち、図３（ｂ）に示すグラフィック３０３、３０４から、図３（ｃ）に示すグラフィック３０４、３０５に切り替わる。そして、図３（ｃ）に示す画面では、映像を投影したくない領域の右端を調整することとなる。具体的には、映像を投影したくない領域の右端を表すグラフィック３０５を左ボタン２０９と右ボタン２１０とを用いて移動させて、領域の右端を決定する。左ボタン２０９を押下すると、グラフィック３０５が左に移動し、右ボタン２１０を押下すると、グラフィック３０５が右に移動する。

図３（ｃ）に示す状態で、ユーザーによりＭｅｎｕボタン２１１が押下されると、右端が確定し、分割位置の指定が終了する。分割位置の指定が終了すると、グラフィック制御部１０３は、分割位置情報として、分割位置、映像を投影したくない領域の左端及び右端の情報を座標変換作用素生成部１０６に送る。なお、分割位置情報として、映像を投影したくない領域の左端及び右端の情報だけとし、映像を投影したくない領域を均等に分ける線分を分割位置にするよう自動的に決定してもよい。

次に、取得した分割位置情報を元に、画像変形を行う処理について説明する。座標変換作用素生成部１０６は、分割位置情報から座標変換作用素を生成し、座標変換部１０７は、座標変換作用素生成部１０６が生成した座標変換作用素を用いて入力映像を変形する。まず、座標変換作用素の定義を説明し、次に分割位置情報を用いてどのようにその座標変換作用素を求めるかについて説明する。

座標変換作用素は種々考えられるが、本実施形態では、複数の４点指定変形を実現するための作用素とする。ここで、４点指定変形とは、プロジェクタの台形補正などで一般的に用いられている技術であり、変換前の画像の４隅の点を任意の幾何変換、例えば射影変換により変換する技術である。座標変換作用素生成部１０６が求める複数の４点指定変形の作用素の例を図４に示す。

図４（ａ）に示すように、各作用素は、変換前の４隅の点の座標の組Ｈ_srcと、変換後の４隅の点の座標の組Ｈ_dstとで構成される。それぞれの表記は以下の通りである。ここで、Ｈ_src＝｛（ｘ_s0，ｙ_s0），（ｘ_s1，ｙ_s1），（ｘ_s2，ｙ_s2），（ｘ_s3，ｙ_s3）｝とし、Ｈ_dst＝｛（ｘ_d0，ｙ_d0），（ｘ_d1，ｙ_d1），（ｘ_d2，ｙ_d2），（ｘ_d3，ｙ_d3）｝とする。なお、座標（ｘ_s0、ｙ_s0）、（ｘ_d0、ｙ_d0）は４隅の左上の座標を表し、座標（ｘ_s1、ｙ_s1）、（ｘ_d1、ｙ_d1）は右上の座標を表す。さらに座標（ｘ_s2、ｙ_s2）、（ｘ_d2、ｙ_d2）は左下の座標を表し、座標（ｘ_s3、ｙ_s3）、（ｘ_d3、ｙ_d3）は右下の座標を表す。

図４（ｂ）に、座標変換作用素の例を示す。図４（ｂ）に示す例では、座標変換作用素は３つ存在しており、作用素１がＨ_src1とＨ_dst1とから成り、作用素２がＨ_src2とＨ_dst2とから成り、作用素３がＨ_src3とＨ_dst3とから成る。図４（ａ）に示すように作用素は複数存在するが、Ｈ_dstが構成する矩形にて変換後の画像に対して漏れなく、かつ重なりのないような作用素にする。

また、図４（ｂ）に示す例では、Ｈ_src2の４点が構成する形状は、線分となっている。線分から矩形に変換する場合、変換前の画像は黒画素とし、Ｈ_dst2の４点が構成する矩形領域は黒画素で構成される領域となる。Ｈ_src2がＨ_dst2として変換される場合には、元は線分であって面積が０であった領域に黒画素で構成される領域が付加されることとなる。また、その他の座標変換作用素であるＨ_src1、Ｈ_dst1、Ｈ_src3、Ｈ_dst3は、入力映像のサイズに漏れなくかつ重なりのないようにするために、縮小、拡大あるいは移動させる作用素にする。

座標変換作用素生成部１０６は、グラフィック制御部１０３から送られた分割位置情報に基づいて各作用素を以下に示す座標に割り当て、座標変換部１０７へその情報を送る。例えば図４（ｂ）に示す例の場合、各座標変換作用素の座標は、以下のようになる。
Ｈ_src1＝｛（０，０），（ｘ_b，０），（０，ｙ_e−１），（ｘ_b，ｙ_e−１）｝
Ｈ_src2＝｛（ｘ_b，０），（ｘ_b，０），（ｘ_b，ｙ_e−１），（ｘ_b，ｙ_e−１）｝
Ｈ_src3＝｛（ｘ_b，０），（ｘ_e−１，０），（ｘ_b，ｙ_e−１），（ｘ_e−１，ｙ_e−１）｝
Ｈ_dst1＝｛（０，０），（ｘ_l，０），（０，ｙ_e−１），（ｘ_l，ｙ_e−１）｝
Ｈ_dst2＝｛（ｘ_l，０），（ｘ_r，０），（ｘｌ，ｙ_e−１），（ｘ_r，ｙ_e−１）｝
Ｈ_dst3＝｛（ｘ_r，０），（ｘ_e−１，０），（ｘ_r，ｙ_e−１），（ｘ_e−１，ｙ_e−１）｝

ここで、ｘ_eは画像全体の幅を表し、ｙ_eは画像全体の高さを表す。また、座標（ｘ_b，ｙ）は分割位置を表す。さらに、座標（ｘ_l，ｙ）は映像を投影したくない領域の左端を表し、（ｘ_r，ｙ）は映像を投影したくない領域の右端を表す。なお、ｙは任意とする。

座標変換部１０７は、座標変換作用素生成部１０６が生成した座標変換作用素を用いて入力映像を変形する。まず、変換後のＨ_dstで表される四角形に含まれる座標の画素値を、変換前のＨ_srcで表される四角形に存在する座標の画素値を用いて４点指定変形にて求める。座標変換作用素が複数ある場合には、座標変換作用素毎に座標変換を行う。なお、変換前のＨ_srcで表される形状が四角形でなく、線分になる場合は、変換後のＨ_dstで表される四角形に含まれる座標の画素値は、黒（画素値＝０）とし、４点指定変形は行わないものとする。

図５は、本実施形態において、入力映像を変形する処理手順の一例を示すフローチャートである。
まず、ステップＳ５０１において、グラフィック制御部１０３は、分割位置情報を生成する。この処理の詳細について図６を参照しながら説明する。

図６は、図５のステップＳ５０１の詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ６０１において、分割位置を指定する。前述したように、ユーザーにより左ボタン２０９または右ボタン２１０が操作され、最終的にＭｅｎｕボタン２１１が押下されると、ステップＳ６０２へ遷移する。

続いてステップＳ６０２において、映像を投影したくない領域の左端を指定する。前述したように、ユーザーにより左ボタン２０９または右ボタン２１０が操作され、最終的にＭｅｎｕボタン２１１が押下されると、ステップＳ６０３へ遷移する。そして、ステップＳ６０３において、映像を投影したくない領域の右端を指定する。前述したように、ユーザーにより左ボタン２０９または右ボタン２１０が操作され、最終的にＭｅｎｕボタン２１１が押下されると、前述した分割位置情報を生成し、図６の処理を終了する。

次に、図５のステップＳ５０２において、グラフィック制御部１０３が、分割位置情報を座標変換作用素生成部１０６へ送る。続いてステップＳ５０３においては、座標変換作用素生成部１０６は、分割位置情報から座標変換作用素を生成する。そして、ステップＳ５０４において、座標変換部１０７は、生成された座標変換作用素を用いて入力映像を変形させる。

なお、本実施形態では、図２に示すように、投影に適さない領域が縦方向に存在する場合について説明したが、投影に適さない領域が横方向に存在する場合でも同様である。以上のように本実施形態によれば、投影に適さない領域に因らず、その領域を避けるように分割して映像を投影することができる。

（第２の実施形態）
第１の実施形態では、ユーザーが投影された映像を見ながらボタンを操作して分割位置を指定する例について説明した。これに対して本実施形態では、投影に適さない領域の影響によって、投影面を見ながらユーザーにより分割位置を指定することが困難な場合に、外部機器を用いて分割位置を指定する例について説明する。ここで、外部機器としてタッチパネル方式の高度なユーザーインタフェースを持つ機器を用いて分割位置を指定する場合には、より直感的かつ複雑な指示が可能となる。

図７は、本実施形態における動作を説明するための図である。図７（ａ）には、映像投影装置７００と、その他の装置と投影面７１１との関係を示している。映像投影装置７００と、投影面７１１との関係は、図２（ａ）に示した映像投影装置１００と投影面２０１との関係と同様である。本実施形態では、ユーザーが外部機器である情報処理装置７０１に付随するタッチパネル方式の指示入力部７０２を操作することにより分割位置を指定する。また、ユーザーが操作しやすくするために、映像投影装置７００から投影する映像の元の映像を映像送出装置７０３から送出し、同じ映像を、映像送出装置７０３から情報処理装置７０１へ送出している。

図７（ｃ）は、図７（ｂ）に示す入力映像を、映像投影装置７００からそのまま投影した場合の映像の一例を示している。ここで、図７（ｃ）に示すように、投影に適さない領域に文字が投影されており、視認しづらい状態が発生している。本実施形態では、図７（ｄ）に示す映像のように、分割位置を指示することによって、投影に適さない領域を避けて画像変形する。

図８は、本実施形態に係る映像投影装置７００及び情報処理装置７０１の内部構成例を示すブロック図である。
図８に示すように、映像投影装置７００は、映像送出装置７０３から映像を入力する映像入力部８１１、座標変換作用素生成部１０６、座標変換部１０７及び映像投影部１０８を備えている。なお、座標変換作用素生成部１０６、座標変換部１０７及び映像投影部１０８については図１と同様である。さらに映像投影装置７００は、インタフェース８１０、及び分割位置情報生成部８０４を備えている。インタフェース８１０は、例えばＲＳ２３２Ｃを用いてもよいし、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などを用いてもよい。

一方、情報処理装置７０１は、映像送出装置７０３から映像を入力する映像入力部８１３、及び映像を表示する映像表示部８０９を備えている。さらに、情報処理装置７０１は、ユーザーからの指示を受け付ける指示入力部７０２、グラフィック制御部８０１、及びグラフィック画像生成部８０３を備えている。さらに情報処理装置７０１は、映像入力部８１３から出力された画像とグラフィック画像生成部８０３が生成したパターン画像とを合成する映像合成部８０８、及びインタフェース８１２を備えている。インタフェース８１２は、例えばＲＳ２３２Ｃを用いてもよいし、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などを用いてもよい。

次に、図８に示す各部の詳細について説明する。なお、タッチパネルによる指示入力部６０２に対するユーザーのタッチ操作と、それにともなうユーザーインタフェースの変化などの動作は一般的なものなのであるため、説明を省略する。

グラフィック制御部８０１、及びグラフィック画像生成部８０３は、それぞれ図１に示したグラフィック制御部１０３、及びグラフィック画像生成部１０４と機能は同じである。本実施形態においては、分割位置を複数の線分（始点、終点の２つの座標の組）とし、映像を投影したくない領域を複数の矩形領域（矩形を形成する４隅座標）とする。そして、グラフィック制御部８０１は、これらの得られた情報を指示情報として、インタフェース８１２を介して、映像投影装置７００の分割位置情報生成部８０４へ送る。

図９は、本実施形態における分割位置及び映像を投影したくない領域を説明するための図である。図７（ｃ）に示したように、投影に適さない領域が十字型に存在する場合には、分割位置を複数指定する必要となる。そこで、図９（ａ）に示すように、分割位置として２本の線分９０１、９０２を指定する。また、投影に適さない領域については、図９（ｂ）に示すように、２つの矩形９０３、９０４を指定する。

なお、映像投影装置７００が投影する映像の解像度と、情報処理装置７０１が表示する映像の解像度とが異なる場合が多い。そこで、映像投影装置７００側で座標を補正するために、グラフィック制御部８０１は、情報処理装置７０１における映像の解像度（幅及び高さ）を座標補正情報として指示情報に付加して、分割位置情報生成部８０４へ送る。分割位置情報生成部８０４は、座標補正情報が付加された指示情報を、映像投影装置７００における映像の解像度に解像度変換した指示情報にして分割位置情報とする。ここで、解像度変換とは、例えば、座標ｘに対し、変換後の座標ｘｃ＝ｘ×（映像投影装置７００の幅／情報処理装置７０１の幅）を算出することを意味する。

座標変換作用素生成部１０６は、複数の分割位置情報が入力されたときであっても、図１０に示すように座標変換作用素を求めることができる。まず、分割位置を、変換前の４点座標に割り当てる。図１０に示すように、線分９０２上の座標をＨ_src4とし、線分９０１上の座標をＨ_src2、Ｈ_src6とする。ここで、縦方向にＨ_src2、Ｈ_src6と分割しているのは、分割位置の複数の線分が交差して重なりが生じるためである。その後、上記３組の４点座標（実質は線分）以外の領域を、それぞれ、Ｈ_src1、Ｈ_src3、Ｈ_src5、Ｈ_src7とする。

次に映像を投影したくない領域を、変換後の４点座標に割り当てる。まず、矩形９０４をＨ_dst4とし、矩形９０３を、それぞれＨ_dst2、Ｈ_dst6とする。同様に縦方向にＨ_dst2、Ｈ_dst6と分割しているのは、映像を投影したくない領域が重ならないようにするためである。その後、上記３組の４点座標以外の領域を、それぞれ、Ｈ_dst1，Ｈ_dst3、Ｈ_dst5、Ｈ_dst7とする。なお、映像を投影したくない領域を、変換後の４点座標に割り当てる際には、ユーザーによる指定の誤差や、タッチパネルの精度を考慮して、Ｈ_dst2，Ｈ_dst4，Ｈ_dst6の領域をわずかに拡大する方向に割り当てるようにしてもよい。座標変換部１０７は、以上のようにして生成した７組の座標変換作用素を用いて画像変形を行う。

図１１は、情報処理装置７０１により指定情報を生成する処理手順の一例を示すフローチャートである。
まず、ステップＳ１１０１において、グラフィック制御部８０１は、分割位置を指定する。ユーザーにより指示入力部７０２であるタッチパネルが操作され、線分が指定された場合には、該線分を分割位置に追加する。そして、例えば図９（ａ）に示すように、最終的な分割位置の確定が指示されると、ステップＳ１１０２へ遷移する。

続いてステップＳ１１０２において、グラフィック制御部８０１は、映像を投影したくない領域を指定する。ユーザーにより指示入力部７０２であるタッチパネルが操作され、矩形が指定された場合には、映像を投影したくない領域にその矩形を追加する。そして、例えば図９（ｂ）に示すように、最終的な映像を投影したくない領域の確定が指示されると、ステップＳ１１０２へ遷移する。

そして、ステップＳ１１０３において、グラフィック制御部８０１は、分割位置、及び映像を投影したくない領域の情報を含む指示情報を、インタフェース８１２を介して映像投影装置７００に送る。このとき、情報処理装置７０１における映像の解像度（幅及び高さ）を座標補正情報として指示情報に付加する。

図１２は、映像投影装置７００により入力映像を変形する処理手順の一例を示すフローチャートである。
まず、ステップＳ１２０１において、情報処理装置７０１から指示情報を受信するまで待機する。そして、指示情報を受信すると、ステップＳ１２０２において、分割位置情報生成部８０４は、前述した手順により指示情報から分割位置情報を生成する。続いてステップＳ１２０３において、座標変換作用素生成部１０６は、前述したような手順により、分割位置情報から座標変換作用素を生成する。そして、ステップＳ１２０４において、座標変換部１０７は、生成された座標変換作用素を用いて入力映像を変形させる。

なお、本実施形態では、分割位置として、水平方向及び垂直方向の線分を指定しているが、傾きのある線分を指定してもよく、映像を投影したくない領域も、平行四辺形などの多角形で設定してもよい。以上のように本実施形態によれば、投影に適さない領域の形状によらず、その領域を避けるように映像を分割して投影することができる。

（第３の実施形態）
本実施形態においては、映像投影装置に文字位置を検知する機能を有する例について説明する。文字位置を検知できる手段を映像投影装置に追加することにより、より利便性を高めることができる。例えば、図２（ｄ）に示す映像で分割位置を指示する際に、文字の間をユーザーが正確に指示しなくとも、文字が分断されずに映像を分割することができる。

図１３は、本実施形態に係る映像投影装置１３００の内部構成例を示すブロック図である。
図１３に示すように、本実施形態に係る映像投影装置１３００は、図１に示した映像投影装置１００と比べて、入力映像解析部１３０１が追加されている。そして、その入力映像解析部１３０１が解析した情報が座標変換作用素生成部１３０２に入力される構成となっている。その他の各部については図１と同様であるため、説明を省略する。

入力映像解析部１３０１は、映像入力部１０１から入力される映像を解析し、文字と判断した領域の位置情報を座標変換作用素生成部１３０２へ送る。ここで、図１４に位置情報の例を示す。図１４（ａ）に示すように、文字位置情報Ｍ＝｛（ｘ₀，ｙ₀），（ｘ₁，ｙ₁），（ｘ₂，ｙ₂），（ｘ₃，ｙ₃）｝は、文字の位置を矩形領域としてその頂点である４点の座標からなり、Ｍ₁、Ｍ₂、Ｍ₃のように複数の情報を有している。

また、映像から文字の位置を解析する方法としては、例えばＯＣＲなどで一般的に用いられているレイアウト解析を用いればよい。具体的には、例えば図１４（ｂ）に示すように、まず、入力映像からブロック１４０１、１４０４を抽出する。そして、抽出したブロックの中から文字列の領域１４０２を抽出する。最後に個々の文字領域１４０３を順次切り出し、切り出された全ての文字領域１４０３について文字位置情報を求めればよい。なお、文字位置情報は、入力映像にメタデータとして予め埋め込まれている場合には、その情報を座標変換作用素生成部１３０２が用いるようにしてもよい。また、入力映像の中で検知する対象となるものは、文字だけでなく、人体や、図形など別のオブジェクトであってもよい。

次に、座標変換作用素生成部１３０２が分割位置情報と文字位置情報とを用いてどのように座標変換作用素を生成するかについて説明する。図１５は、図２（ｃ）に示す状態において本実施形態を適用した様子を説明するための図である。図１５（ａ）は、入力映像解析部１３０１が図２（ｂ）に示す入力映像から文字位置情報を検知した結果を示しており、９個の文字位置情報Ｍ₁〜Ｍ₉が検知されている。

図１５（ｂ）は、分割位置情報の中の映像を投影したくない領域Ｓ₁を示しており、第１の実施形態と同様の手順により映像を投影したくない領域Ｓ₁が指示されている。図１５（ｃ）は、文字位置情報Ｍ₁〜Ｍ₉と、映像を投影したくない領域Ｓ₁とを重ね合わせた図である。文字画像が左右に分かれるか否かは、映像を投影したくない領域Ｓ₁と、分割位置情報の中の分割位置を示す線分１５０１に文字位置情報が示す文字の位置とが重複しているかどうかによって検知することが可能である。

座標変換作用素生成部１３０２は、まず線分１５０１と文字位置情報が示す文字の位置とが重複しているかどうかについて、映像を投影したくない領域Ｓ₁の座標と文字位置情報Ｍ₁〜Ｍ₉の座標とを順次比較して確認する。この結果、図１５（ｃ）に示す例では、文字位置情報Ｍ₅が示す文字が線分１５０１と重複していることが確認される。次に、文字位置情報Ｍ₅が示す文字が全てＨ_src1の領域に含まれるよう、図７（ｄ）に示すようにＨ_src2を示す線分１５０１を線分１５０２へ移動させ、Ｈ_src1の領域を拡大する。そして、残りの領域をＨ_src3とする。なお、実際は重複の状態によってＨ_src1を拡大するか、Ｈ_src3を拡大するかを選択する。文字位置情報Ｍ₅が示す文字と重複する線分１５０１がＨ_src1寄りである場合は、Ｈ_src1を拡大し、Ｈ_src3寄りである場合は、Ｈ_src3を拡大すればよい。

次に、変換後の画像を決定する際に、映像を投影したくない領域Ｓ₁の領域が黒領域となるように、Ｈ_dst2の領域を決める。最後に変換後の画像に対して漏れや重なりが起きないように、両隣にＨ_dst1、Ｈ_dst3を割り当てる。Ｈ_dst2に黒領域を付加するので、Ｈ_dst1、Ｈ_dst3に変換前の画像を分割して縮小した変形を行うことになる。なお、第１の実施形態と同様に、分割位置情報として、映像を投影したくない領域の左端及び右端の情報だけとし、映像を投影したくない領域を均等に分ける線分を分割位置にするよう自動的に決定してもよい。

図１６は、本実施形態において、入力映像を変形する処理手順の一例を示すフローチャートである。
まず、ステップＳ１６０１において、グラフィック制御部１０３は、分割位置情報を生成する。この処理については図６と同様の手順であるため、説明は省略する。そして、ステップＳ１６０２において、グラフィック制御部１０３は、生成した分割位置情報を座標変換作用素生成部１３０２へ送る。

続いてステップＳ１６０３において、入力映像解析部１３０１は、入力画像を解析し、入力画像に含まれる文字の文字位置情報を生成し、生成した文字位置情報を座標変換作用素生成部１３０２へ送る。ステップＳ１６０４は、座標変換作用素生成部１３０２は、分割位置情報と文字位置情報とから前述した手順により座標変換作用素を生成する。最後にステップＳ１６０５において、座標変換部１０７は、生成された座標変換作用素を用いて入力映像を変形させる。

ここで、入力映像が切り替わった場合には、映像を投影したくない領域は変わらないが、映像中の文字の位置が変わるため、以降は文字の位置を検知するのみでよい。すなわち、図１７に示す処理手順となる。ステップＳ１７０１〜Ｓ１７０３の処理については、それぞれ図１６のステップＳ１６０３〜Ｓ１６０５と同様であるため、説明は省略する。

また、図１６に示す処理手順では、分割位置情報を生成した後に文字位置情報を生成したが、順序が逆であってもよく、これらの情報を並列に生成してもよい。以上のように本実施形態によれば、投影に適さない領域によらず、文字などのオブジェクトを分割させることなく投影に適さない領域を避けるように分割して投影することができる。

（第４の実施形態）
第１の実施形態においては、ユーザーが操作する部材が映像投影装置１００に備わっている例について説明した。これに対して本実施形態においては、ユーザーがリモートコントローラを操作することにより分割位置情報を生成する例について説明する。

図１８は、本実施形態の動作を説明するための図である。第１の実施形態と異なる点は、図２に示した映像投影装置１００の指示入力部１０２に具備されていたボタンが、図１８に示すようにリモートコントローラ１８０１に具備されている点である。また、本実施形態の映像投影装置１８００は、指示入力部１０２の代わりに、指示信号受信部１８０２を具備している。

リモートコントローラ１８０１には、上ボタン１８０３、下ボタン１８０４、左ボタン１８０５、右ボタン１８０６、及びＭｅｎｕボタン１８０７が具備されている。それぞれのボタンは、図１に示す映像投影装置１００に具備されたボタンの機能と同様の機能を有しており、指示信号が映像投影装置１８００の指示信号受信部１８０２に転送される。これにより、ユーザーは映像投影装置１８００から離れて、例えば投影面２０１に近づいて分割位置などを指示することができる。

図１９は、本実施形態に係る映像投影装置１８００の内部構成例を示すブロック図である。前述したように、図１の映像投影装置１００と比較して指示入力部１０２の代わりに、指示信号受信部１８０２を備えている。なお、その他の構成は、図１の映像投影装置１００と同様であるため、説明は省略する。

リモートコントローラ１８０１上のいずれかのボタンが押下されると、リモートコントローラ１８０１は、その押されたボタンに係る指示信号を映像投影装置１８００に送信する。ここで、リモートコントローラ１８０１が送信する信号の形式は赤外線など特に限定されるものではない。指示信号受信部１８０２は、前記指示信号をリモートコントローラ１８０１から受信し、グラフィック制御部１０３へ指示情報を送出する。画像の変形処理など、残りの各部の処理については、第１の実施形態と同様である。

以上のように本実施形態によれば、ユーザーが投影面の近くで投影に適さない領域を確認しながら、その領域を避けるように、分割投影することができる。なお、映像投影装置１８００がレーザーポインタの指し示す位置を検知する手段を備えることにより、指示手段として、レーザーポインタを用いても、同様の効果を得ることが可能である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０２ 指示入力部
１０３ グラフィック制御部
１０６ 座標変換作用素生成部
１０７ 座標変換部
１０８ 映像投影部

Claims (10)

1. 投影面に入力映像を投影する映像投影装置であって、
   前記投影面に投影された入力映像の中の、ユーザーにより指定された領域の位置情報を取得する取得手段と、
   前記取得手段によって取得された位置情報に基づいて、前記指定された領域に前記入力映像の一部が含まれないように前記入力映像の座標変換を行うための作用素を生成する作用素生成手段と、
   前記作用素生成手段によって生成された作用素を用いて前記入力映像の座標変換を行う座標変換手段と、
   前記座標変換手段によって座標が変換された入力映像を前記投影面に投影する投影手段と、
   を備えたことを特徴とする映像投影装置。
2. 前記座標変換手段は、前記指定された領域を黒画素で構成された領域とした入力映像に変換することを特徴とする請求項１に記載の映像投影装置。
3. 前記作用素生成手段は、前記黒画素で構成された領域を含めて前記投影面に投影された入力映像のサイズに収まるように、前記入力映像の座標変換を行うための作用素を生成することを特徴とする請求項２に記載の映像投影装置。
4. 前記取得手段は、ユーザーにより操作された操作部材から入力された情報に基づいて前記位置情報を取得することを特徴とする請求項１〜３の何れか１項に記載の映像投影装置。
5. 前記取得手段は、ユーザーにより操作されたリモートコントローラから前記位置情報を受信することを特徴とする請求項１〜３の何れか１項に記載の映像投影装置。
6. 前記入力映像を解析し、前記入力映像に含まれるオブジェクトの位置情報を取得する解析手段をさらに備え、
   前記作用素生成手段は、前記指定された領域の位置情報と、前記解析手段によって解析されたオブジェクトの位置情報とに基づいて前記作用素を生成することを特徴とする請求項１〜３の何れか１項に記載の映像投影装置。
7. 前記取得手段は、外部装置から前記指定された領域を除外する旨の指示情報を受信するとともに、前記指示情報に係る前記指定された領域の位置情報を前記投影手段によって投影される入力画像に係る位置情報に変換することを特徴とする請求項１〜３の何れか１項に記載の映像投影装置。
8. 前記取得手段は、前記投影手段によって投影される入力画像の解像度に合わせて当該入力画像に係る位置情報に変換することを特徴とする請求項７に記載の映像投影装置。
9. 投影面に入力映像を投影する映像投影方法であって、
   前記投影面に投影された入力映像の中の、ユーザーにより指定された領域の位置情報を取得する取得工程と、
   前記取得工程において取得された位置情報に基づいて、前記指定された領域に前記入力映像の一部が含まれないように前記入力映像の座標変換を行うための作用素を生成する作用素生成工程と、
   前記作用素生成工程において生成された作用素を用いて前記入力映像の座標変換を行う座標変換工程と、
   前記座標変換工程において座標が変換された入力映像を前記投影面に投影する投影工程と、
   を備えたことを特徴とする映像投影方法。
10. 投影面に入力映像を投影する映像投影装置を制御するためのプログラムであって、
    前記投影面に投影された入力映像の中の、ユーザーにより指定された領域の位置情報を取得する取得工程と、
    前記取得工程において取得された位置情報に基づいて、前記指定された領域に前記入力映像の一部が含まれないように前記入力映像の座標変換を行うための作用素を生成する作用素生成工程と、
    前記作用素生成工程において生成された作用素を用いて前記入力映像の座標変換を行う座標変換工程と、
    前記座標変換工程において座標が変換された入力映像を前記投影面に投影する投影工程と、
    をコンピュータに実行させることを特徴とするプログラム。

Images