JP2014119701A - 投影装置、投影制御装置、投影制御方法及びプログラム - Google Patents

Abstract

【課題】被投影面に与えられる特定の領域に投影する画像をより自然に表現する。
【解決手段】マイクロミラー素子12を有した表示系と、表示系で表示する画像に応じた光像を形成し、被投影面に向けて投影する投影レンズ部15を含んだ投影系と、照明画像の情報を記憶した照明画像記憶部24Ｂと、被投影面内でコンテンツ画像を投影する範囲の形状を取得する撮影レンズ部17、ＣＭＯＳイメージセンサ18を含む撮像系と、取得した形状によりミラー素子12の表示可能領域内にコンテンツ画像を表示する第１の領域を割当て、第１の領域の外側の領域を含んで照明画像を表示する第２の領域を割当て、夫々割当てた結果に基づいて合成画像を生成してミラー素子12で表示させ、表示させた合成画像を投影系により被投影面に投影させるＣＰＵ22とを備える。
【選択図】図２

Description

本発明は、商品や絵画の画像の展示などに好適な投影装置、投影制御装置、投影制御方法及びプログラムに関する。

簡易な構成で、スクリーンの形状に一致させた投写映像を表示するが可能な投写型映像表示装置が提案されている。（例えば、特許文献１）

特開２０１１−０８２７９８号公報

上記特許文献に記載された技術を用いることで、例えば壁面に設置された、内部が空（カラ、無地）の額縁内をスクリーンと見立てて、その形状に一致させた画像を投影させることが可能になると思われる。

しかしながら、実際に上記のように額縁内に画像を投影させる場合、単に形状に合わせて投影を行なうだけでは、各種の環境、例えば額縁内の色やその額縁を照射する光などによって、投影する画像が投影面から浮いた色調となったり、あるいは逆に地の色に埋没したりするなど、不自然な表現となる可能性も多々考えられる。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、被投影面の特定の領域に投影する画像をより自然に表現することが可能な投影装置、投影制御装置、投影制御方法及びプログラムを提供することにある。

本発明の一態様は、投影装置であって、入力される画像情報に応じた第１の画像を表示する表示素子を有した表示手段と、上記表示素子で表示する画像に応じた光像を形成し、被投影面に向けて投影する投影手段と、照明効果を与える照明用の第２の画像の情報を記憶した照明画像記憶手段と、上記被投影面内で上記第１の画像を投影する範囲の形状を取得する取得手段と、上記取得手段で取得した形状により上記表示素子の表示可能領域内に上記第１の画像を表示する第１の領域を割り当てる第１の割当手段と、上記表示素子の表示可能領域内で上記第１の領域の外側の領域を含んで上記第２の画像を表示する第２の領域を割り当てる第２の割当手段と、上記第１及び第２の割当手段でそれぞれ割り当てた結果に基づき、上記第１の画像と上記第２の画像の合成画像を生成して上記表示手段の表示素子で表示させる画像合成手段と、上記画像合成手段で表示させた合成画像を上記投影手段により上記被投影面に投影させる投影制御手段とを備えたことを特徴とする。

本発明によれば、被投影面の特定の領域に投影する画像をより自然に表現することが可能となる。

本発明の一実施形態に係る投影装置の使用環境を例示する図。 同実施形態に係る投影装置内の機能回路の構成を示すブロック図。 同実施形態に係る各種投影モード設定を行なうメニュー画面での設定例を示す図。 同実施形態に係る「フィッティング＋照明用画像投影モード」選択当初の処理内容を示すフローチャート。 同実施形態に係るコンテンツ画像に対して照明画像の色を設定する内容をテーブル化して示す図。 同実施形態に係る補正設定する内容をテーブル化して示す図。

以下、本発明を投影装置に適用した場合の一実施形態について図面を参照して説明する。

図１は、本発明に係る投影装置１０の使用環境を例示する図である。同図では、投影装置１０により画像の投影が可能な範囲ＡＲ内の壁面に額縁ＦＲが装架されているものとする。当該額縁ＦＲ内は、無地、例えば白色となっているものとする。

投影装置１０は、投影範囲ＡＲ内に位置する上記額縁ＦＲ内の空間に、この投影装置１０に入力されている画像信号に応じたコンテンツ画像ＣＩを投影する一方で、予め設定した光源位置、例えば上方から照射されているように見せる照明画像ＬＴを合わせて投影する。

投影装置１０は、投影レンズ系内にズームレンズ及びフォーカスレンズを備え、額縁ＦＲを認識した状態では、照明画像ＬＴも考慮して必要な投影角度を自動的に選択し、合焦状態となるようにコンテンツ画像ＣＩ及び照明画像ＬＴを投影する。

図２は、本実施形態に係る投影装置１０の主として電子回路の機能構成を説明する図である。同図中、入力処理部ＩＰに入力された画像データが、この入力処理部ＩＰで必要に応じてデジタル化された後に、システムバスＳＢを介して投影画像駆動部１１に送られる。

この投影画像駆動部１１は、送られてきた画像データに応じて、所定のフォーマットに従ったフレームレート、例えば１２０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算したより高速な時分割駆動により、表示素子であるマイクロミラー素子１２を表示駆動する。

このマイクロミラー素子１２は、アレイ状に配列された複数、例えばＷＸＧＡ（横１２８０画素×縦７６８画素）分の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することで、その反射光により光像を形成する。

一方で、光源部１３から時分割でＲ，Ｇ，Ｂの原色光が循環的に出射される。光源部１３は、半導体発光素子であるＬＥＤを有し、Ｒ，Ｇ，Ｂの原色光を時分割で繰返し出射する。光源部１３が有するＬＥＤは、広義でのＬＥＤとして、ＬＤ（半導体レーザ）や有機ＥＬ素子を含むものとしても良い。この光源部１３からの原色光が、ミラー１４で全反射して上記マイクロミラー素子１２に照射される。

そして、マイクロミラー素子１２での反射光で光像が形成され、形成された光像が投影レンズ部１５を介して外部に投射して表示される。

上記投影レンズ部１５は、内部のレンズ光学系中に、フォーカス位置を移動するためのフォーカスレンズ及びズーム（投影）画角を可変するためのズームレンズを含み、それら各レンズはレンズモータ（Ｍ）１６により図示しないギヤ機構を介して光軸方向に沿った位置が選択的に駆動される。

また、上記投影レンズ部１５と隣接するようにして撮影レンズ部１７を配設する。この撮影レンズ部１７は、フォーカス位置を移動するためのフォーカスレンズを含み、上記投影レンズ部１５の最広角での投影画角をカバーするような撮影画角を有する。撮影レンズ部１７に入光する外部の光像は、固体撮像素子であるＣＭＯＳイメージセンサ１８上に結像される。

ＣＭＯＳイメージセンサ１８での結像により得られる画像信号は、Ａ／Ｄ変換器１９でデジタル化された後、撮影画像処理部２０に送られる。

この撮影画像処理部２０は、上記ＣＭＯＳイメージセンサ１８を走査駆動して撮影動作を実行させ、撮影により得た画像データに対する輪郭抽出等の画像処理を実施することで、後述するように画像中から上記図１の額縁ＦＲの位置、形状を抽出する。

加えて撮影画像処理部２０は、上記撮影レンズ部１７のフォーカスレンズ位置を移動させるためのレンズモータ（Ｍ）２１を駆動する。

上記各回路の動作すべてをＣＰＵ２２が制御する。このＣＰＵ２２は、メインメモリ２３及びプログラムメモリ２４と直接接続される。メインメモリ２３は、例えばＳＲＡＭで構成され、ＣＰＵ２２のワークメモリとして機能する。プログラムメモリ２４は、電気的書換可能な不揮発性メモリ、例えばフラッシュＲＯＭで構成され、ＣＰＵ２２が実行する動作プログラムや各種定型データ等を記憶する。

プログラムメモリ２４には、図示する如くコンテンツ画像記憶部２４Ａ及び照明画像記憶部２４Ｂが含まれる。コンテンツ画像記憶部２４Ａには、上記入力処理部ＩＰから入力されたコンテンツ画像の画像データが適宜記憶される。当該コンテンツ画像のデータには、例えば「風景画」「人物画」「静物画」などの属性を示す属性情報が対応付けて記憶されているものとする。
照明画像記憶部２４Ｂには、光源位置の指定によって異なる複数の照明画像のデータが記憶される。この照明画像データは、ここでは、色指定のないモノクロで全画素共フル階調値のフラットパターンの画像データであり、後述する色指定やグラデーション強度によって加工された上で実際の投影に使用されるものとして説明する。

ＣＰＵ２２は、上記プログラムメモリ２４に記憶されている動作プログラムや定型データ等を読出し、メインメモリ２３に展開して記憶させた上で当該プログラムを実行することにより、この投影装置１０を統括して制御する。

上記ＣＰＵ２２は、操作部２５からの操作信号に応じて各種投影動作を実行する。この操作部２５は、投影装置１０の本体に備えるいくつかの操作キーのキー操作信号を受付け、受付けたキー操作信号に応じた信号を上記ＣＰＵ２２へ送出する。

操作部２５が備える操作キーとしては、例えば投影装置１０の電源のオン／オフを操作する電源キー、ズームキー＋／−キー、フォーカス＋／−キー、メニューキー、十字キー、決定キー等を含む。

上記ＣＰＵ２２はさらに、上記システムバスＳＢを介して音声処理部２６と接続される。
音声処理部２６は、ＰＣＭ音源等の音源回路を備え、投影動作時に与えられる音声信号をアナログ化し、スピーカ部２８を駆動して放音させ、あるいは必要によりビープ音等を発生させる。

次に上記実施形態の動作について説明する。
まず図３により各種投影モード設定を行なうメニュー画面での設定例を示す。同図は、音声処理部２６のメニューキーを操作することにより上記図１のコンテンツ画像ＣＩに代えて投影される画面例である。

ここでは、「通常投影モード」「フィッティングモード」及び「フィッティング＋照明用画像投影モード」の３つのモードから１つを選択可能であるものとし、図３では最後の「フィッティング＋照明用画像投影モード」が選択されている状態を示す。

「通常投影モード」は、投影範囲ＡＲ内にある被投影面内の何らかの額縁ＦＲ等に関係なく、任意のズーム角、フォーカス位置で入力された画像の投影を行なうモードである。
「フィッティングモード」は、投影範囲ＡＲ内にある被投影面内の額縁ＦＲ等を検出した上で、その枠内に収まるように画像を加工して投影するモードである。

「フィッティング＋照明用画像投影モード」は、上記図１で示した如く、投影範囲ＡＲ内にある被投影面内の額縁ＦＲ等を検出した上で、その枠内に収まるように画像を加工すると共に、設定条件に合わせた上記照明画像ＬＴを同時に投影するモードである。

この「フィッティング＋照明用画像投影モード」を選択することで、図中に一点鎖線範囲IIIで示す詳細な設定が可能となる。すなわち「フィッティング＋照明用画像投影モード」では、「照明用画像範囲設定」「光源位置」及び「照明用画像色設定」の３項目について設定が可能となる。

「照明用画像範囲設定」では、投影範囲ＡＲ中の額縁ＦＲの大きさに合わせて上記照明画像ＬＴの大きさを「自動」で調整するか、あるいはユーザ設定により「手動」で調整するかを選択できる。

ここで「自動」が選択された場合、投影範囲ＡＲ中の額縁ＦＲの大きさに合わせて上記照明画像ＬＴの大きさが設定される。

また、「手動」が選択された場合、別途図示しない方法でユーザが投影範囲ＡＲ中の額縁ＦＲの大きさを設定できるようにしている。

また、図３に示すように、照明用画像範囲設定の際、スライドバーインターフェースにより、照明用画像範囲を狭くしたり、広くしたりするような微調整を可能にしている。

また、同様に、図３に示すように、スライドバーインターフェースにより、照明用画像内の半径方向に、あるいは後述する照明（光源）位置に応じて現れるグラデーションの強度を弱めにしたり、強めにしたりするような微調整を可能にしている。

また上記「光源位置」の設定では、上記照明画像ＬＴを照らす仮想空間での光源の位置を、全面均一な「正面」、あるいは意図してグラデーション状に傾斜分布させる「上」「下」「左」「右」とを選択できるものとする。

「照明用画像色設定」では、コンテンツ画像ＣＩの内容に応じて照明画像ＬＴの色（単色）を「自動」で設定するか、あるいはユーザ設定により「手動」で任意に設定するかを選択できる。

ここで「自動」を選択して設定した場合、さらにコンテンツ画像ＣＩの「属性」、コンテンツ画像ＣＩの「色調」、及び額縁ＦＲ周囲の「壁面色」のいずれによって自動的に照明用画像の色設定を行なうかを設定可能とする。

ここで「属性」とは、コンテンツ画像ＣＩに関連付けて記憶される属性情報を示すもので、当該画像が風景画や人物画、静物画など、どのような属性を有する画像かを識別できる情報を指す。
この「属性」を選んだときは、当該画像が風景画や人物画、静物画など、どのような属性を有する画像かを識別して照明用画像の色が自動に選択されるものとする。

「色調」を選んだときは、選択したコンテンツ画像ＣＩで使用されている色成分がモノクロ基調、寒色基調、暖色基調など、使用されている画像データ中の色成分の分布から照明用画像の色が自動に選択されるものとする。
「壁面色」を選んだときは、上記投影範囲ＡＲ内を撮像することで、額縁ＦＲの周囲となる、被投影面の壁面の色成分から照明用画像の色が自動に選択されるものとする。

次に上記「フィッティング＋照明用画像投影モード」を選択した当初に実行するセッティング動作について説明する。
なお以下に示す動作は、上述した如くＣＰＵ２２がプログラムメモリ２４から読出した動作プログラムや定型データ等をメインメモリ２３に展開した上で実行するものである。プログラムメモリ２４に記憶される動作プログラム等は、この投影装置１０の工場出荷時にプログラムメモリ２４に記憶されていたもののみならず、ユーザがこの投影装置１０を購入後にバージョンアップ用のプログラム等をインストールした内容を含む。

図４は、このときＣＰＵ２２が実行する処理内容を示すフローチャートである。
まずＣＰＵ２２は、レンズモータ１６により投影レンズ部１５中のズームレンズを、焦点距離が最短となる最大広角位置に設定した上で、マイクロミラー素子１２で全面が白色となる画像を表示し、被投影面内の投影範囲ＡＲ全体を白色光で照らす（ステップＳ１０１）。

この状態でレンズモータ２１により撮影レンズ部１７のフォーカスレンズを適宜操作し、例えばコントラスト方式のＡＦ機能により最もＣＭＯＳイメージセンサ１８から出力される画像のコントラスト値が高くなるように合焦位置を検出することで、被投影面に合焦した投影範囲ＡＲ内の画像を撮影する（ステップＳ１０２）。
この合焦状態で得られた上記フォーカスレンズの位置により、投影装置１０から被投影面までの距離が取得できる。

次にＣＰＵ２２は、撮影画像データに対して上記撮影画像処理部２０により輪郭抽出処理、パターン検出処理等の画像処理を組み合わせて実行させ、撮影画像中から上記額縁ＦＲの位置を抽出させる（ステップＳ１０３）。

次にＣＰＵ２２は、上記抽出した額縁ＦＲの周囲の壁面と内部の各色成分を分析し、分析した結果を保持しておく（ステップＳ１０４）。

次にＣＰＵ２２は、その時点で設定されている、照明用画像の範囲設定の情報を読出した上で（ステップＳ１０５）、範囲は「自動」であるか否かを判断する（ステップＳ１０６）。

上記図３で示した如く「自動」が設定されていると判断した場合、ＣＰＵ２２は上記ステップＳ１０３で抽出した額縁ＦＲの位置に応じて、レンズモータ１６により投影レンズ部１５のズームレンズの回動位置を操作し、コンテンツ画像ＣＩと照明画像ＬＴとが収まるように投影画角を設定する（ステップＳ１０７）。

また上記ステップＳ１０６において、照明用画像の範囲設定が「自動」ではないと判断した場合、ＣＰＵ２２は上記ステップＳ１０３で抽出した額縁ＦＲの位置を基準として、その時点でユーザにより手動設定されている範囲に基づいた調整を施した上でレンズモータ１６により投影レンズ部１５のズームレンズの回動位置を操作し、投影画角を設定する（ステップＳ１０８）。

上記ステップＳ１０７またはステップＳ１０８での処理後、ＣＰＵ２２は次に照明用画像の色設定の情報を読出した上で（ステップＳ１０９）、色は「手動」でユーザが任意に設定しているか否かを判断する（ステップＳ１１０）。

色設定が「手動」であると判断した場合、ＣＰＵ２２は予めユーザにより設定されている照明画像ＬＴの色設定を読出し、そのまま照明画像ＬＴの色を設定する（ステップＳ１１１）。

また上記ステップＳ１１０において、色設定が「手動」ではなく「自動」であると判断した場合、ＣＰＵ２２は次にその時点でコンテンツ画像ＣＩとして投影するべく選択されている画像データに対し、その「属性」に応じた色設定を行なうことが設定されているか否かを判断する（ステップＳ１１２）。

「属性」に応じた色設定が設定されていると判断した場合、ＣＰＵ２２は画像データに対応付けて記憶されている属性情報に応じて照明画像ＬＴの色を設定する（ステップＳ１１３）。

図５（Ａ）は、このときＣＰＵ２２がプログラムに従って色設定する内容をテーブル化して示すものである。例えば、コンテンツ画像ＣＩが人物画であった場合、当該画像を違和感なく照明するものとしても照明画像ＬＴの色には肌色を設定する。

また上記ステップＳ１１２において、「属性」に応じた色設定がされていないと判断した場合、続いてＣＰＵ２２はコンテンツ画像ＣＩの「色調」に応じた色設定を行なうことが設定されているか否かを判断する（ステップＳ１１４）。

「色調」に応じた色設定が設定されていると判断した場合、ＣＰＵ２２は画像データを構成する各画素の色成分の分布傾向を分析し、その分析結果から照明画像ＬＴの色を設定する（ステップＳ１１５）。

図５（Ｂ）は、このときＣＰＵ２２がプログラムに従って色設定する内容をテーブル化して示すものである。例えば、コンテンツ画像ＣＩが寒色系であった場合、当該画像を違和感なく照明するものとしても照明画像ＬＴの色には同じく寒色系の例えば水色を設定する。

さらに上記ステップＳ１１４において、「色調」に応じた色設定もなされていないと判断した場合、色設定は残る「壁面色」に応じたものであることになるので、上記ステップＳ１０４で分析して保持しておいた壁面色に応じて照明画像ＬＴの色を設定する（ステップＳ１１６）。

図５（Ｃ）は、このときＣＰＵ２２がプログラムに従って色設定する内容をテーブル化して示すものである。例えば、壁面色が無彩色であるグレーであった場合、そこに位置するコンテンツ画像ＣＩを違和感なく照明するものとして、照明画像ＬＴの色には同じく無彩色である例えば白色を設定する。

上記ステップＳ１１３またはＳ１１５またはＳ１１６の処理後、さらに「自動」による色設定の付加機能として、上記ステップＳ１０４で分析した額縁ＦＲ内の色分布に従い、投影するコンテンツ画像ＣＩに対する補正設定を行なう（ステップＳ１１７）。

図６は、このときＣＰＵ２２がプログラムに従って補正設定する内容をテーブル化して示すものである。例えば、額縁ＦＲ内の色がグレーであった場合、この額縁ＦＲ内に投影するコンテンツ画像ＣＩのコントラストが低減してしまうのを防ぐべく、コンテンツ画像ＣＩに対して輪郭強調等のコントラストを強調する画像処理を施した上で投影するものとして補正設定する。

このステップＳ１１６の処理後、あるいは上記ステップＳ１１１で「手動」設定に基づいた照明画像ＬＴの色設定処理後に、ＣＰＵ２２は上記ステップＳ１０３で抽出した額縁ＦＲの位置と、現時点で設定されている投影ズーム角度とにより、表示素子であるマイクロミラー素子１２の表示面内で、コンテンツ画像ＣＩを表示するための領域を割り当てる（ステップＳ１１８）。

さらに、このコンテンツ画像ＣＩを表示するための領域に合わせて、表示素子であるマイクロミラー素子１２の表示面内で、照明画像ＬＴを表示するための領域を割り当てる（ステップＳ１１９）。

これらの各割り当てに基づき、ＣＰＵ２２はコンテンツ画像記憶部２４Ａからその時点で選択されているコンテンツ画像ＣＩの画像データを読出すと共に、照明画像記憶部２４Ｂからその時点で選択されている照明画像ＬＴの画像を読出してそれぞれ投影画像駆動部１１で表示用画像として展開させ、コンテンツ画像ＣＩと照明画像ＬＴの合成画像を生成する（ステップＳ１２０）。

このとき、コンテンツ画像ＣＩのアスペクト比と額縁ＦＲのアスペクト人が一致しない場合には、例えば読出したコンテンツ画像ＣＩを額縁ＦＲに合致させるようにアスペクト比を変更するマッピング処理か、あるいは額縁ＦＲの縦辺あるいは横辺をコンテンツ画像ＣＩの同辺の長さと合致するようにコンテンツ画像ＣＩの横辺あるいは縦辺の端部をカットするなどのフィッティング処理を実行する。

さらに、照明画像ＬＴに対するグラデーション設定がなされている場合には、光源に近い側が最も強く、光源から離れるに従って弱くなるように照明画像ＬＴの画像をそのグラデーションの設定の度合いを考慮した画素位置毎の減衰処理を施す。

加えて、その減衰処理を施した照明画像ＬＴがコンテンツ画像ＣＩと重なる領域では、コンテンツ画像ＣＩに対して照明画像ＬＴの色成分を適切なバランスで重畳するものとして、コンテンツ画像ＣＩが、照明されていることを考慮した、より自然な画像として認識されるような合成処理を実行する。

こうして得られた合成画像に基づいてマイクロミラー素子１２で表示し、光源部１３からの光源光により光像を形成して投影レンズ部１５から出射させることで投影動作を実行し（ステップＳ１２１）、以上で一連の図４の処理を一旦完了したものとして、以後上記投影動作を続行する。

以上詳述した如く本実施形態によれば、コンテンツ画像ＣＩのみならず、これを照明する光源からの光を模した照明画像ＬＴも合わせて投影するものとしたので、被投影面の額縁ＦＲ内に投影するコンテンツ画像ＣＩをより自然に表現することが可能となる。

また、別途照明装置を用いることなく、一つの投影装置だけで、照明効果を与えて画像コンテンツをディスプレイすることができる。

なお上記実施形態では、投影装置１０が単体で上記動作を行なうものとして説明したが、本発明はこれに限らず、投影装置１０にパーソナルコンピュータなどの外部制御機器を接続し、例えば当該パーソナルコンピュータ側にインストールしたアプリケーションプログラムで上記実施形態の投影装置１０で行なった画像に対する制御を行なうものとしても良く、同様の効果を奏することができる。

また上記実施形態では、コンテンツ画像ＣＩを額縁ＦＲの形状に合わせてフィッティング処理するものとしたので、額縁ＦＲの形状を活かして違和感なくコンテンツ画像ＣＩの投影が実現できる。

さらに上記実施形態では、画像を投影する範囲を含んで上記投影面を撮影する撮影レンズ部１７、ＣＭＯＳイメージセンサ１８を含む撮像手段により額縁ＦＲの形状を取得するものとしたので、ユーザになんら負担をかけることなく、額縁ＦＲの形状取得を自動化できる。

また上記実施形態では、額縁ＦＲ内の色等の情報に合わせてコンテンツ画像ＣＩの画像を補正して投影するものとしたので、投影場所の環境を勘案してより見易い画像投影を実現できる。

同様に上記実施形態では、額縁ＦＲ内の周囲、背景側の色等の情報に合わせて照明画像ＬＴの画像を補正して投影するものとしたので、投影場所の環境を勘案してより見易い画像投影を実現できる。

また上記実施形態のフロー中では特に説明しなかったが、投影手段での投影をさせた状態で、投影範囲ＡＲの額縁ＦＲを含む範囲を撮影することで、投影位置をフィードバックして、自動的に投影位置合わせを行なうことができる。

さらに上記実施形態では、額縁ＦＲの形状を撮像により自動的に検出するものとしたが、これとは別に、ユーザが手動で指定して選択するものとしても良く、こうすることで額縁ＦＲの形状を正確に取得させることができる。

また上記実施形態では、例えば撮像系が自動合焦を行なうことで投影装置１０から投影範囲ＡＲまでの距離を測定するものとしたので、この測距情報を用いることで、投影系での合焦を正確に、且つ迅速に実行できる。

また、上記実施形態では、特に説明なかったが、投影範囲ＡＲまでの距離を多点で測定するようにすれば、台形歪みを自動で補正すると同時に、投影位置も調整することが可能で、より正確に、且つ迅速に、投影を額縁ＦＲの形状に合わせるようにすることできる。

さらに照明画像ＬＴに関しては、予め照明画像記憶部２４Ｂに光源の位置などにより表示態様が異なる複数の設定を用意し、ユーザが任意に選択することを可能としたので、ユーザの好みや投影環境に応じた表現が実現できる。

また上記実施形態では、コンテンツ画像ＣＩの属性や色調などに基づいて照明画像ＬＴの態様を決定して合成画像を生成することが可能となるので、より自然で違和感のない照明画像ＬＴを用いたディスプレイを実現できる。

さらに上記実施形態では、投影レンズ部１５がズーム角度を可変する光学ズーム機能を有するものとし、必要に応じてできうる限り投影角度を絞って画像投影を行なうものとしたので、光源部１３で発生した光量を無駄にすることなく、またマイクロミラー素子１２での表示解像度を活かして、明るく微細な画像表現を実現できる。

なお上記実施形態では説明しなかったが、投影レンズ部１５でのズーム角度を最大限に絞っても額縁ＦＲの形状が小さい場合、例えば被投影面の投影範囲ＡＲが投影装置１０から至近距離に位置している場合や、台形歪みを生じている場合などでも、マイクロミラー素子１２上で表示する画像の範囲を制限、あるいは変形して位置を移動させるなどの制御を行なうデジタル画像変換により、額縁ＦＲの形状を合わせ込んで投影させることができる。

なお上記実施形態は、投影装置１０がＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）（登録商標）方式の投影を行なう場合について説明したが、本発明は投影方式や表示素子の構成等を限定するものではない。

また、図３の設定、図４のフローチャートでは、照明画像ＬＴの色の自動設定の際に、わかりやすさのために、「属性」、「色調」、又は「壁面色」のいずれかひとつが考慮されるような例で説明したが、設定をラジオボタンではなくチェックボックスに変え、選択されているものを複数考慮して、照明画像ＬＴの色が自動設定されるようにしてもよい。

また、照明画像データとして、ある画像を加工する例で説明したが、照明画像データとして加工されたデータを複数記憶しておき、照明画像データを加工することなく選択するだけで合成されるようにしてもよい。

また、投影する範囲として、額縁の例で説明したが、額縁に限らず、花瓶やオブジェ等への投影コンテンツ投影の際にも同様に適用可能である。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
請求項１記載の発明は、入力される画像情報に応じた第１の画像を表示する表示素子を有した表示手段と、上記表示素子で表示する画像に応じた光像を形成し、被投影面に向けて投影する投影手段と、照明効果を与える照明用の第２の画像の情報を記憶した照明画像記憶手段と、上記被投影面内で上記第１の画像を投影する範囲の形状を取得する取得手段と、上記取得手段で取得した形状により上記表示素子の表示可能領域内に上記第１の画像を表示する第１の領域を割り当てる第１の割当手段と、上記表示素子の表示可能領域内で上記第１の領域の外側の領域を含んで上記第２の画像を表示する第２の領域を割り当てる第２の割当手段と、上記第１及び第２の割当手段でそれぞれ割り当てた結果に基づき、上記第１の画像と上記第２の画像の合成画像を生成して上記表示手段の表示素子で表示させる画像合成手段と、上記画像合成手段で表示させた合成画像を上記投影手段により上記被投影面に投影させる投影制御手段とを備えたことを特徴とする。

請求項２記載の発明は、上記請求項１記載の発明において、上記画像合成手段は、上記第１の領域の形状に合わせて上記合成画像中の上記第１の画像の形状を加工することを特徴とする。

請求項３記載の発明は、上記請求項１または２記載の発明において、上記取得手段は、上記第１の画像を投影する範囲を含んで上記投影面を撮影する撮像手段を含み、当該撮像手段で撮影した画像から上記第１の画像を投影する範囲の形状を取得することを特徴とする。

請求項４記載の発明は、上記請求項３記載の発明において、上記取得手段は、上記撮像手段で撮影した画像により上記被投影面内で第１の画像を投影する範囲の周囲の面情報を取得し、上記表示制御手段は、上記取得手段で取得した面情報に基づいて上記合成画像中の上記第２の画像の表示態様を補正することを特徴とする。

請求項５記載の発明は、上記請求項３記載の発明において、上記取得手段は、上記撮像手段で撮影した画像により上記被投影面内で第１の画像を投影する範囲内の面情報を取得し、上記画像合成手段は、上記取得手段で取得した面情報に基づいて上記合成画像の表示態様を補正することを特徴とする。

請求項６記載の発明は、上記請求項３乃至５いずれか記載の発明において、上記投影制御手段は、上記投影手段での投影をさせた状態で、上記撮像手段で撮影し、当該撮像手段で撮影した画像から上記第１の画像を投影する範囲の位置を取得し、上記合成画像の投影位置を調整させることを特徴とする。

請求項７記載の発明は、上記請求項１乃至６いずれか記載の発明において、上記被投影面までの距離を測定する測距手段をさらに備え、上記投影制御手段は、上記測距手段で測定した距離に基づいて上記合成画像を上記被投影面に投影させることを特徴とする。

請求項８記載の発明は、上記請求項１または２記載の発明において、上記取得手段は、上記被投影面内で上記第１の画像を投影する範囲の形状の指定をユーザに促し、ユーザにより指定された形状を上記第１の画像を投影する範囲の形状として取得することを特徴とする。

請求項９記載の発明は、上記請求項１乃至８いずれか記載の発明において、上記照明画像記憶手段は、表示態様が異なる複数の第２の画像の情報を記憶し、上記複数の第２の画像の情報の指定をユーザに促して指定させる照明画像指定手段をさらに備え、上記画像合成手段は、上記照明画像指定手段で指定された第２の画像の情報により上記合成画像を生成して上記表示素子で表示させることを特徴とする。

請求項１０記載の発明は、上記請求項１乃至９いずれか記載の発明において、上記画像合成手段は、上記第１の画像から得られる特性情報に基づいて、上記第２の画像の態様を決定し、合成画像を生成して上記表示手段の表示素子で表示させることを特徴とする。

請求項１１記載の発明は、上記請求項１乃至１０いずれか記載の発明において、上記投影手段は、投影する画像の画角を光学的に調整する画角調整手段をさらに備え、上記投影制御手段は、上記画像調整手段により合成画像中の上記第１の画像を上記被投影面内で上記第１の画像を投影する範囲に合わせて投影させることを特徴とする。

請求項１２記載の発明は、上記請求項１乃至１０いずれか記載の発明において、上記画像合成手段は、上記表示素子で表示させる上記合成画像の範囲を可変することを特徴とする。

請求項１３記載の発明は、入力される画像情報に応じた第１の画像を表示する表示素子を有した表示部、及び上記表示素子で表示する画像に応じた光像を形成し、被投影面に向けて投影する投影部を備えた投影装置を制御する投影制御装置であって、照明効果を与える照明用の第２の画像の情報を記憶した照明画像記憶手段と、上記被投影面内で上記第１の画像を投影する範囲の形状を取得する取得手段と、上記取得手段で取得した形状により上記表示素子の表示可能領域内に上記第１の画像を表示する第１の領域を割り当てる第１の割当手段と、上記表示素子の表示可能領域内で上記第１の領域の外側の領域を含んで上記第２の画像を表示する第２の領域を割り当てる第２の割当手段と、上記第１及び第２の割当手段でそれぞれ割り当てた結果に基づき、上記第１の画像と上記第２の画像の合成画像情報を生成して上記投影装置に出力する画像合成手段とを備えたことを特徴とする。

請求項１４記載の発明は、入力される画像情報に応じた第１の画像を表示する表示素子を有した表示部、及び上記表示素子で表示する画像に応じた光像を形成し、被投影面に向けて投影する投影部を備えた投影装置での投影制御方法であって、照明効果を与える照明用の第２の画像の情報を記憶した照明画像記憶工程と、上記被投影面内で上記第１の画像を投影する範囲の形状を取得する取得工程と、上記取得工程で取得した形状により上記表示素子の表示可能領域内に上記第１の画像を表示する第１の領域を割り当てる第１の割当工程と、上記表示素子の表示可能領域内で上記第１の領域の外側の領域を含んで上記第２の画像を表示する第２の領域を割り当てる第２の割当工程と、上記第１及び第２の割当工程でそれぞれ割り当てた結果に基づき、上記第１の画像と上記第２の画像の合成画像を生成して上記表示手段の表示素子で表示させる画像合成工程と、上記画像合成工程で表示させた合成画像を上記投影部により上記被投影面に投影させる投影制御工程とを有したことを特徴とする。

請求項１５記載の発明は、入力される画像情報に応じた第１の画像を表示する表示素子を有した表示部、及び上記表示素子で表示する画像に応じた光像を形成し、被投影面に向けて投影する投影部を備えた装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、照明効果を与える照明用の第２の画像の情報を記憶した照明画像記憶手段、上記被投影面内で上記第１の画像を投影する範囲の形状を取得する取得手段、上記取得手段で取得した形状により上記表示素子の表示可能領域内に上記第１の画像を表示する第１の領域を割り当てる第１の割当手段、上記表示素子の表示可能領域内で上記第１の領域の外側の領域を含んで上記第２の画像を表示する第２の領域を割り当てる第２の割当手段、上記第１及び第２の割当手段でそれぞれ割り当てた結果に基づき、上記第１の画像と上記第２の画像の合成画像を生成して上記表示手段の表示素子で表示させる画像合成手段、及び上記画像合成手段で表示させた合成画像を上記投影部により上記被投影面に投影させる投影制御手段として機能させることを特徴とする。

１０…投影装置、１１…投影画像駆動部、１２…マイクロミラー素子、１３…光源部、１４…ミラー、１５…投影レンズ部、１６…レンズモータ（Ｍ）、１７…撮影レンズ部、１８…ＣＭＯＳイメージセンサ、１９…Ａ／Ｄ変換器、２０…撮影画像処理部、２１…レンズモータ（Ｍ）、２２…ＣＰＵ、２３…メインメモリ、２４…プログラムメモリ、２４Ａ…コンテンツ画像記憶部、２４Ｂ…照明画像記憶部、２５…操作部、２６…音声処理部、２８…スピーカ部、ＡＲ…投影範囲、ＣＩ…コンテンツ画像、ＦＲ…額縁、ＬＴ…照明画像、ＳＢ…システムバス。

Claims (15)

1. 入力される画像情報に応じた第１の画像を表示する表示素子を有した表示手段と、
   上記表示素子で表示する画像に応じた光像を形成し、被投影面に向けて投影する投影手段と、
   照明効果を与える照明用の第２の画像の情報を記憶した照明画像記憶手段と、
   上記被投影面内で上記第１の画像を投影する範囲の形状を取得する取得手段と、
   上記取得手段で取得した形状により上記表示素子の表示可能領域内に上記第１の画像を表示する第１の領域を割り当てる第１の割当手段と、
   上記表示素子の表示可能領域内で上記第１の領域の外側の領域を含んで上記第２の画像を表示する第２の領域を割り当てる第２の割当手段と、
   上記第１及び第２の割当手段でそれぞれ割り当てた結果に基づき、上記第１の画像と上記第２の画像の合成画像を生成して上記表示手段の表示素子で表示させる画像合成手段と、
   上記画像合成手段で表示させた合成画像を上記投影手段により上記被投影面に投影させる投影制御手段と
   を備えたことを特徴とする投影装置。
2. 上記画像合成手段は、上記第１の領域の形状に合わせて上記合成画像中の上記第１の画像の形状を加工することを特徴とする請求項１記載の投影装置。
3. 上記取得手段は、上記第１の画像を投影する範囲を含んで上記投影面を撮影する撮像手段を含み、当該撮像手段で撮影した画像から上記第１の画像を投影する範囲の形状を取得することを特徴とする請求項１または２記載の投影装置。
4. 上記取得手段は、上記撮像手段で撮影した画像により上記被投影面内で第１の画像を投影する範囲の周囲の面情報を取得し、
   上記表示制御手段は、上記取得手段で取得した面情報に基づいて上記合成画像中の上記第２の画像の表示態様を補正する
   ことを特徴とする請求項３記載の投影装置。
5. 上記取得手段は、上記撮像手段で撮影した画像により上記被投影面内で第１の画像を投影する範囲内の面情報を取得し、
   上記画像合成手段は、上記取得手段で取得した面情報に基づいて上記合成画像の表示態様を補正する
   ことを特徴とする請求項３記載の投影装置。
6. 上記投影制御手段は、上記投影手段での投影をさせた状態で、上記撮像手段で撮影し、当該撮像手段で撮影した画像から上記第１の画像を投影する範囲の位置を取得し、上記合成画像の投影位置を調整させることを特徴とする請求項３乃至５いずれか記載の投影装置。
7. 上記被投影面までの距離を測定する測距手段をさらに備え、
   上記投影制御手段は、上記測距手段で測定した距離に基づいて上記合成画像を上記被投影面に投影させる
   ことを特徴とする請求項１乃至６いずれか記載の投影装置。
8. 上記取得手段は、上記被投影面内で上記第１の画像を投影する範囲の形状の指定をユーザに促し、ユーザにより指定された形状を上記第１の画像を投影する範囲の形状として取得することを特徴とする請求項１または２記載の投影装置。
9. 上記照明画像記憶手段は、表示態様が異なる複数の第２の画像の情報を記憶し、
   上記複数の第２の画像の情報の指定をユーザに促して指定させる照明画像指定手段をさらに備え、
   上記画像合成手段は、上記照明画像指定手段で指定された第２の画像の情報により上記合成画像を生成して上記表示素子で表示させる
   ことを特徴とする請求項１乃至８いずれか記載の投影装置。
10. 上記画像合成手段は、上記第１の画像から得られる特性情報に基づいて、上記第２の画像の態様を決定し、合成画像を生成して上記表示手段の表示素子で表示させることを特徴とする請求項１乃至９いずれか記載の投影装置。
11. 上記投影手段は、投影する画像の画角を光学的に調整する画角調整手段をさらに備え、
    上記投影制御手段は、上記画像調整手段により合成画像中の上記第１の画像を上記被投影面内で上記第１の画像を投影する範囲に合わせて投影させる
    ことを特徴とする請求項１乃至１０いずれか記載の投影装置。
12. 上記画像合成手段は、上記表示素子で表示させる上記合成画像の範囲を可変することを特徴とする請求項１乃至１０いずれか記載の投影装置。
13. 入力される画像情報に応じた第１の画像を表示する表示素子を有した表示部、及び上記表示素子で表示する画像に応じた光像を形成し、被投影面に向けて投影する投影部を備えた投影装置を制御する投影制御装置であって、
    照明効果を与える照明用の第２の画像の情報を記憶した照明画像記憶手段と、
    上記被投影面内で上記第１の画像を投影する範囲の形状を取得する取得手段と、
    上記取得手段で取得した形状により上記表示素子の表示可能領域内に上記第１の画像を表示する第１の領域を割り当てる第１の割当手段と、
    上記表示素子の表示可能領域内で上記第１の領域の外側の領域を含んで上記第２の画像を表示する第２の領域を割り当てる第２の割当手段と、
    上記第１及び第２の割当手段でそれぞれ割り当てた結果に基づき、上記第１の画像と上記第２の画像の合成画像情報を生成して上記投影装置に出力する画像合成手段と
    を備えたことを特徴とする投影制御装置。
14. 入力される画像情報に応じた第１の画像を表示する表示素子を有した表示部、及び上記表示素子で表示する画像に応じた光像を形成し、被投影面に向けて投影する投影部を備えた投影装置での投影制御方法であって、
    照明効果を与える照明用の第２の画像の情報を記憶した照明画像記憶工程と、
    上記被投影面内で上記第１の画像を投影する範囲の形状を取得する取得工程と、
    上記取得工程で取得した形状により上記表示素子の表示可能領域内に上記第１の画像を表示する第１の領域を割り当てる第１の割当工程と、
    上記表示素子の表示可能領域内で上記第１の領域の外側の領域を含んで上記第２の画像を表示する第２の領域を割り当てる第２の割当工程と、
    上記第１及び第２の割当工程でそれぞれ割り当てた結果に基づき、上記第１の画像と上記第２の画像の合成画像を生成して上記表示手段の表示素子で表示させる画像合成工程と、
    上記画像合成工程で表示させた合成画像を上記投影部により上記被投影面に投影させる投影制御工程と
    を有したことを特徴とする投影制御方法。
15. 入力される画像情報に応じた第１の画像を表示する表示素子を有した表示部、及び上記表示素子で表示する画像に応じた光像を形成し、被投影面に向けて投影する投影部を備えた装置が内蔵したコンピュータが実行するプログラムであって、
    上記コンピュータを、
    照明効果を与える照明用の第２の画像の情報を記憶した照明画像記憶手段、
    上記被投影面内で上記第１の画像を投影する範囲の形状を取得する取得手段、
    上記取得手段で取得した形状により上記表示素子の表示可能領域内に上記第１の画像を表示する第１の領域を割り当てる第１の割当手段、
    上記表示素子の表示可能領域内で上記第１の領域の外側の領域を含んで上記第２の画像を表示する第２の領域を割り当てる第２の割当手段、
    上記第１及び第２の割当手段でそれぞれ割り当てた結果に基づき、上記第１の画像と上記第２の画像の合成画像を生成して上記表示手段の表示素子で表示させる画像合成手段、及び
    上記画像合成手段で表示させた合成画像を上記投影部により上記被投影面に投影させる投影制御手段
    として機能させることを特徴とするプログラム。

Images