JP2015158591A - 画像投影装置、画像投影システムおよび画像投影方法 - Google Patents

Abstract

【課題】補助画像を投影させた場合の歪みを低減する画像投影装置、画像投影システムおよび画像投影方法を提供する。
【解決手段】ＯＳＤ配置決定部１０７は、ＯＳＤ画像の配置の候補であるブロックの組み合わせのうち、最小の合計値Ｓを有する組み合わせの領域を、撮像画像における最も歪みが小さい領域であるものと判定し、判定した領域に対応する補正画像における領域を、補正画像におけるＯＳＤ画像の最適な配置領域である表示最適領域に決定し、ＯＳＤ合成部１０８は、ＯＳＤ配置決定部１０７により決定された補正画像における表示最適領域に、ＯＳＤ生成部１０６により生成されたＯＳＤ画像を重畳して、合成画像を生成する。
【選択図】図２

Description

本発明は、画像投影装置、画像投影システムおよび画像投影方法に関する。

近年、プレゼンタの存在により映像に影が映ってしまうという問題を改善するため、スクリーンに近い位置から画像を投影する短焦点プロジェクタが使用されている。しかし、特に、この短焦点プロジェクタは、スクリーンの近傍の下方または上方に設置した状態からあおり投射するため、一般的な吊り下げ型のスクリーンでは、正面から投影された画像を見た場合に、スクリーン表面のわずかな凹凸が大きな歪みとなって見えてしまうという問題があった。

従来のプロジェクタでは、スクリーン正面よりずれた方向からの画像投影で発生する台形歪みに対する補正機能を搭載しているが、上述のようにスクリーンの凹凸に起因する表示画像の歪みは、画像全体の台形歪みを補正する方式では補正できない。このような、スクリーンの凹凸に起因する表示画像の歪みを低減する技術として、ＤＬＰ（登録商標）（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）方式のプロジェクタにおいて、投影された所定のパターン画像を正面から外部カメラを使って撮像し、複数ブロックに分割したこれらのパターン画像と撮像画像とから各ブロックの歪パラメータを算出するというものがある（特許文献１参照）。そして、この技術は、投影動作を制御する回路ブロックの前段において、歪パラメータを用いて投影画像を歪ませる処理を施した上で凹凸のあるスクリーンに投影することにより、スクリーンの正面から画像を見ている人には表示画像の歪みが補正されて見える。

しかし、特許文献１に記載された技術のように、スクリーンの凹凸に起因する表示画像の歪みを解消するために、投影する画像データである投影画像に歪み補正をする技術において、その歪み補正をした後にＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）画像の合成を行うと、ＯＳＤ画像のみがスクリーンの凹凸の影響で歪んでしまう問題点がある。ＯＳＤ画像とは、スクリーンに投影する投影画像に重畳して表示させ、画像の設定操作等をするための補助画像である。ここで、投影画像に対してＯＳＤ画像を合成した合成画像に対して、歪み補正を行うことによって、上述の問題点の解消を図ることが想定されるが、以下の理由から、ＤＬＰ方式のプロジェクタにおいてはそれが容易ではない。

ＤＬＰ方式のプロジェクタは、テキサスインスツルメンツ社において提供されるＤＬＰプロセッサおよびＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｒｒｏｒ Ｄｅｖｉｃｅ）の２つの半導体回路によって画像処理および投影制御の回路ブロックが構成されている。ＤＬＰプロセッサは、投影画像の解像度の変更機能、ＯＳＤ画像の生成機能、ＯＳＤ画像の投影画像への合成機能、およびＤＭＤの制御機能等を有する。ここで、ＯＳＤ画像の生成機能および合成機能をＤＬＰプロセッサが担う場合、ＯＳＤ画像に対して歪み補正を行うためには、ＤＬＰプロセッサの後段に歪み補正回路を配置する必要がある。この場合、ＤＬＰプロセッサのＤＭＤの制御タイミングに対して、歪み補正により発生する遅延を時間的に補正する必要がある。しかし、ＤＬＰプロセッサのＤＭＤの制御機能は、テキサスインスツルメンツ社から詳細が公開されていないため、ＤＬＰプロセッサの後段に歪み補正回路を配置する方法は実現が困難であるという問題点があった。

一方、ＤＬＰプロセッサの前段に歪み補正回路を配置する場合において、ＯＳＤ画像に対しても歪み補正を行うためには、ＤＬＰプロセッサが実装するＯＳＤ画像の生成機能および合成機能を使用せずに、歪み補正回路の前段に、ＯＳＤ画像の生成および合成を行う別の回路を配置する必要がある。この場合、ＤＬＰプロセッサとは別に、ＯＳＤ画像の生成および合成を行う別の回路が必要になるためコストアップとなり、ＤＬＰプロセッサにおいてＯＳＤ画像の生成および合成を行うためのソフト資産が流用できなくなり、開発工数が増大するという問題点があった。

本発明は、上記に鑑みてなされたものであって、補助画像を投影させた場合の歪みを低減する画像投影装置、画像投影システムおよび画像投影方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、パターン画像、および撮像手段により該パターン画像を撮像した撮像画像に基づいて、補正パラメータを生成する生成手段と、投影画像を入力する入力手段と、前記補正パラメータに基づいて、前記投影画像に対して歪み補正を実行して補正画像を生成する歪み補正手段と、前記撮像画像における歪みの最も小さい領域に対応する前記補正画像における領域を、表示最適領域に決定する決定手段と、前記補正画像における前記表示最適領域に補助画像を重畳させて合成画像を生成する合成手段と、前記合成画像を投影対象物に投影させる投影手段と、を備えたことを特徴とする。

本発明によれば、補助画像を投影させた場合の歪みを低減することができる。

図１は、実施の形態に係るプロジェクタのハードウェアの全体構成の一例を示す図である。 図２は、実施の形態に係るプロジェクタの主要なブロック構成の一例を示す図である。 図３は、パターン画像および撮像画像について説明する図である。 図４は、パターン画像を投影した場合の歪みおよびその歪みから生成される補正パラメータについて説明する図である。 図５は、補正パラメータテーブルの一例を模式的に示す図である。 図６は、補正パラメータテーブルに基づいて投影画像に対して歪み補正を行う動作を説明する図である。 図７は、撮像画像においてブロック単位での歪みの大きさを算出する動作を説明する図である。 図８は、ＯＳＤ画像の表示最適領域を決定する動作を説明する図である。 図９は、実施の形態に係るプロジェクタの投影画像に対する歪み補正およびＯＳＤ画像の合成動作の一例を示すフローチャートである。

以下に、図面を参照しながら、本発明に係る画像投影装置、画像投影システムおよび画像投影方法の実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換および変更を行うことができる。

（プロジェクタのハードウェア構成）
図１は、実施の形態に係るプロジェクタのハードウェアの全体構成の一例を示す図である。図１を参照しながら、本実施の形態に係るプロジェクタ１のハードウェア構成について説明する。

図１に示すように、本実施の形態に係るプロジェクタ１は、画像データに基づいて、ランプ光を用いてスクリーン等の投影対象物に投影画像を投影させる画像投影装置である。プロジェクタ１は、光学エンジン１０と、コントローラ基板２０と、ランプ３０と、システム用電源５０と、ランプ用電源６０と、を備えている。

光学エンジン１０は、ＤＬＰ方式により、コントローラ基板２０から出力される画像データに基づいて、ランプ３０からのランプ光を用いてスクリーン等の投影対象物に投射画像を投影する装置である。光学エンジン１０は、光学フィルタ１１と、マイクロミラーデバイス１２と、レンズ１３と、を有する。

光学フィルタ１１は、円盤状に形成された赤（Ｒ）、青（Ｂ）、緑（Ｇ）のカラーフィルタである。光学フィルタ１１は、回転動作することによって、ランプ３０から照射されるランプ光を、赤、青、緑の単色光に時分割する。

マイクロミラーデバイス１２は、光を反射させる微小なミラー（反射板）の集合体であり、各ミラーがその傾斜によって光を反射するか否かを調整するＤＭＤである。マイクロミラーデバイス１２は、後述するコントローラ基板２０のＤＬＰプロセッサ２１から出力される画像データ（合成画像）に基づいて、光学フィルタ１１から出力される時分割された単色光に対する反射動作を制御して画像を投射する。

レンズ１３は、マイクロミラーデバイス１２から投射された画像を、所望のサイズに拡大させて投影光として出射する光学系である。レンズ１３は、投影光を出射することによって、スクリーン等の投影対象物に画像を投影する。

コントローラ基板２０は、外部機器から入力した画像データに対して、所定の画像処理を実行し、画像処理後の画像データを光学エンジン１０に出力する基板である。コントローラ基板２０は、ＤＬＰプロセッサ２１と、ネットワークインターフェース部２２と、映像インターフェース部２３と、第１メモリ２４と、歪み補正回路２５と、第２メモリ２６と、補正パラメータ生成回路２７と、汎用インターフェース部２８と、光学制御部２９と、が実装されている。

ＤＬＰプロセッサ２１は、コントローラ基板２０全体の動作を制御する演算装置である。ＤＬＰプロセッサ２１は、ネットワークインターフェース部２２または映像インターフェース部２３を介して入力した画像データに対して、所定の画像処理（画像の解像度の変更等）、ＯＳＤ画像の生成および合成を実行し、処理後の画像データ（合成画像）を光学エンジン１０のマイクロミラーデバイス１２に出力する。

ネットワークインターフェース部２２は、図１に示すように、ネットワーク機器であるＰＣ５等と、有線通信の物理的な規格に準拠したＥｔｈｅｒｎｅｔ（登録商標）ケーブル等で接続し、通信規格であるＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等により通信するインターフェースである。ネットワークインターフェース部２２は、例えば、ＰＣ５等から画像データまたは電子ファイルのような電子データを受信し、受信したデータをＤＬＰプロセッサ２１へ送る。なお、ネットワークインターフェース部２２は、上述のような有線通信規格に基づいたインターフェースであることに限定されるものではなく、無線通信規格であるＷｉ−Ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）等により通信するインターフェースであってもよい。

映像インターフェース部２３は、図１に示すように、外部機器であるビデオカメラ３またはＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）４等から画像データもしくは電子ファイルのような電子データの受信、またはその他のデータの受信をするためのインターフェースである。映像インターフェース部２３は、受信した画像データをＤＬＰプロセッサ２１へ送る。

第１メモリ２４は、後述する補正パラメータを生成するためにスクリーン等の投影対象物に投影させるパターン画像を記憶する半導体メモリ等の記憶装置である。また、第１メモリ２４は、ＤＬＰプロセッサ２１で実行するプログラムおよび各種設定情報等を記憶する。

歪み補正回路２５は、後述する補正パラメータに基づいて、映像インターフェース部２３を介して入力した投影画像に対して、歪み補正を実行する回路である。歪み補正回路２５は、投影画像に対する歪み補正後の画像である補正画像をＤＬＰプロセッサ２１に送信する。すなわち、歪み補正回路２５は、投影画像に対する一連の画像処理において、ＤＬＰプロセッサ２１の前段側に位置している。なお、図１に示す構成例では、歪み補正回路２５は、映像インターフェース部２３を介して入力した投影画像に対して歪み補正を実行するものとしているが、これに限定されるものではない。すなわち、歪み補正回路２５は、ネットワークインターフェース部２２を介して入力した投影画像に対して歪み補正を実行するものとしてもよい。

第２メモリ２６は、歪み補正回路２５が映像インターフェース部２３を介して入力した投影画像を一時的に記憶させておく半導体メモリ等の記憶装置である。

補正パラメータ生成回路２７は、汎用インターフェース部２８を介して、後述する撮像装置２により撮像された撮像画像を入力し、パターン画像および撮像画像に基づいて、補正パラメータを生成する回路である。

汎用インターフェース部２８は、図１に示すように、撮像装置２によって撮像された撮像画像等を受信するためのインターフェースである。汎用インターフェース部２８は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インターフェースである。

光学制御部２９は、ＤＬＰプロセッサ２１からの制御信号に従って、光学フィルタ１１とマイクロミラーデバイス１２とを同期制御する装置である。具体的には、光学制御部２９は、光学フィルタ１１によりランプ３０からのランプ光を単色光に時分割させると同時に、マイクロミラーデバイス１２により各単色光に対する反射動作を制御させ画像を投射させる。

ランプ３０は、光学エンジン１０に対して、投射画像を生成するためのランプ光を出力する光源である。ランプ３０は、例えば、水銀ランプ、ハロゲンランプ、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）またはＬＤ（Ｌａｓｅｒ Ｄｉｏｄｅ)等であり、ランプ光を光学フィルタ１１に対して照射する。ランプ３０は、ランプ用電源６０から電源供給される。

システム用電源５０は、交流電源である商用電源からの交流電圧を、直流電圧に変換し、各種機器に電源供給するＡＣ／ＤＣコンバータ電源である。システム用電源５０は、例えば、コントローラ基板２０およびマイクロミラーデバイス１２等に電源供給する。

ランプ用電源６０は、交流電源である商用電源から、ランプ３０の駆動用の電力を生成して供給する電源である。なお、ランプ用電源６０は、システム用電源５０から供給される電力によって、ランプ３０の駆動用の電力を生成するものとしてもよい。

撮像装置２（撮像手段）は、スクリーン等の投影対象物に投影された画像を撮像する装置である。撮像装置２は、撮像した撮像画像をプロジェクタ１の汎用インターフェース部２８に送信する。なお、図１に示すように、撮像装置２は、プロジェクタ１とは別体の装置として構成されているが、これに限定されるものではなく、撮像装置２はプロジェクタ１に内蔵される構成としてもよい。この場合、プロジェクタ１に内蔵された撮像装置２は、撮像画像を、汎用インターフェース部２８を介して補正パラメータ生成回路２７に送信する必要はなく、補正パラメータ生成回路２７に直接送信することができる。

（プロジェクタのブロック構成）
図２は、実施の形態に係るプロジェクタの主要なブロック構成の一例を示す図である。図２を参照しながら、本実施の形態に係るプロジェクタ１の主要なブロック構成について説明する。

図２に示すように、本実施の形態に係るプロジェクタ１は、主要な機能ブロックとして、第１通信部１０１と、記憶部１０２（記憶手段）と、補正パラメータ生成部１０３（生成手段）と、第２通信部１０４（入力手段）と、歪み補正部１０５（歪み補正手段）と、ＯＳＤ生成部１０６と、ＯＳＤ配置決定部１０７（決定手段）と、ＯＳＤ合成部１０８（合成手段）と、投影部１０９（投影手段）と、を備える。

第１通信部１０１は、撮像装置２によって撮像された撮像画像を受信する処理部である。第１通信部１０１は、図１に示す汎用インターフェース部２８により実現される。

記憶部１０２は、補正パラメータ生成部１０３により補正パラメータを生成するためのパターン画像を記憶する。記憶部１０２は、図１に示す第１メモリ２４により実現される。

補正パラメータ生成部１０３は、パターン画像および撮像画像に基づいて、投影画像のポイントごとに、逆の歪みを与えるベクトルである補正パラメータを生成する処理部である。補正パラメータ生成部１０３は、図１に示す補正パラメータ生成回路２７により実現される。

第２通信部１０４は、外部機器から投影画像を入力する処理部である。第２通信部１０４は、図１に示すネットワークインターフェース部２２または映像インターフェース部２３により実現される。

歪み補正部１０５は、補正パラメータ生成部１０３により生成された補正パラメータに基づいて、投影画像の各ポイントについて逆に歪みを加える歪み補正を実行し、補正画像を生成する処理部である。歪み補正部１０５は、図１に示す歪み補正回路２５により実現される。

ＯＳＤ生成部１０６は、歪み補正部１０５により生成された補正画像に重畳させるためのＯＳＤ画像を生成する処理部である。ＯＳＤ生成部１０６は、図１に示すＤＬＰプロセッサ２１により実行されるプログラムにより実現される。

ＯＳＤ配置決定部１０７は、複数のブロックに区分されたパターン画像を撮像した撮像画像から、ブロックごとに歪みの大きさを求め、歪み補正部１０５により生成される補正画像におけるＯＳＤ画像の最適な配置領域である表示最適領域（表示領域）を決定する処理部である。ＯＳＤ配置決定部１０７は、図１に示すＤＬＰプロセッサ２１により実行されるプログラムにより実現される。

ＯＳＤ合成部１０８は、ＯＳＤ配置決定部１０７により決定された補正画像における表示最適領域に、ＯＳＤ生成部１０６により生成されたＯＳＤ画像を重畳して、合成画像を生成する処理部である。ＯＳＤ合成部１０８は、図１に示すＤＬＰプロセッサ２１により実行されるプログラムにより実現される。

投影部１０９は、記憶部１０２に記憶されたパターン画像、およびＯＳＤ合成部１０８により生成された合成画像を、スクリーン等の投影対象物に投影させる処理部である。投影部１０９は、図１に示す光学エンジン１０およびランプ３０により実現される。

なお、上述の補正パラメータ生成部１０３および歪み補正部１０５の一部または全部は、ハードウェア回路ではなく、ＤＬＰプロセッサ２１とは別のＣＰＵ等によるプログラムの実行によって実現されるものとしてもよい。また、上述のＯＳＤ生成部１０６、ＯＳＤ配置決定部１０７およびＯＳＤ合成部１０８の一部または全部は、ＤＬＰプロセッサ２１が実行するプログラムではなく、ハードウェア回路によって実現されるものとしてもよい。また、上述の第１通信部１０１、記憶部１０２、補正パラメータ生成部１０３、第２通信部１０４、歪み補正部１０５、ＯＳＤ生成部１０６、ＯＳＤ配置決定部１０７、ＯＳＤ合成部１０８および投影部１０９は、プロジェクタ１の機能を概念的に構成したものであって、このような構成に限定されるものではない。

（パターン画像および撮像画像に基づいて補正パラメータを生成する動作）
図３は、パターン画像および撮像画像について説明する図である。図４は、パターン画像を投影した場合の歪みおよびその歪みから生成される補正パラメータについて説明する図である。図５は、補正パラメータテーブルの一例を模式的に示す図である。図３〜５を参照しながら、パターン画像および撮像画像に基づいて、補正パラメータが生成される動作について説明する。

上述のように、記憶部１０２（第１メモリ２４）には、パターン画像（以下、パターン画像２０１と称する）が記憶されており、パターン画像２０１は、例えば、複数のブロックに区分された格子状の画像であるものとする。図３（ａ）に示す例では、パターン画像２０１は、縦に３個、横に４個の１２個のブロックに区分された画像である。図３（ａ）に示すパターン画像２０１における紙面視の左上のブロック（斜線のブロック）の４つのコーナーポイント（頂点）のうち、左上のコーナーポイントから右回りにそれぞれポイントＡ〜Ｄと称するものとする。

投影部１０９は、記憶部１０２に記憶されたパターン画像２０１を、スクリーン等の投影対象物に投影させる。そして、撮像装置２は、スクリーンに投影されたパターン画像２０１を撮像し、撮像画像２０２として、プロジェクタ１に送信する。スクリーンに凹凸があると、スクリーンに投影されたパターン画像２０１は歪んで表示され、撮像装置２によりパターン画像２０１が撮像された撮像画像２０２は、図３（ｂ）に示すように、歪みを有する画像となる。ここで、撮像画像２０２において、パターン画像２０１のポイントＡ〜Ｄに対応する点を、それぞれポイントＡ１〜Ｄ１とする。

図４において、ポイントＡ〜Ｄで囲まれる破線のブロックは、パターン画像２０１の左上のブロックを示し、ポイントＡ１〜Ｄ１で囲まれる実線のブロックは、撮像画像２０２の左上のブロックを示している。以下、説明を簡略にするため、ポイントＡとポイントＡ１とを重ね合わせた状態で説明する。スクリーンに投影されたパターン画像２０１を撮像した撮像画像２０２は、上述のように、スクリーンの凹凸の影響によって歪んだ画像となっているので、図４に示すように、ポイントＢ〜Ｄは、それぞれポイントＢ１〜Ｄ１に移動し、本来表示されるべき位置から移動した位置に表示されていることになる。具体的には、パターン画像２０１におけるポイントＢは、歪み量２５１ａだけ移動した撮像画像２０２におけるポイントＢ１に移動し、ポイントＣは、歪み量２５２ａだけ移動したポイントＣ１に移動し、ポイントＤは、歪み量２５３ａだけ移動したポイントＤ１に移動している。

ここで、歪んだ画像である撮像画像２０２の各ポイント（例えば、ポイントＡ１〜Ｄ１）が、本来表示されるべき位置（例えば、ポイントＡ〜Ｄ）に表示されるためには、各ポイントが歪んで移動した移動ベクトルの大きさ（例えば、歪み量２５１ａ〜２５３ａ）と同一の大きさ、かつ、反対向きのベクトルによって、投影される前の画像データである投影画像の各ポイントを移動させればよい。具体的には、パターン画像２０１のポイントＢについては、歪んで移動した移動ベクトルの大きさである歪み量２５１ａと同一の大きさ、かつ、移動ベクトルと反対向きのベクトル（大きさが補正量２５１ｂであるベクトル）で移動（逆の歪み）させればよい。また、パターン画像２０１のポイントＣについては、歪んで移動した移動ベクトルの大きさである歪み量２５２ａと同一の大きさ、かつ、移動ベクトルと反対向きのベクトル（大きさが補正量２５２ｂであるベクトル）で移動（逆の歪み）させればよい。また、パターン画像２０１のポイントＤについては、歪んで移動した移動ベクトルの大きさである歪み量２５３ａと同一の大きさ、かつ、移動ベクトルと反対向きのベクトル（大きさが補正量２５３ｂであるベクトル）で移動（逆の歪み）させればよい。パターン画像２０１における他のポイントについても同様である。

図２に示す補正パラメータ生成部１０３は、パターン画像２０１および撮像画像２０２に基づいて、上述のような方法により、逆の歪みを与えるベクトル（例えば、図４に示す大きさが補正量２５１ｂ〜２５３ｂのベクトル）を補正パラメータとして生成する。この補正パラメータは、上述のようにパターン画像２０１のポイントごとに生成されるので、例えば、補正パラメータ生成部１０３は、図５に示すように、パターン画像２０１のポイントごとに生成される補正パラメータをテーブル形式でまとめた補正パラメータテーブル３０１を作成する。補正パラメータ生成部１０３は、作成した補正パラメータテーブル３０１を記憶装置（例えば、第１メモリ２４等）に記憶させておくものとしてもよい。

なお、補正パラメータテーブル３０１は、テーブル形式の情報としているが、これに限定されるものではない。すなわち、少なくとも、パターン画像２０１の各ポイントと、補正パラメータとが関連付けられている情報であれば、どのような形式の情報であってもよい。

また、図３に示すように、パターン画像２０１および撮像画像２０２を１２個の矩形状のブロックに区分しているが、これに限定されるものではなく、区分するブロックの数は任意の数でよく、さらに、区分するブロックの形状は矩形状に限定されない。

（投影画像に対する歪み補正）
図６は、補正パラメータテーブルに基づいて投影画像に対して歪み補正を行う動作を説明する図である。図６を参照しながら、補正パラメータ生成部１０３により生成された補正パラメータテーブル３０１に基づいて、投影画像が歪み補正される動作について説明する。なお、図６においては、説明を分かりやすくするため、歪み補正の対象となる投影画像としてパターン画像２０１を想定し、パターン画像２０１に対して歪み補正をした場合について説明する。

投影部１０９は、記憶部１０２に記憶されたパターン画像２０１（図６（ａ）参照）を、スクリーン等の投影対象物に投影させる。上述のように、スクリーンには凹凸があるものとし、スクリーンに投影されたパターン画像２０１は歪んで表示され、撮像装置２によりパターン画像２０１が撮像された撮像画像２０２は、図６（ｂ）に示すように、歪みを有する画像となる。補正パラメータ生成部１０３は、上述のように、パターン画像２０１および撮像画像２０２に基づいて、逆の歪みを与えるベクトルを補正パラメータとして生成し、パターン画像２０１のポイントごとに生成される補正パラメータをテーブル形式でまとめた補正パラメータテーブル３０１を作成する。

歪み補正部１０５は、スクリーンに投影するための投影画像（ここではパターン画像２０１とする）に対して、補正パラメータ生成部１０３により作成された補正パラメータテーブル３０１に基づいて、投影画像の各ポイントについて逆の歪みを加える歪み補正を実行する。具体的には、歪み補正部１０５は、例えば、投影画像としてのパターン画像２０１におけるポイントＡ〜Ｄに対して、対応する補正パラメータテーブル３０１の補正パラメータにより、それぞれポイントＡ２〜Ｄ２へ移動させる。このように、歪み補正部１０５によりパターン画像２０１に対して歪み補正が実行された画像が、図６（ｃ）に示す補正画像２０３である。この補正画像２０３は、図６（ｃ）に示すように、歪んだ画像であるが、補正パラメータ生成部１０３による補正パラメータテーブル３０１の作成時と同一の凹凸を有するスクリーンに投影されると、図６（ｄ）に示すように、歪みが解消または低減された表示画像２０４として見えることになる。

すなわち、何も補正を加えないパターン画像２０１は、投影されると撮像画像２０２のように歪んだ画像となり、パターン画像２０１のポイントＡ〜Ｄは、それぞれ撮像画像２０２のポイントＡ１〜Ｄ１に移動してしまう。しかし、投影画像としてのパターン画像２０１に対して、上述のような歪み補正を実行した補正画像２０３は、投影されると表示画像２０４のように整って表示され、表示画像２０４におけるポイントＡ３〜Ｄ３は、それぞれ本来表示されるべき位置、すなわち、パターン画像２０１のポイントＡ〜Ｄの位置に一致した位置または近傍の位置に表示される。

（投影画像の各ブロックにおける歪みの大きさの算出）
図７は、撮像画像においてブロック単位での歪みの大きさを算出する動作を説明する図である。図７を参照しながら、撮像画像におけるブ各ブロックの歪みの大きさを算出する動作について説明する。

図７（ａ）に示すように、１２個のブロックに区分されたパターン画像２０１において、各ブロックに対して、例えば、左上のブロックから順にブロック番号を割り当てる。例えば、図７（ａ）に示すように、パターン画像２０１のブロックに対して、それぞれブロック「１」〜「１２」のようにブロック番号を割り当てる。すなわち、上述したパターン画像２０１におけるポイントＡ〜Ｄは、ブロック「１」のコーナーポイントとなる。ここで、パターン画像２０１における各ポイントの位置を示す座標を（ｘ，ｙ）とし、パターン画像２０１を投影して撮像された撮像画像２０２（図７（ｂ）参照）における各ポイントの位置を示す座標を（ｘ１，ｙ１）とする。座標（ｘ，ｙ）から座標（ｘ１，ｙ１）への移動ベクトルの大きさｖは、下の（式１）で表される。

ｖ＝√（（ｘ１−ｘ）^２＋（ｙ１−ｙ）^２） （式１）

この（式１）により算出される移動ベクトルの大きさｖは、撮像画像２０２におけるポイントごと算出される。そして、撮像画像２０２の各ブロックを構成する各コーナーポイント（ブロック「１」であればポイントＡ〜Ｄ）の移動ベクトルの大きさｖの合計値Ｖを、そのブロックに対応付けて算出する。すなわち、撮像画像２０２の各ブロックに対応付けられて算出された合計値Ｖが、そのブロックの歪みの大きさを示すものとして認識される。

（投影画像の各ブロックにおける歪みの大きさの算出）
図８は、ＯＳＤ画像の表示最適領域を決定する動作を説明する図である。図８を参照しながら、補正画像２０３におけるＯＳＤ画像の最適な配置位置である表示最適領域を決定する動作について説明する。なお、補正画像２０３に配置されるＯＳＤ画像を、ＯＳＤ画像２１１と称して説明する。

図２に示すＯＳＤ配置決定部１０７は、図８（ａ）に示す１２個のブロックに区分されたパターン画像２０１において、ＯＳＤ画像２１１を重畳するために縦横何個のブロックに重畳するかを確認する。図８（ａ）の例では、パターン画像２０１において、ＯＳＤ画像２１１を配置するには縦横各２個のブロックに重畳することが確認できる。

次に、ＯＳＤ配置決定部１０７は、ＯＳＤ画像２１１をパターン画像２０１に対して重畳するために必要とするブロックの組み合わせを抽出する。図８の例では、以下のように、６個の組み合わせが抽出できる。

（１）使用ブロック番号：「１」、「２」、「５」、「６」
（２）使用ブロック番号：「２」、「３」、「６」、「７」
（３）使用ブロック番号：「３」、「４」、「７」、「８」
（４）使用ブロック番号：「５」、「６」、「９」、「１０」
（５）使用ブロック番号：「６」、「７」、「１０」、「１１」
（６）使用ブロック番号：「７」、「８」、「１１」、「１２」

そして、ＯＳＤ配置決定部１０７は、上述の各組み合わせに含まれる各ブロックに対応付けられた合計値Ｖを合計し、その合計値をＳとする。すなわち、合計値Ｓは、上述の各組み合わせに対応付けられた値である。さらに、ＯＳＤ配置決定部１０７は、ＯＳＤ画像２１１の配置の候補であるブロックの組み合わせのうち、最小の合計値Ｓを有する組み合わせの領域を、撮像画像２０２における最も歪みが小さい領域であるものと判定する。そして、ＯＳＤ配置決定部１０７は、判定した領域に対応する補正画像２０３（図８（ｂ）参照）における領域を、補正画像２０３におけるＯＳＤ画像２１１の最適な配置領域である表示最適領域に決定する。そして、ＯＳＤ合成部１０８は、図８（ｃ）に示すように、補正画像２０３における表示最適領域にＯＳＤ画像２１１を重畳して、合成画像２０３ａを生成する。

なお、ＯＳＤ配置決定部１０７は、撮像画像２０２における最も歪みが小さい領域を判定し、判定した領域に対応する補正画像２０３における領域をＯＳＤ画像２１１の表示最適領域であると決定するものとしたが、これに限定されるものではない。例えば、撮像画像２０２における最も歪みが小さい領域を判定した領域に対応する補正画像２０３における領域に、重要な情報が表示される場合は、ＯＳＤ画像２１１の重畳を避けることが好ましい。この場合、補正画像２０３における重要な情報の表示部分を除いた領域の中で、撮像画像２０２における最も歪みが小さい領域を判定するものとすればよい。すなわち、撮像画像２０２における最も歪みが小さい領域を判定した領域に対応する補正画像２０３における領域が、必ずしも表示最適領域として決定されることに限定せず、歪みが小さい領域を優先して、補正画像２０３における表示最適領域を決定するものとすればよい。

また、上述の表示最適領域の決定方法は、一例であり、例えば、移動ベクトルの大きさｖが最も大きいポイントに隣接するブロックは、表示最適領域から除外する等の決定方法を採用してもよい。

（投影画像に対する歪み補正動作およびＯＳＤ画像の合成動作の流れ）
図９は、実施の形態に係るプロジェクタの投影画像に対する歪み補正およびＯＳＤ画像の合成動作の一例を示すフローチャートである。図９を参照しながら、プロジェクタ１の投影画像に対する歪み補正およびＯＳＤ画像２１１の合成動作について説明する。

＜ステップＳ１１＞
まず、投影部１０９は、記憶部１０２に記憶されたパターン画像２０１を、スクリーン等の投影対象物に投影させる。そして、ステップＳ１２へ進む。

＜ステップＳ１２＞
撮像装置２は、スクリーンに投影されたパターン画像２０１を撮像し、撮像画像２０２として、プロジェクタ１の第１通信部１０１に送信する。そして、ステップＳ１３へ進む。

＜ステップＳ１３＞
補正パラメータ生成部１０３は、第１通信部１０１を介して撮像画像２０２を受信し、パターン画像２０１および撮像画像２０２に基づいて、投影画像のポイントごとに、逆の歪みを与えるベクトルである補正パラメータを生成し、補正パラメータをパターン画像２０１のポイントごとに関連付けた補正パラメータテーブル３０１を作成する。そして、ステップＳ１４へ進む。

＜ステップＳ１４＞
歪み補正部１０５は、第２通信部１０４を介して、外部機器から投影画像を入力する。そして、ステップＳ１５へ進む。

＜ステップＳ１５＞
歪み補正部１０５は、補正パラメータ生成部１０３により作成された補正パラメータテーブル３０１に基づいて、投影画像の各ポイントについて逆に歪みを加える歪み補正を実行し、補正画像２０３を生成する。そして、ステップＳ１６へ進む。

＜ステップＳ１６＞
ＯＳＤ生成部１０６は、補正画像２０３に重畳させるためのＯＳＤ画像２１１を生成する。そして、ステップＳ１７へ進む。

＜ステップＳ１７＞
ＯＳＤ配置決定部１０７は、パターン画像２０１を撮像した撮像画像２０２のポイントごとに移動ベクトルの大きさｖを算出する。次に、ＯＳＤ配置決定部１０７は、複数のブロックに区分された撮像画像２０２の各ブロックを構成する各ポイントの移動ベクトルの大きさｖの合計値Ｖを、そのブロックに対応付けて算出する。ＯＳＤ配置決定部１０７は、撮像画像２０２の各ブロックに対応付けて算出した合計値Ｖを、そのブロックの歪みの大きさを示すものとして認識する。

次に、ＯＳＤ配置決定部１０７は、複数のブロックに区分されたパターン画像２０１において、ＯＳＤ生成部１０６により生成されたＯＳＤ画像２１１を重畳するために縦横何個のブロックに重畳するかを確認する。また、ＯＳＤ配置決定部１０７は、ＯＳＤ画像２１１をパターン画像２０１に対して重畳するために必要とするブロックの組み合わせを抽出する。また、ＯＳＤ配置決定部１０７は、上述の各組み合わせに含まれる各ブロックに対応付けられた合計値Ｖを合計し、合計値Ｓを算出する。さらに、ＯＳＤ配置決定部１０７は、ＯＳＤ画像２１１の配置の候補であるブロックの組み合わせのうち、最小の合計値Ｓを有する組み合わせの領域を、撮像画像２０２における最も歪みが小さい領域であるものと判定する。そして、ＯＳＤ配置決定部１０７は、判定した領域に対応する補正画像２０３における領域を、補正画像２０３におけるＯＳＤ画像２１１の最適な配置領域である表示最適領域に決定する。そして、ステップＳ１８へ進む。

＜ステップＳ１８＞
ＯＳＤ合成部１０８は、ＯＳＤ配置決定部１０７により決定された補正画像２０３における表示最適領域に、ＯＳＤ生成部１０６により生成されたＯＳＤ画像２１１を重畳して、合成画像２０３ａを生成する。そして、ステップＳ１９へ進む。

＜ステップＳ１９＞
投影部１０９は、ＯＳＤ合成部１０８により生成された合成画像２０３ａを、スクリーンに投影させる。

以上で、プロジェクタ１による投影画像に対する歪み補正およびＯＳＤ画像２１１の合成動作を終了する。なお、上述の図９においては、ステップＳ１１〜Ｓ１９を一連の流れとして説明したが、ステップＳ１４において投影画像を入力してから、歪み補正を実行し、ＯＳＤ画像２１１を合成して投影させるまでの動作毎に、ステップＳ１１〜Ｓ１３における補正パラメータの生成（補正パラメータテーブル３０１の作成）をする必要はない。補正パラメータテーブル３０１は、１度作成され、記憶装置（例えば、第１メモリ２４等）に記憶されるものとすれば、ステップＳ１４〜Ｓ１９の処理において繰り返し使用することができる。ただし、画像が投影されるスクリーン等の投影対象物の凹凸状態は、常に一様とは限られないので、所定時間ごとにステップＳ１１〜Ｓ１３を実行して、補正パラメータテーブル３０１を更新するものとしてもよい。

以上のように、プロジェクタ１は、まず、パターン画像２０１および撮像画像２０２に基づいて、補正パラメータを生成し、投影画像の各ポイントについて歪み補正を実行して補正画像２０３を生成する。次に、プロジェクタ１は、パターン画像２０１を撮像した撮像画像２０２において、ブロックごとに歪みの大きさを求め、最も歪みの小さい領域を補正画像２０３の最適な配置位置である表示最適領域として決定する。そして、プロジェクタ１は、補正画像２０３における表示最適領域に、ＯＳＤ画像２１１を重畳して、合成画像２０３ａを生成し、スクリーン等の投影対象物に投影させる。これによって、ＯＳＤ画像の生成および合成を行うＤＬＰプロセッサ２１の前段において、歪み補正回路２５を配置しながらも、スクリーンに投影させる投影画像（実際には歪み補正をした補正画像）に対してＯＳＤ画像を重畳（合成）して投影させた場合、ＯＳＤ画像の歪みを抑制することができる。また、ＤＬＰプロセッサ２１とは別に、ＯＳＤ画像を生成および合成を行う別の回路を設置する必要がないので、コストアップを抑制することができる。さらに、ＤＬＰプロセッサ２１においてＯＳＤ画像の生成および合成を行うためのソフト資産を流用することができるので、開発工数の増大を抑制することができる。

なお、上述の実施の形態のプロジェクタ１のＤＬＰプロセッサ２１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。

また、上述の実施の形態のプロジェクタ１のＤＬＰプロセッサ２１で実行されるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることにより提供されるようにしてもよい。また、上述の実施の形態のプロジェクタ１のＤＬＰプロセッサ２１で実行されるプログラムは、インターネット等のネットワーク経由で提供または配布されるようにしてもよい。また、上述の実施の形態のプロジェクタ１のＤＬＰプロセッサ２１で実行されるプログラムは、ＲＯＭ等に予め組み込んで提供されるようにしてもよい。

上述の実施の形態のプロジェクタ１のＤＬＰプロセッサ２１で実行されるプログラムは、上述したＤＬＰプロセッサ２１で実行される各機能をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、ＤＬＰプロセッサ２１が記憶装置（第１メモリ２４）からプログラムを読み出して実行することによって、上述の各機能がコンピュータ上で実現されるようになっている。

１ プロジェクタ
２ 撮像装置
３ ビデオカメラ
４、５ ＰＣ
１０ 光学エンジン
１１ 光学フィルタ
１２ マイクロミラーデバイス
１３ レンズ
２０ コントローラ基板
２１ ＤＬＰプロセッサ
２２ ネットワークインターフェース部
２３ 映像インターフェース部
２４ 第１メモリ
２５ 歪み補正回路
２６ 第２メモリ
２７ 補正パラメータ生成回路
２８ 汎用インターフェース部
２９ 光学制御部
３０ ランプ
５０ システム用電源
６０ ランプ用電源
１０１ 第１通信部
１０２ 記憶部
１０３ 補正パラメータ生成部
１０４ 第２通信部
１０５ 歪み補正部
１０６ ＯＳＤ生成部
１０７ ＯＳＤ配置決定部
１０８ ＯＳＤ合成部
１０９ 投影部
２０１ パターン画像
２０２ 撮像画像
２０３ 補正画像
２０３ａ 合成画像
２０４ 表示画像
２１１ ＯＳＤ画像
２５１ａ〜２５３ａ 歪み量
２５１ｂ〜２５３ｂ 補正量
３０１ 補正パラメータテーブル
Ａ〜Ｄ、Ａ１〜Ｄ１、Ａ２〜Ｄ２、Ａ３〜Ｄ３ ポイント

特開２０１３−１７２４４４号公報

Claims (8)

1. パターン画像、および撮像手段により該パターン画像を撮像した撮像画像に基づいて、補正パラメータを生成する生成手段と、
   投影画像を入力する入力手段と、
   前記補正パラメータに基づいて、前記投影画像に対して歪み補正を実行して補正画像を生成する歪み補正手段と、
   前記撮像画像における歪みの小さい領域に対応する前記補正画像における領域を優先して、表示領域に決定する決定手段と、
   前記補正画像における前記表示領域に補助画像を重畳させて合成画像を生成する合成手段と、
   前記合成画像を投影対象物に投影させる投影手段と、
   を備えた画像投影装置。
2. 前記決定手段は、
   前記パターン画像を複数のブロックに区分し、前記撮像画像において前記各ブロックの歪みの大きさを算出し、
   前記パターン画像において前記補助画像を重畳するために必要な前記ブロックの組み合わせを抽出し、
   前記撮像画像において、前記各組み合わせに含まれる前記ブロックの前記歪みの大きさの合計値を算出し、
   前記合計値が小さい前記組み合わせの領域に対応する前記補正画像における領域を優先して、前記表示領域に決定する請求項１に記載の画像投影装置。
3. 前記決定手段は、前記撮像画像における前記各ブロックの頂点のうち、移動ベクトルの大きさが最も大きい前記頂点に隣接する前記ブロックを、前記表示領域から除外する請求項２に記載の画像投影装置。
4. 前記生成手段は、前記撮像画像における前記各ブロックの頂点の移動ベクトルと、同一の大きさ、かつ、反対向きのベクトルを、該頂点に対応する前記補正パラメータとして生成し、
   前記歪み補正手段は、前記投影画像において、前記撮像画像の前記頂点に対応する点を、該頂点に対応する前記補正パラメータであるベクトルにより移動させることにより前記歪み補正を実行する請求項２または３に記載の画像投影装置。
5. 前記補正パラメータを記憶する記憶手段をさらに備えた請求項１〜４のいずれか一項に記載の画像投影装置。
6. 前記撮像手段をさらに備えた請求項１〜５のいずれか一項に記載の画像投影装置。
7. 請求項１〜５のいずれか一項に記載の画像投影装置と、
   前記撮像手段と、
   を備えた画像投影システム。
8. パターン画像、および撮像手段により該パターン画像を撮像した撮像画像に基づいて、補正パラメータを生成する生成ステップと、
   投影画像を入力する入力ステップと、
   前記補正パラメータに基づいて、前記投影画像に対して歪み補正を実行して補正画像を生成する歪み補正ステップと、
   前記撮像画像における歪みの小さい領域に対応する前記補正画像における領域を優先して、表示領域に決定する決定ステップと、
   前記補正画像における前記表示領域に補助画像を重畳させて合成画像を生成する合成ステップと、
   前記合成画像を投影対象物に投影させる投影ステップと、
   を有する画像投影方法。

Images