JP2020003722A - 画像処理装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 投射部の精度の高い位置調整を可能とし、表示品質の良い投射システムを提供する。【解決手段】補正パラメータに従ってスクリーン上の投射の歪み及び位置を補正して画像の投射を行う投射部における、補正パラメータを決定する画像処理装置であって、背景領域と、当該背景領域に点在し且つ該背景領域とは異なる輝度値を持つ複数の有意画素とで構成される基準パターンから、複数の有意画素のそれぞれを予め設定されたサイズにまで拡大したパターン画像を生成する拡大部と、該拡大部によるパターン画像を投射部に供給し、スクリーンにパターン画像を投射させる投射制御部と、スクリーンに投射されたパターン画像を、所定の撮像部に撮像させる撮像制御部と、該撮像制御部にて得た画像から、補正パラメータを決定する決定部とを有する。【選択図】 図１

Description

本発明は投射により映像を表示する技術に関するものである。

近年、例えばアミューズメント施設や博物館展示などで、複数の投射装置を用いた投影システムが常設されるようになってきている。このような常設の投影システムにおける一つの課題は、複数の投射装置の投射画像を高精度に位置合わせする事である。そこで、投射装置から調整パターンを投射してカメラで撮像し、撮像画像を分析して調整パラメータを生成し、スクリーン上での投射形状を補正することで位置を合わせる技術がある。しかしながら、この調整パターンのサイズに対して撮像カメラの解像度が不足する場合には、位置合わせの失敗や精度が落ちてしまう問題があった。そこで、調整パターンのサイズに対してカメラ解像度が不足する場合に、撮像カメラでその領域を拡大して撮像するという方法がある（特許文献１）。

特開２００１−０５１３４６号公報

しかしながら、調整パターンを大きく撮像する為に撮像カメラで拡大するとパターンの一部しか映らなくなる。結果として、パターンから得られる情報量が減ることになり、精度の高い位置調整ができなくなるという問題が発生する。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
補正パラメータに従ってスクリーン上の投射の歪み及び位置を補正して画像の投射を行う投射部における、前記補正パラメータを決定する画像処理装置であって、
背景領域と、当該背景領域に点在し且つ該背景領域とは異なる輝度値を持つ複数の有意画素とで構成される基準パターンから、前記複数の有意画素のそれぞれを予め設定されたサイズにまで拡大したパターン画像を生成する拡大手段と、
該拡大手段による前記パターン画像を前記投射部に供給し、スクリーンに前記パターン画像を投射させる投射制御手段と、
前記スクリーンに投射された前記パターン画像を、所定の撮像部に撮像させる撮像制御手段と、
該撮像制御手段にて得た画像から、前記補正パラメータを決定する決定手段とを有する。

本発明によれば、投射部の精度の高い位置調整が可能となり、表示品質の良い投射システムを提供することが可能となる。

第１の実施形態における投射型表示システムのブロック構成図。 第１の実施形態における課題を説明するための図。 第１の実施形態における課題を説明するための図。 第１の実施形態における画像処理の概要の説明するための図。 第１の実施形態における画像処理で生成されるパターン画像の例を示す図。 第１の実施形態における画像処理手順を示すフローチャート。 第２の実施形態における画像処理の概要を説明するための図。 第３の実施形態における投射型表示システムのブロック構成図。 第３の実施形態における課題を説明するための図。 第３の実施形態における画像処理手順を示すフローチャート。 第４の実施形態における投射型表示システムのブロック構成図。 第４の実施形態における画像処理の概要の説明するための図。 第４の実施形態における画像処理の概要の説明するための図。 第４の実施形態における画像処理手順を示すフローチャート。 第５の実施形態における投射型表示システムのブロック構成図。 第５の実施形態における画像処理の概要の説明するための図。 第５の実施形態における画像処理手順を示すフローチャート。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下に示す実施形態における構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［第１の実施形態］
以下、第１の実施形態を図１乃至図６を参照して説明するが、図２乃至図４について予め補足説明する。図２（ａ），（ｂ）には、幾つもの黒ドット（参照符号２０１がその代表）が示されるが、各黒ドットは１画素（１×１）のサイズである。図３の参照符号３００、３０１、３０２、３１１におけるパターン画像内に示される各黒ドットは１画素サイズであり、同図の参照符号３１０におけるパターン画像内に示される各黒ドットは３×３画素のサイズである。そして、図４（ａ），（ｂ）に示される参照符号４００が示すパターン画像内の各黒ドット（参照符号４０１がその代表）は３×３画素のサイズであるものと理解されたい。

図１は、第１の実施形態における投射（or投影）型表示に係る画像処理システムのブロック構成図である。本システムは、システム全体を制御する制御部１１０、及び、ユーザからの指示を受け付けるための操作部１１１、及び、ユーザに対して各種情報を伝えるための表示部１１２を有する。この制御部１１０は、ＣＰＵ、ＣＰＵが実行するプログラムを格納したＲＯＭ、及び、ＣＰＵのワークエリアとして利用されるＲＡＭを含む。操作部１１１は、キーボードやマウスなどの装置を含む。表示部１１２は、例えば液晶などの表示装置である。そして、本システムは、更に、制御部１１０の制御下で動作する、パターン画像出力部１００、投射部（投射装置）１０１、検出部１０２、パラメータ決定部１０３、撮像部（撮像装置）１０４を有する。参照符号１０５は投射スクリーンである。なお、図示では、投射部が２台の例を示しているが、１台でも良いし３台以上でも構わず、その数に特に制限はない。また、パターン画像出力部１００、検出部１０２、パラメータ決定部１０３は、それぞれ専用のハードウェアで実行しても良いが、ソフトウェアで実現させても構わない。後者の場合には、制御部１１０がそれぞれの機能を実現することになる。

まず、パターン画像出力部１００は、図２（ａ）に示すように、背景領域と、この背景領域内に点在し背景領域の輝度値とは異なる値の複数の有意画素２０１で構成される、Ｎ×Ｎ画素のパターン画像２００（Ｎ×Ｎ画素）を取得する。この有意画素２０１の座標位置から、投射部１０１による投射画像の歪や位置を補正する補正パラメータを求めることになるので、以降、特定画像要素２０１と表記する。パターン画像出力部１００は、パターン画像２００は不図示のメモリから取得しても良いし、通信ネットワークを介して他の装置から取得してもよい。また、パターン画像出力部１００は、図２（ａ）に示すパターン画像２００を生成するための描画情報を不図示のメモリから取得し、その描画情報に基づいて描画処理することで取得しても構わない。尚、パターン画像２００を構成する特定画像要素２０１は１画素のドットパターンである。また、図示では特定画像要素を黒ドット（最低輝度）、背景領域を白（最高輝度）としているが、この関係は逆でも構わない。また、実施形態におけるパターン画像２００の形状は正方形とするが、長方形であっても良いし、他の形状であっても構わない。

また、パターン画像出力部１００は、更に取得したパターン画像２００を繰り返し並べることで、図２（ｂ）に示すパターン画像を生成し、投射部１０１に出力（若しくは供給）する。この段階では、投射部１０１は、パターン画像出力部１００から供給された図２（ｂ）に示すパターン画像を、そのままスクリーン１０５に投射する。このパターン画像は、例えば米国特許第７９０７７９５号公報に開示される技術に基づいて位置調整に必要な特定画素座標の情報がエンコードされた画像である。尚、パターン画像出力部１００は、投射部１０１に組み込まれても構わない。

次に、撮像部１０５はスクリーン１５０に投射されたパターン画像を撮像し、得られた画像データを検出部１０２に供給する。図２（ｃ）は撮像画像の例を示している。図示の如く、撮像画像は、スクリーン１０５を示すスクリーン画像２２０（投射面の背景）と、投射されたパターン画像２２１を含む。

ここで、図３を用いて、米国特許第７９０７７９５号公報に開示されている所定パターン画像を投射して撮像し、投射画像の位置を検出するアルゴリズムの概要を説明する。このアルゴリズムは、サイズの異なる３種類のパターン画像を重畳したパターン画像を用いる。これらの画像サイズは互いに素であり、例えば、水平垂直とも４１ドットのパターン画像、水平垂直とも４５ドットのパターン画像、水平垂直とも４９ドットのパターン画像とする。本実施形態では説明の便宜上、１つの所定パターン画像のみ使用して説明する。

図３において、参照符号３００は垂直、水平とも４１ドットで構成されるパターン画像である。このパターン画像の投射像を撮像して得た画像が画像３０１であるとする。ここでは、説明の便宜上、投射画像の１画素を撮像部の１画素で撮像出来るものとする。参照符号３０２は撮像画像３０１の位置を算出する基準となる水平垂直とも４１ドットで構成された基準パターン画像であり、パターン画像３００と同じ画像である。

撮像画像３０１と基準パターン画像３０２がドットバイドット（水平、垂直のドットサイズが等しい）の場合は、撮像画像３０１と基準パターン画像３０２で周波数空間における位相解析を行う。そして、参照符号３０３に示す投射画素位置の情報となる位相差δ（Ｘ＋Δｘ、Ｙ＋Δｙ）が算出される。Ｘは水平方向の位相差、Ｙは垂直方向の位相差であり、ΔｘはＸの誤差分、ΔｙはＹの誤差分である。

しかしながら、撮像部１０５でスクリーンに投射されたパターン画像を撮像する際に、図２（ｄ）の参照符号２３１に示すように、投射されたパターン画像の要素であるドットのサイズが、撮像部１０５のピクセル２３０のサイズよりも小さくなる場合がある。この場合、特定画像要素２３１を正しく検出することができず、投射画素位置の情報となる位相差δを正しく算出できない。

この解決方法として、参照符号３１０に示すようにパターン画像を拡大(図３では、水平、垂直とも３倍)し、撮像部１０５のピクセル２３０のサイズよりも大きくすることが考えられる。投射画素位置の情報となる位相差δを算出するためには、撮像画像と基準パターン画像がドットバイドットの関係にあることが必要である。例えば、解像度が投射されたパターン画像の１／９のカメラで撮像して得たのが画像３１１であるとする。水平、垂直とも解像度が１／３になる為、撮像されたパターンは４１×４１ドットと等しくなる。ここで撮像画像３１１と基準パターン３０２はドットバイドットとなる為、そのまま位相解析を行い３１３に示す位相差δ（Ｘ＋Δｘ、Ｙ＋Δｙ）を算出する。しかし、この解決方法によると、算出された位相差即ち座標情報は、本来の解像度の水平、垂直の１／３の座標情報となる為、実際の位相差は算出結果を３倍にする必要がある。結果として、参照符号３１４に示すように拡大された位相差は、δ（３Ｘ＋３Δｘ、３Ｙ＋３Δｙ）として算出され、誤差が３Δｘと３Δｙとなる。つまり、パターン画像を拡大した分、誤差が大きく（図３では３倍の大きさ）なってしまうという問題が発生する。

本実施形態ではかかる問題を解決する。以下、図４を参照してその具体例を説明する。

本実施形態のパターン画像出力部１００は、まず、図２（ａ）に示すＮ×Ｎ画素で構成される基準となるパターン画像２００を取得する。ただし、パターン画像出力部１００は、取得したＮ×Ｎ画素で構成される基準のパターン画像２００のサイズを変更せずに、その中の特定画素要素（実施形態では黒画素）のドットの周囲に所定階調値のドットを付加することで、図４（ａ）に示す特定画素要素を実質的に大きくしたパターン画像４００を生成する。パターン画像出力部１００は、生成したパターン画像４００を繰り返し並べることで、図４（ｂ）に示す投射画像を生成し、投射部１０１に出力する。投射部１０１は、パターン画像出力部１００から入力した投射画像をスクリーン１０５に投射する。撮像部１０４が、このスクリーン１０５上に投射された投射画像を撮像して得た撮像画像における、特定画素要素が表すドットサイズは、図４（ｄ）の参照４３１に示すように、撮像部１０４のピクセルサイズ４３０よりも大きくなり、検出されやすい。よって、撮像部１０５は、これまでと比較して、正しく特定画像要素を含む画像を撮像することができ、検出部１０２はパターンの検出に成功し、投射画素位置の情報となる位相差δを正しく算出できることになる。その結果、パラメータ決定部１０３は、検出結果の解析を行い、投射画像の変形パラメータを決定できることになり、実際の投射する際の高い精度の補正パラメータを投射部１０１に設定できることになる。

ここで、実施形態のパターン画像出力部１００によるパターン画像４００の生成処理をより具体的に説明する。

パターン画像出力部１００は、図５に示すように、取得した基準のパターン画像２００内の特定画素要素５００の周囲に、その特定画素要素５００の画素値を背景画素値に近づけるような画素５０１を付加する。付加する画素５０１の値は、たとえば、特定画素要素５００の画素値と背景画像の画素値の平均値である。この結果、暗い画素領域の中心位置を強調させ、検出時のドットの中心位置のズレを抑えてパラメータ決定部１０３の変形パラメータの算出精度を向上させることができる。

尚、本実施形態では特定画素要素５００に付加する画素５０１を、その特定画素要素５００から１画素の距離内としているが、２以上の複数画素の距離内としても良い。

次に、実施形態における投射型表示システムの制御部１１０の処理手順を図６のフローチャートに従って説明する。

Ｓ１００にて制御部１１０は、パターン画像出力部１００を制御し、基準となるパターン画像を取得させ、その基準パターン画像内の特定画素要素５００の周囲に予め設定された値を持つ画素を付加することで投射用のパターン画像４００を生成させる。そして、制御部１１０は、パターン画像出力部１００を制御し、生成した投射用のパターン画像４０１０を繰り返し配置することで投射画像を生成させる。

Ｓ１０１にて、制御部１１０は投射制御処理を行う。具体的には、制御部１１０は、パターン画像出力部１００を制御して、生成した投写画像を投射部１０１に出力することで、投写画像をスクリーン１０５上に投射させる。

Ｓ１０２にて、制御部１１０は、撮像制御処理を行う。具体的には、制御部１１０は、撮像部１０４を制御して、スクリーン１０５上に投射された投写画像を撮像させ、撮像画像を検出部１０２に供給させる。そして、制御部１１０９は検出部１１０を制御し、撮像画像内の投射用のパターン画像を検出させ、その検出結果を示す情報をパラメータ決定部１０３に供給させる。

Ｓ１０３にて、制御部１１０は、パラメータ決定部１０３を制御し、投射部１０１による投射する際の投射画像の変形のための補正パラメータを決定させ、その決定した補正パラメータを投写部１０１に設定せる。これ以降、投写部１０１は、不図示の外部装置から供給された画像データを補正パラメータに従って補正した上で、スクリーン１０５に投射することになる。

以上、本実施形態により、所定パターン画像を構成するドットの大きさを変更可能にすることにより、カメラで正しくパターンを撮像することが可能となり、精度の高い自動位置調整が可能となる。

［第２の実施形態］
以下、第２の実施形態において参照される図７について予め補足説明する。図７（ａ）に示されるパターン画像内には幾つもの黒ドットが示されているが、各黒ドットは１画素（１×１）のサイズである。同図（ｂ）のパターン画像内に示される各黒ドットは３×３画素のサイズである。そして、同図（ｃ）に示されるパターン画像内に示される各黒ドットは５×５画素のサイズであると理解されたい。

本第２の実施形態のシステム構成は上記の第１の実施形態と同じである。本第２の実施形態のパターン画像出力部１００は、基準となるパターン画像のサイズの整数倍の拡大を行った上で、この拡大パターン画像内の特定画素要素の周囲へ所定階調値の画素を付加する。

図７（ａ）は基準となるパターン画像を示している。この基準となるパターン画像内の特定画素要素の周囲へ付加する画素が多い場合や、ドット密度が高い場合には、特定画素委要素の隙間がなくなり、ドット同士が重なってしまう場合がある。そこで、本第２の実施形態のパターン画像出力部１００は、基準となるパターン画像を、図７（ｂ）に示すように、所定の整数倍拡大（同図は、水平、垂直とも３倍に拡大）する。そして、パターン画像出力部１００は、図７（ｃ）に示すように、該拡大後のパターン画像内の特定画素要素の周囲へ所定階調値の画素を付加することで、投射用のパターン画像を生成する。ここで付加する所定階調値の画素の値は、第１の実施形態と同様、特定画素要素の値と、背景画素との平均値とする。

このように、基準のパターン画像のサイズ変更を行うことにより、ドット付加によるドット同士の接触を回避し、カメラで正しくパターンを撮像することが可能となり、精度の高い自動位置調整が可能となる。

［第３の実施形態］
以下、第３の実施形態において参照される図９について予め補足説明する。図９（ａ）に示される参照符号３００、３０１、３０２、３０４、３０５、３２１が示すパターン画像内には幾つもの黒ドットが示されているが、各黒ドットは１画素（１×１）のサイズである。また、同図の参照符号３１１、３２２が示すパターン画像内に示される各黒ドットは３×３画素サイズである。そして、同図の参照符号３２０が示すパターン画像における各非白ドット（図５の黒ドットとその周りの斜線部分に相当）は３×３画素サイズであるものとして理解されたい。

第１の実施形態では、パターン画像出力部１００が、基準となるパターン画像内の特定画素要素から予め設定された距離内に画素５０１を付加することで、特定画素要素を実質的に大きくした投射用パターン画像を生成した。

しかし、スクリーン１０５上に投射される画像のサイズは、投射部１０１とスクリーン１０５との距離や投射部１０１の光学系に依存する。よって、一律の決まった数の画素５０１を付加するのではなく、状況に応じたものとすることが望ましい。

そこで、本第３の実施形態では、付加する画素５０１の個数を固定にするのではなく、投射の状況に応じたものとする例を説明する。

本第３の実施形態の投射型表示システムの構成図を図８に示す。図１と同じ機能を有する処理部については同参照符号を付し、その説明は省略する。図８と図１の違いは、サイズ変更部１０６が追加された点と、制御部１１０の処理内容が変更された点である。

ここで、本第３の実施形態が有効に機能する一例を説明するため、再び米国特許第７９０７７９５号公報に開示されている画像の座標情報の符号化及び復号化の方法への適用を示す。この文献の開示技術は、サイズの異なる３種類のパターンを重畳したパターンを用いる。これらの画像サイズは互いに素であり、例えば、４１×４１ドット、４５×４５ドット、４９×４９ドットの３つのパターンで構成される。このアルゴリズムを使用した場合に、パターン画像を拡大することによる影響について説明する。便宜上、１つのパターン４１×４１ドットのみを使用して説明する。

図９の参照符号３００は４１×４１ドットのパターンを繰り返し並べて投射したパターン画像である。これを撮像し、参照符号３１０の場所を切り出した画像が参照符号３０１で示す画像である。ここでは、説明の便宜上投射画像の１画素を撮像部の１画素で撮像出来るものとする。参照符号３０２は投射画像の位置を算出する基準となる４１×４１ドットで構成された基準パターンである。撮像画像３０１と基準パターン３０２がドットバイドット（水平、垂直のドットサイズが等しい）の関係にあるため、そのまま撮像画像３０１と基準パターン画像３０２で位相解析を行い、３０３に示す位相差δ（Ｘ＋Δｘ、Ｙ＋Δｙ）を算出する。この位相差δは撮像画像中の基準パターンのずれ量であり、Ｘは水平方向の位相差、Ｙは垂直方向の位相差である。また、Δｘ、Δｙはそれぞれ位相差算出時のＸとＹの誤差分である。このずれ量を基に符号化された座標情報の復号を行う。

しかしながら、パターンの特定画像要素のドットのサイズが、撮像部のピクセルサイズよりも小さい場合は、ドットが正しく撮像できない。例えば、図９の参照符号３００の画像を、撮像解像度が１／９のカメラで撮像すると、参照符号３０４に示すようにドットがピクセルサイズよりも小さくなる。これを正しく撮像する為に、投射側でパターンのサイズを拡大して投射する方法がある。参照符号３１１は、パターンのサイズを水平、垂直方向に３倍に拡大した１２３×１２３ドットのパターンを繰り返し並べて投射したパターン画像を示す。これを解像度が１／９のカメラで撮像して得たのが画像３０５である。水平、垂直とも解像度が１／３になる為、撮像されたパターンは４１×４１ドットと等しくなる。ここで撮像画像３０５と基準パターン３０２はドットバイドットとなる為、そのまま位相解析を行い３１３に示す位相差δ（Ｘ＋Δｘ、Ｙ＋Δｙ）を算出する。しかし、この開示技術によると、パターンサイズを３倍して算出された位相差即ち座標情報は、本来の解像度の水平、垂直の１／３の座標情報となる。これを図９の参照符号３１４〜３１６を用いて説明する。参照符号３１４は４１×４１ドットのパターン画像をくりかえして並べたパターン画像であり、参照符号３１４の解像度を１９２０×１２００とすると、この解像度に対応した座標情報がパターン画像に符号化される。しかしパターンのサイズを３倍に拡大すると、参照符号３１５に示す６４０×４００の領域の座標情報を持つパターン画像を、参照符号３１６に示すように１９２０×１２００のパターン画像に拡大することになる。従って、解像度１９２０×１２００に対応する座標情報を取得する為には、参照符号３１６のパターン画像から取得した座標情報を水平、垂直方向に３倍にすることが必要となる。ここで算出される位相差は３１８に示すδ（３Ｘ＋３Δｘ、３Ｙ＋３Δｙ）となり、位相差だけではなく誤差まで３倍され、復号時の誤差分が３倍になるという問題が発生する。

本実施形態では、図９の参照符号３２０に示すようにパターンのサイズを変更せずにパターンを構成する特定画像要素のサイズを例えば３ドット×３ドットに変更する。これを撮像し、参照符号３３０の場所を切り出したのが画像３２１である。このようにすることで該要素のサイズは、投射部でパターンのサイズを３倍に拡大したものと同等となり正しく撮像することが可能になる。この時、撮像画像３２１のサイズは、４１×４１ドットの水平、垂直の１／３になる為、おおよそ１４×１４ドットとなる。次にこれを参照符号３２２に示すように４１×４１ドットにリサンプリングし、基準タイル３０２とドットバイドットの関係にし、参照符号３２３に示す位相差δ（Ｘ＋Δｘ、Ｙ＋Δｙ）を算出する。この方法で求めた位相差δは、パターンサイズの拡大を行っていない為、定数倍する必要はなく、座標情報の誤差分が拡大される事は無い。

次に、上記一連の処理概要を図１０のフローチャートを使って説明する。フローの開始は、操作部１１１を介したユーザからの投射部の歪補正及び位置合わせの指示がそのトリガになる。

Ｓ２００にて、制御部１１０はサイズ変更部１０１を制御し、特定画像要素の周囲に予め設定された個数の画像を付加することで、特定画像要素を初期のサイズに変更する。Ｓ２００を最初に実行する場合の付加する画素数は“０”とする。つまり、基準のパターン画像を利用する。

次に、ステップＳ２０１にて、制御部１１０はパターン画像出力部１００を制御し、特定画像要素を含む投写画像パターンの生成処理と、投射部１０１への出力を行わせる。Ｓ２０２にて、制御部１１０は、投射部１０１を制御し、その投写パターン画像を投射させる。Ｓ２０３にて、制御部１１０は、撮像部１０４を制御し、投写パターン画像が投射されたスクリーンを撮像させる。そして、Ｓ２０４には、制御部１１０は検出部１０４を制御し、撮像画像から特定画像要素の座標情報を復号し、検出させる。そして、Ｓ２０５にて、制御部１１０は、検出部１０４による正常な検出ができたか否か（検出の成功／不成功）の判定を行う。否の場合、制御部１１０は、処理をＳ２００に戻し、特定画像要素に対して画素５０１を付加する距離として、前回の投射より、“１”増加させる。この結果、特定画像要素は初期の１画素から３×３画素のサイズに拡大することになる。そして、上記処理を繰り返す。この結果、特定画素要素のサイズは、検出部１０４による正常な検出が得られるまで徐々に大きなる。また、特定画像要素の正常な検出ができた場合、制御部１１０は処理をＳ２０６に進める。

Ｓ２０６にて、制御部１１０はパラメータ決定部１０３を制御し、座標情報から変形の為の歪み補正パラメータを決定させ、投射部１０１に該パラメータを送信することで歪み補正及び位置合わせを完了する。

以上、本実施形態により、パターン画像を構成するドットの大きさを変更することにより、カメラで正しくパターンを撮像することが可能となり、精度の高い自動位置調整が可能となる。

［第４の実施形態］
図１１は第４の実施形態の投射型表示システムのブロック構成図である。第３実施形態と異なる点は、サイズ決定部１０７と切替部１０８が追加された点と、制御部１１０の処理内容である。他の処理部は、第３の実施形態と同じであるものとする。

上記第３の実施形態では、特定画像要素を初期のサイズから徐々に大きくして、正常な検出が行われたタイミングのサイズに従って、補正パラメータを決定した。つまり、状況によっては、特定画像要素のサイズを変更する処理が多段階になり、その分だけ、補正パラメータを決定するまでに要する時間が長くなる可能性がある。

そこで、本第４の実施形態では、パターン画像を投射する前に、パターンを構成する特定画像要素の最適なサイズを自動的に算出し、その算出したサイズの特定画像要素を含むパターン画像の投射を行うことで、補正パラメータを得るまでの時間の短縮を図る。具体的には、投射領域判定用の画像の投射及び撮像を行い、該投射領域サイズを取得することにより、特定画像要素のサイズを算出する。尚、投射領域サイズの取得方法はこれに限定されず、既知であればユーザが入力してもよい。

一連の処理を図１１と図１２を用いて説明する。まず、制御部１１０はパターン画像出力部１００を制御し、白ベタの画像を生成させ、投射部１０１に出力させる。この結果、投射部１０１は、スクリーン１０５に白ベタ画像を投射することになる。制御部１１０は、撮像部１２０を制御し、その白ベタ画像を撮像させる。図１２の参照符号８００は、この場合の撮像画像を示している。撮像画像８００における、参照符号８０１は撮像画像中の白ベタ画像（投射範囲でもある）を示している。制御部１１０は、このとき、切替部１０８を制御し、白ベタ画像をサイズ決定部１０７に供給する。サイズ決定部１０７は、撮像画像中の白ベタ画像の水平方向の割合Ｘと垂直方向の割合Ｙを算出する。図８の参照符号８０３のＸが、撮像画像の水平方向のサイズ８０２に対する白ベタ画像の水平方向の割合であり、参照符号８０５のＹ１と参照符号８０６のＹ２が、撮像画像の垂直方向サイズ８０４に対する白ベタ画像の垂直方向の割合となる。ここで、参照符号８０１に示すように、撮像された白ベタ画像が矩形でない場合、Ｙ１とＹ２に示すように、向かい合う辺の比率が異なる場合が生じる。その場合は、下記式（１）に示すように平均値を算出することにより辺の割合を算出する。
Ｙ＝（Ｙ１＋Ｙ２）／２ …（１）
次に、式（２）と式（３）を用いて特定画像要素の最適サイズを算出する。
ＳｉｚｅＸ ＝
[所望撮像ドットサイズ] × [投射部１０１の水平方向の解像度] ／（ 撮像部１０４の水平方向の解像度] × Ｘ ） …（２）
ＳｉｚｅＹ ＝
[所望撮像ドットサイズ] × [投射部１０１の垂直方向の解像度] ／（ 撮像部１０４の垂直方向の解像度] × Ｙ ） …（３）
ここで、所望撮像ドットサイズは、投射部１０１から投射された特定画像要素のドットを、撮像カメラのピクセル換算で何ドットの大きさで表示させるかというユーザパラメータである。これは通常、１．５〜５ドットであることが望ましい。ＳｉｚｅＸは、特定画像要素の水平方向の最適なドット数、ＳｉｚｅＹは、同垂直方向の最適なドット数であり、ＳｉｚｅＸとＳｉｚｅＹの大きい方を、サイズ決定部１０６で算出する特定画像要素の最適サイズとする。

次に図１３を参照して具体的な処理を説明する。図１３（ａ）は、撮像部１０４の解像度が水平方向２８１６画素×垂直方向１８８０画素、投射部１０１の解像度が水平方向４０９６画素×垂直方向２１６０画素、白ベタ画像の水平方向の割合Ｘ及び垂直方向の割合Ｙが共に３５％の場合の撮像画像である場合を示す。この時、投射部１０１から特定画像要素である１ドットのパターンを投射した時の、ドットサイズと撮像部１０４のピクセルサイズの関係を図９（ｂ）に示す。

参照符号９００に示す撮像部１０４のピクセルサイズに対して、参照符号９０１に示す投射ドットサイズは凡そ１／５程度になる。ここで、所望ドットサイズ＝２として、図９（ａ）の各パラメータを使って、先に示した式（２）及び式（３）を計算すると、ＳｉｚｅＸ＝８．３、ＳｉｚｅＹ＝６．６となる。大きい方のＳｉｚｅＸを選択し、四捨五入すると、特定画像要素の最適サイズは水平、垂直方向とも９ドットとなり、図９（ｃ）に示す様に、所望ドットサイズで指定した大きさと同じ、撮像部１０４のピクセルサイズで２ドット分の大きなドットが投射されることになる。

次に、上記一連の処理概要を図１４のフローチャートを使って説明する。フローの開始は、操作部１１１を介したユーザからの投射部の歪補正及び位置合わせの指示がそのトリガになる。

Ｓ３００にて、制御部１１０は、パターン画像出力部１００を制御し、投射領域判定用画像（ベタ画像）を生成させ、投射部１０１に出力させる。Ｓ３０１にて、制御部１１０は、投射部１０１を制御し、入力した投射領域判定用画像をスクリーン１０５へ投射させる。そして、Ｓ３０２にて、制御部１１０は、撮像部１０４を制御し、スクリーン１０５に投射された投射領域判定画像を撮像させる。そして、Ｓ３０３にて、制御部１１０はサイズ決定部１０７を制御し、撮像画像中の投射領域判定画像の割合と、投射部１０１の投射解像度と、撮像部１０４の撮像解像度から最適な特定画像要素（ドット）のサイズを決定させる。

Ｓ３０４にて、制御部１１０は、サイズ変更部１０６において、特定画像要素の周囲に所定階調値の画素を、サイズ決定部１０７で決定されたサイズとなるように付加する。そして、Ｓ３０５にて、制御部１１０は、パターン画像出力部１００を制御し、決定したサイズの特定画像要素で構成されたパターンで構成された投写パターン画像を生成、出力させる。そして、Ｓ３０６にて、制御部１１０は、投射部１０１を制御し、投射パターン画像をスクリーン１０５に投射させる。

次にＳ３０７にて、制御部１１０は、撮像部１０４を制御し、スクリーン１０５に投射された投射パターン画像を撮像させる。Ｓ３０８にて、制御部１１０は、検出部１０２を制御し、投射パターン画像から特定画像要素の座標情報を復号し検出させる。そして、Ｓ３０９にて、制御部１１０は、パラメータ決定部１０３を制御し、座標情報から歪み補正パラメータを決定させ、投射部１０１に該パラメータを供給させることで、歪み補正及び位置合わせを完了する。

以上、本第４の実施形態により、パターン画像を投射する前に投射領域判定画像を投射し撮像及び解析することにより、パターン画像を繰り返し表示することなく特定画像要素の最適なサイズを自動算出することができ、短時間で精度の高い自動位置調整が可能となる。

［第５の実施形態］
図１５は、第５の実施形態に関わる投射型表示システムのブロック構成図である。第４の実施形態との差は、サイズ決定部１０７からパターン画像出力部１００に制御線が接続されている点である。本第５の実施形態では、特定画像要素のサイズを変更する前に、該要素で構成されるパターンのサイズを変更するものである。

以下、一連の処理を図１６を参照して説明する。図１６（ａ）は、特定画像要素で構成されたパターンである。このように、パターン内における特定画像要素が密な状態であると、該要素のサイズを大きくした場合、該要素同士が重なってしまう。たとえば、サイズ決定部１０７で決定された特定画像要素の最適サイズが５ドットだった場合、図１６（ｂ）の参照符号１２０１に示す特定画像要素の周囲に２ドット分の画素が付加され、グレーの領域に示される５×５ドットのサイズに変更される。結果、この５×５ドットが参照符号１２０１以外の黒ドットに重なってしまう。これにより、座標情報の復号が正しく行われないという問題が発生する。

ここで、特定画像要素の最小間隔と最適サイズを比較し、重なりが生じる場合は、最初に以下のパターンサイズの変更を行う。まず、図１６（ａ）のパターンサイズ（５ドット×５ドット）を、図１６（ｃ）に示すように３倍のパターンサイズ（１５ドット×１５ドット）に変更する。この時、特定画像要素１２００のサイズは、参照符号１２０２に示すように３ドット×３ドットになる。次に、同図（ｄ）の参照符号１２０３に示すように、参照符号１２０２の周囲に所定階調値の画像を付加することで特定画像要素のサイズを最適サイズである５ドットに拡張する。このように、基準となるパターンサイズを先に変更することで、特定画像要素同士の間隔を広げることにより、特定画像要素のサイズの変更に伴う重なりを防止する。尚、第３の実施形態で説明したように、パターンサイズの拡大率は位相差δの誤差量Δｘ及びΔｙの増加率に影響する。本実施形態はパターンサイズの変更は３倍に抑え、特定画像要素のサイズ変更(周囲に１画素付加)と組み合わせることにより、特定画像要素のサイズを５ドットにすることで、パターンサイズの拡大による誤差の増加を抑制している。

次に、上記一連の処理概要を図１７のフローチャートを使って説明する。フローの開始は、操作部１１１を介したユーザからの投射部の歪補正及び位置合わせの指示がそのトリガになる。

Ｓ４００にて、制御部１１０は、パターン画像出力部１００を制御し、投射領域判定用の画像（ベタ画像）を生成させ、投射部１０１に出力させる。Ｓ４０１にて、制御部１１０は、投射部１０１を制御し、パターン画像出力部１００からの投射領域判定用の画像をスクリーン１０５に投射させる。Ｓ４０２にて、制御部１１０は、撮像部１０４を制御し、スクリーン１０５に投射された投射領域判定用の画像を撮像させ、その撮像画像を切替部１０８を介してサイズ決定部１０７に供給させる。

Ｓ４０３にて、制御部１１０は、サイズ決定部１０７を制御し、撮像画像中の投射領域判定画像の割合、投射部１０１の投射解像度、並びに、撮像部１０４の撮像解像度から最適な特定画像要素（ドット）の目標サイズを決定させる。Ｓ４０４にて、制御部１１０は、特定画像要素の間隔と、Ｓ４０３で決定された特定画像要素の目標サイズとを比較する。そして、この間隔よりも目標サイズのほうが大きい場合は、制御部１１０は処理をＳ４０５に進める。そして、このＳ４０５にて、制御部１１０は、パターン画像出力部１００を制御して、基準となるパターン画像のサイズを変更する。比較条件はこれに限定するものではなく、該要素の多少の重なりが許容できる場合には、該間隔よりも小さい値を設定してもよい。

Ｓ４０６にて、制御部１１０は、サイズ変更部１０１を制御し、特定画像要素の周囲に所定階調値の画像を付加することで、特定画像要素のサイズを変更する。次に、Ｓ４０７にて、制御部１１０は、パターン画像出力部１００を制御し、特定画像要素で構成されたパターンで構成された投射パターン画像を生成させ、その投射パターン画像を投射部１０１に出力させる。Ｓ４０８にて、制御部１１０は、投射部１０１を制御し、パターン画像出力部１００からの投射パターン画像をスクリーン１０５に投射させる。Ｓ４０９にて、制御部１１０は、撮像部１０４を制御し、スクリーン１０５に投射された投射パターン画像を撮像させ、得られた撮像画像を切替部１０８を介して検出部１０２に供給させる。Ｓ４１０にて、制御部１１０は、検出部１０２を制御し、撮像画像から特定画像要素の座標情報を復号し検出させる。そして、Ｓ４１１にて、制御部１１０はパラメータ決定部１０３を制御し、座標情報に基づく、歪み補正パラメータを決定させ、その歪み補正パラメータを投射部１０１に供給し、設定させ、歪み補正及び位置合わせを完了する。

以上、本第５の実施形態により、特定画像要素の最適サイズと該要素の間隔に応じて、該要素で構成されるパターンサイズを先に変更することで、該要素同士の間隔を広げることにより該要素間の重なりを防ぐことができる。その結果、精度の高い自動位置調整が可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…パターン画像出力部、１０１…投射部、１０２…検出部、１０３…パラメータ決定部、１０４…撮像部、１０６…サイズ変更部、１０８…切替部、１１０…制御部、１１１…操作部、１１２…表示部

Claims (9)

1. 補正パラメータに従ってスクリーン上の投射の歪み及び位置を補正して画像の投射を行う投射部における、前記補正パラメータを決定する画像処理装置であって、
   背景領域と、当該背景領域に点在し且つ該背景領域とは異なる輝度値を持つ複数の有意画素とで構成される基準パターンから、前記複数の有意画素のそれぞれを予め設定されたサイズにまで拡大したパターン画像を生成する拡大手段と、
   該拡大手段による前記パターン画像を前記投射部に供給し、スクリーンに前記パターン画像を投射させる投射制御手段と、
   前記スクリーンに投射された前記パターン画像を、所定の撮像部に撮像させる撮像制御手段と、
   該撮像制御手段にて得た画像から、前記補正パラメータを決定する決定手段と、
   を有することを特徴とする画像処理装置。
2. 前記拡大手段は、前記有意画素の周囲に、当該有意画素が表す画素値と背景領域を表す画素値の平均値の値を持つ画素を付加することで、前記有意画素のサイズを拡大する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記拡大手段は、前記基準パターンを予め設定された拡大率で拡大した後の有意画素の周囲に、当該有意画素が表す画素値と背景領域を表す画素値の平均値の値を持つ画素を付加することで、前記有意画素のサイズを拡大する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記決定手段による補正パラメータを得ることに成功したか否かを判定する判定手段と、
   該判定手段の判定の結果が不成功である場合には、前記有意画素のサイズを前回よりも更に大きくなるよう前記拡大手段、前記投射制御手段、前記撮像制御手段、前記決定手段を繰り返すよう制御する制御手段と
   を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記投射部による前記スクリーン上の投射範囲と、前記投射部及び前記撮像部それぞれの解像度から、前記有意画素の目標サイズを算出する算出手段を備え、
   前記拡大手段は、前記算出手段で算出した目標サイズとなるように、当該有意画素のサイズを拡大する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記算出手段で算出した目標サイズと、前記有意画素の間隔とを比較する比較手段と、
   前記拡大手段は、該比較手段の比較の結果が前記目標サイズが前記有意画素の間隔よりも大きいことを示す場合、前記有意画素の間隔が前記目標サイズよりも大きくなるように前記基準パターンを拡大し、当該拡大の後に前記有意画素のサイズを拡大する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記投射範囲は、前記投射部に白ベタの画像を投射させ、当該投射された白ベタの画像を前記撮像部で撮像することで得ることを特徴とする請求項５又は６に記載の画像処理装置。
8. 補正パラメータに従ってスクリーン上の投射の歪み及び位置を補正して画像の投射を行う投射部における、前記補正パラメータを決定する画像処理装置の制御方法であって、
   背景領域と、当該背景領域に点在し且つ該背景領域とは異なる輝度値を持つ複数の有意画素とで構成される基準パターンから、前記複数の有意画素のそれぞれを予め設定されたサイズにまで拡大したパターン画像を生成する拡大工程と、
   該拡大工程による前記パターン画像を前記投射部に供給し、スクリーンに前記パターン画像を投射させる投射制御工程と、
   前記スクリーンに投射された前記パターン画像を、所定の撮像部に撮像させる撮像制御工程と、
   該撮像制御工程にて得た画像から、前記補正パラメータを決定する決定工程と、
   を有することを特徴とする画像処理装置の制御方法。
9. コンピュータが読み込み実行することで、前記コンピュータに、請求項８に記載の方法の各工程を実行させるためのプログラム。