JP2011182076A - 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法 - Google Patents

補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法 Download PDF

Info

Publication number
JP2011182076A
JP2011182076A JP2010042463A JP2010042463A JP2011182076A JP 2011182076 A JP2011182076 A JP 2011182076A JP 2010042463 A JP2010042463 A JP 2010042463A JP 2010042463 A JP2010042463 A JP 2010042463A JP 2011182076 A JP2011182076 A JP 2011182076A
Authority
JP
Japan
Prior art keywords
feature
image
measurement
image data
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010042463A
Other languages
English (en)
Other versions
JP5440250B2 (ja
Inventor
Shiki Furui
志紀 古井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2010042463A priority Critical patent/JP5440250B2/ja
Priority to US13/021,986 priority patent/US8866902B2/en
Priority to CN2011100453008A priority patent/CN102170544B/zh
Publication of JP2011182076A publication Critical patent/JP2011182076A/ja
Application granted granted Critical
Publication of JP5440250B2 publication Critical patent/JP5440250B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3197Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using light modulating optical valves

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Image Processing (AREA)

Abstract

【課題】画像歪や画像の相対位置のずれの補正に用いる補正情報を効率よく取得する。
【解決手段】第1及び第2のプロジェクターにより被投写面上に投写された第1及び第2の測定用パターンD11、D12を撮影した撮影パターンに占める複数の前記特徴点の位置と、第1及び第2の測定用パターンD11、D12の元データ上の複数の特徴点の位置とを比較して、補正情報を算出する算出部とを備える。第1及び第2の測定用パターンD11、D12は、第1配列方向のうちで他の測定用パターンとの重畳側の端に配置された2以上の特徴図形について、第1の測定用パターンD11に属する各特徴図形列D112の第2配列方向の位置が、第2の測定用パターンD12に属する各特徴図形D122の第2配列方向の位置と異なる。
【選択図】図5

Description

本発明は、補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法に関する。
従来から、画像表示装置の1つとしてプロジェクターが知られている。プロジェクターは、設置が容易であることや、大画面の画像を表示可能であること等の特長を有している。近年、複数のプロジェクターを用いて1つの画像を表示する画像表示システムが提案されている(例えば、特許文献1)。
特許文献1の画像表示システムは、複数のプロジェクターの各々に部分画像を投写させ、複数の部分画像の全体で1つの画像を表示するものである。隣り合う部分画像で互いの周縁部を重ね合わせることにより、部分画像の継ぎ目を認識されにくくなっている。また、被投写面上の部分画像の幾何変形を補正しており、画像歪が低減されている。
特許文献1では部分画像の幾何補正を行うために、以下の処理を行っている。まず、マーカーを含んだテスト画像を表示させ、表示されたテスト画像を撮影する。そして、テスト画像を示す画像データ上でのマーカーの位置と、テスト画像を撮影した撮影画像の中のマーカーの位置との対応関係に基づいて、画素の位置の補正量を示す補正情報をプロジェクターごとに求める。視聴者向けの画像(以下、コンテンツ画像という)を表示するときに、コンテンツ画像を示す画像データを上記の補正情報に基づいて補正し、補正後の画像データに基づいて部分画像を表示させる。
特開2002−72359号公報
特許文献1の技術にあっては、上記の補正情報を求めるまでの手間や時間を減らす上で改善の余地がある。詳しくは、特許文献1において、複数のプロジェクターから同時にテスト画像を投写させると、隣り合うテスト画像で互いのマーカーが重なり合うことがある。すると、重なり合ったマーカーの位置を高精度に検出することが難しくなり、補正情報を高精度に求めることが難しくなる。
この不都合を解消するには、例えば各プロジェクターの投写のタイミングを複数のプロジェクターでずらしてテスト画像を投写させ、各プロジェクターによるテスト画像を個別に撮影する方法が考えられる。この方法では、プロジェクターの数が増えるほど、テスト画像の投写や撮影に要する手間や時間が増えるという不都合がある。また、先の撮影から次の撮影までに撮影装置が移動することもありえる。撮影装置が移動すると、撮影画像の中でのマーカーの位置に誤差を生じてしまう。すると、複数の部分画像の位置が互いにずれる条件で補正情報が算出され、この補正情報により補正された画像データに基づいて投写された部分画像に歪や位置ずれを生じてしまう。
本発明は、上記の事情に鑑み成されたものであって、コンテンツ画像の一部をなす各部分画像の歪や、複数の部分画像での相対位置のずれの補正に用いる補正情報を効率よく取得可能な補正情報算出装置、画像処理装置、画像表示システム、および画像処理方法を提供することを目的の1つとする。
本発明では、上記の目的を達成するために以下の手段を採用している。
本発明の補正情報算出装置は、画像形成素子を有するプロジェクターによって被投写面上に投写される画像における画素の位置と、前記画像形成素子における画素の位置との対応関係を示す補正情報を算出する補正情報算出装置であって、特徴点を規定する特徴図形を複数含んだ第1の測定用パターンを示す第1の測定用画像データを前記被投写面上の第1投写領域に投写する第1のプロジェクターに供給するとともに、特徴点を規定する特徴図形を複数含んだ第2の測定用パターンを示す第2の測定用画像データを前記第1投写領域と重なり合う重畳領域を含んだ第2投写領域に投写する第2のプロジェクターに供給する供給部と、前記第1及び第2の測定用画像データに基づいて前記第1及び第2のプロジェクターにより被投写面上に投写された前記第1及び第2の測定用パターンを撮影した撮影パターンにおける複数の前記特徴点の位置と、前記第1及び第2の測定用画像データに規定された複数の前記特徴点の位置とを比較して、前記補正情報を算出する算出部と、を備え、前記第1投写領域と前記第2投写領域とが並ぶ方向に相当する前記第1及び第2の測定用パターンの画素の配列方向を第1配列方向とし、前記第1配列方向の交差方向を第2配列方向としたときに、前記第1及び第2の測定用パターンは、前記複数の特徴図形のうちで前記第1配列方向における他の測定用パターンとの重畳側の端に配置された2以上の前記特徴図形により構成される特徴図形列を含み、前記第1の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第2配列方向の位置が、前記第2の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第2配列方向の位置と異なることを特徴とする。
本発明においては、上記のように、特徴点列に属する各特徴点の第2配列方向の位置が、第1の測定用画像データと第2の測定用画像データとで異なる。したがって、第1のプロジェクターにより投写された測定用パターンと、第2のプロジェクターにより投写された測定用パターンとで、第1投写領域と第2投写領域とが並ぶ方向の交差方向に特徴点の位置がずれやすくなる。よって、第1のプロジェクターと第2のプロジェクターとで並行して測定用パターンを投写させた場合でも、被投写面上で特徴点が重なり合うことが回避される。すなわち、複数のプロジェクターで並行して測定用パターンを投写させつつ、投写された特徴点の位置を高精度に検出することができる。このように、本発明によれば、被投写面上での画素の位置と画像データに規定された画素の位置との対応関係を示す補正情報を効率よく取得可能になる。
本発明の補正情報算出装置としては、前記第1の測定用パターンにおける前記複数の特徴図形の配置が、前記第2の測定用パターンにおける前記複数の特徴図形の配置と同じであって、該測定用パターンは、前記第1配列方向の一端に配置された第1の前記特徴図形列と、他端に配置された第2の前記特徴図形列とを含み、前記第1の特徴図形列に属する各特徴図形の前記第2配列方向の位置が、前記第2の特徴図形列に属する各特徴図形の前記第2配列方向の位置と異なるものであってもよい。
このようにすれば、第1の測定用画像データと第2の測定用画像データで、測定用パターンにおける複数の特徴点の配置を同じしつつ、被投写面上で特徴点が重なり合うことを回避可能になる。したがって、測定用画像データの作成等に要する手間を減らすことや、投写された測定用パターンから特徴点を検出するのに要する手間を減らすことができる。
本発明の画像処理装置は、本発明に係る補正情報算出装置と、前記補正情報算出装置により算出された前記補正情報を参照して、補正後の画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正する画像補正部と、を備えていることを特徴とする。
本発明の補正情報算出装置によれば、補正情報を効率よく取得可能であるので、本発明の画像処理装置は、補正情報を取得する上での手間を省きつつ、部分画像の歪や相対位置のずれを補正可能なものになる。
本発明の画像表示システムは、本発明に係る画像処理装置と、記画像処理装置により補正された前記補正後の画像データに基づいて画像を投写する複数のプロジェクターと、を備えていることを特徴とする。
本発明の画像処理装置によれば、補正情報を取得する上での手間省きつつ、部分画像の歪や相対位置のずれを高精度に補正可能になるので、本発明の画像表示システムは、利便性が高く、しかも高品質な画像を表示可能なものになる。
本発明に係る画像表示システムは、前記測定用パターンが投写された前記第1投写領域および前記第2投写領域を含む領域を撮影する撮影装置を備え、前記補正情報算出装置は、前記撮影装置により撮影された撮影画像のうちの前記撮影パターンを用いて前記補正情報を算出するものであってもよい。
このようにすれば、第1投写領域と第2投写領域とを独立して撮影するよりも、撮影回数を減らすことができ、補正情報を効率よく取得可能になる。また、撮影と撮影との間に撮影装置の位置ずれを生じる確率が低くなるので、撮影装置の位置ずれに起因する特徴図形の位置の誤差を減らすことができる。
本発明の画像処理方法は、特徴点を規定する特徴図形を複数含んだ第1の測定用パターンを示す第1の測定用画像データを前記被投写面上の第1投写領域に投写する第1のプロジェクターに供給するとともに、特徴点を規定する特徴図形を複数含んだ第2の測定用パターンを示す第2の測定用画像データを前記第1投写領域と重なり合う重畳領域を含んだ第2投写領域に投写する第2のプロジェクターに供給する測定用データ供給ステップと、前記測定用画像データに基づいて前記プロジェクターにより被投写面上に投写された測定用パターンを撮影した撮影パターンにおける複数の前記特徴点の位置と、前記測定用画像データに規定された複数の前記特徴点の位置とを比較して、前記被投写面上での画素の位置と前記プロジェクターの画像形成素子での画素の位置との対応関係を示す補正情報を算出するステップと、前記補正情報を参照して、補正後の画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正するステップと、を有し、前記第1投写領域と前記第2投写領域とが並ぶ方向に相当する前記測定用パターンの画素の配列方向を第1配列方向とし、前記第1配列方向の交差方向を第2配列方向としたときに、前記測定用パターンは、前記複数の特徴図形のうちで前記第1配列方向における他の測定用パターンとの重畳側の端に配置された2以上の前記特徴図形により構成される特徴図形列を含み、前記第1の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第2配列方向の位置を、前記第2の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第2配列方向の位置と異ならせること特徴とする。
このようにすれば、各部分画像の歪や複数の部分画像での相対位置のずれを高精度に補正になる補正情報を効率よく取得可能になり、補正情報を取得する上での手間を省きつつ、部分画像の歪や相対位置のずれを高精度に補正可能になる。
本発明の実施形態に係る画像表示システムを示す概略図である。 被投写面上の投写領域の位置関係を示す説明図である。 画像表示システムの構成を示す図である。 コンテンツ画像を表示するまでの処理フローを示す図である。 第1の例の測定用パターンを示す説明図である。 投写された第1の例の測定用パターンの組合せを示す説明図である。 補正情報の算出方法の一例を示す説明図である。 (a)は第2の例の測定用パターンの説明図、(b)は投写された第2例の測定用パターンを示す説明図である。 第3の例の測定用パターンの説明図である。
以下、図面を参照しつつ本発明の実施形態を説明する。説明に用いる図面において、特徴的な部分を分かりやすく示すために、図面中の構造の寸法や縮尺を実際の構造に対して異ならせている場合がある。また、実施形態において同様の構成要素については、同じ符号を付して図示し、その詳細な説明を省略する場合がある。
図1は、本発明の一実施形態である画像表示システムの概念図、図2は被投写面に投写された画像と投写領域との関係を示す説明図である。
図1に示すように画像表示システム1は、複数のプロジェクター2、画像処理装置3、および撮影装置4を備えている。画像表示システム1は、例えば信号源8から入力された画像データが示すコンテンツ画像Pを複数のプロジェクター2で分担して、スクリーンや壁等の被投写面9に投写する。ここでは、複数のプロジェクター2として第1のプロジェクター21、第2のプロジェクター22、第3のプロジェクター23、および第4のプロジェクター24が設けられているとして説明する。本発明の適用範囲は、複数のプロジェクターを用いるものであれば、プロジェクターの数や配置に限定されない。なお、以下の説明では、複数のプロジェクターの各々から投写された画像を、「部分画像」と称することがある。また、以下の説明では、部分画像を示す画像データを「部分画像データ」と称することがある。
プロジェクター2は、供給された画像データ(ここでは部分画像データ)に基づいて画像(ここでは部分画像)を表示可能である。本発明の適用範囲は、プロジェクター2の構成に限定されない。例えば、プロジェクター2は、単板式のプロジェクターであってもよいし、三板式のプロジェクター等の複数の画像形成素子を含んだものであってもよい。また、プロジェクター2は、被投写面9に対して視聴者と同じ側から投写するフロント投写型のものであってもよいし、被投写面9を挟んで視聴者と反対側から投写するリア投写型のものであってもよい。
本実施形態の複数のプロジェクター2は、光源、画像形成素子、および投写光学系を有している。画像形成素子は、二次元的に配列された複数の画素を有するものである。画像形成素子としては、例えば透過型または反射型の液晶ライトバルブや、デジタルミラーデバイス(DMD)等が挙げられる。各プロジェクターにおいて、光源から射出された光は、画像形成素子に入射する。画像形成素子は、このプロジェクターへ入力された部分画像データの画素ごとのデータ(以下、画素データという)に基づいて、複数の画素を互いに独立して制御する。画素に入射した光は、画素ごとに変調されて画素データに規定された光量の光になる。複数の画素により変調された光が全体として光学像(画像)になり、この光学像が投写光学系により被投写面9に投写される。ここでは、複数のプロジェクターで、画像形成素子の画素数および画素の配列が一致している。
各プロジェクターが被投写面9上に投写可能な領域である投写領域は、複数のプロジェクター2で異ならせて設定されている。図2に示すように、第1〜第4投写領域A1〜A4は、互いの周縁部が重なり合うように設定されており、全体として全体投写領域を構成している。すなわち、第1〜第4投写領域A1〜A4の各々は、隣接する他の投写領域と重畳された重畳領域P5を含んでいる。
第1のプロジェクター21の投写領域(第1投写領域A1)は、第2のプロジェクター22の投写領域(第2投写領域A2)と被投写面9上の水平方向に並んでいる。この水平方向において、第1投写領域A1の端部は、第2投写領域A2の端部と重ね合わされている。第3のプロジェクター23による投写領域(第3投写領域A3)と、第4のプロジェクター24による投写領域(第4投写領域A4)との水平方向の位置関係については、第1、第2投写領域A1、A2の水平方向の位置関係と同様になっている。
第1投写領域A1は、被投写面9上の水平方向と直交する垂直方向に第3投写領域A3と並んでいる。この垂直方向において、第1投写領域A1の端部(周縁部)は第3投写領域A3の端部(周縁部)と重ね合わされている。第2投写領域A2と第4投写領域A4との垂直方向の位置関係については、第1、第3投写領域A1、A3の垂直方向の位置関係と同様になっている。
ところで、通常は全体投写領域A0の外形が矩形にならない。これは、第1〜第4のプロジェクター21〜24の配置に起因して、第1〜第4投写領域A1〜A4の歪や相対位置のずれを生じるからである。ここでは、全体投写領域A0に収まる略矩形の領域を実際に画像の投写に用いる領域(有効投写領域A)としている。第1〜第4のプロジェクター21〜24は、各投写領域のうちで有効投写領域Aに収まる領域に対して部分画像を投写するようになっている。
例えば、第1のプロジェクター21から投写された光により、第1投写領域A1のうちで有効投写領域Aに収まる領域に、第1の部分画像P1が表示される。以下同様に、第2〜第4のプロジェクター22〜24により、第2〜第4の部分画像P2〜P4が表示される。第1〜第4の部分画像P1〜P4は、互いに端部を重ね合わされて被投写面9上に表示され、全体としてコンテンツ画像Pを構成する。
図1の説明に戻り、画像処理装置3は、コンテンツ画像Pを示す画像データを例えば信号源8から受け取る。画像処理装置3は、画像データに各種処理(後述する)を施すとともに、画像データに基づいて複数の部分画像データを生成する。各部分画像データは、第1〜第4の部分画像P1〜P4のいずれかを示すデータである。画像処理装置3は、第1〜第4のプロジェクター21〜24の各々に、各プロジェクターが担当する部分画像を示す部分画像データを供給する。第1〜第4のプロジェクター21〜24は、画像処理装置3から入力された部分画像データに基づいて、被投写面9上に第1〜第4の部分画像P1〜P4を投写する。
画像処理装置3は、上記の各種処理の1つとして、第1〜第4の部分画像P1〜P4の各々の画像歪を補正するとともに、第1〜第4の部分画像P1〜P4の相対位置のずれを補正する処理(以下、位置補正処理という)を行う。画像処理装置3は、画像表示システム1の設置時や、画像表示システム1の設置時から所定期間が経過したメンテナンス時等の適宜選択されるタイミングに、位置補正処理に用いる補正情報を算出する。
上記の画像歪の1例として、例えば被投写面9に対する第1〜第4のプロジェクター21〜24の各々の投写方向、すなわち垂直方向の仰角や俯角、水平方向の煽り角等に応じて発生する画像歪(例えばキーストン歪)が挙げられる。画像歪の他の例として、例えば布状のスクリーンのたわみ等により、被投写面9が局所的に歪んでいることにより発生する画像歪が挙げられる。上記の第1〜第4の部分画像P1〜P4の相対位置のずれは、第1〜第4のプロジェクター21〜24で、例えば、投写方向が一致しないことや相対位置のずれること等に起因する。
本発明に係る画像処理装置は、例えば下記の第1〜第3の態様のように、多様な態様を取りうる。
第1の態様の画像処理装置として、各種処理を行うASIC等の1以上のロジック回路による構成が挙げられる。第1の態様の画像処理装置は、その一部または全部が、第1〜第4のプロジェクター21〜24、撮影装置4、信号源8のいずれかと一体化されていてもよい。
第2の態様の画像処理装置として、プログラムが実装されたコンピューターによる構成が挙げられる。すなわち、プログラムにより各種処理をコンピューターに実行させることにより、画像処理装置3の機能を実現することができる。例えば、メモリーやCPUを協働させて各処理における演算を実行させ、演算結果をハードディスクやメモリー等の記憶部に保存しておき、必要に応じて演算結果を読出して他の処理に供することにより、ロジック回路等を用いる場合と同様の処理結果が得られる。なお、第2の態様の画像処理装置3において、各種処理を複数のコンピューターに分担させて行わせるようにしてもよい。 第3の態様の画像処理装置として、各種処理の一部の処理を行うロジック回路と、プログラムにより各種処理の他の処理を行うコンピューターとを組み合わせた構成が挙げられる。
このように、本発明に係る画像処理装置は、各種処理を行う独立した装置としての態様の他に、各種処理の一部を行う複数の機能部の集合としての態様もとりえる。すなわち、複数の機能部が、別体の複数の装置に分かれて設けられており、互いに協働して処理を行う態様であってもよい。
本実施形態の撮影装置4は、全体投写領域A0の全体を含む被投写面9上の領域を撮影可能なものである。撮影装置4は、例えばCCDカメラ等の二次元イメージセンサーにより構成される。二次元イメージセンサーは、フォトダイオード等からなる複数の受光素子が二次元的に配列された構造を有している。上記の補正情報を算出するときに、撮影装置4により撮影された撮影画像を示す撮影画像データは、画像処理装置3へ出力される。
以上のように複数のプロジェクター2によりコンテンツ画像Pを表示すると、コンテンツ画像Pを大画面、高解像度、高輝度で表示にすることができる。例えば、一台のプロジェクターにより表示する場合と比較して、プロジェクターあたりの画素数が同じである条件では、解像度を下げることなく大画面でコンテンツ画像Pを表示することができる。また、同じ画面サイズでコンテンツ画像Pを表示する条件で比較すると、プロジェクターの数に応じて画素数を増すことができ、高解像度でコンテンツ画像を表示することができる。プロジェクターあたりの出力光量が同じである条件で比較すると、表示に寄与する光の光量をプロジェクターの数に応じて増すことができ、高輝度でコンテンツ画像Pを表示することができる。
これらの効果を得るためにプロジェクターの画素数や出力を増す手法と比較すると、各プロジェクターのコストを飛躍的に下げることができるので、プロジェクターの数を加味しても装置コストを低減する効果が期待できる。また、通常時はプロジェクターごとに例えば別の場所(例えば小会議室)に設置して使用し、用途に応じて、例えば大会議室に画像表示システムを構築して、コンテンツ画像を大画面、高解像度、高輝度で表示することも可能である。このように、プロジェクターを単独で使用するか、複数のプロジェクターを組み合わせて使用するかを用途に応じて選択可能になるので、1台のプロジェクターで上記の効果を得ようとする場合と比較して、利便性が高くなる。
また、画像処理装置3により位置補正処理が施された画像データに基づいてコンテンツ画像Pが表示されるので、各部分画像の画像歪や複数の部分画像での相対位置のずれが低減される。したがって、画像歪が少なく、しかも部分画像の継ぎ目が認識されにくい状態でコンテンツ画像Pを表示することができ、コンテンツ画像Pを高品質な画像として表示可能になる。本発明では、部分画像の画像歪や相対位置のずれを高精度に補正することができ、しかも補正情報を効率よく算出することが可能になっている。これにより、例えば画像表示システムの設置に要する手間や時間を減らすことができ、画像表示システムの利便性を高めることができる。
次に、図3を参照しつつ、本発明に係る画像処理装置3の構成要素について詳しく説明する。図3は、画像処理装置3の機能構成を示す図である。
図3に示すように画像処理装置3は、画像制御装置5および補正情報算出装置6を有している。補正情報算出装置6は、主として補正情報を算出する。画像制御装置5は、各種処理を行うとともに、補正情報を用いて各種処理の1つとして画像データに位置補正処理を施す。本実施形態では、画像制御装置5が、第1のコンピューターの一部として構成されており、補正情報算出装置6が第1のコンピューターと別体の第2のコンピューターのCPUや記憶部等を利用して構成されている。
画像制御装置5は、画像入力部51、画像保存部52、画像補正部53、および画像出力部54を有している。画像入力部51は、例えばビデオキャプチャーボード等により構成される。画像入力部51は、必要に応じて画像制御装置5の外部のDVDプレイヤーや通信機器等の信号源8からコンテンツ画像を受け取る。画像保存部52は、例えばコンピューターに内蔵あるいは外付されたハードディスク等の記憶装置により構成され、コンテンツ画像Pを示す画像データを保存可能なものである。画像入力部51へ入力された画像データや、画像保存部52に保存されている画像データは、コンテンツ画像Pを表示するときに画像補正部53へ出力される。
なお、画像制御装置5は、画像入力部51と画像保存部52の一方のみが設けられた構成であってもよい。画像入力部51から入力された画像データを画像保存部52に保存しておき、この画像データを適宜読出して画像補正部53へ入力する構成であってもよい。
画像補正部53は、その詳細な構成を図示しないが、演算部および記憶部を含んでいる。演算部は、例えばグラフィックス・プロセッシング・ユニット(GPU)等により構成される。記憶部は、ビデオメモリー(VRAM)や不揮発メモリー等により構成される。画像補正部53は、補正情報を参照して、補正後の画像データに基づいてプロジェクター21〜24により被投写面9上に投写される画像が補正前の画像データが示す画像と略一致するように、信号源8から入力された画像データを補正する。
演算部は、記憶部を画像バッファ等に利用しつつ、演算部へ入力された画像データにガンマ補正や色調補正等の各種処理を行う。プログラムを用いて、上記のGPUに代えてコンピューターのCPUに演算させることにより、各種処理を行わせるようにしてもよい。なお、画像入力部51や画像保存部52から入力された画像データ上での画素の配列が、プロジェクター2の画像形成素子の画素の配列と整合していない場合、例えば、画像データに含まれる画素数が画像形成素子の画素数と異なる場合もありえる。この場合に演算部は、入力された画像データに対して補間処理やレンダリング処理等を施して、補正後の画像データが画像形成素子の画素の配列に整合するように画像データを補正する。これらの処理については、各プロジェクターに処理部を設けておき、プロジェクターごとにこの処理部に処理させてもよい。
演算部は、補正情報を参照して画像データに位置補正処理を施すとともに部分画像データを生成する。補正情報は、上記の記憶部(例えば不揮発メモリー)に記憶されている。補正情報は、被投写面9上での全体投写領域A0(図2参照)に占める各画素の位置と、複数のプロジェクター2の各々の画像形成素子における画素の配列に占める各画素の位置との対応関係を示す情報である。
補正情報は、例えば画像形成素子の画素ごとの値としてテーブル形式で記憶されている。すなわち、テーブル(補正情報)を参照すれば、全体投写領域A0の所定の位置に所定の画素が表示されるようにする上で、各画素データを画像形成素子のいずれの画素へ入力すればよいのか分かる。
演算部は、位置補正処理による補正前の画像データが示す画像、すなわち表示すべきコンテンツ画像が有効投写領域Aに表示されるように、例えば以下のような処理を行う。演算部は、全体投写領域A0の内側であって有効投写領域Aの外側の各画素(以下、非表示画素という)について、補正情報により各非表示画素と対応付けられた画像形成素子の各画素に供給するデータを、非表示用のマスクデータ(例えば黒を示すデータ)にする。また、有効投写領域Aの内側の各画素(以下、表示画素という)について、補正情報により表示画素と対応付けられた画像形成素子の画素に供給するデータを、この表示画素用の画素データとして画像データに規定されたデータにする。
表示画素の位置が格子状の画素配列の格子点位置からずれている場合には、必要に応じて補間処理を行う。例えば、表示画素に対応する画像データ上の画素の周囲の画素の画素データを用いて、表示画素の位置に応じた画素データを補間により求める。補間のときに参照する周囲の画素の位置や、補間のときに周囲の画素の画素データに乗じる重み付けの係数(補間係数)等は、補正情報の一部として予め求めておくとよい。このような処理を、各投写領域に含まれる表示画素および非表示画素について行うことにより、各投写領域を担当するプロジェクター用の部分画像データが得られる。
画像補正部53は、演算部により生成された部分画像データを画像出力部54へ出力する。画像出力部54は、画像補正部53から出力された部分画像データを、各部分画像データを担当するプロジェクターへ出力する。例えば、画像出力部54は、図1に示した第1の部分画像P1を示す部分画像データを第1のプロジェクター21へ出力する。画像出力部54は、以下同様に、第2〜第4の部分画像P2〜P4を示す部分画像データを第2〜第4のプロジェクター22〜24へ出力する。
本実施形態の補正情報算出装置6は、プログラムを用いて上記の第2のコンピューターに所定の処理(後述する)を行わせることにより、その機能を実現するものである。第1のコンピューターは、画像制御装置5が実装されている第1のコンピューターと別体になっており、例えばバスケーブル等により第1のコンピューターと電気的に接続されている。補正情報算出装置6により補正情報を算出した後に、バスケーブルを介して補正情報を画像制御装置5へ出力した上で、第1のコンピューター(補正情報算出装置6)および撮影装置4を取外した状態で、複数のプロジェクター2および画像制御装置5によりコンテンツ画像Pを表示させることも可能である。また、プロジェクター2に位置ずれを生じたときに、第1のコンピューター(補正情報算出装置6)および撮影装置4を再度設置して、補正情報を再度算出し、補正情報を更新することも可能である。
補正情報算出装置6は、機能ブロックとして補正情報演算部(算出部)61、画像解析部62、および記憶部63を有している。
記憶部63は、第2のコンピューターのハードディスクやメモリーにより構成される。記憶部63には、補正情報の算出に用いる測定用パターンを示す測定用画像データが記憶されている。測定用パターンは、エッジ検出処理やパターン認証処理等の画像処理技術により検出可能な形状や輝度分布の図形である特徴図形が複数配列された画像である。被投写面9上での特徴図形の位置および形状を検出することにより、被投写面9上での特徴点の位置を求めることができる。特徴点は、測定用画像データ上で特徴図形との位置関係が既知である点、例えば特徴図形の角や中心点である。
補正情報演算部61および画像解析部62は、第2のコンピューターのCPUおよびメモリー等により構成される。補正情報演算部61は、補正情報を算出するときに、記憶部63に記憶されている測定用画像データを読出して直接的にまたは間接的に各プロジェクターへ出力(供給)する。すなわち、補正情報演算部61と記憶部63とにより、各プロジェクターに測定用画像データを供給する供給部が構成されている。ここでは、補正情報演算部61が、測定用画像データを画像制御装置5の画像補正部53へ出力する。測定用画像データは、画像制御装置5を介して間接的に各プロジェクターへ出力される。画像制御装置5は、必要に応じて、測定用画像データを画像形成素子の画素の配列に整合する形成に補正する。
画像解析部62は、撮影装置4により撮影された撮影画像を示す撮影画像データを受け取る。画像解析部62は、例えばエッジ処理やパターン認証処理等を撮影画像データに施して、撮影画像の中の測定用パターン(撮影パターン)を検出する。画像解析部62は、撮影パターンを示す画像データとして、撮影測定データを補正情報演算部61へ出力する。
補正情報演算部61は、測定用画像データに基づいてプロジェクター21〜24により被投写面9上に投写された測定用パターンを撮影した撮影パターンにおける複数の特徴点の位置と、測定用画像データに規定された複数の特徴点の位置とを比較して、補正情報を算出する。具体的には、補正情報演算部61は、撮影測定データの元になった測定用パターンを示す測定用画像データ上での特徴点の位置と、この特徴点の撮影測定データ上での位置とを比較し、補正情報を算出する。補正情報演算部61は、算出した補正情報を画像制御装置5へ出力する。画像制御装置5は、補正情報算出装置6から出力された補正情報を画像補正部53の記憶部に格納し、補正情報を更新する。
図4は、コンテンツ画像Pを表示するまでの処理フローを示すフローチャートである。ここでは、画像表示システム1の設置時に補正情報を算出する例について説明する。なお、下記のステップS2、S5〜S7の処理を行うことにより、本発明に係る画像処理方法の一態様を行うことができる。また、ステップS2、ステップS5およびステップS6の処理をコンピューターに行わせるプログラムを用いることにより、本発明に係る補正情報算出装置の機能を実現することができる。ステップS2、S5〜S7の処理をコンピューターに行わせるプログラムを用いることにより、本発明に係る画像処理装置の機能を実現することもできる。
図4に示すように、まず、被投写面9に対して複数のプロジェクター2を配置し、必要に応じて各プロジェクターの配置を粗調整する(ステップS1)。ステップS1では、例えば、第1〜第4のプロジェクター21〜24の各々から、各プロジェクターの投写領域(以下、部分投写領域という)の輪郭を示す配置用ガイドを被投写面9に投写させる。そして、配置用ガイドを参照しつつ各プロジェクターを移動させて、全体投写領域A0に占める各部分投写領域の位置を粗調整する。
ここで、目視によりプロジェクターの位置を粗調整する場合を考える。複数の投写領域で相対位置のずれ量は、投写領域の実寸等に影響されるが、概ね数ピクセル程度であると考えられる。例えば、投写領域のサイズが対角100インチであり、投写領域に配置される画素数(表示画素および非表示画素を含む)が1920×1080個であるとすると、被投写領域における画素ピッチが1.15mm程度となる。例えば、10ピクセル相当の位置ずれであれば被投写面9上の実寸で1.15cmの位置ずれとなり、この位置ずれを被投写面9から数メートル離れた位置から目視により識別可能であると考えられる。このことから、投写領域の相対位置のずれ量を数ピクセル程度にすることが可能であると考えられる。
なお、二次元的に配列された部分画像を表示させる場合に、図1では部分画像の配列と同様にプロジェクター2を二次元的に配列する例を図示しているが、プロジェクターの配列が部分画像の配列と異なっていてもよい。例えば、プロジェクターを一次元的に配列し、各プロジェクターの投写方向を調整することにより、部分画像を二次元的に配列することも可能である。ただし、プロジェクターの配列を部分画像の配列と同様にすることにより、プロジェクターと部分画像との対応関係を把握しやすくなり、また投写方向の違いに起因する部分画像の歪を減らすこともできる。また、2以上の部分画像を一次元的に配列してコンテンツ画像を表示させてもよいし、二次元的に部分画像を配列する場合に、各配列方向の部分画像の数を3以上にしてもよい。また、画像表示システム1の設置後、例えば画像表示システム1のメンテナンス時に補正情報を算出する場合には、上記のステップS1を省くこともできる。
次いで、補正情報算出装置6の補正情報演算部61は、各プロジェクター用の測定用パターンを示す測定用画像データを対象となるプロジェクターに供給する(ステップS2)。第1〜第4のプロジェクター21〜24の各々に、供給された測定用画像データに基づいて測定用パターンを被投写面9に投写させる(ステップS3)。ここでは、第1〜第4のプロジェクター21〜24で並行して測定用パターンを投写させる。
図5は、第1の例の測定用パターンを示す説明図、図6は投写された第1の例の測定用パターンの組合せを示す説明図である。図5には、被投写面上で互いに隣り合う一対の測定用パターンを図示している。一対の測定用パターンで特徴図形の区別を分かりやすく示すために、便宜上、測定用パターンごとに特徴図形を異なるマークで示している。
本発明では、被投写面9上で互いに重なり合う一対の投写領域に投写される一対の測定用パターンについて、一方の測定用パターンの特徴点が他方の測定用パターンの特徴点と重なり合わないように、各測定用パターンを示す測定用画像データ上での特徴点の位置が設定されている。
各測定用パターンは、i方向およびj方向に配列された画素の配列により構成されている。測定用画像データは、各プロジェクターに供給された段階で画像形成素子の画素の配列に整合した形成になっている。例えば、画像形成素子の画素の配列が1920×1080個である場合に、測定用画像データは、i方向に1920個の画素が並び、j方向に1080の画素が並ぶ画像の画像データとしてプロジェクターに供給される。
第1のプロジェクター用の第1の測定用画像データが示す第1の測定用パターンD11は、規則的に配列された複数の特徴図形D111を含んでいる。本例の特徴図形D111は、1または2以上の画素により構成されるドット形状(スポット形状)になっており、その中心点が特徴点として用いられる。特徴図形については、その形状を検出可能であり、その形状と関連づけられた位置を特徴点の位置として特定可能な形状であれば、特に限定されない。特徴図形の形状としては、例えば互いに交差した線分(クロスハッチ)や正方形等であってもよい。クロスハッチを用いる場合には、例えばハフ変換等により2つの線分を検出し、その交差点の位置を一意に求めることができ、交差点を特徴点として用いることができる。正方形を用いる場合には、特徴図形の重心を特徴点とすることや、4つの角となる点をそれぞれ特徴点とすることができる。
複数の特徴図形D111は、i方向に所定のピッチで配列されており、また、j方向にも所定のピッチで配列されている。すなわち、直交格子の格子点上に各特徴図形の特徴点が位置するように、複数の特徴図形D111が規則的に配列されている。複数の特徴図形D121は、特徴図形D111と同様に、i方向とj方向の各々において所定のピッチで配列されている。
本例の第1、第2の測定用パターンD11、D12に含まれる特徴図形D111、D121は、いずれも形状およびサイズが同一になっている。ここで、各測定用パターンにおける特徴図形の配列において最外周に配置された特徴図形の特徴点を結んだ線を輪郭とする領域を特徴図形の配置領域とする。第1、第2の測定用パターンD11、D12は、配置領域の大きさ、すなわち配置領域のi方向の画素数が互いに一致しており、配置領域のj方向の画素数が互いに一致している。また、第1、第2の測定用パターンD11、D12は、各測定用パターンを基準とした配置領域の位置、例えば各測定用パターンの1つ角(図示では左上の角)の座標である(i,j)=(0,0)を基準とした配置領域の角の座標が互いに異なっている。詳しくは、第2の測定用パターンD12における配列領域の位置は、第1の測定用パターンD11における配列領域の位置に対して、i方向およびj方向にそれぞれ特徴点のピッチの半分だけシフトさせた位置になっている。第1、第2の測定用パターンD11、D12の各配置領域内での特徴点の配置は、互いに一致している。言い換えると、仮に第1、第2の測定用パターンD11、D12の配置領域をずれなく重ね合わせたとすると、特徴点が互いの測定用パターンでずれることなく重ね合わされる。
本例では、第1の測定用パターンD11において特徴図形D111以外の領域の色調・階調値が、第2の測定用パターンD12において特徴図形D121以外の領域の色調・階調値と同じ値に設定されている。また、特徴図形D111の色調・階調値の分布が、特徴図形D121の色調・階調値の分布と同じに設定されている。
以上のような第1の測定用パターンD11は第1投写領域A1に投写され、第2の測定用パターンD12は第2投写領域A2に投写される。第1、第2投写領域A1、A2が並ぶ方向(水平方向)での表示画素の配列方向は、測定用パターンでの画素の配列方向のうちのi方向に相当する。第1、第2投写領域A1、A2が並ぶ方向の交差方向(垂直方向)での表示画素の配列方向は、測定用パターンでの画素の配列方向のうちのj方向に相当する。すなわち、第1、第2投写領域A1、A2の位置関係では、i方向が第1配列方向になり、j方向が第2配列方向になる。
ここで、第1の測定用パターンD11の特徴図形D111のうちで、第2配列方向(j方向)に並ぶ特徴図形D111からなる特徴図形列D112に着目する。特徴図形列D112に属する特徴図形D111は、第1の測定用パターンD11の特徴図形D111のうちで、第1配列方向(i方向)において第2の測定用パターンD12との重畳側の端に配置されている。
特徴図形列D112に属する特徴図形D111の各々が示す特徴点(以下、単に特徴図形列D112の特徴点という)のij座標系での座標は、(i,j)=(a、b+cN)で表される。aは、特徴図形列D112の特徴点が属する画素列のうちで、第2配列方向(j方向)の端に位置する画素(以下、基準画素という)のi方向の座標を示す。bは、特徴図形列D112の特徴点のうちで基準画素と最も近い位置の特徴点のj方向の座標を示す。cは、特徴点のピッチを示し、Nは0以上の整数(特徴図形列D112の特徴点の数はN+1個)を示す。
同様に、第2の測定用パターンD12の特徴図形列D122に着目する。特徴図形列D122に属する特徴図形D121は、第2の測定用パターンD12の特徴図形D121のうちで、第2配列方向(j方向)において第1の測定用パターンD11との重畳側の端に配置されている。
特徴図形列D122の特徴点のij座標系での座標は、(i,j)=(d、e+cM)で表される。dは、特徴図形列D122に対する基準画素のi方向の座標を示す。eは、特徴図形列D122の特徴点のうちで基準画素に最も近い位置の特徴点のj方向の座標を示す。cは、特徴点のピッチを示し、Mは0以上の整数(特徴図形列D122の特徴点の数はM+1個)を示す。
上記のa〜e、N、Mは下記の条件を満たすように設定されている。
a、dについては、自由に選択可能な値である。例えば第1、第2の測定用パターンD11、D12が互いに重ね合わされる領域に特徴点が配置されるように、a、dの値が設定される。
b、eの値については、互いに異なっていれば特に限定されない。ただし、bとeの差の絶対値が、上述したプロジェクターを設置するときの、第1、第2投写領域A1、A2の相対位置のずれ量の推定値(例えば、数ピクセル)よりも大きく(例えば、10ピクセル以上)になるように、b、eの値を設定するとよい。また、bとeの差の絶対値が、cの略半分、すなわちc/2を四捨五入等により丸めた値の±1ピクセル程度になるように、b、eの値を設定するとよい。
cは、第1、第2の測定用パターンD11、D12で共通の値であればよく、複数の特徴点で同じであってもよいし、異なってもよい。例えばN(またはM)が大きくなるにつれてcが小さくなるようなN(またはM)の関数としてcが設定されていてもよい。cの値を小さくするほど特徴点の数を増やすことができ、各プロジェクターの画像形成素子の画素の配列に占める画素の位置と、全体投写領域A0に占める表示画素の位置との対応関係を高精度に求めることができる。cの値を大きくすると、測定用パターンの広範にわたり特徴点を配置しつつ特徴点の数を減らすことができ、上記の対応関係を求める上での演算の計算負荷を減らすことができるので、対応関係を効率よく求めることができる。以上の2つの観点の兼ね合いから、cの値としては、例えば数十ピクセル、一例として20ピクセル以上100ピクセル以下程度に設定するとよい。
以上の条件を、第1の測定用パターンD11の特徴図形D111のうちで少なくとも、第2の測定用パターンD12との重畳側の端に並ぶ特徴図形D111が満たすとともに、第2の測定用パターンD12の特徴図形D121のうちで少なくとも、第1の測定用パターンD11との重畳側の端に並ぶ特徴図形D121が満たすようになっていればよい。
被投写面9には、第1の測定用パターンD11に相当する第1の投写測定用パターンT11が表示される。第1の投写測定用パターンT11には、特徴図形D111に相当する投写特徴図形T111が含まれる。同様に、被投写面9上に、第2の測定用パターンD12に相当する第2の投写測定用パターンT12が表示される。第2の投写測定用パターンT12には、特徴図形D121に相当する投写特徴図形T121が含まれる。
ここで、第1、第2の投写測定用パターンT11、T12において、特徴図形列D112に相当する投写特徴図形列T112、および特徴図形列D122に相当する投写特徴図形列T122に着目する。上記の条件を満たすように第1、第2の測定用パターンD11、D12が設定されているので、投写特徴図形T111の位置と投写特徴図形T121の位置とが、第2配列方向(j方向)に相当する被投写面9上での方向(垂直方向)で、ずれやすくなる。すなわち、投写特徴図形T111、T121が互いに重なり合う確率が低くなるので、第1、第2の測定用パターンD11、D12を並行して投写した場合でも、投写特徴図形T111および投写特徴図形T121を高精度に検出することが可能になる。
また、第1、第2投写領域A1、A2が並ぶ方向(水平方向)の交差方向(垂直方向)にて、投写特徴図形T111、T121の位置が互いにずれやすくなるので、第1、第2投写領域A1、A2の水平方向のオーバーラップ量に関らず、投写特徴図形T111、T121が互いに重なり合う確率が低くなる。水平方向のオーバーラップ量は、一対の投写領域を水平方向に並べたときに、1つの投写領域の水平方向の幅と、一対の投写領域が互いに重なり合う領域の水平方向の幅との比率等により表される。
特に、上述したように第1、第2投写領域A1、A2の相対位置のずれ量の推定値に基づいて、上記のb、eの値を例えば10ピクセル以上に設定すると、第1、第2投写領域A1、A2の相対位置のずれを生じていても投写特徴図形T111、T121が互いに重なり合う確率が低くなる。また、bとeの差の絶対値がcの略半分になるようにb、eの値を設定すると、第1投写領域A1が第2投写領域A2に対して水平方向の正方向にずれる場合と負方向にずれる場合のいずれの場合においても、投写特徴図形T111、T121が互いに重なり合う確率が低くなる。
図6に示すように、補正情報演算部61は、第1、第2の測定用パターンD11、D12の他に、第3の測定用パターンD13を第3のプロジェクター23に供給し、第4の測定用パターンD14を第4のプロジェクター24に供給する。第3の測定用パターンD13は第3投写領域A3に投写され、第4の測定用パターンD14は第4投写領域A4に投写される。
ここで、第3、第4投写領域A3、A4が並ぶ方向(水平方向)に相当する測定用画像データ上での画素の配列方向(i方向)を第1配列方向とし、第1配列方向と直交する方向を第2配列方向(j方向)とする。第3の測定用パターンD13の特徴図形D131、第4の測定用パターンD14の特徴図形D141のうちで、第1配列方向において第3、第4の測定用パターンD13、D14が互いに重畳される側の端に配置された特徴図形D131、D141(特徴図形列)に着目する。着目対象の各特徴点について、特徴図形D131が示す特徴点の第2配列方向の位置は、特徴図形D141が示すいずれの特徴点の第2配列方向の位置とも異なっている。
次に、第1、第3投写領域A1、A3が並ぶ方向(垂直方向)に相当する測定用パターンでの画素の配列方向(j方向)を第1配列方向とし、第1配列方向と直交する方向を第2配列方向(i方向)とする。第1の測定用パターンD11の特徴図形D111、第3の測定用パターンD13の特徴図形D131のうちで、第1、第3の測定用パターンD11、D13が互いに重畳される側の端に配置された特徴図形D111、D131(特徴図形列)に着目する。着目対象の各特徴図形について、特徴図形D111が示す特徴点の第2配列方向(i方向)の位置は、特徴図形D131が示すいずれの特徴点の第2配列方向(i方向)の位置とも異なっている。このような特徴点の位置の対応関係は、第2、第4の測定用パターンD12、D14についても成り立っている。
被投写面9には、第3の測定用パターンD13に相当する第3の投写測定用パターンT13が表示される。第3の投写測定用パターンT13には、特徴図形D131に相当する投写特徴図形T131が含まれる。同様に、被投写面9上に、第4の測定用パターンD14に相当する第4の投写測定用パターンT14が表示される。第4の投写測定用パターンT14には、特徴図形D141に相当する投写特徴図形T141が含まれる。上述の関係を満たすように、第1〜第4の測定用画像データが設定されているので、投写特徴図形T111〜T114のいずれについても、互いに重なり合う確率が低くなる。
図4の説明に戻り、撮影装置4は、被投写面9上の第1〜第4の投写測定用パターンT11〜T14を含んだ領域を撮影する(ステップS4)。
次いで、補正情報算出装置6の画像解析部62は、撮影装置4により撮影された撮影画像の中の測定用パターン(撮影パターン)を検出する(ステップS5)。
ところで、投写測定用パターンごとに撮影を行い、複数回数の撮影を行う場合には、撮影と撮影の間に撮影装置が移動することがありえる。撮影装置が移動すると、撮影画像に占める投写測定用パターンの位置が撮影画像ごとに異なってしまい、特徴点を検出するための処理が複雑になる不都合や、検出した特徴点の位置の誤差が増す不都合がある。2以上のプロジェクターから投写された測定用パターンの全体を含む領域を撮影することにより、撮影回数を減らすことができ、撮影に要する手間や時間を減らすことや上記の不都合を回避することができる。
次いで、補正情報算出装置6の補正情報演算部61は、撮影パターンと、測定用画像データが示す測定用パターンとを比較して、補正情報を算出する(ステップS6)。補正情報の算出方法としては、各プロジェクターの画像形成素子での画素の位置と、被投写面9上での画素の位置との対応関係を示す情報が得られる方法であれば、特に限定されない。例えば、補正情報の算出方法として下記の2つの方法が挙げられる。
第1の方法では、補正情報演算部61が撮影パターンに含まれる特徴図形を検出し、撮影パターンにおける特徴図形ごとの特徴点の位置を求める。そして、測定用画像データに規定された測定用パターンを撮影パターンに変換する射影変換を求める。この射影変換により画像データ上の各画素の座標(i,j)を変換して、画素ごとのデータのテーブルとして補正情報を算出する。なお、撮影パターンを測定用画像データに規定された測定用パターンに変換する射影変換を求める場合でも、画像形成素子上での画素の座標と、被投写面での画素の位置との対応関係を示す補正情報が得られる。
図7は、補正情報の算出方法の一例を示す説明図である。図7には、測定画像用データに規定された測定用パターンDの一部と、画像データ上での撮影パターンTとを概念的に図示している。図7において、符号D1〜D4は、測定用パターンDに含まれる特徴点を示す。特徴点D1〜D4は、各特徴点を順に結んだ線が領域D5の輪郭をなすように選択される。図7において、符号T1〜T4は、撮影パターンTに含まれる特徴点を示す。特徴点T1〜T4は、投写された測定用パターンDにおける特徴点D1〜D4に相当する特徴点である。特徴点T1〜T4を順に結んだ線は領域T5の輪郭をなしている。
射影変換の変換式は、下記の式(1)、式(2)で表すことができる。式(1)、式(2)において、(x,y)は変換前の任意の点のij座標(i,j)を示し、(X,Y)はこの点の変換先のij座標(i,j)を示す。a〜hは変換係数を示し、a〜hを求めることにより、1つの射影変換が求まる。
X=(ax+by+c)/(gx+hy+1)・・・(1)
Y=(dx+ey+f)/(gx+hy+1)・・・(2)
特徴点D1〜D4の各々の座標は、測定用画像データに規定されるので既知である。特徴点T1〜T4の各々の座標は、撮影パターンTから特徴点を検出することにより、既知になっている。式(1)、式(2)の(x,y)に特徴点D1の座標を代入し、(X,Y)に特徴点T1の座標を代入すると、a〜hの関係式が2つ得られる。同様に特徴点D2、T2の組、特徴点D3、T3の組、特徴点D4、T4の組のそれぞれの座標を代入することにより、a〜hの8つの未知数に対して8つの関係式が得られる。この8元1次方程式を解くことにより、領域D5を領域T5に変換する射影変換のa〜hが得られる。得られた射影変換に対して、領域D5の周上および内側に含まれる各画素の座標を(x,y)に代入することにより、領域D5の各画素と1対1で対応する領域T5での各画素の座標が求まる。
ここでは、測定用パターンに含まれる特徴点から特徴点D1〜D4を選択して、測定用パターンDの一部をなす領域D5に対する射影変換を求める。そして、異なる特徴点を特徴点D1〜D4として選択することにより、領域D5を異ならせて射影変換を求める。得られた射影変換を用いて、上述のようにして領域D5の各画素と1対1で対応する領域T5での各画素の座標を求める。以下同様にして測定用パターンの部分ごとの射影変換を求め、測定用パターンの各画素の座標と、画素ごとに対応する撮影パターンの画素の座標を求める。測定用パターンの各画素の座標は、プロジェクターの画像形成素子における画素の位置と対応関係がある。また、撮影パターンの画素の座標は、被投写面での画素の位置と対応関係がある。したがって、結果的に画像形成素子上での画素の座標と、被投写面での画素の位置との対応関係を示す補正情報が得られる。
例えば、画像形成素子の各画素の座標に対して上記の射影変換を行うことにより、被投写面9上での画素(以下、変換画素という)の座標が求まる。変換画素の座標の最大値や最小値を参照することにより、有効投写領域Aの範囲が自動または手動で設定される。そして、有効投写領域Aの中に、コンテンツ画像の形式や画素数に応じた画素(表示画素)の配列を配置するものとして、被投写面9上での各表示画素の座標を上記の有効投写領域Aの範囲の設定値から求める。表示画素の座標が変換画素の座標からずれる場合には、表示画素の周囲に位置する変換画素に供給される画素データを用いて表示画素の画素データを補間により求めるべく、周囲の変換画素と表示画素との距離に応じた補間の重み付けを示す補間係数を求めておいてもよい。この補間係数は表示画素ごとの固定値になるので、補正情報の一部として保存しておくとよい。
第2の方法では、第1の方法と同様に撮影パターンにおける特徴図形ごとの特徴点の位置を求める。そして、撮影パターンを測定用画像データに規定された測定用パターンに変換する射影変換(第1の方法での射影変換の逆変換)を求める。また、例えば撮影パターンに含まれる特徴点の位置を用いて全体投写領域A0の範囲を推定し、有効投写領域Aの範囲を自動または手動で設定する。そして、有効投写領域Aの中に、コンテンツ画像の形式や画素数に応じた表示画素の配列を配置するものとして、被投写面9上での各表示画素の座標を上記の有効投写領域Aの範囲の設定値から求める。得られた各表示画素の座標を射影変換により変換することにより、被投写面9上での各表示画素に対応する画像形成素子上の画素(以下、変調単位という)の位置が求まる。得られた変調単位の位置が、実際の変調単位の位置と整合しない場合、すなわち変調単位に2以上の表示画素が対応する場合には、必要に応じて各変調単位に入力される画素データを補間により求めるべく、補間係数を求めておいてもよい。上述のように、求めた補間係数は補正情報の一部として保存しておくとよい。
図4の説明に戻り、コンテンツ画像Pを表示するときに画像制御装置5は、コンテンツ画像Pを示す画像データに基づいて各プロジェクター用の部分画像データを作成するとともに、画像データに対して補正情報を用いて位置補正処理を施す(ステップS7)。
次いで、画像処理装置3は、位置補正処理の補正後の部分画像データを、対象となるプロジェクターに供給する。第1〜第4のプロジェクター21〜24の各々は、供給された部分画像データに基づいて部分画像を投写する(ステップS8)。このようにして、第1〜第4の部分画像P1〜P4からなるコンテンツ画像Pが表示される。
本実施形態の補正情報算出装置によれば、複数のプロジェクター2で並行して測定用パターンD11〜D14を投写させた場合でも、被投写面9上で投写特徴図形T111、T121、T131、T141が重なり合うことを回避可能になる。したがって、複数のプロジェクターで並行して測定用パターンを投写させつつ、投写された特徴図形の位置を高精度に検出することができる。よって、被投写面上での画素の位置と画像データに規定された画素の位置との対応関係を示す補正情報を効率よく取得可能になる。
また、第1〜第4の測定用パターンD11〜14で、特徴図形の形状や寸法が同じになっているので、特徴図形を検出する処理の複雑化を回避することができる。また、第1〜第4の測定用パターンD11〜14で、特徴図形の外部および内部の色調が略同じになっているので、色ムラなどによる特徴図形の検出精度の低下を回避することができる。
本実施形態の画像処理装置や画像処理方法によれば、補正情報を取得するのに要する手間や時間を省きつつ、部分画像の歪や相対位置のずれを高精度に補正可能になる。
本実施形態の画像表示システムによれば、補正情報を取得する上での手間や時間を省くことができるので利便性が高くなり、また部分画像の歪や相対位置のずれが高精度に補正されるので、コンテンツ画像を大画面、高解像度、あるいは高輝度で表示可能になる。
なお、本発明の技術範囲は上記の実施形態に限定されるものではない。例えば、本発明に適用可能な測定用パターンについては多様な変形が考えられる。以下、測定用パターンの例について説明する。
図8(a)は第2の例の測定用パターンの説明図、図8(b)は投写された第2例の測定用パターンを示す説明図である。第2の例の測定用パターンは、複数のプロジェクターに共通して用いることができる測定用パターンの一例である。図8(b)では、隣り合う測定用パターンで特徴図形の区別を分かりやすく示すために、便宜上、測定用パターンごとに特徴図形を異なるマークで示している。
図8(a)に示す第2の例の測定用パターンD15は、複数の特徴図形D151を含んでいる。複数の特徴図形D151は、第1〜第4の配置領域D152〜D155に分かれて配置されている。各配置領域で特徴図形D151は、i方向およびj方向の各々において所定のピッチで規則的に並んでいる。
第1の配置領域D152と第2の配置領域D153はi方向に並んでおり、第3の配置領域D154と第4の配置領域D155はi方向に並んでいる。i方向に並ぶ一対の配置領域、例えば第1の配置領域D152と第2の配置領域D153に着目する。一対の配置領域において、i方向の最も外側に配置された特徴図形D151は、j方向に規則的に並んでおり、特徴図形列を構成している。
第1の配置領域D152の第1の特徴図形列D156に属する各特徴図形が示す特徴点のj方向の座標は、第2の配置領域D153の第2の特徴図形列D157に属するいずれの特徴図形が示す特徴点のj方向の座標とも異なっている。ここでは、第1の配置領域D152の特徴図形D151の位置をi方向に平行シフトした場合に、そのシフト量に関らず、第1の配置領域D152の各特徴図形の位置が、第2の配置領域D153のいずれの特徴図形D151の位置とも一致しないようになっている。第3の配置領域D154の特徴図形D151の配置と、第4の配置領域D155の特徴図形の配置との関係も同様になっている。
第1の配置領域D152と第3の配置領域D154はj方向に並んでおり、第2の配置領域D153と第4の配置領域D155はj方向に並んでいる。j方向に並ぶ一対の配置領域、例えば第1の配置領域D152と第3の配置領域D154に着目する。一対の配置領域において、j方向の最も外側に配置された特徴図形D151は、i方向に規則的に並んでおり、特徴図形列を構成している。
第1の配置領域D152の第3の特徴図形列D158に属する各特徴図形が示す特徴点のi方向の座標は、第3の配置領域D154の第4の特徴図形列D159に属するいずれの特徴図形が示す特徴点のi方向の座標とも異なっている。ここでは、第1の配置領域D152の特徴図形D151の位置をj方向に平行シフトした場合に、そのシフト量に関らず、第1の配置領域D152の各特徴図形の位置が、第3の配置領域D154のいずれの特徴図形D151の位置とも一致しないようになっている。第2の配置領域D153の特徴図形D151の配置と、第4の配置領域D155の特徴図形D151の配置との関係も同様になっている。
図8(b)に示すように、第1のプロジェクター21から投写された測定用パターンD15は、被投写面9上に第1の投写測定用パターンT16が表示される。第1の投写測定用パターンT16は、特徴図形D151に相当する投写特徴図形T161を含んでいる。同様に、第2〜第4のプロジェクター22〜24により第2〜第4の投写測定用パターンT17〜T19が表示される。第2〜第4の投写測定用パターンT17〜T19は、それぞれ、特徴図形D151に相当する投写特徴図形T171、T181、T191を含んでいる。
第1の投写測定用パターンT16は、第2の投写測定用パターンT17と水平方向に並んでいる。第1、第2の投写測定用パターンT16、T17の水平方向に並ぶ表示画素は、測定用パターンD15のi方向に並ぶ画素に相当する。第1、第2の投写測定用パターンT16、T17が並ぶ方向に相当するi方向を第1配列方向とし、j方向を第2配列方向としたときに、第1の特徴図形列D156の各特徴点の第2配列方向(j方向)の座標が、第2の特徴図形列D157のいずれの特徴点のj方向の座標とも異なっている。したがって、投写特徴図形T161の垂直方向の位置が、投写特徴図形T171の垂直方向の位置とずれやすくなり、第1、第2の投写測定用パターンT16、T17の水平方向のオーバーラップ量に関らず、投写特徴図形T161、T171が重なり合うことが回避される。第3の投写測定用パターンT18は、第4の投写測定用パターンT19と水平方向に並んでおり、同様の理由により、第3、第4の投写測定用パターンT18、T19の水平方向のオーバーラップ量に関らず、投写特徴図形T181、T191が重なり合うことが回避される。
第1の投写測定用パターンT16は、第3の投写測定用パターンT18と垂直方向に並んでいる。第1、第3の投写測定用パターンT16、T18の垂直方向に並ぶ表示画素は、測定用パターンD15のj方向に並ぶ画素に相当する。第1、第2の投写測定用パターンT16、T18が並ぶ方向に相当するj方向を第1配列方向とし、i方向を第2配列方向としたときに、第3の特徴図形列D158の各特徴点の第2配列方向(i方向)の座標が、第4の特徴図形列D159のいずれの特徴点のi方向の座標とも異なっている。したがって、投写特徴図形T151の水平方向の位置が、投写特徴図形T181の水平方向の位置とずれやすくなり、第1、第3の投写測定用パターンT16、T18の垂直方向のオーバーラップ量に関らず、投写特徴図形T161、T181が重なり合うことが回避される。第2の投写測定用パターンT17は、第4の投写測定用パターンT19と垂直方向に並んでおり、同様の理由により、第2、第4の投写測定用パターンT17、T19の水平方向のオーバーラップ量に関らず、投写特徴図形T171、T191が重なり合うことが回避される。
以上のように第2の例の測定用パターンによれば、特徴図形D151の配置が同じである測定用パターンを複数のプロジェクター2で並行して投写させた場合でも、被投写面9上で投写特徴図形T161、T171、T181、T191が重なり合うことを回避可能になる。したがって、上記の実施形態と同様の理由により、被投写面上での画素の位置と画像データに規定された画素の位置との対応関係を示す補正情報を効率よく取得可能になる。
複数のプロジェクター2で特徴図形D151の配置が同じである測定用パターンを用いるので、測定用画像データの作成等に要する手間を減らすことができる、また、いずれのプロジェクターに投写された測定用パターンも特徴図形の配置が同様であるので、いずれの投写測定用パターンの特徴点も同様のアルゴリズムにより検出可能になり、特徴点の検出に要する手間を減らすことができる。
図9は、第3の例の測定用パターンの説明図である。
図9に示すように、第3の例の測定用パターンとしての第5〜第8の測定用パターンD21〜D24は、上記の実施形態で説明した第1の例における特徴図形(以下、第1の特徴図形という)に加えて、第2の特徴図形を含んでいる。
詳しくは、第5の測定用パターンD21は、第1の特徴図形D111に加えて第2の特徴図形D211を含んでいる。第2の特徴図形D211は、第1の特徴図形D111よりも大面積のものであり、例えば矩形や円形等の単純形状のものである。本例では、略矩形の第2の特徴図形D211が、第5の測定用パターンD21の概ね中央に配置されている。ここでは、第2の特徴図形D211の内側に第5の測定用パターンD21の中心位置が含まれる位置関係になっている。同様に、第6の測定用パターンD22は第2の特徴図形D221を含んでおり、第7の測定用パターンD23は第2の特徴図形D231を、第8の測定用パターンD24は第2の特徴図形D241をそれぞれ含んでいる。
第5の測定用パターンD21は、第1のプロジェクター21により投写され、被投写面9上に第5の投写測定用パターンT21として表示される。第5の投写測定用パターンT21は、第1の特徴図形D111に相当する第1の投写特徴図形T111と、第2の特徴図形D211に相当する第2の投写特徴図形T211とを含んでいる。同様に、第6〜第8の測定用パターンD22〜D24は、第2〜第4のプロジェクター22〜24により投写され、被投写面9上に第6〜第8の投写測定用パターンT22〜T24として表示される。第6〜第8の投写測定用パターンT22〜T24は、第2の投写特徴図形T221、T231、T241を含んでいる。
第5〜第8の投写測定用パターンT21〜T24を撮影した撮影画像から第1の特徴図形を検出するには、まず第2の特徴図形を検出する。第2の特徴図形は、第1の特徴図形よりも大面積であるとともに単純形状であるので、例えばハフ変換等により容易に検出することができる。測定用パターンに占める第1、第2の特徴図形の位置は、測定用画像データに規定されており既知であるので、検出された第2の特徴図形の位置情報を用いると、撮影投写パターンに占める第1の特徴図形の概位置を推定することができる。この概位置を用いて、例えば概位置周りの所定の領域を探索して第1の特徴図形を検出する。これにより、第1の特徴図形の検出に要する演算負荷を減らすことができ、補正情報を効率よく得ることが可能になる。また、演算負荷を増すことなく、第1の特徴図形を探索するときの領域の刻み幅を細かくすることが可能になり、第1の特徴図形の検出の失敗数を減らすことができる。また、第1の特徴図形の検出の失敗を生じたときに、例えば第1の特徴図形の概位置の推定値を検出結果として代用することが可能になり、処理のロバスト性を高めることができる。
1・・・画像表示システム、2・・・プロジェクター、3・・・画像処理装置、
4・・・撮影装置、5・・・画像制御装置、6・・・補正情報算出装置、
8・・・信号源、9・・・被投写面、21・・・第1のプロジェクター、
22・・・第2のプロジェクター、23・・・第3のプロジェクター、
24・・・第4のプロジェクター、51・・・画像入力部、52・・・画像保存部、
53・・・画像補正部、54・・・画像出力部、61・・・補正情報演算部、
62・・・画像解析部、63・・・記憶部、A・・・有効投写領域、
A0・・・全体投写領域、A1・・・第1投写領域、A2・・・第2投写領域、
A3・・・第3投写領域、A4・・・第4投写領域、D・・・測定用パターン、
D1〜D4・・・特徴点、D5・・・領域、
D11〜D15、D21〜D24・・・測定用パターン、
D111・・・特徴図形(第1の特徴図形)、D112・・・特徴図形列、
D121・・・特徴図形、D122・・・特徴図形列、
D131、D141、D151・・・特徴図形、D152・・・第1の配置領域、
D153・・・第2の配置領域、D154・・・第3の配置領域、
D155・・・第4の配置領域、D156・・・第1の特徴図形列、
D157・・・第2の特徴図形列、D158・・・第3の特徴図形列、
D159・・・第4の特徴図形列、
D211、D221、D231、D241・・・第2の特徴図形、
P・・・コンテンツ画像(画像)、P1・・・第1の部分画像、
P2・・・第2の部分画像、P3・・・第3の部分画像、P4・・・第4の部分画像、
P5・・・重畳領域、S1〜S8・・・ステップ、T・・・撮影パターン、
T1〜T4・・・特徴点、T5・・・領域、
T11〜T14、T16〜T19、T21〜T24・・・投写測定用パターン、
T111・・・投写特徴図形(第1の投写特徴図形)、
T112、T121・・・投写特徴図形、T122・・・投写特徴図形列、
T131、T141、T151、T161、T171、T181・・・投写特徴図形、
T211、T221、T231、T241・・・第2の投写特徴図形

Claims (6)

  1. 画像形成素子を有するプロジェクターによって被投写面上に投写される画像における画素の位置と、前記画像形成素子における画素の位置との対応関係を示す補正情報を算出する補正情報算出装置であって、
    特徴点を規定する特徴図形を複数含んだ第1の測定用パターンを示す第1の測定用画像データを前記被投写面上の第1投写領域に投写する第1のプロジェクターに供給するとともに、特徴点を規定する特徴図形を複数含んだ第2の測定用パターンを示す第2の測定用画像データを前記第1投写領域と重なり合う重畳領域を含んだ第2投写領域に投写する第2のプロジェクターに供給する供給部と、
    前記第1及び第2の測定用画像データに基づいて前記第1及び第2のプロジェクターにより被投写面上に投写された前記第1及び第2の測定用パターンを撮影した撮影パターンにおける複数の前記特徴点の位置と、前記第1及び第2の測定用画像データに規定された複数の前記特徴点の位置とを比較して、前記補正情報を算出する算出部と、を備え、
    前記第1投写領域と前記第2投写領域とが並ぶ方向に相当する前記第1及び第2の測定用パターンの画素の配列方向を第1配列方向とし、前記第1配列方向の交差方向を第2配列方向としたときに、前記第1及び第2の測定用パターンは、前記複数の特徴図形のうちで前記第1配列方向における他の測定用パターンとの重畳側の端に配置された2以上の前記特徴図形により構成される特徴図形列を含み、前記第1の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第2配列方向の位置が、前記第2の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第2配列方向の位置と異なることを特徴とする補正情報算出装置。
  2. 前記第1の測定用パターンにおける前記複数の特徴図形の配置が、前記第2の測定用パターンにおける前記複数の特徴図形の配置と同じであって、該測定用パターンは、前記第1配列方向の一端に配置された第1の前記特徴図形列と、他端に配置された第2の前記特徴図形列とを含み、前記第1の特徴図形列に属する各特徴図形の前記第2配列方向の位置が、前記第2の特徴図形列に属する各特徴図形の前記第2配列方向の位置と異なることを特徴とする請求項1に記載の補正情報算出装置。
  3. 請求項1または請求項2に記載の補正情報算出装置と、
    前記補正情報算出装置により算出された前記補正情報を参照して、補正後の画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正する画像補正部と、
    を備えていることを特徴とする画像処理装置。
  4. 請求項3に記載の画像処理装置と、
    前記画像処理装置により補正された前記補正後の画像データに基づいて画像を投写する複数のプロジェクターと、
    を備えていることを特徴とする画像表示システム。
  5. 前記測定用パターンが投写された前記第1投写領域および前記第2投写領域を含む領域を撮影する撮影装置を備え、
    前記補正情報算出装置は、前記撮影装置により撮影された撮影画像のうちの前記撮影パターンを用いて前記補正情報を算出することを特徴とする請求項4に記載の画像表示ステム。
  6. 特徴点を規定する特徴図形を複数含んだ第1の測定用パターンを示す第1の測定用画像データを前記被投写面上の第1投写領域に投写する第1のプロジェクターに供給するとともに、特徴点を規定する特徴図形を複数含んだ第2の測定用パターンを示す第2の測定用画像データを前記第1投写領域と重なり合う重畳領域を含んだ第2投写領域に投写する第2のプロジェクターに供給する測定用データ供給ステップと、
    前記測定用画像データに基づいて前記プロジェクターにより被投写面上に投写された測定用パターンを撮影した撮影パターンにおける複数の前記特徴点の位置と、前記測定用画像データに規定された複数の前記特徴点の位置とを比較して、前記被投写面上での画素の位置と前記プロジェクターの画像形成素子での画素の位置との対応関係を示す補正情報を算出するステップと、
    前記補正情報を参照して、補正後の画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正するステップと、
    を有し、
    前記第1投写領域と前記第2投写領域とが並ぶ方向に相当する前記測定用パターンの画素の配列方向を第1配列方向とし、前記第1配列方向の交差方向を第2配列方向としたときに、前記測定用パターンは、前記複数の特徴図形のうちで前記第1配列方向における他の測定用パターンとの重畳側の端に配置された2以上の前記特徴図形により構成される特徴図形列を含み、
    前記第1の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第2配列方向の位置を、前記第2の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第2配列方向の位置と異ならせること特徴とする画像処理方法。
JP2010042463A 2010-02-26 2010-02-26 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法 Expired - Fee Related JP5440250B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010042463A JP5440250B2 (ja) 2010-02-26 2010-02-26 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法
US13/021,986 US8866902B2 (en) 2010-02-26 2011-02-07 Correction information calculating device, image processing apparatus, image display system, and image correcting method
CN2011100453008A CN102170544B (zh) 2010-02-26 2011-02-24 校正信息计算装置、图像处理装置、显示系统及校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010042463A JP5440250B2 (ja) 2010-02-26 2010-02-26 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法

Publications (2)

Publication Number Publication Date
JP2011182076A true JP2011182076A (ja) 2011-09-15
JP5440250B2 JP5440250B2 (ja) 2014-03-12

Family

ID=44491501

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010042463A Expired - Fee Related JP5440250B2 (ja) 2010-02-26 2010-02-26 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法

Country Status (3)

Country Link
US (1) US8866902B2 (ja)
JP (1) JP5440250B2 (ja)
CN (1) CN102170544B (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013167660A (ja) * 2012-02-14 2013-08-29 Seiko Epson Corp プロジェクター、及び、画像表示システム
JP2014007517A (ja) * 2012-06-22 2014-01-16 Seiko Epson Corp プロジェクター、画像表示システム、プロジェクターの制御方法
JP2014085413A (ja) * 2012-10-19 2014-05-12 Casio Comput Co Ltd 投影装置、投影制御装置、投影システム及び投影状態調整方法
EP2849149A2 (en) 2013-09-13 2015-03-18 Ricoh Company, Ltd. Projection system, image processing device, and projection method
JP2016162218A (ja) * 2015-03-02 2016-09-05 セイコーエプソン株式会社 画像処理装置、表示装置、及び、画像処理装置の制御方法
US9514716B2 (en) 2012-10-19 2016-12-06 Casio Computer Co., Ltd. Projection apparatus, projection control apparatus, projection system, and projection state adjustment method
US9532018B2 (en) 2013-07-26 2016-12-27 Ricoh Company, Ltd. Projection system, device and method for the output of calibration projection scenes
JP2017083672A (ja) * 2015-10-29 2017-05-18 セイコーエプソン株式会社 画像投射システム、プロジェクター、及び、画像投射システムの制御方法
JP2017102473A (ja) * 2017-01-20 2017-06-08 セイコーエプソン株式会社 プロジェクター、プロジェクターの黒レベル領域設定方法
JP2017169204A (ja) * 2017-04-12 2017-09-21 カシオ計算機株式会社 投影装置及び投影状態調整方法
WO2019054204A1 (ja) * 2017-09-14 2019-03-21 ソニー株式会社 画像処理装置および方法
JP2020508479A (ja) * 2016-12-16 2020-03-19 シージェイ シージーブイ カンパニー リミテッド 撮影装置により撮影されたイメージに基づく投影領域自動補正方法及びこのためのシステム

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5482335B2 (ja) * 2010-03-16 2014-05-07 富士通株式会社 マーカ配置装置、マーカ検出装置、及びプログラム
US8799769B2 (en) * 2011-02-08 2014-08-05 Ebay Inc. Application above-the-fold rendering measurements
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP6065656B2 (ja) * 2012-05-22 2017-01-25 株式会社リコー パターン処理装置、パターン処理方法、パターン処理プログラム
US8976241B1 (en) * 2012-09-27 2015-03-10 The United States Of America As Represented By The Secretary Of The Navy Surface deformation image analyzer
JP2015056687A (ja) * 2013-09-10 2015-03-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2015206950A (ja) * 2014-04-22 2015-11-19 ソニー株式会社 情報処理装置、情報処理方法、プログラム、調整装置、及び画像表示システム
JP6711271B2 (ja) * 2014-07-01 2020-06-17 ソニー株式会社 画像処理装置および方法
CN105530447A (zh) * 2014-09-28 2016-04-27 联想(北京)有限公司 一种信息处理方法及电子设备
TWI611383B (zh) * 2015-03-03 2018-01-11 宏正自動科技股份有限公司 多影像輸出裝置校正系統及其校正方法
US9948908B2 (en) * 2015-03-09 2018-04-17 Sony Corporation Display control device and display control method
CN105120187B (zh) * 2015-08-20 2018-06-19 深圳创维-Rgb电子有限公司 一种激光电视的图像处理方法、系统及激光电视
JP6594170B2 (ja) * 2015-11-12 2019-10-23 キヤノン株式会社 画像処理装置、画像処理方法、画像投影システムおよびプログラム
JP6726967B2 (ja) * 2016-01-19 2020-07-22 三菱電機株式会社 輝度ムラ測定装置
JP6707870B2 (ja) * 2016-01-20 2020-06-10 セイコーエプソン株式会社 投写システムおよび投写位置検出方法
WO2017154609A1 (ja) * 2016-03-10 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JPWO2017179111A1 (ja) * 2016-04-12 2019-01-17 マクセル株式会社 表示システムおよび情報処理方法
JP6798163B2 (ja) * 2016-07-05 2020-12-09 セイコーエプソン株式会社 プロジェクションシステム、及び、プロジェクションシステムの調整方法
US10225535B2 (en) * 2016-08-11 2019-03-05 Rabin Esrail Self-adjusting portable modular 360-degree projection and recording computer system
US9930307B1 (en) * 2016-09-28 2018-03-27 Intel Corporation Projector image alignment
US10349025B2 (en) * 2017-07-27 2019-07-09 Seiko Epson Corporation Projector and method of controlling projector
CN109587458B (zh) * 2017-09-29 2021-10-15 中强光电股份有限公司 投影系统及其自动设定方法
CN109693371A (zh) * 2017-10-20 2019-04-30 扬明光学股份有限公司 三维列印系统及其制造方法
JP6926948B2 (ja) * 2017-10-27 2021-08-25 セイコーエプソン株式会社 プロジェクター、画像投写システム、及びプロジェクターの制御方法
KR102051498B1 (ko) * 2017-12-20 2019-12-03 스크린엑스 주식회사 다면 상영관 모니터링 시스템 및 방법
JP7077611B2 (ja) 2017-12-27 2022-05-31 セイコーエプソン株式会社 プロジェクター、マルチプロジェクションシステムおよびプロジェクターの制御方法
CN108271009A (zh) * 2018-01-25 2018-07-10 深圳市智控王科技有限公司 超高亮度和超高分辨率投影的装置及其投影方法
JP7081200B2 (ja) * 2018-02-22 2022-06-07 セイコーエプソン株式会社 画像表示装置、及び画像表示装置の制御方法
TWI677231B (zh) * 2018-03-16 2019-11-11 和碩聯合科技股份有限公司 顯示器檢測方法與系統
CN108683897B (zh) * 2018-05-07 2020-05-19 长春理工大学 多投影显示系统畸变的智能校正方法
CN110784691B (zh) * 2018-07-31 2022-02-18 中强光电股份有限公司 投影装置、投影系统及影像校正方法
CN110784692B (zh) * 2018-07-31 2022-07-05 中强光电股份有限公司 投影装置、投影系统及影像校正方法
CN112714298B (zh) * 2019-10-25 2023-06-30 中强光电股份有限公司 投影系统及其调整投影画面的方法
CN113747131A (zh) * 2020-05-29 2021-12-03 中强光电股份有限公司 投影系统及其自适应性调整方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001188481A (ja) * 1999-12-28 2001-07-10 Hitachi Ltd ディスプレイ装置及び表示システム
JP2005269528A (ja) * 2004-03-22 2005-09-29 Seiko Epson Corp マルチプロジェクションシステムのための画像補正方法
JP2006293387A (ja) * 2006-06-19 2006-10-26 Seiko Epson Corp ライトバルブの位置決め装置
JP2008242100A (ja) * 2007-03-27 2008-10-09 Seiko Epson Corp 光学装置の製造装置、位置調整方法、位置調整プログラム、および記録媒体
JP2009077167A (ja) * 2007-09-20 2009-04-09 Panasonic Electric Works Co Ltd 映像調整システム
JP2009229807A (ja) * 2008-03-24 2009-10-08 Brother Ind Ltd プロジェクタ

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6205259B1 (en) * 1992-04-09 2001-03-20 Olympus Optical Co., Ltd. Image processing apparatus
JP3791696B2 (ja) 1992-04-09 2006-06-28 オリンパス株式会社 画像表示装置
JP3497805B2 (ja) * 2000-08-29 2004-02-16 オリンパス株式会社 画像投影表示装置
JP3542582B2 (ja) * 2002-01-07 2004-07-14 キヤノン株式会社 画像処理装置およびその制御方法
TWI249959B (en) * 2003-05-16 2006-02-21 Seiko Epson Corp Image processing system, projector, information memorizing medium and image processing method
JP4055010B2 (ja) * 2003-09-26 2008-03-05 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2005293090A (ja) * 2004-03-31 2005-10-20 Namco Ltd 位置検出システム、ゲームシステム及び位置検出システムの制御方法
JP3757979B2 (ja) 2004-08-23 2006-03-22 株式会社日立製作所 映像表示システム
JP4165540B2 (ja) * 2005-06-27 2008-10-15 セイコーエプソン株式会社 投写画像の位置調整方法
WO2007072695A1 (ja) * 2005-12-22 2007-06-28 Matsushita Electric Industrial Co., Ltd. 画像投射装置
JP3880609B1 (ja) * 2006-02-10 2007-02-14 シャープ株式会社 画像投影方法及びプロジェクタ
KR100809351B1 (ko) * 2006-04-03 2008-03-05 삼성전자주식회사 투사 영상을 보정하는 방법 및 장치
US7800628B2 (en) * 2006-06-16 2010-09-21 Hewlett-Packard Development Company, L.P. System and method for generating scale maps
US7854518B2 (en) * 2006-06-16 2010-12-21 Hewlett-Packard Development Company, L.P. Mesh for rendering an image frame
US7907792B2 (en) * 2006-06-16 2011-03-15 Hewlett-Packard Development Company, L.P. Blend maps for rendering an image frame
JP2009021771A (ja) 2007-07-11 2009-01-29 Hitachi Ltd 映像調整方法
JP5495572B2 (ja) * 2009-01-07 2014-05-21 キヤノン株式会社 プロジェクタ・システム及びこれを含むビデオ会議システム
JP5493438B2 (ja) * 2009-04-10 2014-05-14 株式会社ニコン 投影装置および投影像補正プログラム
US8328365B2 (en) * 2009-04-30 2012-12-11 Hewlett-Packard Development Company, L.P. Mesh for mapping domains based on regularized fiducial marks
JP5257616B2 (ja) * 2009-06-11 2013-08-07 セイコーエプソン株式会社 プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
JP2011033857A (ja) * 2009-08-03 2011-02-17 Seiko Epson Corp プロジェクター及びその制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001188481A (ja) * 1999-12-28 2001-07-10 Hitachi Ltd ディスプレイ装置及び表示システム
JP2005269528A (ja) * 2004-03-22 2005-09-29 Seiko Epson Corp マルチプロジェクションシステムのための画像補正方法
JP2006293387A (ja) * 2006-06-19 2006-10-26 Seiko Epson Corp ライトバルブの位置決め装置
JP2008242100A (ja) * 2007-03-27 2008-10-09 Seiko Epson Corp 光学装置の製造装置、位置調整方法、位置調整プログラム、および記録媒体
JP2009077167A (ja) * 2007-09-20 2009-04-09 Panasonic Electric Works Co Ltd 映像調整システム
JP2009229807A (ja) * 2008-03-24 2009-10-08 Brother Ind Ltd プロジェクタ

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013167660A (ja) * 2012-02-14 2013-08-29 Seiko Epson Corp プロジェクター、及び、画像表示システム
JP2014007517A (ja) * 2012-06-22 2014-01-16 Seiko Epson Corp プロジェクター、画像表示システム、プロジェクターの制御方法
US9514716B2 (en) 2012-10-19 2016-12-06 Casio Computer Co., Ltd. Projection apparatus, projection control apparatus, projection system, and projection state adjustment method
JP2014085413A (ja) * 2012-10-19 2014-05-12 Casio Comput Co Ltd 投影装置、投影制御装置、投影システム及び投影状態調整方法
US9532018B2 (en) 2013-07-26 2016-12-27 Ricoh Company, Ltd. Projection system, device and method for the output of calibration projection scenes
EP2849149A2 (en) 2013-09-13 2015-03-18 Ricoh Company, Ltd. Projection system, image processing device, and projection method
US9661257B2 (en) 2013-09-13 2017-05-23 Ricoh Company, Ltd. Projection system, image processing device, and projection method
JP2016162218A (ja) * 2015-03-02 2016-09-05 セイコーエプソン株式会社 画像処理装置、表示装置、及び、画像処理装置の制御方法
JP2017083672A (ja) * 2015-10-29 2017-05-18 セイコーエプソン株式会社 画像投射システム、プロジェクター、及び、画像投射システムの制御方法
JP2020508479A (ja) * 2016-12-16 2020-03-19 シージェイ シージーブイ カンパニー リミテッド 撮影装置により撮影されたイメージに基づく投影領域自動補正方法及びこのためのシステム
JP2017102473A (ja) * 2017-01-20 2017-06-08 セイコーエプソン株式会社 プロジェクター、プロジェクターの黒レベル領域設定方法
JP2017169204A (ja) * 2017-04-12 2017-09-21 カシオ計算機株式会社 投影装置及び投影状態調整方法
WO2019054204A1 (ja) * 2017-09-14 2019-03-21 ソニー株式会社 画像処理装置および方法
US11109006B2 (en) 2017-09-14 2021-08-31 Sony Corporation Image processing apparatus and method

Also Published As

Publication number Publication date
US8866902B2 (en) 2014-10-21
CN102170544B (zh) 2013-11-13
JP5440250B2 (ja) 2014-03-12
US20110211065A1 (en) 2011-09-01
CN102170544A (zh) 2011-08-31

Similar Documents

Publication Publication Date Title
JP5440250B2 (ja) 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法
JP5338718B2 (ja) 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法
JP5604909B2 (ja) 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法
JP5257616B2 (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
US9818377B2 (en) Projection system, image processing apparatus, and correction method
JP3925521B2 (ja) スクリーンの一部の辺を用いたキーストーン補正
CN100369471C (zh) 图像处理系统、投影机及图像处理方法
JP5493340B2 (ja) 投写型表示装置および配置関係検出方法
JP5256899B2 (ja) 画像補正装置、画像補正方法、プロジェクタおよびプロジェクションシステム
JP5952811B2 (ja) 輝度測定方法、輝度測定装置及びこれらを用いた画質調整技術
JP2011182079A (ja) 補正情報算出装置、画像補正装置、画像表示システム、補正情報算出方法
WO2006025191A1 (ja) マルチプロジェクションシステムにおける幾何補正方法
JP2011211276A (ja) 画像処理装置、画像表示システム、画像処理方法
WO2019167455A1 (ja) 情報処理装置、情報処理装置の演算方法、プログラム
US20140118558A1 (en) Image quality adjustment apparatus, image quality adjustment circuit, and display panel
JP2011182078A (ja) 補正情報算出装置、画像補正装置、画像表示システム、補正情報算出方法
JP5561503B2 (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
US9761160B2 (en) Image processing device, display apparatus, image processing method, and program
JP2015115726A (ja) 輝度測定方法、輝度測定装置及びこれらを用いた画質調整技術
JP2010288062A (ja) プロジェクター、プログラム、情報記憶媒体および画像投写方法
JP2010191311A (ja) 画像表示装置、画像表示方法、およびプロジェクションシステム
TWI543584B (zh) 輝度測定方法、輝度測定裝置及利用此等方法與裝置的畫質調整技術
CN114979599B (zh) 激光投影设备及投影图像的校正方法
JP2022042408A (ja) 情報処理装置
JP5354163B2 (ja) プロジェクター、プログラムおよび情報記憶媒体

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131202

R150 Certificate of patent or registration of utility model

Ref document number: 5440250

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees