JP2023132946A - 検証方法、コンピュータプログラム及び投影システム - Google Patents

Abstract

【課題】投影装置による投影時の自動軒か補正において、幾何補正の妥当性の判断を容易にする。【解決手段】記憶装置にアクセス可能な演算装置で実行され、投影装置を用いて投影面に画像を投影させる投影システムにおける幾何補正の検証方法であって、記憶装置は、投影装置で投影面に投影させる画像上の座標を示す複数の特徴点を含むパターン画像を記憶し、演算装置によって、投影装置から投影面に、パターン画像を投影させ、撮影装置から、投影面に投影された前記パターン画像を含む第１の撮影画像データを取得し、第１の撮影画像データに含まれる特徴点と、パターン画像に含まれる各特徴点とを比較して、投影面に投影されない非投影特徴点を抽出し、投影装置によって投影する投影画像の範囲の対応する位置に、抽出された複数の非投影特徴点を配置した非投影特徴点データを生成する。【選択図】図７

Description

本開示は、投影装置を用いて投影面に画像を投影させる投影システム、投影システムにおける幾何補正の検証方法及びコンピュータプログラムに関する。

近年、投影装置は様々な場面で利用されている。投影装置では、所望の画像を表示するため、幾何補正を実行することがある。また、投影装置によって画像を投影する投影面のバリエーションも増加しており、四角形で平面の投影面に限定されず、例えば、湾曲した面等の投影面にも投影することもある。このように湾曲した投影面に投影する場合、幾何補正はより複雑になる。

投影装置の幾何補正のため、撮影装置を用いて投影装置で投影した画像を撮影し、撮影された画像を用いて自動で幾何補正を行う方法もある。例えば、特許文献１でも、投影画像の歪みを精度よく補正可能な補正情報を提供する技術が記載される。

特開２０１５－５７８７６号公報

しかしながら、従来の自動による幾何補正では、自動の幾何補正の過程を確認することができず、幾何補正が失敗した原因を特定することはできない。例えば、幾何補正では、投影装置で投影の対象となる元画像の座標、投影装置から出力される投影画像の座標、投影装置から投影された投影面上での座標、当該投影面上での画像を撮影した撮影画像の座標とを対応させることが必要である。一方、自動の幾何補正では、これらの座標を対応に関する情報を中間データとして確認することができない。

本開示は、投影装置による投影時の自動の幾何補正において、幾何補正の妥当性の判断を容易にする検証方法、コンピュータプログラム及び投影システムを提供する。

本開示の検証方法は、記憶装置にアクセス可能な演算装置で実行され、投影装置を用いて投影面に画像を投影させる投影システムにおける幾何補正の検証方法であって、記憶装置は、投影装置で投影面に投影させる画像上の座標を示す複数の特徴点を含むパターン画像を記憶し、演算装置によって、投影装置から投影面に、パターン画像を投影させ、撮影装置から、前記投影面に投影されたパターン画像を含む第１の撮影画像データを取得し、第１の撮影画像データに含まれる特徴点と、前記パターン画像に含まれる各特徴点とを比較して、投影面に投影されない非投影特徴点を抽出し、投影装置によって投影する投影画像の範囲の対応する位置に、抽出された複数の非投影特徴点を配置した非投影特徴点データを生成する。

これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。

本開示の検証方法、コンピュータプログラム及び投影システムは、投影装置による投影時の自動の幾何補正において、幾何補正の妥当性の判断を容易にすることができる。

第１実施形態に係る投影システムを示すブロック図である。 空間に配置される図１の投影システムの各構成である。 図１の投影システムの各構成が利用する画像を示す概略図である。 投影する元画像と投影装置から投影される投影画像との座標の対応付けの説明図である。 投影特徴点データの一例を示す。 非投影特徴点データの一例を示す。 特徴点を含むパターン画像の一例を示す。 図６Ａのパターン画像が投影された一例を示す。 図６Ａのパターン画像と配置基準マーカの関係の一例を示す。 投影基準マーカを表示した一例を示す。 可視化画像データの一例を示す。 結果データの一例を示す。 第１実施形態に係る検証方法を説明するフローチャートである。 図９Ａに続いて第１実施形態に係る検証方法を説明するフローチャートである。 図９Ｂに続いて第１実施形態に係る検証方法を説明するフローチャートである。 第２実施形態に係る画像処理装置を示すブロック図である。 図１０の画像処理装置が生成する仮想空間の各構成が利用する画像を示す概略図である。 第２実施形態に係る検証方法を説明するフローチャートである。 図１２Ａに続いて第２実施形態に係る検証方法を説明するフローチャートである。 図１２Ｂに続いて第２実施形態に係る検証方法を説明するフローチャートである。

本開示は、投影装置による投影時の自動の幾何補正において、幾何補正の妥当性の判断を容易にした検証方法、コンピュータプログラム及び投影システムを提供する。具体的には、本開示の検証方法、コンピュータプログラム及び投影システムによれば、投影装置の自動の幾何補正において、幾何補正の過程をユーザに把握可能にすることで、幾何補正の適否を認識させることを可能とする。

以下に、図面を用いて本開示における実施形態を、図面を適宜参照しながら説明する。ただし、詳細な説明において、従来技術および実質的に同一の構成に関する説明のうち不必要な部分は省略されることもある。これは、説明を簡単にするためである。また、以下の説明および添付の図面は、当業者が本開示を充分に理解できるよう開示されるのであって、特許請求の範囲の主題を限定することを意図されていない。

以下では、本明細書において用いる種々の用語を定義する。
「投影面」は、いわゆるプロジェクタ等の投影装置によって画像が投影される面である。投影面は、平面のスクリーンに限定されず、局面であってもよいし、一部に凹凸があってもよいものとする。

「投影画像」は、投影装置によって投影面に投影するために出力される画像をいう。

「投影面画像」は、投影装置によって投影面に投影画像が投影された際の、投影面上の画像をいう。

「撮影画像」は、撮影装置によって撮影された画像をいう。

「幾何補正」は、投影装置から投影面に投影される際の幾何的な歪みに関する補正をいう。例えば、幾何補正は、四角形であるはずの画像が投影面上に台形に投影されるような場合（台形歪み）、中心部が膨らむように表示される場合（樽型歪み）、逆に中心部が収縮するように表示される場合（糸巻き歪み）に、これを四角形の画像として表示するための補正である。なお、幾何補正は投影装置でパラメータ値を調整することで実現される。

「仮想空間」は、投影装置及び投影面が配置される実空間の周辺環境を表す空間情報を用いて、実空間と同等の環境を表したコンピュータ内の空間をいう。

「空間情報」は、空間の広さ及び形状を含むサイズ、空間を形成する建材、空間で利用される照明装置、空間に存在する物の形状及びサイズ、その物の配置位置、その物の素材及び色等に関する情報である。例えば、空間情報は、空間の床面積及び壁の高さ、床及び壁の材質及び色等を含むことができる。また例えば、空間情報は、空間に柱又は梁等の部材が存在する場合、これら部分の形状、サイズ、配置位置、素材及び色等を含むことができる。なお、空間に存在する物とは、例えば、空調機器のように定常的にその空間の特定の位置に存在するものであることが好ましい。空間情報においては、その空間において表示装置の配置位置を示す座標を含むことができる。また、空間情報は、スクリーン等の投影面のサイズ、投影面の位置（座標及び投影装置の投影方向と投影面で形成する角度等）、素材及び色等も含むことができる。

［第１実施形態］
第１実施形態に係る投影システムでは、画像処理装置を用いて、投影装置による画像の投影及び自動の幾何補正を検証することができる。

〈投影システム〉
図１に示すように、本開示の第１実施形態に係る投影システム１は、画像処理装置１０、投影装置２０及び撮影装置３０を含む。画像処理装置１０には、表示装置１４及び入力装置１５が接続されうる。また、図２は、投影システム１を有する空間を示す図である。

投影システム１において、画像処理装置１０は、投影装置２０を操作し、投影面４０に画像を投影させる。なお、「画像」は、静止画像であることは必須ではなく、動画像であってもよい。本明細書では、「画像」として静止画像を例示して説明する。

撮影装置３０は、少なくとも、投影装置２０によって投影面４０に投影された投影面画像Im2を含む画像を撮影画像として撮影する。図２に示す例では、投影装置２０から投影された画像は、全体が投影面４０内に収まらず、投影面４０の外にまで画像が投影される。この場合、画像処理装置１０は、投影面４０内に投影面画像Im2の全体が収まるように、投影面画像Im2を幾何補正する。

《画像処理装置》
図１に示すように、本開示に係る画像処理装置１０は、演算装置１１、通信装置１２及び記憶装置１３等を備える情報処理装置である。また、画像処理装置１０は、表示装置１４及び入力装置１５と接続されうる。

演算装置１１は、画像処理装置１０全体の制御を司るコントローラである。例えば、演算装置１１は、記憶装置１３に記憶されるコンピュータプログラムＰを読み出して実行することにより、検証を実行するための各種処理を実現する。また、演算装置１１は、ハードウェアとソフトウェアの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、演算装置１１は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。

通信装置１２は、外部の装置（例えば、投影装置２０、撮影装置３０等）とのデータ通信を可能とするための通信手段である。上述したデータ通信は、有線および／または無線によるデータ通信であり、公知の通信規格にしたがって行われ得る。例えば、有線によるデータ通信は、イーサネット（登録商標）規格、および／またはＵＳＢ（登録商標）規格等に準拠して動作する半導体集積回路の通信コントローラを通信装置１２として用いることによって行われる。また無線によるデータ通信は、ＬＡＮ（Local Area Network）に関するＩＥＥＥ８０２．１１規格、および／または移動体通信に関する、いわゆる４Ｇ／５Ｇと呼ばれる、第４世代／第５世代移動通信システム等に準拠して動作する半導体集積回路の通信コントローラを通信装置１２として用いることによって行われる。

記憶装置１３は種々の情報を記録する記録媒体である。記憶装置１３は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ（Solid State Drive）、ハードディスクドライブ、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶装置１３は、演算装置１１が実行するコンピュータプログラムであるコンピュータプログラムＰと、投影に関する自動の幾何補正の検証の実行のために使用する種々のデータ等が格納される。例えば、記憶装置１３は、画像情報１３１、第１の撮影画像データ１３２、特徴点座標データ１３３、第２の撮影画像データ１３４、座標変換テーブル１３５、可視化画像データ１３６、投影特徴点データ１３７、非投影特徴点データ１３８等を記憶する。

なお、画像処理装置１０は、相互に通信可能に接続された複数の情報処理装置によって実現されてもよい。また、記憶装置１３に記憶されるデータの一部は外部の記憶装置に記憶され、画像処理装置１０は、外部の記憶装置から読み出して使用する構成であってもよい。

表示装置１４は、検証の過程で得られるデータ及び検証結果等を表示するディスプレイ等の表示手段である。入力装置１５は、操作やデータの入力に利用される操作ボタン、キーボード、マウス、タッチパネル、マイクロフォン等の入力手段である。

画像情報１３１は、画像処理装置１０の操作によって投影装置２０から投影面に投影される種々の画像データを含む。例えば、画像情報１３１は、パターン画像、マーカ画像、コンテンツ画像等の画像データを含む。

パターン画像は、投影装置２０から投影面４０に投影させる画像上の座標を示す複数の特徴点を含む。具体的には、パターン画像は、投影装置２０が投影する投影画像の領域内に、例えば、１０００点程度の複数の特徴点を含む。パターン画像は、投影装置２０の画像表示用の光学素子（ＤＭＤや液晶素子など）の座標と、撮影装置３０の画像取得用の光学素子（撮像センサなど）の座標との対応の特定に利用しうる。具体的には、パターン画像は、複数の特徴点が規則的に配置される。これにより、パターン画像の投影によって各特徴点が一意に把握可能な状態で表示されるため、投影装置２０で出力する投影画像と、撮影装置３０で取得する撮影画像との座標の対応に利用することができる。

マーカ画像は、投影装置２０により表示されるマーカ画像である。このマーカ画像は、投影装置２０で投影面４０に投影させる画像上で印として定められる特定の座標を示す複数の投影基準マーカを含む。例えば、マーカ画像は、投影装置２０が投影する画像表示領域内に、投影基準マーカを含む画像である。マーカ画像は、投影装置２０の画像表示用の光学素子の座標と、投影面４０の座標との対応の特定に利用しうる。例えば、投影基準マーカは、投影面４０の４カ所のコーナー部分に配置される。また、投影面４０が湾曲面を含む場合、投影面４０に配置される投影基準マーカは、曲率に応じて増加される。具体的には、投影面の横方向及び縦方向に、投影面上の距離において２等分、３等分等の等間隔、またはユーザの意図によっては任意の点に投影基準マーカを配置することができる。

演算装置１１は、投影処理、画像取得処理、座標取得処理、特徴点抽出処理、座標対応処理、生成処理、調整処理、受付処理、判定処理、出力処理等の各種処理を実行する。

演算装置１１は、投影処理において、記憶装置１３に記憶される画像情報１３１のうちパターン画像を読み出し、投影装置２０から投影面４０に、パターン画像を投影させる。上述もしたが、図３に示すように、投影処理において投影装置２０から投影面４０に出力する画像は「投影画像Im1」であり、投影面４０に投影された状態の画像は「投影面画像Im2」である。また、その後、撮影装置３０で撮影された画像が「撮影画像Im3」である。

演算装置１１は、画像取得処理において、撮影装置３０から、撮影装置３０の撮影画像である、投影面４０に投影されたパターン画像を含む第１の撮影画像データ１３２を取得する。また、演算装置１１は、取得した第１の撮影画像データ１３２を記憶装置１３に記憶させる。

演算装置１１は、座標取得処理において、第１の撮影画像データ１３２に含まれる投影面４０上の特徴点の座標を取得し、取得した各特徴点の座標を特徴点座標データ１３３として、第１の撮影画像データ１３２と関連付けて、記憶装置１３に記憶させる。具体的には、演算装置１１は、特徴点を示す条件に一致する座標を取得し、取得した複数の座標を含むデータを特徴点座標データ１３３として生成する。

演算装置１１は、特徴点抽出処理において、第１の撮影画像データ１３２に含まれる特徴点と、パターン画像に含まれる各特徴点とを比較して、投影面４０に投影されない特徴点である「非投影特徴点」を抽出する。また、演算装置１１は、特徴点抽出処理において、第１の撮影画像データに含まれる特徴点と、パターン画像に含まれる各特徴点とを比較して、投影面４０に投影された特徴点である「投影特徴点」を抽出する。具体的には、演算装置１１は、座標取得処理で取得し、特徴点座標データ１３３に含まれる各特徴点の座標と、パターン画像の各特徴点の座標とを比較し、パターン画像の各特徴点に対応する特徴点が、第１の撮影画像データ１３２の投影面４０上に含まれるか判定する。パターン画像の特徴点に対応する特徴点が、第１の撮影画像データ１３２の投影面４０上に含まれるとき、演算装置１１は、その特徴点を「投影特徴点」とする。一方、パターン画像の特徴点に対応する特徴点が、第１の撮影画像データ１３２の投影面４０上に含まれないとき、演算装置１１は、その特徴点を「非投影特徴点」とする。換言すると、パターン画像に含まれる特徴点のうち、投影面４０に投影された特徴点を「投影特徴点」とする。一方、パターン画像に含まれる特徴点のうち、投影面４０に投影されない特徴点を「非投影特徴点」とする。なお、演算装置１１は、特徴点抽出処理の結果を、記憶装置１３で記憶される特徴点座標データ１３３に追加する。

演算装置１１は、座標対応処理において、投影装置２０で投影するパターン画像の各特徴点の座標、投影面４０に投影されたパターン画像の各特徴点の座標、及び、撮影装置３０で撮影された各特徴点の座標を関連付ける。例えば、演算装置１１は、投影画像Im1上の投影特徴点の座標と、投影面画像Im2上の投影特徴点の座標と、撮影画像Im3上の投影特徴点の座標との対応関係について、記憶装置１３の特徴点座標データ１３３において記憶させる。これらの対応関係を用いることで、投影装置２０から出力される画像が、投影面４０において、どのように表されるかを示すことができる。

図４を用いて、座標対応処理の一例を説明する。図４に、投影画像Im1の生成と元となるパターン画像において、４１×２６の特徴点が設けられ、投影装置２０から投影する投影画像Im1の座標数が２０１×１２６である一例を示す。なお、図４では、図面の簡素化のため、全ての座標及び特徴点の図示は省略する。例えば、パターン画像の任意の特徴点ａの座標（xa，ya）と、投影装置２０で投影面にパターン画像を投影する場合の投影画像Im1上での特徴点ａに対応する座標（ua，va）との関係を、以下の式（１）で示す。これらパターン画像の座標と、投影画像Im1の座標との関係は、テストパターン画像と投影画像毎に一意に定義される。

例えば、パターン画像における左端の最上部の座標（０，０）と、投影画像Im1上での対応する座標との関係Q_{0_p}、パターン画像における右端の最上部の座標（４１，０）と、投影画像Im1上での対応する各座標との関係Q_{41_p}、パターン画像における左端の最下部の座標（０，２６）と、投影画像Im1上での対応する各座標との関係Q_{1026_p}及びパターン画像における右端の最下部の座標（４，２６）と、投影画像Im1上での対応する各座標との関係Q_{1066_p}は、それぞれ以下の式（１－１）～（１－４）で定義することができる。

また、パターン画像の任意の特徴点ａの座標（xa，ya）と、投影装置２０で投影面４０に投影された投影面画像Im2を撮影装置３０で撮影した撮影画像Im3上の特徴点ａの座標（xa，ya）に対応する座標（sa，ta）との関係を、以下の式（２）で示す。これらパターン画像の座標と投影面４０上の投影面画像Im2の座標との関係は、投影面画像Im2の投影面４０上での形状、及び、投影面４０と投影面４０を撮影する撮影装置３０とで構成される撮影画角に応じて定められる。

さらに、パターン画像の特徴点ａの座標（xa，ya）に対応する投影画像Im1上の座標（ua，va）と、投影面４０上の投影面画像Im2を撮影した撮影画像Im3上での特徴点ａの座標（xa，ya）に対応する座標（sa，ta）との関係は、以下の式（３）で示すことができる。

式（３）は、投影画像Im1の座標から、撮影画像Im3の座標への座標変換行列である。したがって、この座標変換行列T_{a_pc}を用いることにより、任意の特徴点の座標を投影画像Im1の座標から撮影画像Im3の座標を、またはその逆に撮影画像Im3の座標から投影画像Im1の座標を求めることができる。

演算装置１１は、生成処理において、撮影装置３０によって撮影した投影面４０上の対応する位置に、抽出処理で抽出された複数の投影特徴点を配置した投影特徴点データ１３７を生成する。具体的には、演算装置１１は、特徴点座標データ１３３を用いて、撮影装置３０によって撮影した状態を示す画像データの投影面４０上で、投影特徴点と対応する位置に、特徴点を示す印を配置した投影特徴点データ１３７を生成する。図５Ａに、投影特徴点データ１３７の一例を示す。例えば、投影特徴点データ１３７を参照することにより、投影装置２０から投影する画像データのうち、どの程度の割合が投影装置２０で投影されるかを把握することができる。具体的には、投影特徴点データ１３７で確認可能な投影特徴点の数が実際のパターン画像に含まれる特徴点の数よりも極めて少ない場合、投影装置２０から投影される画像データが投影面４０に対して大きすぎると考えられる。この場合、例えば、特徴点の数及び投影特徴点の数、特徴点の数に対する投影特徴点の数の割合等を合わせて表示してもよい。また例えば、投影特徴点データ１３７を参照することにより、投影装置２０から投影する画像データが、どのように歪んで投影されるかを把握することができる。具体的には、投影特徴点データ１３７では、特徴点が均一に分散して投影面４０上に配置されることが好ましいが、特徴点が一部で密集している場合、当該部分で歪んでいることを把握することができる。

演算装置１１は、生成処理において、投影装置２０によって投影する投影画像の範囲の対応する位置に、抽出処理で抽出された複数の非投影特徴点を配置した非投影特徴点データ１３８を生成する。具体的には、演算装置１１は、特徴点座標データ１３３を用いて、投影装置２０によって投影する状態を示す画像データの領域内で、非投影特徴点と対応する位置に、特徴点を示す印を配置した非投影特徴点データ１３８を生成する。図５Ｂに、非投影特徴点データ１３８の一例を示す。例えば、非投影特徴点データ１３８を参照することにより、投影装置２０から投影する画像データのうち、どの程度の割合が投影され、どの程度の割合が投影されないかや、どのように歪んで投影されるかを把握することができる。具体的には、非投影特徴点データ１３８で確認可能な非投影特徴点の存在する範囲が広い程、投影装置２０から投影される画像データが投影面４０に対して大きすぎることが考えられる。この場合、例えば、特徴点の数及び非投影特徴点の数、特徴点の数に対する非投影特徴点の数の割合等を合わせて表示してもよい。

また、演算装置１１は、投影処理において、記憶装置１３に記憶される画像情報１３１からマーカ画像を読み出し、投影装置２０から投影面４０に、マーカ画像を投影させる。

また、演算装置１１は、画像取得処理において、撮影装置３０から、複数の投影基準マーカとそれぞれ対応する複数の配置基準マーカが配置された投影面４０に投影されたマーカ画像を含む第２の撮影画像データ１３４を取得する。配置基準マーカは、ユーザが、投影面４０上の所望の位置に配置可能な印である。

また、演算装置１１は、生成処理において、第２の撮影画像データ１３４に含まれる複数の配置基準マーカの位置と、複数の投影基準マーカの位置との比較結果を用いて、非投影特徴点を投影面４０に投影させるための座標変換テーブル１３５を生成する。換言すると、座標変換テーブル１３５を利用することで、投影装置２０から投影面４０に画像データを投影させるために、画像データの各座標を投影面の各座標に変換し、幾何補正することができる。具体的には、演算装置１１は、投影装置２０の座標系と、投影面４０との座標系とを対応させる座標変換テーブル１３５を生成する。演算装置１１は、生成した座標変換テーブル１３５を記憶装置１３に記憶させる。

図６Ａ乃至図６Ｄを用いて、座標変換テーブル１３５を生成する一例を説明する。図６Ａは、横方向に４１点、縦方向に２６点の、合計４１×２６点の特徴点を含むパターン画像の一例を示す。また、図６Ｂは、図６Ａに示すパターン画像が投影された投影面４０上に、配置基準マーカが配置された状態を配置した様子を示す外観図である。ユーザは、投影装置２０による投影範囲と期待する範囲を示すよう、投影面４０上の最低４点以上に、配置基準マーカを配置する。図６Ｂに示す例では、投影面４０の左上、右上、左下、右下の４点（Ｐ１１～Ｐ１４）にそれぞれ配置基準マーカが配置される。パターン画像上において、図６Ｂに示す配置基準マーカの各点（Ｐ１１～Ｐ１４）と対応する点は、図６Ｃに示す４点（Ｐ２１～Ｐ２４）となる。したがって、投影装置２０から投影される各投影基準基準マーカの位置は、それぞれ一意に決定される。図６Ｂに示すように配置基準マーカが配置された状態で、撮影装置３０によって投影面４０を撮影し、撮影画像Im3内のパターン画像の各特徴点を検出することで、投影画像Im1の特徴点は算出できるため、撮影画像Im3における配置基準マーカの位置をそれぞれ一意に求めることができる。ユーザが投影を期待する範囲は、配置基準マーカによって囲まれた範囲であるため、撮影画像Im3に含まれる特徴点、及び、含まれない特徴点に基づき、それぞれの配置基準マーカの位置を、撮影画像Im3に含まれる特徴点の位置で補完して座標変換テーブル１３５を生成する。

また、演算装置１１は、生成処理において、座標変換テーブル１３５を用いて、投影特徴点及び非投影特徴点を可視化させた可視化画像データ１３６を生成する。図７に、可視化画像データ１３６の一例を示す。図７に示す可視化画像データ１３６は、外枠が投影装置２０の投影可能な範囲を示す。例えば、投影対象である画像データに所定の格子が設定されたとする。このとき、図７に示す可視化画像データ１３６は、投影画像において、投影対象の画像データの各格子線が、グレーで示される各曲線である。投影装置２０によって投影可能な範囲は、投影面４０の領域よりも広いため、図７に示すように、投影画像においては、座標変換テーブル１３５を用いて、その一部に投影対象の画像データが収まるように変形する。なお、投影システム１において、投影面４０からはみ出すように画像を投影することもあり得るため、グレーで示される箇所の外枠が投影面４０と一致するとは限定されない。

演算装置１１は、出力処理において、図８に示すように、投影特徴点データ１３７、非投影特徴点データ１３８及び可視化画像データ１３６を含む結果データを生成し、表示装置１４に表示させてもよい。

また、演算装置１１は、調整処理において、座標変換テーブル１３５を用いて、画像データの全体が投影面４０に投影されるように画像データを調整してもよい。さらに、演算装置１１は、投影処理において、投影装置２０から投影面４０に、調整画像データを投影させてもよい。なお、調整処理において生成される画像データは、投影システム１において、投影の対象となるコンテンツ画像の他、パターン画像あってもよい。再度パターン画像が表示されることとなり、生成された座標変換テーブル１３５が適切であるか否かの判定が容易となる。

演算装置１１は、受付処理において、所定の表示範囲の指定を受け付ける。例えば、演算装置１１は、投影装置２０で投影する投影画像の画素数を基準として、周辺から所定の範囲内を示す画素数を受け付け、受け付けた画素数で指定される範囲内を表示範囲として定めることができる。

「表示範囲の判定」は、画像の全体又は画像の所望の範囲が投影面４０に投影されるか否かの判定である。例えば、投影システム１では、投影装置２０では、装置の特性上、画像の縦方向及び横方向に所定画素のずれが生じることもある。これに対し、画像処理装置１０では、予め起こりうる装置の特性上のずれ量を考慮した表示範囲を定めてその範囲内に表示されるか判定することで、ずれが生じたとしても画像の全範囲が投影面４０に表示されるように設定することができる。

また、演算装置１１は、受付処理において、変形条件の指定を受け付ける。例えば、演算装置１１は、各座標の元の画像に対する変形の度合いを変形の条件として定めることができる。具体的には、演算装置１１は、ｘ方向及びｙ方向の各方向について、許容可能な角度（例えば、１０°）を受け付け、当該角度内での移動を座標の変形条件として定めることができる。また例えば、隣接画素間の最大距離を定め、当該最大距離を変形条件として定めることができる。

「変形条件の判定」は、投影面４０に投影する画像を変更できるか否かの判定である。例えば、投影システム１では、投影装置２０が湾曲する等の平面でない投影面４０に対し、画像を変形して投影する場合、その湾曲の程度によっては装置の特性上、投影装置２０によって画像を投影面４０に合わせて変形できない場合もある。一方、画像を適当に変形できる程度であるか否かは物理的に予め把握可能である。したがって、画像処理装置１０では、変形の可否を判定することで、画像が投影面４０に表示されるように設定することができる。例えば、投影装置２０の配置位置を変更することで、投影装置２０と投影面４０との角度を変更し、画像が投影面４０に表示されるようにすることができる。または、投影装置２０のレンズの投影画角を変更することで、画像が投影面４０に表示されるようにすることができる。

演算装置１１は、判定処理において、座標変換テーブルを用いた表示が、座標変換に許容される所定の表示範囲内への表示であるか否かを判定する。また、演算装置１１は、判定処理において、座標変換テーブルを用いた表示が、画像の変形が許容される所定の変形条件を満たすか否かを判定する。さらに、演算装置１１は、出力処理において、判定結果を出力することができる。例えば、変形条件を満たしていない判定結果となった場合、上述したように投影面の形状、投影装置の配置、及び／又は、投影レンズを変更し、変形条件を満たすように調整することができる。

《検証方法》
図９Ａ乃至図９Ｃに示すフローチャートを用いて、本開示に係る検証方法について説明する。
まず、ユーザによって、空間に、投影装置２０、投影面４０及び撮影装置３０が設置される（Ｓ００１）。

また、投影装置２０が位置調整される（Ｓ００２）。具体的には、空間及び投影面４０等との関係を考慮した三次元空間上の配置位置に加え、投影方向が考慮され、投影装置２０から投影面４０全体に画像が投影されるように、投影装置２０が位置調整される。

続いて、撮影装置３０が位置調整される（Ｓ００３）。具体的には、空間、投影装置２０及び投影面４０等との関係を考慮した三次元空間上の配置位置に加え、撮影方向が考慮され、投影面４０全体が撮影できるように、撮影装置３０が位置調整される。このステップＳ００１乃至Ｓ００３の処理は、物理的な調整である。

物理的な調整が終了すると、演算装置１１は、投影装置２０を操作し、投影面４０にパターン画像を投影させる（Ｓ００４）。パターン画像は、複数の特徴点を含む。

また、演算装置１１は、撮影装置３０から第１の撮影画像データを取得する（Ｓ００５）。第１の撮影画像データは、投影装置２０から投影面４０に投影されたパターン画像を含む。

さらに、演算装置１１は、ステップＳ００５で取得した第１の撮影画像データから、投影面４０上に投影された複数の特徴点の座標を取得する（Ｓ００６）。

続いて、演算装置１１は、投影装置２０を操作し、投影面４０にマーカ画像を投影させる（Ｓ００７）。マーカ画像は、投影画像を所望の形状に変形させるための投影基準マーカを含む。

また、演算装置１１は、撮影装置３０から第２の撮影画像データを取得する（Ｓ００８）。第２の撮影画像データは、投影装置２０から投影面４０に投影されたマーカ画像を含む。

さらに、演算装置１１は、ステップＳ００８で取得した第２の撮影画像データから、投影面４０上に投影された複数の投影基準マーカの座標を取得する（Ｓ００９）。

さらに、演算装置１１は、ステップＳ００８で取得した第２の撮影画像データから、投影面４０上に配置された複数の投影基準マーカの座標を取得する（Ｓ０１０）。

演算装置１１は、パターン画像と、ステップＳ００６の取得結果を用いて、非投影特徴点及び投影特徴点を抽出する（Ｓ０１１）。具体的には、パターン画像に含まれる各特徴点の座標と、ステップＳ００６で取得した各特徴点と比較して対応する特徴点を求め、ステップＳ００６で抽出された特徴点を投影特徴点とし、抽出されない特徴点を非投影特徴点とする。

演算装置１１は、ステップＳ０１０の配置基準マーカの座標と、ステップＳ０１１の抽出結果とを用いて、投影装置２０から投影画像を投影する投影範囲を特定する（Ｓ０１２）。

また、演算装置１１は、ステップＳ０１２で特定された投影範囲に基づき、投影装置２０から投影する投影画像を、投影面４０の形状に合わせて変換する座標変換テーブル１３５を生成する（Ｓ０１３）。

演算装置１１は、表示範囲及び変形条件を受け付ける（Ｓ０１４）。

演算装置１１は、ステップＳ０１３で生成された座標変換テーブル１３５で変形される画像が、ステップＳ０１４で受け付けた表示範囲及び変形条件を満たすか否かを判定する（Ｓ０１５）。表示範囲に表示されない場合、及び／又は、変形条件を満たさない場合（Ｓ０１６でＮＯ）、演算装置１１は、ステップＳ００２に戻り、ステップＳ００３～Ｓ０１５の処理を繰り返す。

その後、演算装置１１は、投影特徴点を配置した投影特徴点データ１３７を生成し、表示装置１４に表示させる（Ｓ０１７）。

また、演算装置１１は、非投影特徴点を配置した非投影特徴点データ１３８を生成し、表示装置１４に表示させる（Ｓ０１８）。

さらに、演算装置１１は、座標変換テーブルを用いて可視化画像データ１３６を生成し、表示装置１４に表示させる（Ｓ０１９）。

また、演算装置１１は、ステップＳ０１３で生成した座標変換テーブル１３５を用いて画像を変形する（Ｓ０２０）。

演算装置１１は、投影装置２０を操作し、ステップＳ０２０で変形された画像を、投影面４０に投影させる（Ｓ０２１）。

投影面４０に投影された画像が想定通りであるとき、終了が操作され、投影システム１における検証に関連する一連の処理が終了する（Ｓ０２２でYES）。

一方、投影面４０に投影された画像が想定通りでないとき（Ｓ０２２でＮＯ）、再調整が必要であるため、ステップＳ００２に戻り、ステップＳ００２～Ｓ０２２の処理が繰り替えされる。具体的には、投影装置２０及び撮影装置３０の物理的な調整が実行された後、再度検証の処理が実行される。

上述したように、第１実施形態に係る投影システム１によれば、自動の幾何補正の際、その過程で発生する情報を確認可能とする。これにより、投影装置による幾何補正の妥当性の判断を容易にすることができる。

［第２実施形態］
第２実施形態に係る画像処理装置によれば、投影システムが未構築で存在しない場合等、実際に投影システムが存在しない状態においても、設置を予定する投影装置、投影面及び撮影装置等の配置位置を含む仮想の空間情報及びパラメータ情報を用いて、投影システムが設置される空間を想定し、設置予定の投影装置による画像の投影及び自動の幾何補正を検証することができる。例えば、投影装置、投影面及び撮影装置等が既に空間に設置される状況において、空間における投影装置等の位置等の調整に利用することができる。また例えば、投影装置等が空間に設置されない状況において、空間における、投影装置等の配置等の判断に利用することができる。なお、以下では、投影システムが未構築であり、投影装置が投影装置、投影面及び撮影装置が空間に配置されていない状況で検証する一例で説明するが、投影装置等が実空間に存在しない場合に仮想空間を生成して検証する場合も同様である。

《画像処理装置》
図１０に示すように、第２実施形態に係る画像処理装置１０Ａは、演算装置１１、通信装置１２及び記憶装置１３等を備える情報処理装置である。また、画像処理装置１０Ａは、表示装置１４及び入力装置１５と接続されうる。演算装置１１、通信装置１２、記憶装置１３、表示装置１４及び入力装置１５の構成は、図１を用いて上述した構成と同一である。

図１０に示すように、画像処理装置１０Ａの記憶装置１３は、図１を用いて上述した画像処理装置１０の記憶装置１３と比較して、第１の撮影画像データ１３２、特徴点座標データ１３３及び第２の撮影画像データ１３４を記憶せず、空間情報１４１、パラメータ情報１４２、仮想空間情報１４３、第１の仮想撮影データ１４４、仮想特徴点座標データ１４５及び第２の仮想撮影データ１４６を記憶する点で異なる。

空間情報１４１は、投影装置等の配置が予定される実空間に関する情報である。例えば、空間情報１４１は、空間における投影装置及び投影面の配置位置、投影面の材質情報及びサイズ、空間における撮影装置の配置位置、空間のサイズに関する情報、空間を構成する建材に関する情報、空間に用いる照明に関する情報及び空間に配置される物に関する情報の少なくともいずれかの情報を含むことができる。例えば、この空間情報は、空間を示す座標情報と、その空間に配置される物に関する配置位置を含む座標情報と、その物の仕様を示す情報である。

パラメータ情報１４２は、画像処理装置１０と接続される予定の投影装置に設定されるパラメータ値を含みうる。例えば、パラメータ情報１４２は、投影装置に設定される解像度、輝度、色度、レンズのズーム、シフト量及びスローレシオの少なくともいずれかを含むことができる。また、パラメータ情報１４２は、撮影装置に設定されるパラメータ値を含みうる。例えば、パラメータ情報１４２は、画像処理装置１０と接続される予定の撮影装置に設定される焦点距離、露光、画角の少なくともいずれかを含むことができる。

仮想空間情報１４３は、画像処理装置１０Ａにおいて、空間情報１４１に基づいて生成された仮想空間を示す情報である。仮想空間情報１４３では、空間情報１４１に基づいて配置される仮想の表示装置及び仮想の撮影装置には、パラメータ情報１４２に基づく仮想的なパラメータ値が設定される。この仮想空間情報１４３は、空間情報１４１で表される座標情報等と、仮想的なパラメータ値等を含む情報である。

演算装置１１は、仮想空間生成処理、仮想投影処理、仮想画像取得処理、仮想座標取得処理、特徴点抽出処理、座標対応処理、生成処理、調整処理、受付処理、判定処理及び出力処理等の各種処理を実行する。

演算装置１１は、仮想空間生成処理において、記憶装置１３に記憶される空間情報１４１を読み出し、仮想の投影装置、仮想の投影面及び仮想の撮影装置が配置される仮想空間を示す仮想空間情報１４３を生成する。

演算装置１１は、仮想投影処理において、画像情報１３１が含むパターン画像と、パラメータ情報１４２と、仮想空間情報１４３とを用いて、仮想空間情報１４３で示される仮想空間に配置される仮想の投影装置から仮想の投影面に、パターン画像を投影させる。例えば、図１１に示すように、仮想投影処理において仮想の投影装置２０’から仮想の投影面４０’に出力する画像は「投影画像Im1」であり、仮想の投影面４０’に投影された状態の画像は「仮想投影面画像Im2’」である。また、その後、仮想空間において仮想の撮影装置３０’で撮影された画像が「仮想撮影画像Im3’」である。

演算装置１１は、仮想画像取得処理において、パラメータ情報１４２と、仮想空間情報１４３とを用いて、仮想空間情報１４３で示される仮想空間において、仮想の撮影装置３０’から、仮想の投影面４０’に投影されたパターン画像を含む第１の仮想撮影データ１４４を取得する。また、演算装置１１は、取得した第１の仮想撮影データ１４４を記憶装置１３に記憶させる。

演算装置１１は、仮想座標取得処理において、第１の仮想撮影データ１４４に含まれる仮想の投影面４０’上の特徴点の座標を取得し、取得した各特徴点の座標を仮想特徴点座標データ１４５として、第１の仮想撮影データ１４４に関連付けて、記憶装置１３に記憶させる。

演算装置１１は、特徴点抽出処理において、第１の仮想撮影データ１４４に含まれる特徴点と、パターン画像に含まれる各特徴点とを比較して、仮の投影面４０’に投影されない非投影特徴点を抽出する。また、演算装置１１は、特徴点抽出処理において、第１の仮想撮影データ１４４に含まれる特徴点と、パターン画像に含まれる各特徴点とを比較して、仮想の投影面４０’に投影された投影特徴点を抽出する。具体的には、演算装置１１は、仮想座標取得処理で取得し、仮想特徴点座標データ１４５に含まれる各特徴点の座標と、パターン画像の各特徴点の座標とを比較し、パターン画像の各特徴点が、第１の仮想撮影データ１４４の仮の投影面４０’上に含まれるか判定する。第１の仮想撮影データ１４４の仮の投影面４０’上に含まれるとき、演算装置１１は、その仮想特徴点を「投影特徴点」とする。一方、第１の仮想撮影データ１４４の仮想の投影面４０’上に含まれないとき、演算装置１１は、その特徴点を「非投影特徴点」とする。換言すると、パターン画像に含まれる特徴点のうち、仮想の投影面４０’に投影された特徴点を「投影特徴点」とする。一方、パターン画像に含まれる特徴点のうち、仮想の投影面４０’に投影されない特徴点を「非投影特徴点」とする。なお、演算装置１１は、特徴点抽出処理の結果を、記憶装置１３で記憶される特徴点座標データ１３３に追加する。

演算装置１１は、座標対応処理において、仮想の投影装置２０’で投影するパターン画像の各特徴点の座標、仮想の投影面４０’に投影されたパターン画像の各特徴点の座標、及び、撮影装置３０で撮影された各特徴点の座標を関連付ける。例えば、演算装置１１は、投影画像Im1上の投影特徴点及び非投影特徴点の座標と、仮想投影面画像Im2’上の投影特徴点の座標と、仮想撮影画像Im3’上の投影特徴点の座標との対応について、記憶装置１３の仮想特徴点座標データ１４５において記憶させる。なお、演算装置１１は、座標対応処理を、図４を用いて上述した通りに実行する。

演算装置１１は、生成処理において、仮想の撮影装置３０’によって撮影した仮想の投影面４０’上の対応する位置に、抽出処理で抽出された複数の投影特徴点を配置した投影特徴点データ１３７を生成する。

演算装置１１は、生成処理において、仮想の投影装置２０’によって投影する仮想投影画像の範囲の対応する位置に、抽出処理で抽出された複数の非投影特徴点を配置した非投影特徴点データ１３８を生成する。

また、演算装置１１は、仮想投影処理において、画像情報１３１が含むマーカ画像と、パラメータ情報１４２と、仮想空間情報１４３とを用いて、仮想空間情報１４３で示される仮想の投影装置２０’から仮想の投影面４０’に、マーカ画像を投影させる。

また、演算装置１１は、仮想画像取得処理において、パラメータ情報１４２と、仮想空間情報１４３とを用いて、仮想空間情報１４３で示される仮想空間において、仮想の撮影装置３０’から、複数の投影基準マーカとそれぞれ対応する複数の配置基準マーカが配置された仮想の投影面４０’に投影されたマーカ画像を含む第２の仮想撮影データ１４６を取得する。また、演算装置１１は、取得した第２の仮想撮影データ１４６を記憶装置１３に記憶させる。

また、演算装置１１は、生成処理において、第２の仮想撮影データ１４６に含まれる複数の配置基準マーカの位置と、複数の投影基準マーカの位置との比較結果を用いて、非投影特徴点を仮想の投影面４０’に投影させるための座標変換テーブル１３５を生成する。仮想空間は、実空間を模したものであるため、ここで生成された座標変換テーブル１３５を利用することで、仮想空間と対応する実空間で投影装置２０から投影面４０に画像データを投影させることができる。

また、演算装置１１は、生成処理において、座標変換テーブル１３５を用いて、投影特徴点及び非投影特徴点を可視化させた可視化画像データ１３６を生成する。

また、演算装置１１は、調整処理において、座標変換テーブル１３５を用いて、画像データの全体が仮想の投影面４０’に投影されるように画像データを調整してもよい。上述したように、座標変換テーブル１３５で調整された画像データは、画像データを仮想の投影面４０’に投影することができるとともに、画像データを投影面４０に投影させることもできる。

また、演算装置１１は、仮想投影処理において、仮想の投影装置２０’から仮想の投影面４０’に、調整画像データを投影させてもよい。具体的には、演算装置１１は、生成した調整画像データを投影することで、仮想の投影面４０’に所望の画像データが投影された仮想空間を生成することができる。また、演算装置１１は、仮想の撮影画像を表示装置１４に表し、ユーザに確認させることができる。

演算装置１１は、受付処理において、所定の表示範囲の指定を受け付ける。また、演算装置１１は、受付処理において、変形条件の指定を受け付ける。

演算装置１１は、判定処理において、座標変換テーブル１３５を用いた表示が、座標変換に許容される所定の表示範囲内への表示であるか否かを判定する。また、演算装置１１は、判定処理において、座標変換テーブル１３５を用いた表示が、画像の変形が許容される所定の変形条件を満たすか否かを判定する。

演算装置１１は、出力処理において、判定結果を出力する。

《検証方法》
図１２Ａ乃至図１２Ｃに示すフローチャートを用いて、本開示に係る検証方法について説明する。
まず、演算装置１１は、仮想の投影装置２０’、仮想の投影面４０’及び仮想の撮影装置３０’が設置された仮想空間を示す仮想空間情報を生成する（Ｓ１０１）。

また、仮想空間における仮想の投影装置２０’が位置調整される（Ｓ１０２）。

続いて、仮想空間における仮想の撮影装置３０’が位置調整される（Ｓ１０３）。

その後、演算装置１１は、仮想の投影装置２０’から仮想の投影面４０’にパターン画像を投影させる（Ｓ１０４）。

また、演算装置１１は、仮想の撮影装置３０’から第１の仮想撮影データを取得する（Ｓ１０５）。第１の仮想撮影データ１４４は、仮想の投影装置２０’から仮想の投影面４０’に投影されたパターン画像を含む。

さらに、演算装置１１は、ステップＳ１０５で取得した第１の仮想撮影データ１４４から、仮想の投影面４０’上に投影された複数の特徴点の座標を取得する（Ｓ１０６）。

続いて、演算装置１１は、仮想の投影装置２０’を操作し、仮想の投影面４０’にマーカ画像を投影させる（Ｓ１０７）。

また、演算装置１１は、仮想の撮影装置３０により仮想で撮影される第２の仮想撮影データ１４６を取得する（Ｓ１０８）。第２の仮想撮影データ１４６は、仮想の投影装置２０’から仮想の投影面４０’に投影されたマーカ画像を含む。

さらに、演算装置１１は、ステップＳ１０８で取得した第２の仮想撮影データ１４６から、仮想の投影面４０’上に投影された複数の投影基準マーカの座標を取得する（Ｓ１０９）。

さらに、演算装置１１は、ステップＳ１０８で取得した第２の仮想撮影データ１４６から、仮想の投影面４０’上に配置された複数の配置基準マーカの座標を取得する（Ｓ１１０）。

演算装置１１は、パターン画像と、ステップＳ１０６の取得結果を用いて、非投影特徴点及び投影特徴点を抽出する（Ｓ０１１）。

演算装置１１は、ステップＳ１１０の配置基準マーカの座標と、ステップＳ１１１の抽出結果とを用いて、仮想の投影装置２０’から投影画像を投影する投影範囲を特定する（Ｓ１１２）。

演算装置１１は、ステップＳ１１２で特定された投影範囲に基づき、仮想の投影装置２０’から投影する投影画像を、仮想の投影面４０’の形状に合わせて変換する座標変換テーブル１３５を生成する（Ｓ１１３）。

演算装置１１は、表示範囲及び変形条件を受け付ける（Ｓ１１４）。

演算装置１１は、ステップＳ１１３で生成された座標変換テーブル１３５で変形される画像が、ステップＳ１１４で受け付けた表示範囲及び変形条件を満たすか否かを判定する（Ｓ１１５）。表示範囲に表示されない場合、及び／又は、変形条件を満たさない場合（Ｓ１１６でＮＯ）、演算装置１１は、ステップＳ１０２に戻り、ステップＳ００３～Ｓ０１５の処理を繰り返す。

その後、演算装置１１は、投影特徴点を配置した投影特徴点データ１３７を生成し、表示装置１４に表示させる（Ｓ１１７）。

また、演算装置１１は、非投影特徴点を配置した非投影特徴点データ１３８を生成し、表示装置１４に表示させる（Ｓ１１８）。

さらに、演算装置１１は、座標変換テーブル１３５を用いて可視化画像データ１３６を生成し、表示装置１４に表示させる（Ｓ１１９）。

また、演算装置１１は、ステップＳ１１２で生成した座標変換テーブル１３５を用いて画像を変形する（Ｓ１２０）。

演算装置１１は、投影装置２０を操作し、ステップＳ１１９で変形された画像を、投影面４０に投影させる（Ｓ１２１）。

投影面４０に投影された画像が想定通りであるとき、終了が操作され、投影システム１における検証の処理が終了する（Ｓ１２２でYES）。

一方、投影面４０’に投影された画像が想定通りでないとき（Ｓ１２２でＮＯ）、再調整が必要であるため、ステップＳ１０２に戻り、ステップＳ１０２～Ｓ１２２の処理が繰り替えされる。具体的には、仮想の投影装置２０’及び仮想の撮影装置３０’の物理的な位置等に関して仮想空間が調整された後、再度検証の処理が実行される。

上述したように、第２実施形態に係る画像処理装置１０Ａによれば、投影システムが存在しない場合であっても、仮想の投影装置を配置した仮想空間を生成し、自動の幾何補正の過程で発生する情報を確認可能とする。これにより、投影装置による幾何補正の妥当性の判断を容易にすることができる。

《実施形態の概要》
（１）本開示の検証方法は、記憶装置にアクセス可能な演算装置で実行され、投影装置を用いて投影面に画像を投影させる投影システムにおける幾何補正の検証方法であって、記憶装置は、投影装置で投影面に投影させる画像上の座標を示す複数の特徴点を含むパターン画像を記憶し、演算装置によって、投影装置から投影面に、パターン画像を投影させ、撮影装置から、前記投影面に投影されたパターン画像を含む第１の撮影画像データを取得し、第１の撮影画像データに含まれる特徴点と、前記パターン画像に含まれる各特徴点とを比較して、投影面に投影されない非投影特徴点を抽出し、投影装置によって投影する投影画像の範囲の対応する位置に、抽出された複数の非投影特徴点を配置した非投影特徴点データを生成する。

これにより、投影装置による幾何補正の妥当性の判断を容易にすることができる。

（２）（１）において、第１の撮影画像データに含まれる特徴点と、パターン画像に含まれる各特徴点とを比較して、投影面に投影された投影特徴点を抽出し、撮影装置によって撮影した投影面上の対応する位置に、抽出された複数の投影特徴点を配置した投影特徴点データを生成してもよい。

これにより、投影装置による幾何補正の妥当性の判断を容易にすることができる。

（３）（２）において、記憶装置は、投影装置で投影面に投影させる画像上の座標を示す複数の投影基準マーカを含むマーカ画像を記憶し、演算装置によって投影装置から投影面に、マーカ画像を投影させ、撮影装置から、複数の投影基準マーカとそれぞれ対応する複数の配置基準マーカが配置された投影面に投影されたマーカ画像を含む第２の撮影画像データを取得し、第２の撮影画像データに含まれる複数の配置基準マーカの位置と、複数の投影基準マーカの位置との比較結果を用いて、非投影特徴点を投影面に投影させるための座標変換テーブルを生成してもよい。

これにより、投影装置から投影面に対して適切に調整して投影する座標変換テーブルを生成することができる。

（４）（３）において、座標変換テーブルを用いて、投影特徴点及び非投影特徴点を可視化させた可視化画像データを生成してもよい。

これにより、画像データのうち投影面に投影される範囲及び投影されない範囲を目視で把握することができる。

（５）（３）又は（４）において、座標変換テーブルを用いて、画像データの全体が投影面に投影されるように調整した調整画像データを生成し、投影装置から投影面に、調整画像データを投影させてもよい。

これにより、座標変換テーブルを用いて画像データがどのように表示されるか確認することができる。

（６）（３）乃至（５）において、座標変換テーブルを用いた表示が、座標変換に許容される所定の表示範囲内への表示であるか否かを判定し、判定結果を出力してもよい。

これにより、所定の表示範囲内へ変換されるかを確認することができる。

（７）（６）において、前記所定の表示範囲の指定を受け付けてもよい。

これにより、ユーザが表示範囲を指定することができる。

（８）（３）乃至（７）において、座標変換テーブルを用いた表示が、画像の変形が許容される所定の変形条件を満たすか否かを判定し、判定結果を出力してもよい。

これにより、変形条件を満たす範囲内での変更であるかを確認することができる。

（９）（８）において、変形条件の指定を受け付けてもよい。

これにより、ユーザが変形条件を指定することができる。

（１０）本開示の検証方法は、記憶装置にアクセス可能な演算装置で実行され、投影装置を用いて投影面に画像を投影させる投影システムにおける幾何補正の検証方法であって、記憶装置は、投影装置と、投影面と、投影面を撮影可能な撮影装置とが配置される実空間の空間情報と、投影装置及び撮影装置に設定されるパラメータ情報と、投影装置で投影面に投影させる画像上の座標を示す複数の特徴点を含むパターン画像と、を記憶し、演算装置によって、空間情報に基づいて仮想的に構築された仮想空間に、パラメータ情報に基づく仮想的なパラメータ値が設定された仮想の投影装置及び仮想の撮影装置を配置させた状態を含む仮想空間情報を生成し、仮想空間情報において、仮想の投影装置から仮想の投影面に、パターン画像を投影させ、仮想の撮影装置で撮影される、仮想の投影面に投影されたパターン画像を含む仮想の第１の撮影画像データを取得し、仮想の第１の撮影画像データに含まれる特徴点と、パターン画像に含まれる各特徴点とを比較して、仮想の投影面に投影されない非投影特徴点を抽出し、仮想の投影装置によって投影する仮想の投影画像の範囲の対応する位置に、抽出された複数の非投影特徴点を配置した非投影特徴点データを生成してもよい。

これにより、仮想システムが実際に存在しない場合であっても、シミュレーションによって、投影装置による幾何補正の妥当性の判断を検証することができる。

（１１）（１０）において、仮想の第１の撮影画像データに含まれる特徴点と、パターン画像に含まれる各特徴点とを比較して、仮想の投影面に投影された投影特徴点を抽出し、仮想の撮影装置によって撮影した仮想の投影面上の対応する位置に、抽出された複数の投影特徴点を配置した投影特徴点データを生成してもよい。

これにより、シミュレーションによって、投影装置による幾何補正の妥当性の判断を容易にすることができる。

（１２）（１１）において、前記記憶装置は、投影装置で投影面に投影させる画像上の座標を示す複数の投影基準マーカを含むマーカ画像を記憶し、演算装置によって仮想の投影装置から仮想の投影面に、マーカ画像を投影させ、仮想の撮影装置から、複数の投影基準マーカとそれぞれ対応する複数の仮想の配置基準マーカが配置された仮想の投影面に投影されたマーカ画像を含む仮想の第２の撮影画像データを取得し、仮想の第２の撮影画像データに含まれる複数の仮想の配置基準マーカの位置と、複数の投影基準マーカの位置との比較結果を用いて、仮想の投影面に投影されない特徴点を仮想の投影面に投影させるための座標変換テーブルを生成してもよい。

これにより、シミュレーションによって、投影装置から投影面に対して適切に調整して投影する座標変換テーブルを生成することができる。

（１３）（１２）において、前記座標変換テーブルを用いて、投影特徴点及び非投影特徴点を可視化させた可視化画像データを生成してもよい。

これにより、シミュレーションによって、画像データのうち投影面に投影される範囲及び投影されない範囲を目視で把握することができる。

（１４）（１２）又は（１３）において、座標変換テーブルを用いて、画像データの全体が仮想の投影面に投影されるように調整した調整画像データを生成し、仮想の投影装置から仮想の投影面に、調整画像データを投影させてもよい。

これにより、シミュレーションによって、座標変換テーブルを用いて画像データがどのように表示されるか確認することができる。

（１５）本開示のコンピュータプログラムは、演算装置に、（１）乃至（１４）のいずれか１に記載の検証方法を実行させる。

これにより、投影装置による幾何補正の妥当性の判断を検証することができる。

（１６）本開示の投影システムは、記憶装置にアクセス可能な演算装置と、演算装置によって制御され、投影面に画像を投影させる投影装置と、投影面を含む画像を撮影する撮影装置とを含む投影システムであって、記憶装置は、投影装置で投影面に投影させる画像上の座標を示す複数の特徴点を含むパターン画像を記憶し、演算装置は、投影システムの検証時に、投影装置から投影面に、パターン画像を投影させ、撮影装置から、投影面に投影されたパターン画像を含む第１の撮影画像データを取得し、第１の撮影画像データに含まれる特徴点と、パターン画像に含まれる各特徴点とを比較して、投影面に投影されない非投影特徴点を抽出し、投影装置によって投影する投影画像の範囲の対応する位置に、抽出された複数の非投影特徴点を配置した非投影特徴点データを生成する。

これにより、投影装置による幾何補正の妥当性の判断を検証することができる。

本開示の全請求項に記載のシミュレーション装置及びシミュレーション方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びコンピュータプログラムとの協働などによって、実現される。

本開示の検証方法、コンピュータプログラム及び投影システムは、投影装置による投影時の自動の幾何補正の実現に有用である。

１ 投影システム
１０ 画像処理装置
１１ 演算装置
１２ 通信装置
１３ 記憶装置
２０ 投影装置
３０ 撮影装置
４０ 投影面

Claims (16)

1. 記憶装置にアクセス可能な演算装置で実行され、投影装置を用いて投影面に画像を投影させる投影システムにおける幾何補正の検証方法であって、
   前記記憶装置は、
   前記投影装置で前記投影面に投影させる画像上の座標を示す複数の特徴点を含むパターン画像を記憶し、
   前記演算装置によって、
   前記投影装置から前記投影面に、前記パターン画像を投影させ、
   撮影装置から、前記投影面に投影された前記パターン画像を含む第１の撮影画像データを取得し、
   前記第１の撮影画像データに含まれる特徴点と、前記パターン画像に含まれる各特徴点とを比較して、前記投影面に投影されない非投影特徴点を抽出し、
   前記投影装置によって投影する投影画像の範囲の対応する位置に、抽出された複数の前記非投影特徴点を配置した非投影特徴点データを生成する
   検証方法。
2. 前記第１の撮影画像データに含まれる特徴点と、前記パターン画像に含まれる各特徴点とを比較して、前記投影面に投影された投影特徴点を抽出し、
   前記撮影装置によって撮影した前記投影面上の対応する位置に、抽出された複数の前記投影特徴点を配置した投影特徴点データを生成する
   請求項１に記載の検証方法。
3. 前記記憶装置は、
   前記投影装置で前記投影面に投影させる画像上の座標を示す複数の投影基準マーカを含むマーカ画像を記憶し、
   前記演算装置によって
   前記投影装置から前記投影面に、前記マーカ画像を投影させ、
   前記撮影装置から、前記複数の投影基準マーカとそれぞれ対応する複数の配置基準マーカが配置された前記投影面に投影された前記マーカ画像を含む第２の撮影画像データを取得し、
   前記第２の撮影画像データに含まれる前記複数の配置基準マーカの位置と、前記複数の投影基準マーカの位置との比較結果を用いて、前記非投影特徴点を前記投影面に投影させるための座標変換テーブルを生成する
   請求項２に記載の検証方法。
4. 前記座標変換テーブルを用いて、前記投影特徴点及び前記非投影特徴点を可視化させた可視化画像データを生成する
   請求項３に記載の検証方法。
5. 前記座標変換テーブルを用いて、画像データの全体が前記投影面に投影されるように調整した調整画像データを生成し、
   前記投影装置から前記投影面に、前記調整画像データを投影させる
   請求項３又は４に記載の検証方法。
6. 前記座標変換テーブルを用いた表示が、座標変換に許容される所定の表示範囲内への表示であるか否かを判定し、
   判定結果を出力する
   請求項３乃至５のいずれか１に記載の検証方法。
7. 前記所定の表示範囲の指定を受け付ける
   請求項６に記載の検証方法。
8. 前記座標変換テーブルを用いた表示が、画像の変形が許容される所定の変形条件を満たすか否かを判定し、
   判定結果を出力する
   請求項３乃至７のいずれか１に記載の検証方法。
9. 前記変形条件の指定を受け付ける
   請求項８に記載の検証方法。
10. 記憶装置にアクセス可能な演算装置で実行され、投影装置を用いて投影面に画像を投影させる投影システムにおける幾何補正の検証方法であって、
    前記記憶装置は、
    前記投影装置と、前記投影面と、前記投影面を撮影可能な撮影装置とが配置される実空間の空間情報と、
    前記投影装置及び前記撮影装置に設定されるパラメータ情報と、
    前記投影装置で前記投影面に投影させる画像上の座標を示す複数の特徴点を含むパターン画像と、
    を記憶し、
    前記演算装置によって、
    前記空間情報に基づいて仮想的に構築された仮想空間に、前記パラメータ情報に基づく仮想的なパラメータ値が設定された仮想の投影装置及び仮想の撮影装置を配置させた状態を含む仮想空間情報を生成し、
    前記仮想空間情報において、前記仮想の投影装置から仮想の投影面に、前記パターン画像を投影させ、
    前記仮想の撮影装置で撮影される、前記仮想の投影面に投影された前記パターン画像を含む仮想の第１の撮影画像データを取得し、
    前記仮想の第１の撮影画像データに含まれる特徴点と、前記パターン画像に含まれる各特徴点とを比較して、前記仮想の投影面に投影されない非投影特徴点を抽出し、
    前記仮想の投影装置によって投影する仮想の投影画像の範囲の対応する位置に、抽出された複数の前記非投影特徴点を配置した非投影特徴点データを生成する
    検証方法。
11. 前記仮想の第１の撮影画像データに含まれる特徴点と、前記パターン画像に含まれる各特徴点とを比較して、前記仮想の投影面に投影された投影特徴点を抽出し、
    前記仮想の撮影装置によって撮影した前記仮想の投影面上の対応する位置に、抽出された複数の前記投影特徴点を配置した投影特徴点データを生成する
    請求項１０に記載の検証方法。
12. 前記記憶装置は、
    前記投影装置で前記投影面に投影させる画像上の座標を示す複数の投影基準マーカを含むマーカ画像を記憶し、
    前記演算装置によって
    前記仮想の投影装置から前記仮想の投影面に、前記マーカ画像を投影させ、
    前記仮想の撮影装置から、前記複数の投影基準マーカとそれぞれ対応する複数の仮想の配置基準マーカが配置された前記仮想の投影面に投影された前記マーカ画像を含む仮想の第２の撮影画像データを取得し、
    前記仮想の第２の撮影画像データに含まれる前記複数の仮想の配置基準マーカの位置と、前記複数の投影基準マーカの位置との比較結果を用いて、前記非投影特徴点を前記仮想の投影面に投影させるための座標変換テーブルを生成する
    請求項１１に記載の検証方法。
13. 前記座標変換テーブルを用いて、前記投影特徴点及び前記非投影特徴点を可視化させた可視化画像データを生成する
    請求項１２に記載の検証方法。
14. 前記座標変換テーブルを用いて、画像データの全体が前記仮想の投影面に投影されるように調整した調整画像データを生成し、
    前記仮想の投影装置から前記仮想の投影面に、前記調整画像データを投影させる
    請求項１２又は１３に記載の検証方法。
15. 前記演算装置に、請求項１乃至１４のいずれか１に記載の検証方法を実行させるコンピュータプログラム。
16. 記憶装置にアクセス可能な演算装置と、前記演算装置によって制御され、投影面に画像を投影させる投影装置と、前記投影面を含む画像を撮影する撮影装置とを含む投影システムであって、
    前記記憶装置は、
    前記投影装置で前記投影面に投影させる画像上の座標を示す複数の特徴点を含むパターン画像を記憶し、
    前記演算装置は、前記投影システムの検証時に、
    前記投影装置から前記投影面に、前記パターン画像を投影させ、
    撮影装置から、前記投影面に投影された前記パターン画像を含む第１の撮影画像データを取得し、
    前記第１の撮影画像データに含まれる特徴点と、前記パターン画像に含まれる各特徴点とを比較して、前記投影面に投影されない非投影特徴点を抽出し、
    前記投影装置によって投影する投影画像の範囲の対応する位置に、抽出された複数の前記非投影特徴点を配置した非投影特徴点データを生成する
    投影システム。

Images