JP2022024474A - 画像生成方法、画像生成システム、及びプログラム - Google Patents

Abstract

【課題】観測位置から投写面を観測したときの投写画像の歪みを簡便に低減しつつ、プロジェクターが投写可能な領域内の任意の位置に映像コンテンツを適切な大きさで配置できるようにする。【解決手段】画像生成装置１は、撮像装置４０、表示装置２０、入力装置３０、及び処理装置６０を有する。処理装置６０は、投写画像の形状補正の基準となるマーカー画像がプロジェクター２から投写されている投写スクリーン３を観測位置とは異なる撮像位置から撮像装置４０により撮像し、観測位置から観測したときの投写画像の歪みを低減するためのパラメーターを撮像されたマーカー画像に基づいて生成し、プロジェクター２が投写可能な範囲をパラメーターに従って表示装置２０に表示し、入力装置３０に対する入力により指定される該範囲内の位置に映像コンテンツを配置して元画像を生成し、該元画像をパラメーターに従って補正してプロジェクター２へ入力する。【選択図】図１

Description

本開示は、画像生成方法、画像生成システム、及びプログラム、に関する。

投写スクリーン等の投写面に対して斜めの方向に位置するプロジェクターからの投写画像を投写面の正面に設定される観測位置から観測すると、プロジェクターと投写面との相対的な位置関係に応じて歪んだ画像が観測される。この歪みを低減する技術として台形補正が一般に知られている。特許文献１には、投影面に固定されたマーカーを撮像し、撮像画像におけるマーカーの位置関係から台形補正用のパラメーターを算出する技術の開示がある。

特表２００６－５２３０６７

近年では、小売店等の店舗における店内装飾にプロジェクターの投写画像を利用することが提案されている。店舗等では、季節の変化に応じた模様替えの際に投写スクリーンの位置が変更されることがある。投写スクリーンの位置が変更される毎にプロジェクターと投写スクリーンとの相対的な位置関係及び観測位置と投写スクリーンとの相対的な位置関係を考慮しつつ、台形補正をやり直すことは、大きな負担となる。また、店内装飾にプロジェクターの投写画像を利用する場合、プロジェクターからの投写光が商品又は店内の什器によって遮られると予期した装飾効果が得られない場合がある。そこで、店内装飾にプロジェクターの投写画像を利用する場合には、プロジェクターが投写可能な領域のうち商品等によって投写光が遮られない部分を選択して映像コンテンツを適切な大きさで配置できることが望ましい。しかし、観測位置から投写面を観測したときの投写画像の歪みを簡便に低減しつつ、プロジェクターが投写可能な領域内の任意の位置に映像コンテンツを適切な大きさで配置できるようにする技術は従来無かった。

以上の課題を解決するために、本開示の画像生成方法は、投写面に投写画像を投写するプロジェクターへ入力する入力画像を生成する画像生成方法であって、前記投写画像の形状を補正するための基準となるマーカー画像が前記プロジェクターから前記投写面に投写される状態において、前記投写面を観測する観測位置とは異なる撮像位置から前記投写面を、ユーザーの指示に応じて撮像装置を用いて撮像し、前記撮像装置を用いて撮像された画像に含まれる前記マーカー画像に基づいて、前記観測位置から前記投写面を観測した場合に前記投写画像の歪みを低減するためのパラメーターを生成し、前記パラメーターに従って前記投写面に投写可能な範囲を示す領域画像を表示装置に表示し、前記ユーザーが指定する前記領域画像内の位置に映像コンテンツを配置し、前記配置された映像コンテンツを含む元画像を生成し、前記元画像を前記パラメーターに従って補正することにより前記入力画像を生成する。

また、上記課題を解決するために、本開示の画像生成システムは、投写面に投写画像を投写するプロジェクターへ入力する入力画像を生成する画像生成システムであって、撮像装置と、表示装置と、入力装置と、処理装置と、を備える。前記処理装置は、前記投写画像の形状を補正するための基準となるマーカー画像が前記プロジェクターから前記投写面に投写される状態において、前記投写面を観測する観測位置とは異なる撮像位置から前記投写面を、ユーザーの指示に応じて前記撮像装置を用いて撮像すること、前記撮像装置を用いて撮像された画像に含まれる前記マーカー画像に基づいて、前記観測位置から前記投写面を観測した場合に前記投写画像の歪みを低減するためのパラメーターを生成すること、前記パラメーターに従って前記投写面に投写可能な範囲を示す領域画像を前記表示装置に表示すること、前記入力装置に対する入力により前記ユーザーが指定する前記領域画像内の位置に映像コンテンツを配置すること、前記配置された映像コンテンツを含む元画像を生成すること、及び、前記元画像を前記パラメーターに従って補正することにより前記入力画像を生成すること、を実行する。

また、上記課題を解決するために本開示のプログラムは、コンピューターに、プロジェクターから投写面に投写される投写画像の形状を補正するための基準となるマーカー画像が前記プロジェクターから前記投写面に投写される状態において、前記投写面を観測する観測位置とは異なる撮像位置から前記投写面を、ユーザーの指示に応じて撮像装置を用いて撮像すること、前記撮像装置を用いて撮像された画像に含まれる前記マーカー画像に基づいて、前記観測位置から前記投写面を観測した場合に前記投写画像の歪みを低減するためのパラメーターを生成すること、前記パラメーターに従って前記投写面に投写可能な範囲を示す領域画像を表示装置に表示すること、前記コンピューターに対する入力により前記ユーザーが指定する前記領域画像内の位置に映像コンテンツを配置すること、前記配置された映像コンテンツを含む元画像を生成すること、及び、前記元画像を前記パラメーターに従って補正することにより前記入力画像を生成すること、を実行させる。

本開示の一実施形態に係る画像生成装置１の構成例を示すブロック図である。 画像生成装置１、プロジェクター２、及び投写スクリーン３の配置例を示す図である。 画像生成装置１の処理装置６０がプログラムＡＰに従って実行する画像生成方法の流れを示すフローチャートである。 画像生成装置１から与えられるマーカー画像データに従ってプロジェクター２が投写スクリーン３に投写するマーカー画像ＭＧの一例を示す図である。 プロジェクター２からマーカー画像ＭＧを投写されている状態の投写スクリーン３を画像生成装置１の撮像装置４０により撮像して得られる画像の表示例を示す図である。 ユーザーによる歪み補正操作の一例を示す図である。 歪み補正操作後の表示装置２０の表示画像の一例を示す図である。 画像生成装置１の表示装置２０に表示される領域画像ＲＧの一例を示す図である。 領域画像ＲＧに対する映像コンテンツの配置例を示す図である。 領域画像ＲＧに対する映像コンテンツの配置例を示す図である。 本実施形態の効果を説明するための図である。 本実施形態の効果を説明するための図である。

以下、図面を参照して本開示の実施形態を説明する。以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。

１．実施形態
図１は、本開示の画像生成方法を実行する画像生成装置１の構成例を示すブロック図である。図１には、画像生成装置１の他に、プロジェクター２と投写スクリーン３とが図示されている。本実施形態では、投写スクリーン３の表面が、プロジェクター２から投写画像を投写される投写面となる。プロジェクター２及び投写スクリーン３は、例えば小売店等の店舗内に設置される。プロジェクター２は店内装飾用の画像を投写スクリーン３に投写する。これにより、プロジェクター２を用いた店内装飾が実現される。画像生成装置１は、店内装飾用の画像を生成する装置である。

図２は、プロジェクター２及び投写スクリーン３が設置される店舗Ｔの内部を天井側から見た俯瞰図である。図１及び図２では詳細な図示を省略したが、投写スクリーン３を正面から観測したときの形状、即ち投写スクリーン３の正面形状は長方形である。本実施形態では、店舗Ｔに来店した顧客がプロジェクター２からの投写画像を観測する観測位置Ｐ１として、投写スクリーン３の正面の位置、具体的には投写スクリーン３の輪郭を為す長方形の中心を通る投写スクリーン３の法線Ｙ１に沿って投写スクリーン３から所定の距離を隔てた位置が設定される。プロジェクター２は、図２に示すように、法線Ｙ１に対して左回りの角度θ１を為す直線Ｙ２上に設置される。つまり、プロジェクター２は、投写スクリーン３の法線Ｙ１に対して左回りに角度θ１を為す斜めの方向から画像を投写する。

画像生成装置１は、プロジェクター２と通信するデータ通信機能と撮像機能とを有する携帯端末である。本実施形態の画像生成装置１はスマートフォンであるが、データ通信機能及び撮像機能を有するタブレット型パーソナルコンピューターであってもよい。画像生成装置１のユーザーは、図２に示すように法線Ｙ１に対して右回りの角度θ２を為す直線Ｙ３上に設置される撮像位置Ｐ２から、プロジェクター２から画像を投写されている状態の投写スクリーン３を画像生成装置１を用いて撮像する。本実施形態では、この撮像画像は、店内装飾用の画像を編集する際に利用される。つまり、本実施形態では、観測位置Ｐ１とは異なる撮像位置Ｐ２から撮像した投写スクリーン３の画像を利用して、店内装飾用の画像の編集が行われる。プロジェクター２及び投写スクリーン３については既存のプロジェクター及び投写スクリーンと特段に変わるところはないため、詳細な説明を省略する。以下では、画像生成装置１を中心に説明する。

図１に示すように、画像生成装置１は、通信装置１０、表示装置２０、入力装置３０、撮像装置４０、記憶装置５０、及び処理装置６０、を備える。処理装置６０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサーを含んで構成される。処理装置６０は、単一のプロセッサーで構成されてもよいし、複数のプロセッサーで構成されてもよい。処理装置６０は、画像生成装置１の制御中枢として機能する。

通信装置１０は、処理装置６０による制御の下、種々の装置と通信する。通信装置１０は、例えば、プロジェクター２と無線ＬＡＮ（Local Area Network）で通信する。通信装置１０は、無線ＬＡＮとは異なる通信態様でプロジェクター２等の装置と通信してもよい。無線ＬＡＮとは異なる通信態様の具体例としては、有線通信、又はＢｌｕｅｔｏｏｔｈが挙げられる。Ｂｌｕｅｔｏｏｔｈは登録商標である。

表示装置２０は、例えば液晶パネルである。表示装置２０は、処理装置６０による制御の下、各種画像を表示する。入力装置３０は、例えば透明なシート状の接触検知センサーである。入力装置３０は、入力装置３０に接触する物体と入力装置３０とによって特定される静電容量を用いて、物体の接触位置を検出する。本実施形態では、画像生成装置１のユーザーは、入力装置３０に対するタッチ操作により各種入力を行うことができる。入力装置３０は、表示装置２０の表示面を覆うように配置される。本実施形態では、入力装置３０と表示装置２０とによりタッチパネルが形成される。撮像装置４０は、例えばイメージセンサーである。撮像装置４０は、処理装置６０による制御の下で画像を撮像し、撮像した画像を表す画像データを処理装置６０に与える。

記憶装置５０は、フラッシュメモリー等の不揮発性メモリーである。記憶装置５０は、処理装置６０によって実行されるプログラムＡＰを記憶する。プログラムＡＰは、「アプリケーションプログラム」、「アプリケーションソフトウェア」又は「アプリ」とも称され得る。プログラムＡＰは、例えば、通信装置１０を介して不図示のサーバー等から取得され、その後、記憶装置５０に記憶される。プログラムＡＰは、記憶装置５０に予め記憶されてもよい。また、記憶装置５０には、プログラムＡＰの実行過程で参照又は生成される各種のデータが記憶される。

処理装置６０は、プログラムＡＰの実行開始を指示する入力が入力装置３０に対して為されたことを契機としてプログラムＡＰの実行を開始する。プログラムＡＰに従って作動中の処理装置６０は、本開示の画像生成方法を実行する。図３は、プログラムＡＰに従って処理装置６０が実行する画像生成方法の流れを示すフローチャートある。図３に示すように、本開示の画像生成方法は、撮像処理ＳＡ１１０、第１生成処理ＳＡ１２０、表示処理ＳＡ１３０、配置処理ＳＡ１４０、第２生成処理ＳＡ１５０、及び送信処理ＳＡ１６０を含む。撮像処理ＳＡ１１０、第１生成処理ＳＡ１２０、表示処理ＳＡ１３０、配置処理ＳＡ１４０、第２生成処理ＳＡ１５０、及び送信処理ＳＡ１６０の各処理の処理内容は次の通りである。

撮像処理ＳＡ１１０は、プロジェクター２の投写画像の形状を補正するための基準となるマーカー画像がプロジェクター２から投写スクリーン３に投写される状態において、撮像装置４０を用いて投写スクリーン３を撮像する処理である。マーカー画像を表す画像データは、プログラムＡＰの実行過程で参照されるデータの一例である。マーカー画像については後に詳細に説明する。

第１生成処理ＳＡ１２０は、撮像装置４０を用いて撮像された画像に含まれるマーカー画像に基づいて、観測位置Ｐ１から投写スクリーン３を観測した場合に投写画像の歪みを低減するためのパラメーターを生成する処理である。

表示処理ＳＡ１３０は、プロジェクター２が投写可能な範囲を示す領域画像を、第１生成処理ＳＡ１２０にて生成済のパラメーターに従って表示装置２０に表示する処理である。

配置処理ＳＡ１４０は、入力装置３０に対する入力によりユーザーが指定する領域画像内の位置に、店内装飾用の映像コンテンツを配置する処理である。

第２生成処理ＳＡ１５０は、領域画像内に配置された映像コンテンツを含む画像、即ち店内装飾のためにプロジェクター２に入力する入力画像の元になる元画像を表す元画像データを生成する処理である。

送信処理ＳＡ１６０は、第１生成処理ＳＡ１２０にて生成済のパラメーターに従って元画像データを補正することにより入力画像を表す入力画像データを生成し、生成済の入力画像データを通信装置１０を用いてプロジェクター２へ送信する処理である。
以上が画像生成装置１の構成である。

次いで、図３から図１２を参照しつつ、画像生成装置１の動作を説明する。
前述したように、プログラムＡＰの実行開始を指示する入力が入力装置３０に対して為されると、処理装置６０は、プログラムＡＰの実行を開始する。プログラムＡＰの実行を開始した処理装置６０は、まず、撮像処理ＳＡ１１０を実行する。処理装置６０は、撮像処理ＳＡ１１０の実行開始を契機として、マーカー画像を表すマーカー画像データを、通信装置１０を用いてプロジェクター２に送信する。

本実施形態におけるマーカー画像ＭＧは、図４に示すように、長方形状の輪郭線Ｌ０と当該長方形において互いに対向する２つの長辺の中点を結ぶ線分Ｌ１と互いに対向する２つの短辺の中点を結ぶ線分Ｌ２とからなる図形の画像である。マーカー画像ＭＧを表すマーカー画像データを受信すると、プロジェクター２はマーカー画像ＭＧを投写スクリーン３へ投写する。画像生成装置１のユーザーは、マーカー画像ＭＧがプロジェクター２から投写スクリーン３に投写されていることを確認すると、マーカー画像ＭＧが投写されている状態の投写スクリーン３に撮像装置４０を向け、入力装置３０に対する操作により撮像指示を入力する。処理装置６０は、入力装置３０に撮像指示が入力されたことを契機として撮像装置４０に撮像を実行させる。撮像装置４０による撮像の完了後は、撮像装置４０を投写スクリーン３に向けておく必要はない。

前述したように、本実施形態では、プロジェクター２は投写スクリーン３に対して斜め方向からマーカー画像ＭＧを投写する。また、撮像装置４０はマーカー画像ＭＧを投写されている状態の投写スクリーン３を斜め方向から撮像する。このため、撮像装置４０により撮像される画像には、投写スクリーン３は本来の形状である長方形から歪んだ形状で写る。同様に、マーカー画像ＭＧも本来の形状から歪んだ形状で写る。以下では、投写スクリーン３に対して斜め方向から画像を投写することに起因する歪みを第１の歪みと呼ぶ。また、投写スクリーン３を斜め方向から撮像することに起因する歪みを第２の歪みと呼ぶ。例えば、本実施形態では、撮像装置４０により撮像された画像における投写スクリーン３の形状は第２の歪みの分だけ本来の形状から歪んだ台形となる。同様に、撮像装置４０により撮像された画像におけるマーカー画像ＭＧの輪郭線の形状は、第１の歪み及び第２の歪みの分だけ本来の形状から歪んだ台形となる。

撮像処理ＳＡ１１０に後続する第１生成処理ＳＡ１２０では、処理装置６０は、撮像装置４０を用いて撮像された画像に含まれるマーカー画像ＭＧに基づいて、観測位置Ｐ１から投写スクリーン３を観測した場合に投写画像の歪みを低減するためのパラメーター、即ち第１の歪みを低減するためのパラメーターを生成する。本実施形態では、処理装置６０は、まず、撮像装置４０を用いて撮像された画像を、図５に示すように表示装置２０に表示させる。図５に示すように、表示装置２０の表示画像では、投写スクリーン３の形状は第２の歪みの分だけ本来の形状から歪んだ台形となっている。同様に、表示装置２０の表示画像では、マーカー画像ＭＧの形状は、第１の歪み及び第２の歪みの分だけ本来の形状から歪んだ台形となっている。なお、図５におけるハッチングは投写スクリーン３の周囲の背景の画像を意味する。図６、図７、図８、図９及び図１０におけるハッチングも同様である。

処理装置６０は、撮像装置４０の撮像画像を表示装置２０に表示させる際に、パターン認識等によりマーカー画像ＭＧを抽出し、抽出したマーカー画像ＭＧを入力装置３０に対する入力によりユーザーが自由に変形できるように、投写スクリーン３及び背景の画像とはレイヤーの異なる画像として表示装置２０に表示させる。次いで、処理装置６０は、表示装置２０の表示画像におけるマーカー画像ＭＧの形状を、図４に示す本来の形状で投写スクリーン３に配置されるマーカー画像ＭＧを撮像位置Ｐ２から観測したときの形状に変形させる操作の実行をユーザーに促す。より具体的には、処理装置６０は、「投写スクリーンの形状を参考にマーカー画像の形状を変形させて下さい」等のメッセージを出力する。このメッセ―ジは音声で出力されてもよいし、表示装置２０への表示による出力であってもよい。このメッセージに応じて、画像生成装置１のユーザーは、表示装置２０の表示画像におけるマーカー画像ＭＧの輪郭線を形成する台形の各頂点をドラッグし、図６に示すように、表示装置２０の表示画像における投写スクリーン３の形状と相似形の台形に変形させる。ユーザーによるマーカー画像ＭＧの変形が完了すると、処理装置６０は、表示装置２０の表示画像を、図７に示すように、投写スクリーン３を観測位置Ｐ１から見たときの画像に変形する。図７において点線で描画した台形はプロジェクター２が投写可能な範囲を示す。図７に示す例では、プロジェクター２の投写可能な範囲が投写スクリーン３に収まっているが、プロジェクター２の投写可能な範囲が投写スクリーン３からはみ出す場合もある。そして、処理装置６０は、撮像装置４０の撮像画像におけるマーカー画像ＭＧの形状と、ユーザーの操作により変形済のマーカー画像ＭＧの形状とから、第１の歪みを低減するためのパラメーターを生成する。

撮像装置４０の撮像画像におけるマーカー画像ＭＧの形状と、ユーザーの操作により変形済のマーカー画像ＭＧの形状とから、第１の歪みを低減するためのパラメーターを生成できる理由は次の通りである。前述したように、撮像装置４０の撮像画像におけるマーカー画像ＭＧの形状は第１の歪み及び第２の歪みの分だけ本来の形状から歪んでいる。仮に第１の歪みが無いとしたならば、撮像装置４０の撮像画像におけるマーカー画像ＭＧの輪郭線の形状は、撮像装置４０の撮像画像における投写スクリーン３の形状と相似形の台形、即ち本来の形状で投写スクリーン３に配置されるマーカー画像ＭＧを撮像位置Ｐ２から観測したときの形状になるはずである。つまり、表示装置２０の表示画像におけるマーカー画像ＭＧの形状を、本来の形状で投写スクリーン３に配置されるマーカー画像ＭＧを撮像位置Ｐ２から観測したときの形状に変形させることは、撮像装置４０により撮像画像におけるマーカー画像ＭＧの形状の歪み成分のうち第１の歪みを低減させることに他ならない。なお、第１の歪み及び第２の歪みの付与が各々座標変換の変換行列で表される場合、第１の歪みを低減するためのパラメーターとは、第１の歪みを付与する変換行列の逆行列である。この変換行列と逆行列は、撮像装置４０の撮像画像におけるマーカー画像ＭＧの形状と、ユーザーの操作に応じて変形済のマーカー画像ＭＧの形状とから算出される。同様に、第２の歪みを付与する変換行列及びその逆行列は、ユーザーの操作に応じて変形済のマーカー画像ＭＧの形状とマーカー画像データの表す形状とから算出される。この逆行列は第２の歪みを低減するためのパラメーターとなる。

第１生成処理ＳＡ１２０に後続する表示処理ＳＡ１３０では、処理装置６０は、第１生成処理ＳＡ１２０にて生成済のパラメーターに従って、投写スクリーン３に投写可能な範囲を示す領域画像を表示装置２０に表示する。より詳細に説明すると、処理装置６０は、通信装置１０を用いてプロジェクター２と通信し、プロジェクター２が投写可能な画像の解像度を示す解像度情報を取得する。次いで、処理装置６０は、撮像装置４０の撮像画像において当該解像度情報の示す範囲に対応する領域を上記第２の歪みを低減するためのパラメーターを参照して特定し、特定した領域を示す領域画像を表示装置２０に表示する。このとき、処理装置６０は、プロジェクター２が投写可能な範囲を示す領域画像として、第２の歪みを除去し、第１の歪みのみが発生した画像、即ち当該範囲を観測位置Ｐ１から観測したときの画像を表示する。その結果、表示装置２０には、図８に示すように、投写スクリーン３に投写可能な範囲を示す領域画像として、プロジェクター２が投写可能な解像度に応じた形状及び大きさの台形の領域画像ＲＧが表示される。画像生成装置１のユーザーは、投写スクリーン３を観測位置Ｐ１から観測したときのプロジェクター２が投写可能な範囲の形状及び大きさを領域画像ＲＧを通じて視覚的に把握することができる。

表示処理ＳＡ１３０に後続する配置処理ＳＡ１４０では、処理装置６０は、入力装置３０に対する入力によりユーザーが指定する領域画像ＲＧ内の位置に映像コンテンツを配置する。例えば、入力装置３０に対する入力によりユーザーが領域画像ＲＧの左上隅付近に「ふくろう」を模した映像コンテンツＣ２を配置すると、処理装置６０は、表示装置２０の表示画像を図９に示す画像に更新する。ここで、領域画像ＲＧの左側半部が商品等と重なるため、入力装置３０に対する入力によりユーザーが映像コンテンツＣ２を領域画像ＲＧの右下隅に移動させたとする。入力装置３０に対するユーザーの入力に応じて、処理装置６０は、表示装置２０の表示画像を図１０に示す画像に更新する。図９と図１０とを比較すれば明らかなように、本実施形態では、領域画像ＲＧの何処に映像コンテンツＣ２が配置されても、映像コンテンツＣ２のサイズ及び形状は変化しない。このため、本実施形態によれば、普通の矩形面に対する編集と同じ感覚で店内装飾用の画像を編集することが可能になる。

配置処理ＳＡ１４０に後続する第２生成処理ＳＡ１５０では、処理装置６０は、領域画像ＲＧ内に配置された映像コンテンツを含む元画像を表す元画像データを生成する。そして、第２生成処理ＳＡ１５０に後続する送信処理ＳＡ１６０では、処理装置６０は、元画像データに、第１生成処理ＳＡ１２０にて生成済の第１の歪み低減するためのパラメーターの示す変換処理を施して補正することにより、入力画像を表す入力画像データを生成し、生成済の入力画像データを、通信装置１０を用いてプロジェクター２へ送信する。

以降、プロジェクター２は、画像生成装置１から受信した入力画像データに従って入力画像を投写スクリーン３に投写する。図１１は、図１０に示すようにプロジェクター２が投写可能な範囲の右下隅に映像コンテンツＣ２を配置した場合における従来の台形補正による投写結果の一例を示す図である。図１２は、本実施形態にて生成された入力画像データによる投写結果の一例を示す図である。従来の台形補正では、領域画像ＲＧの端部に映像コンテンツを配置すると何かしらの歪みが発生する。図１１に示す例では、映像コンテンツＣ２は、領域画像ＲＧの左上隅に配置された場合に比較してサイズが小さくなっている。これに対して本実施形態によれば、図１２に示すように、映像コンテンツＣ２のサイズは領域画像ＲＧの左上隅に配置された場合と同じになる。従来の台形補正は、投写面に対して斜めの方向から画像を投写する際の歪みを、領域画像ＲＧを一部を捨てて矩形にすることで補正する処理である。このため、従来の台形補正では、プロジェクター２が投写可能な範囲を最大限に利用することはできない。これに対して、本実施形態における上記変換処理は、歪んだ上記範囲内に矩形を作る処理ではなく、当該範囲内に仮想的な直交座標系を設定する処理である。このため、本実施形態によれば、プロジェクター２の投写可能範囲を最大限に利用することが可能になる。なお、本実施形態にて生成された入力画像データに応じた入力画像には、投写スクリーン３に対してプロジェクター２が斜め方向から投写することに起因する歪みを低減する歪みが予め付与されている。このため、当該入力画像を投写されている状態の投写面を観測位置Ｐ１から観測すると、各々歪みの少ない映像コンテンツＣ２が観測される。

以上説明したように本実施形態の画像生成装置１によれば、プロジェクター２が投写可能な範囲を最大限に利用し、当該範囲の任意の位置に適切な大きさで映像コンテンツを配置することが可能になる。加えて、本実施形態の画像生成装置１によれば、画像生成装置１のユーザーはプロジェクター２と投写スクリーン３との相対的な位置関係及び投写スクリーン３と観測位置Ｐ１との相対的な位置関係を考慮しつつ台形補正を行う必要はなく、観測位置Ｐ１から歪みの少ない投写画像が観測できるようにする手間を軽減することが可能になる。つまり、本実施形態の画像生成装置１によれば、観測位置Ｐ１から投写面を観測したときの投写画像の歪みを簡便に低減しつつ、プロジェクター２が投写可能な領域内の任意の位置に映像コンテンツを適切な大きさで配置できるようになる。

２．変形例
上記実施形態は、以下のように変更されてもよい。
（１）上記実施形態では、観測位置Ｐ１から投写スクリーン３を観測した場合に投写画像の歪みを低減するためのパラメーターが、撮像装置４０の撮像画像に含まれるマーカー画像ＭＧの形状をマーカー画像ＭＧの本来の形状を撮像位置Ｐ２から観測したときの形状に変形させるユーザーの操作に応じて生成された。しかし、投写スクリーン３の本来の形状を表すデータを画像生成装置１が有している場合には、第１の歪みを低減するためのパラメーターと第２の歪みを低減するためのパラメーターとを自動生成してもよい。具体的には、投写スクリーン３の本来の形状と撮像装置４０の撮像画像における投写スクリーン３の形状とから、第２の歪みを低減するためのパラメーターを算出する。そして、撮像装置４０の撮像画像におけるマーカー画像ＭＧの形状と、当該形状に第２の歪みを低減するためのパラメーターの示す変換処理を施して得られる形状とから、第１の歪みを低減するためのパラメーターを生成すればよい。本態様によれば、第１の歪みを低減するためのパラメーターと第２の歪みを低減するためのパラメーターとを、ユーザーに特段の操作を行わせることなく生成することが可能になる。

（２）上記実施形態では、通信装置１０、表示装置２０、入力装置３０、撮像装置４０、記憶装置５０、及び処理装置６０を有する画像生成装置１について説明した。しかし、通信装置１０、表示装置２０、入力装置３０、撮像装置４０、記憶装置５０、及び処理装置６０が単一の装置に設けられていることは必須ではなく、複数の装置に振り分けて設けられていてもよい。例えば、通信装置１０、表示装置２０、入力装置３０、及び撮像装置４０を有するスマートフォンと、記憶装置５０と処理装置６０とを有し当該スマートフォンと通信するサーバー装置と、に画像生成装置１の役割を分担させてもよい。つまり、画像生成装置１に代えて、投写スクリーン３に投写画像を投写するプロジェクター２へ入力する入力画像を生成する画像生成システムであって、撮像装置４０と、表示装置２０と、入力装置３０と、処理装置６０と、を備え、プログラムＡＰに従って処理装置６０が撮像処理ＳＡ１１０～送信処理ＳＡ１６０を実行する画像生成システムを提供してもよい。

（３）上記実施形態では、本開示の画像生成方法を画像生成装置１の処理装置６０に実行させるプログラムＡＰが画像生成装置１の記憶装置５０に予め記憶済であった。しかし、プログラムＡＰを単体で提供してもよい。プログラムＡＰの具体的な提供態様としては、フラッシュＲＯＭ等のコンピューター読み取り可能な記録媒体にプログラムＡＰを書き込み、プログラムＡＰを書き込み済の記録媒体を配布する態様、又はインターネット等の電気通信回線経由のダウンロードによりプログラムＡＰを配布する態様が挙げられる。これらの態様により提供されるプログラムＡＰに従って、既存のスマートフォン又は既存のタブレット端末のプロセッサーを作動させることで、当該スマートフォン又はタブレット端末に本開示の画像生成方法を実行させることが可能になる。

（４）上記実施形態では、投写スクリーン３の表面が投写面であったが、店舗Ｔの壁面を投写面としてもよい。また、上記実施形態におけるマーカー画像ＭＧは、長方形状の輪郭線と当該長方形の対向する辺の中点を結ぶ線分とからなる図形の画像であったが、他の形状の図形の画像であってもよい。また、マーカー画像ＭＧは、長方形状の輪郭線の各頂点に各々ひとつずつ配置される４つの円により構成される図形の画像であってもよい。この場合、４つの円の相対的な位置関係により第１の歪み及び第２の歪みが表される。要は、本開示におけるマーカー画像は、所定の形状を有する１又は複数の画像であればよい。

（５）上記実施形態における処理装置６０は、プログラムＡＰに従って撮像処理ＳＡ１１０、第１生成処理ＳＡ１２０、表示処理ＳＡ１３０、配置処理ＳＡ１４０、第２生成処理ＳＡ１５０、及び送信処理ＳＡ１６０を実行するプロセッサー、即ちコンピューターであった。しかし、以下の撮像制御回路、第１生成回路、表示制御回路、配置制御回路、第２生成回路、及び送信制御回路の各回路をＡＳＩＣ（Application Specific Integrated Circuit）等で構成し、これら各回路を組み合わせて処理装置６０を構成してもよい。撮像制御回路は、撮像処理ＳＡ１１０を実行する。第１生成回路は、第１生成処理ＳＡ１２０を実行する。表示制御回路は、表示処理ＳＡ１３０を実行する。配置制御回路は、配置処理ＳＡ１４０を実行する。第２生成回路は、第２生成処理ＳＡ１５０を実行する。送信制御回路は、送信処理ＳＡ１６０を実行する。

３．実施形態及び各変形例の少なくとも１つから把握される態様
本開示は、上述した実施形態及び変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

本開示の画像生成方法の一態様は、投写面に投写画像を投写するプロジェクターへ入力する入力画像を生成する画像生成方法であって、以下の撮像処理、第１生成処理、表示処理、配置処理、第２生成処理、及び送信処理を含む。撮像処理では、前記投写画像の形状を補正するための基準となるマーカー画像が前記プロジェクターから前記投写面に投写される状態において、前記投写面を観測する観測位置とは異なる撮像位置から前記投写面が、ユーザーの指示に応じて撮像装置を用いて撮像される。第１生成処理では、前記撮像装置を用いて撮像された画像に含まれる前記マーカー画像に基づいて、前記観測位置から前記投写面を観測した場合に前記投写画像の歪みを低減するためのパラメーターが生成される。表示処理では、前記パラメーターに従って前記投写面に投写可能な範囲を示す領域画像が表示装置に表示される。配置処理では、前記ユーザーが指定する前記領域画像内の位置に映像コンテンツが配置される。第２生成処理では、前記配置された映像コンテンツを含む元画像が生成される。送信処理では、前記元画像を前記パラメーターに従って補正することにより前記入力画像が生成される。本態様の画像生成方法によれば、観測位置から投写面を観測したときの投写画像の歪みを簡便に低減しつつ、プロジェクターが投写可能な領域内の任意の位置に映像コンテンツを適切な大きさで配置できるようになる。

より好ましい態様の画像生成方法では、前記マーカー画像は、所定の形状を有する図形の画像であり、前記第１生成処理では、前記撮像装置を用いて撮像された画像に含まれる前記マーカー画像の形状が、前記投写面に配置される前記所定の形状の図形を前記撮像位置から観測したときの形状となるように前記パラメーターが生成される。前記パラメーターの生成は、前記撮像装置を用いて撮像された画像に含まれる投写面の形状と当該投写面の本来の形状との差を利用した自動生成であってもよいし、ユーザーの操作に応じた手動生成であってもよい。手動生成の具体的な態様としては、前記撮像装置を用いて撮像された画像を前記表示装置に表示し、前記表示装置に表示されている画像における前記マーカー画像の形状を、前記投写面に配置される前記所定の形状の図形を前記撮像位置から観測したときの形状に変形させる操作を前記ユーザーに促し、前記ユーザーの操作に応じて前記パラメーターを生成する態様が挙げられる。自動生成であれば、投写画像の歪みを低減するためのパラメーターを簡便に生成することが可能になる。手動生成であれば、自動生成に比較してきめ細やかの上記パラメーターを生成することが可能になる。

また、本開示の画像生成システムの一態様は、投写面に投写画像を投写するプロジェクターへ入力する入力画像を生成する画像生成システムであって、撮像装置と、表示装置と、入力装置と、処理装置と、を備える。処理装置は、前述の撮像処理、第１生成処理、表示処理、配置処理、第２生成処理、及び送信処理を実行する。本態様の画像生成システムによれば、観測位置から投写面を観測したときの投写画像の歪みを簡便に低減しつつ、プロジェクターが投写可能な領域内の任意の位置に映像コンテンツを適切な大きさで配置できるようになる。

また、本開示のプログラムの一態様は、コンピューターに前述の撮像処理、第１生成処理、表示処理、配置処理、第２生成処理、及び送信処理を実行させる。本態様のプログラムによれば、観測位置から投写面を観測したときの投写画像の歪みを簡便に低減しつつ、プロジェクターが投写可能な領域内の任意の位置に映像コンテンツを適切な大きさで配置できるようになる。

１…画像生成装置、２…プロジェクター、３…投写スクリーン、１０…通信装置、２０…表示装置、３０…入力装置、４０…撮像装置、５０…記憶装置、６０…処理装置。

Claims (5)

1. 投写面に投写画像を投写するプロジェクターへ入力する入力画像を生成する画像生成方法であって、
   前記投写画像の形状を補正するための基準となるマーカー画像が前記プロジェクターから前記投写面に投写される状態において、前記投写面を観測する観測位置とは異なる撮像位置から前記投写面を、ユーザーの指示に応じて撮像装置を用いて撮像し、
   前記撮像装置を用いて撮像された画像に含まれる前記マーカー画像に基づいて、前記観測位置から前記投写面を観測した場合に前記投写画像の歪みを低減するためのパラメーターを生成し、
   前記パラメーターに従って前記投写面に投写可能な範囲を示す領域画像を表示装置に表示し、
   前記ユーザーが指定する前記領域画像内の位置に映像コンテンツを配置し、
   前記配置された映像コンテンツを含む元画像を生成し、
   前記元画像を前記パラメーターに従って補正することにより前記入力画像を生成する、
   画像生成方法。
2. 前記マーカー画像は、所定の形状を有する図形の画像であり、
   前記撮像装置を用いて撮像された画像に含まれる前記マーカー画像の形状が、前記投写面に配置される前記所定の形状の図形を前記撮像位置から観測したときの形状となるように前記パラメーターを生成する、請求項１に記載の画像生成方法。
3. 前記撮像装置を用いて撮像された画像を前記表示装置に表示し、前記表示装置の表示画像における前記マーカー画像の形状を、前記投写面に配置される前記所定の形状の図形を前記撮像位置から観測したときの形状に変形させる操作を前記ユーザーに促し、前記ユーザーの操作に応じて前記パラメーターを生成する、請求項２に記載の画像生成方法。
4. 投写面に投写画像を投写するプロジェクターへ入力する入力画像を生成する画像生成システムであって、
   撮像装置と、
   表示装置と、
   入力装置と、
   処理装置と、を備え、
   前記処理装置は、
   前記投写画像の形状を補正するための基準となるマーカー画像が前記プロジェクターから前記投写面に投写される状態において、前記投写面を観測する観測位置とは異なる撮像位置から前記投写面を、ユーザーの指示に応じて前記撮像装置を用いて撮像すること、
   前記撮像装置を用いて撮像された画像に含まれる前記マーカー画像に基づいて、前記観測位置から前記投写面を観測した場合に前記投写画像の歪みを低減するためのパラメーターを生成すること、
   前記パラメーターに従って前記投写面に投写可能な範囲を示す領域画像を前記表示装置に表示すること、
   前記入力装置に対する入力により前記ユーザーが指定する前記領域画像内の位置に映像コンテンツを配置すること、
   前記配置された映像コンテンツを含む元画像を生成すること、及び、
   前記元画像を前記パラメーターに従って補正することにより前記入力画像を生成すること、を実行する
   画像生成システム。
5. コンピューターに、
   プロジェクターから投写面に投写される投写画像の形状を補正するための基準となるマーカー画像が前記プロジェクターから前記投写面に投写される状態において、前記投写面を観測する観測位置とは異なる撮像位置から前記投写面を、ユーザーの指示に応じて撮像装置を用いて撮像すること、
   前記撮像装置を用いて撮像された画像に含まれる前記マーカー画像に基づいて、前記観測位置から前記投写面を観測した場合に前記投写画像の歪みを低減するためのパラメーターを生成すること、
   前記パラメーターに従って前記投写面に投写可能な範囲を示す領域画像を表示装置に表示すること、
   前記コンピューターに対する入力により前記ユーザーが指定する前記領域画像内の位置に映像コンテンツを配置すること、
   前記配置された映像コンテンツを含む元画像を生成すること、及び、
   前記元画像を前記パラメーターに従って補正することにより、前記プロジェクターへ入力する入力画像を生成すること、を実行させる、
   プログラム。

Images