JP2020091440A - 情報処理装置の制御方法、情報処理装置およびプログラム - Google Patents

Abstract

【課題】ディスプレイ装置に表示される画像のサイズ等を変更する指示が、投射装置によって投射される画像のサイズに影響を及ぼすことを抑制する技術を提供する。【解決手段】情報処理装置の制御方法は、物体の撮像データに基づき第１画像データを生成し、ディスプレイ装置に第１画像データに基づく第１画像を表示させ、第１画像に対する描画用の操作に基づき描画データを生成し、撮像データと描画データに基づき物体の像に描画用の操作に応じた画像が重畳されている画像を示す合成画像データを生成し、ディスプレイ装置に合成画像データに基づく合成画像を表示させ、描画データに基づき第２画像データを生成し、投射装置に第２画像データに基づく第２画像を物体に投射させ、第１画像における物体の像のサイズおよび向きの少なくとも一方を変更する変更指示を受け取ると、第２画像データを変更せずに合成画像データを変更指示に基づき変更する。【選択図】図４

Description

本発明は、情報処理装置の制御方法、情報処理装置およびプログラムに関する。

特許文献１には、物体に投射される投射画像の画像データを作成するためのシステムが記載されている。このシステムでは、ＰＣ（Personal Computer）は、物体の撮像画像をディスプレイに表示し、ディスプレイが表示する撮像画像に対する描画用操作に応じて画像データを生成する。そして、ＰＣは、投射部に、画像データが示す投射画像を物体に投射させる。

特開２０１８−９８５９８号公報

特許文献１に記載のようなシステムにおいて、ディスプレイが表示する撮像画像に対する描画操作を行い易くするために、画像のサイズまたは向きを変更する変更操作を受け付けることが考えられる。
しかしながら、変更操作が、ディスプレイが表示する撮像画像の他に、投射部が投射する投射画像にも反映されると、投射画像と物体との位置関係に影響を及ぼしてしまうという問題が生じる。

本発明に係る情報処理装置の制御方法の一態様は、物体を撮像することによって得られる撮像データに基づいて第１画像データを生成し、前記第１画像データをディスプレイ装置に供給することによって、前記ディスプレイ装置に、前記第１画像データに基づく第１画像を表示させ、前記第１画像に対する描画用の操作に基づいて、描画データを生成し、前記撮像データと前記描画データに基づいて、前記物体の像に前記描画用の操作に応じた画像が重畳されている画像を示す合成画像データを生成し、前記ディスプレイ装置に、前記合成画像データに基づく合成画像を表示させ、前記描画データに基づいて、第２画像データを生成し、前記第２画像データを投射装置に供給することによって、前記投射装置に、前記第２画像データに基づく第２画像を前記物体に投射させ、前記第１画像における前記物体の像のサイズおよび向きの少なくとも一方を変更する変更指示を受け取ると、前記第２画像データを変更することなく、前記合成画像データを前記変更指示に基づいて変更する。

本発明に係る情報処理装置の一態様は、物体を撮像することによって得られる撮像データに基づいて第１画像データを生成する第１生成部と、前記第１画像データをディスプレイ装置に供給することによって、前記ディスプレイ装置に、前記第１画像データに基づく第１画像を表示させる表示制御部と、前記第１画像に対する描画用の操作に基づいて、描画データを生成する第２生成部と、前記描画データに基づいて、第２画像データを生成する第３生成部と、前記第２画像データを投射装置に供給することによって、前記投射装置に、前記第２画像データに基づく第２画像を前記物体に投射させる投射制御部と、前記第１画像における前記物体の像のサイズおよび向きの少なくとも一方を変更する変更指示を受け取ると、前記第２画像データを変更することなく、前記第１画像データを前記変更指示に基づいて変更する変更部と、を含み、前記第１生成部は、前記撮像データと前記描画データに基づいて、前記物体の像に前記描画用の操作に応じた画像が重畳されている画像を示す合成画像データを、前記第１画像データとして生成する。

本発明に係るプログラムの一態様は、コンピューターに、物体を撮像することによって得られる撮像データに基づいて第１画像データを生成する手順と、前記第１画像データをディスプレイ装置に供給することによって、前記ディスプレイ装置に、前記第１画像データに基づく第１画像を表示させる手順と、前記第１画像に対する描画用の操作に基づいて、描画データを生成する手順と、前記撮像データと前記描画データに基づいて、前記物体の像に前記描画用の操作に応じた画像が重畳されている画像を示す合成画像データを生成し、前記ディスプレイ装置に、前記合成画像データに基づく合成画像を表示させる手順と、前記描画データに基づいて、第２画像データを生成する手順と、前記第２画像データを投射装置に供給することによって、前記投射装置に、前記第２画像データに基づく第２画像を前記物体に投射させる手順と、前記第１画像における前記物体の像のサイズおよび向きの少なくとも一方を変更する変更指示を受け取ると、前記第２画像データを変更することなく、前記合成画像データを前記変更指示に基づいて変更する手順とを実行させる。

第１実施形態に係る情報処理装置１を示す図である。 撮像装置２と投射装置５の一例を示す図である。 情報処理装置１の一例を示す図である。 支援システムＡの動作を説明するためのフローチャートである。 撮像データが示す撮像画像Ｇ１の一例を示す図である。 表示用画像データが示す表示画像Ｇ２の一例を示す図である。 合成画像データが示す画像Ｇ３の一例を示す図である。 投射画像Ｇ４の一例を示す図である。 変更後の表示画像Ｇ５の一例を示す図である。 更新後の投射画像Ｇ６の一例を示す図である。 歪み補正機能を有する情報処理装置１Ａの一例を示す図である。

＜Ａ：第１実施形態＞
＜Ａ１：支援システムＡの概要＞
図１は、第１実施形態に係る情報処理装置１を示す図である。情報処理装置１は、撮像装置２と、ディスプレイ装置３と、操作装置４と、投射装置５と共に、支援システムＡに含まれる。支援システムＡは、物体６に対して画像を投射するプロジェクションマッピング用の画像データを利用者が作成することを支援する。物体６は、例えば、建物の壁である。なお、物体６は、建物の壁に限らず、例えば建物の天井または商品でもよい。

情報処理装置１は、例えばＰＣである。なお、情報処理装置１は、ＰＣに限らず適宜変更可能であり、例えば専用の処理装置でもよい。情報処理装置１は、支援システムＡを制御する。

撮像装置２は、ＣＣＤ（Charge Coupled Device）イメージセンサーまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等の撮像素子を有する。撮像装置２は、物体６を撮像することによって撮像データを生成する。撮像データは、物体６の像を表す。情報処理装置１は、撮像データに基づいて、表示用画像データを生成する。表示用画像データは、第１画像データの一例である。

ディスプレイ装置３は、例えば、液晶ディスプレイ装置である。なお、ディスプレイ装置３は、液晶ディスプレイ装置に限らず適宜変更可能であり、例えば、有機ＥＬ（Electro Luminescence）ディスプレイ装置でもよい。ディスプレイ装置３は、表示用画像データに基づく表示画像を表示する。表示画像は、第１画像の一例である。表示画像は、物体６の像を含む。

操作装置４は、例えば、キーボードまたはマウスである。操作装置４は、種々の操作を受け取る。例えば、操作装置４は、表示画像に対する描画用の操作を受け取る。情報処理装置１は、描画用の操作に基づいて、描画データを作成する。描画データは、物体６に対するプロジェクションマッピング用の画像データの一例である。情報処理装置１は、描画データに基づいて、投射用画像データを生成する。投射用画像データは、第２画像データの一例である。

投射装置５は、例えば、プロジェクターである。投射装置５は、投射用画像データに基づく投射画像を物体６に投射する。投射画像は、第２画像の一例である。

＜Ａ２：撮像装置２と投射装置５の一例＞
図２は、撮像装置２と投射装置５の一例を示す図である。図２に示す例では、投射装置５は、光源５１と、光路分離素子７と、反射型液晶パネル５２と、光学系８と、を含む。撮像装置２は、光学系８と、光路分離素子７と、撮像素子２１とを含む。

光源５１は、例えば、ＬＥＤ（Light Emitting Diode）である。なお、光源５１は、ＬＥＤに限らず適宜変更可能であり、例えば、キセノンランプ、超高圧水銀ランプ、またはレーザー光源でもよい。光源５１は、光路分離素子７に向けて光を出射する。

光路分離素子７は、例えば、偏光ビームスプリッターである。なお、光路分離素子７は、偏光ビームスプリッターに限らず適宜変更可能であり、例えば、無偏光ビームスプリッターまたは非偏光ビームスプリッターでもよい。光路分離素子７は、光源５１から入射する光を反射型液晶パネル５２に反射する。光路分離素子７は、反射型液晶パネル５２で反射される光を透過して光学系８に出射する。また、光路分離素子７は、光学系８を介して入射する光、具体的には物体６の像を表す光を、撮像素子２１に反射する。

反射型液晶パネル５２は、光変調装置の一例である。反射型液晶パネル５２では、第１基板と第２基板との間に液晶が存在する。第１基板は、光路分離素子７と対向する位置に配置される透明基板である。第２基板は、光路分離素子７から第１基板および液晶を介して入射する光を光路分離素子７に向けて反射する反射層を有する。
反射型液晶パネル５２は、情報処理装置１が生成する投射用画像データに応じた電圧を液晶に印加することによって、反射層で反射される光の透過率を変更する。反射型液晶パネル５２は、投射用画像データに応じて透過率を変更することによって、投射画像を生成する。投射画像は、光路分離素子７を通って光学系８に出射される。

光学系８は、複数のレンズと、光学系８全体の焦点距離を調整する焦点調整機構と、を含む。光学系８は、光路分離素子７から入射される投射画像を物体６に投射する。また、光学系８には、物体６から、物体６の像を表す光が入射され、光学系８は、物体６の像を表す光を、光路分離素子７を介して撮像素子２１に出射する。

撮像素子２１は、上述のＣＣＤイメージセンサーまたはＣＭＯＳイメージセンサーである。撮像素子２１は、撮像素子２１に入射する光、具体的には物体６の像を表す光に応じた撮像データを生成する。

図２に例示される通り、撮像装置２と投射装置５とにおいて光学系８が共通に使用されるため、撮像装置２と投射装置５との視差をなくすことができる。

＜Ａ３：情報処理装置１の一例＞
図３は、情報処理装置１の一例を示す図である。情報処理装置１は、通信部１１と、フレームメモリー群１２と、記憶部１３と、処理部１４と、を含む。

通信部１１は、例えば、有線ＬＡＮ（Local Area Network）または無線ＬＡＮを介して、撮像装置２および投射装置５と通信する。なお、通信部１１と撮像装置２との通信の態様、および、通信部１１と投射装置５との通信の態様は、それぞれＬＡＮに限らず適宜変更可能である。

フレームメモリー群１２は、撮像用フレームメモリー１２１と、第１描画用フレームメモリー１２２と、第２描画用フレームメモリー１２３と、表示用フレームメモリー１２４と、投射用フレームメモリー１２５と、を含む。

撮像用フレームメモリー１２１は、情報処理装置１が撮像装置２から受信する撮像データを記憶する。

第１描画用フレームメモリー１２２は、描画用の操作に基づいて生成される第１描画データを記憶する。第１描画データは、色づけされていない描画データである。第１描画データは、「テンプレートデータ用画像データ」と称することもできる。

第２描画用フレームメモリー１２３は、描画用の操作に基づいて生成される第２描画データを記憶する。第２描画データは、第１描画データに対して色づけされている描画データである。第２描画データは、物体６に対するプロジェクションマッピングの際に用いられる画像データである。

表示用フレームメモリー１２４は、ディスプレイ装置３に提供される画像データを記憶する。表示用フレームメモリー１２４は、例えば、表示用画像データを記憶する。

投射用フレームメモリー１２５は、投射装置５に提供される画像データを記憶する。投射用フレームメモリー１２５は、例えば、投射用画像データを記憶する。

記憶部１３は、コンピューター読み取り可能な記録媒体である。記憶部１３は、例えば、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random access memory）を含む。記憶部１３は、種々の情報と、処理部１４が実行するプログラムとを記憶する。

処理部１４は、例えば、ＣＰＵ（Central Processing Unit）等のコンピューターである。処理部１４は、１または複数のプロセッサーで構成されてもよい。処理部１４は、例えば、ＣＰＵの代わりに、または、ＣＰＵに加えて、ＦＰＧＡ（field programmable gate array）またはＡＳＩＣ（Application Specific Integrated Circuit）等の電子回路で構成されてもよい。処理部１４は、記憶部１３に記憶されているプログラムを読み取り実行することによって、撮像制御部１４１と、表示データ生成部１４２と、表示制御部１４３と、描画データ生成部１４４と、投射データ生成部１４５と、投射制御部１４６と、変更部１４７と、を実現する。

撮像制御部１４１は、操作装置４が受け取る操作、例えば、撮像指示の操作に応じて、撮像装置２を制御する。例えば、撮像制御部１４１は、撮像指示に応じて、撮像装置２に物体６の撮像を実行させて撮像データを生成させる。

表示データ生成部１４２は、物体６の像を表す撮像データに基づいて、表示用画像データを生成する。表示用画像データは、物体６の像を表す。表示データ生成部１４２は、第１生成部の一例である。

表示制御部１４３は、表示用画像データをディスプレイ装置３に供給することによって、ディスプレイ装置３に表示画像を表示させる。表示画像には、上述の通り物体６の像が含まれる。

描画データ生成部１４４は、表示画像に対する描画用の操作に基づいて、第１描画データおよび第２描画データを生成する。描画データ生成部１４４は、第２生成部の一例である。

投射データ生成部１４５は、第１描画データまたは第２描画データに基づいて、投射用画像データを生成する。投射用画像データは、プロジェクションマッピング用の画像を表す。投射データ生成部１４５は、第３生成部の一例である。

投射制御部１４６は、投射用画像データを投射装置５に供給することによって、投射装置５に、投射画像、すなわち、プロジェクションマッピング用の画像を、物体６に対して投射させる。

変更部１４７は、表示画像における物体６の像のサイズおよび向きの少なくとも一方を変更する変更指示を操作装置４から受け取ると、投射用画像データを変更することなく、表示用画像データを変更指示に基づいて変更する。

＜Ａ４：動作の説明＞
図４は、支援システムＡの動作を説明するためのフローチャートである。
操作装置４は、使用者から撮像指示の操作に受け取ると、撮像指示を情報処理装置１に送信する。情報処理装置１の撮像制御部１４１は、撮像指示を受け取ると、ステップＳ１０１において通信部１１を介して撮像装置２に撮像指示を送信する。撮像装置２は、撮像指示に応じて物体６を撮像する。撮像装置２は、物体６を撮像することによって、撮像データを生成する。図５は、撮像データが示す撮像画像Ｇ１の一例を示す図である。撮像画像Ｇ１には、物体６の像Ｇ１ａが含まれる。撮像装置２は、撮像データを生成すると、撮像データを情報処理装置１に送信する。

情報処理装置１の撮像制御部１４１は、通信部１１を介して撮像データを受信すると、ステップＳ１０２において撮像データを撮像用フレームメモリー１２１に記憶する。

続いて、操作装置４は、表示指示の操作を受け取ると、表示指示を情報処理装置１に送信する。情報処理装置１の表示データ生成部１４２は、表示指示を受け取ると、ステップＳ１０３において撮像用フレームメモリー１２１から撮像データを読み取り、撮像データに基づいて表示用画像データを生成する。

図６は、表示用画像データが示す表示画像Ｇ２の一例を示す図である。表示画像Ｇ２は、撮像画像Ｇ１を含む。また、表示画像Ｇ２には、使用者によって操作可能なカーソルＣが示され、撮像画像Ｇ１よりも上の領域および左の領域に、描画用の第１アイコンＩ１〜第７アイコンＩ７が示されている。第１アイコンＩ１は、楕円を描画するためのアイコンである。第２アイコンＩ２は、四角形を描画するためのアイコンである。第３アイコンＩ３は、直線を描画するためのアイコンである。このように、第１アイコンＩ１〜第３アイコンＩ３の各々は、線を描くためのアイコンである。これに対して第４アイコンＩ４〜第７アイコンＩ７の各々は、色づけ用のアイコンである。
描画用のアイコンの種類および数は、図６に示す種類および数に限らず適宜変更可能である。例えば、自由曲線を描画するためのアイコンが追加されてもよい。また、表示画像Ｇ２における各アイコンの位置は、図６に示す位置に限らず適宜変更可能である。

続いて、表示データ生成部１４２は、表示用画像データを表示用フレームメモリー１２４に記憶する。

表示用フレームメモリー１２４に表示用画像データが記憶されると、表示制御部１４３は、表示用フレームメモリー１２４から表示用画像データを読み取り、表示用画像データをディスプレイ装置３に供給する。ディスプレイ装置３は、表示用画像データを受け取ると、図６に例示されるように表示画像Ｇ２を表示する。

続いて、操作装置４は、表示画像Ｇ２に対する描画用の操作、具体的には、図６に示されるいずれかのアイコンへの操作を受け取ると、その操作を示す操作情報を、情報処理装置１に送信する。情報処理装置１の描画データ生成部１４４は、操作情報を受け取ると、ステップＳ１０５において描画用の操作があると判断する。描画データ生成部１４４は、描画用の操作があると判断すると、ステップＳ１０６において操作情報が示す描画用の操作に基づいて描画データを生成する。

例えば、ステップＳ１０６では、第１アイコンＩ１〜第３アイコンＩ３のいずれかが選択されている状況でカーソルＣが操作されると、描画データ生成部１４４は、選択されているアイコンに応じた図形の画像、例えば四角形の画像を、カーソルＣの操作位置において示す第１描画データを生成する。描画データ生成部１４４は、第１描画データを第１描画用フレームメモリー１２２に記憶する。以下では、説明の簡略化のため、ステップＳ１０６で第１描画データが生成されたとする。

続いて、ステップＳ１０７において表示データ生成部１４２は、撮像データと描画データに基づいて、物体６の像に描画用の操作に応じた画像が重畳されている重畳画像を示す合成画像データを、表示用画像データとして生成する。

例えば、ステップＳ１０７では、表示データ生成部１４２は、まず、第１描画用フレームメモリー１２２から第１描画データを読み出す。続いて、表示データ生成部１４２は、撮像用フレームメモリー１２１から撮像データを読み出す。続いて、表示データ生成部１４２は、第１描画データと撮像データとを用いて、合成画像データを表示用画像データとして生成する。
図７は、表示用画像データとして生成された合成画像データが示す画像Ｇ３の一例を示す図である。画像Ｇ３では、図６に示される表示画像Ｇ２に、描画用の操作に応じた画像Ｄ１が重畳されている。
表示データ生成部１４２は、合成画像データを表示用画像データとして生成すると、表示用フレームメモリー１２４に記憶されている表示用画像データを、ステップＳ１０７で生成した表示用画像データに更新する。

表示用フレームメモリー１２４の表示用画像データが更新されると、ステップＳ１０８において表示制御部１４３は、表示用フレームメモリー１２４から更新後の表示用画像データを読み取り、更新後の表示用画像データをディスプレイ装置３に供給する。ディスプレイ装置３は、更新後の表示用画像データを受け取ると、表示中の表示画像、例えば図６に示す表示画像Ｇ２を、更新後の表示用画像データに基づく表示画像、例えば、図７に示す画像Ｇ３に更新する。

続いて、ステップＳ１０９において投射データ生成部１４５は、第１描画用フレームメモリー１２２から第１描画データを読み出し、第１描画データに基づいて投射用画像データを生成する。

例えば、投射データ生成部１４５は、第１描画データの解像度を投射装置５の反射型液晶パネル５２の解像度に変換することによって投射用画像データを生成する。投射データ生成部１４５は、投射用画像データを生成すると、投射用画像データを投射用フレームメモリー１２５に記憶する。

投射用フレームメモリー１２５に投射用画像データが記憶されると、投射制御部１４６は、投射用フレームメモリー１２５から投射用画像データを読み取り、通信部１１を介して投射用画像データを投射装置５に供給する。投射装置５は、投射用画像データを受け取ると、ステップＳ１１０において投射用画像データに基づく投射画像を物体６に投射する。
図８は、投射画像Ｇ４の一例を示す図である。投射画像Ｇ４には、描画用の操作に応じた画像Ｄ１が含まれているが、物体６の像Ｇ１ａは含まれていない。

このように投射画像Ｇ４が物体６に投射されるため、使用者は、投射画像Ｇ４すなわちプロジェクションマッピング用の画像が物体６に投射されている状態を実際に確認しながら、プロジェクションマッピング用の画像の作成を続けることができる。

続いて、操作装置４は、使用者から変更指示を受け取ると、変更指示を情報処理装置１に送信する。情報処理装置１の変更部１４７は、ステップＳ１１１において変更指示を受け取ると、ステップＳ１１２において、投射用フレームメモリー１２５に記憶されている投射用画像データを変更せずに、表示用フレームメモリー１２４に記憶されている表示用画像データを変更指示に基づいて変更する。

例えば、ステップＳ１１２では、変更指示が、ディスプレイ装置３が表示する表示画像、例えば図７に示す画像Ｇ３における物体６の像のサイズを拡大する指示である場合、変更部１４７は、表示画像において物体６の像のサイズが拡大するように、表示用フレームメモリー１２４に記憶されている表示用画像データを変更する。

表示用フレームメモリー１２４の表示用画像データが変更されると、ステップＳ１１３において表示制御部１４３は、表示用フレームメモリー１２４から変更後の表示用画像データを読み取り、変更後の表示用画像データをディスプレイ装置３に供給する。ディスプレイ装置３は、変更後の表示用画像データを受け取ると、表示中の表示画像を、変更後の表示用画像データに基づく表示画像に更新する。
図９は、更新指示が、表示画像における物体６の像のサイズを拡大する指示である場合における変更後の表示画像Ｇ５の一例を示す図である。図９と図７との比較から分かるように、図９における物体６の像Ｇ１ａは、図７における物体６の像Ｇ１ａよりもサイズが拡大されている。

続いて、操作装置４は、表示画像に対する描画用の操作を受け取ると、その操作を示す操作情報を、情報処理装置１に送信する。情報処理装置１の描画データ生成部１４４は、ステップＳ１１４において操作情報を受け取ると、ステップＳ１１５において操作情報が示す描画用の操作に基づいて描画データを更新する。

例えばステップＳ１１５では、描画データ生成部１４４は、第１描画データの生成後に、第１アイコンＩ１〜第３アイコンＩ３のいずれかが選択されている状況でカーソルＣが操作されると、第１描画用フレームメモリー１２２に記憶されている更新前の第１描画データを更新する。更新後の第１描画データは、更新前の第１描画データの示す画像に、選択されているアイコンに応じた図形を付した画像を示す。
また、描画データ生成部１４４は、さらに、第４アイコンＩ４〜第７アイコンＩ７のいずれかが選択されている状況でカーソルＣが操作されると、第２描画データを生成する。第２描画データは、第１描画データが示す描画の一部または全部に、選択されたアイコンに応じた色が付けられた画像を示す。描画データ生成部１４４は、第２描画データを第２描画用フレームメモリー１２３に記憶する。
なお、第２描画データが既に存在している場合には、第４アイコンＩ４〜第７アイコンＩ７のいずれかが選択されている状況でカーソルＣが操作されると、描画データ生成部１４４は、第２描画用フレームメモリー１２３に記憶されている更新前の第２描画データを更新する。更新後の第２描画データは、更新前の第２描画データが示す描画に、選択されたアイコンに応じた色が付けられた画像を示す。

続いて、ステップＳ１１６において表示データ生成部１４２は、表示用フレームメモリー１２４に表示用画像データとして記憶されている合成画像データを、撮像データと更新後の描画データとに基づいて更新する。更新後の合成画像データは、物体６の画像に更新後の描画データの示す画像が重畳されている重畳画像を示す。
ここで、第２描画用フレームメモリー１２３に第２描画データが記憶されている場合、更新後の描画データとしては、第２描画用フレームメモリー１２３に記憶されている第２描画データが用いられる。
一方、第２描画用フレームメモリー１２３に第２描画データが記憶されていない場合、更新後の描画データとしては、第１描画用フレームメモリー１２２に記憶されている第１描画データが用いられる。

表示用フレームメモリー１２４の表示用画像データが更新されると、ステップＳ１１７において表示制御部１４３は、表示用フレームメモリー１２４から更新後の表示用画像データを読み取り、更新後の表示用画像データをディスプレイ装置３に供給する。ディスプレイ装置３は、更新後の表示用画像データを受け取ると、表示中の表示画像を、更新後の表示用画像データに基づく表示画像に更新する。

続いて、ステップＳ１１８において投射データ生成部１４５は、投射用フレームメモリー１２５に記憶されている投射用画像データを更新する。

例えばステップＳ１１８では、投射データ生成部１４５は、第２描画用フレームメモリー１２３に第２描画データが記憶されていない場合、第１描画用フレームメモリー１２２から第１描画データを読み取り、第１描画データに基づいて新たな投射用画像データを生成する。一例を挙げると、投射データ生成部１４５は、第１描画データの解像度を、反射型液晶パネル５２の解像度に変換することによって、新たな投射用画像データを生成する。

一方、第２描画用フレームメモリー１２３に第２描画データが記憶されている場合、投射データ生成部１４５は、第２描画用フレームメモリー１２３から第２描画データを読み取り、第２描画データの解像度を、反射型液晶パネル５２の解像度に変換することによって、新たな投射用画像データを生成する。

続いて、投射データ生成部１４５は、投射用フレームメモリー１２５に記憶されている投射用画像データを、新たな投射用画像データに更新する。

ステップＳ１１８において投射用フレームメモリー１２５に記憶されている投射用画像データが更新されると、投射制御部１４６は、投射用フレームメモリー１２５から更新後の投射用画像データを読み取り、通信部１１を介して更新後の投射用画像データを投射装置５に供給する。投射装置５は、更新後の投射用画像データを受け取ると、ステップＳ１１９において、物体６に投射される投射画像を、更新後の投射用画像データに基づく投射画像に更新する。図１０は、更新後の投射画像Ｇ６の一例を示す図である。

続いて、ステップＳ１２０において操作装置４が操作終了の操作を受け取っていない場合、処理はステップＳ１１１に戻る。一方、操作装置４が操作終了の操作を受け取る場合、図４に示す処理は終了する。
また、ステップＳ１１１において変更指示がない場合、処理はステップＳ１１４に進む。一方、ステップＳ１１４において描画用の操作がない場合、処理はステップＳ１１１に戻る。

本実施形態に係る情報処理装置１および情報処理装置１の制御方法によれば、変更部１４７は、表示画像における物体６の像のサイズおよび向きの少なくとも一方を変更する変更指示を操作装置４から受け取ると、投射用画像データを変更することなく、表示用画像データを変更指示に基づいて変更する。
このため、変更操作が、ディスプレイ装置３が表示する表示画像に加えて投射装置５が投射する投射画像にも反映されることで投射画像と物体６との位置関係に影響を及ぼす状況が発生することを抑制可能になる。
ここで、表示画像に対する変更指示が、投射画像と物体６との位置関係に影響を及ぼすと、投射画像は物体６に対して位置ずれを起こした状態となる。よって、使用者は、プロジェクションマッピング用の画像が適切に作成されているか否かを、投射画像を用いて確認できなくなってしまう。本実施形態に係る情報処理装置１および情報処理装置１の制御方法によれば、このような状況の発生を抑制できる。

表示データ生成部１４２は、撮像データと描画データに基づいて、物体６の像に描画用の操作に応じた画像が重畳されている画像を示す合成画像データを、表示用画像データとして生成する。
このため、使用者は、物体６の像と描画の状態との両方をディスプレイ装置３において確認しながら、描画データを作成することができる。

＜Ｂ：変形例＞
第１実施形態において、例えば以下に例示する構成が採用されてもよい。

＜Ｂ１：変形例１＞
第１実施形態において、情報処理装置１は、物体６と投射装置５との位置関係に応じて生じる投射画像の歪みを補正する歪み補正機能を有してもよい。
図１１は、歪み補正機能を有する情報処理装置１Ａの一例を示す図である。情報処理装置１Ａは、図３に示す情報処理装置１の構成要素に加えて、歪み補正部１４８を備える。歪み補正部１４８は、処理部１４が記憶部１３に記憶されているプログラムを実行することによって実現される。

歪み補正部１４８は、物体６に対して投射装置５が正対していないときに発生する投射画像の台形歪を抑制するために、投射用画像データを補正する。投射制御部１４６は、操作装置４が受け取る台形歪補正指示に基づいて、歪み補正部１４８に対して台形歪補正の実施を指示する。歪み補正部１４８は、台形歪補正の実施の指示に従って、投射用画像データに対して台形歪補正を実施する。例えば、歪み補正部１４８は、投射用画像データから画素値の間引きを行って、投射画像の形状を補正する。投射制御部１４６は、台形歪補正の施された投射用画像データを投射装置５に送信する。変形例１によれば、投射画像の台形歪みを抑制可能になる。

＜Ｂ２：変形例２＞
第１実施形態および変形例１において、変更指示は、表示画像における物体６の像のサイズを拡大する指示に限らない。
例えば、変更指示は、表示画像における物体６の像のサイズを縮小する指示でもよい。この場合、変更部１４７は、表示画像において物体６の像のサイズが縮小するように、表示用フレームメモリー１２４に記憶されている表示用画像データを変更する。
また、変更指示は、表示画像における物体６の像の向きを回転する指示でもよい。この場合、変更部１４７は、表示画像において物体６の像の向きが回転するように、表示用フレームメモリー１２４に記憶されている表示用画像データを変更する。一例を挙げると、変更指示が表示画像における物体６の像の向きを右回りに３０度回転する指示である場合、変更部１４７は、表示画像において物体６の像の向きが右回りに３０度回転するように、表示用フレームメモリー１２４に記憶されている表示用画像データを変更する。

＜Ｂ３：変形例３＞
第１実施形態および変形例１〜変形例２において、描画用の操作によって生成される描画データは、例えば、文字を表してもよいし、図形と文字の両方を表してもよい。

＜Ｂ４：変形例４＞
第１実施形態および変形例１〜変形例３において、物体６は、例えば、机上には配置された解答用紙でもよい。この場合、生徒が解答用紙に問題の解答を記載し、教師が、その回答に対するコメントまたはアドバイスを描画用の操作によって生成すれば、教師は、遠隔で生徒を指導できる。
また、物体６は、ピアノの鍵盤、さらに言えば生徒によって操作されるピアノの鍵盤でもよい。この場合、教師は、生徒によるピアノの鍵盤の操作の仕方に対するコメントまたはアドバイスを描画用の操作によって生成すれば、教師は、遠隔で生徒を指導できる。
また、物体６は、工場において作業員に操作される機械でもよい。この場合、作業員を指導する指導者は、作業員による機械の操作の仕方に対するコメントまたはアドバイスを描画用の操作によって生成すれば、指導者は、遠隔で作業員を指導できる。

＜Ｂ５：変形例５＞
第１実施形態および変形例１〜変形例４において、処理部１４がプログラムを実行することによって実現される要素の全部または一部は、ＦＰＧＡまたはＡＳＩＣ等の電子回路さらに言えばハードウェアで構成されてもよい。

Ａ…支援システム、１…情報処理装置、２…撮像装置、３…ディスプレイ装置、４…操作装置、５…投射装置、１１…通信部、１２…フレームメモリー群、１３…記憶部、１４…処理部、１２１…撮像用フレームメモリー、１２２…第１描画用フレームメモリー、１２３…第２描画用フレームメモリー、１２４…表示用フレームメモリー、１２５…投射用フレームメモリー、１４１…撮像制御部、１４２…表示データ生成部、１４３…表示制御部、１４４…描画データ生成部、１４５…投射データ生成部、１４６…投射制御部、１４７…変更部。

Claims (12)

1. 物体を撮像することによって得られる撮像データに基づいて第１画像データを生成し、
   前記第１画像データをディスプレイ装置に供給することによって、前記ディスプレイ装置に、前記第１画像データに基づく第１画像を表示させ、
   前記第１画像に対する描画用の操作に基づいて、描画データを生成し、
   前記撮像データと前記描画データに基づいて、前記物体の像に前記描画用の操作に応じた画像が重畳されている画像を示す合成画像データを生成し、前記ディスプレイ装置に、前記合成画像データに基づく合成画像を表示させ、
   前記描画データに基づいて、第２画像データを生成し、
   前記第２画像データを投射装置に供給することによって、前記投射装置に、前記第２画像データに基づく第２画像を前記物体に投射させ、
   前記第１画像における前記物体の像のサイズおよび向きの少なくとも一方を変更する変更指示を受け取ると、前記第２画像データを変更することなく、前記合成画像データを前記変更指示に基づいて変更する、
   情報処理装置の制御方法。
2. 前記変更指示は、前記第１画像における前記物体の像のサイズを拡大する指示である、
   請求項１に記載の情報処理装置の制御方法。
3. 前記変更指示は、前記第１画像における前記物体の像のサイズを縮小する指示である、
   請求項１に記載の情報処理装置の制御方法。
4. 前記変更指示は、前記第１画像における前記物体の像の向きを回転する指示である、
   請求項１に記載の情報処理装置の制御方法。
5. 物体を撮像することによって得られる撮像データに基づいて第１画像データを生成する第１生成部と、
   前記第１画像データをディスプレイ装置に供給することによって、前記ディスプレイ装置に、前記第１画像データに基づく第１画像を表示させる表示制御部と、
   前記第１画像に対する描画用の操作に基づいて、描画データを生成する第２生成部と、
   前記描画データに基づいて、第２画像データを生成する第３生成部と、
   前記第２画像データを投射装置に供給することによって、前記投射装置に、前記第２画像データに基づく第２画像を前記物体に投射させる投射制御部と、
   前記第１画像における前記物体の像のサイズおよび向きの少なくとも一方を変更する変更指示を受け取ると、前記第２画像データを変更することなく、前記第１画像データを前記変更指示に基づいて変更する変更部と、
   を含み、
   前記第１生成部は、前記撮像データと前記描画データに基づいて、前記物体の像に前記描画用の操作に応じた画像が重畳されている画像を示す合成画像データを、前記第１画像データとして生成する、
   情報処理装置。
6. 前記変更指示は、前記第１画像における前記物体の像のサイズを拡大する指示である、
   請求項５に記載の情報処理装置。
7. 前記変更指示は、前記第１画像における前記物体の像のサイズを縮小する指示である、
   請求項５に記載の情報処理装置。
8. 前記変更指示は、前記第１画像における前記物体の像の向きを回転する指示である、
   請求項５に記載の情報処理装置。
9. コンピューターに、
   物体を撮像することによって得られる撮像データに基づいて第１画像データを生成する手順と、
   前記第１画像データをディスプレイ装置に供給することによって、前記ディスプレイ装置に、前記第１画像データに基づく第１画像を表示させる手順と、
   前記第１画像に対する描画用の操作に基づいて、描画データを生成する手順と、
   前記撮像データと前記描画データに基づいて、前記物体の像に前記描画用の操作に応じた画像が重畳されている画像を示す合成画像データを生成し、前記ディスプレイ装置に、前記合成画像データに基づく合成画像を表示させる手順と、
   前記描画データに基づいて、第２画像データを生成する手順と、
   前記第２画像データを投射装置に供給することによって、前記投射装置に、前記第２画像データに基づく第２画像を前記物体に投射させる手順と、
   前記第１画像における前記物体の像のサイズおよび向きの少なくとも一方を変更する変更指示を受け取ると、前記第２画像データを変更することなく、前記合成画像データを前記変更指示に基づいて変更する手順と、
   を実行させるためのプログラム。
10. 前記変更指示は、前記第１画像における前記物体の像のサイズを拡大する指示である、
    請求項９に記載のプログラム。
11. 前記変更指示は、前記第１画像における前記物体の像のサイズを縮小する指示である、
    請求項９に記載のプログラム。
12. 前記変更指示は、前記第１画像における前記物体の像の向きを回転する指示である、
    請求項９に記載のプログラム。

Images