JP2022181328A - 表示方法および表示システム - Google Patents

Abstract

【課題】表示する画像の内容および複数の画像の配置を簡易に指定することが可能な表示方法および表示システムを提供する。【解決手段】プロジェクターは、撮像装置によって、投射装置の投射面Ｐに配置されたマーカーＭ１と、投射面Ｐに配置されたマーカーＭ２とを含む撮像画像を撮像する。プロジェクターは、投射装置によって、マーカーＭ１に対応する投射画像Ｉ１と、マーカーＭ２に対応する投射画像Ｉ２とを、撮像画像におけるマーカーＭ１とマーカーＭ２との配置に対応する配置で投射面Ｐに表示する。【選択図】図８

Description

本発明は、表示方法および表示システムに関する。

従来、調理などの作業の手順に関する画像を作業対象物の近傍に投射することにより、作業者を補助する技術が開発されている。例えば、下記特許文献１には、デジタルカメラ部と、プロジェクター部と、識別処理部と、調理方法決定部と、調理方法指示部とを備える調理支援装置が開示されている。デジタルカメラ部は、システムキッチンの調理台に載置された食材を撮像する。識別処理部は、撮像された画像に写る食材の種類を識別し、調理方法決定部は、識別された食材に対する調理方法を決定する。調理方法指示部は、識別した食材に対する調理方法を示す画像をプロジェクター部に投射させる。プロジェクター部が投射した画像は、調理台に載置された食材に重なって表示される。

特開２０１０－１９１７４５号公報

上述した特許文献１では、画像は、食材に重ねて、または、食材の近傍に表示されており、画像の表示位置をユーザーが決定する旨の記載はない。しかしながら、作業時には、作業に用いる材料や道具など、様々な物品が作業台に並ぶことが予測される。画像の表示位置が予め定められていると、画像が物品と重なって表示されてしまう場合があり、この場合、ユーザーが画像の内容を把握するのが困難となる可能性がある。

本発明の一態様にかかる表示方法は、投射面に配置された第１マーカーと、前記投射面に配置された第２マーカーとを含む撮像画像を撮像することと、前記第１マーカーに対応する第１画像と、前記第２マーカーに対応する第２画像とを、前記撮像画像における前記第１マーカーと前記第２マーカーとの配置に対応する配置で前記投射面に表示することと、を含む。

本発明の一態様にかかる表示システムは、投射面に配置された第１マーカーと、前記投射面に配置された第２マーカーと、を含む撮像画像を撮像する撮像装置と、前記第１マーカーに対応する第１画像と、前記第２マーカーに対応する第２画像と、を、前記撮像画像における前記第１マーカーと前記第２マーカーとの配置に対応する配置で前記投射面に表示する投射装置と、備える。

第１実施形態にかかるプロジェクターの概要を示す図である。 第１実施形態にかかるプロジェクターの構成を示すブロック図である。 第１実施形態にかかる制御部の機能的構成を示すブロック図である。 第１実施形態におけるマーカーの外観等を模式的に示す図である。 第１実施形態におけるマーカーの配置状態を模式的に示す図である。 第１実施形態における投射画像の配置の決定方法を模式的に示す図である。 第１実施形態における投射画像の配置の決定方法を模式的に示す図である。 第１実施形態における投射画像の配置を模式的に示す図である。 第１実施形態における投射画像の他の配置を模式的に示す図である。 投射画像データベースを模式的に示す図である。 プロジェクターの制御部がプログラムに従って実行する表示方法の流れを示すフローチャートである。 第２実施形態におけるマーカーの配置状態を模式的に示す図である。 第２実施形態における投射画像の配置を模式的に示す図である。 第２実施形態におけるマーカーの外観等を示す模式図である。 第２実施形態におけるマーカーの外観等を示す模式図である。 第３実施形態におけるマーカーの外観等を模式的に示す図である。 第３実施形態における制御部の機能的構成を示すブロック図である。 第３実施形態におけるマーカーおよびオブジェクトの配置例を模式的に示す図である。 第３実施形態における投射画像の配置を模式的に示す図である。 第３実施形態におけるマーカーおよびオブジェクトの他の配置例を模式的に示す図である。 第３実施形態における投射画像の他の配置を模式的に示す図である。 プロジェクターを用いたショーウインドー展示を模式的に示す図である。

以下、添付図面を参照しながら本発明にかかる好適な実施形態を説明する。なお、図面において各部の寸法または縮尺は実際と適宜に異なり、理解を容易にするために模式的に示している部分もある。また、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。

［第１実施形態］
図１は、第１実施形態にかかるプロジェクター１０の概要を示す図である。実施形態にかかるプロジェクター１０は、撮像装置１１と投射装置１２とを備える表示システムの一例である。プロジェクター１０は、投射面Ｐに投射画像Ｉを表示する。本実施形態において、プロジェクター１０は、キッチン２０の調理台２６に調理の手順に関する投射画像Ｉを表示する。キッチン２０は、例えば、コンロ２２、シンク２４、調理台２６等を備える。

プロジェクター１０は、キッチン２０の調理台２６から立設する壁面２８に取り付けられている。本実施形態では、プロジェクター１０の筐体は直方体を呈し、調理台２６と向かい合う面から、図２を参照して後述する撮像装置１１の撮像用レンズ１１Ａおよび投射装置１２の投射用レンズ１２Ａが露出している。

本実施形態では、投射装置１２の投射面Ｐは、調理台２６のほぼ全域を含むように調整されている。また、撮像装置１１の撮像領域Ｓは、投射面Ｐの全域を含むように調整されている。撮像装置１１の撮像領域Ｓは、投射面Ｐの全体を含んでいるのが好ましく、投射面Ｐよりも広い範囲を含んでいてもよい。本実施形態では、説明の便宜上、投射面Ｐと撮像領域Ｓとが同範囲であるものとする。また、本実施形態では、投射面Ｐが調理台２６上となっているが、例えば、コンロ２２またはシンク２４の少なくとも一部を含んでいてもよい。

投射面Ｐには、マーカーＭが置かれる。詳細は後述するが、マーカーＭは、投射面Ｐに投射する投射画像Ｉの内容を特定するとともに、投射面Ｐにおける投射画像Ｉの表示位置を特定するためのものである。図１では、マーカーＭおよび投射画像Ｉをそれぞれ１つずつ図示しているが、使用時には、撮像領域Ｓ内にマーカーＭが複数配置され、それぞれのマーカーＭに対応する複数の投射画像Ｉが投射面Ｐに投射される。投射面Ｐには、オブジェクトＯが置かれる。詳細は後述するが、投射画像Ｉは、オブジェクトＯに関連した内容を有する。

図２は、プロジェクター１０の構成を示すブロック図である。プロジェクター１０は、撮像装置１１、投射装置１２、操作部１３、通信部１４、記憶部１５および制御部１６を備える。

撮像装置１１は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等を備えたカメラである。以下では、説明を簡略化するため、撮像装置１１は、静止画像を撮像するものとする。なお、撮像装置１１は、静止画像を撮像することに代えて、動画像を撮像してもよい。上述のように、本実施形態では、撮像装置１１の撮像領域Ｓは調理台２６上の投射装置１２の投射面Ｐの全域を含んでいる。よって、撮像装置１１の撮像画像には、調理台２６に置かれた物体、例えば、オブジェクトＯおよびマーカーＭが写る。

投射装置１２は、投射画像Ｉを投射するための液晶ライトバルブ、投射レンズ、および液晶駆動部を備える。また、投射装置１２は、光源として、例えば、超高圧水銀ランプまたはメタルハライドランプを備える。投射装置１２は、例えば、制御部１６から投射画像データを取得し、取得した投射画像データが示す投射画像Ｉを、調理台２６上の投射面Ｐに投射する。

操作部１３は、ユーザーからプロジェクター１０に対する指示操作を受け付ける。操作部１３は、例えば、プロジェクター１０の筐体に設けられたディスプレイを用いたタッチパネルや筐体に設けられた操作ボタン等であってもよい。操作部１３がタッチパネルの場合、操作部１３は、検出したタッチ位置を示すデータを制御部１６へ出力する。また、操作部１３が操作ボタンの場合、操作部１３は、押下されたボタンを識別するデータを制御部１６へ出力する。これにより、操作部１３に対するユーザーの指示操作の内容が制御部１６へ伝達される。

通信部１４は、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）カード等のネットワークカードである。通信部１４は、近隣に設置されたルーターを介してインターネット等の広域通信網に接続する。そして、通信部１４は、広域通信網に接続された画像サーバー３０に接続し、画像サーバー３０との間で各種情報を送受信する。画像サーバー３０には、複数の投射画像データＤ（図１０参照）が格納された投射画像データベースＤＢが設けられている。図１等に示す投射画像Ｉは、投射装置１２により投射画像データＤが可視化されたものである。通信部１４は、制御部１６の制御により、画像サーバー３０に対して投射画像データＤの送信を要求する画像送信要求を送信する。また、通信部１４は、画像サーバー３０から送信された投射画像データＤを受信し、制御部１６に出力する。

図１０は、投射画像データベースＤＢを模式的に示す図である。投射画像データベースＤＢには、複数の投射画像データＤが格納されている。投射画像データＤは、例えば拡張子「ｊｐｇ」等を有する静止画データであってもよいし、拡張子「ｍｐ４」等を有する動画データであってもよい。本実施形態では、投射画像データＤは、所定の料理を作る際の手順に関する画像を記録している。所定の料理を作る際の手順に関する画像とは、例えば、材料の名称およびその分量を示すテキスト情報を表示する静止画や、材料の切り方や取り扱い方を撮像した動画等である。すなわち、本実施形態の投射画像データベースＤＢでは、調理対象の料理ごとに複数の投射画像データＤがセットになっている。例えば、（手順１）材料を用意する、（手順２）材料を切る、（手順３）材料を加熱する、という手順を有する料理に対して、（画像１）材料の名称および分量、調理の手順を示すテキスト情報を表示する静止画、（画像２）材料の切り方を撮像した動画、（画像３）材料を加熱している様子を撮像した動画、の３つの画像がセットになっている。

これらの画像は、調理時に用いる料理器具や材料などのオブジェクトＯと対になるように作成されている。例えば、画像１は調理の非加熱工程で主に用いられるまな板に、画像２は手順２で切られる材料に、画像３は材料を加熱する調理器具に、それぞれ対応して作成されている。すなわち、上記画像１を第１画像、まな板を第１オブジェクト、画像２を第２画像、手順２で切られる材料を第２オブジェクトとすると、第１画像は、第１オブジェクトを用いた作業の内容に関する画像であり、第２画像は、第２オブジェクトを用いた作業の内容に関する画像である。後述するように、ユーザーは、オブジェクトＯに対応する画像のマーカーＭを、調理台２６に置かれたオブジェクトＯの近傍に配置することによって、オブジェクトＯの周辺にオブジェクトＯに対応する画像を表示させることができる。

画像識別情報Ｎは、各投射画像データＤを一意に識別するための識別情報である。本実施形態では、画像識別情報Ｎは、料理を識別するための料理識別情報である３桁の数字と、手順を識別するための手順識別情報である３桁の数字とを含んでいる。図１０に示した例では、料理識別情報０５３の料理は、３つの画像（０５３＿００１．ｊｐｇ、０５３＿００２．ｍｐ４、０５３＿００３．ｍｐ４）を含んでいる。０５３＿００１．ｊｐｇは例えば上記（画像１）に対応し、０５３＿００２．ｍｐ４は例えば上記（画像２）に対応し、０５３＿００３．ｍｐ４は例えば上記（画像３）に対応する。

画像サーバー３０は、画像識別情報Ｎをインデックスとして投射画像データベースＤＢを検索することにより、画像識別情報Ｎに対応する投射画像データＤの記憶領域を特定することができる。すなわち、画像識別情報Ｎは、所定の投射画像の記録場所を特定するための情報である。

なお、本実施形態では、投射画像を複数投射する際に、各投射画像の投射領域を同一の大きさとする。よって、投射画像データベースＤＢに格納される投射画像のアスペクト比および画像サイズは統一されているのが好ましい。また、上述した画像識別情報Ｎの形式は一例であり、各投射画像データＤを一意に識別できれば、画像識別情報Ｎはどのような形式であってもよい。例えば、投射画像データベースＤＢ内の全ての投射画像データＤに通し番号を付けて、この通し番号を画像識別情報Ｎとして用いてもよい。

図２に示される記憶部１５は、制御部１６が読み取り可能な記録媒体である。記憶部１５は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）またはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）である。揮発性メモリーは、例えば、ＲＡＭ（Ｒａｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

記憶部１５の不揮発性メモリーには、制御部１６によって実行されるプログラム１５Ａが予め記憶される。記憶部１５の揮発性メモリーはプログラム１５Ａを実行する際のワークエリアとして制御部１６によって利用される。プログラム１５Ａは、「アプリケーションプログラム」、「アプリケーションソフトウェア」または「アプリ」とも称され得る。プログラム１５Ａは、例えば、通信部１４を介して不図示のサーバー等から取得され、その後、記憶部１５に記憶される。

図２に示される制御部１６は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサー、即ちコンピューターを含んで構成される。制御部１６は、単一のコンピューターで構成されてもよいし、複数のコンピューターで構成されてもよい。制御部１６は、プログラム１５Ａの実行開始を指示する操作が操作部１３に対してなされたことを契機としてプログラム１５Ａを不揮発性メモリーから揮発性メモリーに読み出す。制御部１６は、揮発性メモリーに読み出したプログラム１５Ａを実行する。

図３は、制御部１６の機能的構成を示すブロック図である。プログラム１５Ａに従って作動中の制御部１６は、図３に示される撮像制御部１６０、マーカー検出部１６１、表示画像取得部１６２、画像配置決定部１６３および表示制御部１６４として機能する。図３に示す撮像制御部１６０、マーカー検出部１６１、表示画像取得部１６２、画像配置決定部１６３および表示制御部１６４は、制御部１６をプログラム１５Ａに従って動作させることで実現されるソフトウェアモジュールである。

制御部１６の各機能部を説明する前に、マーカーＭについて説明する。図４は、第１実施形態におけるマーカーＭの外観等を示す模式的に示す図である。より詳細には、図４Ａは、マーカーＭのおもて面を示し、図４Ｂは、マーカーＭの裏面を示す。本実施形態では、マーカーＭは、例えば数センチ四方程度のプレート状の部材である。本実施形態では、マーカーＭは、キッチン２０で使用されるため、例えば耐水性素材で形成されている、または表面が防水加工されている、または耐水性インクで印刷されている、等の耐水処理が施されているのが好ましい。マーカーＭは、例えば、プロジェクター１０の購入時にプロジェクター１０と同梱されていてもよいし、料理本や雑誌等の付録等として添付されていてもよい。また、マーカーＭは、例えば、プロジェクター１０の製造メーカーや食品メーカー等のホームページ、レシピ掲載サイト等からユーザーがダウンロードした印刷データをプリンターで印刷したものであってもよい。

図４Ａに示すように、マーカーＭのおもて面には、例えばＱＲコード（登録商標）等の２次元コードＣが付加されている。マーカーＭが撮像装置１１の撮像領域Ｓに置かれ、撮像装置１１の撮像画像内に２次元コードＣが写った場合、後述する制御部１６のマーカー検出部１６１が２次元コードリーダーとして機能し、２次元コードＣが示す情報を算出する。なお、複数あるマーカーＭの２次元コードＣはそれぞれ異なり、それぞれのマーカーＭを読み取った際に得られる情報も異なっている。

マーカーＭのおもて面を読み取った際に得られる情報、すなわち２次元コードＣが示す情報は、画像サーバー３０に格納された複数の投射画像データＤの中から、特定の画像データを一意に特定するため画像識別情報Ｎである。上述のように、画像識別情報Ｎは、３桁の料理識別情報と３桁の手順識別情報とを含んでいる。例えば、図４Ａに例示する２次元コードＣが示す画像識別情報Ｎは、「０５３＿００２」であり、このうち「０５３」が料理識別情報、「００２」が手順識別情報である。後述する表示画像取得部１６２は、画像サーバー３０への画像送信要求に画像識別情報Ｎを含める。これにより、表示画像取得部１６２は、読み取ったマーカーＭに対応する投射画像データＤを得ることができる。

図４Ｂに示されるように、マーカーＭの裏面には、ユーザーに向けた情報であるユーザー向け情報Ｆが付加されている。本実施形態では、ユーザー向け情報Ｆとして、料理名情報Ｆ１、手順番号情報Ｆ２、オブジェクト情報Ｆ３、配置情報Ｆ４が表示されている。

料理名情報Ｆ１は、画像識別情報Ｎの料理識別情報に対応し、マーカーＭを用いて表示される画像で調理の手順が示される料理の名称を示す。図４Ｂの例では、料理名情報Ｆ１として「さんまのソテー」が表示されている。手順番号情報Ｆ２は、画像識別情報Ｎの手順識別情報に対応し、マーカーＭを用いて表示される画像が調理の何番目の手順に関するものかを示す。図４Ｂの例では、手順番号情報Ｆ２として「２」が表示されている。

オブジェクト情報Ｆ３は、マーカーＭを用いて表示される画像が、どのオブジェクトＯに関連した画像であるかを示す。図４Ｂの例では、オブジェクト情報Ｆ３として「さんま」が表示されている。なお、マーカーＭ上の表記では、「オブジェクト」に相当する語句として、マーカーＭに対応する物品を示す「対応品」との語句を用いている。配置情報Ｆ４は、マーカーＭをオブジェクトＯに対してどのような位置に配置すべきかが表示されている。図４Ｂの例では、配置情報Ｆ４として「横並びの場合は対応品の上側に、縦並びの場合は対応品の左側に置いてください」と表示されている。横並びおよび縦並びとは、複数のマーカーＭを並べる際の配置方向であり、マーカーの配列と言うこともできる。

ユーザーは、ユーザー向け情報Ｆを読むことによって、このマーカーＭがどの料理の何番目の手順を示す画像を表示するものであるか、マーカーＭを何のオブジェクトＯに対してどのような位置に配置すれば良いか、を知ることができる。図４Ｂの例では、ユーザーは、料理名情報Ｆ１および手順番号情報Ｆ２を読むことによって、このマーカーＭは、「さんまのソテー」をつくる際の「２」番目の手順に関する画像を表示するものであることを把握する。また、ユーザーは、オブジェクト情報Ｆ３および配置情報Ｆ４を読むことによって、このマーカーＭを、さんまのソテーの材料である「さんま」の「上側または左側」に配置することを把握する。

本実施形態では、マーカーＭにおもて面と裏面を設け、それぞれに２次元コードＣとユーザー向け情報Ｆとを付加したが、例えばマーカーＭにおもて面に２次元コードＣおよびユーザー向け情報Ｆが付加されていてもよい。また、画像識別情報Ｎは２次元コードＣに記録されているに限らず、例えばバーコードのような１次元コードを用いたり、数字や文字で表記された画像識別情報ＮをＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）で読み取ったりしてもよい。

つぎに、マーカーＭの利用方法について説明する。ユーザーは、プロジェクター１０の利用に際して、今回調理する料理に関するマーカーＭのセットを用意する。この時、ユーザーは、マーカーＭの裏面に表示された料理名情報Ｆ１を読んで、所望の料理のマーカーＭを見分ける。なお、ユーザー向け情報Ｆとして、この料理の調理工程がいくつの手順を含んでいるのか、すなわち、この料理に関するマーカーＭのセットが、何枚のマーカーＭを含んでいるのかを表示してもよい。これにより、ユーザーは、必要なマーカーＭをもれなく用意しやすくなる。ユーザーは、それぞれのマーカーＭの裏面に表示されたオブジェクト情報Ｆ３に記載されたオブジェクトＯを用意し、調理台２６に置く。この時、ユーザーは、手順番号情報Ｆ２に記載された番号の順にオブジェクトＯを配置するのが好ましい。これにより、投射画像Ｉが調理工程の流れに沿った順序で表示され、ユーザーは調理の手順をスムーズに把握することができる。

つづいて、ユーザーは、調理台２６に配置したオブジェクトＯの近傍に、各オブジェクトＯに対応するマーカーＭを置く。この時、ユーザーは、配置情報Ｆ４に記載された配置に従ってマーカーＭを配置するのが好ましい。この時、ユーザーは、例えば、今回調理する料理に関するマーカーＭのセットの一部のみを調理台２６に置いてもよい。例えば、材料が多かったり、調理工程が複雑であったりする料理については、セットのマーカーＭの数が多い可能性がある。この場合には、例えば複数回に分けてマーカーＭを調理台２６に置いてもよい。

図５は、マーカーＭの配置状態を模式的に示す図である。図５は、調理台２６のうち、投射面Ｐおよび撮像領域Ｓとなる部分を上方から図示している。投射面Ｐは、調理台２６に向かって立ったユーザーから見て横方向をＸ軸、奥行き方向をＹ軸としたＸＹ平面を構成する。以降の説明では、ユーザーが「さんまのソテー」を作る場合について説明する。さんまのソテーの料理識別情報は「０５３」であるものとする。また、さんまのソテーは、３つの手順を含み、３つの手順番号００１、００２、００３を有するものとする。よって、さんまのソテーに関する画像の画像識別情報Ｎは、０５３＿００１、０５３＿００２、０５３＿００３となる。また、各手順に関連付けられているのは、以下のオブジェクトＯであるものとする。手順１：まな板、手順２：さんま、手順３：フライパン。

以下、「さんまのソテー」を作る際に用いるマーカーＭを、マーカーＭ１，Ｍ２，Ｍ３とする。マーカーＭ１のおもて面には「０５３＿００１」を示す２次元コードＣが、マーカーＭ２のおもて面には「０５３＿００２」を示す２次元コードＣが、マーカーＭ３のおもて面には「０５３＿００３」を示す２次元コードＣが、それぞれ付加されている。上述のように、さんまのソテーに関する画像の画像識別情報Ｎは、０５３＿００１、０５３＿００２、０５３＿００３である。よって、マーカーＭ１を第１マーカー、０５３＿００１．ｊｐｇを第１画像、０５３＿００１．ｊｐｇの画像識別情報Ｎである０５３＿００１を第１情報とすると、第１マーカーには第１画像の記録場所を特定することに用いる第１情報が付加されている。また、マーカーＭ２を第２マーカー、０５３＿００２．ｍｐ４を第２画像、０５３＿００２．ｍｐ４の画像識別情報Ｎである０５３＿００２を第２情報とすると、第２マーカーには第２画像の記録場所を特定することに用いる第２情報が付加されている。

また、マーカーＭ１，Ｍ２，Ｍ３の裏面には、それぞれ料理名情報Ｆ１として「さんまのソテー」が表示されている。また、マーカーＭ１の裏面には手順番号情報Ｆ２として「１」が、マーカーＭ２の裏面には手順番号情報Ｆ２として「２」が、マーカーＭ３の裏面には手順番号情報Ｆ２として「３」が、それぞれ表示されている。また、マーカーＭ１の裏面にはオブジェクト情報Ｆ３として「まな板」が、マーカーＭ２の裏面にはオブジェクト情報Ｆ３として「さんま」が、マーカーＭ３の裏面にはオブジェクト情報Ｆ３として「フライパン」が、それぞれ表示されている。

よって、マーカーＭ１を第１マーカー、まな板を第１オブジェクトとすると、第１マーカーは、ユーザーが行う作業に用いる第１オブジェクトに対応する。また、マーカーＭ２を第２マーカー、さんまを第２オブジェクトとすると、第２マーカーは、作業に用いる第２オブジェクトに対応する。また、図４のオブジェクト情報Ｆ３のように、第１マーカーは、第１マーカーが第１オブジェクトに対応するマーカーであることをユーザーに示す表示を含み、第２マーカーは、第２マーカーが第２オブジェクトに対応するマーカーであることをユーザーに示す表示を含む。

また、マーカーＭ１，Ｍ２，Ｍ３の裏面には、それぞれ配置情報Ｆ４として「横並びの場合は対応品の上側に、縦並びの場合は対応品の左側に置いてください」と表示されているものとする。なお、マーカーＭやオブジェクトＯの配置について「上側」という場合には、調理台２６に向かって奥側を意味する。

ユーザーは、裏面の料理名情報Ｆ１に「さんまのソテー」と記載された３つのマーカーＭ１，Ｍ２，Ｍ３を用意する。また、ユーザーは、マーカーＭ１，Ｍ２，Ｍ３のオブジェクト情報Ｆ３に記載のオブジェクトＯを用意する。具体的には、ユーザーは、マーカーＭ１に記載のまな板Ｏ１、マーカーＭ２に記載のさんまＯ２、マーカーＭ３に記載のフライパンＯ３を用意する。

ユーザーは、用意したオブジェクトＯ１～Ｏ３を調理台２６に置く。この時、ユーザーは、各オブジェクトＯに対応する手順番号の順に一列にオブジェクトＯを配置する。図５の例では、左から右に向かって、手順１に対応するまな板Ｏ１、手順２に対応するさんまＯ２、手順３に対応するフライパンＯ３が配置されている。更に、ユーザーは、各オブジェクトＯ１～Ｏ３に対応するマーカーＭ１～Ｍ３を調理台２６に置く。図５の例では、オブジェクトＯ１～Ｏ３は横方向に配置されている。よって、図５の例は配置情報Ｆ４における「横並び」に対応し、ユーザーは、各オブジェクトＯ１～Ｏ３の上側に左から右に向かってマーカーＭ１～Ｍ３を順に置く。なお、オブジェクトＯ１～Ｏ３が右から左に向かって配置されてもよい。この場合、マーカーＭ１～Ｍ３も右から左に向かって配置される。

なお、例えば図９のように、手前から奥に向かって、手順１に対応するまな板Ｏ１、手順２に対応するさんまＯ２、手順３に対応するフライパンＯ３を配置してもよい。この配置は、配置情報Ｆ４における「縦並び」に対応し、ユーザーは、各オブジェクトＯ１～Ｏ３の左側にマーカーＭ１～Ｍ３を置く。また、オブジェクトＯ１～Ｏ３が奥から手前に向かって配置されてもよい。この場合、マーカーＭ１～Ｍ３も奥から手前に向かって配置される。

つづいて、図３を参照して制御部１６の各機能部について説明する。撮像制御部１６０は、撮像装置１１による画像の撮像を制御する。撮像制御部１６０は、例えば撮像装置１１における撮像のタイミングを制御する。撮像のタイミングは、例えば操作部１３を用いてユーザーから撮像の指示を受け付けることにより決定されてもよい。また、例えば撮像装置１１で常時動画を撮像し、撮像領域Ｓ内の物体の動きがない状態が所定時間以上継続した場合に、動画の１フレームを抜き出して撮像画像としてもよい。本実施形態では、撮像制御部１６０は、操作部１３を用いてユーザーから撮像の指示を受け付けるものとする。

また、撮像制御部１６０は、撮像装置１１の撮像画像の画像データを撮像装置１１から取得する。本実施形態では、撮像装置１１を用いて、２つ以上のマーカーＭが写った撮像画像を撮像する。すなわち、撮像装置１１は、投射面Ｐである調理台２６に配置された第１マーカーＭ１と、投射面Ｐに配置された第２マーカーＭ２と、を含む撮像画像を撮像する。よって、撮像制御部１６０は、例えば撮像した画像内にマーカーＭが２つ以上含まれていない場合には、ユーザーにエラーを通知して再撮像を促してもよい。

マーカー検出部１６１は、撮像装置１１の撮像画像からマーカーＭを検出する。また、マーカー検出部１６１は、マーカーＭに付加された２次元コードＣが示す情報を算出するとともに、撮像画像における複数のマーカーＭの位置を判定する。より詳細には、マーカー検出部１６１は、撮像装置１１の撮像画像からマーカーＭに付加された２次元コードを検出し、２次元コードＣの仕様に従って画像識別情報Ｎを算出する。すなわち、マーカー検出部１６１は、撮像画像に基づいて、第１情報および第２情報を取得する。本実施形態では、マーカー検出部１６１は、マーカーＭ１の２次元コードＣから「０５３＿００１」を、マーカーＭ２の２次元コードＣから「０５３＿００２」を、マーカーＭ３の２次元コードＣから「０５３＿００３」を、それぞれ算出する。

また、上述のように、撮像画像には２つ以上のマーカーＭが写っている。マーカー検出部１６１は、これら複数のマーカーＭの位置を検出する。例えば、図５の例では、マーカー検出部１６１は、横方向に並ぶ３つのマーカーＭ１～Ｍ３の位置を検出する。また、図９の例では、マーカー検出部１６１は、縦方向に並ぶ３つのマーカーＭの位置を検出する。

表示画像取得部１６２は、マーカーＭに対応する投射画像データＤを画像サーバー３０から取得する。より詳細には、表示画像取得部１６２は、２次元コードＣから算出した画像識別情報Ｎを含んだ画像送信要求を画像サーバー３０に送信する。画像サーバー３０は、画像識別情報Ｎにより特定される投射画像データＤをプロジェクター１０に対して送信する。表示画像取得部１６２は、画像サーバー３０から送信された投射画像データＤを、例えば記憶部１５に一時的に格納する。すなわち、表示画像取得部１６２は、第１情報に基づいて、第１画像の記録場所から第１画像を取得する。また、表示画像取得部１６２は、第２情報に基づいて、第２画像の記録場所から第２画像を取得する。

本実施形態では、表示画像取得部１６２は、３つの画像識別情報Ｎ、すなわち「０５３＿００１」、「０５３＿００１」、「０５３＿００１」をそれぞれ含む画像送信要求を画像サーバー３０に送信する。また、表示画像取得部１６２は、画像送信要求に対応して、３つの投射画像データＤ、すなわち「０５３＿００１．ｊｐｇ」、「０５３＿００２．ｍｐ４」、「０５３＿００３．ｍｐ４」を取得する。

画像配置決定部１６３は、投射面Ｐにおける投射画像Ｉの配置を決定する。より詳細には、画像配置決定部１６３は、撮像画像における複数のマーカーＭの位置に基づいて、投射画像Ｉの配置方向を決定する。図６および図７は、投射画像Ｉの配置の決定方法を模式的に示す図である。図６では、図５同様に、複数のマーカーＭ１～Ｍ３が、横方向に並んで配置されている。複数のマーカーＭ１～Ｍ３が横方向に並んでいる場合、画像配置決定部１６３は、マーカーＭに対して上側を投射領域Ｌ０とする。マーカーＭ１～Ｍ３の配置情報Ｆ４として「横並びの場合は対応品の上側」にマーカーＭを置くように記載されているのは、このためである。すなわち、配置情報Ｆ４は、オブジェクトＯと投射画像Ｉとが重ならないように、マーカーＭを置く位置を指示している。なお、画像配置決定部１６３は、マーカーＭに対して下側に投射画像Ｉを配置するようにしてもよい。この場合、配置情報Ｆ４には、「横並びの場合は対応品の下側」にマーカーＭを置くように記載される。また、マーカーＭに対する投射画像Ｉの配置を、操作部１３等を用いてユーザーが指定できるようにしてもよい。

画像配置決定部１６３は、マーカーＭが横方向に並んでいる場合、各マーカーＭに対応する投射画像Ｉも横方向に並ぶように各投射画像Ｉの配置を決定する。具体的には、画像配置決定部１６３は、図７に示すように、投射領域Ｌ０を横方向に３分割し、マーカーＭ１に対応する投射画像Ｉが投射される投射領域Ｌ１、マーカーＭ２に対応する投射画像Ｉが投射される投射領域Ｌ２、マーカーＭ３に対応する投射画像Ｉが投射される投射領域Ｌ３を、それぞれ設定する。なお、図６、図７等では視認上の観点から、投射領域Ｌ（Ｌ０、Ｌ１等）の端を投射面Ｐの端から離れた位置としているが、投射領域Ｌの端を投射面Ｐの端と一致させてもよい。

表示制御部１６４は、投射面Ｐに投射画像Ｉを投射するように投射装置１２を制御する。より詳細には、表示制御部１６４は、画像配置決定部１６３により決定された配置に沿って、投射面Ｐに投射画像Ｉを投射するように投射装置１２を制御する。

本実施形態では、表示制御部１６４は、図８に示すように、マーカーＭ１に対応する投射領域Ｌ１に、投射画像データ「０５３＿００１．ｊｐｇ」の投射画像Ｉ１を表示するように投射装置１２を制御する。また、表示制御部１６４は、マーカーＭ２に対応する投射領域Ｌ２に、投射画像データ「０５３＿００２．ｍｐ４」の投射画像Ｉ２を表示するように投射装置１２を制御する。また、表示制御部１６４は、マーカーＭ３に対応する投射領域Ｌ３に、投射画像データ「０５３＿００３．ｍｐ４」の投射画像Ｉ３を表示するように投射装置１２を制御する。

すなわち、投射装置１２は、第１マーカーに対応する第１画像と、第２マーカーに対応する第２画像とを、撮像画像における前記第１マーカーと第２マーカーとの配置に対応する配置で投射面Ｐに表示する。このとき、投射面Ｐにおける第１画像と第２画像との配置方向は、撮像画像における第１マーカーと第２マーカーとの配置方向と一致する。

なお、例えば図９に示すように、複数のマーカーＭ１～Ｍ３が縦方向に並んでいる場合、画像配置決定部１６３は、マーカーＭに対して左側を投射領域Ｌ０とする。マーカーＭ１～Ｍ３の配置情報Ｆ４として「縦並びの場合は対応品の左側」にマーカーＭを置くように記載されているのは、このためである。すなわち、配置情報Ｆ４は、オブジェクトＯと投射画像Ｉとが重ならないように、マーカーＭを置く位置を指示している。

また、画像配置決定部１６３は、マーカーＭが縦方向に並んでいる場合、各マーカーＭに対応する投射画像Ｉも縦方向に並ぶように各投射画像Ｉの配置を決定する。具体的には、画像配置決定部１６３は、図９に示すように、投射領域Ｌ０を縦方向に３分割し、マーカーＭ１に対応する投射画像Ｉが投射される投射領域Ｌ１、マーカーＭ２に対応する投射画像Ｉが投射される投射領域Ｌ２、マーカーＭ３に対応する投射画像Ｉが投射される投射領域Ｌ３を、それぞれ設定する。

表示制御部１６４は、画像配置決定部１６３により決定された配置に沿って、投射面Ｐに投射画像Ｉを投射するように投射装置１２を制御する。なお、投射装置１２からの投射の際には、元の投射画像Ｉのアスペクト比が保たれる。よって、投射領域Ｌの形状によって投射画像Ｉの倍率は異なる。例えば、図９のように横方向に長い投射領域Ｌがある場合でも、縦方向の最大倍率に合わせた大きさの投射画像Ｉが表示される。

図１１は、プロジェクター１０の制御部１６がプログラム１５Ａに従って実行する表示方法の流れを示すフローチャートである。図１１の処理を実行するに先立って、ユーザーは、図５のように投射面Ｐに複数のマーカーＭおよびオブジェクトＯを配置しておく。

制御部１６は、撮像制御部１６０として機能することにより、撮像装置１１に対して撮像領域Ｓの撮像を指示する（ステップＳ１００）。また、制御部１６は、撮像制御部１６０として機能することにより、撮像装置１１が撮像した撮像画像を取得する（ステップＳ１０２）。

制御部１６は、マーカー検出部１６１として機能することにより、撮像画像から複数のマーカーＭを検出する（ステップＳ１０４）。制御部１６は、画像配置決定部１６３として機能することにより、各マーカーＭに対応する投射画像Ｉの配置を決定する（ステップＳ１０６）。このとき、制御部１６は、複数のマーカーＭが横方向に並んでいる場合には、投射画像Ｉも横方向に並べて配置する。また、複数のマーカーＭが縦方向に並んでいる場合には、投射画像Ｉも縦方向に並べて配置する。

制御部１６は、マーカー検出部１６１として機能することにより、各マーカーＭに付加された２次元コードＣが示す画像識別情報Ｎをそれぞれ算出する（ステップＳ１０８）。制御部１６は、表示画像取得部１６２として機能することにより、各画像識別情報Ｎに対応する投射画像の投射画像データＤの画像送信要求を画像サーバー３０に送信する（ステップＳ１１０）。制御部１６は、画像サーバー３０から投射画像Ｉを受信するまで待機する（ステップＳ１１２：ＮＯのループ）。

画像サーバー３０から投射画像Ｉを受信すると（ステップＳ１１２：ＹＥＳ）、制御部１６は、表示制御部１６４として機能することにより、ステップＳ１１２で受信した投射画像Ｉを、ステップＳ１０６で決定した配置に沿って表示するよう投射装置１２を制御して（ステップＳ１１４）、本フローチャートの処理を終了する。なお、上記フローチャートにおいて、ステップＳ１０６と、ステップＳ１０８～Ｓ１１２とは、順番が逆であってもよいし、同時に処理が進行してもよい。

以上説明したように、第１実施形態にかかるプロジェクター１０は、投射面Ｐに配置されたマーカーＭ１に対応する投射画像Ｉ１と、マーカーＭ２に対応する投射画像Ｉ２とを、マーカーＭ１とマーカーＭ２との配置に対応する配置で投射面に表示する。これにより、ユーザーは、マーカーＭ１，Ｍ２の配置を変更することにより、投射面Ｐにおける投射画像Ｉ１およびＩ２の配置を変更することができ、投射画像Ｉの投射位置の指定を簡易に行うことができる。

また、プロジェクター１０は、投射面Ｐにおける投射画像Ｉ１と投射画像Ｉ２との配置方向を、撮像画像におけるマーカーＭ１とマーカーＭ２との配置方向と一致させるので、ユーザーは、直感的に投射画像Ｉの配置を指定することができる。

また、マーカーＭ１は、ユーザーが行う作業に用いる第１オブジェクトであるまな板Ｏ１に対応し、マーカーＭ２は、作業に用いる第２オブジェクトであるさんまＯ２に対応し、投射画像Ｉ１は、また板Ｏ１を用いた作業の内容に関する画像であり、投射画像Ｉ２は、さんまＯ２を用いた作業の内容に関する画像である。よって、ユーザーは、オブジェクトＯを用いた作業に関する画像を、個々のオブジェクトＯ毎に参照することができ、作業効率を向上させることができる。

また、マーカーＭ１は、マーカーＭ１がまな板Ｏ１に対応するマーカーＭであることをユーザーに示すオブジェクト情報Ｆ３を含み、マーカーＭ２は、マーカーＭ２がさんまＯ２に対応するマーカーＭであることをユーザーに示すオブジェクト情報Ｆ３を含む。よって、ユーザーは、複数のマーカーＭがどのオブジェクトＯに対応するものであるかを容易に把握することができる。

また、マーカーＭ１は、投射画像Ｉ１の記録場所を特定するための画像識別情報Ｎが付加され、マーカーＭ２は、投射画像Ｉ２の記録場所を特定するための画像識別情報Ｎが付加されている。プロジェクター１０は、撮像画像から各マーカーＭに付加された画像識別情報Ｎを算出し、画像識別情報Ｎに基づいて、それぞれの記録場所から投射画像Ｉ１および投射画像Ｉ２を取得する。これにより、ユーザーは、各マーカーＭに対応する投射画像Ｉを容易に取得することができる。

例えば、ユーザーは、投射面Ｐ上の任意の場所にオブジェクトＯを置き、オブジェクトＯ毎にそれぞれの近傍にオブジェクトＯに対応する投射画像Ｉを表示させることができる。本実施形態のように、キッチン２０おける調理手順の投射を考えた場合、まな板Ｏ１の隣に材料の名称および分量、調理の手順を表示することができ、ユーザーは、これらの情報を確認しながら、調理を進めることができる。また、ユーザーは、マーカーＭを置くだけで複数の投射領域Ｌの分割および投射画像Ｉの投射サイズの調整を行うことできる。

［第２実施形態］
以下、本発明の第２実施形態について説明する。以下に例示する形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。第１実施形態では、ユーザーは複数のマーカーＭを一列に配置し、投射装置１２はマーカーＭの配置方向に合わせて各マーカーＭに対応する投射画像Ｉを並べて表示した。これに対して、第２実施形態は、マーカーＭを基準として当該マーカーＭに対応する画像を個別の位置に表示することを可能とする。

図１２は、第２実施形態におけるマーカーＭの配置状態を模式的に示す図である。第２実施形態では、投射面Ｐおよび撮像領域Ｓに、調理台２６の全域とコンロ２２の一部とが含まれるものとする。オブジェクトＯは、第１実施形態と同様に、まな板Ｏ１、さんまＯ２、フライパンＯ３であるものとする。すなわち、マーカーＭ１を第１マーカー、マーカーＭ２を第２マーカー、マーカーＭ３を第３マーカーとすると、撮像装置１１は、第１マーカーおよび第２マーカーに加え、投射面Ｐに配置された第３マーカーを含む撮像画像を撮像する。

一般に、フライパンＯ３は、コンロ２２で使用する機会が多く、調理台２６で使用する機会は少ない。例えば図１３のように、まな板Ｏ１およびさんまＯ２は調理台２６に配置され、フライパンＯ３はコンロ２２に配置される場合がある。このような場合、第１実施形態のように各オブジェクトＯに対応するマーカーＭを一列に配置することは難しい。よって、第２実施形態では、特定のオブジェクトＯに対応する投射画像Ｉについては、他のマーカーＭの位置と関係なく単独で表示可能とする。

図１４および図１５は、第２実施形態におけるマーカーＭの外観等を示す模式図である。より詳細には、図１４ＡはさんまＯ２に対応するマーカーＭ２のおもて面を示し、図１４ＢはマーカーＭ２の裏面を示す。図１５ＢはフライパンＯ３に対応するマーカーＭ３のおもて面を示し、図１５ＢはマーカーＭ３の裏面を示す。

まず、各マーカーＭ２，Ｍ３の裏面の記載について説明する。図１４Ｂおよび図１５Ｂに示すように、マーカーＭの裏面には、ユーザーに向けた情報であるユーザー向け情報Ｆ（Ｆ１～Ｆ４）が付加されている。そのうち、料理名情報Ｆ１、手順番号情報Ｆ２およびオブジェクト情報Ｆ３の内容は、第１実施形態と同様である。

一方、配置情報Ｆ４については、第１実施形態と異なり、各マーカーＭの配置タイプが記載されている。図１４Ｂに示すように、マーカーＭ２の配置情報Ｆ４には、「順列配置タイプ」であることが記載され、第１実施形態と同様にマーカーＭをオブジェクトＯに対してどのような位置に配置すれば良いかが記載されている。順列配置タイプとは、第１実施形態と同様に、他のマーカーＭと並べて配置することが想定されているマーカーＭが属するタイプである。本実施形態では、マーカーＭ１も、マーカーＭ２と同様に、順列配置タイプであるものとする。すなわち、まな板Ｏ１およびさんまＯ２は、調理台２６に並べて置かれることが予測されるため、これらのオブジェクトＯに対応するマーカーＭは、順列配置タイプとなっている。

また、図１５Ｂに示すように、マーカーＭ３の配置情報Ｆ４には、「自由配置タイプ」であることが記載されるとともに、マーカーＭに対して投射画像Ｉがどのような位置に表示されるかを示す位置情報が記載されている。図１５Ｂの例では、位置情報として、マーカーＭ３の「左上」に投射画像Ｉが投射される旨が記載されている。本実施形態では、位置情報は、マーカーＭ３の位置を基準とした投射画像Ｉ３の表示位置を示す情報である。すなわち、第３マーカーは、位置情報を含んでいる。

自由配置タイプは、他のマーカーＭと並べて配置することが難しい、または適当ではないと想定されているマーカーＭに割り当てられる。本実施形態では、フライパンＯ３は、他のオブジェクトＯ１，Ｏ２が位置する調理台２６から離れたコンロ２２に置かれることが想定されるため、フライパンＯ３に対応するマーカーＭ３は、自由配置タイプとなっている。

図１４Ａおよび図１５Ｂに示すように、マーカーＭ２，Ｍ３のおもて面には、第１実施形態同様、２次元コードＣが付加されている。これら２次元コードＣを読み取った際に得られる情報には、画像識別情報Ｎに加え、配置タイプに関する情報Ｔが含まれている。例えば、図１４Ａに示すマーカーＭ２の２次元コードＣには、配置タイプに関する情報Ｔとして、順列配置タイプであることを示す順列配置フラグが含まれている。また、図１５Ａに示すマーカーＭ３の２次元コードＣには、配置タイプに関する情報Ｔとして、自由配置タイプであることを示す自由配置フラグと、マーカーＭに対する投射画像Ｉの表示位置を指定する情報が含まれている。図１５Ｂの例では、表示位置を指定する情報として「左上」が含まれている。

第２実施形態において、画像配置決定部１６３は、配置タイプに関する情報Ｔに基づいて、投射面Ｐにおける投射画像Ｉの配置を決定する。より詳細には、画像配置決定部１６３は、マーカーＭが順列配置タイプである場合には、マーカーＭ間の配置方向に基づいて、投射画像Ｉの配置方向を決定する。また、画像配置決定部１６３は、マーカーＭが自由配置タイプである場合には、撮像画像におけるマーカーＭの位置と、配置タイプに関する情報Ｔに含まれる表示位置を指定する情報に基づいて、投射画像Ｉの表示位置を決定する。表示制御部１６４は、第１実施形態同様に、画像配置決定部１６３により決定された配置に沿って、投射面Ｐに投射画像Ｉを投射するように投射装置１２を制御する。

図１３は、第２実施形態における投射画像Ｉの配置を模式的に示す図である。順列配置タイプであるマーカーＭ１およびＭ２に対応する投射画像Ｉ１およびＩ２は、横方向に並んで表示されている。一方、自由配置タイプであるマーカーＭ３に対応する投射画像Ｉ３は、他の画像と並んで表示されずに、マーカーＭ３の左上に表示される。すなわち、投射画像Ｉ３を第３画像とすると、投射画像Ｉを表示することは第３マーカーＭ３に対応する第３画像を、前記位置情報に対応する位置に表示することを更に含む。

なお、上述した説明では、フライパンＯ３に対応するマーカーＭ３のみが自由配置タイプであるものとしたが、これに限らず、全てのマーカーＭについて自由配置タイプとしてもよい。

以上説明したように、第２実施形態によれば、プロジェクター１０は、自由配置タイプのマーカーＭに対応する投射画像Ｉを任意の位置に表示することができる。よって、ユーザーは、例えば所定のオブジェクトＯの使用位置が他のオブジェクトＯの使用位置と離れている場合でも、任意の位置に所定のオブジェクトＯに対応する投射画像Ｉを表示させることができ、作業効率をより向上させることができる。

［第３実施形態］
以下、本発明の第３実施形態について説明する。以下に例示する形態において作用や機能が第１実施形態または第２実施形態と同様である要素については、第１実施形態または第２実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

第１実施形態および第２実施形態では、投射画像Ｉの投射領域Ｌは、マーカーＭの位置に基づいて決定され、オブジェクトＯの位置については考慮されていなかった。第３実施形態では、投射面ＰにおけるオブジェクトＯの位置に基づいて、投射画像Ｉの投射領域Ｌを決定する。

図１６は、第３実施形態におけるマーカーＭの外観等を模式的に示す図である。第３実施形態では、図１６Ｂに示すマーカーＭの裏面に配置情報Ｆ４が記載されていない点が、他の実施形態と異なる。これは、マーカーＭに対する投射画像Ｉの表示位置が、周囲のオブジェクトＯの有無によって動的に変更されるためである。また、図１６Ａに示すマーカーＭのおもて面には、第１実施形態同様、２次元コードＣが付加されている。この２次元コードＣを読み取った際に得られる情報は、第１実施形態同様、画像識別情報Ｎである。

図１７は、第３実施形態における制御部１６の機能的構成を示すブロック図である。第３実施形態では、図３に示す機能的構成に加えて、オブジェクト検出部１６５が設けられている。オブジェクト検出部１６５は、投射面Ｐに配置されたオブジェクトを撮像画像から検出する。すなわち、マーカーＭ１を第１マーカー、マーカーＭ２を第２マーカー、投射面Ｐに置かれたオブジェクトＯをオブジェクトとした場合、オブジェクト検出部１６５は、撮影画像から、第１マーカーおよび第２マーカーの周囲に配置されたオブジェクトに対応する画像の領域を検出する。

撮像画像からオブジェクトを検出する技術は様々なものが知られているので、オブジェクト検出部１６５による処理の詳細については説明を省略する。一般に、投射面Ｐは色調等が一様な面なので、オブジェクト検出部１６５によるオブジェクトＯの検出は、比較的精度良く実施できると考えられる。なお、オブジェクト検出部１６５で検出するオブジェクトは、マーカーＭに対応付けられたオブジェクトＯに限らない。オブジェクト検出部１６５は、投射画像Ｉを表示するのに邪魔になる物品を検出できればよい。すなわち、上記オブジェクトは、マーカーＭに対応付けられたオブジェクトＯに限らず、投射面Ｐに置かれた任意の物品である。

図１８は、第３実施形態におけるマーカーＭおよびオブジェクトＯの配置例を模式的に示す図である。図１８の例では、投射面Ｐの奥側に、左から右に向かって、まな板Ｏ１、さんまＯ２、フライパンＯ３がこの順に配置されている。また、各オブジェクトＯ１～Ｏ３に対応するマーカーＭ１～Ｍ３は、オブジェクトＯの手前側に置かれている。マーカー検出部１６１は、投射面Ｐを撮像した撮像画像からマーカーＭを検出する。オブジェクト検出部１６５は、投射面Ｐを撮像した撮像画像からオブジェクトＯを検出する。

第３実施形態において、画像配置決定部１６３は、撮像画像における複数のマーカーＭの配置および撮像画像におけるオブジェクトＯの配置領域に基づいて、投射画像Ｉの表示位置を決定する。すなわち、投射画像Ｉ１を第１画像、投射画像Ｉ２を第２画像とした場合、画像配置決定部１６３は、撮像画像における第１マーカーと第２マーカーとの配置と、オブジェクトＯに対応する画像の領域とに基づいて、第１画像と第２画像とを表示する表示領域を決定する。

より詳細には、画像配置決定部１６３は、マーカー検出部１６１により検出されたマーカーＭの位置に基づいて、投射画像Ｉの配置方向を決定する。例えば、図１８のように複数のマーカーＭ１～Ｍ３が横方向に並んでいる場合、画像配置決定部１６３は、これらマーカーＭ１～Ｍ３に対応する投射画像Ｉ１～Ｉ３を横方向に並べて表示すると決定する。

また、画像配置決定部１６３は、オブジェクト検出部１６５により検出されたオブジェクトＯの配置領域に基づいて、投射画像Ｉの投射位置を決定する。例えば、図１８のようにマーカーＭ１～Ｍ３の奥の投射面Ｐ上にオブジェクトＯが並んで配置されている場合、画像配置決定部１６３は、マーカーＭ１～Ｍ３の手前の領域を投射領域Ｌ０とする。

画像配置決定部１６３は、図１９に示すように、投射領域Ｌ０を横方向に３分割し、マーカーＭ１に対応する投射画像Ｉ１が投射される投射領域Ｌ１、マーカーＭ２に対応する投射画像Ｉ２が投射される投射領域Ｌ２、マーカーＭ３に対応する投射画像Ｉ３が投射される投射領域Ｌ３を、それぞれ設定する。

表示制御部１６４は、画像配置決定部１６３により決定された配置に沿って、投射面Ｐに投射画像Ｉ１～Ｉ３を投射するように投射装置１２を制御する。すなわち、第１画像および第２画像は、画像配置決定部１６３により決定された表示領域に基づいて表示される。

図２０は、第３実施形態におけるマーカーＭおよびオブジェクトＯの他の配置例を模式的に示す図である。図２０の例では、マーカーＭ１～Ｍ３の位置は、図１８とほぼ同様である。すなわち、マーカーＭ１～Ｍ３は、投射面Ｐの奥行き方向の略中央部に横方向に並んで配置されている。一方で、オブジェクトＯの位置は、図１８と異なる。すなわち、マーカーＭ１に対応するオブジェクトＯであるまな板Ｏ１は、マーカーＭ１の手前側に配置されている。マーカーＭ２に対応するオブジェクトＯであるさんまＯ２は、マーカーＭ２の奥側に配置されている。マーカーＭ３に対応するオブジェクトＯであるフライパンＯ３は、マーカーＭ３の奥側に配置されている。

このような場合も、画像配置決定部１６３は、まずマーカー検出部１６１により検出されたマーカーＭの位置に基づいて、投射画像Ｉの配置方向を決定する。図２０の例では、図１８と同様にマーカーＭ１～Ｍ３は横方向に並んでいるので、画像配置決定部１６３は、これらマーカーＭ１～Ｍ３に対応する投射画像Ｉ１～Ｉ３を横方向に並べて表示すると決定する。

また、画像配置決定部１６３は、オブジェクト検出部１６５により検出されたオブジェクトＯの位置に基づいて、投射画像Ｉの投射位置を決定する。図２０において、投射面Ｐ上でオブジェクトＯが配置されていないのは、マーカーＭ１を挟んでまな板Ｏ１の反対側に位置する領域Ｌ４と、マーカーＭ２およびＭ３を挟んでさんまＯ２およびフライパンＯ３の反対側に位置する領域Ｌ５である。

この場合、画像配置決定部１６３は、図２１に示すように、マーカーＭ１を挟んでまな板Ｏ１の反対側に位置する領域Ｌ４を、投射画像Ｉ１が投射される投射領域Ｌ１に決定する。また、画像配置決定部１６３は、マーカーＭ２およびＭ３を挟んでさんまＯ２およびフライパンＯ３の反対側に位置する領域Ｌ５を２分割して、投射画像Ｉ２が投射される投射領域Ｌ２および投射画像Ｉ３が投射される投射領域Ｌ３に決定する。表示制御部１６４は、画像配置決定部１６３により決定された配置に沿って、投射面Ｐに投射画像Ｉ１～Ｉ３を投射するように投射装置１２を制御する。

なお、例えば図２０における領域Ｌ４の位置にも何らかのオブジェクトＯが配置されている場合、画像配置決定部１６３は、領域Ｌ５を３等分して、投射領域Ｌ１～Ｌ３を設定してもよい。また、例えば投射面Ｐ上にオブジェクトＯが多く置かれて、投射領域Ｌが十分に取れない場合、制御部１６は、「投射面からオブジェクトを取り除くか、マーカーの数を減らして下さい」などのメッセージをユーザーに提示するようにしてもよい。

以上説明したように、第３実施形態にかかるプロジェクター１０は、撮像画像における複数のマーカーＭの位置に加えて、撮像画像におけるオブジェクトＯの配置領域に基づいて、投射画像Ｉの表示位置を決定する。具体的には、例えば、投射面Ｐのうち、オブジェクトＯが配置されていない領域を空きスペースとすると、マーカーＭに隣り合う空きスペースがあれば、この空きスペースに投射画像Ｉを表示する。また、マーカーＭに隣り合う空きスペースがない場合は、マーカーＭからの距離が最も近い空きスペースに投射画像Ｉを表示する。これにより、オブジェクトＯに重ねて投射領域Ｌが設定されることにより投射画像Ｉの視認性が低下するのを防止することができ、ユーザーは、投射画像Ｉの内容をより確実に把握することができる。

［変形例］
以上に例示した各形態は多様に変形され得る。前述の各形態に適用され得る具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。

［変形例１］
本実施形態においてプロジェクター１０は、キッチン２０において、料理の手順に関する画像を表示するものとしたが、これに限らず、他の種類の作業や手順に関する画像を表示してもよい。例えばプロジェクター１０は、ＤＩＹ（Ｄｏ Ｉｔ Ｙｏｕｒｓｅｌｆ）において、工作の手順や工具の使い方に関する画像を表示するのに用いられてもよい。また例えば、プロジェクター１０は、遠隔授業において、教材や実験映像などを表示するのに用いられてもよい。

［変形例２］
プロジェクター１０は、例えばサイネージ用途に用いられてもよい。図２２は、プロジェクター１０を用いたショーウインドー展示を模式的に示す図である。図２２では、店舗の壁Ｗに、花瓶Ｖ（Ｖ１，Ｖ２）を表示する場合を例にしている。花瓶Ｖ１，Ｖ２は、壁Ｗから垂直に突出する棚板Ｂ１，Ｂ２にそれぞれ載置される。花瓶Ｖ１，Ｖ２の背後の壁Ｗには、それぞれ花の画像Ｉｘがプロジェクター１０により表示される。花瓶Ｖ１，Ｖ２と画像Ｉｘを合わせて見ることにより、店舗の客は、花瓶Ｖ１およびＶ２の使用状態をより具体的に想起することができる。よって、単に花瓶Ｖ１，Ｖ２を展示するよりも、客の購買意欲が高まりやすいと考えられる。

ここで、図２２のような表示を行うには、花瓶Ｖ１，Ｖ２の口Ｖａ１、Ｖａ２の高さに、画像Ｉｘの下端Ｅを合わせる必要がある。しかし、花瓶Ｖ１，Ｖ２の口Ｖａ１、Ｖａ２の位置、すなわち棚板Ｂ１，Ｂ２から口Ｖａ１、Ｖａ２までの距離である高さＨ１，Ｈ２は、花瓶の種類によって異なる。よって、展示する花瓶Ｖが変わる度に、店舗のショーウインドー担当者は画像Ｉｘの表示位置を調整する必要があり、煩雑である。

そこで、プロジェクター１０を用いて、マーカーＭにより画像Ｉｘの表示位置を指定可能とすることで、簡便に画像Ｉｘの表示位置を調整することができる。例えばマーカーＭの下端と画像Ｉｘの下端Ｅとを一致させて画像Ｉｘを表示するようにプロジェクター１０を調整しておけば、花瓶Ｖ１，Ｖ２の口Ｖａ１、Ｖａ２の背後の壁Ｗの位置にマーカーＭを貼付することにより、図２２のような表示を行うことができる。また、例えば、マーカーＭの二次元コードの情報に「マーカーＭの下辺と画像Ｉｘの下辺を一致させる」というような、画像Ｉｘの表示位置を指定する情報が含まれていてもよい。また、変形例２によれば、マーカーＭを貼りかえることにより画像Ｉｘの内容を変えることができるので、例えば季節によって画像Ｉｘを変化させる、具体的には季節に合った花の画像に差し替えることなども容易に行うことができる。

このように、プロジェクター１０を用いることによって、専門知識がないユーザーでも容易に画像の表示位置や画像の差し替えを行うことができるので、画像を用いたサイネージを手軽に実施することができる。

［変形例３］
本実施形態では、プロジェクター１０が撮像装置１１および投射装置１２を備えるものとしたが、これらが別体であってもよい。例えば、それぞれ独立した装置である撮像装置、投射装置および情報処理装置が有線または無線で接続されて、表示システムとして構成されてもよい。情報処理装置は、パーソナルコンピューターやスマートフォンであってもよい。また、表示システムにおける撮像装置は、パーソナルコンピューターやスマートフォンなどの情報処理装置が備える撮像装置であってもよい。

［変形例４］
本実施形態では、画像識別情報Ｎを含む画像送信要求を受けた画像サーバー３０が、画像識別情報Ｎに対応する投射画像Ｉを画像データベースＤＢから検索して返信するものとした。これに限らず、例えば画像識別情報Ｎとして、所定の投射画像Ｉの記憶場所のアドレスをマーカーＭに付与しておき、表示画像取得部１６２は、画像サーバー３０に対して当該アドレスに記憶された投射画像Ｉを送信するように要求してもよい。投射画像Ｉの記憶場所のアドレスとは、例えばＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）であってもよい。

１０…プロジェクター、１１…撮像装置、１２…投射装置、１３…操作部、１４…通信部、１５…記憶部、１５Ａ…プログラム、１６…制御部、２０…キッチン、２２…コンロ、２４…シンク、２６…調理台、２８…壁面、３０…画像サーバー、１６０…撮像制御部、１６１…マーカー検出部、１６２…表示画像取得部、１６３…画像配置決定部、１６４…表示制御部、１６５…オブジェクト検出部、Ｐ…投射面、Ｓ…撮像領域。

Claims (8)

1. 投射面に配置された第１マーカーと、前記投射面に配置された第２マーカーとを含む撮像画像を撮像することと、
   前記第１マーカーに対応する第１画像と、前記第２マーカーに対応する第２画像とを、前記撮像画像における前記第１マーカーと前記第２マーカーとの配置に対応する配置で前記投射面に表示することと、
   を含む、表示方法。
2. 前記表示することにおいて、
   前記投射面における前記第１画像と前記第２画像との配置方向は、前記撮像画像における前記第１マーカーと前記第２マーカーとの配置方向と一致する、
   請求項１記載の表示方法。
3. 前記第１マーカーは、ユーザーが行う作業に用いる第１オブジェクトに対応し、
   前記第２マーカーは、前記作業に用いる第２オブジェクトに対応し、
   前記第１画像は、前記第１オブジェクトを用いた前記作業の内容に関する画像であり、
   前記第２画像は、前記第２オブジェクトを用いた前記作業の内容に関する画像である、
   請求項１または２記載の表示方法。
4. 前記第１マーカーは、前記第１マーカーが前記第１オブジェクトに対応するマーカーであることを前記ユーザーに示す表示を含み、
   前記第２マーカーは、前記第２マーカーが前記第２オブジェクトに対応するマーカーであることを前記ユーザーに示す表示を含む、
   請求項３記載の表示方法。
5. 前記第１マーカーには、前記第１画像の記録場所を特定することに用いる第１情報が付加されており、
   前記第２マーカーには、前記第２画像の記録場所を特定することに用いる第２情報が付加されており、
   前記撮像画像に基づいて、前記第１情報および前記第２情報を取得することと、
   前記第１情報に基づいて、前記第１画像の記録場所から前記第１画像を取得することと、
   前記第２情報に基づいて、前記第２画像の記録場所から前記第２画像を取得することと、を更に含む、
   請求項１から４のいずれか１項記載の表示方法。
6. 前記撮像することは、
   前記第１マーカーおよび前記第２マーカーに加え、前記投射面に配置された第３マーカーを含む前記撮像画像を撮像することであり、
   前記第３マーカーは、位置情報を含み、
   前記表示することは、
   前記第３マーカーに対応する第３画像を、前記位置情報に対応する位置に表示することを更に含む、
   請求項１から５のいずれか１項記載の表示方法。
7. 前記撮像画像から、前記第１マーカーおよび前記第２マーカーの周囲に配置されたオブジェクトに対応する画像の領域を検出することと、
   前記撮像画像における前記第１マーカーと前記第２マーカーとの配置と、前記画像の領域とに基づいて、前記第１画像と前記第２画像とを表示する表示領域を決定することと、を更に含み、
   前記表示することにおいて、
   前記第１画像および前記第２画像は、前記決定された表示領域に表示される、
   請求項１または２記載の表示方法。
8. 投射面に配置された第１マーカーと、前記投射面に配置された第２マーカーと、を含む撮像画像を撮像する撮像装置と、
   前記第１マーカーに対応する第１画像と、前記第２マーカーに対応する第２画像と、を、前記撮像画像における前記第１マーカーと前記第２マーカーとの配置に対応する配置で前記投射面に表示する投射装置と、
   を備える、表示システム。

Images