JP2013089987A - プロジェクター及び画像描画方法 - Google Patents

Abstract

【課題】プロジェクターによって、筆記の操作に応じた所定の画像を投射面に表示できるようにする。
【解決手段】ユーザーは、位置決めマーク（Ｍ１、Ｍ２）と、キーワード（Ｋ１、Ｋ２）とをホワイトボード３００に書き込む。これらの軌跡はデジタルカメラ（又はプロジェクターに備えられた撮影部）によって撮影される。プロジェクターは、位置決めマークとキーワードとをそれぞれ認識し、位置決めマークによって表される描画エリアにキーワードに対応付けられた画像（Ｉ１、Ｉ２）を描画する。
【選択図】図１１

Description

本発明は、プロジェクターによりコンテンツに応じた画像を描画する技術に関する。

プロジェクターには、インタラクティブ機能を有するものがある。ここにおいて、インタラクティブ機能とは、プロジェクターにより投射されている元の画像に対して、ユーザーの筆記操作の軌跡に相当する文字などを重畳して描画することができる機能をいう（例えば、特許文献１参照）。

特開２０１１−２６５０号公報

特許文献１に記載された技術は、ポインティングデバイスの軌跡に応じた線を元画像に重畳した合成画像を表示するものである。このような技術を用いた場合、ユーザーは、手書きで描くには時間を要する画像（あるいは手書きでは表現できない画像）や、グラフのような正確さが求められる図を描画させようとした場合に、困難を来すことがある。
そこで、本発明は、プロジェクターによって、筆記での操作に応じた所定の画像を投射面に表示できるようにすることを目的とする。

本発明の一態様に係るプロジェクターは、投射面に対して筆記された記号の軌跡に基づいて、描画すべき画像と当該画像を描画する描画エリアとを認識する認識部と、前記認識部により認識された前記画像を表す画像データを取得する取得部と、前記取得部により取得された前記画像データが表す前記画像を、前記投射面の前記認識部により認識された前記描画エリアに描画させるように制御する描画制御部とを備える構成を有する。
このプロジェクターによれば、筆記での操作に応じた所定の画像を投射面に表示することが可能である。

好ましい態様において、前記取得部は、前記画像データと当該画像データに対応付けられた識別情報とを取得し、前記認識部は、前記投射面において指定された描画エリアを前記軌跡に基づいて認識する位置認識部と、前記識別情報を前記軌跡に基づいて認識する識別情報認識部とを有し、前記描画制御部は、前記識別情報認識部により認識された前記識別情報に対応付けられた前記画像データが表す画像を、前記投射面の前記位置認識部により認識された前記描画エリアに描画させてもよい。
この態様によれば、識別情報に応じた画像を表示することが可能である。

別の好ましい態様において、前記識別情報が、あらかじめ決められたキーワードを含み、前記識別情報認識部は、前記軌跡に前記キーワードが含まれるか否かを判断して前記識別情報を認識してもよい。
この態様によれば、ユーザーは、キーワードを筆記することによって当該キーワードに応じた画像を表示させることが可能である。

さらに別の好ましい態様において、前記位置認識部は、前記描画エリアを複数認識し、前記識別情報認識部は、前記識別情報を複数認識し、前記描画制御部は、前記描画エリアと前記識別情報の位置、又は前記描画エリアと前記識別情報とが認識された順番に基づいて前記描画エリアと前記識別情報の対応関係を判断してもよい。
この態様によれば、複数の画像データが表す複数の画像のそれぞれを、所望の描画エリアに表示させることが可能である。

さらに別の好ましい態様において、前記識別情報が、前記描画エリアを指定する軌跡の色又は形状を表す情報を含み、前記識別情報認識部は、前記軌跡の色又は形状に基づいて前記識別情報を認識してもよい。
この態様によれば、前記描画エリアを指定する軌跡の色や形状によって表示対象の画像を区別することが可能である。

さらに別の好ましい態様において、前記認識部は、画像の再生を制御するための制御情報を前記軌跡に基づいて認識する制御情報認識部を有し、前記描画制御部は、前記制御情報認識部により認識された制御情報に従って画像の再生を制御してもよい。
この態様によれば、画像の再生態様を筆記の操作によって制御することが可能である。

さらに別の好ましい態様において、前記描画制御部は、前記認識部により認識される軌跡が所定の条件を満たす変化をした場合に、前記画像を更新してもよい。
この態様によれば、画像を書き換えたり消去したりすることが可能である。

本発明の他の態様に係る画像描画方法は、投射面に対して筆記された記号の軌跡に基づいて、描画すべき画像と当該画像を描画する描画エリアとを認識し、前記認識された前記画像を表す画像データを取得し、前記取得された前記画像データが表す前記画像を、前記投射面の前記認識された前記描画エリアに描画するものである。
この画像描画方法によれば、筆記での操作に応じた所定の画像を投射面に表示することが可能である。

プロジェクションシステムの全体構成を示す図。 プロジェクターの構成を示すブロック図。 位置決めマークを例示する図。 位置決めマークを例示する図。 コンテンツリンクテーブルを例示する図。 プロジェクターが実行する処理を示すフローチャート。 認識処理を示すフローチャート。 描画エリアデータのデータ構造を示す図。 キーワードエリアデータのデータ構造を示す図。 描画処理を示すフローチャート。 ユーザーによる軌跡とインタラクティブ画像の表示例を示す図。 プロジェクターの構成を示すブロック図。 制御マークを例示する図。 プロジェクター及び情報処理装置の構成を示すブロック図。 プロジェクター及びデジタルカメラの構成を示すブロック図。

［第１実施形態］
図１は、本発明の一実施形態であるプロジェクションシステム１０の全体構成を示す図である。プロジェクションシステム１０は、いわゆるインタラクティブプロジェクションシステムであり、ユーザーが筆記した記号（文字や図形）の軌跡に応じた画像（静止画又は動画）を描画することができるシステムである。ユーザーは、例えば、学問を生徒に教える教師や、受講者に講義をする講師である。

プロジェクションシステム１０は、プロジェクター１００と、ホワイトボード３００と、ペン４００とを備える。ホワイトボード３００は、プロジェクター１００によって画像が投射される投射面として機能するとともに、ユーザーがペン４００によって文字や図形を書き込むことができる板状の器具である。ペン４００は、ホワイトボード３００に色材（インクなど）を付着させて軌跡を描くための器具である。なお、ペン４００は、後述するように、色が異なるものが複数あってもよい。また、ユーザーによる筆記は、ペン４００に代えて、所定の文字や図形が刻印されたスタンプによって行われてもよい。

プロジェクター１００は、ホワイトボード３００に画像を投射して表示するための電子機器である。プロジェクター１００に用いられる表示素子や光源は、特に限定されない。また、プロジェクター１００の表示方式も特に限定されないが、ユーザーによる筆記を妨げたり、あるいは投射面にユーザーの影を多く生じさせたりしないよう、壁掛け用の短焦点型であることが望ましい。例えば、プロジェクター１００は、図１に示すように、ホワイトボード３００の上方から画像を投射するものであると望ましい。

また、プロジェクター１００は、ホワイトボード３００を撮影する機能を有している。プロジェクター１００は、より詳細には、ユーザーによってホワイトボード３００に対して筆記された軌跡を撮影する。この撮影機能は、動画を撮影する機能（すなわちデジタルビデオカメラに相当する機能）であることが望ましいが、所定のタイミングでホワイトボード３００を繰り返し撮影することが可能であれば、動画ではなく静止画による撮影でも十分である。

図２は、プロジェクター１００のより具体的な構成を示すブロック図である。プロジェクター１００は、撮影部１１０と、認識部１２０と、第１取得部１３０と、第２取得部１４０と、記憶部１５０と、描画制御部１６０と、投射部１７０とを備える。

撮影部１１０は、投射面を撮影する手段である。撮影部１１０は、ＣＣＤ（Charge Coupled Device）イメージセンサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーなどの撮像素子と、撮像素子により供給される信号から画像データを生成して出力する画像処理回路とを備える。撮影部１１０は、画像データを認識部１２０に供給する。

認識部１２０は、ペン４００によって書き込まれた記号の軌跡を認識する手段である。認識部１２０は、撮影部１１０から供給された画像データに基づいて、ユーザーにより投射面に対して筆記された記号の軌跡を認識する。なお、ここにおいて、記号とは、認識部１２０が認識可能な文字や図形をいう。ここでいう文字は、漢字、アルファベットなどに限らず、数字や符号もこれに該当する。認識部１２０は、これらの文字や所定の図形を認識する機能を有する。

第１取得部１３０は、元画像を表す第１コンテンツを取得する手段である。第１コンテンツは、元画像を表す画像データ（第１画像データ）を少なくとも含むデータである。これに対し、第２取得部１４０は、ユーザーが描いた軌跡に応じて表示される画像（以下「インタラクティブ画像」ともいう。）を表す第２コンテンツを取得する手段である。第２コンテンツは、インタラクティブ画像を表す画像データ（第２画像データ）を少なくとも含むデータである。

ここにおいて、コンテンツとは、投射面に投射される画像を少なくとも含むデータをいう。コンテンツは、例えば、静止画であればＪＰＥＧ（Joint Photographic Experts Group）フォーマット、動画であればＭＰＥＧ（Moving Picture Experts Group）−２フォーマットのデータである。また、元画像とは、ユーザーが投射面に筆記する前から投射されている画像のことであり、インタラクティブ画像とは、ユーザーの筆記に応じて元画像に重畳するように投射される画像のことである。

第１取得部１３０は、例えば、パーソナルコンピューターなどの外部装置と通信することにより、この外部装置から第１コンテンツを取得する。これに対し、第２取得部１４０は、記憶部１５０に記憶されている第２コンテンツと、当該コンテンツに対応付けられた識別情報とを取得する。記憶部１５０は、データを記憶する記憶媒体１５１（ハードディスク、フラッシュメモリーなど）を備え、上述した第２コンテンツと、第２コンテンツとその識別情報であるキーワードとの対応付けを記述したテーブル（以下「コンテンツリンクテーブル」という。）とを記憶している。

なお、第１コンテンツは、第２コンテンツと異なり、本発明において必須のコンテンツではない。すなわち、投射面には、元画像が投射されている状態でインタラクティブ画像が重なるように投射されてもよいが、元画像が投射されていない状態でインタラクティブ画像のみが投射されてもよい。したがって、第１取得部１３０も、本発明の実施に不可欠なものではない。

描画制御部１６０は、コンテンツに応じた画像の描画を制御する手段である。描画制御部１６０は、第１コンテンツと第２コンテンツの少なくともいずれかに基づき、元画像、インタラクティブ画像又はこれらを重畳した合成画像を投射するための画像信号を投射部１７０に供給する。描画制御部１６０は、インタラクティブ画像を含む画像を投射する場合には、認識部１２０による認識結果に応じて動作する。具体的には、描画制御部１６０は、認識部１２０による認識結果に応じて第２コンテンツを取得するとともに、インタラクティブ画像の描画位置や描画する際の倍率を計算し、その計算結果に従ってインタラクティブ画像を描画させる。

なお、認識部１２０、第１取得部１３０、第２取得部１４０及び描画制御部１６０は、ＣＰＵ（Central Processing Unit）、メモリー、画像処理回路などによって実現可能である。これらは単一の動作主体（例えばＣＰＵ）によって動作するものであってもよいし、複数の動作主体の協働によって動作するものであってもよい。

投射部１７０は、画像を投射面に投射することにより表示する手段である。投射部１７０は、例えば、光源として機能するランプや、光源から射出された光を変調する光変調器として機能する液晶パネルを備え、描画制御部１６０から供給される画像信号に応じて変調した光を照射することにより、画像を投射面に投射する。ただし、投射部１７０の構成は、これに限らず、液晶以外の他の表示素子を用いたものであってもよいし、光の透過・反射のいずれを利用するものであってもよい。

また、認識部１２０は、より詳細には、位置認識部１２１と識別情報認識部１２２とを有する。位置認識部１２１は、インタラクティブ画像を描画すべき位置（以下「描画エリア」という。）をペン４００による軌跡に基づいて認識する手段であり、識別情報認識部１２２は、描画すべきインタラクティブ画像をペン４００による軌跡に基づいて認識する手段である。位置認識部１２１は、描画エリアを指定するための所定のマーク（以下「位置決めマーク」という。）をペン４００による軌跡から認識することによって、描画エリアを認識する。また、識別情報認識部１２２は、ペン４００による軌跡から後述するキーワードに相当する文字列を認識することによって、描画すべきインタラクティブ画像を認識する。識別情報認識部１２２による認識には、周知のＯＣＲ（Optical Character Recognition）技術が利用可能である。

認識部１２０は、具体的には、撮影部１１０により供給された画像データが表す画像を解析してペン４００の軌跡に相当する画像を特定し、特定した画像が文字である場合には識別情報認識部１２２において認識を行い、特定した画像が文字でない場合には位置認識部１２１において認識を行う。より詳細には、例えば、認識部１２０は、画像を文字として認識できるか否かを最初に判断し、文字として認識できなかった場合に、当該画像が位置決めマークとして認識できるか否かを判断する。ただし、認識部１２０は、後述するように、まず位置決めマークを認識し、次いでキーワードを認識するものであってもよい。つまり、位置認識部１２１と識別情報認識部１２２とが認識を行う順序は、具体的なアルゴリズム次第で変更可能である。

図３は、位置決めマークの一例を示す図である。同図に示す位置決めマークＭ１１は、描画エリアの境界を指定するための図形であり、この例においては、アルファベットの「Ｌ」のような図形の点ｐ１の位置によって描画エリアの上端及び左端を定義し、点ｐ２の位置によって描画エリアの下端及び右端を定義している。位置決めマークＭ１１は、実際には手書きであるため、図示したように必ずしも完全な直線になるとは限らず、また角が直角になるとも限らない。位置認識部１２１は、ペン４００による軌跡の形状をあらかじめ決められた位置決めマークの形状と比較し、これらが所定の割合以上一致する場合に、位置決めマークが書き込まれたと認識する。この認識には、周知のパターン認識技術を用いることができる。

図４は、位置決めマークの他の例を示す図である。位置決めマークＭ１２は、長方形（又は正方形）の図形であり、この場合には当該図形の内側の全体が描画エリアとして認識される。また、位置決めマークＭ１３は、円形の図形であり、この場合には当該図形の内側の全体か、あるいは当該図形に接する図中の破線Ａ１、Ａ２で示した長方形のいずれかが描画エリアとして認識される。
なお、位置決めマークは、単一の図形ではなく、複数の図形の組み合わせであってもよい。位置決めマークＭ１４ａ、Ｍ１４ｂ、Ｍ１４ｃ、Ｍ１４ｄは、破線で示す描画エリアＡ３をその頂点の位置によって示すものである。
このように、位置決めマークは、あらかじめ決められた図形であれば、どのような図形であってもよい。

図５は、コンテンツリンクテーブルの一例を示す図である。同図に示すように、コンテンツリンクテーブルは、第２コンテンツのファイルパスとキーワードとを関連付けたテーブルである。なお、ここでいうファイルパスは、第２コンテンツの所在を示す情報であるが、記憶媒体１５１のディレクトリー構造などによっては、単なるファイル名で代用することも可能である。

プロジェクションシステム１０の構成は、以上のとおりである。この構成のもと、ユーザーは、口頭で説明をしたりホワイトボード３００に記号を書き込んだりする。このとき、ユーザーは、ホワイトボード３００に位置決めマークやキーワード以外の記号を書き込んでもよい。プロジェクター１００は、適当なタイミングでホワイトボード３００を撮影し、画像データを生成する。プロジェクター１００は、生成した画像データを解析し、所定の条件が満たされると、インタラクティブ画像を投射面に描画する。なお、プロジェクター１００は、事前に電源が投入されるなどして、動作可能な状態になっているものとする。

図６は、インタラクティブ画像の描画に係るプロジェクター１００の処理を示すフローチャートである。この処理において、プロジェクター１００は、まず、ホワイトボード３００を撮影して画像データを生成し（ステップＳ１）、ユーザーによる軌跡から位置決めマーク又はキーワードを認識する認識処理を実行する（ステップＳ２）。続いて、プロジェクター１００は、インタラクティブ画像を描画する描画処理を実行する（ステップＳ３）。その後、プロジェクター１００は、描画を終了するか否かを判断し（ステップＳ４）、描画を終了しない場合には、ステップＳ１以降の処理を繰り返す。なお、ステップＳ４の判断は、例えば、プロジェクター１００の電源がオフになるといった事象や、ユーザーによる特定の操作に基づいて行われる。

なお、画像を認識するにあたり、プロジェクター１００が用いることができる座標系としては、画像データの画素を基準としたもの（あるいはホワイトボード３００の座標を基準としたもの）とプロジェクター１００が投射に用いる画素を基準としたものとが考えられる。プロジェクター１００は、画像を比較するときの座標系がいずれかの座標系に統一さえされていれば、いずれの座標系を用いることも可能である。なお、本実施形態においては、ホワイトボード３００の左右方向をＸ軸とし、上下方向をＹ軸とした２次元直交座標系が座標系に用いられる。

図７は、ステップＳ２の認識処理を具体的に示すフローチャートである。この認識処理において、プロジェクター１００は、受信した画像データが表す画像中に新たに追加された軌跡が存在するか否かを判断する（ステップＳ２１）。この判断は、受信した画像データのうちの最新のものと、当該最新の画像データよりも前に受信した画像データとの差分を抽出することで行われる。すなわち、プロジェクター１００は、これら２つの画像データが表す画像に有意な差分がある場合には、当該差分を抽出し、これを新たに追加された軌跡とする。

次に、プロジェクター１００は、このようにして抽出された軌跡（すなわち新たに追加された軌跡）を位置決めマークとして認識できるか否かを判断する（ステップＳ２２）。このとき、プロジェクター１００は、抽出された軌跡とあらかじめ決められた位置決めマークとを比較することにより、軌跡が位置決めマークに相当するか否かを判断する。

なお、位置決めマークは、その形状によっては、文字であると誤認識されるおそれがある。例えば、図３に示す位置決めマークＭ１１は、アルファベットの「Ｌ」や、カタカナの「レ」に誤認識される可能性がある。また、図４に示す位置決めマークＭ１２であれば、漢字の「口（くち）」や記号の「□（ＳＨＩＦＴ＿ＪＩＳコード８１Ａ０番の四角）」に誤認識されるおそれがある。このような誤認識が行われないようにするためには、位置決めマークのサイズと文字（キーワード）のサイズとに差を設けることとし、所定の閾値以上のサイズの軌跡であれば位置決めマークであるとみなし、所定の閾値未満のサイズであれば文字である、といった規則を設定するようにすればよい。

ただし、文字のサイズは、習慣や好みなどによる個人差があるため、ユーザーによって異なり得る。したがって、ここにおける閾値は、ユーザーが各自で設定できるようになっていると望ましい。閾値を設定する手段は、例えば、プロジェクター１００にボタンを設けてユーザーの操作を受け付けることで実現可能である。あるいは、閾値を設定する手段は、認識処理を実行する前にユーザーにあらかじめ１個又は数個の文字をホワイトボード３００に記入させ、これを撮影した画像データに基づいて文字のサイズを決定し、この文字のサイズを基準にして閾値を（プロジェクター１００側で）設定するものであってもよい。

このようにして位置決めマークを認識することができたら、プロジェクター１００は、認識した位置決めマークに基づいて描画エリアデータを生成して記録する（ステップＳ２３）。一方、位置決めマークを認識することができなかった場合、プロジェクター１００は、ステップＳ２３の処理をスキップ（省略）して次の処理を実行する。描画エリアデータは、描画エリアと、当該描画エリアに描画されるインタラクティブ画像とを関連付けるためのデータである。

図８は、描画エリアデータのデータ構造を示す図である。描画エリアデータは、描画エリアの座標と、当該描画エリアに対応するキーワードを表すキーワードエリアデータを参照するためのポインターとを対応付けたデータである。描画エリアの座標とは、例えば、描画エリアが長方形である場合に、その４個の頂点の座標のことである。ポインターは、キーワードエリアデータが記憶されているメモリー上の位置を表すデータである。なお、ポインターの初期値は“ヌル（null）”、すなわち何も定義されていない値とする。

また、図９は、キーワードエリアデータのデータ構造を示す図である。キーワードエリアデータは、キーワードが認識された領域（以下「キーワードエリア」という。）の座標と、キーワードとして認識された文字列とを対応付けたデータである。キーワードエリアとは、キーワードとして認識された文字列の全体を含むように定義された領域であり、典型的には長方形の領域である。キーワードエリアは、キーワードとして認識された文字列の実際のサイズに応じて適当に定義されるが、文字列のサイズに比して必要以上に大きくならないことが望ましい。

プロジェクター１００は、このような描画エリアデータを生成し、又はこの処理をスキップすると、新たに追加された軌跡をキーワードとして認識できるか否かを判断する（ステップＳ２４）。プロジェクター１００は、キーワードを認識することができたら、キーワードエリアデータを生成して記録する（ステップＳ２５）。また、プロジェクター１００は、キーワードを認識することができなかったら、ステップＳ２５の処理をスキップする。

その後、プロジェクター１００は、生成及び記録された描画エリアデータの中に、ポインターの値が“ヌル”であるものが含まれているか否かを判断する（ステップＳ２６）。プロジェクター１００は、このような描画エリアデータがあれば、当該描画エリアデータにより表される描画エリアとの間で所定の条件を満たすキーワードを特定し、当該キーワードのキーワードエリアデータと当該描画エリアデータとをポインターによって対応付ける（ステップＳ２７）。この結果、当該描画エリアデータのポインターの値は、“ヌル”から当該キーワードエリアデータの位置を表す値に変わる。なお、プロジェクター１００は、描画エリアデータの数よりもキーワードエリアデータの数の方が多い場合には、ステップＳ２７の処理を実行しなくてよい。

なお、ここでいう条件は、描画エリアとキーワードの対応関係を判断するためのものである。この条件は、描画エリアとキーワードエリアの相対的な位置や、描画エリアとキーワードエリアとが認識された順番に基づいて定められる。例えば、ある描画エリアに対応するキーワードは、当該描画エリアが認識された後で最初に認識されたキーワードであったり、当該描画エリアとの距離が最も近いキーワードであったりしてもよい。あるいは、“キーワードは、対応する描画エリアの左に記入する”といった規則をあらかじめ設けておけば、ある描画エリアに対応するキーワードは、当該描画エリアからみて所定の方向（左）において認識された文字列のうち、当該描画エリアとの距離が最も近いキーワードエリア内のキーワードとすることができる。なお、ここでいう距離は、描画エリアの中心とキーワードエリアの中心とを結んだ線分のことであってもよいし、これらのエリアの最短距離のことであってもよい。

認識処理は以上のとおりである。このような認識処理が実行されると、１又は複数の描画エリアデータとキーワードエリアデータとが生成及び記録される。プロジェクター１００は、描画エリアデータやキーワードエリアデータをリスト化して一時的に記憶し、ステップＳ３の描画処理において、このリストを用いて第２コンテンツを読み出すことによりインタラクティブ画像を描画する。

図１０は、ステップＳ３の描画処理を示すフローチャートである。この描画処理において、プロジェクター１００は、描画エリアデータのリストにまだ参照していない描画エリアデータがあるか否かを判断し（ステップＳ３１）、未参照の描画エリアデータがあれば、これを１つ読み出す（ステップＳ３２）。また、プロジェクター１００は、未参照の描画エリアデータがなければ、描画処理を終了する。

プロジェクター１００は、読み出した描画エリアデータのポインターが“ヌル”を示しているか否かを判断する（ステップＳ３３）。すなわち、このときプロジェクター１００は、読み出した描画エリアデータにキーワードエリアデータが関連付けられているか否かを判断している。プロジェクター１００は、ポインターの値が“ヌル”でなければ、その値を参照してキーワードエリアデータを読み出し、描画エリアとキーワードとを特定する（ステップＳ３４）。さらに、プロジェクター１００は、コンテンツリンクテーブルを参照し、ステップＳ３４において特定したキーワードに関連付けられた第２コンテンツのファイルパスを特定し、第２コンテンツを読み出して取得する（ステップＳ３５）。

そして、プロジェクター１００は、ステップＳ３５において取得した第２コンテンツが表すインタラクティブ画像を、ステップＳ３４において特定した描画エリアに描画する（ステップＳ３６）。このとき、プロジェクター１００は、描画エリアのサイズとインタラクティブ画像のサイズとが異なっていれば、インタラクティブ画像の縮尺を描画エリアに合うように変換し、その倍率を異ならせて描画してもよい。また、プロジェクター１００は、描画エリアの形状（例えば縦横比）とインタラクティブ画像の形状とが異なる場合には、描画エリア中の適当な位置にインタラクティブ画像を配置する。

インタラクティブ画像を所定の位置に描画したら、プロジェクター１００は、ステップＳ３２において読み出した描画エリアデータをリストから削除する（ステップＳ３７）。この結果、描画エリアデータのリストからは、データが１つ減る。その後、プロジェクター１００は、描画エリアデータのリストに未参照の描画エリアデータがあるか否かを判断し（ステップＳ３８）、未参照の描画エリアデータがあれば、ステップＳ３２以降の処理を繰り返す。一方、プロジェクター１００は、未参照の描画エリアデータがなければ、描画処理を終了する。

このように認識処理（図７参照）及び描画処理（図１０参照）を実行すると、第２コンテンツは、キーワードが対応付けられたものから順次描画されていくことになる。描画エリアデータのリストにはポインターの値が“ヌル”であるデータが削除されずに残り続けるが、当該データは、キーワードエリアデータが生成されて対応付けられることによって描画に供される。

図１１は、ユーザーによる軌跡とインタラクティブ画像の表示例を示す図である。同図において、Ｍ１、Ｍ２は、それぞれ位置決めマークを表し、Ｋ１、Ｋ２は、それぞれ位置決めマークＭ１、Ｍ２に対応するキーワードを表す。また、Ｉ１、Ｉ２は、それぞれ位置決めマークＭ１とキーワードＫ１の組と位置決めマークＭ２とキーワードＫ１の組とに対応するインタラクティブ画像を表す。

以上のとおり、プロジェクションシステム１０によれば、ユーザーによる筆記での操作によって、記憶媒体１５１に記憶されているコンテンツが表す画像を描画し、これを投射面に表示することが可能である。ユーザーは、位置決めマークとキーワードを書き込むという比較的簡単な操作によって、必要な画像を投射面に表示することが可能である。それゆえ、ユーザーは、手書きでは困難な緻密な画像や正確な画像であっても、筆記による操作によって比較的短時間で表示させることが可能である。

［第２実施形態］
本実施形態は、上述したインタラクティブ画像が動画である場合に特に好適な実施の形態である。本実施形態の特徴は、インタラクティブ画像の再生を制御することができる点にある。ここでいう再生の制御とは、動画であるインタラクティブ画像の再生を開始ないし停止したり、あるいは早送りや巻き戻しを行ったり、さらにはスローモーションで再生したりすることをいう。

なお、本実施形態の構成及び動作は、第１実施形態のそれらと多くの共通点を有している。そのため、以下に示す本実施形態の説明においては、第１実施形態と共通する部分の説明を適宜省略するものとする。また、本実施形態の説明において、第１実施形態と同一の符号を付して説明される構成要素は、その構成が第１実施形態と同様のものであることを意味する。

図１２は、プロジェクター１００ａの構成を示すブロック図である。プロジェクター１００ａは、認識部１２０に代えて認識部１２０ａを備える点において第１実施形態のプロジェクター１００と相違する。認識部１２０ａは、第１実施形態と同様の位置認識部１２１及び識別情報認識部１２２に加えて、制御情報認識部１２３を備える点において認識部１２０と相違する。なお、ホワイトボード３００及びペン４００の構成は、第１実施形態と同様である。

制御情報認識部１２３は、動画であるインタラクティブ画像の再生を制御するための制御情報をペン４００による軌跡に基づいて認識する手段である。制御情報は、インタラクティブ画像の再生態様を示す情報である。制御情報には、インタラクティブ画像の再生の開始を指示する情報や、インタラクティブ画像の再生の停止を指示する情報など、複数の種類が存在する。これらの制御情報は、位置決めマークと同様に、所定の図形によって表現されている。この図形のことを、以下においては「制御マーク」という。ただし、制御情報は、図形ではなく記号（文字）によって表されてもよい。

図１３は、制御マークの一例を示す図である。制御マークＭ２１は、インタラクティブ画像の再生を停止する指示に相当するものであり、制御マークＭ２２は、インタラクティブ画像の再生を開始する指示に相当するものである。また、制御マークＭ２３は、再生されたインタラクティブ画像を巻戻す指示に相当するものであり、制御マークＭ２４は、再生されているインタラクティブ画像を早送りする指示に相当するものである。

プロジェクター１００ａは、このような制御マークと制御情報とを対応付けたテーブルを記憶しており、このテーブルを参照することによってペン４００の軌跡から制御情報を認識することができる。制御マークの位置は、投射面に動画が１つだけ表示される場合であれば、いかなる位置であってもよいが、投射面に動画が複数表示される場合であれば、それぞれの表示エリアの近傍の所定の位置であることが望ましい。制御マークとインタラクティブ画像の対応付けは、位置決めマークとインタラクティブ画像の対応付けと同様の要領で実現可能である。

制御マークの記入方法としては、以下の方法が挙げられる。例えば、インタラクティブ画像の再生を開始し、これを一旦停止させてから再生を再度開始する場合であれば、制御マークＭ２２、Ｍ２１、Ｍ２２をこの順番で順次記入する方法を採用することができる。あるいは、ペン４００の軌跡をイレイサー（ホワイトボード消し）で消去できる場合であれば、制御マークを記入することで制御情報を有効にし、制御マークを消去することで制御情報を無効にする方法を採用することもできる。この方法の具体例は、制御マークＭ２２が書き込まれている状態で制御マークＭ２４を追記すると、インタラクティブ画像の再生が早送りになり、この状態で制御マークＭ２４のみを消去すると、早送りが解除されてインタラクティブ画像が元の速度で再生されるようになる、といったものである。

なお、本実施形態の制御情報は、上述した例に限らず、例えば、インタラクティブ画像の画質（輝度、彩度、コントラストなど）を制御するためのものであってもよい。また、図１３に示した制御マークＭ２１〜Ｍ２４は、あくまでも一例であって、他の図形を用いることももちろん可能である。

また、本実施形態は、制御マークをユーザーが筆記するのではなく、制御マークに相当する画像をプロジェクター１００ａが描画する態様であってもよい。例えば、ユーザーが描画エリアを指定し、キーワードとして「動画制御」といった文字列を筆記すると、プロジェクター１００ａは、このキーワードを認識し、認識した描画エリアに制御マークに相当する画像を描画する。この場合、ユーザーが投射面に表示されている制御マークの中から所望のマークをペン４００で指示し、プロジェクター１００ａが指示された位置を認識することによって、インタラクティブ画像の再生態様を指示することができる。なお、この場合の制御マークは、インタラクティブ画像の再生態様を指示するためのものではなく、元画像の再生態様を指示するためのものであってもよい。

さらに、本実施形態において、第２取得部１４０は、複数の入力端子を備え、描画制御部１６０は、この入力端子を介して入力される第１コンテンツに応じた画像を描画させるようにしてもよい。ここでいう入力端子は、例えば、Ｓ端子、ＶＧＡ（Video Graphics Array）端子、ＨＤＭＩ（High-Definition Multimedia Interface）端子などである。すなわち、この場合のプロジェクター１００ａは、入力ソースを切り替えることが可能である。この場合において、プロジェクター１００ａは、ユーザーが描画エリアを指定し、キーワードとして「ソース切り替え」といった文字列を筆記すると、認識した描画エリアに入力ソースを切り替えるための画像（例えば、「ソース１」、「ソース２」といった各入力ソースを示す画像）を描画する。この場合、ユーザーが投射面に表示されている入力ソースの中から所望のソースをペン４００で指示し、プロジェクター１００ａが指示された位置を認識することによって、元画像の再生態様を指示することができる。

［変形例］
本発明は、上述した実施形態に限らず、以下に例示するさまざまな態様でも実施可能である。また、本発明は、必要に応じて、以下に示す変形例を複数組み合わせた態様でも実施することができる。

（１）本発明は、第１コンテンツや第２コンテンツがあらかじめプロジェクター１００に記憶されていることを要するものではない。例えば、プロジェクター１００は、外部装置（Webサーバー、画像データベースなど）と通信可能に接続されており、この外部装置に記憶された第１コンテンツや第２コンテンツを取得する構成であってもよい。また、この場合において、プロジェクター１００は、上述したキーワードを検索クエリーとして外部装置に送信し、第２コンテンツを検索結果として受信してもよい。

（２）本発明の識別情報は、上述したキーワードのように、コンテンツリンクテーブルによってファイルパスと関連付けられることを要するものではない。例えば、識別情報は、コンテンツのファイル名そのものであってもよいし、コンテンツにメタデータとして埋め込まれていてもよい。このような識別情報を用いた場合には、コンテンツリンクテーブルに相当するデータが不要である。

また、本発明の識別情報は、描画エリアを指定する軌跡（すなわち位置決めマーク）の色や形状を表す情報であってもよい。すなわち、識別情報は、キーワードやファイル名のような文字そのものを表す情報である必要はない。このような識別情報は、例えば、赤色の色材で定義された描画エリアにはあるコンテンツが対応し、緑色の色材で定義された描画エリアには別のコンテンツが対応するとか、図３の位置決めマークＭ１１によって定義された描画エリアにはあるコンテンツが対応し、図４の位置決めマークＭ１２によって定義された描画エリアには別のコンテンツが対応する、といった規則を記述したデータである。この場合、識別情報認識部１２２は、ユーザーにより書き込まれた軌跡の色や形状に基づいて識別情報を認識し、描画エリアとコンテンツとの対応関係を判断する。

なお、識別情報は、キーワードやファイル名を表す情報と位置決めマークの色や形状を表す情報の双方を含み、これらの組み合わせによってコンテンツを一意的に特定するように構成されていてもよい。
また、識別情報は、投射面に描画されるインタラクティブ画像が特定の単一の画像である場合や、あらかじめ決められた複数のインタラクティブ画像をあらかじめ決められた順番で投射面に描画する場合には、不要である。この場合、ユーザーは、筆記の操作で描画エリアを指定するだけでよく、描画すべき画像を指定する必要はない。

（３）描画制御部１６０は、認識部１２０により認識される軌跡が所定の条件を満たす変化をした場合に、インタラクティブ画像を更新する制御を行うことも可能である。ここでいう軌跡は、キーワードに相当する軌跡と位置決めマークに相当する軌跡のいずれであってもよい。また、ここでいう条件は、例えば、これらの軌跡が消去されたり、あるいは書き換えられたりすることに相当する。

例えば、描画制御部１６０は、キーワードに相当する軌跡と位置決めマークに相当する軌跡のいずれかが消去された場合に、これに対応するインタラクティブ画像を消去するようにしてもよい。あるいは、描画制御部１６０は、位置決めマークＭ１１（図３参照）の直線を書き足して延伸した場合に、描画エリアを拡大し、インタラクティブ画像の縮尺を描画エリアのサイズに合わせて変更してインタラクティブ画像を再描画（すなわち拡大）してもよい。同様に、描画制御部１６０は、位置決めマークＭ１１（図３参照）の直線の一部を消して短縮した場合には、描画エリアを縮小し、インタラクティブ画像の縮尺を描画エリアのサイズに合わせて変更してインタラクティブ画像を再描画（すなわち縮小）してもよい。

（４）投射面は、ホワイトボードである必要はなく、スクリーンや紙などであってもよい。また、軌跡の記入に用いられるペンは、色材を投射面に付着させるものである必要はなく、赤色光などの可視光線や赤外光を投射面に照射するものであってもよい。かかるペンは、ユーザーの操作に応じて、照射する光の波長が変更可能であるか、あるいは照射する光の波長が異なる複数本のペンがあってもよい。この場合、プロジェクター１００は、ペンが照射する光の波長に対して感度を有し、照射された光に基づいて記号の軌跡を認識する。プロジェクター１００は、この軌跡を投射面に描画することが望ましいが、軌跡の描画は必須ではない。

あるいは、本発明は、投射面にペン（又はそのペン先）の位置を検知する検知手段を備え、検知された位置に基づいて軌跡を認識する構成としてもよい。かかる検知手段は、例えば、投射面に対する圧力（筆圧）を検知するセンサーや、ペン先の位置を光学的に検知するセンサーである。

（５）本発明のキーワードは、位置決めマーク、制御マーク、キーワード以外の記号との区別をより明確にするために、特徴的な所定の記号を含むように構成されてもよい。例えば、本発明のキーワードは、その冒頭と末尾に「＊（アスタリスク）」を付すものとし、「＊答え１＊」、「＊答え２＊」といった文字列としてもよい。このようにすれば、ユーザーが投射面にキーワード以外のさまざまな文字を記入する場合においても、キーワードを正確に認識することが可能である。

（６）上述した認識処理や描画処理は、プロジェクター単体の動作ではなく、プロジェクターと他の装置との協働によって実現されるものであってもよい。
図１４は、本変形例の構成を示すブロック図である。同図において、図２と同一の符号が付された構成要素は、その構成が第１実施形態と同様であることを意味する。この例において、１００ｂはプロジェクターであり、２００ａは情報処理装置である。

情報処理装置２００ａは、例えば、パーソナルコンピューター、携帯電話機、スマートフォンなどである。情報処理装置２００ａは、撮影部１１０、認識部１２０、第１取得部１３０、第２取得部１４０、記憶部１５０及び描画制御部１６０に加え、外部装置であるプロジェクター１００ｂと通信する通信部２１０を備える。また、プロジェクター１００ｂは、投射部１７０に加え、外部装置である情報処理装置２００ａと通信する通信部１８０を備える。情報処理装置２００ａは、通信部２１０を介して画像信号を送信し、プロジェクター１００ｂは、通信部１８０を介して画像信号を受信する。なお、第１取得部１３０は、インターネットなどのネットワークを介して第１コンテンツ又は第２コンテンツを取得することや、記憶部１５０に記憶された第１コンテンツ又は第２コンテンツを取得することも可能である。

なお、記憶媒体１５１は、いわゆるＵＳＢ（Universal Serial Bus）メモリーやＤＶＤ（Digital Versatile Disc）のような、情報処理装置２００ａに対して着脱可能な記憶媒体であってもよい。この場合、情報処理装置２００ａは、記憶部１５０に代えて、記憶媒体１５１からデータを読み出す手段（ＵＳＢポート、ＤＶＤドライブなど）を備えていればよい。さらに、記憶媒体１５１は、第２コンテンツだけでなく、第１コンテンツをも記憶していてもよい。なお、記憶媒体１５１が着脱可能であってもよいことは、第１実施形態及び第２実施形態においても同様に当てはまる。

（７）本発明のプロジェクターは、撮影機能を有しないものであってもよい。すなわち、本発明のプロジェクションシステムは、デジタルカメラ（デジタルスチルカメラ又はデジタルビデオカメラ）を別途備える構成であってもよい。
図１５は、本変形例の構成を示すブロック図である。同図において、図２又は図１４と同一の符号が付された構成要素は、その構成が第１実施形態と同様であることを意味する。この例において、１００ｃはプロジェクターであり、２００ｂはデジタルカメラである。

デジタルカメラ２００ｂは、撮影部１１０と、外部装置であるプロジェクター１００ｃと通信する通信部２２０とを備える。また、プロジェクター１００ｃは、第１実施形態のプロジェクター１００の構成において、撮影部１１０に代えて変形例６の通信部１８０を備える。デジタルカメラ２００ｂとプロジェクター１００ｃとは、通信部２２０、１８０を介して画像データを送受信する。なお、通信部２２０、１８０による通信は、無線通信と有線通信のいずれであってもよい。

さらに、本発明のプロジェクションシステムは、本変形例のデジタルカメラ２００ｂと変形例６の情報処理装置２００ａとが一体に構成されたものであってもよい。つまり、本発明は、撮影機能を有しないプロジェクターと、撮影機能を有し、認識処理や描画処理を実行可能な情報処理装置とを備える構成であってもよい。かかる情報処理装置は、例えば、撮影機能付きのスマートフォンや、いわゆるタブレットＰＣ（Personal Computer）である。

１０…プロジェクションシステム、１００、１００ａ、１００ｂ、１００ｃ…プロジェクター、１１０…撮影部、１２０、１２０ａ…認識部、１２１…位置認識部、１２２…識別情報認識部、１２３…制御情報認識部、１３０…第１取得部、１４０…第２取得部、１５０…記憶部、１５１…記憶媒体、１６０…描画制御部、１７０…投射部、１８０…通信部、１００ｃ…情報処理装置、２００ａ…情報処理装置、２００ｂ…デジタルカメラ、２１０、２２０…通信部、３００…ホワイトボード、４００…ペン

Claims (8)

1. 投射面に対して筆記された記号の軌跡に基づいて、描画すべき画像と当該画像を描画する描画エリアとを認識する認識部と、
   前記認識部により認識された前記画像を表す画像データを取得する取得部と、
   前記取得部により取得された前記画像データが表す前記画像を、前記投射面の前記認識部により認識された前記描画エリアに描画させるように制御する描画制御部と
   を備えることを特徴とするプロジェクター。
2. 前記取得部は、前記画像データと当該画像データに対応付けられた識別情報とを取得し、
   前記認識部は、前記投射面において指定された描画エリアを前記軌跡に基づいて認識する位置認識部と、前記識別情報を前記軌跡に基づいて認識する識別情報認識部とを有し、
   前記描画制御部は、前記識別情報認識部により認識された前記識別情報に対応付けられた前記画像データが表す画像を、前記投射面の前記位置認識部により認識された前記描画エリアに描画させる
   ことを特徴とする請求項１に記載のプロジェクター。
3. 前記識別情報が、あらかじめ決められたキーワードを含み、
   前記識別情報認識部は、前記軌跡に前記キーワードが含まれるか否かを判断して前記識別情報を認識する
   ことを特徴とする請求項２に記載のプロジェクター。
4. 前記位置認識部は、前記描画エリアを複数認識し、
   前記識別情報認識部は、前記識別情報を複数認識し、
   前記描画制御部は、前記描画エリアと前記識別情報の位置、又は前記描画エリアと前記識別情報とが認識された順番に基づいて前記描画エリアと前記識別情報の対応関係を判断する
   ことを特徴とする請求項２又は３に記載のプロジェクター。
5. 前記識別情報が、前記描画エリアを指定する軌跡の色又は形状を表す情報を含み、
   前記識別情報認識部は、前記軌跡の色又は形状に基づいて前記識別情報を認識する
   ことを特徴とする請求項２ないし４のいずれか１項に記載のプロジェクター。
6. 前記認識部は、画像の再生を制御するための制御情報を前記軌跡に基づいて認識する制御情報認識部を有し、
   前記描画制御部は、前記制御情報認識部により認識された制御情報に従って画像の再生を制御する
   ことを特徴とする請求項１ないし５のいずれか１項に記載のプロジェクター。
7. 前記描画制御部は、前記認識部により認識される軌跡が所定の条件を満たす変化をした場合に、前記画像を更新する
   ことを特徴とする請求項１ないし６のいずれか１項に記載のプロジェクター。
8. 投射面に対して筆記された記号の軌跡に基づいて、描画すべき画像と当該画像を描画する描画エリアとを認識し、
   前記認識された前記画像を表す画像データを取得し、
   前記取得された前記画像データが表す前記画像を、前記投射面の前記認識された前記描画エリアに描画する
   ことを特徴とする画像描画方法。

Images