JP2015087726A - 画像投影装置 - Google Patents

Abstract

【課題】紙面に印刷された文章の視認性の大幅な低下を招来することなく、紙面に投影されたコメントの視認性を高めることが可能なコメント投影装置を実現する。
【解決手段】物理媒体上に画像を投影する画像投影装置（２）において、物理媒体を撮像して得られた第１の画像を取得する第１の画像取得手段（１１）と、物理媒体に投影する第２の画像を取得する第２の画像取得手段（１２）と、第２の画像の明るさを、第１の画像の特性及び第２の画像の特性に基づいて補正する補正手段（１０３）とを備えている。
【選択図】図１

Description

本発明は、物理媒体に画像（例えば、コメント画像）を投影する画像投影装置に関する。

近年、パーソナルコンピュータ、スマートフォン、タブレット端末などのデジタル機器の普及によって、デジタル化された文章を取り扱う機会が増えている。また、これらのデジタル機器には、しばしばカメラが内蔵されていることから、デジタル化された画像を取る扱う機会も増えている。更に、これらのデジタル機器間で通信を行うためのネットワークも普及しているため、デジタル化された文章や画像を、ネットワークを介して受け渡しすることも、広く行われている。

デジタル機器を用いてデジタル化された文章をやりとりする際に、その文章に対して追加の情報を与えるべく、コメントを付加することが広く行われている。多くのデジタル機器は、デジタル化された文章にコメント付加する機能、及び、デジタル化された文章に付加されたコメントを表示する機能を有している。

また、デジタル化した文章にコメントを付す要領で、実在の文章に対してコメントを付すことを可能ならしめる技術も開発されている。例えば、非特許文献１に記載の技術は、プロジェクタを用いて文章が印刷された紙面にコメントを投影することによって、実現の文章に対してコメントを付すことを可能ならしめている。

また、特許文献１には、プロジェクタなどの表示機器に画像を出力するプレゼンテーション装置であって、操作者が発表原稿にマーカーペンによって着色した領域を、撮像した画像に基づいて検出し、当該領域に対して点滅等の表示効果（視覚的効果）を付与して画像を修正し、修正した画像を出力する技術が記載されている。

特開２００４−２０８２３１号公報（２００４年７月２２日公開）

社団法人電子情報通信学会、"プロジェクタを用いた情報投影による印刷文書へのインタラクティブ性の付加"、［online］、２０１３年８月２３日検索、インターネット（URL:http://www.m.cs.osakafu-u.ac.jp/publication_data/1236/prmu1124.pdf）

しかしながら、文章が印刷された紙面にコメントを投影する従来の技術においては、コメントの視認性を高めるために紙面に投影するコメント画像（コメントを像として含む画像）の明度を高めると、紙面に印刷された文章の視認性が低下するという問題があった。

このような問題が生じる原因は、以下のとおりである。すなわち、紙面に投影されたコメントは、加法混色により発色する発光体である。一方、紙面に印刷された文章は、減法混色により発色する反射体であり、紙面に投影されたコメントとは見えが異なる。このため、コメント画像の明度を高めると、コメント画像が投影された領域とそれ以外の領域との明るさの差異から、ユーザは、コメントが眩しく感じる。これにより、視界の把握を困難にする「不能グレア」又は「減能グレア」と呼ばれる現象や、不快感を与える「不快グレア」と呼ばれる現象が生じる。また、投影されたコメントの色味が印刷された文章の色味に近いと、投影されたコメントに印刷された文字が溶け込んでしまい、印刷された文字の視認に不都合が生じる。

本発明は、上記の問題に鑑みてなされたものであり、その目的は、紙面に印刷された文章の視認性の大幅な低下を招来することなく、紙面に投影されたコメントの視認性を高めることが可能なコメント投影装置を実現することにある。

なお、ここでは、文章が印刷された紙面にコメントを投影する場合を例に、本発明が解決しようとする課題を説明したが、任意のオブジェクトが描かれた物理媒体に任意の画像を投影する際にも、同様の課題が成立する。すなわち、本発明の目的は、一般化すれば、物理媒体に描かれたオブジェクトの視認性の大幅な低下を招来することなく、物理媒体に投影された画像の視認性を高めることが可能な画像投影装置を実現することにある。

上記の課題を解決するために、本発明の一態様に係る画像投影装置は、物理媒体上に画像を投影する画像投影装置において、上記物理媒体を撮像して得られた第１の画像を取得する第１の画像取得手段と、上記物理媒体に投影する第２の画像を取得する第２の画像取得手段と、上記第２の画像の明るさあるいは色味の少なくとも何れか一方を、上記第１の画像の特性及び上記第２の画像の特性に基づいて補正する補正手段と、を備えている。

本発明の一態様によれば、紙面に印刷された文章の視認性の大幅な低下を招来することなく、紙面に投影されたコメントの視認性を高めることが可能なコメント投影装置を実現できる。

実施形態１に係るコメント投影システムの模式的な外観図である。 実施形態１に係るコメント投影システムにおいて、コメント投影装置の構成を示すブロック図である。 実施形態１に係るコメント投影システムにおいて、補正前文章画像データが表す文章画像を示す図である。 実施形態１に係るコメント投影システムにおいて、補正後文章画像データが表す文章画像を示す図である。 実施形態１に係るコメント投影システムにおいて、コメント入力装置のディスプレイに表示される画面の図である。 実施形態１に係るコメント投影システムにおいて、コメント画像データが表すコメント画像を示す図である。 実施形態１に係るコメント投影システムにおいて、複数のコメント画像データの各々が表すコメント画像を示す図である。 実施形態１に係るコメント投影システムにおいて、補正前投影画像データが表す投影画像を示す図である。 実施形態１に係るコメント投影システムにおいて、補正後投影画像データが表す投影画像を示す図である。 実施形態１に係るコメント投影システムにおいて、コメント投影装置が紙面に投影画像を投影した図である。 実施形態１に係るコメント投影システムにおいて、コメント投影装置の処理の流れを示すフローチャート図である。 実施形態１に係るコメント投影システムにおいて、オブジェクトを抽出した文書抽出画像データを示す図である。 実施形態１に係るコメント投影システムにおいて、文書上に手のひらがかざされた文書画像を示す図である。 実施形態１に係るコメント投影システムにおいて、図１３における文書画像の手のひらの領域を検出した手のひら領域検出データを示す図である。 実施形態１に係るコメント投影システムにおいて、図１３における手のひらにコメント画像を投影した図である。 実施形態２に係るコメント投影システムにおいて、コメント投影装置の構成を示す概略ブロック図である。 実施形態２に係るコメント投影システムにおいて、文書データのデータ内部構成例を示した表である。 実施形態２に係るコメント投影システムにおいて、コメントデータのデータ内部構成例を示した表である。 実施形態２に係るコメント投影システムにおいて、コメント表示手法指示データのデータ内部構成例を示した表である。 実施形態３に係るコメント投影システムにおいて、環境情報データのデータ内部構成例を示した表である。 実施形態２に係るコメント投影システムにおいて、データベース部に記憶されているデータのフォーマットを示した表である。 実施形態２に係るコメント投影システムにおいて、コメント投影装置の処理の流れを示すフローチャート図である。 実施形態２に係るコメント投影システムにおいて、コメント投影装置の処理の流れを示すフローチャート図である。 実施形態３に係るコメント投影システムの模式的な外観図である。 実施形態３に係るコメント投影システムにおいて、コメント投影装置の構成を示すブロック図である。 実施形態３に係るコメント投影システムにおいて、コメント投影装置の処理の流れを示すフローチャート図である。

（コメント投影システムの概要）
本実施形態に係るコメント投影システム１の概要について、図１を参照して説明する。図１は、コメント投影システム１の模式的な外観図である。

コメント投影システム１は、文章が印刷された紙面２０にコメントを投影するためのシステムであり、図１に示すように、コメント投影装置（画像投影装置）２とコメント入力装置３とにより構成されている。コメントの投影対象となる紙面２０は、コメント投影装置２が備える撮像部１１及び投影部１３に正対するように配置される。

コメント投影システム１によるコメントの投影は、概略的に言うと、以下のように行われる。

まず、コメント投影装置２が、紙面２０に印刷された文章を撮像することによって、画像データ（以下、「文章画像データ」と記載）を生成する。文章画像データは、紙面２０に印刷された文章を像として含む画像（以下、「文章画像」と記載）を表す画像データである。

次に、コメント入力装置３が、受信した文章画像データの表す文章画像をディスプレイに表示する。ユーザがディスプレイに表示された文章画像に対してテキストや図形などのオブジェクト（以下、「コメントオブジェクト」と記載）を入力すると、コメント入力装置３は、入力されたコメントオブジェクトを表すコメント画像データを生成する。コメント画像データは、ユーザにより入力されたコメントオブジェクトを像として含む画像（以下、「コメント画像」と記載）を表す画像データ、又は、そのような画像データに変換可能なデータである。

次に、コメント投影装置２が、受信したコメント画像データが表すコメント画像を紙面２０に投影する。ただし、コメント投影装置２は、受信したコメント画像データが表すコメント画像そのものを紙面２０に投影するのではなく、コメント画像に対して画像処理（紙面２０に投影されるコメントオブジェクトの視認性を高めるための画像処理）を施すことによって得られた画像（以下、「投影画像」と記載）を紙面２０に投影する。

なお、本実施形態においては、コメント入力装置３として液晶タブレット（液晶パネルをディスプレイとするタブレット型ＰＣ）を用いるものとするが、本発明は、これに限定されるものではない。すなわち、（１）コメント投影装置２から送信された文章画像データを受信する受信手段、（２）受信した文章画像データが表す文章画像を表示する表示手段、（３）表示した文章画像に対するコメントをユーザが入力するための入力手段、（４）入力されたコメントを表すコメント画像データを生成する生成手段、（５）生成したコメント画像データをコメント投影装置２に送信する送信手段を備えた装置であれば、どのような装置であっても、コメント入力装置３として用いることができる。例えば、液晶タブレット以外のタブレット型ＰＣ、デスクトップ型ＰＣ、ラップトップ型ＰＣ、ＰＤＡ（Personal Digital Assistant）、スマートフォン、携帯電話端末等を、コメント入力装置３として用いることができる。

また、本実施形態においては、コメント投影装置２とコメント入力装置３との間の通信は、無線ＬＡＮ等による無線通信であるものとするが、本発明は、これに限定されるものではない。すなわち、コメント投影装置２とコメント入力装置３との間の通信は、専用ケーブル等による有線通信であってもよい。また、コメント投影装置２とコメント入力装置３との間の通信は、インターネット等の公衆網を介した通信であってもよい。

また、本実施形態においては、コメントの投影対象物として文章が印刷された紙面（より具体的には書籍の見開き）を想定するが、本発明は、これに限定されるものではない。すなわち、任意のオブジェクト（文字、記号、図形、写真、絵など）が描かれた任意の物理媒体（紙や板などの平面的な物理媒体、ボールや箱などの立体的な物理媒体、又は、布などの不定形の物理媒体）を、コメントの投影対象物とすることができる。更に言えば、任意のオブジェクトが表示されたディスプレイ（表示装置）を、コメントの投影対象物とすることもできる。

（コメント投影装置の構成）
次に、コメント投影装置２の構成について、図２を参照して説明する。図２は、コメント投影装置の構成を示すブロック図である。

コメント投影装置２は、図２に示すように、制御部１０、撮像部（第１の画像取得手段）１１、通信部（第２の画像取得手段）１２（図１において図示省略）、投影部１３、及び制御スイッチ１５（図２において図示省略）を備えている。

撮像部１１は、紙面２０に印刷された文章を撮像することによって、文章画像データを生成するための構成である。本実施形態においては、撮像部１１として、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子と、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの画像処理回路とを備えたデジタルカメラを用いる。このようなデジタルカメラを撮像部１１として用いた場合、紙面２０にて反射された反射光が、撮像素子にて電気信号に変換され、更に、撮像素子にて生成された電気信号が、画像処理回路にて所定のフォーマットに従うデジタルデータに変換される。撮像部１１は、このようにして生成した文章画像データを、制御部１０及び通信部１２に提供する。

通信部１２は、撮像部１１から取得した文章画像データをコメント入力装置３に送信すると共に、コメント入力装置３から送信されたコメント画像データを受信するための構成である。コメント投影装置２とコメント入力装置３との間の通信を無線ＬＡＮにより実現する場合、通信部１２として、無線ＬＡＮモジュールを用いる。通信部１２は、受信したコメント画像データを、制御部１０に提供する。

投影部１３は、制御部１０から取得した投影画像データが表す投影画像（コメント入力装置３から取得したコメント画像データが表すコメント画像に、制御部１０が画像処理を施すことにより得られる画像）を紙面２０に投影するための構成である。本実施形態においては、投影部１３として、光源ランプと液晶パネルとを備えた液晶プロジェクタを用いる。投影部１３として、このような液晶プロジェクタを用いた場合、ライトバルブとして機能する液晶パネルをコメント画像データに基づいて制御することによって、紙面２０にコメント画像を投影する。なお、液晶プロジェクタの代わりに、ＤＭＤ（Digital Micro-Mirror Device）を用いたＤＬＰ（Digital Light Processing）プロジェクタや、レーザを用いたレーザポインタ又はレーザプロジェクタなどを、投影部１３として用いてもよい。

制御部１０は、図２に示すように、文章データ解析部１０１、コメントデータ解析部１０２、画像処理方法決定部１０３、及び投影画像生成部１０４（補正手段）として機能する。

文章データ解析部１０１は、撮像部１１から取得した文章画像データを解析することによって、文章画像解析情報を導出するための手段である。文章データ解析部１０１は、導出した文章画像解析情報を、コメントデータ解析部１０２を介して画像処理方法決定部１０３に提供する。

文章画像解析情報は、コメント画像に施す画像処理の方法を決定するために画像処理方法決定部１０３によって参照される情報であり、例えば、以下の情報の一部又は全部を含む。

・文章画像全体の明るさに関する情報
・文章画像全体の色味に関する情報
・文章画像においてオブジェクト（文字、記号、図形等）に対応する部分の明るさに関する情報
・文章画像においてオブジェクトに対応する部分の色味に関する情報
・文章画像において下地に対応する部分（オブジェクトに対応する部分以外の部分）の明るさに関する情報
・文章画像において下地に対応する部分の色味に関する情報
・文章画像におけるオブジェクトの位置に関する情報
・文章画像において被覆物（紙媒体に覆いかぶさっている手など）に対応する部分を検出することにより得られた情報。

コメントデータ解析部１０２は、通信部１２から取得したコメント画像データを解析することによって、コメント解析情報を導出するための手段である。コメントデータ解析部１０２は、導出したコメント解析情報を、画像処理方法決定部１０３に提供する。

コメント解析情報は、コメント画像データに施す画像処理の方法を決定するために画像処理方法決定部１０３によって参照される情報であり、例えば、以下の情報の一部又は全部を含む。

・コメントオブジェクトの明るさに関する情報
・コメントオブジェクトの色味に関する情報。

画像処理方法決定部１０３は、コメントデータ解析部１０２を介して文章データ解析部１０１から取得した文章画像解析情報、及び、コメントデータ解析部１０２から取得したコメント解析情報に基づき、コメント画像データが表すコメント画像に施す画像処理の方法を決定するための手段である。画像処理方法決定部１０３は、決定した画像処理の方法を指定する情報（以下、「画像処理方法指定情報」と記載）を投影画像生成部１０４に提供する。

画像処理方法指定情報は、例えば、以下の情報の一部又は全部を含む。

・コメントオブジェクトの明るさの補正に関する情報
・コメントオブジェクトの色味の補正に関する情報
・コメントオブジェクトの表示位置の補正に関する情報
投影画像生成部１０４は、コメントデータ解析部１０２及び画像処理方法決定部１０３を介して通信部１２から取得したコメント画像データに対して、画像処理方法決定部１０３から取得した画像処理方法指定情報に従った画像処理を施すことによって、投影画像を表す投影画像データを生成するための手段である。投影画像生成部１０４は、生成した投影画像データを投影部１３に提供する。

なお、コメント画像の投影を停止する場合、例えば、図示しない装置制御部からコメント画像を投影しないよう指示があった場合、投影画像生成部１０４は、投影画像データとして、各画素が均一の色および輝度を有する画像、例えば、同じ輝度の黒で塗りつぶされた画像を生成する構成を採用してもよい。

上記各部として機能する制御部１０は、例えば、コンピュータにより実現することができる。このコンピュータは、ＤＳＰ（Digital Signal Processor）やＣＰＵ（Central Processing Unit）等のプロセッサ、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の主記憶装置、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）やＦｌａｓｈメモリ等の補助記憶装置などを備えており、補助記憶装置に格納されたプログラムを実行することによって、上記各部として機能する。なお、コンピュータの代わりに、制御部１０として、ＦＰＧＡ（Field Programmable Gate Array）等のプログラム可能な集積回路を用いてもよいし、専用ＬＳＩ（Large Scale Integration）等のプログラム不可能な集積回路を用いてもよい。

（文章画像データに関する補足）
次に、文章画像データに関して、図３〜４を参照して補足する。

上述したように、コメント投影装置２が備える撮像部１１は、文章画像を表す文章画像データを生成し、生成した文章画像データを制御部１０及びコメント入力装置３に提供する。この文章画像データは、紙面２０に印刷された文章を撮像することによって得られた画像データそのもの（以下、「補正前文章画像データ」と記載）であってもよいし、補正前文章画像データに対して歪み補正処理や拡大／縮小処理などの補正処理を施すことによって得られた画像データ（以下、「補正後文章画像データ」と記載）であってもよい。

図３は、補正前文章画像データが表す文章画像５１を示す図である。補正前文章画像データが表す文章画像５１において、紙面２０の像は、通常、紙面２０を斜めから見たときのように、画角の一部を占める台形となる。これは、コメント投影システム１において、撮像部１１と紙面２０とが互いに正対し、かつ、撮像部１１から紙面２０までの距離が所定の距離（撮像素子の撮像領域全体に紙面２０の像全体が形成される距離）になることは稀だからである。

そこで、撮像部１１は、補正後文章画像データが表す文章画像５２において、紙面２０の像が画角全体を占める長方形となるよう、補正前文章画像データに対して歪み補正処理や拡大／縮小処理などの補正処理を施す。図４は、補正後文章画像データが表す文章画像５２を示す図である。このような文章画像５２を表す補正後文章画像データを用いることによって、文章データ解析部１０１における文章画像データの解析が容易になる。また、コメント入力装置３に表示される文章画像が見易いものとなるため、コメント入力作業が簡便となる。

歪み補正の具体例としては、台形補正やアフィン変換等の幾何補正やカメラレンズ歪（歪曲収差）補正などがあげられる。なお、これらの歪み補正は、公知の手法により実現することができるので、その詳細についての説明は省略する。また、紙面２０の像が画角全体に正しいアスペクト比で表示されるよう、歪み補正を施した後の文章画像データに更に拡大／縮小処理を施してもよい。図４に示す文章画像５２は、このような拡大／縮小処理が施された後の補正後文章画像データが表す文章画像である。

なお、本実施形態においては、文書データに対する補正処理を撮像部１１（より具体的には、撮像部１１が備える画像処理回路）にて行う構成を採用しているが、本発明はこれに限定されない。すなわち、例えば、このような補正処理を制御部１０にて行う構成を採用しても構わない。この場合、撮像部１１にて生成され、制御部１０にて補正された補正後文章画像データが通信部１２を介してコメント入力装置３に提供されることになる。

また、本実施形態においては、文章画像データに対する補正処理の内容を撮像部１１が決定する構成を採用しているが、本発明はこれに限定されない。例えば、撮像部１１と紙面２０との位置関係が予め定められている場合には、文章画像データに対する補正処理の内容が予め定められていてもよい。

文章画像データに対する補正処理の内容を撮像部１１が決定する構成を採用する場合には、文章画像データに対する補正処理の内容を示す補正情報を撮像部１１から投影部１３に提供する構成を併せて採用するとよい。この際、補正情報は、制御部１０を介さずに撮像部１１から投影部１３に直接的に提供しても構わないし、制御部１０を介して撮像部１１から投影部１３に間接的に提供しても構わない。

本実施形態において、制御部１０に提供される文章画像データは、補正前文章画像データではなく、補正後文章画像データであるものとする。ただし、コメント投影装置２の処理量を低下させたい場合には、上述したような補正処理を省略し、補正前文章画像データを制御部１０に提供する構成を採用しても構わない。

（コメント画像データに関する補足）
次に、コメントデータに関して、図５〜７を参照して補足する。

上述したように、コメント入力装置３は、ユーザにより入力されたコメントオブジェクトを表すコメント画像データを生成し、生成したコメント画像データをコメント入力装置３に提供する。このコメント画像データは、コメントオブジェクトを像として含むコメント画像を表すラスタ形式又はベクタ形式の画像データであってもよいし、コメント画像を表す画像データに変換可能なデータであってもよい。コメント画像を表す画像データに変換可能なデータとしては、例えば、コメントオブジェクトを含むオブジェクトデータなどが挙げられる。

例えば、コメント入力装置３がタブレット型ＰＣであり、タッチパネル式のディスプレイに文章画像を表示する場合、ユーザは、そのディスプレイに表示された文章画像上の任意の位置に、指先または入力デバイス（ペンなど）を利用して手書コメントを入力することができる。この場合、ユーザが入力した手書コメントを表す画像データを、コメント画像データとして利用することができる。

また、キーボードやマウスなどの入力デバイスを利用して入力されたテキストや図形などのオブジェクトを、コメントオブジェクトとすることも可能である。この場合、文字列、フォント、色等により指定されるテキストオブジェクトや、始点、角度、サイズ等により指定される図形オブジェクトなどのコメントオブジェクトを、各コメントオブジェクトの表示位置指定情報と共に含むオブジェクトデータを、コメントデータとして利用することができる。

図５は、コメント入力装置３のディスプレイに表示される画面、すなわち、文章画像データが表す文章画像にコメント画像データが表すコメント画像を重畳した画像５３を示す図である。図５に示す画像５３には、複数のコメントオブジェクト（「重要」というテキスト、その文字列の背景となる吹き出し（図形）、その吹き出しに連なる枠線（図形）、「答え＝○○」というテキスト、その文字列に連なる矢印（図形）、その矢印に連なる枠線（図形）、及び、チェックマーク（図形））が像として含まれている。

コメント入力装置３は、これらのコメントオブジェクトの全てを含む単一のコメント画像データを生成してもよいし、これらのオブジェクトの一部を含む複数のコメント画像データを生成してもよい。図６は、前者のコメント画像データが表すコメント画像５４を示す図である。図６に示すコメント画像５４には、図５に示した複数のコメントオブジェクトの全てが含まれている。一方、図７は、後者のコメント画像データの各々が表すコメント画像５５ａ〜５５ｃを示す図である。図７に示すコメント画像５５ａ〜５５ｃの各々には、互いに関連する幾つかのコメントオブジェクトからなるコメントオブジェクト群が含まれている。例えば、コメント画像５５ａには、「重要」というテキスト、その文字列の背景となる吹き出し（図形）、及び、その吹き出しに連なる枠線（図形）からなるコメントオブジェクト群が含まれている。

なお、コメント画像データには、コメント画像を表す画像データに加えて、各コメントオブジェクトに関するパラメータ（重要度や表示時間など）が含まれていてもよい。この場合、コメント入力装置３は、コメントデータを作成する際に、ユーザにより入力されたパラメータを、そのコメントデータに含めることになる。

また、コメントデータには、コメント画像を表す画像データに加えて、マイクなどの音声入力デバイスを用いて入力された音声情報が含まれていてもよい。音声情報をコメントデータとして入力する場合は、表示用画像上の位置情報を同時に入力し、ユーザが表示用画像の特定位置を、例えば指や、ペンでポイントすることにより、コメントデータとして入力した音声情報を再生しても構わない。他にも、予め所定の図形（絵文字みたいなもの）を準備しておき、それを選択して貼りつける形でも構わない。

なお、コメント入力装置３において、入力されたコメントオブジェクト（又は、生成したコメント画像データ）を、コメント入力の対象となる文章画像データに紐付して、別途記録しておく構成を採用してもよい。この場合、コメント入力装置３は、文章画像データを受信した際に、対応する過去のコメントデータがあるか否かを検索し、あれば、対応するコメントデータとして読みだしても構わない。もちろん、読みだした既存のコメントデータに対して、ユーザが、新たなコメントを追加したり、既存のコメントを修正したり、既存のコメントを消去したりしても構わない。

（投影画像データに関する補足）
次に、投影画像データについて、図８〜１０を参照して補足する。

上述したように、コメント投影装置１の制御部１０は、投影画像を表す投影画像データを生成し、生成した投影画像データを投影部１３に提供する。この投影画像データは、コメントデータが表すコメント画像に対して文章画像情報及びコメント画像情報に応じた画像処理を施すことによって得られた画像データそのもの（以下、「補正前投影画像データ」と記載）であってもよいし、補正前投影画像データに更に歪み補正処理や拡大／縮小処理などの補正処理を施すことによって得られた画像データ（以下、「補正後投影画像データ」と記載）であってもよい。

図８は、補正前投影画像データが表す投影画像５６を示す図である。補正前投影画像データが表す投影画像５６は、例えば、図６に示すコメント画像５４を表すコメントデータに対して文章画像情報及びコメント画像情報に応じた画像処理を施すことによって得られたものである。

コメント投影システム１において、補正前投影画像データが表す投影画像５６を紙面２０に投影すると、撮像部１１と紙面２０とが互いに正対し、かつ、撮像部１１から紙面２０までの距離が所定の距離（撮像素子の撮像領域全体に紙面２０の像全体が形成される距離）になる場合を除き、紙面２０に投影されたコメント画像は歪んだものとなる。

そこで、歪みのないコメント画像が紙面２０に投影されるよう、換言すれば、各コメントオブジェクトが正しい位置に正しいアスペクト比で投影されるよう、投影部１３は、文章画像データに対する補正処理の逆変換に相当する補正処理を補正前投影画像データに対して施す。図９は、補正後投影画像データが表す投影画像５７を示す図である。このような投影画像５７を表す補正後投影画像データを用いることによって、図１０に示すように、各コメントオブジェクトを正しい位置に正しいアスペクト比で投影することが可能になる。

なお、本実施形態においては、このような補正処理を投影部１３にて行う構成を採用しているが、本発明はこれに限定されない。すなわち、例えば、このような補正処理を制御部１０にて行う構成を採用しても構わない。この場合、制御部１０にて生成された補正後投影画像データが投影部１３に提供されることになる。

また、本実施形態においては、投影画像データに対する補正処理の内容を投影部１３が決定する構成を採用しているが、本発明はこれに限定されない。例えば、投影部１３と紙面２０との位置関係が予め定められている場合には、投影画像データに対する補正処理の内容が予め定められていても構わない。

投影画像データに対する補正処理の内容を投影部１３が決定する構成を採用する場合には、上述したように、文章画像データに対する補正処理の内容を示す補正情報を撮像部１１から投影部１３に提供する構成を併せて採用するとよい。これにより、投影画像データに対する補正処理の内容を撮像部１１から取得した補正情報に基づいて決定することが可能になる。なお、投影画像データに対する補正処理の内容が予め定められている場合には、投影画像データに対する補正処理の内容を予め定められた補正情報に基づいて決定すればよい。

また、文章画像データに対する補正処理の逆変換に相当する第１の補正処理に加えて、撮像部１１が備える撮像素子の位置と投影部１３が備える投影素子の位置との違いを補償する第２の補正処理を投影画像データに施す構成を採用してもよい。ここで、第２の補正処理は、例えば、投影部１３によって紙面２０に投影したパターンを撮像部１１によって撮像したとき、そのパターンが撮像画像において所定の位置を占めるようにする補正処理である。なお、投影画像データに対して第２の補正処理を施す構成の代わりに、撮像部１１及び／又は投影部１３を機械的に変位させる構成、又は、文章画像データに対して第２の補正処理の逆変換に相当する補正処理を施す構成を採用し、同様の効果を得るようにしてもよい。また、撮像部１１の撮像素子の光軸が投影部１３の投影素子の光軸と一致する光学設計がなされている場合には、第２の補正処理を省略することができる。

（コメント投影装置の処理）
続いて、コメント投影装置２の処理の流れについて、図１１を用いて以下に説明する。

図１１は、コメント投影装置２の処理の流れを示すフローチャート図である。なお、各処理における詳細な説明は、後述する。

まず、撮像部１１が、紙面２０に印刷された文章を撮像することによって、補正前文書画像データを生成すると共に、生成した補正前文章画像に対して補正処理を施すことによって、補正後文章画像データ（以下、単に「文章画像データ」と記載）を生成する（ステップＳ１０１）。そして、撮像部１１は、生成した文章画像データを、通信部１２および制御部１０へと出力する。通信部１２は、取得した文章画像データをコメント入力装置３に送信し、コメント入力装置３からコメントデータを受信する。そして、通信部１２は、受信したコメントデータを制御部１０へと出力する。

次に、文章データ解析部１０１が、制御部１０に入力された文章画像データを取得する。文書データ解析部１０１は、取得した文章画像データを解析し、画像処理方法決定部１０３の処理に必要な文書画像解析情報を算出する（ステップＳ１０２）。また、文書データ解析部１０１は、算出した文書画像解析情報を画像処理方法決定部１０３へと出力する。

続いて、コメントデータ解析部１０２が、制御部１０に入力されたコメントデータを取得する。コメントデータ解析部１０２は、取得したコメント画像データを解析し、画像処理方法決定部１０３の処理に必要なコメント解析情報を算出する（ステップＳ１０３）。また、コメントデータ解析部１０２は、算出したコメント解析情報を画像処理方法決定部１０３へと出力する。

次に、画像処理方法決定部１０３が、文章データ解析部１０１から取得した文書画像解析情報と、コメントデータ解析部１０２から取得したコメント解析情報とに基づき、受信したコメントデータに施す画像処理の方法を決定する。そして、画像処理方法決定部１０３は、決定した画像処理の方法を指定する画像処理方法指定情報を投影画像生成部１０４へ出力する。

次に、投影画像生成部１０４が、制御部１０に入力されたコメントデータを取得する。投影画像生成部１０４は、コメント画像を表すコメントデータに対して、画像処理方法指定情報に従った画像処理を施すことによって、投影画像を表す補正前投影画像データを生成する（Ｓ１０５）。また、投影画像生成部１０４は、生成した補正前投影画像データを投影部１３へと出力する。

次に、投影部１３は、文章画像データに施す補正処理の逆変換に相当する補正処理を補正前投影画像データに施すことによって、補正後投影画像データを生成する。そして、投影部１３は、補正後投影画像データが表す投影画像を紙面２０に投影する（Ｓ１０６）。

（ステップＳ１０１の詳細）
以下に、ステップＳ１０１において、撮像部１１が文書画像データを取得する処理の詳細について説明する。

上述したとおり、撮像部１１は、紙面２０に印刷された文章を撮像することによって、補正前文書画像データを生成すると共に、生成した補正前文章画像に対して補正処理を施すことによって、補正後文章画像データ（以下、単に「文章画像データ」と記載）を生成する。撮像部１１としては、デジタルカメラを使用する。

撮像部１１は、紙面２０が画角内に存在する場合に撮像処理を実行する。撮像処理の実行の仕方としては、以下のような方法が挙げられる。

（１）使用者によって紙面２０が撮像部１１の画角内に配置された後、常時又は定期的（例えば１０秒毎）に撮像処理を実行する。

（２）使用者によってコメント投影装置２が備えている制御スイッチ１５が押下された時点で撮像処理を実行する。

（３）撮像部１１が備える画像処理回路によって紙面２０が画角に収まったことが検知された時点で撮像処理を実行する。

続いて、補正前文書画像データから補正後文書画像データを生成する文書画像歪み補正を行うが、前述しているため省略する。

ここで、本ステップの文書画像歪み補正は、撮像部１１で処理を行わなくても構わない。後述するＳ１０２において、文書データ解析部１０１で同処理を行なっても良い。その場合、補正後文書画像データを通信部１２へ送信する処理は制御部１０にて行う。

（ステップＳ１０２の詳細）
以下に、ステップＳ１０２において、文書データ解析部１０１が文書画像データを解析する処理の詳細について説明する。

文書データ解析部１０１は、前述したとおり、文書画像データを取得し、取得した文書画像データが表す文章画像を解析して、画像処理方法決定部１０３の処理に必要な文書画像解析情報を算出する。

例えば、文書画像全体の明るさに関する文書画像解析情報を算出する場合、文章データ解析部１０１は、例えば、文書画像データから文書画像全体の平均明度を算出する。文書画像全体の平均明度をＢＩａｌｌ、補正後文書画像データ１ｂの横画素数をＩｘ、縦画素数をＩｙ、座標ｘ，ｙにおける明度をＢＩ（ｘ，ｙ）とすれば、下記の計算式（１）によって、ＢＩａｌｌを求めることができる。

このとき、各画素の明度を求めるＢＩ（ｘ，ｙ）に関しては、画像データのフォーマットにより変わってくるが、一般的な計算処理であり、本技術の内容の本質とは関係が無いため説明は省略する。

また、文書データ解析部１０１は、文章画像において下地に対応する部分（オブジェクトに対応する部分以外の部分）の明るさを取得するようにしても良い。この場合、例えば、文書データ解析部１０１は、文書画像全体における明度の分布を示すヒストグラムを作成し、そのヒストグラムにおける最頻値を下地の明度ＢＩｍｏｄｅとしても構わない。文書画像全体の明度の分布を示すヒストグラムの作成、および、そのヒストグラムにおける最頻値の特定には、公知の技術を利用すればよい。

以上により得られたＢＩａｌｌ、もしくは、ＢＩｍｏｄｅを、文書の明るさを示す文書画像解析情報の一つとする。

また、文書データ解析部１０１は、後述する文字、記号、図形等のオブジェクトを抽出する処理を行うことにより、文章画像においてオブジェクトに対応する部分の明るさを求めることができるが、処理の詳細については、本技術の内容の本質とは関係が無いため説明は省略する。

また、例えば、文書データ解析部１０１が、文書画像全体の色味に関する文書画像解析情報を算出する場合、文書画像データから文書画像全体の平均色相および平均彩度を計算する処理を行えば、文書画像全体の色味を知ることができる。文書画像全体の文書平均色相をＨＩａｌｌ、文書平均彩度をＳＩａｌｌ、補正後文書画像データ１ｂの横画素数をＩｘ、縦画素数をＩｙ、座標Ｉｘ，Ｉｙにおける色相をＨＩ（ｘ，ｙ）、彩度をＳＩ（ｘ，ｙ）とすれば、下記の計算式（２）、（３）によって、ＨＩａｌｌ、ＳＩａｌｌを求めることができる。

このとき、各画素の色相を求めるＨＩ（ｘ，ｙ）、および、彩度を求めるＳＩ（ｘ，ｙ）に関しては、画像データのフォーマットにより変わってくるが、一般的な計算処理であり、本技術の内容の本質とは関係が無いため説明は省略する。

また、文書データ解析部１０１は、明度と同様に、文章画像において下地に対応する部分の色味を取得するようにしても良い。この場合、文書データ解析部１０１は、文書画像全体における色相および彩度の分布を示すヒストグラムを作成し、それらのヒストグラムからそれぞれの最頻値を下地の色相ＨＩｍｏｄｅ、彩度ＳＩｍｏｄｅとしても構わない。文書画像全体の色相および彩度の分布を示すヒストグラムの作成、および、それらのヒストグラムにおける最頻値を求める処理は一般的なものであり、本技術の内容の本質とは関係が無いため説明は省略する。

以上により得られたＨＩａｌｌ、ＳＩａｌｌ、もしくは、ＨＩｍｏｄｅ、ＳＩｍｏｄｅを文書の色味を示す文書画像解析情報の一つとする。

また、撮像部１１から、補正後文書画像データではなく、補正前文書画像データを取得することにより、紙面２０周辺の明度、色味などを解析し、文書画像解析情報を算出しても構わない。この場合、撮像部１１は、Ｓ１０１において文書画像歪み補正処理は行わず、補正前文書画像データを文書データ解析部１０１へと送信する。文書データ解析部１０１は、補正前文書画像データの歪み補正処理において、文書領域を判別する際に、歪補正を行う前に、文書領域外の領域に対して、上述と同様の手法を用いて文書外平均明度ＢＯａｌｌ、文書外平均色相ＨＯａｌｌ、文書外平均彩度ＳＯａｌｌや、文書外下地明度ＢＯａｌｌ、文書外下地色相ＨＯａｌｌ、文書外下地彩度ＳＯａｌｌを算出する。これらを文書領域外の明るさ、色味を示す情報を、文書画像解析情報の一つとしても構わない。

また、文書の明るさや色味を取得するために明度、色相、彩度を用いているが、同様の情報が得られるならば、別の尺度を用いても構わない。

また、例えば、文書上に記載されている文字、記号、図面等のオブジェクトを抽出するために、補正後文書画像データから、画像上に存在する文字、記号、図面等のオブジェクトを検出する処理を行う。例として、前述した文書下地平均明度ＢＩｍｏｄｅ、色相ＨＩｍｏｄｅ、彩度ＳＩｍｏｄｅと、補正後文書画像データ１ｂの全画素それぞれの明度、色相、彩度を比較し、値が違うものを抽出すると、白いところが抽出したオブジェクトに対応する、図１２に示すような文章画像を表す文書抽出画像データ６０を得ることができる。ここで、文書抽出画像データ６０は、白いところは明度が高く、黒いところは明度が低いという画像データであっても構わない。以上により得られた文書抽出画像データ６０を、文書画像解析情報の一つとしても構わない。

また、例えば、文書上にかざされている手のひらや、カードなどの、文書に記載されている文字、記号、図面等以外のオブジェクトに関する情報収集として、文書抽出画像データ６０から画像上に存在する文字、記号、図面等以外のオブジェクト検出処理を行う。例として文書上に手のひらがかざされた場合をあげると、紙面２０を撮像後、撮像部１１から出力される補正後文書画像データは、図１３に示すようになる。ここで、公知のオブジェクト検出技術を用いて、補正後文書画像データ上にある手のひらの領域を検出し、図１４で示されるような、白いところが手のひらであることを示す、手のひら領域検出データ６２を取得することができる。ここで、手のひら領域検出データ６２の白いところは明度が高く、黒いところは明度が低いという画像データであっても構わない。ここで、手のひらを検出する処理については、本技術の内容の本質とは関係が無いため説明は省略する。また、ここでのオブジェクト検出処理の対象は、手のひらに限らない。

以上により得られた、手のひら領域検出データ６２を文書画像解析情報の一つとしても構わない。

（ステップＳ１０３の詳細）
以下に、ステップＳ１０３において、コメントデータ解析部１０２がコメント解析情報を算出する処理の詳細について、説明する。

コメントデータ解析部１０２は、前述したとおり、通信部１２から取得したコメントデータが表すコメント画像を解析して、画像処理方法決定部１０３の処理に必要なコメント解析情報を算出する。

例えば、コメントオブジェクトの明るさに関するコメント解析情報を算出する場合、コメントデータ解析部１０２は、コメントオブジェクトの平均明度を計算する。前述の文書画像全体の平均明度を求める処理と似ているが、コメントデータ解析部１０２は、コメント画像全体の平均明度を求めるのではなく、コメント画像においてコメントオブジェクト（文字、記号、図形等）に対応する部分の平均明度を算出する。コメント平均明度をＢＣａｌｌ、コメント画像データに描かれているオブジェクトの総画素数をＣａ、コメントオブジェクトを構成する画素を順番に示す座標Ｃｐ（ｉ）、座標Ｃｐ（ｉ）における明度をＢＣ（Ｃｐ（ｉ））とすれば、下記の計算式（４）によって、コメントデータ解析部１０２は、ＢＣａｌｌを求めることができる。

また、ここで、コメントデータ解析部１０２が、文書画像解析と同様に色味に関するコメント解析情報を算出するとすれば、下記の計算式（５）、（６）にてコメント平均色相ＨＣａｌｌ、コメント平均彩度ＳＣａｌｌを求めることができる。

なお、計算処理を簡易にするために、文書画像全体の平均明度、色相、照度を求めるときと同様、コメント画像全体に対しての平均明度を求めても構わない。

以上により得られたＢＣａｌｌ、ＨＣａｌｌ、ＳＣａｌｌをコメントの明度、色味を示すコメント解析情報の一つとする。

また、ここで、文書の明るさや色味を取得するために明度、色相、彩度を用いているが、同様の情報が得られるならば、別の尺度を用いても構わない。

また、例えば、コメントデータ解析部１０２は、コメント画像においてコメントが占める面積に関するコメント解析情報を算出する構成を採用しても構わない。この場合、上述したコメントを構成する画素の総数Ｃａをそのままコメントの表示面積として扱っても構わない。このコメント総画素数Ｃａをコメント表示面積を示すコメント解析情報の一つとする。

また、コメントデータが図７に示すように、一つの文書画像データに対して、いくつかのコメント画像データとして別れる場合は、それぞれ、コメント情報解析を行なっても構わない。

（ステップＳ１０４の詳細）
以下に、ステップＳ１０４において、画像処理方法決定部１０３が画像処理方法指定情報を算出する処理の詳細について説明する。

画像処理方法決定部１０３は前述したとおり、文章データ解析部１０１にて算出された文書画像解析情報と、コメントデータ解析部１０２にて算出されたコメント解析情報とを取得し、コメント画像データに対して投影画像生成部１０４が実施する画像処理方法を示す画像処理方法指定情報を算出する。

画像処理方法の一つとして、文書画像の明るさとコメントとの明るさの差異から、ユーザが眩しさを感じていたり、不快感を生じたりしていないか判断し、それを改善するための画像処理方法がある。この画像処理方法を指定する画像処理方法指定情報を、下記の計算式によって算出する。

ユーザが感じる眩しさを定量化した眩しさ指標値をＢＲ、文書平均明度をＢＩａｌｌ、コメント平均明度をＢＣａｌｌ、コメント総画素数Ｃａ、ＢＲを適切な値として出せるようにするための文書明度補正係数をＬＢＩ、コメント明度補正係数をＬＢＣとすれば、下記の計算式（７）によって、画像処理方法決定部１０３はＢＲを求めることができる。

また、本実施例において、明度は０〜２５５の値を取るものとする。明度の算出方法については一般的なものであり、本技術の内容の本質とは関係が無いため説明は省略する。

上述の計算式（７）において、演算子“・”は乗算を意味しているが、補正係数の内容により適切に処理を変えるものとする。例えば、ＬＢＩがＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）である場合は、ＢＩａｌｌを入力とするテーブル処理となる。また、以降の計算式において、演算子“・”が使われている場合は、上記と同じ意味で使われるものとする。

ここで、文書明度補正係数ＬＢＩ、コメント明度補正係数をＬＢＣは使用する装置の構成により値が変わるものである。例として、文書明度補正係数ＬＢＩは、撮像部１１に使用するデジタルカメラの性能や設定により変化するが、その性能や設定毎に決定されているものとする。また、コメント明度補正係数ＬＢＣは、投影部１３に使用するプロジェクタの性能や設定により変化するが、その性能や設定毎に決定されているものとする。

画像処理方法決定部１０３は、上記計算式（７）を行うことにより、眩しさ指標値ＢＲを算出できる。続いて、画像処理方法決定部１０３は、このＢＲが所定の閾値Ｔｂｒに収まるように、出力明度補正係数Ｏｂｒを下記に示す計算式（８）により算出する。

前述したように、上述の計算式において、演算子“・”は乗算を意味しているが、補正係数の内容により適切に処理を変わるものとし、以降同演算子は同じ意味として扱う。また、画像処理方法決定部１０３は、上記よりも簡易的に出力明度補正係数Ｏｂｒを算出する処理として、文書平均明度をＢＩａｌｌ、コメント平均明度をＢＣａｌｌのみを使用して、下記計算式（９）の簡易眩しさ指標値ＢＲｓを算出しても構わない。

続いて、画像処理方法決定部１０３は、このＢＲｓが所定の閾値Ｔｂｒｓに収まるように、出力明度補正係数Ｏｂｒを下記に示す計算式（１０）により算出する。

また、このとき、出力明度補正係数Ｏｂｒを算出する手法は、上記計算式（８）を用いるのではなく、例えば、ＬＵＴなどを用いて算出しても構わない。また、出力明度補正係数Ｏｂｒが、ＬＵＴになるようにしても構わない。

また、ここで、コメントデータが図７に示すように、一つの文書画像データに対して、いくつかのコメントデータとして別れる場合、画像処理方法決定部１０３は、それぞれのコメントデータに対して、上記計算処理を行なっても構わない。

また、画像処理方法決定部１０３は、明るさ制御を行う判断基準として、計算式（８）のようなＯｂｒを算出するだけではなく、前述の画像上に存在する文字、記号、図面等のオブジェクトを検出した結果である、文書抽出画像データと、コメントデータの表示位置とを確認し、文字、記号、図面等のオブジェクトの上に、コメントデータが配置されるような位置関係になっていないか、という手法を使用しても構わない。

具体的には、例えば、画像処理方法決定部１０３は、下記のように計算することで判断することが可能である。

文書抽出画像データにおいて白く示された部分は、文書における文字、記号、図面等のオブジェクトであることを示しており、画像データの中で明度が高い部分であるということは前述したとおりである。ここで、コメントデータに描かれているオブジェクトの総画素数をＣａ、オブジェクトが存在している画素を順番に示す座標Ｃｐ（ｉ）、座標Ｃｐ（ｉ）におけるオブジェクトの明度をＢＣ（Ｃｐ（ｉ））、文書抽出画像データにおける明度をＢＧ（Ｃｐ（ｉ））とすれば、下記計算式（１０．５）にて、オブジェクトとコメントの重なり指標値Ｂｏｖｇを求めることができる。

このＢｏｖｇの値が大きければ大きいほど、文書のオブジェクトとコメントのオブジェクトの重なり具合が大きく、それぞれが干渉しているため、オブジェクトの視認が阻害されていると判断できる。そこで、画像処理方法決定部１０３は、このＢｏｖｇが所定の閾値Ｔｏｖｇを超えないようにするため、下記計算式（１０．６）に示される、出力明度補正係数Ｏｂｒを計算する。

また、ここで、単純に所定のしきい値Ｔｏｖｇをコメントの重なり指標値Ｂｏｖｇが超えた場合、任意の補正値Ｏｂｒを与えるようにしても構わない。

以上のように算出された出力明度補正係数Ｏｂｒが、投影画像データを生成する際に必要となる画像処理方法指定情報の一つとなる。

また、ここで、これ以降の画像処理方法指定情報の算出手法については、コメントデータが図７に示されるように、一つの文書画像データに対して、いくつかのコメントデータとして別れている場合の方が都合が良い。

また、画像処理方法の一つとして、文書画像データとコメント画像データの色味の差異から、ユーザーが文書とコメントの色の区別をつけづらくなっていないかを判断し、区別をつけづらい場合は、それを改善するための画像処理方法を後段で行うために、画像処理方法決定部１０３は、下記の計算を行う。

ユーザが感じる色相の差異による区別のしづらさを定量化した色相差指標値をＨＲ、文書平均色相をＨＩａｌｌ、コメント平均色相をＨＣａｌｌ、ＨＲを適切な値として出せるようにするための文書色相補正係数をＬＨＩ、コメント色相補正係数をＬＨＣとすれば、画像処理方法決定部１０３は、下記の計算式（１１）によってＨＲを求めることができる。
また、本実施例において、色相は０〜２５５の値を取るものとする。色相の算出方法については一般的なものであり、本技術の内容の本質とは関係が無いため説明は省略する。

ここで、ｍｉｎ（）は、カンマで区切られる計算式によって算出された値をそれぞれ比較し、値の小さい方を返すという関数を示す。

また、ここで、文書色相補正係数をＬＨＩ、コメント色相補正係数をＬＨＣは、使用する装置の構成により値が変わるものである。例として、文書色相補正係数をＬＨＩは、撮像部１１に使用するデジタルカメラの性能や設定により変化するが、その性能や設定毎に決定されているものとする。また、コメント色相補正係数をＬＨＣは、投影部１３に使用するプロジェクタの性能や設定により変化するが、その性能や設定毎に決定されているものとする。

上記計算式（１１）を行うことにより、画像処理方法決定部１０３は、色相差指標値ＨＲを算出できる。続いて、画像処理方法決定部１０３は、このＨＲが所定の閾値Ｔｈｒに収まるように、出力色相補正係数Ｏｈｒを下記に示す計算式（１２）により算出する。

また、このとき、出力明度補正係数Ｏｈｒを算出する手法は、上記計算式（１２）を用いるのではなく、例えば、ＬＵＴなどを用いて算出しても構わない。また、出力色相補正係数ＯｈｒがＬＵＴになるようにしても構わない。

また、彩度差指標値をＳＲ、文書平均彩度をＳＩａｌｌ、コメント平均彩度をＳＣａｌｌ、ＳＲを適切な値として出せるようにするための文書彩度補正係数をＬＳＩ、コメント彩度補正係数をＬＳＣとすれば、画像処理方法決定部１０３は、下記の計算式（１３）によってＳＲを求めることができる。

また、ここで、文書彩度補正係数をＬＳＩ、コメント彩度補正係数をＬＳＣは使用する装置の構成により値が変わるものである。例として、文書彩度補正係数をＬＳＩは、撮像部１１に使用するデジタルカメラの性能や設定により変化するが、その性能や設定毎に決定されているものとする。また、コメント彩度補正係数をＬＳＣは、投影部１３に使用するプロジェクタの性能や設定により変化するが、その性能や設定毎に決定されているものとする。

上記計算式（１３）を行うことにより、画像処理方法決定部１０３は、彩度差指標値ＳＲを算出できる。続いて、画像処理方法決定部１０３は、このＳＲが所定の閾値Ｔｓｒに収まるように、出力彩度補正係数Ｏｓｒを下記に示す計算式（１４）により算出する。

また、このとき、出力明度補正係数Ｏｓｒを算出する手法は、上記計算式（１４）を用いるのではなく、例えば、ＬＵＴなどを用いて算出しても構わない。また、出力彩度補正係数ＯｓｒがＬＵＴになるようにしても構わない。

以上のように算出された、この出力色相補正係数Ｏｈｒ、出力彩度補正係数Ｏｓｒが投影画像データを生成する際に必要となる画像処理方法指定情報の一つとなる。

また、画像処理方法の一つとして、上述した手法により明るさおよび色味の差異によって文書およびコメントの視認性の低下があると判断された場合、出力するコメントの明るさおよび色味を変更することで対応するのではなく、出力するコメントの表示時間を限定することにより、視認性の低下を防ぐ画像処理方法もある。この画像処理方法の画像処理方法指定情報を算出するために、下記の処理を行う。

例えば、前述の計算式（７）を計算し、その得られた結果が計算式（８）における眩しさ指標値ＢＲが所定の閾値Ｔｂｒを超えた場合、コメント表示の視認性が阻害されていると判断し、画像処理方法決定部１０３は、コメントの表示を開始してから、ある所定の閾値Ｔｔｉｍｅ秒後にその明るさを０にするようにＯｂｒを設定し、コメントの表示を止める処理を行う。

このとき、コメント表示時間の計測に関しては、画像処理方法決定部１０３にて行なっても構わないし、制御部１０に備えられている図１にて図示していない装置制御部で行ない、その結果のみ画像処理方法決定部１０３が取得するようにしても構わない。

また、画像処理方法決定部１０３は、表示時間を限定するのではなく、コメント表示の明るさを補正していないコメントを表示する時間を限定するようにしても良い。具体的には、上記と同様に視認性が阻害されていると判断したら、コメントの表示を開始してから、ある所定の閾値Ｔｔｉｍｅ秒後にその明るさを０にするようにＯｂｒを設定するのでは無く、閾値Ｔｔｉｍｅ秒後に計算式（８）のＯｂｒになるようにしても構わない。

また、この時、コメント表示時間の限定を、逆に最初は表示せず、ある所定の閾値Ｔｔｉｍｅ秒後経過したら表示を開始するようにＯｂｒを処理しても構わない。

また、上記のコメント表示時間の処理は、コメントの色味の差異が無いことによる視認性が阻害の処理（計算式（１１）〜（１４））に対して行われても構わない。

また、画像処理方法の一つとして、上述した手法により明るさが極端に違うことおよび色味の差異が無いことによって、文書およびコメントの視認性の低下があると判断された場合、出力するコメントの明るさを低下、もしくは、色味を変更することで対応するのではなく、出力するコメントの表示位置を限定することも可能である。このように視認性の低下を防ぐ画像処理方法の画像処理方法指定情報を算出するために、下記の処理を行う。

ここでは、計算式（７）を計算し、その得られた結果が計算式（８）における眩しさ指標値ＢＲが所定の閾値Ｔｂｒを超えた場合、文書およびコメント表示の視認性が阻害されていると判断し、コメントの表示位置を当初の表示位置と違う場所に表示するようにすることで問題を解決する。

前述したように、文書抽出画像データは画像上に存在する文字、記号、図面等のオブジェクトを検出した結果であり、計算式（１０．５）を用いることにより、文書とコメントとの重なり具合を検出することができる。例えば、この重なり指標値Ｂｏｖｇが所定のしきい値Ｔｏｖｇを超えていた場合、コメント画像の表示位置を変更するように、コメント画像の表示位置補正を行うようにすれば、視認性の低下を防ぐことができる。

このとき、コメント画像の変更先表示位置については、例えば、文書の文字、記号、図面等のオブジェクトの配置密度が低いところでも構わないし、コメント投影装置２において、文書外の領域に対して、投影部１３で画像を投影しても構わない。また、コメントの移動元から移動先への相関関係がわかるように、移動先から移動元への矢印を表示するようにしても構わないが、詳細な手法に関しては、本技術の内容の本質とは関係が無いため説明は省略する。

出力時のコメントの位置を補正するための、出力水平位置補正量をＯｄｐｘ、出力垂直位置補正量Ｏｄｐｙとすると、当初のコメントの水平表示位置ＰＣｘ、垂直表示位置をＰＣｙ、移動先の水平表示位置ＱＣｘ、垂直表示位置をＱＣｙとすれば、ＯｄｐｘとＯｄｐｙは下記計算式（１４．５）、（１４．６）にて計算することができる。

以上のように算出された、この出力水平位置補正量をＯｄｐｘ、出力垂直位置補正量Ｏｄｐｙが、コメント画像データを生成する際に必要となる画像処理方法指定情報の一つとなる。

また、上述した画像処理方法により、明るさが極端に違うことおよび色味の差異が無いことによる文書およびコメントの視認性の低下があると判断された場合、出力するコメントの明るさを低下、もしくは、色味を変更することで対応するのではなく、文書上にかざされている手のひらやカードなどの、文書に記載されたオブジェクト以外のオブジェクトに、出力するコメント画像の表示位置を限定することも可能である。このような視認性の低下を防ぐ補正処理を行うために下記の処理を行う。

ここでは、ステップＳ１０２において生成した、手のひら領域検出データを使用する。

前述したように、手のひら領域検出データは、文書上にかざされている手のひらやカードなどの、文書に記載されたオブジェクト以外のオブジェクトを検出した画像データであり、その一例である図１４に示す白いところが、文書に記載されたオブジェクト以外のオブジェクトが存在している領域である。

本実施形態では、白いところは明度が高い領域であるとしているが、その明度値を、出力する投影画像を表示するか否かを判別する、画像の透過値として使用することができる。例えば、明度値の関係をそのまま透過値に変換する場合、図１４に示すような、明度値の高い手のひらの領域は透過値も高くなり、一方明度値の低いそれ以外の領域は透過値も低くなる。この透過値をコメント画像データの生成時に適用させることで、図１５に示すような透過値の高い箇所である手のひらのみに コメント画像を出力することができる。

このようなコメント投影方法を取ることにより、文書とコメント画像の表示箇所を明確に分けることが出来るため、文書およびコメント画像の視認性の低下を防ぐことができる。

以上に示してきた画像処理方法に関しては、すべて実施しても構わないし、選択的に実施しても構わない。この場合、画像処理方法を選択する手段は、例えば、前述の制御スイッチ１５に、画像処理方法を選択する個別のスイッチを用意するようにしても構わない。また、制御部１０において自動的に画像処理方法を選択する処理を設けても構わない。また、コメント入力装置３において、画像処理方法を選択するための機能を実装しても構わない。また、コメントデータに含まれている重要度を判断基準として実施するとしても構わない。以上に述べた、画像処理方法を選択する手段については、本技術の内容の本質とは関係が無いため説明は省略する。

（ステップＳ１０５の詳細）
以下に、ステップＳ１０５において、投影部１３が、紙面２０に投影するための投影画像データを、投影画像生成部１０４が生成する処理の詳細について、説明する。

投影画像生成部１０４は、前述したとおり、画像処理方法決定部１０３から取得したコメント画像データと画像処理方法指定情報を元に、紙面２０に投影する投影画像データを生成する。

本ステップでは、画像処理方法決定部１０３から取得する画像処理方法指定情報に従って、コメント画像データに対して画像処理を行う。

まず、コメント画像データの明るさに対する画像処理を示す画像処理方法指定情報として、出力明度補正係数Ｏｂｒが与えられている場合、投影画像生成部１０４は、コメント画像データ内のオブジェクトが存在している画素を順番に示す座標Ｃｐ（ｉ）、座標Ｃｐ（ｉ）における明度をＢＣ（Ｃｐ（ｉ））、出力されるコメントを構成するオブジェクトの各画素ＢＯ（Ｃｐ（ｉ））、入力された値が０〜２５５の範囲を逸脱する場合にその範囲に値が収まるように処理する関数をＣｌｉｐ（）とすれば、出力されるコメント画像の各画素の明度は、下記計算式（１５）により算出される。

同様に、コメント画像データの色相に対する画像処理を示す画像処理方法指定情報として、出力色相補正係数Ｏｈｒ、出力彩度補正係数Ｏｓｒが与えられている場合、コメントオブジェクトが存在している画素を順番に示す座標Ｃｐ（ｉ）、座標Ｃｐ（ｉ）における色相をＨＣ（Ｃｐ（ｉ））、出力されるコメントを構成するオブジェクトの各画素の色相ＨＯ（Ｃｐ（ｉ））、入力された値が０〜２５５の範囲を逸脱する場合にその範囲に値が収まるように処理する関数をＣｌｉｐ（）とすれば、出力されるコメント画像の各画素の色相は、下記計算式（１６）により算出される。

同様に、コメントデータの彩度に対する画像処理を示す画像処理方法指定情報として、出力彩度補正係数Ｏｓｒ、出力彩度補正係数Ｏｓｒが与えられている場合、コメントオブジェクトが存在している画素を順番に示す座標Ｃｐ（ｉ）、座標Ｃｐ（ｉ）における彩度をＳＣ（Ｃｐ（ｉ））、出力されるコメントを構成するオブジェクトの各画素の彩度ＳＯ（Ｃｐ（ｉ））、入力された値が０〜２５５の範囲を逸脱する場合にその範囲に値が収まるように処理する関数をＣｌｉｐ（）とすれば、出力されるコメント画像の各画素の彩度は、下記計算式（１７）により算出される。

上述の計算式（１５）〜（１７）において、演算子“・”は乗算を意味しているが、補正係数の内容により適切に処理を変わるものとする。例えば、ＯｂｒがＬＵＴである場合は、ＢＣ（Ｃｐ（ｉ））が入力で、ＢＯ（Ｃｐ（ｉ））が出力されるテーブル処理となる。

同様に、コメントデータの表示位置に対する画像処理を示す画像処理方法指定情報として、出力水平位置補正量をＯｄｐｘ、出力垂直位置補正量Ｏｄｐｙ、当初のコメントの水平表示位置ＰＣｘ、垂直表示位置をＰＣｙが与えられている場合、コメントオブジェクトの最終表示位置を示す出力水平位置をＰＯｘ、出力垂直位置をＰＯｙとすれば、出力されるコメント画像の表示位置は下記計算式（１７．５）、（１７．６）により計算される。

投影画像生成部１０４は、以上のような画像処理をコメント画像データに対して行うことにより、図８に示されるような投影画像データを生成することができる。
（ステップＳ１０６の詳細）
以下に、ステップＳ１０６において、投影部１３が紙面２０にコメント画像を投影する処理の詳細について、説明する。

まず、投影部１３は、制御部１０から取得した投影画像データを、紙面２０に投影するために、画像の歪み補正処理を行い、投影画像データから補正後コメント画像データを生成する。処理の詳細については、前述しているため省略する。

続いて、補正後コメント画像データを文書上に投影する処理を行う。本実施形態ではプロジェクタを使用し、その映像投影範囲が紙面２０全体を投影範囲に含めるようにコメント投影装置２に設置されており、取得した補正後投影画像データを常に投影し続ける処理を行う。

以上で述べた実施形態における処理の一部、例えば、撮像部１１における文書歪み補正処理や、例えば、投影部１３におけるコメント画像歪み補正処理などの処理は、制御部１０の、文書データ解析部１０１、投影画像生成部１０４にて処理を行なっても良い。

このように、本実施形態におけるコメント投影装置２は、紙面２０上にコメント画像を投影する際に、紙面２０に記載されているオブジェクトと、投影するコメント画像のオブジェクトとの明るさの差を抑えることが可能となる。したがって、コメント投影装置２は、紙面２０に記載されている文書と、投影するコメント画像の明るさの差が大きすぎて、文書が見づらくなることを防ぐことができる。

また、紙面２０上にコメント画像を投影する際に、紙面２０に記載されている文書と、投影するコメント画像の色味の差が無くなることを抑えることが可能となる。したがって、コメント投影装置２は、紙面２０に記載されている文書と、投影するコメント画像の色味の差が少なすぎて、文書が見づらくなることを防ぐことができる。

（第２の実施形態）
第１の実施形態におけるコメント投影装置２では、コメント画像に対して実施する画像処理の方法は、撮像部１１における文書画像データの解析から取得した文書画像解析情報と、通信部１２から取得したコメント画像データの解析から得られたコメント解析情報を元に算出される。本実施形態では、事前に与えられている、もしくはコメント投影装置２を動作させる過程で取得する文書画像データやコメント画像データ等を記憶、読み出しを行えるようにする。そして、文書画像データやコメントデータ等を記憶、読み出しすることにより、第１の実施形態に示した手法では得ることの出来ない新たな情報を得ることが可能となる。本実施形態について、図１６〜１９及び図２１〜２３を用いて、説明する。

図１６は、本実施形態におけるコメント投影装置２の構成を示す概略ブロック図である。また、ここで、前述したとおり、第１の実施形態において同じ符号を付している構成は同様のものであるとして説明は省略する。

本実施形態におけるコメント投影装置２の構成は、文書データ解析部１０１、コメントデータ解析部１０２、および画像処理方法決定部１０３が、前述のとおり、事前に与えられている、もしくは装置を動作させる過程で取得する文書画像データやコメントデータ等を記憶、読み出しを行えるようにするために、各種データを記憶しておくデータベース部（蓄積手段）１０５に接続されている。

データベース部１０５は、各種データを記憶、また読み出しが可能な機能を有する。ここで、本実施形態における各種データとは、撮像部１１より出力される文書画像データと、通信部１２より出力されるコメント画像データと、文書データ解析部１０１より出力される文書画像解析情報と、コメントデータ解析部１０２より出力されるコメント解析情報と、画像処理方法決定部１０３より出力される画像処理方法指定情報を指すものとする。

このデータベース部１０５を備えることにより、撮像部１１において取得した文書画像データが、既にデータベース部１０５にて記憶されている場合、文書データ解析部１０１、コメントデータ解析部１０２、および画像処理方法決定部１０３は、その文書画像データを解析した結果である文書画像解析情報、その文書画像データに関わりのあるコメント画像データ、コメント解析情報、および画像処理方法指定情報を、データベース部１０５より読み出すことができる。したがって、新たに通信部１２からコメントデータを受信する必要がなくなり、また、コメントデータを解析する必要もなくなる。また、保存されているそれらデータに基づいて、画像処理方法決定部１０３が画像処理方法指定情報を算出することで、コメント画像データに対してより高度な画像処理を行えるようになり、コメント画像の投影に伴う文書及びコメント画像の視認性の低下という課題を、実施形態１で述べたコメント投影装置２より、高度に処理することが可能となる。
（データベース部１０５に記憶するデータのフォーマット）
続いて、データベース部１０５に記憶するデータのフォーマットについて図１７〜１９、及び図２１を用いて説明する。なお、各データにおける管理ＩＤについては、後述する。

図１７は、本実施形態における文書データ３０のデータ内部構成例を示した表である。本実施形態においては、データベース部１０５に文書画像データを記憶する際に、図１７に記載しているような文書データ３０を画像データに付加して記憶することで、データの管理を容易にさせることができる。続いて、それぞれのデータについて説明する。

文書データＩＤ３０１は、文書データ３０に割り当てられたユニークな番号であり、文書データ３０を区別するために使用される。

文書データ取得日時３０２は、文書データ３０が作成された日時を示す。

文書画像データ３０３は、文書データ３０に紐付いている実際の文書画像データである。

図１８は、本実施形態におけるコメントデータ３１のデータ内部構成例を示した表である。本実施形態においては、データベース部１０５にコメント画像データを記憶する際に、図１８に記載しているようなコメントデータ３１をコメント画像データに付加して記憶することで、データの管理を容易にさせることができる。続いて、それぞれのデータについて説明する。

コメントデータＩＤ３１１は、コメントデータ３１に割り当てられたユニークな番号であり、コメントデータ３１を区別するために使用される。ここで、コメントデータ３１は文書データ３０に対して１対１とは限らず、図７において説明したように、コメントデータ３１の方が多くなることもある。

コメントデータ取得日時３１２は、コメントデータ３１が作成された日時を示す。

コメント画像データ３１３は、コメントデータ３１に紐付いている実際のコメント画像データである。ただし、このコメントデータ３１は、一般的なビットマップ形式の画像でも良いし、ベクタ形式の画像でも良いし、丸や三角などといった記号や、テキストの文字列の表示位置やサイズを指定して表示する画像でも良い。

コメント表示領域３１４は、コメントデータ３１のコメント画像データ３１３を表示する位置を指定する。

コメント表示色３１５は、コメントデータ３１のコメント画像データ３１３を表示する際の表示色を指定する。コメント画像データ３１３自体に表示色が指定されていても良いが、コメント表示色３１５で指定することにより、表示色をさらに制御できるようにする。

コメント重要度３１６は、コメントデータ３１の重要度を指定する。

コメント表示時間３１７は、コメントデータ３１のコメント画像データ３１３を表示する際の表示時間を指定する。表示時間は、最初表示せずに一定時間経過後表示されるような指定方法でも良いし、逆に最初表示されており一定時間経過後表示されなくなるような指定方法でも良いし、ある一定間隔で表示されたり、表示されなくなったりを繰り返すような指定方法でも良いし、また、それらを複合した指定方法でも良い。

図１９は、本実施形態における文書画像解析情報データを示すコメント表示手法指示データ３２のデータ内部構成例を示した表である。本実施形態においては、データベース部１０５に記憶されているコメントデータ３１に対して、投影画像生成部１０４が画像処理を実施し、投影部１３へ出力する投影画像データを生成する。その際の画像処理の内容を記憶することにより、データの管理を容易にすることができる。続いて、それぞれのデータについて説明する。

コメント表示手法指示データＩＤ３２１は、コメント表示手法指示データ３２に割り当てられたユニークな番号であり、コメント表示手法指示データ３２を区別するために使用される。

コメント表示手法指示データ取得日時３２２は、コメント表示手法指示データ３２が作成された日時を示す。

対象コメントデータＩＤは、コメント表示手法指示データＩＤ３２１が示す画像処理を実施する対象のコメントデータのコメントデータＩＤである。

輝度補正値３２４は、コメント画像データに実施する輝度補正の値である。

色度補正値３２５は、コメント画像データに実施する色度補正の値である。

表示時間補正値３２６は、投影部１３が、コメント画像を表示する時間である。

表示領域補正値３２７は、投影部１３が、コメント画像を表示する領域を示す値である。

次に、管理ＩＤ３ａについて、説明する。

データベース部１０５は、記憶するデータに管理ＩＤ３ａを付与して記憶している。例えば、文書データ解析部１０１は、文書データを取得すると、取得した文書データと一致する文書データがデータベース部１０５に記憶されているか否かを検索する。取得した文書データに一致する文書データが記憶されている場合、文書データ解析部１０１は、一致した文書データの管理ＩＤ３ａを取得する。一方、取得した文書データと一致する文書データが記憶されていない場合、文書データ解析部１０１は、取得した文書データに新たな管理ＩＤ３ａを付与し、データベース部１０５に記憶する。
（制御部１０の構成）
次に制御部１０の各構成部について説明する。

ここで、以下の説明において、本装置内における各構成部間でのデータ通信の手法についての詳細に関しては、本技術の内容の本質とは関係が無いため説明は省略する。

文書データ解析部１０１は、文書画像データを入力とする。文書データ解析部１０１は、文書画像データを取得すると、データベース部１０５にアクセスし、取得した文書画像データと、データベース部１０５の内部に記憶されている文書データとを照らし合わせる。取得した文書画像データが、参照した文書データの文書画像データと一致するかを解析（データマッチング）する。取得した文書画像データが、データベース部１０５に記憶されていない場合、文書データ解析部１０１は、管理ＩＤを生成し、生成した管理ＩＤをコメントデータ解析部１０２に出力する。また、取得した文書画像データを、生成した管理ＩＤと紐付け、データベース部１０５に記録する。一方、入力された文書画像データと一致する文書画像データがデータベース部１０５に記憶されている場合は、文書データ解析部１０１は、文書画像データの管理ＩＤをコメントデータ解析部１０２に出力する。

また、このとき、文書データ解析部１０１がデータベース部１０５にアクセスする処理以外については、実施例１における処理と同様であるため説明は省略する。

コメントデータ解析部１０２は、実施例１におけるコメントデータ解析部１０２の入力情報に加え、前述の管理ＩＤを入力とする。新たに取得した管理ＩＤがある場合、コメントデータ解析部１０２は、データベース部１０５から、取得した管理ＩＤに含まれるコメントデータＩＤと同じコメントデータＩＤをもつコメントデータの探索を行う。そして、既存のコメントデータがある場合は、新たに取得したコメント画像データをコメントデータ３１のコメント画像データ３１３に重ねる形で追加する。または、新たなコメントデータＩＤを持つ新規コメントデータを追加し、データベース部１０５に記憶させる。既存のコメントデータがない場合は、外部から入力されたコメントデータを新規コメントデータとして、文書データ解析部１０１から取得した管理ＩＤと同じ管理ＩＤをコメントデータに割り当て、データベース部１０５に新規登録を行った後、管理ＩＤを画像処理方法決定部１０３に出力する。

ここで、実施形態１において説明したコメント画像データについて、本実施形態における補足説明をする。

実施形態１において説明した、図６および７に示すコメント画像データ５４、５５ａ、５５ｂ、５５ｃは、コメント自体の画像データだけではなく、コメント入力装置３にて各コメントを作成した際に付与される、表示色、重要度、表示時間、等のパラメータを同時に持つコメント画像データとしても構わない。

また、コメント画像データ５４、５５ａ、５５ｂ、５５ｃは、画像データではなく、支点、角度、サイズ等で指示される図形オブジェクトや、文字列、フォント、色などで指示されるテキストオブジェクトの表示位置をそれぞれ指示することで、画像と同様のコメント表示ができるようなオブジェクトデータとしても構わない。

また、コメントデータ解析部１０２がデータベース部１０５にアクセスする処理以外については、実施形態１における処理と同様であるため説明は省略する。

画像処理方法決定部１０３は、実施形態１における画像処理方法決定部１０３の入力情報に加え、コメントデータ解析部１０２を経由して取得する管理ＩＤを入力とする。また、画像処理方法決定部１０３は、データベース部１０５から、管理ＩＤに対応する文書データおよびコメントデータを読み出す。そして、画像処理方法決定部１０３は、読みだしたコメントデータに対して、投影画像生成部１０４が実施する画像処理方法を示す画像処理方法指定情報を算出する。画像処理方法決定部１０３は、取得したコメントデータおよび算出した画像処理方法指定情報を、投影画像生成部１０４に出力する。

このとき算出される画像処理方法指定情報は、文書画像解析情報や、コメント解析情報、およびデータベース部１０５から取得する情報に基づいて算出される。また、画像処理方法決定部１０３がデータベース部１０５にアクセスする処理以外については、実施例１における処理と同様であるため説明は省略する。

投影画像生成部１０４については、実施例１における処理と同様であるため説明は省略する。

データベース部１０５は、文書データ３０と、コメントデータ３１と、をデータベースとして記憶する装置である。さらに、このデータベース部１０５は、あらかじめ用意された文書データ３０と、コメントデータ３１と、を記憶していても構わず、記憶している情報は外部から自由に読みだすことができる。

各データを記憶する際、データベース部１０５は、記憶するデータの種別が分かるように、そのデータが、文書データ３０か、コメントデータ３１か、を示すデータ種別情報を合わせて記憶しても構わない。

このとき、データベース部１０５に複数の情報を合わせて記憶するデータのフォーマットついて図面を用いて説明する。

図２１は、本実施形態におけるデータベース部１０５に記憶されているデータ３３のフォーマットを示す。

図２１において、データベース部１０５に記憶されているデータ３３は、管理ＩＤ３ａと、データ種別情報３ｂと、コンテンツ情報とから構成されている。ここで管理ＩＤ３ａとは、データベース部１０５が記憶する各データの管理ＩＤを示す。データ種別情報３ｂとは、データ３３に含まれるコンテンツ情報が、文書データ３０、あるいはコメントデータ３１のいずれかを示す情報である。コンテンツ情報とは、文書データ３０、あるいはコメントデータ３１のいずれかである。

また、データベース部１０５は、内部に記憶している文書データ３０とコメントデータ３１とに対し、各情報に対応関係がある場合、その対応関係を紐付き情報として、記憶しても構わない。各データに対する紐付き情報の一例として、関連のある文書データ３０と、コメントデータ３１に、同じ番号の管理ＩＤ３ａを付与しても構わない。例えば、所定の文書データ３０を参照して作成したコメントデータ３１がある場合は、該当する文書データ３０と、コメントデータ３１に、同じ管理ＩＤ３ａを付与しても構わない。

撮像部１１と、通信部１２と、投影部１３については、実施形態１における処理と同様であるため、説明は省略する。

続いて、本実施形態におけるコメント投影装置２ａの処理の流れについて、図２２および図２３を用いて以下に説明する。図２２および図２３は、コメント投影装置２の処理の流れを示すフローチャート図である。

まず、Ｓ１０１の処理については、実施例１と同様であるため説明は省略する。
（ステップＳ１０２ａ 文書データの解析）
次に文書データ解析部１０１における文書データの解析についての詳細を説明する。

文書データ解析部１０１は前述したとおり、実施形態１で説明した文書データ解析部１０１の処理に加え、新たに撮像部１１より取得した文書画像データを、データベース部１０５に保存されている文書データと比較し、すでに記憶されている文書画像データであるか否かを判断する。なお、実施形態１で説明した文書データ解析部１０１の処理については前述しているので説明は省略する。

まず、文書データ解析部１０１は、撮像部１１から取得した文書画像データと、データベース部１０５に記憶されている文書データとの比較処理を行う（ステップＳ１０２１、文書画像データとのマッチング）。なお、ステップＳ１０２１の具体的な処理については、非特許文献１に示されるような手法を用いる。

文書データ解析部１０１は、比較結果から、データベース部１０５に、取得した文書画像データがあるか否かを判定する（ステップＳ１０２２）。

取得した文書画像データが、データベース部１０５に記憶されているデータと一致した場合（Ｓ１０２２：Ｙｅｓ）、文書データ解析部１０１は、マッチングした文書データに記憶されている管理ＩＤを、後段のコメントデータ解析部１０２へと出力する（ステップＳ１０２３、該当管理ＩＤ取得）。

一方、取得した文書画像データが、データベース部１０５に記憶されているデータと一致しなかった場合（Ｓ１０２２：Ｎｏ）、文書データ解析部１０１は、新たな管理ＩＤを、取得した文書画像データに割り当て（ステップＳ１０２４、新規管理ＩＤ割り当て）、取得した文書画像データを記憶するための文書データを作成する。また、文書データ解析部１０１は、新たに作成した文書データを、新規の文書データとしてデータベース部１０５に記憶する（Ｓ１０２５新規文書データ作成）。そして、割り当てた管理ＩＤを、後段のコメントデータ解析部１０２へと出力する。このとき、割り当てられた管理ＩＤは、制御部１０内でユニークな識別子を持つＩＤとなる。
（ステップＳ１０３ａ コメントデータの取得）
以下に、コメントデータ解析部１０２が、コメントデータを取得する処理の詳細について、説明する。

コメントデータ解析部１０２は、前述したとおり、実施形態１で説明したコメントデータ解析部１０２の処理に加え、文書データ解析部１０１から取得した管理ＩＤを元に、取得した文書データに関連するコメントデータを、データベース部１０５より抽出してくる機能を有する。実施形態１で説明したコメントデータ解析部１０２の処理については前述しているので説明は省略する。

まず、コメントデータ解析部１０２は、文書データ解析部１０１から取得した管理ＩＤと同じ管理ＩＤを持つコメントデータを、データベース部１０５に記憶されているか否か検索する（ステップＳ１０３１、コメントデータの検索）。

そして、コメントデータ解析部１０２は、検索結果から、データベース部１０５に該当する管理ＩＤを持つコメントデータはあるか否かを判定する（ステップＳ１０３２、コメントデータ検索結果確認）。

取得した管理ＩＤと同じ管理ＩＤを持つコメントデータが見つかった場合（Ｓ１０３２：Ｙｅｓ）、コメントデータ解析部１０２は、そのまま取得した管理ＩＤを、後段の画像処理方法決定部１０３に出力する。

一方、取得した管理ＩＤと同じ管理ＩＤを持つコメントデータが見つからなかった場合（Ｓ１０３２：Ｎｏ）、新たなコメントデータを作成するために、コメント画像データを取得する（ステップＳ１０３３、コメント画像データの取得）。

Ｓ１０３３を具体的に説明すると、本処理では制御部１０と繋がっている通信部１２から、コメント画像データを取得する処理を行う。通信部１２は、事前に撮像部１１から文書画像データを受け取っており、取得した文書画像データをコメント入力装置３に送信する。コメント入力装置３は、図５に示すように、受信した文書画像データに対してユーザが付加したコメントを取得する。そして、コメント入力装置３は、付加されたコメントをコメントデータへと変換し、通信部１２に送信する。通信部１２は、受信したコメントデータを、制御部１０に出力する。コメント入力装置３で行う処理については、一般的なものであるため詳細についての説明は割愛する。

通信部１２よりコメントデータを取得したコメントデータ解析部１０２は、新規コメントデータとして管理ＩＤを割り当て、データベース部１０５に記憶する（Ｓ１０３４、新規コメントデータを記憶）。

コメントデータを保存する処理を行うタイミングは、実施形態１のステップＳ１０１で述べた文書画像データの取得により、新たな文書データが取得された時となる。

そして、コメントデータ解析部１０２は、割り当てた管理ＩＤを後段へと送信する。
（ステップＳ１０４ａ コメントの表示手法決定）
以下に、画像処理方法決定部１０３処理についての詳細を説明する。

画像処理方法決定部１０３は、前述したとおり、実施例１で説明した画像処理方法決定部１０３の処理に加え、コメントデータ解析部１０２から取得した管理ＩＤを元に、データベース部１０５に記憶しているコメント表示手法指示データと、画像処理方法決定部１０３にて紙面２０に重畳するコメントデータの表示方法を決定し、コメントデータ３１と画像処理方法指定情報を後段へと渡す機能を有する。

まず、画像処理方法決定部１０３は、コメントデータ解析部１０２から取得した管理ＩＤ３ａと同じ管理ＩＤ３ａを持つ、データベース部１０５に記憶されているコメント表示手法指示データ３２を検索する（Ｓ１０４１表示手法指示データ検索）。

Ｓ１０４１において、コメントデータ解析部１０２から取得した管理ＩＤ３ａと同じ管理ＩＤ３ａを持つ、データベース部１０５に記憶されているコメント表示手法指示データ３２が見つかった場合（Ｓ１０４１：Ｙｅｓ）、画像処理方法決定部１０３は、該当のコメント表示手法指示データ３２を取得する（ステップＳ１０４３）。

一方、Ｓ１０４１において、コメントデータ解析部１０２から取得した管理ＩＤ３ａと同じ管理ＩＤ３ａを持つ、データベース部１０５に記憶されているコメント表示手法指示データ３２が見つからなかった場合（Ｓ１０４１：Ｎｏ）、画像処理方法決定部１０３は、新たにコメント表示手法指示データ３２を作成する（ステップＳ１０４４）。このとき、画像処理手法決定部１０３は、コメント表示手法指示データ３２の管理ＩＤ３ａフィールドに取り扱う管理ＩＤ３ａを入力する。また、このとき、画像処理手法決定部１０３は、取り扱う管理ＩＤ３ａに紐付けられているコメントデータ３１が複数存在する場合は、それぞれのコメントデータ３１で個別のコメント表示手法を行えるように、コメント表示手法指示データ３２同じ数だけ作成し、対象コメントデータＩＤ３２３フィールドに該当のコメントデータＩＤ３１１を紐付けしておく。

続いて、画像処理手法決定部１０３は、取り扱う管理ＩＤ３ａと同じ管理ＩＤ３ａを持つコメントデータ３１をデータベース部１０５より取得する（ステップＳ１０４６）。

そして、画像処理手法決定部１０３は、得られた文書画像解析情報データとコメントデータ３１を元に、コメント表示手法指示データ３２を修正する（ステップＳ１０４７）。

Ｓ１０４７を具体的に説明すると、例えば、画像処理手法決定部１０３は、コメント画像の輝度値を制御することで紙面２０と重畳表示するコメント画像のコントラスト差を低減させても構わない。この場合、画像処理手法決定部１０３は、文書データ解析部１０１にて解析済みの文書データの明るさと、コメントデータのオブジェクトの出力時想定輝度を比較し、そのコントラストが、第１の所定の閾値Ｔ１に収まるようにコメントデータの輝度値を低減させるようなコメント表示手法指示データ３２を生成する。

続いて、画像処理手法決定部１０３は、コメント表示手法を修正する対象のコメントデータ３１、もしくは、コメント表示手法指示データ３２が残っていないかを判定する（ステップＳ１０４８）。

ステップＳ１０４８において、コメント表示手法を修正する対象のコメントデータ３１、もしくは、コメント表示手法指示データ３２が残っていないと判定された場合（ステップＳ１０４８：Ｙｅｓ）、画像処理手法決定部１０３は、処理が完了したコメントデータ３１、および、コメント表示手法指示データ３２を後段の投影画像生成部１０４へと送信する。

一方、ステップＳ１０４８において、コメント表示手法を修正する対象のコメントデータ３１、もしくは、コメント表示手法指示データ３２が残っていると判定された場合（ステップＳ１０４８：Ｎｏ）、画像処理手法決定部１０３は、ステップＳ１０４６の処理に戻る。

なお、ステップＳ１０５、およびステップＳ１０６の処理については、実施形態１と同様であるため説明は省略する。

このように、本実施形態におけるコメント投影装置２は、データベース部１０５を備えることにより、事前に与えられている、もしくは、コメント投影装置２の処理の過程において取得する文書データやコメントデータ等を参照し、画像処理方法決定部１０３における処理に使用することで、より高度に文書、およびコメントの視認性低下に対する補正を行うことができる。
（第３の実施形態）
上述の実施形態で述べたコメント投影装置２では、コメントの表示手法決定の処理は、撮像部１１における文書データの解析から得られた文書画像解析情報と、コメントデータ解析部１０２におけるコメントデータの解析から得られたコメント解析情報を元に判断するようにしている。

本実施形態では、図２４に示すように、コメント投影装置２の周辺環境の情報を収集するために、コメント投影装置２に各種センサーを備えた環境情報取得部（測定手段）１４を備えることにより、文書画像解析情報、およびコメント解析情報からだけでは得ることができない、新たな情報を得ることが可能となる。

環境情報取得部１４は、コメント投影装置２において、各種センサーが情報を収集できる場所に取り付けられている。その場所は、コメント投影装置２の横であっても構わないし、上部であっても構わないし、コメント投影装置２から離されて設置されていても構わない。コメント投影装置２の周辺の情報を取得することができ、その情報を制御部１０へ送信する経路を備えていれば、設置する場所については問わない。

この、環境情報取得部１４から得ることができる、コメント投影装置２周辺環境の情報を、実施形態１で述べた実施形態の画像処理方法決定部１０３の処理に追加することで、より高度なコメント出力画像の補正処理を行えるようになり、文書とコメントとの重畳表示に伴う視認性の低下という課題を、実施形態１で述べた実施形態より高度に処理することが可能となる。本実施形態について、図２０、および図２４〜２６を用いて、説明する。

図２５は、本実施形態におけるコメント投影装置２の構成を示す概略ブロック図である。また、ここで、前述したとおり、前述した実施形態において同じ符号を付している構成は同様のものであるとして説明は省略する。

前述のとおり、新たにコメント投影装置２周辺環境の情報を取得する処理を行う構成部である環境情報取得部１４があり、そこからの情報が制御部１０に備わる画像処理方法決定部１０３へと渡される。

環境情報取得部１４は、コメント投影装置２の周辺の各種情報をその構成部に備えるセンサーにより収集し、制御部１０に送信する機能を有する。ここで、本実施形態において各種情報とは、コメント投影装置２周辺の「明るさ」「色味」「温度」「音声」に関するものであり、それぞれセンサーを備えることにより取得可能なものとする。

「明るさ」「色味」の情報を得るためのセンサーは、例えば、光電管を用いたセンサーを用いても構わないし、実施形態１、および、本実施形態において撮像部にて使用しているようなデジタルカメラを用いても構わない。コメント投影装置２周辺の「明るさ」「色味」の計測することができ、その情報を制御部１０へ送信することが可能なセンサーであれば、計測の手法は問わない。

「温度」の情報を得るためのセンサーは、例えば、半導体温度センサーを用いても構わないし、赤外線カメラを使用しても構わない。コメント投影装置２周辺の「温度」の計測することができ、その情報を制御部１０へ送信することが可能なセンサーであれば、計測の手法は問わない。

「音声」の情報を得るためのセンサーは、例えば、アナログマイクを使用しても構わないし、半導体マイクを使用しても構わない。コメント投影装置２周辺の「音声」の計測することができ、その情報を制御部１０−３へ送信することが可能なセンサーであれば、計測の手法は問わない。

また、このとき、各情報の取得のタイミングに関しては、実施形態１の撮像部１１における文書データ取得のタイミングと同時で構わないし、常に取得し続けてその情報を送出しても構わない。

画像処理方法決定部１０３は、実施形態１における画像処理方法決定部１０３と行う処理は同じであるが、入力データとして、前述した、環境情報取得部１４で得られた環境情報データも使用する。処理の詳細については後述する。

（環境情報データのフォーマット）
図２０は、本実施形態における環境情報データのデータ内部構成例を示した表である。本実施形態における、環境情報データのデータフォーマットについて説明する。なお、以下の説明において、本装置内における各構成部間でのデータ通信の手法についての詳細に関しては、本技術の内容の本質とは関係が無いため説明は省略する。

環境情報データは、前述したように、環境情報取得部１４から得られるコメント投影装置２の周囲環境の情報をデータとしてまとめたものである。

本実施形態において、コメント投影装置２周囲環境の情報とは以下のものを指すこととする。
・コメント投影装置２の周囲環境の明るさに関する情報
・コメント投影装置２の周囲環境の色味に関する情報
・コメント投影装置２の周囲環境の温度に関する情報
・コメント投影装置２の周囲環境の音声に関する情報
以上の情報を環境情報データとして、構成部間でデータ通信を行う。

次に、本実施形態におけるコメント投影装置２の処理の流れについて、図２６を用いて以下に説明する。図２６は、本実施形態におけるコメント投影装置２の処理の流れを示すフローチャート図である。

まず、Ｓ１０１〜Ｓ１０３までの処理については、実施形態１と同様であるため説明は省略する。

次に、画像処理方法決定部１０３は、コメントデータ解析部１０２から渡された文書画像解析情報と、コメント画像データと、コメント解析情報と、環境情報取得部１４から取得した環境情報データと、を受け取り、コメント画像データを投影画像生成部１０４でどのように画像処理をさせるかを計算する。また、画像処理方法決定部１０３は、入力された文書画像解析情報と、コメント画像データと、コメント解析情報と、算出された画像処理方法指定情報と、を投影画像生成部１０４へ出力する（ステップＳ１０４−３）。

ここで、ステップＳ１０４−３の処理の詳細について説明する。

まず、実施形態１において説明した明るさの処理について、新たに、環境情報データから得られる情報を加味した計算処理を、画像処理方法決定部１０３は行う。

具体的には、画像処理方法決定部１０３は、計算式（７）における各変数と、さらに、周囲環境明度ＢＥ、環境明度補正係数ＬＢＥとすれば、下記計算式（１８）で周囲環境の明度も参照した眩しさ指標値ＢＲを取得することが可能となる。

ここで、環境明度補正係数ＬＢＥは、使用する装置の構成により値が変わるものである。例として、環境明度補正係数ＬＢＥは、環境情報取得部１４に使用するセンサーの性能や設定により変化するが、その性能や設定毎に決定されているものとする。

画像処理方法決定部１０３は、上記、計算式（１８）を行うことにより、例えば、コメント投影装置２の周囲環境が暗い時に、明る過ぎないコメントを表示するための眩しさ指標値ＢＲが取得できる。以降の処理についての説明は、実施形態１で述べているので省略する。

続いて、実施形態１において説明した色味の処理について、新たに、環境情報データから得られる情報を加味した計算処理を、画像処理方法決定部１０３は行う。

具体的には、画像処理方法決定部１０３は、計算式（１１）における各変数と、さらに、周囲環境色相ＨＥ、環境色相補正係数ＬＨＥとすれば、下記計算式（１９）、（２０）で周囲環境の色相も参照した色相差指標値ＨＲを取得することが可能となる。

同様に、画像処理方法決定部１０３は、計算式（１３）における各変数と、さらに、周囲環境彩度ＳＥ、環境彩度補正係数ＬＳＥとすれば、下記計算式（２１）、（２２）で周囲環境の色相も参照した彩度差指標値ＳＲを取得することが可能となる。

ここで、環境明度補正係数ＬＢＥと同様に環境色相補正係数ＬＨＥと環境彩度補正係数ＬＳＥは、使用する装置の構成により値が変わるものである。

上記、計算式（２０）、（２２）を行うことにより、画像処理方法決定部１０３は、例えば、コメント投影装置２の周囲環境の照明が赤っぽい時に、コメント表示の色味を赤っぽくして見えづらくすることを防ぐことができるような色相差指標値ＨＲ、および、彩度差指標値ＳＲが取得できる。以降の処理についての説明は、実施形態１で述べているので省略する。

続いて、環境情報取得部１４が取得した、コメント投影装置２の周囲環境の温度情報を元にコメント表示の補正をかけるための計算について説明する。

具体的には、例えば、環境情報取得部１４においてコメント投影装置２の周囲温度を計測し、その温度が、ある暑さを感じる閾値Ｔｈｏｔを超えている場合、画像処理方法決定部１０３は、コメント表示の色味を青っぽく変更させる。また、逆に、ある寒さを感じる閾値Ｔｃｏｌｄを下回った場合、画像処理方法決定部１０３は、コメント表示の色味を赤っぽく変更することにより、周囲の環境の雰囲気に表示コメントが埋没しないようにすることで、表示されるコメントの視認性低下を防ぐことができるようになる。

続いて、環境情報取得部１４が取得した、コメント投影装置２周囲環境の音声情報を元にコメント表示の補正をかけるための計算について説明する。

例えば、紙面２０を見ているユーザは、文書の視認性が悪いと判断した際に、「コメントオフ」等の、コメントの重畳表示を停止させるような意味を持つコマンドを言葉として発する。環境情報取得部１４は、その言葉を、備え付けられたマイク等の音声センサーで取得し、音声データとして画像処理方法決定部１０３に出力する。音声データを受け取った画像処理方法決定部１０３は、音声認識を行いユーザが発声したコマンドを解析する。ここで、音声データからコマンドを解析する音声認識技術については、多数の既存技術が存在するし、また、本技術の内容の本質とは関係が無いため説明は省略する。

具体的な処理例としては、画像処理方法決定部１０３は、「コメントオフ」のようなコメント表示の停止コマンドを受け取った場合、計算式（１０）における、出力明度補正係数Ｏｂｒを０にすることで、出力コメント画像を消すことができる。

また、別の例として、画像処理方法決定部１０３は、「コメントを右に」のようなコメント表示の位置を変更するコマンドを受け取った場合は、計算式（１４．５）、（１４．６）における、出力水平位置補正量をＯｄｐｘがある所定の移動距離になるような値に変更することで、出力コメント画像の表示位置を右に動かすことができる。

このように、音声にてコマンドを指示することにより、コメントの出力補正をかけることで文書、および、コメントの視認性低下の対策とすることができる。

なお、Ｓ１０５、Ｓ１０６の処理については、実施例１と同様であるため説明は省略する。

このように、本実施形態におけるコメント投影装置２は、環境情報取得部１４を備えることにより、コメント投影装置２の周辺の情報を加味したコメント表示手法の計算を行うことが可能となり、より高度に文書、および、コメントの視認性低下に対する補正を行うことができる。

また、このとき、本実施形態におけるコメント投影装置２は、実施形態２において説明したデータベース部１０５を備えていても構わない。

以上、図面を参照して本発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

以上で述べた実施形態におけるコメント投影装置２の各部における処理は、コンピュータで実現するようにしてもよい。その場合、この処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。

なお、ここでいう「コンピュータシステム」とは、制御部１０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、コメント投影装置２の各部に、コンピュータシステムを搭載していても構わない。

このとき、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものであってもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

また、上述した実施形態における処理の一部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。各装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

〔まとめ〕
本発明の態様１に係る画像投影装置（コメント投影装置２）は、物理媒体（紙面２０）上に画像を投影する画像投影装置において、上記物理媒体を撮像して得られた第１の画像を取得する第１の画像取得手段（撮像部１１）と、上記物理媒体に投影する第２の画像を取得する第２の画像取得手段（通信部１２）と、上記第２の画像の明るさを、上記第１の画像の特性及び上記第２の画像の特性に基づいて補正する補正手段（投影画像生成部１０４）と、を備えている。

上記の構成によれば、画像投影装置は、物理媒体に投影する第２の画像の明るさを、物理媒体を撮像して得られた第１の画像の特性と、第２の画像の特性と、に基づいて補正する。したがって、明るさを補正した第２の画像を物理媒体に投影できるので、画像投影装置は、物理媒体および投影された第２の画像が見やすい第２の画像を投影することができる。

本発明の態様２に係る画像投影装置は、上記態様１において、上記補正手段は、更に、上記第２の画像の色味を、上記第１の画像の特性及び上記第２の画像の特性に基づいて補正してもよい。

上記の構成によれば、画像投影装置は、物理媒体に投影する第２の画像の色味を、物理媒体を撮像して得られた第１の画像の特性と、第２の画像の特性に基づいて補正する。したがって、色味を補正した第２の画像を物理媒体に投影できるので、物理媒体に投影画像を投影させた場合、画像投影装置は、物理媒体および投影された第２の画像が見やすい第２の画像を投影することができる。

本発明の態様３に係る画像投影装置は、上記態様１または２において、上記補正手段は、更に、上記第２の画像の投影時間を、上記第１の画像の特性及び上記第２の画像の特性に基づいて制限してもよい。

上記の構成によれば、画像投影装置は、物理媒体に投影する第２の画像の投影時間を、物理媒体を撮像して得られた第１の画像の特性と、第２の画像の特性に基づいて補正する。したがって、投影時間を補正した第２の画像を物理媒体に投影できるので、物理媒体に投影画像を投影させた場合、画像投影装置は、物理媒体および投影された第２の画像が見やすい第２の画像を投影することができる。

本発明の態様４に係る画像投影装置は、上記態様１〜３の何れかにおいて、上記第１の画像と上記補正の内容と互いに関連付けて蓄積する蓄積手段を備えており、上記補正手段は、上記第２の画像取得手段が取得した第２の画像を、上記蓄積手段に蓄積された補正の方法であって、上記物理媒体を撮像して得られた第１の画像に関連付けられた補正の方法に従って補正してもよい。

上記の構成によれば、画像投影装置は、蓄積した補正の方法に従って、第２の画像を補正することができる。したがって、画像投影装置は、物理媒体および投影された第２の画像がより見やすい第２の画像を投影することができる。

本発明の態様５に係る画像投影装置は、上記態様１〜４の何れかにおいて、当該画像投影装置の周辺環境を測定する測定手段を更に備え、上記補正手段は、上記第２の画像取得手段が取得した第２の画像を、上記測定手段が測定した周辺環境を参照して補正してもよい。

上記の構成によれば、画像投影装置は、画像投影装置の周辺の環境を参照して、第２の画像を補正することができる。したがって、画像投影装置は、物理媒体および投影された第２の画像がより見やすい第２の画像を投影することができる。

本発明の態様６に係る画像投影装置は、上記態様１において、上記補正手段は、上記第２の画像の明るさを、上記第１の画像の明るさに近づけるように補正してもよい。

上記の構成によれば、画像投影装置は、物理媒体の明るさと、物理媒体に投影する第２の画像の明るさとを近付けることができる。したがって、画像投影装置は、物理媒体および投影された第２の画像が見やすい第２の画像を投影することができる。

本発明の態様７に係る画像投影装置は、上記態様２において、上記補正手段は、上記第２の画像の色味を、上記第１の画像の色味から遠ざけるように補正してもよい。

上記の構成によれば、画像投影装置は、物理媒体の色味と、物理媒体に投影する第２の画像の色味とを遠ざけることができる。したがって、画像投影装置は、物理媒体および投影された第２の画像が見やすい第２の画像を投影することができる。

本発明の態様８に係る画像投影装置は、上記態様３において、上記補正手段は、上記第１の画像の特性及び上記第２の画像の特性から定まる眩しさ指標値が予め定められた閾値を超える場合、上記第２の画像の投影時間を制限してもよい。

上記の構成によれば、画像投影装置は、物理媒体に第２の画像を投影した場合の眩しさが閾値を超えた場合、第２の画像の投影時間を制限できる。したがって、画像投影装置は、物理媒体および投影された第２の画像が見やすい第２の画像を投影することができる。

本発明の態様９に係る画像投影装置は、上記態様１において、上記第１の画像の特性は、上記第１の画像の全部又は一部の明るさ、及び、上記第１の画像の全部又は一部の色味の何れか一方又は両方であり、上記第２の画像の特性は、上記第２の画像の全部又は一部の明るさ、及び、上記第２の画像の全部又は一部の色味の何れか一方又は両方であってもよい。

上記の構成によれば、画像投影装置は、第１の画像の全部又は一部の明るさ、及び、第１の画像の全部又は一部の色味の何れか一方または両方に基づいて、第２の画像を補正することができる。また、画像投影装置は、第２の画像の全部又は一部の明るさ、及び、第２の画像の全部又は一部の色味の何れか一方または両方に基づいて、第２の画像を補正することができる。したがって、画像投影装置は、物理媒体および投影された第２の画像がより見やすい第２の画像を投影することができる。

本発明の各態様に係る画像投影装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像投影装置が備える各手段として動作させることにより上記画像投影装置をコンピュータにて実現させる画像投影装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

本発明は、画像を投影する画像投影装置に広く利用することができる。

１ コメント投影システム
２ コメント投影装置（画像投影装置）
３ コメント入力装置
１０ 制御部
１１ 撮像部（第１の画像取得手段）
１２ 通信部（第２の画像取得手段）
１３ 投影部
１４ 環境情報取得部（測定手段）
１０１ 文書データ解析部
１０２ コメントデータ解析部
１０３ 画像処理方法決定部
１０４ 投影画像生成部（補正手段）
１０５ データベース部（蓄積手段）

Claims (5)

1. 物理媒体上に画像を投影する画像投影装置において、
   上記物理媒体を撮像して得られた第１の画像を取得する第１の画像取得手段と、
   上記物理媒体に投影する第２の画像を取得する第２の画像取得手段と、
   上記第２の画像の明るさあるいは色味の少なくとも何れか一方を、上記第１の画像の特性及び上記第２の画像の特性に基づいて補正する補正手段と、を備えている、ことを特徴とする画像投影装置。
2. 上記補正手段は、上記第２の画像の明るさ及び色味の両方を、上記第１の画像の特性及び上記第２の画像の特性に基づいて補正する、ことを特徴とする請求項１に記載の画像投影装置。
3. 上記第１の画像の特性は、上記第１の画像の全部又は一部の明るさ、あるいは、上記第１の画像の全部又は一部の色味の少なくとも何れか一方を含み、
   上記第２の画像の特性は、上記第２の画像の全部又は一部の明るさ、あるいは、上記第２の画像の全部又は一部の色味の少なくとも何れか一方を含む、ことを特徴とする請求項１又は２に記載の画像投影装置。
4. 上記補正手段は、更に、上記第２の画像の投影時間を、上記第１の画像の特性及び上記第２の画像の特性に基づいて制限する、ことを特徴とする請求項１〜３までの何れか１項に記載の画像投影装置。
5. 当該画像投影装置の周辺環境を測定する測定手段を更に備え、
   上記補正手段は、上記第２の画像取得手段が取得した第２の画像を、上記測定手段が測定した周辺環境を参照して補正する、ことを特徴とする請求項１〜４までの何れか１項に記載の画像投影装置。

Images