JP2011064777A - 画像投影システム、画像投影方法および画像投影プログラム - Google Patents

Abstract

【課題】 描画像または投影画像を見やすくした画像を投影すること。
【解決手段】 画像投影システムは、投影画像をホワイトボードの描画面に投影するプロジェクタと、プロジェクタが投影画像を投影中にホワイトボードの描画面に描かれた描画像を検出する描画検出部６１と、描画像が検出される場合、該検出された描画像に基づいて、投影面に投影する投影画像のうち、少なくとも検出された描画像と重なる描画像部分を含む部分を、描画像を強調する画像または描画像を打ち消す画像に変更する変更部５７と、を備える。
【選択図】 図３

Description

この発明は画像投影システム、画像投影方法および画像投影プログラムに関し、特に投影面に画像を投影する画像投影システム、その画像投影装置で実行される画像投影方法および画像投影プログラムに関する。

会議等において、説明用の資料の画像を投影面に映し出し、説明することがなされている。近年は、説明用の資料をコンピュータに記憶させておき、そのコンピュータに表示装置としてのプロジェクタ等を接続し、コンピュータが出力する資料の画像をプロジェクタに表示させることが多い。

特開２００６−２３５１５８号公報には、第１のプロジェクタから投影された画像の投影面を撮像し、投影面の色模様を打ち消すための補正パラメータを生成し、補正パラメータに基づいて生成された補正画像を第２のプロジェクタによって投影面に投影するプロジェクションシステムが記載されている。このプロジェクションシステムによれば、投影面が色模様を有する場合であってもできるだけ白色スクリーンに投影した場合と近い色合いとなるように画像を投影することができる。

一方、プロジェクタの投影面に、文字または図形を描くことが可能なホワイトボードを用いれば、投影された画像に描画を重畳することができる。しかし、この場合、ホワイトボードに投影される投影画像の背景などとホワイトボード上に書き込まれる描画像との明度が近いと、描画像が見にくくなるという問題がある。また、投影画像中の文字と描画像の文字や図形等とが重複した場合には、投影画像中の文字が判読しにくくなるという問題がある。さらに、投影画像が複数ページからなる画像である場合は、投影画像のあるページに対して描画像が書き込まれた後、投影画像を新たなページに切り換えると、前のページに対して書き込まれた描画像と新たなページの投影画像とが重なり、新たなページの投影画像が見にくくなるという問題がある。上記の従来のプロジェクションシステムは、このような問題については何ら考慮されたものではなかった。
特開２００６−２３５１５８号公報

この発明は上述した問題点を解決するためになされたもので、この発明の目的の１つは、描画像または投影画像を見やすくした画像を投影することが可能な画像投影システムを提供することである。

この発明の他の目的は、描画像または投影画像を見やすくした画像を投影することが可能な画像投影方法を提供することである。

この発明のさらに他の目的は、描画像または投影画像を見やすくした画像を投影することが可能な画像投影プログラムを提供することである。

上述した目的を達成するために、この発明のある局面によれば、画像投影システムは、投影画像を投影面に投影する投影手段と、投影手段が投影画像を投影中に投影面に描かれた描画像を検出する描画像検出手段と、描画像が検出される場合、該検出された描画像に基づいて、投影面に投影する投影画像のうち、少なくとも検出された描画像と重なる描画像部分を含む部分を、描画像を強調する画像または描画像を打ち消す画像に変更する変更手段と、を備える。

この局面に従えば、投影画像を投影中に投影面に描かれた描画像が検出されると、描画像に基づいて、投影面に投影する投影画像のうち描画像部分を含む部分が描画像を強調する画像または描画像を打ち消す画像に変更される。このため、描画像を強調または打ち消すように変更した投影画像を投影することができる。その結果、描画像または投影画像を見やすくした画像を投影することが可能な画像投影システムを提供することができる。

好ましくは、変更手段は、投影面に投影する投影画像が検出された描画像と重なる描画像部分と該描画像部分の周辺の周辺部分とからなる対象部分を、描画像を強調する画像に変更する強調補正手段を含む。

この局面に従えば、投影面に投影する投影画像が描画像と重なる描画像部分と該描画像部分の周辺の周辺部分とからなる対象部分が、描画像を強調する画像に変更される。このため、描画像を見やすくした画像を投影することができる。

好ましくは、強調補正手段は、対象部分を、該対象部分の周辺の領域の明度より大きな明度の画像に変更する。

好ましくは、投影する投影画像から文字が表された文字領域を抽出する文字領域抽出手段をさらに備え、変更手段は、投影面に投影する投影画像が検出された描画像と重なる描画像部分と抽出された文字領域とが重なる重畳部分を、描画像を打ち消す画像に変更する打消し補正手段と、文字領域が抽出される場合、投影面に投影する投影画像が検出された描画像と重なる描画像部分とその周辺の周辺部分とからなる対象部分のうち抽出された文字領域と重ならない非重畳部分を、描画像を強調する画像に変更する強調補正手段と、を含む。

この局面に従えば、投影画像が描画像と重なる描画像部分と文字領域とが重なる重畳部分が描画像を打ち消す画像に変更され、描画像部分とその周辺の周辺部分とからなる対象部分のうち文字領域と重ならない非重畳部分が描画像を強調する画像に変更される。このため、投影画像に含まれる文字を見やすくするとともに、描画像を見やすくした画像を投影することができる。

好ましくは、打消し補正手段は、重畳部分を、該重畳部分の周辺の領域の明度よりも大きな明度の画像に変更する。

好ましくは、強調補正手段は、非重畳部分を、該非重畳部分の周辺の領域の明度よりも大きな明度の画像に変更する。

好ましくは、変更手段は、投影画像が検出された描画像と重なる描画像部分を描画像を打ち消す画像に変更する打消し補正手段を含む。

この局面に従えば、投影画像が描画像と重なる描画像部分を描画像を打ち消す画像に変更する。このため、描画像を打ち消して投影画像を見やすくした画像を投影することができる。

好ましくは、打消し補正手段は、投影手段が第１の投影画像を投影した後に第２の投影画像を投影する場合において、描画像検出手段により第２の投影画像が投影される前に描画像が検出される場合、第２の投影画像を変更する。

好ましくは、打消し補正手段は、描画像部分を、該描画像部分の周辺の領域の明度よりも大きな明度の画像に変更する。

この発明の他の局面によれば、画像投影方法は、投影画像を投影面に投影するステップと、投影するステップにおいて投影画像が投影されている最中に投影面に描かれた描画像を検出するステップと、描画像が検出される場合、該検出された描画像に基づいて、投影面に投影する投影画像のうち、少なくとも検出された描画像と重なる描画像部分を含む部分を、描画像を強調する画像または描画像を打ち消す画像に変更するステップと、を含む。

この局面に従えば、描画像または投影画像を見易くした画像を投影することが可能な画像投影方法を提供することができる。

この発明の他の局面によれば、画像投影プログラムは、投影画像を投影面に投影するステップと、投影するステップにおいて投影画像が投影されている最中に投影面に描かれた描画像を検出するステップと、描画像が検出される場合、該検出された描画像に基づいて、投影面に投影する投影画像のうち、少なくとも検出された描画像と重なる描画像部分を含む部分を、描画像を強調する画像または描画像を打ち消す画像に変更するステップと、をコンピュータに実行させる。

この局面に従えば、描画像または投影画像を見易くした画像を投影することが可能な画像投影プログラムを提供することができる。

以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。

図１は、本発明の実施の形態の１つにおける画像投影システムの一例を示す図である。図１を参照して、画像投影システム１は、画像処理装置としてのＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１００と、プロジェクタ２００と、カメラ３００と、ホワイトボード４００と、を含む。

本実施の形態における画像投影システム１においては、会議の発表者が発表用の資料の電子データである画像データを、ＭＦＰ１００に記憶させる。ここでは、画像データは、複数のページのページデータを含む場合を例に説明する。ＭＦＰ１００は、画像データに含まれる複数ページのうちで表示させるためのページのページデータをプロジェクタ２００に送信し、プロジェクタ２００にページデータの画像を表示させる。ＭＦＰ１００からプロジェクタ２００に送信されるページデータは、プロジェクタ２００が読み取り可能であれば、そのフォーマットは限定されない。ＭＦＰ１００は、画像データに含まれる複数ページのページデータを順にプロジェクタ２００に送信し、プロジェクタ２００は、ＭＦＰ１００から受信されるページデータの画像を表示する。

なお、ＭＦＰ１００に記憶される画像データは、パーソナルコンピュータにより生成されたデータであってもよく、ＭＦＰ１００が原稿を読み取って取得するデータであってもよい。

プロジェクタ２００は、液晶表示装置、レンズおよび光源を備え、ＭＦＰ１００から受信するページデータの画像をホワイトボード４００に投影する。液晶表示装置は画像を表示し、光源から発せられる光は、液晶表示装置を透過し、レンズを介してホワイトボード４００に照射される。プロジェクタ２００から照射される光が、ホワイトボード４００の描画面４０１に照射されると、液晶表示装置に表示された画像を拡大した画像４０３が描画面４０１に映し出される。本実施の形態における画像投影システムにおいては、ホワイトボード４００の描画面４０１を、プロジェクタ２００の投影面としている。

カメラ３００は、画角がホワイトボード４００の描画面４０１に合致するように設置される。カメラ３００は、ＭＦＰ１００により制御され、ホワイトボード４００の描画面４０１を撮像し、撮像して得られる撮像画像をＭＦＰ１００に送信する。カメラ３００が描画面４０１を撮像して出力する撮像画像は、プロジェクタ２００がページデータの画像を投影している場合には、描画面４０１に投影されたページデータの画像４０３を含み、プロジェクタ２００がページデータの画像を投影していない場合には、描画面４０１を撮像した画像を含む。また、カメラ３００が描画面４０１を撮像して出力する撮像画像は、描画面４０１に文字または図形が描かれている場合は、描画面４０１に描かれた描画像を含み、文字または図形が描かれていない場合は、描画面４０１に描かれた描画像を含まない。さらに、カメラ３００が描画面４０１を撮像して出力する撮像画像は、プロジェクタ２００がページデータの画像を投影しており、かつ、描画面４０１に文字または図形が描かれている場合は、描画面４０１に投影されたページデータの画像４０３と描画面４０１に描かれた描画像とを含む。

図２は、ＭＦＰのハードウェア構成の一例を示すブロック図である。図２を参照して、ＭＦＰ１００は、メイン回路１１０と、原稿を読み取るための原稿読取部１３０と、原稿を原稿読取部１３０に搬送するための自動原稿搬送装置１２０と、原稿読取部１３０が原稿を読み取って出力する静止画像を用紙等に形成するための画像形成部１４０と、画像形成部１４０に用紙を供給するための給紙部１５０と、ユーザインターフェースとしての操作パネル１６０と、を含む。メイン回路１１０は、ＣＰＵ１１１と、通信インターフェース（Ｉ／Ｆ）部１１２と、ＲＯＭ１１３と、ＲＡＭ１１４と、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）１１５と、大容量記憶装置としてのハードディスクドライブ（ＨＤＤ）１１６と、ファクシミリ部１１７と、ネットワークＩ／Ｆ１１８と、フラッシュメモリ１１９Ａが装着されるカードインターフェース（Ｉ／Ｆ）１１９とを含む。ＣＰＵ１１１は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０および操作パネル１６０と接続され、ＭＦＰ１００の全体を制御する。

ＲＯＭ１１３は、ＣＰＵ１１１が実行するプログラム、およびそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１１４は、ＣＰＵ１１１がプログラムを実行する際の作業領域として用いられる。また、ＲＡＭ１１４は、原稿読取部１３０から連続的に送られてくる静止画像を一時的に記憶する。

操作パネル１６０は、ＭＦＰ１００の上面に設けられ、表示部１６０Ａと操作部１６０Ｂとを含む。表示部１６０Ａは、液晶表示装置（ＬＣＤ）、有機ＥＬＤ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の表示装置であり、ユーザに対する指示メニューや取得した画像データに関する情報等を表示する。操作部１６０Ｂは、複数のキーを備え、キーに対応するユーザの操作による各種の指示、文字、数字などのデータの入力を受け付ける。操作部１６０Ｂは、表示部１６０Ａ上に設けられたタッチパネルをさらに含む。

通信Ｉ／Ｆ部１１２は、ＭＦＰ１００をカメラ３００およびプロジェクタ２００に接続するためのインターフェースである。ここでは、通信Ｉ／Ｆ部１１２は、カメラ３００およびプロジェクタ２００とシリアル通信する。ＣＰＵ１１１は、通信Ｉ／Ｆ部１１２を介してプロジェクタ２００およびカメラ３００との間で通信し、データを送受信する。

ファクシミリ部１１７は、公衆交換電話網（ＰＳＴＮ）に接続され、ＰＳＴＮにファクシミリデータを送信する、またはＰＳＴＮからファクシミリデータを受信する。ファクシミリ部１１７は、受信したファクシミリデータを、ＨＤＤ１１６に記憶する、または画像形成部１４０に出力する。画像形成部１４０は、ファクシミリ部１１７により受信されたファクシミリデータを用紙に印刷する。また、ファクシミリ部１１７は、ＨＤＤ１１６に記憶されたデータをファクシミリデータに変換して、ＰＳＴＮに接続されたファクシミリ装置に送信する。

ネットワークＩ／Ｆ１１８は、ＭＦＰ１００をローカルエリアネットワーク（ＬＡＮ）に接続するためのインターフェースである。ＣＰＵ１１１は、ネットワークＩ／Ｆ１１８を介してＬＡＮまたはＬＡＮを介して接続されたインターネットに接続されたコンピュータと通信が可能である。インターネットに接続されるコンピュータには、電子メールを送受信する電子メールサーバを含む。なお、ＬＡＮは、有線または無線を問わない。また、ネットワークＩ／Ｆ１１８が接続されるネットワークは、ＬＡＮに限らず、インターネット、ワイドエリアネットワーク（ＷＡＮ）、公衆交換電話網等であってもよい。

カードＩ／Ｆ１１９は、フラッシュメモリ１１９Ａが装着される。ＣＰＵ１１１は、カードＩ／Ｆ１１９を介してフラッシュメモリ１１９Ａにアクセス可能である。ＣＰＵ１１１は、カードＩ／Ｆ１１９に装着されたフラッシュメモリ１１９Ａに記録されたプログラムをＲＡＭ１１４にロードして実行する。なお、ＣＰＵ１１１が実行するプログラムは、フラッシュメモリ１１９Ａに記録されたプログラムに限られず、ＨＤＤ１１６に記憶されたプログラムをＲＡＭ１１４にロードして実行するようにしてもよい。この場合、ネットワークＩ／Ｆ１１８を介してＭＦＰ１００と通信可能な、ＬＡＮ等に接続された他のコンピュータが、ＭＦＰ１００のＨＤＤ１１６に記憶されたプログラムを書換える、または、新たなプログラムを追加して書き込むようにしてもよい。さらに、ＭＦＰ１００が、ネットワークに接続された他のコンピュータからプログラムをダウンロードして、そのプログラムをＨＤＤ１１６に記憶するようにしてもよい。

なお、プログラムを記憶する記録媒体としては、フラッシュメモリ１１９Ａに限られず、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）／ＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌ Ｄｉｓｃ／ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ））、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ＥＰＲＯＭ）などの半導体メモリでもよい。

ここでいうプログラムは、ＣＰＵ１１１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

なお、本実施の形態における画像投影システム１においては、ＭＦＰ１００をプロジェクタ２００およびカメラ３００と通信Ｉ／Ｆ部１１２で接続し、シリアル通信する例を示すが、パラレル通信で接続するようにしてもよいし、ネットワークＩ／Ｆ１１８を介して接続するようにしてもよい。

図３は、ＭＦＰが備えるＣＰＵの機能の概要を示す機能ブロック図である。図３に示す機能は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３またはフラッシュメモリ１１９Ａに記憶された画像投影プログラムを実行することにより、実現される。図３を参照して、ＣＰＵ１１１により実現される機能は、ユーザによる操作を受け付ける操作受付部５１と、プロジェクタ２００を制御するための投影制御部５３と、カメラ３００を制御するための撮像制御部５９と、カメラ３００により撮像された撮像画像から描画像を検出する描画検出部６１と、プロジェクタ２００に投影させる投影画像を変更する変更部５７と、プロジェクタ２００に投影させる投影画像から文字を抽出する文字領域抽出部５５と、を含む。

操作受付部５１は、ユーザが操作部１６０Ｂに入力する操作を受け付け、受け付けた操作を投影制御部５３および変更部５７に出力する。また、ＭＦＰ１００が遠隔操作される場合には、通信Ｉ／Ｆ部１１２またはネットワークＩ／Ｆ１１８に接続された遠隔操作端末に、ユーザが入力する操作を受け付ける。例えば、プロジェクタ２００を、遠隔操作端末として機能させるようにする。具体的には、遠隔操作のための操作画面を通信Ｉ／Ｆ部１１２を介してプロジェクタ２００に送信し、プロジェクタ２００が操作画面をＬＣＤ等の表示装置に表示するようにし、ユーザがプロジェクタ２００に、操作画面に従って操作を入力すれば、プロジェクタ２００がＭＦＰ１００に入力された操作を送信する。また、プロジェクタ２００とＭＦＰ１００とがＬＡＮを介して接続される場合、ＭＦＰ１００をＷｅｂサーバとして機能させ、プロジェクタ２００にブラウジングプログラムをインストールすれば、ＭＦＰ１００から遠隔操作のための操作画面をＷｅｂページとしてプロジェクタ２００に送信することができるので、プロジェクタ２００にＭＦＰ１００を遠隔操作するための専用のプログラムをインストールすることなく、プロジェクタ２００を遠隔操作端末として機能させることができる。

投影制御部５３は、通信Ｉ／Ｆ部１１２を介して接続されるプロジェクタ２００を制御し、プロジェクタ２００に投影画像を送信し、投影画像を投影させる。投影制御部５３は、操作受付部５１から入力される操作に従って、ＨＤＤ１１６に予め記憶された画像データ９１を読み出し、操作受付部５１から入力される操作に従って、画像データに含まれる複数ページのページデータのうちから１つのページデータを選択し、選択されたページデータの画像を通信Ｉ／Ｆ部１１２を介して、プロジェクタ２００に送信する。ここでは、投影制御部５３がプロジェクタ２００に送信し、投影させる画像を投影画像という。操作受付部５１から投影制御部５３に入力される操作は、ここでは、画像データ９１を特定する操作と、次のページのページデータの選択を指示するためのページ送り操作と、１つ前のページのページデータの選択を指示するためのページ戻し操作である。投影制御部５３は、画像データの最初に第１ページのページデータを選択し、プロジェクタ２００に第１ページのページデータの投影画像を投影させ、それ以降は、操作受付部５１から入力される操作に従って、選択されるページデータの投影画像をプロジェクタ２００に投影させる。

また、投影制御部５３がプロジェクタ２００に投影させる投影画像は、ページデータの画像の他に、変更部５７より入力される画像を含む。変更部５７より入力される画像については後述する。

撮像制御部５９は、通信Ｉ／Ｆ部１１２を介して接続されるカメラ３００を制御し、カメラ３００にプロジェクタ２００の投影面（ホワイトボード４００の描画面４０１）を撮像させ、カメラ３００が出力する撮像画像を受信する。撮像制御部５９は、撮像画像を文字領域抽出部５５および描画検出部６１に出力する。

描画検出部６１は、撮像制御部５９から入力される撮像画像から描画像を抽出する。具体的には、投影制御部５３がプロジェクタ２００に投影させている投影画像の基になるページデータの画像と、撮像画像との差分を、描画像として抽出する。また、投影制御部５３がプロジェクタ２００に投影画像を投影させていない間に撮像制御部５９から入力される撮像画像を描画像としてもよい。描画検出部６１は、抽出された描画像を変更部５７に出力する。

文字領域抽出部５５は、投影制御部５３がプロジェクタ２００に投影させている投影画像の基になるページデータの画像から文字が表された文字領域を抽出する。文字領域抽出部５５は、抽出された文字領域を変更部５７に出力する。文字領域抽出部５５は、文字自体を文字領域として抽出する。画像中から文字領域を抽出する技術は、周知な技術を用いればよい。例えば、画像を複数のブロックに分割し、隣接する画素の明度の変化が所定の値以上の画素の数が所定の数以上のブロックを抽出し、抽出されたブロック中で、画素値が所定の値以上の画素の集まりを文字として抽出する。なお、文字を囲む矩形の領域を文字領域として抽出してもよい。

変更部５７は、描画検出部６１より描画像が入力されると、プロジェクタ２００により投影される投影画像を変更し、変更後の投影画像を投影制御部５３に出力する。変更部５７は、打消し補正部７１と、強調補正部７３と、を含む。変更部５７は、投影画像が投影されている最中に描画検出部６１により描画像が検出されると、強調補正部７３を能動化し、投影制御部５３が第１の投影画像を投影した後に第１の投影画像とは別の第２の投影画像を投影する場合において、第２の投影画像が投影される前に描画検出部６１により描画像が検出される場合、打消し補正部７１を能動化する。

強調補正部７３は、投影画像と描画検出部６１から入力される描画像とが重なる描画像部分を特定し、投影画像の描画像部分とその周辺の周辺部分とからなる対象部分を、描画像を強調する画像に変更する。具体的には、投影画像の対象部分の明度を、投影画像の対象部分の周辺の部分の明度よりも高い明度に変更する。より具体的には、対象部分の明度を所定の値とし、対象部分以外の明度を０とする第１強調補正用画像を生成し、第１強調補正用画像を投影画像と合成することにより、投影画像を変更する。

ここで、強調補正について具体的に説明する。図４は、投影画像の一例を示す第１の図である。なお、図中ハッチング部分は、同一色、例えば青の領域を示す。図５は、撮像画像の一例を示す第１の図である。図５に示す撮像画像は、図４に示した投影画像が投影されている状態で、ホワイトボード４００の描画面４０１に「てがき」の文字および矢印等の図形が、例えば黒色で描かれた後にカメラ３００により撮像して得られる撮像画像を示している。黒色の描画が投影画像の青色の領域に描かれるので、描画像として描かれた手書き文字が見づらくなっている。

図６（Ａ）は、描画像の一例を示す第１の図である。図５に示した撮像画像と図４に示した投影画像との差分から描画像が抽出される。図６（Ｂ）は、描画像の明度の変化を部分的に示す第１の図である。図６（Ｂ）を参照して、描画像部分の明度が描画像部分以外の明度よりも低い。

図７（Ａ）は、第１強調補正用画像の一例を示す図である。図７（Ｂ）は、第１強調補正用画像の明度の変化を部分的に示す図である。図７（Ａ）および図７（Ｂ）を参照して、第１強調補正用画像は、描画像部分とその周辺の周辺部分とからなる対象部分の明度を所定の値とし、対象部分以外の部分の明度を０としたものである。

図８（Ａ）は、変更後の投影画像の一例を示す第１の図である。図８（Ｂ）は、変更前後の投影画像の明度の変化を部分的に示す第１の図である。図８（Ｂ）は、対象部分において変更前の明度を点線で示し、変更後の明度を実線で示している。対象部分以外の部分においては変更前後で明度は同じである。図８（Ａ）および図８（Ｂ）を参照して、変更後の投影画像は、変更前の投影画像と比較して、対象部分の明度が大きい。

図９（Ａ）は、変更後の投影画像が投影された状態における撮像画像の一例を示す図である。図９（Ｂ）は、変更後の投影画像が投影された状態における撮像画像の明度の変化を部分的に示す第１の図である。図９（Ａ）および図９（Ｂ）を参照して、図８（Ａ）に示した変更後の投影画像が、ホワイトボード４００の描画面４０１に投影されると、描画面４０１に描かれた描画像が、投影画像の対象部分に含まれる。このため、描画像の周辺の明度が高くなり、描画像を視認し易くなる。

図３に戻って、打消し補正部７１は、操作受付部５１がページ送り操作またはページ戻し操作を受け付けると、投影の対象となるページデータの画像を投影画像とし、投影画像と描画検出部６１から入力される描画像とが重なる描画像部分を特定し、投影画像の描画像部分を描画像を打ち消す画像に変更する。具体的には、投影画像の描画部分の明度を、描画部分の周辺の領域の明度よりも大きい明度に変更する。より具体的には、描画像の明度を反転した第１打消し補正用画像を生成し、第１打消し補正用画像と投影画像とを合成する。第１打消し補正用画像は、画像の明度を０〜２５５とする場合、描画像部分以外の部分の明度を０とし、描画像部分の明度を、２５５から描画像の描画部分の明度を減算した値としたものである。

これにより、プロジェクタ２００により新たなページのページデータの画像が投影画像として投影される場合、ホワイトボード４００の描画面４０１に描かれた描画と重なる部分の明度が高い投影画像に変更されて投影される。このため、ホワイトボード４００に描かれた描画を目立たなくすることができる。

ここで、打消し補正について具体的に説明する。図１０は、投影画像の一例を示す第２の図である。図１１は、撮像画像の一例を示す第２の図である。図１１に示す撮像画像は、図１０に示した投影画像が投影されている状態で、ホワイトボード４００の描画面４０１に「てがき」の文字および矢印等の図形が、例えば黒色で描かれた後にカメラ３００により撮像して得られる撮像画像を示している。

図１２（Ａ）は、描画像の一例を示す第２の図である。図１１に示した撮像画像と図１０に示した投影画像との差分から描画像が抽出される。図１２（Ｂ）は、描画像の明度の変化を部分的に示す第２の図である。図１２（Ｂ）を参照して、描画像部分の明度が描画像部分以外の明度よりも低い。

図１３（Ａ）は、第１打消し補正用画像の一例を示す図である。図１３（Ｂ）は、第１打消し補正用画像の明度の変化を部分的に示す図である。図１３（Ａ）および図１３（Ｂ）を参照して、第１打消し補正用画像は、描画像部分以外の部分の明度を０とし、描画像部分の明度を、２５５から描画像の描画部分の明度を減算した値としたものである。

図１４（Ａ）は、変更前の投影画像の一例を示す図である。図１４（Ｂ）は、変更後の投影画像の一例を示す第２の図である。図１４（Ｃ）は、変更前後の投影画像の明度の変化を部分的に示す第２の図である。図１４（Ｃ）を参照して、描画像部分において変更前の明度を点線で示し、変更後の明度を実線で示している。描画像部分以外の部分においては変更前後で明度は同じである。図１４（Ａ）〜図１４（Ｃ）を参照して、変更後の投影画像は、変更前の投影画像と比較して、描画像部分の明度が大きい。

図１５は、変更後の投影画像が投影された状態における撮像画像の明度の変化を部分的に示す第２の図である。図１５を参照して、変更後の投影画像が、ホワイトボード４００の描画面４０１に投影されると、描画面４０１に描かれた描画像に照射される光量が多くなるので、描画像が目立たなくなる。このため、描画像が描かれていない状態のホワイトボード４００の描画面４０１に変更前の投影画像が投影される場合と同様の画像を表示させることができる。

図３に戻って、変更部５７は、投影画像が投影されている最中に描画検出部６１により描画像が検出され、さらに、文字領域抽出部５５から文字領域が入力される場合、打消し補正部７１と、強調補正部７３とを同時に能動化する。具体的には、打消し補正部７１は、文字領域抽出部５５から文字領域が入力される場合、描画像部分と文字領域とが重なる重畳部分を、描画像を打ち消す画像に変更する。具体的には、投影画像の重畳部分の明度を、投影画像の重畳部分の周辺の部分の明度よりも大きな明度に変更する。より具体的には、投影画像の重畳部分の明度を、重畳部分の周辺の領域の明度よりも大きな明度に変更する。より具体的には、重畳部分の明度を、２５５から描画像の重畳部分の明度を減算した値とし、重畳部分以外の部分の明度を０とした第２打消し補正用画像を生成し、第２打消し補正用画像と投影画像とを合成する。

強調補正部７３は、文字領域抽出部５５から文字領域が入力される場合、投影画像が描画像と重なる描画像部分とその周辺の周辺部分とからなる対象部分のうち文字領域と重ならない非重畳部分を特定し、投影画像の非重畳部分を、描画像を強調する画像に変更する。具体的には、投影画像の非重畳部分の明度を、投影画像の非重畳部分の周辺の部分の明度よりも大きな明度に変更する。より具体的には、非重畳部分の明度を所定の値とし、非重畳部分以外の明度を０とする第２強調補正用画像を生成し、第２強調補正用画像を打消し補正部７１により第２打消し補正用画像と合成された投影画像と合成することにより、投影画像を変更する。

ここで、打消し・強調補正処理について具体的に説明する。図１６は、投影画像の一例を示す第３の図である。なお、図中ハッチング部分は、同一色、例えば青の領域を示す。図１７は、撮像画像の一例を示す図である。図１７に示す撮像画像は、図１６に示した投影画像が投影されている状態で、ホワイトボード４００の描画面４０１に「てがき」の文字および円グラフの図形が、例えば黒色で描かれた後にカメラ３００により撮像して得られる撮像画像を示している。

図１８は、描画像の一例を示す第３の図である。図１７に示した撮像画像と図１６に示した投影画像との差分から描画像が抽出される。図１９は、変更後の投影画像が投影された状態における撮像画像の一部を示す図である。図１９においては、描画像部分と文字領域とが重なる重畳部分を細かなハッチングで示し、描画像部分とその周辺の周辺部分とからなる対象部分のうち文字領域と重ならない非重畳部分を粗いハッチングで示す。細かなハッチングで示される重畳部分の明度が周辺の領域の明度より大きいので、描画像が打ち消され、文字が見やすくなる。さらに、粗いハッチングで示される非重畳部分の明度が、非重畳部分以外の対象部分の明度よりも大きいので、描画像が見易くなる。

図２０は、投影処理の流れの一例を示すフローチャートである。投影処理は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３またはフラッシュメモリ１１９Ａに記憶された画像投影プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図２０を参照して、ＣＰＵ１１１は、ＨＤＤ１１６に記憶されている画像データ９１を読み出す（ステップＳ０１）。ユーザが操作部１６０Ｂに入力する操作、またはＭＦＰ１００が遠隔操作端末から遠隔操作される場合には、ユーザが遠隔操作端末に入力する操作に従って、ＨＤＤ１１６に記憶されている画像データ９１を特定し、それを読み出す。

次に、画像データの第１ページのページデータの画像を投影画像に設定する（ステップＳ０２）。そして、投影画像をプロジェクタ２００に投影させる（ステップＳ０３）。この段階で、ホワイトボード４００の描画面４０１に第１ページのページデータの画像が投影される。

次のステップＳ０４においては、カメラ３００を制御して投影面（ホワイトボード４００の描画面４０１）を撮像させる。そして、カメラ３００が出力する撮像画像を取得する（ステップＳ０５）。そして、描画像を検出したか否かを判断する（ステップＳ０６）。ステップＳ０３において投影した投影画像と、ステップＳ０５において取得された撮像画像との差分を描画像とする。描画像を検出したならば処理をステップＳ０７に進めるが、そうでなければ処理をステップＳ１８に進める。

ステップＳ０７においては、ステップＳ０３において投影した投影画像から文字を抽出する。そして、ステップＳ０６において抽出された描画像とステップＳ０７において抽出された文字とが重なるか否かを判断する（ステップＳ０８）。描画像が含まれる描画像部分と文字で構成される文字領域とが重なるか否かを判断する。描画像部分と文字領域とが重なるならば処理をステップＳ０９に進め、打消し・強調補正処理を実行し、描画像部分と文字領域とが重ならなければ処理をステップＳ１４に進め、強調補正処理を実行する。なお、投影画像から文字が抽出されない場合は、描画像と文字とが重ならないものとし、処理をステップＳ１４に進める。

ステップＳ０９においては、重畳部分を特定する。重畳部分は、描画像部分と文字領域とが重なる部分である。そして、非重畳部分を特定する（ステップＳ１０）。非重畳部分は、描画像部分とその周辺の周辺部分とからなる対象部分のうち文字領域と重ならない部分である。次のステップＳ１１においては、描画像を打ち消すための第２打消し補正用画像を生成する。第２打消し補正用画像は、重畳部分の明度を、２５５から描画像の重畳部分の明度を減算した値とし、重畳部分以外の部分の明度を０とした画像である。

そして、ステップＳ１２においては、描画像を強調するための第２強調補正用画像を生成する。第２強調補正用画像は、非重畳部分の明度を所定の値とし、非重畳部分以外の明度を０とする画像である。次のステップＳ１３においては、ステップＳ０４において投影された投影画像に、ステップＳ１１において生成された第２打消し補正用画像と、ステップＳ１２において生成された第２強調補正用画像とを合成した合成画像を生成する。そして、合成画像をプロジェクタ２００に投影させる（ステップＳ１７）。この段階で、ホワイトボード４００の描画面４０１に描画像が描かれているが、投影画像の描画像部分と文字領域とが重なる重畳部分が周辺よりも明度が大きく、描画像部分とその周辺の周辺部分とからなる対象部分であって文字領域と重ならない非重畳部分の明度が周辺よりも明度が大きい投影画像が投影される。このため、描画像と文字とが重なる場合に、双方の判別が可能なように投影画像を投影することができる。

一方、ステップＳ１４においては、対象部分を特定する。対象部分は、描画像部分とその周辺の周辺部分とからなる部分である。次のステップＳ１５においては、描画像を強調するための第１強調補正用画像を生成する。第１強調補正用画像は、対象部分の明度を所定の値とし、対象部分以外の明度を０とする画像である。次のステップＳ１６においては、ステップＳ０４において投影された投影画像に、ステップＳ１５において生成された第１強調補正用画像を合成した合成画像を生成し、処理をステップＳ１７に進める。ステップＳ１７においては、ステップＳ１６において生成された合成画像をプロジェクタ２００に投影させる。この段階で、ホワイトボード４００の描画面４０１に描画像が描かれているが、描画像部分とその周辺の周辺部分からなる対象部分が周辺よりも明度が大きな投影画像が投影される。このため、描画像が判別しやすくなるように投影画像を投影することができる。

ステップＳ１８においては、ページ送り操作を受け付けたか否かを判断する。ページ送り操作を受け付けたならば処理をステップＳ１９に進めるが、そうでなければ処理をステップＳ０４に戻す。なお、ここでは、ページ送り操作を受け付ける場合について説明するが、投影画像を切り換えるための操作であれば、ページ戻し操作等の別の操作であってもよい。

ステップＳ１９においては、プロジェクタ２００に画像の投影を中止させる。そして、カメラ３００を制御して投影面（ホワイトボード４００の描画面４０１）を撮像させ（ステップＳ２０）、カメラ３００が出力する撮像画像を取得する（ステップＳ２１）。そして、ステップＳ０１において読み出された画像データに含まれる複数のページデータのうち、それまで処理対象としていたページの次のページのページデータの画像を投影画像に設定する（ステップＳ２２）。

ステップＳ２３においては、描画像を検出したか否かを判断する。ステップＳ２１において取得された撮像画像に、描画像が含まれるか否かを判断する。描画像を検出したならば処理をステップＳ２４に進めるが、そうでなければ処理をステップＳ０３に戻す。

ステップＳ２４においては、描画像を打ち消すための第１打消し補正用画像を生成する。第１打消し補正用画像は、描画像を含む描画像部分の明度を、２５５から撮像画像の描画像部分の明度を減算した値とし、描画像部分以外の部分の明度を０とした画像である。

そして、ステップＳ２５においては、ステップＳ２２において設定された投影画像に、ステップＳ２４において生成された第１打消し補正用画像を合成した合成画像を生成する。そして、合成画像を新たな投影画像に設定し、処理をステップＳ０３に戻す。ステップＳ０３においては、新たな投影画像、換言すれば、新たなページデータの画像に第１打消し補正用画像を合成した合成画像をプロジェクタ２００に投影させる。この段階で、ホワイトボード４００の描画面４０１に描画像が描かれているが、投影画像の描画像部分は周辺の部分よりも明度が大きいので、描画像が打ち消され新たなページの投影画像が見やすくなる。

以上説明したように、本実施の形態における画像投影システム１は、投影画像を投影中にホワイトボード４００の描画面４０１に描かれた描画像が検出されると、描画像に基づいて、投影面に投影する投影画像を変更する。このため、ホワイトボード４００の描画面４０１に描かれた描画像を強調または打ち消すように変更した投影画像を投影することができる。

具体的には、ホワイトボード４００の描画面４０１に投影する投影画像が描画像と重なる描画像部分と該描画像部分の周辺の周辺部分とからなる対象部分を、描画像を強調する画像に変更する。このため、ホワイトボード４００の描画面４０１に描かれた描画像を見やすくすることができる。

より具体的には、投影画像の対象部分を、該対象部分の周辺の領域の明度より大きな明度の画像に変更する。このため、描画像の周辺の明度が高くなるので、描画像が投影画像と分離され、描画像が見やすくなる。

また、投影画像が文字の表された文字領域を含む場合、投影画像が描画像と重なる描画像部分と文字領域とが重なる重畳部分を描画像を打ち消す画像に変更し、描画像部分とその周辺の周辺部分とからなる対象部分のうち文字領域と重ならない非重畳部分を描画像を強調する画像に変更する。このため、投影画像に含まれる文字を見やすくするとともに、描画像を見やすくした画像に変更することができる。

また、重畳部分を、描画像部分の周辺の領域の明度よりも大きな明度の画像に変更する。重畳部分の明度が大きくなるので、描画像に照射される光量が増えて、描画像が目立たなくなるので、文字を見やすくすることができる。

また、非重畳部分を、該非重畳部分の周辺の領域の明度よりも大きな明度の画像に変更する。描画像の周辺の明度が大きくなるので、描画像を見易くすることができる。

また、投影する画像が別の画像に切り換わると、別の画像を、それの描画像と重なる描画像部分を描画像を打ち消すように変更するので、描画像を打ち消して別の画像を見やすくすることができる。

また、描画像部分の明度を、描画像部分の周辺の領域の明度よりも大きな明度に変更することにより、描画像を打ち消すように変更するので、描画像に投影する光量を増加させて、描画像を目立たなくすることができる。

なお、上述した実施の形態においては、画像投影システム１を、ＭＦＰ１００、プロジェクタ２００およびカメラ３００で構成したが、ＭＦＰ１００は、プロジェクタ２００およびカメラ３００を制御可能であれば、パーソナルコンピュータであってもよい。また、プロジェクタ２００にカメラ３００を内蔵し、図３に示した機能を備えるようにし、画像投影システム１をプロジェクタ２００単体で実現するようにしてもよい。

また、図２０に示した処理を実行するための画像投影方法または、その画像投影方法をコンピュータに実行させるための画像投影プログラムとして本発明を捕らえることができるのは言うまでもない。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

＜付記＞
（１） 前記描画像検出手段は、前記投影面を読取る読取手段と、
前記読取手段により異なる時に読取られた２つの撮像画像を比較する比較手段と、を含む、請求項１〜９のいずれかに記載の画像投影システム。
（２） 前記比較手段は、前記投影手段が投影画像を投影している状態において前記読取手段により異なる時に読取られた２つの撮像画像を比較する、（１）に記載の画像投影システム。
（３） 前記読取手段は、前記投影面を撮像する撮像手段を含む、（１）に記載の画像投影システム。

本発明の実施の形態の１つにおける画像投影システムの一例を示す図である。 ＭＦＰのハードウェア構成の一例を示すブロック図である。 ＭＦＰが備えるＣＰＵの機能の概要を示す機能ブロック図である。 投影画像の一例を示す第１の図である。 撮像画像の一例を示す第１の図である。 （Ａ）は描画像の一例を示す第１の図であり、（Ｂ）は描画像の明度の変化を部分的に示す第１の図である。 （Ａ）は第１強調補正用画像の一例を示す図であり、（Ｂ）は第１強調補正用画像の明度の変化を部分的に示す図である。 （Ａ）は変更後の投影画像の一例を示す第１の図であり、（Ｂ）は変更前後の投影画像の明度の変化を部分的に示す第１の図である。 （Ａ）は変更後の投影画像が投影された状態における撮像画像の一例を示す図であり、（Ｂ）は変更後の投影画像が投影された状態における撮像画像の明度の変化を部分的に示す第１の図である。 投影画像の一例を示す第２の図である。 撮像画像の一例を示す第２の図である。 （Ａ）は描画像の一例を示す第２の図であり、（Ｂ）は描画像の明度の変化を部分的に示す第２の図である。 （Ａ）は第１打消し補正用画像の一例を示す図であり、（Ｂ）は第１打消し補正用画像の明度の変化を部分的に示す図である。 （Ａ）は変更前の投影画像の一例を示す図であり、（Ｂ）は変更後の投影画像の一例を示す第２の図であり、（Ｃ）は変更前後の投影画像の明度の変化を部分的に示す第２の図である。 変更後の投影画像が投影された状態における撮像画像の明度の変化を部分的に示す第２の図である。 投影画像の一例を示す第３の図である。 撮像画像の一例を示す第３の図である。 描画像の一例を示す第３の図である。 変更後の投影画像が投影された状態における撮像画像の一部を示す図である。 投影処理の流れの一例を示すフローチャートである。

１ 画像投影システム、５１ 操作受付部、５３ 投影制御部、５５ 文字領域抽出部、５７ 変更部、５９ 撮像制御部、６１ 描画検出部、７１ 打消し補正部、７３ 強調補正部、９１ 画像データ、１１０ メイン回路、１１１ ＣＰＵ、１１２ 通信Ｉ／Ｆ部、１１３ ＲＯＭ、１１４ ＲＡＭ、１１５ ＥＥＰＲＯＭ、１１６ ＨＤＤ、１１７ ファクシミリ部、１１８ ネットワークＩ／Ｆ、１１９ カードＩ／Ｆ、１１９Ａ フラッシュメモリ、１２０ 自動原稿搬送装置、１３０ 原稿読取部、１４０ 画像形成部、１５０ 給紙部、１６０ 操作パネル、１６０Ａ 表示部、１６０Ｂ 操作部、２００ プロジェクタ、３００ カメラ、４００ ホワイトボード、４０１ 描画面。

Claims (11)

1. 投影画像を投影面に投影する投影手段と、
   前記投影手段が投影画像を投影中に前記投影面に描かれた描画像を検出する描画像検出手段と、
   前記描画像が検出される場合、該検出された描画像に基づいて、前記投影面に投影する投影画像のうち、少なくとも前記検出された描画像と重なる描画像部分を含む部分を、前記描画像を強調する画像または前記描画像を打ち消す画像に変更する変更手段と、を備えた画像投影システム。
2. 前記変更手段は、前記投影面に投影する投影画像が前記検出された描画像と重なる描画像部分と該描画像部分の周辺の周辺部分とからなる対象部分を、前記描画像を強調する画像に変更する強調補正手段を含む、請求項１に記載の画像投影システム。
3. 前記強調補正手段は、前記対象部分を、該対象部分の周辺の領域の明度より大きな明度の画像に変更する、請求項２に記載の画像投影システム。
4. 前記投影する投影画像から文字が表された文字領域を抽出する文字領域抽出手段をさらに備え、
   前記変更手段は、
   前記投影面に投影する投影画像が前記検出された描画像と重なる描画像部分と前記抽出された文字領域とが重なる重畳部分を、前記描画像を打ち消す画像に変更する打消し補正手段と、
   前記文字領域が抽出される場合、前記投影面に投影する投影画像が前記検出された描画像と重なる描画像部分とその周辺の周辺部分とからなる対象部分のうち前記抽出された文字領域と重ならない非重畳部分を、前記描画像を強調する画像に変更する強調補正手段と、を含む、請求項１に記載の画像投影システム。
5. 前記打消し補正手段は、前記重畳部分を、該重畳部分の周辺の領域の明度よりも大きな明度の画像に変更する、請求項４に記載の画像投影システム。
6. 前記強調補正手段は、前記非重畳部分を、該非重畳部分の周辺の領域の明度よりも大きな明度の画像に変更する、請求項４または５に記載の画像投影システム。
7. 前記変更手段は、前記投影画像が前記検出された描画像と重なる描画像部分を前記描画像を打ち消す画像に変更する打消し補正手段を含む、請求項１〜３のいずれかに記載の画像投影システム。
8. 前記打消し補正手段は、前記投影手段が第１の投影画像を投影した後に第２の投影画像を投影する場合において、前記描画像検出手段により前記第２の投影画像が投影される前に描画像が検出される場合、前記第２の投影画像を変更する、請求項７に記載の画像投影システム。
9. 前記打消し補正手段は、前記描画像部分を、該描画像部分の周辺の領域の明度よりも大きな明度の画像に変更する、請求項７または８に記載の画像投影システム。
10. 投影画像を投影面に投影するステップと、
    前記投影するステップにおいて投影画像が投影されている最中に前記投影面に描かれた描画像を検出するステップと、
    前記描画像が検出される場合、該検出された描画像に基づいて、前記投影面に投影する投影画像のうち、少なくとも前記検出された描画像と重なる描画像部分を含む部分を、前記描画像を強調する画像または前記描画像を打ち消す画像に変更するステップと、を含む画像投影方法。
11. 投影画像を投影面に投影するステップと、
    前記投影するステップにおいて投影画像が投影されている最中に前記投影面に描かれた描画像を検出するステップと、
    前記描画像が検出される場合、該検出された描画像に基づいて、前記投影面に投影する投影画像のうち、少なくとも前記検出された描画像と重なる描画像部分を含む部分を、前記描画像を強調する画像または前記描画像を打ち消す画像に変更するステップと、をコンピュータに実行させる画像投影プログラム。

Images