JP2008028481A - 画像処理装置、遠隔画像処理システム及び画像処理方法 - Google Patents

Abstract

【課題】投影画像撮影時の画像情報の生成を適切に行うことが可能な画像処理装置、遠隔画像処理システム及び画像処理方法を提供する。
【解決手段】画像処理装置１００は、スクリーン１３０と、他のＰＣ２００からネットワーク３００を介して入力した画像情報に対応する画像をスクリーン１３０に向けて投影する投影装置１４０と、スクリーン１３０を撮影する撮影装置１４０と、当該撮影装置１４０により撮影されたスクリーン１３０の画像における他のＰＣ２００からの画像情報に対応する画像の位置に、他のＰＣからの画像情報に対応する画像を重ねる処理を行うＰＣ１１０とを有する。
【選択図】図１

Description

本発明は、プロジェクタ等の画像投影を行う画像処理装置、遠隔画像処理システム及び画像処理方法に関する。

プレゼンテーションにおいては、パーソナルコンピュータ（ＰＣ）のプレゼンテーション用ソフトウェアを用いて作成された資料（スライド）画像を、プロジェクタによってスクリーンに投影する手法が用いられることが多い。このようなプロジェクタにおいては、遠隔地からの書き込み画像をプロジェクタで投影し、更に、その書き込み画像が投影されたスクリーンをカメラで撮影し、撮影により得られた画像情報を遠隔地に送ることも行われる場合がある（例えば、特許文献１参照）。この場合、投影のベースとなる画像をホワイトベースあるいはブラックベースにする方法が考えられる。
特開２００５−３３７５６号公報 米国特許出願公開第２００４／００７０６７３４号明細書

ところで、投影のベースとなる画像をホワイトベースとした場合、人間がスクリーンとしてのホワイトボードに文字等を書き込む際に、一般的な黒色等で書き込むことができる。しかし、ホワイトボードの側（ローカル側）の人間は、プロジェクタのまぶしい光を見ることになる。更に、カメラ撮影では、一度のホワイトバランスや露出調整によって撮影に関するパラメータを固定することができるという利点があるが、ホワイトボードに書き込まれる文字等のコントラストが低下する。また、ホワイトボードに貼り付けられたドキュメント等を高解像度のカメラで撮影する際には、プロジェクタのドットが観測されてしまう。

一方、投影のベースとなる画像をブラックベースとし、投影される画像を黒以外の色とする場合、何も投影されていないホワイトボードに応じて、ホワイトバランスや露出調整によってパラメータが設定されると、より自然な画像が得られる反面、プロジェクタから画像が投影され、その撮影画像が遠隔地において観測される場合、投影部分が白飛びしてしまうという問題がある。なお、パラメータを自動的に設定する方法も考えられるが、プロジェクタによって投影される画像によって、ホワイトボードの下地の色味等が変わってしまうため、複数の画像を撮影して画像情報を記録する場合、不自然になるため、適切ではない。

本発明は、上記問題点に鑑みてなされたもので、投影画像撮影時の画像情報の生成を適切に行うことが可能な画像処理装置及び画像処理方法を提供することを目的としている。

本発明の画像処理装置は、他の装置からの画像情報に対応する画像を所定の表示領域に投影する投影手段と、前記表示領域を撮影する撮影手段と、前記撮影手段により撮影された表示領域の画像における前記他の装置からの画像情報に対応する画像の位置に、前記他の装置からの画像情報に対応する画像を重ねる処理を行う処理手段とを有することを特徴とする。

この構成によれば、撮影手段により撮影された表示領域の画像における、他の装置からの画像情報に対応する画像の部分が色飛び等の不都合を引き起こすようなことがあっても、その位置に他の装置からの画像情報に対応する画像が重ねられるため、その不都合を解消して適切な画像情報を生成することができる。

また、本発明の画像処理装置は、前記処理手段の処理によって得られた画像に対応する画像情報を前記他の装置に送信する送信手段を有するようにしてもよい。

この構成によれば、遠隔地にいる者に対し、適切な画像情報を提供することができる。

また、本発明の画像処理装置は、前記処理手段が、前記撮影手段により撮影された表示領域の画像における前記他の装置からの画像情報に対応する位置における画像の変化を検出し、該変化の部分に対応する他の画像を重畳する処理を行うようにしてもよい。

この構成によれば、他の装置からの画像情報に対応する画像と他の画像とが重なる場合に、他の画像を他の装置において認識可能とする適切な画像処理が可能となる。

また、本発明の画像処理装置は、前記変化に対応する他の画像が、前記表示領域に書き込まれた画像、及び、前記表示領域に投影された画像であるようにしてもよい。

また、本発明の画像処理装置は、前記投影手段が、前記他の装置からの指示に基づいて、該他の装置からの画像情報に対応する画像を所定の表示領域に投影するようにしてもよい。

また、本発明の遠隔画像処理システムは、第１及び第２の画像処理装置からなるものであって、前記第１の画像処理装置は、前記第２の画像処理装置に対して画像情報を送信する第１の送信手段を有し、前記第２の画像処理装置は、前記第１の画像処理装置からの画像情報に対応する画像を所定の表示領域に投影する投影手段と、予め設定された撮影に関するパラメータに基づいて前記表示領域を撮影する撮影手段と、前記撮影手段により撮影された表示領域の画像における前記他の装置からの画像情報に対応する画像の位置に、前記他の装置からの画像情報に対応する画像を重ねる処理を行う処理手段と、前記処理手段の処理により得られた画像に対応する画像情報を前記第１の画像処理装置へ送信する第２の送信手段とを有し、前記第１の画像処理装置は、前記第２の画像処理装置からの画像情報に対応する画像を表示する表示手段とを有することを特徴とする。

また、本発明の画像処理装置における画像処理方法は、他の装置からの画像情報に対応する画像を所定の表示領域に投影する投影ステップと、予め設定された撮影のパラメータに基づいて前記表示領域を撮影する撮影ステップと、前記撮影ステップにより撮影された表示領域の画像における前記他の装置からの画像情報に対応する画像の位置に、前記他の装置からの画像情報に対応する画像を重ねる処理を行う処理ステップとを有することを特徴とする。

本発明によれば、表示領域の画像における、他の装置からの画像情報に対応する画像の部分が色飛び等の不都合を引き起こしても、その不都合を解消して適切な画像情報を生成することができる。

以下、本発明の実施の形態の画像処理装置について、図面を用いて説明する。図１は、本発明における画像処理装置の構成を示す図である。図１に示す画像処理装置１００は、会議室等で行われるプレゼンテーション等において、画像を投影し、更に撮影を行うものである。この画像処理装置１００は、処理手段、送信手段及び第１の送信手段に対応するパーソナルコンピュータ（ＰＣ）１１０と、投影手段に対応する投影装置１２０と、表示領域に対応するスクリーン１３０と、撮影手段に対応する撮影装置１４０により構成される。

ＰＣ１１０は、投影装置１２０及び撮影装置１４０の動作を制御する。具体的には、第１の送信手段に対応する他のＰＣ２００は、ネットワーク３００経由でＰＣ１１０に対して、画像情報を送信する。この画像情報には、スクリーン１３０における投影位置を一意に特定可能な位置情報が含まれているとともに、投影指示が付加されている。ＰＣ１１０は、ネットワーク３００経由で他のＰＣ２００から送られてきたアノテーション画像の情報を、当該アノテーション画像の情報に付加されている投影指示に基づいて、投影装置１２０へ出力する。ここでアノテーション画像とは、ＰＣ２００が保持している画像や、注釈等のＰＣ２００においてユーザによって書き込まれた画像である。また、ＰＣ１１０は、撮影装置１４０に対して、撮影を指示する。

投影装置１２０は、スクリーン１３０の前面側に配置され、当該スクリーン１３０に対応する画角を有しており、ＰＣ１１０からのアノテーション画像の情報に対応するアノテーション画像をスクリーン１３０に投影する。この際、投影装置１２０は、アノテーション画像の情報に含まれる位置情報に基づいて、スクリーン１３０における投影位置を特定し、その位置に向けてアノテーション画像を投影する。

撮影装置１４０は、スクリーン１３０に何も書き込まれておらず、また、画像投影もなされていない状態で、且つ、実使用照明環境において、ホワイトバランスや露出調整によって撮影に関するパラメータが設定されている。この撮影装置１４０は、スクリーン１３０の前面側に配置され、当該スクリーン１３０に対応する画角を有し、ＰＣ１１０の指示に応じて、スクリーン１３０を撮影する。スクリーン１３０には、投影装置１２０によって投影されるアノテーション画像１５０や、前面に直接書き込まれた文字や線、図形等の画像（ローカル書込画像）１５２が表されており、撮影装置１４０は、これらの画像を撮影することになる。

以下、フローチャートを参照しつつ、画像処理装置１００の動作を説明する。図２は、画像処理装置１００の第１の動作を示すフローチャートである。ＰＣ１１０は、他のＰＣ２００からのアノテーション画像の情報を、ネットワーク３００経由で受信し、当該アノテーション画像の情報を投影装置１２０へ出力する。投影装置１２０は、入力したアノテーション画像の情報に対応するアノテーション画像をスクリーン１３０に投影する（Ｓ１０１）。

次に、ＰＣ１１０は、撮影装置１４０に対して撮影を指示する。撮影装置１４０は、この指示に応じて、スクリーン１３０を撮影する（Ｓ１０２）。撮影によって得られた画像情報は、ＰＣ１１０へ送られる。

ＰＣ１１０は、撮影装置１４０からの画像情報に対応する画像（撮影画像）において、投影装置１２０によって投影されたアノテーション画像の領域を特定する（Ｓ１０３）。例えば、スクリーン１３０がホワイトボードである場合、ＰＣ１１０は、撮影画像における白色以外の領域をアノテーション画像領域として特定する。あるいは、ＰＣ１１０は、投影装置１２０による投影方向を制御しており、その投影方向を取得するとともに、当該投影装置１２０へ出力した画像情報のデータ量等に基づいて、スクリーン１３０におけるアノテーション画像の大きさを算出し、これら投影方向とアノテーション画像の大きさとに基づいて、アノテーション画像領域を特定する。

次に、ＰＣ１１０は、撮影画像におけるアノテーション画像領域に他のＰＣ２００からのアノテーション画像の情報に対応するアノテーション画像を重畳した画像情報を生成する（Ｓ１０４）。そして、ＰＣ１１０は、この生成した画像情報を、ネットワーク３００を介して他のＰＣ２００へ送信する（Ｓ１０５）。他のＰＣ２００は、受信した画像情報に対応する画像を、表示手段に対応するディスプレイ２０２に表示する。

図３は、上述した第１の動作によって他のＰＣ２００のディスプレイ２０２において表示される画像の一例を示す図である。当初は、図３（ａ）に示すように、アノテーション画像１５０が色飛びを引き起こしてしまう場合がある。しかし、ＰＣ１１０による撮影画像におけるアノテーション画像領域に他のＰＣ２００からの画像情報に対応する画像を重畳する処理が行われることによって、図３（ｂ）に示すように、アノテーション画像１５０が明瞭になる。

図４は、画像処理装置１００の第２の動作を示すフローチャートである。Ｓ２０１乃至Ｓ２０３においては、図２のＳ１０１乃至Ｓ１０３と同様の動作が行われる。すなわち、ＰＣ１１０は、他のＰＣ２００からのアノテーション画像の情報を、ネットワーク３００経由で受信し、当該アノテーション画像の情報を投影装置１２０へ出力しており、投影装置１２０は、入力したアノテーション画像の情報に対応するアノテーション画像をスクリーン１３０に投影する（Ｓ２０１）。次に、ＰＣ１１０は、撮影装置１４０に対して撮影を指示し、撮影装置１４０は、この指示に応じて、スクリーン１３０を撮影する（Ｓ２０２）。更に、ＰＣ１１０は、撮影画像におけるアノテーション画像領域を特定する（Ｓ２０３）。

次に、ＰＣ１１０は、撮影画像において、スクリーンに直接書き込まれた文字等のローカル書込画像の領域（書込領域）を特定する（Ｓ２０４）。例えば、スクリーン１３０がホワイトボードである場合、ＰＣ１１０は、撮影画像における白色以外の領域であって、且つ、アノテーション画像領域以外の領域を書込領域として特定する。

更に、ＰＣ１１０は、画像投影前の撮影により得られた撮影画像における、書込領域に対応する画像を抽出する（Ｓ２０５）。撮影装置１４０は、予め、画像投影の前の状態においてスクリーン１３０を撮影し、その撮影により得られた画像情報をＰＣ１１０に出力しており、ＰＣ１１０は、当該画像情報を画像投影前の撮影画像として記憶している。このため、ＰＣ１１０は、画像投影前の撮影により得られた撮影画像における、書込領域に対応する画像を抽出することが可能である。

次に、ＰＣ１１０は、画像投影後の撮影により得られた撮影画像における、書込領域に対応する画像を抽出する（Ｓ２０６）。更に、ＰＣ１１０は、画像投影前後の撮影により得られた撮影画像を比較し、差分の画像領域（差分領域）を特定する（Ｓ２０７）。更に、ＰＣ１１０は、書込領域に対応するローカル画像のうち、差分領域に対応するものを抽出する（Ｓ２０８）。

その後、ＰＣ１１０は、撮影画像におけるアノテーション画像領域に他のＰＣ２００からのアノテーション画像の情報に対応するアノテーション画像を重畳し、更に、差分領域に対応するローカル画像を最前面となるように重畳した画像情報を生成する（Ｓ２０９）。そして、ＰＣ１１０は、この生成した画像情報を、ネットワーク３００を介して他のＰＣ２００へ送信する（Ｓ２１０）。他のＰＣ２００は、受信した画像情報に対応する画像を、ディスプレイ２０２に表示する。

図５は、上述した第２の動作において他のＰＣ２００のディスプレイ２０２において表示される画像の一例を示す図である。当初は、図５（ａ）に示すように、アノテーション画像１５０が色飛びを引き起こし、更には、ローカル画像１５２の一部がアノテーション画像１５０よりも後面となって見えなくなってしまう場合がある。しかし、図５（ｂ）に示すように、ＰＣ１１０による撮影画像におけるアノテーション画像領域１５３と書き込み領域１５４とが特定され、図５（ｃ）に示すように、ＰＣ１１０による撮影画像におけるアノテーション画像領域１５３に他のＰＣ２００からのアノテーション画像の情報に対応するアノテーション画像１５０を重畳する処理と、差分領域に対応するローカル画像１５２が最前面となるように重畳する処理とが行われることによって、図５（ｃ）に示すように、アノテーション画像１５０とローカル画像１５２とが明瞭になる。

図６は、画像処理装置１００の第３の動作を示すフローチャートである。この動作は、上述した第１の動作あるいは第２の動作に続いて行われる。ＰＣ１１０は、アノテーション画像領域に画像の変化が生じたか否かを判定する（Ｓ３０１）。

具体的には、撮影装置１４０は、随時スクリーン１３０を撮影し、その撮影により得られた画像情報をＰＣ１１０に出力しており、ＰＣ１１０は、当該画像情報を記憶している。スクリーン１３０の前面に直接に文字や線、図形等が書き込まれた場合には、撮影装置１４０が随時出力する画像情報が変化し、ＰＣ１１０はこの変化を検出する。変化を検出した場合、ＰＣ１１０は、その変化部分が既に表示されていたアノテーション画像の表示位置と重なるか否かを判定し、重なる場合には、アノテーション画像領域に画像の変化が生じたと判断する。

アノテーション画像領域に変化が生じた場合、次に、ＰＣ１１０は、アノテーション画像領域における変化位置を検出する（Ｓ３０２）。更に、ＰＣ１１０は、撮影画像のアノテーション画像領域に、変化部分の画像である、スクリーン１３０の前面に直接に文字や線、図形等が書き込まれたローカル書込画像が最前面となるように重畳した画像情報を生成する（Ｓ３０３）。そして、ＰＣ１１０は、この生成した画像情報を、ネットワーク３００を介して他のＰＣ２００へ送信する（Ｓ３０４）。他のＰＣ２００は、受信した画像情報に対応する画像を、ディスプレイ２０２に表示する。

図７は、上述した第３の動作において他のＰＣ２００のディスプレイ２０２において表示される画像の一例を示す図である。当初は、図７（ａ）に示すように、アノテーション画像１５０と重なるローカル書込画像１５２が見えにくくなってしまう場合がある。しかし、図７（ｂ）に示すように、ＰＣ１１０によるアノテーション画像領域１５３における変化位置に対応するローカル書込画像１５２の位置が特定され、更に、ＰＣ１１０による撮影画像のアノテーション画像領域１５３内のローカル書込画像１５２が最前面となるように重畳する処理が行われることによって、図７（ｃ）に示すように、ローカル書込画像１５２が明瞭になる。

このように、画像処理装置１００は、撮影装置１４０における撮影に関するパラメータが予め設定されることによって、スクリーン１３０を撮影する際に、より自然な画像を得ることを可能とする。一方で、画像処理装置１００は、その撮影画像において、投影装置１２０によってスクリーン１３０に投影された他のＰＣ２００からのアノテーション画像が色飛び等の不都合を引き起こす場合を考慮して、撮影画像におけるアノテーション画像の位置に他のＰＣ２００からのアノテーション画像を重ねるように画像情報を生成するため、適切な画像情報を生成することができる。

以上、説明したように、本発明に係る画像処理装置、遠隔画像処理システム及び画像処理方法は、適切な投影画像撮影時の画像情報の生成を適切に行うことが可能であり、画像処理装置及び画像処理方法として有用である。

画像処理装置の構成を示す図である。 画像処理装置の第１の動作を示すフローチャートである。 第１の動作によって他のＰＣにおいて表示される画像の一例を示す図である。 画像処理装置の第２の動作を示すフローチャートである。 第２の動作によって他のＰＣにおいて表示される画像の一例を示す図である。 画像処理装置の第３の動作を示すフローチャートである。 第３の動作によって他のＰＣにおいて表示される画像の一例を示す図である。

符号の説明

１００ 画像処理装置
１１０ ＰＣ
１２０ 投影装置
１３０ スクリーン
１４０ 撮影装置
２００ 他のＰＣ
３００ ネットワーク

Claims (7)

1. 他の装置からの画像情報に対応する画像を所定の表示領域に投影する投影手段と、
   前記表示領域を撮影する撮影手段と、
   前記撮影手段により撮影された表示領域の画像における前記他の装置からの画像情報に対応する画像の位置に、前記他の装置からの画像情報に対応する画像を重ねる処理を行う処理手段とを有することを特徴とする画像処理装置。
2. 前記処理手段の処理によって得られた画像に対応する画像情報を前記他の装置に送信する送信手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記処理手段は、前記撮影手段により撮影された表示領域の画像における前記他の装置からの画像情報に対応する位置における画像の変化を検出し、該変化の部分に対応する他の画像を重畳する処理を行うことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記変化の部分に対応する他の画像は、前記表示領域に書き込まれた画像、及び、前記表示領域に投影された画像の少なくともいずれかであることを特徴とする請求項３に記載の画像処理装置。
5. 前記投影手段は、前記他の装置からの指示に基づいて、該他の装置からの画像情報に対応する画像を所定の表示領域に投影することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 第１及び第２の画像処理装置からなる遠隔画像処理システムであって、
   前記第１の画像処理装置は、前記第２の画像処理装置に対して画像情報を送信する第１の送信手段を有し、
   前記第２の画像処理装置は、
   前記第１の画像処理装置からの画像情報に対応する画像を所定の表示領域に投影する投影手段と、
   前記表示領域を撮影する撮影手段と、
   前記撮影手段により撮影された表示領域の画像における前記他の装置からの画像情報に対応する画像の位置に、前記他の装置からの画像情報に対応する画像を重ねる処理を行う処理手段と、
   前記処理手段の処理により得られた画像に対応する画像情報を前記第１の画像処理装置へ送信する第２の送信手段とを有し、
   前記第１の画像処理装置は、前記第２の画像処理装置からの画像情報に対応する画像を表示する表示手段とを有することを特徴とする遠隔画像処理システム。
7. 画像処理装置における画像処理方法であって、
   他の装置からの画像情報に対応する画像を所定の表示領域に投影する投影ステップと、
   前記表示領域を撮影する撮影ステップと、
   前記撮影ステップにより撮影された表示領域の画像における前記他の装置からの画像情報に対応する画像の位置に、前記他の装置からの画像情報に対応する画像を重ねる処理を行う処理ステップとを有することを特徴とする画像処理方法。

Images