JP2013131990A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】プロジェクタにより投影される投影画像の画質を向上させる。
【解決手段】本発明に係る情報処理装置は、画像表示装置で表示される画像を制御する情報処理装置であって、画面画像を取得する画像キャプチャ手段と、画像キャプチャ手段により取得される毎に画面画像を保存する記憶手段と、記憶手段により前回保存された前回画面画像と画像キャプチャ手段により取得された画面画像とを比較することにより差分画素を抽出する画像比較手段と、所定数の画素から構成され前記画面画像を分割する所定矩形に基づき、全ての差分画素を内包する最小の矩形領域を差分領域と決定する差分領域決定手段と、画面画像から差分領域を切り出した差分画像を所定矩形単位で圧縮処理することにより、圧縮差分画像を生成する圧縮差分画像生成手段と、差分圧縮画像を送信する画像送信手段とを有する。
【選択図】図１１

Description

本発明は、情報処理装置及びプログラムの分野に関する。

会議などの場においては、プロジェクタを利用して、ホワイトボードやスクリーンなどにＰＣ（Personal Computer）のデスクトップ画面を投影することによりプレゼンテーション等が行われる。即ちＰＣとプロジェクタがネットワークで接続された環境において、ＰＣは一定間隔おきにデスクトップ画面画像をキャプチャし、プロジェクタに対し、キャプチャしたデスクトップ画面画像を投影画像データとして送信することにより、プロジェクタは受信した投影画像データを投影する。

またこのとき、キャプチャしたデスクトップ画面画像を１つ前にキャプチャしたデスクトップ画面画像を画素毎に比較して、差のある画素（差分画素という）を抽出し、デスクトップ画面画像から差分領域のみを切り出して、プロジェクタへ送信することにより、ネットワークの負荷を低減する技術が知られている。つまりＰＣのデスクトップ画面画像において、変化のあった箇所の差分領域だけをプロジェクタへ送信し、プロジェクタは受信した差分領域を１つ前に投影したデスクトップ画面画像と重ね合わせることで、差分領域の箇所だけを更新する。

またここで、ＰＣからプロジェクタに対し送信されるデスクトップ画面画像の差分領域の画像は、ネットワークの負荷を削減するためＪＰＥＧ形式などで圧縮されてから送信されることが一般的である。

これに関する技術として、特許文献１には、ＰＣ等の映像信号発生装置と液晶プロジェクタ等の表示装置との間をワイヤレス方式で映像信号を伝達するシステムにおいて、ネットワークの負荷を低減させる目的で、映像信号を送信する送信装置が、映像信号の連続する前後のフレーム間で異なる部分の映像信号のみを符号化して送信し、表示装置が、符号化された映像信号を受信し、符号化方式に対応する方式で復号して、復号した映像を表示画面上に表示する構成が記載されている。

しかしながら、ＪＰＥＧ圧縮では、マクロブロックと呼ばれる単位で処理されるため、差分領域が画像の幅、高さがマクロブロック単位で割り切れない場合（切り出せない場合）、足りないサイズ分（マクロブロック内に収まりきらない分）は予測画像で補間されることになり、そのため差分領域の端の部分にはノイズが入りやすくなる。

従って、従来のＰＣからプロジェクタに対し差分領域を送信するという投影の仕組みにおいては、差分領域をＪＰＥＧ圧縮した際に、差分領域の端の部分にノイズが入ることが多く、プロジェクタ側で受信した差分領域を１つ前に投影したデスクトップ画面画像と重ね合わせたときに、その差分領域を重ねた部分の境界線が目立ち易くなってしまうという問題があった。即ちプロジェクタにより投影される投影画像の画質が低下してしまうという問題があった。

本発明では上記のような問題に鑑みて、プロジェクタにより投影される投影画像の画質を向上させる情報処理装置及びプログラムを提供することを目的とする。

上記課題を解決するため、本発明に係る情報処理装置は、画像表示装置とネットワークを介し接続され、前記画像表示装置で表示される画像を制御する情報処理装置であって、
表示手段に表示されている画面画像を取得する画像キャプチャ手段と、前記画像キャプチャ手段により取得される毎に画面画像を保存する記憶手段と、前記記憶手段により前回保存された前回画面画像と、前記画像キャプチャ手段により取得された画面画像とを比較することにより、差分画素を抽出する画像比較手段と、所定数の画素から構成され前記画面画像を分割する所定矩形に基づき、全ての前記差分画素を内包する最小の矩形領域を差分領域と決定する差分領域決定手段と、前記画面画像から前記差分領域を切り出した差分画像を、前記所定矩形単位で圧縮処理することにより、圧縮差分画像を生成する圧縮差分画像生成手段と、前記画像表示装置に対し、前記差分圧縮画像を送信する画像送信手段とを有する。

また上記課題を解決するため、本発明に係るプログラムは、画像表示装置とネットワークを介し接続され、前記画像表示装置で表示される画像を制御する情報処理装置に、表示手段に表示されている画面画像を取得する画像キャプチャ手段と、前記画像キャプチャ手段により取得される毎に画面画像を保存する記憶手段と、前記記憶手段により前回保存された前回画面画像と、前記画像キャプチャ手段により取得された画面画像とを比較することにより、差分画素を抽出する画像比較手段と、所定数の画素から構成され前記画面画像を分割する所定矩形に基づき、全ての前記差分画素を内包する最小の矩形領域を差分領域と決定する差分領域決定手段と、前記画面画像から前記差分領域を切り出した差分画像を、前記所定矩形単位で圧縮処理することにより、圧縮差分画像を生成する圧縮差分画像生成手段と、前記画像表示装置に対し、前記差分圧縮画像を送信する画像送信手段として機能させる。

なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、などに適用したものも本発明の態様として有効である。

本発明によれば、プロジェクタにより投影される投影画像の画質を向上させる情報処理装置及びプログラムを提供することができる。

本実施形態に係るプロジェクションシステム１００のネットワーク構成図を示す。 本実施形態に係るＰＣ１０の一実施形態の主要構成を示すハードウェア構成図である。 本実施形態に係るプロジェクタ２０の一実施形態の主要構成を示すハードウェア構成図である。 図４は、本実施形態に係る各装置の機能ブロック図の一例を示す。 本実施形態に係るＰＣ１０の表示画面及びプロジェクタ２０の投影画像の遷移例を示す。 従来例に係るＰＣの差分画像の切り取りを説明する図である。 従来例に係るプロジェクタの差分画像の合成を説明する図である。 本実施例に係るＰＣ１０の差分画像の切り取りを説明する図である。 本実施例に係るプロジェクタ２０の差分画像の合成を説明する図である。 本実施形態に係るプロジェクションシステム１００の情報処理を説明するフローチャート図である。 従来例と本実施形態との差分画像を比較した図である。 本変形例に係るプロジェクションシステム１００の情報処理を説明するフローチャート図である。 本変形例に係るＰＣ１０の差分画像の切り取りを説明する図である。

以下、本発明を実施するための形態を各実施形態において図面を用いて説明する。

[システム構成]
（ネットワーク構成）
図１は、本実施形態に係るプロジェクションシステム１００のネットワーク構成図を示す。本実施形態に係るプロジェクションシステム１００は、ＰＣ１０及びプロジェクタ２０がネットワーク３０を介し接続され構成される。

ＰＣ１０は、情報処理装置の一例として、ユーザのＰＣ端末である。ＰＣ１０はネットワーク３０を介しプロジェクタ２０と接続されており、ホワイトボード４０にＰＣ１０のデスクトップ画面を投影することによりプレゼンテーション等が行われる。即ちＰＣ１０は一定間隔おきにデスクトップ画面画像をキャプチャし、例えばプロジェクタ２０に対し、キャプチャしたデスクトップ画面画像を投影画像として送信することにより、プロジェクタ２０は受信した投影画像をホワイトボード４０に投影する。

プロジェクタ２０は、ＰＣ１０から投影画像を受信し、例えばホワイトボード４０に対し投影画像を投影する。プロジェクタ２０はネットワーク３０を介しＰＣ１０と接続されており、ＰＣ１０からプロジェクタ２０に対しＰＣ画面上のデスクトップ画面画像が投影画像として送信されてくる。プロジェクタ２０は、受信したこの投影画像を投影画像としてホワイトボード４０などに投影する。

本実施形態において、ＰＣ１０は一定間隔おきにデスクトップの画面画像をキャプチャするが、キャプチャした画面画像を１つ前にキャプチャしたデスクトップの画面画像を画素毎に比較して、差のある画素（差分画素という）を抽出し、差分領域のみを切り出して、ＪＰＥＧ圧縮後、これをプロジェクタへ送信する。つまりＰＣ１０のデスクトップの画面画像において、変化のあった箇所の差分領域だけをプロジェクタ２０へ送信し、プロジェクタ２０は、受信した差分領域を１つ前に投影したデスクトップの画面画像と重ね合わせることで、差分領域の箇所だけを更新する。この点詳細は後述する。

ネットワーク３０は、有線及び無線を含みまたＬＡＮ及びＷＡＮを含む通信ネットワークである。ＰＣ１０がプロジェクタ２０と接続し通信可能な限りいかようなネットワークでもよい。またＰＣ１０は、必ずしも１台に限られず、複数台のＰＣがネットワーク３０上に接続されてもよい。

（ハードウェア）
図２は、本実施形態に係るＰＣ１０の一実施形態の主要構成を示すハードウェア構成図である。ＰＣ１０は、主要な構成として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ＨＤＤ１４、記憶媒体読取装置１５、入力装置１６、表示装置１７、及び通信装置１８を含む構成である。

ＣＰＵ１１は、マイクロプロセッサ及びその周辺回路から構成され、装置全体を制御する回路である。また、ＲＯＭ１２は、ＣＰＵ１１で実行される所定の制御プログラムを格納するメモリであり、ＲＡＭ１３は、ＣＰＵ１１がＲＯＭ１２に格納された所定の制御プログラムを実行して各種の制御を行うときの作業領域として使用するメモリである。ＨＤＤ１４は、汎用のＯＳ、各種プログラムを含む各種情報を格納する装置であり、不揮発性の記憶装置である。記憶媒体読取装置１５は、ＣＤやＤＶＤ、ＵＳＢメモリ等の外部記憶媒体から情報を入力する装置である。入力装置１６は、ユーザが各種入力操作を行うための装置である。入力装置１６は、マウス、キーボード、表示装置１７の表示画面上に重畳するように設けられたタッチパネルスイッチなどを含む。表示装置１７は、各種データを表示画面に表示する装置である。例えばＬＣＤ(Liquid Crystal Display)、ＣＲＴ(Cathode Ray Tube)などから構成される。通信装置１８は、ネットワーク３０を介して他の機器との通信を行う装置である。有線ネットワークや無線ネットワークなど含む各種ネットワーク形態に応じた通信をサポートする。

図３は、本実施形態に係るプロジェクタ２０の一実施形態の主要構成を示すハードウェア構成図である。プロジェクタ２０は、大きくは投影画像を投影（投影画像データを投影して可視化）する投影部２１と、制御全般を行う制御部２２で構成されている。

投影部２１は、投影画像を投影し、投影画像データを投影画像として可視化する。また、制御部２２は、制御部２２を制御するＣＰＵ２２１、ＣＰＵ２２１がプログラムを実行し各種の制御を行うときの作業領域として使用されるＲＡＭ２２２、投影画像等を記憶するストレージ２２３、プロジェクタ制御プログラムや制御に必要なパラメータが格納されているＲＯＭ２２４、投影部２１へ電源制御や生成された投影画像を投影させる命令を送る投影制御部２２５、入力装置で投影部２１の電源操作、選択・投影・ページ操作等の命令を受け付ける操作部２２６と、ネットワーク３０とのインターフェースであるイーサネット（登録商標）や操作部２２６と同様の操作を行えるリモコン用のインターフェースであるＩｒＤＡ等の通信インターフェース２２７を含み構成されている。

（機能）
次に、本実施形態に係るプロジェクションシステム１００の主要機能構成について説明する。図４は、本実施形態に係る各装置の機能ブロック図の一例を示す。

まずＰＣ１０は、表示部１０１、キャプチャ部１０２、記憶部１０３、画像比較部１０４、差分領域決定部１０５、圧縮差分画像生成部１０６、送信部１０７を含み構成される。

表示部１０１は、表示装置１７の表示画面上に画面画像（表示画面）を表示する。画面画像は例えばＰＣ１０で表示されているデスクトップ画面であり、この画面画像がプロジェクタ２０により投影されることになる。

キャプチャ部１０２は、表示部１０１に表示されている画面画像を取得する。即ちプロジェクタ２０により投影されるべき画面画像を所定間隔毎にキャプチャリングする。キャプチャ間隔は任意の設定に従うが、いうまでもなくキャプチャ間隔が短いほどよりリアルタイムにＰＣ１０の表示画面上の変更が反映されプロジェクタ２０により投影される。

記憶部１０３は、キャプチャ部１０２により取得された画面画像を保存する。次回、画像比較部１０４による画像比較時に使用されるためである。

画像比較部１０４は、記憶部１０３から前回保存した前回画面画像を取得し、その前回画面画像と、今回取得された画面画像とを画素単位で比較することにより、差分画素を抽出する。即ちＰＣ１０の表示画面上、変更箇所（変更画素）を抽出するものである。

差分領域決定部１０５は、画像比較部１０４により抽出された差分画素と、ＪＰＥＧ圧縮の処理単位であるマクロブロックとに基づき、差分領域を決定する。この点詳細は後述する。

圧縮差分画像生成部１０６は、決定された差分領域に従って、今回の画面画像から差分領域内の画像（差分画像という）を切り出し、切り出した差分画像をＪＰＥＧ圧縮することにより、圧縮差分画像を生成する。差分画像はプロジェクタ２０側で投影画像の一部として使用されるが、圧縮を行う目的は、差分画像データの伝送にかかるネットワーク３０の負荷を低減するためである。

送信部１０７は、プロジェクタ２０に対し、圧縮された差分画像である圧縮差分画像を送信する。

次いでプロジェクタ２０は、受信部２０１、伸張部２０２、画像合成部２０３、記憶部２０４、画像投影部２０５を含み構成される。

受信部２０１は、ＰＣ１０から圧縮された差分画像である圧縮差分画像を受信する。

伸張部２０２は、ＰＣ１０から受信した圧縮差分画像を伸張（解凍）する。圧縮差分画像は圧縮された差分画像であるからである。

画像合成部２０３は、記憶部２０４から前回の合成画面画（投影画像ともいえる）を取得し、その前回の合成画面画像上、今回受信した差分画像を重畳して合成することにより、今回投影すべき合成画面画像（投影画像）を生成する。また生成した合成画面画像を記憶部２０３へ保存させる。

記憶部２０４は、画像合成部２０３により生成された合成画面画像（投影画像）を保存する。次回、画像合成部２０３による画像合成時に使用するためである。

画像投影部２０５は、画像合成部２０３により生成された合成画面画像を投影する。即ち画像投影部２０５は投影部２１を制御し、合成画面画像を投影画像として投影し可視化する。

以上、各装置の主要機能構成である。なおこれらの機能は、実際には装置のＣＰＵが実行するプログラムによりコンピュータに実現させるものである。例えばＰＣ１０においては、プロジェクタ２０用のユーティリティ・プログラムなどを事前にインストールしておく。

[動作概要]
図５は、本実施形態に係るＰＣ１０の表示画面及びプロジェクタ２０の投影画像の遷移例を示す。図に示されるように、まずＰＣ１０において、（ａ）の表示画面が表示されている場合、プロジェクタ２０においても、ＰＣ１０の表示画面と同一の画面が投影される。

ここで、ＰＣ１０において、ユーザが（ａ）の表示画面上、オブジェクトＡ及びオブジェクトＢを追加するとともに、オブジェクトＣを画面下方に移動させたものとする。このとき、プロジェクタ２０に対し差分画像が送信された結果、プロジェクタ２０においても、ＰＣ１０の表示画面と同一の画面が投影される。

即ちＰＣ１０は、前回の画面画像である（ａ）の画面画像と、今回変更された（ｂ）の画面画像との差分画像を切り取って、これを圧縮してからプロジェクタ２０に送信する。プロジェクタ２０は、受信した圧縮差分画像を伸張後、その圧縮画像を前回の投影画像である（ａ）の投影画像上に重畳するように合成することにより、（ｂ）の投影画像を生成し投影する。

なお、差分画像のみを送信するのは、全体の画面画像を送信する場合に比べ、データの伝送にかかるネットワーク３０の負荷を低減するためである。また圧縮を行う目的は、同様に、データの伝送にかかるネットワーク３０の負荷を低減するためである。

続いて、プロジェクタ２０に対し送信される差分画像の切り取りに関し、従来例と本実施形態例を比較しながら説明する。

（従来例）
図６は、従来例に係るＰＣの差分画像の切り取りを説明する図である。ＰＣ側は、今回キャプチャした画面画像と、前回キャプチャした画面画像を画素毎に比較して、差のある画素（差分画素という）を抽出する。そして抽出された差分画素のうち、最も左の差分画素、最も右の差分画素、最も上の差分画素、最も下の差分画素に外接する矩形を差分領域とし、今回キャプチャした画面画像から差分領域に含まれる画像である差分画像のみを切り出すと、この差分画像をＪＥＰＧ圧縮してからプロジェクタへ送信する。また画面画像上における差分画像の位置を示す座標情報も併せて送信される。例えば差分画像は矩形のため４角のうち、少なくとも対向する２点の座標情報が送信される。

図７は、従来例に係るプロジェクタの差分画像の合成を説明する図である。プロジェクタ側は、受信した差分画像を伸張後、今回受信した差分画像と、前回投影した画面画像（全体画面画像）を座標情報に従って合成する。つまり、前回投影した画面画像上、画面上変化のあった箇所である差分領域だけ差分画像を重畳して更新する。そしてプロジェクタはこの合成画面画像を投影画像として投影する。以上により従来、図５に示す画面遷移が実現される。

（本実施例）
図８は、本実施例に係るＰＣ１０の差分画像の切り取りを説明する図である。ＰＣ１０側は、今回キャプチャした画面画像と、前回キャプチャした画面画像を画素毎に比較して、差のある画素（差分画素という）を抽出する。また今回キャプチャした画面画像をマクロブロックに分割する。マクロブロックは、ＪＰＥＧ圧縮での処理単位であり、例えば１マクロブロックあたり８×８画素を含む所定の矩形とする。なお画面画像に含まれる画素数は解像度に対応するので、通常、画面画像の画素数は８で割り切れる、つまり画面画像は余りなく整数個のマクロブロックで分割できるものとする。

そして抽出された全ての差分画素を内包する最小のマクロブロック矩形領域を差分領域と決定する。つまり抽出された差分画素のうち、最も左（左方）の差分画素を含むマクロブロック、最も右（右方）の差分画素を含むマクロブロック、最も上（上方）の差分画素を含むマクロブロック、最も下（下方）の差分画素を含むマクロブロックに外接する矩形領域を差分領域とする（図中、太点線内）。

続いて今回キャプチャした画面画像から、差分領域に含まれる画像である差分画像のみを切り出すと、この差分画像をマクロブロック単位でＪＥＰＧ圧縮処理してからプロジェクタへ送信する。また画面画像上における差分画像の位置を示す座標情報も併せて送信される。

ここで、差分画像は画面画像からマクロブロック単位で切り取られるので、必ずマクロブロック単位で割り切れるサイズの差分画像データになり、差分画像のＪＥＰＧ圧縮の際、圧縮に伴うノイズが入りにくくなる。一方、従来例の場合、差分領域のサイズによって、差分領域が画像の幅、高さがマクロブロック単位で割り切れない場合（切り出せない場合）、足りないサイズ分は予測画像で補間されることになり、そのため差分領域の端の部分にはノイズが入りやすくなる。

図９は、本実施例に係るプロジェクタ２０の差分画像の合成を説明する図である。プロジェクタ２０側は、受信した差分画像を伸張後、今回受信した差分画像と、前回投影した画面画像（全体画面画像）を座標情報に従って合成する。つまり、前回投影した画面画像上、画面上変化のあった箇所である差分領域だけ差分画像を重畳して更新する。そしてプロジェクタはこの合成画面画像を投影画像として投影する。以上により本実施例において、図５に示す画面遷移が実現される。

ここで、受信した差分画像の端の部分にはノイズが入りにくくなっているため、その画質は良好である。またプロジェクタにより投影される投影画像においても、差分画像の合成箇所（特に合成した差分画像の淵）の画質も良好であるので、投影画像全体として高画質が期待できる。一方、従来例の場合、差分領域のサイズによっては、差分領域の端の部分にはノイズが入りやすくなるので、プロジェクタにより投影される投影画像においても、差分画像の合成箇所（特に合成した差分画像の淵）が目立つ場合がある。

[情報処理]
次に本実施形態に係るプロジェクションシステム１００における情報処理を説明する。即ち上述の動作概要を詳しく説明する。

図１０は、本実施形態に係るプロジェクションシステム１００の情報処理を説明するフローチャート図である。具体的にはＰＣ１０は、表示画面からプロジェクタ２０に送信すべき差分画像を切り取って、これをＪＰＥＧ圧縮後、プロジェクタ２０に送信する。プロジェクタ２０は圧縮された差分画像を受信すると、これを伸張後、前回の投影画像上に重畳させて合成し、この合成画面画像を投影するものである。以下詳しく説明する。

Ｓ１：ＰＣ１０のキャプチャ部１０２は、まず表示部１０１に表示されている画面画像（例えばデスクトップ画面画像）を取得する。即ちこれはプロジェクタ２０により投影されるべき画面画像を所定間隔毎にキャプチャリングするものである。なおキャプチャ間隔は任意の設定に従い、設定されたキャプチャ時間到来により画面画像が取得される。つまり本フローチャートが開始される。

Ｓ２：記憶部１０３は、キャプチャ部１０２により取得された画面画像を保存する。次回、画像比較部１０４による画像比較時に使用されるためである。

Ｓ３：画像比較部１０４は、記憶部１０３から前回保存した前回画面画像を取得する。なお記憶部１０３は、画面画像が前回のものであるかどうかを管理するため、連続的な管理番号や保存日時刻等の情報を付加し保存しうる。またもしくは、使用されなくなった前回以外の画面画像は削除するようにしてもよい。つまりこの場合記憶部１０３は、画像比較部１０４により前回画面画像が取得されたとき、その前回画面画像を削除する。

Ｓ４：画像比較部１０４は、記憶部１０３から取得した前回画面画像と、キャプチャ部１０２により今回取得された取得された画面画像とを画素単位で比較することにより、画素値に差異がある（同一でない）画素である差分画素を抽出する。即ちＰＣ１０の表示画面上、変更箇所（変更画素）を抽出するものである。

例えば再び図５、８を参照すると、ＰＣ１０において、ユーザが（ａ）の表示画面上、オブジェクトＡ及びオブジェクトＢを追加するとともに、オブジェクトＣを画面下方に移動させている。このとき、変更箇所は、オブジェクトＡ及びオブジェクトＢ、オブジェクトＣの描画箇所に相当する画素であり、またオブジェクトＣの移動前の描画箇所に相当する画素である。

Ｓ５：差分領域決定部１０５は、今回キャプチャした画面画像をマクロブロックに分割する。マクロブロックは、ＪＰＥＧ圧縮での処理単位であり、例えば１マクロブロックあたり８×８画素を含む所定の矩形とする。なお画面画像に含まれる画素数は解像度に対応するので、通常、画面画像の画素数は８で割り切れる、つまり画面画像は余りなく整数個のマクロブロックで分割できるものとする。

Ｓ６：差分領域決定部１０５は、画像比較部１０４により抽出された差分画素と、ＪＰＥＧ圧縮の処理単位であるマクロブロックとに基づき、差分領域を決定する。

例えば再び図８に示されるように、抽出した全ての差分画素を内包する最小のマクロブロック矩形領域を差分領域と決定する。つまり抽出された差分画素のうち、最も左（左方）の差分画素を含むマクロブロック、最も右（右方）の差分画素を含むマクロブロック、最も上（上方）の差分画素を含むマクロブロック、最も下（下方）の差分画素を含むマクロブロックに外接する矩形領域が差分領域と決定される。図例の場合、縦７×横１０マクロブロック矩形領域が差分領域である（太点線内）。

なお、差分領域は矩形のため４角のうち、少なくとも対向する２点の座標情報の特定でもって決定できる。具体的に、マクロブロックのサイズと差分画素座標とから、差分領域を以下のように算出できる。
マクロブロックの幅をXb、高さをYbとし、
差分画素座標を(X1, Y1）, (X2, Y2）, ・・・, (Xn, Yn）とし、
X1, X2, ・・・, Xnの中で最小値をmin(X1, X2, ・・・, Xn)で表し、
X1, X2, ・・・, Xnの中で最大値をmax（X1, X2, ・・・, Xn）で表し、
Y1, Y2, ・・・, Ynの中で最小値をmin(Y1, Y2, ・・・, Yn)で表し、
Y1, Y2, ・・・, Ynの中で最大値をmax（Y1, Y2, ・・・, Yn）で表し、
X以下の最大の整数をfloor(X)で表し、
X以上の最小の整数をceil(X)で表し、
Y以下の最大の整数をfloor(Y)で表し、
Y以上の最小の整数をceil(Y)で表すと、
差分領域の左上座標（Xs, Ys）、右下座標（Xe, Ye）は、以下の式で計算される。
Xs = floor( min(X1, X2, ・・・, Xn) ÷ Xb ) × Xb
Ys = floor( min(Y1, Y2, ・・・, Yn) ÷ Yb ) × Yb
Xe = ceil( max(X1, X2, ・・・, Xn) ÷ Xb ) × Xb
Ye = ceil( max(Y1, Y2, ・・・, Yn) ÷ Yb ) × Yb
このように、矩形である差分領域の対向する２点である左上座標（Xs, Ys）及び右下座標（Xe, Ye）により、差分領域を決定できる。

Ｓ７：圧縮差分画像生成部１０６は、今回キャプチャした画面画像から、差分領域の座標情報に基づき差分領域内の画像である差分画像を切り出す。例えば再び図８を参照すると、今回キャプチャした画面画像において、決定された差分領域（縦７×横１０マクロブロック矩形領域）内の画像がプロジェクタ２０へ送信される差分画像として切り出されている。また切り出しの際、また画面画像上における差分画像の位置を示す座標情報も併せて取得されるが、これは差分領域の座標情報を特定する２点の座標情報と同一でありうる（Ｓ６）。

Ｓ８：圧縮差分画像生成部１０６は、切り出した差分画像をマクロブロック単位でＪＰＥＧ圧縮処理することにより、圧縮差分画像を生成する。差分画像データの伝送にかかるネットワーク３０の負荷を低減するためである。

このとき、Ｓ６及びＳ７によって、差分画像は画面画像からマクロブロック単位で切り取られるので、必ずマクロブロック単位で割り切れるサイズの差分画像データになり、差分画像のＪＥＰＧ圧縮の際、圧縮に伴うノイズが入りにくくなる。一方、従来例の場合、差分領域のサイズによって、差分領域が画像の幅、高さがマクロブロック単位で割り切れない場合（切り出せない場合）、足りないサイズ分は予測画像で補間されることになり、そのため差分領域の端の部分にはノイズが入りやすくなる。

Ｓ９：送信部１０７は、プロジェクタ２０に対し、圧縮された差分画像である圧縮差分画像を送信する。また併せて画面画像上における差分画像の位置を示す座標情報も送信する。

Ｓ１０：一方、プロジェクタ２０の受信部２０１は、ＰＣ１０から圧縮された差分画像である圧縮差分画像を受信する。また併せて画面画像上における差分画像の位置を示す座標情報も受信する。

Ｓ１１：伸張部２０２は、ＰＣ１０から受信した圧縮差分画像を伸張（解凍）する。

Ｓ１２：画像合成部２０３は、記憶部２０４から前回の合成画面画像（投影画像ともいえる）を取得する。

Ｓ１３：画像合成部２０３は、記憶部２０４から取得した前回の合成画面画像上、画面画像上における差分画像の位置を示す座標情報に基づいて、今回の差分画像を重畳して合成することにより、今回投影すべき合成画面画像を生成する。例えば再び図９を参照すると、前回の合成画面画像（投影画面画像）上、画面画像上における差分画像の位置を示す座標情報に基づいて、今回の差分画像を重畳して合成することにより、今回投影すべき投影画像として合成画面画像が生成されている。

Ｓ１４：記憶部２０４は、画像合成部２０３により生成された合成画面画像を保存する。次回、画像合成部２０３による画像合成時に使用するためである。なお記憶部２０４は、合成画面画像が前回のものであるかどうかを管理するため、連続的な管理番号や保存日時刻等の情報を付加し保存しうる。またもしくは、使用されなくなった前回以外の合成画面画像は削除するようにしてもよい。つまりこの場合記憶部２０４は、画像合成部２０３により前回の合成画面画像が取得されたとき、その前回の合成画面画像を削除する。

Ｓ１５：画像投影部２０５は、画像合成部２０３により生成された合成画面画像を投影する。以上により本フローチャートにおいて、図５に示す画面遷移が実現される。

ここで、プロジェクタ２０が受信した差分画像の端の部分にはノイズが入りにくくなっているため、その画質は良好である。また投影される投影画像においても、差分画像の合成箇所（特に合成した差分画像の淵）の画質も良好であるので、投影画像全体として高画質が期待できる。一方、従来例の場合、差分領域のサイズによっては、差分領域の端の部分にはノイズが入りやすくなるので、プロジェクタにより投影される投影画像においても、差分画像の合成箇所（特に合成した差分画像の淵）が目立つ場合がある。

図１１は、従来例と本実施形態との差分画像を比較した図である。図中、従来例のプロジェクタへ送信する差分画像は、図６の下図に対応するものあり、本実施形態に係るプロジェクタ２０へ送信する差分画像は、図８の下図に対応するものである。

いずれの差分画像もＰＣ側においてマクロブロック単位でＪＰＥＧ圧縮されるが、従来例のプロジェクタへ送信する差分画像は、図に示されるようにマクロブロック単位で割り切れない箇所（斜線箇所）が存在する。よって、ＪＰＥＧ圧縮時この箇所（斜線箇所）は予測画像で補間されることになり、差分領域の端の部分にはノイズが入りやすくなる。またプロジェクタにより投影される投影画像においても、差分画像を合成した箇所（斜線箇所）の淵が目立つ場合がある。

[変形例]
本変形例は、上述の実施形態と比べ、差分領域の決定方法が異なる。具体的には、上述の図１０のフローチャートにおいて、Ｓ５、Ｓ６の処理が本変形例では異なる。

図１２は、本変形例に係るプロジェクションシステム１００の情報処理を説明するフローチャート図である。Ｓ５、Ｓ６の処理のみが異なるので、本変形例ではＳ５、Ｓ６をそれぞれＳ５−２、Ｓ６−２に置き換えて説明する。なおこれら２つのステップ以外は、図１０、図１２共に同一である。また図１３は、本変形例に係るＰＣ１０の差分画像の切り取りを説明する図である。併せて参照しながら以下説明する。

Ｓ５−２：差分領域決定部１０５は、今回キャプチャした画面画像をマクロブロックに分割する。ここで本変形例においては、Ｓ４で抽出された差分画素のうち、一番左の差分画素（一番左の差分画素のX座標）と一番上の差分画素（一番左の差分画素のY座標）を「起点」として、画面画像をマクロブロックに分割する。例えば図１３を参照すると、一番左の差分画素（より正確には一番左の差分画素のX座標）と一番上の差分画素（より正確には一番左の差分画素のY座標）を起点として、画面画像がマクロブロックに分割されている。

一方、上述の実施形態の起点は、矩形である画面画像の４角のうちいずれの１角点（例えば最上最左点）であるので、画面画像は余りなく整数個のマクロブロックで分割できた（例えば図８参照）。しかし本変形例の起点は、画面画像において一番左の差分画素と一番上の差分画素に基づく起点である。よって１マクロブロックは上述の如く例えば８×８画素からなり、画面画像全体の画素数は変わらないので、本変形例の起点位置によっては、画面画像の上端下端や左端右端にちょうど１マクロブロック内に収まりきらない余り画素が発生する可能性がある。といってもその箇所は圧縮され送信される対象でないので特段問題はない。

Ｓ６−２：差分領域決定部１０５は、画像比較部１０４により抽出された差分画素と、ＪＰＥＧ圧縮の処理単位であるマクロブロックとに基づき、差分領域を決定する。

例えば再び図１３に示されるように、起点から右下方向に、抽出された全ての差分画素を内包する最小のマクロブロック矩形領域を差分領域と決定する。つまり起点から右方向に、差分画素のうち、最も右（右方）の差分画素を含むマクロブロック、また起点から下方向に、最も下（下方）の差分画素を含むマクロブロックに外接する矩形領域が差分領域と決定される。図例の場合、縦７×横９マクロブロック矩形領域が差分領域である（太点線内）。

なお、上述の如く差分領域は矩形のため４角のうち、少なくとも対向する２点の座標情報の特定でもって決定できる。具体的に、マクロブロックのサイズと差分画素座標とから、差分領域を以下のように算出できる。
マクロブロックの幅をXb、高さをYbとし、
差分画素座標を(X1, Y1）, (X2, Y2）, ・・・, (Xn, Yn）とし、
X1, X2, ・・・, Xnの中で最小値をmin(X1, X2, ・・・, Xn)で表し、
X1, X2, ・・・, Xnの中で最大値をmax（X1, X2, ・・・, Xn）で表し、
Y1, Y2, ・・・, Ynの中で最小値をmin(Y1, Y2, ・・・, Yn)で表し、
Y1, Y2, ・・・, Ynの中で最大値をmax（Y1, Y2, ・・・, Yn）で表し、
X以下の最大の整数をfloor(X)で表し、
X以上の最小の整数をceil(X)で表し、
Y以下の最大の整数をfloor(Y)で表し、
Y以上の最小の整数をceil(Y)で表すと、
差分領域の左上座標（Xs, Ys）、右下座標（Xe, Ye）は、以下の式で計算される。
Xs = min(X1, X2, ・・・, Xn)
Ys = min(Y1, Y2, ・・・, Yn)
Xe = max(X1, X2, ・・・, Xn)
Ye = max(Y1, Y2, ・・・, Yn)
Xe - Xs がXbで割り切れない場合は、Xeを以下に置換する。
Xe = Xs + ceil( (Xe - Xs) ÷ Xb ) × Xb
Ye - Ys がYbで割り切れない場合は、Xeを以下に置換する。
Ye = Ys + ceil( (Ye - Ys) ÷ Yb ) × Yb
このように、矩形である差分領域の対向する２点である左上座標（Xs, Ys）及び右下座標（Xe, Ye）により、差分領域を決定できる。

なおＳ６−２以降は同様である。例えばＳ７において、圧縮差分画像生成部１０６は、今回キャプチャした画面画像から、差分領域の座標情報に基づき差分領域内の画像である差分画像を切り出し、この差分画像をマクロブロック単位でＪＰＥＧ圧縮処理する。例えば再び図１３を参照すると、今回キャプチャした画面画像において、決定された差分領域（縦７×横９マクロブロック矩形領域）内の画像がプロジェクタ２０へ送信される差分画像として切り出されている。

以上、上述の実施形態においては、抽出された差分画素のうち、最も左の差分画素を含むマクロブロック、最も右の差分画素を含むマクロブロック、最も上の差分画素を含むマクロブロック、最も下の差分画素を含むマクロブロックに外接する矩形が差分領域と決定されるが、本変形例においては、起点から右方向に、差分画素のうち、最も右の画素を含むマクロブロック、また起点から下方向に、最も下の画素を含むマクロブロックに外接する矩形が差分領域と決定される。よって上述の実施形態の場合は、上下左右のマクロブロックに付加的な画素領域が存在しうるが、本変形例の場合は、右下のマクロブロックにのみ付加的な画素領域が存在しうる。つまり上述の実施形態に比べ、その起点によっては本変形例に係る差分領域はより小さい領域で済む可能性があり、これは即ちデータ（圧縮差分画像）の伝送にかかるネットワーク３０の負荷を低減できることになる。

なお、本変形例においても、差分画像は画面画像から一番左の差分画素と一番上の差分画素に基づく点を起点として、画面画像をマクロブロック単位で切り取るので、プロジェクタ２０へ送信される差分画像は必ずマクロブロック単位で割り切れるサイズの差分画像データになり、差分画像のＪＥＰＧ圧縮の際、圧縮に伴うノイズが入りにくくなるという効果を奏する点は上述の実施形態と同様である。

なおまた、本変形例においては、図１３に示されるように、一番左の差分画素（より正確には一番左の差分画素のX座標）と一番上の差分画素（より正確には一番左の差分画素のY座標）を「起点」として、画面画像をマクロブロックに分割した。しかしあくまでこれは一例であって、最も左の画素、最も右の画素、最も上の画素、及び最も下の画素に外接する矩形領域の４角のうち、いずれかの１角点を起点とできる。つまり具体的に、この他にも３点、一番左の差分画素（より正確には一番左の差分画素のX座標）と一番下の差分画素（より正確には一番下の差分画素のY座標）、一番右の差分画素（より正確には一番右の差分画素のX座標）と一番上の差分画素（より正確には一番上の差分画素のY座標）、一番右の差分画素（より正確には一番右の差分画素のX座標）と一番下の差分画素（より正確には一番下の差分画素のY座標）を起点とすることも可能である。

[総括]
以上のように、本実施形態に係るプロジェクションシステム１００は、ＰＣからプロジェクタに対し、画面上の変更箇所に相当する差分領域をＪＰＥＧ圧縮して送信するという投影の仕組みにおいて、ＪＰＥＧ圧縮の処理単位であるマクロブロック単位で、画面画像から差分画像が切り取られるので、足りないサイズ分（マクロブロック内に収まりきらない分）が生じることはなく、そのため予測画像で補間されることもない。よってプロジェクタが受信した差分画像の端の部分にはノイズが入りにくくなっているため、その画質は良好である。またプロジェクタにより投影される投影画像においても、差分画像の合成箇所（特に合成した差分画像の淵）の画質も良好であるので、投影画像全体として高画質が期待できる。

即ち本実施形態によれば、プロジェクタにより投影される投影画像の画質を向上させる情報処理装置等を提供することが可能となる。なお、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

なお本明細書において、画面画像、差分画像、投影画像、圧縮差分画像などと称した各種の画像は、便宜上単に画像と称しているに過ぎず、コンピュータで扱われる以上、電子的な画像データを示すものであることは自明である。

１００ プロジェクションシステム
１０ ＰＣ
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ ＨＤＤ
１５ 記憶媒体読取装置
１６ 入力装置
１７ 表示装置
１８ 通信装置
２０ プロジェクタ
２１ 投影部
２２ 制御部
３０ ネットワーク
４０ ホワイトボード
１０１ 表示部
１０２ キャプチャ部
１０３ 記憶部
１０４ 画像比較部
１０５ 差分領域決定部
１０６ 圧縮差分画像生成部
１０７ 送信部
２０１ 受信部
２０２ 伸張部
２０３ 画像合成部
２０４ 記憶部
２０５ 画像投影部
２２１ ＣＰＵ
２２２ ＲＡＭ
２２３ ストレージ
２２４ ＲＯＭ
２２５ 投影制御部
２２６ 操作部
２２７ 通信インターフェース

特許４１２０７１１号公報

Claims (8)

1. 画像表示装置とネットワークを介し接続され、前記画像表示装置で表示される画像を制御する情報処理装置であって、
   表示手段に表示されている画面画像を取得する画像キャプチャ手段と、
   前記画像キャプチャ手段により取得される毎に画面画像を保存する記憶手段と、
   前記記憶手段により前回保存された前回画面画像と、前記画像キャプチャ手段により取得された画面画像とを比較することにより、差分画素を抽出する画像比較手段と、
   所定数の画素から構成され前記画面画像を分割する所定矩形に基づき、全ての前記差分画素を内包する最小の矩形領域を差分領域と決定する差分領域決定手段と、
   前記画面画像から前記差分領域を切り出した差分画像を、前記所定矩形単位で圧縮処理することにより、圧縮差分画像を生成する圧縮差分画像生成手段と、
   前記画像表示装置に対し、前記差分圧縮画像を送信する画像送信手段と、
   を有することを特徴とする情報処理装置。
2. 前記所定矩形は、矩形である前記画面画像の４角のうち、いずれかの１角点を起点とし、所定数の画素毎に分割されること、
   を特徴とする請求項１記載の情報処理装置。
3. 前記所定矩形は、前記画像比較手段により抽出された差分画素のうち、最も左の差分画素、最も右の差分画素、最も上の差分画素、及び最も下の差分画素に外接する矩形領域の４角のうち、いずれかの１角点を起点とし、所定数の画素毎に分割されること、
   を特徴とする請求項１記載の情報処理装置。
4. 前記圧縮は、ＪＰＥＧ圧縮であること、
   を特徴とする請求項１ないし３何れか一項記載の情報処理装置。
5. 画像表示装置とネットワークを介し接続され、前記画像表示装置で表示される画像を制御する情報処理装置に、
   表示手段に表示されている画面画像を取得する画像キャプチャ手段と、
   前記画像キャプチャ手段により取得される毎に画面画像を保存する記憶手段と、
   前記記憶手段により前回保存された前回画面画像と、前記画像キャプチャ手段により取得された画面画像とを比較することにより、差分画素を抽出する画像比較手段と、
   所定数の画素から構成され前記画面画像を分割する所定矩形に基づき、全ての前記差分画素を内包する最小の矩形領域を差分領域と決定する差分領域決定手段と、
   前記画面画像から前記差分領域を切り出した差分画像を、前記所定矩形単位で圧縮処理することにより、圧縮差分画像を生成する圧縮差分画像生成手段と、
   前記画像表示装置に対し、前記差分圧縮画像を送信する画像送信手段として機能させるためのプログラム。
6. 前記所定矩形は、矩形である前記画面画像の４角のうち、いずれかの１角点を起点とし、所定数の画素毎に分割されること、
   を特徴とする請求項５記載のプログラム。
7. 前記所定矩形は、前記画像比較手段により抽出された差分画素のうち、最も左の差分画素、最も右の差分画素、最も上の差分画素、及び最も下の差分画素に外接する矩形領域の４角のうち、いずれかの１角点を起点とし、所定数の画素毎に分割されること、
   を特徴とする請求項５記載のプログラム。
8. 前記圧縮は、ＪＰＥＧ圧縮であること、
   を特徴とする請求項５ないし７何れか一項記載のプログラム。

Images