JP2014160998A - 画像処理システム、画像処理方法、画像処理プログラム、及び記録媒体 - Google Patents

Abstract

【課題】高い補正精度を保ち、処理の高速化を図ることができる画像処理システム、画像処理方法、画像処理プログラム、及び記録媒体を提供する。
【解決手段】画像処理システムは、画像を投影する投影部と、前記投影部により第１画像が投影された投影面を含む領域を撮影する撮影部と、撮影画像から、投影画像の特徴点に対応する対応点の位置を表す対応点情報を取得する取得部と、前記対応点情報を送信する情報送信部と、前記情報送信部により送信された前記対応点情報を受信する情報受信部と、前記情報受信部により受信された前記対応点情報に基づき、前記投影画像の歪みを補正する補正情報を算出する算出部と、前記補正情報に基づき、第２画像を補正する補正部と、を備え、前記投影部は、補正後の前記第２画像を投影する。
【選択図】図４

Description

本発明は、画像処理システム、画像処理方法、画像処理プログラム、及び記録媒体に関する。

従来、スクリーンへ画像を投影するプロジェクタが知られている。プロジェクタからスクリーンへ投影された画像（以下「投影画像」という）には、通常プロジェクタとスクリーンとの相対的な位置関係による台形歪みが生じる。また、投影画像には、スクリーン面の局所的な凹凸やねじれを反映した非線形歪みが見られる場合もある。特に超短焦点の至近プロジェクタの利用時には、スクリーンのわずかな凹凸でも投影画像の大きな歪みを引き起こしてしまう。

こうした歪みを補正するために、カメラでスクリーンを撮影し、その歪み状態を観測し、歪みをキャンセルするような補正を画像に施すことで、歪んだスクリーンでも歪みのない画像を投影することができる。

例えば、特許文献１には、スクリーンの傾きや歪みなどに起因して発生する投影画像の非線形な歪みを補正する技術が開示されている。この技術では、特定の図形配列からなる校正用パターン画像を投影したスクリーンをカメラ付き携帯電話で撮影する。そして、画像変換装置が、図形配列に基づき、撮影画像上で抽出される特徴点の理想的な位置と実際の抽出位置とのずれから歪みの程度を算出し、算出された歪みを解消するように、画像を補正する。その結果、プロジェクタが、補正後の画像を投影することで、歪みのない画像をスクリーンに投影することができる。

歪み検出精度を高くするためには、画像が投影されたスクリーンの撮影画像が適切な情報量を有することが望まれる。しかしながら、撮影画像の画素数や色数が多い場合には、画像のデータ量が大きくなり、補正情報の算出にかかる計算量も大きくなってしまう。そのため、歪み補正の画像処理に時間がかかってしまうという問題があった。

これに対して、例えば、画像のデータ量を削減し、データ量の小さな画像を送受信することで、処理時間を短縮する方法が考えられる。しかし、この方法では、画像のデータ量を削減しすぎたことにより、画像サイズの減少や画質の劣化などが懸念される。また、この方法では、歪み補正に必要な情報が少なくなることから、補正精度の低下なども懸念される。よって、歪み補正を行う画像処理では、歪み検出精度に影響する撮影画像が適切な情報量を有し、高い補正精度を保ったまま、処理の高速化が図れることが望まれる。

本発明は上記に鑑みてなされたものであって、高い補正精度を保ち、処理の高速化を図ることができる画像処理システム、画像処理方法、画像処理プログラム、及び記録媒体を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理システムは、画像を投影する投影部と、前記投影部により第１画像が投影された投影面を含む領域を撮影する撮影部と、撮影画像から、投影画像の特徴点に対応する対応点の位置を表す対応点情報を取得する取得部と、前記対応点情報を送信する情報送信部と、前記情報送信部により送信された前記対応点情報を受信する情報受信部と、前記情報受信部により受信された前記対応点情報に基づき、前記投影画像の歪みを補正する補正情報を算出する算出部と、前記補正情報に基づき、第２画像を補正する補正部と、を備え、前記投影部は、補正後の前記第２画像を投影する。

本発明によれば、高い補正精度を保ち、処理の高速化を図ることができるという効果を奏する。

図１は、第１の実施形態に係る画像処理システムの構成例を示す図である。 図２は、第１の実施形態に係る画像処理システムが備える機器のハードウェア構成例を示す図である。 図３は、第１の実施形態に係る歪み補正を説明する図である。 図４は、第１の実施形態に係る画像処理機能の構成例を示す図である。 図５は、第１の実施形態に係る画像処理時の処理手順例を示すシーケンス図である。 図６は、第２の実施形態に係る画像処理システムの構成例を示す図である。 図７は、第２の実施形態に係る画像処理機能の構成例を示す図である。 図８は、第２の実施形態に係る画像処理時の処理手順例を示すシーケンス図である。 図９は、第３の実施形態に係る画像処理システムの構成例を示す図である。 図１０は、第３の実施形態に係る画像処理機能の構成例を示す図である。 図１１は、第３の実施形態に係る画像処理時の処理手順例を示すシーケンス図である。 図１２は、第４の実施形態に係る画像処理システムの構成例を示す図である。 図１３は、第４の実施形態に係る画像処理機能の構成例を示す図である。 図１４は、第４の実施形態に係る画像処理時の処理手順例を示すシーケンス図である。 図１５は、第５の実施形態に係る画像処理システムの構成例を示す図である。 図１６は、第５の実施形態に係る画像処理機能の構成例を示す図である。 図１７は、第５の実施形態に係る画像処理時の処理手順例を示すシーケンス図である。 図１８−１は、カメラの傾きを適切に保った状態で撮影された撮影画像を示す図である。 図１８−２は、カメラの傾いた状態で撮影された撮影画像を示す図である。 図１８−３は、カメラの傾いた状態で撮影された撮影画像を示す図である。 図１９は、変更例にかかる画像処理システムの機能構成を示すブロック図である。 図２０−１は、表示される水準器の一例を示す図である。 図２０−２は、表示される水準器の一例を示す図である。 図２１は、撮影画像と補正後の画像の一例を示す図である。

以下に、添付図面を参照して、画像処理システム、画像処理方法、画像処理プログラム、及び記録媒体の実施形態を詳細に説明する。

［第１の実施形態］
＜システム構成＞図１は、本実施形態に係る画像処理システム１の構成例を示す図である。図１に示すように、本実施形態に係る画像処理システム１は、ＰＣ（Personal Computer：情報処理装置）１１、プロジェクタ（投影装置）２１、及びカメラ（撮影装置）４１などを備えている。ＰＣ１１、プロジェクタ２１、及びカメラ４１などの各機器は、所定のデータ伝送路を介して接続されている。

ＰＣ１１は、情報処理機能を有する機器であり、記憶装置の所定の記憶領域に、スクリーン３０への投影画像（例えば「コンテンツ画像」などのデータ）を記憶している。プロジェクタ２１は、投影機能を有する機器であり、画像をスクリーン３０に投影する。カメラ４１は、撮影機能を有する機器であり、例えば、デジタルカメラ、カメラ付き携帯電話、又はスマートフォンなどに相当する。カメラ４１は、ユーザ操作に従って、画像が投影されているスクリーン３０を含む領域を撮影する。すなわち、カメラ４１により撮影された撮影画像には、スクリーン３０上の投影画像が含まれている。

本実施形態に係る画像処理システム１では、次のような各機器の処理により、投影画像に生じた歪みを補正し、歪みのない画像をスクリーン３０に投影する。まず、カメラ４１は、撮影した撮影画像から、投影画像の特徴点に対応する対応点の位置情報（座標値：以下「対応点情報」という）を取得し、取得した対応点情報をＰＣ１１に送信する。これを受けてＰＣ１１は、受信した対応点情報に基づき、スクリーン３０上（投影面）の投影画像の歪みを補正する補正情報（歪みを解消する座標移動量）を算出する。次にＰＣ１１は、算出した補正情報に基づき、投影対象のコンテンツ画像を補正し、補正後の画像データをプロジェクタ２１に送信する。これを受けてプロジェクタ２１は、受信した補正後の画像（以下「補正画像」という）をスクリーン３０に投影する。これにより、本実施形態に係る画像処理システム１では、歪みのない画像がスクリーン３０に投影される。

なお、上記各機器の間のデータ通信は、例えば、ＬＡＮ（Local Area Network）などのネットワークを介して行われる。データ通信は、有線又は無線を問わない。また、他の例としては、例えば、ＵＳＢ（Universal Serial Bus）ケーブルなどの通信ケーブルを介して行われてもよい。

＜ハードウェア構成＞
図２は、本実施形態に係る画像処理システム１が備える機器のハードウェア構成例を示す図である。図２（ａ）には、本実施形態に係るＰＣ１１のハードウェア構成例が示されている。また、図２（ｂ）には、本実施形態に係るプロジェクタ２１のハードウェア構成例が示されている。また、図２（ｃ）には、本実施形態に係るカメラ４１のハードウェア構成例が示されている。なお、以下の説明では、主にＰＣ１１の構成について説明を行い、プロジェクタ２１とカメラ４１の構成については、ＰＣ１１と異なる構成についてのみ説明する。

《ＰＣ１１》
図２（ａ）に示すように、本実施形態に係るＰＣ１１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、及びＲＡＭ（Random Access Memory）１０３などを備えている。また、ＰＣ１１は、外部記憶装置１０４、入力装置１０５、表示装置１０６、及び通信ＩＦ（Interface）１０７などを備えている。ＰＣ１１は、各ハードウェアがバスＢを介して接続されている。

ＣＰＵ１０１は、装置全体の制御や搭載機能を実現する演算装置である。ＲＯＭ１０２は、例えば、機能を実現するプログラムや機能設定のデータなどが格納されている不揮発性の半導体メモリである。ＲＡＭ１０３は、プログラムやデータが読み出され一時保持される揮発性の半導体メモリである。よって、ＣＰＵ１０１は、例えば、ＲＯＭ１０２から、プログラムやデータをＲＡＭ１０３上に読み出し、処理を実行することで、装置全体の制御や搭載機能を実現する。

外部記憶装置１０４は、例えば、ＨＤＤ（Hard Disk Drive）やメモリカードなどの不揮発性の記憶装置である。なお、外部記憶装置１０４には、フレキシブルディスク（ＦＤ）、ＣＤ（Compact Disk）、及びＤＶＤ（Digital Versatile Disk）などの記録媒体も含まれる。入力装置１０５は、例えば、テンキー、タッチパネル、又はキーボードなどであり、ＰＣ１１に各操作信号を入力するのに用いられる。表示装置１０６は、例えば、ディスプレイなどであり、ＰＣ１１による処理結果を表示する。通信ＩＦ１０７は、ＰＣ１１を所定のデータ伝送路に接続するインタフェースである。これにより、ＰＣ１１は、通信ＩＦ１０７を介して、プロジェクタ２１やカメラ４１などの他の機器とデータ通信を行うことができる。

《プロジェクタ２１》
図２（ｂ）に示すように、本実施形態に係るプロジェクタ２１は、ＣＰＵ２０１、ＲＯＭ２０２、及びＲＡＭ２０３などを備えている。また、プロジェクタ２１は、外部記憶装置２０４、入力装置２０５、投影デバイス２０６、及び通信ＩＦ２０７などを備えている。プロジェクタ２１は、各ハードウェアがバスＢを介して接続されている。

投影デバイス２０６は、例えば、光学レンズや光源などを備える光学装置である。投影デバイス２０６は、光源を駆動し、ＣＰＵ２０１により所定の画像処理が施された画像を、光学レンズを介して、スクリーン３０に投影する。

《カメラ４１》
図２（ｃ）に示すように、本実施形態に係るカメラ４１は、ＣＰＵ４０１、ＲＯＭ４０２、及びＲＡＭ４０３などを備えている。また、カメラ４１は、外部記憶装置４０４、入力装置４０５、撮影デバイス４０６、及び通信ＩＦ４０７などを備えている。カメラ４１は、各ハードウェアがバスＢを介して接続されている。

撮影デバイス４０６は、例えば、光学レンズや受光素子などを備える光学装置である。
撮影デバイス４０６は、受光素子を駆動し、光学レンズを介して、スクリーン３０からの反射光を受光することで、撮影画像を取得する。

以上のように、本実施形態では、上記構成により、歪み補正処理を行う画像処理機能を提供することができる。

＜画像処理機能＞
本実施形態に係る画像処理機能について説明する。本実施形態に係る画像処理システム１は、撮影画像から、投影画像の対応点情報を取得し、取得した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する。次に画像処理システム１は、算出した補正情報に基づき、投影対象のコンテンツ画像を補正し、補正した補正画像を投影する。本実施形態に係る画像処理システム１は、このような画像処理機能を有している。

従来では、撮影画像の画素数や色数が多い場合、画像のデータ量が大きく、歪み補正の補正情報の算出にかかる計算量も大きくなってしまうことから、補正情報の算出処理や画像の送受信処理に時間がかかってしまうという問題があった。これに対して、例えば、画像のデータ量を削減し、データ量の小さな画像を送受信することで、処理時間を短縮する方法が考えられる。しかし、この方法では、画像サイズの減少や画質の劣化、また、補正精度の低下などが懸念される。よって、歪み補正を行う画像処理システム１では、歪み検出精度に影響する撮影画像が適切な情報量を有し、高い補正精度を保ったまま、処理の高速化が図れることが望まれる。

そこで、本実施形態に係る画像処理機能では、カメラ４１が、撮影画像から、投影画像の対応点情報を取得し、取得した対応点情報を、補正情報の算出と歪み補正を行うＰＣ１１に送信する仕組みとした。

これにより、本実施形態に係る画像処理機能は、歪み補正時に各機器の間で送受信するデータ量を軽減し、送受信にかかる処理時間が短縮される環境を提供する。また、本実施形態に係る画像処理機能は、適切な情報量の撮影画像を用いて歪み補正を行い、高い補正精度が保たれる環境を提供する。その結果、本実施形態に係る画像処理機能は、高い補正精度を保ち、処理の高速化を図ることができる。

以下に、本実施形態に係る画像処理機能が実現する歪み補正の概要について説明する。
図３は、本実施形態に係る歪み補正を説明する図である。

図３（ａ）には、歪み補正用（キャリブレーション用）に用意されたパターン画像（第１画像）の一例として格子点画像が示されている。図３（ｂ）に示すように、歪み補正を行うことなく、パターン画像を投影した場合には、スクリーン３０の歪みなどに起因し、投影画像の格子点が歪んだ状態となる。よって、コンテンツ画像（第２画像）を投影した場合にも、同様の歪みが生じる。

本実施形態に係る画像処理システム１は、図３（ｂ）に示すように、パターン画像が投影されたスクリーン３０を含む領域をカメラ４１により撮影し、図３（ｃ）に示すような撮影画像を得る。そして、画像処理システム１は、撮影画像から、パターン画像の対応点情報を取得する。

次に画像処理システム１は、取得したパターン画像の対応点情報と、図３（ａ）に示すパターン画像の特徴点の位置情報（座標値：以下「特徴点情報」という）とに基づき、投影対象のコンテンツ画像を補正する補正情報を算出する。

その結果、画像処理システム１は、算出した補正情報に基づき、投影対象のコンテンツ画像を補正し、補正画像（補正後のコンテンツ画像）をプロジェクタ２１によりスクリーン３０に投影する。図３（ｄ）には、スクリーン３０に投影された補正画像の一例が示されている。

このように、本実施形態に係る画像処理システム１は、スクリーン３０に歪みのない画像を投影することができる。

なお、上記には、補正情報を算出するためにスクリーン３０に投影される画像（以下「補正情報算出用画像」という）として、歪み補正用に用意されたパターン画像を用いる例を示したが、この限りでない。例えば、補正情報算出用画像が、投影対象のコンテンツ画像であってもよい。すなわち補正情報算出用画像と投影対象のコンテンツ画像とが同一の画像であってもよい。補正情報算出用画像は、投影画像と撮影画像を用いて、スクリーン３０に投影された投影画像の歪みの程度を検出可能であればよく、画像の種別又は内容に限定されない。

以下に、本実施形態に係る画像処理機能の構成とその動作について説明する。図４は、本実施形態に係る画像処理機能の構成例を示す図である。

図４に示すように、本実施形態に係る画像処理機能は、ＰＣ１１、プロジェクタ２１、及びカメラ４１の各機器が有する機能に分けられる。具体的には、本実施形態に係るカメラ４１（第１機器）は、通信部４１０、撮影部４１１、及び対応点情報取得部４１２などの機能部を有している。また、本実施形態に係るＰＣ１１（第２機器）は、通信部１１０、補正情報算出部１１１、及び補正部１１２などの機能部を有している。また、本実施形態に係るプロジェクタ２１（第３機器）は、通信部２１０と投影部２１１などの機能部を有している。なお、以下の説明では、各機器の間で送受信するデータの流れに則して、各機器が有する機能部について説明を行う。

《カメラ４１》
通信部４１０は、カメラ４１とＰＣ１１との間でデータの送受信を行う。通信部４１０は、通信ＩＦ４０７の駆動を制御し、機器間のデータ通信を行う。撮影部４１１は、受光により撮影し、撮影画像を取得する。撮影部４１１は、撮影デバイス４０６の駆動を制御し、撮影画像を取得する。

対応点情報取得部４１２は、撮影部４１１が撮影した撮影画像から、投影画像の対応点情報を取得する。対応点情報とは、投影画像の特徴点に対応する撮影画像の対応点の位置情報である。例えば、投影画像が格子点画像であった場合、格子点が投影画像の特徴点に相当する。よって、この場合、対応点情報取得部４１２は、投影画像と撮影画像を比較し、投影画像が撮影された撮影画像内の格子点を対応点として抽出し、抽出した対応点の座標値を対応点情報として取得する。なお、対応点情報取得部４１２は、複数の対応点を抽出した場合、複数の座標値を含む対応点情報を取得する。対応点情報取得部４１２は、所定の抽出手法（以下「抽出アルゴリズム」という）を用いて対応点情報を取得する。このとき用いる抽出方法には、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）
やＳＵＲＦ（Speed-Up Robust Features）などがある。対応点情報取得部４１２は、このようにして取得した対応点情報を、通信部（情報送信部）４１０を介して、ＰＣ１１に送信する。

《ＰＣ１１》
通信部１１０は、ＰＣ１１とプロジェクタ２１又はカメラ４１との間でデータの送受信を行う。通信部１１０は、通信ＩＦ１０７の駆動を制御し、機器間のデータ通信を行う。

補正情報算出部１１１は、通信部（情報受信部）１１０を介して、カメラ４１から受信した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する。まず、補正情報算出部１１１は、ＳＩＦＴやＳＵＲＦなどの抽出アルゴリズムにより特徴点情報を取得する。特徴点情報には、投影画像の特徴点（補正情報算出用画像の特徴点）の座標値が含まれている。また、受信した対応点情報には、投影画像の特徴点に対応する撮影画像の対応点（補正情報算出用画像の特徴点に対応する対応点）の座標値が含まれている。このことから、補正情報算出部１１１は、特徴点の座標値と対応点の座標値に基づき、特徴点と対応点との相対的な位置関係を検出することで、特徴点と対応点との位置ずれにより歪みの程度を検出する。補正情報算出部１１１は、検出した位置関係に基づき、検出した歪みを解消するように、座標の移動量（補正量）を算出する。

補正部１１２は、補正情報算出部１１１により算出された補正情報に基づき、投影対象のコンテンツ画像を補正する。補正部１１２は、補正情報に含まれる座標の移動量に従って、コンテンツ画像上の座標を移動させることで、歪みを解消する画像補正を行う。補正部１１２は、このようにして補正した補正画像（補正後のコンテンツ画像）を、通信部１１０（補正画像送信部）を介して、プロジェクタ２１に送信する。

また、ＰＣ１１は、投影対象のコンテンツ画像や補正情報算出用画像に相当するパターン画像などを記憶する画像データ記憶部１１３を有している。画像データ記憶部１１３は、ＰＣ１１が備える記憶装置の所定の記憶領域に相当する。よって、補正情報算出部１１１は、画像データ記憶部１１３にアクセスし、参照したパターン画像から投影画像の特徴点情報を取得する。また、補正部１１２は、画像データ記憶部１１３にアクセスし、参照したコンテンツ画像を補正し、プロジェクタ２１に送信する。また、通信部１１０は、画像データ記憶部１１３にアクセスし、取得したパターン画像をプロジェクタ２１に送信する。

なお、本実施形態では、コンテンツ画像やパターン画像をＰＣ１１が記憶する構成例を示したが、この限りでない。例えば、コンテンツ画像やパターン画像は、プロジェクタ２１又はカメラ４１が記憶する構成であってもよい。また、コンテンツ画像は、ＰＣ１１、プロジェクタ２１、又はカメラ４１が記憶する画像に限定されるものではなく、これらの機器以外の他の機器が記憶する画像であってもよい。

《プロジェクタ２１》
通信部２１０は、プロジェクタ２１とＰＣ１１との間でデータの送受信を行う。通信部２１０は、通信ＩＦ２０７の駆動を制御し、機器間のデータ通信を行う。投影部２１１は、光源の発光により、光学レンズを介して、スクリーン３０に画像を投影する。投影部２１１は、投影デバイス２０６の駆動を制御し、画像を投影する。投影部２１１は、通信部（補正画像受信部）２１０を介して、ＰＣ１１から受信した補正画像をスクリーン３０に投影する。

以上のように、本実施形態に係る画像処理機能は、ＰＣ１１、プロジェクタ２１、及びカメラ４１の各機器において、画像処理プログラムが実行され、上記各機能部が連携動作することで実現される。

本実施形態に係る画像処理プログラムは、実行環境である各機器（コンピュータ）が読み取り可能な記録媒体を含む外部記憶装置１０４，２０４，４０４に、インストール可能な形式又は実行可能な形式のファイルで記録され提供される。画像処理プログラムは、上記各機能部を含むモジュール構成となっており、各機器が備えるＣＰＵ１０１，２０１，４０１が外部記憶装置１０４，２０４，４０４からプログラムを読み出し実行することで、ＲＡＭ１０３，２０３，４０３上に各機能部が生成される。なお、画像処理プログラムの提供方法は、この限りでない。例えば、画像処理プログラムを、インターネットなどに接続された機器に格納し、通信ＩＦ１０７，２０７，４０７を介して、ネットワーク経由でダウンロードする方法であってもよい。また、画像処理プログラムを、ＲＯＭ１０２，２０２，４０２などに予め組み込んで提供する方法であってもよい。

なお、上記には、本実施形態に係る画像処理機能が、画像処理認識プログラム（ソフトウェア）の実行により実現される例を説明したが、この限りでない。例えば、上記各機能部の一部又は全部を、ハードウェアロジック（回路など）の実装により実現してもよい。

以下に、本実施形態に係る画像処理プログラム実行時の処理（各機能部の連携動作）について、シーケンス図を用いて説明する。図５は、本実施形態に係る画像処理時の処理手順例を示すシーケンス図である。

図５に示すように、まず、ＰＣ１１は、通信部１１０を介して、補正情報算出用画像に相当するパターン画像をプロジェクタ２１に送信する（ステップＳ１０１）。

プロジェクタ２１は、通信部２１０を介して、ＰＣ１１からパターン画像を受信すると、投影部２１１により、受信したパターン画像をスクリーン３０に投影する（ステップＳ１０２）。

カメラ４１は、撮影部４１１により、スクリーン３０を撮影し（ステップＳ１０３）、スクリーン３０に投影された投影画像を含む領域を撮影画像として取得する。次にカメラ４１は、対応点情報取得部４１２により、撮影画像から、投影画像の対応点情報を取得する（ステップＳ１０４）。このとき対応点情報取得部４１２は、所定の抽出アルゴリズムにより、投影画像の対応点情報を取得する。次にカメラ４１は、通信部４１０を介して、対応点情報をＰＣ１１に送信する（ステップＳ１０５）。

ＰＣ１１は、通信部１１０を介して、カメラ４１から対応点情報を受信すると、補正情報算出部１１１により、受信した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する（ステップＳ１０６）。このとき補正情報算出部１１１は、所定の抽出アルゴリズムにより、投影画像の特徴点情報を取得する。補正情報算出部１１１は、取得した特徴点情報と受信した対応点情報に基づき、特徴点と対応点との相対的な位置関係を検出する。補正情報算出部１１１は、検出した位置関係に基づき、検出した歪みを解消する補正情報を算出する。次にＰＣ１１は、補正部１１２により、補正情報に基づき、投影対象のコンテンツ画像を補正する（ステップＳ１０７）。次にＰＣ１１は、通信部１１０を介して、補正画像をプロジェクタ２１に送信する（ステップＳ１０８）
。

プロジェクタ２１は、通信部２１０を介して、ＰＣ１１から補正画像を受信すると、投影部２１１により、受信した補正画像をスクリーン３０に投影する（ステップＳ１０９）
。

このように、本実施形態に係る画像処理機能では、補正情報の算出と歪み補正を行うＰＣ１１に対応点情報を送信し、各機器の間で、補正画像以外の画像データの送受信を行わない。これにより、本実施形態に係る画像処理機能では、歪み補正時に各機器の間で送受信するデータ量が軽減され、送受信処理にかかる時間を短縮できる。また、本実施形態に係る画像処理機能では、撮影画像から取得した投影画像の対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出し、補正情報に基づき、投影対象のコンテンツ画像を補正する。これにより、本実施形態に係る画像処理機能では、画像のデータ量を削減することなく、適切な情報量の撮影画像を用いて歪み補正が行え、高い補正精度を保つことができる。

＜まとめ＞
以上のように、本実施形態に係る画像処理システム１によれば、カメラ４１は、撮影した撮影画像から、投影画像の対応点情報を取得し、取得した対応点情報をＰＣ１１に送信する。これを受けてＰＣ１１は、受信した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する。次にＰＣ１１は、算出した補正情報に基づき、投影対象のコンテンツ画像を補正し、補正した補正画像をプロジェクタ２１に送信する。これを受けてプロジェクタ２１は、受信した補正画像をスクリーン３０に投影する。

これによって、本実施形態に係る画像処理システム１は、歪み補正時に各機器の間で送受信するデータ量を軽減し、送受信にかかる処理時間が短縮される環境を提供する。また、本実施形態に係る画像処理システム１は、適切な情報量の撮影画像を用いて歪み補正を行い、高い補正精度が保たれる環境を提供する。その結果、本実施形態に係る画像処理システム１は、高い補正精度を保ち、処理の高速化を図ることができる。

なお、上記実施形態では、カメラ４１が、対応点情報をＰＣ１１に送信する際に、取得データをそのまま送信する例を示したが、この限りでない。例えば、カメラ４１は、対応点情報を圧縮し、ＰＣ１１に送信するようにしてもよい。この場合、取得データをそのまま送信する場合に比べて、カメラ４１からＰＣ１１への送信データのデータ量が少なくなり、送受信にかかる処理時間をより短縮することができる。

また、上記実施形態では、ＰＣ１１が、補正情報算出時に、補正情報算出用画像を投影した際の投影画像の特徴点情報を取得する例を示したが、この限りでない。例えば、ＰＣ１１は、補正情報算出用画像の特徴点情報を予め記憶していてもよい。この場合、投影画像の特徴点情報を取得する場合に比べて、処理手順が少なくなり、歪み補正にかかる処理時間を短縮することができる。

［第２の実施形態］
本実施形態では、カメラ４１が、撮影画像から取得した投影画像の対応点情報をプロジェクタ２１に送信し、プロジェクタ２１が、受信した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する。これにより、本実施形態では、歪み補正時に各機器の間で送受信するデータ量を軽減し、送受信にかかる処理時間が短縮される環境を提供する。また、本実施形態では、適切な情報量の撮影画像を用いて歪み補正を行い、高い補正精度が保たれる環境を提供する。なお、本実施形態の説明では、第１の実施形態と異なる事項について説明を行い、同一事項については説明を省略する。

＜システム構成＞
図６は、本実施形態に係る画像処理システム２の構成例を示す図である。図６に示すように、本実施形態に係る画像処理システム２では、次のような各機器の処理により、投影画像に生じた歪みを補正し、歪みのない画像をスクリーン３０に投影する。まず、カメラ４１は、撮影した撮影画像から、投影画像の対応点情報を取得し、取得した対応点情報をプロジェクタ２１に送信する。これを受けてプロジェクタ２１は、受信した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する。次にプロジェクタ２１は、算出した補正情報をＰＣ１１に送信する。これを受けてＰＣ１１は、受信した補正情報に基づき、投影対象のコンテンツ画像を補正し、補正後の画像データをプロジェクタ２１に送信する。これを受けてプロジェクタ２１は、受信した補正画像をスクリーン３０に投影する。これにより、本実施形態に係る画像処理システム２では、歪みのない画像がスクリーン３０に投影される。

＜画像処理機能＞
以下に、本実施形態に係る画像処理機能の構成とその動作について説明する。図７は、本実施形態に係る画像処理機能の構成例を示す図である。

図７に示すように、本実施形態に係る画像処理機能は、ＰＣ１１、プロジェクタ２１、及びカメラ４１の各機器が有する機能に分けられる。具体的には、本実施形態に係るカメラ４１（第１機器）は、通信部４１０、撮影部４１１、及び対応点情報取得部４１２などの機能部を有している。また、本実施形態に係るＰＣ（第２機器）１１は、通信部１１０、及び補正部１１２などの機能部を有している。また、本実施形態に係るプロジェクタ２１（第３機器）は、通信部２１０、投影部２１１、及び補正情報算出部２１２などの機能部を有している。なお、以下の説明では、各機器の間で送受信するデータの流れに則して、各機器が有する機能部について説明を行う。

《カメラ４１》
通信部４１０は、カメラ４１とプロジェクタ２１との間でデータの送受信を行う。対応点情報取得部４１２は、撮影部４１１が撮影した撮影画像から、投影画像の対応点情報を取得する。対応点情報取得部４１２は、取得した対応点情報を、通信部４１０（第１情報送信部）を介して、プロジェクタ２１に送信する。

《プロジェクタ２１》
通信部２１０は、プロジェクタ２１とカメラ４１又はＰＣ１１との間でデータの送受信を行う。補正情報算出部２１２は、通信部２１０（第１情報受信部）を介して、カメラ４１から受信した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する。補正情報算出部２１２は、算出した補正情報を、通信部２１０（第２情報送信部）を介して、ＰＣ１１に送信する。

《ＰＣ１１》
通信部１１０は、ＰＣ１１とプロジェクタ２１との間でデータの送受信を行う。補正部１１２は、通信部１１０（第２情報受信部）を介して、プロジェクタ２１から受信した補正情報に基づき、投影対象のコンテンツ画像を補正する。補正部１１２は、補正した補正画像を、通信部１１０を介して、プロジェクタ２１に送信する。

以上のように、本実施形態に係る画像処理機能は、ＰＣ１１、プロジェクタ２１、及びカメラ４１の各機器において、上記各機能部が連携動作することで実現される。

以下に、本実施形態に係る画像処理機能実行時の処理（各機能部の連携動作）について、シーケンス図を用いて説明する。図８は、本実施形態に係る画像処理時の処理手順例を示すシーケンス図である。

図８に示すように、まず、ＰＣ１１は、通信部１１０を介して、補正情報算出用画像に相当するパターン画像をプロジェクタ２１に送信する（ステップＳ２０１）。

プロジェクタ２１は、通信部２１０を介して、ＰＣ１１からパターン画像を受信すると、投影部２１１により、受信したパターン画像をスクリーン３０に投影する（ステップＳ２０２）。

カメラ４１は、撮影部４１１により、スクリーン３０を撮影し（ステップＳ２０３）、スクリーン３０に投影された投影画像を含む領域を撮影画像として取得する。次にカメラ４１は、対応点情報取得部４１２により、撮影画像から、投影画像の対応点情報を取得する（ステップＳ２０４）。次にカメラ４１は、通信部４１０を介して、対応点情報をプロジェクタ２１に送信する（ステップＳ２０５）。

プロジェクタ２１は、通信部２１０を介して、カメラ４１から対応点情報を受信すると、補正情報算出部２１２により、受信した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する（ステップＳ２０６）。次にプロジェクタ２１は、通信部２１０を介して、補正情報をＰＣ１１に送信する（ステップＳ２０７）。ＰＣ１１は、通信部１１０を介して、プロジェクタ２１から補正情報を受信すると、補正部１１２により、受信した補正情報に基づき、投影対象のコンテンツ画像を補正する（ステップＳ２０８）。次にＰＣ１１は、通信部１１０を介して、補正画像をプロジェクタ２１に送信する（ステップＳ２０９）。

プロジェクタ２１は、通信部２１０を介して、ＰＣ１１から補正画像を受信すると、投影部２１１により、受信した補正画像をスクリーン３０に投影する（ステップＳ２１０）
。

このように、本実施形態に係る画像処理機能では、補正情報を算出するプロジェクタ２１に対応点情報を送信し、歪み補正を行うＰＣ１１に補正情報を送信し、各機器の間で、補正画像以外の画像データの送受信を行わない。これにより、本実施形態に係る画像処理機能では、歪み補正時に各機器の間で送受信するデータ量が軽減され、送受信処理にかかる時間を短縮できる。また、本実施形態に係る画像処理機能では、撮影画像から取得した投影画像の対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出し、補正情報に基づき、投影対象のコンテンツ画像を補正する。これにより、本実施形態に係る画像処理機能では、画像のデータ量を削減することなく、適切な情報量の撮影画像を用いて歪み補正が行え、高い補正精度を保つことができる。

＜まとめ＞
以上のように、本実施形態に係る画像処理システム２によれば、カメラ４１は、撮影した撮影画像から、投影画像の対応点情報を取得し、取得した対応点情報をプロジェクタ２１に送信する。これを受けてプロジェクタ２１は、受信した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出し、算出した補正情報をＰＣ１１に送信する。これを受けてＰＣ１１は、受信した補正情報に基づき、投影対象のコンテンツ画像を補正し、補正した補正画像をプロジェクタ２１に送信する。これを受けてプロジェクタ２１は、受信した補正画像をスクリーン３０に投影する。

これによって、本実施形態に係る画像処理システム２は、歪み補正時に各機器の間で送受信するデータ量を軽減し、送受信にかかる処理時間が短縮される環境を提供する。また、本実施形態に係る画像処理システム２は、適切な情報量の撮影画像を用いて歪み補正を行い、高い補正精度が保たれる環境を提供する。その結果、本実施形態に係る画像処理システム２は、高い補正精度を保ち、処理の高速化を図ることができる。

また、本実施形態に係る画像処理システム２は、次のような効果を有する。例えば、補正情報の算出と歪み補正を行うＰＣ１１を他のＰＣ１１に入れ替えたとする。この場合、補正情報は、入れ替え前のＰＣ１１に保持されていることから、入れ替え後のＰＣ１１では、再度、投影画像の歪みを検出し、補正情報を算出する必要があり、その工程はユーザにとって煩雑である。これに対して、本実施形態に係る画像処理システム２では、プロジェクタ２１が補正情報を保持していることから、ＰＣ１１が入れ替わる場合でも、上述したような煩雑な工程（歪みの再検出）を行わなくてよい。

［第３の実施形態］
本実施形態では、カメラ４１が、撮影画像から取得した投影画像の対応点情報をプロジェクタ２１に送信する。次にプロジェクタ２１が、受信した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出し、補正情報に基づき、投影対象のコンテンツ画像を補正する。これにより、本実施形態では、歪み補正時に各機器の間で送受信するデータ量を軽減し、送受信にかかる処理時間が短縮される環境を提供する。また、本実施形態では、適切な情報量の撮影画像を用いて歪み補正を行い、高い補正精度が保たれる環境を提供する。なお、本実施形態の説明では、第１の実施形態と異なる事項について説明を行い、同一事項については説明を省略する。

＜システム構成＞
図９は、本実施形態に係る画像処理システム３の構成例を示す図である。図９に示すように、本実施形態に係る画像処理システム３は、プロジェクタ２１とカメラ４１を備えている。プロジェクタ２１とカメラ４１の各機器は、所定のデータ伝送路を介して接続されている。よって、各機器の間では、各種データ通信が行える。

本実施形態に係る画像処理システム３は、例えば、記録媒体などの外部記憶装置２０４やビデオカメラなどのＰＣ１１以外の機器（以下「外部機器」という）に記憶された投影対象のコンテンツ画像をスクリーン３０に投影する利用場面を想定している。このように、本実施形態に係る画像処理システム３は、ＰＣ１１以外から提供されたコンテンツ画像もスクリーン３０に投影できる。

本実施形態に係る画像処理システム３では、次のような各機器の処理により、投影画像に生じた歪みを補正し、歪みのない画像をスクリーン３０に投影する。まず、カメラ４１は、撮影した撮影画像から、投影画像の対応点情報を取得し、取得した対応点情報をプロジェクタ２１に送信する。これを受けてプロジェクタ２１は、受信した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する。次にプロジェクタ２１は、算出した補正情報に基づき、投影対象のコンテンツ画像を補正し、補正した補正画像をスクリーン３０に投影する。これにより、本実施形態に係る画像処理システム３では、歪みのない画像がスクリーン３０に投影される。

＜画像処理機能＞
以下に、本実施形態に係る画像処理機能の構成とその動作について説明する。図１０は、本実施形態に係る画像処理機能の構成例を示す図である。

図１０に示すように、本実施形態に係る画像処理機能は、プロジェクタ２１とカメラ４１の各機器が有する機能に分けられる。具体的には、本実施形態に係るカメラ（第１機器）４１は、通信部４１０、撮影部４１１、及び対応点情報取得部４１２などの機能部を有している。また、本実施形態に係るプロジェクタ（第２機器）２１は、通信部２１０、投影部２１１、補正情報算出部２１２、及び補正部２１３などの機能部を有している。なお、以下の説明では、各機器の間で送受信するデータの流れに則して、各機器が有する機能部について説明を行う。

《カメラ４１》
通信部４１０は、カメラ４１とプロジェクタ２１との間でデータの送受信を行う。対応点情報取得部４１２は、撮影部４１１が撮影した撮影画像から、投影画像の対応点情報を取得する。対応点情報取得部４１２は、取得した対応点情報を、通信部４１０（情報送信部）を介して、プロジェクタ２１に送信する。

《プロジェクタ２１》
通信部２１０は、プロジェクタ２１とカメラ４１との間でデータの送受信を行う。補正情報算出部２１２は、通信部２１０（情報受信部）を介して、カメラ４１から受信した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する。
補正部２１３は、補正情報算出部２１２により算出された補正情報に基づき、投影対象のコンテンツ画像を補正する。投影部２１１は、補正部２１３により補正された補正画像をスクリーン３０に投影する。

以上のように、本実施形態に係る画像処理機能は、プロジェクタ２１とカメラ４１の各機器において、上記各機能部が連携動作することで実現される。

以下に、本実施形態に係る画像処理機能実行時の処理（各機能部の連携動作）について、シーケンス図を用いて説明する。図１１は、本実施形態に係る画像処理時の処理手順例を示すシーケンス図である。図１１には、投影対象のコンテンツ画像が、外部機器からプロジェクタ２１に提供された後の処理が示されている。

図１１に示すように、まず、プロジェクタ２１は、投影部２１１により、補正情報算出用画像に相当するパターン画像をスクリーン３０に投影する（ステップＳ３０１）。なお、このとき投影されるパターン画像は、プロジェクタ２１が備える記憶装置の所定の記憶領域に予め記憶されている。

カメラ４１は、撮影部４１１により、スクリーン３０を撮影し（ステップＳ３０２）、スクリーン３０に投影された投影画像を含む領域を撮影画像として取得する。次にカメラ４１は、対応点情報取得部４１２により、撮影画像から、投影画像の対応点情報を取得する（ステップＳ３０３）。次にカメラ４１は、通信部４１０を介して、対応点情報をプロジェクタ２１に送信する（ステップＳ３０４）。

プロジェクタ２１は、通信部２１０を介して、カメラ４１から対応点情報を受信すると、補正情報算出部２１２により、受信した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する（ステップＳ３０５）。次にプロジェクタ２１は、補正部２１３により、補正情報に基づき、投影対象のコンテンツ画像を補正する（ステップＳ３０６）。次にプロジェクタ２１は、投影部２１１により、補正画像をスクリーン３０に投影する（ステップＳ３０７）。

このように、本実施形態に係る画像処理機能では、補正情報の算出と歪み補正を行うプロジェクタ２１に対応点情報を送信し、各機器の間で、補正画像以外の画像データの送受信を行わない。これにより、本実施形態に係る画像処理機能では、歪み補正時に各機器の間で送受信するデータ量が軽減され、送受信処理にかかる時間を短縮できる。また、本実施形態に係る画像処理機能では、撮影画像から取得した投影画像の対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出し、補正情報に基づき、投影対象のコンテンツ画像を補正する。これにより、本実施形態に係る画像処理機能では、画像のデータ量を削減することなく、適切な情報量の撮影画像を用いて歪み補正が行え、高い補正精度を保つことができる。

＜まとめ＞
以上のように、本実施形態に係る画像処理システム３によれば、カメラ４１は、撮影した撮影画像から、投影画像の対応点情報を取得し、取得した対応点情報をプロジェクタ２１に送信する。これを受けてプロジェクタ２１は、受信した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出し、算出した補正情報に基づき、投影対象のコンテンツ画像を補正し、補正した補正画像をスクリーン３０に投影する。

これによって、本実施形態に係る画像処理システム３は、歪み補正時に各機器の間で送受信するデータ量を軽減し、送受信にかかる処理時間が短縮される環境を提供する。また、本実施形態に係る画像処理システム３は、適切な情報量の撮影画像を用いて歪み補正を行い、高い補正精度が保たれる環境を提供する。その結果、本実施形態に係る画像処理システム３は、高い補正精度を保ち、処理の高速化を図ることができる。

また、本実施形態に係る画像処理システム３は、第２の実施形態と同様に、プロジェクタ２１が補正情報を保持していることから、投影対象のコンテンツ画像を提供するＰＣ１１が入れ替わる場合でも、歪みの再検出を行わなくてよい。

また、本実施形態に係る画像処理システム３は、プロジェクタ２１が、補正情報の算出から歪み補正までの処理を行うことから、外部機器からプロジェクタ２１に投影対象のコンテンツ画像を提供するだけで、歪みのない画像がスクリーン３０に投影される。

また、本実施形態に係る画像処理システム３は、プロジェクタ２１とカメラ４１で歪み補正の画像処理が行える環境を実現していることから、システム構成を簡素化できる。

［第４の実施形態］
本実施形態では、カメラ４１が、撮影画像から取得した投影画像の対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する。次にカメラ４１が、算出した補正情報に基づき、投影対象のコンテンツ画像を補正し、補正した補正画像をプロジェクタ２１に送信する。これにより、本実施形態では、歪み補正時に各機器の間で送受信するデータ量を軽減し、送受信にかかる処理時間が短縮される環境を提供する。また、本実施形態では、適切な情報量の撮影画像を用いて歪み補正を行い、高い補正精度が保たれる環境を提供する。なお、本実施形態の説明では、第１の実施形態と異なる事項について説明を行い、同一事項については説明を省略する。

＜システム構成＞
図１２は、本実施形態に係る画像処理システム４の構成例を示す図である。図１２に示すように、本実施形態に係る画像処理システム４は、プロジェクタ２１とカメラ４１を備えている。プロジェクタ２１とカメラ４１の各機器は、所定のデータ伝送路を介して接続されている。よって、各機器の間では、各種データ通信が行える。

本実施形態に係る画像処理システム４は、外部機器に記憶された投影対象のコンテンツ画像をスクリーン３０に投影する利用場面を想定している。このように、本実施形態に係る画像処理システム４は、ＰＣ１１以外から提供されたコンテンツ画像もスクリーン３０に投影できる。

本実施形態に係る画像処理システム４では、次のような各機器の処理により、投影画像に生じた歪みを補正し、歪みのない画像をスクリーン３０に投影する。まず、カメラ４１は、撮影した撮影画像から、投影画像の対応点情報を取得し、取得した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する。次にカメラ４１は、算出した補正情報に基づき、投影対象のコンテンツ画像を補正し、補正した補正画像をプロジェクタ２１に送信する。これを受けてプロジェクタ２１は、受信した補正画像をスクリーン３０に投影する。これにより、本実施形態に係る画像処理システム４では、歪みのない画像がスクリーン３０に投影される。

＜画像処理機能＞
以下に、本実施形態に係る画像処理機能の構成とその動作について説明する。図１３は、本実施形態に係る画像処理機能の構成例を示す図である。

図１３に示すように、本実施形態に係る画像処理機能は、プロジェクタ２１とカメラ４１の各機器が有する機能に分けられる。具体的には、本実施形態に係るカメラ（第１機器）４１は、通信部４１０、撮影部４１１、対応点情報取得部４１２、補正情報算出部４１３、及び補正部４１４などの機能部を有している。また、本実施形態に係るプロジェクタ（第２機器）２１は、通信部２１０と投影部２１１などの機能部を有している。なお、以下の説明では、各機器の間で送受信するデータの流れに則して、各機器が有する機能部について説明を行う。

《カメラ４１》
通信部４１０は、カメラ４１とプロジェクタ２１との間でデータの送受信を行う。対応点情報取得部４１２は、撮影部４１１が撮影した撮影画像から、投影画像の対応点情報を取得する。補正情報算出部４１３は、対応点情報取得部４１２により取得された対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する。補正部４１４は、補正情報算出部４１３により算出された補正情報に基づき、投影対象のコンテンツ画像を補正する。補正部４１４は、補正した補正画像を、通信部（補正画像送信部）
４１０を介して、プロジェクタ２１に送信する。

《プロジェクタ２１》
通信部２１０は、プロジェクタ２１とカメラ４１との間でデータの送受信を行う。投影部２１１は、通信部（補正画像受信部）２１０を介して、カメラ４１から受信した補正画像をスクリーン３０に投影する。

以上のように、本実施形態に係る画像処理機能は、プロジェクタ２１とカメラ４１の各機器において、上記各機能部が連携動作することで実現される。

以下に、本実施形態に係る画像処理機能実行時の処理（各機能部の連携動作）について、シーケンス図を用いて説明する。図１４は、本実施形態に係る画像処理時の処理手順例を示すシーケンス図である。図１４には、投影対象のコンテンツ画像が、外部機器からプロジェクタ２１やカメラ４１に提供された後の処理が示されている。

図１４に示すように、まず、プロジェクタ２１は、投影部２１１により、補正情報算出用画像に相当するパターン画像をスクリーン３０に投影する（ステップＳ４０１）。なお、このとき投影されるパターン画像は、プロジェクタ２１が備える記憶装置の所定の記憶領域に予め記憶されている。

カメラ４１は、撮影部４１１により、スクリーン３０を撮影し（ステップＳ４０２）、スクリーン３０に投影された投影画像を含む領域を撮影画像として取得する。次にカメラ４１は、対応点情報取得部４１２により、撮影画像から、投影画像の対応点情報を取得する（ステップＳ４０３）。次にカメラ４１は、補正情報算出部４１３により、対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する（ステップＳ４０４）。次にカメラ４１は、補正部４１４により、補正情報に基づき、投影対象のコンテンツ画像を補正する（ステップＳ４０５）。次にカメラ４１は、通信部４１０を介して、補正画像をプロジェクタ２１に送信する（ステップＳ４０６）。

プロジェクタ２１は、通信部２１０を介して、カメラ４１から補正画像を受信すると、投影部２１１により、受信した補正画像をスクリーン３０に投影する（ステップＳ４０７）。

このように、本実施形態に係る画像処理機能では、カメラ４１が、補正情報の算出と歪み補正を行い、プロジェクタ２１に補正画像を送信し、各機器の間で、補正画像以外の画像データの送受信を行わない。これにより、本実施形態に係る画像処理機能では、歪み補正時に各機器の間で送受信するデータ量が軽減され、送受信処理にかかる時間を短縮できる。また、本実施形態に係る画像処理機能では、撮影画像から取得した投影画像の対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出し、補正情報に基づき、投影対象のコンテンツ画像を補正する。これにより、本実施形態に係る画像処理機能では、画像のデータ量を削減することなく、適切な情報量の撮影画像を用いて歪み補正が行え、高い補正精度を保つことができる。

＜まとめ＞
以上のように、本実施形態に係る画像処理システム４によれば、カメラ４１は、撮影した撮影画像から、投影画像の対応点情報を取得し、取得した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する。次にカメラ４１は、算出した補正情報に基づき、投影対象のコンテンツ画像を補正し、補正した補正画像をプロジェクタ２１に送信する。これを受けてプロジェクタ２１は、受信した補正画像をスクリーン３０に投影する。

これによって、本実施形態に係る画像処理システム４は、歪み補正時に各機器の間で送受信するデータ量を軽減し、送受信にかかる処理時間が短縮される環境を提供する。また、本実施形態に係る画像処理システム４は、適切な情報量の撮影画像を用いて歪み補正を行い、高い補正精度が保たれる環境を提供する。その結果、本実施形態に係る画像処理システム４は、高い補正精度を保ち、処理の高速化を図ることができる。

また、本実施形態に係る画像処理システム４は、カメラ４１が補正情報を保持していることから、コンテンツ画像を投影するプロジェクタ２１やコンテンツ画像を提供する外部機器が入れ替わる場合でも、歪みの再検出を行わなくてよい。

また、本実施形態に係る画像処理システム４は、カメラ４１が、補正情報の算出から歪み補正までの処理を行うことから、外部機器からプロジェクタ２１やカメラ４１に投影対象のコンテンツ画像を提供するだけで、歪みのない画像がスクリーン３０に投影される。

また、本実施形態に係る画像処理システム４は、プロジェクタ２１とカメラ４１で歪み補正の画像処理が行える環境を実現していることから、システム構成を簡素化できる。

［第５の実施形態］
本実施形態では、カメラ４１が、撮影画像から取得した投影画像の対応点情報を画像処理装置に送信し、画像処理装置が、受信した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する。これにより、本実施形態では、歪み補正時に各機器の間で送受信するデータ量を軽減し、送受信にかかる処理時間が短縮される環境を提供する。また、本実施形態では、適切な情報量の撮影画像を用いて歪み補正を行い、高い補正精度が保たれる環境を提供する。なお、本実施形態の説明では、第１の実施形態と異なる事項について説明を行い、同一事項については説明を省略する。

＜システム構成＞
図１５は、本実施形態に係る画像処理システム５の構成例を示す図である。図１５に示すように、本実施形態に係る画像処理システム５は、プロジェクタ２１、カメラ４１、及び画像処理装置５１などを備えている。プロジェクタ２１、カメラ４１、及び画像処理装置５１などの各機器は、所定のデータ伝送路を介して接続されている。よって、各機器の間では、各種データ通信が行える。

画像処理装置５１は、画像処理機能を有する機器であり、補正情報の算出と歪み補正を行う。

本実施形態に係る画像処理システム５は、外部機器に記憶された投影対象のコンテンツ画像をスクリーン３０に投影する利用場面を想定している。このように、本実施形態に係る画像処理システム５は、ＰＣ１１以外から提供されたコンテンツ画像もスクリーン３０に投影できる。

本実施形態に係る画像処理システム５では、次のような各機器の処理により、投影画像に生じた歪みを補正し、歪みのない画像をスクリーン３０に投影する。まず、カメラ４１は、撮影した撮影画像から、投影画像の対応点情報を取得し、取得した対応点情報を画像処理装置５１に送信する。これを受けて画像処理装置５１は、受信した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する。次に画像処理装置５１は、算出した補正情報に基づき、投影対象のコンテンツ画像を補正し、補正後の画像データをプロジェクタ２１に送信する。これを受けてプロジェクタ２１は、受信した補正画像をスクリーン３０に投影する。これにより、本実施形態に係る画像処理システム５では、歪みのない画像がスクリーン３０に投影される。

＜画像処理機能＞
以下に、本実施形態に係る画像処理機能の構成とその動作について説明する。図１６は、本実施形態に係る画像処理機能の構成例を示す図である。

図１６に示すように、本実施形態に係る画像処理機能は、プロジェクタ２１、カメラ４１、及び画像処理装置５１の各機器が有する機能に分けられる。具体的には、本実施形態に係るカメラ（第１機器）４１は、通信部４１０、撮影部４１１、及び対応点情報取得部４１２などの機能部を有している。また、本実施形態に係る画像処理装置（第２機器）５１は、通信部５１０、補正情報算出部５１１、及び補正部５１２などの機能部を有している。また、本実施形態に係るプロジェクタ（第３機器）２１は、通信部２１０と投影部２１１などの機能部を有している。なお、以下の説明では、各機器の間で送受信するデータの流れに則して、各機器が有する機能部について説明を行う。

《カメラ４１》
通信部４１０は、カメラ４１と画像処理装置５１との間でデータの送受信を行う。対応点情報取得部４１２は、撮影部４１１が撮影した撮影画像から、投影画像の対応点情報を取得する。対応点情報取得部４１２は、取得した対応点情報を、通信部４１０を介して、画像処理装置５１に送信する。

《画像処理装置５１》
通信部５１０は、画像処理装置５１とプロジェクタ２１又はカメラ４１との間でデータの送受信を行う。補正情報算出部５１１は、通信部（情報受信部）５１０を介して、カメラ４１から受信した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する。補正部５１２は、補正情報算出部５１１により算出された補正情報に基づき、投影対象のコンテンツ画像を補正する。補正部５１２は、補正した補正画像を、通信部（補正画像送信部）５１０を介して、プロジェクタ２１に送信する。

また、画像処理装置５１は、投影対象のコンテンツ画像や補正情報算出用画像に相当するパターン画像などを記憶する画像データ記憶部５１３を有している。投影対象のコンテンツ画像は、外部機器から提供された画像データである。画像データ記憶部５１３は、画像処理装置５１が備える記憶装置の所定の記憶領域に相当する。よって、補正情報算出部５１１は、画像データ記憶部５１３にアクセスし、参照したパターン画像から投影画像の特徴点情報を取得する。また、補正部５１２は、画像データ記憶部５１３にアクセスし、参照したコンテンツ画像を補正し、プロジェクタ２１に送信する。また、通信部５１０は、画像データ記憶部５１３にアクセスし、取得したパターン画像をプロジェクタ２１に送信する。

《プロジェクタ２１》
通信部２１０は、プロジェクタ２１と画像処理装置５１との間でデータの送受信を行う。投影部２１１は、通信部２１０を介して、画像処理装置５１から受信した補正画像をスクリーン３０に投影する。

以上のように、本実施形態に係る画像処理機能は、プロジェクタ２１、カメラ４１、及び画像処理装置５１の各機器において、上記各機能部が連携動作することで実現される。

以下に、本実施形態に係る画像処理機能実行時の処理（各機能部の連携動作）について、シーケンス図を用いて説明する。図１７は、本実施形態に係る画像処理時の処理手順例を示すシーケンス図である。図１７には、投影対象のコンテンツ画像が、外部機器から画像処理装置５１に提供された後の処理が示されている。

図１７に示すように、まず、画像処理装置５１は、通信部５１０を介して、補正情報算出用画像に相当するパターン画像をプロジェクタ２１に送信する（ステップＳ５０１）。

プロジェクタ２１は、通信部２１０を介して、画像処理装置５１からパターン画像を受信すると、投影部２１１により、受信したパターン画像をスクリーン３０に投影する（ステップＳ５０２）。

カメラ４１は、撮影部４１１により、スクリーン３０を撮影し（ステップＳ５０３）、スクリーン３０に投影された投影画像を含む領域を撮影画像として取得する。次にカメラ４１は、対応点情報取得部４１２により、撮影画像から、投影画像の対応点情報を取得する（ステップＳ５０４）。次にカメラ４１は、通信部４１０を介して、対応点情報を画像処理装置５１に送信する（ステップＳ５０５）。

画像処理装置５１は、通信部５１０を介して、カメラ４１から対応点情報を受信すると、補正情報算出部５１１により、受信した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する（ステップＳ５０６）。次に画像処理装置５１は、補正部５１２により、補正情報に基づき、投影対象のコンテンツ画像を補正する（ステップＳ５０７）。次に画像処理装置５１は、通信部５１０を介して、補正画像をプロジェクタ２１に送信する（ステップＳ５０８）。

プロジェクタ２１は、通信部２１０を介して、画像処理装置５１から補正画像を受信すると、投影部２１１により、受信した補正画像をスクリーン３０に投影する（ステップＳ５０９）。

このように、本実施形態に係る画像処理機能では、補正情報の算出と歪み補正を行う画像処理装置５１に対応点情報を送信し、各機器の間で、補正画像以外の画像データの送受信を行わない。これにより、本実施形態に係る画像処理機能では、歪み補正時に各機器の間で送受信するデータ量が軽減され、送受信処理にかかる時間を短縮できる。また、本実施形態に係る画像処理機能では、撮影画像から取得した投影画像の対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出し、補正情報に基づき、投影対象のコンテンツ画像を補正する。これにより、本実施形態に係る画像処理機能では、画像のデータ量を削減することなく、適切な情報量の撮影画像を用いて歪み補正が行え、高い補正精度を保つことができる。

（変更例）
画像処理システムはさらに、カメラにより撮影された撮影画像の傾きを補正することとしてもよい。投影画像の歪みを補正するためには、パターン画像の撮影を適切なカメラ姿勢で行う必要がある。通常は撮影画像の上下辺が地面と並行であり、左右辺が地面と垂直であることが望まれる。しかしこのような画像を撮影することは容易ではない。水準器のついた三脚などを使用すれば可能であるが、設置の手間がかかる。

図１８−１は、カメラの傾きを適切に保った状態で撮影された撮影画像を示す図である。図１８−２および図１８−３は、カメラの傾いた状態で撮影された撮影画像を示す図である。歪み補正のためには、図１８−１に示すようにカメラを水平に保った姿勢で撮影することが望ましい。しかし、図１８−２および図１８−３のようにカメラが傾いた状態で撮影すると、各図の下部に示すような傾いた画像が撮影される。図１８−２は、スクリーン３０に対して正対してはいるが、地面と垂直な面内でカメラが回転した場合の例である。図１８−３は、スクリーン３０に対して正対しておらず、下からあおったような角度の撮影となった場合の例である。

本変更例では、カメラが備える表示部の画面に水準器を表示して適切なカメラ姿勢で撮影できるようする。また、本変更例では、カメラに内蔵された加速度センサの情報を用いて、撮影された画像の補正を行う。これにより、ユーザに手間をかけさせることなく適切な画像を得ることができる。

図１９は、本変更例にかかる画像処理システム６の機能構成を示すブロック図である。画像処理システム６は、ＰＣ１１、プロジェクタ２１およびカメラ５０を備えている。ＰＣ１１およびプロジェクタ２１は、第１の実施形態と同様であるため同一の符号を付し説明を省略する。カメラ５０は、撮影部４１１と、対応点情報取得部４１２と、通信部４１０と、検知部５０３と、回転部５０４と、表示制御部５０５と、を有している。

撮影部４１１、対応点情報取得部４１２、および、通信部４１０は、第１の実施形態と同様であるため同一の符号を付し説明を省略する。

検知部５０３は、撮影時のカメラ５０の傾きを検知する。検知部５０３は、例えば、加速度センサなどの傾きを検知可能なセンサにより構成できる。

回転部５０４は、検知部５０３により得られた傾きに基づいて、傾きがない状態で撮影された画像に相当するように撮影画像を回転させる。

このように、本例にかかる画像処理システム６では、撮影画像の傾きを補正することができるので、画像の歪みを補正するための正しい補正情報を生成することができる。また、画像処理システム６で撮影画像の回転を行うので、ユーザによる画像撮影時のカメラ５０の撮影方向や傾きを制限する必要がない。したがって、ユーザは、撮影時のカメラ５０の方向を意識することなく、自由に撮影することができる。

表示制御部５０５は、カメラ５０が備える表示部（図示せず）に対する情報の表示を制御する。本変更例では、表示制御部５０５は、カメラ５０の傾きの状態を表示するために、水準器（カメラ５０の水平状態を示す画像など）を表示部に表示する。

図２０−１および図２０−２は、表示される水準器の一例を示す図である。図２０−１は、傾き状態を表す円２８０１が中央に来るように調整する仕組みの水準器の例である。図２０−２は、傾き状態を表す矩形２８１１および矩形２８１２のそれぞれが、左右および上下のバーの中央に位置するように調整する仕組みの水準器である。このような水準器を表示することにより、ユーザが適切なカメラ姿勢で画像を撮影する助けになる。

本変更例による画像補正処理の流れについて説明する。まず、カメラ５０の加速度センサの情報を使用し、カメラ５０の姿勢（傾き）を検知する。表示制御部５０５は、検知された傾きを示すように、図２０−１および図２０−２に例示するような水準器を表示部に表示する。ユーザは、表示された水準器の傾き状態を見てカメラ５０を動かし、カメラ５０が適切な姿勢になるように調整することができる。ユーザは、カメラ５０が適切な姿勢になったときに撮影を行い、画像を取得する。

このように姿勢を調整して撮影しても、完全にカメラ５０の傾きをなくすことができない場合もある。そこで、回転部５０４は、検知された傾きの情報を用いて撮影画像を補正（回転）する。回転部５０４は、撮影時のカメラ５０の加速度センサの情報を用いて撮影画像を正しい向きとなるように回転させる。図２１は、撮影画像と補正後の画像の一例を示す図である。本変更例によれば、例えば図１８−２および図１８−３のように傾いて撮影された撮影画像であっても、図２１の右に示すように、適切な姿勢で撮影したときの画像になるように傾き補正を行うことができる。

なお、回転処理を行う機能（回転部５０４）は、カメラ５０の内部に備える必要はない。例えば、撮影画像の送信先の機器（例えばＰＣ１１）が回転部５０４と同様の機能を備えてもよい。この場合は、例えば通信部４１０が、検知された傾きの情報を、撮影画像の送信先の機器に対して送信する。これにより、送信先の機器は、傾きの情報を用いて撮影画像の回転処理を実行可能となる。

また、本変更例では回転後の画像のデータ量を削減するが、データ量削減後の画像を回転するように構成してもよい。

以上のような画像回転処理を行うことにより、ユーザが適切なカメラ姿勢で画像を撮影できなくても、適切な補正（歪み補正）が可能となる。

＜まとめ＞
以上のように、本実施形態に係る画像処理システム５によれば、カメラ４１は、撮影した撮影画像から、投影画像の対応点情報を取得し、取得した対応点情報を画像処理装置５１に送信する。これを受けて画像処理装置５１は、受信した対応点情報に基づき、スクリーン３０上の投影画像の歪みを補正する補正情報を算出する。次に画像処理装置５１は、算出した補正情報に基づき、投影対象のコンテンツ画像を補正し、補正した補正画像をプロジェクタ２１に送信する。これを受けてプロジェクタ２１は、受信した補正画像をスクリーン３０に投影する。

これによって、本実施形態に係る画像処理システム５は、歪み補正時に各機器の間で送受信するデータ量を軽減し、送受信にかかる処理時間が短縮される環境を提供する。また、本実施形態に係る画像処理システム５は、適切な情報量の撮影画像を用いて歪み補正を行い、高い補正精度が保たれる環境を提供する。その結果、本実施形態に係る画像処理システム５は、高い補正精度を保ち、処理の高速化を図ることができる。

また、本実施形態に係る画像処理システム５は、画像処理装置５１が補正情報を保持していることから、コンテンツ画像を投影するプロジェクタ２１やコンテンツ画像を提供する外部機器が入れ替わる場合でも、歪みの再検出を行わなくてよい。

また、本実施形態に係る画像処理システム５は、画像処理装置５１が、補正情報の算出から歪み補正までの処理を行うことから、外部機器から画像処理装置５１に対して、投影対象のコンテンツ画像を提供するだけで、歪みのない画像がスクリーン３０に投影される。

最後に、上記実施形態に挙げた形状や構成に、その他の要素との組み合わせなど、ここで示した要件に、本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１，２，３，４，５ 画像処理システム
１１ ＰＣ
２１ プロジェクタ
４１ カメラ
５１ 画像処理装置
１１０，２１０，４１０，５１０ 通信部
１１１，２１２，４１３，５１１ 補正情報算出部
１１２，２１３，４１４，５１２ 補正部
１１３，５１３ 画像データ記憶部
２１１ 投影部
４１１ 撮影部
４１２ 対応点情報取得部

特開２００６−３３３５７号公報

Claims (14)

1. 画像を投影する投影部と、
   前記投影部により第１画像が投影された投影面を含む領域を撮影する撮影部と、
   撮影画像から、投影画像の特徴点に対応する対応点の位置を表す対応点情報を取得する取得部と、
   前記対応点情報を送信する情報送信部と、
   前記情報送信部により送信された前記対応点情報を受信する情報受信部と、
   前記情報受信部により受信された前記対応点情報に基づき、前記投影画像の歪みを補正する補正情報を算出する算出部と、
   前記補正情報に基づき、第２画像を補正する補正部と、を備え、
   前記投影部は、
   補正後の前記第２画像を投影することを特徴とする画像処理システム。
2. 前記第１画像と前記第２画像は、
   同一の画像であることを特徴とする請求項１に記載の画像処理システム。
3. 前記第１画像と前記第２画像は、
   異なる画像であることを特徴とする請求項１に記載の画像処理システム。
4. 前記撮影部を備える機器の傾き状態を表示部に表示させる表示制御部をさらに有することを特徴とする請求項１に記載の画像処理システム。
5. 前記画像処理システムは、前記撮影部を備える第１機器を備え、
   前記第１機器は、
   前記第１機器の傾き情報を検知する検知部と、
   前記傾き情報に基づいて、前記第１画像を回転する回転部と、をさらに有すること、
   を特徴とする請求項１に記載の画像処理システム。
6. 前記画像処理システムは、前記撮影部を備える第１機器と、前記補正部を備える第２機器と、を備え、
   前記第１機器は、
   前記第１機器の傾き情報を検知する検知部をさらに有し、
   前記第２機器は、
   前記傾き情報に基づいて、前記第１画像を回転する回転部をさらに有すること、
   を特徴とする請求項１に記載の画像処理システム。
7. 第１機器、第２機器、及び第３機器を備え、
   前記第１機器は、
   前記撮影部と、前記取得部と、前記情報送信部と、を備え、
   前記第２機器は、
   前記情報受信部と、前記算出部と、前記補正部と、補正後の前記第２画像を送信する補正画像送信部と、を備え、
   前記第３機器は、
   前記補正画像送信部により送信された補正後の前記第２画像を受信する補正画像受信部と、前記補正画像受信部により受信された補正後の前記第２画像を投影する前記投影部と、を備えることを特徴とする請求項１に記載の画像処理システム。
8. 第１機器、第２機器、及び第３機器を備え、
   前記第１機器は、
   前記撮影部と、前記取得部と、前記対応点情報を送信する第１情報送信部と、を備え、
   前記第２機器は、
   前記第１情報送信部より送信された前記対応点情報を受信する第１情報受信部と、前記第１情報受信部により受信された前記対応点情報に基づき、前記投影画像の歪みを補正する補正情報を算出する前記算出部と、前記補正情報を送信する第２情報送信部と、を備え、
   前記第３機器は、
   前記第２情報送信部により送信された前記補正情報を受信する第２情報受信部と、前記第２情報受信部により受信された前記補正情報に基づき、前記第２画像を補正する前記補正部と、補正後の前記第２画像を送信する補正画像送信部と、を備え、
   前記第２機器は、さらに、
   前記補正画像送信部により送信された補正後の前記第２画像を受信する補正画像受信部と、前記投影部と、を備えることを特徴とする請求項１に記載の画像処理システム。
9. 第１機器及び第２機器を備え、
   前記第１機器は、
   前記撮影部と、前記取得部と、前記情報送信部と、を備え、
   前記第２機器は、
   前記情報受信部と、前記算出部と、前記補正部と、前記投影部と、を備えることを特徴とする請求項１に記載の画像処理システム。
10. 第１機器及び第２機器を備え、
    前記第１機器は、
    前記撮影部と、前記取得部と、前記算出部と、前記補正部と、補正後の前記第２画像を送信する補正画像送信部と、を備え、
    前記第２機器は、
    前記補正画像送信部により送信された補正後の前記第２画像を受信する補正画像受信部と、前記補正画像受信部により受信された補正後の前記第２画像を投影する前記投影部と、を備えることを特徴とする請求項１に記載の画像処理システム。
11. 画像を投影する第１投影工程と、
    前記第１投影工程により第１画像が投影された投影面を含む領域を撮影する撮影工程と、
    撮影画像から、投影画像の特徴点に対応する対応点の位置を表す対応点情報を取得する取得工程と、
    前記対応点情報を送信する情報送信工程と、
    前記情報送信工程により送信された前記対応点情報を受信する情報受信工程と、
    前記情報受信工程により受信された前記対応点情報に基づき、前記投影画像の歪みを補正する補正情報を算出する算出工程と、
    前記補正情報に基づき、第２画像を補正する補正工程と、
    補正後の前記第２画像を投影する第２投影工程と、を含むことを特徴とする画像処理方法。
12. コンピュータに、
    画像を投影する第１投影工程と、
    前記第１投影工程により第１画像が投影された投影面を含む領域を撮影する撮影工程と、
    撮影画像から、投影画像の特徴点に対応する対応点の位置を表す対応点情報を取得する取得工程と、
    前記対応点情報を送信する情報送信工程と、
    前記情報送信工程により送信された前記対応点情報を受信する情報受信工程と、
    前記情報受信工程により受信された前記対応点情報に基づき、前記投影画像の歪みを補正する補正情報を算出する算出工程と、
    前記補正情報に基づき、第２画像を補正する補正工程と、
    補正後の前記第２画像を投影する第２投影工程と、を実行させる画像処理プログラム。
13. 第１機器に、
    画像を投影する第１投影工程と、
    前記第１投影工程により第１画像が投影された投影面を含む領域を撮影する撮影工程と、
    撮影画像から、投影画像の特徴点に対応する対応点の位置を表す対応点情報を取得する取得工程と、
    前記対応点情報に基づき、前記投影画像の歪みを補正する補正情報を算出する算出工程と、
    前記補正情報に基づき、第２画像を補正する補正工程と、
    補正後の前記第２画像を送信する補正画像送信工程と、を実行させ、
    第２機器に、
    前記補正画像送信工程により送信された補正後の前記第２画像を受信する補正画像受信工程と、
    前記補正画像受信工程により受信された補正後の前記第２画像を投影する第２投影工程と、を実行させる画像処理プログラム。
14. 請求項１２又は１３に記載の画像処理プログラムを記録したコンピュータが読み取り可能な記録媒体。

Images