JP2023136450A - 画像補正装置、撮像システム、制御方法、並びにプログラム - Google Patents

Abstract

【課題】複数カメラ間でのカラーマッチングの精度を向上することができる画像補正装置、撮像システム、制御方法、並びにプログラムを提供する。【解決手段】制御装置３００は、ディスプレイウォール５００上のパターン表示画像５０の撮像装置Ａ１００，Ｂ２００による撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂを用いて、撮像装置Ａ１００，Ｂ２００のカラーマッチングを行うため、ディスプレイウォール５００の表示画面に対する撮像装置Ａ１００，Ｂ２００の位置により生じる視野角特性を、所定の視野角特性となるように補正する視野角補正値をメモリ３０５に記憶し、視野角特性補正部３０２３で、撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂにおけるパターン表示画像５０に視野角補正値を用いた補正を施して複数の補正画像を生成し、色補正値算出部３０２４で複数の補正画像の色を合わせる色補正値を算出する。【選択図】図１

Description

本発明は、画像補正装置、撮像システム、制御方法、並びにプログラムに関し、特に、表示装置を撮像する複数台の撮像装置のカラーマッチングを行う画像補正装置、撮像システム、制御方法、並びにプログラムに関する。

映像制作では通常、複数のカメラを用いて撮像が行われるが、カメラの個体差、使用するレンズの違い、及び照明環境などの撮像条件の違いによって、同一被写体であってもカメラ間で色が異なる場合がある。このため、カメラ間の輝度や色合わせ（以降、カラーマッチングとする）へのニーズは高まっている。

また、近年では、背景に高精細なＬＥＤディスプレイを面方向に並べて大画面を構成したＬＥＤディスプレイウォールを用いて、あたかも目的のロケーションで撮像したかのような映像を作り出せるバーチャルプロダクションのユースケースが拡大している。

このユースケースでは、事前の実物のカラーチャートを使ったカラーマッチングと併せて、現場でＬＥＤディスプレイウォールにカラーチャートを表示して、カラーマッチングが行われている。実物だけでなくＬＥＤディスプレイウォールに対してもカラーマッチングが行われる理由は、カメラのカラーフィルタの特性の違いにより、分光特性にピークのあるＬＥＤディスプレイは色のずれが視認されやすいためである。

また、複数のカメラを用いて撮像が行われるため、ＬＥＤディスプレイウォールに対して斜めから撮像するカメラもでてくるため、カメラの設置位置毎の環境で調整することになる。

特許文献１では、被写体を撮像した撮像画像と、その撮像画像を表示した表示装置を撮像した再撮像画像とを比較して、比較結果に基づいて補正量を算出し、その補正量を撮像画像データに適用して補正する技術が開示される。

特許文献２では、プロジェクタの照明光源のカラーバランス調整を、基準スクリーンに投影された基準画像を撮像して得た基準カラー信号値に、実使用のスクリーンに投影された基準画像を撮像して得たカラー信号値のバランスが近づけることで行っている。

特開２００２－１３５７９０号公報 特開２０１２－６８３６４号公報

しかしながら、特許文献１，２の従来技術では、ＬＥＤディスプレイを斜めから見たときに視認される色や輝度のムラ（視野角特性）は考慮されておらず、複数のカメラ間でのカラーマッチングの精度が低下する問題があった。

そこで、本発明は、複数カメラ間でのカラーマッチングの精度を向上することができる画像補正装置、撮像システム、制御方法、並びにプログラムを提供することを目的とする。

上記課題を解決するため、本発明の請求項１に係る画像補正装置は、表示手段の表示画面の上に表示画像を表示させ、前記表示画像を複数の撮像装置に撮像させることにより生成された複数の撮像画像を用いて、前記複数の撮像装置のカラーマッチングを行う画像補正装置であって、前記表示手段の表示画面に対する前記複数の撮像装置の位置により生じる視野角特性を、所定の視野角特性となるように補正する視野角補正値を記憶した記憶手段と、前記複数の撮像画像における前記表示画像に前記視野角補正値を用いた補正を施して複数の補正画像を生成する視野角特性補正手段と、前記複数の補正画像の色を合わせる色補正値を算出する色補正値算出手段と、を備えることを特徴とする。

上記課題を解決するため、本発明の請求項１２に係る撮像システムは、複数の撮像装置、表示装置、及びこれらと通信可能に接続する画像補正装置を有する撮像システムであって、前記複数の撮像装置の夫々において、撮影指示に応じて、表示手段の表示画面の上に表示される表示画像を撮像して撮像画像を生成する撮像手段と、前記撮像画像に色・輝度補正値にもとづく補正を施す色・輝度補正手段と、前記撮影指示を受信し、前記撮像画像を送信し、前記色・輝度補正値を受信し、前記補正が施された後の前記撮像画像を再送信する第一の通信手段と、を備え、前記画像補正装置において、前記表示手段の前記表示画面に対する前記複数の撮像装置の位置により生じる視野角特性を、所定の視野角特性となるように補正する視野角補正値を記憶する記憶手段と、前記表示手段の前記表示画面の上に前記表示画像を表示させた後、前記複数の撮像装置に前記撮影指示を送信し、前記複数の撮像装置から送信された複数の撮像画像を受信し、前記色・輝度補正値を前記複数の撮像装置に送信し、前記複数の撮像装置から再送信された複数の撮像画像を受信する第二の通信手段と、前記第二の通信手段で前記送信された前記複数の撮像画像を受信すると、前記複数の撮像画像に前記視野角補正値を用いた補正を施して複数の補正画像を生成する視野角特性補正手段と、前記複数の補正画像の色を合わせる色補正値を算出する色補正値算出手段と、前記色補正値及び前記視野角補正値を用いて、前記複数の撮像画像の色・輝度を合わせる色・輝度補正値を算出する色・輝度補正値算出手段と、前記第二の通信手段で前記再送信された前記複数の撮像画像を受信すると、前記再送信された複数の撮像画像を含む画像を生成し、該生成した画像の表示指示を前記表示装置に行う表示指示手段と、を備えることを特徴とする。

本発明によれば、複数カメラ間でのカラーマッチングの精度を向上することができる。

本発明の第１の実施形態に係るディスプレイウォールを用いた撮像システムの構成図である。 図１の撮像システムのハードウェア構成を示すブロック図である。 本発明の第１の実施形態に係る色・輝度補正値である色・輝度補正パラメータの撮像画像への適応方法を説明するための図である。 本発明の第１の実施形態に係る視野角特性を説明する図である。 本発明の第１の実施形態に係るカラーマッチング処理に用いるカラーチャート画像を説明する図である。 本発明の第１の実施形態に係る視野角補正値算出処理のフローチャートである。 本発明の第１の実施形態に係る各撮像装置が取得した視野角補正値を算出するためのパッチ検出画像を説明する図である。 本発明の第１の実施形態に係るカラーマッチング処理のフローチャートである。 本発明の第１の実施形態に係る各撮像装置の撮像画像から検出されたカラーチャート画像を説明する図である。 本発明の第１の実施形態に係る各撮像装置の配置の変形例を示す図である。 本発明の第２の実施形態に係る投影装置を用いた撮像システムの構成図である。

＜第１の実施形態＞
以下、本発明の第１の実施形態について説明する。

本実施形態に係る撮像システム１の構成図を図１に、撮像システム１のハードウェア構成の図ロック図を図２に示す。

図１において、撮像システム１は、レンズＡ１０を装着する撮像装置Ａ１００、レンズＢ２０を装着する撮像装置Ｂ２００、制御装置３００、表示装置４００、ディスプレイウォール５００、映像コントローラ６００、及び映像出力装置７００から構成される。

図２に示すように、撮像装置Ａ１００は、制御装置３００へ撮像装置Ａ１００が撮像した撮像画像ＩＭＧ＿Ａを出力する。また撮像装置Ａ１００は、制御装置３００からパラメータＰＡＲＡＭ＿Ａを受信し、撮像装置Ａ１００，Ｂ２００間のカラーマッチングをするために撮像装置Ａ１００内の画像処理部１０３にパラメータＰＡＲＡＭ＿Ａを設定する。詳細は後述するが、色・輝度補正パラメータ（色・輝度補正値）もパラメータＰＡＲＡＭ＿Ａに属するパラメータの１つである。また、撮像装置Ａ１００は、撮像装置情報ＩＮＦＯ＿Ａを制御装置３００に出力する。撮像装置情報ＩＮＦＯ＿Ａには、撮像装置Ａ１００の型番やシリアルナンバー、撮像装置Ａ１００に装着されるレンズＡ１０の型番やシリアルナンバー、照明光情報や撮像条件を含む撮像装置Ａ１００に関連する情報が含まれる。

また図２に示すように、撮像装置Ａ１００は、レンズＡ１０をマウントＡ１を介して装着する。

マウントＡ１は、撮像装置Ａ１００に対してレンズＡ１０を着脱可能に装着するための機構であり、撮像装置Ａ１００からレンズＡ１０に電源を供給したり、撮像装置Ａ１００とレンズＡ１０との間で相互に通信したりするための電気的接点を備える。マウントＡ１は、撮像装置Ａ１００が有する部分とレンズＡ１０が有する部分とに分かれるが、図２では便宜上まとめて記載している。

レンズＡ１０は、マウントＡ１を介して撮像装置Ａ１００に装着されたレンズである。図２に示すように、レンズＡ１０から入った光は撮像装置Ａ１００内のセンサ１０１で受光され、Ａ／Ｄ変換部１０２でのＡ／Ｄ変換、画像処理部１０３での画像処理が施された後、撮像画像ＩＭＧ＿Ａとなる。また撮像装置Ａ１００によって、レンズＡ１０のズーム、フォーカスなどが制御される。

図２に示すように、撮像装置Ｂ２００は、制御装置３００へ撮像装置Ｂ２００が撮像した撮像画像ＩＭＧ＿Ｂを出力する。また撮像装置Ｂ２００は、制御装置３００から受信したパラメータＰＡＲＡＭ＿Ｂに基づいて制御される。撮像装置Ｂ２００と撮像装置Ａ１００間のカラーマッチングをするために撮像装置Ｂ２００内の画像処理部２０３に設定される、詳細は後述する色・輝度補正パラメータもパラメータＰＡＲＡＭ＿Ｂに属するパラメータの１つである。また、撮像装置Ｂ２００は、撮像装置情報ＩＮＦＯ＿Ｂを制御装置３００に出力する。撮像装置情報ＩＮＦＯ＿Ｂには、撮像装置Ｂ２００の型番、シリアルナンバー、撮像装置Ｂ２００に装着されるレンズＢ２０の型番、照明光情報などの撮像装置Ｂ２００に関する情報が含まれる。

また図２に示すように、撮像装置Ｂ２００は、レンズＢ２０をマウントＢ１を介して装着する。

マウントＢ１は、撮像装置Ｂ２００に対してレンズＢ２０を着脱可能に装着するための機構であり、撮像装置Ｂ２００からレンズＢ２０に電源を供給したり、撮像装置Ｂ２００とレンズＢ２０との間で相互に通信したりするための電気的接点を備える。マウントＢ１は、撮像装置Ｂ２００が有する部分とレンズＢ２０が有する部分とに分かれるが、図２では便宜上まとめて記載している。

レンズＢ２０は、マウントＢ２を介して撮像装置Ｂ２００に装着されたレンズである。図２に示すように、レンズＢ２０から入った光は撮像装置Ｂ２００内のセンサ２０１で受光され、Ａ／Ｄ変換部２０２でのＡ／Ｄ変換、画像処理部２０３での画像処理が施された後、撮像画像ＩＭＧ＿Ｂとなる。また撮像装置Ｂ２００によって、レンズＢ２０のズーム、フォーカスなどが制御される。

図１に示すように、制御装置３００（画像補正装置）は、表示装置４００に画像ＩＭＧ＿Ｃを出力する。制御装置３００では、画像ＩＭＧ＿Ｃとして、撮像装置Ａ１００，Ｂ２００の夫々から受信したカラーマッチング後の撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂを含む画像や、制御装置３００のユーザ制御用のメニューなどが生成される。また、図２に示すように、撮像装置Ａ１００，Ｂ２００の夫々からの撮像装置情報ＩＮＦＯ＿Ａ，ＩＮＦＯ＿Ｂに基づいて、撮像装置Ａ１００，Ｂ２００の夫々へ色・輝度補正パラメータを含むパラメータＰＡＲＡＭ＿Ａ，ＰＡＲＡＭ＿Ｂを出力する。さらに、制御装置３００は、撮影に用いる実写画像やＣＧ画像の背景画像を画像ＩＭＧ＿Ｅとしてディスプレイウォール５００（表示手段）に出力するためのＣＯＭＭＡＮＤ＿Ｃを映像コントローラ６００に出力する。尚、ＣＯＭＭＡＮＤ＿Ｃには、撮像装置Ａ１００，Ｂ２００のカラーマッチングを行うためのパターン表示画像５０（表示画像）を画像ＩＭＧ＿Ｅに重畳してディスプレイウォール５００に出力する指示を含めることもできる。

表示装置４００は、制御装置３００から受信した画像ＩＭＧ＿Ｃを表示する。撮像システム１を使用するユーザは表示装置４００により、カラーマッチングが行われた後、撮像装置Ａ１００，Ｂ２００の夫々で撮影された撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂを確認することができる。

ディスプレイウォール５００は、映像コントローラ６００から受信した画像ＩＭＧ＿Ｅを表示する。ディスプレイウォール５００は、例えば１ユニットは解像度が３８４×２１６であり、複数のユニットで構成される。本実施形態では、図１にあるように、ディスプレイウォール５００は湾曲しているものとして説明するが、その限りではない。ユーザはディスプレイウォール５００とディスプレイウォール５００の前にいる被写体とを、撮像装置Ａ１００と撮像装置Ｂ２００で撮影することで、疑似的にユーザ所望のロケーションで被写体を撮影したようなコンテンツを制作することができる。尚、ディスプレイウォール５００を構成する複数のユニットは、本実施形態では複数のＬＥＤ表示ユニットであり、面方向に縦横並べてディスプレイウォール５００が構築されているがこれに限定されない。例えば、ディスプレイウォール５００は、ＬＥＤではなく有機ＥＬや液晶などのパネルやリアプロジェクション装置で構成しても構わない。ディスプレイウォール５００は各ユニットにカラーマトリックスや３Ｄ－ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）による不図示の補正処理部を持ち、色や輝度が合うように色彩輝度計や調整用の撮像装置Ａ１００，Ｂ２００により調整されている。

映像コントローラ６００は、図２に示すように、制御装置３００の通信部３０４からディスプレイウォール５００が表示する映像を指示するコマンドＣＯＭＭＡＮＤ＿Ｃを受信する。映像コントローラ６００は、コマンドＣＯＭＭＡＮＤ＿Ｃに応じて画像ＩＭＧ＿Ｄを送出させるコマンドＣＯＭＭＡＮＤ＿Ｄを生成し、これを映像出力装置７００へ送信する。さらに、映像コントローラ６００は、映像出力装置７００から受信した画像ＩＭＧ＿Ｄをディスプレイウォール５００へ画像ＩＭＧ＿Ｅとして出力する。さらに映像コントローラ６００は、制御装置３００からのコマンドＣＯＭＭＡＮＤ＿Ｃによりディスプレイウォール５００に出力する画像ＩＭＧ＿Ｅ（表示画像）にパターン表示画像５０を重畳することもできる。尚、映像コントローラ６００は、ディスプレイウォール５００へ出力する画像ＩＭＧ＿Ｅとして、映像出力装置７００から受信した画像ＩＭＧ＿Ｄをそのまま送信するのではない。具体的には、映像コントローラ６００は、ディスプレイウォール５００の構成するユニットの解像度で画像ＩＭＧ＿Ｄを分割した画像を生成し、さらに分割した画像をどのユニットへ送信するかの割り当てを行い、画像ＩＭＧ＿Ｅとする。画像ＩＭＧ＿Ｄはディスプレイウォール５００全体の解像度と同じ等倍の場合もあれば、異なる場合もある。異なる場合には、映像コントローラ６００は、拡大縮小を行い等倍画像を生成したのちに、画像ＩＭＧ＿Ｄを分割することで画像ＩＭＧ＿Ｅを生成する。

映像出力装置７００は、様々なコンテンツを格納しており、映像コントローラ６００から所定のコンテンツ表示指示をコマンドＣＯＭＭＡＮＤ＿Ｄとして受信すると、該当のコンテンツを画像ＩＭＧ＿Ｄとして映像コントローラ６００へ出力する。映像出力装置７００は、例えば、ビデオサーバーや大容量記憶装置である。

本実施形態では、撮像装置Ａ１００及び撮像装置Ｂ２００の２台の撮像装置間のカラーマッチングを行う撮像システム１を例として説明するが、カラーマッチングを行う撮像装置の台数は複数であればよく２台以上であっても良い。また、本実施形態では、撮像装置Ａ１００および撮像装置Ｂ２００は交換レンズの装着が可能な撮像装置としたが、レンズ内蔵の撮像装置であっても良い。

次に、図２を用いて撮像装置Ａ１００と撮像装置Ｂ２００と制御装置３００の各ブロックの動作をより詳細に説明する。尚、レンズＢ２０はレンズＡ１０と、撮像装置Ｂ２００は撮像装置Ａ１００と同様の構成であるため、レンズＢ２０と撮像装置Ｂ２００の詳細説明は省略する。

レンズＡ１０は、撮像レンズ１１、レンズ制御部１２、及びメモリ１３を備える。

撮像レンズ１１は、アクチュエータやモータからなる不図示の駆動部を有し、レンズ制御部１２の制御に従い駆動部が撮像レンズ１１を駆動する。撮像レンズ１１のアクチュエータやモータは、撮像レンズ１１が有する不図示のフォーカスレンズ、ズームレンズ、絞りおよび防振レンズなどを移動または動作させる。

レンズ制御部１２は、不図示のマイクロコンピュータを有し、撮像装置制御部１０８からマウントＡ１を通じて受信した制御信号に応じて撮像レンズ１１を制御する。

メモリ１３は、レンズ制御部１２が用いる各種データの記憶装置として用いられる。

撮像装置Ａ１００は、センサ１０１（撮像手段）、Ａ／Ｄ変換部１０２、画像処理部１０３、表示部１０４、記録媒体１０５、メモリ１０６、操作部１０７、撮像装置制御部１０８、通信部１０９、及び画像出力部１１０を備える。撮像装置Ａ１００において、これらはバス１１１に接続されている。

センサ１０１は、複数の画素を有する光電変換デバイスである。センサ１０１は、レンズＡ１０内の撮像レンズ１１により形成された被写体像を各画素で光電変換して被写体像に対応したアナログ電気信号を出力する。

Ａ／Ｄ変換部１０２は、センサ１０１から出力されたアナログ電気信号をデジタル信号に変換する。

画像処理部１０３は、Ａ／Ｄ変換部１０２の出力するデジタル信号に対して各種の画像処理を適用し、撮像画像ＩＭＧ＿Ａを生成する。画像処理部１０３は、撮像レンズ１１の光学特性が画像に与える影響を画像処理によって補正する光学補正機能や、画素補間処理、輝度信号処理、色信号処理など、いわゆる現像処理を行う。

画像処理部１０３にて生成された撮像画像ＩＭＧ＿Ａは表示部１０４に表示されたり、メモリカードなどの記録媒体１０５に記録されたり、画像出力部１１０から制御装置３００の画像入力部３０３へ出力されたりする。また撮像装置Ａ１００，Ｂ２００間の色・輝度補正パラメータの撮像画像ＩＭＧ＿Ａへの適応もこの画像処理部１０３（色・輝度補正手段）で行う。画像出力部１１０（第一の通信手段）は、この適応がされた後の撮像画像ＩＭＧ＿Ａを制御装置３００に再送信する。この再送信があると、制御装置３００は、表示装置４００に、この適応がされた後の撮像画像ＩＭＧ＿Ａを含む画像を画像ＩＭＧ＿Ｃとして送信する。

以下、色・輝度補正パラメータの撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂへの適応方法を説明する。ここでは一例として３Ｄ－ＬＵＴを用いた色・輝度補正について説明する。図３に３Ｄ－ＬＵＴの概要を説明するための３Ｄ－ＬＵＴの一例を示す。ここでは色・輝度変換前の画像はＲＧＢ８ｂｉｔとして説明する。３Ｄ－ＬＵＴは特定のＲＧＢ入力値に対し１対１でＲＧＢ出力値を紐づけたテーブルである。図３のＲｉｎ、Ｇｉｎ、Ｂｉｎはそれぞれ色・輝度変換前のＲ、Ｇ、Ｂの階調値を、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔはそれぞれ色・輝度変換後のＲ、Ｇ、Ｂの階調値を表す。図３の３Ｄ－ＬＵＴはＲＧＢそれぞれ２５６階調（０～２５５）且つ１ステップずつ入力階調が変化するテーブルであるためＲ２５６×Ｇ２５６×Ｂ２５６で約１６７７万の組合せからなるテーブルとなる。例えば色・輝度補正前画像のある画素値のＲＧＢ値が（Ｒｉｎ、Ｇｉｎ、Ｂｉｎ）＝（０、２５５、２５５）だった場合、図３の３Ｄ－ＬＵＴより（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）＝（１３、２４５、２５２）となる。画像処理部１０３は、色・輝度補正前画像を構成する各画素値のＲＧＢ値に対し、前述の方法で３Ｄ－ＬＵＴを適応することによって色・輝度を変換した画像を取得することができる。

図３で示した３Ｄ－ＬＵＴでは、ＲＧＢの夫々が２５６階調且つ１ステップだが、ＬＵＴサイズを節約するために例えば１６ステップずつでＲ１６×Ｇ１６×Ｂ１６で４０９６の組合せからなる３Ｄ－ＬＵＴを使用しても良い。その際は既存技術である三角錐補間等を使用することによって３Ｄ－ＬＵＴで定義されているＲＧＢ値の組合せ以外の入力階調も変換することができる。また、本実施形態では３Ｄ－ＬＵＴを色・輝度補正方法の一例として挙げたがこの限りではなく、例えば既存技術の１Ｄ－ＬＵＴやカラーマトリックスを色・輝度補正方法として使用しても良く、また、幾つかの手法を組み合わせて使用しても良い。

図２に戻り、メモリ１０６は、画像処理部１０３の処理バッファや、撮像装置制御部１０８が実行するプログラムの記憶装置として利用される。メモリ１０６は、画像処理部１０３が使用する光学補正値が定義された光学補正データの記憶装置や、撮像装置Ａ１００が表示部１０４に表示するメニュー画面などのＧＵＩデータの記憶装置としても用いられる。

操作部１０７は、撮像装置Ａ１００の電源のオン／オフを行うための電源スイッチ、画像の記録を開始させる撮像スイッチ、及び各種メニューの設定を行うための選択／設定スイッチ等、ユーザが撮像装置Ａ１００に指示を入力するための入力デバイス群である。

撮像装置制御部１０８は、マイクロコンピュータを有し、メモリ１０６に記憶されたプログラムを実行し、画像処理部１０３の制御やレンズＡ１０との通信制御など、撮像システム１全体の動作制御を行う。

通信部１０９は、例えばＬＡＮやＵＳＢなど他機器との通信を行う機能を有し、制御装置３００の通信部３０４との通信を行う。通信部１０９（第一の通信手段）は、撮像装置情報ＩＮＦＯ＿Ａを制御装置３００へ送信し、パラメータＰＡＲＡＭ＿Ａを制御装置３００から受信する。

画像出力部１１０は、例えばＬＡＮやＨＤＭＩ(登録商標)など他機器へ撮像画像ＩＭＧ＿Ａを送信する機能を有し、制御装置３００の画像入力部３０３へ撮像画像ＩＭＧ＿Ａを出力する。

バス１１１は、Ａ／Ｄ変換部１０２、画像処理部１０３、表示部１０４、記録媒体１０５、メモリ１０６、操作部１０７、撮像装置制御部１０８、通信部１０９、画像出力部１１０と接続し、各処理ブロック間の信号のやり取りを行う。

制御装置３００は、制御部３０１、カラーマッチング処理部３０２、画像入力部３０３、通信部３０４、メモリ３０５、操作部３０６、画像出力部３０７を備え、これらはバス３０８に接続されている。

制御部３０１は、マイクロコンピュータを有し、メモリ３０５に記憶されたプログラムを実行し、カラーマッチング処理部３０２の制御や撮像装置Ａ１００，Ｂ２００の夫々との通信制御など、制御装置（画像補正装置）全体の動作制御を行う。

カラーマッチング処理部３０２は、パターン検出部３０２１、視野角補正値算出部３０２２、視野角特性補正部３０２３、及び色補正値算出部３０２４を備える。

パターン検出部３０２１（パターン検出手段）は、ディスプレイウォール５００に表示されたパターン表示画像５０を、撮像装置Ａ１００，Ｂ１００が撮像することにより得られた撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂから検出する。具体的には、撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂから、パターン表示画像５０のエッジや頂点を検出したり、パターン表示画像５０に重畳したマーカーを検出したりするなど、既知の技術によりパターン表示画像５０の検出が可能である。本実施形態では、パターン表示画像５０として、後述の色・輝度補正パラメータＬＵＴの生成に用いる後述する複数のパッチ画像を含むカラーチャート画像（第二のパターン画像）がディスプレイウォール５００に表示される。また、パターン表示画像５０が表示される同じ領域に、後述の視野角特性の補正のために用いる、特定色の均一画像である白パッチ画像（第一のパターン画像）がディスプレイウォール５００に表示される。尚、色・輝度補正パラメータＬＵＴの生成や視野角特性の補正ができるパターンであれば、本実施形態で説明するカラーチャート画像や白パッチ画像は、そのパターン形状・色に依らず、この発明の要旨の範囲内で変更可能である。

また、パターン検出部３０２１では、検出されたパターン領域が台形形状であった場合には、矩形形状となるように例えば射影変換により変換を行う。後述するように、視野角補正値算出部３０２２で、視野角補正値を算出することを考慮し、パターン検出部３０２１は、撮像装置Ａ１００，Ｂ２００の夫々から取得したパターン領域についてその解像度・アスペクト比を同じにする変形を行う。また検出したパターン領域の解像度が大きい場合、パターン検出部３０２１が、算出処理負荷に応じて、各パターン領域の形状の解像度・アスペクト比を揃えたままさらに縮小処理を行ってもよい。

視野角補正値算出部３０２２（視野角補正値算出手段）は、撮像装置Ａ１００，Ｂ２００の視野角特性を補正するため、パターン検出部３０２１で検出した白パッチ画像の各画素が所定の輝度となる補正値（視野角補正値）を算出する。視野角特性とは、ディスプレイウォール５００の表示画面に対する撮像装置Ａ１００，Ｂ２００の位置（視野角）により生じる特性である。より具体的には、本実施形態においては、視野角は、ディスプレイウォール５００の表示画面の法線方向（以下、単に「ディスプレイウォール５００の法線方向」という）からのずれを示す角度である。本実施形態では、視野角特性は、この視野角でディスプレイウォール５００の表示画面の白パッチ画像を見た場合の輝度や色の特性であり、図４のような輝度特性を持っている。横軸は水平方向の視野角を示している。縦軸は輝度を示している。本実施形態では、横軸の水平方向の視野角をディスプレイウォール５００の法線方向から図１向かって右側を「＋」、左側を「－」とする。一般的に視野角特性は、視野角が大きくなるほど輝度や色が暗くなる特性を有する。図４では、視野角特性のうちの輝度特性のみを示しているが、色特性においても同様である。以下、本実施形態では簡単のため輝度特性のみを用いた視野角特性の補正方法を説明するが、色特性についても同様である。また、垂直方向にも同様に視野角特性が存在するが、垂直方向も水平方向と同様の考え方となるため、本実施形態では説明を割愛する。図４に示すように、ディスプレイウォール５００の法線方向から見た（視野角が０度である）場合は表示輝度の１００％であるため、この法線方向上に位置する撮像装置Ａ１００の撮像画像ＩＭＧ＿Ａから検出した白パッチ画像Ａは輝度が均一な特性となる。一方、この法線方向からずれた方向から見た（視野角が所定角度（≠０度）である）場合は表示輝度は１００％を下回るため、この法線方向からずれた位置にある撮像装置Ｂ２００の撮像画像ＩＭＧ＿Ｂから検出した白パッチ画像Ｂの輝度にはムラが生じる。よって視野角補正値算出部３０２２は、白パッチ画像Ｂが均一の特性となるように視野角補正値を算出する。つまり、撮像装置Ａ１００，Ｂ２００のうち視野角が最も小さい撮像装置を基準撮像装置とし、非基準撮像装置の視野角特性を除去すべく、白パッチ画像Ｂの輝度の分布特性が、白パッチ画像Ａの輝度の分布特性と一致するように視野角補正値が算出される。白パッチ画像Ｂのある画素値が（Ｒ，Ｇ，Ｂ）＝（１２８，１２８，１２８）であり、白パッチ画像Ａの同一座標の画素値が（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）である場合、その画素値についてＲ，Ｇ，Ｂともに２倍とする視野角補正値が算出される。視野角補正値算出部３０２２は検出した白パッチ画像の全画素について視野角補正値を算出する。

視野角特性補正部３０２３（視野角特性補正手段）は、視野角補正値算出部３０２２で算出した視野角特性補正値を用いた補正を後述のカラーマッチング処理においてパターン検出部３０２１にて検出したパターン領域に施す。

色補正値算出部３０２４（色補正値算出手段・色・輝度補正値算出手段）は、色補正値算出用のパターン画像を撮像装置Ａ１００，Ｂ２００の夫々で撮影し、パターン検出部３０２１により検出した領域内の所定の画素値を用いてカラーマッチング処理を行う。本実施形態では具体的には、カラーマッチング処理として、色・輝度補正パラメータＬＵＴの生成を行う。

色・輝度補正パラメータＬＵＴは、図５に示すカラーチャート画像を用いて生成する方法が一般的である。図５のカラーチャート画像には色の異なる複数のパッチ画像５０１～５１２が配置されている。撮像装置Ａ１００，Ｂ２００の撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂから検出されたこのカラーチャート画像に基づいて、撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂの間のカラーマッチングをするための色・輝度補正パラメータＬＵＴを生成する。ここでは、撮像装置Ａ１００，Ｂ２００のうち視野角が最も小さい撮像装置を基準撮像装置とし、非基準撮像装置に対して、色補正値算出部３０２４は色・輝度補正パラメータＬＵＴを設定する。本実施形態では、基準撮像装置は撮像装置Ａ１００となるので、非基準撮像装置である撮像装置Ｂ２００に対して、色補正値算出部３０２４は色・輝度補正パラメータＬＵＴを設定する。

具体的には、まず基準撮像装置である撮像装置Ａ１００の撮像画像ＩＭＧ＿Ａから検出されたカラーチャート画像に含まれるパッチ画像５０１～５１２を基準パッチ画像として取得する。次に、撮像装置Ｂ２００の撮像画像ＩＭＧ＿Ｂから検出されたカラーチャート画像に含まれるパッチ画像５０１～５１２を取得し、この取得した各パッチ画像に対し上記視野角補正値を用いた補正を行う。その後、補正後の各パッチ画像が上記基準パッチ画像の色と近くなるように、色補正パラメータＬＵＴ（色補正値）を生成する。さらに、色補正パラメータＬＵＴと上記視野角補正値を用いて、撮像装置Ａ１００，Ｂ２００のカラーマッチングをするための色・輝度補正パラメータＬＵＴを生成する。

本実施形態では使用する撮像システム１で使用される撮像装置は、撮像装置Ａ１００，Ｂ２００の２台だが、３台以上でも良い。例えば、撮像システム１で使用する撮像装置数がＮ台の場合、非基準撮像装置の台数は（Ｎ－１）台となり、（Ｎ－１）個の色・輝度補正パラメータＬＵＴが生成される。

カラーチャートの形状、パッチの数はこの限りではなく、パッチの数を増やすことによって撮像装置Ａ１００，Ｂ２００の色情報をより精細に取得できるがその分補正パラメータＬＵＴの生成処理に負荷がかかるためトレードオフとなる。以上の方法で生成可能な色・輝度補正パラメータＬＵＴは、撮像条件が変更される毎に生成する場合がある。ここで撮像条件の変更とは、例えば、非撮像装置に装着されたレンズを付け替えた場合、照明環境の色温度が異なっている場合、非撮像装置を入れ替えた場合、基準撮像装置のアイリス等のパラメータが異なる場合などである。各撮像条件下で生成された色・輝度補正パラメータＬＵＴはメモリ３０５に格納される。

画像入力部３０３（第二の通信手段）は、例えばＬＡＮやＨＤＭＩなどの画像入力インターフェースを有し、撮像装置Ａ１００の画像出力部１１０から上記送信または再送信された撮像画像ＩＭＧ＿Ａを取得する。同様に画像入力部３０３は、撮像装置Ｂ２００の画像出力部２１０から上記送信または再送信された撮像画像ＩＭＧ＿Ｂを取得する。

通信部３０４（第二の通信手段）は、例えばＬＡＮやＵＳＢなど他機器との通信を行う機能を有し、撮像装置Ａ１００の通信部１０９、撮像装置Ｂ２００の通信部２０９、及び映像コントローラ６００の不図示の通信部とそれぞれ通信を行う。例えば、色・輝度補正の基準撮像装置が撮像装置Ａ１００だった場合、通信部３０４は、色補正値算出部３０２４によって決定された色・輝度補正パラメータＬＵＴを撮像装置Ｂ２００へＰＡＲＡＭ＿Ｂとして送信する。通信部３０４が撮像装置Ａ１００，Ｂ２００の夫々と送受信する他の信号に関しては撮像装置Ａ１００の通信部１０９の説明時に前述したため割愛する。通信部３０４は、映像コントローラ６００に対しては、ディスプレイウォール５００に表示する背景画像の指示や後述の視野角補正値算出処理やカラーマッチング処理に用いるパターン表示画像５０を重畳する指示を行うコマンドＣＯＭＭＡＮＤ＿Ｃを送信する。このように本実施形態では、制御装置３００、撮像装置Ａ１００，Ｂ２００、及び映像コントローラ６００が互いに通信可能に接続されている。ここでいう接続とはＵＳＢやＬＡＮなどによる有線の接続、Ｗｉ－Ｆｉなどの無線の接続のどちらでもよく、装置間で相互に通信して情報をやり取りできる状態であればよい。

メモリ３０５（記憶手段）は、各種処理バッファや、制御部３０１が実行するプログラムの記憶装置、図４に示すような色・輝度補正パラメータの記憶装置として利用される。メモリ３０５は、制御装置３００が画像出力部３０７を介して表示装置４００に表示するメニュー画面などのＧＵＩデータの記憶装置としても用いられる。また、撮像装置Ａ１００及び撮像装置Ｂ２００から受信した情報はメモリ３０５へ格納される。

操作部３０６は、制御装置３００の電源のオン／オフを行うための電源スイッチ、色・輝度補正パラメータの非基準撮像装置への適応及び更新を開始させるスイッチ等、ユーザが制御装置３００への指示を入力するための入力デバイス群である。

画像出力部３０７は、例えばＳＤＩやＨＤＭＩなどを介して他機器へ画像を送信する機能を有し、表示装置４００へ画像ＩＭＧ＿Ｃを出力する。

続いて、本実施形態の特徴となる、基準撮像装置及び非基準撮像装置の夫々の撮像画像から検出されたカラーチャート画像からディスプレイウォール５００の視野角特性を除去してカラーマッチングの精度を改善する方法について、図６～１０を用いて説明する。

＜基本動作＞
図６は、視野角補正値算出処理のフローチャートである。本処理は、表示装置４００に表示された不図示のＧＵＩに対し、ユーザが制御装置３００の操作部３０６の操作によりカラーマッチングの実行を選択した際に開始する。また、本処理は、制御装置３００（画像補正装置）の制御部３０１がメモリ３０５に記憶されたプログラムを読み出し、不図示のＲＡＭに展開することにより実行される。

ステップＳ６０１では、ディスプレイウォール５００に白パッチ画像を重畳した画像ＩＭＧ＿Ｅを表示する指示を、コマンドＣＯＭＭＡＮＤ＿Ｃとして通信部３０４を介して映像コントローラ６００へ出力する。コマンドＣＯＭＭＡＮＤ＿Ｃを受信した映像コントローラ６００は、映像出力装置７００から受信した画像ＩＭＧ＿Ｄのパターン表示画像５０の領域に白パッチ画像を重畳した画像ＩＭＧ＿Ｅを生成する。その後、映像コントローラ６００は、ディスプレイウォール５００に画像ＩＭＧ＿Ｅ及びこれを表示する指示を送信する。なお、画像ＩＭＧ＿Ｄに重畳するパターン表示画像５０の解像度はディスプレイウォール５００を構成する複数のＬＥＤ表示ユニットの１つ分の解像度がよい。これは、ディスプレイウォール５００を構成する各ＬＥＤ表示ユニットは夫々特性が異なるため、これより大きい解像度とすると、輝度や色の差がＬＥＤ表示ユニットの境界で発生し、後述のカラーマッチング処理の精度が低下する可能性があるためである。しかしながら、撮像装置Ａ１００，Ｂ２００の配置のため、画像ＩＭＧ＿Ｄに重畳するパターン表示画像５０の解像度を上記のように設定するとカラーマッチング処理ができなくなる場合にはこの限りではない。

ステップＳ６０２では、ディスプレイウォール５００に表示されたパターン表示画像５０（白パッチ画像）を撮影する指示である撮影指示コマンドを、通信部３０４を介して撮像装置Ａ１００，Ｂ２００の夫々に送信する。

ステップＳ６０３では、撮像装置Ａ１００，Ｂ２００の夫々の撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂを受信するまで待機し、撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂを受信した際、ステップＳ６０４に進む。所定の時間を経過しても撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂを受信できなかった場合はタイムアウトして、画像出力部３０７からエラーメッセージを画像ＩＭＧ＿Ｃに重畳して表示装置４００へ出力してもよい。

ステップＳ６０４では、ステップＳ６０３で取得した撮像装置Ａ１００，Ｂ２００の夫々の撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂから、パターン検出部３０２１（第一の画像検出手段）により白パッチ画像が表示されている領域を検出する。撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂの双方により白パッチ画像が検出できた場合（ステップＳ６０４でＹＥＳ）、ステップＳ６０５に進む。一方、撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂの少なくとも一方で白パッチ画像が検出できなかった場合（ステップＳ６０４でＮＯ）、ステップＳ６０２に戻り、撮影指示コマンドを撮像装置Ａ１００，Ｂ２００へ再度送信する。この時、白パッチ画像が検出できない旨のエラーメッセージを画像ＩＭＧ＿Ｃに重畳して表示装置４００へ出力してもよい。

ステップＳ６０５では、視野角補正値算出部３０２２でステップＳ６０４で検出したパターン表示画像５０の白パッチ画像の領域の輝度分布情報を取得することで、パターン表示画像５０の領域内の輝度ムラを検出する。例えば、撮像装置Ｂ２００の撮像画像ＩＭＧ＿Ｂから検出したパターン表示画像５０の白パッチ画像の領域は図７（ａ）のパッチ検出画像７０１に示す輝度分布となっている。一方、撮像装置Ａ１００の撮像画像ＩＭＧ＿Ａから検出したパターン表示画像５０の白パッチ画像の領域は図７のパッチ検出画像７０２に示す輝度分布となっている。図７（ｂ）のように、撮像装置Ｂ２００がディスプレイウォール５００の表示面の法線方向から向かって右側からパターン表示画像５０を撮影している場合には、図４に示す視野角特性の＋角度側で撮影しているとする。パターン表示画像５０の左端に対する視野角７０３はその表示位置の法線７０６に対する角度である。パターン表示画像５０の中央に対する視野角７０４はその表示位置の法線７０７に対する角度である。パターン表示画像５０の右端に対する視野角７０５はその表示位置の法線７０８に対する角度である。図７（ｂ）では、視野角の大きさが、視野角７０３＜視野角７０４＜視野角７０５のようになっている。このため、撮像装置Ｂ２００の撮像画像ＩＭＧ＿Ｂから検出した白パッチ画像の領域の画像（パッチ検出画像７０１）は領域の右側にいくほど暗い画像となる。輝度分布は例えば画素値（Ｒ，Ｇ，Ｂ）の形式で取得される。同様に撮像装置Ａ１００の撮像画像ＩＭＧ＿Ａから検出した白パッチ画像の領域の画像（パッチ検出画像７０２）は均一な輝度分布になっている。図７（ｂ）のように撮像装置Ａ１００がディスプレイウォール５００の法線方向から撮影している場合には、パッチ検出画像７０２の輝度は、図４の視野角特性の０°の輝度となるため、パッチ検出画像７０２に示すように輝度ムラのない画像となる。

ディスプレイウォール５００の形状によっては撮像装置Ｂ２００のようにディスプレイウォール５００に対して斜めから撮影した場合の輝度分布が異なる。例えば、ディスプレイウォール５００が平面であった場合には、視野角７０３～７０５の関係が変化するため、パッチ検出画像７０１の輝度分布は図７（ａ）に示す輝度分布とは異なる分布となる。

ステップＳ６０６では、視野角補正値算出部３０２２で、ステップＳ６０５で取得したパッチ検出画像７０１とパッチ検出画像７０２の輝度分布情報を基に、パッチ検出画像７０１の視野角補正値を算出する。視野角補正値は全画素に対して求める。すなわち、パッチ検出画像７０１の全画素の輝度分布を、均一の輝度分布を有するパッチ検出画像７０２の輝度分布と一致させる視野角補正値を算出する。求めた視野角補正値はメモリ３０５（記憶手段）に格納される。

以上で、図６の処理は完了する。

視野角補正値を算出する際に本実施形態では、パッチ検出画像７０１の輝度分布がパッチ検出画像７０２の輝度分布となるような視野角補正値を算出したが、この発明の要旨の範囲内であれば別の算出方法でもよい。

例えば、撮像装置Ａ１００は、図７（ｂ）のようにディスプレイウォール５００の法線方向に配置されなくてもよい。この場合、撮像装置Ａ１００から取得されるパッチ検出画像７０２は、図７（ａ）に示す均一な輝度分布を有さず、図７（ａ）に示すパッチ検出画像７０１のような輝度ムラがある画像となる。すなわち、視野角特性による輝度ムラを補正できればよく、撮像システム１における各撮像装置の位置は特に限定されない。例えば、この場合、撮像装置Ａ１００，Ｂ２００の夫々の撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂから検出したパッチ検出画像７０１，７０２の夫々の視野角補正値を、特定の色で均一である基準画像に対して算出するようにしてもよい。ここで、特定の色で均一とは、基準画像内での階調値が均一であることをいう。すなわち基準画像は、ディスプレイウォール５００の法線方向（視野角が０度の位置）から撮影したときのパッチ検出画像と同等であると考えてよい。

図８は、カラーマッチング処理のフローチャートである。本処理は、図６の視野角補正値算出処理が終了した際に、続けて実行される。また、本処理は、制御装置３００の制御部３０１がメモリ３０５に記憶されたプログラムを読み出し、不図示のＲＡＭに展開することにより実行される。

尚、表示装置４００に表示された不図示のＧＵＩに、視野角補正値算出の開始ボタンを、カラーマッチングの開始ボタンとは別に設けてもよい。この場合、視野角補正値算出の開始ボタンがユーザ操作により選択された場合、図６の視野角補正値算出処理が開始し、カラーマッチングの開始ボタンがユーザ操作により選択された場合、図８のカラーマッチング処理が開始する。

ステップＳ８０１では、ディスプレイウォール５００にカラーチャート画像を重畳した画像ＩＭＧ＿Ｅを表示する指示を、コマンドＣＯＭＭＡＮＤ＿Ｃとして通信部３０４を介して映像コントローラ６００へ出力する。コマンドＣＯＭＭＡＮＤ＿Ｃを受信した映像コントローラ６００は、まず映像出力装置７００から受信した画像ＩＭＧ＿Ｄにパターン表示画像５０（カラーチャート画像）を重畳した画像ＩＭＧ＿Ｅを生成する。その後、映像コントローラ６００は、ディスプレイウォール５００に画像ＩＭＧ＿Ｅ及びこれを表示する指示を送信する。ステップＳ８０１で画像ＩＭＧ＿Ｄに重畳するカラーチャート画像の解像度はステップＳ６０１で画像ＩＭＧ＿Ｄに重畳した白パッチ画像と同じ解像度にする。

ステップＳ８０２では、ディスプレイウォール５００に表示されたパターン表示画像５０（カラーチャート画像）を撮影する指示である撮影指示コマンドを、通信部３０４（第二の通信手段）を介して撮像装置Ａ１００と撮像装置Ｂ２００の夫々に送信する。

ステップＳ８０３では、撮像装置Ａ１００，Ｂ２００の夫々の撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂを受信するまで待機し、撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂを受信した際、ステップＳ６０４に進む。所定の時間を経過しても撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂを受信できなかった場合はタイムアウトして、画像出力部３０７からエラーメッセージを画像ＩＭＧ＿Ｃに重畳して表示装置４００へ出力してもよい。

ステップＳ８０４では、ステップＳ８０３で取得した撮像装置Ａ１００，Ｂ２００の夫々の撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂから、パターン検出部３０２１（第二の画像検出手段）でパターン表示画像５０（カラーチャート画像）の表示領域を検出する。撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂの少なくとも一方でカラーチャート画像が検出できない場合、ステップＳ８０２に戻り、撮影指示コマンドをカラーチャート画像が検出できない画像を送信した撮像装置へ再度送信する。この時、カラーチャート画像が検出できない旨のエラーメッセージを画像ＩＭＧ＿Ｃに重畳して表示装置４００へ出力してもよい。

ステップＳ８０４において検出されたカラーチャート画像を図９に示す。

カラーチャート画像９０１は、撮像装置Ｂ２００の撮像画像ＩＭＧ＿Ｂから検出されたカラーチャート画像であり、図９向かって右側に行くほど暗くなる輝度分布となっている。これは、撮像装置Ｂ２００がディスプレイウォール５００の法線方向より図１向かって右側（視野角が０度より大きい位置）にあるため、図４の視野角特性により撮像装置Ｂ２００から見たディスプレイウォール５００の輝度は右側ほど暗く見えるためである。輝度分布は例えば画素値（Ｒ，Ｇ，Ｂ）の形式で取得される。

カラーチャート画像９０２は、撮像装置Ａ１００の撮像画像ＩＭＧ＿Ａから検出されたカラーチャート画像であり、均一な輝度分布になっている。これは図１に示すように、撮像装置Ａ１００がディスプレイウォール５００の法線方向上（視野角０度の位置）にあるため、図４の視野角特性により撮像装置Ａ１００から見たディスプレイウォール５００は１００％の輝度で輝度ムラなく見えるためである。

ステップＳ８０５では、視野角特性補正部３０２３がステップＳ６０６で算出してメモリ３０５に格納した視野角補正値をステップＳ８０４で検出されたカラーチャート画像９０１に適用し、カラーチャート画像９０３（補正画像）を生成する。本実施形態では、ステップＳ６０６で求めた視野角補正値は図７に示すパッチ検出画像７０１がパッチ検出画像７０２に近づくよう補正される視野角補正値を求めた。したがって、カラーチャート画像９０１に視野角補正値を適用すると、カラーチャート画像９０３（図９）が生成される。この補正によりディスプレイウォール５００の法線方向に対する撮像装置の位置による撮像画像の視野角特性は除去される。しかし、カラーチャート画像９０３には、撮像装置Ｂ２００のレンズ等の個体差による色の違いについては各色パッチ部に残っている。尚、カラーチャート画像９０２には除去すべき視野角特性がないため、視野角特性補正部３０２３は、カラーチャート画像９０２それ自体を補正画像として生成する。但し、カラーチャート画像９０２に除去すべき視野角特性があり、その視野角補正値がステップＳ６０６で算出されている場合、カラーチャート画像９０１と同様に補正画像の生成が行われる。

ステップＳ８０６では、色補正値算出部３０２４がステップＳ８０４で検出されたカラーチャート画像９０２とステップＳ８０５で生成されたカラーチャート画像９０３の夫々の各色パッチ部の階調値を取得する。各色パッチ部の座標は予め決められているため、特定の座標値の階調値を読み込めばよい。この時、各色パッチ部の１画素のみを取り出すと、撮像ノイズの影響により階調値がばらつく可能性があるため、複数画素取得して平均値を扱う。本実施形態では図５のカラーチャート画像に示すように色パッチは１２色としているため、カラーチャート画像９０２，９０３の夫々から１２色のパッチ部の階調値がステップＳ８０６で取得される。

ステップＳ８０７では、ステップＳ８０６でカラーチャート画像９０２，９０３の夫々から取得した各色パッチ部の階調値を用いて、カラーチャート画像９０２，９０３の色を合わせこむ色補正パラメータＬＵＴ（色補正値）を生成する。その後、色補正パラメータＬＵＴとステップＳ６０６でメモリ３０５に格納した視野角補正値に基づき、撮像装置Ａ１００，Ｂ２００間の色・輝度を合わせ込む色・輝度補正パラメータＬＵＴの生成（カラーマッチング）を行う。色・輝度補正パラメータＬＵＴの生成は前述の通りである。

その後、制御部３０１は、生成された色・輝度補正パラメータＬＵＴ、及び撮像装置情報ＩＮＦＯ＿Ａ，ＩＮＦＯ＿Ｂに基づき、パラメータＰＡＲＡＭ＿Ａ，ＰＡＲＡＭ＿Ｂを生成し、通信部３０４で撮像装置Ａ１００，Ｂ２００に送信する。撮像装置Ａ１００では、通信部１０９でパラメータＰＡＲＡＭ＿Ａを受信すると、まず、画像処理部１０３（色補正手段）がパラメータＰＡＲＡＭ＿Ａを用いた補正を撮像画像ＩＭＧ＿Ａに対して施す。次に、画像出力部１１０（第一の通信手段）が補正後の撮像画像ＩＭＧ＿Ａを制御装置３００に再送信する。撮像装置Ｂ２００でも、パラメータＰＡＲＡＭ＿Ｂを受信すると、同様の処理が行われ、補正後の撮像画像ＩＭＧ＿Ｂを制御装置３００に再送信する。制御部３０１（表示指示手段）は、補正後の撮像画像ＩＭＧ＿Ａ，ＩＭＧ＿Ｂを受信すると、これらの画像を含む画像を画像ＩＭＧ＿Ｃとして生成し表示装置４００に送信することで、表示装置４００に画像ＩＭＧ＿Ｃの表示指示を行う。

以上で、図８の処理は完了する。

本実施形態では、ディスプレイウォール５００への視野角が異なる複数の撮像装置のカラーマッチングを、複数の撮像装置で撮影した、ディスプレイウォール５００に表示されるカラーチャート画像を、視野角補正値で補正して視野角特性を除去した後に行う。これにより、カラーマッチングの精度を改善することができる。

尚、本実施形態では、撮像装置Ａ１００は、ディスプレイウォール５００の法線方向に配置されていたが、この特定の実施形態に限られるものではない。例えば、図１０のように撮像装置Ａ１００が、ディスプレイウォール５００の法線方向に対して視野角１５０の位置に配置され、撮像装置Ｂ２００が、ディスプレイウォール５００の法線方向に対して視野角２５０の位置に配置されてもよい。この際、上述した基準画像を用いて視野角補正値を算出するのでなく、カラーマッチングの際の基準撮像装置を、ディスプレイウォール５００の法線方向からのずれ（視野角）が最も小さい撮像装置Ａ１００としてもよい。この場合、視野角補正値を、撮像装置Ａ１００で撮像された撮像画像ＩＭＧ＿Ａ中の白パッチ画像の輝度分布に、撮像装置Ｂ２００で撮像された撮像画像ＩＭＧ＿Ｂ中の白パッチ画像の輝度分布が近づくように算出してもよい。または、図１０に示す、撮像装置Ａ１００の視野角１５０と撮像装置Ｂ２００の視野角２５０を公知の測定手段（角度検出手段）で測定し、予めメモリ３０５（保持手段）で保持する図４の視野角特性に基づいて視野角補正値を算出してもよい。

また、ディスプレイウォール５００におけるパターン表示画像５０の表示位置は、撮像装置Ａ１００，Ｂ２００の夫々によるパターン表示画像５０の撮像ごとに変更しないことが望ましい。ディスプレイウォール５００は複数のＬＥＤ表示ユニットにより構成されている為、場所によりＬＥＤの特性が異なる。そのため、撮像装置Ａ１００，Ｂ２００の夫々の撮像時にパターン表示画像５０の表示位置を変更した場合、視野角特性、カメラの特性のほか、ＬＥＤの特性によるカメラ間の色・輝度の差が発生してしまい、カラーマッチングの精度が低下する可能性がある。また、パターン表示画像５０の表示位置がディスプレイウォール５００の中央である場合について本実施形態では説明したが、撮像装置の画角内に含まれればパターン表示画像５０の表示位置は別の位置であっても構わない。ユーザが被写体をディスプレイウォール５００の前に配置して撮影するコンテンツ制作時に最も撮像画角内に含まれることが多いＬＥＤ表示ユニットにパターン表示画像５０を表示することが望ましい。

また、本実施形態では、視野角補正値は輝度特性のみを用いて算出したが、色特性も用いて算出してもよい。この場合、図４に示す視野角に対する輝度分布と同様に、視野角に対する色分布を取得して、視野角補正値を算出することができる。

＜第２の実施形態＞
本発明の第２の実施形態について説明する。以下、本実施形態では、第１の実施形態と同一の構成については同一の付番を付し、重複した説明は省略する。

本実施形態に係る撮像システム１’の構成図を図１１に示す。

図１１において、第２の実施形態に係る撮像システム１’は、レンズＡ１０が装着される撮像装置Ａ１００、レンズＢ２０が装着される撮像装置Ｂ２００、制御装置３００、表示装置４００、投影装置８００、及びスクリーン９００（表示手段）から構成される。

第１の実施形態では、ディスプレイウォール５００を用いた撮像システム１を構築したが、本実施形態のように、投影装置８００及びスクリーン９００を用いても同様の撮像システムを構築することができる。

投影装置８００は、投影画像がスクリーン９００からはみ出さないように、予め画像出力部３０７で変形された画像を表示するか、投影装置８００内の不図示の変形処理部で変形された画像を表示する。

スクリーン９００におけるパターン表示画像５０の表示位置は、第１の実施形態でのディスプレイウォール５００におけるパターン表示画像５０の表示位置と同じであるため、説明は省略する。

スクリーン９００もディスプレイウォール５００と同様に視野角特性を持つ。ディスプレイウォール５００は、その法線方向の表示輝度が１００％となる。しかし、スクリーン９００の場合、投影装置８００の光がスクリーン９００で反射してユーザの目に光が入射するため、スクリーン９００の表示画面の法線方向（以下、単に「スクリーン９００の法線方向」という）の表示輝度が１００％とならない。すなわち、スクリーン９００の法線方向に対して、投影装置８００からの光の入射角と線対称の位置にあるスクリーン９００からの光の出射角の出射方向において、スクリーン９００の表示輝度が１００％となる。つまり、スクリーン９００からの光の出射角の出射方向を、図４の視野角特性のグラフの０°の方向として置き換えることができる。

上記以外は、第１の実施形態と同様であるため、説明を割愛する。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法として、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

５０ パターン表示画像
１００ 撮像装置Ａ
２００ 撮像装置Ｂ
３００ 制御装置
３０２ カラーマッチング処理部
３０２１ パターン検出部
３０２２ 視野角補正値算出部
３０２３ 視野角特性補正部
３０２４ 色補正値算出部
４００ 表示装置
５００ ディスプレイウォール
６００ 映像コントローラ
７００ 映像出力装置
８００ 投影装置
９００ スクリーン

Claims (14)

1. 表示手段の表示画面の上に表示画像を表示させ、前記表示画像を複数の撮像装置に撮像させることにより生成された複数の撮像画像を用いて、前記複数の撮像装置のカラーマッチングを行う画像補正装置であって、
   前記表示手段の表示画面に対する前記複数の撮像装置の位置により生じる視野角特性を、所定の視野角特性となるように補正する視野角補正値を記憶した記憶手段と、
   前記複数の撮像画像における前記表示画像に前記視野角補正値を用いた補正を施して複数の補正画像を生成する視野角特性補正手段と、
   前記複数の補正画像の色を合わせる色補正値を算出する色補正値算出手段と、
   を備えることを特徴とする画像補正装置。
2. 前記表示手段の前記表示画像が表示される領域に第一のパターン画像を表示させた後、前記複数の撮像装置に撮像させて生成された複数の他の撮像画像から前記第一のパターン画像を検出する第一の画像検出手段と、
   前記複数の他の撮像画像から前記第一の画像検出手段が検出した複数の前記第一のパターン画像から前記記憶手段に記憶する前記視野角補正値を算出する視野角補正値算出手段と、
   前記表示手段に前記表示画像として第二のパターン画像を表示させた後、前記複数の撮像装置に撮像させて生成された前記複数の撮像画像から前記第二のパターン画像を検出する第二の画像検出手段とを更に備え、
   前記複数の撮像画像から前記第二の画像検出手段が検出した複数の前記第二のパターン画像に対して、前記視野角特性補正手段による前記視野角補正値での補正が行われ、前記色補正値算出手段により前記色補正値を算出するために用いられる前記複数の補正画像が生成されることを特徴とする請求項１記載の画像補正装置。
3. 前記第一のパターン画像は、特定色の均一画像であり、前記第二のパターン画像は、１つ以上の色の異なるパッチ画像が配置されるカラーチャート画像であることを特徴とする請求項２記載の画像補正装置。
4. 前記視野角補正値は、前記第一の画像検出手段により検出した前記第一のパターン画像の夫々の各画素の輝度と色の少なくとも１つが均一となる補正値であることを特徴とする請求項３記載の画像補正装置。
5. 前記複数の撮像装置のうち、前記表示手段の前記表示画面に対する視野角が最も小さい撮像装置を基準撮像装置とし、
   前記視野角補正値は、前記第一の画像検出手段により検出された前記第一のパターン画像の夫々の輝度と色の少なくとも１つからなる分布特性を、前記基準撮像装置の撮像画像から前記第一の画像検出手段により検出された前記第一のパターン画像の前記分布特性と一致させる補正値であることを特徴とする請求項３記載の画像補正装置。
6. 前記色補正値は、前記複数の補正画像の色を、前記基準撮像装置の撮像画像から前記視野角特性補正手段が生成した補正画像の色に合わせる補正値であることを特徴とする請求項５記載の画像補正装置。
7. 前記視野角補正値は、前記第一の画像検出手段により検出された前記第一のパターン画像の夫々の輝度と色の少なくとも１つからなる分布特性を、予め前記表示手段の前記表示画面に対する視野角が０度の位置から撮像したときの前記第一のパターン画像の前記分布特性と一致させる補正値であることを特徴とする請求項３記載の画像補正装置。
8. 前記視野角特性を保持する保持手段と、
   前記複数の撮像装置の夫々の、前記表示手段の前記表示画面に対する視野角を検出する角度検出手段とをさらに備え、
   前記視野角補正値算出手段は、前記視野角に対応する前記保持手段に保持される視野角特性に基づき前記視野角補正値を算出することを特徴とする請求項２記載の画像補正装置。
9. 前記表示手段の前記表示画面の上の前記表示画像の位置は、前記複数の撮像装置による撮像ごとに変更しないことを特徴とする請求項２記載の画像補正装置。
10. 前記表示手段は、複数のＬＥＤ表示ユニットにより構成されるディスプレイウォールであることを特徴とする請求項１乃至９のいずれか１項に記載の画像補正装置。
11. 前記表示手段は、投影装置により投影される前記表示画像が前記表示画面の上に表示されるスクリーンであることを特徴とする請求項１乃至９のいずれか１項に記載の画像補正装置。
12. 複数の撮像装置、表示装置、及びこれらと通信可能に接続する画像補正装置を有する撮像システムであって、
    前記複数の撮像装置の夫々において、
    撮影指示に応じて、表示手段の表示画面の上に表示される表示画像を撮像して撮像画像を生成する撮像手段と、
    前記撮像画像に色・輝度補正値にもとづく補正を施す色・輝度補正手段と、
    前記撮影指示を受信し、前記撮像画像を送信し、前記色・輝度補正値を受信し、前記補正が施された後の前記撮像画像を再送信する第一の通信手段と、
    を備え、
    前記画像補正装置において、
    前記表示手段の前記表示画面に対する前記複数の撮像装置の位置により生じる視野角特性を、所定の視野角特性となるように補正する視野角補正値を記憶する記憶手段と、
    前記表示手段の前記表示画面の上に前記表示画像を表示させた後、前記複数の撮像装置に前記撮影指示を送信し、前記複数の撮像装置から送信された複数の撮像画像を受信し、前記色・輝度補正値を前記複数の撮像装置に送信し、前記複数の撮像装置から再送信された複数の撮像画像を受信する第二の通信手段と、
    前記第二の通信手段で前記送信された前記複数の撮像画像を受信すると、前記複数の撮像画像に前記視野角補正値を用いた補正を施して複数の補正画像を生成する視野角特性補正手段と、
    前記複数の補正画像の色を合わせる色補正値を算出する色補正値算出手段と、
    前記色補正値及び前記視野角補正値を用いて、前記複数の撮像画像の色・輝度を合わせる色・輝度補正値を算出する色・輝度補正値算出手段と、
    前記第二の通信手段で前記再送信された前記複数の撮像画像を受信すると、前記再送信された複数の撮像画像を含む画像を生成し、該生成した画像の表示指示を前記表示装置に行う表示指示手段と、
    を備えることを特徴とする撮像システム。
13. 表示手段の表示画面の上の表示画像を複数の撮像装置が撮像することにより生成された複数の撮像画像を用いて、前記複数の撮像装置のカラーマッチングを行う画像補正装置の制御方法であって、
    前記表示手段の表示画面に対する前記複数の撮像装置の位置により生じる視野角特性を、所定の視野角特性となるように補正する視野角補正値を記憶した記憶ステップと、
    前記複数の撮像画像における前記表示画像に前記視野角補正値を用いた補正を施して複数の補正画像を生成する視野角特性補正ステップと、
    前記複数の補正画像の色を合わせる色補正値を算出する色補正値算出ステップと、
    を有することを特徴とする制御方法。
14. コンピュータを、請求項１乃至１１のいずれか１項に記載の画像補正装置の各ステップとして機能させる、コンピュータにより実行可能なプログラム。
    

Images