JP2020010141A - 制御装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】複数のカメラで撮影された各撮影画像の色差を小さくする。【解決手段】本発明の一実施形態に係る制御装置は、Ｌ台のカメラから、仮想視点コンテンツの生成のためのマルチカメラシステムにおいて用いられるべきＭ（Ｍ＜Ｌ）台のカメラを、前記Ｌ台のカメラによる撮影画像に基づいてマルチカメラとして選定する選定手段と、前記選定手段による選定に応じた出力を行う出力手段とを有する。【選択図】図６

Description

本発明は、仮想視点コンテンツの生成のためのシステムに関する。

従来、同一シーンを複数のカメラで撮影し、カメラを切り替えながら映像を配信するシステムや、ユーザが指定した仮想視点からオブジェクト（被写体）を観察できるシステムが知られている。このようなシステムにおいて、各カメラで撮影された撮影画像の色合いに違いがあると、配信される映像や生成された映像が不自然になってしまう。

特許文献１には、３台以上のカメラで撮影された各撮影画像の色合いが均一となるように、各撮影画像を補正するための設定パラメータを最適化する方法が開示されている。

特開２００９−１２２８４２号公報

しかしながら、従来技術では、隣接するカメラ間の個体差が大きい場合には、当該個体差を色補正だけで吸収しきれなかった。すなわち、従来技術による色補正では、カメラ間の色合わせに限界があった。

本発明は、このような問題に鑑みてなされたものであり、その目的とするところは、複数のカメラで撮影された各撮影画像の色差を小さくすることにある。

本発明の一実施形態に係る制御装置は、Ｌ台のカメラから、仮想視点コンテンツの生成のためのマルチカメラシステムにおいて用いられるべきＭ（Ｍ＜Ｌ）台のカメラを、前記Ｌ台のカメラによる撮影画像に基づいてマルチカメラとして選定する選定手段と、前記選定手段による選定に応じた出力を行う出力手段とを有する。

本発明によれば、複数のカメラで撮影された各撮影画像の色差を小さくすることができる。

第１の実施形態における画像処理装置の構成例を示すブロック図である。 第１の実施形態における画像処理システムの構成例を示すブロック図である。 第１の実施形態におけるマルチカメラ配置の例を示す概念図である。 第１の実施形態におけるカラーチャート撮影の例を示す概念図である。 第１の実施形態におけるカメラ間色差評価テーブルの例を示す図である。 第１の実施形態におけるマルチカメラ選定処理のフローチャートである。 第１の実施形態におけるカメラ間色差評価処理のフローチャートである。 第１の実施形態における重要視線区間の例を示す概念図である。 第２の実施形態における基準色とカメラの色差評価テーブルの例を示す図である。 第２の実施形態におけるカメラの相対的な位置関係の例を示す概念図である。 第２の実施形態における基準色とカメラの色差の例を示す概念図である。 第２の実施形態におけるマルチカメラ選定処理のフローチャートである。 第２の実施形態におけるマルチカメラ選定処理のフローチャートである。 第３の実施形態における重み付け指定を行うためのユーザインタフェイスの例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

（第１の実施形態）
［画像処理装置および画像処理システムの構成］
図１は、本実施形態における画像処理装置の構成例を示すブロック図である。

画像処理装置１００によって選定された複数のカメラ（マルチカメラ）が、後述する画像処理システム（マルチカメラシステム）２００の複数のカメラ２１２として配置される。すなわち、画像処理装置１００は、本実施形態におけるマルチカメラ選定装置として機能する。

ＣＰＵ１０１は、メインメモリ１０２のＲＡＭをワークメモリとして、メインメモリ１０２のＲＯＭおよびハードディスクドライブ(ＨＤＤ)１０５に格納されたオペレーティングシステム(ＯＳ)や各種プログラムを実行する。そして、ＰＣＩ (Peripheral Component Interconnect)バスなどのシステムバス１１４を介して各構成を制御する。さらに、後述する画像処理を含む各種プログラムを実行する。

ＣＰＵ１０１は、システムバス１１４およびシリアルＡＴＡインタフェイス（ＳＡＴＡ Ｉ／Ｆ）１０３を介してＨＤＤ１０５にアクセスする。また、ネットワークＩ／Ｆ１０４を介してローカルエリアネットワーク(ＬＡＮ)などのネットワーク１１５にアクセスする。

また、ＣＰＵ１０１は、シリアルバスインタフェイス(Ｉ／Ｆ)１０８とＵＳＢやＩＥＥＥ１３９４などのシリアルバス１１０に接続されたデバイスと通信を行う。そして、後述する画像処理対象の画像データを、カードリーダを含む画像入力デバイス１１３から取得したり、処理結果をプリンタ１０９に出力したりして、例えばユーザが指示する処理結果を印刷する。尚、画像処理対象の画像データは、ＨＨＤ１０５やネットワーク１１５上のサーバから読み出してもよい。

また、ＣＰＵ１０１は、後述する処理のユーザインタフェイスや処理結果を、グラフィックアクセラレータ１０６を介してモニタ１０７に表示し、ユーザ指示をシリアルバス１１０に接続されたキーボード１１１、マウス１１２を介して入力する。

図２は、本実施形態における画像処理システムの構成例を示すブロック図である。

画像処理システム２００は、競技場（スタジアム）やコンサートホールなどの施設に設置された複数のカメラ及びマイクを使用して、撮影及び集音を行うシステム（マルチカメラシステム）である。前述した画像処理装置１００によって選定された複数のカメラが、画像処理システム２００の複数のカメラ２１２として配置される。

画像処理システム２００は、センサシステム２１０ａ〜２１０ｚ、画像コンピューティングサーバ３００、コントローラ４００、スイッチングハブ２８０、及びエンドユーザ端末２９０を有する。

コントローラ４００は、制御ステーション４１０と仮想カメラ操作ＵＩ（ユーザインタフェイス）４３０を有する。

制御ステーション４１０は、画像処理システム２００を構成するそれぞれのブロックに対してネットワーク４１０ａ〜４１０ｃ、２８０ａ、２８０ｂ、及び２７０ａ〜２７０ｙを通じて動作状態の管理及びパラメータ設定制御などを行う。ここで、ネットワークはＥｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組合せて構成されてもよい。また、ネットワークはこれらに限定されず、他の種別のネットワークであってもよい。

最初に、センサシステム２１０ａ〜２１０ｚの２６セットの画像及び音声をセンサシステム２１０ｚから画像コンピューティングサーバ３００へ送信する動作を説明する。画像処理システム２００では、センサシステム２１０ａ〜２１０ｚが、デイジーチェーンにより接続される。

本実施形態において、特別な説明がない場合は、センサシステム２１０ａからセンサシステム２１０ｚまでの２６セットのシステムを区別せずセンサシステム２１０と記載する。各センサシステム２１０内の装置についても同様に、特別な説明がない場合は区別せず、マイク２１１、カメラ２１２、雲台２１３、及びカメラアダプタ２２０と記載する。なお、センサシステムの台数を２６セットとして記載しているが、あくまでも一例であり、台数をこれに限定するものではない。また、複数のセンサシステム２１０は同一の構成でなくてもよく、例えばそれぞれが異なる機種の装置で構成されていてもよい。なお、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム２００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム２００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を中心に説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。

センサシステム２１０は、それぞれ１台ずつカメラ２１２を有する。即ち、画像処理システム２００は、オブジェクトを複数の方向から撮影するための複数のカメラ２１２を有する。なお、複数のカメラ２１２は同一符号を用いて説明するが、性能や機種が異なっていてもよい。複数のセンサシステム２１０同士はデイジーチェーンにより接続される。この接続形態により、撮影画像の４Ｋや８Ｋなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる。

なお、これに限らず、接続形態として、各センサシステム２１０がスイッチングハブ２８０に接続されて、スイッチングハブ２８０を経由してセンサシステム２１０間のデータ送受信を行うスター型のネットワーク構成としてもよい。

また、図２では、デイジーチェーンとなるよう、センサシステム２１０の全てがカスケード接続されている構成を示したが、これに限定するものではない。例えば、複数のセンサシステム２１０をいくつかのグループに分割して、分割したグループ単位でセンサシステム２１０間をデイジーチェーン接続してもよい。そして、分割単位の終端となるカメラアダプタ２２０が、スイッチングハブに接続されて画像コンピューティングサーバ３００へ画像の入力を行うようにしてもよい。このような構成は、スタジアムにおいてとくに有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム２１０を配備する場合が考えられる。この場合に、フロア毎、あるいはスタジアムの半周毎に画像コンピューティングサーバ３００への入力を行うことができ、全センサシステム２１０を１つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。

また、画像コンピューティングサーバ３００へ画像入力を行う終端のカメラアダプタ２２０が１つであるか、または２つ以上であるかに応じて、画像コンピューティングサーバ３００での画像処理の制御が切り替えられる。すなわち、センサシステム２１０が複数のグループに分割されているかどうかに応じて制御が切り替えられる。画像入力を行うカメラアダプタ２２０が１つの場合は、デイジーチェーン接続で画像伝送を行いながら競技場全周画像が生成されるため、画像コンピューティングサーバ３００において全周の画像データが揃うタイミングは同期がとられている。すなわち、センサシステム２１０がグループに分割されていなければ、同期はとられている。しかし、画像コンピューティングサーバ３００へ画像入力を行うカメラアダプタ２２０が複数になる場合は、画像が撮影されてから画像コンピューティングサーバ３００に入力されるまでの遅延がデイジーチェーンのレーン（経路）ごとに異なる場合が考えられる。すなわち、センサシステム２１０が複数のグループに分割される場合は、画像コンピューティングサーバ３００に全周の画像データが入力されるタイミングは同期がとられないことがある。そのため、画像コンピューティングサーバ３００において、全周の画像データが揃うまで待って同期をとる同期制御によって、画像データの集結をチェックしながら後段の画像処理を行う必要がある。

本実施形態では、センサシステム２１０ａは、マイク２１１ａ、カメラ２１２ａ、雲台２１３ａ、及びカメラアダプタ２２０ａを有する。なお、センサシステム２１０ａは、この構成に限定されるものではなく、少なくとも１台のカメラアダプタ２２０ａと、１台のカメラ２１２ａまたは１台のマイク２１１ａを有していれば良い。また例えば、センサシステム２１０ａは、１台のカメラアダプタ２２０ａと、複数のカメラ２１２ａで構成されてもよいし、１台のカメラ２１２ａと複数のカメラアダプタ２２０ａで構成されてもよい。また、センサシステム２１０は、マイク２１１ａ、カメラ２１２ａ、雲台２１３ａ、及びカメラアダプタ２２０ａ以外の装置を含んでいてもよい。また、カメラ２１２とカメラアダプタ２２０が一体となって構成されていてもよい。さらに、カメラアダプタ２２０の機能の少なくとも一部をフロントエンドサーバ３３０が有していてもよい。本実施形態では、センサシステム２１０ｂ〜２１０ｚについては、センサシステム２１０ａと同様の構成なので省略する。なお、センサシステム２１０ａと同じ構成に限定されるものではなく、それぞれのセンサシステム２１０の構成は異なっていてもよい。

マイク２１１ａによって集音された音声と、カメラ２１２ａによって撮影された画像は、カメラアダプタ２２０ａにおいて画像処理が施された後、デイジーチェーン２７０ａを通して、次のセンサシステム２１０ｂに伝送される。同様にセンサシステム２１０ｂは、集音された音声と撮影された画像を、センサシステム２１０ａから取得した画像及び音声と合わせて、次のセンサシステム２１０ｃに伝送する。このような動作を続けることにより、センサシステム２１０ａ〜２１０ｚが取得した画像及び音声は、センサシステム２１０ｚからネットワーク２８０ｂを介してスイッチングハブ２８０に伝送され、その後、画像コンピューティングサーバ３００へ伝送される。

なお、本実施形態では、カメラ２１２ａ〜２１２ｚとカメラアダプタ２２０ａ〜２２０ｚが分離された構成にしているが、同一筺体で一体化されていてもよい。その場合、マイク２１１ａ〜２１１ｚは、一体化されたカメラ２１２に内蔵されてもよいし、カメラ２１２の外部に接続されていてもよい。

次に、画像コンピューティングサーバ３００の構成及び動作について説明する。本実施形態の画像コンピューティングサーバ３００は、終端のセンサシステム２１０ｚから取得した画像及び音声データの処理を行う。画像コンピューティングサーバ３００は、フロントエンドサーバ３３０、データベース３５０（以下、ＤＢとも記載する。）、バックエンドサーバ３７０、及びタイムサーバ３９０を有する。

タイムサーバ３９０は、時刻及び同期信号を配信する機能を有し、スイッチングハブ２８０を介してセンサシステム２１０ａ〜２１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ２２０ａ〜２２０ｚは、カメラ２１２ａ〜２１２ｚを時刻と同期信号をもとにＧｅｎｌｏｃｋさせ、画像フレーム同期を行う。即ち、タイムサーバ３９０は、複数のカメラ２１２の撮影タイミングを同期させる。これにより、画像処理システム２００は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態では、タイムサーバ３９０が複数のカメラ２１２の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を各カメラ２１２又は各カメラアダプタ２２０が独立して行ってもよい。

フロントエンドサーバ３３０は、終端のセンサシステム２１０ｚから取得した画像及び音声について、セグメント化された伝送パケットを再構成してデータ形式を変換する。そして、カメラの識別子やデータ種別、フレーム番号に応じてデータベース３５０に書き込む。

バックエンドサーバ３７０は、仮想カメラ操作ＵＩ４３０から、ユーザが入力した視点の指定を受け付け、受け付けられた視点に基づいて、データベース３５０から対応する画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。

なお、画像コンピューティングサーバ３００の構成はこれに限らない。例えば、フロントエンドサーバ３３０、データベース３５０、及びバックエンドサーバ３７０のうち少なくとも２つが一体となって構成されていてもよい。また、フロントエンドサーバ３３０、データベース３５０、及びバックエンドサーバ３７０の少なくとも何れかが複数含まれていてもよい。また、画像コンピューティングサーバ３００内の任意の位置に上記の装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ３００の機能の少なくとも一部をエンドユーザ端末２９０や仮想カメラ操作ＵＩ４３０が有していてもよい。

バックエンドサーバ３７０は、生成した仮想視点画像を、エンドユーザ端末２９０に送信する。エンドユーザ端末２９０を操作するユーザは、視点の指定に応じた画像閲覧及び音声視聴が出来る。すなわち、バックエンドサーバ３７０は、複数のカメラ２１２により撮影された撮影画像（複数視点画像）と視点情報とに基づく仮想視点コンテンツを生成する。より具体的には、バックエンドサーバ３７０は、例えば複数のカメラアダプタ２２０により複数のカメラ２１２による撮影画像から抽出された所定領域の画像データと、ユーザ操作により指定された視点に基づいて、仮想視点コンテンツを生成する。そしてバックエンドサーバ３７０は、生成した仮想視点コンテンツをエンドユーザ端末２９０に提供する。なお、仮想視点コンテンツは、画像コンピューティングサーバ３００に含まれるバックエンドサーバ３７０以外の装置により生成されてもよいし、コントローラ４００やエンドユーザ端末２９０により生成されてもよい。

本実施形態における仮想視点コンテンツは、仮想的な視点からオブジェクトを撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点におけるビューを表す画像であるとも言える。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。なお、本実施形態では、仮想視点コンテンツに音声データ（オーディオデータ）が含まれる場合の例を中心に説明しているが、必ずしも音声データが含まれていなくても良い。また、バックエンドサーバ３７０は、仮想視点画像を例えばＨ．２６４やＨＥＶＣなどの符号化方式に従って圧縮符号化したうえで、ＭＰＥＧ−ＤＡＳＨプロトコルを使ってエンドユーザ端末２９０へ送信してもよい。また、仮想視点画像は、非圧縮でエンドユーザ端末２９０へ送信されてもよい。とくに圧縮符号化を行う前者はエンドユーザ端末２９０としてスマートフォンやタブレットを想定している。一方、後者は、非圧縮画像を表示可能なディスプレイを想定している。すなわち、エンドユーザ端末２９０の種別に応じて画像フォーマットが切り替え可能である。また、画像の送信プロトコルはＭＰＥＧ−ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ）やその他の送信方法を用いても良い。

このように、画像処理システム２００は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという３つの機能ドメインを有する。映像収集ドメインは、センサシステム２１０−２１０ｚを含む。データ保存ドメインは、データベース３５０、フロントエンドサーバ３３０及びバックエンドサーバ３７０を含む。映像生成ドメインは、仮想カメラ操作ＵＩ４３０及びエンドユーザ端末２９０を含む。なお本構成に限らず、例えば、仮想カメラ操作ＵＩ４３０が直接センサシステム２１０ａ〜２１０ｚから画像を取得する事も可能である。しかしながら、本実施形態では、センサシステム２１０ａ〜２１０ｚから直接画像を取得する方法ではなく、データ保存機能を中間に配置する方法をとる。具体的には、フロントエンドサーバ３３０が、センサシステム２１０ａ〜２１０ｚが生成した画像データや音声データ及びそれらのデータのメタ情報を、データベース３５０の共通スキーマ及びデータ型に変換する。これにより、センサシステム２１０ａ〜２１０ｚのカメラ２１２が他機種のカメラに変更されても、変更された差分をフロントエンドサーバ３３０が吸収し、データベース３５０に登録することができる。このような構成によって、カメラ２１２が他機種のカメラに変わった場合に、仮想カメラ操作ＵＩ４３０が適切に動作しない虞を低減できる。

また、仮想カメラ操作ＵＩ４３０は、直接データベース３５０にアクセスせずに、バックエンドサーバ３７０を介してアクセスする。バックエンドサーバ３７０で画像生成処理に係わる共通処理を行い、操作ＵＩに係わるアプリケーションの差分部分を仮想カメラ操作ＵＩ４３０が吸収している。このような構成により、仮想カメラ操作ＵＩ４３０の開発において、ＵＩ操作デバイスや、生成したい仮想視点画像を操作するＵＩの機能要求に対する開発に注力する事ができる。また、バックエンドサーバ３７０は、仮想カメラ操作ＵＩ４３０の要求に応じて画像生成処理に係わる共通処理を追加又は削除する事も可能である。このような構成によって、バックエンドサーバ３７０は、仮想カメラ操作ＵＩ４３０の要求に柔軟に対応する事ができる。

以上説明したように、画像処理システム２００においては、オブジェクトを複数の方向から撮影するための複数のカメラ２１２による撮影画像に基づいて、バックエンドサーバ３７０により仮想視点画像が生成される。なお、本実施形態における画像処理システム２００は、上記で説明した物理的な構成に限定されず、論理的に構成されていてもよい。また、本実施形態は、例えば仮想視点画像を生成せず、複数のカメラ２１２を切り替えることによって撮影画像をエンドユーザ端末２９０へ送信する場合にも適用できる。

[マルチカメラの選定]
先述したように、仮想視点画像は、画像処理システム２００において同じタイミングで撮影された複数の撮影画像に基づいて生成される。このため、複数のカメラ２１２の各撮影画像の特性（明るさや色味）に違いがあると、仮想視点を移動させた際に生成される仮想視点画像が不自然になる。

そこで、本実施形態では、画像処理システム２００において、カメラ間色差が小さくなるように複数のカメラ（以下、マルチカメラともいう）２１２を選定して、選定した各カメラの相対的な位置関係を決定する。

画像処理システム２００が、仮想視点画像を生成するために必要な台数（Ｍ台）以上のカメラ（Ｌ台）を有している場合には、カメラ間の色差が小さくなるようにＭ台のカメラを選定する必要がある。

Ｌ台のカメラから選定されるＭ台（Ｍ≦Ｌ）のカメラの組み合わせの数は、式（１）で示される。

図３は、本実施形態におけるマルチカメラ配置の例を示す概念図であり、Ｍ台のカメラを円形に並べた例を示している。なお、Ｍ台のカメラは、オブジェクトを異なる方向から捉えていればよく、図示した配置に限定されるものではない。例えば、Ｍ台のカメラは、真円上、楕円上、または一直線上に配置してもよい。本実施形態では簡単化のため、円形を例に説明する。

Ｍ台のカメラを円形に並べる円順列の総数は、式（２）で示される。

よって、Ｌ台のカメラからＭ台（Ｍ≦Ｌ）のマルチカメラを選定し、選定したＭ台のカメラを円形に並べる円順列の総数は、式（３）で示される。

つまり、Ｍ台のカメラを円形に並べたマルチカメラの組の候補は、式（３）で示される数だけ存在するので、各候補においてカメラ間の色差を評価し、その色差が最も小さくなるマルチカメラの組を決定する。なお、マルチカメラの組とは、Ｍ台のカメラの相対的な位置関係を表す。これにより、画像処理システム２００で配置する複数のカメラ２１２と、各カメラの相対的な位置関係を求めることができる。

[カラーチャート撮影とカラーパッチの抽出]
カメラ間の色差を求めるため、同一のカラーチャートを異なるカメラで撮影する。

図４は、本実施形態におけるカラーチャート撮影の例を示す概念図であり、Ｌ台のカメラがカラーチャート５００を撮影する例を示している。

カラーチャート５００は、複数のカラーパッチから構成される。各カラーパッチは、測色器等によってCIE XYZやCIE Labなどのデバイス非依存の色値が予め測定されている。オブジェクトとしてのカラーチャート５００は、暗室の観察ブース内に置かれてもよいし、撮影現場のオブジェクトの位置に置かれてもよい。また、カラーチャート５００は、各カメラが異なる方向から同時に撮影してもよいし、カメラを１台ずつ正対させて撮影してもよい。

画像処理装置１００は、画像入力デバイス１１３から、カラーチャート５００をオブジェクトとしたＬ台のカメラ５０１、５０２、５０３、５０４、…の撮影画像を取得し、各撮影画像からカラーチャート５００の各カラーパッチの色値を抽出する。ここで、各カラーパッチの色値の抽出は自動であっても手動であってもよい。

次に、画像処理装置１００は、各カラーパッチの色値を撮影画像の色空間からCIE XYZやCIE Labなどのデバイス非依存な色空間へ変換する。撮影画像の色空間が、ITU-R BT.709、ITU-R BT.2020、DCI-P3、ACES、sRGB、Adobe RGBなどの「定義された色空間」である場合、デバイス非依存な色空間へ変換することができる。また、撮影画像がRAW画像の場合には、RAW現像処理によって「定義された色空間」へ変換する。また、Ｌ台のカメラ５０１、５０２、５０３、５０４、…の撮影画像の取得方法は、画像入力デバイス１１３経由に限定されず、Ｌ台のカメラを画像処理システム２００の複数のカメラ２１２として接続して、ネットワーク１１５経由で取得してもよい。

[カメラ間色差評価]
図５は、本実施形態におけるカメラ間色差評価テーブルの例を示し、Ｍ台のカメラを円形に並べたマルチカメラの組のカメラ間色差評価の例を示している。

カメラ間色差評価テーブル６００の各行は、カラーチャート５００の各カラーパッチの色を示す。カメラ間色差評価テーブル６００は、例えばカラーチャートがColorChecker Classic（２４色）の場合には、２４行のデータを含む。カラーチャート５００は、自作のカラーチャートを利用してもよいし、ColorChecker Digital SG（１４０色）のような市販のカラーチャートを利用してもよい。

カラーチャート５００の各カラーパッチのLab値６１０には、カラーチャート５００の各カラーパッチを測色器で測色したLab値が格納される。

カラーチャート５００の各カラーパッチに対する各カメラのLab値６２０には、Ｍ台のカメラを円形に並べたマルチカメラの組の候補の各カメラの撮影画像から各カラーパッチの色を抽出して変換したLab値が格納される。

画像処理装置１００は、マルチカメラの組におけるカメラ間色差を評価し、色差が最も小さくなるマルチカメラの組を求める。

Ｍ台のカメラから２台のカメラを選んで色差を求める組み合わせの総数は、式（４）で示される。

式（４）の組み合わせの総数に対して色差を評価すればマルチカメラ全体の色差を小さくすることができるが、本実施形態では簡単化のため、隣接するカメラ間の色差を評価する例を説明する。

円形に並べたマルチカメラにおけるi番目のカラーパッチに対する隣接カメラ間色差６３０は、式（５）によって求めることができる。ここでは、カメラ２１２ａのLab値を（Ｌ^* ₁(i),ａ^* ₁(i),ｂ^* ₁(i)）、カメラ２１２ｂのLab値を（Ｌ^* ₂(i),ａ^* ₂(i),ｂ^* ₂(i)）とする。

同様に、ΔＥ₂₃(i)、ΔＥ₃₄(i)、…、ΔE_(M-1)M(i)、ΔＥ_M1(i)のように、Ｍ通りの各カラーパッチの隣接カメラ間色差６３０を求める。

ここで、本実施形態では簡単化のため、色差式としてΔＥ７６（ＣＩＥ７６）を用いているが、ΔＥ９４（ＣＩＥ９４）やΔＥ００（ＣＩＥＤＥ２０００）などを用いてもよい。

更に、Ｍ台のカメラを円形に並べたマルチカメラの組の候補におけるi番目のカラーパッチに対する隣接カメラ間単純平均色差６４０は、式（６）によって求めることができる。

一方、各カラーパッチに対する隣接カメラ間色差６３０が式（５）によって求められているので、Ｍ台のカメラを円形に並べたマルチカメラの組の候補における隣接カメラ（ｊ，ｊ＋１）に対する隣接カメラ間平均色差６５０を求めることもできる。隣接カメラ間平均色差６５０は、単純平均色差（ΔＥ_j(j+1)）_aまたは加重平均色差（ΔＥ_j(j+1)）_wを使用目的に応じて選択的に格納することができる。

撮影において、オブジェクトの色が事前に予測できない場合には、単純平均によるカメラ間色差評価を行うことができる。隣接カメラ（ｊ，ｊ＋１）に対する隣接カメラ間単純平均色差（ΔＥ_j(j+1)）_aは、i番目のカラーパッチに対する隣接カメラ（ｊ，ｊ＋１）の色差をΔＥ_j(j+1)（i）、カラーパッチの総数をＮとすれば、式（７）によって求めることができる。

一方、撮影が競技場（スタジアム）やコンサートホールなどの施設で行われる場合には、リハーサルの段階で重要色（芝生、ユニフォーム、広告、肌色、衣装、楽器などの色）が事前にわかることが多い。したがって、特定の色に対して重み付けを行ったカメラ間色差評価を行うことができる。例えば、カラーチャート５００の全カラーパッチの中から重要色に近いカラーパッチを特定し、特定したカラーパッチに対する隣接カメラ（ｊ，ｊ＋１）の色差に対して他のカラーパッチより大きい重みを与える。隣接カメラ（ｊ，ｊ＋１）に対する隣接カメラ間加重平均色差（ΔＥ_j(j+1)）_wは、i番目のカラーパッチに対する重みをw_iとすれば、式（８）によって求めることができる。なお、ｉ番目のカラーパッチに対する隣接カメラ（ｊ，ｊ＋１）の色差はΔＥ_j(j+1)（i）、カラーパッチの総数をＮとする。

また、隣接カメラ間平均色差６５０の算出方法に応じて、カメラ間色差評価結果６６０も、単純平均色差または加重平均色差が用いられる。すなわち、単純平均色差（ΔＥ_j(j+1)）_aの単純平均が格納される場合（式（９））と、加重平均色差（ΔＥ_j(j+1)）_wの単純平均が格納される場合（式（１０））が存在する。

[マルチカメラ配置の決定]
最適なマルチカメラの組を決定するためには、式（３）で示されるマルチカメラの組の全候補の中で、式（９）または式（１０）によって算出されるカメラ間色差評価結果６６０が最小となるマルチカメラの組を求める必要がある。

カメラ間色差評価結果６６０が最小となるマルチカメラの組が決定できれば、画像処理システム２００で配置するカメラ２１２と、各カメラの相対的な位置関係を一意に決定することができる。但し、マルチカメラの組は円順列によって決定されているため、各カメラの相対的な位置関係を保ったままカメラの全体配置を回転させる自由度は残る。

そこで、撮影する上で重要な視線が集まる区間と、マルチカメラの円周上で隣接カメラ間平均色差６５０が小さくなる区間とが重なるようにして、最適なマルチカメラ配置を決定する。撮影する上で重要な視線が集まる区間とは、例えば、スタジアムのメインスタンド側、コンサートホールのステージ正面側などである。

画像処理装置１００は、隣接カメラ間平均色差６５０の分布を利用して、隣接カメラ（ｊ，ｊ＋１）の平均色差が小さくなる区間を特定し、撮影する上で重要な視線が集まる区間と重なるようにしてマルチカメラの配置を決定する。

[マルチカメラ選定の処理の流れ]
図６は、本実施形態におけるマルチカメラ選定処理のフローチャートである。

フローチャートに示される一連の処理は、画像処理装置１００のＣＰＵ１０１がメインメモリ１０２またはＨＤＤ１０５などの記憶装置に記憶された制御プログラムをＲＡＭに展開し、実行することにより行われる。あるいはまた、フローチャートにおけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップを意味する。その他のフローチャートについても同様である。

まず、Ｓ１００１において、Ｌ台のカメラのそれぞれによって撮影されたカラーチャート５００の撮影画像を取得する。

次に、Ｓ１００２において、各撮影画像からカラーチャート５００の各カラーパッチの色値を抽出する。

次に、Ｓ１００３において、抽出した各カラーパッチの色値をLab値に変換する。

次に、Ｓ１００４において、Ｌ台のカメラからＭ台（Ｍ≦Ｌ）のマルチカメラを選定し、更にＭ台のカメラを円形に並べたマルチカメラの組の候補を決定する。すなわち、画像処理装置１００のＣＰＵ１０１は、マルチカメラの組の候補を決定する候補決定手段として機能する。具体的には、式（３）で示されるＭ台のカメラを円形に並べる円順列の総数分のマルチカメラの組の候補を順次決定する。

ここでは、５台のカメラから４台のマルチカメラの組の候補（Ｌ＝５、Ｍ＝４）を生成する例を説明する。

５台のカメラ（１，２，３，４，５）から４台のマルチカメラを選ぶ組み合わせは、式（１）より次の５通り（＝₅Ｃ₄）となる。
（１，２，３，４）
（１，２，３，５）
（１，２，４，５）
（１，３，４，５）
（２，３，４，５）

更に、４台のマルチカメラ（１，２，３，４）を円形に並べたマルチカメラの組の候補（円順列）は、式（２）より次の６通り（＝３!）となる。
（１，２，３，４）
（１，２，４，３）
（１，３，２，４）
（１，３，４，２）
（１，４，２，３）
（１，４，３，２）

同様に、他のマルチカメラの組み合わせ（１，２，３，５）、（１，２，４，５）、（１，３，４，５）、（２，３，４，５）に対してもマルチカメラの組の候補を求める。そうすると、５台のカメラ（１，２，３，４，５）から生成される４台のマルチカメラの組の候補の総数は、式（３）で示される３０通りとなる。

次に、Ｓ１００５において、Ｓ１００４で決定されたＭ台のマルチカメラの組の候補に対して、カメラ間色差評価結果６６０を算出し、カメラ間色差評価テーブル６００に格納する。すなわち、画像処理装置１００のＣＰＵ１０１は、カメラ間色差を評価する色差評価手段として機能する。具体的には、円形に並べられた隣接カメラ間におけるカラーパッチの平均色差を算出し、さらに、算出した平均色差の単純平均を、当該マルチカメラの組の候補に対するカメラ間色差評価結果６６０として算出する。尚、カメラ間色差評価結果６６０を求める方法は、先述した式（９）及び式（１０）のように使用目的によって複数存在する。

次に、Ｓ１００６において、マルチカメラの組の全候補に対してＳ１００４からＳ１００５の処理を実施したか否かを判定する。未了の場合はＳ１００４に戻る。一方、終了の場合にはＳ１００７へ進む。

次に、Ｓ１００７において、マルチカメラの組の全候補の中でカメラ間色差評価結果６６０が最小となるマルチカメラの組を決定する。すなわち、画像処理装置１００のＣＰＵ１０１は、マルチカメラの組を決定する組決定手段として機能する。ここでは、マルチカメラにおける各カメラの相対的な位置関係が決定する。

次に、Ｓ１００８において、撮影する上で重要な視線が集まる重要視線区間の情報を取得し、重要視線区間に基づいてマルチカメラの配置を決定する。すなわち、画像処理装置１００のＣＰＵ１０１は、マルチカメラの組の配置を決定する配置決定手段として機能する。また、重要視線区間とは、マルチカメラによって撮影される特定区間を意味する。

ここでは、重要視線区間の情報が、「既に決まっているＭ台のマルチカメラの配置場所の内、ｐ番目からｑ番目の間が重要なカメラ」という情報である場合の例を示す。

図８は、本実施形態における重要視線区間の例を示す概念図である。重要なカメラがｐ番目からｑ番目の間とすると、その区間の台数は（ｑ−ｐ＋１）台となる。そこで、隣接カメラ間平均色差６５０において隣接する（ｑ−ｐ＋１）台のカメラに対する（ｑ−ｐ）箇所の隣接カメラ間平均色差の単純平均を順次求めていく。そして、ｒ番目（ｒ∈[１,M]）から（ｒ＋ｑ−ｐ）番目の間のカメラに対する（ｑ−ｐ）箇所の隣接カメラ間平均色差の単純平均であるave（ΔE_r→r+q-p）_aまたはave（ΔE_r→r+q-p）_wが最小となる区間を特定する。

また、ｐ〜ｑ番目の間の重要なカメラにおいて、隣接カメラ間平均色差に対する重要度分布（または重み係数）が予めわかっている場合には、各隣接カメラ間平均色差に対する重みをv_j（j∈[r, r+q-p-1]）として、加重平均を算出してもよい。すなわち、隣接カメラ間平均色差の単純平均を求める式（１１）や式（１２）の代わりに、隣接カメラ間平均色差の加重平均を求める式（１３）や式（１４）を利用することもできる。

そして、隣接カメラ間平均色差の単純平均であるave（ΔE_r→r+q-p）_aやave（ΔE_r→r+q-p）_wが最小となる区間において、ｒ番目のカメラを求める。または、隣接カメラ間平均色差の加重平均であるweighted（ΔE_r→r+q-p）_aやweighted（ΔE_r→r+q-p）_wが最小となる区間において、ｒ番目のカメラを求める。ｒ番目のカメラがｐ番目のカメラと一致するように円形に並べたマルチカメラを回転させれば、マルチカメラ配置を決定することができる。

なお、重要視線区間や隣接カメラ間平均色差に対する重要度分布は、設定ファイルによって指定することもできるし、ユーザがユーザインタフェイスを介して指定することもできる。

図７は、本実施形態におけるカメラ間色差評価（Ｓ１００５）のフローチャートである。

図７（ａ）は、全てのカメラ間の単純平均色差を評価する処理の一例を示す。

Ｓ１００９において、Ｍ台のカメラのうち、２台のカメラの全ての組み合わせに対して各カラーパッチのカメラ間色差を求め、全カラーパッチに対するカメラ間単純平均色差を求める。そして、式（４）で示される総数のカメラ間単純平均色差を単純平均して、カメラ間色差評価結果６６０を算出する。

図７（ｂ）は、隣接カメラ間の単純平均色差を評価する処理の一例を示す。

Ｓ１０１０において、カメラ間色差を全ての組み合わせに対して求めるのではなく、式（５）で各カラーパッチの隣接カメラ間色差を求める。そして、式（７）で隣接カメラ間単純平均色差を求め、式（９）に従ってカメラ間色差評価結果６６０を算出する。

図７（ｃ）は、全てのカメラ間の加重平均色差を評価する処理の一例を示す。

Ｓ１０１１において、Ｍ台のカメラのうち、２台のカメラの全ての組み合わせに対して各カラーパッチのカメラ間色差を求め、各カラーパッチに対する重み係数を取得して全カラーパッチに対するカメラ間加重平均色差を求める。そして、式（４）で示される総数のカメラ間加重平均色差を単純平均して、カメラ間色差評価結果６６０を算出する。

図７（ｄ）は、隣接カメラ間の加重平均色差を評価する処理の一例を示す。

Ｓ１０１２において、カメラ間色差を全ての組み合わせに対して求めるのではなく、式（５）で各カラーパッチの隣接カメラ間色差を求める。そして、各カラーパッチに対する重み係数を取得して式（８）によって隣接カメラ間加重平均色差を求め、式（１０）に従ってカメラ間色差評価結果６６０を算出する。

なお、各カラーパッチに対する重み係数は、設定ファイルによって指定することもできるし、ユーザインタフェイスによって指定することもできる。

本実施形態では、マルチカメラの組の候補を順次評価する例を示したが、組み合わせ最適化問題として他の解法を適用してもよい。

[効果]
以上説明したように、本実施形態によれば、カメラ間色差が小さくなるようにマルチカメラを選定し、マルチカメラの組を決定することにより、マルチカメラで撮影された各撮影画像間の色差を小さくすることができる。また、重要視線区間に応じてマルチカメラの配置を決定することができる。

（第２の実施形態）
第１の実施形態では、Ｌ台のカメラからＭ台（Ｍ≦Ｌ）のマルチカメラを選定し、更にＭ台のカメラを円形に並べたマルチカメラの組の候補（円順列）についてカメラ間色差評価結果６６０が最小となるマルチカメラの組を決定する方法について説明した。第１の実施形態の方法は、最適なマルチカメラ配置を決定する方法として有効であるが、カメラの台数（ＬやＭ）が多くなると、マルチカメラの組の候補の総数が急激に増加するため処理時間が多くかかってしまう。

本実施形態では、カメラの台数が多くても実用的な時間内に最適なマルチカメラ配置を決定できる方法について説明する。なお、カメラの台数や画像処理装置１００の処理能力に応じて、第１の実施形態と本実施形態を切り替えたり、組み合わせたりしてもよい。

[マルチカメラの選定]
第１の実施形態では、Ｌ台のカメラからＭ台（Ｍ≦Ｌ）のマルチカメラの候補を挙げてからカメラ間色差評価を行った。一方、本実施形態ではＬ台のカメラに対して基準色との色差による順位付けを行い、色差の小さい方からＭ台のマルチカメラを選定する。

基準色との色差による順位付けには、カラーチャートを基準にする方法と、マスターカメラを基準にする方法がある。

カラーチャートを基準にする方法は、忠実な色再現が重視される場合に有効である。カメラの色調整が不十分な場合や、カメラ内で画づくりされている場合には色差が大きくなることがある。

一方、マスターカメラを基準にする方法は、カメラ間の色合わせが重視される場合に有効である。同一モデルのカメラをマルチカメラとして利用する場合には、各カメラの特性が似ているため、カメラ内で画づくりされていても色差は小さくなる。異なるモデルのカメラを組み合わせてマルチカメラとして利用している場合や、従来の画づくりとの互換性が重視される場合など、慣例としてマスターカメラが決まっている場合には、基準となっているマスターカメラをそのまま利用する。マスターカメラが決まっていない場合には、カラーチャート、または複数カメラの平均値を基準にマスターカメラを選定し、そのマスターカメラを基準としてマルチカメラを決定してもよい。すなわち、Ｌ台のカメラによってカラーチャートを撮影した各撮影画像と、カラーチャートの測定値との色差に基づいて、当該色差が最も小さい特定のカメラをマスターカメラとして決定してもよい。また、Ｌ台のカメラによってカラーチャートを撮影した各撮影画像と、カラーチャートの測定値との色差の平均値に最も近い撮影画像を撮影した特定のカメラをマスターカメラとして決定してもよい。あるいは、カラーチャートを基準にマスターカメラを選定するのではなく、複数カメラの平均色差、または加重平均色差を基準にマスターカメラを選定してもよい。

図９は、本実施形態における基準色とカメラの色差評価テーブルの例を示し、Ｌ台のカメラの色差評価の例を示している。

基準色とカメラの色差評価テーブル７００の各行は、カラーチャート５００の各カラーパッチの色を示しており、例えばカラーチャートがColorChecker Classic（２４色）の場合には２４行となる。カラーチャート５００は自作のカラーチャートを利用してもよいし、ColorChecker Digital SG（１４０色）のような市販のカラーチャートを利用してもよい。

基準色のLab値７１０には、カラーチャートの基準色、またはマスターカメラの基準色のLab値が格納される。カラーチャートの基準色の場合には、カラーチャート５００の各カラーパッチを測色器で測色したLab値が格納される。一方、マスターカメラの基準色の場合には、カラーチャート５００を撮影したマスターカメラの撮影画像から各カラーパッチの色を抽出して変換したLab値が格納される。

カラーチャート５００の各カラーパッチに対する各カメラのLab値７２０には、Ｌ台の各カメラの撮影画像から各カラーパッチの色を抽出して変換したLab値が格納される。

各カメラにおけるi番目のカラーパッチに対するカメラ色差７３０は、式（１５）によって求めることができる。ここで、基準色のLab値は（Ｌ^* ₀(i), ａ^* ₀(i), ｂ^* ₀(i)）、カメラ１のLab値は（Ｌ^* ₁(i), ａ^* ₁(i), ｂ^* ₁(i)）とする。

同様に、ΔＥ₂(i)、ΔＥ₃(i)、…、ΔE_(L-1)(i)、ΔＥ_L(i)のように、Ｌ台のカメラにおけるカメラ色差７３０を求める。

ここで、本実施形態では簡単化のため、色差式としてΔＥ７６（ＣＩＥ７６）を用いているが、ΔＥ９４（ＣＩＥ９４）やΔＥ００（ＣＩＥＤＥ２０００）などを用いてもよい。

各カラーパッチに対する各カメラの色差が式（１５）によって求められているので、Ｌ台のカメラのうち、ｊ番目のカメラに対するカメラ平均色差７４０を求めることもできる。カメラ平均色差７４０には、単純平均色差（ΔＥ_j）_aまたは加重平均色差（ΔＥ_j）_wを使用目的に応じて選択的に格納することができる。

撮影の前に、オブジェクトの色が事前に予測できない場合には、単純平均によるカメラ色差評価を行うことができる。Ｌ台のカメラのうち、ｊ番目のカメラに対するカメラ単純平均色差（ΔＥ_j）_aは、i番目のカラーパッチに対するカメラｊのカメラ色差をΔＥ_j（i）、カラーチャート５００のカラーパッチ総数をＮとすれば、式（１６）によって求めることができる：

一方、撮影が競技場（スタジアム）やコンサートホールなどの施設で行われる場合には、リハーサルの段階で重要色（芝生、ユニフォーム、広告、肌色、衣装、楽器などの色）が事前にわかることが多い。そのため、特定の色に対して重み付けを行ったカメラ色差評価を行うことができる。例えば、カラーチャート５００の全カラーパッチの中から重要色に近いカラーパッチを特定し、特定したカラーパッチに対するカメラ色差に対して他のカラーパッチより大きい重みを与える。Ｌ台のカメラのうち、ｊ番目のカメラに対するカメラ加重平均色差（ΔＥ_j）_wは、式（１７）によって求めることができる。ここで、i番目のカラーパッチに対するカメラｊのカメラ色差およびその重みをΔＥ_j（i）およびw_i、カラーチャート５００のカラーパッチ総数をＮとする。

次に、カメラ平均色差７４０が式（１６）または式（１７）によって求められているので、カメラ平均色差７４０による順位付けを行う。カメラ平均色差７４０の小さい方からＭ台のカメラを選定すれば、基準色（カラーチャートの基準色、またはマスターカメラの基準色）に近い色再現が可能なマルチカメラが構成できる。

[マルチカメラ配置の決定]
これまでの手順で、Ｍ台のマルチカメラ選定と、各カメラの順位付け（基準色に対するカメラ平均色差７４０の小さい順）は行われているが、各カメラの相対的な位置関係は確定していない。以下では、Ｍ台のカメラを円形に並べたマルチカメラ配置において、カメラ間の色差を小さくする方法を述べる。

図１０は、本実施形態におけるマルチカメラの相対的な位置関係の例を示す概念図である。簡単化のため、円形に並べた６台のカメラ８００〜８０５は、それぞれ色値１〜６を示すものとする。

図１０（ａ）は、６台のカメラ８００〜８０５を色値の小さい順に時計回りに配置した例である。

図１０（ａ）において、カメラ８００と８０１、８０１と８０２、８０２と８０３、８０３と８０４、および８０４と８０５の色値の差は１であるが、カメラ８０５と８００の色値の差は５である。ここで、色値の差の合計は１０であり、色値の差の単純平均は、１０／６（≒１．６６７）である。

一方、図１０（ｂ）は、６台のカメラ８００〜８０５を色値の小さい順に、カメラ８００からの距離が近くなるように配置した例である。

図１０（ｂ）において、カメラ８００と８０１、および８０５と８０４の色値の差は１であるが、カメラ８０１と８０３、８０３と８０５、８０４と８０２、および８０２と８００の色値の差は２である。ここで、色値の差の合計は１０であり、色値の差の単純平均は、１０／６（≒１．６６７）である。

図１０（ａ）の配置でも図１０（ｂ）の配置でも、色値の差の単純平均は同じ値であるが、カメラを円形に並べるマルチカメラ配置としては、隣接するカメラの色が連続的に変化する図１０（ｂ）の方が好ましい。

図１１は、本実施形態における基準色とカメラの色差の例を示す概念図である。

図１０では色値が１次元の場合の例を示したが、実際の色値は図１１のように３次元となる。図１１は、カメラ８００をマスターカメラとした場合の例を示している。図示されるように、基準色（マスターカメラ）と各カメラの色差はユークリッド距離によって定義されるので、各カメラを基準色に対する色差の小さい順に配置したとしても、カメラ間の色差が小さくなるという保証はない。例えば、図１１では、カメラ８００とカメラ８０３の色差や、カメラ８００とカメラ８０４の色差より、カメラ８０３とカメラ８０４の色差の方が大きくなっている。

カメラ間色差が小さくなることを保証するためには、マスターカメラを基準として色差が最も小さいカメラを探し、次にそのカメラを基準として色差が最も小さいカメラを探すというように、カメラ間色差が小さくなるカメラを順次探していけばよい。

したがって、Ｍ台のカメラの順位付け（カメラ間色差の小さい順）が全て完了すれば、図１０（ｂ）のようにカメラ間色差が小さい順に、カメラ８００からの距離が近くなるように次のカメラを順次配置する。

また、カメラの台数が多い場合には、Ｍ台のカメラをＰ個（Ｐ＜Ｍ）のグループに分割して配置してもよい。ここでは、３０台のマルチカメラを第１〜第６グループの６グループに分割（Ｍ＝３０、Ｐ＝６）して配置する例を説明する。また、各グループには５台（＝Ｍ／Ｐ）のカメラを割り当てるものとする。

第１グループは、基準色とカメラの色差評価テーブル７００において、３０台のマルチカメラの色差評価を行うことによって求めることができる。基準色のLab値７１０としてマスターカメラの基準色を格納し、カメラ平均色差７４０を求めた後、カメラ平均色差７４０による順位付けを行う。カメラ平均色差７４０の小さい方から５台（マスターカメラを含む）のカメラを第１グループとして選定する。カメラ平均色差７４０には、単純平均色差（ΔＥ_j）_aまたは加重平均色差（ΔＥ_j）_wを使用目的に応じて選択できるものとする。

次に、マスターカメラを基準としたカメラ平均色差７４０において、カメラ平均色差が６番目に小さいカメラを第２グループの代表カメラとする。第２グループは、基準色とカメラの色差評価テーブル７００において、３０台のマルチカメラから第１グループの５台を除いた２５台のカメラの色差評価を行うことによって求めることができる。基準色のLab値７１０に第２グループの代表カメラの基準色を格納し、カメラ平均色差７４０を求めた後、カメラ平均色差７４０による順位付けを行う。カメラ平均色差７４０の小さい方から５台（第２グループの代表カメラを含む）のカメラを第２グループとして選定する。

同様に、第３〜第６グループの代表カメラ、および各グループのカメラ５台を順次選定する。

次に、第１〜第６グループにグループ分けされた各グループのカメラを、図１０（ｂ）のカメラ８００〜８０５の位置に割り当てる。各グループ内の５台のカメラの配置は、各グループの代表カメラとの平均色差が小さい順に、カメラ８００からの距離が近くなるように同一円周上に配置する。なお、第１グループはカメラ８００の位置に割り当てる等、カメラの属するグループが決定すればカメラの割り当て位置も自動的に決定される。したがって、全てのグループのカメラが選定されてから各カメラを配置するのではなく、各カメラの属するグループが決まった時点で各カメラを配置してもよい。

以上の処理により、マルチカメラにおける各カメラの相対的な位置関係を一意に決定することができたので、第１の実施形態と同様に、カメラ間色差評価テーブル６００を利用して、カメラの全体配置を確定すればよい。つまり、撮影する上で重要な視線が集まる区間（スタジアムのメインスタンド側、コンサートホールのステージ正面側など）と、マルチカメラの円周上で隣接カメラ間平均色差６５０が小さくなる区間が重なるようにマルチカメラ配置を決定する。

[マルチカメラ選定の処理の流れ]
図１２、１３は、第２の実施形態におけるマルチカメラ選定処理のフローチャートである。尚、第１の実施形態と同一の処理については同じ符号を付して説明を省略し、第１の実施形態と異なる点を中心に簡潔に説明する。

図１２は、マスターカメラを基準としてカメラ間色差の小さいカメラを順次探索して、マルチカメラを選定する処理の一例を示す。

Ｓ１００１からＳ１００３までの処理により、第１の実施形態と同様に、Ｌ台のカメラのそれぞれによりカラーチャート５００を撮影した撮影画像を取得し、各カラーパッチの色値をLab値へ変換する。そして、カラーチャート５００の各カラーパッチに対する各カメラのLab値７２０へ格納する。

次に、Ｓ２００１において、カラーチャート５００の各カラーパッチを測色したLab値を基準色のLab値７１０へ格納し、Ｌ台のカメラにおけるカメラ色差７３０を求める。

次に、Ｓ２００２において、各カラーパッチに対する重み係数を取得し、Ｌ台のカメラにおけるカメラ平均色差７４０を求め、カメラ平均色差が最も小さいカメラをマスターカメラとして選定する。

次に、Ｓ２００３において、マスターカメラの基準色を基準色のLab値７１０へ格納し、カメラ平均色差７４０の小さい方からＭ台のカメラをマルチカメラとして選定する。すなわち、画像処理装置１００のＣＰＵ１０１は、Ｍ台のカメラをマルチカメラとして選定するマルチカメラ選定手段として機能する。

次に、Ｓ２００４において、マスターカメラの基準色を基準色のLab値７１０へ格納した状態で、カメラ平均色差７４０が最小となるカメラを近傍カメラとして選定する。

次に、Ｓ２００５において、図１０（ｂ）のカメラ８００の位置にマスターカメラを配置し、カメラ８０１の位置に近傍カメラを配置する。

次に、Ｓ２００６において、マルチカメラを構成する全てのカメラ（Ｍ台）に対してＳ２００４からＳ２００５の処理を施したか否かを判定する。未了の場合はＳ２００４に戻る。一方、終了の場合にはＳ１００５へ進む。

なお、Ｓ２００４に処理が戻った場合には、直前に選定された近傍カメラの各カラーパッチの色が、次の基準色として基準色のLab値７１０へ格納され、その時のカメラ平均色差７４０が最小となるカメラが「次の近傍カメラ」として選定される。但し、既に近傍カメラとして選定されているカメラは選定しないものとする。「次の近傍カメラ」は、Ｓ２００５において、図１０（ｂ）のカメラ８０２の位置に配置される。

次に、Ｓ１００５において、Ｍ台のマルチカメラのカメラ間色差が算出され、隣接カメラ間平均色差６５０が求められる。

次に、Ｓ１００８において、撮影する上で重要な視線が集まる重要視線区間の情報と、隣接カメラ間平均色差６５０の分布を利用して、マルチカメラ配置が決定される。

一方、図１３は単体の近傍カメラではなく、Ｍ台のマルチカメラをＰ個（Ｐ＜Ｍ）のグループに分割し、各グループの代表カメラと、各グループに属するカメラを順次探索して、マルチカメラを選定する処理の一例を示す。

Ｓ１００１からＳ２００３までの処理により、図１２と同様に、Ｌ台のカメラのそれぞれによりカラーチャート５００を撮影した撮影画像を取得し、カメラ平均色差７４０の小さい方からＭ台のカメラをマルチカメラとして選定する。

次に、Ｓ２００７において、マスターカメラを第１グループの代表カメラとして選定する。

次に、Ｓ２００８において、第１グループの代表カメラの基準色を基準色のLab値７１０へ格納した状態で、カメラ平均色差７４０の小さい方から（Ｍ／Ｐ）台（グループの代表カメラを含む）のカメラを、第１グループに属するカメラとして選定する。

次に、Ｓ２００９において、図１０（ｂ）のカメラ８００の位置に、第１グループに属するカメラとして選定したカメラを配置する。第１グループ内のカメラは、代表カメラに対するカメラ平均色差が小さい順に、円周上を反時計回りに配置される。

次に、Ｓ２０１０において、Ｐ個の全てのグループに対してＳ２００７からＳ２００９の処理を施したか否かを判定する。未了の場合はＳ２００７に戻る。一方、終了の場合には、Ｓ１００５へ進む。

なお、Ｓ２００７に処理が戻った場合には、直前のグループの代表カメラに対してカメラ平均色差７４０の小さい方から（（Ｍ／Ｐ）＋１）台目のカメラを「次のグループの代表カメラ」として選定する。次に、Ｓ２００８において、「次のグループの代表カメラ」の基準色を基準色のLab値７１０へ格納した状態で、カメラ平均色差７４０の小さい方から（Ｍ／Ｐ）台（グループの代表カメラを含む）のカメラを「次のグループに属するカメラ」として選定する。但し、既にグループに属するカメラとして選定されているカメラは選定しないものとする。次に、Ｓ２００９において、図１０（ｂ）のように次のグループに属するカメラを配置する。第２グループは、カメラ８０１の位置に配置され、第２グループ内のカメラは、代表カメラに対するカメラ平均色差が小さい順に、第１グループに続けて同じ円周上を時計回りに配置される。さらに、第３グループは、カメラ８０２の位置に配置され、第３グループ内のカメラは、代表カメラに対するカメラ平均色差が小さい順に、第１グループに続けて円周上を反時計回りに配置される。このようにして、Ｐ個の全てのグループについて、カメラが配置される。

次に、Ｓ１００５において、Ｍ台のマルチカメラのカメラ間色差が算出され、隣接カメラ間平均色差６５０が求められる。

次に、Ｓ１００８において、撮影する上で重要な視線が集まる重要視線区間の情報と、隣接カメラ間平均色差６５０の分布を利用して、マルチカメラ配置が決定する。

[効果]
以上説明したように、本実施形態では、マルチカメラにおいてカラーチャートまたはマスターカメラを基準として色差が小さくなるようにカメラ選定を行う。そうすることにより、マルチカメラで撮影された各撮影画像の色差を小さくするようなカメラ配置を実用的な時間内に決定することができる。

（第３の実施形態）
第１の実施形態、および第２の実施形態では、Ｌ台のカメラからＭ台（Ｍ≦Ｌ）のマルチカメラを選定し、カメラ間の色差が小さくなるようにマルチカメラ配置を決定する方法について説明した。

本実施形態では、第１の実施形態や第２の実施形態において、特定の色に対して重み付けの指定を行う場合や、撮影する上で重要な視線が集まる区間に対して重み付けの指定を行う場合のユーザインタファイスについて説明する。

図１４は、本実施形態における重み付け指定を行うためのユーザインタフェイスの例を示す。

図１４（ａ）は、特定の色に対して重み付け指定を行うユーザインタフェイスの一例を示す。先述したように、ユーザは、カラーチャート５００の全カラーパッチの中から重要色（例えば、芝生、ユニフォーム、広告、肌色、衣装、楽器などの色）に近いカラーパッチを特定し、特定したカラーパッチに対して他のカラーパッチより大きい重みを与える。

カラーパッチの色名９００は、カラーチャート５００の各カラーパッチの色名を表す。色名は、設定ファイルによって設定することも可能であるし、ユーザがモニタ１０７上で直接編集し、設定することも可能である。色名が不明な場合には、「Color1」「Color2」という表現でもよい。

カラーパッチの色９０１は、カラーチャート５００の各カラーパッチの色を表示する。モニタ１０７がsRGBモニタの場合には、カラーチャート５００の各カラーパッチのLab値６１０や基準色のLab値７１０をsRGB色空間へ変換して表示してもよい。

カラーパッチの重み９０２は、ユーザによって入力された各カラーパッチに対する重み係数を表示する。入力された重み係数は、図７（ｃ）のカメラ間加重平均色差評価（Ｓ１０１１）、隣接カメラ間加重平均色差評価（Ｓ１０１２）、および図１２、１３のマスターカメラ選定（Ｓ２００２）において取得される各カラーパッチに対する重み係数として利用される。重み係数のデフォルト値は１であり、重要色の場合には１より大きい値が入力される。取得された重み係数は、式（８）や式（１７）のi番目のカラーパッチに対する重みw_iとして代入され、隣接カメラ間平均色差６５０やカメラ平均色差７４０の加重平均計算に利用される。

図１４（ｂ）は、重要視線区間に対して重み付け指定を行うユーザインタファイスの一例を示す。先述したように、ユーザは、重要視線区間の情報として、撮影する上で重要な視線が集まる区間（スタジアムのメインスタンド側、コンサートホールのステージ正面側など）のカメラに対して他の区間のカメラより大きい重みを与える。

カメラ表示９０３は、画像処理システム２００の複数のカメラ２１２の配置を、モニタ１０７上に表示する。カメラ表示９０３により、カメラがスタジアムやコンサートホールのどこに配置されているかを俯瞰することができる。

重要視線区間のカメラの重み９０４は、ユーザによって入力された各カメラに対する重み係数を表示する。入力された重み係数は、図６や図１２、１３のマルチカメラ配置決定（Ｓ１００８）において取得される重要視線区間の情報として利用される。重み係数のデフォルト値は１であり、重要視線区間のカメラの場合には１より大きい値が入力される。取得された重み係数は各カメラに対する重み係数なので、２台の隣接カメラの重みに対する線形補間、または重要視線区間の重要度分布に対する曲線補間によって隣接カメラ（２台）間の重み係数を求める必要がある。求められた重み係数は、式（１３）や式（１４）の各隣接カメラ間平均色差に対する重みv_jとして代入され、隣接カメラ間平均色差６５０に対する加重平均計算に利用される。

[効果]
以上説明したように、本実施形態では、特定の色や重要視線区間に対する重み付け指定を行うユーザインタフェイスを備える。そうすることにより、マルチカメラで撮影された各撮影画像の色差を小さくするようなカメラ配置を撮影現場に最適化することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上述の実施形態のすべての構成が、効果を得るために必須の構成とは限らない。例えば、Ｌ台のカメラのうち、Ｍ台のカメラを選択する構成のみであっても、効果が得られうる。例えば、Ｌ台のカメラのうち１台が、他のＬ−１台とは明らかに異なる個体差を持っている場合、当該１台を除外してＭ台のカメラを選択することができる。これのみによっても、マルチカメラによる各撮影画像の色差を小さくすることができる。また、別の例として、Ｌ＝Ｍの場合には、カメラを選択するステップは省略することができる。この場合、Ｌ台（＝Ｍ台）のカメラの位置関係が、各カメラによる撮影画像に基づいて決定される。これによっても、マルチカメラによる各撮影画像の色差を小さくすることができる。

１００ 画像処理装置
１０１ ＣＰＵ
１０２ メインメモリ
１０３ ＳＡＴＡ Ｉ／Ｆ
１０４ ネットワーク Ｉ／Ｆ
１０５ ＨＤＤ
１０６ グラフィックアクセラレータ
１０７ モニタ
１０８ シリアルバス Ｉ／Ｆ
１０９ プリンタ
１１０ シリアルバス
１１１ キーボード
１１２ マウス
１１３ 画像入力デバイス
１１４ システムバス
１１５ ネットワーク

Claims (20)

1. Ｌ台のカメラから、仮想視点コンテンツの生成のためのマルチカメラシステムにおいて用いられるべきＭ（Ｍ＜Ｌ）台のカメラを、前記Ｌ台のカメラによる撮影画像に基づいてマルチカメラとして選定する選定手段と、
   前記選定手段による選定に応じた出力を行う出力手段と
   を有することを特徴とする制御装置。
2. 仮想視点コンテンツの生成のためのマルチカメラシステムにおける複数のカメラの配置を、前記複数のカメラによる撮影画像に基づいて決定する決定手段と、
   前記決定手段による決定に応じた出力を行う出力手段と
   を有することを特徴とする制御装置。
3. 前記選定手段により選定された前記Ｍ台のカメラの相対的な位置関係を表すマルチカメラの組の候補を決定する候補決定手段と、
   前記マルチカメラの組の候補のそれぞれについて、前記Ｍ台のカメラによって撮影された各撮影画像のカメラ間色差を評価する色差評価手段と、
   前記カメラ間色差の評価結果に基づいて、前記マルチカメラの組を決定する組決定手段と
   を有することを特徴とする請求項１に記載の制御装置。
4. 前記色差評価手段は、前記マルチカメラの組の候補における２台のカメラの全ての組み合わせについてカメラ間色差を算出することを特徴とする請求項３に記載の制御装置。
5. 前記色差評価手段は、前記マルチカメラの組の候補において隣接する２台のカメラの組み合わせについてカメラ間色差を算出することを特徴とする請求項３に記載の制御装置。
6. 前記色差評価手段は、特定の色に対する重み係数を使用して、前記カメラ間色差を算出することを特徴とする請求項４または５に記載の制御装置。
7. 前記Ｍ台のカメラにおいて、特定のカメラに対するカメラ間色差に基づいて、前記特定のカメラの近傍に位置するカメラの選定を繰り返すことで、前記Ｍ台のカメラの相対的な位置関係を表すマルチカメラの組を決定する組決定手段と
   を有することを特徴とする請求項１に記載の制御装置。
8. 前記Ｍ台のカメラをＰ（Ｐ＜Ｍ）個のグループに分割し、前記Ｐ個のグループのそれぞれにおける特定のカメラを代表カメラとして選定し、カメラ間色差に基づいて前記Ｐ個のグループのカメラの配置を決定することで、前記Ｍ台のカメラの相対的な位置関係を表すマルチカメラの組を決定する組決定手段と
   を有することを特徴とする請求項１に記載の制御装置。
9. 前記選定手段は、前記Ｌ台のカメラによって撮影された各撮影画像の、基準色に対する色差が小さい順に、前記Ｍ台のカメラを選定することを特徴とする請求項７または８に記載の制御装置。
10. 前記基準色は、カラーチャートを基準とすることを特徴とする請求項９に記載の制御装置。
11. 前記基準色は、マスターカメラを基準とすることを特徴とする請求項９に記載の制御装置。
12. 前記マスターカメラは、前記Ｌ台のカメラによってカラーチャートを撮影した各撮影画像と前記カラーチャートとの色差に基づいて選定されることを特徴とする請求項１１に記載の制御装置。
13. 前記マスターカメラは、前記カラーチャートとの前記色差の平均値に基づいて選定されることを特徴とする請求項１２に記載の制御装置。
14. 前記マスターカメラは、特定の色に対する重み係数を使用して算出された前記色差に基づいて選定されることを特徴とする請求項１２または１３に記載の制御装置。
15. 前記マルチカメラによって撮影される特定区間のカメラ間色差に応じて、前記マルチカメラの組の配置を決定する配置決定手段をさらに備えることを特徴とする請求項１または３乃至１４のいずれか１項に記載の制御装置。
16. 前記特定の色に対する重み係数を指定するための重み指定手段をさらに有することを特徴とする請求項６または１４に記載の制御装置。
17. 前記特定区間のカメラに対する重み係数を指定するための重み指定手段をさらに備えることを特徴とする請求項１５に記載の制御装置。
18. コンピュータを、請求項１乃至１７のいずれか１項に記載の制御装置として機能させるためのプログラム。
19. コンピュータによって実行される制御方法であって、
    Ｌ台のカメラから、仮想視点コンテンツの生成のためのマルチカメラシステムにおいて用いられるべきＭ（Ｍ＜Ｌ）台のカメラを前記Ｌ台のカメラによる撮影画像に基づいてマルチカメラとして選定する選定工程と、
    前記選定工程における選定の結果に応じた出力を行う出力工程と、
    を含むことを特徴とする制御方法。
20. コンピュータによって実行される制御方法であって、
    仮想視点コンテンツの生成のためのマルチカメラシステムにおける複数のカメラの配置を、前記複数のカメラによる撮影画像に基づいて決定する決定工程と、
    前記決定工程による決定に応じた出力を行う出力工程と
    を含むことを特徴とする制御方法。

Images