JP2023084672A - 制御装置およびその制御方法、プログラム - Google Patents

制御装置およびその制御方法、プログラム Download PDF

Info

Publication number
JP2023084672A
JP2023084672A JP2022180932A JP2022180932A JP2023084672A JP 2023084672 A JP2023084672 A JP 2023084672A JP 2022180932 A JP2022180932 A JP 2022180932A JP 2022180932 A JP2022180932 A JP 2022180932A JP 2023084672 A JP2023084672 A JP 2023084672A
Authority
JP
Japan
Prior art keywords
imaging device
imaging
information
correction parameters
correction parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022180932A
Other languages
English (en)
Inventor
梓 岡
Azusa Oka
満 多田
Mitsuru Tada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to US18/061,089 priority Critical patent/US11968444B2/en
Publication of JP2023084672A publication Critical patent/JP2023084672A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】ユーザの煩雑さを軽減しながら適切な補正パラメータを設定する。【解決手段】補正パラメータLUTを、基準撮像装置を示す情報と各撮像装置での撮像条件との組み合わせごとに対応付けたテーブルがデータベースとしてメモリ305に保持される。基準撮像装置情報(第1の情報)と対象撮像装置情報(第2の情報)とが取得され、各撮像装置での撮像条件が取得される。基準撮像装置情報と各撮像装置での撮像条件との組み合わせに合致する補正パラメータLUTがテーブルから設定用補正パラメータとして決定され、補正パラメータの更新が必要な撮像装置に設定用補正パラメータが送信される。【選択図】図6

Description

本発明は、制御装置およびその制御方法、プログラムに関する。
映像制作の現場等では一般に、複数の撮像装置を用いて撮影が行われる。同じ被写体を撮影しても、使用する撮像装置やレンズの型番や個体差、照明環境の色温度などの撮影条件によって、撮像装置から得られる撮像画像内の被写体の色・輝度は異なる。
特許文献1では、使用する複数の撮像装置で色の基準となる基準オブジェクトを撮像し、その撮像画像に基づいて、撮像装置での撮像画像の色・輝度を補正することによって、複数の撮像装置間の色・輝度を合わせる技術が記載されている。また、撮影の現場では、事前に撮像条件ごとに色・輝度補正パラメータを生成し、撮影本番時にその撮影条件に合わせて該当するパラメータを選択して各撮像装置に設定することによって、撮影時間短縮を図ることができる。
特開2020-47082号公報
しかしながら、上記従来手法では、生成した色・輝度補正パラメータを各撮像装置または撮像画像に設定する際、パラメータを手動で選択する必要があるため、煩雑であった。
本発明は、ユーザの煩雑さを軽減しながら適切な補正パラメータを設定することを目的とする。
上記目的を達成するために本発明は、複数の撮像装置での撮像画像間の色差を小さくするように撮像画像を補正するための複数の補正パラメータを、前記複数の撮像装置のうち基準となる1つの基準撮像装置を示す情報と、前記複数の各撮像装置での撮像条件と、の組み合わせごとに対応付けて保持するデータベースと、前記複数の撮像装置のうち今回の基準撮像装置を示す第1の情報と、今回の撮像画像の補正対象となる対象撮像装置を示す第2の情報と、を取得する第1の取得手段と、前記複数の各撮像装置での撮像条件を取得する第2の取得手段と、前記第1の取得手段により取得された前記第1の情報と前記第2の取得手段により取得された前記各撮像装置での撮像条件とに基づいて、前記データベースの中から、前記第2の情報が示す対象撮像装置に対して設定する設定用補正パラメータを決定する決定手段と、前記決定手段により決定された前記設定用補正パラメータを出力する制御手段と、を有することを特徴とする。
本発明によれば、ユーザの煩雑さを軽減しながら適切な補正パラメータを設定することができる。
撮像システムの全体構成を示すブロック図である。 撮像システムの詳細な機能構成例を示すブロック図である。 3D-LUTの一例を示す図である。 データベースの例を示す図である。 カラーチャートの一例を示す図である。 補正パラメータ出力処理を示すフローチャートである。 基準撮像装置および対象撮像装置を選択するためのGUIの一例を示す図である。 撮像システムの詳細な機能構成例を示すブロック図である。 カラーチャート撮像画像の一例を示す図である。 LUTデータベースの一例を示す図である。 補正パラメータ出力処理を示すフローチャートである。 基準撮像装置および対象撮像装置を選択するための選択用画面の一例を示す図である。 撮像条件と補正パラメータの対応関係を示すテーブルである。 撮像条件と補正パラメータの対応関係を示すテーブルである。 補正データベース結合の一例を示す図である。 LUTの使用方法を選択するデータベースの一例を示す図である。
以下、図面を参照して本発明の実施の形態を説明する。
図1は、本発明の第1の実施の形態に係る制御装置が適用される撮像システムの全体構成を示すブロック図である。
この撮像システムは、撮像装置A100、撮像装置B200、制御装置300、表示装置400を有する。レンズA10はマウントA1を介して撮像装置A100に着脱可能に取り付けられる。レンズB20はマウントB2を介して撮像装置B200に着脱可能に取り付けられる。
撮像装置A100は、撮像した撮像画像IMG_Aを、制御装置300へ出力する。撮像装置A100は、制御装置300から受信したパラメータPARAM_Aに基づいて制御される。撮像装置A100と撮像装置B200との間の色・輝度を合わせるために、撮像装置A100内の画像処理部103(図2)に色・輝度補正パラメータが設定される。この色・輝度補正パラメータもパラメータPARAM_Aに属するパラメータの1つである。
また、撮像装置A100は、撮像装置情報INFO_Aを制御装置300に出力する。撮像装置情報INFO_Aは、撮像装置情報および照明光情報を含む。ここでいう撮像装置情報には、撮像装置A100の型番、シリアルナンバ、撮像装置A100に装着されるレンズA10の型番など、撮像装置A100に関連する情報が含まれる。
マウントA1は、撮像装置A100からレンズA10に電源を供給したり、撮像装置A100とレンズA10との間で相互に通信したりするための電気的接点を備える。マウントA1は、撮像装置A100が有する部分とレンズA10が有する部分とに分かれるが、図1では便宜上まとめて記載している。
レンズA10から入った光は撮像装置A100内のイメージセンサ101(図2)で受光され、A/D変換、画像処理が施されて撮像画像IMG_Aとなる。撮像装置A100によってレンズA10のズーム、フォーカスなどが制御される。
撮像装置B200は、撮像した撮像画像IMG_Bを制御装置300へ出力する。撮像装置B200は、制御装置300から受信したパラメータPARAM_Bに基づいて制御される。撮像装置B200と撮像装置A100との間の色・輝度を合わせるために、撮像装置B200内の画像処理部203(図2)に色・輝度補正パラメータが設定される。この色・輝度補正パラメータもパラメータPARAM_Bに属するパラメータの1つである。
また、撮像装置B200は、撮像装置情報INFO_Bを制御装置300に出力する。撮像装置情報INFO_Bは、撮像装置情報および照明光情報を含む。ここでいう撮像装置情報には、撮像装置B200の型番、シリアルナンバ、撮像装置B200に装着されるレンズB20の型番など、撮像装置B200に関する情報が含まれる。
マウントB1は、撮像装置B200からレンズB20に電源を供給したり、撮像装置B200とレンズB20との間で相互に通信したりするための電気的接点を備える。マウントB1は、撮像装置B200が有する部分とレンズB20が有する部分とに分かれるが、図1では便宜上まとめて記載している。
レンズB20から入った光は撮像装置B200内のイメージセンサ201(図2)で受光され、A/D変換、画像処理が施されて撮像画像IMG_Bとなる。撮像装置B200によってレンズB20のズーム、フォーカスなどが制御される。
制御装置300は、受信した撮像画像IMG_Aまたは撮像画像IMG_Bから生成した画像や、ユーザ用のメニューなどを、画像IMG_Cとして表示装置400に出力する。また、制御装置300は、撮像装置A100からの撮像装置情報INFO_Aと撮像装置B200からの撮像装置情報INFO_Bとに基づいて、色・輝度補正パラメータを含むパラメータPARAM_AおよびPARAM_Bを各撮像装置へ出力する。以降、色・輝度補正パラメータを「補正パラメータ」と略記することもある。
表示装置400は、制御装置300から受信した画像IMG_Cを表示する。本撮像システムを使用するユーザは、表示装置400によって各撮像装置の撮像画像を確認することができる。
本実施の形態では撮像装置A100および撮像装置B200の2台の撮像装置間の色・輝度合わせを行う撮像システムを例として説明する。しかし、撮像装置の台数は2台以上であってもよい。また、撮像装置として、レンズ交換型の撮像装置A100、B200を例示するが、レンズ内蔵の撮像装置であってもよい。
図2は、撮像システムの詳細な機能構成例を示すブロック図である。図2を用いて各ブロックの動作について説明する。
レンズA10は、撮像レンズ11、レンズ制御部12、メモリ13を有する。撮像レンズ11は、レンズ制御部12による制御に従い、撮像レンズ11が有するフォーカスレンズ、ズームレンズ、絞りおよび防振レンズなどを移動または動作させるアクチュエータやモータを備える。
レンズ制御部12はマイクロコンピュータ(不図示)を有し、撮像装置制御部108からマウントA1を通じて受信した制御信号に応じて撮像レンズ11を制御する。メモリ13は、レンズ制御部12が用いる各種データの記憶装置として用いられる。
撮像装置A100のイメージセンサ101は、A/D変換部102に接続されている。撮像装置A100において、A/D変換部102、画像処理部103、表示部104、記録媒体105、メモリ106、操作部107、撮像装置制御部108、通信部109、画像出力部110が、バス111に接続されている。
レンズB20は、撮像レンズ21、レンズ制御部22、メモリ23を有する。撮像装置B200において、A/D変換部202、画像処理部203、表示部204、記録媒体205、メモリ206、操作部207、撮像装置制御部208、通信部209、画像出力部210が、バス211に接続されている。レンズB20はレンズA10と同様の構成である。撮像装置B200は撮像装置A100と同様の構成である。従って、代表して撮像装置A100およびレンズA10を詳細に説明し、レンズB20および撮像装置B200内の各構成要素の詳細説明は省略する。
撮像装置A100において、イメージセンサ101は複数の画素を有する光電変換デバイスである。イメージセンサ101は、レンズA10内の撮像レンズ11により形成された被写体像を光電変換して被写体像に対応したアナログ電気信号を出力する。
A/D変換部102は、イメージセンサ101から出力されたアナログ電気信号をデジタル信号に変換する。画像処理部103は、A/D変換部102から出力されたデジタル信号に対して各種の画像処理を適用し、撮像画像IMG_Aを生成する。画像処理部103は、撮像レンズ11の光学特性が画像に与える影響を画像処理によって補正する光学補正処理や、画素補間処理、輝度補正処理、色補正処理など、いわゆる現像処理を行う。
画像処理部103で生成された画像データは、表示部104に表示されたり、メモリカードなどの記録媒体105に記録されたりする。また、生成された画像データは、画像出力部110から撮像画像IMG_Aとして制御装置300の画像入力部303へ出力される。複数撮像装置間の補正パラメータの撮像画像への適用も、この画像処理部103が行う。
また、画像処理部103は、撮像画像を元に照明環境の色温度を推測する機能を有する。メモリ106は、画像処理部103の処理バッファとして機能し、撮像装置制御部108が実行するプログラムを記憶する。また、メモリ106は、画像処理部103が使用する光学補正値が定義された光学補正データや、撮像装置A100が表示部104に表示するメニュー画面などのGUIデータを記憶する。
操作部107は、電源のオン/オフを行うための電源スイッチ、画像の記録を開始させる撮影スイッチおよび、各種メニューの設定を行うための選択/設定スイッチ等、ユーザが撮像装置A100に指示を入力するための入力デバイス群である。
撮像装置制御部108は、マイクロコンピュータ(不図示)を有し、メモリ106に記憶されたプログラムを実行し、画像処理部103の制御やレンズA10との通信制御など、撮像装置A100およびレンズA10の全体の動作制御を行う。
通信部109は、例えばLANやUSBなどを介して他機器との通信を行う機能を有し、制御装置300の通信部304と通信する。通信部109は、撮像装置情報INFO_Aを制御装置300へ送信し、色・輝度補正パラメータを含むパラメータPARAM_Aを制御装置300から受信する。
画像出力部110は、例えばLANやHDMI(登録商標)などを介して他機器へ撮像画像IMG_Aを送信する機能を有し、制御装置300の画像入力部303へ撮像画像IMG_Aを出力する。A/D変換部102、画像処理部103、表示部104、記録媒体105、メモリ106、操作部107、撮像装置制御部108、通信部109、画像出力部110は、バス111を介して信号をやり取りする。
制御装置300は、制御部301、色・輝度補正パラメータ選択部302、画像入力部303、通信部304、メモリ305、操作部306、画像出力部307を有する。制御部301は、マイクロコンピュータ(不図示)を有し、メモリ305に記憶されたプログラムを実行して、色・輝度補正パラメータ選択部302の制御や各撮像装置との通信制御など、制御装置全体の動作制御を行う。
色・輝度補正パラメータ選択部302は、照合部3021、更新要否判定部3022を有する。照合部3021は、撮像装置情報INFO_A、INFO_Bと、複数撮像装置間の色・輝度合わせの基準となる撮像装置を示す「基準撮像装置情報」とに基づいて、各撮像装置に設定する色・輝度補正パラメータを決定する。色・輝度補正パラメータを決定するにあたり、照合部3021は、データベース(図4で後述する)を使用する。このデータベースは、各撮像装置の撮像条件と、その撮像条件において複数撮像装置間の色差・輝度差を小さくするために各撮像装置の撮像画像に設定する色・輝度補正パラメータ(補正パラメータLUT)との対応関係を示すテーブルである。
次に、色・輝度補正パラメータの撮像画像への適用方法を説明する。ここでは一例として3D-LUT(Look Up Table)を用いた色・輝度補正について説明する。
図3は、3D-LUTの一例を示す図である。ここでは色・輝度補正前の画像はRGBのそれぞれに対して8bitの階調を持つものとする。3D-LUTは特定のRGB入力値に対し1対1でRGB出力値を紐づけたテーブルである。図3に示すRin、Gin、Binはそれぞれ、色・輝度補正前のR、G、Bの階調値を示し、Rout、Gout、Boutはそれぞれ、色・輝度補正後のR、G、Bの階調値を示す。
この3D-LUTは、RGBそれぞれ256階調(0~255)且つ1ステップずつ入力階調が変化するテーブルであるため、R256×G256×B256で約1677万の組合せからなるテーブルとなる。例えば色・輝度補正前の画像のある画素のRGB値が(Rin、Gin、Bin)=(0、255、255)であった場合、図3の3D-LUTから、(Rout、Gout、Bout)=(13、245、252)となる。画像処理部103は、色・輝度補正前の画像を構成する各画素のRGB値に対し、3D-LUTを適用することによって色・輝度を補正した画像を取得することができる。
図3で示した3D-LUTは、RGBそれぞれ256階調且つ1ステップである。しかし、LUTサイズを節約するために、例えば16ステップずつでR16×G16×B16で4096の組み合せからなる3D-LUTを使用してもよい。その際、公知の三角錐補間等を使用することによって、3D-LUTで定義されているRGB値の組み合せ以外の入力階調も変換することができる。また、本実施の形態では3D-LUTを色・輝度補正方法の一例として挙げたが、この限りではなく、例えば公知技術の1D-LUTやカラーマトリックスを採用してもよく、幾つかの手法を組み合せて採用してもよい。
図4は、データベースの例を示す図である。データベースは、メモリ305に格納・保持されており、照合部3021によって参照される。データベースは、補正パラメータLUTを、基準撮像装置情報と、複数の各撮像装置での撮像条件と、の組み合わせごとに対応付けている。補正パラメータLUTは、複数の撮像装置での撮像画像間の色差を小さくするように撮像画像を補正するための情報である。複数の撮像装置での撮像画像間の色差を小さくする、というのは、例えば同一の被写体を同一の撮像条件で撮像した場合に、各撮像装置で撮像された画像間において、当該同一の被写体を示す色の差が小さくなる、という意味である。
データベースには、基準撮像装置情報および撮像条件が含まれる。基準撮像装置は、複数の撮像装置のうち色・輝度合わせの基準となる1つの撮像装置であり、基準撮像装置を示す情報が基準撮像装置情報である。本実施の形態では、補正パラメータLUTごとに、撮像装置A100または撮像装置B200が基準撮像装置情報となる。補正パラメータLUTとしてLUT1~LUT5が登録されている。撮像条件には、各撮像装置の本体情報、各撮像装置のレンズ情報、各撮像装置における照明環境の色温度情報が含まれる。なお、撮像条件には、このほか、NDフィルタの有無を示す情報が含まれてもよい。
本体情報は、例えば各撮像装置の型番及びシリアルナンバであり、レンズ情報は各レンズの型番及びシリアルナンバである。例えば、LUT1には、基準撮像装置情報として撮像装置A100が対応付けられている。また、LUT1には、撮像条件として、撮像装置A100の型番:CAM-1およびシリアルナンバ:CAMCL-11、レンズA10の型番:L-1およびシリアルナンバ:LCL-11、並びに撮像装置A100の照明環境の色温度6000Kが対応付けられている。また、LUT1には、撮像条件として、撮像装置B200の型番:CAM-1およびシリアルナンバ:CAMCL-12、レンズB20の型番:L-1およびシリアルナンバ:LCL-12、並びに撮像装置B200の照明環境の色温度6000Kが対応付けられている。
図4に示す補正パラメータLUTの生成方法には、カラーチャートを用いた一般的な方法がある。図5は、カラーチャート500の一例を示す図である。
カラーチャート500には、色の異なる複数の測定用画像であるパッチ501~512が配置されている。図5に示すパッチ501~512のパターンの違いが色の違いを示している。制御部301は、このカラーチャート500を各撮像装置で撮像して得た複数のカラーチャート撮像画像と基準撮像装置情報とに基づいて、補正パラメータLUTを生成する。例えば、基準撮像装置が撮像装置A100であった場合、基準撮像装置以外(非基準撮像装置)、つまり本実施の形態では撮像装置B200に色・輝度補正パラメータが設定される。撮像装置B200で撮像されたカラーチャート撮像画像内のパッチ501~512の色・輝度が、撮像装置A100で撮像されたカラーチャート撮像画像内のパッチ501~512の色・輝度と近くなるように、補正パラメータLUTが生成される。
本実施の形態では、使用する撮像装置は2台であるが3台以上でもよい。使用する撮像装置の数がN台の場合、非基準撮像装置の台数は(N-1)台となり、撮影条件が同じであれば、(N-1)個の色・輝度補正パラメータLUTが生成される。
カラーチャート500の形状やパッチの数は図5に例示したものに限定されず、パッチの数を増やすことによって各撮像装置の色情報をより精細に取得できる。色・輝度補正パラメータLUTは、図4に示した撮像条件および基準撮像装置ごとに生成する必要がある。例えば、LUT1に対して、LUT2では撮像装置B200に装着されたレンズB20が異なり、LUT3では照明環境の色温度が異なり、LUT4では撮像装置B200が異なり、LUT5では基準撮像装置情報が異なる。各撮像条件下で生成された補正パラメータLUT1~LUT5はメモリ305に保持される。補正パラメータLUTの生成は制御装置300内の制御部301が行うが、色・輝度補正パラメータ選択部302のように独立した不図示の処理ブロックが行ってもよい。以上の撮像条件下で生成された色・輝度補正パラメータLUT1~5に、基準撮像装置情報と各撮像装置の撮像条件とを紐づけてデータベースとして管理される。
図2に示す照合部3021は、取得した各撮像装置の撮像条件と基準撮像装置情報とを上記データベースと照合し、各撮像装置に送信する補正パラメータLUTを決定する。更新要否判定部3022は、照合部3021により得られた補正パラメータLUTと、現在、各撮像装置の撮像画像に適用されている補正パラメータLUTの両者を比較する。それにより更新要否判定部3022は、各撮像装置の撮像画像に適用されている補正パラメータLUTの更新の要否を判定する。なお、制御部301が補正パラメータLUTを決定し、補正パラメータLUTの両者を比較してもよい。その比較の結果、両者が一致した場合は更新の必要が無いので更新不要と判定される。一方、両者が一致しない場合は更新が必要であるので更新必要と判定される。なお、その際、両補正パラメータは完全一致である必要はなく、例えば両補正パラメータの差分が許容閾値範囲(所定の許容範囲)内であれば両補正パラメータが一致していると判定し、差分が許容閾値範囲を超えた場合は両者が一致しないと判定してもよい。
画像入力部303は、例えばLANやHDMIなどの画像入力インターフェースを有する。画像入力部303は、撮像装置A100の画像出力部110から撮像画像IMG_Aを取得し、撮像装置B200の画像出力部210から撮像画像IMG_Bを取得する。
通信部304は、例えばLANやUSBなどを介して、他機器との通信を行う機能を有し、撮像装置A100の通信部109および撮像装置B200の通信部209と通信する。例えば、色・輝度補正の基準撮像装置が撮像装置A100であった場合、照合部3021によって決定された色・輝度補正パラメータLUTは撮像装置B200へPARAM_Bとして送信される。
メモリ305は、各種処理バッファとして機能し、制御部301が実行するプログラム、図4に示すような色・輝度補正パラメータのデータベースなどを記憶する。また、メモリ305は、制御装置300が画像出力部307を介して表示装置400に表示するメニュー画面などのGUIデータも記憶する。
操作部306は、電源のオン/オフを行うための電源スイッチ、色・輝度補正パラメータの各撮像装置への適用および更新を開始させるスイッチ等、ユーザが制御部301への指示を入力するための入力デバイス群である。画像出力部307は、例えばSDIやHDMIなどを介して、他機器へ画像IMG_Cを送信する機能を有し、例えば、表示装置400へ画像IMG_Cを出力する。
次に、基準撮像装置情報と各撮像装置の撮像条件とから色・輝度補正パラメータを自動で選択し、必要に応じて出力する処理を説明する。以下、撮像画像の補正対象となる撮像装置を「対象撮像装置」と称する。複数の色・輝度補正パラメータのうち、対象撮像装置に送信するものとして決定される色・輝度補正パラメータを、「設定用補正パラメータ」と称する。
図6は、補正パラメータ出力処理を示すフローチャートである。この処理は、メモリ305に格納されたプログラムを、制御部301が備えるCPUが、制御部301が備えるRAMに展開して実行することにより実現される。この処理は、ユーザから操作部306にて色・輝度補正パラメータの設定または更新の指示を受けると開始される。この処理において、制御部301は、第1の取得手段、第2の取得手段、決定手段、制御手段としての役割を果たす。
ステップS601では、制御部301は、制御装置300に接続されている撮像装置を検出する。本実施の形態では、通信部304、109、209を介して、撮像装置A100および撮像装置B200が接続されている。ここでいう接続とは、USBやLANなどによる有線接続、Wi-Fiなどの無線接続のどちらでもよく、相互の装置が通信して情報をやり取りできる状態であれば相互に接続関係にあると判定される。本実施の形態では、接続されている撮像装置として、撮像装置A100および撮像装置B200が検出される。検出された撮像装置を示す情報はメモリ305に格納される。
ステップS602では、制御部301は、通信部304に接続された各撮像装置から撮像条件を取得する。ここでは撮像装置A100から撮像条件を取得する手順を示すが、撮像装置B200から撮像条件を取得する手順もこれと同様である。
まず、制御部301の指示に従って、通信部304はステップS601での検出結果に基づき撮像装置A100の通信部109に対して撮像条件を含む撮像装置情報INFO_Aを出力するよう指示を送信する。指示を受けた撮像装置A100では、撮像装置制御部108は、メモリ106から撮像装置A100の型番およびシリアルナンバを取得する。さらに、撮像装置制御部108はレンズ制御部12に指示を出し、レンズA10のメモリ13からレンズA10の型番およびシリアルナンバを取得する。さらに撮像装置制御部108は、撮像装置A100の照明環境の色温度を画像処理部103から取得する。撮像装置制御部108は、取得した撮像装置A100の型番およびシリアルナンバ、レンズA10の型番およびシリアルナンバ、並びに照明環境の色温度を、撮像装置情報INFO_Aとして通信部109から制御装置300へ送信する。
これと同様にして、制御部301は、撮像装置B200の撮像条件を含む撮像装置情報INFO_Bも取得する。以上の手順によって制御装置300は各撮像装置の撮像条件を取得することができる。なお、取得した各撮像装置の撮像条件は制御装置300のメモリ305に格納される。
ステップS603では、制御部301は、今回の基準撮像装置に関する基準撮像装置情報(第1の情報)と、今回の撮像画像の補正対象となる対象撮像装置に関する対象撮像装置情報(第2の情報)と、を取得する。基準撮像装置と対象撮像装置は、ステップS601で検出された撮像装置から選択される。
図7は、基準撮像装置および対象撮像装置を選択するためのGUIの一例を示す図である。まず、制御部301は、ユーザに撮像装置を選択させるためのGUI用の情報をメモリ305から呼び出し、画像出力部307はこれを画像IMG_Cとして表示装置400へ出力する。これにより図7に示すGUIが表示される。図7の例では、制御装置300に接続されている各撮像装置がリスト表示される。撮像装置A100はリストの1行目(シリアルナンバ:CAMCL-11)、撮像装置B200はリストの2行目(シリアルナンバ:CAMCL-12)に表示されている。
なお、図7では各撮像装置の型番とシリアルナンバを表示しているが、レンズや照明環境情報も併せて表示してよい。制御装置300に接続された撮像装置がN台であれば、N行の表としてリスト表示される。
ユーザは、図7のGUIを見ながら操作部306を使用して、色・輝度補正対象の撮像装置(対象撮像装置)のチェックボックスと、色・輝度基準の撮像装置(基準撮像装置)のチェックボックスとにチェックを入れる。図7の例では、対象撮像装置に関しては2つの撮像装置のチェックボックスにチェックが入り、基準撮像装置に関しては、1つの基準撮像装置のチェックボックスにチェックが入っている。チェックが入っていない状態は白い四角形で表される。
図7では、1行目の撮像装置A100が対象撮像装置且つ基準撮像装置、2行目の撮像装置B200が対象撮像装置としてユーザにより選択されている状態を示す。ユーザは、撮像装置の選択が完了したらGUI右下の「次へ」ボタンを押下することで選択完了を制御装置300に知らせることができる。このように、制御部301は、複数の撮像装置を示す情報を表示させた画面上で基準撮像装置および対象撮像装置をユーザに指定させることで、対象撮像装置情報と基準撮像装置情報とを取得することができる。取得したこれらの情報は、制御装置300のメモリ305に格納される。
ステップS604では、制御部301は、ステップS602で取得された撮像条件とステップS603で取得された基準撮像装置情報との組み合わせが図4のデータベースに存在するか否かを判別する。この処理の例を説明する。
本実施の形態では撮像装置は2台であるため、図4に示すような2台の撮像装置に関するデータベースが使用される。なお、撮像装置を3台以上使用する場合はその台数に対応するデータベースを生成しておく必要がある。
ステップS602で取得された撮像条件は以下であるとする。まず、撮像装置A100の型番がCAM-1、シリアルナンバがCAMCL-11であり、レンズA10の型番がL-1、シリアルナンバがLCL-11であるとする。また、撮像装置B200の型番がCAM-1、シリアルナンバがCAMCL-12、レンズB20の型番がL-1、シリアルナンバがLCL-12であるとする。また、撮像装置A100と撮像装置B200の照明環境の色温度が共に6000Kであるとする。
ステップS603で取得された基準撮像装置情報が撮像装置A100を示していた場合において、照合部3021が、ステップS602で取得された撮像条件を満たすものをデータベースと照合すると、補正パラメータLUT1が照合結果として出力される。従って、上記組み合わせに合致する補正パラメータLUTとして補正パラメータLUT1が特定される。このとき、照合部3021は「合致」の照合結果をメモリ305に保存すると共に、当該照合結果を制御部301に返す。制御部301は「合致」の信号に基づいて、上記組み合わせがデータベースに存在すると判別し、ステップS605以下の処理を実行する。
ステップS605では、制御部301は、設定用補正パラメータを決定する。すなわち制御部301は、照合部3021が、データベースから上記組み合わせに合致するものとして特定した補正パラメータLUTを、設定用補正パラメータとして決定する。
一方、ステップS602、S603で取得した撮像条件と基準撮像装置情報との組み合わせに合致する補正パラメータがデータベースに存在しない場合は、照合部3021は制御部301に「非合致」の照合結果を返す。制御部301は「非合致」の信号に基づいて、上記組み合わせがデータベースに存在しないと判別し、ステップS610の処理を実行する。
ステップS610では、制御部301は、エラーを報知し、図6に示す処理を終了する。例えば制御部301は、メモリ305へアクセスしてエラー報知用の画像等を呼び出し、画像出力部307を介してこれを表示装置400へ出力する。なお、その際、制御部301は、上記組み合わせに対応する補正パラメータの生成をユーザに促す報知を、表示装置400への表示等によって実施してもよい。
ステップS606では、制御部301は、前回に各対象撮像装置に設定した補正パラメータLUT_N-1と今回決定された補正パラメータLUT_N(設定用補正パラメータ)の両者を比較する。そして制御部301は、補正パラメータに変更があるか、すなわち、上記両者が合致しないか否かを判別する。なお、基準撮像装置が撮像装置A100である場合、今回決定された補正パラメータLUT_Nには、パラメータPARAM_Bが対応する。
更新要否判定部3022は、上記両者を比較した結果、両者が一致すると判定した場合、対象撮像装置の補正パラメータを更新しないことを示す信号を制御部301に送信する。すると制御部301は、補正パラメータに変更がないと判別し、ステップS609に進む。一方、更新要否判定部3022は、両者が一致しないと判定した場合、対象撮像装置の補正パラメータを更新することを示す信号を制御部301に送信する。すると制御部301は、補正パラメータに変更があると判別し、ステップS607に進む。
なお、上述したように、更新要否判定部3022は、両者の差分が許容閾値範囲(所定の許容範囲)内であれば一致していると判定し、両者の差分が許容閾値範囲を超えた場合は両者が一致しないと判定してもよい。
なお、図6の処理が初回であった場合のように、前回に各対象撮像装置に設定した補正パラメータLUTがメモリ305に存在しない場合は、更新要否判定部3022は、上記両者が一致しない場合と同様に処理してもよい。
ステップS607では、制御部301は、上記両者が一致しない対象撮像装置が補正パラメータの更新を必要とすると決定する。なお、対象撮像装置が2台以上存在する場合は、対象撮像装置ごとに補正パラメータの更新の要否が判定される。この場合、補正パラメータが不一致であった対象撮像装置のみが、補正パラメータの更新が必要な撮像装置と判定されるので、パラメータ更新負荷を抑制することができる。
あるいは、前回に設定した補正パラメータと今回決定された補正パラメータの両者が一致しない対象撮像装置が1台でも存在する場合は、全ての対象撮像装置が更新を必要とすると判定してもよい。
なお、更新要否の判定方法は上記手法に限定されない。例えば制御部301は、メモリ305に格納されている基準撮像装置の撮像条件と、今回決定された補正パラメータに対応する基準撮像装置の撮像条件とが一致しない場合は、全ての対象撮像装置が更新を必要とすると決定してもよい。あるいは、対象撮像装置の撮像条件と今回決定された補正パラメータに対応する対象撮像装置の撮像条件とが一致しない場合は、撮像条件が一致しない対象撮像装置を、更新が必要な撮像装置と決定してもよい。
ステップS608では、制御部301は、補正パラメータの更新が必要と判定した対象撮像装置に対し通信部304により設定用補正パラメータを送信(出力)し、図6に示す処理を終了する。このように、制御部301は、更新が必要と判定した対象撮像装置には設定用補正パラメータを送信し、更新が必要と判定しない対象撮像装置には設定用補正パラメータを送信しない。言い換えると、制御部301は、補正パラメータの更新が必要と判定されたことを条件に設定用補正パラメータを出力する。
例えば、撮像装置B200の補正パラメータのみを更新する場合、パラメータPARAM_Bを、制御装置300の通信部304から撮像装置B200の通信部209へ送信する。すると、パラメータPARAM_Bを受け取った撮像装置B200は、画像処理部203で、色・輝度補正前の画像に、受信した補正パラメータを適用する処理を行う。この工程を経て、各撮像装置に撮像条件等に合致した色・輝度補正パラメータを自動で設定することができる。
ステップS609では、制御部301は、補正パラメータの更新が必要な撮像装置は存在しないと決定し、図6に示す処理を終了する。
図6に示す処理によれば、撮像条件および基準撮像装置情報に基づいて対象撮像装置に設定する色・輝度補正パラメータを自動で選択することにより、手動で選択したことによるパラメータの選択ミスを抑制することができる。
なお、更新の要否の判定結果を画面表示等によってユーザに報知してもよい。例えば、ステップS607では、制御部301は、補正パラメータの更新が必要な撮像装置を報知する。また、ステップS609では、制御部301は、補正パラメータの更新が必要な撮像装置が存在しない旨を報知する。ユーザに判定結果を示すことにより、撮像装置が多数ある場合でも、補正パラメータの更新結果の確認を効率よく行うことができる。
本実施の形態によれば、補正パラメータLUTを、基準撮像装置を示す情報と各撮像装置での撮像条件との組み合わせごとに対応付けたテーブルがデータベースとしてメモリ305に保持される(図4)。基準撮像装置情報(第1の情報)と対象撮像装置情報(第2の情報)とが取得され、各撮像装置での撮像条件が取得される(S602、S603)。基準撮像装置情報と各撮像装置での撮像条件との組み合わせに合致する補正パラメータLUTがデータベースから設定用補正パラメータとして決定される(S605)。前回に設定した補正パラメータLUTと設定用補正パラメータの両者が一致しない対象撮像装置が、補正パラメータの更新が必要な撮像装置と決定される(S607)。補正パラメータの更新が必要な撮像装置に設定用補正パラメータが送信される(S608)。
従って、補正パラメータを各撮像装置に設定する際、補正パラメータを手動で選択し、設定する必要がない。よって、ユーザの煩雑さを軽減しながら適切な補正パラメータを設定することができる。また、適切な補正パラメータを設定する際の人的ミスを抑制することができる。
次に、第2の実施の形態について説明する。第1の実施の形態では、各撮像装置の撮像条件と基準撮像装置情報とから、各撮像装置に設定する補正パラメータが自動選択された。これに対し、本発明の第2の実施の形態では、各撮像装置で撮像したカラーチャート撮像画像と基準撮像装置情報とから補正パラメータが決定される。
図8は、本実施の形態における撮像システムの詳細な機能構成例を示すブロック図である。この撮像システムでは、第1の実施の形態に対し、色・輝度補正パラメータ選択部302を色・輝度補正パラメータ選択部802に置き換えた点が異なり、その他の構成は同様である。
本実施の形態では、カラーチャート500(図5)を使用する。図9で後述するように、制御装置300は、カラーチャート500を各撮像装置で撮像した画像から得られた抽出画像に基づいて、適した色・輝度補正パラメータをデータベースから自動選択する。色・輝度補正パラメータ選択部802はチャート領域抽出部8021、照合部8022、更新要否判定部8023を有する。
図9は、カラーチャート撮像画像の一例を示す図である。図9で、カラーチャート撮像画像901からチャート抽出画像903(第2のチャート画像)を生成する方法を説明する。
カラーチャート500を撮像した画像がカラーチャート撮像画像901である。カラーチャート撮像画像901には、カラーチャート500に対応するチャート画像領域902が含まれる。チャート画像領域902は傾いていることがある。チャート画像領域902に対して射影変換による回転・歪補正を施したものがチャート抽出画像903である。チャート抽出画像903では傾きが補正されている。
カラーチャート撮像画像901の左上隅を原点(0,0)とし、水平方向をx軸、垂直方向をy軸とした2次元座標を考える。カラーチャート500に対応しているチャート画像領域902の左上隅の座標を(x00、y00)、右上隅の座標を(x01、y01)、左下隅の座標を(x10、y10)、右下隅の座標を(x11、y11)とする。各座標値は撮像画像内の画素値である。チャート領域抽出部8021は、この4隅で囲まれたチャート画像領域902をカラーチャート撮像画像901から切り出す。
次に、チャート画像領域902を、左上隅が原点と一致し、回転が無く、歪みの無い画像へ変換するために2次元射影変換を用いる。射影変換前の座標を(x、y)、変換後の座標を(m、n)とすると、射影変換式は式1、2で表される。
Figure 2023084672000002
式1、2に含まれる係数a0、a1、a2、b0、b1、b2の計算方法を説明する。射影変換で生成されるチャート抽出画像903の内、左上隅の座標を(m00、n00)とすると、(m00、n00)は、式1、式2の(x、y)に変換前のチャート画像領域902の左上隅に対応する(x00、y00)を代入することで求められる。同様に、変換後のチャート抽出画像903の右上隅の座標を(m01、n01)、左下隅の座標を(m10、n10)、右下隅の座標を(m11、n11)とする。これらの各座標は、式1、式2の(x、y)に、それぞれ対応する(x、y)座標値である(x01、y01)、(x10、y10)、(x11、y11)を代入することで求められる。
ここで、射影変換で生成されるチャート抽出画像903は、(m00、n00)を原点とするFHD解像度(1920×1080画素)であるとする。従って、射影変換後の各頂点の座標は(m00、n00)=(0,0)、(m01、n01)=(1920、0)、(m10、n10)=(0、1080)、(m11、n11)=(1920、1080)となる。以上の工程を経て生成した各隅に対応する6つの式(原点を除く)を連立して解くことによって、係数a0、a1、a2、b0、b1、b2を求めることができる。この計算によって求まらなかった画素(m、n)に関しては周りの画素値から補間して求めてもよい。
このようにして、チャート領域抽出部8021は、カラーチャート撮像画像901に基づいてチャート抽出画像903を生成する。チャート領域抽出部8021は生成したチャート抽出画像903をメモリ305に格納する。
照合部8022は、メモリ305に格納された各撮像装置に対応するチャート抽出画像903を、データベース(図10)と照合し、各撮像装置に設定する色・輝度補正パラメータを決定する。
図10は、LUTデータベースの一例を示す図である。このLUTデータベースは、補正パラメータLUTを、基準撮像装置情報と、各撮像装置でカラーチャート500を撮像して得られたチャート抽出画像903(第2のチャート画像)と、の組み合わせごとに対応付ける。このLUTデータベースは、メモリ305に格納・保持されており、照合部8022によって参照される。
図10に示す例においては、各撮像装置における異なる照明環境の色温度で得られたチャート抽出画像903ごとに補正パラメータLUTが対応付けられている。LUT1とLUT2とは、照明環境の色温度が異なり他の撮像条件の変更がない場合の補正パラメータである。LUT3はLUT1と同じ撮像条件で基準撮像装置情報を撮像装置B200としたものである。LUT4はLUT2と同じ撮像条件で基準撮像装置情報を撮像装置B200としたものである。
照合部8022は、メモリ305に格納された、撮像装置A100での撮像画像から生成したチャート抽出画像903と図10の撮像装置A100に対応するチャート抽出画像群(第1のチャート画像;抽出画像1101~1104)とを比較する。そして照合部8022は、最も色差・輝度差の小さいチャート抽出画像をデータベースから検出する。
同様に、照合部8022は、撮像装置B200での撮像画像から生成したチャート抽出画像を図10の撮像装置B200に対応するチャート抽出画像1101~1104と比較する。そして照合部8022は、最も色差・輝度差の小さいチャート抽出画像をデータベースから検出する。照合部8022または制御部301は、これらの検出結果と基準撮像装置情報とに基づいて色・輝度補正パラメータLUTを決定する。更新要否判定部8023の構成は更新要否判定部3022(図2)と同じである。
図11は、補正パラメータ出力処理を示すフローチャートである。この処理は、メモリ305に格納されたプログラムを、制御部301が備えるCPUが、制御部301が備えるRAMに展開して実行することにより実現される。この処理は、ユーザから操作部306にて色・輝度補正パラメータの設定または更新の指示を受けると開始される。この処理において、制御部301は、第1の取得手段、第3の取得手段、決定手段、制御手段としての役割を果たす。
ステップS1101では、制御部301は、ステップS601(図6)と同様の処理を実行する。ステップS1102では、制御部301は、検出した撮像装置のうち、今回の基準撮像装置を示す基準撮像装置情報(第1の情報)と、今回の撮像画像の補正対象となる対象撮像装置を示す対象撮像装置情報(第2の情報)と、を取得する。
図12は、基準撮像装置および対象撮像装置を選択するための選択用画面の一例を示す図である。まず、制御部301は、メモリ305に格納された選択用画像を読み出し、これを画像出力部307が表示装置400へ出力する。これにより図12に示す選択用画面が表示される。図12の例では、検出された4台の撮像装置に設定されたIPアドレスがリスト表示される。
ユーザは、操作部306を用いて、所望する撮像装置のIPアドレスのチェックボックスにチェックを入れることによって、対象撮像装置と基準撮像装置とを指定する。図12に示す状態では、IPアドレスの末尾が1または2の撮像装置が対象撮像装置であり、IPアドレスの末尾が1の撮像装置が基準撮像装置に指定されている。このようにして、制御部301は、対象撮像装置情報と基準撮像装置情報とを取得することができる。取得したこれらの情報は、制御装置300のメモリ305に格納される。
以下では、IPアドレスの末尾1の撮像装置が撮像装置A100、末尾2の撮像装置が撮像装置B200であり、末尾3または4の撮像装置は他の撮像装置(不図示)であるという前提で説明する。
なお、各撮像装置の識別情報としてIPアドレスを用いたが、対象撮像装置情報と基準撮像装置情報との取得手法は、第1の実施の形態(図7)と同じであってもよい。例えば、撮像条件を各撮像装置の識別情報として用いてもよい。
ステップS1103では、制御部301は、通信部304を介して、各対象撮像装置に対し、カラーチャート500の撮像処理を行うよう指示信号を送信する。具体的には、制御部301は、撮像装置A100へは、指示信号を含むパラメータPARAM_Aを送信し、撮像装置B200へは、指示信号を含むパラメータPARAM_Bを送信する。その際、ユーザは、カラーチャート500を各撮像装置が撮像できるよう事前にカラーチャート500を設置する。
PARAM_Aを受信した撮像装置A100の通信部109は、撮像装置制御部108に指示信号を伝達する。撮像装置制御部108は指示を受け取って各ブロックを制御しカラーチャート500を撮像する。カラーチャート500の撮像画像はメモリ106に格納される。撮像装置B200も同様にしてカラーチャート500を撮像する。
ステップS1104では、制御部301の指示により、通信部304は各対象撮像装置から撮像画像(カラーチャート撮像画像901)を取得する。各撮像装置は各メモリに格納された撮像画像を各画像出力部から出力し、制御装置300の通信部304へ送信する。撮像装置A100の撮像画像はIMG_Aとして受信され、撮像装置B200の撮像画像はIMG_Bとして受信されて、それぞれメモリ305に格納される。
ステップS1105では、上述した方法により、制御部301の指示により、チャート領域抽出部8021は、各撮像装置のカラーチャート撮像画像901からチャート画像領域902を切り出し、さらに、回転・歪補正を施したチャート抽出画像903を生成する。生成されたチャート抽出画像903はメモリ305に格納される。
ステップS1106では、制御部301は、ステップS1105で取得した各チャート抽出画像903とステップS1102で取得した基準撮像装置情報との組み合わせが図10のLUTデータベースに存在するか否かを判別する。そして、制御部301は、上記組み合わせがLUTデータベースに存在すると判別した場合はステップS1107に進み、上記組み合わせがLUTデータベースに存在しないと判別した場合はステップS1112に進む。
ステップS1107では、制御部301は、設定用補正パラメータを決定する。すなわち制御部301は、上記組み合わせと一致するものとして特定した補正パラメータLUTを、設定用補正パラメータとして決定する。例えば、基準撮像装置情報が撮像装置A100であり、対象撮像装置が撮像装置B200である場合に、撮像装置B200での撮像により得られたチャート抽出画像903が抽出画像1101と一致したとする。すると、制御部301は、補正パラメータLUT3を設定用補正パラメータとして決定する。
ステップS1107~S1112の処理は、図6のステップS605~S610の処理と同様である。
本実施の形態によれば、補正パラメータLUTを、基準撮像装置情報とチャート抽出画像903(第2のチャート画像)との組み合わせごとに対応付けたLUTデータベースがメモリ305に保持される(図10)。基準撮像装置情報とチャート抽出画像903との組み合わせに合致する補正パラメータLUTがLUTデータベースから設定用補正パラメータとして決定される(S1107)。前回に設定した補正パラメータLUTと設定用補正パラメータの両者が一致しない対象撮像装置が、補正パラメータの更新が必要な撮像装置と決定される(S1109)。補正パラメータの更新が必要な撮像装置に設定用補正パラメータが送信される(S1110)。
従って、補正パラメータを各撮像装置に設定する際、補正パラメータを手動で選択し、設定する必要がない。よって、ユーザの煩雑さを軽減しながら適切な補正パラメータを設定することに関し、第1の実施の形態と同様の効果を奏することができる。
なお、本実施の形態において、チャート画像領域902の傾きが無視できる場合や、他の方法により解消される場合は、射影変換を施すことは必須でない。従って、ステップS1106で、基準撮像装置情報との組み合わせに用いる画像は、カラーチャート撮像画像901またはチャート画像領域902であってもよい。
例えば、実施の形態を以下のように変形してもよい。
図6及び図11のステップS606~S608およびステップS1108~S1110において、更新が必要と判定した対象撮像装置が1つでも存在する場合は、全ての対象撮像装置に設定用補正パラメータを送信するようにしてもよい。
なお、上記各実施の形態では、各撮像装置に色・輝度補正パラメータを適用したが、この限りではない。例えば、制御装置300の内部で、各撮像装置から取得した撮像画像に補正パラメータを適用してもよい。補正パラメータの各撮像画像への適用は、制御部301が実行してもよいし、専用に設けた画像処理部が実行してもよい。制御装置300で補正パラメータを各撮像画像に適用することによって、補正パラメータの適用機能を持たない撮像装置に対しても色・輝度補正を行うことができるようになる。あるいは、制御装置300は表示装置400へ各撮像装置の色・輝度補正パラメータを送信し、表示装置400の内部で、表示される画像に対して色・輝度補正パラメータを適用してもよい。
なお、制御部301は、設定用補正パラメータが設定された後に対象撮像装置で撮像された画像に、設定用補正パラメータを示す情報を付加してもよい。例えば、制御部301は、各撮像装置が補正パラメータを適用した撮像画像を記録媒体に保存する際、適用した補正パラメータの内容を示す情報を、例えばメタデータとして撮像画像に付加してもよい。
図4、図10に示したデータベースでは、基準撮像装置情報が補正パラメータ名と紐づいているので、メタデータとして補正パラメータ名を撮像画像に付与してもよい。例えば、色・輝度補正後の撮像画像に、「LUT1」という補正パラメータ名がメタデータとして付与される。なお、付加される情報はメタデータに限らない。
なお、メモリ305は、データベース(図4、図10)の組を、例えば、撮影シーンごとに複数保持し、制御部301は、設定用補正パラメータを決定する際に、ユーザからの指定に基づいて、データベースの組を選択的に用いてもよい。例えば、データベースを撮影シーンごとに保持する場合、スタジオ撮影(屋内)用とロケーション撮影(屋外)用の2パターンのデータベースを用意し保持しておく。そして、設定用補正パラメータを決定する際に、ユーザにより選択された方のデータベースを参照してもよい。なお、複数組保持されるデータベースは、撮影シーンごとでなくてもよい。
また、制御部301は、撮影シーンをユーザが選んだ際に、推奨の撮像条件を表示装置400によりユーザに提示してもよい。この推奨の撮像条件は、例えばある撮影シーンを選んだ際によく使用される撮像条件として予めメモリ305に格納されたものでもよい。
なお、補正パラメータ出力処理(図6、図11)の開始タイミングは、ユーザから補正パラメータの設定または更新の指示を受けたタイミングに限定されない。例えば、制御装置300は、所定のタイミングで(例えば、定期的に)各撮像装置の撮像条件を取得し、いずれかの撮像装置において、前回から撮像条件が変化したことに応じて、設定用補正パラメータの決定処理を開始してもよい。
すなわち制御部301は、撮像条件が変化したときに、ステップS603以降、S1102以降に相当する処理を実行してもよい。あるいは制御部301は、各撮像装置の撮像条件が変化した際に、補正パラメータ出力処理(図6、図11)の実行をユーザに促すメッセージを表示装置400に表示してもよい。このように、常に各撮像装置の撮像条件の変化を監視することによって、色・輝度補正パラメータの適切な更新タイミングをユーザに提示することができる。
なお、更新要否判定部3022、8023の処理を実施せず、毎回すべての撮像装置の色・輝度補正パラメータを更新してもよい。
次に、第3の実施の形態について説明する。上記の第1、第2の実施の形態では、制御装置300が複数の撮像装置間の色差を補正するシステムを例に説明したが、システム構成は必ずしもこの形態に限定されない。例えば、第3の実施の形態では撮像装置A100が、制御装置300の役割を兼ねる。この場合、撮像装置A100のメモリ106に図4などのデータベースが保持される。そして撮像装置A100が自機の情報を基準撮像装置情報として取得し、撮像装置B200の情報を対象撮像装置情報として取得し、撮像装置A100がデータベースを参照して補正パラメータを決定する。撮像装置A100に代えて撮像装置B200が制御装置300の役割を兼ねてもよい。
次に、第4の実施の形態について説明する。上記第1の実施の形態では、基準撮像装置情報と各撮像装置の撮像条件として、各撮像装置及び各レンズの型番とシリアルナンバ、各撮像装置の照明環境の色温度とから、各撮像装置に設定する補正パラメータが自動選択された。
この実施の形態を用いて各撮像装置の設定する補正パラメータが自動選択できるようになると、様々な撮影環境に合わせた補正パラメータを数多く準備しておくことが想定される。
この場合、上記実施の形態での撮影条件だけでは、同じ撮像条件、撮像装置情報のテーブルデータが多数できることが想定される。
本実施の形態では、撮像装置から得られる撮影条件として、第1の実施の形態での撮影条件に加えて、光源種別(光源情報)、朝昼夜などの撮影時間帯情報、撮影年月情報(日時情報)を用いる。さらに、撮影条件として、撮影場所情報、撮影時に重要な色情報(重要色情報)、撮影対象となる物体種別(物体情報)を用いる。なお、本実施の形態における撮像システムの構成は、図2に示す構成と同様である。
光源種別は、太陽光、蛍光灯、LEDランプ、ハロゲンランプ等の光源の種類を示す。例えば、光源の種類は、撮像装置が認識する光源情報を用いることで、簡便に取得可能である。この撮影時に用いられる光源を特定できていることで、照明環境の色温度が同じでも、光源の分光特性が異なる場合を識別可能となり、自動選択される補正パラメータの間違いが低減する。
撮影時間帯情報は、朝昼夜などの撮影される時間帯を識別可能な撮像情報である。野外撮影などでは朝と、昼では空の色味が変わる。そのような変化は、自動的に選択される補正パラメータの選択間違いを引き起こすかもしれない。撮影時間帯情報を使用することにより、変化に起因する選択間違いを低減できる。
撮影年月情報は、実際の撮影を行う年月を識別可能な情報である。春夏秋冬などの季節では指定が難しい撮影年月情報をもとに、補正パラメータを自動選択可能となる。
撮影場所情報は、実際の撮影を行う場所を識別可能な情報である。撮像装置に搭載のGPS装置や撮像装置と連携する制御装置を用いて場所を特定することが可能である。この撮影場所情報を用いることで、屋内外の違いによる色味変化や、緯度や経度の地理的条件の違いによる空等の色味変化を補正する補正パラメータが自動選択可能となる。
撮影時に重要な色情報は、撮影装置がどのような色を重視して撮影するかの情報である。撮像装置に搭載された画像処理ICやCPUなどの映像解析可能な計算機を用いて映像を解析し、何色を重要とする映像かを検出する。例えば、画像処理ICやCPUは、画像の大半に人の顔が表示されていた場合、肌色を撮影時に重要とする色と判定し、補正パラメータを自動選択する。
撮影対象となる物体種別は、撮影装置がどのような物体を重視して撮影するかの情報である。撮像装置に搭載された画像処理ICやCPUなどの映像解析可能な計算機を用いて映像を解析し、撮影対象が何であるかを検出する。例えば、画像処理ICやCPUは、画像の大半に人の顔が表示されていた場合、人の顔が撮影対象と判定し、補正パラメータを自動選択する。
図13A及び図13Bは、本実施の形態のデータベースの例を示す図である。なお、図13A及び図13Bでは、本実施の形態のデータベースをスペースの関係で2つの表に分割して示している。データベースは、メモリ305に格納・保持されており、照合部3021によって参照される。
このように、撮像装置から得られる多くの撮影条件を用いれば、補正パラメータの数が増えてもパラメータを選択できる情報が増えることで自動選択することが可能となり、人の操作による間違いを低減することが可能となる。
次に、第5の実施の形態について説明する。上記第1の実施の形態では、各撮像装置の撮像条件と基準撮像装置情報から各撮像装置に設定する補正パラメータが自動選択された。
この実施の形態を用いて各撮像装置の設定する補正パラメータを自動選択できるようにすると、様々な撮影環境に合わせた補正パラメータを数多く準備するため、管理するデータベースの補正パラメータ数が多くなることが想定される。
このため、データベース全体のサイズが大きくなり、撮像装置B200のメモリ等のハードウェア資源に制約がある場合、上述した第3の実施の形態で説明したように撮像装置B200が制御装置300の役割を兼ねることが困難になる。
そこで、本実施の形態ではデータベースから撮影時に必要な補正パラメータを抽出する。ハードウェア資源に制約がある撮像装置B200が制御装置300の役割を兼ねる場合、必要な補正パラメータをデータベースから抽出し、抽出した補正パラメータを一つにまとめる。これにより、ユーザの煩雑さを軽減することが可能となる。
図14に、3D-LUT構造の補正パラメータを2組結合した場合の補正パラメータ構造の模式図を示す。図14の補正パラメータは、異なる2つの補正パラメータ1400、1401を結合して一つのファイルとした場合の模式図である。
このように複数の補正パラメータを結合して一つのファイルとすることで、撮像装置B200が制御装置300の役割を兼ねる場合に、撮像装置B200が管理するファイルが一つとなり、ユーザの煩雑さを軽減することが可能となる。
また、既存の3D-LUT構造の補正パラメータのファイルフォーマットの中には、一つのファイルに一つの補正パラメータしか入力できない場合がある。この場合、複数の補正パラメータを結合して一つのファイルを作成してしまうと既存のファイルフォーマットと互換性が失われてしまう。
この課題に対処するために、図14の2つめの補正パラメータ1401を既存のファイルフォーマットのコメント文としてファイルを作成することで、既存のファイルフォーマットと互換性を維持することが考えられる。
この既存のファイルフォーマットのコメント文としてファイルを作成する場合は、制御装置300で、コメント文の補正パラメータを認識して設定する補正パラメータを自動選択する。
このように、複数の補正パラメータを一つのファイルとしてまとめる際に、既存のファイルフォーマットと互換性を保ちながらデータを結合することで、補正パラメータが複数個含まれたファイルも既存の撮像装置で取り扱うことが可能となる。
次に、第6の実施の形態について説明する。上記の第1の実施の形態では、各撮像装置の撮像条件と基準撮像装置情報から各撮像装置に設定する補正パラメータが自動選択された。
この実施の形態を用いて各撮像装置の設定する補正パラメータが自動選択できるようになっても、適した補正パラメータがデータベースに存在しないケースも想定される。
特に、上述した第3の実施の形態のように撮像装置B200が制御装置300の役割を兼ねる場合、データベースを小さくする必要がある。このデータベースを小さくした場合、適した補正パラメータがデータベースに存在しないケースが発生する。
そこで、本実施の形態では、データベースに存在する撮影条件が近い複数の補正パラメータから、撮像環境に応じた補正パラメータを作成し、この作成した補正パラメータを自動選択する。
図15に、格納された補正パラメータを補間して使用してよいかの情報を追加したデータベースの例を示す。図15のデータベースでは、補正パラメータごとにLUTの使用方法をあらかじめ決めておく情報が格納されている。使用方法が「補間」と設定された補正パラメータを用いて、データベースに存在しない撮像条件に対応した補正パラメータを作成できるようになる。使用方法が「選択」と設定された補正パラメータは、補間して補正パラメータ作成する際には用いられない。すなわち、撮影条件が近い複数の補正パラメータは補間データ生成を許可された補正パラメータである。
例えば、図15のデータベースにおいて、撮像装置A100と撮像装置B200撮像条件の照明環境の色温度が5000Kであった場合、LUTの使用方法が「補間」と設定されたLUT1とLUT3を用いて照明環境色温度が5000Kの補正パラメータが作成される。
この補正パラメータは、制御装置300に搭載のCPUなどで、LUT1の照明環境の色温度6000KとLUT3の照明環境の色温度3000Kから補間計算で作成する。補間計算のアルゴリズムとしては、6000Kと3000Kの補正パラメータを5000Kに線形補間して行うことが考えられるが、この補正計算に限らない。
このようにデータベースで管理する補正パラメータを補間計算に用いてよい情報を付加することで、データベースにない補正パラメータを作成して自動選択して適応できる。
次に、第7の実施の形態について説明する。上記の第5の実施の形態で説明したように、データベースサイズが大きくなると、撮像装置B200のメモリ等のハードウェア資源に制約がある場合、撮像装置B100が制御装置300の役割を兼ねることが困難になる。
そこで、本実施の形態では、補正パラメータを統合しデータ圧縮することで補正パラメータサイズを小さくして、データベースを管理する。この場合の複数の補正パラメータに適応されるデータ圧縮は、補正パラメータの補正階調数を減らすことでデータ圧縮する方法、複数の補正パラメータどうしの関係から離散ウェーブレット変換を用いてデータ圧縮する方法の少なくとも1つを含む。
まず、データベースを管理する制御装置300で、複数の補正パラメータどうしを離散ウェーブレット変換等で平均計算と差分計算を行ってデータ圧縮する。
例えば、データベースから補正ステップ数が同じ3D―LUT構造の補正パラメータを複数個抽出し、同じステップ数の補正データ同士を比較する。平均計算、差分計算を用いる離散ウェーブレット変換を行うことで補正パラメータサイズを小さくすることができる。
また異なる圧縮方法として、データベースから複数の補正パラメータを抽出して圧縮し、補正パラメータを複数単位で圧縮することもできる。
また異なる圧縮方法として、3D―LUT構造の補正パラメータのステップ数を小さくすることで補正パラメータのデータサイズを小さくすることができる。例えば3D-LUT構造で、補正データのBIT幅は変えずに65STEP数である補正パラメータを33STEP数に小さくすると、データサイズを約13%に縮小できる。
また、複数のデータベースをまとめて圧縮する場合、一日の撮影に用いる補正パラメータをデータベースから抽出し、上述したように圧縮することができる。これにより、制御装置300のメモリ等のハードウェア資源に制約がある場合でも複数の補正パラメータを含むデータベースを管理できる。圧縮状態にある補正パラメータは、必要に応じて解凍してから利用される。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
本発明は、上記した実施形態の1以上の機能を実現するプログラムをネットワークや非一過性の記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの1以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。以上のプログラムおよび以上のプログラムを記憶する記憶媒体は、本発明を構成する。また、本発明は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本出願は、2021年12月7日に出願された日本出願第2021-198716号に基づく優先権を主張するものであり、当該日本出願に記載された全内容を本出願に援用する。
A100、B200 撮像装置
A10、B20 レンズ
300 制御装置
301 制御部
302、802 色・輝度補正パラメータ選択部
305 メモリ

Claims (19)

  1. 複数の撮像装置での撮像画像間の色差を小さくするように撮像画像を補正するための複数の補正パラメータを、前記複数の撮像装置のうち基準となる1つの基準撮像装置を示す情報と、前記複数の各撮像装置での撮像条件と、の組み合わせごとに対応付けて保持するデータベースと、
    前記複数の撮像装置のうち今回の基準撮像装置を示す第1の情報と、今回の撮像画像の補正対象となる対象撮像装置を示す第2の情報と、を取得する第1の取得手段と、
    前記複数の各撮像装置での撮像条件を取得する第2の取得手段と、
    前記第1の取得手段により取得された前記第1の情報と前記第2の取得手段により取得された前記各撮像装置での撮像条件とに基づいて、前記データベースの中から、前記第2の情報が示す対象撮像装置に対して設定する設定用補正パラメータを決定する決定手段と、
    前記決定手段により決定された前記設定用補正パラメータを出力する制御手段と、を有することを特徴とする制御装置。
  2. 前記制御手段は、前記決定手段により前記設定用補正パラメータが決定された場合、前回に前記対象撮像装置に設定された補正パラメータと、今回決定された前記設定用補正パラメータとに基づいて、更新された前記設定用補正パラメータを出力することを特徴とする請求項1に記載の制御装置。
  3. 前記制御手段は、前記設定用補正パラメータの更新の要否を前記対象撮像装置ごとに判定し、前記更新が必要と判定した対象撮像装置には前記更新された設定用補正パラメータを送信し、前記更新が必要と判定しない対象撮像装置には前記更新された設定用補正パラメータを送信しないことを特徴とする請求項2に記載の制御装置。
  4. 前記制御手段は、前記更新の要否の判定結果を報知することを特徴とする請求項3に記載の制御装置。
  5. 前記第1の取得手段は、前記複数の撮像装置を示す情報を画面に表示させ、前記画面上で前記基準撮像装置および前記対象撮像装置をユーザに指定させることで前記第1の情報および前記第2の情報を取得することを特徴とする請求項1乃至4のいずれか1項に記載の制御装置。
  6. 前記制御手段は、前記設定用補正パラメータが設定された後に前記対象撮像装置で撮像された画像に、前記設定用補正パラメータを示す情報を付加することを特徴とする請求項1乃至5のいずれか1項に記載の制御装置。
  7. 前記データベースは、前記複数の補正パラメータの組を複数保持し、
    前記決定手段は、前記設定用補正パラメータを決定する際に、ユーザからの指定に基づいて、前記複数の補正パラメータの組を選択的に用いることを特徴とする請求項1乃至6のいずれか1項に記載の制御装置。
  8. 前記第2の取得手段は、前記各撮像装置での撮像条件を所定のタイミングで取得し、
    前記決定手段は、いずれかの撮像装置において、前回から前記撮像条件が変化したことに応じて、前記設定用補正パラメータの決定処理を開始することを特徴とする請求項1乃至7のいずれか1項に記載の制御装置。
  9. 前記決定手段は、取得された前記各撮像装置での撮像条件と取得された前記第1の情報との組み合わせが前記データベースに存在しない場合は、当該組み合わせに対応する補正パラメータの生成をユーザに促すことを特徴とする請求項1乃至8のいずれか1項に記載の制御装置。
  10. 前記撮像条件は、前記各撮像装置の本体情報、前記各撮像装置のレンズ情報、または前記各撮像装置における照明環境の色温度の少なくとも1つを含むことを特徴とする請求項1乃至9のいずれか1項に記載の制御装置。
  11. 前記撮像条件は、前記各撮像装置における光源種別、撮影時間帯情報、撮影年月情報、撮影場所情報、重要色情報、撮影対象の物体種別の少なくとも1つを含むことを特徴とする請求項1乃至10のいずれか1項に記載の制御装置。
  12. 前記データベースは、前記複数の補正パラメータの組を一つのファイルとして保持し、
    前記制御手段は、前記設定用補正パラメータが決定された場合、前記一つのファイルに保持された複数の補正パラメータから決定された設定用補正パラメータを抽出し、出力することを特徴とする請求項1乃至11のいずれか1項に記載の制御装置。
  13. 前記決定手段は、取得された前記各撮像装置での撮像条件と取得された前記第1の情報との組み合わせが前記データベースに存在しない場合は、データベースに存在する撮影条件が近い複数の補正パラメータから補正パラメータを作成し、作成された前記補正パラメータを決定し、
    前記撮影条件が近い複数の補正パラメータは補間データ生成を許可された補正パラメータであることを特徴とする請求項1乃至11のいずれか1項に記載の制御装置。
  14. 前記データベースは、前記複数の補正パラメータを圧縮状態で保持し、
    前記制御手段は、前記設定用補正パラメータが決定された場合、前記圧縮状態で保持された補正パラメータを解凍してから決定された設定用補正パラメータを出力することを特徴とする請求項1乃至13のいずれか1項に記載の制御装置。
  15. 前記複数の補正パラメータに適応されるデータ圧縮は、補正パラメータの補正階調数を減らすことでデータ圧縮する方法、複数の補正パラメータどうしの関係から離散ウェーブレット変換を用いてデータ圧縮する方法の少なくとも1つを含むことを特徴とする請求項14に記載の制御装置。
  16. 複数の撮像装置での撮像画像間の色差を小さくするように撮像画像を補正するための複数の補正パラメータを、前記複数の撮像装置のうち基準となる1つの基準撮像装置を示す情報と、前記複数の補正パラメータを生成する際に前記複数の各撮像装置でカラーチャートを撮像して得られた第1のチャート画像と、の組み合わせごとに、対応付けて保持するデータベースと、
    今回の基準撮像装置を示す第1の情報と、今回の撮像画像の補正対象となる対象撮像装置を示す第2の情報と、を取得する第1の取得手段と、
    今回の前記基準撮像装置および今回の前記対象撮像装置を含む複数の撮像装置で前記カラーチャートを撮像して得られた第2のチャート画像を取得する第3の取得手段と、
    前記第1の取得手段により取得された前記第1の情報と前記第3の取得手段により取得された前記第2のチャート画像とに基づいて、前記データベースの中から、前記第2の情報が示す対象撮像装置に対して設定する設定用補正パラメータを決定する決定手段と、
    前記決定手段により決定された前記設定用補正パラメータを出力する制御手段と、を有することを特徴とする制御装置。
  17. 複数の撮像装置での撮像画像間の色差を小さくするように撮像画像を補正するための複数の補正パラメータを、前記複数の撮像装置のうち基準となる1つの基準撮像装置を示す情報と、前記複数の各撮像装置での撮像条件と、の組み合わせごとに対応付けて保持するデータベースを有する制御装置の制御方法であって、
    前記複数の撮像装置のうち今回の基準撮像装置を示す第1の情報と、今回の撮像画像の補正対象となる対象撮像装置を示す第2の情報と、を取得する第1の取得ステップと、
    前記複数の各撮像装置での撮像条件を取得する第2の取得ステップと、
    前記第1の取得ステップにより取得された前記第1の情報と前記第2の取得ステップにより取得された前記各撮像装置での撮像条件とに基づいて、前記データベースの中から、前記第2の情報が示す対象撮像装置に対して設定する設定用補正パラメータを決定する決定ステップと、
    前記決定ステップにより決定された前記設定用補正パラメータを出力する制御ステップと、を有することを特徴とする制御装置の制御方法。
  18. 複数の撮像装置での撮像画像間の色差を小さくするように撮像画像を補正するための複数の補正パラメータを、前記複数の撮像装置のうち基準となる1つの基準撮像装置を示す情報と、前記複数の補正パラメータを生成する際に前記複数の各撮像装置でカラーチャートを撮像して得られた第1のチャート画像と、の組み合わせごとに、対応付けて保持するデータベースを有する制御装置の制御方法であって、
    今回の基準撮像装置を示す第1の情報と、今回の撮像画像の補正対象となる対象撮像装置を示す第2の情報と、を取得する第1の取得ステップと、
    今回の前記基準撮像装置および今回の前記対象撮像装置を含む複数の撮像装置で前記カラーチャートを撮像して得られた第2のチャート画像を取得する第3の取得ステップと、 前記第1の取得ステップにより取得された前記第1の情報と前記第3の取得ステップにより取得された前記第2のチャート画像とに基づいて、前記データベースの中から、前記第2の情報が示す対象撮像装置に対して設定する設定用補正パラメータを決定する決定ステップと、
    前記決定ステップにより決定された前記設定用補正パラメータを出力する制御ステップと、を有することを特徴とする制御装置の制御方法。
  19. コンピュータを、請求項1乃至15のいずれか1項に記載の制御装置の各手段として機能させる、コンピュータによる実行が可能なプログラム。
JP2022180932A 2021-12-07 2022-11-11 制御装置およびその制御方法、プログラム Pending JP2023084672A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/061,089 US11968444B2 (en) 2021-12-07 2022-12-02 Control apparatus applied to image pickup system, control method therefor, and storage medium storing control program therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021198716 2021-12-07
JP2021198716 2021-12-07

Publications (1)

Publication Number Publication Date
JP2023084672A true JP2023084672A (ja) 2023-06-19

Family

ID=86771924

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022180932A Pending JP2023084672A (ja) 2021-12-07 2022-11-11 制御装置およびその制御方法、プログラム

Country Status (1)

Country Link
JP (1) JP2023084672A (ja)

Similar Documents

Publication Publication Date Title
JP4375781B2 (ja) 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
KR100843089B1 (ko) 영상의 시인성을 향상시키는 장치 및 방법
US20050128316A1 (en) Image processing system
JPWO2006059573A1 (ja) 色彩調整装置及び方法
JP4533287B2 (ja) 色処理方法およびその装置
JP5676906B2 (ja) 色補正装置
JP6974156B2 (ja) 画像色変換装置、画像色変換プログラム、画像色変換方法
JP2007208629A (ja) ディスプレイのキャリブレーション方法、制御装置及びキャリブレーションプログラム
JP2008295034A (ja) 画像処理装置及び画像処理方法
JP4677699B2 (ja) 画像処理方法、画像処理装置、撮影装置評価方法、画像情報保存方法および画像処理システム
US8169475B2 (en) Image processing system, imaging system, and microscope imaging system
KR20140106221A (ko) 다수 이미지 센서를 이용한 촬영방법 및 장치
KR102285756B1 (ko) 전자 시스템 및 영상 처리 방법
JP2011091753A (ja) 撮像装置、画像処理装置およびプログラム
JP2023084672A (ja) 制御装置およびその制御方法、プログラム
JP5962169B2 (ja) デジタルカメラ、色変換プログラムおよび記録制御プログラム
US11968444B2 (en) Control apparatus applied to image pickup system, control method therefor, and storage medium storing control program therefor
JP2014222823A (ja) 画像処理装置及び画像処理方法
JP4887680B2 (ja) ホワイトバランス調整装置、及びホワイトバランス調整方法
JP5340456B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
EP2204980B1 (en) Image processing system, imaging system, and microscope imaging system
JP4221584B2 (ja) 色処理装置および色処理方法、色処理プログラム
CN117176933B (zh) 一种图像信号处理方法及装置、电子设备和存储介质
JP2019165398A (ja) 画像処理装置、画像処理方法及びプログラム
JP2018088618A (ja) 撮像装置