JP2011259047A - Color correction device, color correction method, and video camera system - Google Patents
Color correction device, color correction method, and video camera system Download PDFInfo
- Publication number
- JP2011259047A JP2011259047A JP2010129514A JP2010129514A JP2011259047A JP 2011259047 A JP2011259047 A JP 2011259047A JP 2010129514 A JP2010129514 A JP 2010129514A JP 2010129514 A JP2010129514 A JP 2010129514A JP 2011259047 A JP2011259047 A JP 2011259047A
- Authority
- JP
- Japan
- Prior art keywords
- color
- monitor
- correction
- shooting
- color correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、色補正装置と色補正方法とビデオカメラシステムとに関する。 The present invention relates to a color correction device, a color correction method, and a video camera system.
放送局用ビデオカメラを複数台用いて撮影する場合には、使用するビデオカメラ間での厳密な色合わせが必要となる。一般には、このようなビデオカメラ間での色合わせは、放送局等のスタッフが予め手動で調整することが知られている。 When shooting using a plurality of broadcast station video cameras, strict color matching is required between the video cameras to be used. In general, it is known that such color matching between video cameras is manually adjusted in advance by staff such as a broadcasting station.
放送局用ビデオカメラにおいては、各ビデオカメラ毎に、CCD(電荷結合素子)等の撮像素子の前面に配置されるカラーフィルタや色分解プリズムの分光特性が微妙に異なる。このため、ビデオカメラ間での色合いを補正しない場合には、同一の対象を撮影する場合でも、撮影された出力映像の色あいがビデオカメラ間で異なることとなってしまう。 In a video camera for a broadcasting station, the spectral characteristics of a color filter and a color separation prism arranged in front of an image sensor such as a CCD (Charge Coupled Device) are slightly different for each video camera. For this reason, when the hue between the video cameras is not corrected, even when shooting the same object, the hue of the output video that has been shot differs between the video cameras.
複数のビデオカメラ間で色合わせを行う技術としては、基準となる撮像装置と、この基準となる撮像装置に対して色あいを整合させる他の撮像装置とで、所定の同色、例えばカラーチャート内の各色を同じ条件で撮影し、撮影の結果得られた撮影データを比較して、色あいを整合させるべき他のビデオカメラから出力される色データを適宜補正する補正方法が提案されている。 As a technique for performing color matching between a plurality of video cameras, a reference imaging device and another imaging device that matches the hue with respect to the reference imaging device have a predetermined same color, for example, in a color chart. A correction method has been proposed in which each color is photographed under the same conditions, and photographing data obtained as a result of photographing is compared, and color data output from another video camera whose hue is to be matched is appropriately corrected.
また、基準となるビデオカメラを必要とせずに、各ビデオカメラ毎の操作によって、容易に複数のビデオカメラ間の色合わせを行うことができるようにした色補正装置を実現することを目的とし、所定の色についての基準となる色情報を発生する基準色情報発生手段を備えるとともに、基準色情報発生手段によって発生される情報とビデオカメラによって所定の色を撮像して得られる信号とに基づいて決定される補正内容に従って、ビデオカメラによって撮像して得られる信号を補正する補正手段を備えることにより、ビデオカメラによって撮像して得られる信号に基づく色を基準となる色に合わせる提案が、例えば下記特許文献1に開示されている。
Another object of the present invention is to realize a color correction device that can easily perform color matching between a plurality of video cameras by an operation for each video camera without requiring a reference video camera, Reference color information generation means for generating reference color information for a predetermined color is provided, and based on information generated by the reference color information generation means and a signal obtained by imaging a predetermined color with a video camera A proposal for adjusting a color based on a signal obtained by imaging with a video camera to a reference color by providing a correction unit that corrects a signal obtained by imaging with a video camera according to the determined correction content is, for example, It is disclosed in
しかし、オペレータが色補正を手動で遂行する場合には、相当の熟練と工数とがかかることとなる。また、色補正パラメータを、簡便な最小二乗法を用いて算出する場合には、正確な補正パラメータが算出できない懸念が生じる。 However, when the operator performs color correction manually, considerable skill and man-hours are required. In addition, when the color correction parameter is calculated using a simple least square method, there is a concern that an accurate correction parameter cannot be calculated.
特に、ガマット誤差や観測誤差を補正できるように考慮された補正パラメータの演算は従来為されておらず、白バランスや黒バランスが取れないという問題が生じていた。 In particular, calculation of a correction parameter that is considered so as to correct a gamut error and an observation error has not been conventionally performed, and there has been a problem that white balance and black balance cannot be achieved.
本発明はこのような問題点に鑑みなされたものであり、ガマット誤差や観測誤差が存在しているような場合でも、適切な色補正パラメータを演算し、ビデオカメラによる撮影画像に対して適用してこれを補正できる色補正装置と色補正方法等を提供することを目的とする。 The present invention has been made in view of such problems. Even when gamut errors and observation errors exist, an appropriate color correction parameter is calculated and applied to an image captured by a video camera. It is an object of the present invention to provide a color correction apparatus and a color correction method that can correct this.
本発明の色補正装置は、カラー基準信号を記憶するリファレンス記憶部と、カラー基準信号に対応するカラー基準映像の表示をする再撮モニタを撮影した再撮モニタ撮影信号が入力されるバッファと、バッファが記憶する再撮モニタ撮影信号と、リファレンス記憶部が記憶するカラー基準信号と、を比較し、再撮モニタ撮影信号とカラー基準信号との差異を低減するように補正パラメータを算出する比較演算部と、算出された補正パラメータを記憶する補正パラメータ記憶部と、入力された映像データに対して、補正パラメータ記憶部に記憶された補正パラメータに基づく補正処理を遂行する補正処理部とを備えることを特徴とする。 The color correction apparatus of the present invention includes a reference storage unit that stores a color reference signal, a buffer that receives a reshooting monitor shooting signal obtained by shooting a reshooting monitor that displays a color reference image corresponding to the color reference signal, Comparison operation for comparing the re-shooting monitor shooting signal stored in the buffer with the color reference signal stored in the reference storage unit and calculating a correction parameter so as to reduce the difference between the re-shooting monitor shooting signal and the color reference signal A correction parameter storage unit that stores the calculated correction parameter, and a correction processing unit that performs correction processing based on the correction parameter stored in the correction parameter storage unit for the input video data. It is characterized by.
また、本発明の色補正装置は、好ましくはカラー基準信号をリファレンス記憶部から読み出して再撮モニタに出力することにより、カラー基準信号に対応するカラー基準映像を再撮モニタに表示させることを特徴とする。 The color correction apparatus of the present invention preferably displays the color reference image corresponding to the color reference signal on the reshooting monitor by reading the color reference signal from the reference storage unit and outputting it to the reshooting monitor. And
また、本発明の色補正装置は、さらに好ましくは補正処理部が、リファレンス記憶部に記憶されたカラー基準信号を読み出して、カラー基準信号に対して補正パラメータに基づく補正処理を遂行して検証信号を再撮モニタに出力し、バッファは、検証信号を表示する再撮モニタを撮影した再撮モニタ撮影検証信号が入力され、比較演算部は、リファレンス記憶部に記憶されたカラー基準信号と、バッファが記憶する再撮モニタ撮影検証信号とを比較して、差異の有無を検証することを特徴とする。 In the color correction apparatus of the present invention, it is more preferable that the correction processing unit reads the color reference signal stored in the reference storage unit, performs correction processing based on the correction parameter on the color reference signal, and performs a verification signal. Is output to the re-shoot monitor, the re-shoot monitor shooting verification signal obtained by shooting the re-shoot monitor that displays the verification signal is input to the buffer, and the comparison calculation unit is configured to receive the color reference signal stored in the reference storage unit and the buffer. Is compared with the re-shooting monitor photographing verification signal stored in the above, and the presence or absence of the difference is verified.
また、本発明のビデオカメラシステムは、上述のいずれかの色補正装置と、カラー基準信号に対応したカラー基準映像を表示する再撮モニタと、再撮モニタを撮影した再撮モニタ撮影信号を色補正装置に出力するビデオカメラとを備えることを特徴とする。 Further, the video camera system of the present invention provides any of the color correction devices described above, a re-shooting monitor that displays a color reference image corresponding to the color reference signal, and a re-shooting monitor shooting signal obtained by shooting the re-shooting monitor. And a video camera for outputting to the correction device.
また、本発明の色補正方法は、上述のいずれかの色補正装置を用いて再撮モニタを撮影した映像の色合いを補正する色補正方法であって、再撮モニタにカラー基準信号に対応するカラー基準映像を表示させる工程と、再撮モニタに表示されたカラー基準映像を撮影したビデオカメラから再撮モニタ撮影信号を取得する工程と、取得した再撮モニタ撮影信号と、リファレンス記憶部に記憶するカラー基準信号と、を比較して補正パラメータを算出する工程と、算出した補正パラメータを用いて入力された映像信号に対して補正処理を遂行する工程とを有することを特徴とする。 The color correction method of the present invention is a color correction method for correcting the hue of an image captured by a reshooting monitor using any one of the color correction devices described above, and corresponds to a color reference signal for the reshooting monitor. A step of displaying a color reference image, a step of acquiring a reshooting monitor shooting signal from a video camera that has shot the color reference image displayed on the reshooting monitor, the acquired reshooting monitor shooting signal, and storing in the reference storage unit And a step of calculating a correction parameter by comparing the color reference signal and a step of performing a correction process on a video signal input using the calculated correction parameter.
また、本発明の色補正方法は、好ましくは再撮モニタにカラー基準信号に対応するカラー基準映像を表示させる工程は、リファレンス記憶部に記憶するカラー基準信号を色補正装置が出力し、出力に基づいたカラー基準映像を再撮モニタに表示させる工程であることを特徴とする。 In the color correction method of the present invention, preferably, in the step of displaying the color reference image corresponding to the color reference signal on the re-shooting monitor, the color correction device outputs the color reference signal stored in the reference storage unit and outputs it. It is a step of displaying a color reference image based on a re-shooting monitor.
ガマット誤差や観測誤差が存在しているような場合でも、適切な色補正パラメータを演算し、ビデオカメラによる撮影画像に対して適用してこれを補正できる色補正装置と色補正方法等を提供できる。 Even when gamut errors or observation errors exist, it is possible to provide a color correction device and a color correction method that can calculate appropriate color correction parameters and apply them to captured images by a video camera to correct them. .
本実施形態の色補正装置は、複数台の再撮モニタやカメラの色調整を自動化するために、カラーチャートを撮影した画像から、その色レベルを画像処理によって自動的に認識する。 The color correction apparatus according to the present embodiment automatically recognizes the color level from an image obtained by photographing a color chart by image processing in order to automate the color adjustment of a plurality of re-shooting monitors and cameras.
取得した色レベルが既知のカラーチャートのオリジナルの色レベルとなるように、再撮モニタへの出力を補正するための色補正パラメータを、色レベルの観測誤差や色空間におけるガマット誤差の影響を考慮して最適に計算し、補正処理を遂行する色補正装置となる。 Color correction parameters for correcting the output to the reshoot monitor so that the acquired color level is the original color level of a known color chart, taking into account the effects of color level observation errors and gamut errors in the color space Thus, a color correction device that performs optimal calculation and correction processing is obtained.
また、実施形態の色補正装置は、従来のように人手による外観観察に依存した色補正をすることはなく、かつ最小二乗法によって色補正パラメータを算出するものではない。このため、実施形態の色補正装置は、観測誤差やガマット誤差の影響により色補正パラメータが正確に算出できず、特にガマット誤差に起因して白バランスや黒バランスが取れないとの従来の問題を解決できる。 In addition, the color correction apparatus according to the embodiment does not perform color correction depending on the appearance observation by hand unlike the prior art, and does not calculate color correction parameters by the least square method. For this reason, the color correction apparatus according to the embodiment cannot accurately calculate the color correction parameter due to the influence of the observation error and the gamut error, and particularly has a conventional problem that the white balance and the black balance cannot be obtained due to the gamut error. can be solved.
また、ガマット誤差が存在する場合でも、複数の色補正モデルを仮定した計算(多拘束FNS法または多拘束拡張FNS法)した結果から最適なモデルを選択適用し、好ましくは白レベルまたは黒レベルをレベル制約とした演算処理とする色補正装置を実現できる。 Even when there is a gamut error, an optimum model is selected and applied from the result of calculation assuming a plurality of color correction models (multi-constraint FNS method or multi-constraint extended FNS method), and preferably white level or black level is selected. It is possible to realize a color correction apparatus that performs arithmetic processing with level restrictions.
この色補正装置により、いわゆる白とび黒つぶれといったクリップ処理によるいわば足切りされた上限または下限の映像データについても、自然な色合いとなるように補正することが可能となり、すなわちガマット誤差についても対応可能となる。
(実施形態の概要)
With this color correction device, it is possible to correct the upper limit or lower limit video data cut by clipping processing such as so-called overexposure to natural colors, that is, it can also handle gamut errors. It becomes.
(Outline of the embodiment)
図1は、再撮モニタへ出力する映像信号に対して適用するべき補正パラメータを算出する場合のビデオカメラシステム1000を説明する概念図である。
FIG. 1 is a conceptual diagram illustrating a
図1において、再撮モニタ200は例えばスタジオ内等に設置されており、複数の照明250(1),250(2)により演出されている。また、色補正装置100は、カラー基準信号を予め記憶しているリファレンス記憶部150を備える。
In FIG. 1, a
カラー基準信号は、既知の基準となる色あいを表現する例えばRGB信号強度であってもよく、典型的にはマクベスカラーチャート等のキャリブレーションターゲットを所定の条件下で撮影して取得した複数色各々の基準信号である。 The color reference signal may be, for example, an RGB signal intensity that represents a known reference hue, and typically each of a plurality of colors obtained by photographing a calibration target such as a Macbeth color chart under a predetermined condition. Reference signal.
再撮モニタ200は、色補正装置100から取得したカラー基準信号をカラー基準映像210として表示する。また、ビデオカメラ300は、カラー基準映像210が表示された再撮モニタ200を撮影した再撮モニタ撮影信号を、色補正装置100へ出力する。
The
色補正装置100は、ビデオカメラ300から取得した再撮モニタ撮影信号をフレームバッファ140に記憶する。また、色補正装置100は、リファレンス記憶部150に記憶するカラー基準信号と、フレームバッファ140に記憶する再撮モニタ撮影信号とを比較演算し、再撮モニタ撮影信号とカラー基準信号との差異を低減させるため、再撮モニタ200に付与する映像信号に遂行するべき補正パラメータを算出する比較演算部130を備える。
The
また、色補正装置100は、比較演算部130で算出された補正パラメータを記憶する補正パラメータ記憶部110を備える。また、色補正装置100は、入力された撮影映像やVTR映像に対して、補正パラメータ記憶部110に記憶している補正パラメータに基づいた補正処理を遂行して出力する補正処理部120を備える。
The
これにより、色補正装置100に入力されたVTR映像等は、補正処理部120において補正パラメータ記憶部110に記憶している補正パラメータに基づいてガマット誤差や観測誤差が適切に補正され、再撮モニタ200に出力されて表示されることとなる。従って、ビデオカメラ300で撮影した映像の中に含まれる再撮モニタ200の表示画面は、色合いが自然で適切な映像として鑑賞できることとなる。
As a result, the VTR video or the like input to the
図2は、色補正装置100が算出して記憶した補正パラメータが適切であるか否かを検証する場合のビデオカメラシステム2000について説明する概念図である。図2においては、図1と対応する部位には同一の符号を付して、説明の重複を避けるためにここではその説明を省略する。
FIG. 2 is a conceptual diagram illustrating the
図2に示すように、色補正装置100の補正処理部120は、補正パラメータ記憶部110に記憶した補正パラメータを用いて、リファレンス記憶部150に予め記憶しているカラー基準信号に対して補正処理を遂行する。
As illustrated in FIG. 2, the
補正処理されたカラー基準信号は検証信号として再撮モニタ200に出力されて、出力された検証信号に対応する検証映像220として再撮モニタ220に表示される。再撮モニタ220に表示された検証映像220は、ビデオカメラ300で撮影され、再撮モニタ撮影検証信号として色補正装置100にフィードバックされる。
The corrected color reference signal is output as a verification signal to the
比較演算部130は、リファレンス記憶部150が記憶するカラー基準信号と、ビデオカメラ300からフィードバックされた再撮モニタ撮影検証信号とを比較し、再撮モニタ撮影検証信号がカラー基準信号から色ずれを生じているか否かを検証する。比較演算部130は、検証した結果をビデオエンジニア等のオペレータに通知するように出力してもよい。
The
この処理により、補正パラメータが適切であるか否かを検証することができる。補正パラメータは、再撮モニタ200の配置環境、例えば照明250(1),250(2)の種類や数や位置、および再撮モニタ200自体の特性によっても異なるものとなることが予想される。このため、色補正装置100が、適宜検証処理を遂行し、各場面において補正パラメータが適切であるのか否か確認することが好ましい。
By this processing, it is possible to verify whether or not the correction parameter is appropriate. The correction parameters are expected to vary depending on the arrangement environment of the
また、ビデオカメラ300が撮影して出力した再撮モニタ撮影検証信号は、マスタモニタ400に入力されて表示され、その表示画面中には検証映像220を表示する再撮モニタ200が、再撮モニタ検証映像410として表示される。
Further, the re-shooting monitor shooting verification signal shot and output by the
再撮モニタ検証映像410は、視聴者が見るべき映像の色合いを反映した映像である。すなわち、色補正装置100は、視聴者が見るビデオカメラ300からの出力映像に含まれる再撮モニタ200の画面映像を、自然な色合いとして表示されるように補正するものである。
The recapture
これにより、例えばニュース番組等において、視聴者が見る画面内にニュースキャスターの背景に設置された他の再撮モニタが含まれる場合に、再撮モニタ内すなわち画面内の小さな画面内に表示される映像についても、色合いが自然になるように補正処理をする色補正装置を実現できる。 As a result, for example, in a news program, when another re-shooting monitor installed in the background of the newscaster is included in the screen viewed by the viewer, it is displayed in the re-taking monitor, that is, in a small screen within the screen. It is possible to realize a color correction apparatus that performs a correction process so that a color tone is natural for an image.
図3は、予め補正パラメータの算出やその検証が終了した色補正装置100を用いて、現実の再撮モニタの撮影処理をする場合のビデオカメラシステムを説明する概念図である。
FIG. 3 is a conceptual diagram for explaining a video camera system in a case where an actual re-shooting monitor shooting process is performed using the
色補正装置100には、VTR映像や他のビデオカメラによる撮影映像が入力される。入力映像は、補正処理部120において、補正パラメータ記憶部110に記憶される補正パラメータを用いて色補正処理が遂行される。
The
色補正処理が遂行された入力映像は、色補正装置100から再撮影モニタ200へと伝送されて画面表示230される。再撮モニタ200は、例えばニュースキャスター等の背景に設置されて照明250(1),250(2)等により演出される。
The input video that has undergone the color correction processing is transmitted from the
演出が施された再撮モニタ200は、ニュースキャスターと共にビデオカメラ300により撮影される。通常、演出効果は、スタジオ内の現実の有体物(例えばキャスターの衣服や人物自体)等をターゲットとして調整されるため、同じ演出下で撮影された再撮モニタ200内の画面表示230は、一般にはビデオカメラ300で撮影した場合に色合いが不自然になることが知られている。
The re-shooting monitor 200 on which the effect has been given is shot by the
しかし、色補正装置100は、ビデオカメラ300で撮影された映像中に含まれる再撮モニタ200の画面表示230が自然な色合いとなるように、予め算出した補正パラメータを用いて補正された入力映像を、再撮モニタ200に表示させる。
However, the
このため、図3に示すように、ビデオカメラ300で撮影した映像をマスタモニタ400に表示させた場合に、マスタモニタ400の画面内に含まれる再撮モニタ200が表示する再撮モニタ入力映像420は、別途ビデオエンジニア等によるマニュアル補正処理をする必要がなく、自然な色合いの画面として表示されることとなる。
Therefore, as shown in FIG. 3, when a video captured by the
なお、図1乃至図3においては、説明の便宜上、ビデオカメラ300が一台である場合について説明したが、ビデオカメラ300は複数台備えられるビデオカメラシステムとしてもよい。複数台の場合には各ビデオカメラ300間の色補正については、相互に差異がないように予め別途調整されていることが好ましい。
1 to 3, for convenience of explanation, the case where there is one
また、図1乃至図3においては、説明の便宜上、再撮モニタ200が一台である場合について説明したが、再撮モニタ200は複数台備えられてもよい。複数台の再撮モニタ200各々に対応した適切な補正パラメータが色補正装置100により演算されて、記憶される。そして、色補正装置100から各再撮モニタ200に対して、それぞれ別個独立に補正処理された映像信号を出力して表示させてもよい。この場合には、各再撮モニタ200に対応して各々複数の補正パラメータ記憶部110を備えてもよく、色補正装置100のその他の機能についても各再撮モニタ200に対応して複数備えてもよい。
1 to 3, the case where there is one
また、複数の再撮モニタ200の特性や配置環境、演出等が全く同一であって、同一の補正パラメータによる処理が好ましい場合には、複数の再撮モニタ200に対して同一の補正パラメータを適用して補正処理した映像を出力して表示させてもよい。 In addition, when the characteristics, arrangement environment, effects, etc. of the plurality of re-shooting monitors 200 are exactly the same, and processing with the same correction parameters is preferable, the same correction parameters are applied to the plurality of re-shooting monitors 200. Then, the corrected video may be output and displayed.
図4は、色補正装置100の比較演算部130についてさらに詳細に説明する概念図である。図4に示すように、比較演算部130は、多拘束FNS法または多拘束拡張FNS法による複数モデル演算部131を備える。
FIG. 4 is a conceptual diagram for explaining the
多拘束FNS法または多拘束拡張FNS法による複数モデル演算部131は、多拘束FNS法または多拘束拡張FNS法の少なくともいずれかの方法による補正モデルの演算をするものとする。演算される補正モデルは、例えば3次元並進変換モデル、剛体変換モデル、相似変換モデル、アフィン変換モデル、射影変換モデル等としてもよい。
The multiple
多拘束FNS法は観測誤差を良好に補正することが可能であり、多拘束拡張FNS法は黒レベル制約または白レベル制約とするので観測誤差に加えてガマット誤差を良好に補正することができる。多拘束FNS法または多拘束拡張FNS法による複数モデル演算部131は、最小二乗法による解を初期値としてそれを反復することにより、最適解を計算する。このため、数値計算としては、行列の固有値・固有ベクトルの計算を収束判定条件が満たされるまで、繰り返して実行することとなる。一方、従来手法の最小二乗法の場合には一回の固有値計算のみで終了することとなります。
The multi-constrained FNS method can correct the observation error satisfactorily, and the multi-constrained extended FNS method uses the black level constraint or the white level constraint, so that the gamut error can be corrected well in addition to the observation error. The multiple
また、比較演算部130は、算出された複数モデルのなかから最適モデルを選択するための基準を決定する選択基準算出部133を備える。選択基準算出部133は、モデルの当てはまりの良さ(すなわちパラメータ数の多さ)だけでモデル選択が為されることがないように、当てはまりとパラメータ数の小さなモデルが選択されるような基準を算出する。
In addition, the
より具体的には、選択基準算出部133は、幾何学的AICまたは幾何学的MDLのいずれか任意の一つを選択基準として演算する。
More specifically, the selection
ここでモデル選択について金谷の論文に詳述されているので、これを一部引用して以下簡単に基本となる概念について説明する。 The model selection is described in detail in Kanaya's paper here, and some basic concepts will be briefly explained below.
「平面上に与えられた複数の点に直線、または2次曲線、または3次曲線、またはそれ以上の次数の曲線を当てはめたいとする。何を当てはめたらよいであろうか。素朴なアイディアは、まず直線、2次曲線、3次曲線、・・・ を順に当てはめ、データ点との食い違い(これを数量的に評価したものを「残差」と呼ぶ)が最も小さいものを選ぶことである。しかし、これではうまくいかない。なぜなら、高次の曲線ほどデータ点によく当てはまり、十分高い次数の曲線を選べばすべてのデータ点を通るもの(残差が0)が得られるからである。これは本来の目的に合わない。なぜなら、曲線を当てはめる目的は背後にある「真の曲線」を少数のしかも誤差のあるデータから推定することだからである。一般に、誤差のあるデータから真の構造を推定するために導入する未知パラメータをもつ数式を「モデル」と呼ぶ。当然、調節するパラメータの個数(これを「自由度」と呼ぶ)が多いほどデータによく合致する(すなわち残差が減少する)。そして、自由度が十分大きいほどモデルがデータの誤差によくフィットしてしまう。これを防いで最も適切なモデルを選ぶにはどうすればよいであろうか。これが「モデル選択」の課題である。(モデル選択規準について)上記の問題は次のように考えることもできる。曲線当てはめでは、直線は2次曲線の2次の係数が0になる特別の場合である。同様に、2次曲線は3次曲線の特別な場合であり、3次曲線は4次曲線の特別な場合である。すなわち、それぞれの次数の曲線の集合には包含関係があり、直線の集合は2次曲線の集合の部分集合であり、2次曲線の集合は3次曲線の集合の部分集合であり、どの次数の曲線の集合もより高い次数の集合の部分集合である。一方、残差は観測データとモデルとの「距離」に相当している。残差を最小にするモデルとは観測データに最も「近い」モデルにほかならない。しかし、モデルに包含関係があると、最も近いモデルは当然ながら最も大きい集合から選ばれる。なぜなら、部分集合に限定すると距離は増えこそすれ減ることはないからである。このことから、部分集合の元が選ばれるためには距離だけでなく、より自由度の小さいモデルを優先する何らかの評価が必要である。これを測るのが「モデル選択規準」であり、一般に次の形をしている。(残差)+(自由度に対するペナルティ) 第1項の残差を減らそうとして高い自由度のモデルを選べば第2項が大きくなる。それに対して、両者の和を最小にするモデルを選べば両者がバランスするものが選ばれる。このようなモデル選択規準として「赤池のAIC」、「Schwarz のBIC」、 「Rissanen のMDL」、 「Mallows のCp」などいろいろなものが提案されている。しかし、どのモデルが選ばれるかは用いる規準に依存し、絶対的なものはない」(金谷健一,モデル選択による動画像理解,TELECOM FRONTIER, No. 44, August 2004, pp. 4−10.)。 "I want to fit a straight line, a quadratic curve, a cubic curve, or a higher order curve to a plurality of points given on the plane. What should I apply? The simple idea is First, a straight line, a quadratic curve, a cubic curve,... Are applied in order, and the one having the smallest discrepancy with the data point (what is quantitatively evaluated is called “residual”) is selected. But this doesn't work. This is because higher-order curves are better applied to data points, and if a sufficiently high-order curve is selected, one that passes through all data points (residual is zero) can be obtained. This does not meet the original purpose. This is because the purpose of fitting the curve is to estimate the "true curve" behind it from a small number of data with errors. In general, a mathematical formula having an unknown parameter that is introduced to estimate a true structure from erroneous data is called a “model”. Naturally, the larger the number of parameters to be adjusted (this is called “degree of freedom”), the better the data is matched (ie, the residual is reduced). And the greater the degree of freedom, the better the model fits the data error. How can we prevent this and choose the most appropriate model? This is the issue of “model selection”. (Regarding model selection criteria) The above problem can also be considered as follows. In curve fitting, the straight line is a special case where the quadratic coefficient of the quadratic curve is zero. Similarly, a quadratic curve is a special case of a cubic curve, and a cubic curve is a special case of a quartic curve. That is, each set of curves of degree has an inclusive relationship, a set of straight lines is a subset of a set of quadratic curves, a set of quadratic curves is a subset of a set of cubic curves, and any order The set of curves is also a subset of the higher order set. On the other hand, the residual corresponds to the “distance” between the observed data and the model. The model that minimizes the residual is the model closest to the observed data. However, if the model has an inclusive relationship, the closest model is of course chosen from the largest set. This is because the distance does not increase or decrease when limited to a subset. For this reason, in order to select an element of the subset, not only the distance but also some evaluation that gives priority to a model having a smaller degree of freedom is necessary. This is measured by the “model selection criteria” and generally takes the following form. (Residual) + (penalty for degree of freedom) If a model with a high degree of freedom is selected in order to reduce the residual of the first term, the second term becomes larger. On the other hand, if a model that minimizes the sum of the two is selected, a model that balances the two is selected. Various model selection criteria such as “Akaike AIC”, “Schwarz BIC”, “Rissanen MDL”, “Mallows Cp” have been proposed. However, which model is selected depends on the standard to be used and there is no absolute one ”(Kenya Kanaya, Understanding of moving images by model selection, TELECOM FRONTIER, No. 44, August 2004, pp. 4-10.) .
また、比較演算部130は、選択基準算出部133で算出された基準に従って、適用するべき色補正モデルを選択する色補正モデルの選択部132を備える。色補正モデルの選択部132は、選択基準算出部133で算出された基準に従って計算し、計算された結果が最小の値となるモデルを選択する。直感的には、計算結果が最小の値となるモデルが、パラメータの数が比較的少なくかつフィッティングが良好であるバランスの取れたモデルであるということができる。
In addition, the
また、比較演算部130は、選択された色補正モデルに基づいて補正パラメータを算出する補正パラメータ算出部134を備える。補正パラメータ算出部134が算出する補正パラメータは、例えばRGB色空間においては、RGB各々の白レベル、黒レベル、ガンマレベルの計9個の補正パラメータとしてもよい。
In addition, the
図5は、ビデオカメラシステム1000における色補正装置100の処理フローを説明する概要図である。以下、図8に示すフローに従って、順次色補正装置100の処理について説明する。
FIG. 5 is a schematic diagram illustrating a processing flow of the
(ステップS510)
色補正装置100は、リファレンス記憶部150に記憶しているカラー基準信号を再撮モニタ200に出力する。カラー基準信号は、マクベスチャートの画像信号やカラーバーの画像信号等、映像業界において色合い校正(correction)に用いられる複数の色領域から構成されたキャリブレーションターゲットの画像信号を用いることができる。
(Step S510)
The
また、リファレンス記憶部150に記憶しているカラー基準信号と同一のカラー基準信号を記憶した他のリファレンス出力装置を別途備え、色補正装置100からの出力に代えてリファレンス出力装置から再撮モニタ200に対して当該カラー基準信号を供給してもよい。
In addition, another reference output device that stores the same color reference signal as the color reference signal stored in the
(ステップS520)
再撮モニタ200が、色補正装置100から入力されたカラー基準信号に対応するカラー基準映像210を表示する。
(Step S520)
The
(ステップS530)
カラー基準映像210を表示する再撮モニタ200を、所望の演出効果が為された環境下でビデオカメラ300が撮影する。ここで、予め補正パラメータを算出しようとする場合の所望の演出効果とは、その後の現実のビデオカメラ300による本番撮影時に再撮モニタ200に対して為される照明等環境条件と同一のものとすることが好ましい。
(Step S530)
The
(ステップS540)
色補正装置100は、カラー基準映像210を表示した再撮モニタ200を撮影したビデオカメラ300の再撮モニタ撮影信号を、フレームバッファ140に取り込む。
(Step S540)
The
(ステップS550)
比較演算部130の多拘束FNS法または多拘束拡張FNS法による複数モデル演算部131は、複数の色補正モデルを算出する。色補正モデルは、後述する式(13)における自由度を示すパラメータhの個数(最大で12個)に対応して、異なるものとなる。
(Step S550)
The multiple
(ステップS560)
色補正モデルの選択部132は、選択基準算出部133が算出した基準に従い、その値が最小となる色補正モデルを最適なものとして選択する。一般に、色補正モデルは、パラメータの数を増大させて演算量を増大させる程より緻密かつフィッティングしたモデルとなることが知られている。一方で、パラメータの数を増大すればするほど演算負荷が増大するので演算処理時間や消費電力や発熱量が増大するトレードオフの関係にある。
(Step S560)
The color correction model selection unit 132 selects the color correction model having the minimum value as the optimum one in accordance with the criterion calculated by the selection
しかし、色補正装置100の色補正モデルの選択部132は、選択基準算出部133が算出した基準に従い、パラメータの数を増大させすぎずかつフィッティングとのバランスがとれたモデルを選択することができる。
However, the color correction model selection unit 132 of the
(ステップS570)
補正パラメータ算出部134は、ステップS560で選択された色補正モデルを用いて補正パラメータを算出する。典型的には、補正パラメータ算出部134は、RGB各々についての白レベル、黒レベル、ガンマレベルを算出することができる。
(Step S570)
The correction
(ステップS580)
色補正装置100の補正パラメータ記憶部110は、ステップS570で算出された補正パラメータを記憶する。なお、再撮モニタ200が複数台ある場合には、各再撮モニタに対応して補正パラメータを各々算出し記憶してもよい。上述したステップS510乃至ステップS580までが、現実の補正処理を入力映像に遂行するための準備段階である。なお、ステップS580の終了後、図2においてすでに説明した検証段階を有することとしてもよい。
(Step S580)
The correction
(ステップS590)
再撮モニタ200に表示させるVTR映像や撮影映像等の入力が、色補正装置100に対してあるかないかを判断する。再撮モニタ200に表示させるVTR映像や撮影映像等の入力がある場合には、ステップS5a0へと進む。再撮モニタ200に表示させるVTR映像や撮影映像等の入力がない場合には、ステップS590で待機する。
(Step S590)
It is determined whether or not there is an input to the
(ステップS5a0)
補正処理部120は、補正パラメータ記憶部110に記憶された補正パラメータを用いて入力映像を補正する。
(Step S5a0)
The
(ステップS5b0)
再撮モニタ200が、補正された入力映像230を表示する。
(Step S5b0)
The
(ステップS5c0)
補正された入力映像230を表示している再撮モニタ200を、ビデオカメラ300が撮影する。なお、ビデオカメラ300自体については、予め色合い調整済であることが好ましい。
(Step S5c0)
The
(ステップS5d0)
ビデオカメラ300で取得した映像を、マスタモニタ400に表示する。マスタモニタ400に表示された画像中には、補正された入力映像230を表示している再撮モニタ200(すなわち再撮モニタ入力映像420)が存在する。
(Step S5d0)
The video acquired by the
補正された入力映像230は、再撮モニタ200に対する演出やその表示特性を色補正装置100により予め補正されているので、ビデオカメラ300で再撮モニタ200と同アングル内に撮影されたニュースキャスター等の被写体と同等の自然な色合いとして、マスタモニタ400に表示されることとなる。
Since the corrected
次に、色補正装置100が遂行する色補正処理に関する本発明者による論文を一部引用して、その補正処理について説明する。
Next, a part of the paper by the present inventor regarding the color correction process performed by the
テレビ局で多く行われている「再撮」と呼ばれる演出のために複数のモニタ間の色調整の自動化を行う。既知の色レベルからなるカラーチャートを撮影した画像から、その複数の色レベルを自動的に検出して、それらが適正な色レベルになるように色補正を行う。カメラによって撮影された映像中のカラーチャートの色レベルには観測誤差や、色空間のレベルに関する制限によるガマット誤差が含まれる場合もある。そのような場合でも最適な色補正パラメータを推定する。 The color adjustment between multiple monitors is automated for the effect called “re-shooting” that is often performed in television stations. A plurality of color levels are automatically detected from an image obtained by photographing a color chart having known color levels, and color correction is performed so that they become appropriate color levels. The color level of the color chart in the video photographed by the camera may include an observation error and a gamut error due to restrictions on the level of the color space. Even in such a case, an optimum color correction parameter is estimated.
テレビ局では、スタジオセット内にモニタを配置して、その中に番組のタイトルや番組内容に則した様々な映像を表示して、その画面をカメラで撮影する「再撮」と呼ばれる演出を多く行っている。 In TV stations, a monitor is placed in the studio set, and various videos in accordance with the program title and program content are displayed in it. ing.
このときに問題となるのが、スタジオ照明と再撮モニタの色温度の違いにより、モニタ内の映像の色が正しく見えないことであり、色温度を合わせるためのモニタの色調整が頻繁に行われる。再撮モニタが複数台の場合には、モニタ間でも色を合わせなければならず、台数が増すほど、手間が掛かる。これは、撮影に使用する複数のカメラ間の色調整に関しても同様である。 The problem at this time is that the color of the image in the monitor does not look correct due to the difference in the color temperature between the studio lighting and the re-shooting monitor, and the color of the monitor is frequently adjusted to match the color temperature. Is called. In the case where there are a plurality of re-imaging monitors, the colors must be matched between the monitors. The same applies to color adjustment between a plurality of cameras used for photographing.
本稿では、このような複数のモニタあるいはカメラ間における色調整作業を自動化するために、マクベスチャートのような既知の色レベルからなるカラーチャート(色票)を撮影した画像(写真・ビデオ業界ではマクベスチャートとも呼ばれて、ほぼ標準的に用いられているものであり、カメラの場合には実際のカラーチャートを撮影し、モニタの場合にはカラーチャートをモニタ上に表示させてカメラで撮影すればよい)から、その複数の色レベルを自動的に検出して、それらが適正な色レベルになるように色補正を行う。カメラによって撮影された映像中のカラーチャートの色レベルには観測誤差や、色空間のレベルに関する制限によるガマット誤差が含まれる場合もある。そのような場合でも最適な色補正パラメータを推定する。 In this paper, in order to automate the color adjustment work between multiple monitors or cameras, an image of a color chart (color chart) composed of known color levels such as a Macbeth chart (Macbeth in the photo and video industry). It is also called a chart and is used almost standardly. In the case of a camera, an actual color chart is taken. In the case of a monitor, the color chart is displayed on the monitor and taken by the camera. The plurality of color levels are automatically detected, and color correction is performed so that they become appropriate color levels. The color level of the color chart in the video photographed by the camera may include an observation error and a gamut error due to restrictions on the level of the color space. Even in such a case, an optimum color correction parameter is estimated.
(色補正パラメータの最適推定)
色補正には多くの研究があるが、色補正パラメータの推定において、画像中に含まれる観測誤差や色空間のレベルに関する制限によるガマット誤差の影響は十分考慮されてはいない。色補正モデルの推定には、最小二乗法を用いたり、色補正モデルには、高次の多項式モデルや明示的なモデルを未知としてニューラルネットワークを用いている。
(Optimal estimation of color correction parameters)
Although there are many studies on color correction, the influence of gamut errors due to limitations on observation errors and color space levels included in images is not fully considered in the estimation of color correction parameters. For estimation of the color correction model, a least square method is used, or for the color correction model, a higher-order polynomial model or an explicit model is unknown and a neural network is used.
RGB3次元色空間において、カラーマトリクスと呼ばれる3×3行列の乗算と3次元オフセットベクトルの加算による次のような色変換モデルを考える([図9]参照)。
ここで、
入力はカラーチャートにおける真の色データ
であり、その出力(カラーチャートを撮影した観測画像における色データ)
には、正規分布に従う誤差
が含まれると仮定する。
Input is true color data in color chart
And its output (color data in the observed image of the color chart)
The error according to the normal distribution
Is included.
これは、いわゆる回帰問題(“出力誤差モデル”)であり、N組の色対応データ
が与えられたときの尤度は次のようになる。
The likelihood when is given is as follows.
ただし、ベクトル
の内積を
と書く。
とすると(一様等方性)、結局
The inner product of
Write.
(Uniform isotropic)
この尤度を最大にする
および
が色変換モデルのパラメータおよび残差分散の最尤推定量を与える。
Maximize this likelihood
and
Gives the maximum likelihood estimator of the parameters and residual variance of the color transformation model.
これは、説明変数
が与えられたとき、目的変数
の確率分布
が平均
、共分散行列
の(多次元)正規分布で与えられると仮定している。
This is an explanatory variable
Is given, the objective variable
Probability distribution
Is average
, Covariance matrix
Is assumed to be given by a (multidimensional) normal distribution.
尤度関数
の自然対数をとれば、対数尤度
を最大にする
および
を求めればよい。この対数尤度を最大にする
を求めるためには、
を求めればよいことがわかる。すなわち、色変換モデルの場合、最尤法は最小二乗法に帰着する。
Likelihood function
Taking the natural logarithm of, the log likelihood
Maximize
and
You can ask for. Maximize this log-likelihood
To ask for
It can be seen that That is, in the case of a color conversion model, the maximum likelihood method results in a least square method.
ところが、実際に必要なのは色変換パラメータではなく、その“逆変換”である色補正パラメータである。そこで、入力と出力を入れ替えて、色補正モデルのパラメータを推定する。したがって、
は同じものではない。その意味も“変換”とその逆変換である“補正”であることには注意が必要である。
However, what is actually required is not a color conversion parameter, but a color correction parameter that is "inverse conversion" thereof. Therefore, the parameters of the color correction model are estimated by switching the input and output. Therefore,
Are not the same. It should be noted that the meaning is “conversion” and “correction” which is the inverse conversion.
これは、入力に誤差が含まれる“入力誤差モデル”となるが、パラメータの2次形式で表されるから、解はモーメント行列の最小固有値に対する単位固有ベクトルとして推定することができる。しかし、得られる解には統計的な偏差が生じることが知られている。金谷は[数7]の問題を「幾何学的当てはめ」として一般的に定式化し、それを最適に推定する方法を提案している。 This is an “input error model” in which an error is included in the input, but is expressed in a quadratic form of parameters, so that the solution can be estimated as a unit eigenvector for the minimum eigenvalue of the moment matrix. However, it is known that a statistical deviation occurs in the obtained solution. Kanaya generally formulates the problem of [Equation 7] as a “geometric fit” and proposes a method for optimally estimating it.
すなわち、幾何学的当てはめと幾何学的AIC/幾何学的MDLについて、「幾何学的当てはめ」とは「拘束式」
の複数の実現値
からパラメータ
を推定する問題である。誤差は正規分布に従い、各
の正規化共分散行列
(一般には特異行列)は既知とする。この問題の「最尤推定」はマハラノビス距離
のもとで未知数
に関して最小化することである。その残差(
の最小値)を
とし、ノイズレベルを
とすると
は第1近似において自由度
の
分布に従う。ただし、
は拘束条件([数A1]のランク(独立なものの数)であり、
は未知数
の自由度である。これからノイズレベル
の次の不偏推定量が得られる。
Multiple realizations of
To parameters
It is a problem to estimate. The error follows a normal distribution and
Normalized covariance matrix of
(Generally, the singular matrix) is assumed to be known. The "maximum likelihood estimation" for this problem is the Mahalanobis distance
Unknown under
Is to minimize. Its residual (
Minimum value)
And the noise level
If
Is the degree of freedom in the first approximation
of
Follow the distribution. However,
Is the constraint condition ([number A1] rank (number of independent ones),
Is unknown
Is the degree of freedom. Noise level from now on
The next unbiased estimator is obtained.
拘束式[数A1]がデータ空間(変数
の空間)に
次元モデル(多様体)
を定義するとき、その幾何学的AICおよび幾何学的MDLは次のように定義される。
Space)
Dimensional model (manifold)
The geometric AIC and geometric MDL are defined as follows:
ここに
はある基準長であり、データ
が
となるように選ぶ。ただし、ノイズレベルは一般モデルにより[数A3]で推定する。
here
Is a reference length and data
But
Choose to be. However, the noise level is estimated by [Equation A3] by a general model.
ここでは、ChojnackiらのFNS法を複数の拘束式に対応させた新妻・金谷の多拘束FNS法による2次元平面の射影変換行列の最適推定に基づき、3次元アフィン変換による色補正パラメータの最適計算を定式化する。 Here, the optimal calculation of color correction parameters by three-dimensional affine transformation is based on the optimal estimation of the projective transformation matrix of a two-dimensional plane by the multi-constraint FNS method of Niitsu-Kanaya, which corresponds to the FNS method of Chojnacki et al. Is formulated.
(3次元アフィン変換)
式(1)の色変換は、3次元のアフィン変換であり、RGB3次元色空間における対応する色データ
をスケール定数
によって各成分のオーダーをそろえた4次元同次ベクトルを改めて
で表し、3次元アフィン変換行列を
行列
で表す。(色データの量子化ビット数8ビットのため
とした。)
The color conversion of equation (1) is a three-dimensional affine transformation, and the corresponding color data in the RGB three-dimensional color space
The scale constant
A new four-dimensional homogeneous vector with the order of each component
And the three-dimensional affine transformation matrix
line; queue; procession; parade
Represented by (Because the number of quantization bits of color data is 8 bits
It was. )
これらを用いると3次元アフィン変換は次のように書ける。
ただし、
は4次元ベクトルの第4成分を1とする正規化作用素である。行列
には定数倍の不定性がある。そこで以下、適当な定数を掛けて
と正規化する(行列のノルムは
と定義する)。[数9]を各成分毎に書くと、
Is a normalization operator in which the fourth component of the four-dimensional vector is 1. line; queue; procession; parade
Has a constant multiple indefiniteness. So, below, multiply by an appropriate constant.
(The matrix norm is
Defined). When [Equation 9] is written for each component,
13次元ベクトル
を次のように定義する。
Is defined as follows.
正規化
は[数13]の
が単位ベクトルであること(
)と等価である。3次元アフィン変換の各成分毎の[数10][数11][数12]から次の拘束式を得る。
Of [Equation 13]
Is a unit vector (
Is equivalent to The following constraint equation is obtained from [Equation 10] [Equation 11] [Equation 12] for each component of the three-dimensional affine transformation.
個の色データ
と対応する色データ
が与えられたとき、それらの間の3次元アフィン変換を最適に計算したい。データ
を代入した[数14][数15][数16]のベクトル
をそれぞれ
と書く。データに誤差があるとき、解くべき問題は
となるような13次元ベクトル
を計算することである。そのためには誤差の統計的性質を考慮する必要がある。各色データ
は真値
に期待値0、標準偏差
の正規分布に従う誤差が加わると仮定する。最尤推定は次の目的関数
を最小にする
を求めることである。
And corresponding color data
I want to optimally calculate the 3D affine transformation between them. data
[Expression 14] [Expression 15] [Expression 16]
Each
Write. When there is an error in the data, the problem to be solved is
13-dimensional vector such that
Is to calculate For that purpose, it is necessary to consider the statistical nature of the error. Each color data
Is a true value
It is assumed that an error according to the normal distribution of is added. Maximum likelihood estimation is the objective function
Minimize
Is to seek.
ただし、
は
を
要素とする
行列の(ムーア・ペンローズの)一般逆行列の
要素である。
Is
The
Element
Of the general inverse of the matrix (Moore Penrose)
Is an element.
ここで、
は
の正規化共分散行列である。
はデータ
の正規化共分散行列
から線形近似によって次のように計算できる。
Is
Is the normalized covariance matrix.
Is the data
Normalized covariance matrix of
Can be calculated by linear approximation as follows.
ただし、
は
のヤコビ行列(各成分の
に関する微分を並べた行列)に
を代入した値である(詳細省略)。
However,
Is
The Jacobian matrix of each component
A matrix with derivatives of
Is a value substituted by (details omitted).
●データ
の正規化共分散行列
は、再撮モニタを色補正する場合には、モニタに誤差のないカラーチャートを表示したものをカメラで撮影するため、
とする。
● Data
Normalized covariance matrix of
When recalibrating a re-shoot monitor, the camera displays a color chart with no error on the monitor.
And
●カメラを色補正する場合には、実際のカラーチャートをカメラで撮影するため、
とする。
は6次の単位正方行列である。
(多拘束FNS法)
[数18]を
で微分すると次のようになる。
And
Is a 6th order unit square matrix.
(Multiple restraint FNS method)
[Equation 18]
Differentiated by, it becomes as follows.
ただし、
行列
を次のように置いた。
line; queue; procession; parade
Was placed as follows.
上式中の
は次のように定義する。
を解けばよく、固有値問題を反復して解くChojnackiらのFNS法を用いることができる。多拘束FNS法の手順は次のようになる。
In the above formula
Is defined as follows.
And the FNS method of Chojnacki et al. That iteratively solves the eigenvalue problem can be used. The procedure of the multi-constraint FNS method is as follows.
1.
の初期値
を与える。
2.[数22]の
を計算する。
3.固有値問題
の最小固有値
に対する単位固有値ベクトル
を計算する。
4.符号を除いて
であれば次のアフィン変換行列
を返して終了する。そうでなければ
としてステップ2に戻る(
は単位ベクトルへの正規化)。ここで、解の更新に
を用いるのは、“中点”
を用いることを意味しており、これは反復の収束を行うための工夫である。
1.
Initial value of
give.
2. [Equation 22]
Calculate
3. Eigenvalue problem
Minimum eigenvalue of
Unit eigenvalue vector for
Calculate
4). Excluding the sign
Then the affine transformation matrix
Return and exit. Otherwise
Return to step 2 as
Is normalized to a unit vector). Here, to update the solution
Uses “midpoint”
This is a device for performing convergence of iteration.
(最小二乗法)
反復には初期値が必要であり、最も簡便なものが最小二乗法である。[数18]で
(クロネッカのデルタ:
で1、それ以外で0)と置くと次のようになる。
The iteration requires an initial value, and the simplest is the least square method. In [Equation 18]
(Kronecca Delta:
If it is set to 1 and 0 otherwise, it becomes as follows.
これは次のように変形される。
ただし、次のように置いた。
の2次形式であるから、これを最小化する単位ベクトル
はモーメント行列
の最小固有値に対する単位固有ベクトルである。
(精度の評価と理論限界)
However, it was placed as follows.
A unit vector that minimizes the quadratic form of
Is the moment matrix
Is the unit eigenvector for the smallest eigenvalue of.
(Accuracy evaluation and theoretical limits)
アフィン変換行列
を表す[数13]の13次元単位ベクトル
の推定値を
、誤差がない場合の真値を
とするとき、誤差
を次のように定義する。
13-dimensional unit vector of [Equation 13] representing
Estimate of
The true value when there is no error
Error when
Is defined as follows.
は
に直交する方向に射影した成分を得る射影行列である。
は13次の単位正方行列である。これから推定値
の共分散行列が次のように定義できる。
This is a projection matrix for obtaining a component projected in a direction orthogonal to.
Is a 13th order unit square matrix. Estimated value
Can be defined as follows.
金谷の統計的最適化理論によれば、どのように
を推定しても、それが不偏推定量であればその共分散行列
には次の下界があることが示される。
If it is an unbiased estimator, its covariance matrix
Indicates that there is the following lower bound.
ただし、
は左辺引く右辺が正値対称行列であることを示す。右辺の
は[数22]の行列
を色データの真値
の真値
を用いて計算した値である。また
はランク12の(ムーア・ペンローズの)一般逆行列を表す。(
対称行列
のランク
の一般逆行列
とは、
の大きい
個の固有値を逆数に置き換え、残りの固有値を0に置き換えた行列である。)
However,
Indicates that the right side minus the left side is a positive symmetric matrix. Right side
Is a matrix of [Equation 22]
The true value of the color data
True value of
This is a value calculated using. Also
Represents the general inverse matrix of rank 12 (Moore Penrose). (
Symmetric matrix
Rank
General inverse of
Is
Big of
It is a matrix in which the eigenvalues are replaced with reciprocals and the remaining eigenvalues are replaced with 0. )
[数29]の右辺は「KCR下界」と呼ばれる。[数29]の両辺の平方根を取り、[数28]より
であることに注意すると、次の平方平均二乗(RMS)誤差の下界が得られる。
Note that a lower bound on the following root mean square (RMS) error is obtained.
(レベル制約付き最適推定とモデル選択)
色空間における色変換処理であることから、厳密にはレベルに関する制限であるクリップ処理が付く([図10]参照)。
(Level-constrained optimal estimation and model selection)
Since it is a color conversion process in the color space, a clipping process, which is strictly a limitation on the level, is attached (see [FIG. 10]).
すなわち、[数1]の3次元アフィン変換による色変換は次のようになる。
ここで、
であり、
は色空間における最大レベルである。
は色データをRGB3次元色空間における3次元ベクトルと見なして、そのベクトルの方向を保存する様に各色成分を各上限下限成分にクリップする処理である(詳細省略)。
here,
And
Is the maximum level in color space.
Is a process of regarding color data as a three-dimensional vector in the RGB three-dimensional color space and clipping each color component to each upper and lower limit component so as to preserve the direction of the vector (details omitted).
色空間のレベルに関する制限であるクリップ処理によって生じるガマット誤差は、色補正パラメータの推定に影響を及ぼす。 Gamut errors caused by clipping, which is a limitation on the level of color space, affect the estimation of color correction parameters.
色補正パラメータの推定において、クリップ処理による影響を避ける素朴な方法としては、色空間の上限下限近傍の色データを用いない方法が考えられるが、そうすると、色空間の上限下限の色レベルにおいて、正しい色補正の結果が得られない。クリップ処理された色空間の上限下限近傍のディテールを復元することは不可能である。しかし、明らかに上限下限の色レベルにおける色補正の結果が異なることは望ましくない。 In the estimation of color correction parameters, a simple method that avoids the effects of clip processing is a method that does not use color data in the vicinity of the upper and lower limits of the color space. Color correction results cannot be obtained. It is impossible to restore details near the upper and lower limits of the clipped color space. However, it is obviously not desirable that the color correction results at the upper and lower color levels are different.
そこで、観測画像にはガマット誤差が含まれることを考慮して、色空間の上限下限における色データの対応を拘束条件としたレベル制約付き最適化によって色補正パラメータを推定する。最適化の手法には、変数間の内部拘束を自動的に満たす解を求めるようにFNS法を拡張した拡張FNS法を用いる。 Therefore, in consideration of the fact that the observed image includes a gamut error, the color correction parameter is estimated by optimization with level restriction using the correspondence of the color data in the upper and lower limits of the color space as a constraint condition. As an optimization method, an extended FNS method that is an extension of the FNS method so as to obtain a solution that automatically satisfies internal constraints between variables is used.
(内部拘束)
データ
は、
次元ベクトルであり、それらの真の値
は次の拘束式を満たすとする。
data
Is
Dimensional vectors, their true values
Suppose that the following constraint is satisfied.
ただし、
は未知の
次元ベクトルである。問題は誤差のあるデータ
から
を推定することである。
However,
Is unknown
It is a dimension vector. The problem is erroneous data
From
Is to estimate.
[数32]の形では未知ベクトルのスケールが不定となるので、
と正規化するが、これも一つの内部拘束である。そして、これ以外に
に次の
の内部拘束が存在するとする。
[数33]
Since the scale of the unknown vector is indefinite in the form of [Equation 32],
This is also an internal constraint. And besides this
To the next
Suppose that there are internal constraints.
[Equation 33]
これら
個の式は代数的に独立であるとする。最尤推定量
は
Let each expression be algebraically independent. Maximum likelihood estimator
Is
を内部拘束
のもとで最小化するものである。
The internal restraint
Minimize under.
ここで、
(多拘束拡張FNS法)
多拘束拡張FNS法の手順は次のようになる。
1.
の初期解を与える。
2.次の行列
を計算する。
を計算し、これにシュミットの直交化を施した正規直交系
を求める。
4.次の射影行列
を計算する。
は
次の単位正方行列である。
5.次の行列
を計算する。
個の固有値に対する単位固有ベクトル
を求める。
7.現在の解
を次のように
に射影した
を計算する。
を計算する。
なら
を返して終了する。そうでなければ、
としてステップ2(行列
の計算)に戻る。
(Multi-constrained extended FNS method)
The procedure of the multi-constrained extended FNS method is as follows.
1.
Gives the initial solution.
2. Next matrix
Calculate
And an orthonormal system with Schmidt orthogonalization
Ask for.
4). Next projection matrix
Calculate
Is
The next unit square matrix.
5). Next matrix
Calculate
Unit eigenvectors for the eigenvalues
Ask for.
7). Current solution
As follows
Projected onto
Calculate
Calculate
Then
Return and exit. Otherwise,
As step 2 (matrix
Return to (Calculation).
(色補正モデルの選択)
ガマット誤差が生じている場合、線形の色変換であったとしても、十分な色補正結果を得るためには、例えば、その逆変換である色補正モデルを多項式モデルとすると、高次の項が含まれる必要がある。しかし、ガマット誤差が含まれているかどうかは未知であり、また、ガマット誤差が含まれている場合にも、その色補正モデルも未知である。色補正モデルの次数にも限界があり、一般に過剰な高次項を含む色補正モデルによる色補正は不安定になる。そこで、複数の色補正モデルを当てはめた結果から、モデル選択によって現実的な色補正モデルを選択することを考える。
(Select color correction model)
If a gamut error has occurred, even if it is linear color conversion, in order to obtain a sufficient color correction result, for example, if a color correction model that is the inverse conversion is a polynomial model, a higher-order term is Need to be included. However, whether or not a gamut error is included is unknown, and when a gamut error is included, the color correction model is also unknown. The order of the color correction model is also limited, and color correction using a color correction model including an excessive high-order term is generally unstable. Therefore, it is considered to select a realistic color correction model by selecting a model from the result of fitting a plurality of color correction models.
「幾何学的当てはめ」における代表的なモデル選択の規準には「幾何学的AIC」と「幾何学的MDL」がある。金澤・金谷は画像モザイク生成のために幾何学的AICによる幾何学的モデル選択を用いた。松永・金谷は移動カメラのキャリブレーションのために幾何学的AICと幾何学的MDLによる幾何学的モデル選択を用いた。Kanataniは複数の運動物体の分離に幾何学的AICと幾何学的MDLを用いた。 Typical model selection criteria in “geometric fitting” include “geometric AIC” and “geometric MDL”. Kanazawa and Kanaya used geometric model selection by geometric AIC to generate image mosaic. Matsunaga and Kanaya used geometric model selection with geometric AIC and geometric MDL for calibration of mobile cameras. Kanatani used geometric AIC and geometric MDL to separate multiple moving objects.
3次元アフィン変換モデルを最も自由度の高い一般モデルとすると、その自由度は12であり、そのパラメータを最適に推定した結果の目的関数
の当てはめ残差
から二乗ノイズレベルを次のように推定する。
If the three-dimensional affine transformation model is a general model having the highest degree of freedom, the degree of freedom is 12, and the objective function is the result of optimal estimation of the parameters.
Fit residual
To estimate the square noise level as follows:
3次元アフィン変換モデルの幾何学的AICと幾何学的MDLは、パラメータを最適に推定した結果の目的関数の当てはめ残差
と[数43]より推定した二乗ノイズレベル
から次のように計算される。
And square noise level estimated from [Equation 43]
Is calculated as follows.
ここで
は基準長であり、色データの量子化ビット数8ビットの場合255とする。3次元アフィン変換のランクは3、補正モデルの次元は3である。モデルの次元の項は各モデルに共通の場合には除外してもよい。
here
Is the reference length, and is 255 when the number of quantization bits of the color data is 8 bits. The rank of the three-dimensional affine transformation is 3, and the dimension of the correction model is 3. Model dimension terms may be excluded if they are common to each model.
その他のモデルも同様にしてパラメータを最適に推定した結果の目的関数の当てはめ残差
と[数43]より推定した一般モデルの二乗ノイズレベル
から計算することができる。幾何学的AICあるいは幾何学的MDLが最小になるモデルを選択すればよい。
Similarly for other models, the residual of fitting the objective function as a result of optimal parameter estimation
And the square noise level of the general model estimated from [Equation 43]
Can be calculated from A model that minimizes geometric AIC or geometric MDL may be selected.
(実験)
(3次元アフィン変換による色補正パラメータの最適推定の数値シミュレーション)
理想カラーチャートによる基準画像となるように、観測画像を3次元アフィン変換により基準画像の色レベルに補正する行列
は次のようになる。
(Experiment)
(Numerical simulation of optimal estimation of color correction parameters by three-dimensional affine transformation)
A matrix that corrects the observed image to the color level of the reference image by three-dimensional affine transformation so that it becomes a reference image based on an ideal color chart
Is as follows.
カラーチャートの真の色レベルをデータ
として、対応する観測画像の色データ
に独立に期待値0、標準偏差
の正規乱数誤差を加えた。ただし、色データに対してはクリップ処理は行わなかった。そして計算したアフィン変換行列
を[数13]の単位ベクトル
の形に表し、その誤差を[数27]の
とする。これを各
で誤差を変えて1000回試行し、そのRMS誤差を次のように評価した。
As the color data of the corresponding observation image
The normal random error of was added. However, the clipping process was not performed on the color data. And the calculated affine transformation matrix
Is the unit vector of [Equation 13]
The error is expressed in [Formula 27].
And Each
The error was changed 1000 to try 1000 times, and the RMS error was evaluated as follows.
は誤差
の
回目の試行の値である。[図6](c)は横軸に
をとって最小二乗法、多拘束FNS法のRMS誤差EをKCR下界([数30]の右辺)とともにプロットしたものである。これから分かるように最小二乗法に対して多拘束FNS法は、色データがクリップ処理されていない場合においては、精度の理論限界にほぼ到達している。
Is the error
of
The value of the first attempt. [Fig. 6] (c) is on the horizontal axis.
The RMS error E of the least square method and the multi-constrained FNS method is plotted together with the KCR lower bound (the right side of [Equation 30]). As can be seen from this, the multi-constrained FNS method is almost reaching the theoretical limit of accuracy when the color data is not clipped with respect to the least square method.
(多項式モデルによる色補正パラメータのレベル制約付き最適推定とモデル選択)
[図7]は1次元理想ランプ(ramp)画像に色変換として線形変換を行った場合の簡単な例である。色補正パラメータを推定するために、クリップされていない色データのみを用いた場合と、クリップされていない色データとレベル制約を課した場合を比較する。
(Optimal estimation and model selection with level constraints for color correction parameters using a polynomial model)
[FIG. 7] is a simple example when linear conversion is performed as color conversion on a one-dimensional ideal ramp image. In order to estimate the color correction parameter, a case where only uncolored color data is used is compared with a case where level data is imposed with non-clipped color data.
多項式モデルを拡張FNS法により最適に推定する。図中、計算に用いた色データは「◇Data」で示す。色補正モデルには、多項式モデルとして1次から4次多項式を用いる。1次元多項式モデルによる色補正パラメータの最適推定は、拘束式が一つだから、次の目的関数Jを白・黒レベルを拘束条件として最小化すればよい。白・黒レベルの制約を課すことにより多項式モデルの自由度は2減る。1次式モデルの場合、2点をレベル制約とすると一意にパラメータが決まってしまうので、白レベルのみの拘束条件とした。
例えば、2次多項式モデルによる補正の場合、
であり、ある特定の色レベル
が特定の色レベル
に補正されるとすると、色レベルに関する内部拘束は次のようになる。
A certain color level
Is a specific color level
Is corrected, the internal constraint on the color level is as follows.
クリップされていない色データのみによる色補正結果では、クリップされた色データのレベルが正しく補正されていない[同図(c)]。白・黒レベルを拘束条件としたことにより、厳密に白・黒レベルに補正されている[同図(f)]。モデル選択の結果は、幾何学的AICにより4次多項式モデルが選ばれ、幾何学的MDLにより3次多項式モデルが選ばれた。幾何学的MDLの方が退化モデルを選ぶ傾向がある。 In the result of color correction using only the color data that is not clipped, the level of the clipped color data is not correctly corrected [(c) in the figure]. By using the white / black level as a constraint, the white / black level is strictly corrected [(f)]. As a result of model selection, a fourth-order polynomial model was selected by geometric AIC, and a third-order polynomial model was selected by geometric MDL. Geometric MDL tends to choose a degenerate model.
(カラーチャート検出の画像処理)
カラーチャートを撮影した画像から画像処理によってカラーチャートの色レベルを自動的に検出する。RGB成分毎の各々の画像を複数のしきい値により複数の2値画像へ変換する。それら複数の2値画像中の矩形領域を境界追跡処理によって抽出する。そのようにして得られた矩形領域の大きさと4つの頂点のなす角度、矩形領域内の画素値の平均と分散から、得られた矩形領域がカラーチャートの一部であるかどうかを判定する。そのようにして選別した矩形領域の左上頂点座標によってソートして2方向に整列させて、矩形領域全体として24色からなるカラーチャートを同定する。各矩形領域の重心座標からの一定領域中の画素の平均値をその領域における色レベルとして用いる。
(Image processing for color chart detection)
The color level of the color chart is automatically detected from the image obtained by photographing the color chart by image processing. Each image for each RGB component is converted into a plurality of binary images by a plurality of threshold values. Rectangular regions in the plurality of binary images are extracted by boundary tracking processing. Whether or not the obtained rectangular area is a part of the color chart is determined from the size of the rectangular area thus obtained, the angle formed by the four vertices, and the average and variance of the pixel values in the rectangular area. By sorting in the two directions according to the upper left vertex coordinates of the rectangular area thus selected, a color chart composed of 24 colors is identified as the entire rectangular area. The average value of pixels in a certain area from the barycentric coordinates of each rectangular area is used as the color level in that area.
(実画像実験(再撮モニタ映像の色補正))
画像処理によりカラーチャートの色レベルを自動的に検出する。理想カラーチャートの色レベルに揃えるための色補正パラメータを最適に推定して、撮影画像を色補正する。観測画像における特定の色レベル
がカラーチャート中の特定の色レベル
に色補正されるとする。3次元アフィン変換により色補正される場合には、
が内部拘束になる。
(Real image experiment (color correction of re-shoot monitor video))
The color level of the color chart is automatically detected by image processing. A color correction parameter for aligning with the color level of the ideal color chart is optimally estimated, and the captured image is color corrected. Specific color level in the observed image
Is a specific color level in the color chart
It is assumed that color correction is performed. When color correction is performed by three-dimensional affine transformation,
Becomes internal restraint.
カラーチャート中の白レベルを拘束条件として、多拘束拡張FNS法によりレベル制約付き最適推定した色補正パラメータによる色補正結果が得られる。ここでは、モニタ映像だけでなく撮影画像全体を色補正している。(実際には、モニタに映す映像のみ色補正する。) With the white level in the color chart as a constraint condition, a color correction result using a color correction parameter optimally estimated with a level constraint by the multi-constrained extended FNS method is obtained. Here, not only the monitor image but also the entire captured image is color-corrected. (Actually, color correction is performed only on the image projected on the monitor.)
カラーチャートの色レベルのRMS誤差は27.7であり、厳密に白バランスが取れている。レベル制約を課さずに多拘束FNS法により最適推定した場合のRMS誤差は19.3であり、それよりはやや上回っているが、最小二乗推定した場合の32.7よりは下回っている。 The RMS error of the color level of the color chart is 27.7, and the white balance is strictly taken. The RMS error when optimally estimated by the multi-constraint FNS method without imposing a level constraint is 19.3, which is slightly higher than that, but lower than 32.7 when the least square is estimated.
(まとめ)
再撮モニタの色補正を行うために、既知の色レベルからなるカラーチャートをモニタに表示したものをカメラで撮影して、撮影画像中のカラーチャートの色レベルを自動的に検出した。観測誤差やガマット誤差を考慮した最適なパラメータ推定による色補正を行った。
(Summary)
In order to perform color correction of the re-imaging monitor, a color chart having a known color level displayed on the monitor was photographed with a camera, and the color level of the color chart in the photographed image was automatically detected. Color correction was performed by optimal parameter estimation considering observation error and gamut error.
今後の課題としては、ビデオ信号において標準的に用いられる輝度色差色空間における色補正モデルによる色補正も検討することである。色補正モデルとして、3次元アフィン変換モデル、1次元多項式モデルを用いたが、その他のモデルも検討してもよい。具体的な応用例として、立体視映像の撮影への適用も考えられる。 As a future problem, it is also necessary to examine color correction by a color correction model in a luminance color difference color space that is typically used in video signals. As the color correction model, a three-dimensional affine transformation model and a one-dimensional polynomial model are used, but other models may be considered. As a specific application example, application to stereoscopic video shooting is also conceivable.
図8は、マクベスチャート等の標準的な既知のカラーチャート8210を、複数のビデオカメラ8300(1),8300(2)で撮影し、色補正装置8100を用いて補正する場合について説明する概要図である。カラーチャート8210は、4×6で24色の異なる色を示すマス目で構成されている。
FIG. 8 is a schematic diagram for explaining a case where a standard known
色補正装置8100は、複数のビデオカメラ8300(1),8300(2)で各々撮影した各映像の色合いが、カラーチャート8210に対応する所定の色合いとして取得されているか否かを検証し、カラーチャート8210に対応する所定の色合いとなるように補正した後、ビデオスイッチャ8900に出力する。
The
本発明は、放送用途や産業用途のビデオカメラシステム等に幅広く利用できる。 The present invention can be widely used for broadcasting and industrial video camera systems.
100・・色補正装置、200・・再撮モニタ・・、300・・ビデオカメラ、1000・・ビデオカメラシステム。 100..Color correction device, 200..Re-shoot monitor..300..Video camera, 1000..Video camera system.
Claims (6)
前記カラー基準信号に対応するカラー基準映像の表示をする再撮モニタを撮影した再撮モニタ撮影信号が入力されるバッファと、
前記バッファが記憶する再撮モニタ撮影信号と、前記リファレンス記憶部が記憶する前記カラー基準信号と、を比較し、前記再撮モニタ撮影信号と前記カラー基準信号との差異を低減するように補正パラメータを算出する比較演算部と、
算出された前記補正パラメータを記憶する補正パラメータ記憶部と、
入力された映像データに対して、前記補正パラメータ記憶部に記憶された前記補正パラメータに基づく補正処理を遂行する補正処理部と、を備える
ことを特徴とする色補正装置。 A reference storage unit for storing a color reference signal;
A buffer to which a recapture monitor photographing signal obtained by photographing a recapture monitor that displays a color reference image corresponding to the color reference signal;
The re-shooting monitor shooting signal stored in the buffer and the color reference signal stored in the reference storage unit are compared, and the correction parameter is set so as to reduce the difference between the re-shooting monitor shooting signal and the color reference signal. A comparison operation unit for calculating
A correction parameter storage unit for storing the calculated correction parameter;
A color correction apparatus comprising: a correction processing unit that performs correction processing based on the correction parameter stored in the correction parameter storage unit for input video data.
前記カラー基準信号を前記リファレンス記憶部から読み出して前記再撮モニタに出力することにより、前記カラー基準信号に対応する前記カラー基準映像を前記再撮モニタに表示させる
ことを特徴とする色補正装置。 The color correction apparatus according to claim 1,
The color correction apparatus, wherein the color reference image corresponding to the color reference signal is displayed on the re-shooting monitor by reading out the color reference signal from the reference storage unit and outputting it to the re-shooting monitor.
前記補正処理部は、前記リファレンス記憶部に記憶された前記カラー基準信号を読み出して、前記カラー基準信号に対して前記補正パラメータに基づく補正処理を遂行して検証信号を前記再撮モニタに出力し、
前記バッファは、前記検証信号を表示する前記再撮モニタを撮影した再撮モニタ撮影検証信号が入力され、
前記比較演算部は、前記リファレンス記憶部に記憶された前記カラー基準信号と、前記バッファが記憶する前記再撮モニタ撮影検証信号とを比較して、差異の有無を検証する
ことを特徴とする色補正装置。 The color correction apparatus according to claim 1 or 2,
The correction processing unit reads the color reference signal stored in the reference storage unit, performs correction processing based on the correction parameter for the color reference signal, and outputs a verification signal to the re-shooting monitor. ,
The buffer is inputted with a re-shooting monitor shooting verification signal obtained by shooting the re-shooting monitor displaying the verification signal,
The comparison operation unit compares the color reference signal stored in the reference storage unit with the re-shooting monitor shooting verification signal stored in the buffer, and verifies whether there is a difference. Correction device.
前記カラー基準信号に対応した前記カラー基準映像を表示する再撮モニタと、
前記再撮モニタを撮影した前記再撮モニタ撮影信号を前記色補正装置に出力するビデオカメラと、
を備えることを特徴とするビデオカメラシステム。 A color correction device according to any one of claims 1 to 3,
A re-shooting monitor that displays the color reference image corresponding to the color reference signal;
A video camera that outputs the recapture monitor photographing signal obtained by photographing the recapture monitor to the color correction device;
A video camera system comprising:
再撮モニタにカラー基準信号に対応するカラー基準映像を表示させる工程と、
前記再撮モニタに表示された前記カラー基準映像を撮影したビデオカメラから再撮モニタ撮影信号を取得する工程と、
取得した前記再撮モニタ撮影信号と、前記リファレンス記憶部に記憶するカラー基準信号と、を比較して補正パラメータを算出する工程と、
算出した前記補正パラメータを用いて入力された映像信号に対して補正処理を遂行する工程と、を有する
ことを特徴とする色補正方法。 A color correction method for correcting a hue of an image obtained by photographing a re-shooting monitor using the color correction device according to any one of claims 1 to 3,
Displaying a color reference image corresponding to the color reference signal on the re-shooting monitor;
Obtaining a recapture monitor shooting signal from a video camera that has captured the color reference image displayed on the recapture monitor;
A step of calculating a correction parameter by comparing the acquired re-shooting monitor photographing signal and a color reference signal stored in the reference storage unit;
Performing a correction process on a video signal input using the calculated correction parameter. A color correction method, comprising:
前記再撮モニタにカラー基準信号に対応するカラー基準映像を表示させる工程は、前記リファレンス記憶部に記憶する前記カラー基準信号を前記色補正装置が出力し、出力に基づいたカラー基準映像を前記再撮モニタに表示させる工程である
ことを特徴とする色補正方法。 The color correction method according to claim 5,
In the step of displaying the color reference image corresponding to the color reference signal on the re-shooting monitor, the color correction device outputs the color reference signal stored in the reference storage unit, and the color reference image based on the output is reproduced again. A color correction method characterized by being a step of displaying on an imaging monitor.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010129514A JP2011259047A (en) | 2010-06-07 | 2010-06-07 | Color correction device, color correction method, and video camera system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010129514A JP2011259047A (en) | 2010-06-07 | 2010-06-07 | Color correction device, color correction method, and video camera system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011259047A true JP2011259047A (en) | 2011-12-22 |
Family
ID=45474780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010129514A Pending JP2011259047A (en) | 2010-06-07 | 2010-06-07 | Color correction device, color correction method, and video camera system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011259047A (en) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013243621A (en) * | 2012-05-22 | 2013-12-05 | Toshiba Corp | Electronic device, electronic device control method, control program, and image display device |
GB2519364A (en) * | 2013-10-21 | 2015-04-22 | Nokia Corp | Method, apparatus and computer program product for facilitating color communication |
US9342872B2 (en) | 2014-05-30 | 2016-05-17 | Panasonic Intellectual Property Management Co., Ltd. | Color correction parameter computation method, color correction parameter computation device, and image output system |
JP2018152804A (en) * | 2017-03-15 | 2018-09-27 | 株式会社朋栄 | Optimum color matching processing method and image processing apparatus |
JP2019080100A (en) * | 2017-10-20 | 2019-05-23 | 株式会社朋栄 | High accuracy color correction processing method and high accuracy color correction processor |
CN113132693A (en) * | 2019-12-31 | 2021-07-16 | 长沙云知检信息科技有限公司 | Color correction method |
CN115188305A (en) * | 2021-04-02 | 2022-10-14 | 苏州佳世达电通有限公司 | Color correction method and system for tiled display device |
WO2023074897A1 (en) * | 2021-11-01 | 2023-05-04 | ソニーグループ株式会社 | Information processing device, program, and information processing system |
WO2023074477A1 (en) * | 2021-11-01 | 2023-05-04 | ソニーグループ株式会社 | Information processing device and information processing method |
WO2023095742A1 (en) * | 2021-11-29 | 2023-06-01 | ソニーグループ株式会社 | Information processing device and information processing method |
WO2023106114A1 (en) * | 2021-12-10 | 2023-06-15 | ソニーグループ株式会社 | Information processing method, information processing system, and program |
WO2023189456A1 (en) * | 2022-03-29 | 2023-10-05 | ソニーグループ株式会社 | Information processing device, information processing method, and recording medium |
KR102677453B1 (en) | 2023-11-20 | 2024-06-24 | 포스텍네트웍스(주) | Ai mixed-modeling based intelligent pixel correction led display system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62104389A (en) * | 1985-10-31 | 1987-05-14 | Nippon Tv Housoumou Kk | White balance adjustment system for color television camera |
JPH11234706A (en) * | 1998-02-16 | 1999-08-27 | Sharp Corp | Adjustment device for video image of television camera |
JP2007208629A (en) * | 2006-02-01 | 2007-08-16 | Seiko Epson Corp | Display calibration method, controller and calibration program |
JP2009147465A (en) * | 2007-12-11 | 2009-07-02 | Canon Inc | Camera control device, camera control method, camera system, and program |
-
2010
- 2010-06-07 JP JP2010129514A patent/JP2011259047A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62104389A (en) * | 1985-10-31 | 1987-05-14 | Nippon Tv Housoumou Kk | White balance adjustment system for color television camera |
JPH11234706A (en) * | 1998-02-16 | 1999-08-27 | Sharp Corp | Adjustment device for video image of television camera |
JP2007208629A (en) * | 2006-02-01 | 2007-08-16 | Seiko Epson Corp | Display calibration method, controller and calibration program |
JP2009147465A (en) * | 2007-12-11 | 2009-07-02 | Canon Inc | Camera control device, camera control method, camera system, and program |
Non-Patent Citations (2)
Title |
---|
CSNG200900392001; 龍口 健二: 'カラーマトリックスコレクター装置の開発' 映像情報メディア学会技術報告 第33巻 第32号, 20090730, 1-4頁, (社)映像情報メディア学会 * |
JPN6014000483; 龍口 健二: 'カラーマトリックスコレクター装置の開発' 映像情報メディア学会技術報告 第33巻 第32号, 20090730, 1-4頁, (社)映像情報メディア学会 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013243621A (en) * | 2012-05-22 | 2013-12-05 | Toshiba Corp | Electronic device, electronic device control method, control program, and image display device |
GB2519364A (en) * | 2013-10-21 | 2015-04-22 | Nokia Corp | Method, apparatus and computer program product for facilitating color communication |
US9462172B2 (en) | 2013-10-21 | 2016-10-04 | Nokia Technologies Oy | Method, apparatus and computer program product for facilitating color communication |
US9342872B2 (en) | 2014-05-30 | 2016-05-17 | Panasonic Intellectual Property Management Co., Ltd. | Color correction parameter computation method, color correction parameter computation device, and image output system |
JP2018152804A (en) * | 2017-03-15 | 2018-09-27 | 株式会社朋栄 | Optimum color matching processing method and image processing apparatus |
JP2019080100A (en) * | 2017-10-20 | 2019-05-23 | 株式会社朋栄 | High accuracy color correction processing method and high accuracy color correction processor |
JP7023490B2 (en) | 2017-10-20 | 2022-02-22 | 株式会社朋栄 | High-precision color correction processing method and high-precision color correction processing device |
CN113132693A (en) * | 2019-12-31 | 2021-07-16 | 长沙云知检信息科技有限公司 | Color correction method |
CN115188305A (en) * | 2021-04-02 | 2022-10-14 | 苏州佳世达电通有限公司 | Color correction method and system for tiled display device |
CN115188305B (en) * | 2021-04-02 | 2024-05-17 | 苏州佳世达电通有限公司 | Color correction method and system for spliced display device |
WO2023074897A1 (en) * | 2021-11-01 | 2023-05-04 | ソニーグループ株式会社 | Information processing device, program, and information processing system |
WO2023074477A1 (en) * | 2021-11-01 | 2023-05-04 | ソニーグループ株式会社 | Information processing device and information processing method |
WO2023095742A1 (en) * | 2021-11-29 | 2023-06-01 | ソニーグループ株式会社 | Information processing device and information processing method |
WO2023106114A1 (en) * | 2021-12-10 | 2023-06-15 | ソニーグループ株式会社 | Information processing method, information processing system, and program |
WO2023189456A1 (en) * | 2022-03-29 | 2023-10-05 | ソニーグループ株式会社 | Information processing device, information processing method, and recording medium |
KR102677453B1 (en) | 2023-11-20 | 2024-06-24 | 포스텍네트웍스(주) | Ai mixed-modeling based intelligent pixel correction led display system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011259047A (en) | Color correction device, color correction method, and video camera system | |
JP5285619B2 (en) | Camera system calibration | |
JP5997645B2 (en) | Image processing apparatus and method, and imaging apparatus | |
JP4159986B2 (en) | Method and system for calculating an image converted from a digital image | |
US9094672B2 (en) | Stereo picture generating device, and stereo picture generating method | |
KR100924121B1 (en) | Multi-view camera color calibration using color checker chart | |
JP2019534520A (en) | Neural network model training method, apparatus, and storage medium for image processing | |
JP6437310B2 (en) | System and method for calibrating display system color and saturation for practical use | |
WO2016101892A1 (en) | Computational multi-camera adjustment for smooth view switching and zooming | |
JP6455764B2 (en) | Color correction parameter calculation method, color correction parameter calculation device, and image output system | |
US7359575B2 (en) | Dynamic warp map generation system and method | |
CN110533618B (en) | Lens distortion correction method and photographic device | |
CN106342194B (en) | A kind of Infrared Image Non-uniformity Correction method of ground scene | |
CN108171735B (en) | Billion pixel video alignment method and system based on deep learning | |
US20150066923A1 (en) | Reference card for scene referred metadata capture | |
JP7246900B2 (en) | Image processing device, image processing system, imaging device, image processing method, program, and storage medium | |
JP6792872B2 (en) | Optimal color matching processing method and image processing equipment | |
Boroomand et al. | Saliency-guided projection geometric correction using a projector-camera system | |
WO2017181575A1 (en) | Two-dimensional image depth-of-field generating method and device | |
CN110580715A (en) | Image alignment method based on illumination constraint and grid deformation | |
KR20140074238A (en) | Method and apparatus for color transfer between images | |
Li et al. | Physics-based efficient full projector compensation using only natural images | |
KR101165810B1 (en) | A method and an apparatus extracting a depth image information using a stereo camera | |
JP7023490B2 (en) | High-precision color correction processing method and high-precision color correction processing device | |
GB2585197A (en) | Method and system for obtaining depth data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130527 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140227 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140708 |