JP2019097084A - Signal conversion device - Google Patents

Signal conversion device Download PDF

Info

Publication number
JP2019097084A
JP2019097084A JP2017226451A JP2017226451A JP2019097084A JP 2019097084 A JP2019097084 A JP 2019097084A JP 2017226451 A JP2017226451 A JP 2017226451A JP 2017226451 A JP2017226451 A JP 2017226451A JP 2019097084 A JP2019097084 A JP 2019097084A
Authority
JP
Japan
Prior art keywords
signal
lut
equation
cube
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017226451A
Other languages
Japanese (ja)
Other versions
JP7025904B2 (en
Inventor
裕一 日下部
Yuichi Kusakabe
裕一 日下部
金澤 勝
Masaru Kanazawa
勝 金澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
NHK Engineering System Inc
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
NHK Engineering System Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp, NHK Engineering System Inc filed Critical Nippon Hoso Kyokai NHK
Priority to JP2017226451A priority Critical patent/JP7025904B2/en
Publication of JP2019097084A publication Critical patent/JP2019097084A/en
Application granted granted Critical
Publication of JP7025904B2 publication Critical patent/JP7025904B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Systems (AREA)
  • Processing Of Color Television Signals (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

To provide a signal conversion device capable of reducing an error caused by interpolation and suppressing a data amount in a three-dimensional look-up table.SOLUTION: A signal conversion device 1 includes: 3D-LUT storage means 11 for storing a 3D-LUT; input conversion means 12 for dividing the signal value of an input video signal by a signal extraction interval and extracting the integer part and the decimal part of the divided value; 3D-LUT retrieving means 13 which retrieves the 3D-LUT and obtains a three-dimensional region corresponding to a cube of the integer part; and signal arithmetic processing means 14 which performs interpolation by a high-order equation representing a position corresponding to the decimal part in the three-dimensional region.SELECTED DRAWING: Figure 6

Description

本発明は、信号フォーマットを変換する信号変換装置に関する。   The present invention relates to a signal conversion device that converts a signal format.

映像技術の進展に伴い多くの信号フォーマットが提案されており、各信号フォーマットを変換する信号変換処理も研究されている。従来から存在しているのは、例えば、SDTV(Standard definition television)からHDTV(High definition television)への解像度(画素数)変換である。この他、映像信号の信号形式に関しては、RGB及びYP(輝度・色差信号)の変換、色空間に関しては、BT.709(HDTV)、BT.2020(4K,8K)及びDCI−P3(デジタルシネマ)、電気・光変換に関しては、SDR(標準ダイナミックレンジ)、HDR(ハイダミックレンジ:HLG方式やPQ方式)があげられる。これら各変換の組み合わせで10種類以上になる。このように多くの信号フォーマットがあるため、それらの間で個別の信号変換処理が必要になる。以下、信号形式を「形式」、色空間を「色域」、電気・光変換を「ガンマ」と略記する。 With the development of imaging technology, many signal formats are proposed, and signal conversion processing for converting each signal format is also studied. Conventionally, for example, resolution (number of pixels) conversion from SDTV (Standard definition television) to HDTV (High definition television). In addition, with respect to the signal format of the video signal, converts the RGB and YP B P R (luminance and color difference signals), with respect to color space, BT. 709 (HDTV), BT. As for 2020 (4K, 8K) and DCI-P3 (digital cinema), SDR (standard dynamic range) and HDR (hydrodynamic range: HLG method or PQ method) can be cited as examples of the electro-optical conversion. There are ten or more types of combinations of these conversions. Because there are so many signal formats, separate signal conversion processes are required among them. Hereinafter, the signal format is abbreviated as “format”, the color space is abbreviated as “color gamut”, and the electric / light conversion is abbreviated as “gamma”.

これらの信号変換処理は、変換前後の信号フォーマットに応じて処理内容が異なる。例えば、輝度・色差信号でガンマのみが異なる場合、信号変換処理は、図11に示すとおりである。つまり、YP信号を3×3マトリクスでRGB信号に変換し、HLGをルックアップテーブル(LUT:Look up table)でSDRに変換し、その後、RGB信号を3×3マトリクスでYP信号に変換する。一方、色域が異なる場合、信号変換処理は、図12に示すとおりである。つまり、PQ方式をLUTでリニアに変換し、BT.2020を3×3マトリクスでBT.709に変換し、その後、リニアをLUTでPQ方式に変換する。このように対象とする信号フォーマット毎に信号変換処理が異なるため、同一のハードウェアを利用して複数の信号フォーマットに対応することが困難である。 These signal conversion processes differ in processing content according to the signal format before and after conversion. For example, when only gamma is different in luminance and color difference signals, signal conversion processing is as shown in FIG. That, YP B P a R signal is converted into RGB signals at 3 × 3 matrix, the HLG lookup table: Convert the SDR in (LUT Look up table), then, YP B P RGB signals in 3 × 3 matrix Convert to R signal. On the other hand, when the color gamut is different, the signal conversion process is as shown in FIG. That is, the PQ method is linearly converted by the LUT, and the BT. BT.2020 in a 3 × 3 matrix. Convert to 709 and then convert the linear to PQ format with LUT. As described above, since signal conversion processing differs for each target signal format, it is difficult to use the same hardware to cope with a plurality of signal formats.

同一のハードウェアを利用して複数の信号フォーマットに対応する方法として、図13に示すように、信号変換処理を3次元のルックアップテーブル(3D−LUT:3 dimensions look up table)で行うことが考えられる(例えば、特許文献1)。この3次元ルックアップテーブルは、3次元空間で映像信号の入出力の対応関係を定めたものであり、様々な信号変換処理に対応可能である。   As a method corresponding to a plurality of signal formats using the same hardware, as shown in FIG. 13, signal conversion processing may be performed using a three-dimensional look-up table (3D-LUT). It is considered (for example, patent document 1). The three-dimensional look-up table defines the correspondence between the input and output of the video signal in the three-dimensional space, and can correspond to various signal conversion processes.

この3D−LUTは、そのデータ量が問題になることが多い。図13では、入力映像信号が30ビット(3次元×10ビット)で230=1.07×10のデータ領域が必要となり、出力映像信号が30ビットなので、それが30倍になる。つまり、3D−LUTには、1.07×10×30=3.2×1010ビットのデータ領域が必要となり、現実的でない。そこで、3D−LUTへの入力を粗くし(3D−LUTのデータを間引きし)、間引かれたデータを直線内挿で補間することが行われる。図13では、3D−LUTへの入力を1次元あたり100ステップで間引いたので、3D−LUTのデータ量を3.0×10ビットまで低減できる。 In this 3D-LUT, the amount of data often becomes a problem. In FIG. 13, the input video signal requires 30 bits (3D × 10 bits) and a data area of 2 30 = 1.07 × 10 9 is required, and since the output video signal is 30 bits, it is multiplied by 30. That is, the 3D-LUT requires a data area of 1.07 × 10 9 × 30 = 3.2 × 10 10 bits, which is not realistic. Therefore, the input to the 3D-LUT is roughened (the data of the 3D-LUT is thinned), and the thinned data is interpolated by linear interpolation. In FIG. 13, since the input to the 3D-LUT is thinned out at 100 steps per dimension, the data amount of the 3D-LUT can be reduced to 3.0 × 10 7 bits.

特開2016−139096号公報JP, 2016-139096, A

しかし、3D−LUTのデータを間引いた場合、補間による誤差が増大するという問題がある。   However, when data of the 3D-LUT is thinned out, there is a problem that an error due to interpolation increases.

そこで、本発明は、補間による誤差を少なくし、3次元ルックアップテーブルのデータ量を抑制できる信号変換装置を提供することを課題とする。   Then, this invention makes it a subject to reduce the difference | error by interpolation and to provide the signal conversion apparatus which can suppress the data amount of a three-dimensional lookup table.

前記した課題に鑑みて、本発明に係る信号変換装置は、入力信号の信号フォーマットを変換する信号変換装置であって、テーブル記憶手段と、抽出手段と、テーブル検索手段と、内挿手段と、を備える構成とした。   In view of the above problems, a signal conversion device according to the present invention is a signal conversion device that converts the signal format of an input signal, and includes a table storage unit, an extraction unit, a table search unit, and an interpolation unit. It was set as having composition.

かかる信号変換装置によれば、テーブル記憶手段は、前記入力信号の信号値を表す3次元空間に所定の信号抽出間隔で配置した格子点を頂点とする立方体と、前記出力信号の信号値を表す3次元空間で前記格子点に対応する頂点を有する3次元領域とを対応付けた3次元ルックアップテーブルを予め記憶する。   According to this signal conversion device, the table storage means represents a cube whose apex is a grid point arranged at a predetermined signal extraction interval in a three-dimensional space representing the signal value of the input signal, and represents the signal value of the output signal. A three-dimensional look-up table is stored in advance, which is associated with a three-dimensional area having vertices corresponding to the lattice points in a three-dimensional space.

また、抽出手段は、変換対象の前記入力信号が入力され、入力された当該変換対象の入力信号の信号値を前記信号抽出間隔で除算した値を求め、除算した当該値から、前記立方体の格子点を表す整数部分と当該立方体内での位置を表す小数部分とを抽出する。   Further, the extraction means receives the input signal to be converted, obtains the value obtained by dividing the signal value of the input signal to be converted by the signal extraction interval, and divides the value from the divided value to obtain the grid of the cube. Extract an integer part representing a point and a decimal part representing a position in the cube.

また、テーブル検索手段は、前記3次元ルックアップテーブルを検索し、前記整数部分の立方体に対応する3次元領域を取得する。
そして、内挿手段は、前記テーブル検索手段が取得した3次元領域内で前記小数部分に対応する位置を求める高次式が予め設定され、当該高次式で内挿を行うことで、前記小数部分の位置に対応した信号値の前記出力信号を生成する。
The table search means searches the three-dimensional lookup table to obtain a three-dimensional area corresponding to a cube of the integer part.
Then, a high-order equation for obtaining a position corresponding to the decimal part in the three-dimensional area acquired by the table search means is set in advance, and the interpolation means interpolates with the high-order equation to obtain the fraction The output signal of the signal value corresponding to the position of the part is generated.

本発明によれば、以下のような優れた効果を奏する。
本発明によれば、高次式での内挿を行うので、補間による誤差を少なくし、3次元ルックアップテーブルのデータ量を抑制することができる。
According to the present invention, the following excellent effects can be obtained.
According to the present invention, since interpolation is performed in a high order equation, an error due to interpolation can be reduced, and the data amount of the three-dimensional lookup table can be suppressed.

本発明の実施形態における信号変換処理の概略図である。It is the schematic of the signal conversion process in embodiment of this invention. 3D−LUTを説明する説明図である。It is explanatory drawing explaining 3D-LUT. 3D−LUTへの入力と、高次式内挿による出力との関係を説明する説明図である。It is explanatory drawing explaining the relationship between the input to 3D-LUT, and the output by high-order equation interpolation. 図3の立方体を平面で説明する説明図である。It is explanatory drawing which demonstrates the cube of FIG. 3 on a plane. 3D−LUTからの出力を説明する説明図である。It is explanatory drawing explaining the output from 3D-LUT. 本発明の実施形態に係る信号変換装置の構成を示すブロック図である。It is a block diagram showing composition of a signal conversion device concerning an embodiment of the present invention. 図6の信号変換装置による3D−LUT生成処理を示すフローチャートである。It is a flowchart which shows 3D-LUT production | generation processing by the signal conversion apparatus of FIG. 図6の信号変換装置による信号変換処理を示すフローチャートである。It is a flowchart which shows the signal conversion process by the signal conversion apparatus of FIG. 本発明の実施例において、3D−LUTのビット数と誤差との関係を示すグラフである。In the Example of this invention, it is a graph which shows the relationship between the bit number of 3D-LUT, and an error. 本発明の実施例において、3D−LUTのデータ量と誤差との関係を示すグラフである。In the Example of this invention, it is a graph which shows the relationship between the data amount of 3D-LUT, and an error. 従来の信号変換処理の一例を説明する説明図である。It is an explanatory view explaining an example of conventional signal conversion processing. 従来の信号変換処理の一例を説明する説明図である。It is an explanatory view explaining an example of conventional signal conversion processing. 従来の3D−LUTを説明する説明図である。It is explanatory drawing explaining the conventional 3D-LUT.

以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段には同一の符号を付し、説明を省略した。
まず、第1実施形態における信号変換処理を説明した後、第1実施形態に係る信号変換装置の構成及び動作を説明する。
Hereinafter, each embodiment of the present invention will be described in detail with reference to the drawings as appropriate. In each embodiment, the same reference numeral is given to the same means, and the description is omitted.
First, after the signal conversion processing in the first embodiment is described, the configuration and operation of the signal conversion device according to the first embodiment will be described.

(第1実施形態)
[信号変換処理]
この信号変換処理は、3D−LUTへの入力を粗くして3D−LUTのデータ量を減らすと共に、高次式での内挿を行うことで、単純な直線内挿よりも高精度な変換が可能なことを特徴とする。
First Embodiment
[Signal conversion processing]
In this signal conversion process, the input to the 3D-LUT is roughened to reduce the amount of data in the 3D-LUT, and high-order interpolation is performed to perform conversion with higher precision than simple linear interpolation. It is characterized by what is possible.

本実施形態では、入力信号及び出力信号として映像信号を扱うこととするが、これに限定されない。入力映像信号をVax,Vay,Vazの3次元とし、0〜Nの値をとる(あるシステムaのx,y,z信号)。出力映像信号をVbx,Vby,Vbzの3次元とする(別のシステムbのx,y,z信号)。これらVax〜Vbzの信号値は0〜Nの値をとり、10ビットの場合、その信号値は0〜1023となる(N=1023)。 In the present embodiment, video signals are treated as input signals and output signals, but the present invention is not limited to this. The input video signal has three dimensions of V ax , V ay , and V az , and takes values of 0 to N (x, y, z signals of a certain system a). The output video signal is three-dimensional of V bx , V by and V bz (x, y, z signals of another system b). The signal value of these V ax to V bz takes a value of 0 to N, and in the case of 10 bits, the signal value becomes 0 to 1023 (N = 1023).

3D−LUTへの入力を粗くするため、入力映像信号の所定ビットを抽出する。3D−LUTへの入力をmax,may,mazとし、3D−LUTからの出力をk個のf(max,may,maz)とする。このkは、3D−LUTの出力を求めるときの中間変数の数を表し、x,y,z信号の次元数(本実施形態では、次元数=3)の数倍となる。ここで、max,may,mazは、0〜N/Mの値をとる。このMは、信号抽出間隔を表し、映像信号の1次元あたりのビット数から抽出するビット数を減算し、減算後の値で2をべき乗すると求められる。例えば、映像信号が1次元あたり10ビット、上位4ビットを抽出する場合、信号抽出間隔M=210−4=2=64となる。 In order to roughen the input to the 3D-LUT, predetermined bits of the input video signal are extracted. The input to the 3D-LUT m ax, m ay , and m az, the output from the 3D-LUT k-number of f k (m ax, m ay , m az) and. This k represents the number of intermediate variables when obtaining the output of the 3D-LUT, which is a multiple of the number of dimensions of the x, y, z signals (in this embodiment, the number of dimensions = 3). Here, m ax , m ay and m az take values of 0 to N / M. M represents a signal extraction interval, and is obtained by subtracting the number of bits to be extracted from the number of bits per one dimension of the video signal, and powering 2 by the value after subtraction. For example, when the video signal extracts 10 bits and high order 4 bits per one dimension, the signal extraction interval M = 2 10 -4 = 2 6 = 64.

また、正確な出力映像信号をC(Vax,Vay,Vaz),C(Vax,Vay,Vaz),C(Vax,Vay,Vaz)とする。この正確な出力映像信号は、入力映像信号Vax,Vay,Vazに対応するシステムbのx,y,z信号であり、映像信号の変換に必要な処理通りに演算した信号である。つまり、正確な出力映像信号は、変換誤差が生じないように、3D−LUTを用いずに変換したときの真値の出力映像信号を表す。 Further, it is assumed that accurate output video signals are C x (V ax , V ay , V az ), C y (V ax , V ay , V az ), and C z (V ax , V ay , V az ). The accurate output video signals are the x, y and z signals of the system b corresponding to the input video signals V ax , V ay and V az , which are signals calculated according to the processing required for the conversion of the video signal. That is, the correct output video signal represents a true value output video signal when converted without using the 3D-LUT so that a conversion error does not occur.

図1に示すように、信号変換処理は、入力変換と、3D−LUTの検索と、信号演算処理とで構成される。
まず、入力変換について説明する。この入力変換では、後記する式(1),式(2)の演算を行い、入力映像信号Vax,Vay,Vazから整数部分max,may,maz及び残差Δx,Δy,Δzを求める。入力映像信号と3D−LUTの関係は、以下の式(1)で表される。つまり、式(1)は、入力映像信号Vax,Vay,Vazの信号値を信号抽出間隔Mで除算したときの整数部分max,may,mazを求めることを意味する。なお式(1)では、‘[]’が引数の整数を返す関数を表す。
As shown in FIG. 1, the signal conversion process is composed of input conversion, search of a 3D-LUT, and signal operation process.
First, input conversion will be described. In this input conversion, the following equations (1) and (2) are calculated, and the input video signals V ax , V ay and V az are converted into integer parts m ax , m ay and m az and residuals Δx, Δy, Determine Δz. The relationship between the input video signal and the 3D-LUT is expressed by the following equation (1). That is, equation (1) means that integer parts m ax , m ay and m az obtained by dividing the signal values of the input video signals V ax , V ay and V az by the signal extraction interval M are obtained. In equation (1), '[]' represents a function that returns an integer number of arguments.

Figure 2019097084
Figure 2019097084

また、以下の(2)で残差Δx,Δy,Δzを求める。この残差Δx,Δy,Δzは、入力映像信号Vax,Vay,Vazの信号値を信号抽出間隔Mで除算したときの小数部分を表し、0〜1.0の値をとる。 Further, residuals Δx, Δy, Δz are determined by the following (2). The residuals .DELTA.x, .DELTA.y, .DELTA.z represent fractional parts when the signal values of the input video signals V ax , V ay and V az are divided by the signal extraction interval M, and take values of 0 to 1.0.

Figure 2019097084
Figure 2019097084

図2には、入力映像信号Vax,Vay,Vazのそれぞれに対応したX軸,Y軸,Z軸からなる直交座標系の3次元空間を図示した。この場合、式(1)の整数部分max,may,mazは、図2の立方体の格子点に対応し、3D−LUTへの入力値となる。また、式(2)の残差Δx,Δy,Δzは、格子点同士の間、つまり、立方体内での位置を表す。
なお、図2では、X軸,Y軸,Z軸方向に5個の格子点を図示したが、格子点の数は特に限定されず、5個以上であってもよい。
FIG. 2 illustrates a three-dimensional space of an orthogonal coordinate system consisting of an X-axis, a Y-axis and a Z-axis corresponding to the input video signals V ax , V ay and V az respectively. In this case, the integer parts m ax , m ay and m az of the equation (1) correspond to the grid points of the cube of FIG. 2 and are input values to the 3D-LUT. Further, the residuals Δx, Δy, Δz in the equation (2) indicate positions between lattice points, that is, positions in the cube.
Although FIG. 2 illustrates five lattice points in the X-axis, Y-axis, and Z-axis directions, the number of lattice points is not particularly limited, and may be five or more.

続いて、3D−LUTの検索について説明する。
3D−LUTは、入力映像信号Vax,Vay,Vazの信号値を表す3次元空間に信号抽出間隔Mで配置した格子点を頂点とする立方体と、出力映像信号Vbx,Vby,Vbzの信号値を表す3次元空間で格子点に対応する頂点を有する3次元領域とを対応付けたものである。
Subsequently, search of the 3D-LUT will be described.
The 3D-LUT is a cube whose apexes are grid points arranged at signal extraction intervals M in a three-dimensional space representing signal values of input video signals V ax , V ay and V az , and output video signals V bx , V by , It corresponds to a three-dimensional area having a vertex corresponding to a grid point in a three-dimensional space representing a signal value of V bz .

この3D−LUTの検索では、整数部分max,may,mazにより3D−LUTを検索し、3D−LUTからの出力f(max,may,maz)を得る。ここで、3D−LUTへの入力がmax,may,mazの場合、3D−LUTからの出力が式(3)の3項となる。 The search for the 3D-LUT, the integer part m ax, m ay, searches the 3D-LUT by m az, obtaining the output f k from 3D-LUT (m ax, m ay, m az) a. Here, when the input to the 3D-LUT is m ax , m ay , and m az , the output from the 3D-LUT is the third term of the equation (3).

Figure 2019097084
Figure 2019097084

続いて、信号演算処理について説明する。この信号演算処理では、3D−LUTからの出力f(max,may,maz)及び残差Δx,Δy,Δzを用いた2次元式での内挿を行って、出力映像信号Vbx,Vby,Vbzを求める。 Subsequently, signal calculation processing will be described. In this signal computation processing is performed the output f k from 3D-LUT (m ax, m ay, m az) and the residual [Delta] x, [Delta] y, interpolation in two dimensions equation using Delta] z, output video signal V bx, V by, determine the V bz.

従来の信号演算処理では、以下の式(4)に示すように直線内挿を行い、出力映像信号Vbxを求めていた。この式(4)は、図3に示すように、入力映像信号の信号値を表す3次元空間において、整数部分max,may,mazに対応した立方体の内部で残差Δx,Δy,Δzが示す1点の位置を、3D−LUTの出力である8個の頂点fの値から直線内挿することを意味する。
なお、出力映像信号Vby,Vbzは、式(3)のf,fを用いて、式(4)の出力映像信号Vbxと同様に表すことができる。
In the conventional signal arithmetic processing, linear interpolation is performed as shown in the following equation (4) to obtain the output video signal Vbx . This equation (4) is, as shown in FIG. 3, residuals Δx, Δy, inside a cube corresponding to integer parts m ax , m ay and m az in a three-dimensional space representing signal values of the input video signal. This means that the position of one point indicated by Δz is linearly interpolated from the values of eight vertices f 1 which are the output of the 3D-LUT.
The output video signals V by and V bz can be expressed in the same manner as the output video signal V bx of equation (4) using f 2 and f 3 of equation (3).

Figure 2019097084
Figure 2019097084

本実施形態では、式(4)の直線内挿の代わりに2次式内挿を用いる。従来の式(4)は、残差Δx,Δy,Δzに関して1次式である。これに対し、2次式内挿では、残差Δx,Δy,Δzの2次式となるのである。単純に式(4)を2次式化すると複雑になるので、以下の式(5)のように、式(4)の出力映像信号Vbxと正確な出力映像信号Cとの差分h1xを用いる。 In the present embodiment, quadratic interpolation is used instead of the linear interpolation of equation (4). The conventional equation (4) is linear with respect to the residuals Δx, Δy, Δz. On the other hand, in the quadratic interpolation, the residuals Δx, Δy, Δz become quadratic expressions. Since the equation (4) is simply converted to a quadratic equation, it becomes complicated, so the difference h 1 x between the output video signal V bx of the equation (4) and the accurate output video signal C x as shown in the following equation (5) Use

Figure 2019097084
Figure 2019097084

この式(5)は、式(6)で表される特徴を有する。式(6)は、図3の立方体の頂点で差分h1xが0になることを表す。具体的には、式(6)は、残差Δx,Δy,Δzのどれもが0又は1の場合、差分h1x(Δx,Δy,Δz)が0となることを表す。

Figure 2019097084
The equation (5) has the feature represented by the equation (6). Equation (6) represents that the difference h 1 x becomes 0 at the vertex of the cube of FIG. Specifically, equation (6) represents that the difference h 1x (Δx, Δy, Δz) becomes 0 when all of the residuals Δx, Δy, Δz are 0 or 1.
Figure 2019097084

従って、2次式内挿などの高次式内挿を行うことにより、この差分h1xを小さくすればよい。当然のことながら、図3の3次元空間において、各立方体は3D−LUTへの入力max,may,mazに対応するので、他の立方体と隣接する(破線で図示)。このため、後記する補正項を加えるときは、その補正項が隣接する立方体の間で連続する必要がある(同一の補正値となる)。そうでなければ、信号値が連続する入力映像信号に対し、出力映像信号の信号値が不連続になる。この不連続を避けるためには、隣接する立方体の各頂点、各辺、各面において、補正値を同一にする必要がある。 Therefore, the difference h 1 x may be reduced by performing high-order interpolation such as second-order interpolation. Of course, in the three-dimensional space of FIG. 3, each cube corresponds to the input m ax , m ay , m az to the 3D-LUT, so it is adjacent to the other cube (shown in dashed lines). Therefore, when adding a correction term to be described later, the correction term needs to be continuous between adjacent cubes (the same correction value is obtained). Otherwise, the signal value of the output video signal becomes discontinuous with respect to the input video signal in which the signal values are continuous. In order to avoid this discontinuity, it is necessary to make the correction value the same at each vertex, each side, and each face of the adjacent cube.

以後、X軸を法線とする面(Y軸及びZ軸に平行な面)をY−Z面、Y軸を法線とする面(X軸及びZ軸に平行な面)をX−Z面、Z軸を法線とする面(X軸及びY軸に平行な面)をX−Y面とする。   Thereafter, a plane having the X axis as a normal (a plane parallel to the Y and Z axes) is a Y-Z plane, and a plane having the Y axis as a normal (a plane parallel to the X and Z axes) is an X-Z A plane (a plane parallel to the X-axis and the Y-axis) having a Z-axis as a normal is an XY plane.

ここで、補正項について補足説明を行う。正確な出力映像信号を求めるためには、図3の立方体に含まれる全ての点について、入力映像信号と出力映像信号との対応関係を定める必要がある。本実施形態では、3D−LUTのデータ量を少なくするために、整数部分max,may,mazに対応する立方体の頂点のみ、入力映像信号と出力映像信号との対応関係を定めている。そして、立方体に対応する3次元領域において、残差Δx,Δy,Δzに対応する1点を出力映像信号の信号値として補間する。このとき、単なる直線補間よりも正確な出力映像信号の信号値に近づくように、残差Δx,Δy,Δzからの計算式を補正項とする。本実施形態では、この補正項が残差Δx,Δy,Δzの2次式又は3次式となる。 Here, a supplementary explanation of the correction term will be made. In order to obtain an accurate output video signal, it is necessary to determine the correspondence between the input video signal and the output video signal for all points included in the cube of FIG. In the present embodiment, in order to reduce the data amount of the 3D-LUT, only the vertexes of the cube corresponding to the integer parts m ax , m ay , and m az define the correspondence between the input video signal and the output video signal. . Then, in a three-dimensional area corresponding to a cube, one point corresponding to the residuals Δx, Δy, Δz is interpolated as a signal value of the output video signal. At this time, the calculation formula from the residuals Δx, Δy, Δz is taken as a correction term so as to approach the signal value of the output video signal more accurate than mere linear interpolation. In this embodiment, this correction term is a quadratic expression or a cubic expression of the residuals Δx, Δy, Δz.

図4には、図3の立方体をX−Z面上で図示した。図4において、原点0を含む正方形(0≦X≦1,0≦Z≦1)が図3に実線で図示した立方体の平面に対応する。また、図4に破線で図示した正方形(0≦X≦1,1≦Z≦2)が、図3に破線で図示した立方体の平面に対応する。ここで、2つの正方形に含まれる全ての点について、正確な出力映像信号F(x,z)が分かっていることとする。実線の正方形に含まれる全ての点で内挿を行い、内挿した出力映像信号F(x,z)と、正確な出力映像信号F(x,z)との差が最小になるように3D−LUTを求める。破線の正方形についても、実線の正方形と同様、内挿した出力映像信号F(x,z)と、正確な出力映像信号F(x,z)との差が最小になるように3D−LUTを求める。図4に示すように、Z=1では、F(x,z)とF(x,z)が連続する必要があるが、別々にF(x,z)とF(x,z)を計算するのでその保障がない。このため、本実施形態では、隣接する正方形の境界で不連続にならないように、正方形の境界と境界以外の部分とを区別している。 FIG. 4 illustrates the cube of FIG. 3 on the XZ plane. In FIG. 4, a square (0 ≦ X ≦ 1, 0 ≦ Z ≦ 1) including the origin 0 corresponds to the plane of the cube illustrated by the solid line in FIG. Further, a square (0 ≦ X ≦ 1, 1 ≦ Z ≦ 2) illustrated by a broken line in FIG. 4 corresponds to a plane of a cube illustrated by a broken line in FIG. Here, it is assumed that the correct output video signal F (x, z) is known for all points included in the two squares. In order to minimize the difference between the interpolated output video signal F a (x, z) and the accurate output video signal F (x, z) by performing interpolation at all points included in the solid square. Determine 3D-LUT. As with the solid square, the 3D-LUT is used to minimize the difference between the interpolated output video signal F b (x, z) and the accurate output video signal F (x, z), also for the dashed square. Ask for As shown in FIG. 4, at Z = 1, F a (x, z) and F b (x, z) need to be continuous, but separately F a (x, z) and F b (x, There is no guarantee for calculating z). For this reason, in the present embodiment, the boundary of the square and the portion other than the boundary are distinguished so as not to be discontinuous at the boundary of the adjacent square.

図3に戻り、信号演算処理の説明を続ける。図3の立方体では、頂点が8個、X軸,Y軸,Z軸のそれぞれに平行な辺が各4本で合計12本、X軸,Y軸,Z軸のそれぞれを法線とする面が各2面で合計8面となる。例えば、i,iのそれぞれが0又は1の値をとるので、X軸に平行で2点(max,may+i,maz+i)を通る4辺での補正項をfline-x(max+Δx,may+i,maz+i)とする。また、iが0又は1の値をとるので、点(max+i,may,maz)を通る2つのY−Z面での補正項をfplane−yz(max+i,may+Δy,maz+Δz)とする。この場合、2次式内挿は、以下の式(7)で表される。 Returning to FIG. 3, the description of the signal arithmetic processing is continued. In the cube of FIG. 3, a plane having eight vertices, four sides each parallel to each of the X axis, Y axis, and Z axis with a total of 12 and each having X axis, Y axis, and Z axis as a normal There are a total of eight in two on each side. For example, since each of i 2 and i 3 takes a value of 0 or 1, the correction terms at four sides passing two points (m ax , m ay + i 2 , m az + i 3 ) parallel to the X axis are f It is assumed that line-x (m ax + Δx, m ay + i 2 , m az + i 3 ). Also, since i 1 takes a value of 0 or 1, the correction terms in the two YZ planes passing through the point (m ax + i 1 , m ay , m az ) are f plane −yz (m ax + i 1 , It is set as ma y + Δy, m az + Δz). In this case, the quadratic interpolation is expressed by the following equation (7).

Figure 2019097084
Figure 2019097084

式(7)の右辺において、3個の補正項fline−x〜fline−zは、それぞれX軸,Y軸,Z軸に平行な辺での補正値を内挿するものである。また、3個の補正項fplane−yz〜fplane−xyは、Y−Z面,X−Z面,X−Y面での補正値を内挿するものである。最後の補正項fvolは、各辺及び各面での補正値が0となるものである。
なお、出力映像信号Vby,Vbzと正確な出力映像信号C,Cとの差分h1y,h1zについても、式(5)〜式(7)と同様に表すことができる。
In the right side of the equation (7), three correction terms fline -x to fline -z interpolate correction values on sides parallel to the X axis, Y axis, and Z axis, respectively. The three correction terms f plane-yz to f plane-xy interpolate correction values in the Y-Z plane, the X-Z plane, and the XY plane. The final correction term f vol is such that the correction value on each side and each surface is zero.
The differences h 1y and h 1z between the output video signals V by and V bz and the accurate output video signals C y and C z can also be expressed in the same manner as in equations (5) to (7).

ここで、式(7)の前提として、各補正項は、以下の式(8)のように開始点及び終了点で0にする必要がある。例えば、式(8)では、残差Δxが0又は1の場合、補正項fline―xが0になることを表す。なお、開始点及び終了点とは、残差Δx,Δy,Δzが0又は1のときを表し、図2の立方体の頂点(整数部分max,may,maz)に対応する。 Here, as a premise of the equation (7), each correction term needs to be 0 at the start point and the end point as in the following equation (8). For example, in the equation (8), when the residual Δx is 0 or 1, it represents that the correction term f line -x becomes 0. The start point and the end point indicate when the residuals Δx, Δy, Δz are 0 or 1, and correspond to the vertexes (integer parts m ax , m ay , m az ) of the cube in FIG.

Figure 2019097084
Figure 2019097084

この式(8)の条件により、例えば、残差Δx=0となるY−Z面上において、式(7)は、各2辺のY軸成分の補正項fline―y(max,may+Δy,maz+i)、Z軸成分の補正項fline―z(max,may+i,maz+Δz)、Y−Z面の補正項fplane―yz(max,may+Δy,maz+Δz)のみで表される。これらの補正項は、このY−Z面で完結するため、隣接する立方体で同一の補正値となる。従って、式(7)では、補正項fline−x〜fline−zによる各辺の補正が他辺に影響せず(補正値=0)、補正項fplane−yz〜fplane−xyによる各面の補正が他面に影響せず(補正値=0)、補正項fvolによる補正が辺及び面に影響しない(補正値=0)。 Under the condition of this equation (8), for example, on the Y-Z plane where residual Δx = 0, equation (7) can be used as a correction term f line-y (m ax , m ay + Δy, m az + i 3 ), correction term of the Z-axis component f line-z (m ax , ma y + i 2 , m az + Δz), correction term of the Y-Z plane f plane-yz (m ax , m ay It is represented only by + Δy, m az + Δz). Since these correction terms are completed in this YZ plane, they have the same correction value in adjacent cubes. Therefore, in the equation (7), the correction of each side by the correction terms f line -x to f line -z does not affect the other side (correction value = 0), and the correction terms f plane -yz to f plane -xy The correction of each surface does not affect the other surface (correction value = 0), and the correction by the correction term f vol does not affect the sides and surfaces (correction value = 0).

2次式内挿では、基本となる2次式gを以下の式(9)のように定義する(残差Δy,Δzも同様)。この式(9)は、残差Δxが0又は1の場合、戻り値が0となる関数を表す。また、式(7)の各補正項は、以下の式(10)で表される。 In quadratic interpolation, the basic quadratic equation g 2 is defined as the following equation (9) (the same applies to the residuals Δy and Δz). This equation (9) represents a function whose return value is 0 when the residual Δx is 0 or 1. Moreover, each correction term of Formula (7) is represented by the following Formula (10).

Figure 2019097084
Figure 2019097084

Figure 2019097084
Figure 2019097084

この式(10)を用いると、式(7)を以下の式(11)のように定義できる。   Using this equation (10), equation (7) can be defined as the following equation (11).

Figure 2019097084
Figure 2019097084

そして、式(5)及び式(11)をまとめ、正確な出力映像信号Cを以下の式(12)で近似する(正確な出力映像信号C,Cも同様)。この式(12)は、整数部分max,may,mazの立方体に対応する3次元領域内で、残差Δx,Δy,Δzに対応する位置を表すものである。 Then, Equation (5) and Equation (11) are put together, and the accurate output video signal Cx is approximated by the following Equation (12) (the same applies to the accurate output video signals C y and C z ). This equation (12) represents a position corresponding to the residuals Δx, Δy, Δz within a three-dimensional area corresponding to the cube of the integer parts m ax , m ay , m az .

Figure 2019097084
Figure 2019097084

図1の信号変換処理に対応させると、信号演算処理が式(12)で表される。従って、3D−LUTの出力は、式(12)に含まれる各係数となる。つまり、3D−LUTの出力は、立方体の各頂点での補正項に関係する係数fが8個、立方体の各辺での補正項に関係する係数Cline−x〜Cline−zが12個、立方体の各面での補正項に関係する係数Cplane−yz〜Cplane−xyが6個、立方体内部での補正項に関係する係数Cvolが1個、合計27個となる。 In correspondence with the signal conversion process of FIG. 1, the signal arithmetic process is expressed by equation (12). Therefore, the output of the 3D-LUT is each coefficient included in equation (12). That is, the output of the 3D-LUT has eight coefficients f 1 related to the correction terms at each vertex of the cube, and 12 coefficients C line-x to C line-z related to the correction terms at each side of the cube The number of coefficients C plane-yz to C plane-x x related to the correction terms in each surface of the cube and the cube is six, and the coefficient C vol related to the correction terms in the cube is one in total, 27 in total.

言い換えるなら、式(12)の係数f〜Cplane−xyは、入力映像信号における立方体と出力映像信号における3次元領域との頂点、辺、面の位置関係を表している。例えば、図3の立方体に含まれる8個の頂点(max,may,maz)〜(max+1,may+1,maz+1)は、図5の3次元領域の8個の頂点f(max,may,maz)〜f(max+1,may+1,maz+1)に対応する。
また、式(12)の係数Cvolは、図5の3次元領域内で残差Δx,Δy,Δzに対応する位置を表す。
In other words, the coefficients f 1 to C plane-xy in equation (12) represent the positional relationship between the cube, in the input video signal, and the three-dimensional region in the output video signal, with respect to vertices, sides, and faces. For example, eight vertexes contained in a cube of FIG. 3 (m ax, m ay, m az) ~ (m ax + 1, m ay + 1, m az +1) is eight vertexes of the three-dimensional region of FIG. 5 It corresponds to f 1 (m ax , m ay , m az ) to f 1 (m ax +1, m ay +1, m az +1).
Further, the coefficient C vol of the equation (12) represents a position corresponding to the residuals Δx, Δy, Δz in the three-dimensional area of FIG.

ここで、立方体の各頂点は隣接する8個の立方体で共有し、各辺は4個の立方体で共有し、各面は2個の立方体で共有する。その結果、3D−LUTからの出力は、以下の式(13)のように8個となる。
なお、これら係数は出力映像信号Cに関するものなので、出力映像信号C,Cも同様に必要となり、3D−LUTからの出力が式(13)の3倍となる。
Here, each vertex of a cube is shared by eight adjacent cubes, each side is shared by four cubes, and each face is shared by two cubes. As a result, the output from the 3D-LUT is eight as shown in the following equation (13).
Since these coefficients relate the output video signal C x, the output video signal C y, C y likewise required, the output from the 3D-LUT is three times of the formula (13).

Figure 2019097084
Figure 2019097084

以下、式(12)の各係数の算出方法、つまり、3D−LUTの生成方法について説明する。式(12)は、正確な出力映像信号Cの近似式なので、正確な出力映像信号Cと近似式との誤差gを以下の式(14)のように定義する(正確な出力映像信号C,Cも同様)。この式(14)は、式(12)で内挿した出力信号と、真値である正確な出力映像信号Cとの誤差(補間による誤差)gを表すものである。 Hereinafter, the calculation method of each coefficient of Formula (12), ie, the production | generation method of 3D-LUT, is demonstrated. The equation (12) is an approximation of the accurate output video signal C x , so the error g between the accurate output video signal C x and the approximation is defined as the following equation (14) (accurate output video signal The same applies to C y and C z ). The equation (14) represents an error (error due to interpolation) g between the output signal interpolated by the equation (12) and the accurate output video signal C x which is a true value.

Figure 2019097084
Figure 2019097084

各係数は、この誤差gが最小になるように、以下の式(15)の一般式で表される。なお、式(15)のMinは、最小値のことである。すなわち、式(15)は、同式の解が最小になるように式(14)に含まれるCline等の係数を求めることを意味する。 Each coefficient is expressed by the following general formula (15) so that this error g is minimized. In addition, Min of Formula (15) is a minimum value. That is, equation (15) means that coefficients such as C line included in equation (14) are determined such that the solution of the equation is minimized.

Figure 2019097084
Figure 2019097084

本実施形態では、立方体の頂点での補正項に関係する係数f、立方体の各辺での補正項に関係する係数Cline−x〜Cline−z、立方体の各面での補正項に関係する係数Cplane−yz〜Cplane−xy、立方体内部での補正項に関する係数Cvolを別々に求めることとする。例えば、X軸に平行で点(max,may+i,maz+i)を通る辺の係数Cline-xは、以下の式(16)から計算できる。 In this embodiment, the coefficient f 1 related to the correction term at the vertex of the cube, the coefficient C line-x to C line-z related to the correction term on each side of the cube, and the correction term on each surface of the cube The related coefficients C plane-yz to C plane-xy and the coefficient C vol regarding the correction term inside the cube are separately determined. For example, the coefficient C line-x of the side parallel to the X axis and passing the point (m ax , m ay + i 2 , m az + i 3 ) can be calculated from the following equation (16).

Figure 2019097084
Figure 2019097084

点(max+i,may,maz)を通るY−Z面での係数Cplane−yz(max+i,may+Δy,maz+Δz)は、以下の式(17)から計算できる。 The coefficient C plane-yz (m ax + i 1 , m ay + Δy, m az + Δz) in the YZ plane passing through the point (m ax + i 1 , m ay , m az ) is calculated from the following equation (17) it can.

Figure 2019097084
Figure 2019097084

立方体内部での係数Cvolは、以下の式(18)から計算できる。 The coefficient C vol inside the cube can be calculated from the following equation (18).

Figure 2019097084
Figure 2019097084

[信号変換装置の構成]
図6を参照し、信号変換装置1の構成について説明する。
信号変換装置1は、入力映像信号の信号フォーマットを変換するものである。図6に示すように、信号変換装置1は、3D−LUT生成手段(テーブル生成手段)10と、3D−LUT記憶手段(テーブル記憶手段)11と、入力変換手段(抽出手段)12と、3D−LUT検索手段(テーブル検索手段)13と、信号演算処理手段(内挿手段)14とを備える。
[Configuration of signal converter]
The configuration of the signal conversion device 1 will be described with reference to FIG.
The signal conversion device 1 converts the signal format of an input video signal. As shown in FIG. 6, the signal conversion device 1 includes a 3D-LUT generation unit (table generation unit) 10, a 3D-LUT storage unit (table storage unit) 11, an input conversion unit (extraction unit) 12, and 3D. -LUT search means (table search means) 13 and signal operation processing means (interpolation means) 14 are provided.

3D−LUT生成手段10は、予め設定された誤差算出式により誤差が最小になる係数を求め、求めた係数を3D−LUTとして3D−LUT記憶手段11に書き込むものである。
本実施形態では、3D−LUT生成手段10は、誤差算出式として式(14)が予め設定され、3D−LUT生成用の入力映像信号及び正確な出力映像信号が入力される。そして、3D−LUT生成手段10は、この式(14)を用いて、3D−LUT生成用の入力映像信号及び正確な出力映像信号から、3D−LUTとして、係数f〜Cvolを求める。
その後、3D−LUT生成手段10は、求めた3D−LUTを3D−LUT記憶手段11に書き込む。
The 3D-LUT generation unit 10 obtains a coefficient that minimizes the error according to a preset error calculation formula, and writes the obtained coefficient in the 3D-LUT storage unit 11 as a 3D-LUT.
In the present embodiment, in the 3D-LUT generation unit 10, equation (14) is preset as an error calculation equation, and an input video signal for 3D-LUT generation and an accurate output video signal are input. Then, the 3D-LUT generation unit 10 obtains coefficients f 1 to C vol as a 3D-LUT from the input video signal for 3D-LUT generation and the accurate output video signal using this equation (14).
Thereafter, the 3D-LUT generation unit 10 writes the obtained 3D-LUT into the 3D-LUT storage unit 11.

3D−LUT記憶手段11は、3D−LUTを記憶するメモリ等の記憶装置である。この3D−LUTは、3D−LUT生成手段10により書き込まれ、後記する3D−LUT検索手段13により参照される。   The 3D-LUT storage unit 11 is a storage device such as a memory that stores the 3D-LUT. The 3D-LUT is written by the 3D-LUT generation unit 10 and referred to by the 3D-LUT search unit 13 described later.

入力変換手段12は、変換対象の入力映像信号が入力され、入力された入力映像信号の信号値を信号抽出間隔で除算した値を求め、除算した値から整数部分と小数部分とを抽出するものである。
具体的には、入力変換手段12は、前記した式(1)を用いて、入力映像信号Vax,Vay,Vazの信号値を信号抽出間隔Mで除算したときの整数部分max,may,mazを求める。また、入力変換手段12は、前記した式(2)を用いて、入力映像信号Vax,Vay,Vazの信号値を信号抽出間隔Mで除算したときの残差Δx,Δy,Δzを求める。
その後、入力変換手段12は、求めた整数部分max,may,mazを3D−LUT検索手段13及び信号演算処理手段14に出力し、求めた残差Δx,Δy,Δzを信号演算処理手段14に出力する。
The input conversion means 12 receives an input video signal to be converted, obtains a value obtained by dividing the signal value of the input video signal input by the signal extraction interval, and extracts an integer part and a decimal part from the divided value It is.
Specifically, the input conversion means 12 divides the signal values of the input video signals V ax , V ay and V az by the signal extraction interval M using the above equation (1), and the integer part m ax , Ask for m ay and m az . Further, the input conversion means 12 divides the signal values of the input video signals V ax , V ay and V az by the signal extraction interval M using the above equation (2) to obtain residuals Δx, Δy and Δz Ask.
Thereafter, the input conversion means 12 outputs the obtained integer parts m ax , m ay , m az to the 3D-LUT search means 13 and the signal operation processing means 14 and performs the signal operation processing on the obtained residuals Δx, Δy, Δz. Output to means 14.

3D−LUT検索手段13は、3D−LUT記憶手段11の3D−LUTを検索し、入力変換手段12が求めた整数部分の立方体に対応する3次元領域を取得するものである。
具体的には、3D−LUT検索手段13は、3D−LUTから、整数部分max,may,mazの立方体に対応する3次元領域を表す係数f〜Cvolを取得する。
その後、3D−LUT検索手段13は、取得した係数を信号演算処理手段14に出力する。
The 3D-LUT search unit 13 searches the 3D-LUT of the 3D-LUT storage unit 11 and acquires a three-dimensional area corresponding to the cube of the integer part obtained by the input conversion unit 12.
Specifically, the 3D-LUT search unit 13 acquires, from the 3D-LUT, coefficients f 1 to C vol representing three-dimensional regions corresponding to cubes of integer parts m ax , m ay , and m az .
Thereafter, the 3D-LUT search unit 13 outputs the acquired coefficient to the signal operation processing unit 14.

信号演算処理手段14は、予め設定された高次式で内挿を行うことで、残差が示す位置に対応した信号値の出力信号を生成するものである。
本実施形態では、信号演算処理手段14は、2次式として式(12)が予め設定され、この式(12)に、整数部分max,may,maz、残差Δx,Δy,Δz及び係数f〜Cvolを適用し、出力映像信号の信号値を求める。
その後、信号演算処理手段14は、求めた出力映像信号を外部に出力する。
The signal arithmetic processing means 14 generates an output signal of a signal value corresponding to the position indicated by the residual by performing interpolation with a preset high-order equation.
In the present embodiment, the signal arithmetic processing means 14 has equation (12) set in advance as a quadratic equation, and in this equation (12), integer parts m ax , m ay , m az , residuals Δx, Δy, Δz The coefficients f 1 to C vol are applied to obtain the signal value of the output video signal.
Thereafter, the signal arithmetic processing means 14 outputs the obtained output video signal to the outside.

[信号変換装置の動作:3D−LUT生成処理]
図7を参照し、3D−LUT生成処理の手順について説明する。
図7に示すように、3D−LUT生成手段10は、予め設定した誤差算出式を用いて、3D−LUT生成用の入力映像信号及び出力映像信号から3D−LUTを生成する(ステップS1)。
3D−LUT生成手段10は、ステップS1で求めた3D−LUTを3D−LUT記憶手段11に書き込む(ステップS2)。
[Operation of signal conversion device: 3D-LUT generation processing]
The procedure of the 3D-LUT generation process will be described with reference to FIG.
As shown in FIG. 7, the 3D-LUT generation unit 10 generates a 3D-LUT from the input video signal and the output video signal for 3D-LUT generation using an error calculation formula set in advance (step S1).
The 3D-LUT generation unit 10 writes the 3D-LUT obtained in step S1 in the 3D-LUT storage unit 11 (step S2).

[信号変換装置の動作:信号変換処理]
図8を参照し、信号変換処理の手順について説明する。
入力変換手段12は、入力映像信号の信号値を信号抽出間隔で除算した値を求め(ステップS10)、除算した値から整数部分と残差とを抽出する(ステップS11)。
3D−LUT検索手段13は、3D−LUTを検索し、ステップS11で求めた整数部分の立方体に対応する3次元領域を取得する(ステップS12)。
信号演算処理手段14は、予め設定した2次式で内挿を行って、ステップS12で取得した3次元領域内で残差の位置に対応した信号値の出力信号を生成する(ステップS13)。
[Operation of signal conversion device: signal conversion processing]
The procedure of signal conversion processing will be described with reference to FIG.
The input conversion means 12 obtains a value obtained by dividing the signal value of the input video signal by the signal extraction interval (step S10), and extracts an integer part and a residual from the divided value (step S11).
The 3D-LUT search unit 13 searches the 3D-LUT, and acquires a three-dimensional area corresponding to the cube of the integer part obtained in step S11 (step S12).
The signal arithmetic processing unit 14 interpolates with a preset quadratic equation to generate an output signal of a signal value corresponding to the position of the residual in the three-dimensional area acquired in step S12 (step S13).

[作用・効果]
以上のように、信号変換装置1は、2次式内挿を行うので、従来の直線内挿に比べて、補間による誤差を少なくすることができる。従って、信号変換装置1は、3D−LUTのデータ量を抑えつつ、高精度な出力映像信号を生成することができる。さらに、信号変換装置1は、2次式内挿により演算量の増加を最小限に抑え、信号変換処理の高速化を図ることができる。
[Operation / effect]
As described above, since the signal conversion device 1 performs the quadratic interpolation, the error due to the interpolation can be reduced compared to the conventional linear interpolation. Therefore, the signal conversion device 1 can generate a highly accurate output video signal while suppressing the data amount of the 3D-LUT. Furthermore, the signal conversion device 1 can minimize the increase in the amount of operation by quadratic interpolation, and can accelerate the signal conversion processing.

(第2実施形態)
[信号変換処理]
第2実施形態での信号変換処理について、第1実施形態と異なる点を説明する。
第1実施形態では2次式内挿を行うのに対し、第2実施形態では3次式内挿を行う点が異なる。
Second Embodiment
[Signal conversion processing]
The points of the signal conversion processing in the second embodiment which are different from the first embodiment will be described.
While the first embodiment performs quadratic interpolation, the second embodiment differs in performing cubic interpolation.

まず、基本となる3次式gを以下の式(19)のように定義する(残差Δy,Δzも同様)。この式(19)は、以下の式(20)のように、残差Δxが0又は1の場合、戻り値が0となる関数を表す。 First, it defined as the following equation 3 equation g 3 underlying (19) (residual [Delta] y, Delta] z as well). This equation (19) represents a function whose return value is 0 when the residual Δx is 0 or 1 as in the following equation (20).

Figure 2019097084
Figure 2019097084

Figure 2019097084
Figure 2019097084

そして、第2実施形態では、式(10)の代わりに以下の式(21)を用いる。
なお、式(21)では、係数Cline,Cplane−xy,Cvolの区別するため、これら係数の末尾に1〜8の数値を付加した。
In the second embodiment, the following equation (21) is used instead of the equation (10).
In Expression (21), in order to distinguish the coefficients C line , C plane − xy , and C vol , numerical values of 1 to 8 are added to the end of these coefficients.

Figure 2019097084
Figure 2019097084

従って、第2実施形態では、式(12)の代わりに以下の式(22)、式(14)の代わりに以下の式(23)を用いる。   Therefore, in the second embodiment, the following equation (22) is used instead of the equation (12), and the following equation (23) is used instead of the equation (14).

Figure 2019097084
Figure 2019097084

Figure 2019097084
Figure 2019097084

3次式内挿の場合、立方体の頂点での補正項に関係する係数fが8個、立方体の各辺での補正項に関係する係数Cline−x−1〜Cline−z−2が2×12=24個、立方体の各面での補正項に関係する係数Cplane−yz−1〜Cplane−xy−4が4×6=24個、立方体内部での補正項に関係する係数Cvol−1〜Cvol−8が8×1=8個である。従って、3D−LUTからの出力は、以下の式(24)のように27個の係数となる。
なお、これら係数は出力映像信号Cに関するものなので、出力映像信号C,Cも同様に必要となり、3D−LUTからの出力が式(24)の3倍となる。
In the case of cubic interpolation, eight coefficients f 1 related to the correction term at the vertex of the cube and coefficients C line-x-1 to C line-z-2 related to the correction term at each side of the cube Is 2 × 12 = 24, and the coefficients C plane-yz-1 to C plane-xy-4 related to the correction term in each surface of the cube are 4 × 6 = 24, related to the correction term in the cube The coefficients C vol-1 to C vol-8 are 8 × 1 = 8. Therefore, the output from the 3D-LUT is 27 coefficients as shown in the following equation (24).
Since these coefficients relate the output video signal C x, the output video signal C y, C y likewise required, the output from the 3D-LUT is three times of the formula (24).

Figure 2019097084
Figure 2019097084

[信号変換装置の構成]
図6に戻り、信号変換装置1Bの構成について、第1実施形態と異なる点を説明する。
図6に示すように、信号変換装置1Bは、3D−LUT生成手段(テーブル生成手段)10Bと、3D−LUT記憶手段11と、入力変換手段12と、3D−LUT検索手段13と、信号演算処理手段(内挿手段)14Bとを備える。
なお、3D−LUT生成手段10B及び信号演算処理手段14B以外は、第1実施形態と同様のため、説明を省略する。
また、信号変換装置1Bの動作は、第1実施形態と同様のため、説明を省略する。
[Configuration of signal converter]
Returning to FIG. 6, the configuration of the signal conversion device 1B will be described about differences from the first embodiment.
As shown in FIG. 6, the signal conversion device 1B includes 3D-LUT generation means (table generation means) 10B, 3D-LUT storage means 11, input conversion means 12, 3D-LUT search means 13, and signal operation. And processing means (interpolation means) 14B.
In addition, except for the 3D-LUT generation unit 10B and the signal operation processing unit 14B, the description is omitted because it is the same as that of the first embodiment.
Further, the operation of the signal conversion device 1B is the same as that of the first embodiment, and thus the description thereof is omitted.

3D−LUT生成手段10Bは、予め設定された誤差算出式により誤差が最小になる係数を求め、求めた係数を3D−LUTとして3D−LUT記憶手段11に書き込むものである。
なお、3D−LUT生成手段10Bは、誤差算出式として、式(23)を用いる以外、第1実施形態と同様である。
The 3D-LUT generation unit 10B calculates a coefficient that minimizes the error according to a preset error calculation formula, and writes the calculated coefficient in the 3D-LUT storage unit 11 as a 3D-LUT.
The 3D-LUT generation unit 10B is the same as that of the first embodiment except that the equation (23) is used as an error calculation equation.

信号演算処理手段14Bは、予め設定された高次式で内挿を行うことで、残差が示す位置に対応した信号値の出力信号を生成するものである。
なお、信号演算処理手段14Bは、高次式として、式(22)の3次式を用いる以外、第1実施形態と同様である。
The signal operation processing means 14B generates an output signal of a signal value corresponding to the position indicated by the residual by performing interpolation with a preset high-order equation.
The signal arithmetic processing unit 14B is the same as the first embodiment except that the cubic equation of the equation (22) is used as the high order equation.

以上のように、信号変換装置1Bは、3次式内挿を行うので、従来の直線内挿に比べて、補間による誤差を少なくすることができる。従って、信号変換装置1Bは、3D−LUTのデータ量を抑えつつ、より高精度な出力映像信号を生成することができる。   As described above, since the signal conversion device 1B performs cubic interpolation, errors due to interpolation can be reduced compared to conventional linear interpolation. Therefore, the signal conversion device 1B can generate a more accurate output video signal while suppressing the data amount of the 3D-LUT.

(実施例)
以下、本発明の実施例について説明する。
同一の入力映像信号に対して、直線内挿、2次式内挿及び3次式内挿の誤差を比較した。
ここで、誤差が大きくなるように、入力映像信号は、形式をJND(Just noticeable difference)、色空間をXYZ色空間、ガンマをJNDで規定されるものとした。また、出力映像信号は、形式をRGB形式、色空間をBT.709、ガンマをHDRのPQ方式とした。
(Example)
Hereinafter, examples of the present invention will be described.
The errors of linear interpolation, quadratic interpolation and cubic interpolation were compared for the same input video signal.
Here, in order to increase the error, the input video signal is defined as JND (Just noticeable difference), color space as XYZ color space, and gamma as JND. Also, the output video signal has a format of RGB, a color space of BT. 709, gamma is the HDR PQ method.

また、入力映像信号及び出力映像信号を10ビット(N=1023に相当)、3D−LUTへの入力の粗さをそれぞれ4ビット、5ビット、6ビットとした。従って、信号抽出間隔Mはそれぞれ、64、32、16となる。そして、直線内挿、2次式内挿、3次式内挿のそれぞれについて、式(14)の誤差に対する標準偏差を求め、比較した。   Also, the input video signal and the output video signal are 10 bits (corresponding to N = 1023), and the roughness of the input to the 3D-LUT is 4 bits, 5 bits, and 6 bits, respectively. Therefore, the signal extraction intervals M are 64, 32, 16 respectively. Then, for each of linear interpolation, quadratic interpolation, and cubic interpolation, the standard deviation with respect to the error of equation (14) was determined and compared.

図9では、横軸に3D−LUTのビット数、縦軸に誤差の標準偏差を図示した。ここで、実線が直線内挿を表し、破線が2次式内挿を表し、一点鎖線が3次式内挿を表す。この図9から、同一のビット数であれば、3次式内挿、2次式内挿、直線内挿の順で誤差が少なくなり、高い精度が得られることがわかった。但し、2次式内挿や3次式内挿では3D−LUTのデータ量が増加するので、それを加味する必要がある。そこで、図10では、横軸にデータ量、縦軸に誤差の標準偏差を図示した。この図10から、同一のデータ量であっても、3次式内挿、2次式内挿、直線内挿の順に高い精度が得られることがわかった。このように、本発明は、同一のデータ量であればより高精度で変換することができる。   In FIG. 9, the abscissa represents the number of bits of the 3D-LUT, and the ordinate represents the standard deviation of the error. Here, the solid line represents linear interpolation, the broken line represents quadratic interpolation, and the dashed-dotted line represents cubic interpolation. From this FIG. 9, it can be seen that if the number of bits is the same, the errors decrease in the order of cubic interpolation, quadratic interpolation and linear interpolation, and high accuracy can be obtained. However, since the data amount of the 3D-LUT increases in the quadratic interpolation and the cubic interpolation, it is necessary to take that into account. Therefore, in FIG. 10, the amount of data is shown on the horizontal axis, and the standard deviation of the error is shown on the vertical axis. From FIG. 10, it was found that high accuracy can be obtained in the order of cubic interpolation, quadratic interpolation, and linear interpolation even with the same data amount. As described above, according to the present invention, conversion can be performed with higher accuracy if the amount of data is the same.

以上、本発明の実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した各実施形態では、2次式内挿及び3次式内挿を説明したが、本発明では、4次式以上の高次式で内挿してもよい。
As mentioned above, although the embodiment of the present invention has been described in detail, the present invention is not limited to each of the above-described embodiments, and includes design changes and the like within the scope of the present invention.
In each of the above-described embodiments, the quadratic interpolation and the cubic interpolation have been described. However, in the present invention, the interpolation may be performed using a higher order equation than a quaternary equation.

1,1B 信号変換装置
10,10B 3D−LUT生成手段(テーブル生成手段)
11 3D−LUT記憶手段(テーブル記憶手段)
12 入力変換手段(抽出手段)
13 3D−LUT検索手段(テーブル検索手段)
14,14B 信号演算処理手段(内挿手段)
1, 1B Signal conversion device 10, 10B 3D-LUT generation means (table generation means)
11 3D-LUT storage means (table storage means)
12 Input conversion means (extraction means)
13 3D-LUT Search Means (Table Search Means)
14, 14 B Signal operation processing means (interpolation means)

Claims (6)

入力信号の信号フォーマットを変換する信号変換装置であって、
前記入力信号の信号値を表す3次元空間に所定の信号抽出間隔で配置した格子点を頂点とする立方体と、出力信号の信号値を表す3次元空間で前記格子点に対応する頂点を有する3次元領域とを対応付けた3次元ルックアップテーブルを予め記憶するテーブル記憶手段と、
変換対象の前記入力信号が入力され、入力された当該変換対象の入力信号の信号値を前記信号抽出間隔で除算した値を求め、除算した当該値から、前記立方体の格子点を表す整数部分と当該立方体内での位置を表す小数部分とを抽出する抽出手段と、
前記3次元ルックアップテーブルを検索し、前記整数部分の立方体に対応する3次元領域を取得するテーブル検索手段と、
前記テーブル検索手段が取得した3次元領域内で前記小数部分に対応する位置を表す高次式が予め設定され、当該高次式で内挿を行うことで、前記小数部分の位置に対応した信号値の前記出力信号を生成する内挿手段と、
を備えることを特徴とする信号変換装置。
A signal conversion apparatus for converting the signal format of an input signal, comprising:
A cube having at its vertex a grid point arranged at a predetermined signal extraction interval in a three-dimensional space representing signal values of the input signal, and a vertex having a vertex corresponding to the grid point in a three-dimensional space representing a signal value of the output signal Table storage means for storing in advance a three-dimensional look-up table in which the three-dimensional look-up table is associated with a three-dimensional area;
The input signal to be converted is input, and a value obtained by dividing the signal value of the input signal to be converted input is determined by the signal extraction interval, and an integer portion representing a grid point of the cube is calculated from the divided value. Extracting means for extracting a decimal part representing a position in the cube;
Table search means for searching the three-dimensional look-up table and obtaining a three-dimensional area corresponding to the cube of the integer part;
A high-order equation representing a position corresponding to the fractional part is set in advance in the three-dimensional area acquired by the table search means, and interpolation is performed using the high-order equation to obtain a signal corresponding to the position of the fractional part Interpolation means for generating said output signal of values;
A signal conversion device comprising:
前記高次式は、2次式又は3次式であることを特徴とする請求項1に記載の信号変換装置。   The signal conversion apparatus according to claim 1, wherein the high order equation is a quadratic equation or a cubic equation. 前記高次式は、前記立方体及び前記3次元領域の各頂点と各辺と各面との位置を対応付けた補正項、及び、前記3次元領域内で前記小数部分が表す位置の誤差を補正する補正項が含まれることを特徴とする請求項1又は請求項2に記載の信号変換装置。   The high-order equation corrects an error of a position represented by the decimal part in the three-dimensional area, a correction term in which positions of vertices and sides of the cube and the three-dimensional area are associated with each other The signal conversion device according to claim 1 or 2, wherein a correction term is included. 前記テーブル記憶手段は、前記3次元ルックアップテーブルとして、前記高次式に含まれる補正項の係数を予め記憶することを特徴とする請求項3に記載の信号変換装置。   4. The signal conversion apparatus according to claim 3, wherein the table storage means stores, as the three-dimensional lookup table, coefficients of a correction term included in the high-order equation in advance. 前記高次式で内挿した出力信号と真値の前記出力信号との誤差を表す誤差算出式が予め設定され、当該誤差算出式により誤差を最小にする前記係数を求め、求めた当該係数を前記3次元ルックアップテーブルとして前記テーブル記憶手段に書き込むテーブル生成手段、をさらに備えることを特徴とする請求項4に記載の信号変換装置。   An error calculation expression representing an error between the output signal interpolated by the high-order expression and the output signal of the true value is set in advance, and the coefficient which minimizes the error is calculated by the error calculation formula. 5. The signal conversion apparatus according to claim 4, further comprising table generation means for writing the table storage means as the three-dimensional lookup table. 前記高次式は、前記小数部分が0又は1の場合に戻り値が0となる関数が含まれることを特徴とする請求項1から請求項5の何れか一項に記載の信号変換装置。   The signal conversion apparatus according to any one of claims 1 to 5, wherein the high-order equation includes a function in which the return value is 0 when the fractional part is 0 or 1.
JP2017226451A 2017-11-27 2017-11-27 Signal converter Active JP7025904B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017226451A JP7025904B2 (en) 2017-11-27 2017-11-27 Signal converter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017226451A JP7025904B2 (en) 2017-11-27 2017-11-27 Signal converter

Publications (2)

Publication Number Publication Date
JP2019097084A true JP2019097084A (en) 2019-06-20
JP7025904B2 JP7025904B2 (en) 2022-02-25

Family

ID=66972095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017226451A Active JP7025904B2 (en) 2017-11-27 2017-11-27 Signal converter

Country Status (1)

Country Link
JP (1) JP7025904B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10126636A (en) * 1996-10-14 1998-05-15 Oki Data:Kk Color image processing method and processing unit
JP2000209448A (en) * 1999-01-12 2000-07-28 Sharp Corp Color conversion device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10126636A (en) * 1996-10-14 1998-05-15 Oki Data:Kk Color image processing method and processing unit
JP2000209448A (en) * 1999-01-12 2000-07-28 Sharp Corp Color conversion device

Also Published As

Publication number Publication date
JP7025904B2 (en) 2022-02-25

Similar Documents

Publication Publication Date Title
CN107274338B (en) Systems, methods, and apparatus for low-latency warping of depth maps
CN109919837B (en) Interpolation of image data
US20190272347A1 (en) Scalable and precise fitting of nurbs surfaces to large-size mesh representations
KR20120020821A (en) Method and apparatus for correcting distorted image
Junger et al. FPGA-based lens undistortion and image rectification for stereo vision applications
JP2014116012A (en) Method and apparatus for color transfer between images
JP2019097084A (en) Signal conversion device
US9332272B2 (en) Encoding apparatus, encoding method, and computer product
CN112017105A (en) Color correction FPGA implementation device and method, color correction device and storage medium
KR20130073060A (en) Apparatus and method for enhancing stereoscopic image, recording medium thereof
JP5787637B2 (en) Image processing apparatus and image processing method
JP2906814B2 (en) Color signal converter
JP2017228898A (en) Image processing apparatus and image processing method, computer program
JP2006065633A (en) Arithmetic method and device
JP3839676B2 (en) Color correction apparatus and method
KR101324611B1 (en) Method for processing depth image and 3d image generating apparatus using the same
Wang et al. Real-time hardware implementation of stereo image rectification with calibrated cameras
Luo et al. Improved LUT-based image warping for video cameras
US10152769B2 (en) Image processing method and image processor
KR101748397B1 (en) LUT Generating Method for Around View Monitor using OpenGL
KR20040101700A (en) Image compensation apparatus
JPH08289166A (en) Color management system and image input device therefor
JP6354217B2 (en) Image processing apparatus, system, image processing method, and program
JP5701733B2 (en) Image processing apparatus, image processing system, and image processing method
JP3130948B2 (en) Registration correction device and video camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220214

R150 Certificate of patent or registration of utility model

Ref document number: 7025904

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150