JP2010045558A

JP2010045558A - Image processor

Info

Publication number: JP2010045558A
Application number: JP2008207692A
Authority: JP
Inventors: Tomoshi Hosokawa; 知志細川
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2008-08-12
Filing date: 2008-08-12
Publication date: 2010-02-25
Anticipated expiration: 2028-08-12
Also published as: JP5131083B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor for achieving lookup table (LUT) making when an output value for an input value is obtained even for image processing for which the contents of an operation are unclear or difficult to specify. <P>SOLUTION: A learning part 10 includes: an image processing means 11 which executes an operation to be the object of LUT making and observes the output value for the input value; an input means 12 for inputting a pixel value in an input color space to the image processing means 11; and an updating means 13 for writing the correspondence of the pixel value in the input color space and an output pixel value obtained as the result of inputting the pixel value to the image processing means 11 to the LUT 20. A processing part 30 includes an LUT reference means 33 for reading the output pixel value corresponding to the input pixel value to be the object of the image processing from the LUT 20. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は画像処理装置に関し、特にルックアップテーブルを用いた画像処理装置に関する。 The present invention relates to an image processing apparatus, and more particularly to an image processing apparatus using a lookup table.

表示装置を備えた携帯電話機など、画像処理機能を有する電子機器においては、画像を構成する各画素（ピクセル）の値に対して、図７に例示するような種々の演算が行われる。ここで、図７（ａ）は一般の線形変換・アフィン変換の演算例を示す。また、図７（ｂ）は階調値や輝度値の変換などに使用する非線形変換の演算例を、同図（ｃ）はクリップ処理などに使用する非線形変換の演算例を示す。 In an electronic device having an image processing function, such as a mobile phone provided with a display device, various calculations as illustrated in FIG. 7 are performed on the values of each pixel constituting the image. Here, FIG. 7A shows a calculation example of general linear transformation / affine transformation. FIG. 7B shows a non-linear conversion calculation example used for conversion of gradation values and luminance values, and FIG. 7C shows a non-linear conversion calculation example used for clip processing and the like.

画素値の表現に使用される階調値が信号強度をリニアに表現していないことや、人間の視覚特性を考慮する必要があることなどから、画像処理に要求される演算は図７（ｂ）、（ｃ）に例示したような非線形変換になることが多く、非常に複雑になる。このような複雑な演算を専用の信号処理回路や汎用のＤＳＰを用いて実現すると、回路規模および消費電力が大きくなってしまう。 Since the gradation value used for expressing the pixel value does not represent the signal intensity linearly and it is necessary to consider human visual characteristics, the calculation required for image processing is as shown in FIG. ) And (c) are often nonlinear transformations, which is very complicated. If such a complicated calculation is realized using a dedicated signal processing circuit or a general-purpose DSP, the circuit scale and power consumption increase.

そこで、複雑な演算を全ての画素に対して行うことの非効率さを改善する手法として、ルックアップテーブル（Lookup Table。以下、ＬＵＴと略す）方式が知られている。例えば非特許文献１には、ガンマ補正をＬＵＴで実現することが記載されている。ガンマ補正は、ガンマ補正値をγ、補正前の輝度値をsrc、補正後の輝度値をdstとすると、補正式は例えば図７（ｄ）で与えられるため、srcの各値（例えば０〜２５５）を図７の演算式に代入してdstの値を計算し、srcの値とdstの値との対応をＬＵＴに格納しておく。ガンマ補正時には、各画素のsrcでＬＵＴを検索し、対応するdstの値を読み出す。これにより、複雑な演算がＬＵＴの検索という単純な処理で代用でき、回路規模の縮小と省電力化が実現できる。 Therefore, a lookup table (hereinafter referred to as LUT) method is known as a technique for improving the inefficiency of performing complex operations on all pixels. For example, Non-Patent Document 1 describes that gamma correction is realized by an LUT. In the gamma correction, assuming that the gamma correction value is γ, the luminance value before correction is src, and the luminance value after correction is dst, the correction formula is given by, for example, FIG. 255) is substituted into the arithmetic expression of FIG. 7 to calculate the value of dst, and the correspondence between the value of src and the value of dst is stored in the LUT. At the time of gamma correction, the LUT is searched with the src of each pixel, and the corresponding dst value is read out. As a result, complicated operations can be substituted with a simple process of LUT search, and the circuit scale can be reduced and power can be saved.

また特許文献１には、ＲＧＢ信号をＣＭＹ信号に変換する画像処理にＬＵＴを利用する技術が開示されている。具体的には、ＲＧＢの色空間に設定される格子点に対応するＣＭＹ系の画像データをＬＵＴに書き込んでおき、処理対象となるＲＧＢ信号に対応する格子点のＣＭＹ系の画像データをＬＵＴから読み出し、この読み出したＣＭＹ系の画像データを用いて補間処理を行うことによって、処理対象となるＲＧＢ信号に対応する補間処理されたＣＭＹ系の画像データを生成する。格子点の設定方法としては、色空間を立方体や直方体の小領域に分割し、それらの頂点を格子点とする方法が記載されている。また、補間に使用する格子点の数としては、８点補間や４点補間が示されている。 Japanese Patent Application Laid-Open No. H10-228561 discloses a technique that uses an LUT for image processing for converting RGB signals into CMY signals. Specifically, the CMY image data corresponding to the grid points set in the RGB color space is written in the LUT, and the CMY image data of the grid points corresponding to the RGB signals to be processed is read from the LUT. The CMY image data subjected to the interpolation processing corresponding to the RGB signal to be processed is generated by performing the interpolation process using the read CMY image data. As a method for setting lattice points, a method is described in which a color space is divided into small regions such as a cube and a rectangular parallelepiped, and the vertices thereof are used as lattice points. As the number of grid points used for interpolation, 8-point interpolation or 4-point interpolation is shown.

特開２００７−２０８９５６号公報JP 2007-208956 A 「画像処理ソリューションルックアップテーブル（ガンマ補正の例）」、［平成２０年８月１日検索］、インターネット＜ＵＲＬ：http://imagingsolution.blog107.fc2.com/blog-entry-67.html＞"Image processing solution look-up table (example of gamma correction)", [Search on August 1, 2008], Internet <URL: http://imagingsolution.blog107.fc2.com/blog-entry-67.html>

複雑な演算による画像処理をＬＵＴ方式で実現する場合、事前に演算結果を計算してＬＵＴに格納しておく必要がある。このため、ＬＵＴ化されている例は尽く、演算の内容が明らかになっている画像処理に限られており、どのような演算が行われているか不明か、特定することが困難な画像処理については、そのＬＵＴ化は端から不可能であるとするのが当技術分野の常識であった。 When image processing by complex computation is realized by the LUT method, it is necessary to calculate the computation result in advance and store it in the LUT. For this reason, the examples of LUTs are exhausted, and the image processing is limited to image processing in which the contents of the calculation are clarified, and it is difficult to specify what kind of calculation is being performed. It was common knowledge in this technical field that LUT conversion was impossible from the end.

本発明の目的は、演算の内容が不明あるいは特定困難な画像処理であっても、入力値に対する出力値が得られるのであれば、ＬＵＴ化を実現することのできる画像処理装置を提供することにある。 An object of the present invention is to provide an image processing apparatus capable of realizing LUT as long as an output value with respect to an input value can be obtained even in the case of image processing in which the content of calculation is unknown or difficult to specify. is there.

本発明の第１の画像処理装置は、学習部とルックアップテーブルと処理部とで構成され、学習部は、ルックアップテーブル化の対象となる演算を実行する画像処理手段であって入力値に対する出力値を観測することのできる画像処理手段と、入力色空間における画素値を画像処理手段に入力する入力手段と、入力色空間における画素値とこの画素値を画像処理手段に入力した結果得られる出力画素値との対応をルックアップテーブルに書き込む更新手段とを備え、処理部は、画像処理の対象となる入力画素値に対応する出力画素値をルックアップテーブルから読み出す読み出し手段を備える。 A first image processing apparatus according to the present invention includes a learning unit, a look-up table, and a processing unit. The learning unit is an image processing unit that performs an operation to be a lookup table, and performs an operation on an input value. Image processing means capable of observing output values, input means for inputting pixel values in the input color space to the image processing means, pixel values in the input color space, and results obtained by inputting the pixel values to the image processing means Updating means for writing the correspondence with the output pixel value in the lookup table, and the processing unit comprises a reading means for reading out the output pixel value corresponding to the input pixel value to be subjected to image processing from the lookup table.

本発明の第２の画像処理装置は、ルックアップテーブルと処理部とで構成され、ルックアップテーブルは、入力色空間における画素値と、ルックアップテーブル化の対象となる演算を実行する画像処理手段であって入力値に対する出力値を観測することのできる画像処理手段に対して画素値を入力したときに画像処理手段から出力される出力画素値との対応が書き込まれており、処理部は、画像処理の対象となる入力画素値に対応する出力画素値をルックアップテーブルから読み出す読み出し手段を備える。 The second image processing apparatus of the present invention includes a look-up table and a processing unit, and the look-up table performs image processing means for executing a pixel value in the input color space and a calculation target for the look-up table. The correspondence with the output pixel value output from the image processing means when the pixel value is input to the image processing means capable of observing the output value with respect to the input value is written. Readout means for reading out an output pixel value corresponding to an input pixel value to be subjected to image processing from a lookup table is provided.

本発明の第１のルックアップテーブル作成装置は、ルックアップテーブル化の対象となる演算を実行する画像処理手段であって入力値に対する出力値を観測することのできる画像処理手段と、入力色空間における画素値を画像処理手段に入力する入力手段と、入力色空間における画素値とこの画素値を画像処理手段に入力した結果得られる出力画素値との対応をルックアップテーブルに書き込む更新手段とを備える。 The first look-up table creation apparatus of the present invention is an image processing means for executing an operation to be a look-up table and capable of observing an output value with respect to an input value, and an input color space. Input means for inputting the pixel value in the image processing means, and update means for writing the correspondence between the pixel value in the input color space and the output pixel value obtained as a result of inputting the pixel value to the image processing means in the lookup table. Prepare.

本発明の第１の画像処理方法は、ａ）学習部が、ルックアップテーブル化の対象となる演算を実行する画像処理手段に対して入力色空間における画素値を入力し、この入力した画素値に対して画像処理手段から出力される画素値を取得するステップと、ｂ）学習部が、画像処理手段に対して入力した画素値とこの画素値に対して画像処理手段から出力される画素値との対応をルックアップテーブルに書き込むステップと、ｃ）処理部が、画像処理の対象となる入力画素値に対する出力画素値をルックアップテーブルから読み出すステップとを含む。 According to the first image processing method of the present invention, a) the learning unit inputs a pixel value in the input color space to the image processing unit that executes an operation to be a lookup table, and the input pixel value A step of acquiring a pixel value output from the image processing means with respect to the image processing means; b) a pixel value input to the image processing means by the learning unit and a pixel value output from the image processing means for this pixel value And c) a processing unit reads out an output pixel value corresponding to an input pixel value to be subjected to image processing from the lookup table.

本発明の第１のプログラムは、ルックアップテーブルを有するコンピュータを、ルックアップテーブル化の対象となる演算を実行する画像処理手段であって入力値に対する出力値を観測することのできる画像処理手段に対して、入力色空間における画素値を入力する入力手段と、入力色空間における画素値とこの画素値を画像処理手段に入力した結果得られる出力画素値との対応をルックアップテーブルに書き込む更新手段と、画像処理の対象となる入力画素値に対応する出力画素値をルックアップテーブルから読み出す読み出し手段として機能させる。 According to a first program of the present invention, a computer having a look-up table is used as an image processing means for executing an operation to be a look-up table and capable of observing an output value with respect to an input value. On the other hand, input means for inputting pixel values in the input color space, and update means for writing the correspondence between the pixel values in the input color space and output pixel values obtained as a result of inputting the pixel values to the image processing means in the lookup table Then, the output pixel value corresponding to the input pixel value to be subjected to image processing is made to function as a reading unit that reads from the lookup table.

本発明によれば、演算の内容が不明あるいは特定困難な画像処理であっても、入力値に対する出力値が得られる画像処理であればＬＵＴ化が可能になる。 According to the present invention, even if the image processing is unclear or difficult to specify, it is possible to make an LUT as long as the image processing can obtain an output value for the input value.

次に本発明の実施の形態について図面を参照して詳細に説明する。なお、人間の眼は３種類の錐体細胞をもつため、色空間の表現は３次元となり、画素値も３値ベクトルで表現する方法が一般的である。そこで、以下の説明では画素値が３値ベクトルであるものとして説明を行う。しかし、本発明は画素値が２値以下あるいは４値以上の場合にも適用可能である。 Next, embodiments of the present invention will be described in detail with reference to the drawings. Since the human eye has three types of pyramidal cells, the color space is represented in three dimensions, and the pixel value is generally represented by a ternary vector. Therefore, the following description will be made assuming that the pixel value is a ternary vector. However, the present invention is also applicable when the pixel value is 2 or less or 4 or more.

［第１の実施の形態］
図１を参照すると、本発明の第１の実施の形態に係る画像処理装置は、学習部１０とＬＵＴ２０と処理部３０とで構成される。 [First Embodiment]
Referring to FIG. 1, the image processing apparatus according to the first embodiment of the present invention includes a learning unit 10, an LUT 20, and a processing unit 30.

ＬＵＴ２０は、入力色空間における入力画素値に対応する出力画素値を記憶するメモリである。入力画素値に対応する出力画素値をすべて記憶してもよいが、必要なメモリ容量が膨大となる。このため、本実施の形態では、ある程度間引いたデータを記憶し、その間引いた箇所は、補間演算により求めることで、ＬＵＴ２０に必要なメモリ容量を削減している。 The LUT 20 is a memory that stores output pixel values corresponding to input pixel values in the input color space. Although all the output pixel values corresponding to the input pixel values may be stored, the required memory capacity becomes enormous. For this reason, in the present embodiment, data thinned out to some extent is stored, and the thinned portion is obtained by interpolation calculation, thereby reducing the memory capacity required for the LUT 20.

具体的には、本実施の形態におけるＬＵＴ２０は、入力色空間における各画素値が取り得る範囲を小領域である要素に区切り、各要素の頂点に相当する画素値を入力とした場合の出力画素値を記憶する。要素の形状および区切り方は任意であるが、本実施の形態では、図２に示すように、３次元の色空間の各軸に沿って画素値（図２では各成分は１に正規化されている）をＮ分割することで、入力色空間を直方体（正確には立方体）の形状を有する要素に分割し、各直方体の要素の頂点毎に、それに対応する出力画素値を記憶する。ここで、Ｎは２のべき乗であることが望ましい。その理由は、Ｎが２のべき乗であれば、入力画素値が属する要素は、その入力画素値の各成分を１／Ｎで除することで求めることができ、且つ、コストのかかる除算のかわりにシフト演算によって要素を求めることができるためである。なお、Ｎは、１６（＝２⁴）程度が望ましい。 Specifically, the LUT 20 in the present embodiment divides the possible range of each pixel value in the input color space into elements that are small regions, and outputs pixels when the pixel values corresponding to the vertices of each element are input. Store the value. The shape of the element and the way of dividing are arbitrary, but in this embodiment, as shown in FIG. 2, pixel values are normalized along the respective axes of the three-dimensional color space (in FIG. 2, each component is normalized to 1). The input color space is divided into elements having a rectangular parallelepiped (exactly cubic) shape, and the output pixel value corresponding to each vertex of each rectangular parallelepiped element is stored. Here, N is preferably a power of 2. The reason is that if N is a power of 2, the element to which the input pixel value belongs can be obtained by dividing each component of the input pixel value by 1 / N, and instead of costly division This is because the element can be obtained by a shift operation. Incidentally, N is the 16 (= 2 ⁴⁾ degree is desirable.

学習部１０は、ＬＵＴ化の対象となる演算について入力色空間における入力画素値と出力画素値との対応関係を学習し、ＬＵＴ２０に格納する機能を有する。本実施の形態の学習部１０は、ＬＵＴ化対象画像処理手段１１と、入力手段１２と、更新手段１３とを有する。 The learning unit 10 has a function of learning a correspondence relationship between an input pixel value and an output pixel value in the input color space for an operation to be converted into an LUT, and storing it in the LUT 20. The learning unit 10 according to the present embodiment includes an LUT target image processing unit 11, an input unit 12, and an update unit 13.

ＬＵＴ化対象画像処理手段１１は、ＬＵＴ化の対象となる演算を実行する手段であり、入力端子１１ａと出力端子１１ｂとを有し、入力端子１１ａから入力された画素値に対して内部において種々の演算を行い、その演算の結果得られた画素値を出力端子１１ｂから出力する機能を有する。ＬＵＴ化対象画像処理手段１１の内部で行われている演算の種類やその実現構成は既知である必要はなく、入力値に対する出力値を観測することができれば良い。ＬＵＴ対象画像処理手段１１の一例としては、画素値を入力として受け取って演算結果の画素値を出力するプログラムモジュールやハードウェア回路などがある。 The LUT target image processing means 11 is a means for executing an operation to be LUT-targeted. The LUT target image processing means 11 has an input terminal 11a and an output terminal 11b, and has various internal values for pixel values input from the input terminal 11a. And a pixel value obtained as a result of the calculation is output from the output terminal 11b. The type of operation performed in the LUT target image processing unit 11 and the implementation configuration thereof need not be known, and it is only necessary to observe the output value with respect to the input value. As an example of the LUT target image processing means 11, there is a program module or a hardware circuit that receives a pixel value as an input and outputs a pixel value as a calculation result.

入力手段１２は、入力色空間における画素値をＬＵＴ化対象画像処理手段１１に入力すると同時に更新手段１３に通知する手段である。具体的には、図２に示した入力色空間を構成する各要素の頂点の画素値を生成し、ＬＵＴ化対象画像処理手段１１および更新手段１３に対して送出する。 The input unit 12 is a unit that inputs the pixel value in the input color space to the LUT target image processing unit 11 and notifies the update unit 13 at the same time. Specifically, the pixel values of the vertices of each element constituting the input color space shown in FIG. 2 are generated and sent to the LUT target image processing unit 11 and the updating unit 13.

更新手段１３は、入力手段１２から受け取った画素値と、この画素値の入力に対してＬＵＴ化対象画像処理手段１１から出力された画素値との対応をＬＵＴ２０に書き込む手段である。 The updating unit 13 is a unit that writes the correspondence between the pixel value received from the input unit 12 and the pixel value output from the LUT target image processing unit 11 in the LUT 20 in response to the input of this pixel value.

他方、処理部３０は、ＬＵＴ２０を用いて実際の画像処理を行う部分であり、例えば画像を表示するための入力信号を入力し、入力信号中の各画素値に対してＬＵＴ２０を用いて画像処理を施し、画像処理後の画素値を含む出力信号を、図示しないラスタ表示装置へ出力する。本実施の形態の処理部３０は、事前変換手段３１と、要素算出手段３２と、ＬＵＴ参照手段３３と、補間手段３４とを有する。 On the other hand, the processing unit 30 is a part that performs actual image processing using the LUT 20. For example, the processing unit 30 inputs an input signal for displaying an image, and performs image processing using the LUT 20 for each pixel value in the input signal. And an output signal including the pixel value after image processing is output to a raster display device (not shown). The processing unit 30 according to the present embodiment includes a pre-conversion unit 31, an element calculation unit 32, an LUT reference unit 33, and an interpolation unit 34.

事前変換手段３１は、入力信号に対して、図７（ａ）で示したような線形変換やアフィン変換を施し、後段の処理に都合の良い色空間に変換する手段である。ただし、事前変換手段３１は、入力信号の色空間がＲＧＢ空間の場合など、そのままで取扱いが容易な色空間の場合は、省略することができる。なお、図２で示したように入力画素値の各成分を１に正規化する場合、その処理はこの事前変換手段３１で実施してもよい。 The pre-conversion unit 31 is a unit that performs linear conversion or affine conversion as shown in FIG. 7A on the input signal and converts the input signal into a color space convenient for subsequent processing. However, the pre-conversion unit 31 can be omitted when the color space of the input signal is an RGB space or the like and is easy to handle as it is. In the case where each component of the input pixel value is normalized to 1 as shown in FIG. 2, the processing may be performed by the prior conversion means 31.

要素算出手段３２は、後段のＬＵＴ参照手段３３において入力信号中の各画素値を含む領域の頂点の出力画素値をＬＵＴ２０から取得できるようにするために、入力画素値が属する要素を求める手段である。前述したように、本実施の形態は、入力色空間を規定する各軸を２のべき乗の値Ｎで分割してできる直方体を要素とするため、要素算出手段３２は、入力画素値の各成分を１／Ｎで除することで、属する要素を求めることができる。 The element calculation means 32 is a means for obtaining an element to which the input pixel value belongs so that the LUT reference means 33 in the subsequent stage can obtain the output pixel value of the vertex of the area including each pixel value in the input signal from the LUT 20. is there. As described above, since the present embodiment uses a rectangular parallelepiped that is obtained by dividing each axis that defines the input color space by a power value N of 2, the element calculation means 32 is configured so that each component of the input pixel value By dividing 1 by N, the element to which it belongs can be obtained.

ＬＵＴ参照手段３３は、要素算出手段３２で求められた要素の各頂点が持つ出力画素値をＬＵＴ２０から取得する手段である。 The LUT reference unit 33 is a unit that acquires, from the LUT 20, an output pixel value that each vertex of the element obtained by the element calculation unit 32 has.

補間手段３４は、ＬＵＴ参照手段３３で取得された要素の各頂点が持つ出力画素値を用いて補間処理を行うことによって、入力画素値に対応する補間処理された出力画素値を生成する手段である。本実施の形態の場合、要素は直方体であり、ＬＵＴ２０には各要素の頂点に対応する出力画素値が格納されているため、補間手段３４は、入力画素値が属する要素の各頂点に対応する出力画素値から一次関数を使用して補間する。具体的な補間処理の例を以下に説明する。 The interpolation unit 34 is a unit that generates an output pixel value subjected to the interpolation process corresponding to the input pixel value by performing an interpolation process using the output pixel value of each vertex of the element acquired by the LUT reference unit 33. is there. In the case of the present embodiment, since the element is a rectangular parallelepiped, and the output pixel value corresponding to the vertex of each element is stored in the LUT 20, the interpolation unit 34 corresponds to each vertex of the element to which the input pixel value belongs. Interpolate from the output pixel value using a linear function. A specific example of interpolation processing will be described below.

今、入力画素値をＱとし、この入力画素値Ｑを含む直方体要素の各頂点に対応する出力画素値を、図３に示すように、Ｐ(0,0,0)、Ｐ(0,0,1)、Ｐ(0,1,0)、Ｐ(0,1,1)、Ｐ(1,0,0)、Ｐ(1,0,1)、Ｐ(1,1,0)、Ｐ(1,1,1)とする。また、入力画素値Ｑの要素内における座標を(r0,r1,r2)とする。この場合、入力画素値Ｑに対応する出力画素値Ｑ'は、３軸のうちの何れか１つの軸上における補間（０軸上の補間と呼ぶ）、残り２軸のうちの何れか１つの軸上における補間（１軸上の補間と呼ぶ）、最後に残った１軸上における補間（２軸上の補間と呼ぶ）を順番に行うことによって、以下のようにして求められる。 Now, let the input pixel value be Q, and output pixel values corresponding to the vertices of the rectangular parallelepiped element including this input pixel value Q are P (0,0,0), P (0,0) as shown in FIG. , 1), P (0,1,0), P (0,1,1), P (1,0,0), P (1,0,1), P (1,1,0), P (1,1,1). Also, the coordinates in the element of the input pixel value Q are (r0, r1, r2). In this case, the output pixel value Q ′ corresponding to the input pixel value Q is interpolated on any one of the three axes (referred to as interpolation on the zero axis) and any one of the remaining two axes. By performing interpolation on the axis (referred to as interpolation on one axis) and interpolation on the last remaining one axis (referred to as interpolation on two axes) in order, it is obtained as follows.

（１）０軸上の補間：
Ｐ'(0,0)＝(1-r0)×Ｐ(0,0,0)＋r0×Ｐ(0,0,1)
Ｐ'(0,1)＝(1-r0)×Ｐ(0,1,0)＋r0×Ｐ(0,1,1)
Ｐ'(1,0)＝(1-r0)×Ｐ(1,0,0)＋r0×Ｐ(1,0,1)
Ｐ'(1,1)＝(1-r0)×Ｐ(1,1,0)＋r0×Ｐ(1,1,1)
（２）１軸上の補間：
Ｐ''(0)＝(1-r1)×Ｐ'(0,0)＋r1×Ｐ'(0,1)
Ｐ''(1)＝(1-r1)×Ｐ'(1,0)＋r1×Ｐ'(1,1)
（３）２軸上の補間：
Ｑ'＝(1-r2)×Ｐ''(0)＋r2×Ｐ''(1) (1) Interpolation on axis 0:
P ′ (0,0) = (1-r0) × P (0,0,0) + r0 × P (0,0,1)
P ′ (0,1) = (1-r0) × P (0,1,0) + r0 × P (0,1,1)
P ′ (1,0) = (1-r0) × P (1,0,0) + r0 × P (1,0,1)
P ′ (1,1) = (1-r0) × P (1,1,0) + r0 × P (1,1,1)
(2) Interpolation on one axis:
P ″ (0) = (1−r1) × P ′ (0,0) + r1 × P ′ (0,1)
P ″ (1) = (1−r1) × P ′ (1,0) + r1 × P ′ (1,1)
(3) Interpolation on two axes:
Q ′ = (1-r2) × P ″ (0) + r2 × P ″ (1)

次に本実施の形態の動作を説明する。 Next, the operation of the present embodiment will be described.

本実施の形態に係る画像処理装置の動作は、学習動作と画像処理動作とに大別される。 The operation of the image processing apparatus according to the present embodiment is roughly divided into a learning operation and an image processing operation.

学習動作は、学習部１０によってＬＵＴ化対象画像処理手段１１の入力画素値と出力画素値との関係を学習し、その学習結果をＬＵＴ２０に書き込む動作である。学習動作の流れを図４に示す。 The learning operation is an operation in which the learning unit 10 learns the relationship between the input pixel value and the output pixel value of the LUT target image processing unit 11 and writes the learning result to the LUT 20. The flow of the learning operation is shown in FIG.

図４を参照すると、まず、学習部１０の入力手段１２は、ＬＵＴ２０に格納する１つの出力画素値に対応する入力画素値を生成する（ステップＳ１０１）。本実施の形態は、入力色空間を規定する各軸を図２に示したように２のべき乗の値Ｎで分割して直方体要素を生成し、ＬＵＴ２０には各直方体要素の頂点に対応して１つの出力画素値を格納するため、入力手段１２は、直方体要素の頂点の座標を１つずつ順番に発生する。従って、１に正規化された入力画素値を(x,y,z）とすると、x,y,zはそれぞれ0,1/N,2/N,…,N/Nの値をとるように、入力画素値を生成する。 Referring to FIG. 4, first, the input unit 12 of the learning unit 10 generates an input pixel value corresponding to one output pixel value stored in the LUT 20 (step S101). In the present embodiment, each axis defining the input color space is divided by a power-of-two value N as shown in FIG. 2 to generate a rectangular parallelepiped element, and the LUT 20 corresponds to the vertex of each rectangular parallelepiped element. In order to store one output pixel value, the input unit 12 sequentially generates the coordinates of the vertices of the rectangular parallelepiped elements one by one. Therefore, if the input pixel value normalized to 1 is (x, y, z), x, y, z take values of 0, 1 / N, 2 / N, ..., N / N, respectively. , Generate the input pixel value.

次に入力手段１２は、生成した１つの入力画素値をＬＵＴ化対象画像処理手段１１の入力端子１１ａに入力し、同時に更新手段１３に通知する（ステップＳ１０２）。 Next, the input unit 12 inputs the generated one input pixel value to the input terminal 11a of the LUT target image processing unit 11 and simultaneously notifies the update unit 13 (step S102).

ＬＵＴ化対象画像処理手段１１は、入力端子１１ａから入力された画素値に対して内部において種々の画像処理を行い、結果の画素値を出力する（ステップＳ１０３）。 The LUT target image processing means 11 internally performs various image processing on the pixel value input from the input terminal 11a, and outputs the resulting pixel value (step S103).

学習部１０の更新手段１３は、ＬＵＴ化対象画像処理手段１１の出力端子１１ｂから出力された画素値を取得し（ステップＳ１０４）、入力手段１２から通知された入力画素値と前記取得した出力画素値との対応をＬＵＴ２０に格納する（ステップＳ１０５）。具体的には、本実施の形態の場合、ＬＵＴ２０を（Ｎ＋１）×（Ｎ＋１）×（Ｎ＋１）の３次元配列で構成し、ＬＵＴ化対象画像処理手段１１から出力された画素値を、その出力画素値の生成に用いた入力画素値の頂点に対応する配列に記憶する。 The updating unit 13 of the learning unit 10 acquires the pixel value output from the output terminal 11b of the LUT target image processing unit 11 (step S104), the input pixel value notified from the input unit 12, and the acquired output pixel. The correspondence with the value is stored in the LUT 20 (step S105). Specifically, in the case of the present embodiment, the LUT 20 is configured by a (N + 1) × (N + 1) × (N + 1) three-dimensional array, and the pixel value output from the LUT target image processing unit 11 is output as the LUT 20. The data is stored in an array corresponding to the vertex of the input pixel value used for generating the pixel value.

以上の処理で、ＬＵＴ２０に１つの要素の頂点の入力画素値に対応する出力画素値が格納されたことになる。 With the above processing, the output pixel value corresponding to the input pixel value of the vertex of one element is stored in the LUT 20.

入力手段１２は、入力色空間における全ての要素の全ての頂点に対応する入力画素値を生成し終えたかどうかを判定する（ステップＳ１０６）。若し、未だ生成し終えていなければ（ステップＳ１０６でＮＯ）、次の１つの入力画素値を生成し（ステップＳ１０７）、ステップＳ１０２に戻って上述した処理と同様の処理を繰り返す。全要素の全頂点に対応する入力画素値の生成を終えていれば（ステップＳ１０６でＹＥＳ）、学習処理を終える。 The input unit 12 determines whether or not input pixel values corresponding to all vertices of all elements in the input color space have been generated (step S106). If it has not been generated yet (NO in step S106), the next one input pixel value is generated (step S107), and the process returns to step S102 and the same processing as described above is repeated. If the generation of input pixel values corresponding to all vertices of all elements has been completed (YES in step S106), the learning process ends.

次に画像処理動作について説明する。画像処理動作の流れを図５に示す。 Next, an image processing operation will be described. The flow of the image processing operation is shown in FIG.

図５を参照すると、まず処理部３０の事前変換手段３１は、入力信号から処理対象となる画素値を入力し（ステップＳ１１１）、予め定められた事前変換処理を実施し、結果の画素値を要素算出手段３２に通知する（ステップＳ１１２）。 Referring to FIG. 5, first, the pre-conversion unit 31 of the processing unit 30 inputs a pixel value to be processed from an input signal (step S111), performs a predetermined pre-conversion process, and obtains a pixel value as a result. The element calculation means 32 is notified (step S112).

次に要素算出手段３２は、事前変換手段３１から通知された画素値の各成分を１／Ｎで除することで、当該画素値が属する要素を算出し、ＬＵＴ参照手段３３に通知する（ステップＳ１１３）。 Next, the element calculation unit 32 calculates the element to which the pixel value belongs by dividing each component of the pixel value notified from the pre-conversion unit 31 by 1 / N, and notifies the LUT reference unit 33 (step). S113).

次にＬＵＴ参照手段３３は、要素算出手段３２から通知された要素の各頂点がＬＵＴ２０を構成する３次元配列上のどの要素に対応するかを求め、求めた配列要素に記憶されている出力画素値を読み出し、補間手段３４に通知する（ステップＳ１１４）。 Next, the LUT reference unit 33 determines which element on the three-dimensional array constituting the LUT 20 each vertex of the element notified from the element calculation unit 32 corresponds to, and the output pixel stored in the determined array element The value is read and notified to the interpolation means 34 (step S114).

次に補間手段３４は、ＬＵＴ参照手段３３から通知された各頂点に対応する出力画素値と入力画素値の要素内における座標とに基づいて、前述した一次関数による補間処理を行い（ステップＳ１１５）、入力画素値に対応する補間処理された出力画素値を求めて出力する（ステップＳ１１６）。 Next, the interpolation means 34 performs the interpolation process by the above-mentioned linear function based on the output pixel value corresponding to each vertex notified from the LUT reference means 33 and the coordinates in the element of the input pixel value (step S115). The output pixel value subjected to the interpolation processing corresponding to the input pixel value is obtained and output (step S116).

次に本実施の形態の効果を説明する。 Next, the effect of this embodiment will be described.

本実施の形態によれば、演算の内容が不明あるいは特定困難な画像処理であっても、入力値に対する出力値が得られる画像処理であればＬＵＴ化が可能になる。その理由は、ＬＵＴ化対象画像処理手段１１に対して入力色空間における画素値を入力する入力手段と、この入力画素値の入力に対してＬＵＴ化対象画像処理手段１１で得られる出力画素値を取得し、入力画素値と出力画素値との対応をＬＵＴ２０に書き込む更新手段１３とを有する学習部１０を備えているためである。 According to the present embodiment, even if the image processing is unknown or difficult to specify, it is possible to make an LUT as long as the image processing can obtain an output value for the input value. The reason is that an input means for inputting a pixel value in the input color space to the LUT target image processing means 11 and an output pixel value obtained by the LUT target image processing means 11 for the input of this input pixel value. This is because the learning unit 10 including the update unit 13 that acquires and writes the correspondence between the input pixel value and the output pixel value in the LUT 20 is provided.

ＬＵＴ２０に必要なメモリ容量の削減が可能である。その理由は、ＬＵＴ２０には、ある程度間引いたデータを記憶し、その間引いた箇所は、補間処理により求めるようにしているためである。 The memory capacity required for the LUT 20 can be reduced. The reason is that the LUT 20 stores data thinned out to some extent, and the thinned portion is obtained by interpolation processing.

複雑な画像処理であっても高速かつ低消費電力で実行することができる。その理由は、複雑な画像処理を行うＬＵＴ化対象画像処理手段１１の入力画素値と出力画素値との関係を学習部１０によって学習してＬＵＴ２０に記憶し、実際の画像処理では複雑な演算をＬＵＴ２０の検索という単純な処理で代用できるためである。また別の理由は、入力色空間の各軸を２のべき乗であるＮで分割してできる直方体を要素としていること、各要素の頂点に対応して出力画素値を保持し、補間処理に一次関数を用いることにより、ＬＵＴ２０から参照すべき要素の決定および補間処理自体も簡易に行えるためである。 Even complex image processing can be executed at high speed and with low power consumption. The reason is that the learning unit 10 learns the relationship between the input pixel value and the output pixel value of the LUT target image processing unit 11 that performs complex image processing, stores the relationship in the LUT 20, and performs complex operations in actual image processing. This is because a simple process of searching the LUT 20 can be substituted. Another reason is that a rectangular parallelepiped formed by dividing each axis of the input color space by N that is a power of 2 is used as an element, an output pixel value is held corresponding to the vertex of each element, and the interpolation process is performed primarily. This is because, by using a function, determination of an element to be referred to from the LUT 20 and interpolation processing itself can be easily performed.

［第２の実施の形態］
図６を参照すると、本発明の第２の実施の形態に係る画像処理装置は、図１に示した第１の画像処理装置と比較して、学習部１０におけるＬＵＴ化対象画像処理手段１１がＬＵＴ化対象画像処理手段１４に置き換えられている点、パラメータ設定部１５が新たに設けられている点で相違し、それ以外は第１の実施の形態と同じである。 [Second Embodiment]
Referring to FIG. 6, the image processing apparatus according to the second embodiment of the present invention has an LUT target image processing means 11 in the learning unit 10 as compared with the first image processing apparatus shown in FIG. The second embodiment is different from the first embodiment in that it is replaced with the LUT target image processing means 14 and a parameter setting unit 15 is newly provided.

ＬＵＴ化対象画像処理手段１４は、入力端子１１ａに入力される画素値に対して、処理手段１、処理手段２、…、処理手段Ｎにより順番にＮ通りの処理を施し、その最後の処理手段Ｎによる処理結果の画素値を出力端子１１ｂから出力する。それぞれの処理手段１〜Ｎは、それぞれ異なる複数通りの処理を行うことができ、そのうちの何れの処理を行うかは、各処理手段１〜Ｎに１対１に対応して設けられているパラメータ記憶部ＰＲ１〜ＰＲＮに記憶されているパラメータＰ１〜ＰＮの値で決定される。例えば、或る処理手段は図７（ａ）に示す変換処理を行い、この変換処理で使用する定数ａ、ｂの値が対応するパラメータ記憶部によりパラメータとして与えられる。また、別の処理手段は図７（ｂ）に示す変換処理を行い、この変換処理で使用する0.055や1.055などの定数が対応するパラメータ記憶部によりパラメータとして与えられる。 The LUT target image processing means 14 performs N processes in order by the processing means 1, processing means 2,..., Processing means N on the pixel value input to the input terminal 11a, and the last processing means. The pixel value of the processing result by N is output from the output terminal 11b. Each of the processing units 1 to N can perform a plurality of different types of processing, and which one of the processings is performed is a parameter provided in a one-to-one correspondence with each of the processing units 1 to N. It is determined by the values of parameters P1 to PN stored in storage units PR1 to PRN. For example, a certain processing means performs the conversion process shown in FIG. 7A, and the values of constants a and b used in this conversion process are given as parameters by the corresponding parameter storage unit. Another processing means performs the conversion process shown in FIG. 7B, and constants such as 0.055 and 1.055 used in this conversion process are given as parameters by the corresponding parameter storage unit.

パラメータ設定部１５は、パラメータ記憶部ＰＲ１〜ＰＲＮにパラメータを設定するためのユーザインタフェースである。パラメータ設定部１５は、図示しない表示装置の画面にパラメータ設定画面を表示し、その画面を通じて利用者からパラメータの入力を受け付け、受け付けたパラメータをパラメータ記憶部ＰＲ１〜ＰＲＮに格納する。 The parameter setting unit 15 is a user interface for setting parameters in the parameter storage units PR1 to PRN. The parameter setting unit 15 displays a parameter setting screen on a screen of a display device (not shown), receives parameter input from the user through the screen, and stores the received parameters in the parameter storage units PR1 to PRN.

本実施の形態の動作は、学習動作を開始するのに先立って、パラメータ設定部１５を通じてＬＵＴ化対象画像処理手段１４に対してパラメータを設定する動作が新たに加わる点で、第１の実施の形態の動作と相違する。 The operation of the present embodiment is that the operation of setting parameters for the LUT target image processing means 14 is newly added through the parameter setting unit 15 prior to the start of the learning operation. It is different from the operation of the form.

本実施の形態によれば、利用者がパラメータ設定部１５を通じてＬＵＴ化対象画像処理手段１４で実施される画像処理の内容を変更してからＬＵＴ２０の学習動作を再度行うことにより、実際の画像処理で使用するＬＵＴ２０の内容を適宜変更することができる。 According to the present embodiment, the user changes the content of the image processing performed by the LUT target image processing means 14 through the parameter setting unit 15 and then performs the learning operation of the LUT 20 again, thereby performing actual image processing. The contents of the LUT 20 used in the above can be changed as appropriate.

［その他の実施の形態］
以上の実施の形態では、入力色空間を直方体の要素に区切り、各要素の頂点に対応する出力画素値をＬＵＴ２０に記憶し、入力画素値の属する直方体要素の８個の頂点の出力画素値に基づいて、一次関数による補間演算を行うことにより、入力画素値に対応する補間処理された出力画素値を算出した。このような補間は、一般に直方体一次要素による補間と呼ばれる。しかし、本発明は直方体一次要素による補間に限定されるわけではなく、他の任意の補間を適用することが可能である。例えば、直方体の頂点だけでなく辺上の節点に対応する出力画素値をＬＵＴ２０に記憶し、入力画素値が属する直方体要素の８個の頂点と１２個の節点との合計２０個の点の出力画素値に基づいて、二次関数によって補間処理を行う直方体二次要素による補間も適用可能である。また、入力色空間を各軸が直交していない四面体などの要素に区切り、各要素の格子点（頂点または／および節点）に対応する出力画素値をＬＵＴ２０に記憶し、入力画素値が属する要素の格子点の出力画素値に基づいて、一次関数や二次関数を用いて補間を行う、四面体一次要素による補間や、四面体二次要素による補間なども適用可能である。ただし、一般的には直方体一次要素による補間が最も計算量等が少なく負荷の軽い簡易な補間になる。 [Other embodiments]
In the above embodiment, the input color space is divided into rectangular parallelepiped elements, the output pixel values corresponding to the vertices of each element are stored in the LUT 20, and the output pixel values of the eight vertices of the rectangular parallelepiped element to which the input pixel values belong are stored. Based on this, an interpolation operation using a linear function was performed to calculate an interpolated output pixel value corresponding to the input pixel value. Such interpolation is generally called interpolation by a rectangular parallelepiped primary element. However, the present invention is not limited to interpolation by a rectangular parallelepiped primary element, and any other interpolation can be applied. For example, output pixel values corresponding not only to the vertices of the rectangular parallelepiped but also to nodes on the side are stored in the LUT 20, and a total of 20 points including eight vertices and 12 nodes of the rectangular parallelepiped element to which the input pixel value belongs are output. Interpolation by a rectangular parallelepiped secondary element that performs interpolation processing by a quadratic function based on the pixel value is also applicable. Further, the input color space is divided into elements such as tetrahedrons whose axes are not orthogonal to each other, output pixel values corresponding to lattice points (vertices and / or nodes) of each element are stored in the LUT 20, and the input pixel values belong to them. Interpolation using a tetrahedral primary element, interpolation using a tetrahedral secondary element, or the like that performs interpolation using a linear function or a quadratic function based on an output pixel value of an element lattice point is also applicable. However, in general, interpolation by a rectangular parallelepiped primary element is a simple interpolation with the least amount of calculation and a light load.

また以上の実施の形態においては、学習部１０とＬＵＴ２０および処理部３０とは一体として構成されていたが、学習部１０とＬＵＴ２０および処理部３０とを分離可能に構成し、学習動作によって必要なデータを記憶したＬＵＴ２０と処理部３０を学習部１０から分離して、携帯電話機などの画像表示装置に組み込む実施の形態も考えられる。 In the above embodiment, the learning unit 10, the LUT 20, and the processing unit 30 are configured as a single unit. However, the learning unit 10, the LUT 20, and the processing unit 30 are configured so as to be separable, and are necessary for the learning operation. An embodiment in which the LUT 20 storing data and the processing unit 30 are separated from the learning unit 10 and incorporated in an image display device such as a mobile phone is also conceivable.

また、処理部３０の各手段３１〜３４および学習部１０の各手段１１〜１４は、ハードウェア回路で実現することができることは勿論のこと、コンピュータとプログラムとで実現することができる。プログラムは磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、コンピュータの動作を制御することにより、コンピュータ上に各手段１１〜１４、３１〜３４を実現する。 Further, each means 31 to 34 of the processing unit 30 and each means 11 to 14 of the learning unit 10 can be realized by a hardware circuit, and can be realized by a computer and a program. The program is provided by being recorded on a computer-readable recording medium such as a magnetic disk or a semiconductor memory, read by the computer when the computer is started up, etc., and controls the operation of the computer, thereby controlling each means 11-14 on the computer. 31 to 34 are realized.

本発明の第１の実施の形態のブロック図である。It is a block diagram of a 1st embodiment of the present invention. 本発明の第１の実施の形態における入力色空間の分割方法の一例を示す図である。It is a figure which shows an example of the division | segmentation method of the input color space in the 1st Embodiment of this invention. 本発明の第１の実施の形態における補間処理の説明図である。It is explanatory drawing of the interpolation process in the 1st Embodiment of this invention. 本発明の第１の実施の形態における学習動作の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the procedure of learning operation | movement in the 1st Embodiment of this invention. 本発明の第１の実施の形態における実際の画像処理動作の手順の一例を示すフローチャートである。3 is a flowchart illustrating an example of a procedure of an actual image processing operation in the first embodiment of the present invention. 本発明の第２の実施の形態のブロック図である。It is a block diagram of the 2nd Embodiment of this invention. 画像を構成する各画素値に対して行われる演算例を示す図である。It is a figure which shows the example of a calculation performed with respect to each pixel value which comprises an image.

Explanation of symbols

１０…学習部
１１、１４…ＬＵＴ化対象画像処理手段
１１ａ…入力端子
１１ｂ…出力端子
１２…入力手段
１３…更新手段
１５…パラメータ設定手段
２０…ＬＵＴ（ルックアップテーブル）
３０…処理部
３１…事前変換手段
３２…要素算出手段
３３…ＬＵＴ参照手段
３４…補間手段 DESCRIPTION OF SYMBOLS 10 ... Learning part 11, 14 ... LUT conversion object image processing means 11a ... Input terminal 11b ... Output terminal 12 ... Input means 13 ... Update means 15 ... Parameter setting means 20 ... LUT (lookup table)
30 ... Processing unit 31 ... Pre-conversion means 32 ... Element calculation means 33 ... LUT reference means 34 ... Interpolation means

Claims

It consists of a learning unit, a lookup table, and a processing unit.
The learning unit is an image processing unit that performs an operation to be a lookup table and can observe an output value with respect to an input value; and a pixel value in an input color space is the image processing unit. Input means for input to the input table, and update means for writing the correspondence between the pixel value in the input color space and the output pixel value obtained as a result of inputting the pixel value to the image processing means into the lookup table,
The image processing apparatus, wherein the processing unit includes a reading unit that reads an output pixel value corresponding to an input pixel value to be subjected to image processing from the lookup table.

The input unit of the learning unit inputs pixel values of lattice points set in an input color space to the image processing unit, and the update unit of the learning unit includes pixels of lattice points in the input color space. A correspondence between the value and the output pixel value obtained as a result of inputting the pixel value to the image processing means is written to the lookup table, and the reading means of the processing unit includes a plurality of grids in the vicinity of the input pixel value. The output pixel value of the point is read from the lookup table, and the processing unit is adapted to the input pixel value by performing an interpolation process using the output pixel value read by the reading unit. The image processing apparatus according to claim 1, further comprising an interpolation unit that generates an output pixel value subjected to interpolation processing.

The image processing apparatus according to claim 2, wherein the image processing unit includes one or more processing units, and the content of the processing executed by the processing unit is determined by a parameter given from outside.

The image processing apparatus according to claim 3, wherein the learning unit includes a parameter setting unit that changes a parameter setting for the processing unit of the image processing unit.

The image processing apparatus according to claim 2, wherein vertices of each element when the input color space is divided into elements that are a plurality of small regions are set as the lattice points.

The image processing apparatus according to claim 5, wherein the element has a rectangular parallelepiped shape.

The look-up table stores an output pixel value corresponding to a vertex of the element in an array element corresponding to the vertex in a three-dimensional array composed of elements corresponding to each vertex on a one-to-one basis. The image processing apparatus according to claim 6.

7. The image processing apparatus according to claim 6, wherein a rectangular parallelepiped formed by dividing each axis of the input color space by a value N that is a power of 2 is used as the element.

An image display device incorporating the image processing device according to claim 1.

It consists of a lookup table and a processing unit.
The look-up table is an image processing unit that executes a pixel value in the input color space and an operation that is a target of the look-up table, and is an image processing unit that can observe an output value for the input value. The correspondence with the output pixel value output from the image processing means when the pixel value is input is written,
The image processing apparatus, wherein the processing unit includes a reading unit that reads an output pixel value corresponding to an input pixel value to be subjected to image processing from the lookup table.

Image processing means for executing an operation to be looked up into a table and capable of observing an output value with respect to an input value; and input means for inputting a pixel value in an input color space to the image processing means And an update means for writing a correspondence between a pixel value in the input color space and an output pixel value obtained as a result of inputting the pixel value to the image processing means into a look-up table. .

a) The learning unit inputs a pixel value in the input color space to an image processing unit that executes an operation to be a lookup table, and the input pixel value is output from the image processing unit. Obtaining a pixel value;
b) the learning unit writing a correspondence between a pixel value input to the image processing unit and a pixel value output from the image processing unit to the pixel value in a lookup table;
and c) a step of reading out an output pixel value corresponding to an input pixel value to be subjected to image processing from the lookup table.

A computer having a lookup table,
An input means for inputting a pixel value in the input color space to an image processing means for executing an operation to be looked up table and capable of observing an output value for the input value;
Updating means for writing a correspondence between a pixel value in the input color space and an output pixel value obtained as a result of inputting the pixel value to the image processing means to the lookup table;
A program for causing an output pixel value corresponding to an input pixel value to be subjected to image processing to function as a reading unit that reads from the lookup table.