JP2015215450A

JP2015215450A - Image processor, image display device, image processing method and computer program

Info

Publication number: JP2015215450A
Application number: JP2014097712A
Authority: JP
Inventors: 聡山中; Satoshi Yamanaka
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2014-05-09
Filing date: 2014-05-09
Publication date: 2015-12-03
Anticipated expiration: 2034-05-09
Also published as: JP6323152B2

Abstract

PROBLEM TO BE SOLVED: To generate an image in an image display part in which elements obtained by putting RGB called 3in1 in one package and monochrome LEDs, such as white are arranged in a zigzag manner.SOLUTION: An image processor for generating an image in an image display part obtained by arranging light emitting elements including primary colors of RGB and monochrome light emitting elements in a grid shape includes a frequency detection part for outputting a high frequency detection signal from input image data, a luminance calculation part for calculating luminance data from RGB data included in the input image data, an RGBW conversion part for generating RGB data and white data from the RGB data, a monochrome data generation part for generating data to be displayed in a monochrome light emitting element on the basis of the high frequency detection signal, the luminance data and the white data, and a data for 3in1 generation part for generating data to be displayed in a light emitting element including primary colors of RGB on the basis of the high frequency detection signal, the RGB data included in the input image data and the RGB data outputted by the RGBW conversion part.

Description

この発明は、ＬＥＤなどの発光素子を平面状に配置して構成される画像表示装置に用いる画像処理装置に関するものである。 The present invention relates to an image processing apparatus used in an image display apparatus configured by arranging light emitting elements such as LEDs in a planar shape.

球技場などで使用される大型の画像表示装置は、ＬＥＤなどの発光素子を平面状に配置して画面を構成している。近年、民生テレビと同様に大型の画像表示装置でも高解像度化がすすんでいる。また、近年、３ｉｎ１と呼ばれるＲ（赤色）、Ｇ（緑色）及びＢ（青色）を一つのパッケージに入れたＬＥＤ素子が画像表示装置に用いられる。３ｉｎ１のＬＥＤは、Ｒ、Ｇ及びＢからなる３個のＬＥＤ素子を１個のＬＥＤ素子に置き換えることが可能なため、消費電力の点で有利である。ただし、ＬＥＤ素子１個あたりのコストが大きいため、画像表示装置の表示面のすべてに３ｉｎ１のＬＥＤを用いるのではなく、３ｉｎ１のＬＥＤと白色などの単色のＬＥＤを千鳥状に配置する。単色のＬＥＤは安価なため、画質劣化を最小限に抑制しつつコスト削減をしている（特許文献１参照）。なお、「千鳥状に配置」とは、異なる２つのものを順番に列を入れかえて２列に配置することである。「順番に列を入れかえて２列に配置する」ということは、ジグザグに配置することである。 A large image display device used in a ball game field or the like has a screen configured by arranging light emitting elements such as LEDs in a planar shape. In recent years, high resolution has been promoted in large image display devices as well as consumer televisions. In recent years, an LED element called R (red), G (green), and B (blue) called 3 in 1 is used in an image display device. The 3-in-1 LED is advantageous in terms of power consumption because the three LED elements composed of R, G, and B can be replaced with one LED element. However, since the cost per LED element is large, instead of using 3 in 1 LEDs for the entire display surface of the image display device, 3 in 1 LEDs and white or other single color LEDs are arranged in a staggered manner. Since monochromatic LEDs are inexpensive, costs are reduced while minimizing image quality degradation (see Patent Document 1). Note that “arranged in a zigzag” means that two different things are arranged in two rows by sequentially changing the rows. “Replace the rows in order and place them in two rows” means to arrange them in a zigzag manner.

特開２０１２−１７３４６６号公報（段落００１２〜００１３、図１）JP 2012-173466 A (paragraphs 0012 to 0013, FIG. 1)

特許文献１では３ｉｎ１のＬＥＤと白色のＬＥＤとで信号を表示する方法を記載しているが、入力信号がＲ（赤色）、Ｇ（緑色）及びＢ（青色）からなるＲＧＢデータであれば、白色のＬＥＤが配置された画素に対応する白色のＬＥＤ用のデータを算出する必要がある。例えば、ＲＧＢデータのそれぞれを加重平均することにより算出した輝度データを白色のＬＥＤ用のデータとして用いることが考えられる。しかしながら、このような算出方法から白色のＬＥＤ用のデータを用いた場合、また、白色のＬＥＤが配置されたことにより色再現性が劣化するという問題がある。 Patent Document 1 describes a method of displaying a signal with a 3-in-1 LED and a white LED. However, if the input signal is RGB data composed of R (red), G (green), and B (blue), It is necessary to calculate data for a white LED corresponding to a pixel in which the white LED is arranged. For example, it is conceivable to use luminance data calculated by weighted averaging of each of RGB data as data for white LEDs. However, when data for white LEDs is used from such a calculation method, there is a problem that color reproducibility deteriorates due to the arrangement of white LEDs.

ＲＧＢの原色を有する発光素子と単色の発光素子とを格子状に配列して構成した画像表示部に表示する画像を生成する画像処理装置において、入力画像データから着目した画素位置の周辺の空間周波数を検出して高周波数検出信号を出力する高周波数検出部と、前記入力画像データに含まれる第一のＲＧＢデータから輝度データを算出する輝度算出部と、前記第一のＲＧＢデータから第二のＲＧＢデータ及び白色データを生成するＲＧＢＷ変換部と、前記着目した画素位置について前記高周波数検出信号の前記空間周波数が高いことを示す場合は、前記着目した画素位置における前記輝度データの合成割合を前記着目した画素位置における前記白色データの合成割合に対して大きくして合成した単色用データを生成する単色用データ生成部と、前記高周波数検出信号の前記空間周波数が低いことを示す場合に、前記ＲＧＢの原色を有する発光素子に表示するデータにおける前記第二のＲＧＢデータの合成割合を前記第一のＲＧＢデータの合成割合に対して大きくする３ｉｎ１用データ生成部とを備えることを特徴とする In an image processing apparatus for generating an image to be displayed on an image display unit configured by arranging light emitting elements having RGB primary colors and single color light emitting elements in a grid pattern, a spatial frequency around a pixel position of interest from input image data A high frequency detection unit that detects a high frequency detection signal and outputs a high frequency detection signal, a luminance calculation unit that calculates luminance data from first RGB data included in the input image data, and a second from the first RGB data When the RGBW conversion unit that generates RGB data and white data indicates that the spatial frequency of the high-frequency detection signal is high for the pixel position of interest, the composition ratio of the luminance data at the pixel position of interest is expressed as A single color data generation unit for generating single color data that is combined with the white data at the pixel position of interest; When the high frequency detection signal indicates that the spatial frequency is low, the composition ratio of the second RGB data in the data displayed on the light emitting element having the RGB primary colors is changed to the composition ratio of the first RGB data. And a data generation unit for 3 in 1 that is larger than the data generation unit.

本発明に係る画像処理装置は、着目した画素位置の周辺の空間周波数が高い場合に、輝度データを適用することで空間周波数の高い映像を表示することができる。また、着目した画素位置の周辺の空間周波数が低い場合に、彩度の高いデータを適用することで色再現性の良い映像を表示することができる。 The image processing apparatus according to the present invention can display an image with a high spatial frequency by applying luminance data when the spatial frequency around the pixel position of interest is high. In addition, when the spatial frequency around the pixel position of interest is low, an image with good color reproducibility can be displayed by applying data with high saturation.

本発明に係る実施の形態１の画像表示装置５の構成を示す図である。It is a figure which shows the structure of the image display apparatus 5 of Embodiment 1 which concerns on this invention. 本発明に係る実施の形態１の画像表示部３を説明するための図である。It is a figure for demonstrating the image display part 3 of Embodiment 1 which concerns on this invention. 本発明に係る実施の形態１の入力画像データＤＩを説明するための図である。It is a figure for demonstrating the input image data DI of Embodiment 1 which concerns on this invention. 本発明に係る実施の形態１の高周波数検出部１１の構成を示す図である。It is a figure which shows the structure of the high frequency detection part 11 of Embodiment 1 which concerns on this invention. 本発明に係る実施の形態１の第一の畳み込み演算部１１１の動作を説明するための図である。It is a figure for demonstrating operation | movement of the 1st convolution operation part 111 of Embodiment 1 which concerns on this invention. 本発明に係る実施の形態１の第二の畳み込み演算部１１２の動作を説明するための図である。It is a figure for demonstrating operation | movement of the 2nd convolution operation part 112 of Embodiment 1 which concerns on this invention. 本発明に係る実施の形態１の二次元の畳み込みパターンの一例を示す図である。It is a figure which shows an example of the two-dimensional convolution pattern of Embodiment 1 which concerns on this invention. 本発明に係る実施の形態１の二次元の畳み込みパターンの一例を示す図である。It is a figure which shows an example of the two-dimensional convolution pattern of Embodiment 1 which concerns on this invention. 本発明に係る実施の形態１の二次元の畳み込みパターンの一例を示す図である。It is a figure which shows an example of the two-dimensional convolution pattern of Embodiment 1 which concerns on this invention. 本発明に係る実施の形態１のＲＧＢＷ変換部１３の構成を示す図である。It is a figure which shows the structure of the RGBW conversion part 13 of Embodiment 1 which concerns on this invention. 本発明に係る実施の形態１の彩度調整値算出部１３２の構成を示す図である。It is a figure which shows the structure of the saturation adjustment value calculation part 132 of Embodiment 1 which concerns on this invention. 本発明に係る実施の形態１のＲＧＢＷ変換部１３の効果を説明するための図である。It is a figure for demonstrating the effect of the RGBW conversion part 13 of Embodiment 1 which concerns on this invention. 本発明に係る実施の形態１の単色用データ生成部１４及び３ｉｎ１用データ生成部１５の動作を説明するための図である。It is a figure for demonstrating operation | movement of the data generation part 14 for single colors and the data generation part 15 for 3in1 of Embodiment 1 which concerns on this invention. 本発明に係る実施の形態１の画像表示部３の表示画面の一例を示すための図である。It is a figure for showing an example of the display screen of the image display part 3 of Embodiment 1 which concerns on this invention. 本発明に係る実施の形態２の画像表示装置の機能の一部をコンピュータプログラムで実現する場合の構成を示す図である。It is a figure which shows the structure in the case of implement | achieving a part of function of the image display apparatus of Embodiment 2 which concerns on this invention with a computer program. 本発明に係る実施の形態２の演算装置４による処理手順の一例を概略的に示すフローチャートである。It is a flowchart which shows roughly an example of the process sequence by the arithmetic unit 4 of Embodiment 2 which concerns on this invention.

実施の形態１．
図１は、本発明に係る実施の形態１の画像表示装置の構成を示す図である。図１に示されているように、本発明に係る実施の形態１の画像処理装置１は、高周波数検出部１１、輝度算出部１２、ＲＧＢＷ変換部１３、単色用データ生成部１４及び３ｉｎ１用データ生成部１５を備える。画像表示装置５は、画像処理装置１の他に画像制御部２及び画像表示部３を備える。画像表示装置５は、入力画像データＤＩが入力される。入力画像データＤＩは、赤色の入力画像データＲＩ、緑色の入力画像データＧＩ及び青色の入力画像データＢＩを有する。画像処理装置１は、入力画像データＤＩが入力される。画像処理装置１は、画像データＤ１４及び画像データＤ１５を画像制御部２に出力する。画像データＤ１５は、赤色の画像データＲＩ、緑色の画像データＧＩ及び青色の画像データＢＩを有する。画像制御部２は、画像データ２を画像表示部３に出力する。 Embodiment 1 FIG.
FIG. 1 is a diagram showing a configuration of an image display apparatus according to Embodiment 1 of the present invention. As shown in FIG. 1, the image processing apparatus 1 according to the first embodiment of the present invention includes a high frequency detection unit 11, a luminance calculation unit 12, an RGBW conversion unit 13, a single color data generation unit 14, and a 3 in 1 use. A data generation unit 15 is provided. The image display device 5 includes an image control unit 2 and an image display unit 3 in addition to the image processing device 1. The image display device 5 receives input image data DI. The input image data DI includes red input image data RI, green input image data GI, and blue input image data BI. The image processing apparatus 1 receives input image data DI. The image processing apparatus 1 outputs the image data D14 and the image data D15 to the image control unit 2. The image data D15 includes red image data RI, green image data GI, and blue image data BI. The image control unit 2 outputs the image data 2 to the image display unit 3.

高周波数検出部１１は、入力画像データＤＩが入力される。入力画像データＤＩは、赤色の入力画像データＲＩ、緑色の入力画像データＧＩ及び青色の入力画像データＢＩを有する。また、高周波数検出部１１は、高周波数検出信号Ｄ１１を単色用データ生成部１４及び３ｉｎ１用データ生成部１５に出力する。輝度算出部１２は、入力画像データＤＩが入力される。また、輝度算出部１２は、輝度データＷ１２を単色用データ生成部１４に出力する。ＲＧＢＷ変換部１３は、入力画像データＤＩが入力される。また、ＲＧＢＷ変換部１３は、画像データＤ１３を出力する。画像データＤ１３は、赤色の画像データＲ１３、緑色の画像データＧ１３、青色の画像データＢ１３及び白色の画像データＷ１３を有する。単色用データ生成部１４は、高周波数検出信号Ｄ１１、輝度データＷ１２及び白色の画像データＷ１３が入力される。また、単色用データ生成部１４は、画像データＤ１４を出力する。３ｉｎ１用データ生成部１５は、入力画像データＤＩ、高周波数検出信号Ｄ１１、赤色の画像データＲ１３、緑色の画像データＧ１３及び青色の画像データＢ１３が入力される。また、３ｉｎ１用データ生成部１５は、画像データＤ１５を出力する。 The high frequency detection unit 11 receives input image data DI. The input image data DI includes red input image data RI, green input image data GI, and blue input image data BI. Further, the high frequency detection unit 11 outputs the high frequency detection signal D11 to the single color data generation unit 14 and the 3in1 data generation unit 15. The luminance calculation unit 12 receives input image data DI. Further, the luminance calculation unit 12 outputs the luminance data W12 to the single color data generation unit 14. The RGBW converter 13 receives input image data DI. The RGBW converter 13 outputs image data D13. The image data D13 includes red image data R13, green image data G13, blue image data B13, and white image data W13. The monochromatic data generation unit 14 receives the high frequency detection signal D11, the luminance data W12, and the white image data W13. Further, the monochrome data generation unit 14 outputs the image data D14. The 3-in-1 data generation unit 15 receives input image data DI, a high frequency detection signal D11, red image data R13, green image data G13, and blue image data B13. The 3in1 data generation unit 15 outputs image data D15.

図２は、画像表示部３を説明するための図である。画像表示部３は、多数の発光素子を平面状に且つ格子状に配列して構成された表示画面３１を有する。なお、「格子状」とは、複数の縦の線と横の線とが交差している状態を示すものである。表示画面３１は、３ｉｎ１発光素子３２及び単色発光素子３３を有する。発光素子は、Ｘ軸と、またＸ軸に直交するＹ軸とに沿って配列される。Ｘ軸方向は、画像表示部における水平方向である。Ｙ軸方向は、画像表示部における垂直方向である。３ｉｎ１発光素子３２は、赤色、緑色及び青色の発光体が一つのパッケージに収納されている。単色発光素子３３は、白色などの単色の発光体が一つのパッケージに収納されている。表示画面３１には、３ｉｎ１発光素子３２と単色発光素子３３とが格子状の配列中に千鳥状に配置される。 FIG. 2 is a diagram for explaining the image display unit 3. The image display unit 3 includes a display screen 31 configured by arranging a large number of light emitting elements in a planar shape and a lattice shape. Note that the “lattice” indicates a state in which a plurality of vertical lines and horizontal lines intersect each other. The display screen 31 includes a 3 in 1 light emitting element 32 and a single color light emitting element 33. The light emitting elements are arranged along the X axis and the Y axis orthogonal to the X axis. The X-axis direction is a horizontal direction in the image display unit. The Y-axis direction is a vertical direction in the image display unit. In the 3-in-1 light-emitting element 32, red, green, and blue light emitters are housed in one package. In the monochromatic light emitting element 33, a monochromatic light emitter such as white is accommodated in one package. On the display screen 31, the 3-in-1 light-emitting elements 32 and the monochromatic light-emitting elements 33 are arranged in a staggered pattern in a grid-like arrangement.

図３は、入力画像データＤＩを説明するための図である。入力画像データＤＩは、画素毎に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のデータを含む。入力画像データＤＩは、赤色の入力画像データＲＩ、緑色の入力画像データＧＩ及び青色の入力画像データＢＩを有する。入力画像データＤＩは、Ｘ軸と、またＸ軸に直交するＹ軸とに沿って配列される。図３で示したような入力画像データＤＩを図２の表示画面３１に表示するためには、単色発光素子の位置については赤色、緑色及び青色の入力画像データから白色の画像データに変換する必要がある。 FIG. 3 is a diagram for explaining the input image data DI. The input image data DI includes red (R), green (G), and blue (B) data for each pixel. The input image data DI includes red input image data RI, green input image data GI, and blue input image data BI. The input image data DI is arranged along the X axis and the Y axis orthogonal to the X axis. In order to display the input image data DI as shown in FIG. 3 on the display screen 31 of FIG. 2, it is necessary to convert the red, green, and blue input image data into white image data for the positions of the monochromatic light emitting elements. There is.

高周波数検出部１１は、入力画像データＤＩの画素毎に空間周波数を検出し、その結果を高周波数検出信号Ｄ１１として出力する。高周波数検出信号Ｄ１１は、単色用データ生成部１４及び３ｉｎ１用データ生成部１５に入力される。「空間周波数」とは、空間的な周期をもつ構造の性質であり、ここでいう空間は、表示画面の２次元平面を言う。 The high frequency detector 11 detects the spatial frequency for each pixel of the input image data DI, and outputs the result as a high frequency detection signal D11. The high frequency detection signal D11 is input to the monochrome data generation unit 14 and the 3in1 data generation unit 15. “Spatial frequency” is a property of a structure having a spatial period, and the space here refers to a two-dimensional plane of a display screen.

図４は、高周波数検出部１１の構成を示す図である。高周波数検出部１１は、第一の畳み込み演算部１１１、第二の畳み込み演算部１１２及び高周波数算出部１１３を備える。高周波数検出部１１は、入力画像データＤＩが入力される。入力画像データＤＩは、赤色の入力画像データＲＩ、緑色の入力画像データＧＩ及び青色の入力画像データＢＩを有する。また、高周波数検出部１１は、高周波数検出信号Ｄ１１を出力する。第一の畳み込み演算部１１１は、入力画像データＤＩが入力される。また、第一の畳み込み演算部１１１は、第一の畳み込みデータＤ１１１を高周波数算出部１１３に出力する。第一の畳み込みデータＤ１１１は、赤色の第一の畳み込みデータＲ１１１、緑色の第一の畳み込みデータＧ１１１及び青色の第一の畳み込みデータＢ１１１を有する。第二の畳み込み演算部１１２は、入力画像データＤＩが入力される。また、第二の畳み込み演算部１１２は、第二の畳み込みデータＤ１１２を高周波数算出部１１３に出力する。第二の畳み込みデータＤ１１２は、赤色の第二の畳み込みデータＲ１１２、緑色の第二の畳み込みデータＧ１１２及び青色の第二の畳み込みデータＢ１１２を有する。高周波数算出部１１３は、第一の畳み込みデータＤ１１１及び第二の畳み込みデータＤ１１２が入力される。また、高周波数算出部１１３は、高周波数検出信号Ｄ１１を出力する。 FIG. 4 is a diagram illustrating a configuration of the high frequency detection unit 11. The high frequency detector 11 includes a first convolution calculator 111, a second convolution calculator 112, and a high frequency calculator 113. The high frequency detection unit 11 receives input image data DI. The input image data DI includes red input image data RI, green input image data GI, and blue input image data BI. Moreover, the high frequency detection part 11 outputs the high frequency detection signal D11. The first convolution operation unit 111 receives input image data DI. In addition, the first convolution operation unit 111 outputs the first convolution data D111 to the high frequency calculation unit 113. The first convolution data D111 includes red first convolution data R111, green first convolution data G111, and blue first convolution data B111. The second convolution operation unit 112 receives input image data DI. Further, the second convolution operation unit 112 outputs the second convolution data D112 to the high frequency calculation unit 113. The second convolution data D112 includes red second convolution data R112, green second convolution data G112, and blue second convolution data B112. The high frequency calculation unit 113 receives the first convolution data D111 and the second convolution data D112. Further, the high frequency calculation unit 113 outputs a high frequency detection signal D11.

図５は、第一の畳み込み演算部１１１の動作を説明するための図である。画素毎に図５に示した水平方向畳み込みパターンデータを入力画像データＤＩに畳み込むことで第一の畳み込みデータＤ１１１を生成する。例えば、水平方向の座標値がｉとし、垂直方向の座標値がｊとして、入力画像データＤＩは水平方向に以下のように並ぶこととする。

ＲＩ（ｉ−１、ｊ）＝２５５、ＧＩ（ｉ−１、ｊ）＝２５５、ＢＩ（ｉ−１、ｊ）＝２５５、
ＲＩ（ｉ、ｊ）＝０、ＧＩ（ｉ、ｊ）＝２５５、ＢＩ（ｉ、ｊ）＝２５５、
ＲＩ（ｉ＋１、ｊ）＝２５５、ＧＩ（ｉ＋１、ｊ）＝０、ＢＩ（ｉ＋１、ｊ）＝２５５、
ＲＩ（ｉ＋２、ｊ）＝０、ＧＩ（ｉ＋２、ｊ）＝０、ＢＩ（ｉ＋２、ｊ）＝２５５

この場合、着目画素（ｉ、ｊ）に対して水平方向に畳み込みパターンデータを畳み込んだ畳み込みデータＲ１１１，Ｇ１１１，Ｂ１１１は、以下の値となる。

Ｒ１１１（ｉ、ｊ）＝ＲＩ（ｉ−１、ｊ）×１＋ＲＩ（ｉ、ｊ）×（−１）＋ＲＩ（ｉ＋１、ｊ）×１＋ＲＩ（ｉ＋２、ｊ）×（−１）
＝２５５−０＋２５５−０＝５１０（１）

Ｇ１１１（ｉ、ｊ）＝ＧＩ（ｉ−１、ｊ）×１＋ＧＩ（ｉ、ｊ）×（−１）＋ＧＩ（ｉ＋１、ｊ）×１＋ＧＩ（ｉ＋２、ｊ）×（−１）
＝２５５−２５５＋０−０＝０（２）

Ｂ１１１（ｉ、ｊ）＝ＢＩ（ｉ−１、ｊ）×１＋ＢＩ（ｉ、ｊ）×（−１）＋ＢＩ（ｉ＋１、ｊ）×１＋ＢＩ（ｉ＋２、ｊ）×（−１）
＝２５５−２５５＋２５５−２５５＝０（３）

このように、着目画素（ｉ、ｊ）の周辺のＲＩが上述のように画素単位で変化しているデータであれば、ＲＩに対する第一の畳み込みデータＲ１１１は大きい値となる。一方、着目画素（ｉ、ｊ）の周辺のＧＩが上述のように１画素単位で変化することのないデータであれば、ＧＩに対する第一の畳み込みデータＧ１１１は小さい値となる。同じように、着目画素（ｉ、ｊ）の周辺のＢＩが上述のように画素単位で変化のないデータであれば、ＢＩに対する第一の畳み込みデータＢ１１１は小さい値となる。 FIG. 5 is a diagram for explaining the operation of the first convolution operation unit 111. The first convolution data D111 is generated by convolving the horizontal convolution pattern data shown in FIG. 5 with the input image data DI for each pixel. For example, the horizontal coordinate value is i, the vertical coordinate value is j, and the input image data DI is arranged in the horizontal direction as follows.

RI (i-1, j) = 255, GI (i-1, j) = 255, BI (i-1, j) = 255,
RI (i, j) = 0, GI (i, j) = 255, BI (i, j) = 255,
RI (i + 1, j) = 255, GI (i + 1, j) = 0, BI (i + 1, j) = 255,
RI (i + 2, j) = 0, GI (i + 2, j) = 0, BI (i + 2, j) = 255

In this case, the convolution data R111, G111, and B111 obtained by convolving the convolution pattern data in the horizontal direction with respect to the pixel of interest (i, j) have the following values.

R111 (i, j) = RI (i-1, j) × 1 + RI (i, j) × (−1) + RI (i + 1, j) × 1 + RI (i + 2, j) × (−1)
= 255-0 + 255-0 = 510 (1)

G111 (i, j) = GI (i-1, j) × 1 + GI (i, j) × (−1) + GI (i + 1, j) × 1 + GI (i + 2, j) × (−1)
= 255-255 + 0-0 = 0 (2)

B111 (i, j) = BI (i−1, j) × 1 + BI (i, j) × (−1) + BI (i + 1, j) × 1 + BI (i + 2, j) × (−1)
= 255-255 + 255-255 = 0 (3)

Thus, if the RI around the pixel of interest (i, j) is data changing in units of pixels as described above, the first convolution data R111 for the RI is a large value. On the other hand, if the GI around the pixel of interest (i, j) is data that does not change in units of one pixel as described above, the first convolution data G111 for the GI is a small value. Similarly, if the BI around the pixel of interest (i, j) is data that does not change in pixel units as described above, the first convolution data B111 for the BI is a small value.

図６は、第二の畳み込み演算部１１２の動作を説明するための図である。画素毎に図６に示した垂直方向畳み込みパターンデータを入力画像データＤＩに畳み込むことで第二の畳み込みデータＤ１１２を生成する。例えば、水平方向の座標値がｉとし、垂直方向の座標値がｊとして、入力画像データＤＩは垂直方向に以下のように並ぶとする。

ＲＩ（ｉ、ｊ−１）＝２５５、ＧＩ（ｉ、ｊ−１）＝２５５、ＢＩ（ｉ、ｊ−１）＝２５５、
ＲＩ（ｉ、ｊ）＝０、ＧＩ（ｉ、ｊ）＝２５５、ＢＩ（ｉ、ｊ）＝２５５、
ＲＩ（ｉ、ｊ＋１）＝２５５、ＧＩ（ｉ、ｊ＋１）＝０、ＢＩ（ｉ、ｊ＋１）＝２５５、
ＲＩ（ｉ、ｊ＋２）＝０、ＧＩ（ｉ、ｊ＋２）＝０、ＢＩ（ｉ、ｊ＋２）＝２５５

この場合、着目画素（ｉ、ｊ）に対して垂直方向に畳み込みパターンデータを畳み込んだ畳み込みデータＲ１１２，Ｇ１１２，Ｂ１１２は以下の値となる。

Ｒ１１２（ｉ、ｊ）＝ＲＩ（ｉ、ｊ−１）×１−ＲＩ（ｉ、ｊ）×（−１）＋ＲＩ（ｉ、ｊ＋１）×１−ＲＩ（ｉ、ｊ＋２）×（−１）
＝２５５−０＋２５５−０＝５１０（４）

Ｇ１１２（ｉ、ｊ）＝ＧＩ（ｉ、ｊ−１）×１−ＧＩ（ｉ、ｊ）×（−１）＋ＧＩ（ｉ、ｊ＋１）×１−ＧＩ（ｉ、ｊ＋２）×（−１）
＝２５５−２５５＋０−０＝０（５）

Ｂ１１２（ｉ、ｊ）＝ＢＩ（ｉ、ｊ−１）×１−ＢＩ（ｉ、ｊ）×（−１）＋ＢＩ（ｉ、ｊ＋１）×１−ＢＩ（ｉ、ｊ＋２）×（−１）
＝２５５−２５５＋２５５−２５５＝０（６）

このように、着目画素（ｉ、ｊ）の周辺のＲＩが上述のように画素単位で変化しているデータであれば、ＲＩに対する第二の畳み込みデータＲ１１２は大きい値となる。一方、着目画素（ｉ、ｊ）の周辺のＧＩが上述のように１画素単位で変化することのないデータであれば、ＧＩに対する第二の畳み込みデータＧ１１２は小さい値となる。同じように、着目画素（ｉ、ｊ）の周辺のＢＩが上述のように画素単位で変化のないデータであれば、ＢＩに対する第二の畳み込みデータＢ１１２は小さい値となる。 FIG. 6 is a diagram for explaining the operation of the second convolution operation unit 112. The second convolution data D112 is generated by convolving the vertical convolution pattern data shown in FIG. 6 with the input image data DI for each pixel. For example, it is assumed that the horizontal coordinate value is i, the vertical coordinate value is j, and the input image data DI is arranged in the vertical direction as follows.

RI (i, j-1) = 255, GI (i, j-1) = 255, BI (i, j-1) = 255,
RI (i, j) = 0, GI (i, j) = 255, BI (i, j) = 255,
RI (i, j + 1) = 255, GI (i, j + 1) = 0, BI (i, j + 1) = 255,
RI (i, j + 2) = 0, GI (i, j + 2) = 0, BI (i, j + 2) = 255

In this case, the convolution data R112, G112, and B112 obtained by convolving the convolution pattern data in the vertical direction with respect to the pixel of interest (i, j) have the following values.

R112 (i, j) = RI (i, j-1) * 1-RI (i, j) * (-1) + RI (i, j + 1) * 1-RI (i, j + 2) * (-1)
= 255-0 + 255-0 = 510 (4)

G112 (i, j) = GI (i, j-1) * 1-GI (i, j) * (-1) + GI (i, j + 1) * 1-GI (i, j + 2) * (-1)
= 255-255 + 0-0 = 0 (5)

B112 (i, j) = BI (i, j-1) * 1-BI (i, j) * (-1) + BI (i, j + 1) * 1-BI (i, j + 2) * (-1)
= 255-255 + 255-255 = 0 (6)

In this way, if the RI around the pixel of interest (i, j) is data changing in units of pixels as described above, the second convolution data R112 for the RI has a large value. On the other hand, if the GI around the pixel of interest (i, j) is data that does not change in units of one pixel as described above, the second convolution data G112 for the GI has a small value. Similarly, if the BI around the pixel of interest (i, j) is data that does not change in pixel units as described above, the second convolution data B112 for the BI is a small value.

高周波数算出部１１３は、第一の畳み込みデータＤ１１１と第二の畳み込みデータＤ１１２とを加重平均する。高周波数算出部１１３は、加重平均した信号を高周波数検出信号Ｄ１１として出力する。また、第一の畳み込みデータＤ１１１は、第一の畳み込み赤色データＲ１１１、第一の畳み込み緑色データＧ１１１及び第一の青色データＢ１１１で以下のように構成される。

Ｄ１１１（ｉ，ｊ）＝ｋｒ・Ｒ１１１（ｉ，ｊ）＋ｋｇ・Ｇ１１１（ｉ，ｊ）
＋ｋｂ・Ｂ１１１（ｉ，ｊ）（７）

赤色の係数ｋｒ、緑色の係数ｋｇ及び青色の係数ｋｂの比は、輝度の算出式に基づいて、ｋｒ：ｋｇ：ｋｂ＝０．２９９：０．５８７：０．１４４となる。第二の畳み込みデータＤ１１２は、第一の畳み込み赤色データＲ１１２、第一の畳み込み緑色データＧ１１２及び第一の青色データＢ１１２で以下のように構成される。

Ｄ１１２（ｉ，ｊ）＝ｋｒ・Ｒ１１２（ｉ，ｊ）＋ｋｇ・Ｇ１１２（ｉ，ｊ）
＋ｋｂ・Ｂ１１２（ｉ，ｊ）（８）

赤色の係数ｋｒ、緑色の係数ｋｇ及び青色の係数ｋｂの比は、上記と同様に、ｋｒ：ｋｇ：ｋｂ＝０．２９９：０．５８７：０．１４４となる。ただし、赤色、緑色及び青色の係数の比は、上記に限るものではない。また、畳み込み演算は、入力画像データＤＩから予め輝度を算出して演算を行っても良い。畳み込みパターンデータは、４個として説明したが、回路規模が大きくなることを許容するならば、これより多くしてもよい。 The high frequency calculation unit 113 performs a weighted average of the first convolution data D111 and the second convolution data D112. The high frequency calculation unit 113 outputs a weighted average signal as a high frequency detection signal D11. The first convolution data D111 includes the first convolution red data R111, the first convolution green data G111, and the first blue data B111 as follows.

D111 (i, j) = kr · R111 (i, j) + kg · G111 (i, j)
+ Kb · B111 (i, j) (7)

The ratio of the red coefficient kr, the green coefficient kg, and the blue coefficient kb is kr: kg: kb = 0.299: 0.587: 0.144 based on the luminance calculation formula. The second convolution data D112 includes the first convolution red data R112, the first convolution green data G112, and the first blue data B112 as follows.

D112 (i, j) = kr · R112 (i, j) + kg · G112 (i, j)
+ Kb · B112 (i, j) (8)

The ratio of the red coefficient kr, the green coefficient kg, and the blue coefficient kb is kr: kg: kb = 0.299: 0.587: 0.144, as described above. However, the ratio of the red, green, and blue coefficients is not limited to the above. Further, the convolution calculation may be performed by calculating the luminance in advance from the input image data DI. Although the convolution pattern data has been described as four, it may be more than this if the circuit scale is allowed to increase.

高周波数検出部１１は、水平方向及び垂直方向の高周波数のパターンを畳み込み、その結果を加算することにより着目画素の周辺が高周波数かどうかを検出することができる。高周波数かどうかを検出すること、つまり空間周波数が高いことを検出することにより、輝度データＷ１２と白色データＷ１３との合成割合を変更する。空間周波数が高い場合に輝度データＷ１２の割合を多くすることによって、輝度の解像度に対して敏感で、色の解像度に対しては比較的敏感ではない視覚特性に対応した処理を行うことができる。 The high frequency detection unit 11 can detect whether the periphery of the pixel of interest has a high frequency by convolving the high frequency patterns in the horizontal direction and the vertical direction and adding the results. By detecting whether the frequency is high, that is, by detecting that the spatial frequency is high, the synthesis ratio of the luminance data W12 and the white data W13 is changed. By increasing the ratio of the luminance data W12 when the spatial frequency is high, it is possible to perform processing corresponding to visual characteristics that are sensitive to luminance resolution and relatively insensitive to color resolution.

図４〜図６では、１次元の畳み込みパターンデータを使って画素毎の高周波数を検出する方法を説明したが、図７〜図９に示すような２次元のパターンを使ってもよい。図４〜図６では第一の畳み込み演算部１１１で水平方向畳み込みパターンデータを使用し、第二の畳み込み演算部１１２で垂直方向畳み込みパターンデータを使用した。これに対し、第一の畳み込み演算部１１１で図７に示した縦縞畳み込みパターンデータを使用し、第二の畳み込み演算部１１２で図８に示した横縞畳み込みパターンデータを使用し、さらに第三の畳み込み演算部を図９で示した千鳥畳み込みパターンデータを使用する。また、図５〜図９では１画素で変化する画像を検出するパターンを説明したが、パターンの幅を広げ２画素以上のパターンを使用してもよい。 4 to 6, the method for detecting the high frequency for each pixel using the one-dimensional convolution pattern data has been described. However, a two-dimensional pattern as shown in FIGS. 7 to 9 may be used. 4 to 6, the first convolution calculation unit 111 uses horizontal direction convolution pattern data, and the second convolution calculation unit 112 uses vertical direction convolution pattern data. On the other hand, the first convolution calculation unit 111 uses the vertical stripe convolution pattern data shown in FIG. 7, the second convolution calculation unit 112 uses the horizontal stripe convolution pattern data shown in FIG. The convolution operation unit uses the staggered convolution pattern data shown in FIG. 5 to 9, the pattern for detecting an image that changes with one pixel has been described. However, the pattern width may be widened and a pattern with two or more pixels may be used.

輝度算出部１２は、入力画像データＤＩを構成する赤色データＲＩ、緑色データＧＩ及び青色データＢＩを加重加算し輝度データＷ１２を算出する。輝度の算出方法の一例を式（９）に示す。 The luminance calculation unit 12 calculates the luminance data W12 by weighted addition of the red data RI, the green data GI, and the blue data BI constituting the input image data DI. An example of a luminance calculation method is shown in Equation (9).

ＲＧＢＷ変換部１３は、入力画像データＤＩを構成する３色の赤色データＲＩ、緑色データＧＩ及び青色データＢＩを赤色データＲ１３、緑色データＧ１３、青色データＢ１３及び白色データＷ１３の４色で構成される画像データＤ１３に変換する。 The RGBW conversion section 13 is composed of three colors of red data RI, green data GI and blue data BI constituting the input image data DI in four colors of red data R13, green data G13, blue data B13 and white data W13. Conversion to image data D13.

図１０は、ＲＧＢＷ変換部１３の構成を示す図である。ＲＧＢＷ変換部１３は、画素値比較部１３１、彩度調整値算出部１３２、三色画素値算出部１３３及び白色画素値算出部１３４を備える。ＲＧＢＷ変換部１３は、入力画像データＤＩが入力される。入力画像データＤＩは、赤色の入力画像データＲＩ、緑色の入力画像データＧＩ及び青色の入力画像データＢＩを有する。また、ＲＧＢＷ変換部１３は、画像データＤ１３を出力する。画素値比較部１３１は、入力画像データＤＩが入力される。また、画素値比較部１３１は、比較結果Ｙｉｍａｘを彩度調整値算出部１３２及び三色画素値算出部１３３に出力する。さらに、画素値比較部１３１は、比較結果Ｙｉｍｉｎを彩度調整値算出部１３２及び白色画素値算出部１３４に出力する。彩度調整値算出部１３２は、比較結果Ｙｉｍａｘ及び比較結果Ｙｉｍｉｎが入力される。また、彩度調整値算出部１３２は、彩度調整値Ｘを出力する。三色画素値算出部１３３は、入力画像データＤＩ、比較結果Ｙｉｍａｘ及び彩度調整値Ｘが入力される。また、三色画素値算出部１３３は、赤色の画像データＲ１３、緑色の画像データＧ１３及び青色の画像データＢ１３を出力する。白色画素値算出部１３４は、比較結果Ｙｉｍｉｎが入力される。また、白色画素値算出部１３４は、白色の画像データＷ１３を出力する。画像データＤ１３は、赤色の画像データＲ１３、緑色の画像データＧ１３、青色の画像データＢ１３及び白色の画像データＷ１３を有する。 FIG. 10 is a diagram illustrating a configuration of the RGBW conversion unit 13. The RGBW conversion unit 13 includes a pixel value comparison unit 131, a saturation adjustment value calculation unit 132, a three-color pixel value calculation unit 133, and a white pixel value calculation unit 134. The RGBW converter 13 receives input image data DI. The input image data DI includes red input image data RI, green input image data GI, and blue input image data BI. The RGBW converter 13 outputs image data D13. The pixel value comparison unit 131 receives input image data DI. Further, the pixel value comparison unit 131 outputs the comparison result Yimax to the saturation adjustment value calculation unit 132 and the three-color pixel value calculation unit 133. Further, the pixel value comparison unit 131 outputs the comparison result Yimin to the saturation adjustment value calculation unit 132 and the white pixel value calculation unit 134. The saturation adjustment value calculation unit 132 receives the comparison result Yimax and the comparison result Yimin. Further, the saturation adjustment value calculation unit 132 outputs the saturation adjustment value X. The three-color pixel value calculation unit 133 receives the input image data DI, the comparison result Yimax, and the saturation adjustment value X. Further, the three-color pixel value calculation unit 133 outputs red image data R13, green image data G13, and blue image data B13. The white pixel value calculation unit 134 receives the comparison result Yimin. In addition, the white pixel value calculation unit 134 outputs white image data W13. The image data D13 includes red image data R13, green image data G13, blue image data B13, and white image data W13.

画素値比較部１３１は、入力画像データＤＩを入力とする。画素値比較部１３１は、入力画像データＤＩの各画素について入力画像データＤＩを構成する赤色データＲＩ、緑色データＧＩ及び青色データＢＩを比較する。画素値比較部１３１は、比較したデータの最大値（画素毎の最大値）である比較結果Ｙｉｍａｘと比較したデータの最小値（画素毎の最小値）である比較結果Ｙｉｍｉｎとを出力する。 The pixel value comparison unit 131 receives input image data DI. The pixel value comparison unit 131 compares the red data RI, the green data GI, and the blue data BI constituting the input image data DI for each pixel of the input image data DI. The pixel value comparison unit 131 outputs a comparison result Yimax that is a maximum value (maximum value for each pixel) of the compared data and a comparison result Yimin that is a minimum value (minimum value for each pixel) of the compared data.

彩度調整値算出部１３２は、画素値比較部１３１が出力する比較結果Ｙｉｍａｘ及び比較結果Ｙｉｍｉｎを入力とする。彩度調整値算出部１３２は、最大値である比較結果Ｙｉｍａｘと最小値である比較結果Ｙｉｍｉｎとを変数とする関数ｇ（Ｙｉｍａｘ、Ｙｉｍｉｎ）によって画素毎の彩度調整値Ｘを算出する。関数ｇ（Ｙｉｍａｘ、Ｙｉｍｉｎ）は、予め定められている。彩度調整値算出部１３２は、彩度調整値Ｘを三色画素値算出部１３３に出力する。 The saturation adjustment value calculation unit 132 receives the comparison result Yimax and the comparison result Yimin output from the pixel value comparison unit 131. The saturation adjustment value calculation unit 132 calculates the saturation adjustment value X for each pixel using a function g (Yimax, Yimin) having the comparison result Yimax as the maximum value and the comparison result Yimin as the minimum value as variables. The function g (Yimax, Yimin) is determined in advance. The saturation adjustment value calculation unit 132 outputs the saturation adjustment value X to the three-color pixel value calculation unit 133.

図１１は、彩度調整値算出部１３２の構成を示す図である。彩度調整値算出部１３２は、上限値算出部１３２１、暫定値算出部１３２２及び決定部１３２３を備える。彩度調整値算出部１３２は、比較結果Ｙｉｍａｘ及び比較結果Ｙｉｍｉｎが入力される。また、彩度調整値算出部１３２は、彩度調整値Ｘを出力する。上限値算出部１３２１は、比較結果Ｙｉｍａｘ及び比較結果Ｙｉｍｉｎが入力される。また、上限値算出部１３２１は、上限値Ｌを決定部１３２３に出力する。暫定値算出部１３２２は、比較結果Ｙｉｍｉｎが入力される。また、暫定値算出部１３２２は、暫定値Ｘｔを決定部１３２３に出力する。決定部１３２３は、上限値Ｌ及び暫定値Ｘｔが入力される。また、決定部１３２３は、彩度調整値Ｘを出力する。 FIG. 11 is a diagram illustrating a configuration of the saturation adjustment value calculation unit 132. The saturation adjustment value calculation unit 132 includes an upper limit value calculation unit 1321, a provisional value calculation unit 1322, and a determination unit 1323. The saturation adjustment value calculation unit 132 receives the comparison result Yimax and the comparison result Yimin. Further, the saturation adjustment value calculation unit 132 outputs the saturation adjustment value X. The upper limit calculator 1321 receives the comparison result Yimax and the comparison result Yimin. Further, the upper limit calculation unit 1321 outputs the upper limit L to the determination unit 1323. The provisional value calculation unit 1322 receives the comparison result Yimin. The provisional value calculation unit 1322 outputs the provisional value Xt to the determination unit 1323. The determination unit 1323 receives the upper limit value L and the provisional value Xt. The determination unit 1323 outputs the saturation adjustment value X.

上限値算出部１３２１は、画素値比較部１３１が出力する比較結果Ｙｉｍａｘ及び比較結果Ｙｉｍｉｎを入力とし、式（１０）の演算を行って上限値Ｌを求める。 The upper limit calculation unit 1321 receives the comparison result Yimax and the comparison result Yimin output from the pixel value comparison unit 131, calculates the upper limit L by performing the calculation of Expression (10).

暫定値算出部１３２２は、比較結果Ｙｉｍｉｎを変数とする予め定められた関数ｇｔ（Ｙｉｍｉｎ）により、式（１１）のように暫定値Ｘｔを求める。 The provisional value calculation unit 1322 obtains the provisional value Xt as shown in Expression (11) using a predetermined function gt (Yimin) having the comparison result Yimin as a variable.

決定部１３２３は、上限値Ｌと暫定値Ｘｔとを比較し、小さい方の値を彩度調整値Ｘとして出力する。即ち、彩度調整値Ｘは、上限値Ｌ以下に制限される。なお、比較結果Ｙｉｍａｘと比較結果Ｙｉｍｉｎとが等しい場合、数１の分母が０となるため、計算機上で上限値Ｌを求めることができない。そこでこの場合には、上限値Ｌは無限大と考え、無条件に暫定値Ｘｔを彩度調整値Ｘとして出力する。 The determination unit 1323 compares the upper limit value L with the provisional value Xt, and outputs the smaller value as the saturation adjustment value X. That is, the saturation adjustment value X is limited to the upper limit value L or less. When the comparison result Yimax is equal to the comparison result Yimin, the denominator of Equation 1 is 0, so the upper limit L cannot be obtained on the computer. Therefore, in this case, the upper limit value L is considered to be infinite, and the provisional value Xt is output as the saturation adjustment value X unconditionally.

以上をまとめると、彩度調整値算出部１３２において彩度調整値Ｘを求める処理は、比較結果Ｙｉｍａｘ及び比較結果Ｙｉｍｉｎを変数とする関数ｇ（Ｙｉｍａｘ、Ｙｉｍｉｎ）を用いて式（１２）のように表す。 Summarizing the above, the process of obtaining the saturation adjustment value X in the saturation adjustment value calculation unit 132 is expressed by Expression (12) using the function g (Yimax, Yimin) having the comparison result Yimax and the comparison result Yimin as variables. Expressed in

三色画素値算出部１３３は、入力画像データＤＩ、比較結果Ｙｉｍａｘ及び彩度調整値Ｘとを入力とする。比較結果Ｙｉｍａｘは、画素値比較部１３１に出力される。彩度調整値Ｘは、彩度調整値算出部１３２に出力される。また、三色画素値算出部１３３は、式（１３）〜（１５）で与えられる演算を行う。さらに三色画素値算出部１３３は、演算により画像データＤ１３を求め、出力する。 The three-color pixel value calculation unit 133 receives the input image data DI, the comparison result Yimax, and the saturation adjustment value X as inputs. The comparison result Yimax is output to the pixel value comparison unit 131. The saturation adjustment value X is output to the saturation adjustment value calculation unit 132. In addition, the three-color pixel value calculation unit 133 performs calculations given by the equations (13) to (15). Further, the three-color pixel value calculation unit 133 obtains and outputs the image data D13 by calculation.

白色画素値算出部１３４は、画素値比較部１３１が出力する比較結果Ｙｉｍｉｎを入力とする。また、白色画素値算出部１３４は、比較結果Ｙｉｍｉｎを変数とする、予め定められた関数ｆ（Ｙｉｍｉｎ）により、白色画素データＷ１３を求める。さらに、白色画素値算出部１３４は、白色画素データＷ１３を出力する。なお、白色画素データＷ１３は８ビットのデジタルデータであるため、関数ｆ（Ｙｉｍｉｎ）は０から２５５の値をとる必要がある。 The white pixel value calculation unit 134 receives the comparison result Yimin output from the pixel value comparison unit 131. Further, the white pixel value calculation unit 134 obtains the white pixel data W13 by using a predetermined function f (Yimin) using the comparison result Yimin as a variable. Further, the white pixel value calculation unit 134 outputs white pixel data W13. Since the white pixel data W13 is 8-bit digital data, the function f (Yimin) needs to take a value from 0 to 255.

ここで、説明を分かりやすくするために、暫定値Ｘｔを求める関数ｇｔ（Ｙｉｍｉｎ）を、式（１６）で表すように、係数が１．２で定数項を持たない一次関数と仮定して以降の説明を行う。 Here, in order to make the explanation easy to understand, it is assumed that the function gt (Yimin) for obtaining the provisional value Xt is a linear function having a coefficient of 1.2 and no constant term as expressed by the equation (16). Will be explained.

式（１６）に式（１２）を適用すると式（１７）が得られる。 When Expression (12) is applied to Expression (16), Expression (17) is obtained.

入力画像データＤＩの彩度ＳＩは、下記の式（１８）のように表される。 The saturation SI of the input image data DI is expressed by the following equation (18).

従って、彩度ＳＩを使って式（１７）を書き換えると式（１９）のようになる。 Therefore, when equation (17) is rewritten using saturation SI, equation (19) is obtained.

次に、白色データＷ１３を求める関数ｆ（Ｙｉｍｉｎ）を式（２０）で示すように係数が１．１で定数項を持たない一次関数（ただし、上限値２５５にする）であると仮定する。 Next, it is assumed that the function f (Yimin) for obtaining the white data W13 is a linear function having a coefficient of 1.1 and no constant term as shown by the equation (20) (however, the upper limit value is 255).

式（１９）の右辺、及び式（２０）の右辺は、いずれもＹｉｍｉｎに対し係数を乗算する式となっていることから、関数ｇ（Ｙｉｍａｘ、Ｙｉｍｉｎ）と関数ｆ（Ｙｉｍｉｎ）との大小関係はこの係数部分の大小によって定まる。 Since the right side of the equation (19) and the right side of the equation (20) are both equations for multiplying Yimin by a coefficient, the magnitude relationship between the function g (Yimax, Yimin) and the function f (Yimin). Is determined by the size of this coefficient part.

図１２において、関数ｇ（Ｙｉｍａｘ、Ｙｉｍｉｎ）の係数を示したグラフが実線ＣＧ１である。関数ｆ（Ｙｉｍｉｎ）の係数を示したグラフが実線ＣＦ１である。実線ＣＧ１は、彩度の逆数（１／ＳＩ）が１．０から１．２までの区間で破線ＣＧ０により示した係数値＝１／ＳＩのグラフと一致する。また、実線ＣＧ１は、彩度の逆数（１／ＳＩ）が１．２以上の区間で係数値が１．２に固定される。実線ＣＦ１は、横軸である彩度の逆数（１／ＳＩ）の値によらず１．１に固定される。なお、関数ｆ（Ｙｉｍｉｎ）の上限値２５５にクリップされる区間では、関数ｆ（Ｙｉｍｉｎ）の係数は実質１．１よりも小さい値をとる。この区間はＹｉｍｉｎが２５５／１．１＝２３１．８１８より大きい値をとる場合であり、このときの彩度ＳＩの最大値は、Ｙｉｍａｘ＝２５５、Ｙｉｍｉｎ＝２３２の時にＳＩ＝２３／２５５となることから１／ＳＩは２５５／２３≒１１．０８より大きい値となる。 In FIG. 12, a graph showing the coefficient of the function g (Yimax, Yimin) is a solid line CG1. A graph showing the coefficient of the function f (Yimin) is a solid line CF1. The solid line CG1 matches the graph of coefficient value = 1 / SI indicated by the broken line CG0 in the interval where the reciprocal of saturation (1 / SI) is 1.0 to 1.2. The solid line CG1 has a coefficient value fixed at 1.2 in a section where the reciprocal of saturation (1 / SI) is 1.2 or more. The solid line CF1 is fixed at 1.1 regardless of the value of the reciprocal of saturation (1 / SI) on the horizontal axis. In the section clipped to the upper limit value 255 of the function f (Yimin), the coefficient of the function f (Yimin) takes a value substantially smaller than 1.1. This interval is a case where Yimin takes a value larger than 255 / 1.1 = 2231.818. The maximum value of saturation SI at this time is SI = 23/255 when Yimax = 255 and Yimin = 232. Therefore, 1 / SI is larger than 255 / 23≈11.08.

ＲＧＢＷ変換部１３の出力データＤ１３の彩度Ｓ１３は、下記の式（２１）により求められる。Ｙ１３ｍａｘは、赤色データＲ１３、緑色データＧ１３及び青色データＢ１３の最大値である。Ｙ１３ｍｉｎは、赤色データＲ１３、緑色データＧ１３及び青色データＢ１３の最小値である。 The saturation S13 of the output data D13 of the RGBW conversion unit 13 is obtained by the following equation (21). Y13max is the maximum value of red data R13, green data G13, and blue data B13. Y13min is the minimum value of red data R13, green data G13, and blue data B13.

Ｙ１３ｍａｘは、下記に示す式（２２）によって求められる。Ｙ１３ｍｉｎは、下記に示す式（２３）によって求める。 Y13max is obtained by the following equation (22). Y13min is obtained by the following equation (23).

式（２２）及び式（２３）により式（２１）で表わされる彩度Ｓ１３は、式（２４）のように変換することができる。 The saturation S13 represented by the equation (21) by the equations (22) and (23) can be converted as the equation (24).

図１２のグラフを用いて、信号変換後の彩度Ｓ１３について説明する。図３の横軸である彩度の逆数（１／ＳＩ）が１．０〜１．１の区間Ｓａにおいて、関数ｇ（Ｙｉｍａｘ、Ｙｉｍｉｎ）の係数は、関数ｆ（Ｙｉｍｉｎ）の係数よりも小さい値となっている。このことから、区間Ｓａでは彩度調整値Ｘは、白色データＷ１３よりも小さい値となる。その結果、式（２４）の関係からＲＧＢＷ変換部１３の出力である画像データＤ１３における彩度Ｓ１３は、入力画像データＤＩの彩度ＳＩに比べて小さい。 The saturation S13 after signal conversion will be described using the graph of FIG. In the section Sa where the reciprocal of saturation (1 / SI), which is the horizontal axis in FIG. 3, is 1.0 to 1.1, the coefficient of the function g (Yimax, Yimin) is smaller than the coefficient of the function f (Yimin). It is a value. For this reason, in the section Sa, the saturation adjustment value X is smaller than the white data W13. As a result, the saturation S13 in the image data D13 that is the output of the RGBW conversion unit 13 is smaller than the saturation SI of the input image data DI due to the relationship of Expression (24).

一方、図１２の横軸である彩度の逆数（１／ＳＩ）が１．１を越える区間Ｓｂでの関数ｇ（Ｙｉｍａｘ、Ｙｉｍｉｎ）の係数は、関数ｆ（Ｙｉｍｉｎ）の係数よりも大きい値となる。このことから、区間Ｓｂでの彩度調整値Ｘは、白色の画像データＷ１３よりも大きい値となる。その結果、ＲＧＢＷ変換部１３の出力である画像データＤ１３の彩度ＳＯは、入力画像データＤＩの彩度ＳＩに比べて大きい。 On the other hand, the coefficient of the function g (Yimax, Yimin) in the section Sb where the reciprocal of saturation (1 / SI) on the horizontal axis in FIG. 12 exceeds 1.1 is larger than the coefficient of the function f (Yimin). It becomes. For this reason, the saturation adjustment value X in the section Sb is larger than the white image data W13. As a result, the saturation SO of the image data D13 that is the output of the RGBW converter 13 is larger than the saturation SI of the input image data DI.

入力画像データＤＩの色相ＨＩは、式（２５）で求める。 The hue HI of the input image data DI is obtained by Expression (25).

ＲＧＢＷ変換部１３の出力データＤ１３の色相Ｈ１３は、式（２６）で求める。色相Ｈ１３は、入力画像データＤＩの色相と変わらない。 The hue H13 of the output data D13 of the RGBW conversion unit 13 is obtained by Expression (26). The hue H13 is not different from the hue of the input image data DI.

入力画像データＤＩの明度ＶＩは、式（２７）で求める。 The brightness VI of the input image data DI is obtained by Expression (27).

ＲＧＢＷ変換部１３の出力データＤ１３の明度Ｖ１３は、式（２８）で求められる。明度Ｖ１３は、入力画像データＤＩの明度に対して（Ｗ１３／２５５）分上昇する。 The brightness V13 of the output data D13 of the RGBW conversion unit 13 is obtained by Expression (28). The brightness V13 increases by (W13 / 255) with respect to the brightness of the input image data DI.

このようにＲＧＢＷ変換部１３の出力データＤ１３の色相は、入力画像データＤＩと変わらず、明度が上昇し、彩度は彩度調整値Ｘを白色データＷ１３より大きくすることで入力画像データより彩度を高くすることができる。 Thus, the hue of the output data D13 of the RGBW conversion unit 13 is the same as that of the input image data DI, the brightness increases, and the saturation is higher than that of the input image data by making the saturation adjustment value X larger than the white data W13. The degree can be increased.

単色用データ生成部１４は、高周波数検出信号Ｄ１１が大きい場合に輝度データＷ１２を出力する。また、単色用データ生成部１４は、高周波数検出信号Ｄ１１が小さい場合に白色データＷ１３を出力する。 The monochrome data generation unit 14 outputs the luminance data W12 when the high frequency detection signal D11 is large. Further, the monochrome data generation unit 14 outputs white data W13 when the high frequency detection signal D11 is small.

３ｉｎ１用データ生成部１５は、単色用データ生成部１４と同様に高周波数検出信号Ｄ１１が大きい場合に入力画像データＤＩを出力する。また、３ｉｎ１用データ生成部１５は、高周波数検出信号Ｄ１１が小さい場合にＲＧＢＷ変換部１３が生成する赤色の画像データＲ１３、緑色の画像データＧ１３及び青色の画像データＢ１３を出力する。 The 3-in-1 data generation unit 15 outputs the input image data DI when the high-frequency detection signal D11 is large, like the single-color data generation unit 14. The 3-in-1 data generation unit 15 outputs red image data R13, green image data G13, and blue image data B13 generated by the RGBW conversion unit 13 when the high frequency detection signal D11 is small.

図１３は、単色用データ生成部１４及び３ｉｎ１用データ生成部１５の動作を説明するための図である。図１３において、横軸は高周波数検出信号Ｄ１１である。図１３において、縦軸は輝度データＷ１２と白色データＷ１３との合成割合である。単色用データ生成部１４は、高周波数検出信号Ｄ１１が閾値Ｔａより小さい場合、白色データＷ１３を出力する。単色用データ生成部１４は、高周波数検出信号Ｄ１１が閾値Ｔｂより大きい場合、輝度データＷ１２を出力する。単色用データ生成部１４は、高周波数検出信号Ｄ１１が閾値ＴａとＴｂとの間にある場合、輝度データＷ１２と白色データＷ１３とを加重平均して出力する。３ｉｎ１用データ生成部１５も単色用データ生成部１４と同様である。３ｉｎ１用データ生成部１５は、高周波数検出信号Ｄ１１が閾値Ｔａより小さい場合、赤色の画像データＲ１３、緑色の画像データＧ１３及び青色の画像データＢ１３を出力する。また、３ｉｎ１用データ生成部１５は、高周波数検出信号Ｄ１１が閾値Ｔｂより大きい場合、入力画像データＤＩを出力する。また、３ｉｎ１用データ生成部１５は、高周波数検出信号Ｄ１１が閾値ＴａとＴｂの間にある場合、入力画像データＤＩと赤色データＲ１３、緑色データＧ１３又は青色データＢ１３を色毎に加重平均して出力する。なお、合成割合をｋとすると、画像データＤ１４は、式（２９）で求められる。

Ｄ１４＝Ｗ１２×ｋ＋Ｗ１３×（１−ｋ）（２９）

閾値Ｔａ及びＴｂについては、３ｉｎ１発光素子３１の色再現範囲や単色発光素子の発光強度または発光素子間の距離等により表示部３１の画質が決まるため、表示部３１の特性に応じて決めることが望ましい。しかしながら、表示部３１の特性だけでなく表示部３１の周辺の照度によっても閾値Ｔａ及びＴｂを変えてもよい。すなわち、周辺照度が高い場合、表示部３１の反射光が大きくなり表示部３１が白っぽくなってしまう。その場合、閾値Ｔａ及びＴｂを高く設定することで周辺照度が高くても色の濃い表示を行うことができる。 FIG. 13 is a diagram for explaining the operation of the monochrome data generation unit 14 and the 3in1 data generation unit 15. In FIG. 13, the horizontal axis represents the high frequency detection signal D11. In FIG. 13, the vertical axis represents the composition ratio of the luminance data W12 and the white data W13. The single color data generation unit 14 outputs white data W13 when the high frequency detection signal D11 is smaller than the threshold Ta. The monochromatic data generation unit 14 outputs luminance data W12 when the high frequency detection signal D11 is larger than the threshold value Tb. When the high frequency detection signal D11 is between the threshold values Ta and Tb, the monochrome data generation unit 14 performs weighted averaging of the luminance data W12 and the white data W13 and outputs the result. The 3in1 data generation unit 15 is the same as the single color data generation unit 14. When the high frequency detection signal D11 is smaller than the threshold Ta, the 3in1 data generation unit 15 outputs red image data R13, green image data G13, and blue image data B13. Further, the 3in1 data generation unit 15 outputs the input image data DI when the high frequency detection signal D11 is larger than the threshold value Tb. In addition, when the high frequency detection signal D11 is between the threshold values Ta and Tb, the 3in1 data generation unit 15 performs weighted averaging of the input image data DI and the red data R13, the green data G13, or the blue data B13 for each color. Output. When the composition ratio is k, the image data D14 is obtained by the equation (29).

D14 = W12 × k + W13 × (1-k) (29)

The threshold values Ta and Tb are determined according to the characteristics of the display unit 31 because the image quality of the display unit 31 is determined by the color reproduction range of the 3-in-1 light-emitting element 31, the emission intensity of the single-color light-emitting element, the distance between the light-emitting elements, or the like. desirable. However, the threshold values Ta and Tb may be changed not only by the characteristics of the display unit 31 but also by the illuminance around the display unit 31. That is, when the peripheral illuminance is high, the reflected light of the display unit 31 becomes large and the display unit 31 becomes whitish. In that case, by setting the threshold values Ta and Tb high, it is possible to perform dark color display even if the peripheral illuminance is high.

画像制御部２は、図２で示した表示画面に配置されている発光素子の種類に応じてデータを選択する。つまり、画像制御部２は、３ｉｎ１発光素子３２の位置で３ｉｎ１用データ生成部１５が出力する画像データＤ１５を選択する。そして、画像制御部２は、単色発光素子３３の位置で単色用データ生成部１４が出力する画像データＤ１４を出力する。 The image control unit 2 selects data according to the type of light emitting elements arranged on the display screen shown in FIG. That is, the image control unit 2 selects the image data D15 output from the 3in1 data generation unit 15 at the position of the 3in1 light emitting element 32. Then, the image control unit 2 outputs the image data D14 output from the monochrome data generation unit 14 at the position of the monochrome light emitting element 33.

また、図２では、３ｉｎ１発光素子３２と単色発光素子３３とが千鳥状に配置されている表示画面を示したが、図２の画面より更に多くの３ｉｎ１発光素子３２を単色発光素子３３に置き換えた図１４のような表示画面でもよい。図１４は、ｘ方向の奇数番目の列にある全ての３ｉｎ１発光素子３２を単色発光素子３３に置き換えた例である。 2 shows a display screen in which the 3-in-1 light-emitting elements 32 and the single-color light-emitting elements 33 are arranged in a staggered manner. However, more 3-in-1 light-emitting elements 32 than the screen in FIG. A display screen as shown in FIG. FIG. 14 shows an example in which all the 3-in-1 light-emitting elements 32 in the odd-numbered columns in the x direction are replaced with monochromatic light-emitting elements 33.

本発明に係る画像処理装置は、空間周波数の高い領域を検出し、空間周波数の高い領域には輝度データを適用することで空間周波数の高い映像を表示することができる。また、空間周波数の低い領域には彩度の高いデータを適用することで色再現性の良い映像を表示することができる。 The image processing apparatus according to the present invention can display an image having a high spatial frequency by detecting a region having a high spatial frequency and applying luminance data to the region having a high spatial frequency. In addition, an image with good color reproducibility can be displayed by applying data with high saturation to an area with a low spatial frequency.

実施の形態２．
次に、本発明に係る実施の形態２について説明する。上記画像表示装置の機能の一部は、ハードウェア構成で実現されても良いし、あるいは、ＣＰＵ（ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）を含むマイクロプロセッサにより実行されるコンピュータプログラムで実現されてもよい。当該機能の一部がコンピュータプログラムで実現される場合には、マイクロプロセッサは、コンピュータから読み取り可能な記憶媒体から当該コンピュータプログラムをロードし実行することによって当該機能の一部を実現することができる。 Embodiment 2. FIG.
Next, a second embodiment according to the present invention will be described. A part of the functions of the image display device may be realized by a hardware configuration, or may be realized by a computer program executed by a microprocessor including a CPU (central processing unit). When a part of the function is realized by a computer program, the microprocessor can realize a part of the function by loading and executing the computer program from a computer-readable storage medium.

図１５は、上記画像表示装置の機能の一部をコンピュータプログラムで実現する場合の構成を示す図である。図１５に示すように、この画像表示装置５は、画像表示部３及び演算装置４を有する。演算装置４は、ＣＰＵを含むプロセッサ４１、画像制御部２、ＲＡＭ（ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）４２、不揮発性メモリ４３、大容量記憶媒体４４及びバス４５を備えている。プロセッサ４１、画像制御部２、ＲＡＭ４２、不揮発性メモリ４３及び大容量記憶媒体４４は、バス４５に接続している。画像制御部２は、画像データＤ２を画像表示部３に出力する。不揮発性メモリ４３としては、たとえば、フラッシュメモリを使用することができる。また、大容量記憶媒体４４としては、たとえば、ハードディスク（磁気ディスク）や光ディスクを使用することが可能である。 FIG. 15 is a diagram showing a configuration when a part of the functions of the image display device is realized by a computer program. As shown in FIG. 15, the image display device 5 includes an image display unit 3 and a calculation device 4. The arithmetic device 4 includes a processor 41 including a CPU, an image control unit 2, a RAM (Random Access Memory) 42, a nonvolatile memory 43, a large-capacity storage medium 44, and a bus 45. The processor 41, the image control unit 2, the RAM 42, the nonvolatile memory 43, and the mass storage medium 44 are connected to the bus 45. The image control unit 2 outputs the image data D2 to the image display unit 3. As the non-volatile memory 43, for example, a flash memory can be used. Further, as the large-capacity storage medium 44, for example, a hard disk (magnetic disk) or an optical disk can be used.

画像制御部２は、図１の画像制御部３と同じ機能を有し、プロセッサ４１からバス４５を介して転送された画像データＤ１４及びＤ１５に基づいて画像データＤ２を生成し、この画像データＤ２を表示信号として画像表示部３に供給する。 The image control unit 2 has the same function as the image control unit 3 in FIG. 1, generates image data D2 based on the image data D14 and D15 transferred from the processor 41 via the bus 45, and this image data D2 Is supplied to the image display unit 3 as a display signal.

プロセッサ４１は、不揮発性メモリ４３または大容量記憶媒体４４からコンピュータプログラムをロードし実行することによって上記画像処理装置１の機能を実現する。図１６は、実施の形態２の演算装置４による処理手順の一例を概略的に示すフローチャートである。 The processor 41 implements the functions of the image processing apparatus 1 by loading and executing a computer program from the nonvolatile memory 43 or the large-capacity storage medium 44. FIG. 16 is a flowchart schematically illustrating an example of a processing procedure performed by the arithmetic device 4 according to the second embodiment.

図１６に示されるように、プロセッサ４１は、まず、高周波数検出処理を実行する（ステップＳ１１）。その後、プロセッサ４１は、輝度算出処理を実行する（Ｓ１２）。その後、プロセッサ４１は、ＲＧＢＷ変換処理を実行する（Ｓ１３）。その後、プロセッサ４１は、単色用データ生成処理を実行する（Ｓ１４）。その後、プロセッサ４１は、３ｉｎ１用データ生成処理を実行する（Ｓ１５）。最後に、画像制御部２は、プロセッサ５１から転送された画像データＤ２に基づいて、画像表示部４の画素配列に合わせた表示画像信号Ｄ２を生成する（ステップＳ２）。 As shown in FIG. 16, the processor 41 first executes a high frequency detection process (step S11). Thereafter, the processor 41 executes a luminance calculation process (S12). Thereafter, the processor 41 executes RGBW conversion processing (S13). Thereafter, the processor 41 executes a single color data generation process (S14). After that, the processor 41 executes 3in1 data generation processing (S15). Finally, the image control unit 2 generates a display image signal D2 that matches the pixel arrangement of the image display unit 4 based on the image data D2 transferred from the processor 51 (step S2).

なお、上述の各実施の形態においては、３ｉｎ１発光素子を用いて説明したが、赤色、緑色及び青色の発光体を有していれば、一つのパッケージの中に必ずしも収納されている必要はない。また、上述の各実施の形態においては、「水平」又は「垂直」などの部品間の位置関係もしくは部品の形状を示す用語を用いている場合がある。これらは、製造上の公差や組立て上のばらつきなどを考慮した範囲を含むことを表している。このため、請求の範囲に部品間の位置関係もしくは部品の形状を示す記載をした場合には、製造上の公差又は組立て上のばらつき等を考慮した範囲を含むことを示している。 In each of the above-described embodiments, the description has been given using the 3-in-1 light-emitting element. However, as long as the red, green, and blue light-emitting elements are included, it is not always necessary to be housed in one package. . Further, in each of the above-described embodiments, there may be used a term indicating a positional relationship between parts or a part shape such as “horizontal” or “vertical”. These represent that a range that takes into account manufacturing tolerances and assembly variations is included. For this reason, when the description showing the positional relationship between the parts or the shape of the part is included in the claims, it indicates that the range including a manufacturing tolerance or an assembly variation is taken into consideration.

また、以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。 Moreover, although the embodiments of the present invention have been described above, the present invention is not limited to these embodiments.

１画像処理装置
２画像制御部
３画像表示部
４演算装置
５画像表示装置
１１高周波数検出部
１２輝度算出部
１３ＲＧＢＷ変換部
１４単色用データ生成部
１５３ｉｎ１用データ生成部
３１表示画面
３２３ｉｎ１発光素子
３３単色発光素子
１１１第一の畳み込み演算部
１１２第二の畳み込み演算部
１１３高周波数算出部
１３１画素値比較部
１３２彩度調整値算出部
１３３三色画素値算出部
１３４白色画素値算出部
１３２１上限値算出部
１３２２暫定値算出部
１３２３決定部
４演算装置
４１プロセッサ
４２ＲＡＭ
４３不揮発性メモリ
４４大容量記憶媒体
４５バス
ＤＩ入力画像データ
ＲＩ赤色の入力画像データ
ＧＩ緑色の入力画像データ
ＢＩ青色の入力画像データ
Ｄ１１高周波数検出信号
Ｗ１２輝度データ
Ｒ１３赤色の画像データ
Ｇ１３緑色の画像データ
Ｂ１３青色の画像データ
Ｗ１３白色の画像データ
Ｄ１３画像データ
Ｄ１４画像データ
Ｄ１５画像データ
Ｄ２画像データ
Ｄ１１１畳み込みデータ
Ｒ１１１畳み込みデータ
Ｇ１１１畳み込みデータ
Ｂ１１１畳み込みデータ
Ｄ１１２畳み込みデータ
Ｒ１１２畳み込みデータ
Ｇ１１２畳み込みデータ
Ｂ１１２畳み込みデータ
Ｙｉｍａｘ比較結果
Ｙｉｍｉｎ比較結果
Ｘ彩度調整値
Ｌ上限値
Ｘｔ暫定値
ｇｔ関数
ＳＩ，ＳＯ彩度
Ｓ１３彩度
Ｈ１３色相
Ｔａ，Ｔｂ閾値 DESCRIPTION OF SYMBOLS 1 Image processing apparatus 2 Image control part 3 Image display part 4 Arithmetic apparatus 5 Image display apparatus 11 High frequency detection part 12 Luminance calculation part 13 RGBW conversion part 14 Monochromatic data generation part 15 3 in 1 data generation part 31 Display screen 32 3 in 1 light emission Element 33 Monochromatic light emitting element 111 First convolution operation unit 112 Second convolution operation unit 113 High frequency calculation unit 131 Pixel value comparison unit 132 Saturation adjustment value calculation unit 133 Three-color pixel value calculation unit 134 White pixel value calculation unit 1321 Upper limit calculation unit 1322 provisional value calculation unit 1323 determination unit 4 arithmetic device 41 processor 42 RAM
43 Nonvolatile memory 44 Mass storage medium 45 Bus DI Input image data RI Red input image data GI Green input image data BI Blue input image data D11 High frequency detection signal W12 Luminance data R13 Red image data G13 Green image Data B13 Blue image data W13 White image data D13 Image data D14 Image data D15 Image data D2 Image data D111 Convolution data R111 Convolution data G111 Convolution data B111 Convolution data D112 Convolution data R112 Convolution data G112 Convolution data B112 Y Convolution data B112 Y Convolution data B112 Y Yimin comparison result X Saturation adjustment value L Upper limit value Xt Provisional value gt Function SI, SO Saturation S13 Saturation H13 Hue Ta, Tb Threshold

Claims

In an image processing apparatus that generates an image to be displayed on an image display unit configured by arranging light emitting elements having primary colors of RGB and single color light emitting elements in a grid pattern
A high frequency detection unit that detects a spatial frequency around a pixel position of interest from input image data and outputs a high frequency detection signal;
A luminance calculating unit for calculating luminance data from first RGB data included in the input image data;
An RGBW converter that generates second RGB data and white data from the first RGB data;
When the spatial frequency of the high-frequency detection signal is high for the pixel position of interest, the composition ratio of the luminance data at the pixel position of interest is compared with the composition ratio of the white data at the pixel position of interest. A single color data generation unit for generating single color data synthesized by enlarging,
When the high frequency detection signal indicates that the spatial frequency is low, the composition ratio of the second RGB data in the data displayed on the light emitting element having the RGB primary colors is changed to the composition ratio of the first RGB data. An image processing apparatus comprising a 3-in-1 data generation unit that is larger than the 3-in-1 data generation unit.

The high frequency detector is
A plurality of convolution operation units that respectively convolve a plurality of predetermined patterns with the input image data to generate convolution data;
The image processing apparatus according to claim 1, further comprising: a high frequency calculation unit configured to generate the high frequency detection signal by weighted averaging the plurality of convolution data.

The RGBW converter is
A pixel value comparison unit that generates a maximum value and a minimum value of RGB data of each pixel based on the input image data;
A saturation adjustment value calculation unit that generates a saturation adjustment value based on the maximum value and the minimum value of the RGB data;
A three-color pixel value calculation unit that generates RGB data in which saturation is adjusted based on a maximum value of the input image data and the RGB data, and a minimum value of the input image data and the RGB data;
The image processing apparatus according to claim 1, further comprising a white pixel value calculation unit that generates white data based on a minimum value of the RGB data.

The monochrome data generation unit outputs the white data when the high frequency detection signal is smaller than a first threshold, and outputs the luminance data when the high frequency detection signal is larger than a second threshold. The weighted average of the luminance data and the white data is output when the high frequency detection signal is between the first threshold and the second threshold. Image processing device.

The 3in1 data generation unit outputs the second RGB data when the high frequency detection signal is smaller than the first threshold value, and outputs the second RGB data when the high frequency detection signal is larger than the second threshold value. If the high frequency detection signal is between the first threshold value and the second threshold value, the weighted average of the first RGB data and the second RGB data is output. The image processing apparatus according to claim 1, wherein the image processing apparatus outputs the image.

6. The image processing apparatus according to claim 4, wherein the first threshold value and the second threshold value are set to high values when ambient illuminance is high.

The saturation adjustment value calculation unit
An upper limit calculation unit that generates an upper limit of the saturation adjustment value based on the maximum value and the minimum value of the RGB data;
A provisional value calculation unit that generates a provisional value of the saturation adjustment value based on the minimum value of the RGB data;
The image processing apparatus according to claim 3, further comprising a determination unit that generates a saturation adjustment value based on the upper limit value and the provisional value.

An image processing apparatus according to claim 1,
An image controller for selecting data corresponding to light emitting elements in which R, G, and B are contained in one package and data corresponding to light emitting elements of a single color;
An image display apparatus, further comprising: an image display unit configured by arranging light emitting elements in which R, G, and B are contained in one package and monochromatic light emitting elements in a grid pattern.

In an image processing method for generating an image to be displayed on an image display unit configured by arranging light emitting elements in which R, G, and B are contained in one package and monochromatic light emitting elements in a grid pattern,
A high frequency detection step for detecting a spatial frequency around the pixel position of interest from input image data and outputting a high frequency detection signal;
A luminance calculating step of calculating luminance data from the first RGB data included in the input image data;
RGBW conversion processing step for generating second RGB data and white data from the first RGB data;
When the spatial frequency of the high-frequency detection signal is high for the pixel position of interest, the composition ratio of the luminance data at the pixel position of interest is compared with the composition ratio of the white data at the pixel position of interest. A monochrome data generation processing step for generating monochromatic data synthesized by enlarging and
When the high frequency detection signal indicates that the spatial frequency is low, the composition ratio of the second RGB data in the data displayed on the light emitting element having the RGB primary colors is changed to the composition ratio of the first RGB data. An image processing method comprising: a 3in1 data generation processing step that is increased with respect to the data.

In a computer program for causing a processor to execute image processing for generating an image to be displayed on an image display unit configured by arranging a light emitting element in which R, G, and B are contained in one package and a single color light emitting element in a grid pattern,
The computer program is read from a computer-readable storage medium by the processor and executed.
The image processing is
High frequency detection processing that detects a high frequency area from input image data and outputs a high frequency detection signal;
Luminance calculation processing for calculating luminance data from first RGB data included in the input image data;
RGBW conversion processing for generating second RGB data and white data from the first RGB data;
When the spatial frequency of the high-frequency detection signal is high for the pixel position of interest, the composition ratio of the luminance data at the pixel position of interest is compared with the composition ratio of the white data at the pixel position of interest. A single color data generation process for generating a single color data which is enlarged and combined,
When the high frequency detection signal indicates that the spatial frequency is low, the composition ratio of the second RGB data in the data displayed on the light emitting element having the RGB primary colors is changed to the composition ratio of the first RGB data. A computer program comprising: 3in1 data generation processing which is increased with respect to the data.