JP2021148874A - Control apparatus, display device, control program, and control method - Google Patents
Control apparatus, display device, control program, and control method Download PDFInfo
- Publication number
- JP2021148874A JP2021148874A JP2020046705A JP2020046705A JP2021148874A JP 2021148874 A JP2021148874 A JP 2021148874A JP 2020046705 A JP2020046705 A JP 2020046705A JP 2020046705 A JP2020046705 A JP 2020046705A JP 2021148874 A JP2021148874 A JP 2021148874A
- Authority
- JP
- Japan
- Prior art keywords
- value
- gradation
- input
- output
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、制御装置、表示装置、制御プログラムおよび制御装置の制御方法に関する。 The present invention relates to a control device, a display device, a control program, and a control method of the control device.
表示装置の画質を高画質化する機能の1つとして、HDR(High Dynamic Range)技術がある。HDR信号は10000nit(cd/m2)程度の輝度情報を持つことができる。そのため、HDR技術を用いることにより、表示装置の高輝度化・高コントラスト化が可能となり、画像の迫力を増大させることができる。しかし、表示装置においてHDR信号が示している輝度通りに表示しようとすると、表示装置の大きさ・種類によっては表示装置の高消費電力化および発熱を招来してしまう。 HDR (High Dynamic Range) technology is one of the functions for improving the image quality of the display device. The HDR signal can have luminance information of about 10000 nit (cd / m 2). Therefore, by using the HDR technology, it is possible to increase the brightness and contrast of the display device, and it is possible to increase the power of the image. However, if an attempt is made to display the display device according to the brightness indicated by the HDR signal, the display device may consume more power and generate heat depending on the size and type of the display device.
表示装置の輝度を調整して表示装置の消費電力・発熱を低減する技術として、例えば特許文献1には、明るさ補正部を備えた画像表示装置が開示されている。特許文献1の画像表示装置の明るさ補正部は、調光率に応じた光量の制御により空間光変調器で変調された光に生じる明るさの変化を減少させるように、画像データの階調値を制御する。
As a technique for adjusting the brightness of a display device to reduce power consumption and heat generation of the display device, for example,
特許文献1の画像表示装置の明るさ補正部は、画像データの輝度値の平均値とレベル補正後の輝度値との差分に基づいて、明るさ補正の補正量を算出する。この明るさ補正の手法は、表示装置に表示される画像の全体的な表示イメージを確保するためのものであり、HDR技術特有の狭い画像領域での高輝度を実現して、当該画像領域の光沢感・眩しさを強調することはできない。
The brightness correction unit of the image display device of
本発明の一態様は、前記の問題点に鑑みてなされたものであり、その目的は、高輝度化・高コントラスト化と消費電力・発熱の低減とが両立した表示装置等を実現することにある。 One aspect of the present invention has been made in view of the above problems, and an object of the present invention is to realize a display device or the like that achieves both high brightness and high contrast and reduction of power consumption and heat generation. be.
前記の課題を解決するために、本発明の一態様に係る制御装置は、表示パネルを有する表示装置を制御する、入力画像を補正して出力画像を生成することが可能な制御装置であって、前記入力画像を解析することにより、前記入力画像を構成する複数の入力画素の階調値である入力階調値の分布を示すヒストグラムを取得して、前記入力階調値の最大値である最大階調値と前記ヒストグラムの重心の前記入力階調値である重心階調値とを算出する第1算出部と、前記最大階調値と前記重心階調値とを用いて、前記入力画像における前記入力階調値が他の領域よりも大きい入力側高階調領域が前記出力画像において強調されるように、前記入力画像を補正するときの強調の度合いを示す強調度を算出する第2算出部と、(i)前記入力階調値と、前記出力画像を構成する複数の出力画素の階調値である出力階調値と、の対応関係を示す階調変化特性について、前記強調度に応じた前記階調変化特性である特殊階調変化特性を生成し、当該特殊階調変化特性を用いて前記複数の入力画素の前記入力階調値を補正することにより前記出力画像を生成し、かつ、(ii)前記強調度に応じて、前記表示パネルに配列された複数の表示素子の輝度値を設定する処理部と、を備えている。 In order to solve the above problems, the control device according to one aspect of the present invention is a control device that controls a display device having a display panel and is capable of correcting an input image and generating an output image. By analyzing the input image, a histogram showing the distribution of the input gradation value which is the gradation value of a plurality of input pixels constituting the input image is acquired, and is the maximum value of the input gradation value. The input image using the first calculation unit for calculating the maximum gradation value and the center of gravity gradation value which is the input gradation value of the center of gravity of the histogram, and the maximum gradation value and the center of gravity gradation value. Second calculation for calculating the degree of emphasis indicating the degree of emphasis when correcting the input image so that the input-side high-gradation region in which the input gradation value is larger than the other regions is emphasized in the output image. With respect to the gradation change characteristic indicating the correspondence between (i) the input gradation value and the output gradation value which is the gradation value of a plurality of output pixels constituting the output image, the emphasis level The output image is generated by generating a special gradation change characteristic which is the corresponding gradation change characteristic and correcting the input gradation value of the plurality of input pixels by using the special gradation change characteristic. In addition, (ii) includes a processing unit that sets brightness values of a plurality of display elements arranged on the display panel according to the emphasis.
前記の課題を解決するために、本発明の一態様に係る制御方法は、表示パネルを有する表示装置を制御する、入力画像を補正して出力画像を生成することが可能な制御装置の制御方法であって、前記入力画像を解析することにより、前記入力画像を構成する複数の入力画素の階調値である入力階調値の分布を示すヒストグラムを取得して、前記入力階調値の最大値である最大階調値と前記ヒストグラムの重心の前記入力階調値である重心階調値とを算出する第1算出ステップと、前記第1算出ステップにて算出した前記最大階調値と前記重心階調値とを用いて、前記入力画像における前記入力階調値が他の領域よりも大きい入力側高階調領域が前記出力画像において強調されるように、前記入力画像を補正するときの強調の度合いを示す強調度を算出する第2算出ステップと、(i)前記入力階調値と、前記出力画像を構成する複数の出力画素の階調値である出力階調値と、の対応関係を示す階調変化特性について、前記第2算出ステップにて算出した前記強調度に応じた前記階調変化特性である特殊階調変化特性を生成し、当該特殊階調変化特性を用いて前記複数の入力画素の前記入力階調値を補正することにより前記出力画像を生成し、かつ、(ii)前記第2算出ステップにて算出した前記強調度に応じて、前記表示パネルに配列された複数の表示素子の輝度値を設定する処理ステップと、を含んでいる。 In order to solve the above-mentioned problems, the control method according to one aspect of the present invention is a control method of a control device capable of correcting an input image and generating an output image, which controls a display device having a display panel. By analyzing the input image, a histogram showing the distribution of the input gradation values, which is the gradation values of the plurality of input pixels constituting the input image, is acquired, and the maximum of the input gradation values is obtained. The first calculation step for calculating the maximum gradation value which is a value and the center of gravity gradation value which is the input gradation value of the center of gravity of the histogram, the maximum gradation value calculated in the first calculation step, and the above. Emphasis when correcting the input image by using the center of gravity gradation value so that the input side high gradation region in the input image in which the input gradation value is larger than the other regions is emphasized in the output image. Correspondence between the second calculation step of calculating the emphasis degree indicating the degree of the above, and (i) the input gradation value and the output gradation value which is the gradation value of a plurality of output pixels constituting the output image. With respect to the gradation change characteristic indicating, a special gradation change characteristic which is the gradation change characteristic according to the emphasis calculated in the second calculation step is generated, and the plurality of the special gradation change characteristics are used. The output image is generated by correcting the input gradation value of the input pixel of the above, and (ii) a plurality of images arranged on the display panel according to the emphasis calculated in the second calculation step. It includes a processing step of setting the brightness value of the display element of.
本発明の一態様によれば、表示装置の高輝度化・高コントラスト化を可能にしつつ、表示装置の消費電力・発熱を低減する制御装置等を実現することができる。 According to one aspect of the present invention, it is possible to realize a control device or the like that reduces power consumption and heat generation of the display device while enabling high brightness and high contrast of the display device.
〔実施形態1〕
以下、図1〜図7を用いて実施形態1について説明する。説明の便宜上、実施形態1にて説明した部材と同じ機能を有する部材については、以降の各実施形態では、同じ符号を付記し、その説明を繰り返さない。
[Embodiment 1]
Hereinafter, the first embodiment will be described with reference to FIGS. 1 to 7. For convenience of explanation, the members having the same functions as the members described in the first embodiment are designated by the same reference numerals in the following embodiments, and the description thereof will not be repeated.
<表示装置1の概要>
図1を用いて、実施形態1に係る表示装置1の概要を説明する。表示装置1は、スマートフォンなど可搬型の表示装置であってもよいし、据え置き型の表示装置(例:テレビまたはデスクトップPC(Personal Computer))であってもよい。実施形態1では、表示装置1がスマートフォンであるものとして説明する。このことは、後掲の実施形態2〜5についても同様である。
<Overview of
The outline of the
表示装置1は、図1に示すように、制御装置10、RGB/照度センサ18、表示パネル80、BL(Back Light:バックライト)83、BL電源84および記憶部90を備えている。記憶部90の詳細については後述する。表示パネル80は、実施形態1以下の各実施形態ではTP(Touch Panel:タッチパネル)であり、入力部81と表示部82とが一体化されて設けられている。一例として、入力部81は、公知のタッチセンサである。表示部82は、例えば液晶パネルである。但し、入力部81と表示部82とが別体として設けられてもよい。
As shown in FIG. 1, the
制御装置10は、表示装置1の各部を統括的に制御する。実施形態1以下の各実施形態では、制御装置10は、表示部82を制御する表示制御装置としての役割を併有する。図1では、制御装置10および表示部82がそれぞれ1つ(単数)である構成が例示されている。但し、制御装置10および表示部82の少なくともいずれかは、複数(2つ以上)であってもよい。
The control device 10 comprehensively controls each part of the
表示部82には、垂直方向(紙面向かって上下方向)および水平方向(紙面向かって左右方向)があらかじめ規定されている。表示部82には、垂直方向および水平方向のそれぞれに沿って、不図示の複数の表示素子が配列されている。つまり、表示部82には、複数の表示素子がマトリクス状に配列されている。なお、複数の表示素子は、例えば有機EL(electroluminescence)表示素子であってもよい。この場合、表示装置1には下記のBL83が備わっておらず、複数の表示素子が発光する構成となる。
The
BL83は、表示パネル80(より具体的には、表示部82)に光(例:白色光)を照射する。BL83は、不図示の複数の光源を有している。BL83の光源は、例えばLED(Light Emitting Diode:発光ダイオード)である。BL83は、表示パネル80の背面側(表示パネル80の表示面と反対側)に、当該表示パネル80と重なるように配置されている。なお図1では、説明の便宜上、表示パネル80とBL83との重なり合いが正確に図示されていないことに留意されたい。
The BL83 irradiates the display panel 80 (more specifically, the display unit 82) with light (eg, white light). BL83 has a plurality of light sources (not shown). The light source of BL83 is, for example, an LED (Light Emitting Diode). The BL83 is arranged on the back side of the display panel 80 (the side opposite to the display surface of the display panel 80) so as to overlap the
BL電源84は、BL83を構成する複数の光源を駆動する。一例として、BL電源84から光源に供給される電流を制御することで、BL83の発光面(表示パネル80の背面と対向する面)の発光強度(例:輝度)を制御できる。この制御は、後述するBL制御部15によって行われる。BL83から表示パネル80に照射される光によって、表示パネル80の表示面(表示エリア)において、複数の表示素子によって画像を形成できる。つまり、表示エリアに所望の画像を表示できる。RGB/照度センサ18は、表示装置1の周囲の照度、および、後述のIMG1がRGB形式である場合の赤色成分(R)・緑色成分(G)・青色成分(B)の各画像信号を検出して、後述の強調度算出部13に出力する。
The
<制御装置10の概要>
制御装置10は、図1に示すように、画像解析部11(「第1算出部」の一部)、階調値算出部12(「第1算出部」の一部)、強調度算出部13(第2算出部)、補正部14(処理部)、BL制御部15(処理部)およびアプリ実行部17を備える。本明細書において「アプリ」とは、表示装置1において実行可能なアプリケーション(アプリケーションソフトウェア)を意味する。制御装置10の各部の動作については後述する。
<Overview of control device 10>
As shown in FIG. 1, the control device 10 includes an image analysis unit 11 (a part of the "first calculation unit"), a gradation value calculation unit 12 (a part of the "first calculation unit"), and an emphasis degree calculation unit. It includes 13 (second calculation unit), correction unit 14 (processing unit), BL control unit 15 (processing unit), and application execution unit 17. In the present specification, the "application" means an application (application software) that can be executed on the
制御装置10は、IMG1(入力画像)を外部から取得する。実施形態1以下の各実施形態では、IMG1として、表示装置1にインストールされた各種アプリの画像の画像データを例に挙げて説明する。各種アプリの画像としては、ゲームアプリの画像の他、SNS(Social Networking Service)、カメラ、テレビなどの各画像を例示することができる。また、IMG1は、動画像の画像データであってもよいし、静止画像の画像データであってもよい。さらに制御装置10は、IMG1として、例えば、表示装置1内の不図示のVRAM(Video Random Access Memory)に格納された各種画像の画像データを取得してもよい。
The control device 10 acquires the IMG 1 (input image) from the outside.
制御装置10は、LUT(Look Up Table)を用いてIMG1の各画素(以下、各入力画素)の階調値を補正することで、IMG2(出力画像)を生成する。LUTは、IMG1の各画素の階調値と、当該IMG1の各画素の階調値に対応して出力すべきIMG2の各画素(以下、各出力画素)の階調値と、を記憶したデータテーブルである。実施形態1以下の各実施形態では、1D(1次元)LUTを用いてIMG1の各画素の階調値を補正する。但し、1DLUTに替えて3D(3次元)LUTを用いてもよい。また、LUTをグラフ化した場合のグラフが、トーンカーブとなる。制御装置10は、生成したIMG2を表示部82に出力することにより、IMG2を表示部82に表示させる。
The control device 10 generates an IMG 2 (output image) by correcting the gradation value of each pixel of the IMG 1 (hereinafter, each input pixel) using a LUT (Look Up Table). The LUT is data that stores the gradation value of each pixel of IMG1 and the gradation value of each pixel of IMG2 (hereinafter, each output pixel) to be output corresponding to the gradation value of each pixel of the IMG1. It's a table. In each of the following embodiments, the gradation value of each pixel of the IMG1 is corrected by using a 1D (one-dimensional) LUT. However, a 3D (three-dimensional) LUT may be used instead of the 1D LUT. Further, the graph when the LUT is graphed becomes a tone curve. The control device 10 outputs the generated
以下、「LUTを用いてIMG1の各入力画素の階調値を補正する」ことを、単に「トーンカーブを用いて、IMG1の階調値を補正する」(あるいは、「トーンカーブを用いて、IMG1を補正する」)とも称する。また、IMG1・2の各入力・出力画素の階調値を、単に「IMG1・2の階調値」とも称する。
Hereinafter, "correcting the gradation value of each input pixel of the IMG1 using the LUT" is simply "correcting the gradation value of the IMG1 using the tone curve" (or "using the tone curve," It is also called "correcting IMG1"). Further, the gradation value of each input / output pixel of
ここで、IMG1の補正に用いられるトーンカーブは、「従来のトーンカーブと異なるトーンカーブを用いてIMG1を補正する」という発明者の着想に基づいて新たに想到されたものである。以下、本発明の一態様に係るトーンカーブ(発明者によって新たに想到されたトーンカーブ)を、「特殊トーンカーブ」と称する。特殊トーンカーブの詳細については後述する。 Here, the tone curve used for the correction of the IMG1 is newly conceived based on the inventor's idea of "correcting the IMG1 by using a tone curve different from the conventional tone curve". Hereinafter, the tone curve (newly conceived by the inventor) according to one aspect of the present invention will be referred to as a “special tone curve”. The details of the special tone curve will be described later.
<入力階調値xおよび出力階調値y>
本明細書では、IMG1の1つの入力画素の階調値を「入力階調値x」と称する。また、当該1つの入力画素に対応する、IMG2の1つの出力画素の階調値を「出力階調値y」と称する。これによりトーンカーブは、入力階調値xと出力階調値yとの対応関係を示す関数(y=f(x))、言い換えれば「階調変化特性」と称されてもよい。また、特殊トーンカーブは、「特殊階調変化特性」と称されてもよい。
<Input gradation value x and output gradation value y>
In the present specification, the gradation value of one input pixel of IMG1 is referred to as "input gradation value x". Further, the gradation value of one output pixel of IMG2 corresponding to the one input pixel is referred to as "output gradation value y". As a result, the tone curve may be referred to as a function (y = f (x)) indicating the correspondence between the input gradation value x and the output gradation value y, in other words, the “gradation change characteristic”. Further, the special tone curve may be referred to as a "special gradation change characteristic".
本明細書では、入力階調値xおよび出力階調値yが、規格化された階調値である場合を例示する。つまり、IMG1およびIMG2のいずれにおいても、0が階調値の最小値であり、1が階調値の最大値であるものとする。つまり、入力階調値xおよび出力階調値yは、0≦x≦1、0≦y≦1を満たすものとする。階調値は、画素の輝度(明るさ)を示す指標である。具体的には、階調値が大きいほど(階調値が1に近いほど)、当該画素の輝度は高い。また、階調値が小さいほど(階調値が0に近いほど)、当該画素の輝度は低い。 In this specification, the case where the input gradation value x and the output gradation value y are standardized gradation values is illustrated. That is, in both IMG1 and IMG2, it is assumed that 0 is the minimum value of the gradation value and 1 is the maximum value of the gradation value. That is, it is assumed that the input gradation value x and the output gradation value y satisfy 0 ≦ x ≦ 1 and 0 ≦ y ≦ 1. The gradation value is an index indicating the brightness (brightness) of a pixel. Specifically, the larger the gradation value (the closer the gradation value is to 1), the higher the brightness of the pixel. Further, the smaller the gradation value (the closer the gradation value is to 0), the lower the brightness of the pixel.
なお、本明細書におけるトーンカーブは、いずれも、(x、y)=(0、0)、(1、1)の2点を通るものとする。また、本明細書におけるトーンカーブは、いずれも、すべての入力階調値xにおいて連続な関数である。 It should be noted that the tone curves in the present specification all pass through the two points (x, y) = (0, 0) and (1, 1). Further, each tone curve in the present specification is a continuous function for all input gradation values x.
また、規格化される前の階調値は、任意のビット数(Nビット)(Nは整数)のデジタル値として表現される。一例として、N=8である。従って、入力階調値xおよび出力階調値yは、所定の値(例:1/2N)ごとに値が増加する離散的な数である。 Further, the gradation value before standardization is expressed as a digital value having an arbitrary number of bits (N bits) (N is an integer). As an example, N = 8. Therefore, the input gradation value x and the output gradation value y are discrete numbers whose values increase for each predetermined value (example: 1 / 2N).
本明細書では、y=f(x)において、入力階調値xに対する出力階調値yの変化率を、「階調変化率」(以下、V)と称する。数学的には、V=dy/dx=d{f(x)}/dxとして表現できる。一例として、x→x+Δxとしてxが変化した場合に、y→y+Δyに変化した場合を考える。Δxは、微小量である。一例として、Δx=1/2Nである。表示装置1では、V=Δy/Δxとして、階調変化率が算出されてよい。
In the present specification, when y = f (x), the rate of change of the output gradation value y with respect to the input gradation value x is referred to as "gradation change rate" (hereinafter, V). Mathematically, it can be expressed as V = dy / dx = d {f (x)} / dx. As an example, consider the case where x changes as x → x + Δx and then changes from y → y + Δy. Δx is a minute amount. As an example, Δx = 1 / 2N. In the
本明細書では、y=f(x)のグラフのx軸を、「入力画像における階調領域」(以下、「入力側階調領域」)と称する。入力側階調領域は、入力画像における各画素の入力階調値xを示す領域である。本明細書では、入力側階調領域を、入力側低階調領域と入力側中階調領域と入力側高階調領域との3つの領域に区分して説明する。 In the present specification, the x-axis of the graph of y = f (x) is referred to as "gradation region in input image" (hereinafter, "input side gradation region"). The input-side gradation area is an area indicating the input gradation value x of each pixel in the input image. In the present specification, the input-side gradation region will be described by dividing it into three regions, that is, an input-side low-gradation region, an input-side medium-gradation region, and an input-side high-gradation region.
入力側低階調領域とは、入力側階調領域のうち、入力階調値xが小さい領域を意味する。また、入力側高階調領域とは、入力側階調領域のうち、入力階調値xが大きい領域を意味する。従って、入力側中階調領域は、入力側階調領域の全範囲から、入力側低階調領域および入力側高階調領域を除いた領域として規定できる。 The input-side low-gradation region means a region in which the input gradation value x is small in the input-side gradation region. Further, the input-side high-gradation region means a region in which the input gradation value x is large in the input-side gradation region. Therefore, the input-side medium gradation region can be defined as an region excluding the input-side low-gradation region and the input-side high-gradation region from the entire range of the input-side gradation region.
一例として、0<a<b<1を満たす任意の数aおよびbを考える。この場合、
0≦x<aの領域:入力側低階調領域;
a≦x≦bの領域:入力側中階調領域;
b<x≦1の領域:入力側高階調領域;
として、各領域を定義できる。aおよびbの値は、表示装置1の設計者によって適宜設定されてよい。一例として、aは0.2以下程度の値に、bは0.9以上程度の値に設定されてよい。但し、これらの数値は単なる一例であることに留意されたい。
As an example, consider arbitrary numbers a and b that satisfy 0 <a <b <1. in this case,
Area of 0 ≦ x <a: Low gradation area on the input side;
Region of a ≦ x ≦ b: Middle gradation region on the input side;
Region of b <x ≦ 1: Input side high gradation region;
Each area can be defined as. The values of a and b may be appropriately set by the designer of the
本明細書では、y=f(x)のグラフのy軸を、「出力画像における階調領域」(以下、「出力側階調領域」)と称する。出力側階調領域は、出力画像における各画素の出力階調値yを示す領域である。本明細書では、出力側階調領域を、出力側低階調領域と出力側中階調領域と出力側高階調領域との3つの領域に区分して説明する。出力側低階調領域、出力側中階調領域および出力側高階調領域のそれぞれの規定・定義等は、入力側低階調領域、入力側中階調領域および入力側高階調領域に対応している。 In the present specification, the y-axis of the graph of y = f (x) is referred to as a “gradation region in the output image” (hereinafter, “output-side gradation region”). The output-side gradation area is an area indicating the output gradation value y of each pixel in the output image. In the present specification, the output side gradation region will be described by dividing it into three regions, an output side low gradation region, an output side middle gradation region, and an output side high gradation region. The definitions and definitions of the output side low gradation region, the output side middle gradation region, and the output side high gradation region correspond to the input side low gradation region, the input side middle gradation region, and the input side high gradation region. ing.
<制御装置10の表示処理の流れ>
図2〜図7を用いて、実施形態1に係る制御装置10の表示処理の流れを説明する。はじめに、ユーザは、表示装置1に予めインストールされた任意のアプリを実行するために、表示パネル80(より具体的には、入力部81)に対して操作を施す。アプリ実行部17は、当該操作に応じたアプリを起動させる。そして、アプリ実行部17は、起動したアプリ(以下、起動アプリ)を実行するとともに、起動アプリの画像データを、制御装置10に備えられた不図示のデコーダに出力する。デコーダは、起動アプリの画像データの形式をYUV形式に変換して画像解析部11に出力する。画像解析部11は、図2に示すように、YUV形式に変換された画像データをIMG1として取得する(S101)。
<Flow of display processing of control device 10>
The flow of the display process of the control device 10 according to the first embodiment will be described with reference to FIGS. 2 to 7. First, the user operates the display panel 80 (more specifically, the input unit 81) in order to execute an arbitrary application pre-installed on the
次に、画像解析部11は、取得したIMG1をYUV形式からHSV形式に変換する(S102)。なお、HSV形式の画像データの明度(以下、V)がRGB値の最大値と同一であることから、画像解析部11は、取得したIMG1をRGB形式に変換してRGB値の最大値を取得してもよいし、RGB形式で入力してもよい。 Next, the image analysis unit 11 converts the acquired IMG1 from the YUV format to the HSV format (S102). Since the brightness (hereinafter, V) of the image data in the HSV format is the same as the maximum value of the RGB value, the image analysis unit 11 converts the acquired IMG1 into the RGB format to acquire the maximum value of the RGB value. It may be input in RGB format.
次に、画像解析部11は、HSV形式に変換したIMG1の各入力画素からVデータを取得する。そして、画像解析部11は、1024段階に分けた各入力画素のVデータを規格化して、各入力画素の入力階調値xとする。各入力画素の入力階調値xは、画像解析部11に内蔵された不図示のメモリに格納される。なお、各入力画素の入力階調値xは記憶部90に格納されてもよい。そして、画像解析部11は、各入力画素の入力階調値xの分布を示すヒストグラム(図5の符号502で示す図、図6の符号602で示す図参照)を取得して、当該ヒストグラムを階調値算出部12に出力する(S103:第1算出ステップ)。
Next, the image analysis unit 11 acquires V data from each input pixel of the IMG1 converted into the HSV format. Then, the image analysis unit 11 standardizes the V data of each input pixel divided into 1024 stages and sets it as the input gradation value x of each input pixel. The input gradation value x of each input pixel is stored in a memory (not shown) built in the image analysis unit 11. The input gradation value x of each input pixel may be stored in the
次に階調値算出部12は、画像解析部11から取得したヒストグラムを用いて、入力階調値xの最大値である最大階調値xmaxと、ヒストグラムの重心の入力階調値xである重心階調値xvと、を算出する(S104:第1算出ステップ)。「ヒストグラムの重心の入力階調値x」は、入力階調値x=0の度数から1段階ごとに度数を順次積算していった場合に、度数の積算値がすべての入力階調値xの度数を積算した総積算値の2分の1以上になったときに加算した度数に対応する入力階調値xである。
Next, the gradation
階調値算出部12による重心階調値xvの算出方法としては、図3のフローチャートに示すような方法を例示することができる。具体的にはまず、階調値算出部12は、第1度数積算値変数sumの値およびカウンタiの値を初期設定(sum=0、i=0)する(S201)。次に、階調値算出部12は、カウンタiの値に対応する段階iまでの度数の積算値に、カウンタi+1の値に対応する段階i+1の度数を加算して、第1度数積算値変数sumを更新する(S202)。更新後の第1度数積算値変数sumのデータ、つまり更新後の度数の積算値は、画像解析部11のメモリに格納される。なお、更新後の度数の積算値は記憶部90に格納されてもよい。
As a method of calculating the center of gravity gradation value xv by the gradation
次に階調値算出部12は、カウンタiの値が1024になっていないか否か、つまり1024段階までのすべての度数を加算していないか否かを判定する(S203)。カウンタiの値が1024になっていない場合(S203でYES)、階調値算出部12は再びS202の処理を実行する。
Next, the gradation
一方、カウンタiの値が1024になった場合(S203でNO)、階調値算出部12は、それまでに更新した度数の積算値を度数の総積算値として前記のメモリに格納する。なお、度数の総積算値は記憶部90に格納されてもよい。また階調値算出部12は、第2度数積算値変数valの値およびカウンタiの値を初期設定(val=0、i=0)する(S204)。
On the other hand, when the value of the counter i reaches 1024 (NO in S203), the gradation
次に階調値算出部12は、カウンタiの値に対応する段階iまでの度数の積算値にカウンタi+1の値に対応する段階i+1の度数を加算して、第2度数積算値変数valを更新する(S205)。更新後の第2度数積算値変数valのデータ、つまり更新後の度数の積算値は前記のメモリに格納される。なお、更新後の度数の積算値は記憶部90に格納されてもよい。
Next, the gradation
次に階調値算出部12は、前記のメモリから度数の総積算値を呼び出して、更新後の第2度数積算値変数valのデータが度数の総積算値の2分の1以上になった(以下、基準状態)か否かを判定する(S206)。基準状態になっていない場合(S206でNO)、階調値算出部12は再びS205の処理を実行する。
Next, the gradation
一方、基準状態になった場合(S206でYES)、階調値算出部12は、基準状態になったときに加算した度数に対応する入力階調値xを、重心階調値xvとする(S207)。S207の処理が終了することにより、階調値算出部12による重心階調値xvの算出が終了する。そして、階調値算出部12は、算出した最大階調値xmaxおよび重心階調値xvを強調度算出部13に出力する。
On the other hand, when the reference state is reached (YES in S206), the gradation
次に強調度算出部13は、図2に示すように、画像解析部11から取得した最大階調値xmaxおよび重心階調値xv、ならびに、RGB/照度センサ18から取得した表示装置1の周囲の照度を用いて強調度Eを算出する(S105:第2算出ステップ)。強調度Eは、IMG1の入力側高階調領域がIMG2において強調されるようにIMG1を補正するときの、入力側高階調領域の強調の度合いを示す。
Next, as shown in FIG. 2, the
強調度Eは、例えば下記の式(1)で算出することができる。 The emphasis level E can be calculated by, for example, the following equation (1).
強調度E=h+α×(xmax^d−(xv^d/xmax^d))・・・式(1)
h:強調度補正値
α:強調度補正倍率
xmax:最大階調値
xv:重心階調値
d:表示パネル補正値
強調度補正値hとして例えば0.4を設定した場合、表示装置1がHLG(Hybrid Log Gamma)設定であれば、強調度補正値hは強調度Eの最小値となる。なお、言うまでもなく、強調度補正値hとして0.4以外の任意の値を設定してもよい。強調度補正倍率αは、強調度Eの上昇のし易さを調整するものであり、表示装置1の設計者によって任意に設定できる。特段の事情がない限り、強調度補正倍率αは1.0に設定される。表示パネル補正値dは1/γ(γ:表示パネルのγ値)で設定される。
Emphasis E = h + α × (xmax ^ d- (xv ^ d / xmax ^ d)) ... Equation (1)
h: Emphasis correction value α: Emphasis correction magnification xmax: Maximum gradation value xv: Center of gravity gradation value d: Display panel correction value When, for example, 0.4 is set as the emphasis correction value h, the
前記の式(1)で算出した値が1よりも大きい場合、強調度算出部13は、強調度Eを一律に1に設定する。また、最大階調値xmaxと重心階調値xvとが同一の場合、強調度算出部13は、強調度Eを0.5に設定する。算出された強調度Eは、強調度算出部13は、算出した強調度Eを補正部14およびBL制御部15に出力する。
When the value calculated by the above equation (1) is larger than 1, the
前記の式(1)で算出される強調度Eは、最大階調値xmaxが大きくなるほど、または、重心階調値xvが小さくなるほど、より高くなる。また、前記の強調度Eは、最大階調値xmaxが小さくなるほど、または、重心階調値xvが大きくなるほど、より低くなる。強調度Eの高さを円の大きさで表した場合、上述した強調度Eと最大階調値xmaxと重心階調値xvとの関係は、図4に示すグラフで表すことができる。 The emphasis E calculated by the above equation (1) becomes higher as the maximum gradation value xmax becomes larger or the center of gravity gradation value xv becomes smaller. Further, the emphasis degree E becomes lower as the maximum gradation value xmax becomes smaller or the center of gravity gradation value xv becomes larger. When the height of the emphasis degree E is represented by the size of a circle, the relationship between the emphasis degree E, the maximum gradation value xmax, and the centroid gradation value xv can be represented by the graph shown in FIG.
次に補正部14は、強調度算出部13から取得した強調度Eを用いて、当該強調度Eに応じた特殊トーンカーブを生成する(S105:処理ステップ)。以下、補正部14による特殊トーンカーブの生成について、例を挙げつつ説明する。
Next, the
まず、IMG1が、例えば図5の符号501で示すIMG1Aであった場合、画像解析部11はヒストグラムとして図5の符号502で示すHIST1を取得する。IMG1Aは、画像全体の明るさとしては比較的暗いものの、相対的に明るい領域(図中の紙面向かって左側中央付近の領域)が局所的に存在している。したがって、HIST1は、IMG1Aの入力側高階調領域に含まれる各入力画素の入力階調値xの度数が総じて小さくなっており、かつ、IMG1Aの入力側低階調領域に含まれる各入力画素の入力階調値xの度数が総じて大きくなっている。言い換えれば、HIST1は重心階調値xvが相対的に小さくなっている。
First, when the IMG1 is, for example, the IMG1A shown by the
上述のような特徴を有するIMG1Aについて、強調度算出部13が強調度Eを算出した場合、重心階調値xvが相対的に小さくなっていることから強調度Eは相対的に高くなる。したがって、補正部14は、強調度算出部13から相対的に高い強調度Eを取得することになる。
When the
相対的に高い強調度Eを取得した補正部14は、予め記憶部90に格納された第1基準トーンカーブCV(第1基準LUT)を呼び出す。そして補正部14は、第1基準トーンカーブCVを補正することにより、図7の符号701で示す図のような第1特殊トーンカーブCV1(第1特殊階調変化特性)を生成する。
The
第1特殊トーンカーブCV1は、特殊トーンカーブの一形態である。第1特殊トーンカーブCV1は、IMG1の入力側高階調領域に含まれる各入力画素の入力階調値xに比べて、IMG2の出力側高階調領域に含まれる各出力画素の出力階調値yの方が一律により大きくなっている。ここで「各出力画素の出力階調値yの方が一律により大きくなっている」とは、具体的には、IMG2の出力側高階調領域に含まれる各出力画素の出力階調値yが、対応する第1基準トーンカーブCVの出力階調値yよりも一律に大きくなっていることを指す。 The first special tone curve CV1 is a form of the special tone curve. The first special tone curve CV1 has an output gradation value y of each output pixel included in the output side high gradation region of the IMG2 as compared with an input gradation value x of each input pixel included in the input side high gradation region of the IMG1. Is larger uniformly. Here, "the output gradation value y of each output pixel is uniformly larger" means that, specifically, the output gradation value y of each output pixel included in the output side high gradation region of the IMG2 is It means that the output gradation value y of the corresponding first reference tone curve CV is uniformly larger than the output gradation value y.
また第1特殊トーンカーブCV1は、IMG1の入力側高階調領域以外の領域に含まれる各入力画素の入力階調値xに比べて、IMG2における出力側高階調領域以外の領域に含まれる、各出力画素の前記出力階調値yがより小さくなっている。ここで「各出力画素の前記出力階調値yがより小さくなっている」とは、具体的には、IMG2における出力側高階調領域以外の領域に含まれる各出力画素の出力階調値yが、対応する第1基準トーンカーブCVの出力階調値yよりも小さくなっていることを指す。第1特殊トーンカーブCV1は上述のような特徴を有していることから、第1特殊トーンカーブCV1を適用すれば、すべての入力階調値xの積算階調値とすべての出力階調値yの積算階調値とが同一になる。 Further, the first special tone curve CV1 is included in a region other than the output side high gradation region in the IMG2, as compared with the input gradation value x of each input pixel included in the region other than the input side high gradation region of the IMG1. The output gradation value y of the output pixel is smaller. Here, "the output gradation value y of each output pixel is smaller" specifically means that the output gradation value y of each output pixel included in a region other than the output side high gradation region in IMG2. However, it means that it is smaller than the output gradation value y of the corresponding first reference tone curve CV. Since the first special tone curve CV1 has the above-mentioned characteristics, if the first special tone curve CV1 is applied, the integrated gradation value of all the input gradation values x and all the output gradation values are applied. The integrated gradation value of y becomes the same.
また、IMG1が、例えば図6の符号601で示すIMG1Bであった場合、画像解析部11はヒストグラムとして図6の符号602で示すHIST2を取得する。IMG1Bは、画像全体が比較的明るいことから、画像全体のコントラストが相対的に低くなっている。したがってHIST2は、IMG1Bの入力側高階調領域に含まれる各入力画素の入力階調値xの度数と、入力側中階調領域に含まれる各入力画素の入力階調値xの度数と、入力側低階調領域に含まれる各入力画素の入力階調値xの度数とが、略同一になっている。言い換えれば、HIST2は重心階調値xvが相対的に大きくなっている。
Further, when the IMG1 is, for example, the IMG1B shown by the
上述のような特徴を有するIMG1Bについて、強調度算出部13が強調度Eを算出した場合、重心階調値xvが相対的に大きくなっていることから強調度Eは相対的に低くなる。したがって、補正部14は、強調度算出部13から相対的に低い強調度Eを取得することになる。
When the
相対的に低い強調度Eを取得した補正部14は、記憶部90から第1基準トーンカーブCVを呼び出して当該第1基準トーンカーブCVを補正することにより、図7の符号702で示す図のような第2特殊トーンカーブCV2を生成する。第2特殊トーンカーブCV2(第2特殊階調変化特性)も、特殊トーンカーブの一形態である。
The
第2特殊トーンカーブCV2は、IMG1の入力側高階調領域に含まれる各入力画素の入力階調値xに比べて、IMG2の出力側高階調領域に含まれる各出力画素の出力階調値yの方がより大きくなっている。ここで「各出力画素の出力階調値yの方がより大きくなっている」とは、具体的には、IMG2の出力側高階調領域に含まれる各出力画素の出力階調値yの方が、対応する第1基準トーンカーブCVの出力階調値yより大きくなっていることを指す。 The second special tone curve CV2 has an output gradation value y of each output pixel included in the output side high gradation region of IMG2 as compared with an input gradation value x of each input pixel included in the input side high gradation region of IMG1. Is larger. Here, "the output gradation value y of each output pixel is larger" specifically means that the output gradation value y of each output pixel included in the output side high gradation region of the IMG2. However, it means that it is larger than the output gradation value y of the corresponding first reference tone curve CV.
また、IMG2の出力側高階調領域に含まれる各出力画素の出力階調値yが、対応する第1基準トーンカーブCVの出力階調値yよりも大きくなる程度は、IMG2の出力側高階調領域に含まれる各出力画素の出力階調値yが大きくなるほど大きくなっている。なお、実施形態1の第2特殊トーンカーブCV2は、IMG2の出力側低階調領域に含まれる各出力画素の出力階調値yから連続的に、対応する第1基準トーンカーブCVの出力階調値yより大きくなっている。 Further, the degree to which the output gradation value y of each output pixel included in the output side high gradation region of the IMG2 becomes larger than the output gradation value y of the corresponding first reference tone curve CV is such that the output side high gradation of the IMG2 is large. The larger the output gradation value y of each output pixel included in the region, the larger the output gradation value y. The second special tone curve CV2 of the first embodiment is the output floor of the corresponding first reference tone curve CV continuously from the output gradation value y of each output pixel included in the output side low gradation region of the IMG2. It is larger than the metering y.
次にBL制御部15は、強調度算出部13から取得した強調度Eに応じて、BL83を構成する複数の光源の各輝度値(以下、BL輝度値L)を設定する(S105:処理ステップ)。BL輝度値Lは、表示パネル80の表示面に配列された複数の表示素子の各輝度値に相当する。具体的にはBL制御部15は、強調度Eが相対的に高い場合、最大階調値xmaxに対応するIMG1の輝度値の最大値をBL輝度値Lとする。強調度Eが相対的に低い場合、BL制御部15は、最大階調値xmaxと重心階調値xvとの差分に応じた減衰率を算出し、最大階調値xmaxに対応するIMG1の輝度値の最大値に減衰率を乗じた値をBL輝度値Lとする。
Next, the
BL輝度値Lの実際の設定は次に説明する通りである。強調度Eが相対的に高い場合、BL83で設定できるBL輝度値Lの最大値にBLレベルを乗じた値が、最大階調値xmaxに対応するIMG1の輝度値の最大値になるようなBLレベルを、BL制御部15が算出する。
The actual setting of the BL luminance value L is as described below. When the emphasis level E is relatively high, the value obtained by multiplying the maximum value of the BL brightness value L that can be set by BL83 by the BL level becomes the maximum value of the brightness value of IMG1 corresponding to the maximum gradation value xmax. The
強調度Eが相対的に低い場合、BL83で設定できるBL輝度値Lの最大値に減衰率とBLレベルとを乗じた値が、最大階調値xmaxに対応するIMG1の輝度値の最大値になるようなBLレベルを、BL制御部15が算出する。そして前記のいずれの場合でも、BL制御部15は、算出したBLレベルをBL83で設定できるBL輝度値Lの最大値に乗じて得た値を、BL輝度値Lとして設定する。
When the emphasis level E is relatively low, the value obtained by multiplying the maximum value of the BL brightness value L that can be set by BL83 by the attenuation factor and the BL level becomes the maximum value of the brightness value of IMG1 corresponding to the maximum gradation value xmax. The
上述のようにしてBL輝度値Lを設定した場合、設定後の新たなBL輝度値Lは、強調度Eが相対的に高ければ、全体として設定前のBL輝度値Lよりも大きくなり、強調度Eが相対的に低ければ、全体として設定前のBL輝度値Lよりも小さくなる。 When the BL luminance value L is set as described above, the new BL luminance value L after the setting becomes larger than the BL luminance value L before the setting as a whole if the emphasis degree E is relatively high, and is emphasized. If the degree E is relatively low, it becomes smaller than the BL luminance value L before setting as a whole.
次に補正部14は、生成した特殊トーンカーブ(第1特殊トーンカーブまたは第2特殊トーンカーブ)を用いてIMG1を補正し、IMG2を生成する(S106:処理ステップ)。例えば、第2特殊トーンカーブを用いてIMG1Bを補正した場合であれば、図7の符号703で示す図のようなIMG2Bが生成される。IMG2Bは、IMG1B(図6の符号601で示す図参照)の高輝度領域の輝度を維持しつつ、IMG1Bに比べて画像全体のコントラストが高くなっている。
Next, the
次に、補正部14は、生成したIMG2をYUV形式からRGB形式に変換する(S107)。次に、補正部14とBL制御部15とは、RGB形式のIMG2とBL輝度値Lとを同期させて表示パネル80に出力する(S108)。ここで、設定後の新たなBL輝度値Lにおける設定前のBL輝度値Lからの変化量が多いほど、BL83が発光したときに、ユーザに対してちらつき等の違和感を与える虞がある。したがって前記の変化量が多い場合、BL制御部15は、BL83の各光源が設定後の新たなBL輝度値Lに素早く変化して発光するように、設定後の新たなBL輝度値Lを出力するのが好ましい。一方前記の変化量が少ない場合、BL制御部15は、BL輝度値Lの変化を目立たなくするべく、BL83の各光源が設定後の新たなBL輝度値Lに緩やかに変化して発光するように、設定後の新たなBL輝度値Lを出力するのが好ましい。
Next, the
なお補正部14は、生成したIMG2をYUV形式のまま処理してもよい。具体的には補正部14は、IMG2における輝度信号(Y)の分布を示すヒストグラム(不図示)を取得し(S107)、当該ヒストグラムに基づいてYUV形式のIMG2を表示パネル80に出力(S108)させてもよい。この場合、IMG2については、輝度信号の変化量を、青色成分の差分信号(U)の変化量および赤色成分の差分信号(V)の変化量に同期させる処理が必要となる。
The
制御装置10は、画像表示が終了するまでS108の処理を繰り返し(S109でNO)、画像表示が終了すると(S109でYES)、制御装置10によるすべての表示処理が終了する。 The control device 10 repeats the process of S108 until the image display is completed (NO in S109), and when the image display is completed (YES in S109), all the display processes by the control device 10 are completed.
〔実施形態2〕
図1、図8および図9を用いて、実施形態2に係る表示装置2について説明する。表示装置2は、制御装置20のBL制御部15が、所定の条件が充足された場合に強調度Eに応じて伸張最大輝度値Lmax−1を設定する点で、実施形態1に係る表示装置1と異なる。表示装置2および制御装置20の要部構成は、図1に示すように表示装置1および制御装置10と同じである。また、表示装置2の各装置・各部の機能および制御装置20におけるBL制御部15以外の各部の機能も、表示装置1および制御装置10と同じである。
[Embodiment 2]
The
<制御装置20の特有の表示処理>
以下、制御装置20の特有の表示処理について、表示装置2の表示パネル80にIMG2として図8の符号801で示すIMG2Cが表示された場合を例に挙げて説明する。表示パネル80に表示されたIMG2Cは、出力側高階調領域(IMG2C中の蛍光灯の画像領域)と他の領域とのコントラストが相対的に低くなっており、出力側高階調領域がぼやけている。
<Display processing peculiar to the
Hereinafter, the display processing peculiar to the
このような表示状態の表示パネル80における複数の表示素子の各輝度値は、図8の符号802で示すヒストグラム(以下、HIST3)のような分布となる。以下、表示パネル80にIMG2が表示されているときの1つの表示素子の輝度値を「出力輝度値」と称する。
Each luminance value of the plurality of display elements in the
HIST3では、出力輝度値の最大値が第2最大設定値L−4よりも小さくなっている。「出力輝度値の最大値」とは、言い換えれば、表示パネル80にIMG2が表示されているときの複数の表示素子の各輝度値における最大値のことである。以下、出力輝度値の最大値を「最大輝度値L−3」と称する。第2最大設定値L−4は、表示パネル80で設定可能な出力輝度値の最大値である。
In HIST3, the maximum value of the output luminance value is smaller than the second maximum set value L-4. In other words, the "maximum value of the output luminance value" is the maximum value at each luminance value of the plurality of display elements when the
このように最大輝度値L−3が第2最大設定値L−4よりも小さくなっている場合における、IMG2Cの入力輝度値と出力輝度値との関係は、図8の符号803で示すグラフのようになる。入力輝度値は、表示パネル80に取得された後、当該表示パネル80に表示される前のIMG2における各出力画素の輝度値である。
The relationship between the input luminance value and the output luminance value of the IMG 2C when the maximum luminance value L-3 is smaller than the second maximum set value L-4 is shown in the graph shown by
IMG2Cについては、最大輝度値L−3に対応する入力輝度値以上の大きさの入力輝度値をとる出力画素のすべてが、実際には最大輝度値L−3の明るさで表示パネル80に表示されることになる。このことが一因となって、IMG2Cは出力側高階調領域がぼやけて表示される。
For the IMG2C, all the output pixels having an input luminance value larger than the input luminance value corresponding to the maximum luminance value L-3 are actually displayed on the
このIMG2Cの例のように、IMG2の出力側高階調領域にぼやけが生じた場合、制御装置20のBL制御部15は、所定の条件が充足されると強調度Eに応じて伸張最大輝度値Lmax−1を設定する。具体的にはBL制御部15は、積算輝度値が第1最大設定値以下、または、最大輝度値L−3が第2最大設定値L−4以下のいずれかの場合には、強調度Eに応じて伸張最大輝度値Lmax−1を設定する。ここで「BL制御部15が伸張最大輝度値Lmax−1を設定する」とは、BL制御部15が、各出力輝度値の最大値が伸張最大輝度値Lmax−1になるように、BL83を構成する複数の光源のBL輝度値Lを設定することを指す。
As in the example of IMG2C, when blurring occurs in the high gradation region on the output side of IMG2, the
積算輝度値は、表示パネル80にIMG2が表示されているときの複数の表示素子の各輝度値を積算した積算値である。第1最大設定値は、表示パネル80で設定可能な積算輝度値の最大値である。伸張最大輝度値Lmax−1は、強調度Eに応じて最大輝度値L−3を大きくした値である。
The integrated luminance value is an integrated value obtained by integrating the luminance values of the plurality of display elements when the
IMG2Cの例では、最大輝度値L−3が第2最大設定値L−4よりも小さくなっている。このように最大輝度値L−3が第2最大設定値L−4以下の場合には、BL制御部15は、第2最大設定値L−4を伸張最大輝度値Lmax−1として設定する。伸張最大輝度値Lmax−1の設定後は、それまで表示パネル80に表示されていたIMG2Cは、図8の符号804で示すIMG2C−1のような表示態様に変化する。IMG2C−1は、IMG2Cに比べてコントラストが相対的に高くなっており、出力側高階調領域が明瞭に表示される。
In the example of IMG2C, the maximum luminance value L-3 is smaller than the second maximum set value L-4. When the maximum luminance value L-3 is equal to or less than the second maximum luminance value L-4, the
IMG2C−1の出力輝度値の分布を示すヒストグラムは、図8の符号805で示すHIST4のようになる。また、IMG2Cの入力輝度値とIMG2C−1の出力輝度値との関係は、図8の符号806で示すグラフのようになる。図8の符号806で示すグラフは、伸張最大輝度値Lmax−1を設定したことにより、入力輝度値が大きな値をとる部分が持ち上げられている。一方で、入力輝度値が大きな値をとる部分以外の部分については持ち上げられていない。これらのことからも、IMG2C−1がIMG2Cに比べてコントラストが相対的に高くなっており、出力側高階調領域が明瞭に表示されることが分かる。
The histogram showing the distribution of the output luminance values of IMG2C-1 is as shown in HIST4 shown by reference numeral 805 in FIG. Further, the relationship between the input luminance value of IMG2C and the output luminance value of IMG2C-1 is as shown in the graph shown by
<制御装置20の特有の表示処理のバリエーション>
制御装置20のBL制御部15は、上述したIMG2Cの例も含めて、伸張最大輝度値Lmax−1を下記の式(2)により算出する。但し、下記の式(2)はあくまで一例であり、BL制御部15は、他の式を用いて伸張最大輝度値Lmax−1を算出することもできる。なお、下記の式(2)においては、式の明瞭化のために符号を省略する。
<Variations of display processing peculiar to the
The
伸張最大輝度値=最大輝度値+強調度×(上限輝度値−最大輝度値)・・・式(2)
前記の式(2)に用いられる強調度Eは、0以上かつ1以下の値をとり、強調度が高くなるほどその値が1に近づく。上限輝度値は、表示装置2の周囲の照度に応じて第2最大設定値L−4を補正した値である。上限輝度値が最大輝度値L−3よりも小さい場合、最大輝度値L−3を上限輝度値とする。
Maximum stretched brightness value = maximum brightness value + emphasis x (upper limit brightness value-maximum brightness value) ... Equation (2)
The emphasis level E used in the above equation (2) takes a value of 0 or more and 1 or less, and the higher the emphasis level, the closer the value approaches 1. The upper limit luminance value is a value obtained by correcting the second maximum set value L-4 according to the illuminance around the
前記の式(2)を用いて伸張最大輝度値Lmax−1を算出する場合、強調度Eが非常に高ければ(1に非常に近ければ)、BL制御部15は第2最大設定値L−4よりも大きな伸張最大輝度値Lmax−1を設定することができる。第2最大設定値L−4よりも大きな伸張最大輝度値Lmax−1を設定した場合、入力輝度値と出力輝度値との関係は、例えば図9の符号901で示すグラフのようになる。
When calculating the stretched maximum luminance value Lmax-1 using the above equation (2), if the emphasis E is very high (very close to 1), the
また、第2最大設定値L−4よりも大きな伸張最大輝度値Lmax−1の設定は、図9の符号902で示すグラフのように最大輝度値L−3が第2最大設定値L−4に到達している場合であっても可能である。なお、第2最大設定値L−4よりも大きな伸張最大輝度値Lmax−1を設定する場合、例えば、伸張最大輝度値Lmax−1を設定した後に表示パネル80に表示されたIMG2に対して滑らかに変化するカーブを適用して、表示画像のカーブ変化点を感じさせないようにするのが好ましい。
Further, in the setting of the extension maximum brightness value Lmax-1 larger than the second maximum setting value L-4, the maximum brightness value L-3 is the second maximum setting value L-4 as shown in the graph shown by
〔実施形態3〕
図1および図10を用いて、実施形態3に係る表示装置3について説明する。表示装置3は、制御装置30のBL制御部15が、所定の条件が充足された場合に、表示装置3の周囲の照度に応じて伸張輝度値Lmax−2を設定する点で、実施形態1・2に係る表示装置1・2と異なる。表示装置3および制御装置30の要部構成は、図1に示すように表示装置1・2および制御装置10・20と同じである。また、表示装置3の各装置・各部の機能および制御装置30におけるBL制御部15以外の各部の機能も、表示装置1・2および制御装置10・20と同じである。
[Embodiment 3]
The display device 3 according to the third embodiment will be described with reference to FIGS. 1 and 10. In the display device 3, the
なお実施形態3では、制御装置30の画像解析部11が、0〜100の値をとるように出力輝度値を規格化したヒストグラムを取得するものとする(図10の符号112・115で示すヒストグラム参照)。また、以下の説明では、表示装置3の周囲の照度を単に「周囲照度」と称する。
In the third embodiment, the image analysis unit 11 of the control device 30 acquires a histogram in which the output luminance value is standardized so as to take a value of 0 to 100 (histograms shown by
<制御装置30の特有の表示処理>
以下、制御装置30の特有の表示処理について、表示装置3の表示パネル80にIMG2として図10の符号111で示すIMG2Dが表示された場合を例に挙げて説明する。なお、表示装置3の周囲は明るい(周囲照度が高い)ものとする。
<Display processing peculiar to the control device 30>
Hereinafter, the display processing peculiar to the control device 30 will be described by taking as an example a case where the IMG2D indicated by
表示パネル80に表示されたIMG2Dは、周囲照度が高いことと相まって、画像全域に亘って相対的に暗くなっている。そのため、ユーザはIMG2Dを視認するのが困難である。このような表示状態の表示パネル80における出力輝度値の分布を示すヒストグラムは、図10の符号112で示すHIST5のようになる。HIST5では、出力輝度値が小さい部分において、度数が相対的に高くなっている。
The IMG2D displayed on the
このIMG2Dの例のように、IMG2が画像全域に亘って相対的に暗く表示された場合、制御装置30のBL制御部15は、積算輝度値が最小設定値以下であれば伸張輝度値Lmax−2を設定する。最小設定値は、表示パネル80で設定可能な積算輝度値の最小値である。伸張輝度値Lmax−2は、表示パネル80にIMG2が表示されているときの各出力輝度値を大きくした値である。ここで「BL制御部15が伸張輝度値Lmax−2を設定する」とは、BL制御部15が、各出力輝度値が伸張輝度値Lmax−2になるように、BL83を構成する複数の光源のBL輝度値Lを設定することを指す。
As in the example of this IMG2D, when the IMG2 is displayed relatively dark over the entire image, the
具体的にはBL制御部15は、伸張輝度値Lmax−2を下記の式(3)および(4)により算出する。但し、下記の式(3)および(4)はあくまで一例であり、BL制御部15は、他の式を用いて伸張輝度値Lmax−2を算出することもできる。なお、下記の式(3)および(4)においては、式の明瞭化のために符号を省略する。
Specifically, the
伸張輝度値=出力輝度値補正倍率×出力輝度値・・・式(3)
出力輝度値補正倍率=1+照度係数×積算輝度値係数×(周囲照度/積算輝度値)・・・式(4)
出力輝度値補正倍率は、0以上かつ1以下の値をとり、前記の式(4)で算出される。また、出力輝度値補正倍率とIMG2の出力輝度値との関係は、図10の符号113で示すグラフのようになる。
Extended brightness value = output brightness value correction magnification x output brightness value ... Equation (3)
Output brightness value correction magnification = 1 + illuminance coefficient x integrated brightness value coefficient x (ambient illuminance / integrated brightness value) ... Equation (4)
The output luminance value correction magnification takes a value of 0 or more and 1 or less, and is calculated by the above equation (4). Further, the relationship between the output luminance value correction magnification and the output luminance value of IMG2 is as shown in the graph indicated by
照度係数は、周囲照度が一定値に達するまでは、周囲照度との間で当該周囲照度が高くなるほど値が大きくなるような比例関係にある。前記の一定値は、伸張輝度値Lmax−2の設定が不要となる程度の周囲照度であり、表示装置3の設計者が任意に設計できる。周囲照度が一定値以上になると、照度係数は周囲照度が一定値になったときの値を維持する。積算輝度値係数は、積算輝度値が大きくなるほど小さくなり、伸張輝度値Lmax−2の設定が不要となる程度まで積算輝度値が大きくなった時点で0になる。 The illuminance coefficient has a proportional relationship with the ambient illuminance so that the value increases as the ambient illuminance increases until the ambient illuminance reaches a certain value. The constant value is an ambient illuminance that does not require the setting of the extended luminance value Lmax-2, and can be arbitrarily designed by the designer of the display device 3. When the ambient illuminance exceeds a certain value, the illuminance coefficient maintains the value when the ambient illuminance becomes a constant value. The integrated luminance value coefficient decreases as the integrated luminance value increases, and becomes 0 when the integrated luminance value increases to the extent that the setting of the extended luminance value Lmax-2 becomes unnecessary.
なお、照度係数と周囲照度との関係については、例えば以下に説明するような関係であってもよい。すなわち、第1期間では周囲照度が高くなるほど照度係数が大きくなる比例関係にあり、第1期間後の第2期間では周囲照度が高くなるほど第1期間よりも緩やかに照度係数が大きくなってもよい。第1期間は、周囲照度が0から第1一定値に達するまでに期間であり、第2期間は、周囲照度が第1一定値に達した後、第2一定値(>第1一定値)に達するまでの期間である。 The relationship between the illuminance coefficient and the ambient illuminance may be as described below, for example. That is, in the first period, the higher the ambient illuminance, the larger the illuminance coefficient, and in the second period after the first period, the higher the ambient illuminance, the gradual increase in the illuminance coefficient than in the first period. .. The first period is the period from 0 to the first constant value of the ambient illuminance, and the second period is the second constant value (> the first constant value) after the ambient illuminance reaches the first constant value. It is the period until it reaches.
この場合、第2期間における照度係数の増加量(周囲照度の単位照度値あたり)は、周囲照度が高くなるほど減少し、周囲照度が第2一定値に達した時点で、照度係数の増加量は0になる。そして、周囲照度が第2一定値以上になると、照度係数は周囲照度が第2一定値になったときの値を維持してもよい。 In this case, the amount of increase in the illuminance coefficient in the second period (per unit illuminance value of the ambient illuminance) decreases as the ambient illuminance increases, and when the ambient illuminance reaches the second constant value, the amount of increase in the illuminance coefficient increases. It becomes 0. Then, when the ambient illuminance becomes the second constant value or more, the illuminance coefficient may maintain the value when the ambient illuminance becomes the second constant value.
伸張輝度値Lmax−2の設定後は、それまで表示パネル80に表示されていたIMG2Dは、図10の符号114で示すIMG2D−1のような表示態様に変化する。IMG2D−1は、IMG2Dに比べて画像全域が相対的に明るくなっており、かつ、コントラストも相対的に高くなっている。そのため、IMG2D−1の出力側高階調領域が明瞭に表示される。
After setting the stretched luminance value Lmax-2, the IMG2D that has been displayed on the
IMG2D−1の出力輝度値の分布を示すヒストグラムは、図10の符号115で示すHIST6のようになる。HIST6では、出力階調値が小さな値をとる部分についてはHIST5よりも度数が全体的に低くなっている。一方、出力階調値が小さな値をとる部分以外の部分については、HIST5よりも度数が全体的に高くなっている。特に、出力階調値が大きな値をとる部分については、HIST5よりも度数が大幅に高くなっている。これらのことからも、IMG2D−1がIMG2Dに比べて相対的に明るくなっており、かつ、コントラストも相対的に高くなっていることが分かる。
The histogram showing the distribution of the output luminance values of IMG2D-1 is like HIST6 shown by
<制御装置30の特有の表示処理のバリエーション>
制御装置30のBL制御部15による伸張輝度値Lmax−2の設定は、周囲照度を考慮することなく実行されてもよい。この場合、BL制御部15は、伸張輝度値Lmax−2を前記の式(3)および下記の式(5)により算出する。
<Variations of display processing peculiar to the control device 30>
The setting of the extended luminance value Lmax-2 by the
出力輝度値補正倍率=1+積算輝度値係数×積算輝度値・・・式(5)
前記の式(3)および(5)を用いることにより、BL制御部15は、積算輝度値が最小設定値以下の場合には、周囲漕度を考慮することなく直ちに伸張輝度値Lmax−2を設定する。
Output luminance value correction magnification = 1 + integrated luminance value coefficient x integrated luminance value ... Equation (5)
By using the above equations (3) and (5), when the integrated luminance value is equal to or less than the minimum set value, the
〔実施形態4〕
図1、図11および図12を用いて、実施形態4に係る表示装置4について説明する。表示装置4は、制御装置40の補正部14が、IMG1に対する入力側高階調領域の占有割合に応じて第3特殊トーンカーブCV3(第3特殊階調変化特性)を生成する点で、実施形態1〜3に係る表示装置1〜3と異なる。また表示装置4は、制御装置40の補正部14が、IMG1に対する入力側低階調領域の占有割合に応じて第4特殊トーンカーブCV4(第4特殊階調変化特性)を生成する点でも、実施形態1〜3に係る表示装置1〜3と異なる。
[Embodiment 4]
The
表示装置4および制御装置40の要部構成は、図1に示すように表示装置1〜3および制御装置10〜30と同じである。また、表示装置4の各装置・各部の機能および制御装置40における補正部14以外の各部の機能も、表示装置1〜3および制御装置10〜30と同じである。
As shown in FIG. 1, the main components of the
<制御装置40の特有の表示処理>
以下、制御装置40の特有の表示処理について、制御装置40の補正部14が、IMG1としてIMG1E−1およびIMG1E−2を補正する場合を例に挙げて説明する。
<Display processing peculiar to the
Hereinafter, the display processing peculiar to the
まず、制御装置40の補正部14が、図11の符号121で示すIMG1E−1を補正する場合を例に挙げる。IMG1E−1は、当該IMG1E−1に対する入力側高階調領域の占有割合が相対的に非常に高くなっており、入力側高階調領域以外の領域がほとんど存在していない。そのためIMG1E−1は、コントラストが相対的に非常に低くなっており、入力側高階調領域がぼやけている。このような特徴を有するIMG1E−1の入力階調値xの分布は、図11の符号122で示すHIST7のようになる。
First, a case where the
このIMG1E−1の例のように、IMG1に対する入力側高階調領域の占有割合が相対的に高い場合、補正部14は、IMG1の補正に用いる特殊トーンカーブとして、図11の符号123で示す第3特殊トーンカーブCV3を生成する。具体的には補正部14は、予め表示装置4の記憶部90に格納された第2基準トーンカーブCVN(第2基準LUT)を呼び出して当該第2基準トーンカーブCVNを補正することにより、第3特殊トーンカーブCV3を生成する。
When the occupancy ratio of the input side high gradation region with respect to the IMG1 is relatively high as in the example of the IMG1E-1, the
第3特殊トーンカーブCV3は、IMG1の入力側高階調領域に含まれる各入力画素の入力階調値xに比べて、IMG2の出力側高階調領域に含まれる各出力画素の出力階調値yの方が一律により大きくなっている。ここで「各出力画素の出力階調値yの方が一律により大きくなっている」とは、具体的には、IMG2の出力側高階調領域に含まれる各出力画素の出力階調値yが、対応する第2基準トーンカーブCVNの出力階調値yよりも一律に大きくなっていることを指す。 The third special tone curve CV3 has an output gradation value y of each output pixel included in the output side high gradation region of the IMG2 as compared with an input gradation value x of each input pixel included in the input side high gradation region of the IMG1. Is larger uniformly. Here, "the output gradation value y of each output pixel is uniformly larger" means that, specifically, the output gradation value y of each output pixel included in the output side high gradation region of the IMG2 is , It means that it is uniformly larger than the output gradation value y of the corresponding second reference tone curve CVN.
また第3特殊トーンカーブCV3は、IMG1の入力側高階調領域以外の領域に含まれる各入力画素の入力階調値xに比べて、IMG2における出力側高階調領域以外の領域に含まれる、各出力画素の前記出力階調値yの増加率がより小さくなっている。ここで「各出力画素の前記出力階調値yの増加率がより小さくなっている」とは、具体的には、IMG2における出力側高階調領域以外の領域に含まれる各出力画素の出力階調値yの傾きが、対応する第2基準トーンカーブCVNの出力階調値yの傾きよりも小さくなっていることを指す。第3特殊トーンカーブCV3は上述のような特徴を有していることから、第3特殊トーンカーブCV3を適用すれば、IMG1に比べて均一化された積算階調値を持ったIMG2を得ることができる。 Further, the third special tone curve CV3 is included in a region other than the output side high gradation region in the IMG2, as compared with the input gradation value x of each input pixel included in the region other than the input side high gradation region of the IMG1. The rate of increase of the output gradation value y of the output pixel is smaller. Here, "the rate of increase of the output gradation value y of each output pixel is smaller" specifically means that the output floor of each output pixel included in an area other than the output side high gradation area in IMG2. It means that the slope of the tuning value y is smaller than the slope of the output gradation value y of the corresponding second reference tone curve CVN. Since the third special tone curve CV3 has the above-mentioned characteristics, if the third special tone curve CV3 is applied, IMG2 having a more uniform integrated gradation value than IMG1 can be obtained. Can be done.
補正部14は、上述のような特徴を有する第3特殊トーンカーブCV3を生成してIMG1E−1に適用することにより、IMG2として図11の符号124で示すIMG2E−1を生成する。IMG2E−1は、IMG1E −1に比べてコントラストが相対的に高くなっており、出力側高階調領域が明瞭に表示される。
The
次に、制御装置40の補正部14が、図12の符号131で示すIMG1E−2を補正する場合を例に挙げる。IMG1E−2は、当該IMG1E−2に対する入力側低階調領域の占有割合が相対的に非常に高くなっており、入力側低階調領域以外の領域がほとんど存在していない。そのためIMG1E−2は、コントラストが相対的に非常に低くなっており、かつ、画像全体が相対的に暗くなっている。このような特徴を有するIMG1E−2の入力階調値xの分布は、図12の符号132で示すHIST8のようになる。
Next, a case where the
このIMG1E−2の例のように、IMG1に対する入力側低階調領域の占有割合が相対的に高い場合、補正部14は、IMG1の補正に用いる特殊トーンカーブとして、図12の符号133で示す第4特殊トーンカーブCV4を生成する。記憶部90から第2基準トーンカーブCVNを呼び出して当該第2基準トーンカーブCVNを補正することで、第4特殊トーンカーブCV4を生成する点は、第3特殊トーンカーブCV3と同様である。
When the occupancy ratio of the input side low gradation region with respect to IMG1 is relatively high as in the example of IMG1E-2, the
第4特殊トーンカーブCV4は、IMG1の入力側低階調領域に含まれる各入力画素の入力階調値xに比べて、IMG2の出力側低階調領域に含まれる各出力画素の出力階調値yの方がより大きくなっている。ここで「各出力画素の出力階調値yの方がより大きくなっている」とは、具体的には、IMG2の出力側低階調領域に含まれる各出力画素の出力階調値yの方が、対応する第2基準トーンカーブCVNの出力階調値yより大きくなっていることを指す。 The fourth special tone curve CV4 has an output gradation of each output pixel included in the output side low gradation region of the IMG2 as compared with the input gradation value x of each input pixel included in the input side low gradation region of the IMG1. The value y is larger. Here, "the output gradation value y of each output pixel is larger" specifically means that the output gradation value y of each output pixel included in the output side low gradation region of the IMG2. It means that the value is larger than the output gradation value y of the corresponding second reference tone curve CVN.
補正部14は、上述のような特徴を有する第4特殊トーンカーブCV4を生成してIMG1E−2に適用することにより、IMG2として図12の符号134で示すIMG2E−2を生成する。IMG2E−2は、IMG1E −2に比べてコントラストが相対的に高くなっており、出力側低階調領域が明瞭に表示される。
The
〔実施形態5〕
図1および図13を用いて、実施形態5に係る表示装置5について説明する。表示装置5は、制御装置50が判定部16を備えている点で、実施形態1〜4に係る表示装置1〜4と異なる。また表示装置5は、制御装置50の画像解析部11が、IMG1を解析して当該IMG1に対するオブジェクト画像(以下、IMG1OおよびIMG1UI)の占有割合を算出する点でも、実施形態1〜4に係る表示装置1〜4と異なる。さらに表示装置5は、制御装置50の補正部14が、色補正度Cを設定した上で、当該色補正度Cに応じてIMG1OおよびIMG1UIを色補正する点でも、実施形態1〜4に係る表示装置1〜4と異なる。
[Embodiment 5]
The display device 5 according to the fifth embodiment will be described with reference to FIGS. 1 and 13. The display device 5 is different from the
表示装置5および制御装置50の要部構成は、判定部16を備えている点以外は、図1に示すように表示装置1〜4および制御装置10〜40と同じである。また、表示装置4の各装置・各部の機能、および、制御装置40における画像解析部11・補正部14・判定部16以外の各部の機能も、表示装置1〜4および制御装置10〜40と同じである。
The main components of the display device 5 and the
<制御装置50の特有の表示処理>
以下、制御装置50の特有の表示処理について、制御装置50が、IMG1としてIMG1F−1およびIMG1F−2の表示処理を実行する場合を例に挙げて説明する。
<Display processing peculiar to the
Hereinafter, the display processing peculiar to the
まず、制御装置50が、図13の符号141で示すIMG1F−1の表示処理を実行する場合を例に挙げる。IMG1F−1は、制御装置50の画像解析部11および判定部16に出力される前に、制御装置50のデコーダによってRGB形式に変換される。
First, a case where the
IMG1F−1を取得した判定部16は、学習済みモデルを用いて、IMG1F−1中のオブジェクト画像(以下、IMG1O)が映し出した所定のオブジェクトの種類を判定する。学習済みモデルは、対象オブジェクトを示す正解データと、当該対象オブジェクトを含む多種類のオブジェクトのそれぞれが映った多数の画像で構成される入力データと、を対応付けた教師データを用いて、学習モデルに機械学習させることで生成される。
The
対象オブジェクトは、IMG1中の対象オブジェクト画像に映し出されたオブジェクトである。対象オブジェクト画像は、制御装置50の補正部14が色補正を行う対象となる、IMG1中の画像領域である。対象オブジェクトは、表示装置5の設計者が任意に選択できる。対象オブジェクトとしては、例えば記憶色に色補正すべきオブジェクトが好ましいことから、実施形態5では、対象オブジェクトとして人、花、葉および空が選択されているものとする。また実施形態5では、対象オブジェクトとしてUIも選択されているものとする。これらのことから、実施形態5における対象オブジェクト画像は、人、花、葉、空およびUIのそれぞれが単体で、あるいは2種類以上の組み合わせで映し出された画像となる。
The target object is an object projected on the target object image in IMG1. The target object image is an image area in the IMG1 to which the
入力データが静止画像の場合、学習済みモデルとしては、例えばCNNを用いることができる。一方、入力データが動画像の場合、学習済みモデルとしては、例えばCNNとRNN(Recurrent Neutal Natwork)、あるいはCNNとLSTM(Long Short-Term Memory)とを組み合わせた学習済みモデルを用いるのが好ましい。生成された学習済みモデルは、例えば記憶部90に格納されてもよいし、不図示のサーバに格納されてもよい。サーバに格納される場合、当該サーバと表示装置5との間で無線通信等を行うことで、制御装置50の判定部16がサーバから学習済みモデルを取得する。
When the input data is a still image, for example, CNN can be used as the trained model. On the other hand, when the input data is a moving image, it is preferable to use, for example, a trained model in which CNN and RNN (Recurrent Neutal Natwork) or CNN and LSTM (Long Short-Term Memory) are combined as the trained model. The generated trained model may be stored in, for example, a
学習済みモデルの生成には、多項ロジスティック回帰分析等の公知の機械学習アルゴリズムが使用されてよい。あるいは、公知のニューラルネットワーク技術(例:公知のディープラーニング技術)を用いて学習済みモデルを生成してもよい。 A known machine learning algorithm such as multinomial logistic regression analysis may be used to generate the trained model. Alternatively, a trained model may be generated using a known neural network technique (eg, a known deep learning technique).
このIMG1F−1の例では、判定部16は、学習済みモデルを用いて、IMG1F−1中のIMG1O−1に、所定のオブジェクトとして人、つまり1種類の対象オブジェクトが写し出されていることを判定する。また判定部16は、IMG1F−1中のIMG1O−2に、所定のオブジェクトとして花および葉、つまりIMG1O−1の対象オブジェクトと異なる2種類の対象オブジェクトが写し出されていることを判定する。
In this example of IMG1F-1, the
次に、制御装置50の画像解析部11は、判定部16からIMG1F−1中に計3種類(人、花、葉)の対象オブジェクトが映し出されている旨の判定結果を取得する。この判定結果を取得した画像解析部11は、IMG1F−1中に対象オブジェクトが映し出されていることから、IMG1F−1を解析して当該IMG1F−1に対するIMG1O−1およびIMG1O−2の占有割合を算出する。
Next, the image analysis unit 11 of the
次に、制御装置50の補正部14は、画像解析部11から算出結果を取得する。算出結果を取得した補正部14は、算出結果に応じて色補正度Cを設定する。色補正度Cは、IMG1Oを色補正するときの色補正の度合いを示し、0〜1の間の数値で段階的に設定される。色補正度Cが0のときは色補正を行わないことを示し、色補正値Cが1のときは最も度合いが高い色補正を行う。色補正度Cをどの程度の段階に分けるかは、表示装置5の設計者が任意に設定できる。実施形態5では、色補正の度合いをIMG1に対する対象オブジェクト画像の占有割合に応じて設定するものとする。
Next, the
IMG1F−1に対するIMG1O−1の占有割合、IMG1F−1に対するIMG1O−2の占有割合ともに相対的に高いことから、補正部14は、IMG1O−1の色補正度C1を「1」、IMG1O−2の色補正度C2を「1」に設定する。一方、IMG1F−1中には、例えば空が映った対象オブジェクト画像は存在しない。つまり、空が映った対象オブジェクト画像のIMG1F−1に対する占有割合は0となる。したがって、空が映った対象オブジェクト画像の色補正度Cは「0」となる。
Since both the occupancy ratio of IMG1O-1 to IMG1F-1 and the occupancy ratio of IMG1O-2 to IMG1F-1 are relatively high, the
次に、色補正度Cを設定した補正部14は、対象オブジェクト画像の種類毎に生成された複数の3DLUTのいずれかを、例えば記憶部90から呼び出す。当然のことながら、補正部14によって色補正される対象オブジェクト画像に対応した3DLUTが、記憶部90から呼び出される。したがって、色補正度C1およびC2を設定した補正部14は、記憶部90からIMG1O−1に対応した3DLUTとIMG1O−2に対応した3DLUTとを呼び出す。
Next, the
そして補正部14は、第1特殊トーンカーブまたは第2特殊トーンカーブによる補正後にYUV形式からRGB形式に変換したIMG2(図2のS106・S107参照)中の対象オブジェクト画像に対して、色補正度Cに応じた度合いで3DLUTを適用する。この3DLUTの適用により、対象オブジェクト画像を色補正する。したがって補正部14は、IMG1O−1に対応する出力画像に対しては、色補正度C1(=1)に応じた最も高い度合いで3DLUTを適用して色補正を行う。また補正部14は、IMG1O−2に対応する出力画像に対しても、色補正度C1(=1)に応じた最も高い度合いで3DLUTを適用して色補正を行う。
Then, the
次に、制御装置50が、図13の符号142で示すIMG1F−2の表示処理を実行する場合を例に挙げる。IMG1F−2も、制御装置50のデコーダによって予めRGB形式に変換される。
Next, a case where the
IMG1F−2を取得した判定部16は、学習済みモデルを用いて、IMG1F−2中のIMG1Oが映し出した所定のオブジェクトの種類を判定する。具体的には判定部16は、学習済みモデルを用いて、IMG1F−2中のIMG1O−3に、所定のオブジェクトとして人、つまり1種類の対象オブジェクトが写し出されていることを判定する。また判定部16は、IMG1F−2中のIMG1UIに、所定のオブジェクトとしてUI、つまりIMG1O−3の対象オブジェクトと異なる1種類の対象オブジェクトが写し出されていることを判定する。
The
次に、判定部16からIMG1F−2中に計2種類(人、UI)の対象オブジェクトが映し出されている旨の判定結果を取得した画像解析部11は、IMG1F−2を解析してIMG1O−3およびIMG1UIの占有割合を算出する。
Next, the image analysis unit 11 which has acquired the determination result that a total of two types (people, UI) of the target objects are projected in the IMG1F-2 from the
次に、画像解析部11から算出結果を取得した補正部14は、算出結果に応じて色補正度Cを設定する。IMG1F−1に対するIMG1O−3の占有割合は相対的にさほど高くないことから、補正部14は、IMG1O−3の色補正度C3を「0.5」に設定する。一方、IMG1F−1に対するIMG1UIの占有割合は相対的に高いことから、補正部14は、IMG1UIの色補正度C4を「1」に設定する。次に、色補正度C3およびC4を設定した補正部14は、記憶部90からIMG1O−3に対応した3DLUTとIMG1UIに対応した3DLUTとを呼び出す。
Next, the
そして補正部14は、IMG1O−3に対応する出力画像に対しては、色補正度C3(=0.5)に応じた中程度の度合いで3DLUTを適用して色補正を行う。また補正部14は、IMG1UIに対応する出力画像に対しては、色補正度C4(=1)に応じた最も高い度合いで3DLUTを適用して色補正を行う。
Then, the
なお補正部14は、色補正後のIMG2に対して、例えば色温度補正用の1DLUTを適用して色温度補正を行ってもよい。
The
〔ソフトウェアによる実現例〕
制御装置10の制御ブロック(特に画像解析部11、階調値算出部12、強調度算出部13、補正部14およびBL制御部15)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
[Example of realization by software]
The control block of the control device 10 (particularly the image analysis unit 11, the gradation
後者の場合、制御装置10は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、前記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、前記コンピュータにおいて、前記プロセッサが前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。 In the latter case, the control device 10 includes a computer that executes instructions of a program that is software that realizes each function. The computer includes, for example, at least one processor (control device) and at least one computer-readable recording medium that stores the program. Then, in the computer, the object of the present invention is achieved by the processor reading the program from the recording medium and executing the program.
前記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。前記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、前記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して前記コンピュータに供給されてもよい。なお、本発明の一態様は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。 As the processor, for example, a CPU (Central Processing Unit) can be used. As the recording medium, a "non-temporary tangible medium", for example, a ROM (Read Only Memory) or the like, a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used. Further, a RAM (Random Access Memory) for expanding the program may be further provided. Further, the program may be supplied to the computer via an arbitrary transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program. It should be noted that one aspect of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.
〔まとめ〕
本発明の態様1に係る制御装置(10、20、30、40、50)は、表示パネル(80)を有する表示装置(1、2、3、4、5)を制御する、入力画像(IMG1)を補正して出力画像(IMG2)を生成することが可能な制御装置であって、前記入力画像を解析することにより、前記入力画像を構成する複数の入力画素の階調値である入力階調値(x)の分布を示すヒストグラム(HIST1、HIST2)を取得して、前記入力階調値の最大値である最大階調値(xmax)と前記ヒストグラムの重心の前記入力階調値である重心階調値(xv)とを算出する第1算出部(画像解析部11、階調値算出部12)と、前記最大階調値と前記重心階調値とを用いて、前記入力画像における前記入力階調値が他の領域よりも大きい入力側高階調領域が前記出力画像において強調されるように、前記入力画像を補正するときの強調の度合いを示す強調度(E)を算出する第2算出部(強調度算出部13)と、(i)前記入力階調値と、前記出力画像を構成する複数の出力画素の階調値である出力階調値(y)と、の対応関係を示す階調変化特性について、前記強調度に応じた前記階調変化特性である特殊階調変化特性(CV1、CV2、CV3、CV4)を生成し、当該特殊階調変化特性を用いて前記複数の入力画素の前記入力階調値を補正することにより前記出力画像を生成し、かつ、(ii)前記強調度に応じて、前記表示パネルに配列された複数の表示素子の輝度値(BL輝度値L)を設定する処理部(補正部14、BL制御部15)と、を備えている。
〔summary〕
The control device (10, 20, 30, 40, 50) according to the first aspect of the present invention controls an input image (IMG1) that controls a display device (1, 2, 3, 4, 5) having a display panel (80). ) Is corrected to generate an output image (IMG2), and the input floor is a gradation value of a plurality of input pixels constituting the input image by analyzing the input image. A histogram (HIST1, HIST2) showing the distribution of the adjustment value (x) is acquired, and the maximum gradation value (xmax) which is the maximum value of the input gradation value and the input gradation value of the center of gravity of the histogram are obtained. In the input image, the first calculation unit (image analysis unit 11, gradation value calculation unit 12) for calculating the center of gravity gradation value (xv), the maximum gradation value, and the center of gravity gradation value are used. A th-th. 2 Correspondence between the calculation unit (emphasis calculation unit 13) and (i) the input gradation value and the output gradation value (y) which is the gradation value of a plurality of output pixels constituting the output image. With respect to the gradation change characteristic indicating the above, special gradation change characteristics (CV1, CV2, CV3, CV4) which are the gradation change characteristics according to the emphasis are generated, and the plurality of the special gradation change characteristics are used. The output image is generated by correcting the input gradation value of the input pixel of the above, and (ii) the brightness value (BL brightness) of a plurality of display elements arranged on the display panel according to the emphasis degree. It includes a processing unit (
前記構成によれば、処理部は、強調度に応じて生成された特殊階調変化特性を用いて入力画像を補正することにより、出力画像を生成する。また処理部は、複数の表示素子の輝度値を強調度に応じて設定する。よって制御装置は、入力側高階調領域の強調度を、特殊階調変化特性による入力画像の補正および複数の表示素子の輝度値の強調度に応じた設定によって調整できる。 According to the above configuration, the processing unit generates an output image by correcting the input image using the special gradation change characteristic generated according to the emphasis. Further, the processing unit sets the luminance values of the plurality of display elements according to the degree of emphasis. Therefore, the control device can adjust the emphasis of the high gradation region on the input side by correcting the input image by the special gradation change characteristic and setting according to the enhancement of the luminance values of the plurality of display elements.
そのため、入力側高階調領域の強調度が高い場合、例えば処理部が、複数の表示素子の輝度値を高く設定することで出力画像中の入力側高階調領域に対応する領域を強調して表示でき、表示装置の高輝度化・高コントラスト化を図ることができる。またこの場合、処理部が、特殊階調変化特性を用いた入力画像の補正によって出力画像の出力階調値を小さくすることで表示装置の消費電力・発熱を低減することができる。 Therefore, when the emphasis of the input-side high-gradation region is high, for example, the processing unit emphasizes and displays the region corresponding to the input-side high-gradation region in the output image by setting the luminance values of the plurality of display elements to be high. This makes it possible to increase the brightness and contrast of the display device. Further, in this case, the processing unit can reduce the output gradation value of the output image by correcting the input image using the special gradation change characteristic, so that the power consumption and heat generation of the display device can be reduced.
一方、入力側高階調領域の強調度が低い場合、例えば処理部が、複数の表示素子の輝度値を低く設定することで表示装置の消費電力・発熱を低減することができる。またこの場合、処理部が、特殊階調変化特性を用いた入力画像の補正によって出力画像の出力階調値を大きくすることで表示装置全体の輝度感を維持することができる。 On the other hand, when the emphasis of the high gradation region on the input side is low, for example, the processing unit can reduce the power consumption and heat generation of the display device by setting the brightness values of the plurality of display elements to be low. Further, in this case, the processing unit can maintain the luminance feeling of the entire display device by increasing the output gradation value of the output image by correcting the input image using the special gradation change characteristic.
本発明の態様2に係る制御装置(10)は、前記態様1において、前記強調度は、前記最大階調値が大きくなるほど、または、前記重心階調値が小さくなるほど、より高くなり、前記処理部は、前記強調度が高くなるほど、前記特殊階調変化特性として、前記入力側高階調領域に含まれる各入力画素の前記入力階調値に比べて、前記出力画像における前記入力側高階調領域に対応する出力側高階調領域に含まれる、各出力画素の前記出力階調値を一律により大きくするとともに、前記入力側高階調領域以外の領域に含まれる各入力画素の前記入力階調値に比べて、前記出力画像における前記出力側高階調領域以外の領域に含まれる、各出力画素の前記出力階調値をより小さくすることで、すべての前記入力階調値の積算階調値とすべての前記出力階調値の積算階調値とが同一になるように、前記入力画像を補正する第1特殊階調変化特性(CV1)を生成し、かつ、前記複数の表示素子の前記輝度値をより大きく設定してもよい。 In the control device (10) according to the second aspect of the present invention, in the first aspect, the emphasis becomes higher as the maximum gradation value becomes larger or the center of gravity gradation value becomes smaller. As the emphasis level increases, the special gradation change characteristic of the unit is that the input side high gradation region in the output image is compared with the input gradation value of each input pixel included in the input side high gradation region. The output gradation value of each output pixel included in the output-side high-gradation region corresponding to is uniformly increased, and the input gradation value of each input pixel included in the region other than the input-side high-gradation region is set to. By comparing, by making the output gradation value of each output pixel included in the region other than the output side high gradation region in the output image smaller, the integrated gradation value of all the input gradation values and all The first special gradation change characteristic (CV1) that corrects the input image is generated so that the integrated gradation value of the output gradation value of the above is the same, and the brightness value of the plurality of display elements. May be set larger.
前記構成によれば、強調度が高くなるほど入力画像における入力側高階調領域と他の領域とのコントラストが高くなる。つまり、強調度が高くなるほど表示装置の高輝度化・高コントラスト化の要請が高まる。よって制御装置は、強調度が高くなるほど出力側高階調領域に含まれる各出力画素の出力階調値を一律により大きくすることで、表示装置の高輝度化・高コントラスト化をより効果的に実現することができる。また制御装置は、強調度が高くなるほど複数の表示素子の輝度値をより大きく設定することでも、表示装置の高輝度化・高コントラスト化をより効果的に実現することができる。 According to the above configuration, the higher the emphasis is, the higher the contrast between the input side high gradation region and the other region in the input image. That is, the higher the emphasis, the higher the demand for higher brightness and higher contrast of the display device. Therefore, the control device more effectively realizes high brightness and high contrast of the display device by uniformly increasing the output gradation value of each output pixel included in the output side high gradation region as the emphasis level increases. can do. Further, the control device can more effectively realize high brightness and high contrast of the display device by setting the brightness values of the plurality of display elements to be larger as the emphasis level is higher.
また前記構成によれば、制御装置は、強調度が高くなるほど出力側高階調領域以外の領域に含まれる各出力画素の出力階調値をより小さくすることで、表示装置の消費電力・発熱を低減することができる。また制御装置は、第1特殊階調変化特性を用いて、すべての入力階調値の積算値とすべての出力階調値の積算値とが同一になるように入力画像を補正する。よって、表示パネルに表示された出力画像をユーザが視認したときに、ユーザに対して出力画像の見た目の輝度値が入力画像の輝度値と変わらないように感じさせることができる。 Further, according to the above configuration, the control device reduces the output gradation value of each output pixel included in the region other than the output side high gradation region as the emphasis is increased, thereby reducing the power consumption and heat generation of the display device. Can be reduced. Further, the control device uses the first special gradation change characteristic to correct the input image so that the integrated values of all the input gradation values and the integrated values of all the output gradation values are the same. Therefore, when the user visually recognizes the output image displayed on the display panel, the user can feel that the apparent luminance value of the output image is the same as the luminance value of the input image.
さらに前記構成によれば、1フレーム前の強調度が相対的に低かった場合において、次の1フレームの強調度が相対的に高くなっても、強調度に応じて複数の表示素子の輝度値を大きくする設定するだけで出力側高階調領域を強調できる。よって、制御装置は、強調度の急な上昇にも即応して出力側高階調領域を強調することができる。 Further, according to the above configuration, when the emphasis of one frame is relatively low, even if the emphasis of the next one frame is relatively high, the brightness values of the plurality of display elements are increased according to the emphasis. The high gradation area on the output side can be emphasized simply by setting to increase. Therefore, the control device can emphasize the high gradation region on the output side in response to a sudden increase in the emphasis.
本発明の態様3に係る制御装置は、前記態様1または2において、前記強調度は、前記最大階調値が小さくなるほど、または、前記重心階調値が大きくなるほど、より低くなり、前記処理部は、前記強調度が低くなるほど、前記特殊階調変化特性として、前記入力側高階調領域に含まれる各入力画素の前記入力階調値に比べて、前記出力画像(IMG2B)における前記入力側高階調領域に対応する出力側高階調領域に含まれる、各出力画素の前記出力階調値の方がより大きくなるように前記入力画像を補正する第2特殊階調変化特性(CV2)を生成し、かつ、前記複数の表示素子の前記輝度値をより小さく設定してもよい。 In the control device according to the third aspect of the present invention, in the first or second aspect, the emphasis becomes lower as the maximum gradation value becomes smaller or the center of gravity gradation value becomes larger. As the special gradation change characteristic, the lower the emphasis is, the higher the input side in the output image (IMG2B) is compared with the input gradation value of each input pixel included in the input side high gradation region. A second special gradation change characteristic (CV2) that corrects the input image so that the output gradation value of each output pixel included in the output side high gradation region corresponding to the adjustment region is larger is generated. Moreover, the brightness values of the plurality of display elements may be set smaller.
前記構成によれば、強調度が低くなるほど入力画像における入力側高階調領域と他の領域とのコントラストが低くなる。つまり、強調度が低くなるほど表示装置の高輝度化・高コントラスト化の要請が低くなる。よって制御装置は、強調度が低くなるほど複数の表示素子の輝度値をより小さく設定することで、表示装置の高輝度化・高コントラスト化の要請が高くない場面では、無駄な高輝度化による電力の浪費、ひいては電力の浪費に起因する表示装置の発熱を低減できる。また制御装置は、強調度が低くなるほど出力画像の出力階調値をより大きくすることで、表示装置全体の輝度感を維持することができる。 According to the above configuration, the lower the emphasis is, the lower the contrast between the input side high gradation region and the other region in the input image. That is, the lower the emphasis, the lower the demand for higher brightness and higher contrast of the display device. Therefore, the control device sets the brightness values of the plurality of display elements to be smaller as the emphasis level is lower. It is possible to reduce the heat generation of the display device due to the waste of electricity and the waste of electric power. Further, the control device can maintain the brightness feeling of the entire display device by increasing the output gradation value of the output image as the emphasis degree is lowered.
本発明の態様4に係る制御装置(20)は、前記態様1から3のいずれかにおいて、前記処理部は、前記複数の表示素子の前記輝度値を積算した積算輝度値が、前記表示パネルで設定可能な前記積算輝度値の最大値である第1最大設定値以下、または、前記複数の表示素子の前記輝度値の最大値である最大輝度値(1−3)が、前記表示パネルで設定可能な前記複数の表示素子の前記輝度値の最大値である第2最大設定値(L−4)以下のいずれかの場合には、前記強調度に応じて前記最大輝度値を大きくした伸張最大輝度値(Lmax−1)を設定してもよい。 In the control device (20) according to the fourth aspect of the present invention, in any one of the first to third aspects, the processing unit displays the integrated luminance value obtained by integrating the luminance values of the plurality of display elements on the display panel. The maximum luminance value (1-3), which is equal to or less than the first maximum set value which is the maximum value of the integrated luminance value that can be set, or the maximum value of the luminance values of the plurality of display elements, is set on the display panel. In any case of the second maximum set value (L-4) or less, which is the maximum value of the luminance values of the plurality of display elements, the maximum elongation value is increased according to the emphasis degree. The brightness value (Lmax-1) may be set.
前記構成によれば、制御装置は、積算輝度値が第1最大設定値以下かつ最大輝度値が第2最大設定値以下の場合に伸張最大輝度値を設定することにより、出力画像における入力画像の入力側高階調領域に対応する領域を、表示パネルに強調して表示させることができる。 According to the above configuration, the control device sets the extended maximum luminance value when the integrated luminance value is equal to or less than the first maximum set value and the maximum luminance value is equal to or less than the second maximum set value, so that the input image in the output image The area corresponding to the high gradation area on the input side can be highlighted and displayed on the display panel.
本発明の態様5に係る制御装置(30)は、前記態様1から4のいずれかにおいて、前記処理部は、前記複数の表示素子の前記輝度値を積算した積算輝度値が、前記表示パネルで設定可能な前記積算輝度値の最小値である最小設定値以下の場合には、前記複数の表示素子の前記輝度値を大きくした伸張輝度値(Lmax−2)を設定してもよい。 In the control device (30) according to the fifth aspect of the present invention, in any one of the first to fourth aspects, the processing unit displays the integrated luminance value obtained by integrating the luminance values of the plurality of display elements on the display panel. When it is equal to or less than the minimum set value which is the minimum value of the integrated luminance value that can be set, the extended luminance value (Lmax-2) in which the luminance values of the plurality of display elements are increased may be set.
前記構成によれば、制御装置は、積算輝度値が最小設定値以下の場合に、複数の表示素子のそれぞれについて伸張輝度値を設定することにより、出力画像における入力画像の入力側高階調領域に対応する領域を、表示パネルに強調して表示させることができる。 According to the above configuration, when the integrated luminance value is equal to or less than the minimum set value, the control apparatus sets the stretched luminance value for each of the plurality of display elements to set the input side high gradation region of the input image in the output image. The corresponding area can be highlighted on the display panel.
本発明の態様6に係る制御装置は、前記態様5のいずれかにおいて、前記処理部は、前記積算輝度値が前記最小設定値以下の場合には、前記表示装置の周囲の照度に応じて前記伸張輝度値を設定してもよい。 In any of the fifth aspects of the control device according to the sixth aspect of the present invention, when the integrated luminance value is equal to or less than the minimum set value, the processing unit may use the control device according to the illuminance around the display device. The stretched luminance value may be set.
前記構成によれば、制御装置は、積算輝度値が最小設定値以下の場合でも、表示装置の周囲の照度によっては伸張輝度値を設定しないことができる。あるいは、制御装置は、表示装置の周囲の照度によって伸張輝度値の大きさを適宜調整することができる。よって、制御装置は、出力画像における入力画像の入力側高階調領域に対応する領域を、表示装置の周囲の照度に応じた適切な強調の度合いで表示させることができる。 According to the above configuration, the control device can not set the extended luminance value depending on the illuminance around the display device even when the integrated luminance value is equal to or less than the minimum set value. Alternatively, the control device can appropriately adjust the magnitude of the stretched luminance value according to the illuminance around the display device. Therefore, the control device can display the region corresponding to the input side high gradation region of the input image in the output image with an appropriate degree of enhancement according to the illuminance around the display device.
本発明の態様7に係る制御装置(40)は、前記態様1から6のいずれかにおいて、前記処理部は、前記入力画像(IMG1E−2)に対する前記入力側高階調領域の占有割合が高くなるほど、前記特殊階調変化特性として、前記出力画像(IMG2E−2)における前記入力側高階調領域に対応する出力側高階調領域に含まれる、各出力画素の前記出力階調値を一律により大きくするとともに、前記出力画像における前記出力側高階調領域以外の領域に含まれる、各出力画素の前記出力階調値の傾きを大きくすることで、前記入力階調値の積算階調値分布よりも前記出力階調値の積算階調値分布の方が相対的に均一になるような第3特殊階調変化特性(CV3)を生成し、前記入力階調値が他の領域よりも小さい入力側低階調領域について、前記入力画像(IMG1E−1)に対する前記入力側低階調領域の占有割合が高くなるほど、前記特殊階調変化特性として、前記出力画像(IMG2E−1)における前記入力側低階調領域に対応する出力側低階調領域に含まれる、各出力画素の前記出力階調値がより大きくなるような第4特殊階調変化特性(CV4)を生成してもよい。 In the control device (40) according to the seventh aspect of the present invention, in any one of the first to sixth aspects, the processing unit increases the occupancy ratio of the input side high gradation region with respect to the input image (IMG1E-2). As the special gradation change characteristic, the output gradation value of each output pixel included in the output side high gradation region corresponding to the input side high gradation region in the output image (IMG2E-2) is uniformly increased. At the same time, by increasing the inclination of the output gradation value of each output pixel included in the region other than the output side high gradation region in the output image, the input gradation value is more than the integrated gradation value distribution. The third special gradation change characteristic (CV3) is generated so that the integrated gradation value distribution of the output gradation value is relatively uniform, and the input gradation value is smaller than that of other regions. Regarding the gradation region, the higher the occupancy ratio of the input side low gradation region with respect to the input image (IMG1E-1), the higher the input side lower floor in the output image (IMG2E-1) as the special gradation change characteristic. The fourth special gradation change characteristic (CV4) included in the output side low gradation region corresponding to the adjustment region may be generated so that the output gradation value of each output pixel becomes larger.
入力画像に対する入力側高階調領域の占有割合が高くなるほど、表示装置の高輝度化・高コントラスト化の要請が高まる。その点前記構成によれば、前記占有割合が高くなるほど、第3特殊階調変化特性を用いて出力側高階調領域に含まれる各出力画素の出力階調値を一律により大きくすることで、表示装置の高輝度化・高コントラスト化をより効果的に実現することができる。また制御装置は、第3特殊階調変化特性を用いて、入力階調値の積算階調値分布よりも出力階調値の積算階調値分布の方が相対的に均一になるように入力画像を補正する。よって、表示パネルに表示された出力画像をユーザが視認したときに、ユーザに対して出力画像の見た目の輝度値が入力画像の輝度値と変わらないように感じさせることができる。 The higher the ratio of the high gradation region on the input side to the input image, the higher the demand for higher brightness and higher contrast of the display device. In that respect, according to the above configuration, as the occupancy ratio becomes higher, the output gradation value of each output pixel included in the output side high gradation region is uniformly increased by using the third special gradation change characteristic. It is possible to more effectively realize high brightness and high contrast of the device. Further, the control device uses the third special gradation change characteristic to input so that the integrated gradation value distribution of the output gradation value is relatively uniform than the integrated gradation value distribution of the input gradation value. Correct the image. Therefore, when the user visually recognizes the output image displayed on the display panel, the user can feel that the apparent luminance value of the output image is the same as the luminance value of the input image.
一方、入力画像に対する入力側低階調領域の占有割合が高くなるほど、表示装置におけるコントラストの適正化の要請が高くなる。その点前記構成によれば、前記占有割合が高くなるほど、第4特殊階調変化特性を用いて出力側低階調領域に含まれる各出力画素の出力階調値を一律により大きくすることで、表示装置のコントラストの適正化を実現することができる。 On the other hand, the higher the occupancy ratio of the low gradation region on the input side with respect to the input image, the higher the demand for optimizing the contrast in the display device. In that respect, according to the above configuration, as the occupancy ratio becomes higher, the output gradation value of each output pixel included in the output side low gradation region is uniformly increased by using the fourth special gradation change characteristic. It is possible to optimize the contrast of the display device.
本発明の態様8に係る制御装置(50)は、前記態様1から7のいずれかにおいて、所定のオブジェクトと当該所定のオブジェクトが写った画像とを教師データとした機械学習により生成された学習済みモデルを用いて、前記入力画像(IMG1F−1、IMG1F−2)中のオブジェクト画像(IMG1O、IMG1UI)が映し出した前記所定のオブジェクトの種類を判定する判定部(16)をさらに備え、前記第1算出部(画像解析部11)は、前記判定部の判定結果に応じて前記入力画像を解析することにより、前記入力画像に対する前記オブジェクト画像の占有割合を算出し、前記処理部は、前記判定部の判定結果および前記第1算出部の算出結果に基づいて、前記オブジェクト画像を色補正するときの色補正の度合いを示す色補正度(C)を設定し、前記色補正度に応じて前記オブジェクト画像を色補正することにより前記出力画像を生成してもよい。 The control device (50) according to the eighth aspect of the present invention has been trained, in any one of the first to seventh aspects, generated by machine learning using a predetermined object and an image of the predetermined object as teacher data. Using the model, the first The calculation unit (image analysis unit 11) calculates the occupancy ratio of the object image with respect to the input image by analyzing the input image according to the determination result of the determination unit, and the processing unit is the determination unit. Based on the determination result of the above and the calculation result of the first calculation unit, a color correction degree (C) indicating the degree of color correction when the object image is color-corrected is set, and the object is set according to the color correction degree. The output image may be generated by color-correcting the image.
前記構成によれば、判定部によって、高い判定精度で入力画像中のオブジェクト画像が映し出した所定のオブジェクトの種類を判定することができる。また、制御装置は、入力画像に対するオブジェクト画像の占有割合および所定のオブジェクトの種類に応じてオブジェクト画像を適切に色補正することができる。 According to the above configuration, the determination unit can determine the type of a predetermined object on which the object image in the input image is projected with high determination accuracy. Further, the control device can appropriately color-correct the object image according to the occupancy ratio of the object image with respect to the input image and the type of the predetermined object.
本発明の態様9に係る表示装置(1、2、3、4、5)は、前記態様1から8のいずれかに係る制御装置(10、20、30、40、50)を備えている。前記構成によれば、本発明の態様1に係る制御装置と同様の効果を奏する表示装置を実現することができる。 The display device (1, 2, 3, 4, 5) according to the ninth aspect of the present invention includes the control device (10, 20, 30, 40, 50) according to any one of the first to eighth aspects. According to the above configuration, it is possible to realize a display device having the same effect as the control device according to the first aspect of the present invention.
本発明の態様10に係る制御方法は、表示パネル(80)を有する表示装置(1、2、3、4、5)を制御する、入力画像(IMG1)を補正して出力画像(IMG2)を生成することが可能な制御装置(10、20、30、40、50)の制御方法であって、前記入力画像を解析することにより、前記入力画像を構成する複数の入力画素の階調値である入力階調値(x)の分布を示すヒストグラム(HIST1、HIST2)を取得して、前記入力階調値の最大値である最大階調値(xmax)と前記ヒストグラムの重心の前記入力階調値である重心階調値(xv)とを算出する第1算出ステップ(S103、S104)と、前記第1算出ステップにて算出した前記最大階調値と前記重心階調値とを用いて、前記入力画像における前記入力階調値が他の領域よりも大きい入力側高階調領域が前記出力画像において強調されるように、前記入力画像を補正するときの強調の度合いを示す強調度(E)を算出する第2算出ステップ(S105)と、(i)前記入力階調値と、前記出力画像を構成する複数の出力画素の階調値である出力階調値(y)と、の対応関係を示す階調変化特性について、前記第2算出ステップにて算出した前記強調度に応じた前記階調変化特性である特殊階調変化特性(CV1、CV2、CV3、CV4)を生成し、当該特殊階調変化特性を用いて前記複数の入力画素の前記入力階調値を補正することにより前記出力画像を生成し、かつ、(ii)前記第2算出ステップにて算出した前記強調度に応じて、前記表示パネルに配列された複数の表示素子の輝度値(BL輝度値L)を設定する処理ステップ(S105、S106)と、を含んでいる。前記構成によれば、本発明の態様1に係る制御装置と同様の効果を奏する制御方法を実現することができる。 In the control method according to the tenth aspect of the present invention, the input image (IMG1) is corrected to control the display device (1, 2, 3, 4, 5) having the display panel (80), and the output image (IMG2) is obtained. It is a control method of a control device (10, 20, 30, 40, 50) that can be generated, and by analyzing the input image, the gradation values of a plurality of input pixels constituting the input image are used. A histogram (HIST1, HIST2) showing the distribution of a certain input gradation value (x) is acquired, and the maximum gradation value (xmax) which is the maximum value of the input gradation value and the input gradation of the center of gravity of the histogram are obtained. Using the first calculation step (S103, S104) for calculating the center of gravity gradation value (xv), which is a value, and the maximum gradation value and the center of gravity gradation value calculated in the first calculation step, Emphasis (E) indicating the degree of enhancement when the input image is corrected so that the input side high gradation region in which the input gradation value in the input image is larger than the other regions is emphasized in the output image. Correspondence between the second calculation step (S105) for calculating the above, and (i) the input gradation value and the output gradation value (y) which is the gradation value of a plurality of output pixels constituting the output image. With respect to the gradation change characteristic indicating the above, special gradation change characteristics (CV1, CV2, CV3, CV4) which are the gradation change characteristics according to the emphasis calculated in the second calculation step are generated, and the special The output image is generated by correcting the input gradation values of the plurality of input pixels using the gradation change characteristic, and (ii) according to the emphasis calculated in the second calculation step. A processing step (S105, S106) for setting a brightness value (BL brightness value L) of a plurality of display elements arranged on the display panel is included. According to the above configuration, it is possible to realize a control method having the same effect as the control device according to the first aspect of the present invention.
本発明の各態様に係る制御装置は、コンピュータによって実現してもよい。この場合には、コンピュータを前記装置が備える各部(ソフトウェア要素)として動作させることにより前記制御装置をコンピュータにて実現させる制御装置の制御プログラムも、本発明の範疇に入る。また、前記制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The control device according to each aspect of the present invention may be realized by a computer. In this case, the control program of the control device that realizes the control device by the computer by operating the computer as each part (software element) included in the device also falls within the scope of the present invention. A computer-readable recording medium on which the control program is recorded also falls within the scope of the present invention.
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
[Additional notes]
The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims, and the embodiments obtained by appropriately combining the technical means disclosed in the different embodiments. Is also included in the technical scope of the present invention. Furthermore, new technical features can be formed by combining the technical means disclosed in each embodiment.
1、2、3、4、5 表示装置
10、20、30、40、50 制御装置
11 画像解析部(「第1算出部」の一部)
12 階調値算出部(「第1算出部」の一部)
13 強調度算出部(第2算出部)
14 補正部(処理部)
15 BL制御部(処理部)
16 判定部
17 アプリ実行部
18 RGB/照度センサ
80 表示パネル
C 色補正度
CV1 トーンカーブ(第1特殊階調変化特性)
CV2 トーンカーブ(第2特殊階調変化特性)
CV3 トーンカーブ(第3特殊階調変化特性)
CV4 トーンカーブ(第4特殊階調変化特性)
E 強調度
HIST1、HIST2 ヒストグラム
IMG1、IMG1A、IMG1B、IMG1E−1、IMG1E−2、IMG1F−1、IMG1F−2 入力画像
IMG2、IMG2B、IMG2C、IMG2C−1、IMG2D、IMG2D−1、IMG2E−1、IMG2E−2 出力画像
IMG1O、IMG1O−1、IMG1O−2、IMG1O−3、IMG1UI オブジェクト画像
L BL輝度値(輝度値)
L−3 最大輝度値
L−4 第2最大設定値
Lmax−1 伸張最大輝度値
Lmax−2 伸張輝度値
x 入力階調値
y 出力階調値
xmax 最大階調値
xv 重心階調値
1, 2, 3, 4, 5
12 Gradation value calculation unit (part of "1st calculation unit")
13 Emphasis calculation unit (second calculation unit)
14 Correction unit (processing unit)
15 BL control unit (processing unit)
16 Judgment unit 17
CV2 tone curve (second special gradation change characteristic)
CV3 tone curve (third special gradation change characteristic)
CV4 tone curve (4th special gradation change characteristic)
E Emphasis HIST1, HIST2 Histogram IMG1, IMG1A, IMG1B, IMG1E-1, IMG1E-2, IMG1F-1, IMG1F-2 Input images IMG2, IMG2B, IMG2C, IMG2C-1, IMG2D, IMG2D-1, IMG2E-1, IMG2E-2 output image IMG1O, IMG1O-1, IMG1O-2, IMG1O-3, IMG1UI Object image L BL luminance value (luminance value)
L-3 Maximum brightness value L-4 Second maximum setting value Lmax-1 Extended maximum brightness value Lmax-2 Extended brightness value x Input gradation value y Output gradation value xmax Maximum gradation value xv Center of gravity gradation value
Claims (11)
前記入力画像を解析することにより、前記入力画像を構成する複数の入力画素の階調値である入力階調値の分布を示すヒストグラムを取得して、前記入力階調値の最大値である最大階調値と前記ヒストグラムの重心の前記入力階調値である重心階調値とを算出する第1算出部と、
前記最大階調値と前記重心階調値とを用いて、前記入力画像における前記入力階調値が他の領域よりも大きい入力側高階調領域が前記出力画像において強調されるように、前記入力画像を補正するときの強調の度合いを示す強調度を算出する第2算出部と、
(i)前記入力階調値と、前記出力画像を構成する複数の出力画素の階調値である出力階調値と、の対応関係を示す階調変化特性について、前記強調度に応じた前記階調変化特性である特殊階調変化特性を生成し、当該特殊階調変化特性を用いて前記複数の入力画素の前記入力階調値を補正することにより前記出力画像を生成し、かつ、(ii)前記強調度に応じて、前記表示パネルに配列された複数の表示素子の輝度値を設定する処理部と、を備えた、制御装置。 A control device that controls a display device having a display panel and is capable of correcting an input image and generating an output image.
By analyzing the input image, a histogram showing the distribution of the input gradation value which is the gradation value of a plurality of input pixels constituting the input image is acquired, and the maximum value which is the maximum value of the input gradation value is obtained. A first calculation unit that calculates the gradation value and the center of gravity gradation value that is the input gradation value of the center of gravity of the histogram, and
Using the maximum gradation value and the center of gravity gradation value, the input is such that an input-side high gradation region in which the input gradation value in the input image is larger than other regions is emphasized in the output image. A second calculation unit that calculates the degree of emphasis, which indicates the degree of emphasis when correcting an image,
(I) The gradation change characteristic showing a correspondence relationship between the input gradation value and the output gradation value which is the gradation value of a plurality of output pixels constituting the output image is described according to the emphasis. The output image is generated by generating a special gradation change characteristic which is a gradation change characteristic and correcting the input gradation values of the plurality of input pixels by using the special gradation change characteristic, and ( ii) A control device including a processing unit that sets brightness values of a plurality of display elements arranged on the display panel according to the emphasis.
前記処理部は、前記強調度が高くなるほど、
前記特殊階調変化特性として、
前記入力側高階調領域に含まれる各入力画素の前記入力階調値に比べて、前記出力画像における前記入力側高階調領域に対応する出力側高階調領域に含まれる、各出力画素の前記出力階調値を一律により大きくするとともに、
前記入力側高階調領域以外の領域に含まれる各入力画素の前記入力階調値に比べて、前記出力画像における前記出力側高階調領域以外の領域に含まれる、各出力画素の前記出力階調値をより小さくすることで、すべての前記入力階調値の積算階調値とすべての前記出力階調値の積算階調値とが同一になるように、前記入力画像を補正する第1特殊階調変化特性を生成し、
かつ、前記複数の表示素子の前記輝度値をより大きく設定する、請求項1に記載の制御装置。 The emphasis becomes higher as the maximum gradation value becomes larger or as the center of gravity gradation value becomes smaller.
The higher the emphasis of the processing unit, the higher the emphasis.
As the special gradation change characteristic,
The output of each output pixel included in the output side high gradation region corresponding to the input side high gradation region in the output image as compared with the input gradation value of each input pixel included in the input side high gradation region. In addition to increasing the gradation value uniformly
The output gradation of each output pixel included in the region other than the output side high gradation region in the output image as compared with the input gradation value of each input pixel included in the region other than the input side high gradation region. The first special that corrects the input image so that the integrated gradation value of all the input gradation values and the integrated gradation value of all the output gradation values become the same by making the value smaller. Generates gradation change characteristics and
The control device according to claim 1, wherein the brightness values of the plurality of display elements are set larger.
前記処理部は、前記強調度が低くなるほど、
前記特殊階調変化特性として、前記入力側高階調領域に含まれる各入力画素の前記入力階調値に比べて、前記出力画像における前記入力側高階調領域に対応する出力側高階調領域に含まれる、各出力画素の前記出力階調値の方がより大きくなるように前記入力画像を補正する第2特殊階調変化特性を生成し、
かつ、前記複数の表示素子の前記輝度値をより小さく設定する、請求項1または2に記載の制御装置。 The emphasis becomes lower as the maximum gradation value becomes smaller or the center of gravity gradation value becomes larger.
In the processing unit, the lower the emphasis is, the more
As the special gradation change characteristic, it is included in the output side high gradation region corresponding to the input side high gradation region in the output image as compared with the input gradation value of each input pixel included in the input side high gradation region. A second special gradation change characteristic that corrects the input image so that the output gradation value of each output pixel becomes larger is generated.
The control device according to claim 1 or 2, wherein the brightness values of the plurality of display elements are set smaller.
前記入力画像に対する前記入力側高階調領域の占有割合が高くなるほど、前記特殊階調変化特性として、前記出力画像における前記入力側高階調領域に対応する出力側高階調領域に含まれる、各出力画素の前記出力階調値を一律により大きくするとともに、前記出力画像における前記出力側高階調領域以外の領域に含まれる、各出力画素の前記出力階調値の傾きを大きくすることで、前記入力階調値の積算階調値分布よりも前記出力階調値の積算階調値分布の方が相対的に均一になるような第3特殊階調変化特性を生成し、
前記入力階調値が他の領域よりも小さい入力側低階調領域について、前記入力画像に対する前記入力側低階調領域の占有割合が高くなるほど、前記特殊階調変化特性として、前記出力画像における前記入力側低階調領域に対応する出力側低階調領域に含まれる、各出力画素の前記出力階調値がより大きくなるような第4特殊階調変化特性を生成する、請求項1から6のいずれか1項に記載の制御装置。 The processing unit
The higher the occupancy ratio of the input side high gradation region with respect to the input image, the more each output pixel included in the output side high gradation region corresponding to the input side high gradation region in the output image as the special gradation change characteristic. By uniformly increasing the output gradation value of the above and increasing the slope of the output gradation value of each output pixel included in a region other than the output side high gradation region in the output image, the input floor A third special gradation change characteristic is generated so that the integrated gradation value distribution of the output gradation value is relatively more uniform than the integrated gradation value distribution of the adjustment value.
With respect to the input-side low-gradation region in which the input gradation value is smaller than the other regions, the higher the occupancy ratio of the input-side low-gradation region with respect to the input image, the higher the special gradation change characteristic in the output image. From claim 1, the fourth special gradation change characteristic, which is included in the output side low gradation region corresponding to the input side low gradation region, is generated so that the output gradation value of each output pixel becomes larger. The control device according to any one of 6.
前記第1算出部は、前記判定部の判定結果に応じて前記入力画像を解析することにより、前記入力画像に対する前記オブジェクト画像の占有割合を算出し、
前記処理部は、前記判定部の判定結果および前記第1算出部の算出結果に基づいて、前記オブジェクト画像を色補正するときの色補正の度合いを示す色補正度を設定し、前記色補正度に応じて前記オブジェクト画像を色補正することにより前記出力画像を生成する、請求項1から7のいずれか1項に記載の制御装置。 Using a trained model generated by machine learning using a predetermined object and an image showing the predetermined object as teacher data, the type of the predetermined object projected by the object image in the input image is determined. Equipped with a judgment unit
The first calculation unit calculates the occupancy ratio of the object image to the input image by analyzing the input image according to the determination result of the determination unit.
Based on the determination result of the determination unit and the calculation result of the first calculation unit, the processing unit sets a color correction degree indicating the degree of color correction when the object image is color-corrected, and the color correction degree The control device according to any one of claims 1 to 7, wherein the output image is generated by color-correcting the object image according to the above.
前記入力画像を解析することにより、前記入力画像を構成する複数の入力画素の階調値である入力階調値の分布を示すヒストグラムを取得して、前記入力階調値の最大値である最大階調値と前記ヒストグラムの重心の前記入力階調値である重心階調値とを算出する第1算出ステップと、
前記第1算出ステップにて算出した前記最大階調値と前記重心階調値とを用いて、前記入力画像における前記入力階調値が他の領域よりも大きい入力側高階調領域が前記出力画像において強調されるように、前記入力画像を補正するときの強調の度合いを示す強調度を算出する第2算出ステップと、
(i)前記入力階調値と、前記出力画像を構成する複数の出力画素の階調値である出力階調値と、の対応関係を示す階調変化特性について、前記第2算出ステップにて算出した前記強調度に応じた前記階調変化特性である特殊階調変化特性を生成し、当該特殊階調変化特性を用いて前記複数の入力画素の前記入力階調値を補正することにより前記出力画像を生成し、かつ、(ii)前記第2算出ステップにて算出した前記強調度に応じて、前記表示パネルに配列された複数の表示素子の輝度値を設定する処理ステップと、を含んだ、制御方法。 It is a control method of a control device that controls a display device having a display panel and can generate an output image by correcting an input image.
By analyzing the input image, a histogram showing the distribution of the input gradation value which is the gradation value of a plurality of input pixels constituting the input image is acquired, and the maximum value which is the maximum value of the input gradation value is obtained. The first calculation step of calculating the gradation value and the center of gravity gradation value which is the input gradation value of the center of gravity of the histogram, and
Using the maximum gradation value calculated in the first calculation step and the center of gravity gradation value, an input-side high gradation region in which the input gradation value in the input image is larger than other regions is the output image. In the second calculation step of calculating the degree of emphasis indicating the degree of emphasis when correcting the input image, as emphasized in
(I) In the second calculation step, the gradation change characteristic showing the correspondence relationship between the input gradation value and the output gradation value which is the gradation value of a plurality of output pixels constituting the output image is obtained. The special gradation change characteristic, which is the gradation change characteristic according to the calculated emphasis, is generated, and the input gradation value of the plurality of input pixels is corrected by using the special gradation change characteristic. A processing step of generating an output image and (ii) setting brightness values of a plurality of display elements arranged on the display panel according to the emphasis calculated in the second calculation step is included. But the control method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020046705A JP7341091B2 (en) | 2020-03-17 | 2020-03-17 | Control device, display device, control program and control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020046705A JP7341091B2 (en) | 2020-03-17 | 2020-03-17 | Control device, display device, control program and control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021148874A true JP2021148874A (en) | 2021-09-27 |
JP7341091B2 JP7341091B2 (en) | 2023-09-08 |
Family
ID=77848583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020046705A Active JP7341091B2 (en) | 2020-03-17 | 2020-03-17 | Control device, display device, control program and control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7341091B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023203883A1 (en) * | 2022-04-20 | 2023-10-26 | 株式会社Nttドコモ | Transmittance control device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5196731B2 (en) | 2006-04-20 | 2013-05-15 | キヤノン株式会社 | Image processing apparatus and image processing method |
JP2009272943A (en) | 2008-05-08 | 2009-11-19 | Sony Corp | Image processing device, image processing method, and program |
CN102768757B (en) | 2012-06-28 | 2015-01-07 | 北京市遥感信息研究所 | Remote sensing image color correcting method based on image type analysis |
JP6543442B2 (en) | 2014-07-30 | 2019-07-10 | ルネサスエレクトロニクス株式会社 | Image processing apparatus and image processing method |
-
2020
- 2020-03-17 JP JP2020046705A patent/JP7341091B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023203883A1 (en) * | 2022-04-20 | 2023-10-26 | 株式会社Nttドコモ | Transmittance control device |
Also Published As
Publication number | Publication date |
---|---|
JP7341091B2 (en) | 2023-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5508679B2 (en) | Low power drive apparatus and method | |
US20200105221A1 (en) | Color Rendering for Images in Extended Dynamic Range Mode | |
JP5654065B2 (en) | Video processing method and apparatus | |
US9396526B2 (en) | Method for improving image quality | |
US11335277B2 (en) | Method, apparatus, and device for adjusting backlight brightness based on human eye characteristics | |
JP2018026794A (en) | Image processing system, image projection device, and image processing method | |
WO2012105117A1 (en) | Video display device | |
JP5236622B2 (en) | Display device | |
US11551641B2 (en) | Display apparatus and display method | |
TWI462575B (en) | Image processing apparatus and image processing method | |
JP7341091B2 (en) | Control device, display device, control program and control method | |
JP2010271480A (en) | Display device | |
US8026926B2 (en) | Image display device and image display method | |
CN112419195A (en) | Image enhancement method based on nonlinear transformation | |
US10621903B2 (en) | Display device, image processing device, and method of image processing | |
JP2015215584A (en) | Control circuit and display device thereof | |
CN115050326B (en) | Adaptive visible dimming method for OLED (organic light emitting diode) under strong light | |
JP5249703B2 (en) | Display device | |
US10777167B2 (en) | Color image display adaptation to ambient light | |
CN115606189A (en) | Method and apparatus for rendering content for visual accessibility | |
JPWO2019138942A1 (en) | Display device, display method, and display control program | |
TWI819411B (en) | Image processing apparatus and image processing method for contrast enhancement | |
JP5174982B1 (en) | Video display device and television receiver | |
JP6479401B2 (en) | Display device, control method of display device, and control program | |
CN114694582A (en) | Automatic energy-saving method for screen by using dynamic pixel dimming and nonlinear equation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220921 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230829 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7341091 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |