JP7038684B2 - Image display device and image processing method - Google Patents

Image display device and image processing method Download PDF

Info

Publication number
JP7038684B2
JP7038684B2 JP2019141913A JP2019141913A JP7038684B2 JP 7038684 B2 JP7038684 B2 JP 7038684B2 JP 2019141913 A JP2019141913 A JP 2019141913A JP 2019141913 A JP2019141913 A JP 2019141913A JP 7038684 B2 JP7038684 B2 JP 7038684B2
Authority
JP
Japan
Prior art keywords
video data
unit
burn
correction
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019141913A
Other languages
Japanese (ja)
Other versions
JP2021026064A (en
Inventor
隆之 新井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TVS Regza Corp
Original Assignee
TVS Regza Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TVS Regza Corp filed Critical TVS Regza Corp
Priority to JP2019141913A priority Critical patent/JP7038684B2/en
Priority to PCT/CN2020/106294 priority patent/WO2021018293A1/en
Priority to CN202080004652.6A priority patent/CN112930564B/en
Publication of JP2021026064A publication Critical patent/JP2021026064A/en
Application granted granted Critical
Publication of JP7038684B2 publication Critical patent/JP7038684B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明の実施形態は、画像表示装置および画像処理方法に関する。 Embodiments of the present invention relate to an image display device and an image processing method.

ディスプレイ上の輝度差の大きい部分が長時間固定されて表示されることなどにより、焼き付きが生じる事が知られている。このような焼き付きを軽減させるために、焼き付きが発生しやすい画像を判定し、焼き付きが発生しやすい画像と判定された場合に、表示輝度を下げる技術が開示されている。 It is known that burn-in occurs when a portion having a large difference in brightness on a display is fixed for a long time and displayed. In order to reduce such burn-in, a technique is disclosed in which an image in which burn-in is likely to occur is determined, and when the image is determined in which burn-in is likely to occur, the display brightness is lowered.

特開2011-28149号公報Japanese Unexamined Patent Publication No. 2011-28149

しかし、従来技術によれば、焼き付きが発生しやすい画像を表示した場合の焼き付きが軽減される反面、表示輝度が低くなって見た目の印象が悪くなるという課題があった。 However, according to the prior art, there is a problem that the burn-in is reduced when an image in which burn-in is likely to occur is displayed, but the display brightness is lowered and the visual impression is deteriorated.

実施形態の画像表示装置は、各画素が少なくともRGBWの4色で構成されるディスプレイを用いた画像表示装置であって、映像データの焼き付きの発生の可能性を判断する判断部と、前記判断の結果に応じて、前記映像データの補正を行わない場合に比べ、表示時のWの発光量が大きく且つRGBの少なくとも1色の発光量が小さくなるように、前記映像データを補正する色補正部と、を備える。前記色補正部は、前記判断の結果に応じて計算され、焼き付きリスクが高いほど大きい色補正量を表す焼き付き補正ゲインと、前記映像データの補色に前記映像データの彩度が高いほど大きい彩度補正ゲインを乗算した乗算結果である補正量と、を乗算した乗算補正量を前記映像データに加算することによって、前記映像データを補正する。 The image display device of the embodiment is an image display device using a display in which each pixel is composed of at least four colors of RGBW, and is a determination unit for determining the possibility of burn-in of video data and the determination. Depending on the result, the color correction unit that corrects the video data so that the light emission amount of W at the time of display is large and the light emission amount of at least one color of RGB is smaller than that in the case where the image data is not corrected. And. The color correction unit is calculated according to the result of the determination, and has a seizure correction gain indicating a larger color correction amount as the seizure risk is higher, and a larger saturation as the color saturation of the video data is higher than that of the supplementary color of the video data. The video data is corrected by adding the correction amount, which is the multiplication result obtained by multiplying the correction gain, and the multiplication correction amount obtained by multiplying the correction gain to the video data.

図1は、実施形態に係る画像処理システムの一例を示す模式図である。FIG. 1 is a schematic diagram showing an example of an image processing system according to an embodiment. 図2は、実施形態に係る色補正部の構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of the configuration of the color correction unit according to the embodiment. 図3は、実施形態に係る映像データと出力画像の一例を示す模式図である。FIG. 3 is a schematic diagram showing an example of video data and an output image according to an embodiment. 図4は、実施形態に係る映像データと出力画像の一例を示す模式図である。FIG. 4 is a schematic diagram showing an example of video data and an output image according to an embodiment. 図5は、実施形態に係る画像処理の流れの一例を示すフローチャートである。FIG. 5 is a flowchart showing an example of the flow of image processing according to the embodiment. 図6は、実施形態に係る映像データと比較出力画像の一例を示す模式図である。FIG. 6 is a schematic diagram showing an example of video data and a comparative output image according to an embodiment. 図7は、変形例に係る画像表示装置の一例を示す模式図である。FIG. 7 is a schematic diagram showing an example of an image display device according to a modified example.

以下に添付図面を参照して、画像表示装置および画像処理方法を詳細に説明する。 The image display device and the image processing method will be described in detail with reference to the attached drawings.

(第1実施形態)
図1は、本実施形態の画像表示装置1の一例を示す模式図である。
(First Embodiment)
FIG. 1 is a schematic diagram showing an example of the image display device 1 of the present embodiment.

画像表示装置1は、画像処理部10と、表示部12と、を備える。画像処理部10で画像処理を行ったデータを表示部12に転送し、ディスプレイに表示を行う。 The image display device 1 includes an image processing unit 10 and a display unit 12. The data processed by the image processing unit 10 is transferred to the display unit 12 and displayed on the display.

画像処理部10には、図示しないチューナー部、HDMI(High-Definition Multimedia Interface)(登録商標)端子などから映像データ40が入力される。画像処理部10は、入力された映像データ40を画像処理した映像データ42を、表示部12へ出力する。 Video data 40 is input to the image processing unit 10 from a tuner unit (not shown), an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, or the like. The image processing unit 10 outputs the video data 42, which has been image-processed from the input video data 40, to the display unit 12.

画像処理部10は、画質調整部20と、焼き付き補正部22と、を備える。 The image processing unit 10 includes an image quality adjusting unit 20 and a burn-in correction unit 22.

画質調整部20は、入力される映像データ40に対して、ガンマ、色合い、明るさなどを調整する機能を有する。画質調整部20は、入力された映像データ40を調整した映像データ41を、焼き付き補正部22へ出力する。 The image quality adjusting unit 20 has a function of adjusting gamma, hue, brightness, and the like with respect to the input video data 40. The image quality adjusting unit 20 outputs the video data 41 adjusted with the input video data 40 to the burn-in correction unit 22.

焼き付き補正部22は、焼き付きリスクを軽減させるために、画質調整部20から入力された映像データ41を補正する。焼き付き補正部22は、特徴データ取得部24、焼き付きリスク計算部26、色補正量変換部28、および色補正部30を有する。 The burn-in correction unit 22 corrects the video data 41 input from the image quality adjustment unit 20 in order to reduce the risk of burn-in. The burn-in correction unit 22 includes a feature data acquisition unit 24, a burn-in risk calculation unit 26, a color correction amount conversion unit 28, and a color correction unit 30.

焼き付き補正部22、特徴データ取得部24、焼き付きリスク計算部26、色補正量変換部28、および色補正部30は、ハードウェアで実現してもよいし、ソフトウェアで実現してもよく、また、ハードウェアとソフトウェアを両方用いて実現してもよい。 The burn-in correction unit 22, the feature data acquisition unit 24, the burn-in risk calculation unit 26, the color correction amount conversion unit 28, and the color correction unit 30 may be realized by hardware, software, or the like. , May be realized using both hardware and software.

特徴データ取得部24は、映像データ41から焼き付きリスク計算に用いるための画像の特徴を表す特徴データを取得する。特徴データは、例えば、入力画像のAPL(Average Picture Level)や静止時間である。静止時間は、APLを使って計算を行う方法がある。例えば、APLが前のフレームの値と同じ、あるいは大きく異ならない場合、静止画と判定し、静止時間をカウントアップする。前のフレームの値と大きく異なる場合、静止画ではないと判定し、静止時間をリセットする。APLや静止時間の計算は画面全体とは限らない。 The feature data acquisition unit 24 acquires feature data representing the features of the image to be used for the burn-in risk calculation from the video data 41. The feature data is, for example, the APL (Average Picture Level) of the input image or the rest time. There is a method of calculating the rest time using APL. For example, if the APL is the same as or does not differ significantly from the value of the previous frame, it is determined as a still image and the still time is counted up. If it is significantly different from the value of the previous frame, it is determined that it is not a still image and the still time is reset. Calculation of APL and rest time is not limited to the entire screen.

焼き付きリスク計算部26は、映像データの焼き付きの発生の可能性を判断する。焼き付きの発生の可能性の判断とは、例えば、焼き付きの発生しやすさ、焼き付きの発生のしにくさ、発生率、などを判断することを示す。以下では、一例として、焼き付きの発生のしやすさを判断する形態を説明する。焼き付きリスク計算部26は、特徴データ取得部24から入力される特徴データに応じて、焼き付きリスクを計算、調整する。例えば、焼き付きリスク計算部26は、静止時間が短い場合には焼き付きリスクが低く、静止時間が長くなるにしたがって焼き付きリスクが高くなるようなデータ変換を行う。例えば、焼き付きリスクは、“0”~“1”の値によって表される。例えば、“0”に近い値であるほど焼き付きリスクが低く、“1”に近い値であるほど焼き付きリスクが高い。 The burn-in risk calculation unit 26 determines the possibility of burn-in of the video data. The determination of the possibility of seizure indicates, for example, the determination of the susceptibility to seizure, the difficulty of seizure, the occurrence rate, and the like. In the following, as an example, a form for determining the susceptibility to burn-in will be described. The burn-in risk calculation unit 26 calculates and adjusts the burn-in risk according to the feature data input from the feature data acquisition unit 24. For example, the burn-in risk calculation unit 26 performs data conversion so that the burn-in risk is low when the rest time is short and the burn-in risk is high as the rest time is long. For example, the burn-in risk is represented by a value of "0" to "1". For example, the closer the value is to "0", the lower the seizure risk, and the closer the value is to "1", the higher the seizure risk.

色補正量変換部28は、焼き付きリスク計算部26から入力される焼き付きリスクに応じて、色補正量を計算、調整する。例えば、色補正量は、“0”~“1”の値によって表される。例えば、“0”に近い値であるほど補正量が小さく、“1”に近い値であるほど補正量が大きい。なお、色補正量を、以下では、焼き付き補正ゲインと称して説明する場合がある(β=0~1)。 The color correction amount conversion unit 28 calculates and adjusts the color correction amount according to the burn-in risk input from the burn-in risk calculation unit 26. For example, the color correction amount is represented by a value of "0" to "1". For example, the closer the value is to "0", the smaller the correction amount, and the closer the value is to "1", the larger the correction amount. In the following, the color correction amount may be referred to as a burn-in correction gain (β = 0 to 1).

色補正部30は、色補正量変換部28から入力される色補正量に応じて、表示時のWの発光量が大きく且つRGBの少なくとも1色の発光量が小さくなるように、映像データ41を補正する。 The color correction unit 30 increases the light emission amount of W at the time of display and the light emission amount of at least one RGB color according to the color correction amount input from the color correction amount conversion unit 28, so that the video data 41 To correct.

表示部12は、ディスプレイ駆動部14と、ディスプレイ部16と、を備える。ディスプレイ部16は、画像を表示するディスプレイである。ディスプレイ部16は、例えば、有機EL(Organic Light Emitting Diode)ディスプレイ、液晶ディスプレイ、などである。 The display unit 12 includes a display drive unit 14 and a display unit 16. The display unit 16 is a display for displaying an image. The display unit 16 is, for example, an organic EL (Organic Light Emitting Diode) display, a liquid crystal display, or the like.

ディスプレイ駆動部14は、画像処理部10から入力される映像データ42に応じてディスプレイ部16を駆動するための電圧、電流に変換を行い、ディスプレイ部16を駆動する。 The display drive unit 14 converts the voltage and current for driving the display unit 16 according to the video data 42 input from the image processing unit 10, and drives the display unit 16.

色補正部30について、詳細に説明する。 The color correction unit 30 will be described in detail.

図2は、色補正部30の構成の一例を示すブロック図である。本実施形態では、色補正部30は、映像データ41の画素毎に、以下の処理を実行する。 FIG. 2 is a block diagram showing an example of the configuration of the color correction unit 30. In the present embodiment, the color correction unit 30 executes the following processing for each pixel of the video data 41.

色補正部30は、彩度計算部30Aと、ゲイン変換部30Bと、補色計算部30Cと、乗算部30Dと、乗算部30Eと、加算部30Fと、を備える。 The color correction unit 30 includes a saturation calculation unit 30A, a gain conversion unit 30B, a complementary color calculation unit 30C, a multiplication unit 30D, a multiplication unit 30E, and an addition unit 30F.

彩度計算部30Aは、映像データ41の各画素の彩度を計算する。彩度は、最大値(MAX(R,G,B))から最小値(MIN(R,G,B))を減算して求める方法があるが、これ以外の計算方法でも良い。(R,G,B)は、映像データ41の各画素の、Rの値(階調値)、Gの値(階調値、Bの値(階調値)を表す。 The saturation calculation unit 30A calculates the saturation of each pixel of the video data 41. The saturation can be obtained by subtracting the minimum value (MIN (R, G, B)) from the maximum value (MAX (R, G, B)), but other calculation methods may be used. (R, G, B) represents the value of R (gradation value) and the value of G (gradation value, value of B (gradation value)) of each pixel of the video data 41.

ゲイン変換部30Bは、彩度計算部30Aで計算された彩度に応じたゲイン値に変換する。例えば、ゲイン変換部30Bは、彩度が低いほど小さく、彩度が高いほど大きくなるような、ゲイン値に変換する。例えば、ゲイン値は、“0”~“1”の値によって表される(α=0~1)。例えば、“0”に近い値であるほどゲイン値が小さく、“1”に近い値であるほどゲイン値が大きい。なお、このゲイン値を、以下では、彩度補正ゲインと称して説明する場合がある。 The gain conversion unit 30B converts the gain value according to the saturation calculated by the saturation calculation unit 30A. For example, the gain conversion unit 30B converts the gain value so that the lower the saturation, the smaller the saturation, and the higher the saturation, the larger the gain value. For example, the gain value is represented by a value of "0" to "1" (α = 0 to 1). For example, the closer the value is to "0", the smaller the gain value, and the closer the value is to "1", the larger the gain value. In the following, this gain value may be referred to as a saturation correction gain.

補色計算部30Cは、映像データ41の各画素の補色を計算する。例えば、補色(R’,G’,B’)は、下記式(1)~式(3)によって表される。 The complementary color calculation unit 30C calculates the complementary color of each pixel of the video data 41. For example, complementary colors (R', G', B') are represented by the following equations (1) to (3).

R’=MAX(R,G,B)+MIN(R,G,B)-R ・・・式(1)
G’=MAX(R,G,B)+MIN(R,G,B)-G ・・・式(2)
B’=MAX(R,G,B)+MIN(R,G,B)-B ・・・式(3)
R'= MAX (R, G, B) + MIN (R, G, B) -R ... Equation (1)
G'= MAX (R, G, B) + MIN (R, G, B) -G ... Equation (2)
B'= MAX (R, G, B) + MIN (R, G, B) -B ... Equation (3)

乗算部30Dは、補色計算部30Cで計算された、補色(R’,G’,B’)に、ゲイン変換部30Bで変換された彩度補正ゲインα(0~1)を乗算する。この補正量は、(αR’,αG’,αB’)で表される。 The multiplication unit 30D multiplies the complementary colors (R', G', B') calculated by the complementary color calculation unit 30C by the saturation correction gain α (0 to 1) converted by the gain conversion unit 30B. This correction amount is represented by (αR', αG', αB').

乗算部30Eは、乗算部30Dから入力される補正量(αR’,αG’,αB’)と、色補正量変換部28から入力される焼き付きリスクに応じた焼き付き補正ゲイン(β)と、を乗算する。このため、乗算部30Eは、補正量(αβR’,αβG’,αβB’)を計算する。 The multiplication unit 30E has a correction amount (αR', αG', αB') input from the multiplication unit 30D and a burn-in correction gain (β) according to the burn-in risk input from the color correction amount conversion unit 28. Multiply. Therefore, the multiplication unit 30E calculates the correction amount (αβR', αβG', αβB').

加算部30Fは、乗算部30Eから入力される補正量(αβR’,αβG’,αβB’)を映像データ41に加算する。加算部30Fは、加算後の映像データ42(R+αβR’,G+αβG’,B+αβB’)を、表示部12へ出力する。なお、映像データ42が8ビットで0~255で表される場合、R+αβR’が255より大きい値となる場合がある。255より大きい値となる場合、255とすればよい。 The addition unit 30F adds the correction amount (αβR', αβG', αβB') input from the multiplication unit 30E to the video data 41. The addition unit 30F outputs the added video data 42 (R + αβR', G + αβG', B + αβB') to the display unit 12. When the video data 42 is 8-bit and is represented by 0 to 255, R + αβR'may have a value larger than 255. If the value is larger than 255, it may be 255.

また、上記に記載した、α、β、(R,G,B)の計算は一例であり、上記の計算方法に限定されない。 Further, the calculation of α, β, (R, G, B) described above is an example, and is not limited to the above calculation method.

表示部12のディスプレイ駆動部14には、画像処理部10によって補正された映像データ42が入力される。ディスプレイ駆動部14は、入力される映像データ42に対応する電圧値、電流値に変換を行い、ディスプレイ部16を駆動する。 The video data 42 corrected by the image processing unit 10 is input to the display driving unit 14 of the display unit 12. The display drive unit 14 converts the voltage value and the current value corresponding to the input video data 42, and drives the display unit 16.

ディスプレイ部16は、各画素が少なくともRGBWの4色で構成されるディスプレイである。このため、ディスプレイ駆動部14は、入力される映像データ42について、RGBをRGBWに変換し、ディスプレイ部16を駆動する。 The display unit 16 is a display in which each pixel is composed of at least four colors of RGBW. Therefore, the display drive unit 14 converts RGB into RGBW for the input video data 42 and drives the display unit 16.

ディスプレイ部16には、焼き付き補正部22で補正が行われた場合は、補正を行わない場合に比べ、Wの発光量が大きく、且つRGBの少なくとも1色の発光量が小さくなって表示される。 When the correction is performed by the burn-in correction unit 22, the display unit 16 displays that the light emission amount of W is larger and the light emission amount of at least one color of RGB is smaller than that when the correction is not performed. ..

RGBWの4画素からなるディスプレイにおいては、Wの発光効率に比べ、RGBの発光効率が低く、焼き付きが起こりやすい場合が多い。そのため、今回のように、Wの発光量が大きく、且つRGBの少なくとも1色の発光量が小さくなるように補正を行った場合、補正を行わない場合に比べて、焼き付きを低減することができる。 In a display composed of four pixels of RGBW, the luminous efficiency of RGB is lower than the luminous efficiency of W, and burn-in is likely to occur in many cases. Therefore, when the correction is performed so that the light emission amount of W is large and the light emission amount of at least one color of RGB is small as in this case, the burn-in can be reduced as compared with the case where the correction is not performed. ..

図3は、焼き付き補正部22で補正が行われた場合の例を示しており、入力画像を41A、出力画像を42Aとする。 FIG. 3 shows an example in which the burn-in correction unit 22 performs correction, and the input image is 41A and the output image is 42A.

例えば、入力画像41Aは全画素(R,G,B)=(192,192,0)で、焼き付き補正部22で、焼き付きリスクが補正を行う基準より高いと判断されて色補正が実施された場合、出力画像42Aは、例えば、各画素(R,G,B)=(192,192,64)のように補正される。Bの値は補正前より補正後の方が大きくなっていることから、輝度の低下は発生しない。 For example, the input image 41A has all pixels (R, G, B) = (192,192,0), and the burn-in correction unit 22 determines that the burn-in risk is higher than the correction standard, and color correction is performed. In this case, the output image 42A is corrected, for example, each pixel (R, G, B) = (192,192,64). Since the value of B is larger after the correction than before the correction, the brightness does not decrease.

ディスプレイ駆動部14にて、入力されるRGBを、RGBWに変換する場合、例えば以下のような式が用いられる。 When the input RGB is converted into RGBW by the display drive unit 14, for example, the following formula is used.

R=R-MIN(R,G,B) 式(4)
G=G-MIN(R,G,B) 式(5)
B=B-MIN(R,G,B) 式(6)
W=MIN(R,G,B) 式(7)
R = R-MIN (R, G, B) Equation (4)
G = G-MIN (R, G, B) Equation (5)
B = B-MIN (R, G, B) Equation (6)
W = MIN (R, G, B) Equation (7)

そのため、ディスプレイ駆動部14では、入力映像データが(R,G,B)=(192,192,0)だった場合、(R,G,B,W)=(192,192,0,0)に変換される。 Therefore, in the display drive unit 14, when the input video data is (R, G, B) = (192,192,0), (R, G, B, W) = (192,192,0,0). Is converted to.

また、ディスプレイ駆動部14の入力映像データが(R,G,B)=(192,192,64)だった場合、(R,G,B,W)=(128,128,0,64)に変換される。 Further, when the input video data of the display drive unit 14 is (R, G, B) = (192,192,64), (R, G, B, W) = (128,128,0,64). Will be converted.

このように、焼き付き補正部22で補正が行われた場合は、補正が行われていない場合に比べ、ディスプレイ駆動部14でRGBWに変換された後の値では、Wの値が大きく、RとGの値が小さくなるため、焼き付きが軽減される。 In this way, when the burn-in correction unit 22 corrects, the value of W after being converted to RGBW by the display drive unit 14 is larger than that of the case where the correction is not performed, and the value is R. Since the value of G becomes small, the burn-in is reduced.

図4は、入力画像を41Bとし、一例として焼き付き補正部22で補正が行われた場合の出力画像42Bを表している。 FIG. 4 shows an output image 42B when the input image is 41B and correction is performed by the burn-in correction unit 22 as an example.

例えば、入力画像41Bに、複数の領域(領域A、領域B、領域C)が含まれると想定する。領域Aは(R,G,B)=(128,128,128)であり、領域Bは(R,G,B)=(0,224,0)であり、領域Cは(R,G,B)=(16,192,192)であったと想定する。 For example, it is assumed that the input image 41B includes a plurality of regions (region A, region B, region C). Region A is (R, G, B) = (128,128,128), region B is (R, G, B) = (0,224,0), and region C is (R, G, B) = (16,192,192).

この場合、焼き付き補正部22が上記処理を実行することで、各領域(領域A、領域B、領域C)のRGBは、以下のように補正される。例えば、領域Aは(R,G,B)=(128,128,128)であり、領域Bは(R,G,B)=(32,224,32)であり、領域Cは(R,G,B)=(30,192,192)に補正される。 In this case, when the burn-in correction unit 22 executes the above processing, the RGB of each region (region A, region B, region C) is corrected as follows. For example, region A is (R, G, B) = (128,128,128), region B is (R, G, B) = (32,224,32), and region C is (R, 224,32). G, B) = (30,192,192) is corrected.

このように、補正後のデータは補正前の値に比べて大きくなっており、輝度は低下しない。また、RGBW変換後には、Wが増加して、RGBの少なくともどれか一つの値が小さくなるため、焼き付きリスクは減少する。 As described above, the corrected data is larger than the corrected value, and the brightness does not decrease. Further, after the RGBW conversion, W increases and at least one of RGB values becomes smaller, so that the risk of burn-in is reduced.

次に、本実施形態の画像処理部10が実行する画像処理の流れの一例を説明する。 Next, an example of the flow of image processing executed by the image processing unit 10 of the present embodiment will be described.

図5は、本実施形態の画像処理部10が実行する画像処理の流れの一例を示す、フローチャートである。 FIG. 5 is a flowchart showing an example of the flow of image processing executed by the image processing unit 10 of the present embodiment.

特徴データ取得部24は、映像データ41から焼き付きリスク計算に用いる特徴データを計算する(ステップS102)。焼き付きリスク計算部26は、ステップS102で計算された特徴データに応じて、焼き付きリスクを計算する(ステップS104))。色補正量変換部28は、ステップS104で計算された焼き付きリスクに応じて、焼き付き補正ゲイン(β)を計算、調整する(ステップS106)。 The feature data acquisition unit 24 calculates the feature data used for the burn-in risk calculation from the video data 41 (step S102). The burn-in risk calculation unit 26 calculates the burn-in risk according to the feature data calculated in step S102 (step S104). The color correction amount conversion unit 28 calculates and adjusts the burn-in correction gain (β) according to the burn-in risk calculated in step S104 (step S106).

彩度計算部30Aは、映像データ40の各画素の彩度を計算する(ステップS108)。ゲイン変換部30Bは、彩度計算部30Aで計算された彩度に応じた彩度補正ゲイン(α)に変換する(ステップS110)。補色計算部30Cは、映像データ41の各画素の補色(R’,G’,B’)を計算する(ステップS112)。 The saturation calculation unit 30A calculates the saturation of each pixel of the video data 40 (step S108). The gain conversion unit 30B converts the saturation correction gain (α) according to the saturation calculated by the saturation calculation unit 30A (step S110). The complementary color calculation unit 30C calculates the complementary colors (R', G', B') of each pixel of the video data 41 (step S112).

乗算部30Dは、ステップS112で計算された補色(R’,G’,B’)に、ステップS110で変換された彩度補正ゲイン(α)を乗算する(ステップS114)。 The multiplication unit 30D multiplies the complementary colors (R', G', B') calculated in step S112 by the saturation correction gain (α) converted in step S110 (step S114).

乗算部30Eは、ステップS114で計算された補正量(R’α,G’α,B’α)と、ステップS106で計算された焼き付き補正ゲイン(β)と、を乗算する(ステップS116)。 The multiplication unit 30E multiplies the correction amount (R'α, G'α, B'α) calculated in step S114 and the burn-in correction gain (β) calculated in step S106 (step S116).

加算部30Fは、ステップS114で計算された補正量(αβR’,αβG’,αβB’)を映像データ41に加算する(ステップS118)。そして、本ルーチンを終了する。 The addition unit 30F adds the correction amount (αβR', αβG', αβB') calculated in step S114 to the video data 41 (step S118). Then, this routine is terminated.

以上説明したように、本実施形態の画像表示装置1は、各画素が少なくともRGBWの4色で構成されるディスプレイ(ディスプレイ部16)を用いた画像表示装置1であって、映像データ41の焼き付きの発生の可能性を判断する判断部(焼き付きリスク計算部26)と、判断の結果に応じて、表示時のWの発光量が大きく且つRGBの少なくとも1色の発光量が小さくなるように、映像データ41を補正する色補正部30と、を備える。 As described above, the image display device 1 of the present embodiment is an image display device 1 using a display (display unit 16) in which each pixel is composed of at least four colors of RGBW, and the image data 41 is burned in. Judgment unit (burn-in risk calculation unit 26) that determines the possibility of occurrence of A color correction unit 30 for correcting the video data 41 is provided.

このため、本実施形態の画像表示装置1は、明るさを低下させることなく、焼き付きの発生リスクを軽減することができる。 Therefore, the image display device 1 of the present embodiment can reduce the risk of burn-in without reducing the brightness.

一方、従来では、焼き付き補正処理により表示輝度の低下が発生していた。 On the other hand, in the past, the display brightness was lowered due to the burn-in correction process.

図6は、従来の補正が行われた場合の例を示しており、入力画像を41A、出力画像を40Bとする。 FIG. 6 shows an example in the case where the conventional correction is performed, and the input image is 41A and the output image is 40B.

例えば、入力画像40Aは全画素(R,G,B)=(192,192,0)で、従来の焼き付き軽減のための補正処理が実施された場合、出力画像40Bは、(R,G,B)=(128,128,0)のように補正されていた。RGの値が補正前より小さくなっていることから輝度の低下が発生する。 For example, when the input image 40A has all pixels (R, G, B) = (192,192,0) and the conventional correction process for reducing burn-in is performed, the output image 40B is (R, G, B) = (128,128,0) was corrected. Since the value of RG is smaller than that before the correction, the brightness is lowered.

一方、本実施形態では、色補正部30は、焼き付きの発生しやすさの判断の結果に応じて、表示時のWの発光量が大きく且つRGBの少なくとも1色の発光量が小さくなるように、映像データ41を補正する。 On the other hand, in the present embodiment, the color correction unit 30 causes the light emission amount of W at the time of display to be large and the light emission amount of at least one color of RGB to be small according to the result of determination of the susceptibility to burn-in. , Correct the video data 41.

従って、本実施形態の画像表示装置1は、焼き付きの軽減と、これまで焼き付き補正時に発生していた明るさの低下の抑制と、を図ることができる。また、本実施形態の画像表示装置1は、明るさの低下がなく、自然な色補正を行うことができるため、映像データ42の見た目の印象の向上を図ることができる。 Therefore, the image display device 1 of the present embodiment can reduce the burn-in and suppress the decrease in the brightness that has been generated at the time of the burn-in correction. Further, since the image display device 1 of the present embodiment does not reduce the brightness and can perform natural color correction, it is possible to improve the visual impression of the video data 42.

なお、映像データ42を表示するディスプレイ部16の種類は、限定されない。なお、焼き付きの軽減および明るさの低下の抑制を効果的に図る観点から、R、G、またはBを一定時間駆動したときに発生する焼き付きリスクが、Wを一定時間駆動したときに発生する焼き付きリスクに比べて高い、OLEDディスプレイで有効である。 The type of the display unit 16 that displays the video data 42 is not limited. From the viewpoint of effectively reducing seizure and suppressing the decrease in brightness, the seizure risk that occurs when R, G, or B is driven for a certain period of time is the seizure that occurs when W is driven for a certain period of time. It is effective for OLED displays, which are high compared to the risk.

(第2実施形態)
図7は、本変形例の画像処理部10Aの一例を示す模式図である。なお、第1の実施形態と同じ機能部分には、同一の符号を付与して詳細な説明を省略する。
(Second Embodiment)
FIG. 7 is a schematic diagram showing an example of the image processing unit 10A of this modification. The same functional parts as those in the first embodiment are designated by the same reference numerals, and detailed description thereof will be omitted.

画像処理部10Aは、画質調整部20と、焼き付き補正部22Aと、備える。焼き付き補正部22Aは、特徴データ取得部24A、焼き付きリスク計算部26A、色補正量変換部28A、補間部29A、および色補正部31Aを有する。 The image processing unit 10A includes an image quality adjusting unit 20 and a burn-in correction unit 22A. The burn-in correction unit 22A includes a feature data acquisition unit 24A, a burn-in risk calculation unit 26A, a color correction amount conversion unit 28A, an interpolation unit 29A, and a color correction unit 31A.

焼き付き補正部22Aは、第1の実施形態の焼き付き補正部22と同様に、焼き付きリスクを軽減させるために映像データ41の補正を行う。 The burn-in correction unit 22A corrects the video data 41 in order to reduce the risk of burn-in, similarly to the burn-in correction unit 22 of the first embodiment.

本変形例では、焼き付き補正部22Aは、ブロック毎に計算された焼き付きリスクを用いる。ブロックとは、画面全体の一部、または画面全体および画面全体の一部を複数に分割した一つの領域である。 In this modification, the burn-in correction unit 22A uses the burn-in risk calculated for each block. A block is a part of the entire screen, or one area obtained by dividing the entire screen and a part of the entire screen into a plurality of parts.

特徴データ取得部24Aは、映像データ41のブロック毎に、特徴データを計算する。特徴データ取得部24Aは、映像データ41の画面全体に代えて、映像データ41のブロック毎に特徴データを計算する点以外は、特徴データ取得部24と同様にして特徴データを計算する。 The feature data acquisition unit 24A calculates the feature data for each block of the video data 41. The feature data acquisition unit 24A calculates the feature data in the same manner as the feature data acquisition unit 24, except that the feature data is calculated for each block of the video data 41 instead of the entire screen of the video data 41.

焼き付きリスク計算部26Aは、特徴データ取得部24Aから入力される特徴データに応じて焼き付きリスクを計算、調整する。 The burn-in risk calculation unit 26A calculates and adjusts the burn-in risk according to the feature data input from the feature data acquisition unit 24A.

補間部29Aは、隣接するブロック間、ブロック内の隣接する画素間の焼きつき補正量の差を予め定められた範囲内で補正する。具体的には、補間部29Aは、上記補正量の差Nが大きくなり過ぎないように、平滑化処理を行う。 The interpolation unit 29A corrects the difference in the amount of burn correction between adjacent blocks and between adjacent pixels in the block within a predetermined range. Specifically, the interpolation unit 29A performs smoothing processing so that the difference N of the correction amount does not become too large.

色補正部31Aは、補間部29Aから入力される焼き付き補正量を用いて、映像データ41を補正する。 The color correction unit 31A corrects the video data 41 by using the burn-in correction amount input from the interpolation unit 29A.

このように、焼き付き補正部22Aは、画面全体の一部、または画面全体および画面全体の一部を複数に分割したブロック毎に計算された焼き付きリスクを用いて、映像データ41を補正してもよい。 In this way, even if the burn-in correction unit 22A corrects the video data 41 by using the burn-in risk calculated for each block that divides a part of the entire screen or a part of the entire screen and a part of the screen into a plurality of blocks. good.

なお、焼き付き補正部22Aは、画面全体、画面内の特定領域、画面内の複数の特定領域、特定領域内を複数に分割したブロック毎、または、特定領域の画素毎に、焼き付きリスクを計算、調整すればよく、ブロック毎に限定されない。 The burn-in correction unit 22A calculates the burn-in risk for the entire screen, a specific area in the screen, a plurality of specific areas in the screen, each block divided into a plurality of specific areas, or each pixel in the specific area. It can be adjusted and is not limited to each block.

特徴データ取得部24Aは、画面全体、画面内の複数の特定領域、画面内の特定領域、特定領域内を複数に分割したブロック毎、または、特定領域の画素毎に、特徴データを計算すればよい。焼き付きリスク計算部26Aは、特徴データ取得部24Aから入力される特徴データに応じて焼き付きリスクを計算、調整すればよい。 If the feature data acquisition unit 24A calculates feature data for the entire screen, a plurality of specific areas in the screen, a specific area in the screen, each block divided into a plurality of specific areas, or for each pixel in the specific area. good. The burn-in risk calculation unit 26A may calculate and adjust the burn-in risk according to the feature data input from the feature data acquisition unit 24A.

また、色補正部31Aは、画面全体、画面内の複数の特定領域、画面内の特定領域、特定領域内を複数に分割したブロック毎、または、特定領域の画素単位毎に判断された焼き付きの発生しやすさに応じて、画素毎に、映像データ41を補正すればよい。なお、色補正部31Aは、画面全体、画面内の複数の特定領域、画面内の特定領域、特定領域内を複数に分割したブロック毎、または、特定領域の画素単位毎に、映像データ41を補正してもよい。 Further, the color correction unit 31A determines the burn-in for each block of the entire screen, a plurality of specific areas in the screen, a specific area in the screen, a plurality of blocks in the specific area, or a pixel unit of the specific area. The video data 41 may be corrected for each pixel according to the likelihood of occurrence. The color correction unit 31A generates video data 41 for the entire screen, a plurality of specific areas in the screen, a specific area in the screen, a block obtained by dividing the specific area into a plurality of blocks, or a pixel unit in the specific area. It may be corrected.

なお、上記には、本発明の実施形態および変形例を説明したが、上記実施形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態およびその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiments and modifications of the present invention have been described above, the embodiments and modifications are presented as examples and are not intended to limit the scope of the invention. This novel embodiment and modification can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. The above-described embodiments and variations thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

10、10A 画像処理部
22、22A 焼き付き補正部
30、31A 色補正部
40 映像データ
10, 10A Image processing unit 22, 22A Burn-in correction unit 30, 31A Color correction unit 40 Video data

Claims (5)

各画素が少なくともRGBWの4色で構成されるディスプレイを用いた画像表示装置であって、
映像データの焼き付きの発生の可能性を判断する判断部と、
前記判断の結果に応じて、前記映像データの補正を行わない場合に比べ、表示時のWの発光量が大きく且つRGBの少なくとも1色の発光量が小さくなるように、前記映像データを補正する色補正部と、
を備え、
前記色補正部は、
前記判断の結果に応じて計算され、焼き付きリスクが高いほど大きい色補正量を表す焼き付き補正ゲインと、前記映像データの補色に前記映像データの彩度が高いほど大きい彩度補正ゲインを乗算した乗算結果である補正量と、を乗算した乗算補正量を前記映像データに加算することによって、前記映像データを補正する、
画像表示装置。
An image display device using a display in which each pixel is composed of at least four colors of RGBW.
Judgment unit to judge the possibility of burn-in of video data,
According to the result of the determination, the video data is corrected so that the light emission amount of W at the time of display is large and the light emission amount of at least one color of RGB is small as compared with the case where the video data is not corrected. Color correction unit and
Equipped with
The color correction unit is
A multiplication of the seizure correction gain, which is calculated according to the result of the determination and represents a larger color correction amount as the seizure risk is higher, and the saturation correction gain, which is larger as the saturation of the video data is higher, by multiplying the complementary color of the video data. The video data is corrected by adding the multiplication correction amount obtained by multiplying the correction amount as a result to the video data.
Image display device.
前記判断部は、
画面全体、画面内の特定領域、画面内の複数の特定領域、前記特定領域内を複数に分割したブロック毎、または、前記特定領域の画素毎に、焼き付きの発生の可能性を判断する、
請求項1記載の画像表示装置。
The judgment unit
The possibility of burn-in is determined for the entire screen, a specific area in the screen, a plurality of specific areas in the screen, each block obtained by dividing the specific area into a plurality of blocks, or each pixel in the specific area.
The image display device according to claim 1.
前記色補正部は、
前記判断の結果に応じて、
画面全体、画面内の特定領域、画面内の複数の特定領域、前記特定領域内を複数に分割したブロック毎、または、前記特定領域の画素毎に、前記映像データを補正する、
請求項1または請求項2に記載の画像表示装置。
The color correction unit is
Depending on the result of the above judgment,
The video data is corrected for the entire screen, a specific area in the screen, a plurality of specific areas in the screen, each block obtained by dividing the specific area into a plurality of blocks, or each pixel in the specific area.
The image display device according to claim 1 or 2 .
前記色補正部は、
隣接する前記ブロック間または前記ブロック内の隣接する画素間の焼き付き補正量の差を予め定められた範囲内で補正する、
請求項に記載の画像表示装置。
The color correction unit is
The difference in the burn-in correction amount between the adjacent blocks or between the adjacent pixels in the block is corrected within a predetermined range.
The image display device according to claim 3 .
各画素が少なくともRGBWの4色で構成されるディスプレイを用いた画像表示装置で実行される画像処理方法であって、
映像データの焼き付きの発生の可能性を判断する判断ステップと、
前記判断の結果に応じて、前記映像データの補正を行わない場合に比べ、表示時のWの発光量が大きく且つRGBの少なくとも1色の発光量が小さくなるように、前記映像データを補正する色補正ステップと、
を含み、
前記色補正ステップは、
前記判断の結果に応じて計算され、焼き付きリスクが高いほど大きい色補正量を表す焼き付き補正ゲインと、前記映像データの補色に前記映像データの彩度が高いほど大きい彩度補正ゲインを乗算した乗算結果である補正量と、を乗算した乗算補正量を前記映像データに加算することによって、前記映像データを補正する、
画像処理方法。
An image processing method executed by an image display device using a display in which each pixel is composed of at least four colors of RGBW.
Judgment steps to determine the possibility of burn-in of video data,
According to the result of the determination, the video data is corrected so that the light emission amount of W at the time of display is large and the light emission amount of at least one color of RGB is small as compared with the case where the video data is not corrected. Color correction steps and
Including
The color correction step is
A multiplication of the seizure correction gain, which is calculated according to the result of the determination and represents a larger color correction amount as the seizure risk is higher, and the saturation correction gain, which is larger as the saturation of the video data is higher, by multiplying the complementary color of the video data. The video data is corrected by adding the multiplication correction amount obtained by multiplying the correction amount as a result to the video data.
Image processing method.
JP2019141913A 2019-08-01 2019-08-01 Image display device and image processing method Active JP7038684B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019141913A JP7038684B2 (en) 2019-08-01 2019-08-01 Image display device and image processing method
PCT/CN2020/106294 WO2021018293A1 (en) 2019-08-01 2020-07-31 Image display device and image processing method
CN202080004652.6A CN112930564B (en) 2019-08-01 2020-07-31 Image display device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019141913A JP7038684B2 (en) 2019-08-01 2019-08-01 Image display device and image processing method

Publications (2)

Publication Number Publication Date
JP2021026064A JP2021026064A (en) 2021-02-22
JP7038684B2 true JP7038684B2 (en) 2022-03-18

Family

ID=74229263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019141913A Active JP7038684B2 (en) 2019-08-01 2019-08-01 Image display device and image processing method

Country Status (3)

Country Link
JP (1) JP7038684B2 (en)
CN (1) CN112930564B (en)
WO (1) WO2021018293A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014126698A (en) 2012-12-26 2014-07-07 Sony Corp Self-luminous display device
US20160351115A1 (en) 2015-05-28 2016-12-01 Lg Display Co., Ltd. Image Processing Method, Image Processing Circuit, and Organic Light Emitting Diode Display Device using the Same

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006235325A (en) * 2005-02-25 2006-09-07 Sony Corp Method for correcting image persistence phenomenon, spontaneous light emitting device, device and program for correcting image persistence phenomenon
US20070024772A1 (en) * 2005-07-28 2007-02-01 Childers Winthrop D Display with sub-region backlighting
JP2011257515A (en) * 2010-06-08 2011-12-22 Panasonic Corp Driving method for plasma display panel and plasma display device
KR102018751B1 (en) * 2012-12-21 2019-11-04 엘지디스플레이 주식회사 Organic light emitting display device and method for driving thereof
CN105336288B (en) * 2014-08-15 2018-02-16 Tcl集团股份有限公司 A kind of rgb signal is to the conversion method of RGBW signals, device and TV
KR101990335B1 (en) * 2014-11-14 2019-10-02 엘지디스플레이 주식회사 Data clipping method and device, and display device using the same
CN104376833A (en) * 2014-11-19 2015-02-25 深圳市华星光电技术有限公司 System and method for converting RGB data into RGBW data
CN104867449B (en) * 2015-05-29 2017-05-17 青岛海信电器股份有限公司 Display and pixel compensation method thereof
KR102070322B1 (en) * 2015-08-28 2020-01-28 삼성전자주식회사 Display apparatus and display panel driving method thereof
KR102416884B1 (en) * 2015-10-21 2022-07-05 엘지디스플레이 주식회사 Display Device and Method of Driving the same
CN106097945B (en) * 2016-08-17 2019-11-05 京东方科技集团股份有限公司 Damaged picture detection method, damaged picture removing method and device and display equipment
CN106409254B (en) * 2016-10-08 2019-09-24 武汉华星光电技术有限公司 A kind of RGB turns the gamut conversion method and device of RGBW
CN107316609B (en) * 2017-08-21 2019-05-24 京东方科技集团股份有限公司 A kind of color-complementing method of WOLED display device, WOLED display device
CN107424559B (en) * 2017-08-23 2020-05-01 京东方科技集团股份有限公司 Display control method and device of display equipment
CN109065568B (en) * 2018-07-06 2021-04-06 海信视像科技股份有限公司 WOLED panel and WOLED display device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014126698A (en) 2012-12-26 2014-07-07 Sony Corp Self-luminous display device
US20160351115A1 (en) 2015-05-28 2016-12-01 Lg Display Co., Ltd. Image Processing Method, Image Processing Circuit, and Organic Light Emitting Diode Display Device using the Same

Also Published As

Publication number Publication date
CN112930564A (en) 2021-06-08
JP2021026064A (en) 2021-02-22
WO2021018293A1 (en) 2021-02-04
CN112930564B (en) 2022-10-04

Similar Documents

Publication Publication Date Title
US11056050B2 (en) Display unit, image processing unit, and display method for improving image quality
US9666113B2 (en) Display, image processing unit, and display method for improving image quality
JP6797512B2 (en) Image display device and its control method
US8902247B2 (en) Method and apparatus for brightness-controlling image conversion
US20090304274A1 (en) Image Processing Apparatus and Image Display Apparatus
CN111968570A (en) Display compensation information acquisition method, display compensation method and device
KR101927968B1 (en) METHOD AND DEVICE FOR DISPLAYING IMAGE BASED ON METADATA, AND RECORDING MEDIUM THEREFOR
JP6122716B2 (en) Image processing device
JP2015200734A (en) Image display device, method for controlling image display device, and program
JP2015007739A (en) Display divice and control method thereof
WO2014141884A1 (en) Image processing device and liquid crystal display device
JP2003099010A (en) Device and method for displaying video
JP7038684B2 (en) Image display device and image processing method
WO2010150299A1 (en) Liquid crystal display device
KR100885880B1 (en) Device and Method of Realtime Image Processing
JP2016167011A (en) Image display device and control method thereof
JP4542600B2 (en) Video display device
JP2004325565A (en) El color display correction device
JP5447058B2 (en) Gradation correction apparatus, display and gradation correction method
JP2014030083A (en) Image processor, image display device and image processing method
US11862118B2 (en) Display data processing device, image display system, and display data processing method
WO2015166531A1 (en) Display device
JP2009278227A (en) Image correction apparatus and method
TWI400962B (en) Adaptive color-temperature calibration system and method
JP2017072677A (en) Image display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220308

R150 Certificate of patent or registration of utility model

Ref document number: 7038684

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150