JP2010256536A - Image processing device and image display device - Google Patents

Image processing device and image display device Download PDF

Info

Publication number
JP2010256536A
JP2010256536A JP2009105144A JP2009105144A JP2010256536A JP 2010256536 A JP2010256536 A JP 2010256536A JP 2009105144 A JP2009105144 A JP 2009105144A JP 2009105144 A JP2009105144 A JP 2009105144A JP 2010256536 A JP2010256536 A JP 2010256536A
Authority
JP
Japan
Prior art keywords
gradation correction
attention area
region
image
gradation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009105144A
Other languages
Japanese (ja)
Inventor
Ikuko Tsubaki
郁子 椿
Mikio Seto
幹生 瀬戸
Masahiro Shioi
正宏 塩井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2009105144A priority Critical patent/JP2010256536A/en
Publication of JP2010256536A publication Critical patent/JP2010256536A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To enable designation of an image area and a gradation range on which gradation correcting processing is performed, when the gradation correcting processing is applied to an image, and to precisely enhance the detailed information to which a user desires to draw attention, by independently applying gradation correcting processing on the inside and the outside of a target area. <P>SOLUTION: An image display device has a target-area acquiring section 1 and an image dividing section 2 which set the target area in an input image; a center luminance value determining section 3, that determines a central luminance value of the set target area; an inside target area gradation correction property determining section 4, that determines gradation correction property, based on the determined central luminance value; an inside target area gradation correction calculating section 5 that performs gradation correction in the target area, based on the determined gradation correction properties; an out of target area gradation correction property determining section 6, that calculates the amount of statistics for a pixel outside the target area set in the image dividing section 2 and determines the gradation correction property, based on the calculated amount of statistics; and an out of target area gradation correction calculating section 7, that performs gradation correction outside the target area, based on the determined gradation correction property. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、画像処理装置及び画像表示装置に関し、より詳細には、入力画像信号に対して階調補正処理を行う機能を備えた画像処理装置及び画像表示装置に関する。   The present invention relates to an image processing apparatus and an image display apparatus, and more particularly to an image processing apparatus and an image display apparatus having a function of performing gradation correction processing on an input image signal.

液晶ディスプレイ等の画像表示装置では、画質の向上を目的として、コントラスト強調などの階調補正処理が行われている。これらの処理の際には、画像信号の画素値を解析し、そのヒストグラムやその他の統計量などによって補正レベルを動的に変化させている。しかし、画像全体にわたってコントラスト感を向上させることは容易ではなく、特に、明暗が混在する画像に対しては、暗い領域や明るい領域において細部情報が消失しやすいという問題がある。   In an image display device such as a liquid crystal display, gradation correction processing such as contrast enhancement is performed for the purpose of improving image quality. In these processes, the pixel value of the image signal is analyzed, and the correction level is dynamically changed based on the histogram and other statistics. However, it is not easy to improve the sense of contrast over the entire image, and there is a problem that detailed information tends to be lost in a dark region or a bright region, particularly for an image in which light and dark are mixed.

上記の問題に対して、例えば、特許文献1には、画像内でユーザが注目する領域(以下、注目領域と呼ぶ)を定め、注目領域内のコントラストが良くなるように画像全体を調整するコントラスト調整装置が記載されている。   For example, in Japanese Patent Application Laid-Open No. 2004-228561, a region in which an image is focused on by a user (hereinafter referred to as a region of interest) is defined in Patent Document 1, and the entire image is adjusted so that the contrast in the region of interest is improved. An adjustment device is described.

図15は、従来のコントラスト調整装置の機能的構成の一例を示すブロック図で、図中、101は注目領域設定部、102は階調補正特性決定部、103は階調補正計算部を示す。注目領域設定部101は、入力画像の中央部の矩形領域を注目領域として設定する。階調補正係数決定部102は、入力画像の輝度値のヒストグラムを生成するが、単純な度数を用いるのではなく、注目領域外の画素には1より小さい係数をかけたものをヒストグラムの度数として加算する。このように作成された注目領域内の画素の寄与が大きいヒストグラムを用いて、階調補正の程度を制御する階調補正特性が算出される。階調補正計算部103は、入力画像に対して、作成した階調補正特性に基づきコントラスト強調を行う。   FIG. 15 is a block diagram illustrating an example of a functional configuration of a conventional contrast adjustment apparatus. In FIG. 15, reference numeral 101 denotes an attention area setting unit, 102 denotes a gradation correction characteristic determination unit, and 103 denotes a gradation correction calculation unit. The attention area setting unit 101 sets a rectangular area at the center of the input image as the attention area. The gradation correction coefficient determination unit 102 generates a histogram of the luminance values of the input image. However, instead of using a simple frequency, pixels outside the region of interest multiplied by a coefficient smaller than 1 are used as the histogram frequency. to add. A gradation correction characteristic for controlling the degree of gradation correction is calculated using a histogram in which the contribution of pixels in the attention area created in this way is large. The tone correction calculation unit 103 performs contrast enhancement on the input image based on the created tone correction characteristics.

図16は、図15に示した従来のコントラスト調整装置の階調補正特性の一例を示す。横軸は階調補正前の輝度値を示し、縦軸は階調補正後の輝度値を示す。なお、説明の便宜上、輝度値は正規化した値を示し、最小値を0%、最大値を100%とする。階調補正特性のグラフにおいて、傾きが1より大きい階調範囲内ではコントラストが強調され、傾きが1未満の階調範囲内では、コントラストが抑制される。この例では、横軸が77%以下では傾きが1.29の直線であり、この階調範囲内でのコントラストは強調される。横軸が77%以上では傾きが0の直線であり、この入力階調範囲内では、出力階調の変化が完全に抑制される。   FIG. 16 shows an example of the gradation correction characteristic of the conventional contrast adjusting device shown in FIG. The horizontal axis indicates the luminance value before gradation correction, and the vertical axis indicates the luminance value after gradation correction. For convenience of explanation, the luminance value indicates a normalized value, where the minimum value is 0% and the maximum value is 100%. In the gradation correction characteristic graph, the contrast is enhanced in a gradation range where the inclination is larger than 1, and the contrast is suppressed in a gradation range where the inclination is less than 1. In this example, when the horizontal axis is 77% or less, the straight line has a slope of 1.29, and the contrast within this gradation range is enhanced. When the horizontal axis is 77% or more, it is a straight line with a slope of 0, and the change in output gradation is completely suppressed within this input gradation range.

特開2006−120030号公報JP 2006-120030 A

図16の例から分かるように、コントラスト強調を行うと、コントラストが抑制される階調範囲が別に生じる。すなわち、傾きが1より大きい階調範囲を作ると、傾きが1未満になる階調範囲が別に生じる。このため、注目領域内に明暗が混在する画像に対して、図15に示した従来のコントラスト調整装置では、注目領域内にコントラストが抑制される階調範囲を含む場合がある。この場合、注目したい細部情報が消失してしまうという問題がある。   As can be seen from the example of FIG. 16, when contrast enhancement is performed, a gradation range in which the contrast is suppressed occurs separately. In other words, when a gradation range having an inclination greater than 1 is created, another gradation range in which the inclination is less than 1 is generated. For this reason, for an image in which light and dark are mixed in the attention area, the conventional contrast adjustment apparatus shown in FIG. 15 may include a gradation range in which the contrast is suppressed in the attention area. In this case, there is a problem that detailed information to be noticed is lost.

本発明は、上述のごとき実情に鑑みてなされたものであり、画像に階調補正処理を行う際に、階調補正処理を行う画像領域と階調範囲の指定を可能とし、階調補正処理を注目領域の内部と外部とで独立に行うことで、ユーザが注目したい細部情報を的確に強調する画像処理装置及び画像表示装置を提供すること、を目的とする。   The present invention has been made in view of the above-described circumstances. When performing gradation correction processing on an image, it is possible to specify an image region and a gradation range to be subjected to gradation correction processing. It is an object of the present invention to provide an image processing apparatus and an image display apparatus that accurately emphasize detailed information that a user wants to pay attention to by performing the image processing independently inside and outside the attention area.

上記課題を解決するために、第1の技術手段は、入力画像に対して階調補正を行う画像処理装置であって、入力画像に対して注目領域を設定する注目領域設定部と、該設定した注目領域の中心画素値を取得する中心画素値取得部と、該取得した中心画素値に基づいて階調補正特性を決定する注目領域内階調補正特性決定部と、該決定した階調補正特性に基づいて前記注目領域内の階調補正を行う注目領域内階調補正計算部と、前記注目領域設定部で設定した注目領域外の画素について画素値の統計量を算出し、該算出した画素値の統計量に基づいて階調補正特性を決定する注目領域外階調補正特性決定部と、該決定した階調補正特性に基づいて前記注目領域外の階調補正を行う注目領域外階調補正計算部とを備えたことを特徴としたものである。   In order to solve the above problem, a first technical means is an image processing apparatus that performs gradation correction on an input image, and includes an attention area setting unit that sets an attention area on the input image, and the setting A central pixel value acquisition unit that acquires a central pixel value of the attention area that has been acquired; a gradation correction characteristic determination unit that determines gradation correction characteristics based on the acquired central pixel value; and the determined gradation correction Based on the characteristics, the in-region tone correction calculation unit that performs tone correction in the region of interest, and the statistic of the pixel value for the pixels outside the region of interest set in the region-of-interest setting unit are calculated. A non-region-of-interest gradation correction characteristic determination unit that determines a gradation correction characteristic based on a statistic of pixel values, and an area outside the region of interest that performs gradation correction outside the region of interest based on the determined gradation correction characteristic And a key correction calculator. .

第2の技術手段は、第1の技術手段において、前記注目領域内階調補正特性決定部は、前記注目領域設定部で設定した注目領域内の画素について画素値の統計量を算出し、該算出した画素値の統計量と、前記中心画素値取得部により取得した中心画素値とに基づいて、階調補正特性を決定することを特徴としたものである。   A second technical means is the first technical means, wherein the in-region tone correction characteristic determining unit calculates a statistic of a pixel value for a pixel in the attention region set by the attention region setting unit, The gradation correction characteristic is determined based on the calculated statistic of the pixel value and the central pixel value acquired by the central pixel value acquisition unit.

第3の技術手段は、第1の技術手段において、入力画像全体の画素について画素値の統計量を算出し、該算出した画素値の統計量に基づいて階調補正特性を決定する全体階調補正特性決定部と、該決定した階調補正特性に基づいて前記入力画像全体の階調補正を行う全体階調補正計算部とを備え、前記中心画素値取得部は、前記全体階調補正計算部で階調補正された前記入力画像全体に対して、前記注目領域設定部で設定された注目領域の中心画素値を取得することを特徴としたものである。   A third technical means is an overall gradation in which, in the first technical means, a statistic of a pixel value is calculated for pixels of the entire input image, and a gradation correction characteristic is determined based on the calculated statistic of the pixel value. A correction characteristic determination unit; and an overall gradation correction calculation unit that performs gradation correction of the entire input image based on the determined gradation correction characteristic, and the central pixel value acquisition unit includes the overall gradation correction calculation The center pixel value of the attention area set by the attention area setting section is acquired for the entire input image whose tone has been corrected by the section.

第4の技術手段は、第1の技術手段において、ユーザによる入力に基づいて、前記注目領域内の階調補正特性を調整するための修正係数を取得する修正係数取得部を備え、前記注目領域内階調補正特性決定部は、前記中心画素値取得部により取得した中心画素値と、前記修正係数取得部により取得した修正係数とに基づいて、階調補正特性を決定することを特徴としたものである。   A fourth technical means includes a correction coefficient acquisition unit that acquires a correction coefficient for adjusting a tone correction characteristic in the attention area based on an input by a user in the first technical means, and the attention area The inner tone correction characteristic determination unit determines the tone correction characteristic based on the center pixel value acquired by the center pixel value acquisition unit and the correction coefficient acquired by the correction coefficient acquisition unit. Is.

第5の技術手段は、第1〜第4のいずれか1の技術手段において、前記注目領域設定部は、ユーザの操作入力に従って、前記入力画像に対して前記注目領域を設定することを特徴としたものである。   According to a fifth technical means, in any one of the first to fourth technical means, the attention area setting unit sets the attention area for the input image in accordance with a user operation input. It is a thing.

第6の技術手段は、第1〜第5のいずれか1の技術手段において、前記統計量は、輝度ヒストグラムであることを特徴としたものである。   A sixth technical means is any one of the first to fifth technical means, wherein the statistic is a luminance histogram.

第7の技術手段は、第1〜第6のいずれか1の技術手段において、入力画像のフレーム間における動きベクトルに基づいて、前記注目領域設定部により設定された注目領域を追従する注目領域追従部を備え、前記注目領域内階調補正計算部は、前記注目領域追従部により追従される注目領域内に対して、前記注目領域内階調補正特性決定部で決定された階調補正特性に基づく階調補正を行い、前記注目領域外階調補正計算部は、前記注目領域追従部により追従される注目領域外に対して、前記注目領域外階調補正特性決定部で決定された階調補正特性に基づく階調補正を行うことを特徴としたものである。   The seventh technical means is the attention area tracking that follows the attention area set by the attention area setting section based on a motion vector between frames of the input image in any one of the first to sixth technical means. The region-of-interest tone correction calculation unit has a tone correction characteristic determined by the region-of-interest tone correction characteristic determination unit for the region of interest tracked by the region-of-interest tracking unit. The gradation correction unit outside the region of interest performs gradation correction based on the gradation determined by the gradation correction characteristic determination unit outside of the region of interest for the outside of the region of interest tracked by the region of interest tracking unit. It is characterized by performing gradation correction based on the correction characteristics.

第8の技術手段は、第1〜第7のいずれか1の技術手段において、前記注目領域内階調補正特性決定部で決定される注目領域内階調補正特性は、コントラストが強調される入力輝度範囲と、コントラストが抑制される入力輝度範囲とを含み、前記中心画素値取得部で取得される中心画素値は、前記コントラストが強調される入力輝度範囲に含まれることを特徴としたものである。   According to an eighth technical means, in any one of the first to seventh technical means, the in-region gradation correction characteristic determined by the in-region gradation correction characteristic determination unit is an input in which contrast is emphasized. The center pixel value acquired by the center pixel value acquisition unit includes a brightness range and an input brightness range in which contrast is suppressed, and is included in the input brightness range in which the contrast is emphasized. is there.

第9の技術手段は、第6〜第8のいずれか1の技術手段において、前記注目領域外階調補正特性決定部は、前記輝度ヒストグラムの度数を輝度値の高いものから順に加算していき、その合計度数が注目領域外の画素数に占める割合が、予め指定した第1の注目領域外閾値を超えない最大の輝度値を白飽和値として決定し、また、前記輝度ヒストグラムの度数を輝度値の低いものから順に加算していき、その合計度数が注目領域外の画素数に占める割合が、予め指定した第2の注目領域外閾値を超えない最小の輝度値を黒飽和値として決定し、前記階調補正特性は、入力輝度値が前記黒飽和値以上で前記白飽和値以下の範囲でコントラストを強調する特性とすることを特徴としたものである。   According to a ninth technical means, in any one of the sixth to eighth technical means, the out-of-focus tone correction characteristic determination unit sequentially adds the frequencies of the luminance histogram in descending order of luminance value. The maximum luminance value in which the ratio of the total frequency to the number of pixels outside the attention area does not exceed the first threshold value outside the first attention area is determined as a white saturation value, and the frequency of the luminance histogram is determined as the luminance The lowest luminance value is determined as the black saturation value so that the ratio of the total frequency to the number of pixels outside the region of interest does not exceed the second threshold value outside the region of interest specified in advance. The gradation correction characteristic is characterized in that contrast is enhanced in a range where the input luminance value is not less than the black saturation value and not more than the white saturation value.

第10の技術手段は、第1〜第9のいずれか1の技術手段における画像処理装置と、入力画像を表示する表示部とを備えたことを特徴とする画像表示装置である。   A tenth technical means is an image display device comprising the image processing device according to any one of the first to ninth technical means and a display unit for displaying an input image.

本発明によれば、画像に階調補正処理を行う際に、階調補正処理を行う画像領域と階調範囲の指定を可能とし、階調補正処理を注目領域の内部と外部とで独立に行うことで、ユーザが注目したい細部情報を的確に強調することができる。   According to the present invention, when performing gradation correction processing on an image, it is possible to specify an image area and gradation range for which gradation correction processing is to be performed, and the gradation correction processing can be performed independently inside and outside the attention area. By doing so, it is possible to accurately emphasize detailed information that the user wants to pay attention to.

本発明の第一の実施形態に係る画像表示装置の概略構成例を示すブロック図である。1 is a block diagram illustrating a schematic configuration example of an image display device according to a first embodiment of the present invention. 注目領域内階調補正特性決定部で作成される階調補正特性の一例を示す図である。It is a figure which shows an example of the gradation correction characteristic produced in the attention area gradation correction characteristic determination part. 図1に示す注目領域内階調補正特性決定部の処理の流れの一例を説明するためのフロー図である。It is a flowchart for demonstrating an example of the flow of a process of the gradation correction characteristic determination part in an attention area shown in FIG. 注目領域内階調補正特性決定部で作成される階調補正特性の他の例を示す図である。It is a figure which shows the other example of the gradation correction characteristic produced in the attention area internal gradation correction characteristic determination part. 注目領域外階調補正特性決定部で作成される階調補正特性の一例を示す図である。It is a figure which shows an example of the gradation correction characteristic produced in the attention outside area | region gradation correction characteristic determination part. 図1に示す注目領域外階調補正特性決定部の処理の流れの一例を説明するためのフロー図である。It is a flowchart for demonstrating an example of the flow of a process of the attention outside area | region gradation correction characteristic determination part shown in FIG. 注目領域外階調補正特性決定部で算出される注目領域外の輝度ヒストグラムの一例を示す図である。It is a figure which shows an example of the brightness | luminance histogram outside an attention area calculated by the attention area outside gradation correction characteristic determination part. 本発明の第二の実施形態に係る画像表示装置の概略構成例を示すブロック図である。It is a block diagram which shows the example of schematic structure of the image display apparatus which concerns on 2nd embodiment of this invention. 注目領域内階調補正特性決定部で作成される階調補正特性の他の例を示す図である。It is a figure which shows the other example of the gradation correction characteristic produced in the attention area internal gradation correction characteristic determination part. 図8に示す注目領域内階調補正特性決定部の処理の流れの一例を説明するためのフロー図である。It is a flowchart for demonstrating an example of the flow of a process of the gradation correction characteristic determination part in an attention area shown in FIG. 本発明の第三の実施形態に係る画像表示装置の概略構成例を示すブロック図である。It is a block diagram which shows the example of schematic structure of the image display apparatus which concerns on 3rd embodiment of this invention. 本発明の第四の実施形態に係る画像表示装置の概略構成例を示すブロック図である。It is a block diagram which shows the example of schematic structure of the image display apparatus which concerns on 4th embodiment of this invention. 注目領域内階調補正特性決定部で作成される階調補正特性の一例を示す図である。It is a figure which shows an example of the gradation correction characteristic produced in the attention area gradation correction characteristic determination part. 本発明の第五の実施形態に係る画像表示装置の概略構成例を示すブロック図である。It is a block diagram which shows the schematic structural example of the image display apparatus which concerns on 5th embodiment of this invention. 従来のコントラスト調整装置の機能的構成の一例を示すブロック図である。It is a block diagram which shows an example of a functional structure of the conventional contrast adjustment apparatus. 従来のコントラスト調整装置で作成される階調補正特性の一例を示す図である。It is a figure which shows an example of the gradation correction characteristic produced with the conventional contrast adjustment apparatus.

以下、添付図面を参照しながら、本発明の画像処理装置及び画像表示装置に係る好適な実施の形態について、画像処理装置と表示部とを備えた画像表示装置を例示して説明する。なお、各実施形態の各図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of an image processing device and an image display device according to the invention will be described with reference to the accompanying drawings by exemplifying an image display device including an image processing device and a display unit. In addition, in each drawing of each embodiment, the part which has the same function is attached | subjected the same code | symbol, and repeated description is abbreviate | omitted.

(第一の実施形態)
図1は、本発明の第一の実施形態に係る画像表示装置の概略構成例を示すブロック図で、図中、1は注目領域位置取得部、2は画像分割部、3は中心輝度値決定部、4は注目領域内階調補正特性決定部、5は注目領域内階調補正計算部、6は注目領域外階調補正特性決定部、7は注目領域外階調補正計算部、8は表示部を示す。
(First embodiment)
FIG. 1 is a block diagram showing a schematic configuration example of an image display apparatus according to the first embodiment of the present invention, in which 1 is a region of interest position acquisition unit, 2 is an image dividing unit, and 3 is a central luminance value determination. , 4 is a tone correction characteristic determination unit within the region of interest, 5 is a tone correction calculation unit within the region of interest, 6 is a tone correction property determination unit outside the region of interest, 7 is a tone correction calculation unit outside the region of interest, and 8 is A display part is shown.

注目領域位置取得部1は、ユーザからの入力により、注目領域位置を取得し、これを画像分割部2と中心輝度値決定部3に出力する。以下、注目領域の形状は円形を例示して説明する。円は、中心と半径によって指定することができるが、中心位置は、例えば、表示部8がタッチパネル機能を備えている場合は、画面上の表示画像においてユーザが注目したい領域の中心を、ユーザがタッチパネルを用いて指示することで取得される。また、例えば、リモートコントローラを用いてユーザが指示してもよい。または、図示しない視線検出装置によって検知したユーザの視線方向から算出した画像位置を用いてもよい。半径は、タッチパネルやリモートコントローラ、その他の図示しない入力装置によってユーザが指示してもよいし、予め設定した固定値としてもよい。なお、注目領域の形状は円形に限定するものではなく、楕円や四角形などの他の形状であってもよい。   The attention area position acquisition unit 1 acquires the attention area position in response to an input from the user, and outputs this to the image division unit 2 and the central luminance value determination unit 3. Hereinafter, the shape of the attention area will be described by taking a circular shape as an example. The circle can be specified by the center and the radius. For example, when the display unit 8 has a touch panel function, the center position is determined by the user at the center of the area that the user wants to pay attention to in the display image on the screen. Acquired by instructing using the touch panel. For example, the user may instruct using a remote controller. Or you may use the image position calculated from the gaze direction of the user detected with the gaze detection apparatus which is not shown in figure. The radius may be instructed by the user through a touch panel, a remote controller, or other input device (not shown), or may be a fixed value set in advance. Note that the shape of the attention area is not limited to a circle, and may be another shape such as an ellipse or a rectangle.

画像分割部2は、注目領域位置取得部1で取得された注目領域位置に基づいて、入力画像の全画素を、注目領域内と注目領域外の2つに分割する。円の中心と半径が入力された場合は、円周とその内部に含まれる画素を注目領域内とし、それ以外の画素を注目領域外とする。分割した結果は、例えば、注目領域内を“1”、注目領域外を“0”とする二値のマスク画像にして出力する。上記の注目領域位置取得部1及び画像分割部2は、注目領域設定部に相当する。   Based on the attention area position acquired by the attention area position acquisition section 1, the image dividing section 2 divides all the pixels of the input image into two, the inside of the attention area and the outside of the attention area. When the center and radius of the circle are input, the circumference and the pixels included in the circumference are set as the attention area, and the other pixels are set as the outside of the attention area. The result of the division is output, for example, as a binary mask image with “1” inside the attention area and “0” outside the attention area. The attention area position acquisition unit 1 and the image dividing unit 2 correspond to an attention area setting unit.

中心輝度値決定部3は、中心画素値取得部に相当し、注目領域位置取得部1で取得された注目領域位置に基づき、入力画像の対応する画素値を取得し、中心輝度値を決定する。例えば、円の中心座標を中心とした縦横5画素(合計25画素)に対して、輝度値のメディアンを算出し、これを中心輝度値とする。メディアンの代わりに平均値や加重平均値などその他の統計量を用いてもよい。また、縦横5画素の代わりに縦横3画素など他の領域を用いてもよいし、1画素だけを用いてもよい。   The central luminance value determination unit 3 corresponds to the central pixel value acquisition unit, acquires the corresponding pixel value of the input image based on the attention region position acquired by the attention region position acquisition unit 1, and determines the central luminance value. . For example, the median of the brightness value is calculated for 5 pixels vertically and horizontally (total 25 pixels) with the center coordinate of the circle as the center, and this is used as the center brightness value. Other statistics such as an average value or a weighted average value may be used instead of the median. Further, instead of the vertical and horizontal 5 pixels, other regions such as vertical and horizontal 3 pixels may be used, or only one pixel may be used.

注目領域内階調補正特性決定部4は、中心輝度値決定部3で決定された中心輝度値の近傍の階調を強調するための階調補正特性を作成する。図2は、注目領域内階調補正特性決定部4で作成される注目領域内階調補正特性の一例を示すグラフである。前述の図16と同様に、横軸は補正前輝度値(%)、縦軸は補正後輝度値(%)である。図中、cは注目領域内階調補正特性決定部4に入力される中心輝度値であり、wは予め設定した強調輝度幅である。aは予め設定した強調レベル(a>1)であり、入力輝度値がc−w/2からc+w/2の範囲において、傾きがaとなるように階調補正特性を定める。これによって、中心輝度値cの近傍の階調のコントラストが強調され、aの値が大きいほど強く強調される。横軸の残りの範囲では、全て傾きをbとし、bはaとwから次式を用いて算出する。   The attention area gradation correction characteristic determination unit 4 creates a gradation correction characteristic for emphasizing the gradation in the vicinity of the central luminance value determined by the central luminance value determination unit 3. FIG. 2 is a graph showing an example of the in-region gradation correction characteristic created by the in-region gradation correction characteristic determination unit 4. Similar to FIG. 16 described above, the horizontal axis represents the luminance value before correction (%), and the vertical axis represents the luminance value after correction (%). In the figure, c is a central luminance value input to the in-region gradation correction characteristic determination unit 4, and w is a preset enhanced luminance width. “a” is a preset enhancement level (a> 1), and the gradation correction characteristic is determined so that the slope is “a” in the range of the input luminance value from c−w / 2 to c + w / 2. Thereby, the contrast of the gradation near the central luminance value c is enhanced, and the greater the value of a, the stronger the enhancement. In the remaining range of the horizontal axis, the slope is b, and b is calculated from a and w using the following equation.

b=(100−wa)/(100−w) ・・・式(1)
b<1となるため、傾きがbの階調範囲内では、コントラストが抑制される。階調補正特性のグラフは、3本の直線から成る折れ線によって作成する。折れ線全体として原点と(100,100)の2点を通り、かつ単調増加となるように作成する。ただし、bが0以上となるように、予めaとwを設定する必要がある。
b = (100−wa) / (100−w) (1)
Since b <1, the contrast is suppressed within the gradation range where the inclination is b. The gradation correction characteristic graph is created by a broken line composed of three straight lines. The polygonal line is created so as to pass through the origin and (100, 100) and monotonously increase. However, it is necessary to set a and w in advance so that b is 0 or more.

図3に、注目領域内階調補正特性決定部4での処理の流れの一例を示す。まず、中心輝度値c、強調輝度幅w、強調レベルaから、式(1)を用いて傾きbを算出する(ステップS1)。そして、前述の図2のグラフを構成する3直線の式を算出する(ステップS2)。この算出方法は明らかなので説明を省く。最後に、階調補正特性を記したルックアップテーブル(LUT)を作成し、出力する(ステップS3)。   FIG. 3 shows an example of the flow of processing in the in-region tone correction characteristic determination unit 4. First, the inclination b is calculated from the central luminance value c, the enhanced luminance width w, and the enhanced level a using Equation (1) (step S1). Then, an equation of three straight lines constituting the graph of FIG. 2 is calculated (step S2). Since this calculation method is clear, a description thereof will be omitted. Finally, a look-up table (LUT) describing the tone correction characteristics is created and output (step S3).

なお、c−w/2<0もしくはc+w/2>100となる場合は、修正が必要である。修正方法として、c−w/2<0の場合、例えばbの算出の際に、式(1)の代わりに次式を用いる。   If c−w / 2 <0 or c + w / 2> 100, correction is necessary. As a correction method, when cw / 2 <0, for example, when calculating b, the following equation is used instead of equation (1).

b={100−(c+w/2)a}/{100−(c+w/2)} ・・・式(2)
c−w/2<0の場合の階調補正特性の例を図4に示す。また、c+w/2>100の場合についても同様に修正を行う。修正方法は、この例に限らず、cやwの値を直接修正してもよい。
b = {100− (c + w / 2) a} / {100− (c + w / 2)} Expression (2)
An example of the gradation correction characteristic in the case of c−w / 2 <0 is shown in FIG. Further, the correction is performed in the same manner for the case of c + w / 2> 100. The correction method is not limited to this example, and the values of c and w may be corrected directly.

図1において、注目領域内階調補正計算部5は、注目領域内の画素の輝度値に対して、注目領域内階調補正特性決定部4で作成した注目領域内階調補正特性が記録されたLUTに基づいて階調補正を行い、表示部8に出力する。補正方法はLUTに限定するものではなく、入出力の関係を示す関数を用いるなど他の方法を用いてもよい。   In FIG. 1, the in-region gradation correction calculation unit 5 records the in-region gradation correction characteristic created by the in-region gradation correction characteristic determination unit 4 for the luminance value of the pixel in the region of interest. The gradation correction is performed based on the LUT and the result is output to the display unit 8. The correction method is not limited to the LUT, and other methods such as using a function indicating an input / output relationship may be used.

次に、注目領域外の画素に対しては、注目領域外階調補正特性決定部6は、注目領域外(マスク画像の画素値が“0”)の画素値だけを統計的に分析し、注目領域外の階調補正特性を決定する。   Next, for pixels outside the region of interest, the outside region-of-interest gradation correction characteristic determination unit 6 statistically analyzes only the pixel values outside the region of interest (the pixel value of the mask image is “0”), Tone correction characteristics outside the region of interest are determined.

図5は、注目領域外階調補正特性決定部6で作成される注目領域外階調補正特性の一例を示すグラフである。図中、XmaxとXminは、それぞれ白飽和値、黒飽和値と呼び、画像の輝度分布から算出される特徴量である。傾きaは、強調レベルを表し、次式で算出する。   FIG. 5 is a graph showing an example of the out-of-interest tone correction characteristic created by the out-of-interest tone correction characteristic determination unit 6. In the figure, Xmax and Xmin are called white saturation value and black saturation value, respectively, and are feature amounts calculated from the luminance distribution of the image. The slope a represents the enhancement level and is calculated by the following equation.

a=100/(Xmax−Xmin) ・・・式(3)
階調補正特性のグラフは、3本の直線から成る折れ線によって作成する。入力輝度値がXminからXmaxの範囲の傾きをa、残りの範囲での傾きを0となるように定める。また、折れ線全体として、原点と(100,100)の2点を通り、かつ単調増加となるように作成する。これによって、中間輝度レベルでのコントラストが強調され、aの値が大きいほど強く強調される。残りの傾きが0の範囲では、出力輝度値の階調変化が抑制される。
a = 100 / (Xmax−Xmin) (3)
The gradation correction characteristic graph is created by a broken line composed of three straight lines. The input luminance value is determined so that the slope in the range from Xmin to Xmax is a, and the slope in the remaining range is 0. Also, the entire polygonal line is created so that it passes through the origin and (100, 100) and increases monotonously. As a result, the contrast at the intermediate luminance level is enhanced, and the greater the value of a, the stronger the enhancement. In the range where the remaining inclination is 0, the gradation change of the output luminance value is suppressed.

この注目領域外階調補正特性決定部6の処理の流れの一例を図6に示す。図6において、まず、注目領域外階調補正特性決定部6は、入力画像に設定された注目領域外の画素の輝度値のヒストグラムを作成する(ステップS11)。次に、輝度ヒストグラムに基づいて白飽和値Xmaxを算出する(ステップS12)。例えば、ヒストグラムの度数を輝度値の高いものから順に加算していき、その合計度数が注目領域外の画素数に占める割合が、予め指定した第1の閾値を超えない最大の輝度値を白飽和値Xmaxとする。そして、輝度ヒストグラムに基づいて黒飽和値Xminを算出する(ステップS13)。例えば、ヒストグラムの度数を輝度値の低いものから順に加算していき、その合計度数が注目領域外の画素数に占める割合が、予め指定した第2の閾値を超えない最小の輝度値を黒飽和値Xminとする。輝度ヒストグラムと白飽和値、黒飽和値、第1の閾値、第2の閾値の関係を図7に示す。   An example of the processing flow of the out-of-focus tone correction characteristic determination unit 6 is shown in FIG. In FIG. 6, first, the out-of-interest gradation correction characteristic determination unit 6 creates a histogram of luminance values of pixels outside the attention area set in the input image (step S11). Next, the white saturation value Xmax is calculated based on the luminance histogram (step S12). For example, the frequency of the histogram is added in order from the highest luminance value, and the maximum luminance value in which the ratio of the total frequency to the number of pixels outside the attention area does not exceed the first threshold specified in advance is saturated with white. Let it be the value Xmax. Then, a black saturation value Xmin is calculated based on the luminance histogram (step S13). For example, the frequency of the histogram is added in order from the lowest luminance value, and the minimum luminance value in which the ratio of the total frequency to the number of pixels outside the attention area does not exceed the second threshold specified in advance is saturated with black. Let it be the value Xmin. FIG. 7 shows the relationship between the luminance histogram, the white saturation value, the black saturation value, the first threshold value, and the second threshold value.

次に、上記式(3)を用いて傾きaを算出する(ステップS14)。そして、前述の図5に示したグラフを構成する3直線の式を算出する(ステップS15)。最後に、階調補正特性を記したルックアップテーブル(LUT)を作成し、出力する(ステップS16)。   Next, the inclination a is calculated using the above equation (3) (step S14). Then, the equation of the three straight lines constituting the graph shown in FIG. 5 is calculated (step S15). Finally, a lookup table (LUT) describing the gradation correction characteristics is created and output (step S16).

なお、上記例では、入力輝度値がXmax以上かXmin以下の範囲での傾きを0としたが、0に限定するものではない。また、黒飽和値と白飽和値を基にして階調補正特性を決定したが、この例に限定するものではなく、画素値の統計量を用いた他のコントラスト調整手法を用いてもよい。また、画素値の統計量としてヒストグラムを用いたが、ヒストグラムに限定するものではなく、他の統計量を用いてもよい。   In the above example, the gradient in the range where the input luminance value is greater than or equal to Xmax or less than or equal to Xmin is set to 0. However, the gradient is not limited to 0. Further, the gradation correction characteristics are determined based on the black saturation value and the white saturation value, but the present invention is not limited to this example, and other contrast adjustment methods using pixel value statistics may be used. Moreover, although the histogram is used as the statistic of the pixel value, the statistic is not limited to the histogram, and another statistic may be used.

注目領域外階調補正計算部7は、注目領域外の画素の輝度値に対して、注目領域外階調補正特性決定部6で決定した注目領域外階調補正特性を用いて階調補正を行い、補正後の画像を表示部8に出力する。   The out-of-interest tone correction calculation unit 7 performs tone correction on the luminance value of the pixels outside the attention region using the out-of-interest tone correction characteristic determined by the out-of-interest tone correction characteristic determination unit 6. The corrected image is output to the display unit 8.

そして、表示部8は、注目領域内階調補正計算部5と注目領域外階調補正計算部7とから出力された画像を合成し、この合成画像を表示出力する。この表示部8は例えばLCD(Liquid Crystal Display)などで構成される。   Then, the display unit 8 synthesizes the images output from the in-region-in-region gradation correction calculation unit 5 and the out-of-region-in-region gradation correction calculation unit 7, and displays and outputs this combined image. The display unit 8 is composed of, for example, an LCD (Liquid Crystal Display).

なお、上記例では注目領域内階調補正特性決定部4と注目領域外階調補正特性決定部6において折れ線状グラフで表される階調補正特性を作成したが、折れ線に限定するものではなく、折れ線の折れ曲がり部分を修正して曲線状にしたり、最初から曲線状の特性を作成してもよい。また、上記例では輝度値を用いたコントラスト強調について述べたが、輝度値に限定するものでなく、明度など、明るさに関する他の指標を用いてもよい。   In the above example, the tone correction characteristics represented by the line graph are created in the tone correction characteristics determining section 4 and the tone correction characteristics determining section 6 outside the focus area, but the invention is not limited to the polygonal line. Alternatively, the bent portion of the broken line may be corrected to be curved, or a curved characteristic may be created from the beginning. In the above example, contrast enhancement using a luminance value has been described. However, the present invention is not limited to the luminance value, and other indicators relating to brightness such as brightness may be used.

上述のとおり、本実施形態の画像表示装置によれば、階調補正処理を行う画像領域と階調範囲の指定を可能とし、階調補正処理を注目領域の内部と外部とで独立に行うことで、ユーザが注目したい細部情報を的確に強調して表示することができる。
(第二の実施形態)
図8は、本発明の第二の実施形態に係る画像表示装置の概略構成例を示すブロック図であり、図中、9は注目領域内階調補正特性決定部を示す。第一の実施形態の図1の構成と異なるのは、注目領域内階調補正特性決定部9へ入力画像とマスク画像が入力される点である。本実施形態は、注目領域内階調補正特性の決定の際に、中心輝度値だけでなく、さらに画素値の統計量も考慮できるようにしたものである。
As described above, according to the image display apparatus of the present embodiment, it is possible to specify an image area and a gradation range for which gradation correction processing is performed, and to perform gradation correction processing independently inside and outside the attention area. Thus, it is possible to accurately highlight and display detailed information that the user wants to pay attention to.
(Second embodiment)
FIG. 8 is a block diagram showing a schematic configuration example of an image display apparatus according to the second embodiment of the present invention. In the figure, 9 indicates an in-region gradation correction characteristic determination unit. The difference from the configuration of FIG. 1 of the first embodiment is that the input image and the mask image are input to the in-region tone correction characteristic determination unit 9. In the present embodiment, not only the central luminance value but also the statistic of the pixel value can be taken into account when determining the in-region tone correction characteristic.

図9は、注目領域内階調補正特性決定部9で作成される注目領域内階調補正特性の一例を示すグラフである。図中、cは中心輝度値であり、wは予め設定した強調輝度幅である。aは予め設定した強調レベル(a>1)であり、入力輝度値がc−w/2からc+w/2の範囲において、傾きがaとなるように階調補正特性を定める。これによって、中心輝度値cの近傍の階調のコントラストが強調され、aの値が大きいほど強く強調される。白飽和値Xmaxと黒飽和値Xminは、画像の輝度分布から算出される特徴量である。入力輝度値がXmax以上の範囲とXmin以下の範囲では、傾きを0とし、出力輝度値の階調変化を抑制する。横軸の残りの範囲では、傾きをbとし、この傾きbは次式を用いて算出する。   FIG. 9 is a graph showing an example of the in-region gradation correction characteristic created by the in-region gradation correction characteristic determination unit 9. In the figure, c is a central luminance value, and w is a preset enhanced luminance width. “a” is a preset enhancement level (a> 1), and the gradation correction characteristic is determined so that the slope is “a” in the range of the input luminance value from c−w / 2 to c + w / 2. Thereby, the contrast of the gradation near the central luminance value c is enhanced, and the greater the value of a, the stronger the enhancement. The white saturation value Xmax and the black saturation value Xmin are feature amounts calculated from the luminance distribution of the image. In the range where the input luminance value is greater than or equal to Xmax and the range where Xmin is less than or equal to Xmin, the gradient is set to 0 and the gradation change of the output luminance value is suppressed. In the remaining range on the horizontal axis, the slope is b, and this slope b is calculated using the following equation.

b=(100−wa)/(Xmax−Xmin−w) ・・・式(4)
このように、階調補正特性のグラフを5本の直線から成る折れ線として作成する。ただし、bが0以上となる範囲で、予めaとwを設定する必要がある。
b = (100−wa) / (Xmax−Xmin−w) (4)
In this way, the gradation correction characteristic graph is created as a broken line composed of five straight lines. However, it is necessary to set a and w in a range where b is 0 or more.

図10に、注目領域内階調補正特性決定部9での処理の流れの一例を示す。本例のステップS21からステップS23までは第一の実施形態での注目領域外階調補正特性決定部6の流れを示す図6と同様である。ステップS24では、上記式(4)を用いて傾きbを算出する。そして、前述の図9に示したグラフを構成する5直線の式を算出する(ステップ25)。最後に、階調補正特性を記したルックアップテーブル(LUT)を作成し、出力する(ステップS26)。   FIG. 10 shows an example of the flow of processing in the in-region gradation correction characteristic determination unit 9. Steps S21 to S23 in this example are the same as those in FIG. 6 showing the flow of the out-of-region gradation correction characteristic determination unit 6 in the first embodiment. In step S24, the slope b is calculated using the above equation (4). Then, an equation of five straight lines constituting the graph shown in FIG. 9 is calculated (step 25). Finally, a look-up table (LUT) describing the tone correction characteristics is created and output (step S26).

なお、上記例では、入力輝度値がXmax以上かXmin以下の範囲での傾きを0としたが、0に限定するものではない。   In the above example, the gradient in the range where the input luminance value is greater than or equal to Xmax or less than or equal to Xmin is set to 0. However, the gradient is not limited to 0.

上述のとおり、本実施形態の画像表示装置によれば、ユーザが注目する領域のコントラストを強調し、かつ注目領域内でのコントラスト感を向上させることができる。   As described above, according to the image display apparatus of the present embodiment, it is possible to enhance the contrast of the region that the user pays attention to and improve the sense of contrast within the attention region.

(第三の実施形態)
図11は、本発明の第三の実施形態に係る画像表示装置の概略構成例を示すブロック図であり、図中、10は全体階調補正特性決定部、11は全体階調補正計算部、12は中心輝度値決定部、13は注目領域内階調補正特性決定部、14は注目領域内階調補正計算部、15は表示部を示す。本実施形態は、画像全体で階調補正を行った後に、注目領域内のみ再度階調補正を行う点が、第一の実施形態と異なる。
(Third embodiment)
FIG. 11 is a block diagram showing a schematic configuration example of an image display device according to the third embodiment of the present invention, in which 10 is an overall tone correction characteristic determining unit, 11 is an overall tone correction calculating unit, Reference numeral 12 denotes a central luminance value determination unit, 13 denotes an in-region tone correction characteristic determination unit, 14 denotes an in-region tone correction calculation unit, and 15 denotes a display unit. This embodiment is different from the first embodiment in that tone correction is performed again only within the attention area after tone correction is performed on the entire image.

まず、全体階調補正特性決定部10において、画像全体の画素値の統計量に基づいて全体階調補正特性を作成する。これは、第一の実施形態の注目領域外階調補正特性決定部6と同様の手法で、画像全体での画素値の統計量を算出して行う。全体階調補正計算部11では、全体階調補正特性に基づいて階調補正を行い、表示部15に出力する。   First, the overall tone correction characteristic determination unit 10 creates an overall tone correction characteristic based on the statistic of the pixel value of the entire image. This is performed by calculating the statistic of the pixel value of the entire image by the same method as the out-of-interest gradation correction characteristic determination unit 6 of the first embodiment. The overall tone correction calculation unit 11 performs tone correction based on the overall tone correction characteristics and outputs the result to the display unit 15.

中心輝度値決定部12では、第一の実施形態と同様の手法で中心輝度値を決定するが、既に全体階調補正計算部11で階調補正が行われた画像の輝度値から算出する点が異なる。   The central luminance value determination unit 12 determines the central luminance value by the same method as that of the first embodiment, but is calculated from the luminance value of an image that has already been subjected to gradation correction by the overall gradation correction calculation unit 11. Is different.

注目領域内階調補正特性決定部13では、第一の実施形態と同様の手法で注目領域内の階調補正特性を作成する。注目領域内階調補正計算部14では、既に階調補正が行われた画像の注目領域内に対して、第一の実施形態と同様の手法で階調補正を行う。表示部15では、全体階調補正計算部11で出力された補正後画像の注目領域内の画素を、注目領域内階調補正計算部14から出力された補正後画像の画素値に置き換えて表示する。   The attention area gradation correction characteristic determination unit 13 creates gradation correction characteristics in the attention area by the same method as in the first embodiment. The attention area gradation correction calculation unit 14 performs gradation correction on the attention area of the image that has already been subjected to gradation correction by the same method as in the first embodiment. The display unit 15 replaces the pixels in the attention area of the corrected image output from the overall gradation correction calculation section 11 with the pixel values of the corrected image output from the attention area gradation correction calculation section 14 and displays them. To do.

上述のとおり、本実施形態の画像表示装置によれば、ユーザが注目する領域のコントラストを強調し、かつ注目領域内でのコントラスト感を向上させることができる。   As described above, according to the image display apparatus of the present embodiment, it is possible to enhance the contrast of the region that the user pays attention to and improve the sense of contrast within the attention region.

(第四の実施形態)
図12は、本発明の第四の実施形態に係る画像表示装置の概略構成例を示すブロック図で、図中、16は修正係数取得部、17は注目領域内補正特性決定部を示す。本実施形態では、注目領域内階調補正特性を、第一の実施形態と同様に中心輝度値から決定した後に、さらに、修正係数をユーザの入力によって設定し、注目領域内階調補正特性を調整できるようにしたものである。
(Fourth embodiment)
FIG. 12 is a block diagram showing a schematic configuration example of an image display apparatus according to the fourth embodiment of the present invention, in which 16 indicates a correction coefficient acquisition unit and 17 indicates an in-region correction characteristic determination unit. In this embodiment, after determining the in-region tone correction characteristic from the central luminance value in the same manner as in the first embodiment, a correction coefficient is further set by user input, and the in-region tone correction characteristic is set. It can be adjusted.

修正係数取得部16は、ユーザからの入力により、注目領域内の階調補正特性の一例である輝度レベルを調整するための修正係数を取得し、注目領域内補正特性決定部17に出力する。注目領域内補正特性決定部17は、中心輝度値と修正係数に基づき、注目領域内階調補正特性を作成する。   The correction coefficient acquisition unit 16 acquires a correction coefficient for adjusting a luminance level, which is an example of gradation correction characteristics in the attention area, and outputs the correction coefficient to the attention area correction characteristic determination section 17 in accordance with an input from the user. The in-region correction characteristic determination unit 17 creates the in-region gradation correction characteristic based on the central luminance value and the correction coefficient.

修正係数取得部16では、例えば、第一の実施形態で用いた強調レベルaを修正するための修正係数を取得する。表示部8に修正係数取得用画面を表示させ、ユーザがタッチパネルあるいはリモートコントローラの操作によって、画面上から「強く」あるいは「弱く」という入力を行う。これらの入力が行われると、修正係数取得部16は、予め指定した修正係数を設定する。この修正係数としては、例えば、入力が「強く」の場合は1.1、「弱く」の場合は0.9という値を予め指定しておく。注目領域内補正特性決定部17は、予め指定された固定の強調レベルaに修正係数を掛けた後、第一の実施形態と同様の手法で階調補正特性を作成する。これによって、注目領域内階調補正特性が調整される。   For example, the correction coefficient acquisition unit 16 acquires a correction coefficient for correcting the enhancement level a used in the first embodiment. The correction coefficient acquisition screen is displayed on the display unit 8, and the user inputs “strong” or “weak” from the screen by operating the touch panel or the remote controller. When these inputs are made, the correction coefficient acquisition unit 16 sets a correction coefficient designated in advance. As the correction coefficient, for example, a value of 1.1 is designated in advance when the input is “strong” and 0.9 is designated when the input is “weak”. The in-region correction characteristic determination unit 17 multiplies a fixed enhancement level a designated in advance by a correction coefficient, and then creates a gradation correction characteristic by the same method as in the first embodiment. As a result, the tone correction characteristics within the attention area are adjusted.

ここで、ユーザが「強く」あるいは「弱く」の入力を複数回行うことで、その回数に応じて修正係数を複数回掛け合わせてもよい。また、修正係数の数値を直接入力する手段を備えてもよい。これにより補正のレベルをユーザの意図に合わせて自在に調整することができる。   Here, when the user inputs “strongly” or “weakly” a plurality of times, the correction coefficient may be multiplied a plurality of times according to the number of times. Further, a means for directly inputting the numerical value of the correction coefficient may be provided. Thus, the correction level can be freely adjusted according to the user's intention.

修正係数取得部16の他の例として、輝度レベルを補正する係数を取得するようにしてもよい。上記例と同様の手段で、ユーザは「明るく」あるいは「暗く」という入力を行う。これらの入力が行われると、修正係数取得部16は、予め指定した修正係数を設定する。例えば、入力が「明るく」の場合は+10、「暗く」の場合は−10という値を予め指定しておく。注目領域内補正特性決定部17は、第一の実施形態と同様の手法で作成した階調補正特性に対して、修正係数を加算する。図13に、修正された階調補正特性の一例を示す。修正係数の加算によって出力輝度値が100%を超えた場合は100に、0%未満になった場合は0にクリップ処理を行う。   As another example of the correction coefficient acquisition unit 16, a coefficient for correcting the luminance level may be acquired. Using the same means as in the above example, the user inputs “brighter” or “darker”. When these inputs are made, the correction coefficient acquisition unit 16 sets a correction coefficient designated in advance. For example, a value of +10 is designated in advance when the input is “bright”, and a value of −10 is designated in the case of “dark”. The in-region correction characteristic determination unit 17 adds a correction coefficient to the gradation correction characteristic created by the same method as in the first embodiment. FIG. 13 shows an example of the corrected gradation correction characteristic. Clip processing is performed when the output luminance value exceeds 100% by addition of the correction coefficient, and when it becomes less than 0%, it is clipped.

上述のとおり、本実施形態の画像表示装置によれば、画像に階調補正処理を行う場合に、ユーザの意図を取り入れ、補正の程度を調整することができる。   As described above, according to the image display device of the present embodiment, when performing gradation correction processing on an image, the user's intention can be taken in and the degree of correction can be adjusted.

(第五の実施形態)
図14は、本発明の第五の実施形態に係る画像表示装置の概略構成例を示すブロック図で、図中、18は動きベクトル検出部、19は注目領域追従部、20はフレームメモリ、21はメモリを示す。なお、図14において、注目領域位置取得部1、画像分割部2、中心輝度値決定部3、注目領域内階調補正特性決定部4、及び注目領域外階調補正特性決定部6の記載は省略しているものとする。
(Fifth embodiment)
FIG. 14 is a block diagram showing a schematic configuration example of an image display apparatus according to the fifth embodiment of the present invention, in which 18 is a motion vector detection unit, 19 is a region of interest tracking unit, 20 is a frame memory, 21 Indicates memory. In FIG. 14, the attention area position acquisition unit 1, the image division unit 2, the central luminance value determination unit 3, the attention region gradation correction characteristic determination unit 4, and the attention region outside gradation correction characteristic determination unit 6 are described. It shall be omitted.

この第五の実施形態では、入力画像が動画像の場合に、注目領域を画像の動きに合わせて追従する構成を追加したものである。注目領域追従部19は、入力画像のフレーム間における動きベクトルに基づいて、画像分割部2で設定した注目領域を追従する。ここでは、第一の実施形態で説明したように、画像表示装置はユーザが指定した注目領域内とそれ以外の注目領域外でそれぞれ階調補正を行う。その際、次の入力フレーム画像のために、前フレーム画像と前フレームマスク画像とをフレームメモリ20に記憶し、前フレーム画像の注目領域内階調補正特性と注目領域外階調補正特性とをメモリ21に記憶しておく。   In the fifth embodiment, when the input image is a moving image, a configuration for following the attention area in accordance with the movement of the image is added. The attention area following section 19 follows the attention area set by the image dividing section 2 based on the motion vector between frames of the input image. Here, as described in the first embodiment, the image display apparatus performs gradation correction within the attention area designated by the user and outside the other attention area. At that time, the previous frame image and the previous frame mask image are stored in the frame memory 20 for the next input frame image, and the in-region tone correction characteristics and the out-of-region tone correction characteristics of the previous frame image are stored in the memory. 21 is stored.

図14において、次の入力フレーム画像に対して、動きベクトル検出部18は、入力フレーム画像と前フレーム画像の間の各画素の動きベクトルを検出する。この動きベクトルの検出は、例えばブロックマッチングなどの公知技術を用いて行うことができる。次に、注目領域追従部19は、動きベクトル検出部18で求めた動きベクトルと前フレームマスク画像とから、入力フレーム画像におけるマスク画像を作成する。これは、前フレームマスク画像の画素値が“1”の各画素の座標に対して、その画素に対応する動きベクトルを加え、得られた座標について、入力フレーム画像のマスク画像の画素値を“1”にし、入力フレーム画像のマスク画像の残りの画素の画素値を“0”にする。このように、注目領域追従部19を備えることにより、注目領域を画像の動きに合わせて追従させることができる。   In FIG. 14, for the next input frame image, the motion vector detection unit 18 detects the motion vector of each pixel between the input frame image and the previous frame image. This motion vector can be detected using a known technique such as block matching. Next, the attention area follower 19 creates a mask image in the input frame image from the motion vector obtained by the motion vector detector 18 and the previous frame mask image. This is because the motion vector corresponding to the pixel is added to the coordinates of each pixel whose pixel value is “1” in the previous frame mask image, and the pixel value of the mask image in the input frame image is set to “1” for the obtained coordinates. And the pixel values of the remaining pixels of the mask image of the input frame image are set to “0”. Thus, by providing the attention area follower 19, the attention area can be made to follow the movement of the image.

そして、注目領域内階調補正計算部5及び注目領域外階調補正計算部7は、注目領域追従部19で作成したマスク画像を用いて、注目領域内と注目領域外とを区別し、それぞれの領域に対して前述の第一の実施形態と同様に階調補正を行う。ただし、注目領域内階調補正特性と注目領域外階調補正特性は、前フレーム画像で記憶した値をそのまま用いるほうが望ましい。これは、階調補正特性を変更すると補正の程度がフレーム間で変化してしまい、これにより見た目の滑らかさが失われることを防止するためである。   Then, the attention area inside gradation correction calculation section 5 and the attention area outside gradation correction calculation section 7 distinguish the inside of the attention area from the outside of the attention area using the mask image created by the attention area tracking section 19, respectively. The gradation correction is performed on the above area in the same manner as in the first embodiment. However, it is desirable to use the values stored in the previous frame image as they are for the in-region tone correction characteristics and the out-of-interest tone correction characteristics. This is to prevent the degree of correction from being changed between frames when the tone correction characteristics are changed, thereby preventing loss of visual smoothness.

上述のとおり、本実施形態の画像表示装置によれば、動画像に階調補正処理を行う場合に、画像の動きに合わせて、補正の程度を領域ごとに制御することができる。   As described above, according to the image display apparatus of the present embodiment, when gradation correction processing is performed on a moving image, the degree of correction can be controlled for each region in accordance with the motion of the image.

以上において、本発明の画像表示装置に係る各実施形態について説明したが、本発明は表示部を持たない画像処理装置の形態としてもよいことは言うまでもない。また、本発明の画像処理装置あるいは画像表示装置としての機能をコンピュータに実行させるためのプログラムとしての形態も、また、そのプログラムを記録したコンピュータ読み取り可能な記録媒体としての形態としてもよい。   In the above, each embodiment according to the image display apparatus of the present invention has been described, but it goes without saying that the present invention may be configured as an image processing apparatus having no display unit. Further, a form as a program for causing a computer to execute the function as the image processing apparatus or the image display apparatus of the present invention may be used, or a form as a computer-readable recording medium on which the program is recorded.

1…注目領域位置取得部、2…画像分割部、3…中心輝度値決定部、4…注目領域内階調補正特性決定部、5…注目領域内階調補正計算部、6…注目領域外階調補正特性決定部、7…注目領域外階調補正計算部、8…表示部、9…注目領域内階調補正特性決定部、10…全体階調補正特性決定部、11…全体階調補正特性計算部、12…中心輝度値決定部、13…注目領域内階調補正特性決定部、14…注目領域内階調補正計算部、15…表示部、16…修正係数取得部、17…注目領域内階調補正特性決定部、18…動きベクトル検出部、19…注目領域追従部、20…フレームメモリ、21…メモリ。 DESCRIPTION OF SYMBOLS 1 ... Attention area position acquisition part, 2 ... Image division part, 3 ... Center brightness | luminance value determination part, 4 ... Tone area inside tone correction characteristic determination part, 5 ... Attention area inside tone correction calculation part, 6 ... Out of attention area Gradation correction characteristic determination unit, 7 ... Out-of-interest tone correction calculation unit, 8 ... Display unit, 9 ... In-interest region tone correction characteristic determination unit, 10 ... Overall tone correction property determination unit, 11 ... Overall tone Correction characteristic calculation unit, 12... Central luminance value determination unit, 13... In-region gradation correction characteristic determination unit, 14... In-region gradation correction calculation unit, 15 ... Display unit, 16. An attention area gradation correction characteristic determination unit, 18 ... a motion vector detection part, 19 ... an attention area tracking part, 20 ... a frame memory, 21 ... a memory.

Claims (10)

入力画像に対して階調補正を行う画像処理装置であって、
入力画像に対して注目領域を設定する注目領域設定部と、該設定した注目領域の中心画素値を取得する中心画素値取得部と、該取得した中心画素値に基づいて階調補正特性を決定する注目領域内階調補正特性決定部と、該決定した階調補正特性に基づいて前記注目領域内の階調補正を行う注目領域内階調補正計算部と、前記注目領域設定部で設定した注目領域外の画素について画素値の統計量を算出し、該算出した画素値の統計量に基づいて階調補正特性を決定する注目領域外階調補正特性決定部と、該決定した階調補正特性に基づいて前記注目領域外の階調補正を行う注目領域外階調補正計算部とを備えたことを特徴とする画像処理装置。
An image processing apparatus that performs gradation correction on an input image,
An attention area setting section that sets an attention area for the input image, a central pixel value acquisition section that acquires a central pixel value of the set attention area, and gradation correction characteristics are determined based on the acquired central pixel value Set in the attention area gradation correction characteristic determination section, the attention area gradation correction calculation section that performs gradation correction in the attention area based on the determined gradation correction characteristics, and the attention area setting section. A pixel value statistic for a pixel outside the attention area is calculated, and a gradation correction characteristic is determined based on the calculated pixel value statistic, and the determined gradation correction An image processing apparatus, comprising: an outside-of-interest-area gradation correction calculating unit that performs gradation correction outside the above-mentioned area based on characteristics.
請求項1に記載の画像処理装置において、前記注目領域内階調補正特性決定部は、前記注目領域設定部で設定した注目領域内の画素について画素値の統計量を算出し、該算出した画素値の統計量と、前記中心画素値取得部により取得した中心画素値とに基づいて、階調補正特性を決定することを特徴とする画像処理装置。   The image processing apparatus according to claim 1, wherein the in-region tone correction characteristic determination unit calculates a statistic of a pixel value for a pixel in the region of interest set by the region of interest setting unit, and the calculated pixel An image processing apparatus, wherein gradation correction characteristics are determined based on a statistic value and a central pixel value acquired by the central pixel value acquisition unit. 請求項1に記載の画像処理装置において、入力画像全体の画素について画素値の統計量を算出し、該算出した画素値の統計量に基づいて階調補正特性を決定する全体階調補正特性決定部と、該決定した階調補正特性に基づいて前記入力画像全体の階調補正を行う全体階調補正計算部とを備え、前記中心画素値取得部は、前記全体階調補正計算部で階調補正された前記入力画像全体に対して、前記注目領域設定部で設定された注目領域の中心画素値を取得することを特徴とする画像処理装置。   The overall gradation correction characteristic determination according to claim 1, wherein a statistic of a pixel value is calculated for pixels of the entire input image, and a gradation correction characteristic is determined based on the calculated statistic of the pixel value. And an overall tone correction calculation unit that performs tone correction of the entire input image based on the determined tone correction characteristics, and the central pixel value acquisition unit is configured to An image processing apparatus, wherein a central pixel value of an attention area set by the attention area setting unit is acquired for the entire input image subjected to tone correction. 請求項1に記載の画像処理装置において、ユーザによる入力に基づいて、前記注目領域内の階調補正特性を調整するための修正係数を取得する修正係数取得部を備え、前記注目領域内階調補正特性決定部は、前記中心画素値取得部により取得した中心画素値と、前記修正係数取得部により取得した修正係数とに基づいて、階調補正特性を決定することを特徴とする画像処理装置。   The image processing apparatus according to claim 1, further comprising: a correction coefficient acquisition unit that acquires a correction coefficient for adjusting a gradation correction characteristic in the attention area based on an input by a user, The correction characteristic determination unit determines a gradation correction characteristic based on the central pixel value acquired by the central pixel value acquisition unit and the correction coefficient acquired by the correction coefficient acquisition unit. . 請求項1〜4のいずれか1項に記載の画像処理装置において、前記注目領域設定部は、ユーザの操作入力に従って、前記入力画像に対して前記注目領域を設定することを特徴とする画像処理装置。   5. The image processing device according to claim 1, wherein the attention area setting section sets the attention area for the input image in accordance with a user operation input. 6. apparatus. 請求項1〜5のいずれか1項に記載の画像処理装置において、前記統計量は、輝度ヒストグラムであることを特徴とする画像処理装置。   6. The image processing apparatus according to claim 1, wherein the statistic is a luminance histogram. 請求項1〜6のいずれか1項に記載の画像処理装置において、入力画像のフレーム間における動きベクトルに基づいて、前記注目領域設定部により設定された注目領域を追従する注目領域追従部を備え、前記注目領域内階調補正計算部は、前記注目領域追従部により追従される注目領域内に対して、前記注目領域内階調補正特性決定部で決定された階調補正特性に基づく階調補正を行い、前記注目領域外階調補正計算部は、前記注目領域追従部により追従される注目領域外に対して、前記注目領域外階調補正特性決定部で決定された階調補正特性に基づく階調補正を行うことを特徴とする画像処理装置。   The image processing device according to claim 1, further comprising an attention area tracking unit that tracks the attention area set by the attention area setting unit based on a motion vector between frames of the input image. The intra-region-of-interest tone correction calculator calculates a tone based on the tone correction characteristic determined by the intra-region-of-interest tone correction characteristic determination unit with respect to the region of interest tracked by the region-of-interest tracking unit. Correction is performed, and the out-of-focus area tone correction calculation unit has the tone correction characteristic determined by the out-of-focus area tone correction characteristic determination unit with respect to the out-of-focus area that is tracked by the focused area tracking unit. An image processing apparatus performing gradation correction based on the image processing apparatus. 請求項1〜7のいずれか1項に記載の画像処理装置において、前記注目領域内階調補正特性決定部で決定される注目領域内階調補正特性は、コントラストが強調される入力輝度範囲と、コントラストが抑制される入力輝度範囲とを含み、前記中心画素値取得部で取得される中心画素値は、前記コントラストが強調される入力輝度範囲に含まれることを特徴とする画像処理装置。   The image processing apparatus according to claim 1, wherein the in-region tone correction characteristic determined by the in-region tone correction characteristic determination unit is an input luminance range in which contrast is enhanced. And an input luminance range in which contrast is suppressed, and the central pixel value acquired by the central pixel value acquisition unit is included in the input luminance range in which the contrast is enhanced. 請求項6〜8のいずれか1項に記載の画像処理装置において、前記注目領域外階調補正特性決定部は、前記輝度ヒストグラムの度数を輝度値の高いものから順に加算していき、その合計度数が注目領域外の画素数に占める割合が、予め指定した第1の注目領域外閾値を超えない最大の輝度値を白飽和値として決定し、また、前記輝度ヒストグラムの度数を輝度値の低いものから順に加算していき、その合計度数が注目領域外の画素数に占める割合が、予め指定した第2の注目領域外閾値を超えない最小の輝度値を黒飽和値として決定し、前記階調補正特性は、入力輝度値が前記黒飽和値以上で前記白飽和値以下の範囲でコントラストを強調する特性とすることを特徴とする画像処理装置。   9. The image processing apparatus according to claim 6, wherein the out-of-focus area gradation correction characteristic determination unit sequentially adds the frequencies of the luminance histogram in descending order of luminance value, and totals the sums. The maximum luminance value in which the ratio of the frequency to the number of pixels outside the attention area does not exceed the first threshold value outside the attention area specified in advance is determined as a white saturation value, and the frequency of the luminance histogram is low. The minimum luminance value in which the ratio of the total frequency to the number of pixels outside the region of interest does not exceed the second threshold value outside the region of interest specified in advance is determined as a black saturation value. The image processing apparatus is characterized in that the tone correction characteristic is a characteristic that enhances contrast in a range where an input luminance value is not less than the black saturation value and not more than the white saturation value. 請求項1〜9のいずれか1項に記載の画像処理装置と、入力画像を表示する表示部とを備えたことを特徴とする画像表示装置。   An image display device comprising: the image processing device according to claim 1; and a display unit that displays an input image.
JP2009105144A 2009-04-23 2009-04-23 Image processing device and image display device Pending JP2010256536A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009105144A JP2010256536A (en) 2009-04-23 2009-04-23 Image processing device and image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009105144A JP2010256536A (en) 2009-04-23 2009-04-23 Image processing device and image display device

Publications (1)

Publication Number Publication Date
JP2010256536A true JP2010256536A (en) 2010-11-11

Family

ID=43317537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009105144A Pending JP2010256536A (en) 2009-04-23 2009-04-23 Image processing device and image display device

Country Status (1)

Country Link
JP (1) JP2010256536A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014061124A1 (en) * 2012-10-18 2014-04-24 Necディスプレイソリューションズ株式会社 Display device and image display method
WO2018173445A1 (en) * 2017-03-23 2018-09-27 ソニー株式会社 Information processing device, information processing method, information processing system, and program
WO2018180843A1 (en) * 2017-03-29 2018-10-04 シャープ株式会社 Display device
WO2019021366A1 (en) * 2017-07-25 2019-01-31 堺ディスプレイプロダクト株式会社 Gradation display voltage control device and display device equipped with same
US10841659B2 (en) 2017-08-29 2020-11-17 Samsung Electronics Co., Ltd. Video encoding apparatus and video encoding system
CN112037155A (en) * 2020-11-03 2020-12-04 长沙海信智能系统研究院有限公司 Method, device, equipment and medium for determining target attribute structured data

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05153396A (en) * 1991-11-29 1993-06-18 Dainippon Screen Mfg Co Ltd Gradation curve set-up method
JPH06292008A (en) * 1993-04-01 1994-10-18 Konica Corp Dynamic range compression processing unit for radiation picture
JP2000155838A (en) * 1998-09-18 2000-06-06 Canon Inc Image processor, image processing method and computer readable storage medium
JP2002305683A (en) * 2001-04-04 2002-10-18 Olympus Optical Co Ltd Image pickup device and recording medium for recording image pickup program
JP2003248825A (en) * 2002-02-22 2003-09-05 Fuji Xerox Co Ltd Device and method for image processing, image processing program, and storage medium
JP2004072655A (en) * 2002-08-09 2004-03-04 Ricoh Co Ltd Roi region setting device, electronic camera device, roi region setting method, program, and recording medium
JP2004140670A (en) * 2002-10-18 2004-05-13 Sony Corp Image processing apparatus and method therefor, image displaying device and method therefor, image distribution apparatus and method therefor, and program therefor
JP2005175933A (en) * 2003-12-11 2005-06-30 Hitachi Advanced Digital Inc Image processing method
JP2006074130A (en) * 2004-08-31 2006-03-16 Sanyo Electric Co Ltd Image decoding method, image decoding apparatus, and imaging apparatus
JP2006099404A (en) * 2004-09-29 2006-04-13 Sanyo Electric Co Ltd Image display device
JP2006120030A (en) * 2004-10-25 2006-05-11 Seiko Epson Corp Contrast adjusting device and contrast adjusting method
JP2007013471A (en) * 2005-06-29 2007-01-18 Canon Inc Imaging device
JP2008033930A (en) * 2007-07-23 2008-02-14 Fujifilm Corp Picture reproducer
JP2009504222A (en) * 2005-08-09 2009-02-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ System and method for spatially enhancing the structure of noisy images by blind deconvolution

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05153396A (en) * 1991-11-29 1993-06-18 Dainippon Screen Mfg Co Ltd Gradation curve set-up method
JPH06292008A (en) * 1993-04-01 1994-10-18 Konica Corp Dynamic range compression processing unit for radiation picture
JP2000155838A (en) * 1998-09-18 2000-06-06 Canon Inc Image processor, image processing method and computer readable storage medium
JP2002305683A (en) * 2001-04-04 2002-10-18 Olympus Optical Co Ltd Image pickup device and recording medium for recording image pickup program
JP2003248825A (en) * 2002-02-22 2003-09-05 Fuji Xerox Co Ltd Device and method for image processing, image processing program, and storage medium
JP2004072655A (en) * 2002-08-09 2004-03-04 Ricoh Co Ltd Roi region setting device, electronic camera device, roi region setting method, program, and recording medium
JP2004140670A (en) * 2002-10-18 2004-05-13 Sony Corp Image processing apparatus and method therefor, image displaying device and method therefor, image distribution apparatus and method therefor, and program therefor
JP2005175933A (en) * 2003-12-11 2005-06-30 Hitachi Advanced Digital Inc Image processing method
JP2006074130A (en) * 2004-08-31 2006-03-16 Sanyo Electric Co Ltd Image decoding method, image decoding apparatus, and imaging apparatus
JP2006099404A (en) * 2004-09-29 2006-04-13 Sanyo Electric Co Ltd Image display device
JP2006120030A (en) * 2004-10-25 2006-05-11 Seiko Epson Corp Contrast adjusting device and contrast adjusting method
JP2007013471A (en) * 2005-06-29 2007-01-18 Canon Inc Imaging device
JP2009504222A (en) * 2005-08-09 2009-02-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ System and method for spatially enhancing the structure of noisy images by blind deconvolution
JP2008033930A (en) * 2007-07-23 2008-02-14 Fujifilm Corp Picture reproducer

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014061124A1 (en) * 2012-10-18 2014-04-24 Necディスプレイソリューションズ株式会社 Display device and image display method
CN104737222A (en) * 2012-10-18 2015-06-24 Nec显示器解决方案株式会社 Display device and image display method
WO2018173445A1 (en) * 2017-03-23 2018-09-27 ソニー株式会社 Information processing device, information processing method, information processing system, and program
WO2018180843A1 (en) * 2017-03-29 2018-10-04 シャープ株式会社 Display device
WO2019021366A1 (en) * 2017-07-25 2019-01-31 堺ディスプレイプロダクト株式会社 Gradation display voltage control device and display device equipped with same
US10841659B2 (en) 2017-08-29 2020-11-17 Samsung Electronics Co., Ltd. Video encoding apparatus and video encoding system
CN112037155A (en) * 2020-11-03 2020-12-04 长沙海信智能系统研究院有限公司 Method, device, equipment and medium for determining target attribute structured data

Similar Documents

Publication Publication Date Title
JP6758891B2 (en) Image display device and image display method
JP4231071B2 (en) Image display device, image display method, and image display program
RU2413384C2 (en) Device of image processing and method of image processing
JP4903577B2 (en) Video signal converter, video display device
JP2010256536A (en) Image processing device and image display device
US8369644B2 (en) Apparatus and method for reducing motion blur in a video signal
JP2009169411A (en) Image processing device and image display system
JP2008268717A (en) Driving circuit of image display device, and image display method
JP2007298693A (en) Video display device and semiconductor circuit
US20140348428A1 (en) Dynamic range-adjustment apparatuses and methods
JP2010271987A (en) Area classification device, image quality improvement device, image display apparatus, and methods therefor
JP2008125049A (en) Image processing ic, image processing apparatus and back light driving device
US20150029204A1 (en) Dynamic localized contrast enhancement method for image and computer readable medium of the same
JP2021162908A (en) Image processing apparatus and image processing method
JP2001344601A (en) Picture processor and picture processing program
US20190158780A1 (en) Image processing apparatus, control method therefor, image display apparatus, and computer readable storage medium
JP6180135B2 (en) Image display apparatus and control method thereof
JP4339996B2 (en) Video signal processing device for liquid crystal display
JP2010288040A (en) Method and device for correcting contour
CN110956933A (en) Power consumption adjusting method and device for display equipment
JP5486791B2 (en) Image processing device
JPWO2018159288A1 (en) Image processing apparatus, image processing method, and program
JP2014021345A (en) Display device and control method thereof
JP2015022123A (en) Display device, control method of display device, and program
JP6610589B2 (en) Backlight control device, video display device, and backlight control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130212

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130702