JP2018082316A - Image analyzing apparatus and control method of the same - Google Patents
Image analyzing apparatus and control method of the same Download PDFInfo
- Publication number
- JP2018082316A JP2018082316A JP2016223439A JP2016223439A JP2018082316A JP 2018082316 A JP2018082316 A JP 2018082316A JP 2016223439 A JP2016223439 A JP 2016223439A JP 2016223439 A JP2016223439 A JP 2016223439A JP 2018082316 A JP2018082316 A JP 2018082316A
- Authority
- JP
- Japan
- Prior art keywords
- waveform monitor
- image data
- analysis apparatus
- image analysis
- waveform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は画像解析装置およびその制御方法に関する。 The present invention relates to an image analysis apparatus and a control method thereof.
映像撮影現場や編集現場で使用される装置として、波形モニタ、ベクトルスコープがある。波形モニタは、画像データの明度の分布を解析、可視化する装置である。ベクトルスコープは、画像データの色相、彩度の分布を解析、可視化する装置である。これらの装置は、例えば特許文献1に開示されている。
Waveform monitors and vectorscopes are used in video shooting and editing sites. The waveform monitor is a device that analyzes and visualizes the brightness distribution of image data. The vector scope is an apparatus that analyzes and visualizes the hue and saturation distribution of image data. These apparatuses are disclosed in
一方、近年、従来方式よりもより明度のダイナミックレンジが広い画像を実現する方式として、HDR(High Dynamic Range)と呼ばれる方式が提案されている。また、同一の素材(撮影により取得された画像データ)から、従来のSDR(Standard Dynamic Range)方式のコンテンツと、HDR方式のコンテンツの両方を制作する運用も行われている。この運用のように、同一の素材から生まれる複数の方式のコンテンツを解析することに適した画像解析装置が求められている。 On the other hand, in recent years, a method called HDR (High Dynamic Range) has been proposed as a method for realizing an image with a wider dynamic range of brightness than the conventional method. Also, there is an operation of producing both conventional SDR (Standard Dynamic Range) type content and HDR type content from the same material (image data acquired by photographing). As in this operation, there is a demand for an image analysis apparatus suitable for analyzing a plurality of types of content generated from the same material.
前述のSDR方式とHDR方式の両方のコンテンツを制作する運用において、SDR方式向けに画質調整(カラーグレーディング)が施された後に、HDR方式向けに再度画質調整が施される場合もある。この場合、画像解析装置が、HDR方式のコンテンツ(HDR信号)とSDR方式のコンテンツ(SDR信号)の各種特性の対応関係、差異を分かりやすく表示する必要がある。 In the operation for producing both the SDR system and the HDR system, the image quality adjustment (color grading) may be performed for the SDR system, and then the image quality adjustment may be performed again for the HDR system. In this case, it is necessary for the image analysis apparatus to display the correspondences and differences between the various characteristics of the HDR content (HDR signal) and the SDR content (SDR signal) in an easy-to-understand manner.
しかしながら、上述した従来の技術では、HDR方式とSDR方式のコンテンツの解析結果をそれぞれ単独で可視化しており、対応関係、差異を判別することが難しかった。そこで、本発明は、複数の異なる方式のコンテンツの対応関係、差異を可視化できる画像解析装置、およびその制御方法を提供することを目的とする。 However, in the above-described conventional technology, the analysis results of the HDR and SDR contents are visualized independently, and it is difficult to determine the correspondence and the difference. Accordingly, an object of the present invention is to provide an image analysis apparatus capable of visualizing correspondences and differences between contents of a plurality of different methods, and a control method thereof.
本発明の第1態様は、
第1の入力画像データに基づいて、第1の波形モニタを生成する第1の生成手段と、
第2の入力画像データに基づいて、第2の波形モニタを生成する第2の生成手段と、
前記第1の波形モニタと前記第2の波形モニタとを合成する合成手段と、
を備えることを特徴とする画像解析装置である。
The first aspect of the present invention is:
First generation means for generating a first waveform monitor based on the first input image data;
Second generation means for generating a second waveform monitor based on the second input image data;
Synthesis means for synthesizing the first waveform monitor and the second waveform monitor;
An image analysis apparatus comprising:
本発明の第2態様は、
第1の入力画像データに基づいて、第1のベクトルスコープを生成する第1の生成手段と、
第2の入力画像データに基づいて、第2のベクトルスコープを生成する第2の生成手段と、
前記第1のベクトルスコープ及び前記第2のベクトルスコープを、異なる複数の色相範囲に分割し、同じ色相範囲毎に並置した画像を合成する合成手段と、
を備えることを特徴とする画像解析装置である。
The second aspect of the present invention is:
First generation means for generating a first vectorscope based on the first input image data;
Second generation means for generating a second vector scope based on the second input image data;
A synthesizing unit that divides the first vectorscope and the second vectorscope into different hue ranges and synthesizes images juxtaposed for each same hue range;
An image analysis apparatus comprising:
本発明の第3態様は、
第1の入力画像データに基づいて、第1の波形モニタを生成する第1の生成ステップと、
第2の入力画像データに基づいて、第2の波形モニタを生成する第2の生成ステップと、
前記第1の波形モニタと前記第2の波形モニタとを合成する合成ステップと、
を有することを特徴とする画像解析装置の制御方法である。
The third aspect of the present invention is:
A first generation step of generating a first waveform monitor based on the first input image data;
A second generation step of generating a second waveform monitor based on the second input image data;
A combining step of combining the first waveform monitor and the second waveform monitor;
It is a control method of the image-analysis apparatus characterized by having.
本発明の第4態様は、
第1の入力画像データに基づいて、第1のベクトルスコープを生成する第1の生成ステップと、
第2の入力画像データに基づいて、第2のベクトルスコープを生成する第2の生成ステップと、
前記第1のベクトルスコープ及び前記第2のベクトルスコープを、異なる複数の色相範囲に分割し、同じ色相範囲毎に並置した画像を合成する合成ステップと、
を有することを特徴とする画像解析装置の制御方法である。
The fourth aspect of the present invention is:
A first generation step of generating a first vectorscope based on the first input image data;
A second generation step of generating a second vectorscope based on the second input image data;
A synthesis step of dividing the first vectorscope and the second vectorscope into a plurality of different hue ranges and synthesizing images juxtaposed for each same hue range;
It is a control method of the image-analysis apparatus characterized by having.
本発明の第5態様は、本発明に係る画像解析装置の制御方法の各ステップをコンピュータに実行させるためのプログラムである。 A fifth aspect of the present invention is a program for causing a computer to execute each step of the control method for the image analysis apparatus according to the present invention.
本発明によれば、複数の異なる方式のコンテンツの対応関係、差異の可視化を可能にする。 According to the present invention, it is possible to visualize the correspondence and difference between contents of different types.
<実施例1>
本実施例では、画像データの明度の分布に関して、HDR方式のコンテンツ(HDR信号)とSDR方式のコンテンツ(SDR信号)の対応関係、差異を可視化できる波形モニタの例を説明する。なお、本明細書では波形モニタという用語を、画像解析装置が画像データを解析した結果(グラフ)を指すものとしても用いる。
<Example 1>
In the present embodiment, an example of a waveform monitor that can visualize the correspondence and difference between HDR content (HDR signal) and SDR content (SDR signal) regarding the brightness distribution of image data will be described. In this specification, the term “waveform monitor” is also used to indicate the result (graph) of image data analyzed by the image analysis apparatus.
図1は、本実施例に係る画像解析装置の概略構成を示したブロック図である。画像解析装置は、画像データ131および画像データ141の2系統の画像データを入力できる。以下では、画像データ131がSDR信号、画像データ141がHDR信号であるとして説明する。画像解析装置は、画像データ131および画像データ141を解析し、その結果を可視化する。画像解析装置は、画像データ131に基づく画像を表示部123に表示
可能である。画像データ131および画像データ141は、HDMI(High Definition Multimedia Interface、登録商標)などの方式の画像データである。
FIG. 1 is a block diagram illustrating a schematic configuration of the image analysis apparatus according to the present embodiment. The image analysis apparatus can input two types of image data, image data 131 and image data 141. In the following description, it is assumed that the image data 131 is an SDR signal and the image data 141 is an HDR signal. The image analysis apparatus analyzes the image data 131 and the image data 141 and visualizes the results. The image analysis apparatus can display an image based on the image data 131 on the display unit 123. The image data 131 and the image data 141 are image data of a scheme such as HDMI (High Definition Multimedia Interface, registered trademark).
本実施例に係る画像解析装置は、画像データ131の系統に関して、入力部101、ガンマ変換部102、解析部103、描画部104、画質調整部121を有する。また、本実施例に係る画像解析装置は、画像データ141の系統に関して、入力部111、ガンマ変換部112、解析部113、描画部114を有する。さらに本実施例に係る画像解析装置は、合成部122および表示部123を有する。
The image analysis apparatus according to the present embodiment includes an
入力部101および入力部111は、デコードなど、入力された画像データの変換処理を行う。例えば入力部101および入力部111は、HDMI(登録商標)方式の画像データを受信し、TMDS(Transition Minimized Differential Signaling、登録商標)のデコードなどの処理を行う。ガンマ変換部102は、画像データ131の画素値を実際の輝度に応じた値に変換する。ガンマ変換部112は、画像データ141の画素値を実際の輝度に応じた値に変換する。変換の詳細は、後述する。
The
解析部103および解析部113は、画像データの各画素について、位置と輝度値の情報を取得する。例えば解析部103および解析部113は、各画素の水平方向位置と輝度値を取得し、(x,A)のように整理する。ここで、xは該当する画素の水平方向位置を表し、Aは輝度値を表すものとする。さらに解析部103および解析部113は、(x,A)に対応する画素数を計数する。よって、任意の水平方向位置に属し、任意の輝度値である画素の数が計数される。なお、本実施例では各画素について水平方向位置を取得するものとしたが、垂直方向位置が取得されてもよい。また、輝度値については絶対輝度値が取得されてもよいし、例えば対応する輝度値を最大輝度値で除した相対輝度値が取得されてもよい。輝度については、異なる方式の画像コンテンツの明度を比較可能な指標であれば、本実施例に適用できる。 The analysis unit 103 and the analysis unit 113 acquire position and luminance value information for each pixel of the image data. For example, the analysis unit 103 and the analysis unit 113 obtain the horizontal position and the luminance value of each pixel and arrange them as (x, A). Here, x represents the horizontal position of the corresponding pixel, and A represents the luminance value. Further, the analysis unit 103 and the analysis unit 113 count the number of pixels corresponding to (x, A). Therefore, the number of pixels belonging to an arbitrary horizontal position and having an arbitrary luminance value is counted. In the present embodiment, the horizontal position is acquired for each pixel, but the vertical position may be acquired. Moreover, an absolute luminance value may be acquired about a luminance value, for example, the relative luminance value which remove | divided the corresponding luminance value by the maximum luminance value may be acquired. As for luminance, any index that can compare the brightness of image contents of different methods can be applied to this embodiment.
描画部104および描画部114は、解析部103および解析部113の解析結果に基づいて波形モニタを描画する。描画部104は、本実施例では画像データの水平方向位置を横軸、ガンマ変換部102が出力した実際の輝度を縦軸として、波形モニタを描画する。また、描画部114は、画像データの水平方向位置を横軸、ガンマ変換部112が出力した実際の輝度を縦軸として、波形モニタを描画する。なお、以下では波形モニタの輝度を示す軸を明度軸とも呼ぶ。本実施例では、縦軸が明度軸である。
The
画質調整部121は、画像データ131に色味や明度の画質調整を行い、画像解析装置が表示する画像を生成する。
合成部122は、画質調整部121が出力した画像、描画部104および描画部114が出力した波形モニタの描画画像を合成する。より具体的には、合成部122は、波形モニタが有する明度軸同士を対応付けて、2つの波形モニタを並置した画像を合成する。合成部122は、画質調整部121が出力した画像に波形モニタを重畳してもよいし、画質調整部121が出力した画像、波形モニタだけの画像を単独で表示用の合成画像としてもよい。またそれらの表示モードがユーザーの入力によって切り替えられてもよい。
表示部123は、合成部122が出力した合成画像を表示する。
The image
The combining unit 122 combines the image output from the image
The display unit 123 displays the composite image output from the composition unit 122.
なお、本実施例に係る画像解析装置が備える各機能部は、CPU(Central Processing Unit、不図示)の動作として実現される。具体的には、上述の各機能部は、不揮発性メモリ(不図示)に格納されたプログラムがRAM(Random
Access Memory)などのワークメモリ(不図示)に展開され、これをCP
Uが実行することにより実現される。
Each functional unit included in the image analysis apparatus according to the present embodiment is realized as an operation of a CPU (Central Processing Unit, not shown). Specifically, each function unit described above stores a program stored in a non-volatile memory (not shown) in a RAM (Random).
It is expanded to work memory (not shown) such as Access Memory)
This is realized by executing U.
以下に、図を参照しながら、ガンマ変換部102、解析部103、描画部104、ガンマ変換部112、解析部113、描画部114の詳細を説明する。
図2Aは、本実施例に係る画像解析装置のガンマ変換部102の変換特性を示すグラフである。横軸が入力される画像データ131の入力画素値であり、縦軸が出力輝度値である。本実施例では、画像データ131のガンマが2.2、最大輝度が100cd/m2であるとする。また、本実施例では、画像データ131(ガンマ変換部102への入力)およびガンマ変換部102の出力は、10ビットのデジタルデータであるとする。ガンマ変換部102の入力の値域は、0〜1023であり、0が最も暗い黒色、1023が最も明るい白色に対応する。ガンマ変換部102の出力の値域は、0〜100であり、0が最も暗い黒色、100が最も明るい白色に対応する。画像データ131の最大輝度が100cd/m2であるから、ガンマ変換部102の入力が1023であるとき、出力は100であり、輝度値は100cd/m2であることを意味する。また、ガンマ変換部102の入力が0であるとき、出力は0であり、輝度値は0cd/m2であることを意味する。
Details of the
FIG. 2A is a graph illustrating conversion characteristics of the
図2Bは、本実施例に係る画像解析装置のガンマ変換部112の変換特性を示すグラフである。本実施例では、画像データ141のガンマが、SMPTE ST 2084に規定されたReference Electro−Optical Transfer Function、最大輝度が400cd/m2であるとする。また、画像データ141(ガンマ変換部112への入力)およびガンマ変換部112の出力は、10ビットのデジタルデータであるとする。ガンマ変換部112の入力の値域は、0〜1023であり、0が最も暗い黒色に対応する。入力の値が668のとき最も明るい白色となり、668〜1023の間では、出力値がクリップする。ガンマ変換部112の出力の値域は、0〜400であり、0が最も暗い黒色、400が最も明るい白色に対応する。画像データ141の最大輝度が400cd/m2であるから、ガンマ変換部112の入力が668〜1023であるとき、出力は400であり、輝度値は400cd/m2であることを意味する。また、ガンマ変換部112の入力が0であるとき、出力は0であり、輝度値は0cd/m2であることを意味する。 FIG. 2B is a graph illustrating conversion characteristics of the gamma conversion unit 112 of the image analysis apparatus according to the present embodiment. In the present embodiment, it is assumed that the gamma of the image data 141 is Reference Electro-Optical Transfer Function defined in SMPTE ST 2084, and the maximum luminance is 400 cd / m 2 . The image data 141 (input to the gamma conversion unit 112) and the output of the gamma conversion unit 112 are 10-bit digital data. The input value range of the gamma conversion unit 112 is 0 to 1023, and 0 corresponds to the darkest black. When the input value is 668, the color is brightest white, and the output value is clipped between 668 and 1023. The output value range of the gamma conversion unit 112 is 0 to 400, with 0 corresponding to the darkest black and 400 corresponding to the brightest white. Since the maximum luminance of the image data 141 is 400 cd / m 2 , when the input of the gamma conversion unit 112 is 668 to 1023, it means that the output is 400 and the luminance value is 400 cd / m 2 . Further, when the input of the gamma conversion unit 112 is 0, the output is 0, and the luminance value is 0 cd / m 2 .
解析部103は、ガンマ変換部102が出力した結果に基づいて、各位置、輝度値に対応する画素の数を計数する。例えば解析部103は、各水平位置について、輝度値毎の画素数の計数を行う。解析部103は、水平方向位置が0である画素に対して(垂直方向位置は任意)、ガンマ変換部102が出力した輝度値が0である画素の数、輝度値が1である画素の数・・・輝度値が100である画素の数を計数する。同様に、解析部103は、水平方向位置が1である画素に対して、上述のように各輝度値に対応する画素数の計数を繰り返し、全水平方向位置に対して計数を行う。
The analysis unit 103 counts the number of pixels corresponding to each position and luminance value based on the result output from the
解析部103と同様に、解析部113は、ガンマ変換部112が出力した輝度値を計数する。水平方向位置が0である画素に対して(垂直方向位置は任意)、ガンマ変換部112が出力した輝度値が0である画素の数、輝度値が1である画素の数・・・輝度値が400である画素の数を計数する。同様に、水平方向位置が1である画素に対して、上述のように各輝度値に対応する画素数の計数を繰り返し、全水平位置に対して画素を計数する。 Similar to the analysis unit 103, the analysis unit 113 counts the luminance values output from the gamma conversion unit 112. For pixels whose horizontal position is 0 (the position in the vertical direction is arbitrary), the number of pixels whose luminance value output by the gamma conversion unit 112 is 0, the number of pixels whose luminance value is 1,... Count the number of pixels that are 400. Similarly, the counting of the number of pixels corresponding to each luminance value is repeated for the pixel whose horizontal position is 1, as described above, and the pixels are counted for all horizontal positions.
描画部104は、解析部103が計数した結果に基づき、波形モニタを描画する。本実施例では、波形モニタは、横軸を画像データ131の水平方向位置を示す位置軸、縦軸をガンマ変換部102が出力した輝度値を示す明度軸として、解析部103が計数した画素の数にプロットの輝度または色を対応づけて、プロットする。
同様に、描画部114は、解析部113が計数した結果に基づき、波形モニタを描画する。波形モニタは、横軸を画像データ141の水平方向位置を示す位置軸、縦軸をガンマ
変換部112が出力した輝度値を示す明度軸として、解析部113が計数した画素の数にプロットの輝度または色を対応づけて、プロットする。これにより、水平方向位置、輝度値、対応する画素数の情報が波形モニタ上に表れる。
The
Similarly, the drawing unit 114 draws a waveform monitor based on the result counted by the analysis unit 113. In the waveform monitor, the horizontal axis is the position axis indicating the horizontal position of the image data 141, and the vertical axis is the brightness axis indicating the luminance value output by the gamma conversion unit 112. Or plot the colors in correspondence. Thereby, information on the horizontal position, the luminance value, and the number of corresponding pixels appears on the waveform monitor.
図3に、本実施例における波形モニタの描画例を示す。左側が、描画部104が画像データ131を解析した結果を描画したものであり、右側が、描画部114が画像データ141を解析した結果を描画したものである。画像データ131は、静止画であり、その画像を図4Aに示す。画像データ131の静止画は、図4Aに示すように、3通りの輝度値から構成され、各輝度値は、図4Bに示す通りである。画像データ141は、静止画であり、その画像を図5Aに示す。画像データ141の静止画は、図5Aに示すように、3通りの輝度値から構成され、各輝度値は、図5Bに示す通りである。
FIG. 3 shows a drawing example of the waveform monitor in this embodiment. The drawing on the left shows the result of the image data 131 being analyzed by the
合成部122は、2つの波形モニタの明度軸に共通に含まれる範囲を対応付けて、波形モニタを並置する。本実施例では、合成部122は、明度軸に共通に含まれる範囲の位置を合わせて、2つの波形モニタを並置する。より具体的には、図3に示すように、合成部122は、画像データ131に基づく波形モニタと画像データ141に基づく波形モニタに共通に含まれる値域である0〜100cd/m2の位置を合わせて、2つの波形モニタを並置した画像を生成する。これによって、SDR信号(画像データ131)とHDR信号(画像データ141)の波形モニタの明度(輝度値)が対応づけられて表示され、両信号の輝度分布の関係が把握しやすくなる。 The synthesizer 122 correlates the ranges included in common with the brightness axes of the two waveform monitors, and juxtaposes the waveform monitors. In the present embodiment, the synthesis unit 122 aligns the positions of the range included in common with the brightness axis, and juxtaposes the two waveform monitors. More specifically, as illustrated in FIG. 3, the synthesizing unit 122 sets the position of 0 to 100 cd / m 2 that is a value range that is commonly included in the waveform monitor based on the image data 131 and the waveform monitor based on the image data 141. In addition, an image in which two waveform monitors are juxtaposed is generated. As a result, the brightness (luminance value) of the waveform monitor of the SDR signal (image data 131) and the HDR signal (image data 141) is displayed in association with each other, and the relationship between the luminance distributions of both signals can be easily grasped.
なお、本実施例では、画像解析装置が、画像データ131を表示する構成として説明したが、画像データ141を表示する構成でもよい。また、画像解析装置が、画像データ131と画像データ141を同時に表示する構成でもよい。また、これらの構成がユーザーの入力によって切り替えられてもよい。
図2Aに示したガンマ変換部102の変換特性、図2Bに示したガンマ変換部112の変換特性は一例であり、異なる特性で本発明を実施することも可能である。
図4Aに示した画像データ131の画像、図4Bに示した画像データ141の画像は、一例であり、別の画像の信号に対して、本発明を実施することも可能である。
In the present embodiment, the image analysis apparatus has been described as a configuration for displaying the image data 131, but a configuration for displaying the image data 141 may be used. Further, the image analysis apparatus may be configured to display the image data 131 and the image data 141 at the same time. These configurations may be switched by user input.
The conversion characteristics of the
The image of the image data 131 shown in FIG. 4A and the image of the image data 141 shown in FIG. 4B are examples, and the present invention can also be implemented for signals of other images.
<実施例2>
本実施例では、画像データの明度の分布に関して、HDR信号とSDR信号の対応関係、差異を可視化できる波形モニタの例を説明する。以下の説明では、実施例1との差異のみ記述する。
<Example 2>
In the present embodiment, an example of a waveform monitor that can visualize the correspondence and difference between HDR signals and SDR signals regarding the distribution of brightness of image data will be described. In the following description, only differences from the first embodiment will be described.
図6は、本実施例における波形モニタの描画例である。左側が、描画部104が画像データ131を解析した結果を描画したものであり、右側が、描画部114が画像データ141を解析した結果を描画したものである。画像データ131および画像データ141は、図4Aおよび図5Aに示す静止画である。
FIG. 6 is a drawing example of the waveform monitor in this embodiment. The drawing on the left shows the result of the image data 131 being analyzed by the
図6に示すように、合成部122は、画像データ131に基づく波形モニタと画像データ141に基づく波形モニタに共通に含まれる値域である0〜100cd/m2の位置を合わせて、2つの波形モニタを並置する。さらに本実施例では、合成部122が明度軸に共通に含まれる範囲外の範囲を圧縮して、2つの波形モニタを並置する。具体的には、合成部122が画像データ141に基づく波形モニタにだけ含まれる値域である100〜400cd/m2に関する解析結果を、0〜100cd/m2の範囲に比べて、狭い範囲に圧縮して表示している。これによって、共通の値域の情報が強調され、2つの方式の画像コンテンツの比較が容易となる。 As illustrated in FIG. 6, the combining unit 122 aligns the positions of 0 to 100 cd / m 2 , which is a value range that is commonly included in the waveform monitor based on the image data 131 and the waveform monitor based on the image data 141, to thereby form two waveforms. Juxtapose monitors. Furthermore, in this embodiment, the combining unit 122 compresses a range outside the range that is commonly included in the brightness axis, and juxtaposes two waveform monitors. Specifically, the synthesis unit 122 compresses the analysis result relating to 100 to 400 cd / m 2, which is a range included only in the waveform monitor based on the image data 141, to a narrow range compared to the range of 0 to 100 cd / m 2. Is displayed. This emphasizes the information in the common range and makes it easy to compare the two types of image content.
<実施例3>
本実施例では、画像データの明度の分布に関して、HDR信号とSDR信号の対応関係、差異を可視化できる波形モニタの例を説明する。以下の説明では、実施例1との差異のみ記述する。
<Example 3>
In the present embodiment, an example of a waveform monitor that can visualize the correspondence and difference between HDR signals and SDR signals regarding the distribution of brightness of image data will be described. In the following description, only differences from the first embodiment will be described.
図7に、本実施例に係る波形モニタの描画例を示す。左側が、描画部104が画像データ131を解析した結果を描画したものであり、右側が、描画部114が画像データ141を解析した結果を描画したものである。画像データ131および画像データ141は、図4Aおよび図5Aに示す静止画である。
FIG. 7 shows a drawing example of the waveform monitor according to the present embodiment. The drawing on the left shows the result of the image data 131 being analyzed by the
本実施例では、波形モニタの縦軸を百分率で表示している。描画部104が描画している画像データ131の波形モニタは、画像データ131の値域0〜100cd/m2に、0〜100%が対応付けられている。描画部114が描画している画像データ141の波形モニタは、画像データ141の値域0〜400cd/m2に、0〜400%が対応付けられている。
In this embodiment, the vertical axis of the waveform monitor is displayed as a percentage. In the waveform monitor of the image data 131 drawn by the
本実施例では、合成部122が明度軸に共通に含まれる特定の値の位置を合わせて、2つの波形モニタを並置する。具体的には、図7に示すように、縦軸18%の位置が、描画部104が描画している画像データ131の波形モニタと描画部114が描画している画像データ141の波形モニタとで同一の位置になるように、合成部122が合成画像を生成する。この方法によれば、本実施例のように縦軸のスケールの異なる2つの波形モニタを比較する際に、基準となる特徴的な共通の縦軸の値を合わせることによって、2つの画像コンテンツの比較が容易になる。
In the present embodiment, the synthesis unit 122 aligns the positions of specific values that are commonly included in the brightness axis, and juxtaposes two waveform monitors. Specifically, as shown in FIG. 7, the position of the
<実施例4>
本実施例では、画像データの色相と彩度の分布に関して、HDR信号とSDR信号の対応関係、差異を可視化できるベクトルスコープの例を説明する。なお、ベクトルスコープとは画像データの色分布を色相と彩度で表現する装置である。具体的には、ベクトルスコープは、色相を角度、彩度を中心からの距離で示した円(色相環)を解析結果として表示する。なお、本明細書ではベクトルスコープという用語を、画像解析装置が画像データを解析した結果(グラフ)を指すものとしても用いる。
<Example 4>
In the present embodiment, an example of a vector scope that can visualize the correspondence and difference between the HDR signal and the SDR signal with respect to the hue and saturation distribution of the image data will be described. A vectorscope is a device that expresses the color distribution of image data with hue and saturation. Specifically, the vectorscope displays a circle (hue ring) indicating hue as an angle and saturation as a distance from the center as an analysis result. In this specification, the term vector scope is also used to indicate the result (graph) of image data analyzed by the image analysis apparatus.
図8に、本実施例に係る画像解析装置の概略構成を示すブロック図を示す。図1に示した実施例1のブロック図とは異なり、ガンマ変換部がなく、入力部101と解析部803(入力部111と解析部813)が直接接続される。解析部803、描画部804、解析部813、描画部814、合成部822は、実施例1とは、その動作が異なるため、詳細を後述する。他の構成部位の動作は、実施例1と同様である。
FIG. 8 is a block diagram illustrating a schematic configuration of the image analysis apparatus according to the present embodiment. Unlike the block diagram of the first embodiment shown in FIG. 1, there is no gamma conversion unit, and the
解析部803および解析部813は、画像データの各画素に対して、R−Y値、B−Y値を算出する。なお、本実施例では画像データは色差信号であるとする。R−Y値、B−Y値は、色差信号である画像データから各種演算をすれば算出可能であるが、この方法は公知であるため説明は省略する。 The analysis unit 803 and the analysis unit 813 calculate an RY value and a BY value for each pixel of the image data. In this embodiment, it is assumed that the image data is a color difference signal. The RY value and the BY value can be calculated by performing various calculations from image data that is a color difference signal. However, since this method is known, the description thereof is omitted.
描画部804は、B−Y値を横軸、R−Y値を縦軸として、ベクトルスコープを描画し、解析部803が算出したR−Y値およびB−Y値をプロットする。描画部814は、B−Y値を横軸、R−Y値を縦軸として、ベクトルスコープを描画し、解析部813が算出したR−Y値およびB−Y値をプロットする。
The
図9に、本実施例におけるベクトルスコープの描画例を示す。左側が、描画部804が画像データ131を解析した結果を描画したものであり、右側が、描画部814が画像データ141を解析した結果を描画したものである。画像データ131および画像データ1
41は、静止画であり、その画像を図10Aに示す。画像データ131および画像データ141の静止画は、図10Aに示すように、8通りの色から構成され、各色は、図10Bに示す通りである。図10Aには、色のみ記載してあるが、画像データ131および画像データ141の明度は、互いに異なっていてもよいし、同じでもよい。
FIG. 9 shows a drawing example of the vector scope in the present embodiment. The drawing on the left shows the result of analyzing the image data 131 by the
Reference numeral 41 denotes a still image, and the image is shown in FIG. 10A. As shown in FIG. 10A, the still images of the image data 131 and the image data 141 are composed of eight colors, and each color is as shown in FIG. 10B. Although only the color is described in FIG. 10A, the brightness of the image data 131 and the image data 141 may be different from each other or the same.
合成部822は、描画部804および描画部814が描画した2つのベクトルスコープをそれぞれ2分割し、B−Y値が負の色相範囲同士、B−Y値が正の色相範囲同士を並置する。さらに、合成部822は、B−Y値が負の色相範囲同士を並置する場合に、B−Y値の増加方向が内側を向くように対称的に配置し、B−Y値が正の色相範囲同士を並置する場合にB−Y値の増加方向が外側を向くように対称的に配置する。具体的には、図9に示すように、合成部822は、B−Y値が負のとき、画像データ131の解析結果を上部左側にプロットする。合成部822は、B−Y値が正のとき、画像データ131の解析結果を下部左側にプロットする。合成部822は、B−Y値が負のとき、画像データ141の解析結果を上部右側にプロットする。合成部822は、B−Y値が正のとき、画像データ141の解析結果を下部右側にプロットする。
The synthesizing unit 822 divides each of the two vector scopes drawn by the
上述のように本実施例では、合成部822が2つのベクトルスコープを異なる複数の色相範囲に分割し、同じ色相範囲毎に、互いの色相環の位置関係が対称的になるように並置した。これにより、SDR信号(画像データ131)とHDR信号(画像データ141)に基づくベクトルスコープの色相および彩度が対応づけられて表示され、両信号の色相および彩度の分布の関係が把握しやすくなる。 As described above, in this embodiment, the combining unit 822 divides the two vector scopes into a plurality of different hue ranges, and arranges them in parallel so that the positional relationship of the hue rings is symmetrical for each same hue range. Accordingly, the hue and saturation of the vector scope based on the SDR signal (image data 131) and the HDR signal (image data 141) are displayed in correspondence with each other, and the relationship between the hue and saturation distribution of both signals can be easily grasped. Become.
上述のようなベクトルスコープの配置方法において、R−Y値、B−Y値のスケールを合わせることによって、入力されるコンテンツ同士の比較がより容易になることは言うまでもない。この場合、例えば、R−Y値、B−Y値のいずれか一方の軸だけのスケールを合わせることも本実施例に含まれる。
また、本実施例ではベクトルスコープを2分割としたが、3以上に分割する場合も本実施例に含まれる。この場合も、同一の色相範囲を対称的に配置することで、両信号の色相および彩度の分布の関係の把握が容易になる。
In the vector scope arrangement method as described above, it is needless to say that comparison of input contents becomes easier by adjusting the scales of the RY value and BY value. In this case, for example, it is also included in the present embodiment to adjust the scale of only one of the RY value and BY value.
Further, although the vector scope is divided into two in this embodiment, a case where the vector scope is divided into three or more is also included in this embodiment. Also in this case, by arranging the same hue range symmetrically, it becomes easy to grasp the relationship between the hue and saturation distribution of both signals.
なお、上述の実施例1〜4では、異なる複数の方式としてHDR方式とSDR方式を例に説明したが、これら以外の方式のコンテンツについても、本発明は適用可能である。例えば、画像データ131と画像データ141がダイナミックレンジの異なる2つの画像データである場合にも本発明は適用可能である。また、3つ以上の異なる方式のコンテンツに本発明を適用することも可能である。 In the first to fourth embodiments described above, the HDR method and the SDR method have been described as an example of a plurality of different methods, but the present invention can also be applied to content of other methods. For example, the present invention can also be applied when the image data 131 and the image data 141 are two image data having different dynamic ranges. Also, the present invention can be applied to content of three or more different methods.
なお、実施例1〜4はあくまで一例であり、本発明の要旨の範囲内で実施例1〜4の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例1〜4の構成を適宜組み合わせて得られる構成も、本発明に含まれる。
例えば、波形モニタの縦軸、横軸の割り当て方は任意である。縦軸又は横軸のいずれか一方は明度を示し、もう一方は入力画像データに基づく画像の水平または垂直位置を示す波形モニタは本発明に含まれる。
また、実施例1〜4では解析結果の比較をより容易にするため、波形モニタの明度軸あるいはベクトルスコープの色相範囲を対応付けたが、これらは必須ではない。合成部は、複数の波形モニタあるいはベクトルスコープを1つの描画画像に合成し、これによってユーザーが各解析結果を比較可能であればよい。したがって、各実施例の合成された描画画像には、明度軸や色相範囲の対応付けのない、複数の解析結果が1つの画像中に合成された描画画像も含まれる。これによってユーザーは、1つの画像の情報に基づいて、方式の異なる複数のコンテンツを容易に比較できる。
In addition, Examples 1-4 are an example to the last, and the structure obtained by changing suitably and changing the structure of Examples 1-4 within the range of the summary of this invention is also contained in this invention. Configurations obtained by appropriately combining the configurations of Examples 1 to 4 are also included in the present invention.
For example, how to assign the vertical and horizontal axes of the waveform monitor is arbitrary. A waveform monitor in which either the vertical axis or the horizontal axis indicates the brightness and the other indicates the horizontal or vertical position of the image based on the input image data is included in the present invention.
Further, in Examples 1 to 4, the lightness axis of the waveform monitor or the hue range of the vector scope is associated in order to make the comparison of analysis results easier, but these are not essential. The synthesizing unit only needs to synthesize a plurality of waveform monitors or vector scopes into one drawing image, so that the user can compare the analysis results. Therefore, the combined drawing image of each embodiment includes a drawing image in which a plurality of analysis results are combined in one image without association of the brightness axis and the hue range. Thus, the user can easily compare a plurality of contents with different methods based on information of one image.
(その他の実施例)
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
なお、実施例1〜4の装置の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。2つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。1つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。1つの機能部の2つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。 In addition, each function part of the apparatus of Examples 1-4 may be individual hardware, and may not be so. The functions of two or more functional units may be realized by common hardware. Each of a plurality of functions of one functional unit may be realized by individual hardware. Two or more functions of one functional unit may be realized by common hardware. Each functional unit may be realized by hardware or not. For example, the apparatus may include a processor and a memory in which a control program is stored. The functions of at least some of the functional units included in the apparatus may be realized by the processor reading and executing the control program from the memory.
101、111:入力部 102、112:ガンマ変換部 103、113:解析部
104、114:描画部 123:表示部
101, 111:
Claims (21)
第2の入力画像データに基づいて、第2の波形モニタを生成する第2の生成手段と、
前記第1の波形モニタと前記第2の波形モニタとを合成する合成手段と、
を備えることを特徴とする画像解析装置。 First generation means for generating a first waveform monitor based on the first input image data;
Second generation means for generating a second waveform monitor based on the second input image data;
Synthesis means for synthesizing the first waveform monitor and the second waveform monitor;
An image analysis apparatus comprising:
前記合成手段は、前記第1の波形モニタと前記第2の波形モニタの明度軸同士を対応付けて、前記第1の波形モニタと前記第2の波形モニタとを合成する
ことを特徴とする請求項1に記載の画像解析装置。 The first waveform monitor and the second waveform monitor have a brightness axis;
The synthesizing unit synthesizes the first waveform monitor and the second waveform monitor by associating brightness axes of the first waveform monitor and the second waveform monitor. Item 2. The image analysis device according to Item 1.
ことを特徴とする請求項2に記載の画像解析装置。 The image analysis apparatus according to claim 2, wherein the synthesizing unit juxtaposes the first waveform monitor and the second waveform monitor.
ことを特徴とする請求項2または3に記載の画像解析装置。 4. The image analysis apparatus according to claim 2, wherein the synthesizing unit associates a range included in common with the brightness axis of the first waveform monitor and the brightness axis of the second waveform monitor. 5.
ことを特徴とする請求項4に記載の画像解析装置。 The image analysis apparatus according to claim 4, wherein the synthesizing unit aligns the first waveform monitor and the second waveform monitor by aligning positions of the commonly included ranges.
ことを特徴とする請求項4または5に記載の画像解析装置。 The image analysis apparatus according to claim 4, wherein the synthesizing unit compresses a range outside the commonly included range.
ことを特徴とする請求項2または3に記載の画像解析装置。 4. The image according to claim 2, wherein the synthesizing unit aligns the first waveform monitor and the second waveform monitor in alignment with a position of a specific value commonly included in the brightness axis. Analysis device.
ことを特徴とする請求項2から7のいずれか1項に記載の画像解析装置。 In the first waveform monitor and the second waveform monitor, either the vertical axis or the horizontal axis indicates the brightness, the other indicates the horizontal or vertical position of the image based on the input image data, and on the waveform monitor. The image analysis apparatus according to any one of claims 2 to 7, wherein the plotted point is a graph indicating information on the number of corresponding pixels in luminance or color.
第2の入力画像データに基づいて、第2のベクトルスコープを生成する第2の生成手段と、
前記第1のベクトルスコープ及び前記第2のベクトルスコープを、異なる複数の色相範囲に分割し、同じ色相範囲毎に並置した画像を合成する合成手段と、
を備えることを特徴とする画像解析装置。 First generation means for generating a first vectorscope based on the first input image data;
Second generation means for generating a second vector scope based on the second input image data;
A synthesizing unit that divides the first vectorscope and the second vectorscope into different hue ranges and synthesizes images juxtaposed for each same hue range;
An image analysis apparatus comprising:
ことを特徴とする請求項1から9のいずれか1項に記載の画像解析装置。 10. The image analysis device according to claim 1, wherein a dynamic range of luminance of the second input image data is different from a dynamic range of luminance of the first input image data. 11.
第2の入力画像データに基づいて、第2の波形モニタを生成する第2の生成ステップと、
前記第1の波形モニタと前記第2の波形モニタとを合成する合成ステップと、
を有することを特徴とする画像解析装置の制御方法。 A first generation step of generating a first waveform monitor based on the first input image data;
A second generation step of generating a second waveform monitor based on the second input image data;
A combining step of combining the first waveform monitor and the second waveform monitor;
A control method for an image analysis apparatus, comprising:
前記合成ステップでは、前記第1の波形モニタと前記第2の波形モニタの明度軸同士を対応付けて、前記第1の波形モニタと前記第2の波形モニタとを合成する
ことを特徴とする請求項11に記載の画像解析装置の制御方法。 The first waveform monitor and the second waveform monitor have a brightness axis;
In the synthesis step, the first waveform monitor and the second waveform monitor are synthesized by associating the brightness axes of the first waveform monitor and the second waveform monitor with each other. Item 12. A method for controlling an image analysis apparatus according to Item 11.
ことを特徴とする請求項12または13に記載の画像解析装置の制御方法。 14. The image analysis according to claim 12 or 13, wherein in the synthesis step, a range that is commonly included in the brightness axis of the first waveform monitor and the brightness axis of the second waveform monitor is associated with each other. Control method of the device.
ことを特徴とする請求項14に記載の画像解析装置の制御方法。 The control of the image analysis apparatus according to claim 14, wherein, in the synthesis step, the first waveform monitor and the second waveform monitor are juxtaposed in alignment with the position of the commonly included range. Method.
ことを特徴とする請求項14または15に記載の画像解析装置の制御方法。 16. The method according to claim 14, wherein in the synthesis step, a range outside the commonly included range is compressed.
ことを特徴とする請求項12または13に記載の画像解析装置の制御方法。 14. The composition step according to claim 12, wherein the first waveform monitor and the second waveform monitor are juxtaposed in alignment with a position of a specific value commonly included in the brightness axis. Control method of image analysis apparatus.
ことを特徴とする請求項12から17のいずれか1項に記載の画像解析装置の制御方法。 In the first waveform monitor and the second waveform monitor, either the vertical axis or the horizontal axis indicates the brightness, the other indicates the horizontal or vertical position of the image based on the input image data, and on the waveform monitor. 18. The control method for an image analysis apparatus according to claim 12, wherein the plotted point is a graph indicating information on the number of corresponding pixels in luminance or color.
第2の入力画像データに基づいて、第2のベクトルスコープを生成する第2の生成ステップと、
前記第1のベクトルスコープ及び前記第2のベクトルスコープを、異なる複数の色相範囲に分割し、同じ色相範囲毎に並置した画像を合成する合成ステップと、
を有することを特徴とする画像解析装置の制御方法。 A first generation step of generating a first vectorscope based on the first input image data;
A second generation step of generating a second vectorscope based on the second input image data;
A synthesis step of dividing the first vectorscope and the second vectorscope into a plurality of different hue ranges and synthesizing images juxtaposed for each same hue range;
A control method for an image analysis apparatus, comprising:
ことを特徴とする請求項11から19のいずれか1項に記載の画像解析装置の制御方法。 20. The image analysis apparatus according to claim 11, wherein a dynamic range of luminance of the second input image data is different from a dynamic range of luminance of the first input image data. Control method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016223439A JP6815839B2 (en) | 2016-11-16 | 2016-11-16 | Image analyzer and its control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016223439A JP6815839B2 (en) | 2016-11-16 | 2016-11-16 | Image analyzer and its control method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018082316A true JP2018082316A (en) | 2018-05-24 |
JP2018082316A5 JP2018082316A5 (en) | 2019-11-21 |
JP6815839B2 JP6815839B2 (en) | 2021-01-20 |
Family
ID=62199098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016223439A Active JP6815839B2 (en) | 2016-11-16 | 2016-11-16 | Image analyzer and its control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6815839B2 (en) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07334463A (en) * | 1994-06-08 | 1995-12-22 | Sharp Corp | Information processor with display function for plural graphs |
JPH11248840A (en) * | 1998-03-05 | 1999-09-17 | Aloka Co Ltd | Radiation-measuring device and method for displaying trend graph |
JP2005327039A (en) * | 2004-05-13 | 2005-11-24 | Keio Gijuku | Data analysis support program and program storage medium |
JP2008131211A (en) * | 2006-11-17 | 2008-06-05 | Kyocera Mita Corp | Image processor and image processing program |
JP2011221018A (en) * | 2010-04-05 | 2011-11-04 | Tektronix Inc | Test measurement apparatus and method for synchronizing measurement view thereof |
JP2013213928A (en) * | 2012-04-02 | 2013-10-17 | Canon Inc | Image processing device and control method of the same |
JP2013222256A (en) * | 2012-04-13 | 2013-10-28 | Mitsubishi Electric Corp | Energy usage visualization device and method |
JP2014010036A (en) * | 2012-06-29 | 2014-01-20 | Hioki Ee Corp | Waveform display device and waveform display method |
JP2015211470A (en) * | 2014-04-25 | 2015-11-24 | テクトロニクス・インコーポレイテッドTektronix,Inc. | Device and method |
WO2016143140A1 (en) * | 2015-03-12 | 2016-09-15 | 富士電機株式会社 | Display device, monitoring system, display method, and display program |
-
2016
- 2016-11-16 JP JP2016223439A patent/JP6815839B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07334463A (en) * | 1994-06-08 | 1995-12-22 | Sharp Corp | Information processor with display function for plural graphs |
JPH11248840A (en) * | 1998-03-05 | 1999-09-17 | Aloka Co Ltd | Radiation-measuring device and method for displaying trend graph |
JP2005327039A (en) * | 2004-05-13 | 2005-11-24 | Keio Gijuku | Data analysis support program and program storage medium |
JP2008131211A (en) * | 2006-11-17 | 2008-06-05 | Kyocera Mita Corp | Image processor and image processing program |
JP2011221018A (en) * | 2010-04-05 | 2011-11-04 | Tektronix Inc | Test measurement apparatus and method for synchronizing measurement view thereof |
JP2013213928A (en) * | 2012-04-02 | 2013-10-17 | Canon Inc | Image processing device and control method of the same |
JP2013222256A (en) * | 2012-04-13 | 2013-10-28 | Mitsubishi Electric Corp | Energy usage visualization device and method |
JP2014010036A (en) * | 2012-06-29 | 2014-01-20 | Hioki Ee Corp | Waveform display device and waveform display method |
JP2015211470A (en) * | 2014-04-25 | 2015-11-24 | テクトロニクス・インコーポレイテッドTektronix,Inc. | Device and method |
WO2016143140A1 (en) * | 2015-03-12 | 2016-09-15 | 富士電機株式会社 | Display device, monitoring system, display method, and display program |
Also Published As
Publication number | Publication date |
---|---|
JP6815839B2 (en) | 2021-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013232746A (en) | Semiconductor device, image processing system, and program | |
EP2148515A1 (en) | Image processor, and image processing method | |
JP2017167402A (en) | Information processing device and information processing method | |
JP2018146949A (en) | Image processing device and image processing method | |
WO2019004701A1 (en) | Method for processing image, and display device | |
JP2014140160A (en) | Image processor and image processing method | |
US10368048B2 (en) | Method for the representation of a three-dimensional scene on an auto-stereoscopic monitor | |
CN111416966A (en) | Information processing apparatus, information processing method, and computer readable medium | |
KR101339785B1 (en) | Apparatus and method for parallel image processing and apparatus for control feature computing | |
CN107534763B (en) | Adaptive color levels interpolation method and equipment | |
JP6815839B2 (en) | Image analyzer and its control method | |
Choudhury et al. | Combining quality metrics for improved hdr image quality assessment | |
JP2014093617A (en) | Color video signal processing device, processing method, and processing program | |
KR20080056624A (en) | Method and device of rapidly generating a gray-level versus brightness curve of a display | |
JP5879120B2 (en) | Video signal processing apparatus, vector scope, and program | |
US11574607B2 (en) | Display device and control method of display device | |
CN103458196A (en) | Image composing apparatus of around view monitor system and image composing method thereof | |
WO2016151944A1 (en) | Image correction device, image correction method, and image correction program | |
JP2015133638A (en) | Image processing system and image processing method | |
US11069310B2 (en) | Image display apparatus and image display method | |
JP6655149B1 (en) | Luminance and chromaticity display device and program thereof | |
US11889131B2 (en) | Video processing device, video processing method, monitor apparatus, computer device, and medium | |
CN102055992B (en) | Stereoscopic image forming method and relevant display module | |
JP6203315B1 (en) | Video conversion processing device | |
EP4179722A1 (en) | System for luminance qualified chromaticity |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191009 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191009 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200904 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201223 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6815839 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |