CN111416966A - 信息处理设备、信息处理方法和计算机可读介质 - Google Patents
信息处理设备、信息处理方法和计算机可读介质 Download PDFInfo
- Publication number
- CN111416966A CN111416966A CN202010012672.XA CN202010012672A CN111416966A CN 111416966 A CN111416966 A CN 111416966A CN 202010012672 A CN202010012672 A CN 202010012672A CN 111416966 A CN111416966 A CN 111416966A
- Authority
- CN
- China
- Prior art keywords
- luminance
- moving image
- information processing
- pixels
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 28
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 230000002123 temporal effect Effects 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 21
- 239000003086 colorant Substances 0.000 claims description 7
- 235000019557 luminance Nutrition 0.000 description 200
- 238000009826 distribution Methods 0.000 description 43
- 230000006870 function Effects 0.000 description 27
- 238000004040 coloring Methods 0.000 description 26
- 238000010191 image analysis Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 241000872198 Serjania polyphylla Species 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及信息处理设备、信息处理方法和计算机可读介质。根据本发明的信息处理设备包括：获取单元，其被配置为获取与运动图像的各时间位置处的各像素的亮度水平有关的信息；以及生成单元，其被配置为基于所述信息生成图形，所述图形包括表示所述时间位置的第一轴和与所述第一轴相交且表示所述亮度水平的第二轴，并且所述图形在各坐标处表示对应像素的存在或不存在或者对应像素的数量。
Description
技术领域
本发明涉及信息处理设备、信息处理方法和计算机可读介质。
背景技术
作为具有宽动态范围(宽亮度范围)的图像数据的标准，提出了诸如感知量化(PQ)和混合对数伽马(HLG)等的多种标准。宽动态范围又称为高动态范围(HDR)。另一方面，传统的动态范围(比HDR窄的动态范围)称为标准动态范围(SDR)。通过使用HDR的各亮度，可以实现从非常暗的部分到非常亮的部分的宽图像表现。
HDR标准的示例是美国消费者技术协会(CTA)规定的HDR10。在HDR10中，将整个运动图像内容(运动图像)的峰亮度(最大亮度)和最大帧平均亮度指定为元数据(静态元数据)。最大帧平均亮度是分别与多个帧相对应的多个帧平均亮度的最大亮度(与帧相对应的图像(帧图像)的平均亮度)。
HDR标准的另一示例是美国运动图像和电视工程师协会(SMPTE)规定的ST2094-40。在ST2094-40中，将运动图像的各部分时间段的峰亮度和最大帧平均亮度指定为元数据(动态元数据)。具体而言，将运动图像的各场景或各帧的峰亮度和最大帧平均亮度指定为动态元数据。
HDR标准的另一示例是国际电信联盟(ITU)规定的BT.2408-1:OperationalPractices in HDR Television Production(HDR电视制作的操作实践)。在BT.2408-1:Operational Practices in HDR Television Production中，为用户描述了亮度很大变化的情况下的影响以及峰亮度和平均亮度的变化的管理。
在HDR图像(具有HDR的图像)的制作现场，使用利用波形监视器或亮度直方图等分别显示各帧的亮度分布的功能以确认是否正在使用HDR的各亮度。日本特开2010-113288公开了如下技术：亮度直方图的帧间亮度分布变化的部分使用与其它部分不同的颜色来描绘，使得用户直观地识别帧间亮度分布的变化。
此外，用于商业用途的显示设备可以包括显示表示帧峰亮度(帧图像的峰亮度)的时间变化和帧平均亮度的时间变化的图形的功能。在HDR图像的制作现场，使用这样的功能确认和管理帧峰亮度的时间变化和帧平均亮度的时间变化。
图10是表示帧峰亮度的时间变化和帧平均亮度的时间变化的传统图形图像的示例。在图10的图形图像1000中，描绘了表示帧峰亮度的时间变化1002和帧平均亮度的时间变化1003的图形1001。图形1001的横坐标表示时间位置(帧)，以及图形1001的纵坐标表示亮度。在图形图像1000的右上部，描写最终帧的帧峰亮度(Peak)和帧平均亮度(Ave.)的数值。在图形图像1000的左上部，描写了整个运动图像中的峰亮度(Maximum Content LightLevel(最大内容亮度级)，MaxCLL)和最大帧平均亮度(Maximum Frame Average LightLevel(最大帧平均亮度级)，MaxFALL)的数值。在某些情况下，可以描写一部分时间段(例如显示图形图像1000的时间段)内的峰亮度和最大帧平均亮度的值。例如，可以从高清晰度多媒体接口
数据中包括的元数据(HDR10或ST2094-40指定的元数据)中获取该信息。也可以通过分析运动图像数据本身来获取该信息。
如果使用日本特开2010-113288中公开的技术，则用户可以识别各帧的亮度分布以及相对短的时间段期间(例如，两帧)的亮度分布的变化。然而，用户不能容易地识别相对长的时间段(例如，整个运动图像时间段、场景的时间段)内的亮度分布的变化。例如，用户不能快速地识别在相对长的时间段内的各时间位置处存在的具有一定亮度(亮度水平(luminance level))的像素的数量。如果显示图10中的图形图像1000，则用户可以识别帧峰亮度的时间变化1002和帧平均亮度的时间变化1003。然而，用户不能识别各帧的亮度分布(亮度水平分布)和亮度分布的时间变化。
发明内容
本发明提供用户可以容易地(直观地)识别相对长的时间段期间亮度水平分布的时间变化的技术。
本发明在其第一方面提供一种信息处理设备，包括：获取单元，其被配置为获取与运动图像的各时间位置处的各像素的亮度水平有关的信息；以及生成单元，其被配置为基于所述信息生成图形，所述图形包括表示所述时间位置的第一轴和与所述第一轴相交且表示所述亮度水平的第二轴，并且所述图形在各坐标处表示对应像素的存在或不存在或者对应像素的数量。
本发明在其第二方面提供一种信息处理方法，包括：获取与运动图像的各时间位置处的各像素的亮度水平有关的信息；以及基于所述信息生成图形，所述图形包括表示所述时间位置的第一轴和与所述第一轴相交且表示所述亮度水平的第二轴，并且所述图形在各坐标处表示对应像素的存在或不存在或者对应像素的数量。
本发明在其第三方面提供储有程序的计算机可读介质，该程序使计算机用作上述信息处理设备的各单元。
根据以下参考附图对典型实施例的描述，本发明的其它特征将变得明显。
附图说明
图1是示出根据实施例的显示设备的结构示例的框图；
图2是示出根据实施例的图形图像的示例的图；
图3是示出根据实施例的表示亮度分布的方式的示例的图；
图4是示出根据实施例的图形图像的示例的图；
图5A和图5B是示出根据实施例的图形图像的示例的图；
图6是根据实施例的设置信息的示例；
图7是示出根据实施例的显示设备的处理流程示例的流程图；
图8是根据实施例的灰度值、像素数量和亮度的对应关系的示例；
图9是示出根据实施例的图形的示例的图；
图10是示出传统图形图像的示例的图；以及
图11是示出根据实施例的图形图像的示例的图。
具体实施方式
将描述本发明的实施例。这里将描述当显示设备包括根据实施例的信息处理设备时的示例，但是根据实施例的信息处理设备可以是与显示设备分离的设备(例如个人计算机)。
图1是示出根据实施例的显示设备的结构示例的框图。图1中的显示设备100包括输入单元101、图像分析单元102、图像处理单元103、图形合成单元104、显示单元105、显示控制单元106、存储器单元107和图形生成单元108。
输入单元101获取对象运动图像数据，并将对象运动图像数据输出到图像分析单元102。对象运动图像数据例如是符合HDR10、HDR10+、PQ或HLG的高动态范围(HDR)运动图像数据，并表示运动图像(运动内容)。例如，对象运动图像数据可以是符合伽马2.2的标准动态范围(SDR)运动图像数据。在本实施例中，输入单元101针对对象运动图像(由对象运动图像数据表示的运动图像)的各帧从外部设备获取帧图像数据(表示与帧(帧图像)相对应的图像的图像数据)。然后，输入单元101将获取的帧图像数据输出到图像分析单元102。例如，输入单元101是符合串行数字接口(SDI)标准或高清晰度多媒体接口
标准的输入端子。外部设备是摄像设备或再生设备等。显示设备100可以包括存储运动图像数据的存储单元，并且输入单元101可以从存储单元获取记录在存储单元中的运动图像数据作为对象运动图像数据。
图像分析单元102获取输入单元101输出的对象运动图像数据，分析对象运动图像数据，将分析结果输出到显示控制单元106，并将对象运动图像数据输出到图像处理单元103。
具体而言，图像分析单元102分析对象运动图像数据并且获取与在对象运动图像的各时间位置(各帧)处的各像素的亮度(绝对亮度；亮度水平)有关的像素信息作为分析结果。在本实施例中，图像分析单元102分析从输入单元101输出的帧图像数据。像素信息表示针对输入单元101输出的帧图像数据的各个可能灰度值、在帧图像数据所表示的帧图像中存在的像素的数量。如果帧图像数据的灰度值为10位值(0至1023)，则像素信息表示针对各灰度值0至1023存在的像素的数量。
此外，图像分析单元102从对象运动图像数据中获取与对象运动图像数据相对应的元数据，并将所获取的元数据作为分析结果输出到显示控制单元106。元数据例如是存储在HDMI中指定的InfoFrame中的数据，或者存储在SDI中指定的消隐单元中的辅助(ANC)数据。
图像处理单元103通过对从图像分析单元102输出的对象运动图像数据进行图像处理来生成处理后的运动图像数据。然后，图像处理单元103将处理后的运动图像数据输出到图形合成单元104。
具体而言，从显示控制单元106向图像处理单元103设置灰度曲线(灰度值与亮度之间的对应关系；灰度特性)。设置HLG或PQ等的灰度曲线以显示(处理)高动态范围(HDR)图像。设置伽玛2.2等的灰度曲线以显示(处理)标准动态范围(SDR)的范围。从显示控制单元106向图像处理单元103还设置诸如有限范围和全范围等的灰度范围。有限范围和全范围是用以分配所设置的亮度范围(HLG和PQ这样的亮度范围：原始范围)的灰度范围。有限范围是对象运动图像数据的可能灰度值的范围的一部分，以及全范围是对象运动图像数据的可能灰度值的整个范围。图像处理单元103根据所设置的灰度曲线和灰度范围对对象运动图像数据的各灰度值进行转换(灰度转换处理)。
存在在压缩原始范围的情况下显示运动图像的功能(显示方法)。该功能通常用于显示HDR图像。在本实施例中，显示控制单元106还将压缩之后的亮度范围(HDR范围)设置到图像处理单元103。根据所设置的HDR范围，图像处理单元103转换对象运动图像数据的各灰度值，使得将与原始范围内的亮度相对应的灰度值转换为与HDR范围内的亮度相对应的灰度值(映射处理)。这里将考虑如下的情况：设置HLG，原始范围是0至1000cd/m2的亮度范围，以及设置HDR范围0至600cd/m2。在这种情况下，不转换亮度范围0至600cd/m2中的灰度值，以及将与高于600cd/m2的亮度相对应的灰度值转换为与600cd/m2(上限亮度)相对应的灰度值(剪切处理)。
为了帮助确认图像的亮度分布(亮度水平分布)，使用用于在进行用以将各像素的颜色转换为与像素的亮度相对应的转换颜色的处理之后显示图像的伪色(false color)功能(显示方法)。在本实施例中，显示控制单元106还将启用/禁用伪色功能设置到图像处理单元103。如果启用了伪色功能，则显示控制单元106将亮度(亮度范围)和转换颜色之间的对应关系通知至图像处理单元103。根据所通知的对应关系，图像处理单元103将对象运动图像数据的各像素的颜色转换为相应的转换颜色(颜色转换处理)。
图形合成单元104通过将图形生成单元108输出的图形数据与图像处理单元103输出的处理后的运动图像数据(各帧图像数据)合成而生成合成运动图像数据。然后，图形合成单元104将合成运动图像数据输出到显示单元105。如果图形生成单元108未输出图形数据，则图形合成单元104将处理后的运动图像数据输出到显示单元105。图形数据是表示诸如在屏显示(OSD)图像等的图形图像的图像数据。合成运动图像数据是通过将图形图像与处理后的运动图像(由处理后的运动图像数据表示的运动图像)合成而生成的运动图像(合成运动图像)。
显示单元105在显示面上显示基于由图形合成单元104输出的运动图像数据(合成运动图像数据或处理后的运动图像数据)的运动图像。例如，显示单元105是具有液晶面板和背光单元的液晶显示单元或有机EL显示面板。
显示控制单元106控制显示设备100的各块的处理。存储器单元107存储程序和参数。例如，显示控制单元106是通过执行存储在存储器单元107中的程序来控制显示设备100的各块的处理的算术处理电路。显示控制单元106可以获取与用户经由设置在显示设备100上的按钮等(未示出)进行的用户操作相对应的操作信息。此外，显示控制单元106可以根据操作信息切换控制并进行详细的控制设置。
在本实施例中，显示控制单元106基于图像分析单元102输出的分析结果(像素信息)和对显示设备100的用户操作来控制图像处理单元103和图形生成单元108的处理。具体而言，根据用户操作(操作信息)，显示控制单元106确定诸如灰度曲线(例如，HLG、PQ、伽马2.2)、灰度范围(例如，有限范围、全范围)、HDR范围以及伪色功能的启用/禁用等的设置信息。显示控制单元106将所确定的设置信息输出(设置)到图像处理单元103。此外，显示控制单元106将所确定的设置信息和图像分析单元102输出的分析结果输出(设置)到图形生成单元108。紧接着启动显示设备100之后，对设置信息的初始信息(预定信息)进行设置，或者继续前次设置。
图形生成单元108生成图形数据并将图形数据输出到图形合成单元104。在本实施例中，基于由显示控制单元106输出的分析结果(像素信息)，图形生成单元108生成具有表示对象运动图像的时间位置(帧)的时间轴和与时间轴相交并表示对象运动图像的亮度的亮度轴的图形。具体而言，图形生成单元108基于分析结果和设置信息来生成表示描绘了上述图形的图形图像的图形数据。在本实施例中，由图形的各坐标表示对应像素的数量。换句话说，上述图形表示在相对长的时间段期间对象运动图像的亮度分布的时间变化。
图2是根据本实施例的图形图像的示例。图2是当灰度曲线是HLG且原始亮度范围是0至1000cd/m2的情况下的示例。在图2的图形图像200中，描绘表示对象运动图像的帧峰亮度的时间变化202和对象运动图像的帧平均亮度的时间变化203的图形201。帧峰亮度是帧图像的峰亮度(最大亮度；最大亮度水平；峰亮度水平)，以及帧平均亮度是帧图像的平均亮度(平均亮度水平)。图形201的横坐标是时间轴，以及图形201的纵坐标是亮度轴。在图形图像200的右上部，描写了最终帧的帧峰亮度和帧平均亮度的数值。在图形图像200的左上部，描写了整个对象运动图像的峰亮度(最大内容亮度级)和最大帧平均亮度(最大帧平均亮度级)的数值。最大帧平均亮度是分别与多个帧相对应的多个帧平均亮度的最大亮度。可以描写一部分时间段(诸如显示图形图像200的时间段)内的峰亮度和最大帧平均亮度的数值。这些信息可以从高清晰度多媒体接口
数据中包括的元数据(HDR10和ST2094-40指定的元数据)中获取。这些信息可以通过分析运动图像数据本身来获取。
在本实施例中，使用区域204表示亮度分布的时间变化。具体而言，在区域204的各坐标处表示对应像素的数量。由于帧峰亮度可以通过亮度分布来识别，因此可以不描绘帧峰亮度的时间变化202。也可以省略帧平均亮度的时间变化203、图形图像200的右上部的数值以及图形图像200的左上部的数值。
图3是根据本实施例的亮度分布的表示的示例。在本实施例中，如图3所示，通过浓度表示像素的数量。在图3的示例中，利用较浅的颜色描绘存在较少像素的坐标，利用较深的颜色描绘存在较多像素的坐标，并且不描绘不存在像素的坐标。例如，针对不存在像素的坐标设置RGB值为(255，255，255)的白色，针对存在少数像素的坐标设置RGB值为(192，192，192)的灰色，以及针对存在很多像素的坐标设置RGB值为(0，0，0)的黑色。
图3是峰亮度为400cd/m2时的示例。在图3的(A)的情况下，分别在0至50cd/m2、50至100cd/m2、100至200cd/m2和200至400cd/m2的四个亮度范围内存在像素。具有低亮度的像素比具有高亮度的像素多。具体而言，0至50cd/m2范围内的像素的数量最高，50至100cd/m2范围内的像素的数量高于100至200cd/m2范围内的像素的数量，以及200至400cd/m2范围内的像素的数量最低。在图3的(B)的情况下，在0至400cd/m2的亮度范围内存在像素，并且具有各亮度的像素均匀存在。在图3的(C)的情况下，仅存在具有0cd/m2的像素和具有400cd/m2的像素，并且不存在具有其它亮度的像素。
确定浓度的方法没有特别的限制。可以根据像素的数量与帧图像的像素总数的比率来确定浓度，使得当像素的数量与帧图像的像素总数的比率至少为10％时，使用最深的颜色，并且颜色随着该比率越低而变得越浅。可以根据像素的数量来确定浓度，使得当像素的数量至少为100时使用最深的颜色，并且颜色随着像素的数量越低而变得越浅。可以根据像素的数量和比率来确定浓度，使得当像素的数量至少为100时使用最深的颜色，并且当像素的数量为99或更少时使用具有通过将最大浓度乘以作为“像素的数量/100”的比率来确定的浓度的颜色。
图4是以浓度表示像素的数量的状态下的图形图像的示例。在前四帧中，在直到峰亮度的所有亮度范围内都存在像素，并且利用具有与像素的数量相对应的浓度的颜色描绘各亮度范围。在第五帧和随后的帧中，不存在具有中间亮度的像素，并且仅存在具有高亮度的像素和具有低亮度的像素，即利用具有与像素的数量相对应的浓度的颜色描绘高亮度部分和低亮度部分。通过显示图4中的图形图像，用户可以在对象运动图像的相对长的时间段期间，通过浓度来确认各帧的亮度分布，从而可以容易地(直观地)识别各帧中的像素的量和亮度。
在图4中，将各帧的宽度表示为宽的以帮助理解本发明。但实际上，如图11所示，优选为各帧的宽度更窄，这是因为长时间段期间的时间变化可以一起得到确认。图11是根据本实施例的图形图像的另一示例。
像素的数量除了可以由浓度表示之外还可以由颜色的变化来表示。例如，随着像素的数量越小，要描绘的部分的颜色越接近蓝色，以及随着像素的数量越大，要描绘的部分的颜色越接近红色。换句话说，色相、色度(饱和度)和明度(明亮度)其中至少之一根据像素的数量而变化，使得用户能够识别亮度轴方向和/或时间轴方向上的像素的数量的变化。例如，在显示黑白色的图形图像的情况下，仅明度根据像素的数量而变化。
可以通过预定颜色来表示存在对应像素且与预定范围内的亮度相对应的坐标。图5A和图5B是通过预定颜色表示与预定范围内的亮度相对应的坐标的图形图像的示例。在图5A和图5B中，就像图4一样，通过浓度表示像素的数量。
图5A是当利用预定颜色(警告颜色)对存在对应像素且与HDR范围之外的亮度相对应的坐标进行着色时的示例。在图5A的示例中，设置HDR范围0至400cd/m2。在图5A中，利用警告颜色对存在对应像素且与高于400cd/m2的亮度相对应的坐标进行着色(不改变浓度)。通过显示图5A中的图形图像，用户可以检查利用警告颜色着色的部分，并且容易地(直观地)识别出使用了HDR范围之外的亮度。
图5B是利用转换颜色(根据与坐标相对应的亮度的转换颜色)对存在对应像素的坐标进行着色时的示例。在图5B中，作为转换颜色，灰色对应于0至50cd/m2，绿色对应于50至100cd/m2，黄色对应于100至200cd/m2，橙色对应于200至400cd/m2，以及红色对应于400至1000cd/m2。因此，存在对应像素且与0至50cd/m2相对应的坐标用灰色着色。浓度与图5A中的情况相同，并且浓度根据各颜色中的像素的数量而变化。例如，在50至100cd/m2的绿色范围内，可以针对像素的数量低的坐标设置RGB值为(0，255，0)的绿色，以及可以针对像素的数量高的坐标设置RGB值为(0，100，0)的深绿色。也可以利用与另一亮度相对应的转换颜色对与该另一亮度相对应的坐标进行着色。通过显示图5B中的图形图像，用户可以检查各部分(各坐标)的浓度和颜色，并且更容易地(直观地)识别亮度分布。
可以根据伪色功能的启用/禁用来切换图5B中的着色的启用/禁用，使得在启用伪色功能时进行图5B中的着色，并且在禁用伪色功能时不进行图5B中的着色。无论是否启用/禁用伪色功能，都可以进行图5B中的着色。在图5A和5B中，对亮度分布进行着色，但是可以针对帧峰亮度或帧平均亮度进行与亮度分布同样的着色。
此外，根据用户操作，可以切换描绘亮度分布(在图2中的区域204中描绘浓度)的启用/禁用、对HDR范围外部进行着色(图5A)的启用/禁用以及利用伪色功能的转换颜色进行着色(图5B)的启用/禁用等。图6是根据本实施例的表示与图形的生成有关的设置信息的示例的表。在图6的示例中，对于设置项“分布显示”的设置信息，如果描绘亮度分布，则设置“ON”，或者如果不描绘亮度分布，则设置“OFF”。对于设置项“伪色着色”的设置信息，如果根据伪色功能的启用设置(与伪色功能的启用设置连动)来利用转换颜色进行着色，则设置“伪色连动”；如果总是进行利用转换颜色的着色，则设置“ON”，或者如果不进行利用转换颜色的着色，则设置“OFF”。对于设置项“范围外部着色”的设置信息，如果进行HDR范围外部的着色，则设置“ON”，或者如果不进行HDR范围外部的着色，则设置“OFF”。根据对显示设备100的用户操作(操作信息)，显示控制单元106在图形生成单元108中设置该设置信息。
图7是示出显示设备100的处理流程示例的流程图。例如，在启用与帧峰亮度的时间变化等有关的图形的生成(显示)的状态下，当输入单元101获取的帧图像数据被更新并且图像分析单元102的分析结果被通知至图形生成单元108时开始图7中的处理。当通过用户操作改变了设置信息(例如，灰度曲线、灰度范围、HDR范围、伪色功能的启用/禁用)并且改变之后的设置信息被通知至图形生成单元108时也开始图7中的处理流程。
在步骤S701中，图形生成单元108计算对象帧图像数据(处理对象帧图像数据；由图像分析单元102输出的帧图像数据)的帧峰亮度和帧平均亮度并描绘其图形。换句话说，在本实施例中，输入单元101(针对各帧)顺次获取多个帧图像数据，并且顺次描绘与多个帧图像数据有关的信息的图形。
将描述确定帧峰亮度和帧平均亮度的方法的具体示例。
图形生成单元108基于显示控制单元106输出的分析结果(像素信息)和设置信息(灰度曲线和灰度范围)，将对象帧图像数据的各灰度值转换为亮度值。
图8是像素信息(灰度值与像素的数量之间的对应关系)、灰度值与转换之后的亮度的对应关系的示例。图8是由对象帧图像数据表示的帧图像的分辨率(水平方向上的像素的数量×垂直方向上的像素的数量)为1920×1080像素时(即，当帧图像的像素总数为2073600像素时)的示例。此外，图8是当对象帧图像数据的灰度值为10位值(0至1023)时的示例。在图8中，具有灰度值940的像素的数量为1036800，以及具有灰度值64的像素的数量为1036800。
这里假定设置HLG作为灰度曲线，并且设置灰度值64至灰度值940的有限范围。因此，图形生成单元108将灰度值64至灰度值940的灰度范围转换为HLG的亮度范围(0cd/m2至1000cd/m2的亮度范围)。在灰度值64至灰度值940的灰度范围内，相对于灰度值的变化的亮度的变化遵循HLG。此外，图形生成单元108将小于64的灰度值转换为0cd/m2，以及将大于940的灰度值转换为1000cd/m2(剪切处理)。
可以提供如图8所示的多个表(与多个灰度曲线中的任意一个和多个灰度范围中的任意一个之间的多个组合相对应的多个表)，使得使用与灰度曲线和灰度范围的设置信息相对应的表进行上述转换。可以使用与多个组合相对应的多个计算公式中的、与灰度曲线和灰度范围的设置信息相对应的计算公式进行以上转换。
在图8中，针对HLG的亮度范围使用亮度范围0cd/m2至1000cd/m2，但HLG中指定的亮度是相对亮度，并且HLG的亮度范围(绝对亮度范围)可以变化。例如，HLG的亮度范围可以变化为0cd/m2至2000cd/m2的亮度范围。如果HLG的亮度范围变化，则灰度值与转换之后的亮度的对应关系也变化。
转换之后，图形生成单元108基于像素信息判断存在像素的最大灰度值。然后图形生成单元108将与所判断的灰度值相对应的亮度(转换之后的亮度)确定为帧峰亮度。在图8的示例中，存在像素的最大灰度值为940，并且灰度值940通过上述转换被转换为亮度1000cd/m2。因此，将1000cd/m2确定为帧峰亮度。
然后，图形生成单元108针对各灰度值计算像素的数量和转换之后的亮度的乘积(像素的数量×亮度)，并计算出计算结果(乘法值)的总和。由此确定所有像素的亮度总和。然后，图形生成单元108通过将所有像素的亮度总和除以像素总数(所有像素的亮度总和/像素总数)来计算帧平均亮度。在图8的示例中，通过“1036800像素×1000cd/m2+1036800像素×0cd/m2/2073600像素”来计算出8500cd/m2作为帧平均亮度。
这里继续图7的描述。在步骤S702中，图形生成单元108判断图6中的设置项“分布显示”的设置信息是否为“ON”。如果为“ON”，则处理进入S703。如果为“OFF”，则不在图形中描绘亮度分布，并且该处理流程结束。
在步骤S703中，图形生成单元108基于图6中的设置项“伪色着色”的设置信息和伪色功能的启用/禁用来判断是否进行利用伪色功能的转换颜色的着色。如果进行利用转换颜色的着色，则处理进入步骤S704，或者，如果不进行利用转换颜色的着色，则处理进入步骤S705。具体而言，当图6中设置项“伪色着色”的设置信息为“ON”，以及当设置项“伪色着色”的设置信息为“伪色连动”且启用伪色功能时，处理进入步骤S704。当设置项“伪色着色”的设置信息为“伪色连动”且禁用伪色功能时，以及当设置项“伪色着色”的设置信息为“OFF”时，处理进入S705。
在步骤S704中，图形生成单元108基于显示控制单元106输出的颜色信息(亮度与转换颜色之间的对应关系)和步骤S701中的转换结果(各亮度的像素的数量)，在图形中描绘对象帧图像数据的亮度分布。具体而言，图形生成单元108通过利用伪色功能的转换颜色进行着色来示出亮度分布。由此生成并显示如图5B所示的图形图像。
在步骤S705中，图形生成单元108判断图6中的设置项“范围外部着色”的设置信息是否为“ON”。如果为“ON”则处理进入步骤S706，或者如果为“OFF”则进入步骤S707。
在步骤S706中，图形生成单元108基于显示控制单元106输出的HDR范围和步骤S701中的转换结果(各亮度的像素的数量)，在图形中描绘对象帧图像数据的亮度分布。具体而言，图形生成单元108通过对HDR范围外部进行着色来示出亮度分布。由此生成并显示如图5A所示的图形图像。
在步骤S707中，图形生成单元108基于步骤S701中的转换结果(各亮度的像素的数量)，在图形中描绘对象帧图像数据的亮度分布而不着色。由此生成并显示图4所示的图形图像。
在上述示例中，通过针对各帧描绘(相加)帧峰亮度、帧平均亮度和亮度分布来针对各帧更新图形，但本发明不限于此。例如，可以通过每两帧描绘(相加)帧峰亮度、帧平均亮度和亮度分布来每两帧更新图形。由此可以减少图形的更新频率和信息的描绘量。在这种情况下，可以每两帧跳过帧峰亮度、帧平均亮度和亮度分布。换句话说，帧峰亮度、帧平均亮度和亮度分布可以是与一帧相对应的信息。此外，帧峰亮度、帧平均亮度和亮度分布可以是与两帧相对应的信息的平均。
在上述示例中，10位对象运动图像数据以10位精度进行分析，但10位对象运动数据可以以小于10位的精度进行分析。例如，可以以8位精度对灰度值0至3的像素的数量以及灰度值4至6的像素的数量等进行计数。
在上述示例中，绝对亮度被用作亮度水平，但亮度水平不限于绝对亮度。例如，灰度值可以被用作亮度水平。在这种情况下，帧图像的峰灰度值(最大灰度值)可以被确定为帧峰亮度，以及帧图像的平均灰度水平(平均图片水平(Average Picture Level)：APL)可以被确定为帧平均亮度，而无需将灰度值转换为亮度。必要时可以切换亮度水平类型。如果已进行了处理HDR图像的设置(例如已设置HLG或PQ的灰度曲线)，则绝对亮度可以被用作亮度水平。如果已进行了处理SDR图像的设置(例如，已设置了伽马2.2的灰度曲线)，则灰度值可以被用作亮度水平。
在上述示例中，针对各帧获取帧图像数据，并且针对各帧更新图形，但本发明不限于此。例如，可以获取运动图像文件(所有对象运动图像数据)，使得对所有帧图像数据进行分析，并且一起生成描绘了所有帧图像数据的亮度分布的图形。此外，可以仅获取一个运动图像文件，或者可以顺次获取要再生的多个运动图像文件。在获取多个运动图像文件的情况下，可以生成表示多个运动图像文件的亮度分布的图形。
图9是基于运动图像文件生成的图形的示例。图9是连续再生两个运动图像文件“video_001.mov”和“video_002.mov”的情况。在图9中，在时间轴(时间线)上描写两个运动图像文件的文件名。这里分别针对两个运动图像文件表示帧峰亮度、帧平均亮度和亮度分布的时间变化。通过显示该图形，用户可以确认多个运动图像文件的亮度分布的时间变化等，并且在连续再生运动图像文件时容易地(直观地)识别是否可以适当地切换和观看多个运动图像文件。结果，用户可以适当地编辑各运动图像文件(提高编辑效率)。多个运动图像文件是被假定为链接到一个运动图像文件的多个运动图像文件。
在上述示例中，通过分析对象运动图像数据获取帧峰亮度、帧平均亮度和像素信息，但本发明不限于此。如果帧峰亮度、帧平均亮度和像素信息中的至少一个包括在与对象运动图像数据相对应的元数据中，则可以从元数据中获取该信息。在这种情况下，元数据可以是附加到对象运动图像数据的元数据(包括在对象运动图像数据中的元数据)，或者是独立于对象运动图像数据的元数据(元文件)。
在上述示例中，通过浓度表示像素的数量，但可以仅通过两个值表示像素的存在/不存在。例如，在上述图形中，可以在存在对应像素的坐标处描绘图形，而在不存在对应像素的坐标处不描绘图形。如果像素的数量是至少预定阈值，则像素的存在/不存在可以确定为“存在”，以及如果像素的数量小于阈值，则确定为“不存在”。例如，如果像素的数量是至少10，则可以确定像素“存在”，以及如果像素的数量小于10，则可以确定像素“不存在”。预定阈值可以通过用户设置而可变。
如上所述，根据本实施例，可以获取与运动图像的各时间位置处的各像素的亮度(亮度水平)有关的像素信息。基于像素信息，生成在各坐标处表示对应像素的存在/不存在或数量的图形作为具有时间轴和亮度轴(亮度水平轴)的图形。由此用户可以容易地(直观地)识别在相对长的时间段期间内亮度水平分布的时间变化。
本实施例(图1)的各块可以是单独的硬件，或者可以不是单独的硬件。两个或多个块的功能可以由共同的硬件来实现。一个块的多个功能中的各功能可以分别由单独的硬件来实现。一个块的两个或多个功能可以由共同的硬件来实现。各块可以由硬件来实现，或者可以不由硬件来实现。例如，设备可以包括处理器和存储控制程序的存储器。然后设备的至少一部分块的功能可以由处理器从存储器中读取控制程序来实现。
本实施例(包括上述变形例)仅是示例，并且通过在本发明的实质范围内适当修改或改变本实施例的结构而获取的结构也包括在本发明中。
根据本发明，用户可以容易地(直观地)识别在相对长的时间段期间亮度水平分布的时间变化。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参考典型实施例描述了本发明，但应理解，本发明不限于所公开的典型实施例。以下权利要求的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。
Claims (14)
1.一种信息处理设备，包括：
获取单元，其被配置为获取与运动图像的各时间位置处的各像素的亮度水平有关的信息；以及
生成单元，其被配置为基于所述信息生成图形，所述图形包括表示所述时间位置的第一轴和与所述第一轴相交且表示所述亮度水平的第二轴，并且所述图形在各坐标处表示对应像素的存在或不存在或者对应像素的数量。
2.根据权利要求1所述的信息处理设备，其中，
所述生成单元生成在各坐标处表示对应像素的数量的图形。
3.根据权利要求2所述的信息处理设备，其中，
所述生成单元生成使用坐标的颜色表示与该坐标相对应的像素的数量的图形。
4.根据权利要求1至3中任一项所述的信息处理设备，其中，
所述生成单元生成还使用预定颜色表示存在对应像素并且与预定范围内的亮度水平相对应的坐标的图形。
5.根据权利要求4所述的信息处理设备，其中，
所述运动图像的显示方法包括用于通过针对各像素进行用以将像素的颜色转换为与该像素的亮度水平相应的转换颜色的处理来显示所述运动图像的方法，以及
所述生成单元生成使用与对应亮度水平相应的转换颜色表示存在对应像素的坐标的图形。
6.根据权利要求4所述的信息处理设备，其中，
所述运动图像的显示方法包括用于通过压缩所述亮度水平的范围来显示所述运动图像的方法，以及
所述预定范围是在压缩后的范围之外的范围。
7.根据权利要求6所述的信息处理设备，其中，
所述生成单元根据与坐标相对应的像素的数量，改变该坐标的色相、色度和明度其中至少之一。
8.根据权利要求1至3中任一项所述的信息处理设备，其中，
所述获取单元通过对表示所述运动图像的运动图像数据进行分析来获取所述信息。
9.根据权利要求1至3中任一项所述的信息处理设备，其中，
所述获取单元从与所述运动图像相对应的元数据获取所述信息。
10.根据权利要求1至3中任一项所述的信息处理设备，其中，
所述生成单元生成还表示所述运动图像的平均亮度水平的时间变化的图形。
11.根据权利要求1至3中任一项所述的信息处理设备，其中，
所述生成单元生成还表示所述运动图像的最大亮度水平的时间变化的图形。
12.根据权利要求1至3中任一项所述的信息处理设备，其中，
所述运动图像是高动态范围图像，即HDR图像。
13.一种信息处理方法，包括：
获取与运动图像的各时间位置处的各像素的亮度水平有关的信息；以及
基于所述信息生成图形，所述图形包括表示所述时间位置的第一轴和与所述第一轴相交且表示所述亮度水平的第二轴，并且所述图形在各坐标处表示对应像素的存在或不存在或者对应像素的数量。
14.一种计算机可读介质，其存储有用于使计算机执行根据权利要求13所述的信息处理方法的程序。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019000549A JP6808762B2 (ja) | 2019-01-07 | 2019-01-07 | 情報処理装置および情報処理方法 |
| JP2019-000549 | 2019-01-07 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111416966A true CN111416966A (zh) | 2020-07-14 |
Family
ID=71404384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010012672.XA Pending CN111416966A (zh) | 2019-01-07 | 2020-01-07 | 信息处理设备、信息处理方法和计算机可读介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11189064B2 (zh) |
| JP (1) | JP6808762B2 (zh) |
| CN (1) | CN111416966A (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111566694A (zh) * | 2018-01-11 | 2020-08-21 | 杜比实验室特许公司 | 内容扫描自适应元数据的光水平管理 |
| JP7271490B2 (ja) * | 2020-12-07 | 2023-05-11 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
| US11606605B1 (en) * | 2021-09-30 | 2023-03-14 | Samsung Electronics Co., Ltd. | Standard dynamic range (SDR) / hybrid log-gamma (HLG) with high dynamic range (HDR) 10+ |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04235589A (ja) * | 1991-01-11 | 1992-08-24 | Nippon Telegr & Teleph Corp <Ntt> | 動画像の内容表示方法 |
| JP2017181762A (ja) * | 2016-03-30 | 2017-10-05 | キヤノン株式会社 | 表示装置及び表示方法 |
| CN108597474A (zh) * | 2017-03-01 | 2018-09-28 | 佳能株式会社 | 图像处理设备、图像处理方法和计算机可读介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4967746B2 (ja) * | 2007-03-27 | 2012-07-04 | カシオ計算機株式会社 | 画像再生装置及びプログラム |
| JP5213557B2 (ja) * | 2008-07-11 | 2013-06-19 | キヤノン株式会社 | 動画像処理装置および動画像処理方法 |
| JP2010113288A (ja) * | 2008-11-10 | 2010-05-20 | Sony Corp | ヒストグラム表示装置及びヒストグラム表示方法 |
| WO2014116715A1 (en) * | 2013-01-25 | 2014-07-31 | Dolby Laboratories Licensing Corporation | Global display management based light modulation |
| JP6317577B2 (ja) | 2013-12-04 | 2018-04-25 | キヤノン株式会社 | 映像信号処理装置及びその制御方法 |
| JP2017151308A (ja) * | 2016-02-25 | 2017-08-31 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
| US10129511B2 (en) * | 2016-08-01 | 2018-11-13 | Ricoh Company, Ltd. | Image processing apparatus, image projection apparatus, and image processing method |
-
2019
- 2019-01-07 JP JP2019000549A patent/JP6808762B2/ja active Active
- 2019-12-30 US US16/730,245 patent/US11189064B2/en active Active
-
2020
- 2020-01-07 CN CN202010012672.XA patent/CN111416966A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04235589A (ja) * | 1991-01-11 | 1992-08-24 | Nippon Telegr & Teleph Corp <Ntt> | 動画像の内容表示方法 |
| JP2017181762A (ja) * | 2016-03-30 | 2017-10-05 | キヤノン株式会社 | 表示装置及び表示方法 |
| CN108597474A (zh) * | 2017-03-01 | 2018-09-28 | 佳能株式会社 | 图像处理设备、图像处理方法和计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11189064B2 (en) | 2021-11-30 |
| JP6808762B2 (ja) | 2021-01-06 |
| JP2020109914A (ja) | 2020-07-16 |
| US20200219298A1 (en) | 2020-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11183143B2 (en) | Transitioning between video priority and graphics priority | |
| JP6921886B2 (ja) | 情報処理装置および情報処理方法 | |
| JP5196731B2 (ja) | 画像処理装置及び画像処理方法 | |
| EP2539884B1 (en) | Display management methods and apparatus | |
| KR20140066771A (ko) | 이미지들의 다이내믹 레인지 변환을 위한 장치 및 방법 | |
| CN111416966A (zh) | 信息处理设备、信息处理方法和计算机可读介质 | |
| JP2002118764A (ja) | 色再現域圧縮方法および色再現域圧縮装置 | |
| US11574607B2 (en) | Display device and control method of display device | |
| US11202032B2 (en) | Method for converting an image and corresponding device | |
| JP5165076B2 (ja) | 映像表示装置 | |
| JP7271490B2 (ja) | 情報処理装置および情報処理方法 | |
| JP2012083848A (ja) | 画像処理装置、画像処理方法、撮像装置、および画像処理プログラム | |
| US11869174B2 (en) | Image processing apparatus, display apparatus, image processing method, and non-transitory computer readable medium | |
| JP2024039874A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
| JP2022079199A (ja) | 表示装置 | |
| JP2023136246A (ja) | 画像処理装置、制御方法及びプログラム | |
| JP2011124708A (ja) | 表示装置 | |
| JP2012093904A (ja) | 画像処理装置、画像処理方法、撮像装置、および画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200714 |