CN117174042A - 图像显示装置以及图像显示方法 - Google Patents
图像显示装置以及图像显示方法 Download PDFInfo
- Publication number
- CN117174042A CN117174042A CN202310593868.6A CN202310593868A CN117174042A CN 117174042 A CN117174042 A CN 117174042A CN 202310593868 A CN202310593868 A CN 202310593868A CN 117174042 A CN117174042 A CN 117174042A
- Authority
- CN
- China
- Prior art keywords
- image
- size
- scene
- image quality
- index value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000001514 detection method Methods 0.000 claims abstract description 90
- 230000008569 process Effects 0.000 claims description 61
- 238000001914 filtration Methods 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 125
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 230000010355 oscillation Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 235000012736 patent blue V Nutrition 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
提供适当地进行与特定颜色相关的画质的调整的图像显示装置及图像显示方法。图像显示装置包括:图像获取部,其获取输入图像;对象检测部,其从输入图像检测规定的对象;尺寸获取部,其求出规定的对象的尺寸;判断部,其基于规定的对象的尺寸,对于规定的对象具有的特定颜色,判断是否调整画质;画质调整部,其对于特定颜色,调整输入图像的至少一部分区域的画质;以及显示控制部,其进行将调整了画质的输入图像显示于显示面板的控制。
Description
技术领域
本发明等涉及图像显示装置以及图像显示方法。
背景技术
以往,已知有对图像中的特定颜色进行画质的调整的方法。例如,在专利文献1中公开了如下方法:基于对脸的肤色等包含特定颜色的像素数进行计数而得的结果,在特定颜色的像素数的比例大的情况下,进行适合于特定颜色区域的校正。
现有技术文献
专利文献
专利文献1:特开2004-297617号公报
发明内容
本发明所要解决的技术问题
专利文献1的方法基于肤色等特定颜色的像素信息,来判断是否进行校正。但是,在脸的一部分被口罩或太阳眼镜等遮挡、脸模糊等的状况下,肤色的像素数变少。因此,在专利文献1的方法中,即使在脸占输入图像的比例大的情况下,也有可能无法进行适合于脸的肤色的校正。
发明效果
根据本公开的一些方式,能够提供适当地进行与特定颜色相关的画质的调整的图像显示装置及图像显示方法。
解决问题的方案
本公开的一个方面涉及一种图像显示装置,其包括:图像获取部,其获取输入图像;对象检测部,其从所述输入图像检测规定的对象;尺寸获取部,其求出所述规定的对象的尺寸;判断部,其基于所述规定的对象的所述尺寸,对于所述规定的对象具有的特定颜色,判断是否调整画质;画质调整部,其在所述判断部中判断为进行所述画质的调整的情况下,对于所述特定颜色,调整所述输入图像的至少一部分区域的所述画质;以及显示控制部,其进行将调整了所述画质的所述输入图像显示于显示面板的控制。
本公开的另一方面涉及一种图像显示方法,其包含如下步骤:获取输入图像;从所述输入图像检测规定的对象;求出所述规定的对象的尺寸;基于所述规定的对象的所述尺寸,判断是否调整与所述规定的对象具有的特定颜色相关的画质;在判断为进行所述画质的调整的情况下,对于所述特定颜色,调整所述输入图像的至少一部分区域的所述画质;以及进行将调整了所述画质的所述输入图像显示于显示面板的控制。
附图说明
图1是作为图像显示装置的一个例子的电视接收装置的外观例。
图2是作为图像显示装置的一个例子的电视接收装置的构成例。
图3是图像显示装置的构成例。
图4是说明图像显示装置的处理的流程图。
图5是对象检测结果的例子。
图6是说明尺寸指标值的获取处理的流程图。
图7是尺寸统计量与尺寸指标值的关系例。
图8A是说明是否需要进行与特定颜色相关的画质调整的判断处理的流程图。
图8B是说明但是颜色调整的处理的流程图。
图9A是指标值的时间序列变化的例子。
图9B是滞后(hysteresis)处理结果的时序变化的例子。
图9C是振荡(chattering)滤波处理结果的时序变化的例子。
图10是图像显示装置的构成例。
图11是说明图像显示装置的处理的流程图。
图12是说明场景判断的输入输出的图。
图13是场景判断结果(场景指标值)和对象检测结果的例子。
图14是说明指标值的获取处理的流程图。
具体实施方式
以下,参照附图说明本实施方式。另外,关于附图,对相同或等同的要素标注相同的附图标记,并省略重复的说明。此外,以下说明的本实施方式并没有不合理地限定技术方案所记载的内容。另外,在本实施方式中说明的构成并非全部都是本公开的必需构成要件。
1.第一实施方式
1.1系统构成
图1是示出作为本实施方式所涉及的图像显示装置100的一个例子的电视接收装置10的构成例的图。电视接收装置10例如是接收电视广播的广播波并将基于接收到的广播波的影像显示于显示面板16的装置。此外,图1是电视接收装置10的外观构成的一个例子,关于具体的形状,能够实施各种变形。
图2是示出电视接收装置10的硬件构成例的图。电视接收装置10包括处理器11、调谐器12、通信接口13、存储器14、操作接口15和显示面板16。但是,电视接收装置10的构成不限于图2,能够实施省略一部分构成、追加其他构成等的各种变形。
处理器能够使用CPU(Central Processing Unit:中央处理单元)、GPU(GraphicsProcessing Unit:图形处理单元)、DSP(Digital Signal Processor:数字信号处理器)等各种处理器。另外,处理器11也可以包括ASIC(application specific integratedcircuit:专用集成电路)、FPGA(Field Programmable Gate Array:现场可编程门阵列)等硬件。处理器11与电视接收装置10的各部连接,执行各部的控制。
调谐器12包括接收特定的频率的电视广播的广播波的接口以及执行对接收到的广播波的处理的电路等。例如,这里的接口是用于连接天线电缆的端子。另外,这里的电路等也可以包含RF(Radio Frequency:射频)电路、进行解码的解码电路、进行模拟/数字转换的A/D转换电路等。
调谐器12从天线接收与电视广播的广播波对应的信号,将基于该信号的影像信号输出至处理器11。这里的影像信号例如是按时序获取的多个图像的集合。
通信接口13例如是按照IEEE802.11等通信方式进行通信的接口,狭义上是用于进行按照该通信方式的通信的通信芯片。例如,电视接收装置10经由通信接口13与互联网等公众通信网进行通信。具体而言,电视接收装置10可以经由公众通信网与内容服务器连接,进行从该内容服务器接收电影等影像内容的处理。
存储器14是处理器11的工作区域,存储各种信息。存储器14既可以是SRAM(StaticRandom Access Memory:静态随机存取存储器)、DRAM(Dynamic Random Access Memory:动态随机存取存储器)等的半导体存储器,也可以是寄存器,也可以是HDD(Hard Disk Drive:硬盘驱动器)等磁存储装置,还可以是光盘装置等光学式存储装置。
操作接口15也可以是用户操作电视接收装置10时使用的接口,可以是设置在电视接收装置10的壳体上的按钮,也可以是用于与遥控器进行通信的接口(例如红外线的接收装置)。
显示面板16是显示图像的显示器。显示面板16例如可以是液晶显示器,也可以是有机EL显示器,还可以是其他方式的显示器。
图3是示出本实施方式所涉及的图像显示装置100的构成例的图。图像显示装置100包括图像获取部110、对象检测部120、尺寸获取部130、判断部150、画质调整部160、显示控制部170。但是,图像显示装置100的构成并不限定于图3,可以进行构成的追加、省略等的变形。
本实施方式的图像显示装置100例如与图2所示的电视接收装置10对应。例如,图像显示装置100的各部也可以通过电视接收装置10的处理器11来实现。例如,存储器14存储程序和各种数据等。更具体而言,存储器14存储能够由计算机读取的命令,处理器11执行该命令,从而图3所示的图像显示装置100的各部的功能作为处理来实现。图像显示装置100的各部包括图像获取部110、对象检测部120、尺寸获取部130、判断部150、画质调整部160、显示控制部170。另外,图像显示装置100的各部也可以包括使用图10在下文中叙述的场景获取部140。这里的命令既可以是构成程序的命令集的命令,也可以是对处理器11的硬件电路指示动作的命令。
图像获取部110获取输入图像。这里的输入图像表示成为显示面板16中的显示对象的图像。例如,输入图像也可以是经由天线和调谐器12获取的电视广播的视频信号中所包含的图像。这里的视频信号也可以是遵照Rec.709(BT.709)的信号,Rec.709(BT.709)是与高分辨率电视广播中的编码等相关的标准。在Rec.709中,例如规定了RGB颜色空间参数。
以下,对输入图像与电视广播的影像信号对应的例子进行说明。但是,本实施方式的手段并不限定于此。例如,输入图像也可以是通信接口13从内容服务器获取到的影像信号中包含的图像。另外,电视接收装置10也可以与BD(Blu-ray Disc,注册商标)等媒体的再生装置连接,将从该媒体读出的影像信号中包含的图像作为输入图像来使用。
另外,对象检测部120从输入图像检测规定的对象。这里的规定的对象例如是人物的脸。但是,规定的对象也可以是蓝天、绿色景色等其它对象。此外,绿色景色表示例如有草木等植物的景色。
例如,在将人物的脸作为对象的情况下,对象检测部120也可以检测眼睛、口、鼻等脸所包含的部位,基于检测到的部位的种类、位置关系从输入图像检测人物的脸。例如,对象检测部120也可以通过基于部位的位置关系检测人物的脸的轮廓,来确定与脸对应的区域。在对象检测中,不仅执行确定是否存在该对象的处理,还执行确定输入图像中的规定的对象所存在的位置、范围的处理。另外,也可以在从图像进行对象检测时使用机械学习的结果。例如,也可以使用卷积神经网络(CNN:Convolutional Neural Network),该卷积神经网络在输入图像的一部分设定检测窗,判断该检测窗所包含的区域是否存在脸。通过一边改变检测窗的尺寸、形状一边重复处理,从而能够从输入图像检测规定的对象。此外,作为使用神经网络的方法,已知有适于实时检测的YOLO(You Only Look Once)等各种方法,在本实施方式中能够广泛应用这些方法。此外,对象检测的方法不限于上述的例子,并且可以广泛应用公知的方法。
尺寸获取部130获取被对象检测部120检测到的规定的对象的尺寸。例如,作为对象检测的结果,如使用图5在下文中叙述那样,在检测到包含规定的对象的矩形区域D1等的情况下,尺寸获取部130能够基于该矩形区域的纵向长度(像素数)与横向长度(像素数)之积来获取尺寸。
判断部150基于规定的对象的尺寸来判断是否调整与特定颜色相关的画质。关于具体的判断方法,使用图6至图8B等在下文中叙述。
画质调整部160在判断为进行画质的调整的情况下,对于规定的对象具有的特定颜色,调整输入图像的至少一部分区域的画质。例如,已知有作为由人从规定的对象存储为图像的颜色的存储颜色。存储颜色有时与实际的对象的颜色不同。在这种情况下,在忠实于实际的颜色地显示图像的情况下,由于与存储颜色不同,所以有可能使看到该图像的用户感到不协调感。因此,画质调整部160也可以对规定的对象所包含的特定颜色,执行使该特定颜色的色调接近存储颜色的画质的调整处理。例如关于人物的肤色,已知存储颜色的彩度比实际低,因此画质调整部160也可以进行降低肤色区域的彩度的画质的调整处理。另外,已知蓝天和绿色景色的存储颜色的彩度比实际高,因此画质调整部160可以进行将对应于天空的蓝色区域、对应于绿色景色的绿色区域的彩度提高的画质的调整处理。另外,画质的调整并不限定于彩度的调整,也可以包含亮度、色相的调整。另外,本实施方式中的与特定颜色相关的画质的调整并不限定于基于存储颜色的调整。
另外,由上述电视广播的规格确定的颜色空间有时比显示面板16能够表现的颜色空间窄。在这种情况下,如果直接显示输入图像,则即使显示面板16具有表现鲜艳颜色的能力,也有可能无法发挥该能力。因此,画质调整部160可以与对象的检测结果无关地,对输入图像进行提高亮度以及饱和度中的至少一个的画质的调整处理。例如,画质调整部160也可以通过组合与规定的对象的特定颜色相关的调整处理和不依赖于对象的调整处理这两者,来进行针对输入图像的画质的调整。
显示控制部170进行将在画质调整部160中调整了画质的输入图像显示于显示面板16的控制。例如,显示控制部170将图像信号和时刻控制信号输出到显示面板16,该时刻控制信号用于指示显示面板16所包含的驱动电路的控制时刻。此外,根据判断部150的判断,也可以省略与特定颜色相关的画质调整,在此,成为显示对象的图像也可以是未进行与特定颜色相关的调整的图像。
此外,以上说明了图像显示装置100是电视接收装置10的例子,但并不限于此。例如,图像显示装置100也可以对应于机顶盒等装置。在这种情况下,显示控制部170进行的显示控制也可以是对具有显示面板16的设备(电视接收装置10、显示器等)输出画质调整后的输入图像的控制。
在本实施方式的方法中,如上所述,基于对象检测的结果,进行与规定的对象的特定颜色相关的画质的调整。虽然可以考虑如上所述对象检测的各种方法,但在规定的对象的一部分被遮挡的情况下等,也能够高精度地检测该规定的对象,因此,能够适当地判断是否需要与特定颜色相关的画质调整。例如,在规定的对象为脸的情况下,即使在由于脸的一部分被口罩、太阳眼镜等遮挡而导致肤色的像素数变少的情况下,如果该脸的尺寸大,则也能够判断为需要画质调整。结果,与使用与特定颜色对应的颜色的像素的数量、该颜色的像素连续的区域等的现有方法相比,能够抑制画质调整中产生泄漏。
另外,本实施方式的图像显示装置100所进行的处理的一部分或全部可以通过程序来实现。图像显示装置100所进行的处理是例如电视接收装置10的处理器11所进行的处理。
本实施方式所涉及的程序例如可以存储在计算机可读取的介质的非暂时性信息存储装置(信息存储介质)中。信息存储装置例如能够通过光盘、存储卡、HDD、或者半导体存储器等实现。半导体存储器例如是ROM。图像显示装置100、处理器11等基于存储在信息存储装置中的程序进行本实施方式的各种处理。即,信息存储装置存储用于使计算机作为图像显示装置100的各部发挥作用的程序。计算机是具备输入装置、处理部、存储部、输出部的装置。具体而言,本实施方式所涉及的程序是用于使计算机执行在使用图4等在下文中叙述的各步骤的程序。
例如,本实施方式所涉及的程序使计算机作为图像显示装置100的图像获取部110、对象检测部120、尺寸获取部130、判断部150、画质调整部160和显示控制部170起作用。
另外,本实施方式的方法也可以应用于包括以下各步骤的图像显示方法。图像显示方法包括:获得输入图像的步骤;从输入图像检测规定的对象的步骤;求出规定的对象的尺寸的步骤;基于规定的对象的尺寸判断是否调整与规定的对象具有的特定颜色相关的画质的步骤;在判断为进行画质的调整的情况下,对于特定颜色,调整输入图像的至少一部分区域的画质的步骤;以及进行将调整了画质的输入图像显示于显示面板的控制的步骤。例如,图像显示方法也可以包含使用图4、图6、图8A、图8B等在下文中叙述的各步骤。
1.2处理的细节
图4是说明本实施方式所涉及的图像显示装置100的处理的流程图。图4所示的处理例如也可以在获取到作为时序上的图像的集合的影像信息的情况下,以各帧的图像为对象来执行。
首先,在步骤S101中,图像获取部110获取输入图像。例如,图像获取部110获取经由调谐器12等获取的图像信息中的给定的一帧图像,并向对象检测部120输出。
在步骤S102中,对象检测部120以从图像获取部110获取到的输入图像为对象,进行检测规定的对象的对象检测处理。这里的处理既可以是如上所述那样基于规定的对象所包含的构造(眼睛、鼻等)来检测对象的轮廓的处理,也可以是应用了CNN、YOLO等机械学习的处理,还可以是使用了其他对象检测方法的处理。
图5是说明通过对象检测部120的对象检测处理而获取的检测结果的例子的图。图5中的图像I M对应于输入图像。在图5的例子中,输入图像(图像I M)中包含有两位人物的脸F1及F2。在这种情况下,对象检测部120获取包括脸F1的矩形区域D1和包括脸F2的矩形区域D2作为对象检测处理的检测结果。例如,检测结果是用于确定矩形区域的信息,既可以是矩形区域的基准点的坐标(例如,左上的坐标和右下的坐标)的组,也可以是矩形区域的基准点的坐标(例如左上的坐标)和纵向及横向的长度的组,还可以是其它信息。在检测到多个规定的对象的情况下,对各规定的对象求出用于确定矩形区域的信息。例如,检测结果也可以包括所检测的规定的对象的数量和用于确定与各规定的对象对应的矩形区域的信息。
此外,检测结果并不限定于矩形区域。例如,在对象检测处理为从眼睛、鼻等构造检测脸的轮廓的处理的情况下,对象检测部120也可以获取由该轮廓包围的区域作为检测结果。另外,在使用神经网络的处理中,也可以不对每个检测窗进行处理,而是针对输入图像的各像素,求出该像素是否属于脸的准确度。在这种情况下,检测结果也可以是属于脸的准确度为规定阈值以上的像素的集合,形状并不限定于矩形。例如,检测结果也可以包括所检测的规定的对象的数量和用于确定与各规定的对象对应的区域的信息。对象检测部120将检测结果输出到尺寸获取部130。
在步骤S103中,尺寸获取部130求出被对象检测部120检测到的规定对象的尺寸。如图5中所示,在检测到多个对象的情况下,对象检测部120针对每个对象求出尺寸。这里的尺寸是表示大小的信息,既可以是矩形区域的纵向长度与横向长度之积,也可以是检测结果所包含的像素数的合计。尺寸获取部130将求出的尺寸输出至判断部150。例如,尺寸获取部130也可以将所检测的规定的对象的数量和规定的对象的尺寸输出至判断部150。
在步骤S104中,判断部150基于从尺寸获取部130输出的尺寸,来判断是否进行规定的对象所包含的特定颜色的画质的调整。
例如,在规定的对象的尺寸大于规定尺寸的情况下,判断部150也可以判断执行与特定颜色相关的画质的调整。这样一来,无论与特定颜色对应的像素数如何,都能够基于规定的对象自身的尺寸来判断是否进行特定颜色的调整。因此,若在输入图像中大幅地拍摄到规定的对象,则假设即使通过口罩等遮挡肤色区域的一部分,也能够进行因该规定的对象引起的特定颜色的调整。因此,例如在将人物的脸被大幅放映出的图像进行显示时,能够提高进行肤色的画质调整的盖然性。例如,由于能够抑制被大幅地显示的对象所包含的特定颜色偏离存储颜色,因此能够抑制观看显示的图像的用户感到不协调感。另一方面,在规定的对象小的情况下,该规定的对象对用户造成的影响小,因此,能够省略画质的调整。
例如,判断部150也可以基于规定的对象的尺寸来求出指标值,并且基于指标值和给定的阈值来判断是否调整与特定颜色相关的画质。这样一来,能够适当地执行尺寸是否大的判断。另外,通过调整指标值的计算方法、阈值,能够灵活地变更是否进行与特定颜色相关的画质的调整的判断基准。例如,步骤S104的处理也可以包括计算指标值的处理和基于该指标值来判断是否需要调整与特定颜色相关的画质的处理。以下,对各处理的例子进行说明。
图6是说明步骤S104中的判断处理中的求出与尺寸相关的指标值即尺寸指标值的处理的流程图。首先,在步骤S201中,判断部150判断检测出的规定的对象的数量是否为1以上。
在检测到的规定的对象的数目为1以上的情况下(步骤S201:是),判断部150在步骤S202中,基于从尺寸获取部130输出的各规定的对象的尺寸,计算尺寸统计量。
例如,判断部150也可以求出所检测的一个或多个规定的对象中的最大规定的对象的尺寸作为尺寸统计量。或者,判断部150也可以求出一个或多个规定的对象的尺寸的总值、平均值和中间值作为尺寸统计量。此时,合计值等的计算中使用的规定的对象既可以是检测到的所有规定的对象,也可以是尺寸的大小的高位n个(n为2以上的整数)。这里的n可以是固定值,也可以是根据检测出的规定的对象的数量动态地决定的值。或者,判断部150也可以求出一个或多个规定的对象中的尺寸的高位n个中的最小值作为尺寸统计量。
另外,判断部150也可以求出上述最大值相对于整个输入图像的比例作为尺寸统计量。例如,判断部150也可以基于输入图像的分辨率来求出输入图像的尺寸。输入图像的尺寸是纵向上的像素数与横向上的像素数之积。例如,当将所检测的规定的对象的尺寸的最大值设为B,将输入图像的尺寸设为A时,表示尺寸统计量的值C也可以是C=(B/A)×100。另外,如上所述,这里的B也可以替换为合计值、平均值、中间值、最小值等的值。
此外,判断部150也可以基于从输入图像检测到的规定的对象的位置来求出指标值。例如,判断部150可以使用规定的对象的位置来计算上述尺寸统计量。例如,判断部150也可以在将由尺寸获取部130求出的各规定的对象的尺寸乘以与位置对应的权重之后,求出上述尺寸统计量。例如,判断部150可以使用这样的权重:规定的对象的位置越靠近输入图像的中心,则值越大,而越远离中心,则值越小。例如,即使是相同的尺寸的对象,与输入图像中心靠近的对象也被评价为尺寸相对较大,远离中心的对象也被评价为尺寸相对较小。这样一来,在尺寸统计量的计算中,由于能够相对地增大容易被用户关注的对象的贡献度,所以能够抑制例如容易被关注的对象的画质的调整遗漏。
在算出尺寸统计量之后,在步骤S203中,判断部150基于尺寸统计量与给定的阈值TH的比较处理,求出尺寸指标值。这里的尺寸指标值是表示尺寸的大小的指标,例如是尺寸越大则值越大的信息。另外,这里的阈值例如也可以是大于0且为100以下的值。
例如,在尺寸统计量为阈值TH以上的情况下(步骤S203:是),在步骤S204中,判断部150将尺寸指标值的值设定为100。另一方面,在尺寸统计量小于阈值TH的情况下(步骤S203:
否),在步骤S205中,判断部150基于插值处理来决定尺寸指标值。
图7是示出尺寸统计量、阈值TH、尺寸指标值的关系例的图。例如,如图7所示,在步骤S205中,判断部150也可以通过线性插值求出尺寸指标值。但是,图7是尺寸统计量、阈值TH、尺寸指标值的关系的一个例子,也可以基于其它关系求出尺寸指标值。例如,也可以在尺寸统计量小于阈值TH的范围内,进行使用非线性函数的插值处理。
另外,在检测出的规定的对象的数量为0个的情况下(步骤S201:否),在步骤S206中,尺寸指标值的值被设定为0。
如上所述,当从输入图像检测到多个规定的对象时,判断部150也可以基于至少一个规定的对象的尺寸来求出指标值。例如,如上所述,对象的最大尺寸可以用于指标值计算,也可以将两个以上的对象的尺寸的平均值等用于指标值计算。这样一来,即使在存在多个规定的对象的情况下,也能够适当地评价输入图像中的规定的对象的尺寸。换言之,能够与输入图像所包含的规定的对象的数量无关地将规定的对象对用户造成的影响适当地进行数值化。
此外,如图7所示,在本实施方式中,也可以进行从尺寸统计量向尺寸指标值的转换处理。虽然尺寸统计量例如为最大值成为100的值,但在现实的输入图像中,人物的脸覆盖图像整体的情况不多。例如,上述的B容易成为比A小的值,尺寸统计量为100或其附近的值的盖然性低。关于这一方面,在图7的例子中的尺寸指标值中,也适当地使用最大值即100附近的值。即,通过进行向尺寸指标值的转换,能够调整数值范围(例如0以上且100以下)内的值的偏差状况。特别是,在第二实施方式中,如后述那样,在将尺寸指标值与场景指标值等其它指标值进行比较的情况下,通过使各指标值的数值范围中的偏差程度一致,能够适当地比较大小关系。但是,判断部150也不妨碍将尺寸统计量本身用作尺寸指标值。在这种情况下,能够省略图6的步骤S203~S205,在步骤S202中求出的尺寸统计量直接成为尺寸指标值。
图8A是用于说明在步骤S104中的判断处理中基于指标值来判断是否需要与特定颜色相关的画质调整的处理的流程图。这里的处理也可以是基于指标值和给定的阈值TH0的处理。指标值是上述的尺寸指标值。另外,此处的给定的阈值TH0虽然是与用于与尺寸统计量进行比较的阈值TH不同的信息,但不妨碍将阈值TH0和上述的阈值TH被设定为相同的值。
如图8A所示,首先在步骤S301中,判断尺寸指标值是否为阈值TH0以上。如果为图7的例子,则尺寸指标值为0以上且100以下的值,TH0也可以设定为大于0且100以下的范围。
在尺寸指标值为阈值TH0以上的情况下(步骤S301:是),在步骤S302中,判断部150判断为进行与特定颜色相关的画质的调整。在尺寸指标值小于阈值TH0的情况下(步骤S301:否),在步骤S303中,判断部150判断为不进行与特定颜色相关的画质的调整。这样一来,能够基于尺寸指标值的大小判断是否需要进行与特定颜色相关的画质调整。
另外,基于指标值判断是否需要进行与特定颜色相关的画质调整的处理并不限定于图8A所示的处理。图8B是说明步骤S104中的判断处理中的、基于指标值和给定的阈值来判断是否进行与特定颜色相关的画质的调整的其他处理的流程图。
如步骤S401所示,判断部150也可以对指标值进行抑制时序上的变动的滤波处理。判断部150基于滤波处理后的指标值,来判断是否调整画质。通过抑制尺寸指标值的时序上的变动,例如即使在尺寸指标值在阈值的附近细微地变动的情况下,也能够抑制判断结果的频繁的变化。由于能够抑制特定颜色的画质频繁变化,因此能够抑制带给用户的不协调感。
这里的滤波处理可以包括:根据指标值的变化方向进行使用了不同的多个阈值的阈值判断的滞后处理;以及以获取相同的值在规定次数以上为条件来变更值的振荡滤波处理。这样一来,能够适当地抑制指标值的时序上的变动。此外,以下,对振荡滤波处理是以连续获取到规定次数以上的相同值为条件来变更值的处理的例子进行说明。
图9A至图9C是说明步骤S401的滤波处理的具体例的图。图9A是说明指标值的时序上的变化的例子的图。图9A的横轴表示时间,纵轴表示指标值。本实施方式中的指标值是上述的尺寸指标值。在图9A中,时刻t1~t11分别是求出尺寸指标值的时刻,例如与视频信号的帧对应。下面,将滞后处理的处理结果表述为第一处理结果。
例如,在滞后处理中,在当前的第一处理结果为0的情况下,判断部150基于与相对较大的阈值TH1的比较处理,来判断是否使第一处理结果增加到1。例如,在判断为尺寸指标值为阈值TH1以上的情况下,判断部150输出1作为第一处理结果。另外,在判断为尺寸指标值小于阈值TH1的情况下,判断部150继续输出0的处理结果作为第一处理结果。
另外,在当前的第一处理结果为1的情况下,判断部150基于与比阈值TH1小的阈值TH2的比较处理,来判断是否使第一处理结果减少为0。例如,在判断为尺寸指标值小于阈值TH2的情况下,判断部150输出0作为第一处理结果。另外,在判断为尺寸指标值为阈值TH2以上的情况下,判断部150继续输出1作为第一处理结果。
综上所述,判断部150在尺寸指标值为阈值TH1以上的情况下,输出1作为第一处理结果,在尺寸指标值小于阈值TH2的情况下,输出0作为第一处理结果,在尺寸指标值为阈值TH2以上且小于阈值TH1的情况下,继续输出与前一时刻下的第一处理结果相同的值。
图9B是示出对图9A所示的指标值进行了使用阈值TH1和TH2的滞后处理的处理结果的图。在时刻t1,由于尺寸指标值小于阈值TH2,因此判断部150输出0作为第一处理结果。时刻t2、t3也同样,判断部150输出0作为第一处理结果。
在时刻t4,尺寸指标值在阈值TH2以上且小于TH1。在这种情况下,由于继续前一时刻下的第一处理结果的输出,所以判断部150输出0作为第一处理结果。
在时刻t5,判断为尺寸指标值为阈值TH1以上。因此,确定部150输出1作为第一处理结果。
在时刻t6,尺寸指标值在阈值TH2以上且小于TH1。在这种情况下,由于继续前一时刻下的第一处理结果的输出,所以判断部150输出1作为第一处理结果。时刻t7也同样。
在时刻t8,判断为尺寸指标值小于阈值TH2。因此,确定部150输出0作为第一处理结果。
以下同样地,判断部150在时刻t9和t10输出1作为第一处理结果,在时刻t11输出作为第一处理结果的0。
如图9A所示,在此例子中,虽然尺寸指标值的变动程度大,但通过进行滞后处理,值的变动受到抑制。例如,在图9A的例子中,虽然可以看到很多跨越阈值TH1或者TH2的值的变动,但是如图9B所示,滞后处理的处理结果中的值的变动被抑制为t5、t8、t11这3次。
图9C是示出对图9B所示的滞后处理的处理结果进行了振荡滤波处理的处理结果的图。以下,为了便于说明,将振荡滤波处理的处理结果也标记为第二处理结果。例如,判断部150以连续规定次数获取到前一时刻下的第二处理结果不同的输入值为条件,将第二处理结果的值变更为输入值。换言之,即使获取到了与第二处理结果不同的输入值,如果连续次数不到规定次数,则输入值也不会反映在第二处理结果中。图9C是作为规定次数设定为三次的情况的例子,但规定次数的值能够实施各种变形。另外,第二处理结果的初始值为0。
如图9B所示,在时刻t1~t4,作为输入值的第一处理结果的值为0,前一时刻下的第二处理结果的值为0。因此,如图9C所示,确定部150继续输出0作为第二处理结果。
在时刻t5,作为输入值的第一处理结果的值是1,与前一时刻下的第二处理结果的值即0不同。因此,判断部150判断连续次数是否为规定次数以上。在此,由于连续次数为1,比作为规定次数的3小,因此不反映输入值。结果,如图9C所示,确定部150继续输出0作为第二处理结果。
在时刻t6,作为输入值的第一处理结果的值是1,与前一时刻下的第二处理结果的值即0不同。在这种情况下,连续次数增加到2,但是由于比作为规定次数的3小,因此不反映输入值。结果,如图9C所示,确定部150继续输出0作为第二处理结果。
在时刻t7,作为输入值的第一处理结果的值为1,与第二处理结果的值即0不同。在这种情况下,由于连续次数增加到3,因此成为规定次数即3以上,输入值反映在第二处理结果中。结果,如图9C所示,确定部150输出1作为第二处理结果。
在时刻t8以后,前一时刻下的第二处理结果为1,因此,进行输入值为0的连续次数与规定次数的比较。例如,在t8及t11中,作为输入值获取0,但是,由于连续次数均为1,比作为规定次数的3小,因此,不反映输入值。结果,如图9C所示,在时刻t8~t11,确定部150继续输出1作为第二处理结果。
由图9B和图9C的比较可知,通过进行振荡滤波处理,短期的值的变动不会反映到处理结果中,因此能够进一步抑制指标值的时序上的变动。
返回到图8B,继续说明。在步骤S402中,判断部150判断作为滤波处理后的值的第二处理结果是否为1。当第二处理结果为1时(步骤S402:是),在步骤S403中,判断部150判断为进行与特定颜色相关的画质的调整。在第二处理结果为0的情况下(步骤S402:否),在步骤S404中,判断部150判断为不进行与特定颜色相关的画质的调整。这样一来,在抑制尺寸指标值的时序上的变动的基础上,能够判断是否需要进行与特定颜色相关的画质调整。
通过使用图6至图8B在上文描述的处理,图4的步骤S104所示的判断部150的处理结束。判断部150将是否进行与特定颜色相关的画质的调整的判断结果输出到画质调整部160。
在步骤S105中,画质调整部160判断是否得到了进行与特定颜色相关的画质的调整这一判断结果。在判断部150判断为进行与特定颜色相关的画质的调整的情况下(步骤S105:是),在步骤S106中,画质调整部160对输入图像进行与特定颜色相关的画质的调整。例如,在规定的对象为人物的脸的情况下,由于存储颜色比实际的颜色淡,因此画质调整部160进行使与肤色对应的颜色的像素的彩度降低的处理。另外,在规定的对象为蓝天或绿色景色的情况下,由于存储颜色比实际的颜色深,因此画质调整部160进行使蓝色或绿色的像素的彩度增加的处理。
此外,在步骤S106中,画质调整部160也可以调整输入图像中与由对象检测部120检测出的规定的对象对应的区域的画质,且不调整其它区域的画质。这样一来,能够将与特定颜色相关的画质的校正对象限定为规定的对象。例如在图像中包含与人物的皮肤不同的肤色的物体的情况下,由于不对该物体进行画质的调整,因此能够抑制给用户带来不适感。
此外,这里的与规定的对象对应的区域例如是图5所示的检测结果即矩形区域D1、矩形区域D2本身,但也可以不严格地一致。例如,对于以脸F1为对象的特定颜色的画质的调整也可以以除去了矩形区域D1的一部分的区域为对象来执行。例如,调整对象的区域也可以是D1中包含规定比例以上的区域。或者,调整对象的区域也可以包括矩形区域D1附近的区域。例如,调整对象的区域也可以是矩形区域D1以外的区域在该区域中所占的比例小于规定比例的区域。
或者,画质调整部160也可以调整输入图像中的、包含由对象检测部120检测出的与规定的对象对应的区域、以及包含不与规定的对象对应的区域的区域的画质。这里的成为画质调整的对象的区域也可以是相对于输入图像整体的尺寸具有规定比例以上的尺寸的区域。例如,画质调整部160也可以以输入图像整体为对象,调整与特定颜色相关的画质。这样一来,无需严格地设定成为画质调整的对象的区域,因此能够减轻处理负荷。
另外,在判断部150判断为不进行与特定颜色相关的画质的调整的情况下(步骤S105:否),画质调整部160跳过步骤S106所示的与特定颜色相关的画质的调整。
此外,虽然在图4中未图示,但画质调整部160不限于特定颜色,也可以执行提高输入图像的亮度以及彩度中的至少一个的处理。这样,无论电视广播的规格如何,都能够表现鲜艳的颜色。例如,画质调整部160在进行与特定颜色相关的画质的调整的情况下,可以进行与特定颜色相关的画质调整和不限定于特定颜色的画质调整这两者。另外,画质调整部160在不进行与特定颜色相关的画质的调整的情况下,也可以仅进行不限于特定颜色的画质调整。
在步骤S107中,显示控制部170进行将画质调整后的输入图像显示于显示面板16的控制。这里的画质调整后的输入图像狭义上是进行了与特定颜色相关的画质的调整的输入图像。但是,画质调整后的输入图像既可以是进行了与特定颜色相关的画质调整和不限定于特定颜色的画质调整这两者的输入图像,也可以是仅进行了不限于特定颜色的画质调整的输入图像。
2.第二实施方式
图10是示出本实施方式所涉及的图像显示装置100的构成例的图。在与图3所示的构成进行比较的情况下,成为追加了场景获取部140的构成。场景获取部140判断从图像获取部110输出的输入图像的场景,获取场景判断结果。例如,如后述那样,场景获取部140也可以针对多个候补场景的每一个判断输入图像是属于该候补场景的准确度。这里的候补场景包括人物的脸、蓝天、绿色景色、动画等。
除了将输入图像输出到对象检测部120和场景获取部140之外,图像获取部110与第一实施方式相同。判断部150在尺寸指标值的基础上,还基于场景获取部140中的场景判断结果,来判断是否需要与特定颜色相关的画质调整。在下文中叙述判断部150中的处理的细节。对象检测部120、尺寸获取部130、画质调整部160和显示控制部170与第一实施方式相同。
图11是说明本实施方式所涉及的图像显示装置100的处理的流程图。图11所示的处理例如也可以在获取到作为时序上的图像的集合的影像信息的情况下,以各帧的图像为对象来执行。
首先,在步骤S501中,图像获取部110获取输入图像。在步骤S502中,对象检测部120以从图像获取部110获取到的输入图像为对象,进行检测规定的对象的对象检测处理。在步骤S503中,尺寸获取部130求出被对象检测部120检测到的规定对象的尺寸。步骤S501~S503与图4的步骤S101~S103相同。例如,在步骤S503中,尺寸获取部130将检测到的规定的对象的数量和各规定的对象的尺寸输出至判断部150。
在步骤S504中,场景获取部140判断输入图像的场景,获取场景判断结果。例如,场景获取部140也可以使用通过机器学习获取的分类模型来进行场景判断。但是,以下说明的处理是场景判断的一个例子,场景判断既可以使用SVM(Support Vector Machine:支持向量机)等其他机器学习来执行,也可以通过与机器学习不同的方法来执行。此外,步骤S502及S503所示的处理和步骤S504所示的处理既可以并行地执行,也可以按顺序执行。
图12是说明场景判断中的输入输出的图。场景判断例如也可以使用应用了上述的CNN的分类模型来执行。CNN的输入是从图像获取部110输出的输入图像。此外,输入并不限定于输入图像本身,也可以是对输入图像进行了某些预处理的结果。
CNN的输出例如也可以是与多个候补场景的每一个相关的准确度。这里的候补场景例如包括上述人物的脸、蓝天、绿色景色、动画。另外,候补场景不限于此,可以包括建筑物、食物、动物等各种场景。例如,CNN将输入图像的场景是人物的脸的准确度、输入图像的场景是蓝天的准确度、输入图像的场景是绿色景色的准确度、输入图像的场景是动画的准确度这4个值输出。各值例如可以是0以上且100以下的数值。以下,将是人物的脸的准确度记载为脸场景判断值,将是蓝天的准确度记载为蓝天场景判断值,将是绿色景色的准确度记载为绿场景判断值,将是动画的准确度记载为动画判断值。
例如,CNN是通过基于训练数据的机器学习获取到的。这里的训练数据是对学习用图像赋予了场景分类结果作为正解数据的数据。场景分类结果例如是通过阅览了学习用图像的用户输入而获取到的。例如,在用户判断为学习用图像是拍摄到人物的脸的图像的情况下,作为正解数据,赋予脸场景判断值为100,且蓝天场景判断值、绿场景判断值以及动画判断值为0的数据。另外,一个图像也可以与多个场景对应,以使蓝天和人物的脸包含在一张学习用图像中。在此例子中,作为正解数据,赋予脸场景判断值及蓝天场景判断值为100且绿场景判断值及动画判断值为0的数据。此外,生成进行图像分类的学习完成模型的方法广为人知,在本实施方式中能够广泛应用这些方法。
例如,图像显示装置100包括未图示的存储部,该存储部存储作为学习完毕模型的CNN。此外,此处的存储部也可以是图2所示的电视接收装置10的存储器14。场景获取部140从存储部读出CNN,将输入图像输入到CNN,由此求出脸场景判断值、蓝天场景判断值、绿场景判断值以及动画判断值这4个值。场景获取部140将这些值中的至少一个作为场景判断结果向判断部150输出。
判断部150基于从尺寸获取部130输出的尺寸以及从场景获取部140输出的场景判断结果,来判断是否进行与规定的对象所包含的特定颜色相关的画质的调整。例如,判断部150也可以获取基于尺寸的尺寸指标值和基于场景判断结果的场景指标值,并且基于尺寸指标值和场景指标值求出指标值。判断部150基于该指标值来判断是否需要与特定颜色相关的画质调整。这样一来,能够基于对象检测的结果和场景判断结果这样的不同的信息来判断是否需要进行画质调整。因此,能够提高判断精度。
此时,场景获取部140也可以求出输入图像是对应于规定的对象的场景的准确度作为场景判断结果。然后,判断部150也可以获取与规定的对象对应的场景的准确度作为场景指标值。例如,在规定的对象是人物的脸的情况下,场景获取部140获取至少包含脸场景判断值的信息作为场景判断结果,并且判断部150获取脸场景判断值作为场景指标值。另外,在规定的对象为蓝天的情况下,也可以是,由场景获取部140获取至少包含蓝天场景判断值的信息作为场景判断结果,由判断部150获取蓝天场景判断值作为场景指标值。同样地,在规定的对象为绿色景色的情况下,场景获取部140获取至少包含绿色场景判断值的信息作为场景判断结果,判断部150获取绿色场景判断值作为场景指标值。这样一来,能够将与规定的对象相关的对象检测的结果和与规定的对象相关的场景判断的结果用于指标值计算。对于相同的对象,使用不同的判断结果,因此,可以提高是否需要调整画质的判断精度。
在此,对对象检测和场景判断的不同方面进行说明。例如,对象检测是在求出是否存在规定的对象的基础上还求出具体的位置、尺寸的处理,根据情况包括眼睛、鼻等部位之类的详细的形状的检测处理。因此,对于规定的对象,能够求出比场景判断更详细的信息,规定的对象的检测精度高。另一方面,场景判断是作为输入图像整体求出与候补场景的特征在多大程度上一致的处理。因此,虽然没有求出具体的对象的数量、尺寸、位置等,但如图12所示,能够进行与各种候补场景相关的判断。
图13是示出输入图像的方式与脸场景判断值、对象检测结果的关系例的图。脸场景判断值是如上述那样的表示输入图像是包含人物的脸的场景的准确度的0以上且100以下的数值。对象检测结果表示是否从输入图像中检测到对象。
如图13所示,当在没有遮挡脸的物体的正常状态下拍摄时,脸场景判断值为某种程度的高值,检测出脸作为对象检测的结果。因此,在这种情况下,基于对象检测结果的尺寸指标值和场景指标值(脸场景判断值)中的任一个都成为反映出输入图像中包含的规定的对象(人物的脸)的信息。
另外,在被口罩等遮挡鼻、口的情况下、人物朝向倾斜的情况下、被目镜等遮挡眼睛的情况下、在脸的周边显示有字幕的情况等下,如图13所示,脸场景判断值有可能降低。这认为是,由于混合存在脸的一部分的部位被遮挡的、字幕等的其他信息,因此输入图像从像是包含脸的场景的状态偏离。在这种情况下,场景指标值未适当地反映输入图像所包含的规定的对象(人物的脸),仅使用场景指标值时,有可能判断为不需要与肤色相关的画质调整。另一方面,在对象检测中,即使缺失了一部分的部位,也能够检测剩余的部分,因此能够适当地检测脸区域。另外,由于脸的方向不是正面,所以在图像上的部位形状歪斜、字幕等其他信息混合存在等的情况下也是同样的,能够进行对象检测。因此,在以这些方式放映出人物的脸的输入图像为对象的情况下,通过使用基于对象检测结果的尺寸指标值,能够抑制发生画质的调整遗漏。此外,图13所示的脸场景判断值是一个例子,在“遮挡鼻/口”、“朝向斜下方”、“遮挡眼镜”以及“脸下方有字幕”的情况下,脸场景判断值未必降低。即,即使是属于这些情况的任一个情况下,有时也会通过场景判断来适当地检测包含人物的脸的场景。
另外,在由于未对人物对焦而导致图像上的人物的脸模糊的情况下,例如无法适当地进行部位检测,因此,有可能判断为未检测出规定的对象。在这种情况下,如果仅使用基于对象检测结果的尺寸指标值,则可能判断为不需要与肤色相关的画质调整。另一方面,在未对焦的状态下细微的结构可能会被破坏,但作为输入图像整体的倾向,与对焦状态的偏离少。在场景判断中判断作为输入图像整体是包含脸的场景的准确度,因此即使在未对焦的状态下,如果是包含人物的图像,则脸场景判断值也容易被判断为较高。因此,通过使用场景指标值,能够抑制发生画质的调整遗漏。此外,图13示出在“模糊”的情况下有可能无法通过对象检测处理进行脸检测,即使在“模糊”的情况下,也可以通过对象检测处理适当地检测人物的脸。
从图13的例子可知,对象检测和场景判断各自优选的脸的形态不同。因此,通过结合使用基于对象检测的尺寸指标值和基于场景判断的场景指标值这两者,能够不依赖于输入图像中的脸的形态,适当地判断是否需要与特定颜色相关的画质调整。
例如,在图11的步骤S505中,判断部150通过与第一实施方式相同的方法求出尺寸指标值,并且基于来自场景获取部140的输出获取场景指标值。然后判断部150可以获取尺寸指标值和场景指标值中的最大值作为用于判断是否需要与特定颜色相关的画质调整的指标值。例如,在图12的例子中,在遮挡鼻/口、朝向斜下方、遮挡眼镜、脸下方有字幕等方面中,尺寸指标值易于作为指标值使用,在模糊的方式中,场景指标值易于作为指标值使用。这样一来,即使输入图像的方式发生了变化,也由于将适合于该方式的信息用作指标值,因此能够抑制发生与特定颜色相关的画质的调整遗漏。
求出了指标值之后的处理也可以与第一实施方式相同。例如,如图8A所示,判断部150也可以基于指标值与阈值TH0之间的比较处理来判断是否执行与特定颜色相关的画质调整。或者,如图8B所示,判断部150也可以在进行了抑制指标值的时间序列变化的处理之后(步骤S401),基于处理后的值来判断是否进行与特定颜色相关的画质调整。例如,判断部150在多个帧中的每一帧中获取尺寸指标值和场景指标值,并且求出较大的一方作为该帧中的指标值。然后,对于求出的时间序列上的指标值,也可以通过使用图9A至图9C进行上述的处理来求出时间序列变化被抑制的指标值。
步骤S506~S508与图4的步骤S105~S107相同,因此省略详细的说明。
另外,在进行场景判断的情况下,也可以是,在步骤S505中由判断部150进行与多个候补场景相关的场景判断,在步骤S507中由画质调整部160根据该场景判断的结果进行与特定颜色相关的画质调整。以下,对具体例进行说明。
在以上的说明中,说明了使用基于人物的脸的检测结果的尺寸指标值和作为场景指标值的脸场景判断值,进行与人物的肤色相关的画质调整的例子。在这种情况下,也可以省略将蓝天的蓝色区域以及绿色景色的绿色区域作为特定颜色的画质调整。但是,如使用图12所述那样,场景判断的结果也可以包含是包含蓝天的场景的准确度(蓝天场景判断值)、是包含绿色景色的场景的准确度(绿场景判断值)。并且,蓝天和绿色景色的存储颜色比实际的颜色更鲜明,因此,调整蓝天蓝色和绿色景色的绿色的画质是有用的。因此,也可以基于蓝天场景判断值、绿场景判断值来判断是否需要与特定颜色相关的画质调整。例如,也可以在蓝天场景判断值大的情况下,进行提高蓝天蓝色区域的彩度的画质调整,在绿场景判断值大的情况下,进行提高绿色景色的绿色区域的彩度的画质调整。这样一来,对于在不成为对象检测对象的对象中包含的特定颜色,也能够判断是否需要画质调整。
规定的对象变化的情况也同样。例如,在规定的对象为蓝天时,判断部150根据基于蓝天检测结果的尺寸指标值以及蓝天场景判断值中较大的一方,判断是否提高蓝色区域的彩度。而且,对于人物的脸以及绿色场景,判断部150也可以直接使用脸场景判断值和绿色场景判断值来判断是否需要与肤色区域和绿色区域相关的画质调整。
另外,规定的对象也可以为2以上。例如,对象检测部120也可以执行人物的脸的检测处理和蓝天的检测处理。在这种情况下,判断部150根据基于人物的脸的检测结果的尺寸指标值以及脸场景判断值,来判断是否降低肤色区域的彩度。另外,判断部150根据基于蓝天的检测结果的尺寸指标值及蓝天场景判断值,来判断是否提高蓝色区域的彩度。另外,对于绿色场景,判断部150也可以直接使用绿色场景判断值来判断是否需要与绿色景色的绿色区域相关的画质调整。
当然,对象检测部120也可以将人物的脸、蓝天和绿色景色中的每一种作为规定的对象来执行对象检测处理。在这种情况下,对于肤色区域、蓝色区域、绿色区域的所有区域,判断部150都通过使用对象检测结果和场景判断结果这两者来判断是否需要画质调整。
如上所述,在本实施方式中,规定的对象既可以是人物的脸,也可以是蓝天,也可以是绿色景色,还可以是除此以外的对象。另外,作为与特定颜色相关的画质调整的对象的对象不限于一个,例如也可以如上述那样,以人物的脸、蓝天和绿色景色中的2个以上为对象。此时,对于成为对象检测处理对象的对象,通过结合对象检测结果和场景判断结果,可以提高是否需要调整画质的判断精度。
3.第三实施方式
在第二实施方式中,说明了在获取了基于对象检测结果的尺寸指标值和基于场景判断结果的场景指标值的情况下,使用该值较大的一方作为指标值的例子。但是,获取指标值的方法并不限定于此。以下,对具体例进行说明。此外,图11示出的处理中的除了步骤S505之外的处理与第二实施方式相同。
图14是说明本实施方式中的指标值的获取处理的流程图。此外,在图14所示的处理之前,判断部150获取了尺寸指标值以及场景指标值。
在步骤S601中,判断部150利用第一权重对尺寸指标值进行加权。另外,在步骤S602中,判断部150对场景指标值进行基于第二权重的加权。这里的加权是对尺寸指标值乘以第一权重的处理和对场景指标值乘以第二权重的处理,但也可以进行其他加权处理。另外,在此,第一权重和第二权重既可以是相同的值,也可以是不同的值。本实施方式的判断部150在步骤S605中如后述那样,基于加权后的尺寸指标值及加权后的场景指标值来求出指标值。
这样一来,对于尺寸指标值和场景指标值中的每一个,能够校正对于是否需要调整画质的判断的贡献度。例如,第一权重也可以为0以上且1以下的值,值越接近于0,则尺寸指标值的值越小,因此尺寸指标值的贡献度变小。另外,第二权重可以为0以上且1以下的值,值越接近于0,场景指标值的值越小,因此场景指标值的贡献度变小。另外,第一权重以及第二权重中的至少一方也可以为1以上的值。根据本实施方式的方法,能够灵活地确定重视尺寸指标值还是场景指标值。
例如,第一权重也可以是比第二权重大的值。在这种情况下,与场景指标值相比,能够进行重视尺寸指标值的处理。例如,如图13所示,虽然可以考虑输入图像中的规定的对象(例如人物的脸)的各种方式,但与场景判断相比,可能对象检测能够应对的范围更广。即,在判断是否需要与特定颜色相关的画质调整时,基于对象检测的尺寸指标值有可能是比场景指标值可靠性高的信息。因此,通过使第一权重比第二权重大,能够实现重视了更可靠的信息的处理。但是,本实施方式的处理并不限定于此,第一权重和第二权重的值可以相同,也可以使第二权重比第一权重大。
另外,如图12所示,场景获取部140也可以获取表示输入图像是动画的准确度的场景判断结果。这里的场景判断结果是例如上述的动画判断值。并且,判断部150也可以基于输入图像是动画的准确度,对尺寸指标值和场景指标值中的至少一个进行加权处理。例如,判断部150也可以在动画判断值较大的情况下进行使用了第三权重的加权处理,使得尺寸指标值和场景指标值中的至少一方小于动画判断值较小的情况。在此,减小指标值的权重也可以换句话说是被判断为不执行与特定颜色相关的画质的调整的方向的权重。此外,在图14中,示出了判断部150在步骤S603中进行针对尺寸指标值的加权处理,在步骤S604中进行针对场景指标值的加权处理的例子,但也可以省略步骤S603和S604中的任一方。
例如,判断部150也可以将0以上且小于1的权重设定为第三权重。例如,第三权重也可以是当动画判断值为给定的阈值以上时为0、当动画判断值小于给定的阈值时为1的值。在这种情况下,在判断为输入图像是动画的盖然性高的情况下,将尺寸指标值和场景指标值中的至少一方的值设定为0。这样一来,能够抑制对例如动画中的肤色区域进行画质调整。由于在动画中通过调整相当于肤色的像素的画质反而给用户带来不协调感,因此通过使用第三权重能够抑制该不协调感的产生。
此外,判断部150也可以进行将尺寸指标值和场景指标值的双方乘以第三权重的加权。这样一来,由于双方的指标值变小,因此难以进行与特定颜色相关的画质调整。不过,本实施方式中的处理并不限定于此,判断部150也可以进行对尺寸指标值和场景指标值中的任一方乘以第三权重的加权。
另外,第三权重并不限定于0和1这二值。例如,第三权重在动画判断值为0时为1,在动画判断值为100时为0,第三权重也可以是在动画判断值大于0且小于100的范围内进行线性插值。这样一来,能够进行与动画判断值的大小对应的灵活的加权。此外,第三权重的范围不限于此,也可以在动画判断值为100的情况下设定比0大的值。例如,通过将动画判断值为100时的第三权重的值设定为0.5,第三权重也可以被设定为0.5以上且1以下的范围。另外,也可以通过将动画判断值为0的情况下的第三权重设定为小于1的值,来变更第三权重的上限值。另外,动画判断值在大于0且小于100的范围内的插值处理不限于线性插值,也可以使用非线性函数执行插值处理。
此外,在图14中,与尺寸指标值相关的处理(步骤S601和S603)和与场景指标值相关的处理(步骤S602和S604)可以并行执行,也可以按顺序执行。在加权处理结束之后,在步骤S605中,判断部150基于加权后的尺寸指标值以及场景指标值获取用于判断是否需要与特定颜色相关的画质调整的指标值。具体而言,判断部150对加权后的尺寸指标值与加权后的场景指标值进行比较,获取较大的值作为指标值。关于指标值获取后的处理,与第一实施方式、第二实施方式相同,可以执行图8A所示的处理,也可以执行图8B所示的处理。
另外,以上说明了根据是动画的准确度来调整应用于尺寸指标值以及场景指标值中的至少一方的第三权重的例子。不过,在本实施方式中,也可以基于作为动画的准确度进行其它画质调整。例如,画质调整部160也可以基于作为动画的可靠性,变更与特定颜色相关的画质调整的具体内容。例如,在上述的例子中,与特定颜色相关的画质调整是使特定颜色的表现接近于存储颜色的调整。相对于此,画质调整部160例如也可以在作为动画的可靠性小于规定的情况下,进行使特定颜色的表现接近存储颜色的调整,在作为动画的可靠性为规定以上的情况下,进行使特定颜色接近与存储颜色不同的颜色的调整。更广义地说,画质调整部160也可以基于作为动画的准确度(动画判断值),来判断与特定颜色相关的画质调整中的目标颜色。在此,目标颜色是通过亮度、彩度以及色相的值的组而被确定的信息。这样一来,在输入图像(视频信号)是动画的情况和除此以外的情况下,能够实现分别适合的画质调整。另外,动画判断值也可以用于与特定颜色不同的颜色的画质调整中的目标颜色的确定。此外,关于具体的处理,能够实施各种变形。
此外,如上详细地对本实施方式进行了说明,但本领域技术人员能够容易地理解的是,能够进行实质上不脱离本实施方式的新事项及效果的许多变形。因此,这样的变形例全部包含在本公开的范围内。例如,在说明书或附图中,至少一次与更广义或同义的不同术语一起记载的术语在说明书或附图的任何位置都可以置换为与其不同的用语。另外,本实施方式及变形例的所有组合都包含在本公开的范围内。另外,图像显示装置、电视接收装置等的构成以及动作等也不限于在本实施方式所说明的内容,能够实施各种变形。
附图标记说明
10…电视接收装置、11…处理器、12…调谐器、13…通信接口、14…存储器、15…操作接口、16…显示面板、100…图像显示装置、110…图像获取部、120…对象检测部、130…尺寸获取部、140…场景获取部、150…判断部、160…画质调整部、170…显示控制部、D1,D2…矩形区域、F1,F2…脸、I M…图像、t1~t11…时刻。
Claims (13)
1.一种图像显示装置,其特征在于,包括:
图像获取部,其获取输入图像;
对象检测部,其从所述输入图像检测规定的对象;
尺寸获取部,其求出所述规定的对象的尺寸;
判断部,其基于所述规定的对象的所述尺寸,对于所述规定的对象具有的特定颜色,判断是否调整画质;
画质调整部,其在所述判断部中判断为进行所述画质的调整的情况下,对于所述特定颜色,调整所述输入图像的至少一部分区域的所述画质;以及
显示控制部,其进行将调整了所述画质的所述输入图像显示于显示面板的控制。
2.根据权利要求1所述的图像显示装置,其特征在于,
在所述规定的对象的所述尺寸大于规定尺寸的情况下,所述判断部判断为进行与所述特定颜色相关的所述画质的调整。
3.根据权利要求1所述的图像显示装置,其特征在于,
所述判断部基于所述规定的对象的所述尺寸来求出指标値,并基于所述指标値和给定的阈值,来判断是否进行与所述特定颜色相关的所述画质的调整。
4.根据权利要求3所述的图像显示装置,其特征在于,
在从所述输入图像检测到多个所述规定的对象的情况下,所述判断部基于至少一个所述规定的对象的所述尺寸,来求出所述指标値。
5.根据权利要求4所述的图像显示装置,其特征在于,
所述判断部基于从所述输入图像检测检测到的所述规定的对象的位置,来求出所述指标値。
6.根据权利要求3至5中的任一项所述的图像显示装置,其特征在于,
包含场景获取部,所述场景获取部判断所述输入图像的场景,并获取场景判断结果,
所述判断部获取基于所述尺寸的尺寸指标値和基于所述场景判断结果的场景指标値,并基于所述尺寸指标値以及所述场景指标値,来求出所述指标値。
7.根据权利要求6所述的图像显示装置,其特征在于,
所述场景获取部获取所述输入图像是与所述规定的对象对应的场景的准确度,作为所述场景判断结果。
8.根据权利要求6所述的图像显示装置,其特征在于,
所述判断部利用第一权重对所述尺寸指标値进行加权,利用第二权重对所述场景指标値进行加权,并基于加权后的所述尺寸指标値以及加权后的所述场景指标値,来求出所述指标値。
9.根据权利要求6所述的图像显示装置,其特征在于,
所述场景获取部获取表示所述输入图像是动画的准确度的所述场景判断结果,
所述判断部基于所述输入图像是所述动画的所述准确度,对所述尺寸指标値以及所述场景指标値的至少一方进行加权处理。
10.根据权利要求3至5中的任一项所述的图像显示装置,其特征在于,
所述判断部进行滤波处理,所述滤波处理对所述指标値抑制时序上的变动,
所述画质调整部基于所述滤波处理后的所述指标値,来调整所述画质。
11.根据权利要求1至5中的任一项所述的图像显示装置,其特征在于,
所述画质调整部调整所述输入图像中的与被所述对象检测部检测到的所述规定的对象对应的区域的所述画质,并且,不调整其他区域的所述画质。
12.根据权利要求1至5中的任一项所述的图像显示装置,其特征在于,
所述画质调整部调整包含所述输入图像中的与被所述对象检测部检测到的所述规定的对象对应的区域以及与所述规定的对象不对应的区域在内的区域的所述画质。
13.一种图像显示方法,其特征在于,包含如下步骤:
获取输入图像;
从所述输入图像检测规定的对象;
求出所述规定的对象的尺寸;
基于所述规定的对象的所述尺寸,判断是否调整与所述规定的对象具有的特定颜色相关的画质;
在判断为进行所述画质的调整的情况下,对于所述特定颜色,调整所述输入图像的至少一部分区域的所述画质;以及
进行将调整了所述画质的所述输入图像显示于显示面板的控制。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-084883 | 2022-05-25 | ||
JP2022084883A JP2023172980A (ja) | 2022-05-25 | 2022-05-25 | 画像表示装置及び画像表示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117174042A true CN117174042A (zh) | 2023-12-05 |
Family
ID=88934269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310593868.6A Pending CN117174042A (zh) | 2022-05-25 | 2023-05-24 | 图像显示装置以及图像显示方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230403446A1 (zh) |
JP (1) | JP2023172980A (zh) |
CN (1) | CN117174042A (zh) |
-
2022
- 2022-05-25 JP JP2022084883A patent/JP2023172980A/ja active Pending
-
2023
- 2023-05-24 US US18/201,299 patent/US20230403446A1/en active Pending
- 2023-05-24 CN CN202310593868.6A patent/CN117174042A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230403446A1 (en) | 2023-12-14 |
JP2023172980A (ja) | 2023-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1512294B1 (en) | Video pre-processing | |
US8363123B2 (en) | Image pickup apparatus, color noise reduction method, and color noise reduction program | |
US7136538B2 (en) | Noise reducing apparatus and noise reducing method | |
US8417032B2 (en) | Adjustment of image luminance values using combined histogram | |
US7630020B2 (en) | Image processing apparatus and its method | |
JP2013157671A (ja) | 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム | |
JP4118688B2 (ja) | ビデオ画像のセグメンテーションに基づく強調を行うシステム及び方法 | |
US11490157B2 (en) | Method for controlling video enhancement, device, electronic device and storage medium | |
EP1339224B1 (en) | Method and apparatus for improving picture sharpness | |
CN102714723A (zh) | 使用胶片颗粒遮蔽压缩伪影 | |
JP2002171424A (ja) | 動画像処理方法、動画像処理装置および動画像表示装置 | |
CN108495054B (zh) | 高动态范围信号的处理方法、装置及计算机存储介质 | |
US20080013849A1 (en) | Video Processor Comprising a Sharpness Enhancer | |
WO2008102296A2 (en) | Method for enhancing the depth sensation of an image | |
JP2013041565A (ja) | 画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記憶媒体 | |
JPS63182988A (ja) | ビデオ画像の強調方法及びその装置 | |
US20190228744A1 (en) | Image output apparatus, image output method, and program | |
JP6190482B1 (ja) | 表示制御装置、表示装置、テレビジョン受像機、表示制御装置の制御方法、制御プログラム、及び記録媒体 | |
JP2010117884A (ja) | 画像処理装置、映像表示装置、撮像装置、画像処理方法 | |
CN117174042A (zh) | 图像显示装置以及图像显示方法 | |
JP5303399B2 (ja) | 動画像ビット深度削減装置及びプログラム | |
CN108495053B (zh) | 高动态范围信号的元数据处理方法和装置 | |
US9135687B2 (en) | Threshold setting apparatus, threshold setting method and recording medium in which program for threshold setting method is stored | |
US11908340B2 (en) | Magnification enhancement of video for visually impaired viewers | |
JP2010288040A (ja) | 輪郭補正方法及び輪郭補正装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |