CN105976326B - 图像处理装置以及图像处理方法 - Google Patents

图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN105976326B
CN105976326B CN201510707047.6A CN201510707047A CN105976326B CN 105976326 B CN105976326 B CN 105976326B CN 201510707047 A CN201510707047 A CN 201510707047A CN 105976326 B CN105976326 B CN 105976326B
Authority
CN
China
Prior art keywords
image
color
correction
reference colours
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510707047.6A
Other languages
English (en)
Other versions
CN105976326A (zh
Inventor
太田昂志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN105976326A publication Critical patent/CN105976326A/zh
Application granted granted Critical
Publication of CN105976326B publication Critical patent/CN105976326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628—Memory colours, e.g. skin or sky
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供图像处理装置以及图像处理方法。图像处理装置对构成运动图像的多个连续的图像依次进行校正，其特征在于，具有：图像取得部件，取得图像；代表色取得部件，从取得的图像中取得代表色，该代表色是代表要进行校正的对象区域的颜色；以及图像校正部件，基于设定了的基准色，进行对于所述图像的校正处理，在与处理对象的图像对应的代表色和所述基准色的相似度低于预定的阈值的情况下，所述图像校正部件通过该代表色更新基准色，在相似度超过预定的阈值的情况下，不进行基准色的更新。

Description

图像处理装置以及图像处理方法
技术领域
本发明涉及对包含人的脸部作为被摄体的运动图像进行校正的图像处理技术。
背景技术
近年来，对使用数码相机等所拍摄的、包含人的脸部的图像(脸部图像)自动地进行校正的技术正开始普及。在这样的技术之一中存在美肤校正。所谓美肤校正是通过对图像进行滤波，使皮肤变得光洁，或除去皱纹这样的校正，由此，能够提高图像中包含的脸部的美观。
作为对图像进行美肤校正的技术，例如有专利文献1中记载的图像处理装置。在该图像处理装置中，从脸部图像提取具有肤色的色调的像素，基于该色调，决定应进行校正的区域。
【现有技术文献】
【专利文献】
【专利文献1】日本特开2008-243059号公报
在想要对脸部图像中包含的、具有特定的系统的颜色(例如，校正对象如果为皮肤则为肤色，如果为嘴唇则为红色)的像素进行校正的情况下，通常已知如专利文献1记载的装置那样，决定代表校正对象的颜色的颜色(以下为代表色)，基于该代表色，生成校正对象的区域。
但是，有在运动图像中也想要进行美肤校正那样的图像处理的要求。例如，通过对用数码摄像机拍摄的运动图像的各帧应用前述的技术，能够得到同样的美肤效果。
但是，在校正的对象为运动图像的情况下，即使是脸部的朝向或照明的照射方式变化不大的情况下，有时对于每一帧，代表色也会稍微变动。这起因于例如作为被摄体的人物的稍微的移动、或运动图像的压缩噪声等而发生。另外，在代表色变动时，进行校正的范围或校正的强度发生变动，因此，若将校正后的帧连续地进行再现，则会产生校正范围看上去浮现，或看上去不时浮现这样的现象。即，即使将前述的技术对运动图像的各帧直接应用，也不能得到自然的校正结果。
发明内容
本发明考虑上述的课题而完成，其目的在于，提供在对构成运动图像的多个连续的图像进行校正的图像处理装置中，用于得到更自然的校正结果的技术。
本发明的图像处理装置，是对构成运动图像的多个连续的图像依次进行校正的装置。
具体而言，其特征在于，具有：图像取得部件，取得图像；代表色取得部件，从取得的图像中取得代表色，该代表色是代表要进行校正的对象区域的颜色；以及图像校正部件，基于设定了的基准色，进行对于所述图像的校正处理，在与处理对象的图像对应的代表色和所述基准色的相似度低于预定的阈值的情况下，所述图像校正部件通过该代表色更新基准色，在相似度超过预定的阈值的情况下，不进行基准色的更新。
本发明的图像处理装置，从取得的图像中确定要进行校正的对象区域，取得作为代表该对象区域的颜色的代表色。所谓对象区域，例如是与人的皮肤对应的区域、或与人的嘴唇等对应的区域，但不限于此。其中，优选是具有特定的色彩的区域。
图像校正部件是基于设定了的基准色进行对于图像的校正处理的部件。基准色，是装置正在对多个图像进行校正处理的期间所保持的颜色，满足预定的条件时被更新。具体而言，在与处理对象的图像对应的代表色和保持的基准色的相似度低于预定的值的情况下，基准色通过该代表色更新，在与处理对象的图像对应的代表色和基准色的相似度超过预定的值的情况下，基准色不被更新而保持。
即，在正在处理多个图像的期间，在代表色之间的色差变大了某一程度的定时更新基准色。
根据该结构，即使代表色对每一帧波动(ゆらぐ)的情况下，也能够吸收该波动，因此能够抑制校正范围或校正强度的无用的变动，能够抑制在再现了校正后的运动图像时的不自然感。
另外，其特征也可以在于，所述图像校正部件对于在所述取得的图像中包含的像素的每一个，运算表示对于所述基准色的颜色的相似度的值，基于所述值的分布，生成表示进行对图像的校正时的权重的分布的校正图(マップ)，使用所述校正图，进行校正处理。
所谓校正图，是表示在对取得的图像进行校正时的、校正的强度的图。具体而言，校正图，是被定义为对对于基准色的颜色的相似度大的像素，施加更强的校正的图。由此，例如，为了进行美肤校正，能够对肤色的成分更强的区域施加更强的校正。
另外，其特征也可以在于，所述图像校正部件进行对所述取得的图像施加模糊的校正处理，且使用所述校正图决定模糊的强度。
本发明特别地能够适当地应用于通过施加模糊，对具有特定的色彩的区域进行平滑化的图像处理装置。由此，能够从对象的区域除去细微的噪声，能够提高被摄体的美观。
另外，其特征也可以在于，所述图像校正部件对于在所述取得的图像中包含的像素的每一个，运算表示边缘的强度的值，进而基于所述值的分布，生成所述校正图。
在通过对图像施加模糊，想要进行将噪声(例如皮肤上的皱纹或凹凸)平滑化的校正的情况下，若对存在强的边缘的区域进行校正，则边缘会模糊，成为不自然的图像。因此，也可以在取得了边缘的强度之后，生成对边缘的强度强的区域进行弱的校正的校正图。
另外，其特征也可以在于，进行所述校正的对象是人的皮肤。本发明特别地能够适当地应用于进行使人的皮肤显得光滑的图像校正的图像处理装置。
再有，本发明能够特定为包含上述部件的至少一部分的图像处理装置。另外，本发明还能够特定为上述图像处理装置进行的图像处理方法。另外，本发明还能够特定为使计算机执行上述图像处理方法的程序。上述处理或部件，只要不产生技术上的矛盾，就能够自由地组合实施。
根据本发明，能够在对构成运动图像的多个连续的图像进行校正的图像处理装置中，得到更自然的校正结果。
附图说明
图1是实施方式的图像处理装置的系统结构图。
图2是图像处理装置进行的处理的流程图。
图3是输入图像以及脸部区域的例子。
图4是详细地说明取得代表色的处理的流程图。
图5是说明校正区域图的图。
图6是例示代表色和基准色的关系的图。
标号说明
10 图像处理装置
11 图像取得单元
12 脸部检测单元
13 代表色取得单元
14 校正图生成单元
15 图像校正单元
16 图像输出单元
具体实施方式
以下，一边参照附图一边说明本发明优选的实施方式。
本实施方式的图像处理装置，是取得包含人的姿容的运动图像，对该运动图像中包含的多个图像应用滤波器，进行使皮肤显得光滑的校正(以下为美肤校正)的装置。图1是本实施方式的图像处理装置10的系统结构图。
实施方式的图像处理装置10由图像取得单元11、脸部检测单元12、代表色取得单元13、校正图生成单元14、图像校正单元15、图像输出单元16构成。
图像取得单元11是取得处理对象的图像(以下为输入图像)的部件。具体而言，从固定磁盘驱动器或闪速存储器这样的存储装置中所存储的运动图像文件中，取得与各帧对应的输入图像。
再有，图像取得单元11也可以从在存储装置中存储的运动图像文件以外，取得输入图像。例如，可以经由接口装置或无线通信装置取得输入图像，也可以经由透镜和摄像部件取得输入图像。哪种情况都是只要能够取得连续地再现的、或者要再现的多个图像即可。
脸部检测单元12是从图像取得单元11取得的输入图像中，提取与人的脸部对应的区域的部件。具体而言，从输入图像检测与人的脸部对应的特征点，基于检测结果，确定存在脸部的区域(以下为脸部区域)。
代表色取得单元13是取得代表在输入图像中包含的、成为校正的对象的区域的颜色(以下为代表色)的部件。本实施方式的图像处理装置是用于对与皮肤对应的区域(以下为皮肤区域)进行校正的装置，因此代表色为肤色。
具体而言，对在皮肤区域存在的多个像素进行采样，基于采样结果，计算单一的代表色。关于具体的处理方法后面叙述。
校正图生成单元14是基于脸部检测单元12提取出的脸部区域和代表色取得单元13取得的代表色，生成校正图的部件。校正图是表示对输入图像进行校正时的权重的图，是对要更大地校正颜色的部位赋予更大的权重的图。关于具体的处理方法，后面叙述。
图像校正单元15是使用校正图生成单元14生成的校正图，进行对于输入图像的校正的部件。校正通过应用对输入图像附加模糊的滤波器(平滑化滤波器)来进行。通过图像校正单元15进行校正，能够得到皮肤区域被平滑化后的图像。校正后的图像被发送到图像输出单元16。
图像输出单元16是将由图像校正单元15校正后的多个图像再变换为运动图像并输出的部件。图像输出单元16例如可以在未图示的存储部件中保存运动图像，也可以通过液晶显示器等将运动图像提供给用户。另外，也可以经由接口，对其他装置或计算机发送运动图像。
再有，以上说明的各部件既可以通过设计为专用的硬件来实现，也可以通过软件模块来实现。另外，可以通过FPGA(Field Programmable Gate Array，现场可编程门阵列)或ASIC(Application Specific Integrated Circuit，专用集成电路)等来实现，也可以通过它们的组合来实现。
在前述的部件作为软件构成的情况下，通过辅助存储装置中存储的程序被载入主存储装置，由CPU执行，从而各部件发挥作用。(CPU、辅助存储装置、主存储装置均未图示)
另外，执行程序的部件不限于CPU，也可以是ISP(Image Signal Processor，图像信号处理器)、DSP(Digital Signal Processor，数字信号处理器)、GPU(GraphicsProcessing Unit，图形处理单元)等。
接着，一边参照图2一边按顺序说明，图2是图像处理装置10进行对在取得的输入图像中包含的皮肤区域进行校正的处理的处理流程图。图2的处理基于来自装置的用户的指示而开始。
首先，图像取得单元11取得图像(步骤S11)。在本实施方式中，从存储装置取得预先存储的运动图像文件，假设从最前头起1帧1帧地取得图像，但是也可以通过其他方法取得图像。例如，也可以经由通信部件或摄像部件取得图像。哪种情况都是只要取得连续地再现的多个图像中的1张即可。图3是取得的图像的例子。
接着，脸部检测单元12通过从取得的输入图像中检测特征点，提取与脸部对应的区域(脸部区域)(步骤S12)。基于特征点从图像中提取脸部区域的方法是公知的，因此省略详细的说明。再有，在特征点的检测失败了的情况下，也可以通过匹配处理等检测脸部的位置。在本实施方式中，以标号301表示的椭圆表示脸部区域。
接着，代表色取得单元13取得代表在输入图像中包含的肤色的颜色(代表色)，设定为基准色(步骤S13)。图4是详细地示出在步骤S13中进行的处理的内容的流程图。
首先，对脸部区域设定脸部的中心点(步骤S131)。脸部的中心点例如可以设定在鼻头或鼻子周围附近，但是优选设定在难以受到化妆或照明的影响的部位。在图3的例子中，标号302是脸部的中心点。
接着，在检测出的中心点的近旁，配置用于进行像素的采样的点(以下为采样点)(步骤S132)。例如，在以由步骤S131中取得的中心点为中心的、16×16像素的区域，配置256个采样点。再有，采样点被配置为与像素重叠。
接着，对于被配置了采样点的像素的每一个，生成色调的直方图(步骤S133)。例如，在色调由3个值表现的情况下，生成3个直方图。
接着，对于所生成的直方图，计算平均值μ，仅提取表示色调的值都属于以平均值为中心的预定的范围的像素，作为采样像素(步骤S134)。例如，在将标准偏差设为σ、将预定的范围设为±2σ的情况下，仅提取色调都存在于以平均值为中心的±2σ的范围的采样像素。
接着，在步骤S135中，使用提取出的采样像素，决定皮肤的代表色。代表色可以使用采样像素的颜色的平均值等来决定，但是也可以采用其他的方法来决定。
再有，在本例中，在脸部的中心附近配置了采样像素，但是也可以采用除此以外的方法来决定代表色。例如，从在图像中包含的所有像素，提取色调处于预定的范围内(肤色系的颜色)的像素，取得其平均值作为代表色。
步骤S1351～S1352所示的处理是在第2次以后的循环中需要的处理，因此随后说明。
接着，将在步骤S135中取得的代表色设定为基准色。基准色通过代表色取得单元13保持到校正处理结束为止。
接着，生成肤色图(步骤S14)。肤色图是与输入图像相同尺寸的图，是表示在输入图像中包含的像素和基准色的色调的相似度的图。即，肤色图可以说是表示在输入图像中包含的像素的肤色的强度的图。再有，所谓色调的相似度，例如也可以是将颜色空间上的距离归一化为预定的范围后的结果。在本步骤中，对于在输入图像中包含的所有像素，计算与基准色的相似度，生成肤色图。
再有，在本实施方式中，假设肤色图具有的值为256灰度，在色调相同的情况下为255，在色调的差为最大的情况下为0，但是也可以另外附加权重。例如，对象像素的色调越是接近肤色，进行越增大值的校正。
接着，生成校正区域图(步骤S15)。
肤色图终归是基于颜色生成的图，因此在仅使用肤色图进行了校正的情况下，有时会对不与皮肤对应的区域(例如肉色的服装等)分配大的权重。因此，在本实施方式中，除了肤色图之外，还生成并使用校正区域图，该校正区域图是基于与脸部的位置关系赋予权重的图。
校正区域图赋予权重的区域，例如是与脸部对应的区域(脸部区域)、或与脖子或胸对应的区域等。图5是说明校正区域图赋予权重的区域的图。在本例中，对于脸部区域301、和与脖子以及胸对应的区域302赋予权重，但是赋予权重的区域只要是被估计为存在皮肤的区域，还可以是其他区域。
接着，生成边缘图(步骤S16)。边缘图是表示输入图像的边缘的图。
美肤校正主要是施加模糊的校正，因此若对与边缘对应的像素进行校正，则图像会变得不清晰。因此，在本实施方式中，通过生成边缘图，将与边缘对应的像素除外来进行校正。
在步骤S16中，对于输入图像，分别应用提取纵向以及横向的边缘的滤波器。滤波器例如可以适当地使用对纵横两方向应用的索贝尔(Sobel)滤波器等。并且，对输出结果进行增强处理以及平滑化处理，作为边缘图。
接着，将肤色图、校正区域图、边缘图进行合并，生成在校正输入图像时使用的单一的图(步骤S17)。
首先，将肤色图和校正区域图进行合成，对得到的结果合成边缘图。合成通过将分配给3个图的值分别进行相加，并除以3来进行。其结果，生成对于更接近肤色、更接近校正区域、更远离边缘的像素施加更强的校正这样的图。将这里生成的图称为校正图。
接着，对输入图像应用滤波器，生成进行使皮肤变光滑的校正的图像(步骤S18)。在本步骤中生成的图像是无论皮肤存在与否，一律应用了滤波器的图像。在本步骤中，例如生成对输入图像在纵横方向应用了高斯滤波器(Gaussian Filter)的图像。再有，这里举出了高斯滤波器为例子，但是只要能够将图像平滑化、即施加模糊，也可以使用其他的滤波器。另外，也可以并用模糊以外的其他的滤波器。将在本步骤中生成的图像称为模糊图像。
接着，使用校正图校正输入图像(步骤S19)。
具体而言，将在步骤S11中取得的输入图像、和在步骤S18中生成的模糊图像，使用在步骤S17中生成的校正图进行合成并输出。以被校正图定义的值越大，模糊图像的混合比率越高的方式进行合成。例如，在被校正图定义的值为255的情况下，将输入图像和模糊图像的比以0：100进行合成，在被校正图定义的值为0的情况下，将输入图像和模糊图像的比以100：0进行合成。
通过以上说明的处理，对与运动图像的一帧量对应的图像进行校正处理。校正后的图像被发送到图像输出单元16暂时存储。
然后，判定处理对象的帧是否剩余(步骤S20)，在剩余的情况下，转移到步骤S11，进行对下一帧的图像的处理。
以上的说明是，在处理对象的帧为最初的帧的情况下(即，第1次的循环)的处理。在处理对象为第2帧以后的情况下(即，第2次以后的循环)，从步骤S1351起进行说明。
在步骤S1351中，将设定了的基准色(即，在前次的循环中取得的代表色)、和在步骤S135中取得的代表色进行比较，求其相似度。
颜色的相似度例如可以基于颜色空间中的距离来决定。例如，在输入图像以3个成分表示的情况下，可以使用将各成分的差的绝对值相加得到的值(Sum of AbsoluteDifference，绝对差和)，也可以使用将各成分的差的平方相加得到的值(Sum of SquaredDifference，平方差和)。另外，也可以使用其他方法。
这里，在算出的相似度为阈值以内的情况下(步骤S1352-“是”)、不进行基准色的更新，进行步骤S14的处理。
另一方面，在相似度超过阈值的情况下(步骤S1352-“否”)，通过在步骤S135中取得的代表色更新基准色。
再有，在第3次以后的循环中，也进行同样的处理。即，用于校正的基准色也有时为在处理2帧之前的图像时取得的代表色。
图6是以时间序列例示了代表色的变化、和用于校正的基准色的变化的图。在本例的情况下，在帧1取得代表色，但是在帧2以及3中，由于代表色的变化量为阈值以内(标号601以及602)，因此基准色不变化。另一方面，在帧4，代表色的变化量超过阈值(标号603)，因此基准色被更新。另外，在帧5，代表色的变化量为阈值以内(标号604)，因此基准色不更新。
如以上说明那样，实施方式的图像处理装置，只要代表色的变化量不超过阈值，就使用已经取得的代表色进行对于图像的校正。由此，能够抑制由稍微的条件的变化引起的代表色的变动，能够抑制进行校正的区域、或校正的强度对每一帧变动引起的不自然感。
再有，在步骤S1352进行判定时的阈值，只要是能够判断为照明的照射情况或脸部的朝向明显变化，设定新的代表色就能进行自然的校正的值即可。这样的值既可以是装置的利用者通过手动来设定，也可以基于过去的校正结果，由装置自动地计算。
(变形例)
上述的实施方式终归都是一例，本发明在不脱离其要旨的范围内能够适当进行变更来实施。
例如，也可以通过对生成的校正图进而乘以校正系数，能够调整校正的强度。例如，也可以在开始图2所示的处理之前，装置的利用者能够指定校正系数。
另外，在步骤S1352中使用的阈值也可以是固定的值，但是也可以设为根据被摄体的状态而变化的值。例如，也可以进行如下处理：在被摄体处于校正范围的浮现或不时浮现容易引人注目的环境的情况下，增大阈值，在处于不容易引人注目的环境的情况下，减小阈值。另外，也可以通过将阈值设为0，暂时将步骤S1352的处理设为无效。
另外，在实施方式的说明中，以对存储装置中存储的图像进行处理的图像处理装置为例进行了说明，但是，图像不一定需要从存储装置中取得，例如也可以从装置的外部经由有线或无线网络而取得。
另外，本发明也可以将拍摄运动图像的摄像部件、和前述的图像处理装置组合，作为具有校正拍摄到的运动图像的功能的摄像装置来实施。

Claims (3)

1.一种图像处理装置，对构成运动图像的多个连续的图像依次进行校正，其特征在于，具有：
图像取得部件，取得图像；
代表色取得部件，从取得的图像中取得代表色，所述代表色是代表与人的脸部对应的脸部区域的颜色；以及
图像校正部件，基于作为用于决定校正的强度的颜色的、设定了的基准色，进行对于所述图像的校正处理，
所述图像校正部件对于在所述取得的图像中包含的各个像素，运算表示对于所述基准色的颜色的相似度的值，基于所述值的分布，生成表示进行对于图像的校正时的权重的分布的校正图，并使用所述校正图进行校正处理，
所述图像校正部件进行对所述取得的图像施加模糊的校正处理，且使用所述校正图决定模糊的强度，
在与处理对象的图像对应的代表色和所述基准色的相似度低于预定的阈值的情况下，所述图像校正部件通过该代表色更新基准色，在相似度超过预定的阈值的情况下，不进行基准色的更新。
2.如权利要求1所述的图像处理装置，其特征在于，
所述图像校正部件对于在所述取得的图像中包含的各个像素，运算表示边缘的强度的值，进而基于所述值的分布，生成所述校正图。
3.一种由图像处理装置进行的图像处理方法，所述图像处理装置对构成运动图像的多个连续的图像依次进行校正，该图像处理方法的特征在于，包括：
图像取得步骤，取得图像；
代表色取得步骤，从取得的图像中取得代表色，所述代表色是代表与人的脸部对应的脸部区域的颜色；以及
图像校正步骤，基于作为用于决定校正的强度的颜色的、设定了的基准色，进行对于所述图像的校正处理，
在所述图像校正步骤中，
对于在所述取得的图像中包含的各个像素，运算表示对于所述基准色的颜色的相似度的值，基于所述值的分布，生成表示进行对于图像的校正时的权重的分布的校正图，
进行对所述取得的图像施加模糊的校正处理，且使用所述校正图决定模糊的强度，
在与处理对象的图像对应的代表色和所述基准色的相似度低于预定的阈值的情况下，通过该代表色更新基准色，在相似度超过预定的阈值的情况下，不进行基准色的更新。
CN201510707047.6A 2015-03-12 2015-10-27 图像处理装置以及图像处理方法 Active CN105976326B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-049714 2015-03-12
JP2015049714A JP6432399B2 (ja) 2015-03-12 2015-03-12 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN105976326A CN105976326A (zh) 2016-09-28
CN105976326B true CN105976326B (zh) 2019-04-02

Family

ID=54360899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510707047.6A Active CN105976326B (zh) 2015-03-12 2015-10-27 图像处理装置以及图像处理方法

Country Status (5)

Country Link
US (1) US9762877B2 (zh)
EP (1) EP3068122B1 (zh)
JP (1) JP6432399B2 (zh)
KR (1) KR101682830B1 (zh)
CN (1) CN105976326B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10529053B2 (en) * 2016-12-02 2020-01-07 Apple Inc. Adaptive pixel uniformity compensation for display panels
CN107172354B (zh) * 2017-06-21 2020-04-03 深圳市万普拉斯科技有限公司 视频处理方法、装置、电子设备及存储介质
CN108154858B (zh) * 2017-12-29 2020-04-28 深圳市华星光电技术有限公司 显示驱动方法及装置
JP7110657B2 (ja) 2018-03-26 2022-08-02 カシオ計算機株式会社 画像処理装置、画像処理方法およびプログラム
CN109711242B (zh) * 2018-10-31 2021-04-20 百度在线网络技术（北京）有限公司 车道线的修正方法、装置和存储介质
US10885606B2 (en) * 2019-04-08 2021-01-05 Honeywell International Inc. System and method for anonymizing content to protect privacy

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079952A (zh) * 2006-05-26 2007-11-28 佳能株式会社 图像处理方法和图像处理设备
CN102572443A (zh) * 2010-09-30 2012-07-11 苹果公司 用于在图像信号处理系统中同步音频和视频数据的技术
US8406482B1 (en) * 2008-08-28 2013-03-26 Adobe Systems Incorporated System and method for automatic skin tone detection in images
CN103279191A (zh) * 2013-06-18 2013-09-04 北京科技大学 一种基于手势识别技术的3d虚拟交互方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3193591B2 (ja) 1995-06-29 2001-07-30 京セラミタ株式会社 色補正装置
JP3649653B2 (ja) * 2000-05-23 2005-05-18 シャープ株式会社 肌色強度値判別回路及び色強度値判別回路
JP4461789B2 (ja) * 2003-03-20 2010-05-12 オムロン株式会社 画像処理装置
JP4042736B2 (ja) * 2004-02-19 2008-02-06 ソニー株式会社 画像処理装置及び画像処理方法
JP2008243059A (ja) * 2007-03-28 2008-10-09 Fujifilm Corp 画像処理装置及び画像処理方法
JP4384240B2 (ja) * 2008-05-28 2009-12-16 株式会社東芝 画像処理装置、画像処理方法、画像処理プログラム
JP5177068B2 (ja) * 2009-04-10 2013-04-03 株式会社Ｊｖｃケンウッド 目標追尾装置、目標追尾方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079952A (zh) * 2006-05-26 2007-11-28 佳能株式会社 图像处理方法和图像处理设备
US8406482B1 (en) * 2008-08-28 2013-03-26 Adobe Systems Incorporated System and method for automatic skin tone detection in images
CN102572443A (zh) * 2010-09-30 2012-07-11 苹果公司 用于在图像信号处理系统中同步音频和视频数据的技术
CN103279191A (zh) * 2013-06-18 2013-09-04 北京科技大学 一种基于手势识别技术的3d虚拟交互方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Real-time skin color detection under rapidly changing illumination conditions;Leyuan Liu 等;《IEEE Transactions on Consumer Electronics》;20110831;第57卷;全文
面向有限资源平台人机交互的人手检测与跟踪;刘乐元;《中国博士学位论文全文数据库 信息科技辑》;20120815(第8期);正文第41-60页

Also Published As

Publication number Publication date
US20160269704A1 (en) 2016-09-15
US9762877B2 (en) 2017-09-12
JP6432399B2 (ja) 2018-12-05
JP2016171445A (ja) 2016-09-23
CN105976326A (zh) 2016-09-28
KR20160110037A (ko) 2016-09-21
EP3068122B1 (en) 2019-12-11
KR101682830B1 (ko) 2016-12-05
EP3068122A1 (en) 2016-09-14

Similar Documents

Publication Publication Date Title
CN105976326B (zh) 图像处理装置以及图像处理方法
CN109325922B (zh) 一种图像自适应增强方法、装置及图像处理设备
JP6635799B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP2515273A1 (en) Multiple exposure high dynamic range image capture
JP5949331B2 (ja) 画像生成装置、画像生成方法及びプログラム
CN107993209B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US9489751B2 (en) Image processing apparatus and image processing method for color correction based on pixel proximity and color similarity
CN107871309B (zh) 检测方法、检测装置以及记录介质
CN105979122A (zh) 图像处理装置以及图像处理方法
CN106022205B (zh) 图像处理装置以及图像处理方法
JP6859611B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2015180045A (ja) 画像処理装置、画像処理方法及びプログラム
JP6098133B2 (ja) 顔構成部抽出装置、顔構成部抽出方法及びプログラム
Zafarifar et al. Texture-adaptive skin detection for TV and its real-time implementation on DSP and FPGA
JP6896811B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US9600735B2 (en) Image processing device, image processing method, program recording medium
EP3175609B1 (en) Processing data representing an image
JP2003310602A (ja) 画像表示装置
JP2010147660A (ja) 画像処理装置、電子カメラ及び画像処理プログラム
CN109325905A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
JP2009050035A (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
US20200167899A1 (en) Noise-cancelling filter for video images
JP2005182232A (ja) 輝度補正装置および輝度補正方法
JP2021082212A (ja) 画像処理装置、画像処理方法、及びプログラム
CN111083345A (zh) 独照生成装置和方法及其非易失性计算机可读媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant