CN109639960B - 图像处理装置、图像处理方法及记录介质 - Google Patents

图像处理装置、图像处理方法及记录介质 Download PDF

Info

Publication number
CN109639960B
CN109639960B CN201811166792.4A CN201811166792A CN109639960B CN 109639960 B CN109639960 B CN 109639960B CN 201811166792 A CN201811166792 A CN 201811166792A CN 109639960 B CN109639960 B CN 109639960B
Authority
CN
China
Prior art keywords
image
face
lip
adjusted
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811166792.4A
Other languages
English (en)
Other versions
CN109639960A (zh
Inventor
佐藤武志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN109639960A publication Critical patent/CN109639960A/zh
Application granted granted Critical
Publication of CN109639960B publication Critical patent/CN109639960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20028Bilateral filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/22Cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/62Semi-transparency
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

提供图像处理装置、图像处理方法及记录介质。作为图像处理装置的摄像装置(1)具备图像取得部(51)、图像处理部(53)、遮盖图像制作处理部(54)、调整图像制作处理部(55)。图像取得部(51)取得脸部图像,图像处理部(53)对利用图像取得部(51)取得的脸部图像的明亮度进行调整。图像处理部(53)利用基于向脸部照射的光的反射状态而将该脸部的规定区域设为透射区域的映射数据,对利用图像取得部(51)取得的脸部图像、和进行了调整的脸部图像进行合成。

Description

图像处理装置、图像处理方法及记录介质
技术领域
本公开涉及图像处理装置、图像处理方法及记录介质。
背景技术
以往,对脸部图像中的特定区域的色相、彩度、明度等进行修正。例如,在日本特开2009-65269号公报中,公开了将脸部图像中的嘴唇光泽修正得自然的技术。根据该技术,基于闪光灯(strobo)、环境光的状态对嘴唇部分进行加工。
但是,根据上述专利文献1所公开的技术,成为重视闪光灯、环境光的状态的光泽表现,因此嘴唇本来的质感可能受损。
发明内容
本发明针对这种状况而做出,目的在于使脸部的规定部位成为无损于其质感且明艳的图像。
本发明的图像处理装置具备:
取得单元,取得脸部图像;
调整单元,对利用所述取得单元取得的脸部图像的明亮度进行调整;
合成单元,使用基于向脸部照射的光的反射状态将该脸部的规定区域作为透射区域的映射数据,对利用所述取得单元取得的脸部图像和利用所述调整单元进行了调整的脸部图像进行合成。
另外,本发明的图像处理方法包含:
取得处理,取得脸部图像;
调整处理,对利用所述取得处理取得的脸部图像的明亮度进行调整;
合成处理,使用基于向脸部照射的光的反射状态将该脸部的规定区域作为透射区域的映射数据,对利用所述取得处理取得的脸部图像和利用所述调整处理进行了调整的脸部图像进行合成。
另外,本发明的记录介质记录有使计算机作为如下单元发挥功能的程序,
取得单元,取得脸部图像;
调整单元,对利用所述取得单元取得的脸部图像的明亮度进行调整;
合成单元,使用基于向脸部照射的光的反射状态将该脸部的规定区域作为透射区域的映射数据,对利用所述取得单元取得的脸部图像和利用所述调整单元进行了调整的脸部图像进行合成。
附图说明
图1是表示本发明的图像处理装置的一实施方式的摄像装置1的硬件结构的框图。
图2是用于对本实施方式的调整图像的生成过程进行说明的示意图。
图3是表示色彩修正用遮盖图像的制作例的示意图。
图4A是表示关于色彩修正用HUE映射制作处理的色相的直方图的图。
图4B是表示关于色彩修正用HUE映射制作处理的彩度的直方图的图。
图4C是表示关于色彩修正用HUE映射制作处理的明度的直方图的图。
图4D是表示关于色彩修正用HUE映射制作处理的唇色级别的色相的加权表的图。
图4E是表示关于色彩修正用HUE映射制作处理的唇色级别的彩度的加权表的图。
图4F是表示关于色彩修正用HUE映射制作处理的唇色级别的明度的加权表的图。
图5是表示光泽强调用遮盖图像的制作例的示意图。
图6A是表示关于光泽强调用HUE映射制作处理的色相的直方图的图。
图6B是表示关于光泽强调用HUE映射制作处理的彩度的直方图的图。
图6C是表示关于光泽强调用HUE映射制作处理的明度的直方图的图。
图6D是表示关于光泽强调用HUE映射制作处理的唇色级别的色相的加权表的图。
图6E是表示关于光泽强调用HUE映射制作处理的唇色级别的彩度的加权表的图。
图6F是表示关于光泽强调用HUE映射制作处理的唇色级别的明度的加权表的图。
图7A是用于说明固定映射的制作的示意图。
图7B是用于说明嘴唇部分的角度调整的示意图。
图8是表示图1的摄像装置1的功能性结构中的、用于执行调整图像生成处理的功能性结构的功能框图。
图9是对具有图8的功能性结构的图1的摄像装置1执行的调整图像生成处理的流程进行说明的流程图。
图10是对调整图像生成处理中的、色彩修正用遮盖图像制作处理的流程进行说明的流程图。
图11是对调整图像生成处理中的、色彩修正图像制作处理的流程进行说明的流程图。
图12是对调整图像生成处理中的、光泽强调用遮盖图像制作处理的流程进行说明的流程图。
图13是对调整图像生成处理中的、光泽强调图像制作处理的流程进行说明的流程图。
具体实施方式
以下,利用附图对本发明的实施方式进行说明。
图1是表示本发明的图像处理装置的一实施方式的摄像装置1的硬件结构的框图。
摄像装置1例如构成为数码相机。
如图1所示,摄像装置1具备CPU(Central Processing Unit)11、ROM(Read OnlyMemory)12、RAM(Random Access Memory)13、总线14、输入输出接口15、摄像部16、输入部17、输出部18、存储部19、通信部20、驱动器21和照明部22。
CPU11按照ROM12中记录的程序或者从存储部19加载于RAM13的程序执行各种处理。
在RAM13中,还适当地存储有CPU11执行各种处理所需的数据等。
CPU11、ROM12以及RAM13经由总线14相互连接。
该总线14上还连接着输入输出接口15。输入输出接口15上连接着摄像部16、输入部17、输出部18、存储部19、通信部20、驱动器21以及照明部22。
虽然没有图示,摄像部16具备光学透镜部和图像传感器。
为了对被摄体进行拍摄,光学透镜部由对光进行聚光的透镜例如聚焦透镜、变焦透镜等构成。
聚焦透镜是使被摄体像在图像传感器的受光面上成像的透镜。
变焦透镜是使焦点距离在一定范围内自由地变化的透镜。
光学透镜部还可以根据需要而设置对焦点、曝光、白平衡等的设定参数进行调整的周边电路。
图像传感器由光电变换元件、AFE(Analog Front End)等构成。
光电变换元件例如由CMOS(Complementary Metal Oxide Semiconductor)型的光电变换元件等构成。
被摄体像从光学透镜部向光电变换元件入射。
在此,光电变换元件对被摄体像进行光电变换(拍摄),将图像信号蓄积一定时间,并将蓄积的图像信号作为模拟信号依次向AFE供给。
AFE对该模拟的图像信号执行A/D(Analog/Digital)变换处理等各种信号处理。通过各种信号处理,生成数字信号并作为摄像部16的输出信号输出。
这样的摄像部16的输出信号作为摄像图像的数据,适当地被供给到CPU11、未图示的图像处理部等。
输入部17由各种按钮等构成,按照用户的指示操作来输入各种信息。
输出部18由显示器、扬声器等构成,输出图像、声音。
存储部19由硬盘或DRAM(Dynamic Random Access Memory)等构成,存储各种图像数据。
通信部20经由包括互联网的网络来控制与其它装置(未图示)之间进行的通信。
在驱动器21,适当地装设着由磁盘、光盘、光磁盘或半导体存储器等构成的可移动介质31。
通过驱动器21从可移动介质31读出的程序根据需要而被安装于存储部19。
另外,可移动介质31能够与存储部19同样地存储在存储部19中存储的图像数据等各种数据。
照明部22由在摄像部16的周围以描绘圆的方式设置的八个LED(发光部件)、以及在该摄像装置1中设置在从该八个LED离开的位置上的一个LED构成。
这些LED在实时取景拍摄时、图像记录时按照用户的操作而选择性地发光。
通过这样改变用于照明的光线的到来方向而拍摄脸部,从而能够取得人为地控制了阴影的脸部图像。
在这样构成的摄像装置1中,具有如下功能:对于拍摄了脸部的图像,生成对皮肤实施了美白处理、并且对色相与肤色接近而受到颜色因美白处理而变淡等影响的嘴唇适当地进行了修正的图像(以下称为“美白图像”)。
即,在摄像装置1中,生成将通过对脸部皮肤实施的美白处理进行了修正的唇色修正为适当的唇色的美白图像。
就美白处理而言,以仅对肤色区域实施的方式将对象部位以外遮盖,但是由于唇色与肤色的色相接近而包含于肤色区域,因此被实施美白处理而受到唇色变淡等影响。
另外,美白处理主要通过对彩度减小、明度提升、向蓝色方向的色相旋转这三个要素进行修正来执行。
因此,在本实施方式的摄像装置1中,仅使上述三个要素中的被减小了的彩度复原,维持其它效果,将唇色修正为适当的唇色。
在本实施方式中,首先,对整个脸部实施美白处理,然后,针对受到美白处理影响的唇部,另外进行用于再现为适当唇色的色彩修正而生成美白图像。
此外,在本实施方式中,作为使嘴唇光泽感提高的处理而进行强调唇部光泽的修正。
此时,通过执行对嘴唇区域的图像具有的本来光泽进行强调的处理(光泽强调处理),来再现自然的嘴唇光泽感。
由此,生成针对上述的美白图像进行了无损于嘴唇质感而使光泽感提高的调整的脸部图像(以下称为“调整图像”)。
图2是用于对本实施方式中的调整图像的生成过程图像的生成进行说明的示意图。
如图2所示,关于本实施方式的调整图像,从对图像整体实施了美白处理后的图像(以下称为“原图像”)P1剪切出包含嘴唇的区域图像PA1。
并且,对区域图像PA1,为了将因美白处理而变淡了的唇色再现为适当颜色而实施处理来制作图像(以下称为“色彩修正图像”)PA2。
关于色彩修正图像PA2,由于对唇部以外的图像整体进行了色彩修正,因此为了仅在唇部呈现色彩修正的效果,使用将唇部以外遮盖的色彩修正用遮盖图像PA3,通过α混合处理将区域图像PA1和色彩修正图像PA2进行图像合成,制作仅对唇部进行了色彩修正的图像(以下称为“唇色修正图像”)PA4。遮盖图像是通过α值表现的图像。
在本实施方式中,还对上述的唇色修正图像PA4实施用于使嘴唇光泽感提高的光泽强调处理。
在光泽强调处理中,对包含嘴唇的区域,制作实施了对嘴唇本来的光泽进行强调的处理的图像(以下称为“光泽强调图像”)PA5。
关于光泽强调图像PA5,由于对区域图像PA1整体进行了光泽强调,因此为了仅在唇部呈现光泽强调的效果,使用将唇部以外遮盖的光泽强调用遮盖图像PA6,对唇色修正图像PA4和光泽强调图像PA5进行基于α混合的图像合成,制作仅对唇部进行了光泽强调的图像(以下称为“唇光泽强调图像”)PA7。
然后,将制作的唇光泽强调图像PA7合成于原图像PA1的切出位置,生成调整图像P2。
[色彩修正用遮盖图像的制作]
图3是表示色彩修正用遮盖图像PA3的制作例的示意图。
在本实施方式中,为了实施将因美白处理而变淡了的嘴唇部分的颜色再现的修正处理,生成与相当于唇部的区域对应的色彩修正用遮盖图像PA3。
如图3所示,色彩修正用遮盖图像PA3是越黑的部分透射强度越强而越白的部分透射强度越弱的由α值的像素构成的图像。
因此,在使用色彩修正用遮盖图像PA3对区域图像PA1和色彩修正图像PA2进行合成的情况下,进行合成以使得黑的部分中区域图像PA1明显而白的部分中色彩修正图像PA2明显。
关于这样的色彩修正用遮盖图像PA3,首先,通过脸部器官的检测来确定唇部位置,基于包含确定下来的唇部位置的区域中的HSV色彩空间的成为峰值的色相值来制作这样的色彩修正用遮盖图像PA3。在本实施方式的脸部的器官检测中,如图2的图像PA8所示,为了进行唇部位置的确定等,至少检测上唇中央的上下两点P1、P2、下唇中央的上下两点P3、P4以及唇部左右端的两点P5、P6共计六个点的位置。
在本实施方式中,为了排除鼻部等多余部分,向基于成为HSV色彩空间的峰值的色相值而生成的色彩修正用遮盖图像PA9合成预先模拟了嘴唇形状的固定映射,制作最终的色彩修正用遮盖图像PA3。
具体而言,从区域图像PA1制作HUE映射(HUE map)PA11,并与预先制作出的固定映射PA12合成来制作。在HUE映射PA11与固定映射PA12的合成中,为从HUE映射PA11中除去在空间上不需要的区域而选择HUE映射PA11与固定映射PA12的像素值的最小值。
[HUE映射的制作]
HUE映射PA11是在区域图像PA1中确定了与唇色相当的部位的映射。
关于HUE映射PA11,首先,将YUV色彩空间的区域图像变换到HSV(色相:HUE,彩度:Saturation/Chroma;明度:Value/Lightness/Brightness)色彩空间中,生成图像PA9。
然后,为了除去噪声,应用ε滤波器生成图像PA10,进行HSV解析处理。
并且,将根据HSV解析处理的结果计算出的值作为HUE映射的映射值,制作HUE映射PA11。
在HSV解析处理中,为了决定各像素的映射值,设定唇色级别的加权表。
唇色级别的加权表基于按照HSV的通道而制作的直方图来设定。
图4A~图4F是表示关于色彩修正用HUE映射制作处理的直方图及唇色级别的加权表的图。
该色彩修正是唇的色彩修正。
在唇色级别的设定中,首先,基于图2的图像PA8所示的通过器官检测而检测出的点P1~P6,作为计测区域而在上下唇中央附近设定计测区域R1、R2,制作各计测区域的HSV各直方图图4A~图4C。
此外,关于直方图制作的嘴唇的计测区域只要是能够取得唇色的区域即可,区域的数量、各种形状、位置、尺寸不限。
并且,与图4A~图4C所示的HSV各直方图的最频值对应地,如图4D~图4F所示那样设定唇色级别的加权表。
在H(色相)的通道的情况下,以最频值为基准,正负均等地分配加权值,离最频值越远,加权值就越低,这样来设定加权表(图4D)。
另外,在S(彩度)、V(明度)的各通道的情况下,以直方图的最频值为上方的左端(右端)的基准,峰值具有规定的宽度,并且呈现第二级的梯度比第一级平缓的两级倾斜,这样来设定加权表(图4E、图4F)。
然后,以将对各像素按照HSV的各通道对应于加权值而计算出的唇色级别相乘后的结果作为映射值,制作HUE映射PA11。
HUE映射的映射值通过下式(1)算出。
HUE映射的映射值(Map)=Lh×Ls×Lv···(1)
此外,“Lh”表示H的唇色级别,“Ls”表示S的唇色级别,“Lv”表示V的唇色级别。
[光泽强调用遮盖图像的制作]
图5是表示光泽强调用遮盖图像PA6的制作例的示意图。
在本实施方式中,为了实施强调嘴唇本来的光泽的处理,生成与相当于唇部的区域对应的遮盖图像。
如图5所示,光泽强调用遮盖图像PA6是越黑的部分透射强度越强而越白的部分透射强度越弱的由α值的像素构成的图像。
因此,在使用光泽强调用遮盖图像PA6对唇色修正图像PA4和光泽强调图像PA5进行合成的情况下,进行合成以使得黑的部分唇色修正图像PA4明显而白的部分光泽强调图像PA5明显。
关于这样的光泽强调用遮盖图像PA6,首先,通过脸部器官的检测来确定唇部的位置,基于包含确定下来的唇部位置的区域中的HSV色彩空间的成为峰值的色相值,来制作这样的光泽强调用遮盖图像PA6。
在本实施方式的脸部的器官检测中,如图2的图像PA8所示,为了唇部位置的确定等,至少检测上唇中央的上下两点P1、P2、下唇中央的上下两点P3、P4、以及唇部左右端的两点P5、P6共计六个点的位置。
在本实施方式中,为了排除鼻部等多余部分,向基于成为HSV色彩空间的峰值的色相值而生成的暂定的光泽强调用遮盖图像PA14合成预先模拟了嘴唇形状的固定映射PA13,制作最终的光泽强调用遮盖图像PA16。
具体而言,从区域图像PA1制作HUE映射PA14,并与预先制作的固定映射PA13进行合成,来制作本实施方式的光泽强调用遮盖图像PA6。
在HUE映射PA14与固定映射PA13的合成中,使得选择HUE映射PA14与固定映射PA13的像素值的最小值。
[HUE映射的制作]
HUE映射PA6是参照图3叙述过的、在区域图像PA1中确定了与唇色相当的部位的映射。图5的情况下的唇光泽级别的加权表也基于按照HSV的通道制作的直方图来设定。
图6A~图6F是表示关于光泽强调用HUE映射制作处理的直方图及唇光泽级别的加权表的图。
在唇光泽级别的设定中,首先,基于图2的图像PA8所示的通过器官检测而检测出的点P1~P6,作为计测区域而在上下唇的中央附近设定计测区域R1、R2,制作各计测区域中的HSV各直方图图6A~图6C。
此外,直方图的制作所涉及的唇部的计测区域只要是能够取得嘴唇的光泽的区域即可,各种区域的数量、形状、位置、尺寸不限。
并且,与图6A~图6C所示的HSV各直方图的最频值对应地,如图6D~图6F所示那样设定唇光泽级别的加权表。
在H(色相)的通道的情况下,以最频值为基准,正负均等地分配加权值,离最频值越远,加权值就越低,这样来设定加权表(图6D)。
另外,在S(彩度)的通道的情况下,直到达到直方图的最频值以前,加权值维持稳定水准(饱和级别),从即将达到峰值之前至达到峰值,加权值急剧地单调减少,此后维持0级别,这样来设定加权表(图6E)。
另外,在V(明度)的通道的情况下,直到达到直方图的最频值以前,加权值维持0级别,此后朝向饱和级别急剧地单调增加,这样来设定加权表(图6F)。
然后,以将对各像素按照HSV的各通道对应于加权值而计算出的唇光泽级别相乘后的结果作为映射值,制作HUE映射PA14。
即,HUE映射PA14的映射值通过上述式(1)算出。
[固定映射的制作]
图7是用于对固定映射(Fixed Map)的制作进行说明的示意图。
固定映射是在一般的脸部中模拟了嘴唇形状的映射,是进行色彩修正的情况下预先制作的映射。
固定映射如图7A所示那样从数据展开缩小尺寸的映射PA15。
并且,如图7B所示,根据图像中的唇部轮廓信息(在本实施方式中为两点P5、P6的位置)算出嘴唇的倾斜角度,与该角度对应地使固定映射旋转,生成固定映射PA16。
最后,固定映射PA16被尺寸调整为与图像对应的尺寸。
并且,在HUE映射PA14中为了将鼻部等嘴唇以外的部分除去而将固定映射PA13与HUE映射PA14合成。
在合成时,选择HUE映射PA14与固定映射PA13的像素值的最小值。
[色彩修正图像的制作]
关于色彩修正图像PA2,根据通过器官检测检测出的左右眼瞳下方的皮肤区域计测出YUV色彩空间的V值,以与之对应地决定的修正强度,对区域图像PA1进行修正处理而制作色彩修正图像PA2。
此外,左右眼瞳下方的皮肤区域是避开了眼睛之下的暗环的位置,是作为在脸部中最能表现肤色的位置而决定的位置,只要是脸部中的能够提取肤色的位置则可以是各种位置。
此外,在原有唇色因唇膏等而较浓的情况下,为了不过度修正,对唇部的像素进行V(明度)值的修正。
[唇色修正图像的制作]
基于色彩修正用遮盖图像PA3,对色彩修正图像PA2和区域图像PA1进行α混合而进行图像合成,来制作唇色修正图像PA4。即,生成仅对唇部区域实施了色彩修正的唇色修正图像PA4。
[光泽强调图像的制作]
通过双边滤波器(或其它平滑化滤波器),执行使唇部区域的皮肤光滑的修正后,施加与唇部区域的光泽部分的像素数对应的增益,执行使亮度提高的处理(光泽强调),从而生成光泽强调图像PA5。
此时,例如能够对像素的亮度成分应用双边滤波器。
另外,例如能够对唇区域的光泽部分的像素数(作为一例是亮度为阈值以上的像素数)进行计数,并施加与计数到的像素数对应的增益。
但是,光泽部分在唇部区域中所占的比例较大的情况下,也可以抑制与像素数对应的增益。
[唇光泽强调图像的制作]
基于光泽强调用遮盖图像PA6,对光泽强调图像PA5和唇色修正图像PA4进行α混合来进行图像合成,从而制作唇光泽强调图像PA7。
即,生成仅对唇部的光泽部分实施光泽强调、除此以外的皮肤部分被实施了美白处理的唇光泽强调图像。
图8是表示图1的摄像装置1的功能性结构中的、用于执行调整图像生成处理的功能性结构的功能框图。
调整图像生成处理是指如下一系列处理:对于拍摄到的包含人脸部的图像,实施美白处理及唇的色彩修正处理,并且,实施对唇区域的图像具有的本来的光泽进行强调的光泽强调处理并向原图像P1合成,生成调整图像PA2。
在执行光泽强调图像生成处理的情况下,在图8的CPU11中,图像取得部51、脸部检测部52、图像处理部53、遮盖图像制作处理部54、以及调整图像制作处理部55发挥功能。
另外,在存储部19的一区域中,设定图像存储部71和固定映射存储部72。
在图像存储部71中,存储从摄像部16输出的图像的数据。
在固定映射存储部72中,存储用于制作遮盖图像的固定映射的数据。
此外,固定映射为了削减数据量而是模拟了唇部的圆弧形状,因此可以分割圆弧而存储四分之一的数据。
该情况下,在处理时以成为圆弧的方式将固定映射展开。
图像取得部51取得对由摄像部16拍摄到的图像进行显影处理后的摄像图像的数据,或从图像存储部71取得作为处理对象的图像的数据。
脸部检测部52从图像检测脸部,并且在检测出的脸部中检测构成脸部的各器官。
脸部检测部52至少从轮廓形状检测左右眼瞳、嘴唇的器官。
此外,脸部检测部52,关于嘴唇,至少检测上唇中央的上下两点P1、P2、下唇中央的上下两点P3、P4、唇部的左右端的两点P5、P6共计六点的位置。
脸部检测以及各器官的检测采用现有的脸部检测技术以及器官技术的公知技术。
另外,关于脸部检测以及各器官的检测,只要是亮度、轮廓提取等基于与HSV色彩空间的色彩信息不同的信息的检测方法,则检测方法不限。
图像处理部53对原图像执行各种图像处理。
具体而言,图像处理部53执行美白处理,该美白处理例如主要进行彩度减小、明度提升、向蓝色方向的色相旋转这三点的要素的修正。
另外,图像处理部53如图2所示那样从原图像P1将区域图像PA1切出。
另外,图像处理部53基于制作的色彩修正用遮盖图像PA3,对切出的区域图像PA1和制作出的色彩修正图像PA2进行α混合来进行图像合成。结果,制作出唇色修正图像PA4。
另外,图像处理部53基于制作的光泽强调用遮盖图像PA6,对唇色修正图像PA4和如上述那样制作的光泽强调图像PA5进行α混合来进行图像合成。结果,制作出唇光泽强调图像PA7。
另外,图像处理部53将唇光泽强调图像PA7贴附到原图像P1的切出位置,生成调整图像P2。
遮盖图像制作处理部54,以成为仅对唇部区域实施了修正的图像的方式,生成用于α混合的遮盖图像。
在本实施方式的情况下,遮盖图像制作处理部54生成上述的两种遮盖图像(色彩修正用遮盖图像PA3、光泽强调用遮盖图像PA6)。
在生成色彩修正用遮盖图像PA3时,遮盖图像制作处理部54如图3所示,将区域图像PA1的图像的参数从YUV色彩空间变换至HSV色彩空间。
另外,遮盖图像制作处理部54为了除去噪声而使用ε滤波器进行将图像晕化的处理。
另外,遮盖图像制作处理部54执行HSV解析处理。
在HSV解析处理中,以在上下唇的中央附近设定的计测区域R1、R2的HSV各通道来制作直方图(参照图4A~图4C)。
并且,制作从制作出的直方图算出的唇色级别的加权表(参照图4D~图4F)。
然后,基于制作出的唇色级别的加权表,使用上述式(1),算出各像素的HUE映射的映射值。
根据算出的各像素的映射值,制作色彩修正用HUE映射PA11。
在生成光泽强调用遮盖图像PA6时,遮盖图像制作处理部54如图5所示那样,将区域图像PA1的图像的参数从YUV色彩空间变换至HSV色彩空间。
此外,遮盖图像制作处理部54执行HSV解析处理。
在HSV解析处理中,以在上下唇的中央附近设定的计测区域R1、R2的HSV各通道来制作直方图(参照图6A~图6C)。
并且,制作从制作出的直方图算出的唇光泽级别的加权表(参照图6D~图6F)。
然后,基于制作出的唇光泽级别的加权表,使用上述式(1),算出各像素的HUE映射的映射值。
根据算出的各像素的映射值,制作光泽强调用HUE映射PA6。
另外,遮盖图像制作处理部54如图7A和图7B所示那样,进行角度调整及尺寸调整,以使在固定映射存储部72中存储的固定映射与区域图像的唇部对应。
另外,遮盖图像制作处理部54如图3所示那样,对进行了角度调整及尺寸调整的固定映射PA12和制作出的色彩修正用HUE映射PA11进行合成。
此时,遮盖图像制作处理部54,为了将鼻部等在空间上不需要的区域从HUE映射除去,以选择色彩修正用HUE映射PA11与固定映射PA12的最小值的方式进行合成。
合成的结果是,制作出色彩修正遮盖图像PA3。
此外,遮盖图像制作处理部54如图5所示那样,对进行了角度调整及尺寸调整的固定映射PA13和制作出的光泽强调用HUE映射PA14进行合成。此时,遮盖图像制作处理部54,为了将鼻部等在空间上不需要的区域从HUE映射除去,以选择光泽强调用HUE映射PA14与固定映射PA13的像素值的最小值的方式进行合成。
合成的结果是,制作出光泽强调用遮盖图像PA6。
调整图像制作处理部55对区域图像PA1执行色彩修正处理及光泽强调处理。
在进行色彩修正处理时,调整图像制作处理部55对检测出的左右眼瞳下方的皮肤区域的V(明度)值进行计测。
并且,调整图像制作处理部55对应于计测出的V值,对区域图像PA1进行色彩修正。
结果,制作出对区域图像PA1实施了色彩修正的色彩修正图像PA2。
另外,在进行光泽强调处理时,调整图像制作处理部55利用双边滤波器(或其它平滑化滤波器),对上述的区域图像PA1执行使唇区域的皮肤光滑的修正。
此时,例如,能够对像素的亮度成分应用双边滤波器。
另外,调整图像制作处理部55施加与唇部区域的光泽的像素数对应的增益,执行提高亮度的处理(光泽强调处理)。
此时,调整图像制作处理部55例如能够对唇部区域的光泽的像素数(作为一例是亮度为阈值以上的像素数)进行计数并施加与计数到的像素数对应的增益。
但是,在光泽在唇部区域中所占的比例较大的情况下,为了抑制过度修正,抑制与像素数对应的增益。
这样的处理的结果是,制作出对区域图像进行了光泽强调的光泽强调图像PA5。
图9是对具有图8的功能性结构的图1的摄像装置1执行的调整图像生成处理的流程进行说明的流程图。
该调整图像生成处理包含光泽强调图像生成处理。
调整图像生成处理通过检测用户对输入部17的开始调整图像生成处理的操作而开始。
调整图像生成处理对摄像部16根据摄影指示操作而拍摄的图像或进行了显影处理的摄像图像的图像数据进行。
另外,也可以选择在图像存储部71中存储的摄像图像的数据并对该选择的摄像图像的数据进行。
图像取得部51取得对摄像部16拍摄的图像进行了显影处理的摄像图像的数据、或者从图像存储部71取得作为处理对象的原图像(步骤S11)。
脸部检测部52在原图像中进行脸部检测,判断是否检测到脸部(步骤S12)。
在判断为没有检测到脸部的情况下(步骤S12:否),结束调整图像生成处理。
在判断为检测到脸部的情况下(步骤S12:是),处理前进至步骤S13。
图像处理部53对原图像执行美白处理(步骤S13)。
通过美白处理,原图像彩度减小、明度提升、向蓝色方向色相旋转。
脸部检测部52进行检测到的脸部的器官的检测(步骤S14)。
结果,至少在原图像中检测到左右的眼瞳、和嘴唇的器官的位置。
图像处理部53将包含检测到的唇部的区域切出(步骤S15)。
遮盖图像制作处理部54执行色彩修正用遮盖图像制作处理(步骤S16)。
执行色彩修正用遮盖图像制作处理的结果是,制作出α混合用的色彩修正用遮盖图像。
色彩修正用遮盖图像制作处理的详情后述。
调整图像制作处理部55执行色彩修正图像制作处理(步骤S17)。
执行色彩修正图像制作处理的结果是,制作出对区域图像进行了使变淡的嘴唇成为适当的颜色的色彩修正的色彩修正图像。色彩修正图像制作处理的详情后述。
图像处理部53基于制作出的色彩修正用遮盖图像,对区域图像和制作出的色彩修正图像进行α混合来进行图像合成(步骤S18)。
结果,制作出仅对嘴唇部分实施了色彩修正的唇色修正图像。
遮盖图像制作处理部54执行光泽强调用遮盖图像制作处理(步骤S19)。
制作光泽强调用遮盖图像制作处理的结果是,制作出α混合用的光泽强调用遮盖图像。
光泽强调用遮盖图像制作处理的详情后述。
调整图像制作处理部55执行光泽强调图像制作处理(步骤S20)。
光泽强调图像制作处理的执行结果是,制作出对区域图像强调了嘴唇本来的光泽的光泽强调图像。
光泽强调图像制作处理的详情后述。
图像处理部53基于制作出的光泽强调用遮盖图像,对唇色修正图像和制作出的光泽强调图像进行α混合来进行图像合成(步骤S21)。
结果,制作出保持嘴唇部分的质感且提高了光泽感的光泽强调图像。
图像处理部53将光泽强调图像贴附于原切出位置(步骤S22)。
结果,生成对皮肤实施了美白处理并且嘴唇部分被修正为适当颜色、进而提高了嘴唇部分的光泽感的调整图像。
然后,调整图像生成处理结束。
图10是对调整图像生成处理中的、色彩修正用遮盖图像制作处理的流程进行说明的流程图。
遮盖图像制作处理部54将区域图像的YUV色彩空间变换为HSV色彩空间(步骤S31)。
遮盖图像制作处理部54利用ε滤波器进行晕化处理(步骤S32)。
遮盖图像制作处理部54执行HSV解析处理(步骤S33)。
在HSV解析处理中,如图2的图像PA8所示,按在上下唇的中央附近设定的计测区域R1、R2的HSV的各通道来制作直方图(参照图4A~图4C)。
并且,设定根据制作出的直方图算出的唇色级别的加权表(参照图4D~图4F)。
唇色级别的加权表设定为,在H(色相)的通道的情况下,以最频值为基准,正负均等地分配加权值,离最频值越远,加权值就越低。
另外,在S(彩度)、V(明度)的通道的情况下,以直方图的最频值为上方的左端(右端)的基准,峰值具有规定的宽度,并且呈现出第二级比第一级梯度缓和的两级倾斜,这样来设定加权表。
遮盖图像制作处理部54制作色彩修正用HUE映射(步骤S34)。
色彩修正用HUE映射中的映射值基于制作出的唇色级别的加权值而使用上述式(1)算出。
遮盖图像制作处理部54进行角度调整及尺寸调整,以使在固定映射存储部72中存储的固定映射与区域图像的唇部对应(步骤S35)。
遮盖图像制作处理部54对进行了角度调整及尺寸调整的固定映射与制作出的色彩修正用HUE映射进行合成(步骤S36)。
此时,遮盖图像制作处理部54,为了从HUE映射中将鼻部等在空间上不需要的区域除去,以取色彩修正用HUE映射与固定映射的最小值的方式进行合成。
合成的结果是,制作出色彩修正遮盖图像。
图11是对调整图像生成处理中的、色彩修正图像制作处理的流程进行说明的流程图。
调整图像制作处理部55对检测到的左右眼瞳下方的皮肤区域的V(明度)值进行计测(步骤S51)。
调整图像制作处理部55针对区域图像,对应于计测到的V值,进行色彩修正(步骤S52)。
结果,制作出对区域图像进行了色彩修正的色彩修正图像。
图12是对调整图像生成处理中的、光泽强调用遮盖图像制作处理的流程进行说明的流程图。
遮盖图像制作处理部54将区域图像的YUV色彩空间变换为HSV色彩空间(步骤S71)。
遮盖图像制作处理部54执行HSV解析处理(步骤S72)。
在HSV解析处理中,如图2的图像PA8所示,按在上下唇中央附近设定的计测区域R1、R2的HSV的各通道,来制作直方图(参照图6A~图6C)。
并且,设定根据制作出的直方图算出的唇光泽级别的加权表(参照图6D~图6F)。
唇光泽级别的加权表设定为,在H(色相)的通道的情况下,以最频值为基准,正负均等地分配加权值,离最频值越远,加权值就越低
另外,在S(彩度)的通道的情况下,直到达到直方图的最频值之前,加权值维持稳定水准(饱和级别),从即将达到峰值之前起到达到峰值为止,加权值急剧地单调减少,此后维持0级别,这样来设定加权表。
另外,在V(明度)的通道的情况下,直到达到直方图的最频值之前,加权值维持0级别,此后朝向饱和级别急剧地单调增加,这样来设定加权表。
遮盖图像制作处理部54制作光泽强调用HUE映射(步骤S73)。
光泽强调用HUE映射中的映射值基于制作出的唇光泽强调级别的加权值而使用上述的式(1)算出。
遮盖图像制作处理部54进行角度调整及尺寸调整,以使在固定映射存储部72中存储的固定映射与区域图像的唇部对应(步骤S74)。
遮盖图像制作处理部54对进行了角度调整及尺寸调整的固定映射与制作出的光泽强调用HUE映射进行合成(步骤S75)。
此时,遮盖图像制作处理部54,为了从HUE映射中将鼻部等在空间上不需要的区域除去,以选择光泽强调用HUE映射与固定映射的像素值的最小值的方式进行合成。
合成的结果是,制作出光泽强调用遮盖图像。
图13是对调整图像生成处理中的、光泽强调图像制作处理的流程进行说明的流程图。
调整图像制作处理部55利用双边滤波器(或其它平滑化滤波器),执行使嘴唇区域的皮肤光滑的修正(步骤S91)。
调整图像制作处理部55施加与嘴唇区域的光泽的像素数对应的增益,执行提高亮度的处理(光泽强调处理)(步骤S92)。
此时,光泽在嘴唇区域中所占的比例较大的情况下,为了抑制过度修正,抑制与像素数对应的增益。
结果,从区域图像制作出进行了光泽强调的光泽强调图像。
在各种摄像装置中,具备用户能够选择肤色的功能,例如,能够选择使脸部的气色较佳的“自然状态”、使脸色增白的“美白”。
在自然状态中,再现显色良好的颜色,所以能够使唇色和显色都良好。
另一方面,在美白中,由于使肤色的彩度降低,所以有唇色也随之颜色变淡而气色不佳的情况。
因此,在本实施方式的摄像装置1中,能够利用对拍摄了人物的图像的轮廓进行检测的结果,从检测到的脸部区域提取嘴唇区域,使唇色鲜艳,或进行修正以便如同涂了唇膏一般。
在唇色区域的提取时,对由HSV色彩空间表现的图像(HSV图像)进行解析,根据HSV图像制作α混合用的遮盖图像。
在进行修正时,对由YUV色彩空间表现的图像进行解析,能够按YUV(特别是V)分别进行修正。
另外,在本实施方式的摄像装置1中,制作强调了嘴唇本来的光泽的唇光泽强调图像。通过将唇光泽强调图像合成于原图像而得到提高了光泽感的调整图像。
以上这样构成的摄像装置1具备图像取得部51、图像处理部53、遮盖图像制作处理部54、以及调整图像制作处理部55。
图像取得部51取得脸部图像。
图像处理部53针对图像内所含的人物的脸部区域实施美白肤色的美白处理。
在美白处理中对脸部图像的亮度进行调整。
图像处理部53还制作适当地再现了嘴唇光泽的唇光泽强调图像。
遮盖图像制作处理部54在实施美白处理的人物的脸部区域内确定应当减轻该美白处理的部分。
遮盖图像制作处理部54还确定应当强调嘴唇光泽的部分。
遮盖图像制作处理部54所确定的区域是基于向脸部照射的光的反射状态而确定的该脸部的规定区域。
该规定区域是不被遮盖图像制作处理部54中生成的色彩修正用遮盖、光泽强调用遮盖所遮蔽的透射区域。换言之,是由确定该透射区域的映射数据规定的区域。
关于该规定区域,通过图像处理部53,将调整图像与上述那样取得的脸部图像进行合成。
调整图像制作处理部55针对所确定的应当强调嘴唇光泽的部分实施光泽强调。
由此,在摄像装置1中,制作提高了嘴唇光泽感的脸部图像即调整图像。
关于确定透射区域的映射数据,还对规定的色相(HUE)调整了透射度。在本实施方式中,利用与确定透射区域的映射数据相当的色彩修正用遮盖(图3)及光泽强调用遮盖(图5)来调整透射度。
由此,在摄像装置1中,制作仅通过美白处理及色彩修正处理而容易不足的嘴唇光泽感提高了的脸部图像即调整图像。
另外,关于确定透射区域的映射数据,还对于规定的色相值(HSV)的彩度(S)及明度(V)调整了施加规定的权重的透射度。
在本实施方式中,通过与确定透射区域的映射数据相当的色彩修正用遮盖(图3)及光泽强调用遮盖(图5)来调整透射度。
由此,在摄像装置1中,制作出仅通过美白处理及色彩修正处理而容易不足的嘴唇光泽感提高了的脸部图像即调整图像。
另外,摄像装置1利用色彩修正用HUE映射(图3)、光泽修正HUE映射(图5)、固定映射,将包含唇部的区域确定为规定区域。
由此,在摄像装置1中,制作出嘴唇光泽感提高了的脸部图像即调整图像。
此外,本发明并不限定于上述实施方式,而包含能够实现本发明的目的范围内的变形、改良等。
在上述实施方式中,将因美白处理而受到影响的唇色修正为适当颜色,但是不限于此。
也可以针对确定了的嘴唇区域进行修正以使唇色变化。
具体而言,可以采用不同的唇膏及口红色、或是对没有涂饰唇膏、口红、唇彩等的嘴唇涂饰唇膏、口红、唇彩等进行化妆,或是调整气色的程度。
此时,可以积极地使彩度变化,还可以使明度、色相变化。
另外,在上述实施方式中,也可以是,最初确定嘴唇区域,在对整个脸部施加美白处理时,指定作为皮肤的遮盖区域而确定了的嘴唇区域。
另外,在上述实施方式中,应用本发明的摄像装置1以数码相机为例进行了说明,但是并不限定于此。
例如,本发明能够普遍应用于具有美白处理功能的电子设备。
具体而言,例如,本发明能够应用于笔记本型的个人计算机、打印机、电视接收机、摄像机、便携导航装置、移动电话、智能手机、便携游戏机等。
上述一系列的处理可以通过硬件来执行,也可以通过软件来执行。
换言之,图8的功能性结构仅为例示而并无特别限定。
即,只要摄像装置1具备能够将上述一系列的处理作为整体来执行的功能即可,为了实现该功能而采用怎样的功能块并不限定于图8的例子。
另外,一个功能块可以由硬件单体构成,也可以由软件单体构成,也可以由它们的组合构成。
本实施方式中的功能性结构通过执行运算处理的处理器来实现,能够用于本实施方式的处理器除了由单处理器、多处理器以及多核处理器等各种处理装置单体构成以外,也包括这些各种处理装置与ASIC(Application Specific Integrated Circuit)、FPGA(Field‐Programmable Gate Array)等处理电路的组合。
在通过软件执行一系列处理的情况下,构成该软件的程序可以从网络、记录介质安装到计算机等中。
计算机可以是组装到专用硬件中的计算机。
另外,计算机可以是通过安装各种程序而能够执行各种功能的计算机,例如是通用的个人计算机。
包含这样的程序的记录介质为了向用户提供程序而不仅可以由与装置主体分别配置的图1的可移动介质31构成,还可以由以预先组装在装置主体中的状态而被提供给用户的记录介质等构成。
可移动介质31例如由磁盘(包括软盘)、光盘或光磁盘等构成。光盘例如由CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk),Blu-ray(注册商标)Disk(蓝光光盘)等构成。
光磁盘由MD(Mini-Disk)等构成。
另外,以预先组装到装置主体中的状态被提供给用户的记录介质例如由记录有程序的图1的ROM12、存储部19所含的硬盘等构成。
此外,在本说明书中,记述在记录介质中记录的程序的步骤包含依其顺序按时序进行的处理,当然也并非一定要按时序进行处理,也包含并行地或单独地执行的处理。
以上对本发明的若干实施方式进行了说明,但是这些实施方式仅为例示,而并不限定本发明的技术范围。本发明能够采取其它多种实施方式,且能够在不脱离本发明要旨的范围进行省略、置换等各种变更。这些实施方式、其变形包含于本说明记载的发明范围、要旨,且包含于权利要求书记载的发明和与其等价的范围。

Claims (12)

1.一种图像处理装置,其特征在于,具备:
取得部,取得脸部图像;以及
控制部;
所述控制部,对所述取得部取得的脸部图像的明亮度进行调整,
所述控制部,利用基于向脸部照射的光的反射状态将该脸部的规定区域设为透射区域、且对于具有规定的色相值的像素调整了透射度的映射数据,对所述取得部取得的脸部图像和进行了所述调整的脸部图像进行合成。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述映射数据中,还对于具有所述规定的色相值的像素的彩度及明度,以向其透射度施加规定的权重的方式进行了调整。
3.根据权利要求1所述的图像处理装置,其特征在于,
所述规定区域是存在嘴唇的区域。
4.根据权利要求1所述的图像处理装置,其特征在于,
所述控制部,使用所述映射数据,对通过所述取得部取得且未通过所述调整而调整了明亮度的脸部图像、和进行了所述调整的脸部图像进行合成。
5.一种图像处理方法,其特征在于,
包含:
取得处理,取得脸部图像;
调整处理,对通过所述取得处理取得的脸部图像的明亮度进行调整;以及
合成处理,利用基于向脸部照射的光的反射状态而将该脸部的规定区域设为透射区域、且对于具有规定的色相值的像素调整了透射度的映射数据,对通过所述取得处理取得的脸部图像、和通过所述调整处理进行了调整的脸部图像进行合成。
6.根据权利要求5所述的图像处理方法,其特征在于,
所述映射数据中,还对于具有所述规定的色相值的像素的彩度及明度,以向其透射度施加规定的权重的方式进行了调整。
7.根据权利要求5所述的图像处理方法,其特征在于,
所述规定区域是存在嘴唇的区域。
8.根据权利要求5所述的图像处理方法,其特征在于,
所述合成处理中,使用所述映射数据,对通过所述取得处理取得且未通过所述调整而调整了明亮度的脸部图像、和进行了所述调整的脸部图像进行合成。
9.一种记录介质,是计算机可读取的记录介质,其特征在于,
记录有使该计算机作为如下单元发挥功能的程序,即:
取得单元,取得脸部图像;
调整单元,对所述取得单元取得的脸部图像的明亮度进行调整;以及
合成单元,利用基于向脸部照射的光的反射状态而将该脸部的规定区域设为透射区域、且对于具有规定的色相值的像素调整了透射度的映射数据,对通过所述取得单元取得的脸部图像、和通过所述调整单元进行了调整的脸部图像进行合成。
10.根据权利要求9所述的记录介质,其特征在于,
所述映射数据中,还对于具有所述规定的色相值的像素的彩度及明度,以向其透射度施加规定的权重的方式进行了调整。
11.根据权利要求9所述的记录介质,其特征在于,
所述规定区域是存在嘴唇的区域。
12.根据权利要求9所述的记录介质,其特征在于,
所述合成单元,利用所述映射数据,对通过所述取得单元取得且未通过所述调整而调整了明亮度的脸部图像、和进行了所述调整的脸部图像进行合成。
CN201811166792.4A 2017-10-05 2018-10-08 图像处理装置、图像处理方法及记录介质 Active CN109639960B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017195425A JP7087331B2 (ja) 2017-10-05 2017-10-05 画像処理装置、画像処理方法及びプログラム
JP2017-195425 2017-10-05

Publications (2)

Publication Number Publication Date
CN109639960A CN109639960A (zh) 2019-04-16
CN109639960B true CN109639960B (zh) 2020-12-29

Family

ID=65993991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811166792.4A Active CN109639960B (zh) 2017-10-05 2018-10-08 图像处理装置、图像处理方法及记录介质

Country Status (3)

Country Link
US (1) US10885616B2 (zh)
JP (1) JP7087331B2 (zh)
CN (1) CN109639960B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230331A (zh) * 2017-09-30 2018-06-29 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、计算机存储介质
JP2019070870A (ja) 2017-10-05 2019-05-09 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN108737750A (zh) * 2018-06-07 2018-11-02 北京旷视科技有限公司 图像处理方法、装置及电子设备
KR102641424B1 (ko) 2019-08-09 2024-02-28 삼성전자주식회사 컴퓨팅 장치 및 그 동작 방법
US11403788B2 (en) 2019-11-22 2022-08-02 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus, electronic device, and storage medium
CN111091610B (zh) * 2019-11-22 2023-04-11 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
JP6969622B2 (ja) * 2020-02-20 2021-11-24 株式会社セガ 撮影遊戯装置およびプログラム
CN111462003B (zh) * 2020-03-20 2022-08-23 稿定(厦门)科技有限公司 人脸图像处理方法、介质、设备及装置
CN111556303B (zh) * 2020-05-14 2022-07-15 北京字节跳动网络技术有限公司 人脸图像处理方法、装置、电子设备及计算机可读介质
CN111598813B (zh) * 2020-05-25 2023-05-19 抖音视界有限公司 人脸图像处理方法、装置、电子设备及计算机可读介质
JP2022032133A (ja) * 2020-08-11 2022-02-25 オムロン株式会社 画像処理装置および画像処理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102027505A (zh) * 2008-07-30 2011-04-20 泰塞拉技术爱尔兰公司 使用脸部检测的自动脸部和皮肤修饰
CN103077368A (zh) * 2011-10-25 2013-05-01 上海银晨智能识别科技有限公司 人脸图像的嘴部定位方法与装置、嘴形识别方法及系统
CN104537372A (zh) * 2014-08-05 2015-04-22 华南理工大学 一种具备区域感知特性的人脸图像蒙板自动生成方法
CN106464816A (zh) * 2014-06-18 2017-02-22 佳能株式会社 图像处理设备及其图像处理方法
CN107093168A (zh) * 2017-03-10 2017-08-25 厦门美图之家科技有限公司 皮肤区域图像的处理方法、装置和系统
CN107180415A (zh) * 2017-03-30 2017-09-19 北京奇艺世纪科技有限公司 一种图像中皮肤美化处理方法及装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3222091B2 (ja) 1997-05-27 2001-10-22 シャープ株式会社 画像処理装置及び画像処理装置制御プログラムを記憶した媒体
US6845181B2 (en) 2001-07-12 2005-01-18 Eastman Kodak Company Method for processing a digital image to adjust brightness
JP4461789B2 (ja) 2003-03-20 2010-05-12 オムロン株式会社 画像処理装置
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
JP2005210370A (ja) 2004-01-22 2005-08-04 Konica Minolta Photo Imaging Inc 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
US7634106B2 (en) 2004-09-22 2009-12-15 Fujifilm Corporation Synthesized image generation method, synthesized image generation apparatus, and synthesized image generation program
US8320641B2 (en) * 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
JP4023491B2 (ja) 2005-02-23 2007-12-19 ブラザー工業株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
US8260008B2 (en) * 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
JP2007193729A (ja) 2006-01-23 2007-08-02 Seiko Epson Corp 印刷装置、画像処理装置、印刷方法、および画像処理方法
JP2007219815A (ja) 2006-02-16 2007-08-30 Seiko Epson Corp 印刷装置、画像処理装置、印刷方法、および画像処理方法
JP2008243059A (ja) 2007-03-28 2008-10-09 Fujifilm Corp 画像処理装置及び画像処理方法
JP5052263B2 (ja) 2007-09-04 2012-10-17 オリンパスイメージング株式会社 画像処理装置および画像処理方法
JP5171434B2 (ja) 2007-09-13 2013-03-27 パナソニック株式会社 撮像装置、撮像方法、プログラム、および集積回路
JP4912374B2 (ja) 2008-09-10 2012-04-11 富士フイルム株式会社 顔イラスト画生成方法及び顔イラスト画生成装置
JP5187139B2 (ja) 2008-10-30 2013-04-24 セイコーエプソン株式会社 画像処理装置およびプログラム
US20120177288A1 (en) 2009-08-04 2012-07-12 Vesalis Image-processing method for correcting a target image with respect to a reference image, and corresponding image-processing device
WO2015048694A2 (en) * 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
CN105956576A (zh) 2016-05-18 2016-09-21 广东欧珀移动通信有限公司 一种图像美颜方法、装置及移动终端
JP2019070870A (ja) * 2017-10-05 2019-05-09 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102027505A (zh) * 2008-07-30 2011-04-20 泰塞拉技术爱尔兰公司 使用脸部检测的自动脸部和皮肤修饰
CN103077368A (zh) * 2011-10-25 2013-05-01 上海银晨智能识别科技有限公司 人脸图像的嘴部定位方法与装置、嘴形识别方法及系统
CN106464816A (zh) * 2014-06-18 2017-02-22 佳能株式会社 图像处理设备及其图像处理方法
CN104537372A (zh) * 2014-08-05 2015-04-22 华南理工大学 一种具备区域感知特性的人脸图像蒙板自动生成方法
CN107093168A (zh) * 2017-03-10 2017-08-25 厦门美图之家科技有限公司 皮肤区域图像的处理方法、装置和系统
CN107180415A (zh) * 2017-03-30 2017-09-19 北京奇艺世纪科技有限公司 一种图像中皮肤美化处理方法及装置

Also Published As

Publication number Publication date
CN109639960A (zh) 2019-04-16
US10885616B2 (en) 2021-01-05
US20190108628A1 (en) 2019-04-11
JP2019070871A (ja) 2019-05-09
JP7087331B2 (ja) 2022-06-21

Similar Documents

Publication Publication Date Title
CN109639960B (zh) 图像处理装置、图像处理方法及记录介质
CN111526279B (zh) 图像处理装置、图像处理方法和记录介质
CN106664364B (zh) 图像处理设备及其控制方法和摄像设备
US8988548B2 (en) Image composition apparatus and storage medium storing a program
CN107730456B (zh) 图像处理方法以及图像处理装置
US10861136B2 (en) Image processing apparatus, image processing method, and storage medium
CN107871309B (zh) 检测方法、检测装置以及记录介质
CN109639959B (zh) 图像处理装置、图像处理方法以及记录介质
JP7129520B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20170154437A1 (en) Image processing apparatus for performing smoothing on human face area
US20180350046A1 (en) Image processing apparatus adjusting skin color of person, image processing method, and storage medium
US10861140B2 (en) Image processing apparatus, image processing method, and recording medium
JP7114335B2 (ja) 画像処理装置、画像処理装置の制御方法、及び、プログラム
KR102562720B1 (ko) 검출 장치, 이미지 처리 장치, 검출 방법, 및 이미지 처리 방법
JP6795062B2 (ja) 検出装置、検出方法及びプログラム
JP7015009B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7318251B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7400196B2 (ja) 電子機器、画像処理方法、及び画像処理プログラム
JP7375313B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20200118304A1 (en) Image processing apparatus, image processing method, and recording medium
JP2010199866A (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant