CN116681613A - 人脸关键点检测的仿光照增强方法、装置、介质及设备 - Google Patents
人脸关键点检测的仿光照增强方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN116681613A CN116681613A CN202310662483.0A CN202310662483A CN116681613A CN 116681613 A CN116681613 A CN 116681613A CN 202310662483 A CN202310662483 A CN 202310662483A CN 116681613 A CN116681613 A CN 116681613A
- Authority
- CN
- China
- Prior art keywords
- image
- adjustment
- sample image
- initial sample
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000005286 illumination Methods 0.000 claims abstract description 100
- 230000004927 fusion Effects 0.000 claims abstract description 88
- 230000008569 process Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 6
- 238000007493 shaping process Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种人脸关键点检测的仿光照增强方法、装置、存储介质及计算机设备。本申请实施例获取初始样本图像;将所述初始样本图像进行切割,并根据所述初始样本图像中每个像素点至切割线的距离确定相应的融合权重;选取预设数量的调整系数,分别根据不同的调整系数对所述初始样本图像进行相应的亮度调整,得到相应的预设数量的调整图像;根据所述融合权重,对每个调整图像进行图像融合,得到目标样本图像;将多个目标调整图像进行图像融合,得到目标样本图像。以此,通过有效模仿各种光照条件的目标样本图像,而无需采集特定光照条件下的人脸图像作为样本图像,降低了光照不均匀的人脸图像的采集难度和采集成本。
Description
技术领域
本申请涉及数据处理技术领域,具体涉及一种人脸关键点检测的仿光照增强方法、装置、介质及设备。
背景技术
随着网络直播的不断发展,直播覆盖了室内和室外的各种场景,其中,直播过程中的美颜技术需要摄像头设备采集人脸图像,基于人脸关键点模型计算人脸图像中各个关键点的位置,根据人脸图像中的各个关键点对主播的五官进行整形美颜。
在该方案中,采集人脸图像的场景往往需要良好的光照条件,人脸图像的整形美颜才能达到比较完美的效果。然而,对于户外夜景或是比较靠近光源的直播场景,摄像头设备采集到的人脸图像往往是光照不均匀的人脸图像,因此,在光照条件较差的场景下进行整形调整的数据精度低,直播过程中的美颜效果差。
为了解决上述问题,在相关技术中,人脸关键点模型的训练过程通常需要额外采集大量的在户外或夜景场景下的光照不均匀的人脸图像,然而,光照不均匀的人脸图像获取难度高,导致光照不均匀的人脸图像采集成本高。
发明内容
本申请实施例提供一种人脸关键点检测的仿光照增强方法、装置、介质及设备,可以降低光照不均匀的人脸图像采集难度和采集成本。
为解决上述技术问题,本申请实施例提供以下技术方案:
一种人脸关键点检测的仿光照增强方法,包括:
获取初始样本图像;
将所述初始样本图像进行切割,并根据所述初始样本图像中每个像素点至切割线的距离确定相应的融合权重;
选取预设数量的调整系数,分别根据不同的调整系数对所述初始样本图像进行相应的亮度调整,得到相应的预设数量的调整图像;
根据所述融合权重,对每个调整图像进行图像融合,得到目标样本图像。
一种仿光照增强装置,包括:
获取单元,用于获取初始样本图像;
计算单元,用于将所述初始样本图像进行切割,并根据所述初始样本图像中每个像素点至切割线的距离确定相应的融合权重;
调整单元,用于选取预设数量的调整系数,分别根据所述预设数量的调整系数对所述初始样本图像进行调整,得到相应的预设数量的调整图像;
融合单元,用于根据所述融合权重,对每个调整图像进行图像融合,得到目标样本图像。
在一些实施例中,该计算单元,用于:
获取所述初始样本图像的图像宽度和图像高度;
基于所述图像宽度和图像高度创建坐标轴,并在所述坐标轴中图像宽度和图像高度的范围内分别确定第一选取范围和第二选取范围,所述第一选取范围是所述第二选取范围的子集;
在所述第一选取范围内选取第一目标点,并在所述第二选取范围内选取第二目标点;
根据所述第一目标点和第二目标点在所述坐标轴中的坐标信息,计算相应的分割线的直线方程,通过所述切割线将所述初始样本图像划分为两个部分。
在一些实施例中,该计算单元,还用于:
获取每个像素点在所述坐标轴中相应的坐标信息;
根据所述坐标信息,计算每个像素点到所述切割线的距离;
将所述每个像素点到所述切割线的距离进行映射计算,得到与所述距离相应的融合权重。
在一些实施例中,该调整单元,用于:
从预设的采样随机数范围中随机选取预设数量的调整系数,所述调整系数中至少包括第一调整系数和第二调整系数;
当所述第一调整系数大于预设阈值时,则通过所述第一调整系数对所述初始样本图像进行亮度提升,输出调亮后的调整图像;或
当所述第一调整系数不大于预设阈值时,则通过所述第一调整系数对所述初始样本图像进行亮度降低,输出调暗后的调整图像;
当所述第二调整系数大于预设阈值时,则通过所述第二调整系数对所述初始样本图像进行亮度提升,输出调亮后的调整图像;或
当所述第二调整系数不大于预设阈值时,则通过所述第二调整系数对所述初始样本图像进行亮度提升,输出调亮后的调整图像。
在一些实施例中,该融合单元,用于:
根据融合权重,对第一调整系数对应的调整图像以及第二调整系数对应的调整图像的像素点进行融合计算,得到目标样本图像。
在一些实施例中,该仿光照增强装置,还用于:
获取所述初始样本图像中的人脸关键点;
将所述人脸关键点作为标签信息,与所述目标样本图像一并输入至初始模型中进行人脸关键点识别训练,得到目标模型。
在一些实施例中,该仿光照增强装置,还用于:
获取直播过程中的人脸图像;
将所述人脸图像输入所述目标模型,识别所述人脸图像中对应的人脸关键点;
根据所述人脸关键点对所述人脸图像进行整形美颜。
一种计算机存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行上述人脸关键点检测的仿光照增强方法中的步骤。
一种设备,包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述提供的人脸关键点检测的仿光照增强方法中的步骤。
一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在存储介质中。计算机设备的处理器从存储介质读取所述计算机指令,处理器执行所述计算机指令,使得所述计算机设备执行上述提供的人脸关键点检测的仿光照增强方法中的步骤。
本申请实施例获取初始样本图像;将所述初始样本图像进行切割,并根据所述初始样本图像中每个像素点至切割线的距离确定相应的融合权重;选取预设数量的调整系数,分别根据不同的调整系数对所述初始样本图像进行相应的亮度调整,得到相应的预设数量的调整图像;根据所述融合权重,对每个调整图像进行图像融合,得到目标样本图像。以此,通过对正常光照下的初始样本图像根据调整系数进行相应的亮度调整,并根据预设的融合权重将亮度调整后的调整图像进行融合,得到有效模仿各种光照条件的目标样本图像,基于该目标样本图像无需获取光照不均匀等特定光照条件下的人脸图像,降低了获取特定光照条件下的样本图像的难度,减少了光照不均匀的人脸图像的采集成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的数据调整系统的场景示意图;
图2是本申请实施例提供的人脸关键点检测的仿光照增强方法的流程示意图;
图2a是本申请实施例提供的距离向融合权重映射的示例性示意图;
图2b是本申请实施例提供的人脸关键点检测的仿光照增强方法的场景示意图;
图3是本申请实施例提供的人脸关键点检测的仿光照增强方法的另一流程示意图;
图4是本申请实施例提供的仿光照增强装置的结构示意图;
图5是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种人脸关键点检测的仿光照增强方法、装置、存储介质及计算机设备。
请参阅图1,图1为本申请实施例所提供的数据调整系统的场景示意图,包括:处理器A、采集设备B和存储器C,处理器A和采集设备B之间可以通过通信网络连接,实现数量的双向传输,该存储器C是采集设备B的信息库,该通信网络,包括无线网络以及有线网络,其中无线网络包括无线广域网、无线局域网、无线城域网、以及无线个人网中的一种或多种的组合。网络中包括路由器、网关等等网络实体,图中并未示意出。
该数据调整系统可以包括仿光照增强装置,该仿光照增强装置具体可以集成在平板电脑、手机、笔记本电脑、台式电脑等具备计算单元并安装有微处理器而具有运算能力的终端中。该终端可以安装具备计算能力的处理器,在图1中,该处理器A可以用于获取初始样本图像;将所述初始样本图像进行切割,并根据所述初始样本图像中每个像素点至切割线的距离确定相应的融合权重;选取预设数量的调整系数,分别根据不同的调整系数对所述初始样本图像进行相应的亮度调整,得到相应的预设数量的调整图像;根据所述融合权重,对每个调整图像进行图像融合,得到目标样本图像。
该数据调整系统还可以包括采集设备B,该采集设备B中可以采集用于调整的初始样本图像,以及用于识别的人脸图像。该数据调整系统还可以包括存储器C,该存储器C中可以存储处理器A采集的初始样本图像、处理好的目标样本图像以及基于所述目标样本图像对应生成的目标模型。
需要说明的是,图1所示的数据调整系统的场景示意图仅仅是一个示例,本申请实施例描述的数据调整系统以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着数据调整系统的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
以下分别进行详细说明。
在本实施例中,将从仿光照增强装置的角度进行描述,该仿光照增强装置具体可以集成在终端的客户端中。
请参阅图2,图2是本申请实施例提供的人脸关键点检测的仿光照增强方法的流程示意图。该人脸关键点检测的仿光照增强方法包括:
在步骤101中,获取初始样本图像。
其中,初始样本图像可以是正常光照下的样本图像,该正常光照下的样本图像可以是正常光照下的人脸图像,该正常光照下的人脸图像可以是由采集设备随机拍摄到的人脸图像,也可以是数据库中已有的样本图像。需要说明的是,该初始样本图像具有获取难度小、采集成本低、图像较清晰、人脸关键点易识别等特征。
在户外夜景或是比较靠近光源的直播场景中,对主播直播过程中的人脸图像进行整形美颜的方式一般是:基于人脸关键点模型对该直播场景下采集到的光照不均匀的人脸图像进行人脸关键点识别,确定光照不均匀的人脸图像中的人脸关键点,并根据该人脸关键点对主播的人脸图像进行整形美颜,以提升观众的观看体验。
在相关技术中,人脸关键点模型对光照不均匀的人脸图像进行人脸关键点识别之前,需要采集大量的夜景或是光源较近场景下光照不均匀的人脸图像作为样本数据进行识别训练,得到对应的人脸关键点模型,然而,光照不均匀的人脸图像不仅在识别人脸关键点时,识别结果精度低,而且相比于正常光照下的人脸图像获取难度大,导致采用光照不均匀的人脸图像作为样本数据的成本高。
以此,本申请实施例通过对采集到的正常光照下的人脸图像进行亮度调整,针对同一初始样本图像进行亮度调整可以得到模拟各种光照条件下的目标样本图像,增加对人脸关键点模型进行识别训练的样本数据的多样性。能够根据亮度调整后的图像生成相应的模拟不同光照条件下的目标样本图像,无需采集光照不均匀的人脸图像作为样本数据,只需要对正常光照下的人脸图像进行对应的图像处理,降低了数据采集的难度,节省了采集光照不均匀的人脸图像作为样本数据的成本。
在步骤102中,将所述初始样本图像进行切割,并根据所述初始样本图像中每个像素点至切割线的距离确定相应的融合权重。
需要说明的是,为了模拟光照场景中拍摄的人脸图像,需要确定模拟光照场景中人脸图像的照射部分以及非照射部分。相应的,在模拟光照场景中照射部分为人脸图像中的亮光部分,非照射部分则为人脸图像的暗光部分,由人脸图像的亮光部分和暗光部分组成对应的光照不均匀的人脸图像。因此,本实施例通过切割线将初始样本图像进行切割,该切割线为随机的一条直线,将该初始样本图像划分为两个部分,基于该两个部分的初始样本图像模拟随机光照条件下的照射部分以及非照射部分。该切割线用于模拟一种光照场景中照射部分以及非照射部分的光照分界线、或是另一种光照场景中照射不均匀的光照分界线。
其中,切割线是随机的一条与初始样本图像相交的直线,是通过在初始样本图像上随机选取的两个目标点确定的,具体地,该切割线通过上述两个目标点在该初始样本图像中的坐标信息计算得到,该切割线将初始样本图像划分为两个部分。
在一些实施例中,将所述初始样本图像进行切割,包括:
(1)获取所述初始样本图像的图像宽度和图像高度;
(2)基于所述图像宽度和图像高度创建坐标轴,并在所述坐标轴中图像宽度和图像高度的范围内分别确定第一选取范围和第二选取范围,所述第一选取范围是所述第二选取范围的子集;
(3)在所述第一选取范围内选取第一目标点,并在所述第二选取范围内选取第二目标点;
(4)根据所述第一目标点和第二目标点在所述坐标轴中的坐标信息,计算相应的分割线的直线方程,通过所述切割线将所述初始样本图像划分为两个部分。
可知地,初始样本图像是由若干数量的像素点组成,每个像素点都在该初始样本图像中存在其对应的坐标信息,像素点对应的坐标信息代表初始样本图像在存储数组中的行和列位置,该坐标信息存储的是初始样本图像对应像素点的色值信息,每个像素点都存在对应的色值信息,该色值信息可以是像素点上的RGB值。
需要说明的是,初始样本图像是由两对相应的图像宽和图像高组成的矩形图像,本实施例通过选取初始样本图像的一对图像宽和图像高创建一个坐标轴,并且根据初始样本图像的图像宽度和图像高度在该坐标轴中选取预设的两个选取范围,并在这预设的两个选取范围内,分别选取相对应的两个目标点。根据这两个目标点的坐标信息计算得到一条对应的切割线的直线方程,基于该切割线模拟光照场景下光照中照射部分以及非照射部分的分界线,或是另一种场景下照射强度不同的分界线。
进一步地,在以该初始样本图像的任一组图像宽和图像高创建的坐标轴中,该切割线对应的直线方程是由随机选取的任意两目标点在该坐标轴中的坐标信息计算得到的,而上述随机选取的任意两点则是在该坐标轴中任意确定的两个目标选取范围随机选择。
具体地,在以图像宽为轴的不超过图像宽度范围内选取一个不超过图像宽度的随机取点范围,并在以图像高为轴的不超过图像高度范围内选取一个不超过图像高度的随机点选取范围,根据图像宽度和图像高度上的两个随机点选取范围,确定第一选取范围,该第一选区范围的坐标信息在该第一选区范围对应的随机点选取范围内。另外,在该坐标轴中,在不超过图像宽度和图像高度的范围内,再确定一个相应的第二选取范围,该第二选取范围内的坐标信息同样不超过初始样本图像的图像宽度和图像高度,该第二选取范围包含第一选取范围,该第一选取范围是第二选取范围的子集。
示例性地,在第一选取范围中随机确定第一目标点Ps的计算公式可以是:
Ps=(randint(w//4,w-1-w//4),randint(h//4,h-1-h//4))
示例性地,在第二选取范围内随机确定第二目标点Pe的计算公式可以是:
Pe=(randint(0,w-1),randint(0,h-1))
其中,“w”是指初始样本图像的图像宽度,“h”是指初始样本图像的图像高度,“//”是指除法的向下取整,“randint(a,b)”是指在a,b两值的范围内随机选取一个值的随机函数,其中a<b。
例如,初始样本图像的图像宽度w为20,图像高度h为30,则第一目标点Ps对应的第一选取范围计算得到第一目标点对应的横坐标在[5,14]范围内,纵坐标在[7,21]范围内,由第一目标点横纵坐标的两个选取范围确定第一目标点在该坐标轴中对应的第一选取范围([5,14],[7,21])。另外,同样根据初始样本图像的图像宽度和图像高度,确定第二目标点Pe对应的第二选取范围,根据上述示例性公式可得到第二目标点的横坐标在[0,19]范围内,纵坐标在[0,29]范围内,由第二目标点横纵坐标的两个选取范围确定第二目标点在该坐标轴中对应的第二选取范围([0,19],[0,29])。
在第一选取范围([5,14],[7,21])内随机选取第一目标点可以是(10,20),在第二选取范围([0,19],[0,29])内随机选取第二目标点可以是(5,10)。根据该两个随机的目标点的坐标信息计算得到相应的直线方程。
在一些实施例中,根据所述初始样本图像中每个像素点至切割线的距离确定相应的融合权重,包括:
(1)获取每个像素点在所述坐标轴中相应的坐标信息;
(2)根据所述坐标信息,计算每个像素点到所述切割线的距离;
(3)将所述每个像素点到所述切割线的距离进行映射计算,得到与所述距离相应的融合权重。
需要说明的是,在以该初始样本图像的任一组图像宽和图像高创建的坐标轴中,初始样本图像中的每个像素点都有其对应的坐标信息,而根据每个像素点的坐标信息可以相应计算到在该坐标轴中的切割线与每个像素点之间的距离。
具体地,每一像素点的坐标信息可以是二维坐标内的横纵坐标值,例如(x,y),根据像素点在坐标轴的坐标值,与切割线的直线方程进行计算,得到每一像素点与切割线对应的距离。可以理解的是,通过该切割线将该初始样本图像划分为两个部分,因此,在该切割线的两侧存在到切割线的绝对距离相等的对应的像素点(绝对距离为像素点到切割线距离的绝对值)。
示例性地,切割线的直线方程的公式可以是:
Ax+By+C=0
进一步地,由像素点的坐标信息(x,y)计算像素点(x,y)到切割线Ax+By+C=0的距离公式可以是:
在其他领域的相关技术中,计算对图像进行调整的融合权重,一般是通过计算图像中的相似性变量或图像匹配方法检测和提取图像中与掩膜相似的结构特征,根据图像中像素点的相似性变量或相似的结构特征确定对应的权重值,且该权重值是两幅图像之间进行的各种位运算操作的参数值。通过相似性变量或相似的结构特征的二值化,得到像素点色值的位运算操作的参数值,该参数值限定为0或1,当位运算操作的参数值为0时,则对图像的色值不做调整;当位运算操作的参数值为1时,则按照预设的调整方式对图像的色值进行对应的调整。因此,上述非1即0或是非0即1的二值化的图像调整参数值使得图像之间在根据该权重值进行调整时,图像调整的自然度差,过渡区间不够平滑。
以此,本申请基于个每像素点到切割线的距离,根据每一像素点到切割线的距离计算每一像素点对应的融合权重,其中,根据距离计算每一像素点对应的融合权重,可以是将该距离代入预设的平滑函数,进行映射计算,得到在不同距离下的像素点对应不同的融合权重,该平滑函数可以是sigmoid函数。
在本实施例中,该融合权重是在(0,1)的权重范围内的任意自然数,融合权重的值与像素点到切割线的距离的实现在上述权重范围内的对应比例关系调整,解决了图像调整的融合参数非1即0或是非0即1所造成的图像调整效果不自然,过渡区间不平滑的问题,提升了图像融合后样本图像中人脸图像模拟光照的真实性与自然度。
示例性地,根据每一像素点到直线的距离计算每个像素点上进行图像调整的融合权重的公式可以是:
为了更好地理解本申请实施例,请参照图2a,图2a是本申请实施例距离向融合权重映射的示例性示意图,根据该sigmoid函数计算与切割线相应的距离下的像素点对应的融合参数。具体地,每一像素点在该初始样本图像对应的坐标系中都对应存在一个坐标信息(x,y),而每一像素点根据该坐标信息都能够计算到与切割线之间的距离d(x,y),将该距离代入上述融合权重计算公式中,得到该像素点对应的融合权重。
由上可知,在本申请实施例中,基于该平滑函数根据像素点到切割线的距离计算对应的融合权重,而当该像素点处于该切割线上时,即像素点到切割线的距离为0,则该切割线上的像素点的融合权重为0.5;而当该像素点到切割线的距离d<0时,该d<0的像素点的融合权重在(0,0.5)的权重范围内;当该像素点到目标到切割线的距离d>0时,该d>0的像素点的融合权重在(0.5,1)的权重范围内。
在步骤103中,选取预设数量的调整系数,分别根据不同的调整系数对所述初始样本图像进行相应的亮度调整,得到相应的预设数量的调整图像。
可知地,在初始样本图像中模拟不同光照下的人脸图像,可以通过对初始样本图像进行不同亮度的调整,得到与初始样本图像对应的不同亮度的调整图像,再将不同亮度的调整图像根据上述由平滑函数计算得到的融合权重进行图像融合,实现针对初始样本图像的模拟不同光照条件下不同亮度的目标样本图像,具体请参照如下步骤。
在本实施例中,在预设的亮度调整系数范围中选取两个调整系数,基于这两个调整系数对初始样本图像进行两次不同的亮度调整,得到两张对应亮度调整的调整图像。具体地,根据该两个调整系数,对初始样本图像分别不同程度的调亮处理和/或不同程度的调暗处理,得到模仿不同光照条件的两张调整图像。
在一些实施例中,选取预设数量的调整系数,分别根据不同的调整系数对所述初始样本图像进行相应的亮度调整,得到相应的预设数量的调整图像,包括:
(1)从预设的采样随机数范围中随机选取预设数量的调整系数,所述调整系数中至少包括第一调整系数和第二调整系数;
(2)当所述第一调整系数大于预设阈值时,则通过所述第一调整系数对所述初始样本图像进行亮度提升,输出调亮后的调整图像;或
(3)当所述第一调整系数不大于预设阈值时,则通过所述第一调整系数对所述初始样本图像进行亮度降低,输出调暗后的调整图像;
(4)当所述第二调整系数大于预设阈值时,则通过所述第二调整系数对所述初始样本图像进行亮度提升,输出调亮后的调整图像;或
(5)当所述第二调整系数不大于预设阈值时,则通过所述第二调整系数对所述初始样本图像进行亮度提升,输出调亮后的调整图像。
需要说明的是,该调整系数是对初始样本图像进行亮度调整的调节参数,该调整系数可以是在[0.3,3]的均匀分布中采样的随机数,基于该调整系数对初始样本图像进行亮度调整,得到的调整图像具有多样性,进而实现模拟不同光照条件下的样本图像增加,提升了样本数据的多样性。
在相关技术中,实现图像调整一般是根据调整系数按照固定的调整方式对整张图像中的各个像素点按照该调整系数进行调整,而单一的调整方式使得图像调整后的调整图像色值调整过参数难以控制,图像调整效果差,自然度低,对不同光照条件下图像的模拟效果差。
以此,本申请方案根据该调整系数与预设阈值的大小关系,在初始样本图像进行不同调整方式对应的图像调整。具体地,当该调整系数大于预设阈值时,则将该初始样本图像进行亮度提升,以获取模拟强光照条件下的调整图像。其中,实现亮度提升的方式可以是对初始样本图像的像素数值进行放大截断,通过选取最大亮度数值的相对范围内的最小值以提升初始样本图像的亮度,并输出相应提升亮度的调整图像;
当该调整系数不大于预设阈值时,则将该初始样本图像进行亮度降低,以获取模拟弱光照条件下的调整图像。其中,实现亮度降低的方式可以是对初始样本图像中每一像素值对应的色值进行伽马变换,通过对初始样本图像中的每一像素值对应的色值进行伽马计算,输出相应亮度降低的调整图像。
示例性地,根据随机获取到的亮度调整系数s,确定对应的图像调整方式,并输出对应调整的调整图像的公式如下:
在本实施例中,调整系数s至少包括:第一调整系数s1和第二调整系数s2。即,至少需要根据两个调整系数对初始样本图像进行两次对应的图像调整,并得到相对应的两张调整图像。具体地,当s不大于预设阈值1时,则将该s输入得到对应的调整图像在该像素点上的向下调整色值,该向下调整色值小于该像素点原始色值,相应地,该调整图像相比于该初始样本图像是一张亮度降低的调整图像;当s大于预设阈值1时,则将该s输入minimum(s*I,max(I))中,得到在该像素点上的向上调整色值,该向上调整色值大于该像素点的原始色值,相应地,该调整图像相比于该初始样本图像是一张亮度提升的调整图像。
可以理解的是,该调整图像可以是一张亮度提升、一张亮度降低的调整图像,在本申请实施例中至少存在两个调整系数,且根据两个调整系数对应结合不同的调整方式对初始样本图像进行不同的处理,两个调整系数对应的两张调整图像可以是一张亮度提升、一张亮度降低,或者两张不同程度的亮度提升和两张不同程度的亮度降低的调整图像。以此,基于调整系数确定对应调整方式和对应的调整图像,结合两种不同的调整方式对初始样本图像进行对应处理,提升了调整图像的自然度和调整效果,增加了调整图像作为样本数据的数多样性。
在步骤104中,根据所述融合权重,对每个调整图像进行图像融合,得到目标样本图像。
可理解的是,初始样本图像中的每一像素点都通过计算存在对应的融合权重,每张调整图像基于初始样本图像进行调整而得到,因此,初始样本图像中每一像素点与每张调整图像中的每一像素点相对应,初始样本图像中每一像素点与融合权重的对应关系与调整图像中每一像素点与融合权重的对应关系相同。
以此,基于初始样本图像中每一像素点对应的融合权重对每张调整图像进行计算,得到处理后的多个目标调整图像。
在一些实施例中,根据所述融合权重,对每个调整图像进行图像融合,得到目标样本图像,包括:
根据融合权重,对第一调整系数对应的调整图像以及第二调整系数对应的调整图像的像素点进行融合计算,得到目标样本图像。
在本实施例中,调整系数s至少包括:第一调整系数s1和第二调整系数s2,相应地,第一调整系数s1相应调整得到对应的第一调整图像I1,第二调整系数s2相应调整得到对应的第二调整图像I2。
示例性地,根据融合权重,将第一调整图像I1和第二调整图像I2进行融合,得到目标样本图像的公式可以是:
Iaug=I1*M+I2*(1-M)
需要说明的是,融合权重M是在(0,1)的权重范围内的任意自然数,第一调整图像I1中的每一像素点与融合权重M进行计算,并根据融合权重计算过后的第二调整图像I2的每一像素点与第二融合权重1-M进行计算,得到基于第一调整图像I1和第二调整图像I2融合后的目标样本图像。可以理解的是,第一调整图像和第二调整图像模仿了不同光照条件下的初始样本图像,而通过将第一调整图像和第二调整图像进行拼接得到目标样本图像,实现了在切割线两侧模拟不同光照下的调整图像。
为了更好地理解本申请实施例,请参照图2b,初始样本图像在根据两个调整系数进行对应的图像调整后,得到对应的I1,I2,通过融合权重M对调整图像I1中的每个像素点进行计算,得到I1对应的第一目标调整图像,对融合权重M进行计算,得到第二融合权重(1-M),通过融合权重(1-M)对调整图像I2中的每个像素点进行计算,得到I2对应的第二目标调整图像,其中,该第一目标调整图像和第二调整图像拼接后得到对应的目标样本图像Iaug。
以此,本申请通过融合两张进行亮度调整的调整图像,得到模拟不同光照条件下的目标样本图像,无需采集光照不均匀的人脸图像作为样本数据,只需要对正常光照下的人脸图像进行对应的图像处理,降低了数据采集的难度,节省了采集光照不均匀的人脸图像作为样本数据的成本。
在本实施例中,将从仿光照增强装置的角度进行描述,该仿光照增强装置具体可以集成在平板电脑、手机等具备储存单元并安装有微处理器而具有运算能力的终端中,该终端可以开启直播客户端,在本申请实施例中,该直播客户端可以为观众客户端。
请参阅图3,图3为本申请实施例提供的信息处理方法的另一流程示意图。该方法流程可以包括:
在步骤201中,获取所述初始样本图像中的人脸关键点;
需要说明的是,初始样本数据为在正常光照下的人脸图像,在对其进行亮度调整之前,可以针对正常光照下的人脸图像进行人脸特征点提取,获取该初始样本图像中的人脸关键点。初始样本图像是正常光照下的样本图像,通过对样本图像中的人脸图像进行识别,识别方式可以是手工关键点标注,也可以是通过关键点识别算法,确定样本图像中的人脸关键点。
在步骤202中,将所述人脸关键点作为标签信息,与所述目标样本图像一并输入至初始模型中进行人脸关键点识别训练,得到目标模型。
在相关技术中,通过采集夜景或是光源较近场景下光照不均匀的人脸图像作为样本数据,进而,光照不均匀的人脸图像作为样本数据导致样本图像不清晰,进而由样本数据训练得到的目标模型的识别效果不佳,数据精度差。
以此,本实施例在对该初始样本图像进行图像亮度调整后,通过采集正常光照下人脸图像作为样本图像,将正常光照下的人脸图像中的人脸关键点作为标签信息进行人脸关键点识别训练,人脸图像的清晰度高,进而人脸关键点的精确度高。相比于相关技术中,通过采集光照不均匀的人脸图像,识别光照不均匀的人脸图像中的人脸关键点,对正常光照下的人脸图像识别采集到的人脸关键点更加准确,进而针对正常光照下人脸识别采集到的人脸关键点识别的精确度得以提升,训练得到的人脸关键点模型的识别效果得以优化。
在步骤203中,获取直播过程中的人脸图像;
随着网络直播的不断发展,直播覆盖了室内和室外的各种场景,当直播场景的光照条件切换为室外或是离光源较近的区域,导致采集设备获取的图像或是影像是光照不均匀的图像或影像信息,针对在光照不均匀的图像中的主播的人脸图像,难以进行美颜整形,降低了观众的直播体验。
在步骤204中,将所述人脸图像输入所述目标模型,识别所述人脸图像中对应的人脸关键点;
以此,本申请通过获取在光照不均匀的图像中的主播的人脸图像,并将该人脸图像输入预先设置的目标模型,基于该目标模型识别光照不均匀的人脸图像中的人脸关键点。其中,目标模型是根据目标样本图像进行识别训练得到,提升了对该光照不均匀的人脸图像中的人脸关键点的识别精度。
在步骤205中,根据所述人脸关键点对所述人脸图像进行整形美颜。
进一步地,基于在人脸图像中识别出的人脸关键点,对主播的人脸进行整形美颜,以实现直播场景在户外夜景或是较靠近光源的直播间的美颜效果,美化主播的展示内容,提升用户的观看体验。
请参阅图4,图4为本申请实施例提供的仿光照增强装置的结构示意图,该仿光照增强装置应用于终端,其中该仿光照增强装置可以包括:获取单元301、计算单元302、调整单元303、融合单元304以及融合单元305等。
一种仿光照增强装置,包括:
获取单元301,用于获取初始样本图像;
计算单元302,用于将所述初始样本图像进行切割,并根据所述初始样本图像中每个像素点至切割线的距离确定相应的融合权重;
调整单元303,用于选取预设数量的调整系数,分别根据所述预设数量的调整系数对所述初始样本图像进行调整,得到相应的预设数量的调整图像;
融合单元304,用于根据所述融合权重,对每个调整图像进行图像融合,得到目标样本图像。
在一些实施例中,该计算单元302,用于:
获取所述初始样本图像的图像宽度和图像高度;
基于所述图像宽度和图像高度创建坐标轴,并在所述坐标轴中图像宽度和图像高度的范围内分别确定第一选取范围和第二选取范围,所述第一选取范围是所述第二选取范围的子集;
在所述第一选取范围内选取第一目标点,并在所述第二选取范围内选取第二目标点;
根据所述第一目标点和第二目标点在所述坐标轴中的坐标信息,计算相应的分割线的直线方程,通过所述切割线将所述初始样本图像划分为两个部分。
在一些实施例中,该计算单元302,还用于:
获取每个像素点在所述坐标轴中相应的坐标信息;
根据所述坐标信息,计算每个像素点到所述切割线的距离;
将所述每个像素点到所述切割线的距离进行映射计算,得到与所述距离相应的融合权重。
在一些实施例中,该调整单元303,用于:
从预设的采样随机数范围中随机选取预设数量的调整系数,所述调整系数中至少包括第一调整系数和第二调整系数;
当所述第一调整系数大于预设阈值时,则通过所述第一调整系数对所述初始样本图像进行亮度提升,输出调亮后的调整图像;或
当所述第一调整系数不大于预设阈值时,则通过所述第一调整系数对所述初始样本图像进行亮度降低,输出调暗后的调整图像;
当所述第二调整系数大于预设阈值时,则通过所述第二调整系数对所述初始样本图像进行亮度提升,输出调亮后的调整图像;或
当所述第二调整系数不大于预设阈值时,则通过所述第二调整系数对所述初始样本图像进行亮度提升,输出调亮后的调整图像。
在一些实施例中,该融合单元304,用于:
根据融合权重,对第一调整系数对应的调整图像以及第二调整系数对应的调整图像的像素点进行融合计算,得到目标样本图像。
在一些实施例中,该仿光照增强装置,还用于:
获取所述初始样本图像中的人脸关键点;
将所述人脸关键点作为标签信息,与所述目标样本图像一并输入至初始模型中进行人脸关键点识别训练,得到目标模型。
在一些实施例中,该仿光照增强装置,还用于:
获取直播过程中的人脸图像;
将所述人脸图像输入所述目标模型,识别所述人脸图像中对应的人脸关键点;
根据所述人脸关键点对所述人脸图像进行整形美颜。
本申请实施例还提供一种设备,该计算机设备可以为终端,如图5所示,其示出了本发明实施例所涉及的计算机设备的结构示意图,具体来讲:
该设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图5中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
该设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,该设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
获取初始样本图像;
将所述初始样本图像进行切割,并根据所述初始样本图像中每个像素点至切割线的距离确定相应的融合权重;
选取预设数量的调整系数,分别根据不同的调整系数对所述初始样本图像进行相应的亮度调整,得到相应的预设数量的调整图像;
根据所述融合权重,对每个调整图像进行图像融合,得到目标样本图像。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对人脸关键点检测的仿光照增强方法的详细描述,此处不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种人脸关键点检测的仿光照增强方法中的步骤。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例提供的各种可选实现方式中提供的方法。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该计算机存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该介质中所存储的指令,可以执行本申请实施例所提供的任一种人脸关键点检测的仿光照增强方法中的步骤,因此,可以实现本申请实施例所提供的任一种人脸关键点检测的仿光照增强方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种人脸关键点检测的仿光照增强方法、装置、存储介质及计算机设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种人脸关键点检测的仿光照增强方法,其特征在于,包括:
获取初始样本图像;
将所述初始样本图像进行切割,并根据所述初始样本图像中每个像素点至切割线的距离确定相应的融合权重;
选取预设数量的调整系数,分别根据不同的调整系数对所述初始样本图像进行相应的亮度调整,得到相应的预设数量的调整图像;
根据所述融合权重,对每个调整图像进行图像融合,得到目标样本图像。
2.如权利要求1所述的方法,其特征在于,所述将所述初始样本图像进行切割,包括:
获取所述初始样本图像的图像宽度和图像高度;
基于所述图像宽度和图像高度创建坐标轴,并在所述坐标轴中图像宽度和图像高度的范围内分别确定第一选取范围和第二选取范围,所述第一选取范围是所述第二选取范围的子集;
在所述第一选取范围内选取第一目标点,并在所述第二选取范围内选取第二目标点;
根据所述第一目标点和第二目标点在所述坐标轴中的坐标信息,计算相应的分割线的直线方程,通过所述切割线将所述初始样本图像划分为两个部分。
3.如权利要求2所述的方法,其特征在于,所述根据所述初始样本图像中每个像素点至切割线的距离确定相应的融合权重,包括:
获取每个像素点在所述坐标轴中相应的坐标信息;
根据所述坐标信息,计算每个像素点到所述切割线的距离;
将所述每个像素点到所述切割线的距离进行映射计算,得到与所述距离相应的融合权重。
4.如权利要求1所述的方法,其特征在于,所述选取预设数量的调整系数,分别根据不同的调整系数对所述初始样本图像进行相应的亮度调整,得到相应的预设数量的调整图像,包括:
从预设的采样随机数范围中随机选取预设数量的调整系数,所述调整系数中至少包括第一调整系数和第二调整系数;
当所述第一调整系数大于预设阈值时,则通过所述第一调整系数对所述初始样本图像进行亮度提升,输出调亮后的调整图像;或
当所述第一调整系数不大于预设阈值时,则通过所述第一调整系数对所述初始样本图像进行亮度降低,输出调暗后的调整图像;
当所述第二调整系数大于预设阈值时,则通过所述第二调整系数对所述初始样本图像进行亮度提升,输出调亮后的调整图像;或
当所述第二调整系数不大于预设阈值时,则通过所述第二调整系数对所述初始样本图像进行亮度提升,输出调亮后的调整图像。
5.如权利要求4所述的方法,其特征在于,所述根据所述融合权重,对每个调整图像进行图像融合,得到目标样本图像,包括:
根据融合权重,对第一调整系数对应的调整图像以及第二调整系数对应的调整图像的像素点进行融合计算,得到目标样本图像。
6.如权利要求1所述的人脸关键点检测的仿光照增强方法,其特征在于,在所述计算所述预设数量的调整图像对应的目标样本图像之后,所述方法还包括:
获取所述初始样本图像中的人脸关键点;
将所述人脸关键点作为标签信息,与所述目标样本图像一并输入至初始模型中进行人脸关键点识别训练,得到目标模型。
7.如权利要求6所述的方法,其特征在于,在得到目标模型之后,所述方法还包括:
获取直播过程中的人脸图像;
将所述人脸图像输入所述目标模型,识别所述人脸图像中对应的人脸关键点;
根据所述人脸关键点对所述人脸图像进行整形美颜。
8.一种仿光照增强装置,其特征在于,包括:
获取单元,用于获取初始样本图像;
计算单元,用于将所述初始样本图像进行切割,并根据所述初始样本图像中每个像素点至切割线的距离确定相应的融合权重;
调整单元,用于选取预设数量的调整系数,分别根据所述预设数量的调整系数对所述初始样本图像进行调整,得到相应的预设数量的调整图像;
融合单元,用于根据所述融合权重,对每个调整图像进行图像融合,得到目标样本图像。
9.一种介质,其特征在于,所述介质可以是计算机可读存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至7任一项所述的人脸关键点检测的仿光照增强方法中的步骤。
10.一种设备,其特征在于,包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的人脸关键点检测的仿光照增强方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310662483.0A CN116681613A (zh) | 2023-06-06 | 2023-06-06 | 人脸关键点检测的仿光照增强方法、装置、介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310662483.0A CN116681613A (zh) | 2023-06-06 | 2023-06-06 | 人脸关键点检测的仿光照增强方法、装置、介质及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116681613A true CN116681613A (zh) | 2023-09-01 |
Family
ID=87786797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310662483.0A Pending CN116681613A (zh) | 2023-06-06 | 2023-06-06 | 人脸关键点检测的仿光照增强方法、装置、介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116681613A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117392734A (zh) * | 2023-12-12 | 2024-01-12 | 深圳市宗匠科技有限公司 | 面部数据处理方法、装置、计算机设备和存储介质 |
-
2023
- 2023-06-06 CN CN202310662483.0A patent/CN116681613A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117392734A (zh) * | 2023-12-12 | 2024-01-12 | 深圳市宗匠科技有限公司 | 面部数据处理方法、装置、计算机设备和存储介质 |
CN117392734B (zh) * | 2023-12-12 | 2024-05-14 | 深圳市宗匠科技有限公司 | 面部数据处理方法、装置、计算机设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111292264B (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
JP7526412B2 (ja) | パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体 | |
CN105187810B (zh) | 一种基于人脸色彩特征的自动白平衡方法及电子媒体装置 | |
CN112308095A (zh) | 图片预处理及模型训练方法、装置、服务器及存储介质 | |
CN111416950A (zh) | 视频处理方法、装置、存储介质及电子设备 | |
JP2022528128A (ja) | 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体 | |
CN111882627B (zh) | 图像处理方法、视频处理方法、装置、设备和存储介质 | |
KR20090084563A (ko) | 비디오 영상의 깊이 지도 생성 방법 및 장치 | |
CN110689500A (zh) | 一种人脸图像的处理方法、装置、电子设备及存储介质 | |
CN111145135B (zh) | 一种图像去扰处理方法、装置、设备及存储介质 | |
CN111225162B (zh) | 图像曝光的控制方法、系统、可读存储介质及摄像设备 | |
CN110807757A (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
CN106709504A (zh) | 细节保持的高保真色调映射方法 | |
CN113709560B (zh) | 视频剪辑方法、装置、设备及存储介质 | |
CN116681613A (zh) | 人脸关键点检测的仿光照增强方法、装置、介质及设备 | |
CN112562056A (zh) | 虚拟演播室中虚拟灯光的控制方法、装置、介质与设备 | |
CN112257729A (zh) | 图像识别方法、装置、设备及存储介质 | |
Zhang et al. | Atmospheric perspective effect enhancement of landscape photographs through depth-aware contrast manipulation | |
CN113112422B (zh) | 图像处理方法、装置、电子设备、计算机可读介质 | |
CN112449115B (zh) | 拍摄方法、装置和电子设备 | |
CN112435173A (zh) | 一种图像处理和直播方法、装置、设备和存储介质 | |
CN116863043A (zh) | 面部动态捕捉驱动方法、装置、电子设备及可读存储介质 | |
US20230171506A1 (en) | Increasing dynamic range of a virtual production display | |
CN109741300A (zh) | 一种适用于视频编码的图像显著性快速检测方法和装置 | |
CN112002019B (zh) | 一种基于mr混合现实的模拟人物阴影的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |