CN115147529A - 基于座舱的人脸美化方法 - Google Patents

基于座舱的人脸美化方法 Download PDF

Info

Publication number
CN115147529A
CN115147529A CN202210711088.2A CN202210711088A CN115147529A CN 115147529 A CN115147529 A CN 115147529A CN 202210711088 A CN202210711088 A CN 202210711088A CN 115147529 A CN115147529 A CN 115147529A
Authority
CN
China
Prior art keywords
face
picture
opengl
cockpit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210711088.2A
Other languages
English (en)
Inventor
刘宇洲
张英鹏
高斯雄
刘园圆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202210711088.2A priority Critical patent/CN115147529A/zh
Publication of CN115147529A publication Critical patent/CN115147529A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于座舱的人脸美化方法,包括如下步骤:通过车机打开拍照APP,通过拍照APP启动车内摄像头,并通过车内摄像头对车内人脸识别对焦后拍照;获取所拍摄图片的原始数据,并将所获取的图片原始数据传送给渲染引擎创建的OpenGL ES渲染环境中;OpenGL ES将图片的原始数据输入到OpenGL图形渲染管线中进行人脸美化处理,在人脸美化处理时,先检测预览图像中是否包含人脸,若包含人脸,则检测人脸所在位置,并在获取人脸位置后,进一步检测人脸的特征点;然后,提取特征点中所需要的关键点,传送到OpenGL的渲染管线中,结合图像处理算法,进行人脸美化;将美化后的图像展现在车机屏幕。

Description

基于座舱的人脸美化方法
技术领域
本发明涉及智能汽车领域,具体涉及一种基于座舱的人脸美化方法。
背景技术
随着移动互联网的发展,在移动便携式设备上进行拍照、图片编辑、视频直播已然成为了一种潮流的娱乐手段,备受大众喜爱。其中,人像美化技术,是上述娱乐方式成为时尚的关键。用户能分享美化后的自拍或在直播过程中利用技术美化自身的形象,从而获取更好的用户体验和满意度。与此同时,随着车载娱乐系统日益发展,车内摄像头成为了一种必不可少的硬件元素。现有的车内摄像头在拍摄照片后,直接将所拍摄照片进行原图显示,而往往由于光线或审美等其他原因,拍摄者经常会对所显示照片不满意,急需一种能够对车内摄像头所拍摄照片进行人脸美化,以提升用户体验感。
目前,公开号为114581291的中国专利公开了一种座舱内呈现人脸美妆图像的方法和系统;该方法包括如下步骤:在UV展开图上获取妆容模板,妆容模板包括一个或多个具有妆容的人脸图像;通过车内摄像头采集座舱内用户的面部图像;基于预先设置或手动选择的操作,通过妆容迁移算法将妆容模板渲染到面部图像中,以获得美妆图像;以及将美妆图像投影在汽车内的前风挡玻璃或侧窗玻璃上。该方法需要增设一个妆容模板,通过妆容前移算法将妆容模板渲染到所获取的面部图像中,所采用的算法较为复杂,不能大范围推广。
发明内容
针对上述现有技术的不足,本发明所要解决的技术问题是:如何提供一种无需增加成本,在原有的座舱架构上,提供人脸美化功能的人脸美化方法。
为了解决上述技术问题,本发明采用了如下的技术方案:
一种基于座舱的人脸美化方法,包括如下步骤:S1,通过车机打开拍照APP,通过拍照APP启动车内摄像头,并通过车内摄像头对车内人脸识别对焦后拍照;S2,获取所拍摄图片的原始数据,并将所获取的图片原始数据传送给渲染引擎创建的OpenGL ES渲染环境中;S3,OpenGL ES将图片的原始数据输入到OpenGL图形渲染管线中进行人脸美化处理,在人脸美化处理时,先检测预览图像中是否包含人脸,若包含人脸,则检测人脸所在位置,并在获取人脸位置后,进一步检测人脸的特征点;然后,提取特征点中所需要的关键点,传送到OpenGL的渲染管线中,结合图像处理算法,进行人脸美化;S4,将美化后的图像展现在车机屏幕。这样,通过车机座舱内所集成的APP向车内摄像头发出请求,车内摄像头即启动后进行人脸识别和对焦,然后对识别后的人脸进行拍照,最后,再将上述数据传送到渲染环境中,进行美化处理。美化处理过程中,先提取人脸上对应特征点,再对上述特征点的关键点滤镜处理。最后,再将处理后的图片发送并显示到车机上。该方式能够实现对人脸照片离屏渲染,使得车机具备人脸美化的能力,座舱更加智能化,有利于提升用户的体验感和满意度。所采用的人脸美化采用OpenGL管线与图像处理算法相结合的方式,对人脸特征点提取后,再对特征点进行处理,能有效提升处理效率。
进一步的,所述人脸特征点中的关键点有68个,包括人脸外侧轮廓、眼、鼻、嘴、眉、额头、下巴、脸颊。这样,人脸特征点多,针对用户需求,可快速对应到特征点,对相应特征点进行美肤处理。
进一步的,所述OpenGL渲染管线包括顶点着色器、图元装配、几何着色器、光栅化、片元着色器、测试与混合。
进一步的,所述人脸美化包括美肤、大眼和瘦脸。所述美肤包括先后对人脸磨皮和皮肤美白,然后将人脸磨皮和皮肤美白的图片叠加实现美肤。这样,针对人脸美化,美肤、大眼和瘦脸的需求最高,车机直接对上述三个方面进行美化后,即能满足大部分用户需求,无需用户单独操作,也简化了使用方式。针对美肤,先进行磨皮处理,能够消除脸上的痘印、伤疤、黑头或斑点,而美白能够针对光线不足,或黄皮、黑皮脸部进行肤色提亮,最后,再处理后的图片进行叠加后,能够确保所获得照片去掉脸上瑕疵的同时,还能提亮肤色,使照片处理效果自然。
进一步的,人脸磨皮包括:步骤1,对图像进行高斯模糊处理;步骤2,,通过高通滤波对图片进行高反差保留,得到需要过滤的痘印,接着通过高斯算子进行模糊处理,以实现人脸轮廓进行保边处理;步骤3,打开步骤1和步骤2所处理图片的蓝色通道,计算需要磨皮的实际强度值后,与原始图片进行混合处理,得到磨皮后的图片。通过高斯模糊对脸部模糊处理后,会影响五官和脸部轮廓的清晰度。通过高通滤波过滤后,就得到图像中尖锐的像素值,使得脸部痘印和边缘位置清晰,便于针对性的对脸部缺陷位置进行模糊处理,但上述处理会将脸部轮廓囊括在内,从而需要将边缘剔除,进行保边处理,使得脸部轮廓清晰。
进一步的,皮肤美白包括:先自定义皮肤的灰度范围,然后根据所限定的灰度范围进行映射调节,最后混合调节后的图层和原图,实现肤色美白。
进一步的,所述大眼处理是将人眼区域采样后映射到相对较大的区域。这样,可将眼部区域直接拉大,实现大眼效果。
进一步的,所述瘦脸处理包括指将指定区域内的像素按照一定的规则进行整体便宜,形成对脸部的挤压。
进一步的,S2中,获取所拍摄图片的原始数据,并将所获取的图片原始数据传送给渲染引擎创建的OpenGL ES渲染环境中的具体步骤为:拍照 app向座舱车机系统中的Camera Service发起图片数据获取请求,Camera Service在收到请求后,先申请一块空闲的Buffer传给HAL层的CameraProvider,然后,CameraProvider通过驱动节点调用传感器处理拍摄信息,并在获得传感器所发送的信息后,将所接收到的信息填充到所申请的Buffe内。
附图说明
图1为实施例中人脸美化流程图;
图2为实施例中Android Camera架构图;
图3为实施例中预览数据请求、渲染、展示流程图;
图4为实施例中OpenGL图形渲染管线图;
图5为实施例中美肤实现流程;
图6为实施例中大眼处理示意图;
图7为实施例中瘦脸处理示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
实施例:
如图1所示,本实施例提供的基于座舱的人脸美化方法包括如下步骤:S1,通过车机打开拍照APP,通过拍照APP启动车内摄像头,并通过车内摄像头对车内人脸识别对焦后拍照;S2,获取所拍摄图片的原始数据,并将所获取的图片原始数据传送给渲染引擎创建的OpenGL ES渲染环境中;S3,OpenGL ES将图片的原始数据输入到OpenGL图形渲染管线中进行人脸美化处理,在人脸美化处理时,先检测预览图像中是否包含人脸,若包含人脸,则检测人脸所在位置,并在获取人脸位置后,进一步检测人脸的特征点(所述人脸特征点中的关键点有68个,包括人脸外侧轮廓、眼、鼻、嘴、眉、额头、下巴、脸颊等);然后,提取特征点中所需要的关键点,传送到OpenGL的渲染管线中,结合图像处理算法,进行人脸美化;S4,将美化后的图像展现在车机屏幕。
本实施例中座舱车机系统是基于Android系统的,原始数据的获取是借助了Android Framework中Camera框架。数据分别通过摄像头终端传感器、传感器驱动、HAL层CameraProvider、native层CameraService和Framework的Camera2 API组成,AndroidCamera架构图见附图2。
如图3所示,S2中,获取所拍摄图片的原始数据,并将所获取的图片原始数据传送给渲染引擎创建的OpenGL ES渲染环境中的具体流程如下:Camera app发起请求申请一帧数据;Camera Service从BufferQueue中申请一块空闲的Buffer,传递给HAL层的CameraProvider;HAL层通过驱动节点调用传感器处理拍摄信息,当获取到一帧信息后,填充该Buffer,并通过回调的方式通知CameraService;CameraService将该Buffer放入到SurfaceTexture这个与Camera App绑定的图形数据消费者中进行处理。
获取到原始的摄像头数据后,下一步就是将数据放到渲染引擎创建的OpenGL ES渲染环境中,进行渲染。OpenGL ES作为图形数据生产者, 将图片的原始数据输入到OpenGL图形渲染管线中进行处理,图形渲染管线是一套固定的渲染流程,它包含顶点着色器、图元装配、几何着色器、光栅化、片元着色器、测试与混合模块。其中的顶点着色器和片元着色器是暴露给开发者的编程接口,通过它们二者在其中应用图像处理算法,从而实现定制化的图片处理效果。OpenGL ES的图形渲染管线见附图4。
具体的,所述人脸美化包括美肤、大眼和瘦脸。美肤、大眼和瘦脸等人脸美化效果是在OpenGL图形渲染管线的顶点着色器和片元着色器中编程实现的,现将分别简单地介绍三者的实现原理。其中,美肤包括先后对人脸磨皮和皮肤美白,然后将人脸磨皮和皮肤美白的图片叠加实现美肤。
人脸磨皮包括:磨皮效果分为四步,第一步对图像进行高斯模糊处理。高斯模糊是一种数据平滑技术,其本质是按权重取当前点周边像素的平均值作为当前点的像素值;
磨皮第二步是通过高通滤波进行高反差保留。高通滤波是一种过滤方式,规则为高频信号能正常通过,而低于设定临界值的低频信号则被阻隔、减弱。衍生到图像上,就是指图像像素差距大的地方,频率高,反之,频率低。通过高通滤波过滤后,就得到图像中尖锐的像素值,可理解为噪点。此时,痘印和边缘等位置就清晰了。
磨皮第三部是进行保边处理。第二部中不仅得到了需要过滤的痘印,但是边缘也被囊括进去了,顾需要把边缘剔除。这一步,使用作用半径较小的高斯算子进行模糊,从而进行保边处理。
磨皮第四部就是磨皮因子调节。经过第一步我们得到了模糊后的纹理,第二、三步得到了高反差保留后的尖锐纹理,使用这两张纹理,通过比较蓝色通道,计算出需要磨皮的实际强度值,与原图进行混合处理,然后输出最终的处理结果。
皮肤美白包括:先自定义皮肤的灰度范围,然后根据所限定的灰度范围进行映射调节,最后混合调节后的图层和原图,实现肤色美白。
所述大眼处理是将人眼区域采样后映射到相对较大的区域。对人眼为中心的圆形区域内进行放大,距离圆心越远,放大的强度越大。如图6所示,圆内部为发生形变(放大)的区域,A为不发生形变时的采样点(原始纹理坐标),A’为发生形变时对应的采样点(纹理坐标发生偏移),即A的像素在放大后移动到了A’的位置。
所述瘦脸处理包括指将指定区域内的像素按照一定的规则进行整体便宜,形成对脸部的挤压。如图7所示,Feature是特征点,Control是控制点,也即目标点。将Feature半径园内部的像素点,按照Feature-Control的向量方向,进行整体的偏移,像素偏移的强度,和像素与圆心的距离相关,越靠近圆心强度越大。从而就能形成对脸部的挤压。
最后需要说明的是,以上实施例仅用以说明本发明的技术方案而非限制技术方案,尽管申请人参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,那些对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于座舱的人脸美化方法,其特征在于,包括如下步骤:S1,通过车机打开拍照APP,通过拍照APP启动车内摄像头,并通过车内摄像头对车内人脸识别对焦后拍照;S2,获取所拍摄图片的原始数据,并将所获取的图片原始数据传送给渲染引擎创建的OpenGL ES渲染环境中;S3,OpenGL ES将图片的原始数据输入到OpenGL图形渲染管线中进行人脸美化处理,在人脸美化处理时,先检测预览图像中是否包含人脸,若包含人脸,则检测人脸所在位置,并在获取人脸位置后,进一步检测人脸的特征点;然后,提取特征点中所需要的关键点,传送到OpenGL的渲染管线中,结合图像处理算法,进行人脸美化;S4,将美化后的图像展现在车机屏幕。
2.根据权利要求1所述的基于座舱的人脸美化方法,其特征在于,所述人脸特征点中的关键点有68个,包括人脸外侧轮廓、眼、鼻、嘴、眉、额头、下巴、脸颊。
3.根据权利要求1或2所述的基于座舱的人脸美化方法,其特征在于,所述OpenGL渲染管线包括顶点着色器、图元装配、几何着色器、光栅化、片元着色器、测试与混合。
4.根据权利要求3所述的基于座舱的人脸美化方法,其特征在于,所述人脸美化包括美肤、大眼和瘦脸。
5.根据权利要求4所述的基于座舱的人脸美化方法,其特征在于,所述美肤包括先后对人脸磨皮和皮肤美白,然后将人脸磨皮和皮肤美白的图片叠加实现美肤。
6.根据权利要求5所述的基于座舱的人脸美化方法,其特征在于,人脸磨皮包括:步骤1,对图像进行高斯模糊处理;步骤2,,通过高通滤波对图片进行高反差保留,得到需要过滤的痘印,接着通过高斯算子进行模糊处理,以实现人脸轮廓进行保边处理;步骤3,打开步骤1和步骤2所处理图片的蓝色通道,计算需要磨皮的实际强度值后,与原始图片进行混合处理,得到磨皮后的图片。
7.根据权利要求5所述的基于座舱的人脸美化方法,其特征在于,皮肤美白包括:先自定义皮肤的灰度范围,然后根据所限定的灰度范围进行映射调节,最后将调节后的图层与原始图片进行图层混合后实现肤色美白。
8.根据权利要求4或5或6或7所述的基于座舱的人脸美化方法,其特征在于,所述大眼处理是将人眼区域采样后映射到相对较大的区域。
9.根据权利要求4或5或6或7所述的基于座舱的人脸美化方法,其特征在于,所述瘦脸处理包括指将指定区域内的像素按照一定的规则进行整体便宜,形成对脸部的挤压。
10.根据权利要求4或5或6或7所述的基于座舱的人脸美化方法,其特征在于,S2中,获取所拍摄图片的原始数据,并将所获取的图片原始数据传送给渲染引擎创建的OpenGL ES渲染环境中的具体步骤为:拍照 app向座舱车机系统中的Camera Service发起图片数据获取请求,Camera Service在收到请求后,先申请一块空闲的Buffer传给HAL层的CameraProvider,然后,CameraProvider通过驱动节点调用传感器处理拍摄信息,并在获得传感器所发送的信息后,将所接收到的信息填充到所申请的Buffe内。
CN202210711088.2A 2022-06-22 2022-06-22 基于座舱的人脸美化方法 Pending CN115147529A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210711088.2A CN115147529A (zh) 2022-06-22 2022-06-22 基于座舱的人脸美化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210711088.2A CN115147529A (zh) 2022-06-22 2022-06-22 基于座舱的人脸美化方法

Publications (1)

Publication Number Publication Date
CN115147529A true CN115147529A (zh) 2022-10-04

Family

ID=83408516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210711088.2A Pending CN115147529A (zh) 2022-06-22 2022-06-22 基于座舱的人脸美化方法

Country Status (1)

Country Link
CN (1) CN115147529A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117294929A (zh) * 2023-10-11 2023-12-26 润芯微科技(江苏)有限公司 一种基于车内多模态识别技术的智能拍照方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117294929A (zh) * 2023-10-11 2023-12-26 润芯微科技(江苏)有限公司 一种基于车内多模态识别技术的智能拍照方法及系统
CN117294929B (zh) * 2023-10-11 2024-04-16 润芯微科技(江苏)有限公司 一种基于车内多模态识别技术的智能拍照方法及系统

Similar Documents

Publication Publication Date Title
JP5547730B2 (ja) 顔検知を用いた顔及び肌の自動美化
US8520089B2 (en) Eye beautification
CN108229279B (zh) 人脸图像处理方法、装置和电子设备
KR101733512B1 (ko) 얼굴 특징 기반의 가상 체험 시스템 및 그 방법
US9691136B2 (en) Eye beautification under inaccurate localization
EP2615576B1 (en) Image-processing device, image-processing method, and control program
CN107369133B (zh) 一种人脸图像美化方法和装置
CN107665482B (zh) 实现双重曝光的视频数据实时处理方法及装置、计算设备
CN110599410B (zh) 图像处理的方法、装置、终端及存储介质
CN107705279B (zh) 实现双重曝光的图像数据实时处理方法及装置、计算设备
CN113808027A (zh) 一种人体图像处理方法、装置、电子设备及存储介质
KR101827998B1 (ko) 얼굴 특징 기반의 가상 체험 시스템 및 그 방법
CN115147529A (zh) 基于座舱的人脸美化方法
CN105763747A (zh) 一种获得高质量且实时的美颜的移动终端
CN105976309A (zh) 一种高效且易于并行实现的美颜移动终端
CN105956993A (zh) 一种基于gpu的移动端视频美颜的即时呈现方法
CN112686800A (zh) 图像处理方法、装置、电子设备及存储介质
US20200167899A1 (en) Noise-cancelling filter for video images
Huo et al. LDR image to HDR image mapping with overexposure preprocessing
CN116612036A (zh) 一种基于Unity实现人像磨皮和美白的方法
CN115311306A (zh) 一种人脸修复方法及系统
CN116320597A (zh) 直播图像帧处理方法、装置、设备、可读存储介质及产品
CN117376713A (zh) Hdr图像编辑方法、装置、电子设备及可读存储介质
CN113971637A (zh) 人脸图像处理方法、装置、电子设备及存储介质
CN114596208A (zh) 视频中图像的处理方法、装置、存储介质和处理器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination