CN113012042A - 显示装置、虚拟合照生成方法及存储介质 - Google Patents
显示装置、虚拟合照生成方法及存储介质 Download PDFInfo
- Publication number
- CN113012042A CN113012042A CN201911330462.9A CN201911330462A CN113012042A CN 113012042 A CN113012042 A CN 113012042A CN 201911330462 A CN201911330462 A CN 201911330462A CN 113012042 A CN113012042 A CN 113012042A
- Authority
- CN
- China
- Prior art keywords
- virtual
- image
- posture
- portrait
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 210000000988 bone and bone Anatomy 0.000 claims description 33
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000003702 image correction Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000036544 posture Effects 0.000 description 81
- 238000012545 processing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 210000000707 wrist Anatomy 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 210000001981 hip bone Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 239000008267 milk Substances 0.000 description 2
- 210000004080 milk Anatomy 0.000 description 2
- 235000013336 milk Nutrition 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000004233 talus Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种显示装置、虚拟合照生成方法及存储介质,显示装置包括显示器和控制器,显示器用于显示视频通话过程中的视频图像,控制器用于响应合照指令,获取视频通话中各路视频的一帧图像,作为待生成虚拟合照的源图像,对源图像进行人脸检测,得到所述源图像中人像的头部图像;根据所述头部图像和虚拟姿态模板生成虚拟人像;将多个所述虚拟人像排列成虚拟合照。本申请通过虚拟姿态模板代替人物头部以下的身体部位,解决了每个人物呈现的身体部位不一致导致的美观度差的技术问题;进一步的,本申请提供的虚拟合照生成方法,可加载到显示设备上实现自动生成合照,解决了手动生成合照技术难度高且效率较低的问题。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种显示装置、虚拟合照生成方法及存储介质。
背景技术
照片是记录人们生活的一种重要载体,在与家人和朋友出游或聚会时,人们通常会采用拍摄合照的方式来纪念出游或聚会的场景,然而,随着生活节奏的加快,人们与家人和朋友在一起的时间越来越少,视频通话逐渐成为人们与家人和朋友联络感情的常用方法,利用视频通话中显示的人像来生成一份与家人和朋友的合照,逐渐成为人们获得合照的一种新方向。
在视频通话时,很多用户通过对显示设备(例如手机、pad、电脑或电视屏幕)进行截屏,然后把截屏后的图像组合到一起的方式形成一幅合照,然而由于截屏后的图像都有边界框,导致合照中人物间距较大,合照的美观度较差;另有一些用户,为了让合照更加美观,通过图像处理软件,例如photoshop先将人物从截屏后的图像中抠出,再将多个人像重新组合到一张新的图像中,但这种合照生成方式的操作过程较为繁琐,对人们的图像处理水平要求较高,并且,截屏中的多个人物呈现的人体部位往往不一致,例如有的人露出头部,有的人露出上半身,有的人整个身体都暴露在截图中,导致根据抠图的人像生成的合照美观度仍然较差。
发明内容
本申请提供了一种显示装置、虚拟合照生成方法及存储介质,以解决不能自动生成美观度较高的虚拟合照的问题。
第一方面,本申请提供了一种显示装置,该显示装置包括:
显示器,用于显示视频通话过程中的视频图像;
控制器,用于响应合照指令,获取视频通话中各路视频的一帧图像,作为待生成虚拟合照的源图像,对源图像进行人脸检测,得到所述源图像中人像的头部图像;根据所述头部图像和虚拟姿态模板生成虚拟人像;将多个所述虚拟人像排列成虚拟合照。
第二方面,本申请提供了一种虚拟合照生成方法,所述方法应用于显示装置,所述显示装置包括显示器和控制器,所述方法包括:
所述控制器响应合照指令,获取视频通话中各路视频的一帧图像,作为待生成虚拟合照的源图像;
所述控制器对源图像进行人脸检测,得到所述源图像中人像的头部图像;
所述控制器根据所述头部图像和虚拟姿态模板生成虚拟人像;
所述控制器将多个所述虚拟人像组排列成虚拟合照,向所述显示器发送所述虚拟合照;
所述显示器接收所述虚拟合照,将所述虚拟合照进行显示。
第三方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被执行时实现上述第二方面所述的虚拟合照生成方法。
本申请提供的显示装置、虚拟合照生成方法及存储介质的有益效果包括:
本申请通过从视频通话的各路视频中获取源图像,对源图像进行人脸检测,得到源图像中每个人物的头部图像,再将头部图像和虚拟姿态模板进行组合,生成虚拟人像。本申请通过虚拟姿态模板代替人物头部以下的身体部位,解决了每个人物呈现的身体部位不一致导致的美观度差的技术问题;进一步的,本申请提供的技术方案,可在显示设备上实现自动生成合照,解决了手动生成合照技术难度高且效率较低的问题。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种显示装置的结构示意图;
图2为本申请实施例提供的一种虚拟合照生成方法的流程示意图;
图3为本申请实施例提供的一种虚拟姿态模板的骨骼关键点示意图;
图4为本申请实施例提供的一种骨骼关键点估计的示意图;
图5为本申请实施例提供的一种姿态差别度计算方法的流程示意图;
图6为本申请实施例提供的一种骨骼关键点坐标标定方法的流程示意图;
图7为本申请实施例提供的一种虚拟人像示意图;
图8为本申请实施例提供的一种背景图片示意图;
图9为本申请实施例提供的另一种背景图片示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
第一方面,本申请提供了一种显示装置,该显示装置可为智能手机、平板电脑、笔记本电脑、智能电视等装置。如图1所示,该显示装置包括显示器1和控制器2。
显示器1上可设置有摄像头,也可连接摄像装置来获取显示器1前方的图像,将该图像发送到控制器2,由控制器2上运行的视频通话应用程序将该图像进行编码处理后发送到对端的显示装置上。
控制器2与显示器1电连接,可运行视频通话软件,通过视频通话软件将对端的显示装置发送过来的图像发送到显示器1上进行显示。
在该视频通话应用程序中可预先设置合照指令以及该合照指令的响应进程,以生成虚拟合照。合照指令可为语音类型指令,例如可将“拍摄合照”的语音作为合照指令,当用户在视频通过的过程中,说出“拍摄合照”时,合照指令被激活;合照指令也可为按钮类型指令,例如可将“合照”的按键显示在视频通话的通话界面上,当用户在视频通过的过程中,点击“合照”按键时,合照指令被激活。
当上述合照指令被激活后,响应进程可获取并保存视频通话中各路视频的一帧图像,作为待生成虚拟合照的源图像,通过对源图像进行人脸检测,得到源图像中人像的头部图像;根据头部图像和虚拟模板生成虚拟人像;将多个虚拟人像进行排列可得到虚拟合照。
为对响应进程生成虚拟合照的过程做进一步描述,本申请在第二方面提供了一种虚拟合照生成方法,如图2所示,该方法包括以下步骤:
步骤S110:控制器响应合照指令,获取视频通话中各路视频的一帧图像,作为待生成虚拟合照的源图像。
当上述合照指令被激活后,响应进程可获取并保存视频通话中各路视频的一帧图像,作为待生成虚拟合照的源图像。
为满足人们在非视频通话场景下的合照需求,该响应进程可作为一个单独的图像处理应用程序如相机、相册等,还可嵌入到有合照需求的非视频通话应用程序中。通过在该图像处理应用程序或非视频通话应用程序中设置一个图像插入指令,当该图像插入指令被激活后可展示预设图像存储路径下的图像供用户选择,将用户选择的图像作为待生成虚拟合照的源图像,图像插入指令的激活方式可与上述合照指令激活方式相同。当然,用户也可将预设图像存储路径更改为其他图像存储路径,以选择其他图像存储路径下的图像作为源图像。
步骤S120:控制器对源图像进行人脸检测,得到源图像中人像的头部图像。
通过人脸检测算法对源图像进行人脸检测,得到源图像中人像的人脸框区域,人脸框区域可为矩形区域,设置人脸框区域的坐标为(x,y,w,h),其中,x为人脸框左上角横坐标,y为人脸框左上角纵坐标,w为人脸框的像素宽度,h为人脸框的像素高度。
根据人脸框区域可对源图像中人像的头部位置进行定位,从而确定头部图像,方法如下:
以人脸框区域的中心为原点,将人脸框区域的横坐标向左右各扩充至1.5倍w,将人脸框区域的纵坐标向上下各扩充至1.5倍h,得到人像的头部区域,在人脸框区域为矩形区域的基础上,头部区域同样为矩形区域,坐标为(x-w/2,y+h/2,3w/2,3h/2)。按照上述将人脸框区域扩大1.5倍的方式得到的头部区域,通常能覆盖人像的头部位置。
上述头部区域为矩形区域,除了头部图像外,还包含了一些头部边缘的背景图像,为了将头部区域的头部图像提取出来,本申请预先制作了大量将人脸框区域扩大1.5倍得到的头部区域样本,对头部区域样本进行背景与前景的分离训练得到了第一卷积神经网络。本步骤中,将头部区域的图像输入到第一卷积神经网络,即可输出头部图像。
由于多路视频拍摄时的光照往往不同,导致不同来源的源图像在成像效果上如亮度、对比度等差别较大,为了能获得成像效果较为统一的合照,本步骤中,可将提取出来的头部图像进行图像校正,以消除光照对头部图像的影响,图像校正可采取伽马校正、高斯差分滤波和对比度均衡化的顺次处理方式,经过图像校正的不同来源的源图像,在成像效果上的差别显著减小。
根据人脸框区域还可对人脸特征进行分析,方法如下:
根据第二卷积神经网络获取人脸框区域中的人脸特征,人脸特征包括年龄和性别。第二卷积神经网络为本申请预先制作的用于分析人脸的年龄和性别的卷积神经网络。将人脸框区域的图像输入到第二卷积神经网络中,可输出该人脸框区域对应人像的性别和年龄,记录每个人像的性别和年龄。基于人脸框进行人脸的年龄分析和性别分析可利用现有技术实现,本申请不再具体描述。
本申请待生成的虚拟合照,其中的每一个虚拟人像均由头部图像和没有头部的虚拟姿态模板组成,避免了源图像中不同人像呈现的人体部位不一致,例如有的人露出头部,有的人露出上半身,有的人整个身体都暴露在源图像中,而导致直接将源图像中的人像抠出后组合成虚拟合照后不美观的缺点。
为了给每一个人像匹配一个合适的虚拟姿态模板,本申请预先构建了姿态模板库,姿态模板库内存储了大量虚拟姿态模板,每个虚拟姿态模板都设置有属性:年龄段、性别、姿态,其中,年龄段包括0-6岁、7-18岁、19-25岁、26-45岁、46-60岁、61岁以上;姿态包括拍照时常用的一些肢体动作,如端坐、站立、比心、比剪刀手等,其中,姿态为端坐的虚拟姿态模板为半身像,姿态为站立的虚拟姿态模板为不含头部的全身像,姿态用预设骨骼位置处的骨骼关键点来描述,预设骨骼位置是指骨骼关键部分,可根据姿态分类需求进行具体设置,如图3所示,本申请中,预设骨骼位置处的骨骼关键点用白色圆点表示,包括左手腕骨骼关键点、右手腕骨骼关键点、左手肘骨骼关键点、右手肘骨骼关键点、左肩骨骼关键点、右肩骨骼关键点、颈部骨骼关键点、左髋部骨骼关键点、右髋部骨骼关键点、左膝部骨骼关键点、右膝部骨骼关键点、左脚腕骨骼关键点和右脚腕骨骼关键点,共13个骨骼关键点。
在通过第二卷积神经网络获取人脸框区域中的人脸特征后,可从姿态模板库中选出符合人脸特征的备选姿态模板,与直接将人像与姿态模板库中的全部虚拟姿态模板进行匹配相比,匹配工作量大幅降低。
步骤S130:控制器根据头部图像和虚拟姿态模板生成虚拟人像。
源图像中的人像可能与多个备选姿态模板相匹配,为了从备选姿态模板中选出一个与人像的实际姿态最相符的模板,可对源图像中的人像进行骨骼关键点估计,得到人像对应的人体姿态特征;从备选姿态模板中选出与人体姿态特征姿态差别度最小的虚拟姿态模板与该人像头部图像进行组合得到虚拟人像。
根据第三卷积神经网络可获取人像的人体姿态特征,人体姿态特征包括人体骨骼关键点在源图像上的位置。第三卷积神经网络为本申请预先制作的用于分析人体预设骨骼位置处的人体骨骼关键点的卷积神经网络。基于人像进行骨骼关键点分析可利用现有技术实现,本申请不再具体描述。
将源图像输入到第三卷积神经网络中,可标记出预设骨骼位置处的人体骨骼关键点,如图4所示,人体骨骼关键点用白色点表示,包括头部骨骼关键点和躯体骨骼关键点,其中,躯体骨骼关键点所在的身体部位为虚拟姿态模板中的预设骨骼位置,包括左手腕骨骼关键点4、右手腕骨骼关键点7、左手肘骨骼关键点3、右手肘骨骼关键点6、左肩骨骼关键点2、右肩骨骼关键点5、颈部骨骼关键点1、左髋部骨骼关键点8、右髋部骨骼关键点11、左膝部骨骼关键点9、右膝部骨骼关键点12、左脚腕骨骼关键点10和右脚腕骨骼关键点13;头部骨骼关键点包括左眼骨骼关键点14、左耳骨骼关键点16、右眼骨骼关键点15、右耳骨骼关键点17和鼻部骨骼关键点0。人体骨骼关键点之间用线段连接,可形象地表明人体姿态。
由于头部图像的获取和人体姿态特征的获取是两个独立的处理过程,因此,在得到头部图像和人体姿态特征后,需要将源图像中的每个头部图像与其对应的人体姿态特征进行匹配,匹配过程如下:
由于头部图像是基于人脸框区域扩充得到的图像,而本申请中所选人像的头部骨骼关键点应当在该人像的人脸框区域内,因此,可根据人脸框区域与头部骨骼关键点的位置关系进行头部图像与人体姿态特征的匹配。
对于一个人脸框区域(x,y,w,h),如果同一个人像A的全部头部骨骼关键点均在该人脸框区域内,即任意一个头部骨骼关键点(X1,Y1)均满足下式:
x<X1<x+w
y<Y1<y+h (1)
则判定该人脸框区域对应的头部图像与人像A的人体姿态特征匹配成功。如果人像A的任意一个头部骨骼关键点不在该人脸框区域内,则判定该人脸框区域对应的头部图像与人像A的人体姿态特征匹配失败,如果匹配失败,则再将另外一个人像,如人像B的全部头部骨骼关键点与人脸框区域(x,y,w,h)进行匹配,直至匹配成功,其中,人像A和人像B均是源图像中的人像。在视频通话中场景下,由于各路视频的人像不同,因此在进行头部图像与人体姿态特征匹配时,可只将人体姿态特征与同一路视频中的头部图像进行匹配,能够提高匹配效率。
根据第三卷积神经网络得到人体骨骼关键点在源图像上的位置,可判断人像的姿态是否为坐姿,如果源图像中其中一个人像是坐姿,则将备选姿态模板做进一步筛选,将全身像的备选姿态模板剔除,如果源图像中全部人像是站姿,则将半身像的备选姿态模板剔除,对剩余的备选姿态模板再进行进一步分析。
比较各备选姿态模板与人体姿态特征的姿态差别度,可得到与人体姿态特征姿态差别度最小的虚拟姿态模板。
源图像中的人像可能不是全身像,通过第三卷积神经网络获取的人体姿态特征通常只包含了部分人体骨骼关键点,而虚拟姿态模板中的骨骼关键点均为躯体骨骼关键点,因此,在将人体姿态特征与备选姿态模板进行姿态差别度比较时,可只考虑人体姿态特征中的躯体骨骼关键点。
根据躯体骨骼关键点与虚拟骨骼关键点的位置差别得到姿态差别度,其中,虚拟骨骼关键点指备选姿态模板中与人体姿态特征相同身体部位的骨骼关键点。姿态差别度的计算流程如图5所示,可包括步骤S310至步骤S330:
步骤S310:按照预设算法计算人体姿态特征中躯体骨骼关键点对应的第一标定坐标,全部第一标定坐标组成第一标定坐标组。
由于源图像与备选姿态模板的图像比例可能不一致,因此需要分别将源图像和备选姿态模板中的骨骼关键点坐标进行标定,以比较源图像中的躯体骨骼关键点和备选姿态模板中的虚拟骨骼关键点的位置差别。标定方法如图6所示,可包括步骤S3101至步骤S3103:
步骤S3101:计算人体姿态特征中全部躯体骨骼关键点的几何中心坐标。
几何中心坐标(xcenter,ycenter)的计算公式如下:
(2)式中,N为全部躯体骨骼关键点的数量,(xi,yi)为第i个躯体骨骼关键点的坐标。
步骤S3102:计算几何中心坐标与躯体骨骼关键点坐标的差值,得到躯体骨骼关键点对应的相对坐标。
躯体骨骼关键点对应的相对坐标(xi',yi')的计算公式如下:
xi'=xi-xcenter
yi'=yi-ycenter (3)
步骤S3103:计算相对坐标与相对偏差坐标的比值,得到躯体骨骼关键点对应的标定坐标,全部标定坐标组成第一标定坐标组,其中,相对偏差坐标的坐标值为相对坐标的标准偏差值。
计算相对坐标的标准偏差,得到相对偏差坐标(x”,y”):
计算相对坐标与相对偏差坐标的比值,得到标定坐标(x”',y”'):
步骤S320:按照预设算法计算虚拟骨骼关键点对应的第二标定坐标,全部第二标定坐标组成第二标定坐标组。
第二标定坐标的计算方法与第一标定坐标的计算方法相同,计算得到的虚拟骨骼关键点对应的第二标定坐标为(ui,vi)。
步骤S330:计算第一标定坐标组与第二标定坐标组的欧几里得距离,将欧几里得距离确定为备选姿态模板与人体姿态特征的姿态差别度。
第一标定坐标组与第二标定坐标组的欧几里得距离L的计算公式为:
将欧几里得距离L确定为备选姿态模板与人体姿态特征的姿态差别度。如果有多个备选姿态模板,则分别计算每个备选姿态模板与人体姿态特征的姿态差别度。
如果此时只有一个备选姿态模板,则将其确定为待与头部图像进行匹配的虚拟姿态模板,如果还有多个备选姿态模板,则将欧几里得距离最小的备选姿态模板确定为待与头部图像进行匹配的虚拟姿态模板。
在将头部图像与虚拟姿态模板进行匹配时,考虑到头部图像与备选姿态模板之间的比例、不同人像的头部图像之间的比例均可能不一致,直接将各个头部图像与其对应的虚拟姿态模板组合在一起可能不协调。通过调节头部图像与备选姿态模板之间的比例关系可解决此问题。由于各个虚拟姿态模板的尺寸较为统一,因此以虚拟姿态模板为基准对头部图像进行缩放,可快速获得尺寸较为统一且与虚拟姿态模板较为协调的头部图像。
本申请参考人体头肩部的比例关系,将头部图像的宽度和高度按照相同比例进行缩放,使头部图像的宽度为虚拟姿态模板肩部宽度的二分之一,然后将缩放后的头部图像与虚拟姿态模板组合成如图7所示的虚拟人像,其中,上述虚拟姿态模板肩部宽度指的是虚拟姿态模板中左肩部的虚拟骨骼关键点与右肩部的虚拟骨骼关键点之间的像素距离。
步骤S140:控制器将多个虚拟人像组排列成虚拟合照,向显示器发送虚拟合照。
实际生活中,人们在与家人和朋友合照时,通常会考虑站位问题,本申请中,根据人们合照时的站位规律,预设了虚拟合照的站位规则:1、将61岁以上的老年人放置在合照的中心位置,如果该老年人是站立姿态,则可将0-6岁的儿童放置到该老年人前面,如果该老年人是端坐姿态,则可将7-18岁的少年放置到该老年人两侧;2、将19-25岁、26-45岁、46-60岁的成年人放置在0-6岁的儿童之后,或与站立的0-6岁依次排列;3、将同一路视频的虚拟人像优先相邻站立。
例如,在一个三家人的视频通话中,三路视频通话的分别为:我家,包括爸爸、妈妈和我(假设年龄为6岁);爷爷家,包括爷爷和奶奶;叔叔家,包括叔叔和婶婶;其中,爷爷奶奶为端坐,其他人为站立。按照上述站位规则,排列后的虚拟合照为:爷爷奶奶在虚拟合照的正中间,我在爷爷或奶奶的一侧,爸爸妈妈在我的身后,叔叔和婶婶在爷爷或奶奶的另一侧。
进一步的,为提高虚拟合照的美观度,还可预先设置背景图库,将排列后的虚拟人像放置到背景图库的默认背景图片中,用户可对背景图片进行选择。背景图库中的背景图片可以分类为写实风格或抽象风格的风景图片、建筑图片、室内家庭图片等,如图8,可设置有椅子、沙发等家具来为坐姿的虚拟人像提供支撑,如图9,背景图片中不能出现人物,以免影响合照效果。
控制器生成虚拟合照后,将虚拟合照发送到显示器。
步骤S150:显示器接收虚拟合照,将虚拟合照进行显示。
显示器接收虚拟合照,将虚拟合照进行显示。进一步的,还可在显示器显示保存按键,当该按键被用户点击时,可将虚拟合照保存在显示设备的存储器上。
第二方面所述的虚拟合照生成方法可存储在计算机可读存储介质上。本申请第三方面提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被执行时实现上述第二方面所述的虚拟合照生成方法。
由上述实施例可见,本申请通过从视频通话的各路视频中获取源图像,对源图像进行人脸检测,得到源图像中每个人物的头部图像,再将头部图像和虚拟姿态模板进行组合,生成虚拟人像。本申请通过虚拟姿态模板代替人物头部以下的身体部位,解决了每个人物呈现的身体部位不一致导致的美观度差的技术问题;进一步的,本申请提供的虚拟合照生成方法,可加载到显示设备上实现自动生成合照,解决了手动生成合照技术难度高且效率较低的问题。
由于以上实施方式均是在其他方式之上引用结合进行说明,不同实施例之间均具有相同的部分,本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。
需要说明的是,在本说明书中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或暗示这些实体或操作之间存在任何这种实际的关系或顺序。而且,术语“包括”、“设置有”或者其任何其他变体意在涵盖非排他性的设置有,从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下,有语句“包括一个……”限定的要素,并不排除在包括所述要素的电路结构、物品或者设备中还存在另外的相同要素。
本领域技术人员在考虑说明书及实践这里发明的公开后,将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由权利要求的内容指出。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。
Claims (10)
1.一种显示装置,其特征在于,包括:
显示器,用于显示视频通话过程中的视频图像;
控制器,用于响应合照指令,获取视频通话中各路视频的一帧图像,作为待生成虚拟合照的源图像,对源图像进行人脸检测,得到所述源图像中人像的头部图像;根据所述头部图像和虚拟姿态模板生成虚拟人像;将多个所述虚拟人像排列成虚拟合照。
2.根据权利要求1所述的显示装置,其特征在于,所述控制器还被配置为:
对所述源图像中的人像进行骨骼关键点估计,得到所述人像对应的人体姿态特征;
从备选姿态模板中选出与所述人体姿态特征姿态差别度最小的虚拟姿态模板。
3.根据权利要求2所述的显示装置,其特征在于,所述控制器还被配置为:
按照预设算法计算所述人体姿态特征中躯体骨骼关键点对应的第一标定坐标,全部所述第一标定坐标组成第一标定坐标组;
按照所述预设算法计算虚拟骨骼关键点对应的第二标定坐标,全部所述第二标定坐标组成第二标定坐标组,其中,所述虚拟骨骼关键点为备选姿态模板中与所述人体姿态特征相同身体部位的骨骼关键点;
计算所述第一标定坐标组与第二标定坐标组的欧几里得距离,将所述欧几里得距离确定为备选姿态模板与人体姿态特征的姿态差别度。
4.根据权利要求3所述的显示装置,其特征在于,所述控制器还被配置为:
计算所述人体姿态特征中全部躯体骨骼关键点的几何中心坐标;
计算所述几何中心坐标与躯体骨骼关键点坐标的差值,得到所述躯体骨骼关键点对应的相对坐标;
计算所述相对坐标与相对偏差坐标的比值,得到所述躯体骨骼关键点对应的标定坐标,全部所述标定坐标组成第一标定坐标组,其中,所述相对偏差坐标的坐标值为所述相对坐标的标准偏差值。
5.根据权利要求1所述的显示装置,其特征在于,所述控制器还被配置为:
对所述源图像进行人脸检测,得到所述源图像中人像的人脸框区域;
将所述人脸框区域向上、下、左、右方向扩充1.5倍,得到所述人像的头部区域;
通过第一卷积神经网络从所述头部区域提取出头部图像。
6.根据权利要求5所述的显示装置,其特征在于,所述控制器还被配置为:
通过第二卷积神经网络获取所述人脸框区域中的人脸特征,所述人脸特征包括年龄和性别;
从姿态模板库中选出符合所述人脸特征的备选姿态模板。
7.根据权利要求5所述的显示装置,其特征在于,所述控制器还被配置为:
将所述头部图像进行图像校正,所述图像校正包括伽马校正、高斯差分滤波和对比度均衡化。
8.根据权利要求1所述的显示装置,其特征在于,所述控制器还被配置为:
将所述头部图像的宽度和高度按照相同比例进行缩放,使所述头部图像的宽度为所述虚拟姿态模板肩部宽度的二分之一;
将缩放后的头部图像与所述虚拟姿态模板进行组合,得到虚拟人像。
9.一种虚拟合照生成方法,其特征在于,所述方法应用于显示装置,所述显示装置包括显示器和控制器,所述方法包括:
所述控制器响应合照指令,获取视频通话中各路视频的一帧图像,作为待生成虚拟合照的源图像;
所述控制器对源图像进行人脸检测,得到所述源图像中人像的头部图像;
所述控制器根据所述头部图像和虚拟姿态模板生成虚拟人像;
所述控制器将多个所述虚拟人像组排列成虚拟合照,向所述显示器发送所述虚拟合照;
所述显示器接收所述虚拟合照,将所述虚拟合照进行显示。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被控制器执行时实现权利要求9所述的虚拟合照生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911330462.9A CN113012042B (zh) | 2019-12-20 | 2019-12-20 | 显示装置、虚拟合照生成方法及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911330462.9A CN113012042B (zh) | 2019-12-20 | 2019-12-20 | 显示装置、虚拟合照生成方法及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113012042A true CN113012042A (zh) | 2021-06-22 |
CN113012042B CN113012042B (zh) | 2023-01-20 |
Family
ID=76382135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911330462.9A Active CN113012042B (zh) | 2019-12-20 | 2019-12-20 | 显示装置、虚拟合照生成方法及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113012042B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115909394A (zh) * | 2022-10-25 | 2023-04-04 | 珠海视熙科技有限公司 | 一种坐姿识别的方法、装置、智能台灯及计算机存储介质 |
CN117474785A (zh) * | 2023-12-27 | 2024-01-30 | 江苏奥斯汀光电科技股份有限公司 | 一种多个人物姿态图像合成一个图像的方法 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002176547A (ja) * | 2000-12-05 | 2002-06-21 | Yamaha Corp | 合成画像システム |
JP2006121661A (ja) * | 2004-09-22 | 2006-05-11 | Fuji Photo Film Co Ltd | 合成画像作成方法、合成画像作成装置、およびプログラム |
CN103310478A (zh) * | 2013-06-04 | 2013-09-18 | 合肥工业大学 | 一种多样化虚拟人群生成的方法 |
JP2014048876A (ja) * | 2012-08-31 | 2014-03-17 | Zenrin Datacom Co Ltd | 集合写真形成装置、集合写真形成方法および集合写真形成プログラム |
CN105404392A (zh) * | 2015-11-03 | 2016-03-16 | 北京英梅吉科技有限公司 | 基于单目摄像头的虚拟穿戴方法及系统 |
US20160284072A1 (en) * | 2015-02-19 | 2016-09-29 | Sarah Sibley Hsu | System for photo customizable caricature generation for custom products |
US20160284017A1 (en) * | 2015-03-25 | 2016-09-29 | Optitex Ltd. | Systems and methods for generating virtual photoshoots for photo-realistic quality images |
CN106791364A (zh) * | 2016-11-22 | 2017-05-31 | 维沃移动通信有限公司 | 一种多人拍照的方法及移动终端 |
WO2017130158A1 (en) * | 2016-01-27 | 2017-08-03 | Vats Nitin | Virtually trying cloths on realistic body model of user |
CN108495032A (zh) * | 2018-03-26 | 2018-09-04 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN108762508A (zh) * | 2018-05-31 | 2018-11-06 | 北京小马当红文化传媒有限公司 | 一种基于vr体验舱的人体与虚拟人合成系统及方法 |
CN108985257A (zh) * | 2018-08-03 | 2018-12-11 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
CN109472795A (zh) * | 2018-10-29 | 2019-03-15 | 三星电子(中国)研发中心 | 一种图像编辑方法和装置 |
CN109859100A (zh) * | 2019-01-30 | 2019-06-07 | 深圳安泰创新科技股份有限公司 | 虚拟背景的显示方法、电子设备和计算机可读存储介质 |
WO2019128507A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN110152308A (zh) * | 2019-06-27 | 2019-08-23 | 北京乐动派软件有限公司 | 一种游戏虚拟形象多人物合照方法 |
CN110348419A (zh) * | 2019-07-18 | 2019-10-18 | 三星电子(中国)研发中心 | 用于拍照的方法和装置 |
-
2019
- 2019-12-20 CN CN201911330462.9A patent/CN113012042B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002176547A (ja) * | 2000-12-05 | 2002-06-21 | Yamaha Corp | 合成画像システム |
JP2006121661A (ja) * | 2004-09-22 | 2006-05-11 | Fuji Photo Film Co Ltd | 合成画像作成方法、合成画像作成装置、およびプログラム |
JP2014048876A (ja) * | 2012-08-31 | 2014-03-17 | Zenrin Datacom Co Ltd | 集合写真形成装置、集合写真形成方法および集合写真形成プログラム |
CN103310478A (zh) * | 2013-06-04 | 2013-09-18 | 合肥工业大学 | 一种多样化虚拟人群生成的方法 |
US20160284072A1 (en) * | 2015-02-19 | 2016-09-29 | Sarah Sibley Hsu | System for photo customizable caricature generation for custom products |
US20160284017A1 (en) * | 2015-03-25 | 2016-09-29 | Optitex Ltd. | Systems and methods for generating virtual photoshoots for photo-realistic quality images |
CN105404392A (zh) * | 2015-11-03 | 2016-03-16 | 北京英梅吉科技有限公司 | 基于单目摄像头的虚拟穿戴方法及系统 |
WO2017130158A1 (en) * | 2016-01-27 | 2017-08-03 | Vats Nitin | Virtually trying cloths on realistic body model of user |
CN106791364A (zh) * | 2016-11-22 | 2017-05-31 | 维沃移动通信有限公司 | 一种多人拍照的方法及移动终端 |
WO2019128507A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN108495032A (zh) * | 2018-03-26 | 2018-09-04 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN108762508A (zh) * | 2018-05-31 | 2018-11-06 | 北京小马当红文化传媒有限公司 | 一种基于vr体验舱的人体与虚拟人合成系统及方法 |
CN108985257A (zh) * | 2018-08-03 | 2018-12-11 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
CN109472795A (zh) * | 2018-10-29 | 2019-03-15 | 三星电子(中国)研发中心 | 一种图像编辑方法和装置 |
CN109859100A (zh) * | 2019-01-30 | 2019-06-07 | 深圳安泰创新科技股份有限公司 | 虚拟背景的显示方法、电子设备和计算机可读存储介质 |
CN110152308A (zh) * | 2019-06-27 | 2019-08-23 | 北京乐动派软件有限公司 | 一种游戏虚拟形象多人物合照方法 |
CN110348419A (zh) * | 2019-07-18 | 2019-10-18 | 三星电子(中国)研发中心 | 用于拍照的方法和装置 |
Non-Patent Citations (1)
Title |
---|
姜立军等: "基于真实场景的大规模虚拟人群的快速生成方法", 《工程图学学报》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115909394A (zh) * | 2022-10-25 | 2023-04-04 | 珠海视熙科技有限公司 | 一种坐姿识别的方法、装置、智能台灯及计算机存储介质 |
CN115909394B (zh) * | 2022-10-25 | 2024-04-05 | 珠海视熙科技有限公司 | 一种坐姿识别的方法、装置、智能台灯及计算机存储介质 |
CN117474785A (zh) * | 2023-12-27 | 2024-01-30 | 江苏奥斯汀光电科技股份有限公司 | 一种多个人物姿态图像合成一个图像的方法 |
CN117474785B (zh) * | 2023-12-27 | 2024-05-10 | 江苏奥斯汀光电科技股份有限公司 | 一种多个人物姿态图像合成一个图像的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113012042B (zh) | 2023-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107993216B (zh) | 一种图像融合方法及其设备、存储介质、终端 | |
US7764828B2 (en) | Method, apparatus, and computer program for processing image | |
WO2022160701A1 (zh) | 特效生成方法、装置、设备及存储介质 | |
CN106161939B (zh) | 一种照片拍摄方法及终端 | |
CN108830892B (zh) | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 | |
US10834379B2 (en) | 2D-to-3D video frame conversion | |
WO2017016069A1 (zh) | 一种拍照方法及终端 | |
CN113012042B (zh) | 显示装置、虚拟合照生成方法及存储介质 | |
CN111882627A (zh) | 图像处理方法、视频处理方法、装置、设备和存储介质 | |
CN104157001A (zh) | 一种头部漫画的绘制方法及装置 | |
JP2015195477A (ja) | プログラム、端末装置および方法 | |
KR102353556B1 (ko) | 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치 | |
KR20100118943A (ko) | 증강 현실 외국어 체험 학습 시스템 | |
KR101165017B1 (ko) | 3차원 아바타 생성 시스템 및 방법 | |
CN113572982A (zh) | 一种自助共享式旅拍视频获取方法及系统 | |
CN111836058B (zh) | 用于实时视频播放方法、装置、设备以及存储介质 | |
CN112954221A (zh) | 一种实时相片拍摄的方法 | |
TW200832285A (en) | Method for image auto-selection and computer system | |
CN110662001B (zh) | 一种视频投影显示方法、装置及存储介质 | |
CN112540672A (zh) | 智能投影方法、设备和存储介质 | |
JP6544970B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN111800574A (zh) | 成像方法、装置和电子设备 | |
CN110675438A (zh) | 一种轻量级快速人脸交换的算法 | |
CN111275610A (zh) | 一种人脸变老图像处理方法及系统 | |
KR100422470B1 (ko) | 3차원 동화상 모델 얼굴 대체 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |