CN107808373A - 基于姿态的样本图像合成方法、装置及计算设备 - Google Patents

基于姿态的样本图像合成方法、装置及计算设备 Download PDF

Info

Publication number
CN107808373A
CN107808373A CN201711128895.7A CN201711128895A CN107808373A CN 107808373 A CN107808373 A CN 107808373A CN 201711128895 A CN201711128895 A CN 201711128895A CN 107808373 A CN107808373 A CN 107808373A
Authority
CN
China
Prior art keywords
field picture
sample image
posture
special object
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711128895.7A
Other languages
English (en)
Inventor
傅世连
董健
颜水成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201711128895.7A priority Critical patent/CN107808373A/zh
Publication of CN107808373A publication Critical patent/CN107808373A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于姿态的样本图像合成方法、装置、计算设备及计算机存储介质,其中,基于姿态的样本图像合成方法包括:获取场景背景图像和以绿幕背景为拍摄背景所拍摄的特定对象姿态视频中的帧图像;对帧图像进行识别处理,得到帧图像中的特定对象区域;针对帧图像中的每一个像素点,计算像素点的像素值与绿幕平均像素值之间的欧式距离,并将欧式距离映射为前景比例值;利用预设算法和前景比例值,将帧图像中的特定对象区域和场景背景图像进行融合处理,得到特定对象姿态样本图像。本发明提供的技术方案能够方便、快捷地合成得到逼真的特定对象姿态样本图像,优化了样本图像的生成方式,有助于减少采集样本图像所需的人力成本和时间成本。

Description

基于姿态的样本图像合成方法、装置及计算设备
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于姿态的样本图像合成方法、装置、计算设备及计算机存储介质。
背景技术
现有技术中,当用户利用图像处理工具对图像进行个性化处理时,经常会使用到图像处理工具中的抠像功能,而采用基于深度学习的图像识别模型可以达到像素级别的抠像功能。图像识别模型是利用预先收集的样本图像进行训练得到的。现有技术中训练图像识别模型所需的样本图像的数量巨大,而样本图像大多是从真实场景中采集得到的,例如从多个真实场景中采集人体具有不同姿态的图像作为样本图像。因此采集样本图像需要投入较大的人力成本以及时间成本。由此可知,现有技术中缺少一种能够方便地得到样本图像的方法。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于姿态的样本图像合成方法、装置、计算设备及计算机存储介质。
根据本发明的一个方面,提供了一种基于姿态的样本图像合成方法,该方法包括:
获取场景背景图像和以绿幕背景为拍摄背景所拍摄的特定对象姿态视频中的帧图像;
对帧图像进行识别处理,得到帧图像中的特定对象区域;
针对帧图像中的每一个像素点,计算像素点的像素值与绿幕平均像素值之间的欧式距离,并将欧式距离映射为前景比例值;
利用预设算法和前景比例值,将帧图像中的特定对象区域和场景背景图像进行融合处理,得到特定对象姿态样本图像。
进一步地,在针对帧图像中的每一个像素点,计算像素点的像素值与绿幕平均像素值之间的欧式距离之前,该方法还包括:
对帧图像进行识别处理,得到帧图像中的绿幕背景区域;
计算绿幕背景区域的像素点的平均像素值,将计算得到的平均像素值确定为绿幕平均像素值。
进一步地,在针对帧图像中的每一个像素点,计算像素点的像素值与绿幕平均像素值之间的欧式距离之前,该方法还包括:
判断帧图像的格式是否符合预设格式;若否,则对帧图像进行格式转换处理,得到符合预设格式的帧图像。
进一步地,预设格式为YUV格式。
进一步地,利用预设算法和前景比例值,将帧图像中的特定对象区域和场景背景图像进行融合处理,得到特定对象姿态样本图像进一步包括:
对场景背景图像进行场景分析,确定特定对象合成目标区域;
利用预设算法和前景比例值,将帧图像中的特定对象区域融合至场景背景图像中的特定对象合成目标区域处,得到特定对象姿态样本图像。
进一步地,在对帧图像进行识别处理,得到帧图像中的特定对象区域之前,该方法还包括:
对帧图像进行识别处理,去除帧图像中的干扰背景区域。
进一步地,在得到特定对象姿态样本图像之后,该方法还包括:
对特定对象姿态样本图像进行色调处理、光照处理和/或亮度处理。
根据本发明的另一方面,提供了一种基于姿态的样本图像合成装置,该装置包括:
获取模块,适于获取场景背景图像和以绿幕背景为拍摄背景所拍摄的特定对象姿态视频中的帧图像;
识别处理模块,适于对帧图像进行识别处理,得到帧图像中的特定对象区域;
计算模块,适于针对帧图像中的每一个像素点,计算像素点的像素值与绿幕平均像素值之间的欧式距离;
映射模块,适于将欧式距离映射为前景比例值;
融合处理模块,适于利用预设算法和前景比例值,将帧图像中的特定对象区域和场景背景图像进行融合处理,得到特定对象姿态样本图像。
进一步地,识别处理模块进一步适于:对帧图像进行识别处理,得到帧图像中的绿幕背景区域;
计算模块进一步适于:计算绿幕背景区域的像素点的平均像素值,将计算得到的平均像素值确定为绿幕平均像素值。
进一步地,该装置还包括:
判断模块,适于判断帧图像的格式是否符合预设格式;
格式转换模块,适于若判断模块判断得到帧图像的格式不符合预设格式,则对帧图像进行格式转换处理,得到符合预设格式的帧图像。
进一步地,预设格式为YUV格式。
进一步地,融合处理模块进一步适于:
对场景背景图像进行场景分析,确定特定对象合成目标区域;
利用预设算法和前景比例值,将帧图像中的特定对象区域融合至场景背景图像中的特定对象合成目标区域处,得到特定对象姿态样本图像。
进一步地,识别处理模块进一步适于:
对帧图像进行识别处理,去除帧图像中的干扰背景区域。
进一步地,该装置还包括:
图像处理模块,适于对特定对象姿态样本图像进行色调处理、光照处理和/或亮度处理。
根据本发明的又一方面,提供了一种计算设备,包括:处理器、存储器、通信接口和通信总线,处理器、存储器和通信接口通过通信总线完成相互间的通信;
存储器用于存放至少一可执行指令,可执行指令使处理器执行上述基于姿态的样本图像合成方法对应的操作。
根据本发明的再一方面,提供了一种计算机存储介质,存储介质中存储有至少一可执行指令,可执行指令使处理器执行如上述基于姿态的样本图像合成方法对应的操作。
根据本发明提供的技术方案,获取场景背景图像和以绿幕背景为拍摄背景所拍摄的特定对象姿态视频中的帧图像,接着对帧图像进行识别处理,得到帧图像中的特定对象区域,然后针对帧图像中的每一个像素点,计算像素点的像素值与绿幕平均像素值之间的欧式距离,并将欧式距离映射为前景比例值,利用预设算法和前景比例值,将帧图像中的特定对象区域和场景背景图像进行融合处理,得到特定对象姿态样本图像。本发明提供的技术方案利用像素值之间的欧式距离,将特定对象姿态视频中的帧图像和场景背景图像进行融合处理,能够方便、快捷地合成得到逼真的特定对象姿态样本图像,优化了样本图像的生成方式,有助于减少采集样本图像所需的人力成本和时间成本。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的基于姿态的样本图像合成方法的流程示意图;
图2示出了根据本发明另一个实施例的基于姿态的样本图像合成方法的流程示意图;
图3示出了根据本发明一个实施例的基于姿态的样本图像合成装置的结构框图;
图4示出了根据本发明另一个实施例的基于姿态的样本图像合成装置的结构框图;
图5示出了根据本发明实施例的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的基于姿态的样本图像合成方法的流程示意图,如图1所示,该方法包括如下步骤:
步骤S100,获取场景背景图像和以绿幕背景为拍摄背景所拍摄的特定对象姿态视频中的帧图像。
其中,场景背景图像是以实际的应用场景为背景的背景图像,具体地,场景背景图像可以是用户自己拍摄的图像,也可以是网站中的图像,还可以是其他用户分享的图像。本领域技术人员可根据实际需要选择应用场景,此处不做限定。例如,应用场景可以包括办公场景、生活场景、室内场景、商务场景、建筑场景和公园场景等。
为了便于合成样本图像,特定对象姿态视频是以单一颜色(例如绿色或者蓝色等)的幕布背景为拍摄背景进行拍摄的,具体地,拍摄特定对象在幕布背景前所作出的各种姿态。其中,特定对象可为人体、猫或者狗等对象,此处不做限定。在本发明实施例中,以特定对象为人体为例,考虑到绿色在日常生活中和人体的肤色相差最远,因此,特定对象姿态视频可以以绿幕背景为拍摄背景进行拍摄,采用绿幕背景能够便于识别出人体区域和绿幕背景区域。
步骤S101,对帧图像进行识别处理,得到帧图像中的特定对象区域。
由于帧图像的背景为绿幕背景,因此能够方便地对帧图像进行识别处理,从帧图像中识别得到特定对象区域。例如,可利用现有技术中的AE(AdobeAfter Effects)、NUKE(The Foundry Nuke)等图像处理工具对帧图像进行识别处理。
步骤S102,针对帧图像中的每一个像素点,计算像素点的像素值与绿幕平均像素值之间的欧式距离,并将欧式距离映射为前景比例值。
为了能够提高合成图像的显示效果,得到逼真的特定对象姿态样本图像,在步骤S102中,需要针对帧图像中的每一个像素点,计算该像素点的像素值与绿幕平均像素值之间的欧式距离。其中,绿幕平均像素值是指绿幕背景区域的像素点的平均像素值,该绿幕平均像素值可以是通过对帧图像中的绿幕背景区域的像素点的像素值求平均得到的,也可以是预先设置的。欧式距离是指欧几里得距离,具体指在m维空间中两个点之间的真实距离,或者向量的自然长度。在计算得到该像素点对应的欧式距离之后,将该欧式距离映射为该像素点对应的前景比例值,其中,前景比例值的取值范围可为[0,1],前景比例值是用于反映前景图像参与的比例值。
步骤S103,利用预设算法和前景比例值,将帧图像中的特定对象区域和场景背景图像进行融合处理,得到特定对象姿态样本图像。
在得到了帧图像中每个像素点对应的前景比例值之后,利用预设算法和前景比例值,将帧图像中的特定对象区域和场景背景图像进行融合处理。具体地,将帧图像作为前景图像,将场景背景图像作为背景图像,利用预设算法和帧图像中每个像素点对应的前景比例值,将帧图像中的特定对象区域和场景背景图像进行融合处理,从而将特定对象区域融合至场景背景图像中,得到特定对象姿态样本图像。其中,本领域技术人员可根据实际需要选择预设算法,此处不做限定。
根据本实施例提供的基于姿态的样本图像合成方法,获取场景背景图像和以绿幕背景为拍摄背景所拍摄的特定对象姿态视频中的帧图像,接着对帧图像进行识别处理,得到帧图像中的特定对象区域,然后针对帧图像中的每一个像素点,计算像素点的像素值与绿幕平均像素值之间的欧式距离,并将欧式距离映射为前景比例值,利用预设算法和前景比例值,将帧图像中的特定对象区域和场景背景图像进行融合处理,得到特定对象姿态样本图像。本发明提供的技术方案利用像素值之间的欧式距离,将特定对象姿态视频中的帧图像和场景背景图像进行融合处理,能够方便、快捷地合成得到逼真的特定对象姿态样本图像,优化了样本图像的生成方式,有助于减少采集样本图像所需的人力成本和时间成本。
图2示出了根据本发明另一个实施例的基于姿态的样本图像合成方法的流程示意图,如图2所示,该方法包括如下步骤:
步骤S200,获取场景背景图像和以绿幕背景为拍摄背景所拍摄的特定对象姿态视频中的帧图像。
步骤S201,对帧图像进行识别处理,去除帧图像中的干扰背景区域。
拍摄特定对象姿态视频时,在特定对象距离绿幕背景较远或者绿幕背景较小等情况下,很可能会拍摄到除特定对象和绿幕背景之外的其他事物,在本发明中,将这些事物称为干扰背景。在步骤S201中,对帧图像进行识别处理,去除帧图像中的干扰背景区域,便于后续进行精准的合成处理。
步骤S202,对帧图像进行识别处理,得到帧图像中的特定对象区域和绿幕背景区域。
由于帧图像的背景为绿幕背景,因此能够方便地对帧图像进行识别处理,得到帧图像中的特定对象区域和绿幕背景区域。本领域技术人员可利用现有技术中的AE等图像处理工具对帧图像进行识别处理,此处不做限定。
步骤S203,计算绿幕背景区域的像素点的平均像素值,将计算得到的平均像素值确定为绿幕平均像素值。
对帧图像中的绿幕背景区域的像素点的像素值求平均像素值,得到的平均像素值即为绿幕平均像素值。与预先设置的绿幕平均像素值相比,通过计算方式得到的绿幕平均像素值能够更加准确地反映当前的帧图像的绿幕背景的像素值情况。
步骤S204,判断帧图像的格式是否符合预设格式;若是,则执行步骤S206;若否,则执行步骤S205。
在一些情况下,所拍摄的帧图像的格式可能不符合预设格式,因此需要对帧图像进行格式转换处理。本领域技术人员可根据实际需要设置预设格式,此处不做限定。在具体实施例中,预设格式可为YUV格式。若帧图像的格式为YUV格式,则帧图像的格式符合预设格式,执行步骤S206;若帧图像的格式为RGB格式,则帧图像的格式不符合预设格式,执行步骤S205。
步骤S205,对帧图像和绿幕平均像素值进行格式转换处理,得到符合预设格式的帧图像和绿幕平均像素值。
在步骤S204判断得到帧图像的格式不符合预设格式的情况下,对帧图像和绿幕平均像素值进行格式转换处理,得到符合预设格式的帧图像和绿幕平均像素值。例如,预设格式为YUV格式,帧图像的格式为RGB格式,则将帧图像的格式由RGB格式转换为YUV格式,具体地,若对于RGB格式的帧图像,绿幕平均像素值为(R,G,B),其中,R分量表示红色分量,G分量表示绿色分量,B表示蓝色分量,则格式转换后的绿幕平均像素值为(Y,Cr,Cb),其中,Y分量表示亮度分量,Cr分量表示色调分量,Cb表示饱和度分量。
步骤S206,针对帧图像中的每一个像素点,计算像素点的像素值与绿幕平均像素值之间的欧式距离,并将欧式距离映射为前景比例值。
针对帧图像中的每一个像素点,在计算得到该像素点的像素值与绿幕平均像素值之间的欧式距离之后,将该欧式距离映射为该像素点对应的前景比例值。本领域技术人员可根据实际需要设置具体的映射方式,此处不做限定。其中,前景比例值的取值范围可为[0,1]。根据前景比例值可清楚地区分帧图像中哪些区域为绿幕背景区域,哪些区域为特定对象区域。具体地,若某个像素点对应的前景比例值接近0,则说明该像素点属于绿幕背景区域;若某个像素点对应的前景比例值接近1,则说明该像素点属于特定对象区域。
步骤S207,对场景背景图像进行场景分析,确定特定对象合成目标区域。
为了能够得到逼真的特定对象姿态样本图像,需要对场景背景图像进行场景分析,在场景背景图像中确定出适于合成特定对象的特定对象合成目标区域。
步骤S208,利用预设算法和前景比例值,将帧图像中的特定对象区域融合至场景背景图像中的特定对象合成目标区域处,得到特定对象姿态样本图像。
例如,当预设算法为alpha matting算法时,将映射得到的前景比例值作为alpha值,利用alpha matting算法,将帧图像中的特定对象区域融合至场景背景图像中的特定对象合成目标区域处,得到特定对象姿态样本图像。具体地,在融合处理时,可先依据特定对象合成目标区域的大小对帧图像中的特定对象区域进行尺度缩放处理,以使特定对象区域更切合场景背景图像中的特定对象合成目标区域的大小。例如,当与特定对象合成目标区域相比,帧图像中的特定对象区域较小时,可以对特定对象区域进行放大处理,以更切合场景背景图像;当与特定对象合成目标区域相比,帧图像中的特定对象区域较大时,可以对特定对象区域进行缩小处理,以更切合场景背景图像。
步骤S209,对特定对象姿态样本图像进行色调处理、光照处理和/或亮度处理。
由于场景背景图像中融合了帧图像,为使特定对象姿态样本图像的显示效果更自然真实,可以对特定对象姿态样本图像进行图像处理。图像处理可以包括对特定对象姿态样本图像进行色调处理、光照处理、亮度处理等。比如,对特定对象姿态样本图像进行提高亮度处理,使其整体的效果更加自然、美观。
根据本实施例提供的基于姿态的样本图像合成方法,通过对场景背景图像进行场景分析,在场景背景图像中确定出适于合成特定对象的特定对象合成目标区域,有助于使得合成得到特定对象姿态样本图像更加逼真;利用由像素值之间的欧式距离映射得到的前景比例值,将特定对象姿态视频中的帧图像的特定对象区域融合至场景背景图像中的特定对象合成目标区域处,能够方便、快捷地合成得到特定对象姿态样本图像,极大地减少了采集样本图像所需的人力成本和时间成本;并且还对特定对象姿态样本图像进行光照等图像处理,进一步提高了图像显示效果,使其更自然真实。
图3示出了根据本发明一个实施例的基于姿态的样本图像合成装置的结构框图,如图3所示,该装置包括:获取模块310、识别处理模块320、计算模块330、映射模块340和融合处理模块350。
获取模块310适于:获取场景背景图像和以绿幕背景为拍摄背景所拍摄的特定对象姿态视频中的帧图像。
识别处理模块320适于:对帧图像进行识别处理,得到帧图像中的特定对象区域。
计算模块330适于:针对帧图像中的每一个像素点,计算像素点的像素值与绿幕平均像素值之间的欧式距离。
映射模块340适于:将欧式距离映射为前景比例值。
融合处理模块350适于:利用预设算法和前景比例值,将帧图像中的特定对象区域和场景背景图像进行融合处理,得到特定对象姿态样本图像。
根据本实施例提供的基于姿态的样本图像合成装置,获取模块获取场景背景图像和以绿幕背景为拍摄背景所拍摄的特定对象姿态视频中的帧图像,识别处理模块对帧图像进行识别处理,得到帧图像中的特定对象区域,计算模块针对帧图像中的每一个像素点,计算像素点的像素值与绿幕平均像素值之间的欧式距离,映射模块将欧式距离映射为前景比例值,融合处理模块利用预设算法和前景比例值,将帧图像中的特定对象区域和场景背景图像进行融合处理,得到特定对象姿态样本图像。本发明提供的技术方案利用像素值之间的欧式距离,将特定对象姿态视频中的帧图像和场景背景图像进行融合处理,能够方便、快捷地合成得到逼真的特定对象姿态样本图像,优化了样本图像的生成方式,有助于减少采集样本图像所需的人力成本和时间成本。
图4示出了根据本发明另一个实施例的基于姿态的样本图像合成装置的结构框图,如图4所示,该装置包括:获取模块410、识别处理模块420、计算模块430、判断模块440、格式转换模块450、映射模块460、融合处理模块470和图像处理模块480。
获取模块410适于:获取场景背景图像和以绿幕背景为拍摄背景所拍摄的特定对象姿态视频中的帧图像。
识别处理模块420适于:对帧图像进行识别处理,得到帧图像中的特定对象区域和绿幕背景区域。
识别处理模块420进一步适于:对帧图像进行识别处理,去除帧图像中的干扰背景区域。
计算模块430适于:针对帧图像中的每一个像素点,计算像素点的像素值与绿幕平均像素值之间的欧式距离。
计算模块430进一步适于:计算绿幕背景区域的像素点的平均像素值,将计算得到的平均像素值确定为绿幕平均像素值。
判断模块440适于:判断帧图像的格式是否符合预设格式。其中,预设格式为YUV格式。
格式转换模块450适于:若判断模块440判断得到帧图像的格式不符合预设格式,则对帧图像进行格式转换处理,得到符合预设格式的帧图像。
格式转换模块450进一步适于:若判断模块440判断得到帧图像的格式不符合预设格式,则对绿幕平均像素值进行格式转换处理,得到符合预设格式的绿幕平均像素值。
映射模块460适于:将欧式距离映射为前景比例值。
融合处理模块470适于:对场景背景图像进行场景分析,确定特定对象合成目标区域;利用预设算法和前景比例值,将帧图像中的特定对象区域融合至场景背景图像中的特定对象合成目标区域处,得到特定对象姿态样本图像。
图像处理模块480适于:对特定对象姿态样本图像进行色调处理、光照处理和/或亮度处理。
根据本实施例提供的基于姿态的样本图像合成装置,通过对场景背景图像进行场景分析,在场景背景图像中确定出适于合成特定对象的特定对象合成目标区域,有助于使得合成得到特定对象姿态样本图像更加逼真;利用由像素值之间的欧式距离映射得到的前景比例值,将特定对象姿态视频中的帧图像的特定对象区域融合至场景背景图像中的特定对象合成目标区域处,能够方便、快捷地合成得到特定对象姿态样本图像,极大地减少了采集样本图像所需的人力成本和时间成本;并且还对特定对象姿态样本图像进行光照等图像处理,进一步提高了图像显示效果,使其更自然真实。
本发明还提供了一种非易失性计算机存储介质,计算机存储介质存储有至少一可执行指令,可执行指令可执行上述任意方法实施例中的基于姿态的样本图像合成方法。
图5示出了根据本发明实施例的一种计算设备的结构示意图,本发明具体实施例并不对计算设备的具体实现做限定。
如图5所示,该计算设备可以包括:处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中:
处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504,用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502,用于执行程序510,具体可以执行上述基于姿态的样本图像合成方法实施例中的相关步骤。
具体地,程序510可以包括程序代码,该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器506,用于存放程序510。存储器506可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行上述任意方法实施例中的基于姿态的样本图像合成方法。程序510中各步骤的具体实现可以参见上述基于姿态的样本图像合成实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种基于姿态的样本图像合成方法,所述方法包括:
获取场景背景图像和以绿幕背景为拍摄背景所拍摄的特定对象姿态视频中的帧图像;
对所述帧图像进行识别处理,得到所述帧图像中的特定对象区域;
针对所述帧图像中的每一个像素点,计算所述像素点的像素值与绿幕平均像素值之间的欧式距离,并将所述欧式距离映射为前景比例值;
利用预设算法和所述前景比例值,将所述帧图像中的特定对象区域和所述场景背景图像进行融合处理,得到特定对象姿态样本图像。
2.根据权利要求1所述的方法,其中,在所述针对所述帧图像中的每一个像素点,计算所述像素点的像素值与绿幕平均像素值之间的欧式距离之前,所述方法还包括:
对所述帧图像进行识别处理,得到所述帧图像中的绿幕背景区域;
计算所述绿幕背景区域的像素点的平均像素值,将计算得到的平均像素值确定为绿幕平均像素值。
3.根据权利要求1或2所述的方法,其中,在所述针对所述帧图像中的每一个像素点,计算所述像素点的像素值与绿幕平均像素值之间的欧式距离之前,所述方法还包括:
判断所述帧图像的格式是否符合预设格式;若否,则对所述帧图像进行格式转换处理,得到符合预设格式的帧图像。
4.根据权利要求1-3任一项所述的方法,其中,所述预设格式为YUV格式。
5.根据权利要求1-4任一项所述的方法,其中,所述利用预设算法和所述前景比例值,将所述帧图像中的特定对象区域和所述场景背景图像进行融合处理,得到特定对象姿态样本图像进一步包括:
对所述场景背景图像进行场景分析,确定特定对象合成目标区域;
利用预设算法和所述前景比例值,将所述帧图像中的特定对象区域融合至所述场景背景图像中的特定对象合成目标区域处,得到特定对象姿态样本图像。
6.根据权利要求1-5任一项所述的方法,其中,在所述对所述帧图像进行识别处理,得到所述帧图像中的特定对象区域之前,所述方法还包括:
对所述帧图像进行识别处理,去除所述帧图像中的干扰背景区域。
7.根据权利要求1-6任一项所述的方法,其中,在得到特定对象姿态样本图像之后,所述方法还包括:
对所述特定对象姿态样本图像进行色调处理、光照处理和/或亮度处理。
8.一种基于姿态的样本图像合成装置,所述装置包括:
获取模块,适于获取场景背景图像和以绿幕背景为拍摄背景所拍摄的特定对象姿态视频中的帧图像;
识别处理模块,适于对所述帧图像进行识别处理,得到所述帧图像中的特定对象区域;
计算模块,适于针对所述帧图像中的每一个像素点,计算所述像素点的像素值与绿幕平均像素值之间的欧式距离;
映射模块,适于将所述欧式距离映射为前景比例值;
融合处理模块,适于利用预设算法和所述前景比例值,将所述帧图像中的特定对象区域和所述场景背景图像进行融合处理,得到特定对象姿态样本图像。
9.一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的基于姿态的样本图像合成方法对应的操作。
10.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-7中任一项所述的基于姿态的样本图像合成方法对应的操作。
CN201711128895.7A 2017-11-15 2017-11-15 基于姿态的样本图像合成方法、装置及计算设备 Pending CN107808373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711128895.7A CN107808373A (zh) 2017-11-15 2017-11-15 基于姿态的样本图像合成方法、装置及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711128895.7A CN107808373A (zh) 2017-11-15 2017-11-15 基于姿态的样本图像合成方法、装置及计算设备

Publications (1)

Publication Number Publication Date
CN107808373A true CN107808373A (zh) 2018-03-16

Family

ID=61580138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711128895.7A Pending CN107808373A (zh) 2017-11-15 2017-11-15 基于姿态的样本图像合成方法、装置及计算设备

Country Status (1)

Country Link
CN (1) CN107808373A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665436A (zh) * 2018-05-10 2018-10-16 湖北工业大学 一种基于灰度均值参照的多聚焦图像融合方法和系统
CN108830820A (zh) * 2018-05-31 2018-11-16 康键信息技术(深圳)有限公司 电子装置、图像采集方法和计算机可读存储介质
CN109146830A (zh) * 2018-07-17 2019-01-04 北京旷视科技有限公司 用于生成训练数据的方法、装置、系统和存储介质
CN109829932A (zh) * 2019-01-18 2019-05-31 创新奇智(宁波)科技有限公司 一种自动前景提取的数据采集方法及装置
CN109948565A (zh) * 2019-03-26 2019-06-28 浙江啄云智能科技有限公司 一种用于邮政业的违禁品不开箱检测方法
CN109977983A (zh) * 2018-05-07 2019-07-05 广州逗号智能零售有限公司 获得训练图像的方法及装置
CN110378432A (zh) * 2019-07-24 2019-10-25 网易无尾熊(杭州)科技有限公司 图片生成方法、装置、介质及电子设备
CN110415318A (zh) * 2019-07-26 2019-11-05 上海掌门科技有限公司 图像处理方法和装置
CN110472593A (zh) * 2019-08-20 2019-11-19 重庆紫光华山智安科技有限公司 训练图像获取方法、模型训练方法及相关装置
CN110503146A (zh) * 2019-08-21 2019-11-26 杭州比智科技有限公司 数据增强方法、装置、计算设备及计算机存储介质
CN110769323A (zh) * 2018-07-27 2020-02-07 Tcl集团股份有限公司 一种视频通信方法、系统、装置和终端设备
CN110868606A (zh) * 2019-10-29 2020-03-06 腾讯科技(深圳)有限公司 一种赛事直播方法、装置、系统及介质
CN111369469A (zh) * 2020-03-10 2020-07-03 北京爱笔科技有限公司 图像处理方法、装置及电子设备
CN112308809A (zh) * 2019-08-20 2021-02-02 北京字节跳动网络技术有限公司 一种图像合成方法、装置、计算机设备及存储介质
CN112330753A (zh) * 2020-11-16 2021-02-05 北京理工大学 一种增强现实系统的目标检测方法
CN112488972A (zh) * 2020-11-27 2021-03-12 深圳卡多希科技有限公司 一种绿幕图像与虚拟图像实时合成的方法和装置
CN113507575A (zh) * 2021-09-08 2021-10-15 上海英立视电子有限公司 一种人体自拍镜头生成方法及系统
CN113905185A (zh) * 2021-10-27 2022-01-07 锐芯微电子股份有限公司 图像处理方法和装置
WO2022188056A1 (zh) * 2021-03-10 2022-09-15 深圳市大疆创新科技有限公司 图像处理方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100158376A1 (en) * 2008-10-17 2010-06-24 Klosterman Peter S Systems and methods for labeling and characterization of connected regions in a binary mask
CN104284057A (zh) * 2013-07-05 2015-01-14 浙江大华技术股份有限公司 一种视频处理方法及装置
CN106251286A (zh) * 2015-12-30 2016-12-21 深圳超多维科技有限公司 图像处理方法、装置及设备
CN106504264A (zh) * 2016-10-27 2017-03-15 锐捷网络股份有限公司 视频前景图像提取方法和装置
CN106599892A (zh) * 2016-12-14 2017-04-26 四川长虹电器股份有限公司 基于深度学习的电视台标识别系统
CN107273871A (zh) * 2017-07-11 2017-10-20 夏立 一种人脸特征模型的训练方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100158376A1 (en) * 2008-10-17 2010-06-24 Klosterman Peter S Systems and methods for labeling and characterization of connected regions in a binary mask
CN104284057A (zh) * 2013-07-05 2015-01-14 浙江大华技术股份有限公司 一种视频处理方法及装置
CN106251286A (zh) * 2015-12-30 2016-12-21 深圳超多维科技有限公司 图像处理方法、装置及设备
CN106504264A (zh) * 2016-10-27 2017-03-15 锐捷网络股份有限公司 视频前景图像提取方法和装置
CN106599892A (zh) * 2016-12-14 2017-04-26 四川长虹电器股份有限公司 基于深度学习的电视台标识别系统
CN107273871A (zh) * 2017-07-11 2017-10-20 夏立 一种人脸特征模型的训练方法及装置

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977983A (zh) * 2018-05-07 2019-07-05 广州逗号智能零售有限公司 获得训练图像的方法及装置
CN109977983B (zh) * 2018-05-07 2021-06-08 广州逗号智能零售有限公司 获得训练图像的方法及装置
CN108665436A (zh) * 2018-05-10 2018-10-16 湖北工业大学 一种基于灰度均值参照的多聚焦图像融合方法和系统
CN108830820A (zh) * 2018-05-31 2018-11-16 康键信息技术(深圳)有限公司 电子装置、图像采集方法和计算机可读存储介质
CN109146830A (zh) * 2018-07-17 2019-01-04 北京旷视科技有限公司 用于生成训练数据的方法、装置、系统和存储介质
CN110769323A (zh) * 2018-07-27 2020-02-07 Tcl集团股份有限公司 一种视频通信方法、系统、装置和终端设备
CN110769323B (zh) * 2018-07-27 2021-06-18 Tcl科技集团股份有限公司 一种视频通信方法、系统、装置和终端设备
CN109829932A (zh) * 2019-01-18 2019-05-31 创新奇智(宁波)科技有限公司 一种自动前景提取的数据采集方法及装置
CN109948565A (zh) * 2019-03-26 2019-06-28 浙江啄云智能科技有限公司 一种用于邮政业的违禁品不开箱检测方法
CN109948565B (zh) * 2019-03-26 2021-05-25 浙江啄云智能科技有限公司 一种用于邮政业的违禁品不开箱检测方法
CN110378432A (zh) * 2019-07-24 2019-10-25 网易无尾熊(杭州)科技有限公司 图片生成方法、装置、介质及电子设备
CN110378432B (zh) * 2019-07-24 2022-04-12 阿里巴巴(中国)有限公司 图片生成方法、装置、介质及电子设备
CN110415318B (zh) * 2019-07-26 2023-05-05 上海掌门科技有限公司 图像处理方法和装置
CN110415318A (zh) * 2019-07-26 2019-11-05 上海掌门科技有限公司 图像处理方法和装置
CN112308809A (zh) * 2019-08-20 2021-02-02 北京字节跳动网络技术有限公司 一种图像合成方法、装置、计算机设备及存储介质
CN110472593A (zh) * 2019-08-20 2019-11-19 重庆紫光华山智安科技有限公司 训练图像获取方法、模型训练方法及相关装置
CN110503146B (zh) * 2019-08-21 2021-12-14 杭州比智科技有限公司 数据增强方法、装置、计算设备及计算机存储介质
CN110503146A (zh) * 2019-08-21 2019-11-26 杭州比智科技有限公司 数据增强方法、装置、计算设备及计算机存储介质
CN110868606A (zh) * 2019-10-29 2020-03-06 腾讯科技(深圳)有限公司 一种赛事直播方法、装置、系统及介质
CN110868606B (zh) * 2019-10-29 2021-07-16 腾讯科技(深圳)有限公司 一种赛事直播方法、装置、系统及介质
CN111369469A (zh) * 2020-03-10 2020-07-03 北京爱笔科技有限公司 图像处理方法、装置及电子设备
CN111369469B (zh) * 2020-03-10 2024-01-12 北京爱笔科技有限公司 图像处理方法、装置及电子设备
CN112330753A (zh) * 2020-11-16 2021-02-05 北京理工大学 一种增强现实系统的目标检测方法
CN112330753B (zh) * 2020-11-16 2023-05-09 北京理工大学 一种增强现实系统的目标检测方法
CN112488972A (zh) * 2020-11-27 2021-03-12 深圳卡多希科技有限公司 一种绿幕图像与虚拟图像实时合成的方法和装置
WO2022188056A1 (zh) * 2021-03-10 2022-09-15 深圳市大疆创新科技有限公司 图像处理方法、装置及存储介质
CN113507575B (zh) * 2021-09-08 2021-11-26 上海英立视电子有限公司 一种人体自拍镜头生成方法及系统
CN113507575A (zh) * 2021-09-08 2021-10-15 上海英立视电子有限公司 一种人体自拍镜头生成方法及系统
CN113905185A (zh) * 2021-10-27 2022-01-07 锐芯微电子股份有限公司 图像处理方法和装置
CN113905185B (zh) * 2021-10-27 2023-10-31 锐芯微电子股份有限公司 图像处理方法和装置

Similar Documents

Publication Publication Date Title
CN107808373A (zh) 基于姿态的样本图像合成方法、装置及计算设备
US11055827B2 (en) Image processing apparatus and method
CN106875352B (zh) 一种低照度图像增强方法
CN109934776B (zh) 模型生成方法、视频增强方法、装置及计算机可读存储介质
US10846836B2 (en) View synthesis using deep convolutional neural networks
JP6040882B2 (ja) 複数の3次元モデルをつなぎ合わせる装置、方法及びプログラム
CN108765278A (zh) 一种图像处理方法、移动终端及计算机可读存储介质
WO2017043332A1 (ja) 画像処理装置および方法
CN107316286B (zh) 一种图像中雨雾同步合成、去除的方法和装置
CN106200914B (zh) 增强现实的触发方法、装置及拍照设备
US10055824B2 (en) Image correction device, image correction method and storage medium
CN108024105A (zh) 图像色彩调节方法、装置、电子设备及存储介质
US10893594B2 (en) Method of identifying light sources and a corresponding system and product
CN112164005A (zh) 图像颜色校正方法、装置、设备及存储介质
JP2017531242A (ja) 顔画像を編集する方法及びデバイス
WO2023020201A1 (zh) 图像的增强方法和电子设备
CN109074637A (zh) 用于从多个相应的输入图像通道生成输出图像的方法和系统
Zhao et al. Adaptive light estimation using dynamic filtering for diverse lighting conditions
CN107766803B (zh) 基于场景分割的视频人物装扮方法、装置及计算设备
Que et al. Densely connected convolutional networks for multi-exposure fusion
CN107770606A (zh) 视频数据扭曲处理方法、装置、计算设备及存储介质
CN107564085A (zh) 图像扭曲处理方法、装置、计算设备及计算机存储介质
Yoo et al. Deep spatio-temporal illuminant estimation under time-varying AC lights
CN109445569A (zh) 基于ar的信息处理方法、装置、设备及可读存储介质
CN112489144A (zh) 图像处理方法、图像处理装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180316