CN112967214A - 图像显示方法、装置、设备及存储介质 - Google Patents
图像显示方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112967214A CN112967214A CN202110190297.2A CN202110190297A CN112967214A CN 112967214 A CN112967214 A CN 112967214A CN 202110190297 A CN202110190297 A CN 202110190297A CN 112967214 A CN112967214 A CN 112967214A
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- background
- target
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000009471 action Effects 0.000 claims abstract description 107
- 230000004927 fusion Effects 0.000 claims description 37
- 238000013507 mapping Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 239000002699 waste material Substances 0.000 abstract description 7
- 230000008859 change Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000007654 immersion Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
Abstract
本发明涉及一种图像显示方法、装置、设备及存储介质,所述图像显示方法包括:获取目标对象的至少一帧第一图像,其中,所述目标对象为处于图像采集范围内的对象;从所述至少一帧第一图像中提取所述目标对象的第一动作特征和/或属性特征;根据所述第一动作特征和/或所述属性特征确定背景图像;从所述至少一帧第一图像中提取所述目标对象的第一人像,并将所述第一人像与所述背景图像进行融合,生成第一目标图像,以及显示所述第一目标图像。背景图像和第一目标图像与目标对象的关联性较强,因此能够进一步引起目标对象的观看兴趣,改善了用户的使用体验,且提高了显示设备的显示关注率,避免了资源浪费。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像显示方法和装置、设备及存储介质。
背景技术
文旅展馆内经常设置用于展示特定信息的显示屏,以供到访用户观看。但是显示屏内展示信息的选择较为随机,导致展示信息与到访用户的关联性较差,用户的使用体验不佳。
发明内容
本发明提供一种图像显示方法和装置、设备及存储介质,以解决相关技术中的不足。
根据本发明实施例的第一方面,提供一种图像显示方法,包括:
获取目标对象的至少一帧第一图像,其中,所述目标对象为处于图像采集范围内的对象;
从所述至少一帧第一图像中提取所述目标对象的第一动作特征和/或属性特征;
根据所述第一动作特征和/或所述属性特征确定背景图像;
从所述至少一帧第一图像中提取所述目标对象的第一人像,并将所述第一人像与所述背景图像进行融合,生成第一目标图像,以及显示所述第一目标图像。
由于背景图像是根据目标对象的第一动作特征和/或属性特征确定的,因此背景图像与目标对象的关联性较强,容易引起目标对象的观看兴趣,且第一目标图像还是背景图像和目标对象的第一人像融合生成的,因此进一步提高第一目标图像与目标对象的关联性,因此能够进一步引起目标对象的观看兴趣,产生一种置身其中的感觉,改善了用户的使用体验,也使显示第一目标图像的显示设备受到目标对象的注意,提高了显示设备的显示关注率,避免了资源浪费。
结合本公开提供的任一实施方式,所述背景图像包括第一背景动态元素,所述第一目标图像内包括所述第一背景动态元素与所述第一人像形成的动画。
背景图像和第一人像在融合的基础上,生成了相互之间互动的动画,且动画是在第一人象和背景图像内的至少一个动态元素之间生成的,非常自然流畅,进一步提高了第一人象与背景图像的融合效果,使目标对象获得更加自然的沉浸感,进一步提高第一目标图像与目标对象的关联性,且进一步引起目标对象的观看兴趣,进一步改善了用户的使用体验。
结合本公开提供的任一实施方式,在所述显示所述第一目标图像之后,还包括:
实时获取所述目标对象的至少一帧第二图像;
从所述至少一帧第二图像中提取所述目标对象的第二人像,根据所述第二人像变更所述第一目标图像中的第一人像,获得第二目标图像,并显示所述第二目标图像,其中,所述第二目标图像中的所述第二人像为实时运动的。
通过进一步实时采集目标对象的第二图像,可以根据目标对象的实时状态更新显示图像,例如,用户在图像采集设备的预设采集范围内来回踱步,则显示图像内背景不变,目标对象同步的来回踱步。进一步提高了显示图像的实时性和跟踪性,能够进一步提高目标对象与显示图像的关联性,能够持续引起目标对象的观看兴趣,进一步改善了用户的使用体验。
结合本公开提供的任一实施方式,所述背景图像包括第二背景动态元素;在显示所述第一目标图像或所述第二目标图像之后,还包括:
检测所述目标对象基于所述第一目标图像或所述第二目标图像输入的针对所述第二背景动态元素的操作;
识别所述操作,以获得第二动作特征;
根据所述第二动作特征,在所述第一人像和所述第二背景动态元素间生成动画;或,根据所述第二动作特征,在所述第二人像和所述第二背景动态元素间生成动画。
通过检测和识别目标对象的操作获取目标对象的第二动作特征,再结合背景图像的第二背景动态元素生成动画,即使显示图像中出现用户的动作触发的动画,也就是按照用户的意愿呈现对应的互动效果,能引起目标用户的操作兴趣,提高了用户的参与感,进一步改善了用户的使用体验。
结合本公开提供的任一实施方式,所述从所述至少一帧第一图像中提取所述目标对象的第一动作特征,包括:
对所述至少一帧第一图像进行手势识别,获得所述目标对象的手势特征;
对所述至少一帧第一图像进行肢体识别,获得所述目标对象的肢体特征;
根据所述手势特征和所述肢体特征,生成所述目标对象的第一动作特征。
分别通过手势识别和肢体识别获得手势特征和肢体特征,并且进一步根据手势特征和肢体特征生成第一动作特征,使得第一动作特征非常全面和精确,能够对目标对象的动作相关的特征进行准确表征,进而提高了据此确定的背景图像与目标对象的关联性。
结合本公开提供的任一实施方式,所述从所述至少一帧第一图像中提取所述目标对象的属性特征,包括:
对所述至少一帧第一图像进行性别识别,获得所述目标对象的性别特征;
对所述至少一帧第一图像进行年龄识别,获得所述目标对象的年龄特征;
根据所述性别特征和所述年龄特征确定所述目标对象的属性特征。
分别通过性别识别和年龄识别获得性别特征和年龄特征,并且进一步根据性别特征和年龄特征生成属性特征,使得属性特征非常全面和精确,能够对目标对象的属性相关的特征进行准确表征,进而提高了据此确定的背景图像与目标对象的关联性。
结合本公开提供的任一实施方式,所述根据所述第一动作特征和/或所述属性特征确定背景图像,包括:
提取预设的背景库内的多个待选图像的图像特征;
确定所述第一动作特征与多个所述图像特征的第一匹配度;将与所述第一动作特征的第一匹配度最高的图像特征所属的待选图像确定为背景图像;或
确定所述属性特征与多个所述图像特征的第一匹配度;将与所述属性特征的第一匹配度最高的图像特征所属的待选图像确定为背景图像;或
确定所述第一动作特征和所述属性特征与多个所述图像特征的第一匹配度;将与所述第一动作特征和所述属性特征的第一匹配度最高的图像特征所属的待选图像确定为背景图像。
根据匹配度对待选图像进行筛选,从而使确定出的背景图像与第一动作特征和/或属性特征的匹配程度较高,从而使背景图像对目标用户产生较大的吸引力,进而使目标用户对背景图像产生关注兴趣,提高了目标用户与背景图像的关联性,使目标用户产生针对性服务的感觉,进一步改善了用户的使用体验。
结合本公开提供的任一实施方式,所述确定所述第一动作特征和所述属性特征与多个所述图像特征的第一匹配度,包括:
确定所述第一动作特征与所述图像特征的第二匹配度;
确定所述属性特征与所述图像特征的第三匹配度;
根据所述第一动作特征的第一权重、所述第二匹配度、所述属性特征的第二权重和所述第三匹配度,确定所述第一动作特征和所述属性特征与所述图像特征的第一匹配度。
分别结合第二匹配度和第三匹配度,且在结合过程进一步利用了权重,使得得到的第一匹配度较为准确。
结合本公开提供的任一实施方式,所述从所述至少一帧第一图像中提取目标对象的第一人像,并将所述第一人像与所述背景图像进行融合,生成第一目标图像,包括:
提取所述至少一帧第一图像内的目标对象的人像特征和所述背景图像的背景特征;
将所述融合特征映射于所述背景图像内,得到所述第一目标图像。
通过提取、融合和映射特征的操作,完成了目标对象的第一人像与背景图像的融合,可以形成至少一种形式的第一目标图像,使第一目标图像内具有目标对象的第一人像,且该第一人像与背景图像自然融合,美观顺畅,毫无违和感。因此可以提高目标对象的沉浸感和参与感,改善用户的使用体验。
结合本公开提供的任一实施方式,所述提取所述背景图像的背景特征,包括:
提取所述背景图像的人像区域的背景特征,其中,所述人像区域为用于显示所述目标对象的人像的区域;
所述将所述融合特征映射于所述背景图像内,包括:
将所述融合特征映射于所述背景图像的人像区域内。
提取背景特征和映射融合特征时,都针对背景图像的人像区域,增加了针对性,且避免了冗余操作。
结合本公开提供的任一实施方式,所述图像采集范围内包括多个对象,所述获取目标对象的至少一帧第一图像之前,所述方法还包括:
检测图像采集范围内的多个对象,并获取所述多个对象的深度信息;
根据所述深度信息,从所述多个对象中确定深度信息最小的对象为目标对象。
通过深度信息能够准确的确定目标对象,提高了采集图像以及人像融合过程中的针对性。
根据本发明实施例的第二方面,提供一种图像显示装置,包括:
获取模块,用于获取目标对象的至少一帧第一图像,其中,所述目标对象为处于图像采集范围内的对象;
特征模块,用于从所述至少一帧第一图像中提取所述目标对象的第一动作特征和/或属性特征;
背景模块,用于根据所述第一动作特征和/或所述属性特征确定背景图像;
融合模块,用于从所述至少一帧第一图像中提取所述目标对象的第一人像,并将所述第一人像与所述背景图像进行融合,生成第一目标图像,以及显示所述第一目标图像。
由于背景图像是根据目标对象的第一动作特征和/或属性特征确定的,因此背景图像与目标对象的关联性较强,容易引起目标对象的观看兴趣,且第一目标图像还是背景图像和目标对象的第一人像融合生成的,因此进一步提高第一目标图像与目标对象的关联性,因此能够进一步引起目标对象的观看兴趣,产生一种置身其中的感觉,改善了用户的使用体验,也使显示第一目标图像的显示设备受到目标对象的注意,提高了显示设备的显示关注率,避免了资源浪费。
结合本公开提供的任一实施方式,所述背景图像包括第一背景动态元素,所述第一目标图像内包括所述第一背景动态元素与所述第一人像形成的动画。
背景图像和第一人像在融合的基础上,生成了相互之间互动的动画,且动画是在第一人象和背景图像内的至少一个动态元素之间生成的,非常自然流畅,进一步提高了第一人象与背景图像的融合效果,使目标对象获得更加自然的沉浸感,进一步提高第一目标图像与目标对象的关联性,且进一步引起目标对象的观看兴趣,进一步改善了用户的使用体验。
结合本公开提供的任一实施方式,所述融合模块在用于显示所述第一目标图像之后,还用于:
实时获取所述目标对象的至少一帧第二图像;
从所述至少一帧第二图像中提取所述目标对象的第二人像,根据所述第二人像变更所述第一目标图像中的第一人像,获得第二目标图像,并显示所述第二目标图像,其中,所述第二目标图像中的所述第二人像为实时运动的。
通过进一步实时采集目标对象的第二图像,可以根据目标对象的实时状态更新显示图像,例如,用户在图像采集设备的预设采集范围内来回踱步,则显示图像内背景不变,目标对象同步的来回踱步。进一步提高了显示图像的实时性和跟踪性,能够进一步提高目标对象与显示图像的关联性,能够持续引起目标对象的观看兴趣,进一步改善了用户的使用体验。
结合本公开提供的任一实施方式,所述背景图像包括第二背景动态元素;所述融合模块在用于显示所述第一目标图像或所述第二目标图像之后,还用于:
检测所述目标对象基于所述第一目标图像或所述第二目标图像输入的针对所述第二背景动态元素的操作;
识别所述操作,以获得第二动作特征;
根据所述第二动作特征,在所述第一人像和所述第二背景动态元素间生成动画;或,根据所述第二动作特征,在所述第二人像和所述第二背景动态元素间生成动画。
通过检测和识别目标对象的操作获取目标对象的第二动作特征,再结合背景图像的第二背景动态元素生成动画,即使显示图像中出现用户的动作触发的动画,也就是按照用户的意愿呈现对应的互动效果,能引起目标用户的操作兴趣,提高了用户的参与感,进一步改善了用户的使用体验。
结合本公开提供的任一实施方式,所述特征模块用于从所述至少一帧第一图像中提取所述目标对象的第一动作特征时,具体用于:
对所述至少一帧第一图像进行手势识别,获得所述目标对象的手势特征;
对所述至少一帧第一图像进行肢体识别,获得所述目标对象的肢体特征;
根据所述手势特征和所述肢体特征,生成所述目标对象的第一动作特征。
分别通过手势识别和肢体识别获得手势特征和肢体特征,并且进一步根据手势特征和肢体特征生成第一动作特征,使得第一动作特征非常全面和精确,能够对目标对象的动作相关的特征进行准确表征,进而提高了据此确定的背景图像与目标对象的关联性。
结合本公开提供的任一实施方式,所述特征模块用于从所述至少一帧第一图像中提取所述目标对象的属性特征时,具体用于:
对所述至少一帧第一图像进行性别识别,获得所述目标对象的性别特征;
对所述至少一帧第一图像进行年龄识别,获得所述目标对象的年龄特征;
根据所述性别特征和所述年龄特征确定所述目标对象的属性特征。
分别通过性别识别和年龄识别获得性别特征和年龄特征,并且进一步根据性别特征和年龄特征生成属性特征,使得属性特征非常全面和精确,能够对目标对象的属性相关的特征进行准确表征,进而提高了据此确定的背景图像与目标对象的关联性。
结合本公开提供的任一实施方式,所述背景模块具体用于:
提取预设的背景库内的多个待选图像的图像特征;
确定所述第一动作特征与多个所述图像特征的第一匹配度;将与所述第一动作特征的第一匹配度最高的图像特征所属的待选图像确定为背景图像;或
确定所述属性特征与多个所述图像特征的第一匹配度;将与所述属性特征的第一匹配度最高的图像特征所属的待选图像确定为背景图像;或
确定所述第一动作特征和所述属性特征与多个所述图像特征的第一匹配度;将与所述第一动作特征和所述属性特征的第一匹配度最高的图像特征所属的待选图像确定为背景图像。
根据匹配度对待选图像进行筛选,从而使确定出的背景图像与第一动作特征和/或属性特征的匹配程度较高,从而使背景图像对目标用户产生较大的吸引力,进而使目标用户对背景图像产生关注兴趣,提高了目标用户与背景图像的关联性,使目标用户产生针对性服务的感觉,进一步改善了用户的使用体验。
结合本公开提供的任一实施方式,所述背景模块用于确定所述第一动作特征和所述属性特征与多个所述图像特征的第一匹配度时,具体用于:
确定所述第一动作特征与所述图像特征的第二匹配度;
确定所述属性特征与所述图像特征的第三匹配度;
根据所述第一动作特征的第一权重、所述第二匹配度、所述属性特征的第二权重和所述第三匹配度,确定所述第一动作特征和所述属性特征与所述图像特征的第一匹配度。
分别结合第二匹配度和第三匹配度,且在结合过程进一步利用了权重,使得得到的第一匹配度较为准确。
结合本公开提供的任一实施方式,所述融合模块具体用于:
提取所述至少一帧第一图像内的目标对象的人像特征和所述背景图像的背景特征;
将所述融合特征映射于所述背景图像内,得到所述第一目标图像。
通过提取、融合和映射特征的操作,完成了目标对象的第一人像与背景图像的融合,可以形成至少一种形式的第一目标图像,使第一目标图像内具有目标对象的第一人像,且该第一人像与背景图像自然融合,美观顺畅,毫无违和感。因此可以提高目标对象的沉浸感和参与感,改善用户的使用体验。
结合本公开提供的任一实施方式,所述融合模块用于提取所述背景图像的背景特征时,具体用于:
提取所述背景图像的人像区域的背景特征,其中,所述人像区域为用于显示所述目标对象的人像的区域;
所述将所述融合特征映射于所述背景图像内,包括:
将所述融合特征映射于所述背景图像的人像区域内。
提取背景特征和映射融合特征时,都针对背景图像的人像区域,增加了针对性,且避免了冗余操作。
结合本公开提供的任一实施方式,所述图像采集范围内包括多个对象,所述获取模块用于获取目标对象的至少一帧第一图像之前,还用于:
检测图像采集范围内的多个对象,并获取所述多个对象的深度信息;
根据所述深度信息,从所述多个对象中确定深度信息最小的对象为目标对象。
通过深度信息能够准确的确定目标对象,提高了采集图像以及人像融合过程中的针对性。
根据本发明实施例的第三方面,提供一种电子设备,所述设备包括存储器、处理器,所述存储器用于存储可在处理器上运行的计算机指令,所述处理器用于在执行所述计算机指令时实现第一方面所述的方法。
由于背景图像是根据目标对象的第一动作特征和/或属性特征确定的,因此背景图像与目标对象的关联性较强,容易引起目标对象的观看兴趣,且第一目标图像还是背景图像和目标对象的第一人像融合生成的,因此进一步提高第一目标图像与目标对象的关联性,因此能够进一步引起目标对象的观看兴趣,产生一种置身其中的感觉,改善了用户的使用体验,也使显示第一目标图像的显示设备受到目标对象的注意,提高了显示设备的显示关注率,避免了资源浪费。
根据本发明实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现第一方面所述的方法。
由于背景图像是根据目标对象的第一动作特征和/或属性特征确定的,因此背景图像与目标对象的关联性较强,容易引起目标对象的观看兴趣,且第一目标图像还是背景图像和目标对象的第一人像融合生成的,因此进一步提高第一目标图像与目标对象的关联性,因此能够进一步引起目标对象的观看兴趣,产生一种置身其中的感觉,改善了用户的使用体验,也使显示第一目标图像的显示设备受到目标对象的注意,提高了显示设备的显示关注率,避免了资源浪费。
根据上述实施例可知,通过获取目标对象的至少一帧第一图像,并从上述至少一帧第一图像提取目标对象的第一动作特征和/或属性特征,以及进一步根据所述第一动作特征和/或所述属性特征确定背景图像,最后从上述至少一帧第一图像提取目标对象的第一人像,并将第一人像与上述背景图像进行融合,以生成并显示第一目标图像。由于背景图像是根据目标对象的第一动作特征和/或属性特征确定的,因此背景图像与目标对象的关联性较强,容易引起目标对象的观看兴趣,且第一目标图像还是背景图像和目标对象的第一人像融合生成的,因此进一步提高第一目标图像与目标对象的关联性,因此能够进一步引起目标对象的观看兴趣,产生一种置身其中的感觉,改善了用户的使用体验,也使显示第一目标图像的显示设备受到目标对象的注意,提高了显示设备的显示关注率,避免了资源浪费。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是本发明实施例示出的图像显示方法的流程图;
图2是本发明实施例示出的生成第一目标图像的一个场景示意图;
图3是本发明实施例示出的图像显示过程的示意图;
图4是本发明实施例示出的图像显示装置的结构示意图;
图5是本发明实施例示出的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
文旅展馆内经常设置用于展示特定信息的显示屏,以供到访用户观看。但是显示屏内展示信息的选择较为随机,导致展示信息与到访用户的关联性较差,用户的使用体验不佳。
基于此,第一方面,本发明至少一个实施例提供了一种图像显示方法,请参照附图1,其示出了该方法的流程,包括步骤S101至步骤S104。
其中,该图像显示方法可以应用于文旅展馆的显示屏、游戏场馆内的游戏设备等线下设备,还可以应用于视频直播平台、短视频平台等线上娱乐平台。可以理解的是,上述几种应用场景示例只是对该方法的应用场景的举例,并非对本申请的应用场景的限制。
另外,该方法可以由终端设备或服务器等电子设备执行,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant,PDA)手持设备、计算设备、车载设备、可穿戴设备等,该方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。或者,可以通过服务器执行该方法,服务器可以为本地服务器、云端服务器等。
在步骤S101中,获取目标对象的至少一帧第一图像,其中,所述目标对象为处于图像采集范围内的对象。
其中,执行该方法的硬件设备可以具有图像采集设备,例如摄像头等;图像采集设备可以对一定的范围内的对象进行图像采集,该范围就是图像采集范围,例如摄像头的视场。图像采集范围相对图像采集设备可以是固定的,也就是图像采集范围可以随图像采集设备的移动而移动的,因此若图像采集设备的位置固定,则图像采集范围的位置也可以固定,若图像采集设备的位置移动,则图像采集范围的位置可以随之移动。当图像采集范围的位置固定时,目标对象可以从其他区域进入到图像采集范围内,进行图像采集,从而获取到目标对象的至少一帧第一图像;当图像采集范围的位置不固定,例如为便携式的相机、手机等,则可以由目标对象或其他人员(例如工作人员)移动图像采集设备,以使图像采集范围移动至目标对象所在的位置,从而获取到目标对象的至少一帧第一图像。
其中,图像采集范围内可以同时存在多个对象,因此获取目标对象的至少一帧第一图像之前,还可以检测图像采集范围内的多个对象,并获取所述多个对象的深度信息,以及根据所述深度信息,从所述多个对象中确定深度信息最小的对象为目标对象。确定目标对象后,再针对确定的目标对象获取至少一帧第一图像;其中,深度信息最小也就是距离图像采集设备的距离最近,例如,距离摄像头最近。
另外,还可以验证目标对象的权限,并根据权限启动本步骤,也就是说,可以先获取所述目标对象的权限验证结果;当目标对象的权限验证结果表示目标对象为合法用户时,再获取目标对象的第一图像。例如,在文旅展会和画展等活动中常出现的人脸签到的场景下,可以先获取目标对象的签到结果,当签到成功时,再获取目标对象的第一图像,即目标对象签到不成功时,不执行本步骤。
在步骤S102中,从所述至少一帧第一图像中提取所述目标对象的第一动作特征和/或属性特征。
其中,第一图像的帧数可以根据第一动作特征和/或属性特征的需求进行确定,也就是说,第一图像的帧数足以用于第一动作特征和/或属性特征的确定。例如,当确定的第一动作特征和/或属性特征为静态信息,可以由一帧第一图像确定,当确定的第一动作特征和/或属性特征为动态信息,可以由多帧第一图像确定。
其中,第一动作特征和/或属性特征可以包括多个维度的特征,例如,既包括静态特征,也包括动态特征。每帧第一图像可以用于多个维度的特征中的一个的提取,也可以用于多个维度的特征中的多个的提取。
另外,第一工作特征和/或属性特征的提取需求还可以指导获取第一图像的步骤S101。
在步骤S103中,根据所述第一动作特征和/或所述属性特征确定背景图像。
其中,背景图像可以为静态图像,也可以为动态图像。第一动作特征和/或所述属性特征能够表征目标对象的一个或多个维度的特征,因此根据第一动作特征和/或所述属性特征确定的背景图像与目标对象的关联性较强。
其中,可以通过对待选图像进行筛选,确定出背景图像。也就是说,可以确定多个待选图像的优先级,并将优先级最高的待选图像确定为背景图像,其中,多个待选图像的优先级可以是根据第一动作特征和/或所述属性特征确定的,还可以进一步根据多个待选图像的固有优先级做补充,例如动态图像的优先级高于静态图像等。
在步骤S104中,从所述至少一帧第一图像中提取所述目标对象的第一人像,并将所述第一人像与所述背景图像进行融合,生成第一目标图像,以及显示所述第一目标图像。
其中,第一目标图像的背景为步骤S103中确定的背景图像,且第一目标图像还包含了第一图像中的目标对象的第一人像,而且进行了融合,因此效果较为自然,且进一步提高了第一目标图像与目标对象的关联性。
其中,用于确定背景图像的第一图像和用于生成第一目标图像的第一图像可以相同,也可以不相同。在一种情况下,步骤S101获取了至少一帧目标对象的第一图像,然后步骤S102利用上述至少一帧第一图像中的部分或全部确定目标对象的第一动作特征和/或属性特征,然后步骤S104利用上述至少一帧第一图像中的部分或全部生成第一目标图像,其中,步骤S102具体利用的第一图像和S104具体利用的第一图像,可以完全不同,也可以具有部分重合,还可以完全相同。在另一种情况下,步骤S101获取了至少一帧目标对象的第一图像,然后步骤S102利用上述至少一帧第一图像中的部分或全部确定目标对象的第一动作特征和/或属性特征,然后再一次执行步骤S101,即重新获取至少一帧第一图像,然后步骤S104再利用重新获取的第一图像生成第一目标图像。
其中,可以在预设显示设备显示第一目标对象,预设显示设备可以是公共显示设备,例如文旅展馆的显示屏、游戏场馆内的游戏设备等线,还可以是个人的终端产品,例如手机、平板电脑等。预设显示设备可以和图像采集设备是一体的,例如上述终端产品等;预设的显示设备还可以和图像采集设备是分体的,二者通过有线或无线实现连接,或者二者分别与控制设备连接。预设显示设备具有显示功能之外,还可以具有存储功能,以存储待选图像等,还可以具有连网功能,以连接服务器等后台设备,从而更新待选图像等。
根据上述实施例可知,通过获取目标对象的至少一帧第一图像,并从上述至少一帧第一图像提取目标对象的第一动作特征和/或属性特征,以及进一步根据所述第一动作特征和/或属性特征确定背景图像,最后从上述至少一帧第一图像提取目标对象的第一人像,并将第一人像与上述背景图像进行融合,以生成并显示第一目标图像。由于背景图像是根据目标对象的第一动作特征和/或属性特征确定的,因此背景图像与目标对象的关联性较强,容易引起目标对象的观看兴趣,且第一目标图像还是根据背景图像和目标对象的第一人像融合生成的,因此进一步提高第一目标图像与目标对象的关联性,因此能够进一步引起目标对象的观看兴趣,产生一种置身其中的感觉,改善了用户的使用体验,也使显示第一目标图像的显示设备受到目标对象的注意,提高了显示设备的显示关注率,避免了资源浪费。
本公开的一些实施例中,所述背景图像包括第一背景动态元素,且所述第一目标图像内包括所述第一背景动态元素与所述第一人象形成的动画。
其中,背景图像为动态图像,动态图像内包含至少一个动态元素,例如动态图像内包含的树木展现出随风摇摆的姿态,则树木就是动态元素,再例如,动态图像内包含的花朵展现出随风飘落的姿态,则花朵就是动态元素,再例如,动态图像内包含的小动物跑来跑去,则小动物就是动态元素,再例如,动态图像内的溪流自然流动,则溪流就是动态元素,再例如,动态图像内的溪流内的小鱼游来游去,则小鱼就是动态元素,等等。可以理解的是,上述示例仅仅是对动态元素的举例,并非对动态元素的限制。第一背景动态元素是动态图像内的至少一个动态元素,第一目标图像内具有目标对象的第一人像,第一人像融入背景图像后,产生了与动态元素的互动,也就是目标对象和第一背景动态元素间形成的动画。上述动画可以是根据第一背景动态元素的固有属性决定的,例如,跑来跑去的小动物围绕目标对象跑,且向目标对象作出示好或调皮的动作,再例如,飘落的花朵落在目标对象的头上,再例如,目标对象在溪流内,溪流的流动带动目标对象随之飘动,等等。
本公开的实施例中,背景图像和第一人像在融合的基础上,生成了相互之间互动的动画,且动画是在第一人象和背景图像内的至少一个动态元素之间生成的,非常自然流畅,进一步提高了第一人象与背景图像的融合效果,使目标对象获得更加自然的沉浸感,进一步提高第一目标图像与目标对象的关联性,且进一步引起目标对象的观看兴趣,进一步改善了用户的使用体验。
本公开的一些实施例中,生成并显示第一目标图像之后,还可以按照下述方式进一步实时生成并显示第二目标图像:首先,实时获取所述目标对象的至少一帧第二图像;接下来,从所述至少一个第二图像中提取所述目标对象的第二人像,根据所述第二人像变更所述第一目标图像中的第一人像,获得第二目标图像,并显示所述第二目标图像,其中,所述第二目标图像中的所述第二人像为实时运动的。
其中,第二图像可以是图像采集设备针对状态变化后的目标对象所采集的图像,其中的状态变化可以是位置变化、动作变化、姿态变化等等,这些状态变化不足以改变第一动作特征和/或属性特征,因此可以继续使用背景图像;第二图像是生成并显示第一目标图像后,图像采集设备获取的目标对象的实时图像,即第二目标图像是针对目标对象的实时状态生成的。
本公开的实施例中,通过进一步实时采集目标对象的第二图像,可以根据目标对象的实时状态更新显示图像,例如,用户在图像采集设备的预设采集范围内来回踱步,则显示图像内背景不变,目标对象同步的来回踱步。进一步提高了显示图像的实时性和跟踪性,能够进一步提高目标对象与显示图像的关联性,能够持续引起目标对象的观看兴趣,进一步改善了用户的使用体验。
本公开的一些实施例中,所述背景图像内包括第二背景动态元素,且根据背景图像生成的第一目标图像和第二目标图像内均包括第二背景动态元素。因此生成并显示第一目标图像或第二目标图像之后,还可以按照下述方式进一步生成目标对象的人像与第二背景动态元素间的动画:首先,检测所述目标对象基于所述第一目标图像或所述第二目标图像输入的针对所述第二背景动态元素的操作;接下来,识别所述操作,以获得所述目标对象的第二动作特征;最后,根据所述第二动作特征,在所述第一人像和所述第二背景动态元素间生成动画;或,根据所述第二动作特征,在所述第二人像和所述第二背景动态元素间生成动画。
其中,图像采集设备采集目标对象的图像,并检测所采集图像内的目标对象以检测目标对象的操作,而且通过识别所采集图像内的目标对象完成对操作的识别,且提取第二动作特征。
其中,第二背景动态元素也是上述实施例提到的动态图像内的至少一个动态元素,目标对象针对第二背景动态元素的操作是基于第一目标图像或第二目标图像内自己与第二背景动态元素的相对位置和关系等输入的,例如,在第一目标图像内,目标对象的面前有一只小狗(小狗即为第二背景动态元素)在向其示好,目标对象便可以向前方伸出手做出抱起的动作,目标对象还可以向小狗奔跑做出追逐的动作,再例如,在第二目标图像内,目标对象的旁边有一棵数,树上开满了各色花朵(花朵即为第二背景动态元素),目标对象便可以向某一花朵的位置伸出手做出摘花的动作,目标对象还可以向树干伸出手并做出拍打树干的动作。
另外,目标对象的操作执行过程中,显示图像可以按照上述实施例提到的方式实时更新,也就是显示图像内的目标对象的状态随着现实世界中的目标对象的动作实时更新,因此能够进一步为目标对象的动作提供指导和参考,进一步提高了输入的操作的准确性。
其中,第二动作特征信息表征了目标对象的动作,且确定第二动作特征时可以进一步结合第一目标图像或第二目标图像内的元素,因此第二动作特征不仅表征了目标对象的动作,还表征了该动作针对的元素等信息,进而据此生成的动画自然流畅。
其中,第二背景动态元素与目标对象形成的动画可以是根据第二背景动态元素的固有属性和第二动作特征决定的,例如,目标对象向其前方的小狗做出抱起的动作时,小狗配合目标对象,形成被目标对象抱起的动画,再例如,目标对象向花朵做出摘花的动作时,花朵配合目标对象,形成被目标对象摘下来拿在手中的动画,再例如,目标对象向开满花朵的树木拍打,树木配合目标对象,形成花朵落下的动画,且花朵还可以进一步落在目标对象的身体上,呈现出非常美的意境。
另外,第一目标图像和第二目标图像显示时,还可以进一步生成第一提示信息,其中,所述第一提示信息用于指示用户输入针对第二背景动态元素的操作。通过第一提示信息可以引导用户输入操作,使用户获得与动态元素互动的机会和乐趣,方便了用户的操作,降低了用户操作的难度,进一步提高了用户的使用体验。第一提示信息可以是文字提醒信息,还可以是语音提示信息,还可以是动画提示信息等,例如,在第一目标图像上显示“小狗这么可爱,要不要抱一抱它呀”、“有花堪折直须折,莫待无花空折枝”以及“试着拍打树干,看看会产生什么奇异现象”等文字信息,还可以播放上述文字信息对应的语音消息。
本公开的实施例,通过检测和识别目标对象的操作获取目标对象的第二动作特征,再结合背景图像的第二背景动态元素生成动画,即使显示图像中出现用户的动作触发的动画,也就是按照用户的意愿呈现对应的互动效果,能引起目标用户的操作兴趣,提高了用户的参与感,进一步改善了用户的使用体验。
本公开的一些实施例中,可以采用下述方式获取第一动作特征:首先,对所述至少一帧第一图像进行手势识别,获得所述目标对象的手势特征;接下来,对所述至少一帧第一图像进行肢体识别,获得所述目标对象的肢体特征;最后,根据所述手势特征和所述肢体特征,生成所述目标对象的第一动作特征。
在一个示例中,手势识别时,识别到用户摆出的花朵手势,则可以确定手势特征为“花朵”相关的特征,进而后续确定的背景图像则可以与“花朵”相关,例如草地和开满花的树等;
在一个示例中,肢体识别时,识别到用户做出了游泳的姿势,则可以确定肢体特征为“游泳”相关的特征,进而后续确定的背景图像则可以与“游泳”相关,例如大海和海洋动物等。
在一个示例中,可以将手势特征和肢体特征进行融合,并以融合结果作为第一动作特征。
本公开的一些实施例中,可以采用下述方式获取属性特征:首先,对所述至少一帧第一图像进行性别识别,获得所述目标对象的性别特征;接下来,对所述至少一帧第一图像进行年龄识别,获得所述目标对象的年龄特征;最后,根据所述性别特征和所述年龄特征确定所述目标对象的属性特征。
其中,可以对目标对象的人脸进行识别,得到性别特征,例如,识别到目标对象的性别特征为女,后续确定的背景图像则可以呈现出浪漫的场景,识别到用户的性别特征为男,后续确定的背景图像则可以呈现出科幻的场景。
其中,可以对目标对象的人脸进行识别,得到年龄特征,例如,识别到目标对象的年龄特征为老年,后续确定的背景图像则可以呈现出温馨的场景,怀旧的画面等,识别到用户的年龄特征为儿童,后续确定的背景图像则可以呈现出卡通的场景等。
在一个示例中,可以将性别特征和年龄特征进行融合,并以融合结果作为属性特征。
本公开的实施例,可以根据特征的需要对第一图像进行特征提取,即可以按照上述方式提取第一动作特征,也可以按照上述方式提取属性特征,还可以按照上述两种方式分别提取第一动作特征和属性特征。例如,可以通过识别如图2所示出的手势201,确定了第一动作特征为“花朵”相关的特征,通过识别如图2所示出的目标对象202的人脸,确定了属性特征信息为“年轻女性”相关的特征,因此确定如图2所示的第一目标图像203,从第一目标图像203中可以看出,图中有树木,树木上开满了粉红色的花朵,且图中还有目标对象的人像,非常自然的融合在背景之中。
本公开的一些实施例中,可以按照下述方式根据第一动作特征和/或属性特征确定背景图像:首先,提取预设的背景库内的多个待选图像的图像特征;接下来,根据提取的特征种类采用不同的方式特征对比并从多个待选图像中确定背景图像:
当提取的特征为第一动作特征时,确定确定所述第一动作特征与多个所述图像特征的第一匹配度;将与所述第一动作特征的第一匹配度最高的图像特征所属的待选图像确定为背景图像;
当提取的特征为属性特征时,确定所述属性特征与多个所述图像特征的第一匹配度;将与所述属性特征的第一匹配度最高的图像特征所属的待选图像确定为背景图像;
当提取的特征为第一动作特征和属性特征时,确定所述第一动作特征和所述属性特征与多个所述图像特征的第一匹配度;将与所述第一动作特征和所述属性特征的第一匹配度最高的图像特征所属的待选图像确定为背景图像。
另外,可以按照下述方式确定所述第一动作特征和所述属性特征与多个所述图像特征的第一匹配度:首先,确定所述第一动作特征与所述图像特征的第二匹配度;接下来,确定属性特征与所述图像特征的第三匹配度;最后,根据所述第一动作特征的第一权重、所述第二匹配度、所述属性特征的第二权重和所述第三匹配度,确定第一动作特征和所述属性特征与所述图像特征的第一匹配度。
可选的,第一权重为大于0且小于1的比例,第二权重为大于0且小于1的比例,而且第一权重和第二权重的和为1,可以按照下述公式确定第一动作特征和/或属性特征与所述图像特征的第一匹配度:
T=w1×t1+w2×t2
其中,T为第一匹配度,w1为第一权重,t1为第二匹配度,w2为第二权重,t2为第三匹配度。
本公开的实施例中,根据匹配度对待选图像进行筛选,从而使确定出的背景图像与第一动作特征和/或属性特征的匹配程度较高,从而使背景图像对目标用户产生较大的吸引力,进而使目标用户对背景图像产生关注兴趣,提高了目标用户与背景图像的关联性,使目标用户产生针对性服务的感觉,进一步改善了用户的使用体验。
本公开的一些实施例中,按照下述方式生成第一目标图像:首先,提取所述至少一帧第一图像内的目标对象的人像特征和所述背景图像的背景特征,并根据所述人像特征和所述背景特征生成融合特征;接下来,将所述融合特征映射于所述背景图像内,得到所述第一目标图像。
其中,背景图像可以预设固有的人像区域,也就是用于显示所述目标对象的人像的区域,因此提取背景图像的背景特征时,可以提取所述背景图像的人像区域的背景特征,而且将所述融合特征映射于所述背景图像内时,可以将所述融合特征映射于所述背景图像的人像区域内。因此生成的第一目标图像内的目标用户所在位置比较合理和美观,且可以获取比较自然的融合效果。另外,还可以进一步获取到与人像区域临近的动态元素的元素特征,然后根据融合特征和动态元素的元素特征在背景图像内形成目标对象与动态元素间的动画效果。
本公开的实施例中,通过提取、融合和映射特征的操作,完成了目标对象的第一人像与背景图像的融合,可以形成至少一种形式的第一目标图像,使第一目标图像内具有目标对象的第一人像,且该第一人像与背景图像自然融合,美观顺畅,毫无违和感。因此可以提高目标对象的沉浸感和参与感,改善用户的使用体验。
请参照附图3,其示例性的示出了一个图像显示的过程,该过程应用于文旅展馆的显示屏上,该过程首先获取了第一图像,然后对第一图像内的目标对象分别平行进行手势识别、肢体识别和人脸识别,并进一步根据手势识别得出的手势特征和肢体识别得到的肢体特征确定了第一动作特征,根据人脸识别得出的性别特征和年龄特征确定了属性特征,再根据第一动作特征和属性特征确定了背景图像,接下来第一图像和背景图像结合下生成了第一目标图像,最后第一目标图像显示出目标对象的人像与动态元素间的动画。该过程可以解决显示屏的展示信息与到访用户的关联性差的问题,用户可以通过肢体语言变换显示屏的输出信息,且显示屏会根据人物属性输出定制化场景信息,且显示了用户相关的动画,进一步避免了显示屏对用户的单向信息交互,增加了趣味性。
根据本发明实施例的第二方面,提供一种图像显示装置,请参照附图4,其示出了该装置的结构示意图,包括:
获取模块401,用于获取目标对象的至少一帧第一图像,其中,所述目标对象为处于图像采集范围内的对象;
特征模块402,用于从所述至少一帧第一图像中提取所述目标对象的第一动作特征和/或属性特征;
背景模块403,用于根据所述第一动作特征和/或所述属性特征确定背景图像;
融合模块404,用于从所述至少一帧第一图像中提取所述目标对象的第一人像,并将所述第一人像与所述背景图像进行融合,生成第一目标图像,以及显示所述第一目标图像。
本公开的一些实施例中,所述背景图像包括第一背景动态元素,所述第一目标图像内包括所述第一背景动态元素与所述第一人像形成的动画。
本公开的一些实施例中,所述融合模块在用于显示所述第一目标图像之后,还用于:
实时获取所述目标对象的至少一帧第二图像;
从所述至少一帧第二图像中提取所述目标对象的第二人像,根据所述第二人像变更所述第一目标图像中的第一人像,获得第二目标图像,并显示所述第二目标图像,其中,所述第二目标图像中的所述第二人像为实时运动的。
本公开的一些实施例中,所述背景图像包括第二背景动态元素;所述融合模块在用于显示所述第一目标图像或所述第二目标图像之后,还用于:
检测所述目标对象基于所述第一目标图像或所述第二目标图像输入的针对所述第二背景动态元素的操作;
识别所述操作,以获得第二动作特征;
根据所述第二动作特征,在所述第一人像和所述第二背景动态元素间生成动画;或,根据所述第二动作特征,在所述第二人像和所述第二背景动态元素间生成动画。
本公开的一些实施例中,所述特征模块用于从所述至少一帧第一图像中提取所述目标对象的第一动作特征时,具体用于:
对所述至少一帧第一图像进行手势识别,获得所述目标对象的手势特征;
对所述至少一帧第一图像进行肢体识别,获得所述目标对象的肢体特征;
根据所述手势特征和所述肢体特征,生成所述目标对象的第一动作特征。
本公开的一些实施例中,所述特征模块用于从所述至少一帧第一图像中提取所述目标对象的属性特征时,具体用于:
对所述至少一帧第一图像进行性别识别,获得所述目标对象的性别特征;
对所述至少一帧第一图像进行年龄识别,获得所述目标对象的年龄特征;
根据所述性别特征和所述年龄特征确定所述目标对象的属性特征。
本公开的一些实施例中,所述背景模块具体用于:
提取预设的背景库内的多个待选图像的图像特征;
确定所述第一动作特征与多个所述图像特征的第一匹配度;将与所述第一动作特征的第一匹配度最高的图像特征所属的待选图像确定为背景图像;或
确定所述属性特征与多个所述图像特征的第一匹配度;将与所述属性特征的第一匹配度最高的图像特征所属的待选图像确定为背景图像;或
确定所述第一动作特征和所述属性特征与多个所述图像特征的第一匹配度;将与所述第一动作特征和所述属性特征的第一匹配度最高的图像特征所属的待选图像确定为背景图像。
本公开的一些实施例中,所述背景模块用于确定所述第一动作特征和所述属性特征与多个所述图像特征的第一匹配度时,具体用于:
确定所述第一动作特征与所述图像特征的第二匹配度;
确定所述属性特征与所述图像特征的第三匹配度;
根据所述第一动作特征的第一权重、所述第二匹配度、所述属性特征的第二权重和所述第三匹配度,确定所述第一动作特征和所述属性特征与所述图像特征的第一匹配度。
本公开的一些实施例中,所述融合模块具体用于:
提取所述至少一帧第一图像内的目标对象的人像特征和所述背景图像的背景特征;
将所述融合特征映射于所述背景图像内,得到所述第一目标图像。
本公开的一些实施例中,所述融合模块用于提取所述背景图像的背景特征时,具体用于:
提取所述背景图像的人像区域的背景特征,其中,所述人像区域为用于显示所述目标对象的人像的区域;
所述将所述融合特征映射于所述背景图像内,包括:
将所述融合特征映射于所述背景图像的人像区域内。
本公开的一些实施例中,所述图像采集范围内包括多个对象,所述获取模块用于获取目标对象的至少一帧第一图像之前,还用于:
检测图像采集范围内的多个对象,并获取所述多个对象的深度信息;
根据所述深度信息,从所述多个对象中确定深度信息最小的对象为目标对象。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在第三方面有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
第三方面,本发明至少一个实施例提供了一种电子设备,请参照附图5,其示出了该电子设备的结构,所述设备包括存储器、处理器,所述存储器用于存储可在处理器上运行的计算机指令,所述处理器用于在执行所述计算机指令时基于第一方面任一项所述的方法进行图像显示。
第四方面,本发明至少一个实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现第一方面任一项所述的方法。
在本发明中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上,除非另有明确的限定。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (14)
1.一种图像显示方法,其特征在于,包括:
获取目标对象的至少一帧第一图像,其中,所述目标对象为处于图像采集范围内的对象;
从所述至少一帧第一图像中提取所述目标对象的第一动作特征和/或属性特征;
根据所述第一动作特征和/或所述属性特征确定背景图像;
从所述至少一帧第一图像中提取所述目标对象的第一人像,并将所述第一人像与所述背景图像进行融合,生成第一目标图像,以及显示所述第一目标图像。
2.根据权利要求1所述的图像显示方法,其特征在于,所述背景图像包括第一背景动态元素,所述第一目标图像内包括所述第一背景动态元素与所述第一人像形成的动画。
3.根据权利要求1或2所述的图像显示方法,其特征在于,在所述显示所述第一目标图像之后,还包括:
实时获取所述目标对象的至少一帧第二图像;
从所述至少一帧第二图像中提取所述目标对象的第二人像,根据所述第二人像变更所述第一目标图像中的第一人像,获得第二目标图像,并显示所述第二目标图像,其中,所述第二目标图像中的所述第二人像为实时运动的。
4.根据权利要求3所述的图像显示方法,其特征在于,所述背景图像包括第二背景动态元素;在显示所述第一目标图像或所述第二目标图像之后,还包括:
检测所述目标对象基于所述第一目标图像或所述第二目标图像输入的针对所述第二背景动态元素的操作;
识别所述操作,以获得第二动作特征;
根据所述第二动作特征,在所述第一人像和所述第二背景动态元素间生成动画;或,根据所述第二动作特征,在所述第二人像和所述第二背景动态元素间生成动画。
5.根据权利要求1所述的图像显示方法,其特征在于,所述从所述至少一帧第一图像中提取所述目标对象的第一动作特征,包括:
对所述至少一帧第一图像进行手势识别,获得所述目标对象的手势特征;
对所述至少一帧第一图像进行肢体识别,获得所述目标对象的肢体特征;
根据所述手势特征和所述肢体特征,生成所述目标对象的第一动作特征。
6.根据权利要求1或5所述的图像显示方法,其特征在于,所述从所述至少一帧第一图像中提取所述目标对象的属性特征,包括:
对所述至少一帧第一图像进行性别识别,获得所述目标对象的性别特征;
对所述至少一帧第一图像进行年龄识别,获得所述目标对象的年龄特征;
根据所述性别特征和所述年龄特征确定所述目标对象的属性特征。
7.根据权利要求5或6所述的图像显示方法,其特征在于,所述根据所述第一动作特征和/或所述属性特征确定背景图像,包括:
提取预设的背景库内的多个待选图像的图像特征;
确定所述第一动作特征与多个所述图像特征的第一匹配度;将与所述第一动作特征的第一匹配度最高的图像特征所属的待选图像确定为背景图像;或
确定所述属性特征与多个所述图像特征的第一匹配度;将与所述属性特征的第一匹配度最高的图像特征所属的待选图像确定为背景图像;或
确定所述第一动作特征和所述属性特征与多个所述图像特征的第一匹配度;将与所述第一动作特征和所述属性特征的第一匹配度最高的图像特征所属的待选图像确定为背景图像。
8.根据权利要求7所述的图像显示方法,其特征在于,所述确定所述第一动作特征和所述属性特征与多个所述图像特征的第一匹配度,包括:
确定所述第一动作特征与所述图像特征的第二匹配度;
确定所述属性特征与所述图像特征的第三匹配度;
根据所述第一动作特征的第一权重、所述第二匹配度、所述属性特征的第二权重和所述第三匹配度,确定所述第一动作特征和所述属性特征与所述图像特征的第一匹配度。
9.根据权利要求1所述的图像显示方法,其特征在于,所述从所述至少一帧第一图像中提取目标对象的第一人像,并将所述第一人像与所述背景图像进行融合,生成第一目标图像,包括:
提取所述至少一帧第一图像内的目标对象的人像特征和所述背景图像的背景特征;
将所述融合特征映射于所述背景图像内,得到所述第一目标图像。
10.根据权利要求9所述的图像显示方法,其特征在于,所述提取所述背景图像的背景特征,包括:
提取所述背景图像的人像区域的背景特征,其中,所述人像区域为用于显示所述目标对象的人像的区域;
所述将所述融合特征映射于所述背景图像内,包括:
将所述融合特征映射于所述背景图像的人像区域内。
11.根据权利要求1至10任一项所述的图像显示方法,其特征在于,所述图像采集范围内包括多个对象,所述获取目标对象的至少一帧第一图像之前,所述方法还包括:
检测图像采集范围内的多个对象,并获取所述多个对象的深度信息;
根据所述深度信息,从所述多个对象中确定深度信息最小的对象为所述目标对象。
12.一种图像显示装置,其特征在于,包括:
获取模块,用于获取目标对象的至少一帧第一图像,其中,所述目标对象为处于图像采集范围内的对象;
特征模块,用于从所述至少一帧第一图像中提取所述目标对象的第一动作特征和/或属性特征;
背景模块,用于根据所述第一动作特征和/或所述属性特征确定背景图像;
融合模块,用于从所述至少一帧第一图像中提取所述目标对象的第一人像,并将所述第一人像与所述背景图像进行融合,生成第一目标图像,以及显示所述第一目标图像。
13.一种电子设备,其特征在于,所述设备包括存储器、处理器,所述存储器用于存储可在处理器上运行的计算机指令,所述处理器用于在执行所述计算机指令时实现权利要求1至11任一项所述的方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1至11任一所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110190297.2A CN112967214A (zh) | 2021-02-18 | 2021-02-18 | 图像显示方法、装置、设备及存储介质 |
PCT/CN2021/108342 WO2022174554A1 (zh) | 2021-02-18 | 2021-07-26 | 图像显示方法、装置、设备、存储介质、程序及程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110190297.2A CN112967214A (zh) | 2021-02-18 | 2021-02-18 | 图像显示方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112967214A true CN112967214A (zh) | 2021-06-15 |
Family
ID=76285142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110190297.2A Pending CN112967214A (zh) | 2021-02-18 | 2021-02-18 | 图像显示方法、装置、设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112967214A (zh) |
WO (1) | WO2022174554A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022174554A1 (zh) * | 2021-02-18 | 2022-08-25 | 深圳市慧鲤科技有限公司 | 图像显示方法、装置、设备、存储介质、程序及程序产品 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103098093A (zh) * | 2010-03-29 | 2013-05-08 | 索尼公司 | 图像处理设备、方法以及程序 |
CN105741229A (zh) * | 2016-02-01 | 2016-07-06 | 成都通甲优博科技有限责任公司 | 实现人脸图像快速融合的方法 |
CN108109161A (zh) * | 2017-12-19 | 2018-06-01 | 北京奇虎科技有限公司 | 基于自适应阈值分割的视频数据实时处理方法及装置 |
CN110245199A (zh) * | 2019-04-28 | 2019-09-17 | 浙江省自然资源监测中心 | 一种大倾角视频与2d地图的融合方法 |
CN111626254A (zh) * | 2020-06-02 | 2020-09-04 | 上海商汤智能科技有限公司 | 一种展示动画触发方法及装置 |
CN111627087A (zh) * | 2020-06-03 | 2020-09-04 | 上海商汤智能科技有限公司 | 一种人脸图像的展示方法、装置、计算机设备及存储介质 |
CN112150349A (zh) * | 2020-09-23 | 2020-12-29 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、计算机设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104537608A (zh) * | 2014-12-31 | 2015-04-22 | 深圳市中兴移动通信有限公司 | 一种图像处理的方法及其装置 |
CN107707839A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法及装置 |
CN109872297A (zh) * | 2019-03-15 | 2019-06-11 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111339420A (zh) * | 2020-02-28 | 2020-06-26 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN112967214A (zh) * | 2021-02-18 | 2021-06-15 | 深圳市慧鲤科技有限公司 | 图像显示方法、装置、设备及存储介质 |
-
2021
- 2021-02-18 CN CN202110190297.2A patent/CN112967214A/zh active Pending
- 2021-07-26 WO PCT/CN2021/108342 patent/WO2022174554A1/zh unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103098093A (zh) * | 2010-03-29 | 2013-05-08 | 索尼公司 | 图像处理设备、方法以及程序 |
CN105741229A (zh) * | 2016-02-01 | 2016-07-06 | 成都通甲优博科技有限责任公司 | 实现人脸图像快速融合的方法 |
CN108109161A (zh) * | 2017-12-19 | 2018-06-01 | 北京奇虎科技有限公司 | 基于自适应阈值分割的视频数据实时处理方法及装置 |
CN110245199A (zh) * | 2019-04-28 | 2019-09-17 | 浙江省自然资源监测中心 | 一种大倾角视频与2d地图的融合方法 |
CN111626254A (zh) * | 2020-06-02 | 2020-09-04 | 上海商汤智能科技有限公司 | 一种展示动画触发方法及装置 |
CN111627087A (zh) * | 2020-06-03 | 2020-09-04 | 上海商汤智能科技有限公司 | 一种人脸图像的展示方法、装置、计算机设备及存储介质 |
CN112150349A (zh) * | 2020-09-23 | 2020-12-29 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、计算机设备及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022174554A1 (zh) * | 2021-02-18 | 2022-08-25 | 深圳市慧鲤科技有限公司 | 图像显示方法、装置、设备、存储介质、程序及程序产品 |
Also Published As
Publication number | Publication date |
---|---|
WO2022174554A1 (zh) | 2022-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11670033B1 (en) | Generating a background that allows a first avatar to take part in an activity with a second avatar | |
US11138796B2 (en) | Systems and methods for contextually augmented video creation and sharing | |
JP6792039B2 (ja) | 拡張現実および仮想現実のためのシステムおよび方法 | |
JP6499154B2 (ja) | 拡張現実および仮想現実のためのシステムおよび方法 | |
US20180173404A1 (en) | Providing a user experience with virtual reality content and user-selected, real world objects | |
CN110850983A (zh) | 视频直播中的虚拟对象控制方法、装置和存储介质 | |
CN114981844A (zh) | 3d身体模型生成 | |
CN111640202B (zh) | 一种ar场景特效生成的方法及装置 | |
WO2022227393A1 (zh) | 图像拍摄方法及装置、电子设备和计算机可读存储介质 | |
JP6366626B2 (ja) | 生成装置、生成方法、及び生成プログラム | |
CN106127828A (zh) | 一种增强现实的处理方法、装置及移动终端 | |
JP6730461B2 (ja) | 情報処理システム及び情報処理装置 | |
CN113487709A (zh) | 一种特效展示方法、装置、计算机设备以及存储介质 | |
CN112967214A (zh) | 图像显示方法、装置、设备及存储介质 | |
CN107203646A (zh) | 一种智能社交分享方法和装置 | |
JP6204315B2 (ja) | 似顔絵画像生成装置、似顔絵画像生成方法及び似顔絵画像生成プログラム | |
Metsiritrakul et al. | UP2U: program for raising awareness of phubbing problem with stimulating social interaction in public using augmented reality and computer vision | |
US20230050535A1 (en) | Volumetric video from an image source | |
Chung et al. | Development of a head-mounted mixed reality museum navigation system | |
CN113206868A (zh) | 一种多媒体信息处理方法及系统 | |
CN114051166A (zh) | 在视频中植入广告的方法、装置、电子设备和存储介质 | |
JP6857537B2 (ja) | 情報処理装置 | |
CN117291793A (zh) | 一种基于事件的人工智能个性化图像生成方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40045801 Country of ref document: HK |
|
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210615 |
|
RJ01 | Rejection of invention patent application after publication |