CN111640165A - Ar合影图像的获取方法、装置、计算机设备及存储介质 - Google Patents

Ar合影图像的获取方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111640165A
CN111640165A CN202010514660.7A CN202010514660A CN111640165A CN 111640165 A CN111640165 A CN 111640165A CN 202010514660 A CN202010514660 A CN 202010514660A CN 111640165 A CN111640165 A CN 111640165A
Authority
CN
China
Prior art keywords
frame
group photo
image
user
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010514660.7A
Other languages
English (en)
Inventor
孙红亮
王子彬
李炳泽
刘小兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202010514660.7A priority Critical patent/CN111640165A/zh
Publication of CN111640165A publication Critical patent/CN111640165A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种AR合影图像的获取方法、装置、计算机设备及存储介质,通过在显示屏幕的第一显示区域显示历史名人的AR人物特效;实时获取包括用户的视频数据,并在显示屏幕的第二区域显示所述视频数据;其中,所述视频数据中包括多帧视频帧图像;基于所述视频数据,确定至少一帧第一目标帧图像;基于所述至少一帧第一目标帧图像中的每帧第一目标帧图像、以及所述第一显示区域显示的AR人物特效,生成与所述每帧第一目标帧图像对应的第一合影图像。本公开实施例能够在用户没有感知的情况下,得到多帧用户的AR合影,在多帧AR合影中,很大概率会存在用户满足的合影,因此减少用户重复拍摄的过程,进而提高合影的效率。

Description

AR合影图像的获取方法、装置、计算机设备及存储介质
技术领域
本公开涉及图像处理技术领域,具体而言,涉及一种AR合影图像的获取方法、装置、计算机设备及存储介质。
背景技术
在一些历史展馆的AR合影体验区,可以为用户提供与历史人物进行合影的机会。在AR合影的过程中,通常分为自动合影或和手动合影两种。在自动合影时,可以在AR合影设备的展示屏幕上显示倒计时,供用户调整自身状态,并在倒计时完成时,基于在倒计时完成后捕获的用户的影像和AR特效,生成AR合影。在手动合影时,用户可以通过点击AR合影设备中用于控制合影的合影触发按钮,控制合影过程;AR合影设备基于合影触发按钮被触发后捕获的用户的影像和AR特效,生成AR合影,上述两种合影方法中,虽然用户都可以调整其在生成AR合影时的姿态,但所获得的AR合影的展示效果在很多情况下的展示效果无法达到预期,造成用户需要多次重复合影过程以得到自己满意的AR合影,进而导致合影效率低的问题。
发明内容
本公开实施例至少提供AR合影图像的获取方法、装置、计算机设备及存储介质,通过从视频数据中选取目标帧图像,并与AR人物特效进行融合生成合影,使得用户可以获取到自身最佳图像与AR人物特效的合影,增加用户满意度,提高生成合影的效率。
第一方面,本公开实施例提供了一种AR合影图像的获取方法,所述获取方法包括:
在显示屏幕的第一显示区域显示历史名人的AR人物特效;
实时获取包括用户的视频数据,并在显示屏幕的第二区域显示所述视频数据;其中,所述视频数据中包括多帧视频帧图像;
基于所述视频数据,确定至少一帧第一目标帧图像;
基于所述至少一帧第一目标帧图像中的每帧第一目标帧图像、以及所述第一显示区域显示的AR人物特效,生成与所述每帧第一目标帧图像对应的第一合影图像。
一种可选的实施方式中,所述基于所述视频数据,确定至少一帧第一目标帧图像,包括:
对所述视频数据中的多帧视频帧图像中的每帧视频帧图像进行质量检测;
基于多帧视频帧图像分别对应的质量检测结果,从所述多帧视频帧图像中,确定至少一帧第一目标帧图像。
一种可选的实施方式中,所述质量检测包括下述至少一种:亮度检测、头部姿态检测、模糊程度检测、分辨率检测、以及遮挡程度检测。
一种可选的实施方式中,所述基于多帧视频帧图像分别对应的质量检测结果,从所述多帧视频帧图像中,确定至少一帧第一目标帧图像,包括:
基于多帧视频帧图像分别对应的质量检测结果,从所述多帧视频帧图像中,确定多帧所述备选帧图像;
基于每两帧备选帧图像之间的相似度,从多帧备选帧图像中,确定至少一帧第一目标帧图像;其中任意两张所述第一目标帧图像之间的相似度,小于预设的相似度阈值。
一种可选的实施方式中,所述获取方法还包括:基于所述视频数据,检测所述用户是否做出预设的合影触发动作;
在检测到所述用户做出所述合影触发动作后,基于显示在所述第一区域显示的AR人物特效、以及显示在所述第二区域的视频帧图像,生成所述用户与所述历史名人的第二合影图像,并在所述显示屏幕上显示所述第二合影图像。
一种可选的实施方式中,在检测到所述用户做出所述合影触发动作后,所述获取方法还包括:
在所述显示屏幕上显示拍照倒计时提示信息;
所述基于显示在所述第一区域显示的AR人物特效、以及显示在所述第二区域的视频帧图像,生成所述用户与所述历史名人的第二合影图像,包括:
基于所述倒计时提示信息指示的倒计时结束时,显示在所述第二区域的视频帧图像、以及所述AR人物特效,生成所述第二合影图像。
一种可选的实施方式中,所述获取方法还包括:将多张所述第一合影图像以及所述第二合影图像存储至预设存储位置,并通过所述显示屏幕向所述用户展示用于访问所述预设存储位置的二维码。
第二方面,本公开实施例提供了一种AR合影图像的获取装置,所述获取装置包括:
第一显示模块,用于在显示屏幕的第一显示区域显示历史名人的AR人物特效;
第二显示模块,用于实时获取包括用户的视频数据,并在显示屏幕的第二区域显示所述视频数据;其中,所述视频数据中包括多帧视频帧图像;
确定模块,用于基于所述视频数据,确定至少一帧第一目标帧图像;
生成模块,用于基于所述至少一帧第一目标帧图像中的每帧第一目标帧图像、以及所述第一显示区域显示的AR人物特效,生成与所述每帧第一目标帧图像对应的第一合影图像。
一种可选的实施方式中,所述确定模块包括:
检测单元,用于对所述视频数据中的多帧视频帧图像中的每帧视频帧图像进行质量检测;
确定单元,用于基于多帧视频帧图像分别对应的质量检测结果,从所述多帧视频帧图像中,确定至少一帧第一目标帧图像。
一种可选的实施方式中,所述质量检测包括下述至少一种:亮度检测、头部姿态检测、模糊程度检测、分辨率检测、以及遮挡程度检测。
一种可选的实施方式中,所述确定单元具体用于:
基于多帧视频帧图像分别对应的质量检测结果,从所述多帧视频帧图像中,确定多帧所述备选帧图像;
基于每两帧备选帧图像之间的相似度,从多帧备选帧图像中,确定至少一帧第一目标帧图像;其中任意两张所述第一目标帧图像之间的相似度,小于预设的相似度阈值。
一种可选的实施方式中,所述获取装置还包括:
检测模块,用于基于所述视频数据,检测所述用户是否做出预设的合影触发动作;在检测到所述用户做出所述合影触发动作后,基于显示在所述第一区域显示的AR人物特效、以及显示在所述第二区域的视频帧图像,生成所述用户与所述历史名人的第二合影图像,并在所述显示屏幕上显示所述第二合影图像。
一种可选的实施方式中,所述获取装置还包括:
第三显示模块,用于在所述显示屏幕上显示拍照倒计时提示信息;
所述生成模块具体用于:
基于所述倒计时提示信息指示的倒计时结束时,显示在所述第二区域的视频帧图像、以及所述AR人物特效,生成所述第二合影图像。
一种可选的实施方式中,所述获取装置还包括:
存储模块,用于将多张所述第一合影图像以及所述第二合影图像存储至预设存储位置,并通过所述显示屏幕向所述用户展示用于访问所述预设存储位置的二维码。
第三方面,本公开实施例还提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
本公开实施例提供的AR合影图像的获取方法,通过在显示屏幕的第一显示区域显示历史名人的AR人物特效,并实时获取包括用户的视频数据,并在显示屏幕的第二区域显示所述视频数据,然后基于所述视频数据,确定至少一帧第一目标帧图像;基于所述至少一帧第一目标帧图像中的每帧第一目标帧图像、以及所述第一显示区域显示的AR人物特效,生成与所述每帧第一目标帧图像对应的第一合影图像。从而能够在用户没有感知的情况下,得到多帧用户的AR合影,在多帧AR合影中,很大概率会存在用户满足的合影,因此减少用户重复拍摄的过程,进而提高合影的效率。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种AR合影图像的获取方法的流程图;
图2示出了本公开实施例所提供的AR合影图像的获取方法中,确定第一目标帧图像的具体方法的流程图;
图3示出了本公开实施例所提供的一种AR合影图像的获取装置的示意图;
图4示出了本公开实施例所提供的AR合影图像的获取装置中,确定模块的具体示意图;
图5示出了本公开实施例所提供的另一种AR合影图像的获取装置的示意图;
图6示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
经研究发现,在目前的AR合影方法中,由于是通过用户自身调整其在生成AR合影时的姿态,其所获得的AR合影的展示效果在很多情况下的展示效果无法达到预期,造成用户需要多次重复合影过程以得到自己满意的AR合影,进而导致合影效率低的问题。
基于上述研究,本公开实施例提供了一种AR合影图像的获取方法及装置,能够在用户没有感知的情况下,得到多帧用户的AR合影,在多帧AR合影中,很大概率会存在用户满足的合影,因此减少用户重复拍摄的过程,进而提高合影的效率。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种AR合影图像的获取方法进行详细介绍,本公开实施例所提供的AR合影图像的获取方法的执行主体一般为具有一定计算能力的合影设备,该合影设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该AR合影图像的获取方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为合影设备为例对本公开实施例提供的AR合影图像的获取方法加以说明。
参见图1所示,为本公开实施例提供的AR合影图像的获取方法的流程图,所述方法包括步骤S101~S104,其中:
S101:在显示屏幕的第一显示区域显示历史名人的AR人物特效;
S102:实时获取包括用户的视频数据,并在显示屏幕的第二区域显示所述视频数据;其中,所述视频数据中包括多帧视频帧图像;
S103:基于所述视频数据,确定至少一帧第一目标帧图像;
S104:基于所述至少一帧第一目标帧图像中的每帧第一目标帧图像、以及所述第一显示区域显示的AR人物特效,生成与所述每帧第一目标帧图像对应的第一合影图像。
本公开实施例提供了一种AR合影图像的获取方法,通过在显示屏幕的第一显示区域显示历史名人的AR人物特效,并实时获取包括用户的视频数据,并在显示屏幕的第二区域显示所述视频数据,然后基于所述视频数据,确定至少一帧第一目标帧图像;基于所述至少一帧第一目标帧图像中的每帧第一目标帧图像、以及所述第一显示区域显示的AR人物特效,生成与所述每帧第一目标帧图像对应的第一合影图像。从而能够在用户没有感知的情况下,得到多帧用户的AR合影,在多帧AR合影中,很大概率会存在用户满足的合影,因此减少用户重复拍摄的过程,进而提高合影的效率。
下面分别对上述S101~S103加以详细说明。
I:在上述S101中,可以在显示屏幕的左侧或右侧确定一固定区域,用于显示历史名人的AR人物特效,也可以根据用户设定显示历史名人的AR人物特效的区域。
其中,所述历史名人的AR人物特效可以为平面贴画形式,也可以是构建的三维立体模型,具体可以包括:历史名人全身模型或半身模型或头像,还可以包括历史名人的名字、生平、代表作品等信息。这些信息例如可以作为AR合影的背景
此外,历史名人的AR人物特效还可以具有不同的动作、表情、服饰配件等,例如:拱手、抱拳、背手等动作;微笑、严肃、思考等表情;周期性或依据用户喜好进行更换的服装配饰等。此外,还可以根据用户的个人形象,基于预设算法,显示不同的历史名人影像、背景、挂件等。
对应于不同的历史人物,还可以展示其代表作品,例如:对应李白的AR人物特效,可以将其AR任务特效和其代表作品《将进酒》、《赠汪伦》等诗作中描述的场景进行融合展示,还可以将基于其作品构建背景图片,以丰富画面内容。对于一些音乐家,还可以播放器代表作品,给用户以视听享受。
II:在上述S102中,可以通过摄像头获取用户的视频数据,其中,该视频数据可以是连续画面帧,也可以是较短时间间隔所采集的多个画面帧。
其中,所述摄像头可以是设置于展示屏幕边缘的摄像头,也可以是设置于展示屏幕下的屏下摄像头。此外,还可以通过其他摄像头与展示屏幕进行联动,实时获取包括用户的视频数据,具体的,其他摄像头可以为监控摄像头。
在摄像头获取到视频数据之后,可以通过有线或无线网络,将视频数据发送至控制展示屏幕展示图像的处理器中,其中,该处理器可以为本地处理器或云端处理器,具体的,可以每一个展示屏幕对应一个处理器,也可以多个展示屏幕对应一个处理器。在多个展示屏幕对应一个处理器的情况下,所述处理器在获取到多个展示视频时,可以根据发送视频数据的摄像头信息,或是预设算法发送展示视频至对应的展示屏幕,例如,基于图像识别算法,识别出所述展示视频为某一展示屏幕前的用户,便可以将该展示图像发送至与该用户对应的展示屏幕上。
其中,第一显示区域和第二显示区域可以是严格划定的显示区域,两者之间可以存在交叠的部分;在获取用户图像后,对用户图像进行抠图得到用户的影像,并将该影像显示在第二显示区域。或者,第一显示区域和第二显示区域是在显示屏幕上非严格划定的显示区域。当用户位于指定位置时,能够通过调整自己的位置、姿态,来改变与AR人物特效之间的相互位置关系,或者互动动作等。
III:在上述S103中,由于视频数据中包括多帧图像,但是合影时只需要效果较佳的合影图像,因此需要对多帧图像进行选取,从而确定目标帧图像。
参见图2,图2为本公开实施例所提供的第一合影图像的获取方法中,确定第一目标帧图像的具体方法的流程图,具体包括步骤S1031~S1032,其中:
S1031:对所述视频数据中的多帧视频帧图像中的每帧视频帧图像进行质量检测;
S1032:基于多帧视频帧图像分别对应的质量检测结果,从所述多帧视频帧图像中,确定至少一帧第一目标帧图像。
示例性的,在S1031中,所述质量检测可以包括下述至少一种:亮度检测、头部姿态检测、模糊程度检测、分辨率检测、以及遮挡程度检测。具体的,可以基于上述质量检测指标,确定多帧视频帧图像分别对应的质量检测结果,其结果越好,越有可能被选定为目标图像。
对于亮度检测,可以基于光强传感器对亮度进行检测,还可以基于视频图像的亮暗的判断,对光强进行检测。图像的亮度过大或者过小,均会影响最终AR合影的呈现效果。
对于头部姿态检测,可以对头部的俯仰角、以及偏航角信息进行检测,具体的,可以将头部姿态信息表示为:(yaw,pitch,roll),其中,yaw表示俯仰角,也即人抬头、低头的角度;pitch表示偏航角,基于上述角度,检测头部姿态。头部的俯仰角、和偏航角过大或者过小,都会影响AR合影的呈现效果。
对于模糊程度检测,可以基于模糊程度检测算法、或检测模型对视频图像进行检测,此外,还可以根据是否能识别出人脸中的关键点信息,来进行模糊程度检测。图像的模糊程度过大,则会影响AR合影的呈现效果。
对于分辨率检测,可以基于分辨率检测算法、或检测模型对视频图像进行检测,此外,还可以根据是否能识别出人脸信息,来进行分辨率检测。其中,分辨率过小则用户的在合影中的影像过小,分辨率过大,则用户在合影中的影像过大,均会造成用户的影像和AR人物特效之间不均衡的问题,影响AR合影的呈现效果。
对于遮挡程度检测,可以对视频图像中脸部进行关键点检测,具体的,可以识别脸部图像中的多个头部关键点;然后根据脸部关键点在脸部图像中的坐标,确定脸部遮挡信息。此外,可以将获取到的脸部图像输入至训练好的脸部关键点检测模型当中。具体的,可以通过将不同遮挡程度的脸部图像的样本输入至脸部关键点检测模型中,并将检测结果与样本相比对,基于比对结果,调整检测模型的参数,直至检测结果与样本相匹配,完成训练过程,得到训练好的脸部关键点检测模型。若人脸的遮挡程度过大,例如存在口罩、肢体等遮挡的情况下,均可能会影响AR合影的呈现效果。
综合上述至少一种质量检测的结果,将其中呈现效果较好的第一目标帧图像视频数据中筛选出来。
在本公开另一实施例中,为了使得第一目标帧图像呈现出更多的多样性,方便用户选择,在本公开另一实施例中,在对视频数据的各帧视频帧图像进行质量检测外,还可以基于不同视频帧图像之间的相似度,来确定目标帧图像。示例性的,基于多帧视频帧图像分别对应的质量检测结果,从所述多帧视频帧图像中,确定多帧所述备选帧图像。基于每两帧备选帧图像之间的相似度,从多帧备选帧图像中,确定至少一帧第一目标帧图像;其中任意两张所述第一目标帧图像之间的相似度,小于预设的相似度阈值。
在具体实施中,确定备选帧图像的方式,与上述实施例中基于质量检测结果确定第一目标帧图像的过程类似,在此不再赘述。
由于相邻时间图像对应的状态相同或类似,故而相邻时间图像极有可能具有相同的质量检测结果,因此,需要判断两帧备选帧图像之间的相似度,以减少相同或者相似度较高的第一目标帧图像的概率。
具体的,若两张所述第一目标帧图像之间的相似度大于预设的相似度阈值,则可以认为两张图像相同或极为相似,可以对任一进行删除,以减少后续处理的图像数量。
在具体实施中,例如可以利用特征提取网络对各帧备选帧图像进行特征提取处理,得到各帧备选帧图像分别对应的特征图;然后计算每两帧备选帧图像的特征图之间的相似度。
此处,该相似度例如可以通过特征图之间的欧式距离、马氏距离、余弦距离等中任一种表征。
IV:在上述S104中,在基于第一目标帧图像、以及AR人物特效生成第一合影图像时,是在用户无感知的状态下自动生成的。
在本公开另一实施例中,为了增加与用户之间的交互性,还可以在检测到用户做出预设的合影触发动作后,生成第二合影图像。具体地:
在检测到所述用户做出所述合影触发动作后,基于显示在所述第一区域显示的AR人物特效、以及显示在所述第二区域的视频帧图像,生成所述用户与所述历史名人的第二合影图像,并在所述显示屏幕上显示所述第二合影图像。
示例性的,合影触发动作例如可以包括:抱拳、招手等,具体可以根据实际的需要进行设定。在检测到用户做出对应的合影触发动作后,生成第二合影图像。
此外,在检测到所述用户做出所述合影触发动作后,还可以在所述显示屏幕上显示拍照倒计时提示信息。
在该种情况下,所述基于显示在所述第一区域显示的AR人物特效、以及显示在所述第二区域的视频帧图像,生成所述用户与所述历史名人的第二合影图像,包括:
基于所述倒计时提示信息指示的倒计时结束时,显示在所述第二区域的视频帧图像、以及所述AR人物特效,生成所述第二合影图像。
具体的,所述摄像头可以一直处于开启状态,当检测到出发动作时开始拍摄图像,在倒计时结束后,停止拍摄,并记录该时间段内的图像。或者,当检测到出发动作时开始拍摄图像时,开启摄像头,并在倒计时结束后,关闭摄像头,并记录该时间段内的图像。
在停止拍摄之后,将多张所述第一合影图像以及所述第二合影图像存储至预设存储位置,并通过所述显示屏幕向所述用户展示用于访问所述预设存储位置的二维码。
具体的,用户可以通过扫描二维码查看第一AR合影图像和第二AR合影图像,并从中选取最满意的一张AR合影图像,还可以进行下载、打印操作。当进行下载、打印操作时,还可以提示出收费二维码,供用户支付费用。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与合影方法对应的合影装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述合影方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图3、4、5所示,图3为本公开实施例提供的一种AR合影图像的获取装置的示意图;图4为本公开实施例所提供的AR合影图像的获取装置中,确定模块的具体示意图;图5为本公开实施例提供的另一种合影装置的示意图。所述AR合影图像的获取装置包括:第一显示模块310、第二显示模块320、确定模块330以及生成模块340,其中:
第一显示模块310,用于在显示屏幕的第一显示区域显示历史名人的AR人物特效;
第二显示模块320,用于实时获取包括用户的视频数据,并在显示屏幕的第二区域显示所述视频数据;其中,所述视频数据中包括多帧视频帧图像;
确定模块330,用于基于所述视频数据,确定至少一帧第一目标帧图像;
生成模块340,用于基于所述至少一帧第一目标帧图像中的每帧第一目标帧图像、以及所述第一显示区域显示的AR人物特效,生成与所述每帧第一目标帧图像对应的第一合影图像。
本公开实施例提供了一种AR合影图像的获取装置,通过从视频数据中选取目标帧图像,并与AR人物特效进行融合生成合影,能够在用户没有感知的情况下,得到多帧用户的AR合影,在多帧AR合影中,很大概率会存在用户满足的合影,因此减少用户重复拍摄的过程,进而提高合影的效率。
一种可选的实施方式中,如图4所示,所述确定模块330包括:
检测单元331,用于对所述视频数据中的多帧视频帧图像中的每帧视频帧图像进行质量检测;
确定单元332,用于基于多帧视频帧图像分别对应的质量检测结果,从所述多帧视频帧图像中,确定至少一帧第一目标帧图像。
一种可选的实施方式中,所述质量检测包括下述至少一种:亮度检测、头部姿态检测、模糊程度检测、分辨率检测、以及遮挡程度检测。
一种可选的实施方式中,所述确定单元331具体用于:
基于多帧视频帧图像分别对应的质量检测结果,从所述多帧视频帧图像中,确定多帧所述备选帧图像;
基于每两帧备选帧图像之间的相似度,从多帧备选帧图像中,确定至少一帧第一目标帧图像;其中任意两张所述第一目标帧图像之间的相似度,小于预设的相似度阈值。
一种可选的实施方式中,如图5所示,所述获取装置还包括:
检测模块350,用于基于所述视频数据,检测所述用户是否做出预设的合影触发动作;在检测到所述用户做出所述合影触发动作后,基于显示在所述第一区域显示的AR人物特效、以及显示在所述第二区域的视频帧图像,生成所述用户与所述历史名人的第二合影图像,并在所述显示屏幕上显示所述第二合影图像。
一种可选的实施方式中,所述获取装置还包括:
第三显示模块360,用于在所述显示屏幕上显示拍照倒计时提示信息;
所述生成模块340具体用于:
基于所述倒计时提示信息指示的倒计时结束时,显示在所述第二区域的视频帧图像、以及所述AR人物特效,生成所述第二合影图像。
一种可选的实施方式中,所述获取装置还包括:
存储模块370,用于将多张所述第一合影图像以及所述第二合影图像存储至预设存储位置,并通过所述显示屏幕向所述用户展示用于访问所述预设存储位置的二维码。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
本公开实施例还提供了一种计算机设备10,如图6所示,为本公开实施例提供的计算机设备10结构示意图,包括:
处理器11和存储器12;所述存储器12存储有所述处理器11可执行的机器可读指令,当计算机设备运行时,所述机器可读指令被所述处理器执行以实现下述步骤:
在显示屏幕的第一显示区域显示历史名人的AR人物特效;
实时获取包括用户的视频数据,并在显示屏幕的第二区域显示所述视频数据;其中,所述视频数据中包括多帧视频帧图像;
基于所述视频数据,确定至少一帧第一目标帧图像;
基于所述至少一帧第一目标帧图像中的每帧第一目标帧图像、以及所述第一显示区域显示的AR人物特效,生成与所述每帧第一目标帧图像对应的第一合影图像。
一种可选的实施方式中,处理器11执行的指令中,所述基于所述视频数据,确定至少一帧第一目标帧图像,包括:
对所述视频数据中的多帧视频帧图像中的每帧视频帧图像进行质量检测;
基于多帧视频帧图像分别对应的质量检测结果,从所述多帧视频帧图像中,确定至少一帧第一目标帧图像。
一种可选的实施方式中,处理器11执行的指令中,所述质量检测包括下述至少一种:亮度检测、头部姿态检测、模糊程度检测、分辨率检测、以及遮挡程度检测。
一种可选的实施方式中,处理器11执行的指令中,所述基于多帧视频帧图像分别对应的质量检测结果,从所述多帧视频帧图像中,确定至少一帧第一目标帧图像,包括:
基于多帧视频帧图像分别对应的质量检测结果,从所述多帧视频帧图像中,确定多帧所述备选帧图像;
基于每两帧备选帧图像之间的相似度,从多帧备选帧图像中,确定至少一帧第一目标帧图像;其中任意两张所述第一目标帧图像之间的相似度,小于预设的相似度阈值。
一种可选的实施方式中,处理器11执行的指令中,所述获取方法还包括:基于所述视频数据,检测所述用户是否做出预设的合影触发动作;
在检测到所述用户做出所述合影触发动作后,基于显示在所述第一区域显示的AR人物特效、以及显示在所述第二区域的视频帧图像,生成所述用户与所述历史名人的第二合影图像,并在所述显示屏幕上显示所述第二合影图像。
一种可选的实施方式中,处理器11执行的指令中,在检测到所述用户做出所述合影触发动作后,所述获取方法还包括:
在所述显示屏幕上显示拍照倒计时提示信息;
所述基于显示在所述第一区域显示的AR人物特效、以及显示在所述第二区域的视频帧图像,生成所述用户与所述历史名人的第二合影图像,包括:
基于所述倒计时提示信息指示的倒计时结束时,显示在所述第二区域的视频帧图像、以及所述AR人物特效,生成所述第二合影图像。
一种可选的实施方式中,处理器11执行的指令中,所述获取方法还包括:将多张所述第一合影图像以及所述第二合影图像存储至预设存储位置,并通过所述显示屏幕向所述用户展示用于访问所述预设存储位置的二维码。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的第一合影图像的获取方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的第一合影图像的获取方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的第一合影图像的获取方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种AR合影图像的获取方法,其特征在于,所述获取方法包括:
在显示屏幕的第一显示区域显示历史名人的AR人物特效;
实时获取包括用户的视频数据,并在显示屏幕的第二区域显示所述视频数据;其中,所述视频数据中包括多帧视频帧图像;
基于所述视频数据,确定至少一帧第一目标帧图像;
基于所述至少一帧第一目标帧图像中的每帧第一目标帧图像、以及所述第一显示区域显示的AR人物特效,生成与所述每帧第一目标帧图像对应的第一合影图像。
2.根据权利要求1所述的获取方法,其特征在于,所述基于所述视频数据,确定至少一帧第一目标帧图像,包括:
对所述视频数据中的多帧视频帧图像中的每帧视频帧图像进行质量检测;
基于多帧视频帧图像分别对应的质量检测结果,从所述多帧视频帧图像中,确定至少一帧第一目标帧图像。
3.根据权利要求2所述的获取方法,其特征在于,所述质量检测包括下述至少一种:亮度检测、头部姿态检测、模糊程度检测、分辨率检测、以及遮挡程度检测。
4.根据权利要求2或3所述的获取方法,其特征在于,所述基于多帧视频帧图像分别对应的质量检测结果,从所述多帧视频帧图像中,确定至少一帧第一目标帧图像,包括:
基于多帧视频帧图像分别对应的质量检测结果,从所述多帧视频帧图像中,确定多帧所述备选帧图像;
基于每两帧备选帧图像之间的相似度,从多帧备选帧图像中,确定至少一帧第一目标帧图像;其中任意两张所述第一目标帧图像之间的相似度,小于预设的相似度阈值。
5.根据权利要求1-4任一项所述的获取方法,其特征在于,所述获取方法还包括:基于所述视频数据,检测所述用户是否做出预设的合影触发动作;
在检测到所述用户做出所述合影触发动作后,基于显示在所述第一区域显示的AR人物特效、以及显示在所述第二区域的视频帧图像,生成所述用户与所述历史名人的第二合影图像,并在所述显示屏幕上显示所述第二合影图像。
6.根据权利要求5所述的获取方法,其特征在于,在检测到所述用户做出所述合影触发动作后,所述获取方法还包括:
在所述显示屏幕上显示拍照倒计时提示信息;
所述基于显示在所述第一区域显示的AR人物特效、以及显示在所述第二区域的视频帧图像,生成所述用户与所述历史名人的第二合影图像,包括:
基于所述倒计时提示信息指示的倒计时结束时,显示在所述第二区域的视频帧图像、以及所述AR人物特效,生成所述第二合影图像。
7.根据权利要求1-6任一项所述的获取方法,其特征在于,所述获取方法还包括:将多张所述第一合影图像以及所述第二合影图像存储至预设存储位置,并通过所述显示屏幕向所述用户展示用于访问所述预设存储位置的二维码。
8.一种AR合影图像的获取装置,其特征在于,所述获取装置包括:
第一显示模块,用于在显示屏幕的第一显示区域显示历史名人的AR人物特效;
第二显示模块,用于实时获取包括用户的视频数据,并在显示屏幕的第二区域显示所述视频数据;其中,所述视频数据中包括多帧视频帧图像;
确定模块,用于基于所述视频数据,确定至少一帧第一目标帧图像;
生成模块,用于基于所述至少一帧第一目标帧图像中的每帧第一目标帧图像、以及所述第一显示区域显示的AR人物特效,生成与所述每帧第一目标帧图像对应的第一合影图像。
9.一种计算机设备,其特征在于,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述处理器执行如权利要求1至7任一项所述的第一合影图像的获取方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被计算机设备运行时,所述计算机设备执行如权利要求1至7任一项所述的第一合影图像的获取方法的步骤。
CN202010514660.7A 2020-06-08 2020-06-08 Ar合影图像的获取方法、装置、计算机设备及存储介质 Pending CN111640165A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010514660.7A CN111640165A (zh) 2020-06-08 2020-06-08 Ar合影图像的获取方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010514660.7A CN111640165A (zh) 2020-06-08 2020-06-08 Ar合影图像的获取方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN111640165A true CN111640165A (zh) 2020-09-08

Family

ID=72332225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010514660.7A Pending CN111640165A (zh) 2020-06-08 2020-06-08 Ar合影图像的获取方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111640165A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112437226A (zh) * 2020-09-15 2021-03-02 上海传英信息技术有限公司 图像处理方法、设备及存储介质
CN112906467A (zh) * 2021-01-15 2021-06-04 深圳市慧鲤科技有限公司 合影图像生成方法及装置、电子设备和存储介质
CN112991157A (zh) * 2021-03-30 2021-06-18 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
CN113205779A (zh) * 2021-03-31 2021-08-03 珠海全志科技股份有限公司 适用于电子墨水屏的多屏同步控制方法、装置及系统
WO2023116799A1 (zh) * 2021-12-23 2023-06-29 北京字跳网络技术有限公司 一种视频显示方法、装置及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102420941A (zh) * 2011-11-18 2012-04-18 深圳市万兴软件有限公司 一种自动拍照方法和装置
CN104904195A (zh) * 2012-09-12 2015-09-09 2Mee有限公司 增强现实的设备和方法
CN105827951A (zh) * 2016-01-29 2016-08-03 维沃移动通信有限公司 一种运动对象拍照方法及移动终端
CN106127167A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实中目标对象的识别方法、装置及移动终端
CN107911614A (zh) * 2017-12-25 2018-04-13 腾讯数码(天津)有限公司 一种基于手势的图像拍摄方法、装置和存储介质
CN108737715A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 一种拍照方法及装置
WO2019120032A1 (zh) * 2017-12-21 2019-06-27 Oppo广东移动通信有限公司 模型构建方法、拍照方法、装置、存储介质及终端
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN110879979A (zh) * 2019-11-13 2020-03-13 泉州师范学院 一种基于移动终端的增强现实系统
CN111026261A (zh) * 2018-10-09 2020-04-17 上海奈飒翱网络科技有限公司 一种旅游景点ar互动展示的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102420941A (zh) * 2011-11-18 2012-04-18 深圳市万兴软件有限公司 一种自动拍照方法和装置
CN104904195A (zh) * 2012-09-12 2015-09-09 2Mee有限公司 增强现实的设备和方法
CN105827951A (zh) * 2016-01-29 2016-08-03 维沃移动通信有限公司 一种运动对象拍照方法及移动终端
CN106127167A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实中目标对象的识别方法、装置及移动终端
WO2019120032A1 (zh) * 2017-12-21 2019-06-27 Oppo广东移动通信有限公司 模型构建方法、拍照方法、装置、存储介质及终端
CN107911614A (zh) * 2017-12-25 2018-04-13 腾讯数码(天津)有限公司 一种基于手势的图像拍摄方法、装置和存储介质
CN108737715A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 一种拍照方法及装置
CN111026261A (zh) * 2018-10-09 2020-04-17 上海奈飒翱网络科技有限公司 一种旅游景点ar互动展示的方法
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN110879979A (zh) * 2019-11-13 2020-03-13 泉州师范学院 一种基于移动终端的增强现实系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112437226A (zh) * 2020-09-15 2021-03-02 上海传英信息技术有限公司 图像处理方法、设备及存储介质
CN112437226B (zh) * 2020-09-15 2022-09-16 上海传英信息技术有限公司 图像处理方法、设备及存储介质
CN112906467A (zh) * 2021-01-15 2021-06-04 深圳市慧鲤科技有限公司 合影图像生成方法及装置、电子设备和存储介质
CN112991157A (zh) * 2021-03-30 2021-06-18 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
CN113205779A (zh) * 2021-03-31 2021-08-03 珠海全志科技股份有限公司 适用于电子墨水屏的多屏同步控制方法、装置及系统
CN113205779B (zh) * 2021-03-31 2022-06-10 珠海全志科技股份有限公司 适用于电子墨水屏的多屏同步控制方法、装置及系统
WO2023116799A1 (zh) * 2021-12-23 2023-06-29 北京字跳网络技术有限公司 一种视频显示方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN111640165A (zh) Ar合影图像的获取方法、装置、计算机设备及存储介质
CN106161939B (zh) 一种照片拍摄方法及终端
KR101731771B1 (ko) 버스트 포토 캡처된 세트로부터 키퍼 이미지의 자동 선택
CN107370942B (zh) 拍照方法、装置、存储介质及终端
CN106375674B (zh) 寻找和使用与相邻静态图像相关的视频部分的方法和装置
CN107483834B (zh) 一种图像处理方法、连拍方法及装置和相关介质产品
CN108830892B (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
CN113507621A (zh) 直播方法、装置、系统、计算机设备以及存储介质
KR20180111970A (ko) 타겟 대상 표시 방법 및 디바이스
CN112019739A (zh) 一种拍摄控制方法、装置、电子设备及存储介质
CN111640166A (zh) 一种ar合影方法、装置、计算机设备及存储介质
CN108600610A (zh) 拍摄辅助方法和装置
CN108234865A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN111625100A (zh) 图画内容的呈现方法、装置、计算机设备及存储介质
CN111279684A (zh) 拍摄控制方法及电子装置
CN110868538A (zh) 推荐拍摄姿态的方法和电子设备
CN111640167A (zh) 一种ar合影方法、装置、计算机设备及存储介质
CN111638798A (zh) 一种ar合影方法、装置、计算机设备及存储介质
KR20120030371A (ko) 이미지 수정을 갖는 카메라 장치
CN111800574B (zh) 成像方法、装置和电子设备
CN110047115B (zh) 星辰图像拍摄方法、装置、计算机设备和存储介质
CN112991157B (zh) 图像处理方法、装置、电子设备及存储介质
CN113012040B (zh) 图像处理方法、装置、电子设备及存储介质
CN115623313A (zh) 图像处理方法、图像处理装置、电子设备、存储介质
CN112702520B (zh) 对象合照方法及装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination