CN115705617A - 远程合照方法、装置、设备及存储介质 - Google Patents
远程合照方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115705617A CN115705617A CN202110918745.6A CN202110918745A CN115705617A CN 115705617 A CN115705617 A CN 115705617A CN 202110918745 A CN202110918745 A CN 202110918745A CN 115705617 A CN115705617 A CN 115705617A
- Authority
- CN
- China
- Prior art keywords
- image frame
- user
- current
- terminal
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
本申请提供了一种远程合照方法、装置、设备及存储介质,包括:第一终端对第一用户进行自拍拍摄,并向至少一个第二终端发送远程合拍请求,远程合拍请求用于请求至少一个第二终端对应的至少一个第二用户进行自拍拍摄;第一终端向服务器发送第一用户的当前自拍图像帧;第一终端接收服务器发送的当前拼接图像帧,当前拼接图像帧是服务器对第一用户的当前自拍图像帧和至少一个第二用户各自的当前前景图像帧融合拼接得到的图像帧,每个第二用户的当前前景图像帧是服务器对每个第二用户的当前自拍图像帧进行图像分割后得到的前景图像帧;第一终端显示当前拼接图像帧;第一终端获取拍摄操作,以拍摄得到当前拼接图像帧,从而可以实现远程合照。
Description
技术领域
本申请实施例涉及互联网技术领域,尤其一种远程合照方法、装置、设备及存储介质。
背景技术
随着美颜相机应用(Application,APP)技术的不断进步,目前的美颜相机APP的功能越来越多,例如:用户可以通过美颜相机APP选择不同的滤镜、进行磨皮、瘦脸、补妆等等。然而,目前的美颜相机APP不能实现远程合照的功能。
发明内容
本申请提供一种远程合照方法、装置、设备及存储介质,从而可以实现远程合照。
第一方面,提供一种远程合照方法,包括:第一终端对第一用户进行自拍拍摄,并向至少一个第二终端发送远程合拍请求,远程合拍请求用于请求至少一个第二终端对应的至少一个第二用户进行自拍拍摄;第一终端向服务器发送第一用户的当前自拍图像帧;第一终端接收服务器发送的当前拼接图像帧,当前拼接图像帧是服务器对第一用户的当前自拍图像帧和至少一个第二用户各自的当前前景图像帧融合拼接得到的图像帧,每个第二用户的当前前景图像帧是服务器对每个第二用户的当前自拍图像帧进行图像分割后得到的前景图像帧;第一终端显示当前拼接图像帧;第一终端根据第一终端的确认操作,得到当前拼接图像帧。
第二方面,提供一种远程合照方法,包括:第二终端接收第一终端发送的远程合拍请求;第二终端根据远程合拍请求对应的第二用户进行自拍拍摄;第二终端向服务器发送第二用户的当前自拍图像帧;第二终端接收服务器发送的当前拼接图像帧,当前拼接图像帧是服务器对第一终端对应的第一用户的当前自拍图像帧和至少一个第二用户各自的当前前景图像帧融合拼接得到的图像帧,每个第二用户的当前前景图像帧是服务器对每个第二用户的当前自拍图像帧进行图像分割后得到的前景图像帧;第二终端显示当前拼接图像帧;第二终端根据第二终端的确认操作,得到当前拼接图像帧。
第三方面,提供一种远程合照方法,包括:服务器获取第一用户的当前自拍图像帧和至少一个第二用户的当前自拍图像帧;服务器对每个第二用户的当前自拍图像帧进行图像分割,以得到每个第二用户的当前前景图像帧;服务器对第一用户的当前自拍图像帧和至少一个第二用户各自的当前前景图像帧融合拼接,以得到当前拼接图像帧;服务器向第一用户对应的第一终端和至少一个第二用户各自对应的第二终端发送当前拼接图像帧。
第四方面,提供一种终端设备,终端设备为第一终端,包括:拍摄模块、发送模块、接收模块、显示模块和获取模块;拍摄模块用于对第一用户进行自拍拍摄;发送模块用于向至少一个第二终端发送远程合拍请求,远程合拍请求用于请求至少一个第二终端对应的至少一个第二用户进行自拍拍摄;发送模块还用于向服务器发送第一用户的当前自拍图像帧;接收模块用于接收服务器发送的当前拼接图像帧,当前拼接图像帧是服务器对第一用户的当前自拍图像帧和至少一个第二用户各自的当前前景图像帧融合拼接得到的图像帧,每个第二用户的当前前景图像帧是服务器对每个第二用户的当前自拍图像帧进行图像分割后得到的前景图像帧;显示模块用于显示当前拼接图像帧;获取模块用于根据第一终端的确认操作,得到当前拼接图像帧。
第五方面,提供一种终端设备,终端设备为第二终端,包括:拍摄模块、发送模块、接收模块、显示模块和获取模块;接收模块用于接收第一终端发送的远程合拍请求;拍摄模块用于根据远程合拍请求对应的第二用户进行自拍拍摄;发送模块用于向服务器发送第二用户的当前自拍图像帧;接收模块还用于接收服务器发送的当前拼接图像帧,当前拼接图像帧是服务器对第一终端对应的第一用户的当前自拍图像帧和至少一个第二用户各自的当前前景图像帧融合拼接得到的图像帧,每个第二用户的当前前景图像帧是服务器对每个第二用户的当前自拍图像帧进行图像分割后得到的前景图像帧;显示模块用于显示当前拼接图像帧;获取模块用于根据第二终端的确认操作,得到当前拼接图像帧。
第六方面,提供一种服务器,包括:获取模块、图像分割模块、融合拼接模块和发送模块;获取模块用于获取第一用户的当前自拍图像帧和至少一个第二用户的当前自拍图像帧;图像分割模块用于对每个第二用户的当前自拍图像帧进行图像分割,以得到每个第二用户的当前前景图像帧;融合拼接模块用于对第一用户的当前自拍图像帧和至少一个第二用户各自的当前前景图像帧融合拼接,以得到当前拼接图像帧;发送模块用于向第一用户对应的第一终端和至少一个第二用户各自对应的第二终端发送当前拼接图像帧。
第七方面,提供一种终端设备,该终端设备可以是第一终端,包括:处理器和存储器,该存储器用于存储计算机程序,该处理器用于调用并运行该存储器中存储的计算机程序,执行如第一方面或其各实现方式中的方法。
第八方面,提供一种终端设备,该终端设备可以是第二终端,包括:处理器和存储器,该存储器用于存储计算机程序,该处理器用于调用并运行该存储器中存储的计算机程序,执行如第二方面或其各实现方式中的方法。
第九方面,提供一种服务器,包括:处理器和存储器,该存储器用于存储计算机程序,该处理器用于调用并运行该存储器中存储的计算机程序,执行如第三方面或其各实现方式中的方法。
第十方面,提供一种计算机可读存储介质,用于存储计算机程序,计算机程序使得计算机执行如第一方面、第二方面、第三方面或其各实现方式中的方法。
第十一方面,提供一种计算机程序产品,包括计算机程序指令,该计算机程序指令使得计算机执行如第一方面、第二方面、第三方面或其各实现方式中的方法。
第十二方面,提供一种计算机程序,计算机程序使得计算机执行如第一方面、第二方面、第三方面或其各实现方式中的方法。
综上,在本申请中,服务器可以对多个用户的自拍图像进行图像分割和融合,以生成多个用户的合照,从而可以实现远程合照。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用场景图;
图2为本申请实施例提供的一种远程合照方法的交互流程图;
图3为本申请实施例提供的一种界面图;
图4为本申请实施例提供的另一种界面图;
图5为本申请实施例提供的再一种界面图;
图6为本申请实施例提供的又一种界面图;
图7为本申请实施例提供的一种远程合照方法的流程图;
图8为本申请实施例提供的一种系统架构图;
图9为本申请实施例提供的一种终端设备900的示意图;
图10为本申请实施例提供的一种终端设备1000的示意图;
图11为本申请实施例提供的一种服务器1100的示意图;
图12是本申请实施例提供的电子设备1200的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如上所述,目前的美颜相机APP不能实现远程合照的功能。为了解决这一技术问题,在本申请中,可以对多个用户的自拍图像进行图像分割和融合,以生成多个用户的合照。
应理解的是,本申请技术方案可以应用于如下场景,但不限于:
示例性的,图1为本申请实施例提供的一种应用场景图,如图1所示,第一终端110、第二终端120可以与服务器130进行通信,其中,第一终端110、第二终端120均有拍摄功能,服务器130具有图像处理功能,例如:图像分割、图像融合功能。
在一些可实现方式中,图1所示的应用场景中还可以包括:基站、核心网侧设备等,此外,图1示例性地示出了一个第一终端、两个第二终端、一台服务器,实际上可以包括其他数量的第一终端、第二终端和服务器,本申请对此不做限制。
在一些可实现方式中,第一终端、第二终端上安装有用于实现远程合照的APP,当然,第一终端、第二终端也可以通过网页版应用实现远程合照。用户可使用手机号、帐号、用户名以及第三方软件等进行注册,可通过手机号、帐号、用户名以及第三方软件登录该APP或者网页版应用。用户还可以通过手机号、帐号、用户名以及第三方软件等添加好友,可进行备注、删除、星标、分组等操作,本申请对此不做限制。
在一些可实现方式中,图1中的服务器130可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。本申请对此不做限制。
下面将对本申请技术方案进行详细阐述:
图2为本申请实施例提供的一种远程合照方法的交互流程图,该方法可以由如图1所示的第一终端110、第二终端120和服务器130执行,但不限于此,如图2所示,该方法包括如下步骤:
S201:第一终端对第一用户进行自拍拍摄,并向至少一个第二终端发送远程合拍请求;
S202:至少一个第二终端根据远程合拍请求对应的第二用户进行自拍拍摄;
S203:第一终端向服务器发送第一用户的当前自拍图像帧;
S204:至少一个第二终端向服务器发送对应的第二用户的当前自拍图像帧;
S205:服务器对每个第二用户的当前自拍图像帧进行图像分割,以得到每个第二用户的当前前景图像帧;
S206:服务器对第一用户的当前自拍图像帧和每个第二用户的当前前景图像帧融合拼接,以得到当前拼接图像帧;
S207:服务器向第一终端发送当前拼接图像帧;
S208:第一终端显示当前拼接图像帧;
S209:第一终端获取第一终端的确认操作,得到当前拼接图像帧。
S210:服务器向至少一个第二终端发送当前拼接图像帧;
S211:至少一个第二终端分别显示当前拼接图像帧;
S212:至少一个第二终端分别获取各自的确认操作,得到当前拼接图像帧。
应理解的是,远程合拍请求用于请求至少一个第二终端对应的第二用户进行自拍拍摄。其中,第二用户和第二终端之间可以是一一对应关系,或者,多对一的对应关系,本申请对此不做限制。
在一些可实现方式中,第一终端在对第一用户进行自拍拍摄的同时,第一终端的显示屏上可以显示如图3所示的界面,在该界面的边缘区域,如上边界位置可以显示合拍邀请图标,如图3所示,当第一用户点击该合拍邀请图标之后,第一终端的显示屏上可以显示如图4所示的界面,该界面上显示第一用户的好友列表,这时第一用户可以选择受邀用户,即在好友列表中选择至少一个第二用户。
应理解的是,本申请对合拍邀请图标在显示屏中的显示位置不做限制。
在一些可实现方式中,第一终端在对第一用户进行自拍拍摄的同时,第一用户也可以通过语音方式在好友列表中选择至少一个第二用户。
应理解的是,当第一用户选择完至少一个第二用户之后,则会触发第一终端向这至少一个第二用户对应的至少一个第二终端发送远程合拍请求。
应理解的是,第一用户的当前自拍图像帧是由当前前景图像帧和当前背景图像帧构成,其中,当前前景图像帧也可以被称为用户主体图像帧,即第一用户的主体图像帧。类似的,第二用户的当前自拍图像帧也是由当前前景图像帧和当前背景图像帧构成,其中,当前前景图像帧也可以被称为用户主体图像帧,即第二用户的主体图像帧。
在一些可实现方式中,第一终端在对第一用户进行自拍拍摄的同时,第一终端在显示屏的边缘区域可以显示至少一个形象模板;第一终端获取针对目标形象模板的选择操作,目标形象模板是至少一个形象模板中的一个形象模板;第一终端在屏幕的拍摄区域显示目标形象模板。其中,该目标形象模板可以用于限定第一用户的站位,即位置和姿势等,例如:在远程毕业照拍摄时,第一终端可以选择毕业照模板,这时第一终端可以在显示屏幕的边缘区域显示几种站位供第一用户选择。
示例性的,如图5所示,第一终端在对第一用户进行自拍拍摄的同时,第一终端的显示屏上可以显示如图5所示的界面,该界面的边缘区域,如下边界位置可以显示多种形象模板,例如:毕业照模板、聚餐照模板、团建照模板等。进一步地,当第一用户选择了某一形象模板之后,这时在第一终端的显示屏上显示如图6所示的界面,在该界面的边缘区域,如下边界位置可以显示多种站位,以供第一用户选择。
在一些可实现方式中,针对任一个第二终端,该第二终端在对其对应的第二用户进行自拍拍摄的同时,第二终端在显示屏的边缘区域可以显示至少一个形象模板;第二终端获取针对目标形象模板的选择操作,目标形象模板是至少一个形象模板中的一个形象模板;第二终端在屏幕的拍摄区域显示目标形象模板。其中,该目标形象模板可以用于限定第二用户的站位,即位置和姿势等,例如:在远程毕业照拍摄时,第二终端可以选择毕业照模板,这时第二终端可以在显示屏幕的边缘区域显示几种站位供第二用户选择。
应理解的是,第二终端显示形象模板以及在选定形象模板之后,显示多种站位的示例可参考如图5和如图6所示的示例,本申请对此不再赘述。
在一些可实现方式中,第一终端向服务器发送第一用户的当前自拍图像帧之前,第一终端上还可以显示至少一个背景模板;获取针对目标背景模板的选择操作,目标背景模板是至少一个背景模板中的一个背景模板;将第一用户的当前自拍图像帧的背景图像更新为目标背景模板。
在一些可实现方式中,上述至少一个背景模板可以存储在第一终端本地的背景库中,此外,第一用户也可以将自己喜爱的图像收藏至背景库中,以供第一终端在对背景模板的选择。
在一些可实现方式中,服务器在获取到至少一个第二用户的当前自拍图像帧之后,服务器可以采用全卷积神经网络(Fully Convolutional Networks,FCN)的图像语义分割进行实时抠图,以得到每个第二用户的当前自拍图像帧的当前前景图像帧。具体地,服务器可以将每个第二用户的当前自拍图像帧的红绿蓝(Red Green Blur,RGB)值和每个第二用户的前一自拍图像帧的二进制掩码输入至目标模型,即上述的FCN中,以得到每个第二用户的当前自拍图像帧的二进制掩码;服务器根据每个第二用户的当前自拍图像帧的二进制掩码确定每个第二用户的当前前景图像帧。
应理解的是,本申请对每个第二用户的当前自拍图像帧采用的图像分割方式不做限制。
应理解的是,由于在远程合照场景中,用户都是在自拍过程中,该自拍过程相对于是视频拍摄过程,因此,第一终端可以实时地将第一用户的自拍图像帧传输给服务器,同样的,第二终端也可以实时地将第二用户的自拍图像帧传输给服务器,因此,对于服务器而言,其可以获取到第一用户的一系列自拍图像帧,即第一用户的自拍图像帧序列,也可以获取到第二用户的一系列自拍图像帧,即第二用户的自拍图像帧序列,因此,上述每个第二用户的前一自拍图像帧指的是该第二用户的当前自拍图像帧的前一自拍图像帧,例如:当前自拍图像帧是第i个自拍图像帧,那么前一自拍图像帧指的是第i-1个自拍图像帧,其中,i=1,2……,需要说明的是,服务器可以对第1个自拍图像帧进行薄板插样和放射变换中的至少一项处理,以得到该第1个自拍图像帧的前一自拍图像帧。
应理解的是,仿射变换包括线性变换(旋转、剪切、缩放)及平移,任意的仿射变换都能表示为乘一个矩阵(线性变换),再加一个向量(平移)的形式。
应理解的是,上述薄板插样也被称为薄板样条插样。
应理解的是,其中,每个第二用户的当前自拍图像帧的二进制掩码可以表示该图像帧中的每个像素是否为人体像素,最终所有人体像素构成每个第二用户的当前前景图像帧。
应理解的是,图像语义分割需要判断图像中每个像素点的类别,以进行精确分割。即图像语义分割是像素级别的。以往用于语义分割的是卷积神经网络(ConvolutionalNeural Network,CNN),通过CNN进行语义分割时,每个像素点用包围其的对象或区域类别进行标注,但是这种方法不管是在速度上还是精度上都有很大的缺陷。FCN是对CNN的改进,即将CNN中的全连接层替换为卷积层,形成的神经网络便是FCN,其中,FCN的卷积层会学习有用的关系,会弱化或者直接丢弃无用的关系,并且该卷积块可以共用一套权重,减少重复计算,还可以降低模型复杂度,从而提高计算效率。
FCN整体的网络结构分为两个部分:全卷积部分和反卷积部分。其中全卷积部分借用了一些经典的CNN网络,如AlexNet,VGG,GoogLeNet等,并把最后的全连接层替换成卷积层,用于提取特征,形成热点图,即上述的二进制掩码;反卷积部分则是将小尺寸的热点图上采样得到原尺寸的语义分割图像。
应理解的是,由于在卷积过程中,热点图变得很小,为了得到原图像大小的稠密像素预测,需要进行上采样,例如可以采用双线性插值,而双线性插值很容易用反向卷积通过固定的卷积核来实现。反向卷积又可以被称为反卷积,也通常被称为转置卷积。
如果利用上述上采样方式对热点图进行上采样,由于该热点图太小,容易损失很多细节。因而提出增加Skips结构将热点图和FCN中中间层形成的图结合起来,从而可以在遵守全局预测的同时进行局部预测。例如:服务器可以将底层(stride 32)的预测(FCN-32s)进行2倍的上采样得到原尺寸的图像,并与从pool4层(stride 16)进行的预测融合起来,这一部分的网络被称为FCN-16s。随后将这一部分的预测再进行一次2倍的上采样并与从pool3层得到的预测融合起来,这一部分的网络被称为FCN-8s。
应理解的是,上述目标模型,即FCN模型可以通过多个训练样本训练,其中,这些训练样本中至少包括一种第一训练样本,该第一训练样本包括:一个图像帧经过仿射变换和薄板插样中至少一项处理的RGB值以及该图像帧的前一图像帧的二进制掩码以及标签,该标签指的是该图像帧的实际二进制掩码。在一些可实现方式中,这些训练样本中还可以包括另一种第二训练样本,该第一训练样本包括:一个图像帧的RGB值以及该图像帧的前一图像帧的二进制掩码以及标签,该标签指的是该图像帧的实际二进制掩码。也就是说,第二训练样本是通常意义上的训练样本,而本申请中通过对这种通常意义上的样本的RGB值采用仿射变换和薄板插样中至少一项处理,以丰富训练样本,从而可以提高目标模型的鲁棒性。
在一些可实现方式中,服务器可以采用泊松融合算法对第一用户的当前自拍图像帧和每个第二用户的当前前景图像帧融合拼接,以得到当前拼接图像帧,但不限于此。
泊松融合算法也被称为泊松混合算法,其能够在保留源图像梯度信息的同时,可以很好的融合源图像与目标图像的背景,从而达到边界处的无缝融合。例如:这类的源图像可以是每个第二用户的当前前景图像帧,而目标图像是第一用户的当前自拍图像帧。
其中,当服务器选择泊松融合算法对每个第二用户的当前前景图像帧和第一用户的当前自拍图像帧进行融合时,服务器可以计算得知每个第二用户的当前前景图像帧的散度场和梯度场,以及,第一用户的当前自拍图像帧的散度场和梯度场,通过构建泊松方程求解融合后的图像,即得到当前拼接图像帧。经过融合后的当前拼接图像帧能够无缝地融合到第一用户的当前背景图像帧中,并且当前拼接图像帧的色调和光照可以与第一用户的当前背景图像帧相一致,从而生成一张具有相同风格的合照。
应理解的是,由于在远程合照场景中,用户都是在自拍过程中,该自拍过程相对于是视频拍摄过程,因此,第一终端可以实时地将第一用户的自拍图像帧传输给服务器,同样的,第二终端也可以实时地将第二用户的自拍图像帧传输给服务器,因此,对于服务器而言,其可以获取到第一用户的一系列自拍图像帧,即第一用户的自拍图像帧序列,也可以获取到第二用户的一系列自拍图像帧,即第二用户的自拍图像帧序列,因此,服务器在对第一用户的当前自拍图像帧和每个第二用户的当前前景图像帧融合拼接融合时,是对同一时刻拍摄的第一用户的当前自拍图像帧和每个第二用户的当前前景图像帧进行融合的,例如:在时刻t0处,第一终端拍的是第一用户的第i个自拍图像帧,第二终端拍的也是第二用户的第i个自拍图像帧,因此,服务器可以对第一用户的第i个自拍图像帧和第二用户的第i个自拍图像帧进行融合。
应理解的是,服务器对第一用户的当前自拍图像帧和每个第二用户的当前前景图像帧融合拼接,指的是服务器对第一用户的当前自拍图像帧和上述所有第二用户的当前前景图像帧融合拼接。
在一些可实现方式中,服务器在对第一用户的当前自拍图像帧和至少一个第二用户各自的当前前景图像帧融合拼接时,可以向第一用户、第二用户推荐它们的形象状态,例如:服务器可以语音提示第一用户位置调整方向、姿势调整等,也可以在屏幕上显示提示信息,如指示位置调整方向、提供姿势模板等,使得各个用户都可以调整到合适的姿势、位置等,服务器在融合得到当前拼接图像之后,还可以对当前拼接图像中各个用户的形象大小进行适应性地调整。
在一些可实现方式中,服务器可以采用一见倾心(You only look once,YOLO)算法向用户推荐位置,其中,YOLO对象识别算法通过寻找图像中已有人像的位置,得到相应的留白较多位置,从而能够在受邀用户形象摆放的时候进行摆放位置的初始化推荐,保证融合后的图像不会出现人像重叠的情况,同时尽量使得位置与大小没有违和感。
应理解的是,由于在远程合照场景中,用户都是在自拍过程中,该自拍过程相对于是视频拍摄过程,因此,第一终端可以实时地将第一用户的自拍图像帧传输给服务器,同样的,第二终端也可以实时地将第二用户的自拍图像帧传输给服务器,基于此,服务器可以实时生成拼接图像帧,也就是说,在第一终端获取拍摄操作之前,第一终端会实时显示拼接图像帧,同样的,在第二终端获取拍摄操作之前,第二终端也会实时显示拼接图像帧。
在一些可实现方式中,当第一用户对当前拼接图像帧比较满意时,第一用户可以按下拍摄键,以拍摄得到当前拼接图像帧,即第一终端可以获取第一终端的确认操作,得到当前拼接图像帧,其中,该确认操作相对于是对当前拼接图像帧的截图操作。同样的,当第二用户对当前拼接图像帧比较满意时,第二用户也可以按下拍摄键,以拍摄得到当前拼接图像帧,即第二终端可以获取第二终端的确认操作,得到当前拼接图像帧,其中,该确认操作相对于是对当前拼接图像帧的截图操作。
在一些可实现方式中,当第一用户对当前拼接图像帧比较满意时,即当第一用户对当前拼接图像帧中自己的形象状态比较满意时,第一用户可以生成语音形式或者其他形式的形象锁定指令,以控制第一终端对其自己的形象状态进行锁定,例如:当第一终端获取到“锁定当前形象状态”时,第一终端将锁定第一用户当前的形象状态,这时即使第一用户的形象状态在变化,屏幕上所显示的第一用户的形象状态不变,同样的,第二用户也可以在对当前拼接图像帧比较满意时,锁定自己的形象状态。
在一些可实现方式中,当所有用户的形象被锁定时,这时第一用户可以点击拍摄键,以拍摄得到当前拼接图像帧,即第一终端可以获取第一终端的确认操作,得到当前拼接图像帧,若确定当前拼接图像帧中的第一用户和至少一个第二用户中至少一个用户的形象未被锁定,则第一终端重新对第一用户进行自拍拍摄,同时向至少一个第二终端发送远程合拍请求,以获取当前拼接图像帧的下一拼接图像帧。或者,若确定当前拼接图像帧中的第一用户和至少一个第二用户中至少一个用户的形象未被锁定,则第一终端触发未锁定用户形象的终端重新对对应的用户进行自拍拍摄,而已经锁定用户形象的终端,无需再对对应的用户进行自拍拍摄,进一步地,服务器可以重新获取未锁定用户形象的终端发送的自拍图像帧,这里称为当前自拍图像帧的下一自拍图像帧,服务器可以对该下一自拍图像帧和其他终端拍摄的自拍图像帧进行融合,以得到当前拼接图像帧的下一拼接图像帧。
应理解的是,如果未锁定用户形象的终端是第一终端,那么它向服务器发送了下一自拍图像帧后,服务器无需对该下一自拍图像帧进行图像分割。而如果未锁定用户形象的终端是任一第二终端,那么它向服务器发送了下一自拍图像帧后,服务器需要对该下一自拍图像帧进行图像分割,以得到下一前景图像帧。服务器需要对该前景图像帧、其他第二终端的前景图像帧和第一终端的自拍图像帧进行融合,以得到当前拼接图像帧的下一拼接图像帧。
在一些可实现方式中,当所有用户的形象被锁定时,第二用户也可以点击拍摄键,以拍摄得到当前拼接图像帧。即第二终端可以获取第二终端的确认操作,得到当前拼接图像帧。
在一些可实现方式中,第一用户还可以选择滤镜,对当前拼接图像帧进行美化,同样的,第一用户也可以选择滤镜,对当前拼接图像帧进行美化,其中,第一用户和第二用户选择的滤镜可以不同,也可以相同,本申请对此不做限制。
在一些可实现方式中,第一用户还可以向其他用户分享当前拼接图像帧,例如:在第一终端的显示屏上除了显示当前拼接图像帧和分享图标,第一用户可以点击该分享图标,以将当前拼接图像帧分享给第一用户的好友。同样的,第二用户还可以向其他用户分享当前拼接图像帧,例如:在第二终端的显示屏上除了显示当前拼接图像帧和分享图标,第二用户可以点击该分享图标,以将当前拼接图像帧分享给第二用户的好友。
需要说明的是,本申请对如图2所示的各个方法步骤之间的顺序不做限制,例如:S203可以在S202之前执行,S210可以在S207之前执行。
为了更加形象的说明上述远程合照过程,下面结合图7对该过程进行说明:图7为本申请实施例提供的一种远程合照方法的流程图,如图7所示,S1:第一终端对第一用户进行自拍拍摄,并向至少一个第二终端发送远程合拍请求(即第一终端发送远程合拍请求);S2:第一终端向服务器发送第一用户的当前自拍图像帧;S3:第二终端根据远程合拍请求对应的第二用户进行自拍拍摄,并将第二用户的当前自拍图像发送给服务器(即第二终端向服务器发送第二用户的当前自拍图像帧);S4:服务器对第二用户的当前自拍图像帧进行图像分割,以得到每个第二用户的当前前景图像帧;对第一用户的当前自拍图像帧和每个第二用户的当前前景图像帧融合拼接,以得到当前拼接图像帧(即服务器进行图像融合拼接);S5:终端(第一终端、第二终端)显示当前拼接图像;(可选地)S6:用户可以在对应的终端上添加滤镜等(即添加滤镜);S7:终端可以获取确认操作;(可选地),用户可以对当前拼接图像进行裁剪;S8:终端上显示最终的当前拼接图像;(可选地)S9:用户还可以分享拼接图像(即分享拼接图像)。
综上,在本申请中,服务器可以对多个用户的自拍图像进行图像分割和融合,以生成多个用户的合照,从而可以实现远程合照。此外,在本申请中,服务器可以采用FCN进行实时抠图,其中,FCN的卷积层会学习有用的关系,会弱化或者直接丢弃无用的关系,并且该卷积块可以共用一套权重,减少重复计算,还可以降低模型复杂度,从而提高计算效率。此外,用户在拍摄过程中可以选定自己满意的形象定格,这时对应终端上可以显示该定格后的形象,使得形成的拼接图像帧效果更加。各个用户可以随时更换或调整自己的位置,姿势等,而服务器可以实时获取各个终端发送的用户的自拍图像帧,以进行图像融合,从而可以保证合照用户之间互相协调,保障合照呈现的更加美观。进一步地,服务器可以对拼接图像帧采用泊松融合算法,以对用户之前的图像帧进行融合,通过这种算法,使得第二用户的前景图像帧可以无缝融合到第一用户的自拍图像帧中,并且其色调和光照可以与第一用户的自拍图像帧的背景相一致,从而使得形成的拼接图像帧显示效果更佳。更进一步地,服务器在进行图像融合时,可以向用户推荐合适的形态状态,保证合照效果更加和谐。
如上所述,第一终端、第二终端上可以安装有用于实现远程合照的APP,该APP具有混合型架构,其包括:表现层、业务层、数据层,这三个层可以位于终端设备中,即第一终端、第二终端中。示例性的,表现层以该APP作为主体框架,通过该APP内置组件来实现渲染和控制页面跳转逻辑。主要使用vue.js实现页面的组件布局、渲染和数据的呈现。并采用前后端分离方式由表现层向业务层发出应用程序接口(Application Programming Interface,API)调用请求,以完成相对应的数据处理工作。业务层可以通过spring boot框架实现请求拦截和请求响应,表现层所有请求都由上述服务器进行筛选过滤,如果涉及到需要调用第三方的业务,比如第三方登录鉴权、支付业务等,也由该服务器调用第三方接口,对信息进行包装后再回传给表现层。
数据层包括两种数据库:用于存储一般信息的MySQL数据库和用户存储海量用户日志和用户图库的MongoDB数据库,两种数据库各自独立存储,都通过Hadoop实现集群分布式部署存储,利用分布式关系型数据库(Distribute Relational Database Service,DRDS)作为中间件实现弹性存储。
应理解的是,从整个系统架构来看,整个系统分为前端显示层、API接口层、业务服务层、数据存储和运行环境,如图8所示,其中,前端显示层包括:用于实现远程合照的APP、后台管理系统和服务器监控平台,而后台管理系统和服务器监控平台都设置在服务器中,API接口层中的各个API用于实现业务服务层和前端显示层之间的交互,也就是前端显示层获取到的用户操作,可以触发服务器或者终端通过对应的API实现函数调度,即实现业务服务层中的微服务,当然,业务服务层还可以包括一些基础服务中间件等,服务器中的数据可以存储在其数据库中。
图9为本申请实施例提供的一种终端设备900的示意图,该终端设备为第一终端,如图9所示,该终端设备900包括:拍摄模块910、发送模块920、接收模块930、第一显示模块940和第一获取模块950,其中,拍摄模块910用于对第一用户进行自拍拍摄;发送模块920用于向至少一个第二终端发送远程合拍请求,远程合拍请求用于请求至少一个第二终端对应的至少一个第二用户进行自拍拍摄;发送模块920还用于向服务器发送第一用户的当前自拍图像帧;接收模块930用于接收服务器发送的当前拼接图像帧,当前拼接图像帧是服务器对第一用户的当前自拍图像帧和至少一个第二用户各自的当前前景图像帧融合拼接得到的图像帧,每个第二用户的当前前景图像帧是服务器对每个第二用户的当前自拍图像帧进行图像分割后得到的前景图像帧;第一显示模块940用于显示当前拼接图像帧;第一获取模块950用于根据第一终端的确认操作,得到当前拼接图像帧。
在一些可实现方式中,第一获取模块950具体用于:判断当前拼接图像帧中的第一用户和至少一个第二用户的形象是否被锁定;在当前拼接图像帧中的第一用户和至少一个第二用户的形象均被锁定时,根据第一终端的确认操作,得到当前拼接图像帧。
在一些可实现方式中,第一获取模块950具体用于:判断是否获取到分别针对第一用户和至少一个第二用户各自的形象锁定指令。
在一些可实现方式中,拍摄模块910还用于若确定当前拼接图像帧中的第一用户和至少一个第二用户中至少一个用户的形象未被锁定,则重新对第一用户进行自拍拍摄,同时发送模块920还用于向至少一个第二终端发送远程合拍请求,以使第一获取模块950获取当前拼接图像帧的下一拼接图像帧。
在一些可实现方式中,第一获取模块950还用于若确定当前拼接图像帧中的第一用户的形象未被锁定,则拍摄模块910还用于重新对第一用户进行自拍拍摄,以使第一获取模块950获取当前拼接图像帧的下一拼接图像帧;第一获取模块950还用于若确定当前拼接图像帧中的任一个第二用户的形象未被锁定,则发送模块920还用于向任一个第二用户对应的第二终端发送远程合拍请求,以使第一获取模块950获取当前拼接图像帧的下一拼接图像帧。
在一些可实现方式中,终端设备900还包括:第二显示模块960、第二获取模块970和更新模块980,其中,第二显示模块960用于显示至少一个背景模板;第二获取模块970用于获取针对目标背景模板的选择操作,目标背景模板是至少一个背景模板中的一个背景模板;更新模块980用于将第一用户的当前自拍图像帧的背景图像更新为目标背景模板。
应理解的是,装置实施例与方法实施例可以相互对应,类似的描述可以参照方法实施例。为避免重复,此处不再赘述。具体地,图9所示的终端设备900可以执行图2对应的第一终端侧的方法实施例,并且终端设备900中的各个模块的前述和其它操作和/或功能分别为了实现图2对应的第一终端侧的方法实施例中的相应流程,为了简洁,在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的终端设备900。应理解,该功能模块可以通过硬件形式实现,也可以通过软件形式的指令实现,还可以通过硬件和软件模块组合实现。具体地,本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成,结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。可选地,软件模块可以位于随机存储器,闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法实施例中的步骤。
图10为本申请实施例提供的一种终端设备1000的示意图,该终端设备为第二终端,如图10所示,该终端设备1000包括:拍摄模块1010、发送模块1020、接收模块1030、显示模块1040和获取模块1050;其中,接收模块1030用于接收第一终端发送的远程合拍请求;
拍摄模块1010用于根据远程合拍请求对应的第二用户进行自拍拍摄;
发送模块1020用于向服务器发送第二用户的当前自拍图像帧;
接收模块1030还用于接收服务器发送的当前拼接图像帧,当前拼接图像帧是服务器对第一终端对应的第一用户的当前自拍图像帧和至少一个第二用户各自的当前前景图像帧融合拼接得到的图像帧,每个第二用户的当前前景图像帧是服务器对每个第二用户的当前自拍图像帧进行图像分割后得到的前景图像帧;
显示模块1040用于显示当前拼接图像帧;
获取模块1050用于根据第二终端的确认操作,得到当前拼接图像帧。
在一些可实现方式中,获取模块1050具体用于:判断当前拼接图像帧中的第一用户和至少一个第二用户的形象是否被锁定;在当前拼接图像帧中的第一用户和至少一个第二用户的形象均被锁定时,根据第二终端的确认操作,得到当前拼接图像帧。
在一些可实现方式中,获取模块1050具体用于:判断是否获取到分别针对第一用户和至少一个第二用户各自的形象锁定指令。
应理解的是,装置实施例与方法实施例可以相互对应,类似的描述可以参照方法实施例。为避免重复,此处不再赘述。具体地,图10所示的终端设备1000可以执行图2对应的第二终端侧的方法实施例,并且终端设备1000中的各个模块的前述和其它操作和/或功能分别为了实现图2对应的第二终端侧的方法实施例中的相应流程,为了简洁,在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的终端设备1000。应理解,该功能模块可以通过硬件形式实现,也可以通过软件形式的指令实现,还可以通过硬件和软件模块组合实现。具体地,本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成,结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。可选地,软件模块可以位于随机存储器,闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法实施例中的步骤。
图11为本申请实施例提供的一种服务器1100的示意图,如图11所示,该服务器1100包括:第一获取模块1110、图像分割模块1120、融合拼接模块1130和发送模块1140;其中,第一获取模块1110用于获取第一用户的当前自拍图像帧和至少一个第二用户的当前自拍图像帧;图像分割模块1120用于对每个第二用户的当前自拍图像帧进行图像分割,以得到每个第二用户的当前前景图像帧;融合拼接模块1130用于对第一用户的当前自拍图像帧和至少一个第二用户各自的当前前景图像帧融合拼接,以得到当前拼接图像帧;发送模块1140用于向第一用户对应的第一终端和至少一个第二用户各自对应的第二终端发送当前拼接图像帧。
在一些可实现方式中,图像分割模块1120具体用于:将每个第二用户的当前自拍图像帧的红绿蓝RGB值和每个第二用户的前一自拍图像帧的二进制掩码输入至目标模型中,以得到每个第二用户的当前自拍图像帧的二进制掩码;根据每个第二用户的当前自拍图像帧的二进制掩码确定每个第二用户的当前前景图像帧。
在一些可实现方式中,服务器1100还包括:第二获取模块1150和训练模块1160,其中,第二获取模块1150用于获取多个训练样本;训练模块1160用于通过多个训练样本训练目标模型;其中,多个训练样本中包括至少一种第一训练样本,第一训练样本包括:训练图像帧经过仿射变换和薄板插样中至少一项处理的RGB值。
在一些可实现方式中,融合拼接模块1130具体用于:确定第一用户和至少一个第二用户的形象状态;根据第一用户和至少一个第二用户的形象状态,对第一用户的当前自拍图像帧和至少一个第二用户各自的当前前景图像帧融合拼接,以得到当前拼接图像帧。
在一些可实现方式中,第一用户和至少一个第二用户中任一用户的形象状态包括以下至少一项:位置、姿态、形象大小。
应理解的是,装置实施例与方法实施例可以相互对应,类似的描述可以参照方法实施例。为避免重复,此处不再赘述。具体地,图11所示的服务器1100可以执行图2对应的服务器侧的方法实施例,并且服务器1100中的各个模块的前述和其它操作和/或功能分别为了实现图2对应的服务器侧的方法实施例中的相应流程,为了简洁,在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的服务器1100。应理解,该功能模块可以通过硬件形式实现,也可以通过软件形式的指令实现,还可以通过硬件和软件模块组合实现。具体地,本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成,结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。可选地,软件模块可以位于随机存储器,闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法实施例中的步骤。
图12是本申请实施例提供的电子设备1200的示意性框图。该电子设备可以是上述方法实施例中的第一终端、第二终端或者服务器。
如图12所示,该电子设备1200可包括:
存储器1210和处理器1220,该存储器1210用于存储计算机程序,并将该程序代码传输给该处理器1220。换言之,该处理器1220可以从存储器1210中调用并运行计算机程序,以实现本申请实施例中的方法。
例如,该处理器1220可用于根据该计算机程序中的指令执行上述方法实施例。
在本申请的一些实施例中,该处理器1220可以包括但不限于:
通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中,该存储器1210包括但不限于:
易失性存储器和/或非易失性存储器。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
在本申请的一些实施例中,该计算机程序可以被分割成一个或多个模块,该一个或者多个模块被存储在该存储器1210中,并由该处理器1220执行,以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述该计算机程序在该电子设备中的执行过程。
如图12所示,该电子设备还可包括:
收发器1230,该收发器1230可连接至该处理器1220或存储器1210。
其中,处理器1220可以控制该收发器1230与其他设备进行通信,具体地,可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。收发器1230可以包括发射机和接收机。收发器1230还可以进一步包括天线,天线的数量可以为一个或多个。
应当理解,该电子设备中的各个组件通过总线系统相连,其中,总线系统除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。
本申请还提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说,本申请实施例还提供一种包含指令的计算机程序产品,该指令被计算机执行时使得计算机执行上述方法实施例的方法。
当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
以上该,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以该权利要求的保护范围为准。
Claims (19)
1.一种远程合照方法,其特征在于,包括:
第一终端对第一用户进行自拍拍摄,并向至少一个第二终端发送远程合拍请求,所述远程合拍请求用于请求所述至少一个第二终端对应的至少一个第二用户进行自拍拍摄;
所述第一终端向服务器发送所述第一用户的当前自拍图像帧;
所述第一终端接收所述服务器发送的当前拼接图像帧,所述当前拼接图像帧是所述服务器对所述第一用户的当前自拍图像帧和所述至少一个第二用户各自的当前前景图像帧融合拼接得到的图像帧,每个所述第二用户的当前前景图像帧是所述服务器对每个所述第二用户的当前自拍图像帧进行图像分割后得到的前景图像帧;
所述第一终端显示所述当前拼接图像帧;
所述第一终端根据所述第一终端的确认操作,得到所述当前拼接图像帧。
2.根据权利要求1所述的方法,其特征在于,所述第一终端根据所述第一终端的确认操作,得到所述当前拼接图像帧,包括:
所述第一终端判断所述当前拼接图像帧中的所述第一用户和所述至少一个第二用户的形象是否被锁定;
在所述当前拼接图像帧中的所述第一用户和所述至少一个第二用户的形象均被锁定时,所述第一终端根据所述第一终端的确认操作,得到所述当前拼接图像帧。
3.根据权利要求2所述的方法,其特征在于,所述第一终端判断所述当前拼接图像帧中的所述第一用户和所述至少一个第二用户的形象是否被锁定,包括:
所述第一终端判断是否获取到分别针对所述第一用户和所述至少一个第二用户各自的形象锁定指令。
4.根据权利要求2所述的方法,其特征在于,还包括:
若确定所述当前拼接图像帧中的所述第一用户和所述至少一个第二用户中至少一个用户的形象未被锁定,则所述第一终端重新对所述第一用户进行自拍拍摄,并向所述至少一个第二终端发送远程合拍请求,以获取所述当前拼接图像帧的下一拼接图像帧。
5.根据权利要求2所述的方法,其特征在于,还包括:
若确定所述当前拼接图像帧中的所述第一用户的形象未被锁定,则所述第一终端重新对所述第一用户进行自拍拍摄,以获取所述当前拼接图像帧的下一拼接图像帧;
若确定所述当前拼接图像帧中的任一个第二用户的形象未被锁定,则所述第一终端向所述任一个第二用户对应的第二终端发送远程合拍请求,以获取所述当前拼接图像帧的下一拼接图像帧。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述第一终端向服务器发送所述第一用户的当前自拍图像帧之前,还包括:
所述第一终端显示至少一个背景模板;
所述第一终端获取针对目标背景模板的选择操作,所述目标背景模板是所述至少一个背景模板中的一个背景模板;
所述第一终端将所述第一用户的当前自拍图像帧的背景图像更新为所述目标背景模板。
7.一种远程合照方法,其特征在于,包括:
第二终端接收第一终端发送的远程合拍请求;
所述第二终端根据所述远程合拍请求对应的第二用户进行自拍拍摄;
所述第二终端向服务器发送所述第二用户的当前自拍图像帧;
所述第二终端接收所述服务器发送的当前拼接图像帧,所述当前拼接图像帧是所述服务器对所述第一终端对应的第一用户的当前自拍图像帧和至少一个所述第二用户各自的当前前景图像帧融合拼接得到的图像帧,每个所述第二用户的当前前景图像帧是所述服务器对每个所述第二用户的当前自拍图像帧进行图像分割后得到的前景图像帧;
所述第二终端显示所述当前拼接图像帧;
所述第二终端根据所述第二终端的确认操作,得到所述当前拼接图像帧。
8.根据权利要求7所述的方法,其特征在于,所述第二终端根据所述第二终端的确认操作,得到所述当前拼接图像帧,包括:
所述第二终端判断所述当前拼接图像帧中的所述第一用户和至少一个所述第二用户的形象是否被锁定;
在所述当前拼接图像帧中的所述第一用户和至少一个所述第二用户的形象均被锁定时,所述第二终端根据所述第二终端的确认操作,得到所述当前拼接图像帧。
9.根据权利要求8所述的方法,其特征在于,所述第二终端判断所述当前拼接图像帧中的所述第一用户和至少一个所述第二用户的形象是否被锁定,包括:
所述第二终端判断是否获取到分别针对所述第一用户和所述至少一个第二用户各自的形象锁定指令。
10.一种远程合照方法,其特征在于,包括:
服务器获取第一用户的当前自拍图像帧和至少一个第二用户的当前自拍图像帧;
所述服务器对每个所述第二用户的当前自拍图像帧进行图像分割,以得到每个所述第二用户的当前前景图像帧;
所述服务器对所述第一用户的当前自拍图像帧和所述至少一个第二用户各自的当前前景图像帧融合拼接,以得到当前拼接图像帧;
所述服务器向所述第一用户对应的第一终端和所述至少一个第二用户各自对应的第二终端发送所述当前拼接图像帧。
11.根据权利要求10所述的方法,其特征在于,所述服务器对每个所述第二用户的当前自拍图像帧进行图像分割,以得到每个所述第二用户的当前前景图像帧,包括:
所述服务器将每个所述第二用户的当前自拍图像帧的红绿蓝RGB值和每个所述第二用户的前一自拍图像帧的二进制掩码输入至目标模型中,以得到每个所述第二用户的当前自拍图像帧的二进制掩码;
所述服务器根据每个所述第二用户的当前自拍图像帧的二进制掩码确定每个所述第二用户的当前前景图像帧。
12.根据权利要求11所述的方法,其特征在于,还包括:
获取多个训练样本;
通过所述多个训练样本训练所述目标模型;
其中,所述多个训练样本中包括至少一种第一训练样本,所述第一训练样本包括:训练图像帧经过仿射变换和薄板插样中至少一项处理的RGB值。
13.根据权利要求10-12任一项所述的方法,其特征在于,所述服务器对所述第一用户的当前自拍图像帧和所述至少一个第二用户各自的当前前景图像帧融合拼接,以得到当前拼接图像帧,包括:
所述服务器确定所述第一用户和所述至少一个第二用户的形象状态;
所述服务器根据所述第一用户和所述至少一个第二用户的形象状态,对所述第一用户的当前自拍图像帧和所述至少一个第二用户各自的当前前景图像帧融合拼接,以得到所述当前拼接图像帧。
14.根据权利要求13所述的方法,其特征在于,所述第一用户和所述至少一个第二用户中任一用户的形象状态包括以下至少一项:位置、姿态、形象大小。
15.一种终端设备,所述终端设备为第一终端,其特征在于,包括:拍摄模块、发送模块、接收模块、显示模块和获取模块;
所述拍摄模块用于对第一用户进行自拍拍摄;
所述发送模块用于向至少一个第二终端发送远程合拍请求,所述远程合拍请求用于请求所述至少一个第二终端对应的至少一个第二用户进行自拍拍摄;
所述发送模块还用于向服务器发送所述第一用户的当前自拍图像帧;
所述接收模块用于接收所述服务器发送的当前拼接图像帧,所述当前拼接图像帧是所述服务器对所述第一用户的当前自拍图像帧和所述至少一个第二用户各自的当前前景图像帧融合拼接得到的图像帧,每个所述第二用户的当前前景图像帧是所述服务器对每个所述第二用户的当前自拍图像帧进行图像分割后得到的前景图像帧;
所述显示模块用于显示所述当前拼接图像帧;
所述获取模块用于根据所述第一终端的确认操作,得到所述当前拼接图像帧。
16.一种终端设备,所述终端设备为第二终端,其特征在于,包括:拍摄模块、发送模块、接收模块、显示模块和获取模块;
所述接收模块用于接收第一终端发送的远程合拍请求;
所述拍摄模块用于根据所述远程合拍请求对应的第二用户进行自拍拍摄;
所述发送模块用于向服务器发送所述第二用户的当前自拍图像帧;
所述接收模块还用于接收所述服务器发送的当前拼接图像帧,所述当前拼接图像帧是所述服务器对所述第一终端对应的第一用户的当前自拍图像帧和至少一个所述第二用户各自的当前前景图像帧融合拼接得到的图像帧,每个所述第二用户的当前前景图像帧是所述服务器对每个所述第二用户的当前自拍图像帧进行图像分割后得到的前景图像帧;
所述显示模块用于显示所述当前拼接图像帧;
所述获取模块用于根据所述第二终端的确认操作,得到所述当前拼接图像帧。
17.一种服务器,其特征在于,包括:获取模块、图像分割模块、融合拼接模块和发送模块;
所述获取模块用于获取第一用户的当前自拍图像帧和至少一个第二用户的当前自拍图像帧;
所述图像分割模块用于对每个所述第二用户的当前自拍图像帧进行图像分割,以得到每个所述第二用户的当前前景图像帧;
所述融合拼接模块用于对所述第一用户的当前自拍图像帧和所述至少一个第二用户各自的当前前景图像帧融合拼接,以得到当前拼接图像帧;
所述发送模块用于向所述第一用户对应的第一终端和所述至少一个第二用户各自对应的第二终端发送所述当前拼接图像帧。
18.一种电子设备,其特征在于,包括:
处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行权利要求1至14中任一项所述的方法。
19.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序使得计算机执行如权利要求1至14中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110918745.6A CN115705617A (zh) | 2021-08-11 | 2021-08-11 | 远程合照方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110918745.6A CN115705617A (zh) | 2021-08-11 | 2021-08-11 | 远程合照方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115705617A true CN115705617A (zh) | 2023-02-17 |
Family
ID=85179731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110918745.6A Pending CN115705617A (zh) | 2021-08-11 | 2021-08-11 | 远程合照方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115705617A (zh) |
-
2021
- 2021-08-11 CN CN202110918745.6A patent/CN115705617A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111510645B (zh) | 视频处理方法、装置、计算机可读介质和电子设备 | |
KR101253283B1 (ko) | 고해상도 영상 재구성 방법 및 시스템 | |
US10504264B1 (en) | Method and system for combining images | |
CN113411498B (zh) | 图像拍摄方法、移动终端及存储介质 | |
CN105005599A (zh) | 一种照片分享方法及移动终端 | |
CN108986009A (zh) | 图片的生成方法、装置及电子设备 | |
CN103167258A (zh) | 用于选择图像捕获装置上捕获的图像的方法、系统和设备 | |
CN114096994A (zh) | 图像对齐方法及装置、电子设备、存储介质 | |
CN112651475A (zh) | 二维码显示方法、装置、设备及介质 | |
CN114782296B (zh) | 图像融合方法、装置及存储介质 | |
CN110266926B (zh) | 图像处理方法、装置、移动终端以及存储介质 | |
CN110211017B (zh) | 图像处理方法、装置及电子设备 | |
CN114863214A (zh) | 图像生成模型训练、图像生成方法、装置、介质及设备 | |
CN114742703A (zh) | 双目立体全景图像的生成方法、装置、设备和存储介质 | |
CN114339447B (zh) | 图片转视频的方法、装置、设备及存储介质 | |
See et al. | Virtual reality 360 interactive panorama reproduction obstacles and issues | |
CN113409188A (zh) | 一种图像背景替换方法、系统、电子设备及存储介质 | |
CN113642359B (zh) | 人脸图像生成方法、装置、电子设备及存储介质 | |
CN105897570A (zh) | 推送方法及装置 | |
CN110619602B (zh) | 一种图像生成方法、装置、电子设备及存储介质 | |
CN111489323B (zh) | 双光场图像融合方法、装置、设备及可读存储介质 | |
CN110865864B (zh) | 快应用的界面显示方法、装置、设备及存储介质 | |
CN112800276A (zh) | 视频封面确定方法、装置、介质及设备 | |
CN115705617A (zh) | 远程合照方法、装置、设备及存储介质 | |
CN107943939A (zh) | 图像数据推荐方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |