CN115766972A - 合拍方法、装置、电子设备及可读介质 - Google Patents

合拍方法、装置、电子设备及可读介质 Download PDF

Info

Publication number
CN115766972A
CN115766972A CN202111027906.9A CN202111027906A CN115766972A CN 115766972 A CN115766972 A CN 115766972A CN 202111027906 A CN202111027906 A CN 202111027906A CN 115766972 A CN115766972 A CN 115766972A
Authority
CN
China
Prior art keywords
instance
user
close
template material
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111027906.9A
Other languages
English (en)
Inventor
彭威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202111027906.9A priority Critical patent/CN115766972A/zh
Priority to PCT/CN2022/114379 priority patent/WO2023030107A1/zh
Publication of CN115766972A publication Critical patent/CN115766972A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开公开了一种合拍方法、装置、电子设备及可读介质。该方法包括：提取模板素材中第一实例的轮廓信息，所述模板素材包括所述第一实例和实例背景；获取用户基于所述轮廓信息导入的合拍素材，所述合拍素材包括与所述第一实例对应的第二实例；将所述第二实例添加至所述模板素材中所述第一实例对应的区域，得到合拍结果，其中，所述合拍结果包括所述第二实例和所述实例背景。上述技术方案利用第一实例的轮廓信息引导用户导入合拍素材，以提高合拍素材与模板素材的一致性，从而实现第二实例与模板素材实例背景的合成，提高合拍的准确性，并且由于轮廓信息的引导，该方法可适用于更多样的合拍的场景。

Description

合拍方法、装置、电子设备及可读介质
技术领域
本公开实施例涉及图像处理技术领域，尤其涉及一种合拍方法、装置、电子设备及可读介质。
背景技术
随着社交、拍摄和特效处理软件等的发展，各种具有娱乐性和趣味性的应用大量涌现，用户可以通过拍摄照片或者视频片段，模仿一些经典照片或影视片段中的角色，复现一些特定的场景和情节，体验表演和演绎的乐趣，这种应用要求将用户的模仿内容与原照片或片段合成在一起，即合拍。例如，对于电影角色替换，用户可以为自己拍摄一段视频，并在拍摄过程中演绎电影角色的肢体动作、表情和语言等，然后将电影片段中的原角色替换为用户，使用户仿佛置身其中，使拍摄的结果更生动、更贴近电影片段。
但是，由于用户的拍摄环境复杂多样，且用户难以精准地演绎原角色，再加上拍摄设备的远近不同、位置不同、每次模仿的动作差异等，都给原视频与用户拍摄内容的合成带来了困难。目前的合拍应用，可供用户模仿的角色或场景都较为简单，基本只涉及面部表情或少量头部的、小幅度的动作变化，如果运动幅度较大，或者是涉及到肢体动作的变化，则无法完成高质量的合拍，造成用户拍摄内容与原素材的割裂、过渡不自然等，合成效果较差，影响用户的使用体验。
发明内容
本公开提供了一种合拍方法、装置、电子设备及可读介质，以提高合拍素材与模板素材的一致性，提高合拍的准确性。
第一方面，本公开实施例提供一种合拍方法，包括：
提取模板素材中第一实例的轮廓信息，所述模板素材包括所述第一实例和实例背景；
获取用户基于所述轮廓信息导入的合拍素材，所述合拍素材包括与所述第一实例对应的第二实例；
将所述第二实例添加至所述模板素材中所述第一实例对应的区域，得到合拍结果，其中，所述合拍结果包括所述第二实例和所述实例背景。
第二方面，本公开实施例还提供了一种合拍装置，包括：
轮廓提取模块，用于提取模板素材中第一实例的轮廓信息，所述模板素材包括所述第一实例和实例背景；
素材获取模块，用于获取用户基于所述轮廓信息导入的合拍素材，所述合拍素材包括与所述第一实例对应的第二实例；
合拍模块，用于将所述第二实例添加至所述模板素材中所述第一实例对应的区域，得到合拍结果，其中，所述合拍结果包括所述第二实例和所述实例背景。
第三方面，本公开实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的合拍方法。
第四方面，本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如第一方面所述的合拍方法。
本公开实施例的方法，通过利用第一实例的轮廓信息引导用户导入合拍素材，以提高合拍素材与模板素材的一致性，从而实现第二实例与模板素材实例背景的合成，提高合拍的准确性，并且由于轮廓信息的引导，该方法可适用于更多样的合拍的场景。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例一中的合拍方法的流程图；
图2是本公开实施例二中的合拍方法的流程图；
图3是本公开实施例二中的模板素材中的第一实例的示意图；
图4是本公开实施例二中的第一实例的轮廓信息的示意图；
图5是本公开实施例二中的对去除第一实例的区域进行背景补全的示意图；
图6是本公开实施例二中的用户拍摄界面的示意图；
图7是本公开实施例二中的确定模板素材的示意图；
图8是本公开实施例三中的合拍方法的流程图；
图9是本公开实施例四中的合拍装置的结构示意图；
图10是本公开实施例五中的电子设备的硬件结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。此外，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例一
图1为本公开实施例一中的合拍方法的流程图。该方法可适用于用户按照模板素材进行合拍的情况，具体的，通过将合拍素材中的实例添加至模板素材中，与模板素材中的实例背景进行合成，从而实现对各种场景或情节的模仿或演绎。该方法可以由合拍装置来执行，其中该装置可由软件和/或硬件实现，并集成在电子设备上。本实施例中的电子设备可以是计算机、笔记本电脑、服务器、平板电脑或智能手机等具有图像处理功能的设备。
如图1所示，本公开实施例一提供的一种合拍方法，具体包括如下步骤：
S110、提取模板素材中第一实例的轮廓信息，所述模板素材包括所述第一实例和实例背景。
本实施例中，模板素材可以理解为供用户参考以进行模仿或演绎的图像或视频，例如可以是名画、经典电影片段或特效动画等。用于合拍的模板素材可以由用户指定，并由电子设备从素材库中下载到本地。模板素材包括第一实例和实例背景，其中，第一实例包括被用户模仿或演绎的对象，该对象不会显示在合拍结果中，而是会被用户模仿或演绎的内容替换或覆盖，例如，第一实例可以是电影片段中的人物，也可以包括人物手持的道具等；实例背景包括不需要用户模仿或演绎对象，可以显示在合拍结果中，例如电影片段中人物周围的环境，如墙壁、道路、河流等。
模板素材中可以有多个实例，通过语义分割算法或实例分割算法可以识别出模板素材中所有实例并进行分割。其原理可以理解为：对模板素材中的各个实例进行边界框的检测定位，并且对于每个实例所在的边界框，还对边界框的内部进行像素级的前后景分割，其中，前景即为实例，后景可以认为是实例背景。第一实例可以为多个实例中的一个或多个。第一实例可以由电子设备根据模板素材的默认配置确定，也可以由用户指定。需要说明的是，语义分割算法主要适用于模板素材中有一个第一实例的情况，实例分割算法主要适用于模板素材中有至少两个第一实例的情况。
通过语义分割或实例分割算法可以提取第一实例的轮廓信息。轮廓信息用于描述第一实例的位置和形态。例如，在模板素材中的第一实例是一个正在跳舞的小女孩，则轮廓信息需要指示出该小女孩在模板素材中的位置以及跳舞的姿势，以辅助用户调整使用电子设备合拍时的拍摄角度，使用户在拍摄的画面中正确占位，并引导用户完成与该小女孩相同或相近的动作。轮廓信息可以通过文字、线条、符号、简笔画或辅助线等形式体现。
可选的，在确定模板素材中的第一实例后，将第一实例的轮廓信息储存在本地，在用户拍摄合拍素材时，读取轮廓信息并以可视化的形式显示在用户拍摄界面中，以引导用户占位并完成相应动作。其中，由于模板素材已下载至电子设备本地，对模板素材进行语义分割或实例分割的过程可以离线进行。
S120、获取用户基于所述轮廓信息导入的合拍素材，所述合拍素材包括与所述第一实例对应的第二实例。
具体的，合拍素材可以理解为用户模仿或演绎第一实例而拍摄的图像或视频，其中，用户模仿或演绎的内容为第二实例，第二实例与第一实例相对应，具体可以体现在第二实例与第一实例的轮廓相同或相似。合拍素材可以是用户根据第一实例的轮廓信息实时拍摄得到的素材，也可以是从图库中导入的已完成拍摄的素材，该已完成拍摄的素材中包括与第一实例的轮廓相同或相似轮廓的实例。在此基础上可以保证第二实例与第一实例轮廓的一致性，提高合拍素材的可用性，也便于将第二实例与实例背景准确地合成。
可选的，合拍素材还可以包括拍摄背景，即用户拍摄合拍素材时所处的环境。例如，用户在卧室模仿模板素材中的小女孩跳舞并进行拍摄，则可以将拍摄画面作为合拍素材，拍摄画面中跳舞的用户即为第二实例，拍摄画面中卧室环境即为拍摄背景。
本实施例中，对于用户导入的合拍素材需要进行语义分割或实例分割，以得到第二实例和拍摄背景，其中，第二实例用于替换或覆盖模板素材中的第一实例，从而与实例背景进行合成以实现合拍。如果合拍素材中仅有一个第二实例(通常为拍摄到的用户本人)，则利用语义分割算法提取第二实例的轮廓即可，可节省计算量；合拍素材中也可能有多个第二实例，则利用实例分割算法，可以识别出合拍素材中所有第二实例，这种情况下，可以将每个第二实例的分割结果和实例标识关联起来，根据多个第二实例之间的相对位置关系，和/或各第二实例的轮廓信息，可以确定每个第二实例在模板素材中关联的第一实例，在此基础上实现多用户的合拍。
可选的，由于用户拍摄合拍素材的风格多变、不确定性较强，对合拍素材的语义分割或实例分割可以在线进行，便于灵活调用相关算法和使用计算资源。
S130、将所述第二实例添加至所述模板素材中所述第一实例对应的区域，得到合拍结果，其中，所述合拍结果包括所述第二实例和所述实例背景。
具体的，第二实例可用于替换或者覆盖模板素材中的第一实例，从而与实例背景合成得到合拍结果。将第二实例添加至第一实例对应的区域，可以指将第一实例从模板素材中去除(去除第一实例后的区域可以为空缺状态或者为空白，也可以根据实例背景的纹理特征进行填充)，然后将第二实例显示在第一实例对应的区域上，这种情况下第二实例与实例背景的融合度更高；也可以指用第二实例覆盖第一实例，这种情况下对第一实例和第二实例轮廓的一致性要求较高，需要保证第二实例能够完全覆盖第一实例。将第二实例添加至第一实例对应的区域，也可以理解为第二实例与实例背景的合成过程。
可选的，将第二实例添加至模板素材中的过程可以在线进行。
可选的，第一实例对应的区域包含了第一实例的轮廓。这种情况下，第一实例对应的区域相对于第一实例较大，在用第二实例替换或覆盖第一实例时，是将第二实例添加至较大的区域，可以避免第二实例与实例背景之间有未衔接的地方，使第二实例更自然的存在于实例背景之上，使得替换后的边缘过渡更加自然，提高用户对合拍结果的视觉效果。
可选的，如果合拍素材中有多个第二实例，则根据各第二实例之间的相对位置关系，和/或各第二实例的轮廓信息，可以确定各第二实例对应于模板素材中的哪个第一实例，据此将各第二实例添加至模板素材中相应的第一实例对应的区域，实现多用户的合拍。
本实施例提供的一种合拍方法，利用第一实例的轮廓信息引导用户导入合拍素材，以提高合拍素材与模板素材中实例轮廓的一致性，从而实现第二实例与模板素材实例背景的合成，提高合拍的准确性；并且由于轮廓信息的引导，该方法可适用于更多样的合拍的场景，即便是对于第一实例动作复杂、运动幅度较大、或者是肢体动作发生变化的情况，都可以提高合拍素材的可用性，保证合成效果以及合拍的质量。
实施例二
图2是本公开实施例二中的合拍方法的流程图。本实施例二在上述实施例的基础上，对获取合拍素材以及将第二实例添加至模板素材的过程进行具体化。
如图2所示，本公开实施例二提供的一种合拍方法，包括如下步骤：
S210、提取模板素材中第一实例的轮廓信息，模板素材包括第一实例和实例背景。
图3是本公开实施例二中的模板素材中的第一实例的示意图。模板素材可以为图像，也可以为视频，如果模板素材为视频，则需要逐帧提取第一实例的轮廓信息。如图3所示，以模板素材中的一帧图像为例，白色方框圈出的区域内包含第一实例，第一实例具体为一个包括头部和上半身的人物；实例背景主要包括大海和栏杆。
图4是本公开实施例二中的第一实例的轮廓信息的示意图。如图4所示，通过对模板素材进行实例分割得到第一实例和实例背景，其中，黑色区域为模板素材中实例背景对应的区域，白色区域为第一实例对应的区域，黑白区域的交界线即为第一实例的轮廓，轮廓信息可以通过文字、线条、符号、简笔画或辅助线等形式记录或存储。
S220、根据轮廓信息生成第一实例的轮廓辅助线。
具体的，轮廓辅助线用于标识模板素材中第一实例的位置和形态。轮廓辅助线是绘制在第一实例外边缘周围的一条线，可以用虚线或者实线表示。示例性的，对于图4中的第一实例，生成轮廓辅助线的过程可以为：根据实例分割结果，对图4中黑白区域的交界线上的点进行采样，并从某一个采样点开始，按照顺时针或逆时针的方向依次连接各个采样点，得到一条轮廓辅助线。
S230、在用户拍摄界面中显示轮廓辅助线，以引导用户按照轮廓辅助线拍摄得到所述合拍素材。
本实施例中，合拍素材由用户按照轮廓辅助线拍摄得到。轮廓辅助线显示在用户拍摄界面中拍摄画面的特定位置，该位置理论上与第一实例在模板素材中的位置一致，允许存在设定范围的误差。例如，图3中第一实例位于模板素材的中间靠右区域，则在用户拍摄界面中，轮廓辅助线也位于拍摄画面的中间靠右区域，在此基础上，通过轮廓辅助线可以引导用户调整拍摄角度，使拍摄到的第二实例(例如为用户本人)位于轮廓辅助线内，使得电子设备可以快速从拍摄画面的中间靠右区域提取出第二实例用于合拍。用户拍摄界面中还可以显示文字、线条、符号和/或简笔画等提示信息，用户根据这些提示信息和轮廓辅助线开始进行演绎和拍摄。
可选的，若在用户拍摄界面中，第二实例的轮廓与轮廓辅助线之间的误差在设定范围内，则将拍摄的画面作为合拍素材。
具体的，在用户拍摄界面中，第二实例的轮廓与轮廓辅助线之间的误差在设定范围内，即第二实例的位置和形态与第一实例的轮廓(或轮廓辅助线)一致或接近，说明用户的拍摄画面能够与模板素材对应，具备合成条件，这种情况下，可以将拍摄的画面作为合拍素材；如果第二实例的位置和形态与第一实例的轮廓(或轮廓辅助线)不一致或相差太远，则拍摄画面与模板素材无法准确对应，第二实例与实例背景无法准确地衔接或合成，可以通过提示信息引导用户调整位置和形态。其中，第二实例的轮廓与轮廓辅助线之间的误差在设定范围内，可以指第二实例中在轮廓辅助线之外的像素点数量低于第一阈值、第二实例的轮廓与轮廓辅助线的重合度高于第二阈值、第二实例的轮廓与轮廓辅助线相应像素点之间的最远距离小于第三阈值等，本实施例对此不做限定。
可选的，在获取用户基于轮廓信息导入的合拍素材之后，还包括：对合拍素材进行语义分割或实例分割，以获得第二实例。
本实施例以合拍素材为用户拍摄界面中的拍摄画面为例，利用语义分割或实例分割算法，可以从拍摄画面中提取第二实例，且第二实例可能为一个或多个。如果合拍素材中仅有一个第二实例，则利用语义分割算法提取第二实例的轮廓即可，在此基础上可以将其添加至模板素材中第一实例对应的区域；如果合拍素材中有多个第二实例，则利用实例分割算法，可以识别出合拍素材中所有第二实例，这种情况下，可以将各第二实例用于替换或覆盖模板素材中相关联的第一实例，在此基础上实现多用户的合拍。
S240、从模板素材中去除第一实例。
本实施例中，从模板素材中去除第一实例，具体可以通过抠图算法将第一实例抠除。去除第一实例后的区域可以为空缺状态或者为空白，也可以根据实例背景的纹理特征进行填充。
在一实施例中，在去除第一实例之后，还包括：根据实例背景的图像特征对去除第一实例后的空缺区域进行背景补全。
图5是本公开实施例二中的对去除第一实例的区域进行背景补全的示意图。具体的，背景补全的过程可以理解为通过图像修复或补全算法，利用实例背景的图像特征预测空缺区域内的像素点的特征，并据此对空缺区域进行填充。如图5所示，实例背景中主要包括大海和栏杆的特征，据此在去除第一实例后的空缺区域中，填充了大海和栏杆的纹理，并且空缺区域的填充内容基本与实例背景对齐，从而提高合成质量，保证背景在视觉上的连贯性和一致性。在此基础上，将第二实例添加至第一实例对应的区域后，第二实例与实例背景的过渡更自然，合成效果更好。
S250、将第二实例添加至模板素材中第一实例对应的区域。
S260、根据实例背景的图像特征调整第二实例的色彩。
具体的，合拍素材是由用户拍摄的，而模板素材通常是由专业人员或者熟悉视频制作的人员拍摄的，合拍素材与模板素材之间的拍摄条件、素材的色彩和风格等通常具有明显的差异，导致第二实例相比于实例背景较为突兀、过渡不自然。本实施例中，为改善第二实例与实例背景的合成效果，根据实例背景的图像特征调整第二实例的色彩，以使合成素材在视觉上更加和谐自然。具体的，对于合拍素材，逐帧将其中的第二实例与模板素材中的相应帧实例背景对照，调整第二实例的色彩，具体可以是调整第二实例中各像素点的色值。
本实施例中，根据实例背景的图像特征调整第二实例的色彩，也可以理解为将模板素材中实例背景的色彩迁移至第二实例。在色彩迁移过程中，还可以根据实例背景的图像特征调整第二实例的色调、滤镜和/或特效等，使得第二实例与实例背景融合更为自然。可选的，色彩迁移的过程可以在线进行。
S270、根据模板素材计算第一实例的球谐光系数，并估计第一实例对应的法线方向。
本实施例中，为使合成结果与模板素材更贴近、更逼真，还利用球谐光模型对第二实例进行光照渲染，此过程也可以理解为将模板素材中的环境光照迁移至第二实例，以增强合拍素材中第二实例的真实感和立体感。
具体的，通过将模板素材中第一实例周围的环境光釆样成若干个不同方位的球谐光系数，用于在对第二实例进行光照渲染的过程中还原其周围的环境光，从而简化对环境光建模的计算过程。可选的，球谐光建模过程可以离线进行。
S280、根据球谐光系数和法线方向，对第二实例进行光照渲染。
本实施例中，通过对模板素材中的环境光照建模，获取到用于描述环境光照的球谐光系数，并根据模板素材的图像和分割得到的第一实例估计第一实例对应的法线方向，根据球谐光系数和法线方向，可以分析第一实例在法线方向上的光照强度分布或深度，据此对第二实例进行光照渲染，从不同方位对合拍结果中的第二实例进行补光。可选的，对第二实例进行光照渲染的过程可以在线进行。
在上述基础上，基于经过色彩迁移和光照迁移后的第二实例与实例背景的合成结果，可输出最终的合拍结果。
需要说明的是，本实施例不限定S250-S270的执行顺序。例如，在一些场景中，也可以先对第二实例进行色彩迁移和/或光照迁移，再将经过色彩迁移和/或光照迁移的第二实例添加至模板素材中，与实例背景进行合成，得到合拍结果。
在一实施例中，用户拍摄界面显示的内容还包括第二实例以及拍摄背景，即，在用户拍摄界面中显示用户在真实的拍摄环境中进行模仿或演绎时的拍摄画面，第二实例是显示在真实的拍摄背景上，用户可根据轮廓辅助线调整位置并完成相应的动作，这种情况下，第二实例与实例背景的合成可在合拍素材拍摄完成后进行，能够降低电子设备的计算量和中央处理器(Central Processing Unit，CPU)占用率，对电子设备的性能要求相对较低。
或者，用户拍摄界面显示的内容还包括第二实例以及实例背景，即，在用户拍摄合拍素材的过程中，用户拍摄界面中实时显示将第二实例与模板素材中实例背景的合成画面，这种情况下，用户可实时预览合成的效果，便于用户灵活地调整拍摄位置和动作，这种情况下，第二实例与实例背景的合成与拍摄同步进行，计算量较高，对电子设备的性能要求相对较高。
在一实施例中，用户拍摄界面中还可以显示模板素材，即，除了显示上述的拍摄画面或合成画面，还可以同步显示模板素材，便于用户进行对照。图6是本公开实施例二中的用户拍摄界面的示意图。如图6所示，在用户拍摄界面中，上半部分显示的是模板素材，下半部分显示的内容包括轮廓辅助线，还包括实时显示的第二实例与实例背景的合成画面，用户根据轮廓辅助线，可以调整其占位，使其位于轮廓辅助线内(图6中的白色斜线填充区域)并完成相应的动作。
在一实施例中，素材库中有多个可供合拍的模板，模板素材可由用户通过模板选择界面选定。图7是本公开实施例二中的确定模板素材的示意图。如图7所示，素材库中提供多个模板素材，分别是不同的电影片段，用户可以通过模板选择界面从中选择一个模板素材，并进入用户拍摄界面，完成合拍素材的拍摄。
在一实施例中，在提取模板素材中第一实例的轮廓信息之前，还包括：识别模板素材中支持合拍的实例；根据用户选择信息，从支持合拍的实例中确定至少一个第一实例。
具体的，模板素材中可以有多个支持合拍的实例，第一实例可以为其中的一个或多个。用户可以通过实例选择界面选择第一实例。例如，模板素材为一个电影片段，片段中共出现两个人物。则用户可以只选择其中一个人物进行演绎，具体可以在实例选择界面中显示每个人物的人物标识，例如将每个人物用闪烁框框起来，如果用户点击了其中一个人物，则其他人物的闪烁框消失，被选中的人物的闪烁框变为常亮状态，该被选中的人物即为第一实例。用户也可以选择两个人物作为第一实例，这种情况下需要两个用户共同演绎，每个用户演绎其中一个人物。
以下以一个第一实例的情况为例，对电子设备实现合拍的过程进行简要说明：
1)通过模板选择界面确定用户所选择的模板素材，例如选择一部想要演绎的电影；
2)通过实例分割算法提取电影人物(即第一实例)的轮廓信息，并将模板素材中的电影人物去除；
3)通过图像修复算法，根据模板素材中实例背景的图像特征，将去除人物后的空缺区域补全；
4)进入用户拍摄界面，在用户拍摄界面中显示根据轮廓信息生成的轮廓辅助线，用于引导用户占位并完成相应的动作，将拍摄画面作为合拍素材；
5)通过实例分割算法提取合拍素材中的第二实例；
6)根据模板素材中的实例背景对第二实例进行色彩迁移和/或光照迁移；
6)将经过色彩迁移和/或光照迁移的第二实例与模板素材中的实例背景合成，输出完整演绎片段，即合拍结果。
本实施例提供的一种合拍方法，通过将第一实例去除、利用轮廓辅助线引导用户占位并完成相应动作、对第二实例进行色彩迁移和光照迁移，实现第二实例与实例背景的高质量合成。其中，用户根据轮廓辅助线的引导拍摄得到合拍素材，可以灵活调整拍摄角度和动作，保证合拍素材与模板素材的高度一致性，进而提高合成的准确性和效率；通过根据实例背景的图像特征对去除第一实例后的空缺区域进行背景补全，保证背景在视觉上的连贯性和一致性，提高合成的质量；通过根据实例背景的图像特征调整第二实例的色彩，使得第二实例与实例背景的过渡更自然；通过利用球谐光模型对第二实例进行光照渲染，增强合拍素材中第二实例的真实感和立体感；通过在用户拍摄界面中灵活显示拍摄画面或合成画面，使用户可实时预览合成效果并户灵活地调整拍摄位置和动作，也可满足电子设备性能要求。
实施例三
图8是本公开实施例三中的合拍方法的流程图。本实施例三在上述实施例的基础上，对有多个第一实例和多个第二实例的情况进行具体化。
本实施例中，第一实例的数量与第二实例的数量相同，且至少为两个。可以将每个第一实例的分割结果和实例标识关联起来，将每个第二实例的分割结果和实例标识也关联起来，具有相同实例标识的第一实例与第二实例是相互关联的。根据实例标识、实例之间的相对位置关系、和/或实例的轮廓信息，可以确定每个第二实例在模板素材中关联的第一实例，在此基础上实现多用户的合拍。
如图8所示，本公开实施例三提供的一种合拍方法，包括如下步骤：
S310、识别模板素材中支持合拍的实例。
S320、根据用户选择信息，从支持合拍的实例中确定至少两个第一实例。
S330、提取模板素材中第一实例的轮廓信息，模板素材包括第一实例和实例背景。
需要说明的是，此处提取的是模板素材中每个第一实例的轮廓信息，模板素材中各第一实例以外的部分为实例背景。
S340、获取用户基于轮廓信息导入的合拍素材，合拍素材包括与各第一实例对应的第二实例。
可选的，在获取用户基于轮廓信息导入的合拍素材之后，通过对合拍素材进行实例分割，可以获得各第二实例。
需要说明的是，合拍素材由多人共同演绎，第二实例有多个，第二实例与第一实例一一对应。
S350、根据模板素材中各第一实例的轮廓信息以及合拍素材中各第二实例的轮廓信息，确定各第一实例与各第二实例之间的关联关系。
具体的，通过实例分割算法可以获得模板素材中各第一实例的轮廓信息，还可以获得合拍素材中各第二实例的轮廓信息。第二实例与第一实例一一对应，通过比对各第一实例与第二实例的轮廓信息，可以确定每个第二实例是演绎的哪个第一实例，从而确定第一实例与第二实例之间的关联关系。例如，模板素材中有两个人物，人物A为站立状态，人物B坐在椅子上，则关联关系是指：合拍素材中所拍摄到的站立的用户演绎的是人物A，坐着的用户演绎的是人物B。
在一实施例中，也可以根据各第二实例之间的位置关系，确定每个第二实例是演绎的哪个第一实例，从而确定第一实例与第二实例之间的关联关系。例如，模板素材中有两个人物，人物A在左侧，人物B在右侧，则关联关系是指：合拍素材中所拍摄到的左边的用户演绎的是人物A，右边的用户演绎的是人物B。
S360、将各第二实例添加至模板素材中关联的第一实例对应的区域。
可选的，在将各第二实例添加至关联的第一实例对应的区域之前，还包括：从模板素材中去除各第一实例；对去除各第一实例后的空缺区域进行背景补全。
可选的，在将各第二实例添加至关联的第一实例对应的区域之后，还包括：对合拍结果中的各第二实例进行色彩迁移和/或光照迁移。
在一实施例中，合拍素材可以由多人同时拍摄，也可以由一个或多个用户分次拍摄得到。例如，两个人同时演绎模板素材，一个人演绎人物A，一个人演绎人物B，可以只拍摄一个合拍素材，将其中的两个第二实例分别添加至模板素材中；也可以先由第一个人演绎人物A，拍摄得到第一合拍素材，第一合拍素材拍摄完成后，再由第二个人演绎人物B，拍摄得到第二合拍素材，这种情况下，每个合拍素材中包括一个第二实例，且该第二实例对应于模板素材中的一个第一实例。可以理解的是，在分次拍摄的情况下，也可以由一个用户分次拍摄、分饰多角，以增强合拍的灵活性和趣味性。
本实施例提供的一种合拍方法，根据第二实例与第一实例之间的关联关系，可将多个第二实例分别添加至模板素材中，实现多用户的合拍，提高了合拍的灵活性和趣味性，可以满足多样化的合拍需求。在此基础上，用户可以体验真实的电影氛围，也可以与其他对象同台飙戏、跨越时空进行对话，增加合拍应用的多样性和可玩性。
实施例四
图9是本公开实施例四中的合拍装置的结构示意图。本实施例尚未详尽的内容请参考上述实施例。
如图9所示，该装置包括：
轮廓提取模块310，用于提取模板素材中第一实例的轮廓信息，所述模板素材包括所述第一实例和实例背景；
素材获取模块320，用于获取用户基于所述轮廓信息导入的合拍素材，所述合拍素材包括与所述第一实例对应的第二实例；
合拍模块330，用于将所述第二实例添加至所述模板素材中所述第一实例对应的区域，得到合拍结果，其中，所述合拍结果包括所述第二实例和所述实例背景。
本实施例的合拍装置，利用第一实例的轮廓信息引导用户导入合拍素材，以提高合拍素材与模板素材中实例轮廓的一致性，从而实现第二实例与模板素材实例背景的合成，提高合拍的准确性。
在上述基础上，素材获取模块320，包括：
辅助线生成单元，用于根据所述轮廓信息生成所述第一实例的轮廓辅助线；
辅助线显示单元，用于在用户拍摄界面中显示所述轮廓辅助线，以引导用户按照所述轮廓辅助线拍摄得到所述合拍素材。
在上述基础上，素材获取模块320，还包括：
素材确定单元，用于若在所述用户拍摄界面中，所述第二实例的轮廓与所述轮廓辅助线之间的误差在设定范围内，则将拍摄的画面作为所述合拍素材。
在上述基础上，合拍模块330，具体用于：
从所述模板素材中去除所述第一实例，并将所述第二实例添加至所述模板素材中所述第一实例对应的区域。
在上述基础上，该装置还包括：
背景补全模块，用于根据所述实例背景的图像特征对去除所述第一实例后的空缺区域进行背景补全。
在上述基础上，该装置还包括：
分割模块，用于在获取用户基于轮廓信息导入的合拍素材之后，对合拍素材进行语义分割或实例分割，以获得第二实例。
在上述基础上，该装置还包括：
色彩调整单元，用于根据所述实例背景的图像特征调整所述第二实例的色彩。
在上述基础上，该装置还包括：光照渲染模块，用于：
根据所述模板素材计算所述第一实例的球谐光系数，并估计所述第一实例对应的法线方向；
根据所述球谐光系数和所述法线方向，对所述第二实例进行光照渲染。
在上述基础上，所述用户拍摄界面显示的内容还包括所述第二实例以及拍摄背景；或者，
所述用户拍摄界面显示的内容还包括所述第二实例以及所述实例背景。
在上述基础上，该装置还包括：
实例识别模块，用于在所述提取模板素材中第一实例的轮廓信息之前，识别所述模板素材中支持合拍的实例；
实例确定模块，用于根据用户选择信息，从支持合拍的实例中确定至少一个第一实例。
在上述基础上，所述第一实例的数量与所述第二实例的数量相同，且至少为两个；
合拍模块330，包括：
关系确定单元，用于根据所述模板素材中各所述第一实例的轮廓信息以及所述合拍素材中各所述第二实例的轮廓信息，确定各所述第一实例与各所述第二实例之间的关联关系；
实例添加单元，用于将各所述第二实例添加至所述模板素材中关联的第一实例对应的区域。
上述合拍装置可执行本公开任意实施例所提供的合拍方法，具备执行方法相应的功能模块和有益效果。
实施例五
图10是本公开实施例五中的电子设备的硬件结构示意图。图10示出了适于用来实现本公开实施例的电子设备500的结构示意图。本公开实施例中的电子设备500包括但不限于计算机、笔记本电脑、服务器、平板电脑或智能手机等具有图像处理功能的设备。图10示出的电子设备500仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示，电子设备500可以包括一个或多个处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。一个或多个处理装置501实现如本公开提供的流量数据包转发方法。在RAM503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM503通过总线505彼此相连。输入/输出(I/O)接口504也连接至总线505。
通常，以下装置可以连接至I/O接口504：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508，存储装置508用于存储一个或多个程序；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图10示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备全部示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：提取模板素材中第一实例的轮廓信息，所述模板素材包括所述第一实例和实例背景；获取用户基于所述轮廓信息导入的合拍素材，所述合拍素材包括与所述第一实例对应的第二实例；将所述第二实例添加至所述模板素材中所述第一实例对应的区域，得到合拍结果，其中，所述合拍结果包括所述第二实例和所述实例背景。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种合拍方法，包括：
提取模板素材中第一实例的轮廓信息，所述模板素材包括所述第一实例和实例背景；
获取用户基于所述轮廓信息导入的合拍素材，所述合拍素材包括与所述第一实例对应的第二实例；
将所述第二实例添加至所述模板素材中所述第一实例对应的区域，得到合拍结果，其中，所述合拍结果包括所述第二实例和所述实例背景。
示例2根据示例1所述的方法，所述获取用户基于所述轮廓信息导入的合拍素材，包括：
根据所述轮廓信息生成所述第一实例的轮廓辅助线；
在用户拍摄界面中显示所述轮廓辅助线，以引导用户按照所述轮廓辅助线拍摄得到所述合拍素材。
示例3根据示例1所述的方法，还包括：
若在所述用户拍摄界面中，所述第二实例的轮廓与所述轮廓辅助线之间的误差在设定范围内，则将拍摄的画面作为所述合拍素材。
示例4根据示例1所述的方法，所述将所述第二实例添加至所述模板素材中所述第一实例对应的区域，包括：
从所述模板素材中去除所述第一实例，并将所述第二实例添加至所述模板素材中所述第一实例对应的区域。
示例5根据示例1所述的方法，还包括：
根据所述实例背景的图像特征对去除所述第一实例后的空缺区域进行背景补全。
示例6根据示例1所述的方法，还包括：
在获取用户基于轮廓信息导入的合拍素材之后，还包括：对合拍素材进行语义分割或实例分割，以获得第二实例。
示例7根据示例1所述的方法，还包括：
根据所述实例背景的图像特征调整所述第二实例的色彩。
示例8根据示例1所述的方法，还包括：
根据所述模板素材计算所述第一实例的球谐光系数，并估计所述第一实例对应的法线方向；
根据所述球谐光系数和所述法线方向，对所述第二实例进行光照渲染。
示例9根据示例1所述的方法，所述用户拍摄界面显示的内容还包括所述第二实例以及拍摄背景；或者，
所述用户拍摄界面显示的内容还包括所述第二实例以及所述实例背景。
示例10根据示例1所述的方法，在所述提取模板素材中第一实例的轮廓信息之前，还包括：
识别所述模板素材中支持合拍的实例；
根据用户选择信息，从支持合拍的实例中确定至少一个第一实例。
示例11根据示例1所述的方法，所述第一实例的数量与所述第二实例的数量相同，且至少为两个；
将所述第二实例添加至所述模板素材中所述第一实例对应的区域，包括：
根据所述模板素材中各所述第一实例的轮廓信息以及所述合拍素材中各所述第二实例的轮廓信息，确定各所述第一实例与各所述第二实例之间的关联关系；
将各所述第二实例添加至所述模板素材中关联的第一实例对应的区域。
根据本公开的一个或多个实施例，示例12提供了一种合拍装置，包括：
轮廓提取模块，用于提取模板素材中第一实例的轮廓信息，所述模板素材包括所述第一实例和实例背景；
素材获取模块，用于获取用户基于所述轮廓信息导入的合拍素材，所述合拍素材包括与所述第一实例对应的第二实例；
合拍模块，用于将所述第二实例添加至所述模板素材中所述第一实例对应的区域，得到合拍结果，其中，所述合拍结果包括所述第二实例和所述实例背景。
根据本公开的一个或多个实施例，示例13提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如示例1-11中任一所述的合拍方法。
根据本公开的一个或多个实施例，示例14提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如示例1-11中任一所述的合拍方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附示例书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现示例书的示例形式。

Claims (14)

1.一种合拍方法，其特征在于，包括：
提取模板素材中第一实例的轮廓信息，所述模板素材包括所述第一实例和实例背景；
获取用户基于所述轮廓信息导入的合拍素材，所述合拍素材包括与所述第一实例对应的第二实例；
将所述第二实例添加至所述模板素材中所述第一实例对应的区域，得到合拍结果，其中，所述合拍结果包括所述第二实例和所述实例背景。
2.根据权利要求1所述的方法，其特征在于，所述获取用户基于所述轮廓信息导入的合拍素材，包括：
根据所述轮廓信息生成所述第一实例的轮廓辅助线；
在用户拍摄界面中显示所述轮廓辅助线，以引导用户按照所述轮廓辅助线拍摄得到所述合拍素材。
3.根据权利要求2所述的方法，其特征在于，还包括：
若在所述用户拍摄界面中，所述第二实例的轮廓与所述轮廓辅助线之间的误差在设定范围内，则将拍摄的画面作为所述合拍素材。
4.根据权利要求1所述的方法，其特征在于，所述将所述第二实例添加至所述模板素材中所述第一实例对应的区域，包括：
从所述模板素材中去除所述第一实例，并将所述第二实例添加至所述模板素材中所述第一实例对应的区域。
5.根据权利要求4所述的方法，其特征在于，还包括：
根据所述实例背景的图像特征对去除所述第一实例后的空缺区域进行背景补全。
6.根据权利要求1所述的方法，其特征在于，在获取用户基于所述轮廓信息导入的合拍素材之后，还包括：
对所述合拍素材进行语义分割或实例分割，以获得所述第二实例。
7.根据权利要求1所述的方法，其特征在于，还包括：
根据所述实例背景的图像特征调整所述第二实例的色彩。
8.根据权利要求1所述的方法，其特征在于，还包括：
根据所述模板素材计算所述第一实例的球谐光系数，并估计所述第一实例对应的法线方向；
根据所述球谐光系数和所述法线方向，对所述第二实例进行光照渲染。
9.根据权利要求2所述的方法，其特征在于，所述用户拍摄界面显示的内容还包括所述第二实例以及拍摄背景；或者，
所述用户拍摄界面显示的内容还包括所述第二实例以及所述实例背景。
10.根据权利要求1所述的方法，其特征在于，在所述提取模板素材中第一实例的轮廓信息之前，还包括：
识别所述模板素材中支持合拍的实例；
根据用户选择信息，从支持合拍的实例中确定至少一个第一实例。
11.根据权利要求1所述的方法，其特征在于，所述第一实例的数量与所述第二实例的数量相同，且至少为两个；
将所述第二实例添加至所述模板素材中所述第一实例对应的区域，包括：
根据所述模板素材中各所述第一实例的轮廓信息以及所述合拍素材中各所述第二实例的轮廓信息，确定各所述第一实例与各所述第二实例之间的关联关系；
将各所述第二实例添加至所述模板素材中关联的第一实例对应的区域。
12.一种合拍装置，其特征在于，包括：
轮廓提取模块，用于提取模板素材中第一实例的轮廓信息，所述模板素材包括所述第一实例和实例背景；
素材获取模块，用于获取用户基于所述轮廓信息导入的合拍素材，所述合拍素材包括与所述第一实例对应的第二实例；
合拍模块，用于将所述第二实例添加至所述模板素材中所述第一实例对应的区域，得到合拍结果，其中，所述合拍结果包括所述第二实例和所述实例背景。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一所述的合拍方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一所述的合拍方法。
CN202111027906.9A 2021-09-02 2021-09-02 合拍方法、装置、电子设备及可读介质 Pending CN115766972A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111027906.9A CN115766972A (zh) 2021-09-02 2021-09-02 合拍方法、装置、电子设备及可读介质
PCT/CN2022/114379 WO2023030107A1 (zh) 2021-09-02 2022-08-24 合拍方法、装置、电子设备及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111027906.9A CN115766972A (zh) 2021-09-02 2021-09-02 合拍方法、装置、电子设备及可读介质

Publications (1)

Publication Number Publication Date
CN115766972A true CN115766972A (zh) 2023-03-07

Family

ID=85332242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111027906.9A Pending CN115766972A (zh) 2021-09-02 2021-09-02 合拍方法、装置、电子设备及可读介质

Country Status (2)

Country Link
CN (1) CN115766972A (zh)
WO (1) WO2023030107A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945223B (zh) * 2010-09-06 2012-04-04 浙江大学 视频一致性融合处理方法
CN105516575A (zh) * 2014-09-23 2016-04-20 中兴通讯股份有限公司 按照自定义模板拍照的方法和装置
CN105635553B (zh) * 2014-10-30 2021-01-26 腾讯科技（深圳）有限公司 一种图像拍摄方法和装置
EP3065389B1 (de) * 2015-03-06 2020-09-09 Florian Potucek Verfahren zur Herstellung von Videoaufnahmen
CN105872381A (zh) * 2016-04-29 2016-08-17 潘成军 趣味图像拍摄方法
CN109040643B (zh) * 2018-07-18 2021-04-20 奇酷互联网络科技（深圳）有限公司 移动终端及远程合影的方法、装置
CN110602396B (zh) * 2019-09-11 2022-03-22 腾讯科技（深圳）有限公司 智能合影方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2023030107A1 (zh) 2023-03-09

Similar Documents

Publication Publication Date Title
CN107993216B (zh) 一种图像融合方法及其设备、存储介质、终端
CN106910247B (zh) 用于生成三维头像模型的方法和装置
CN112967212A (zh) 一种虚拟人物的合成方法、装置、设备及存储介质
CN113287118A (zh) 用于面部再现的系统和方法
CN113272870A (zh) 用于逼真的实时人像动画的系统和方法
CN110246209B (zh) 图像处理方法及装置
CN112199016A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
KR102353556B1 (ko) 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치
CN110458924B (zh) 一种三维脸部模型建立方法、装置和电子设备
CN109089038A (zh) 增强现实拍摄方法、装置、电子设备及存储介质
US20160086365A1 (en) Systems and methods for the conversion of images into personalized animations
CN114445562A (zh) 三维重建方法及装置、电子设备和存储介质
CN114450719A (zh) 人体模型重建方法、重建系统及存储介质
CN107766803B (zh) 基于场景分割的视频人物装扮方法、装置及计算设备
WO2023056835A1 (zh) 视频封面生成方法、装置、电子设备及可读介质
CN112766215A (zh) 人脸融合方法、装置、电子设备及存储介质
CN111967397A (zh) 人脸影像处理方法和装置、存储介质和电子设备
CN111754622A (zh) 脸部三维图像生成方法及相关设备
CN112906553B (zh) 图像处理方法、装置、设备及介质
CN109040612B (zh) 目标对象的图像处理方法、装置、设备及存储介质
CN113453027A (zh) 直播视频、虚拟上妆的图像处理方法、装置及电子设备
CN116958344A (zh) 虚拟形象的动画生成方法、装置、计算机设备及存储介质
KR100422470B1 (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치
CN110177216A (zh) 图像处理方法、装置、移动终端以及存储介质
CN115766972A (zh) 合拍方法、装置、电子设备及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination