CN114915722B - 处理视频的方法和装置 - Google Patents

处理视频的方法和装置 Download PDF

Info

Publication number
CN114915722B
CN114915722B CN202110529002.XA CN202110529002A CN114915722B CN 114915722 B CN114915722 B CN 114915722B CN 202110529002 A CN202110529002 A CN 202110529002A CN 114915722 B CN114915722 B CN 114915722B
Authority
CN
China
Prior art keywords
video
person
action
electronic device
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110529002.XA
Other languages
English (en)
Other versions
CN114915722A (zh
Inventor
陈兰昊
孟庆吉
徐世坤
于飞
陈中领
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to PCT/CN2021/136393 priority Critical patent/WO2022170837A1/zh
Publication of CN114915722A publication Critical patent/CN114915722A/zh
Application granted granted Critical
Publication of CN114915722B publication Critical patent/CN114915722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种处理视频的方法和电子设备。通过对视频进行动作信息的提取,可以实现多个人物动作之间的相互比较;基于第二人物的动作修正第一人物的动作,并生成新的视频,新的视频可以包括第一人物的图像,并展示第一人物的修正后的动作。在新的视频中,第一人物的动作可以与第二人物的动作更加相似。因此,本申请的目的是提高多个用户的动作匹配度或动作协调度,减少用户对视频的后期处理量。

Description

处理视频的方法和装置
技术领域
本申请涉及电子设备领域,并且更具体地,涉及一种处理视频的方法和装置。
背景技术
位于同一场地内的多个用户可以通过一个或多个摄像设备(带有摄像头的电子设备)合拍,以获得包含该多个用户的样貌的合拍视频。单个用户可以与视频素材合拍,得到包含该用户和该视频素材的合拍视频。然而,如果没有经过多次排练,多个用户或多个人物的合拍动作通常很难协调,进而可能导致合拍效果一般或者不甚理想。这还可能需要用户对合拍视频进行额外的后期处理。
发明内容
本申请提供一种处理视频的方法和装置,目的是提高多个用户的动作匹配度,减少用户对视频的后期处理量。
第一方面,提供了一种处理视频的方法,包括:
第一电子设备获取第一视频,所述第一视频为第一人物的视频;
所述第一电子设备获取与所述第一视频对应的第一动作文件,所述第一动作文件与所述第一人物的动作对应;
所述第一电子设备获取与第二视频对应的第二动作文件,所述第二视频为第二人物的视频,所述第二动作文件与所述第二人物的动作对应;
所述第一电子设备根据所述第一视频、所述第一动作文件、所述第二动作文件,生成目标视频,所述目标视频包括所述第一人物的第一人物图像,所述目标视频中所述第一人物的动作与所述第一视频中所述第一人物的动作不同,所述目标视频中所述第一人物的动作与所述第二视频中所述第二人物的动作对应。
本申请提供的方案可以对视频中第一人物的动作提取信息,并根据第二人物的动作来修正第一人物的动作,使得第一人物的动作可以更贴近第二人物的动作。这有利于减少用户对视频的后期处理工作量,进而有利于提升拍摄、制作、处理视频的用户体验感。
结合第一方面,在第一方面的某些实现方式中,在所述第一电子设备获取第一视频之前,所述方法还包括:
所述第一电子设备建立所述第一电子设备与第二电子设备的视频通话连接,所述第一电子设备为所述第一人物的电子设备,所述第二电子设备为所述第二人物的电子设备;
所述第一电子设备获取第一视频,包括:
所述第一电子设备在视频通话过程中,获取所述第一视频;
所述方法还包括:
所述第一电子设备通过所述视频通话连接,从所述第二电子设备获取所述第二视频。
第一人物和第二人物可以通过视频通话的方式交互视频,以制作新的视频。这有利于增加视频通话可应用的场景,视频通话还可以具有制作视频的功能。视频通话过程中获得的视频数据还可以用于制作新的视频,提升了设备间的交互效率。并且,视频通话还便于第一人物和第二人物交互动作细节,有利于提高第一人物做出动作的准确性,进而有利于进一步减少用户对视频的后期处理工作量。
可选的,第二视频可以与第一视频是同一视频。第一视频可以是第一人物和第二人物的视频。
结合第一方面,在第一方面的某些实现方式中,所述第一视频、所述第二视频对应所述视频通话过程中的相同时段,所述目标视频还包括所述第二人物的第二人物图像,所述目标视频中所述第二人物的动作与所述第二视频中所述第二人物的动作对应。
目标视频包括第二人物,可以实现第一人物、第二人物的合拍,有利于增添视频的灵活性。
结合第一方面,在第一方面的某些实现方式中,所述方法还包括:
所述第一电子设备获取第三视频,所述第三视频为第三人物的视频;
所述第一电子设备获取与所述第三视频对应的第三动作文件,所述第三动作文件与所述第三人物的动作对应;
所述第一电子设备根据所述第一视频、所述第一动作文件、所述第二动作文件,生成目标视频,包括:
所述第一电子设备根据所述第一视频、所述第三视频、所述第一动作文件、所述第二动作文件、所述第三动作文件,生成所述目标视频,所述目标视频还包括所述第三人物的第三人物图像,所述目标视频中所述第三人物的动作与所述第三视频中所述第三人物的动作不同,所述目标视频中所述第三人物的动作与所述第二视频中所述第二人物的动作对应。
第三人物和第一人物可以对照着相同的第二人物做动作。在不作任何视频处理的情况下,第三人物的动作和第一人物的动作很难足够协调。为使动作足够协调,第一人物和第二人物需要事先排练多次,增大了合拍视频的难度。本申请提供的方案可以提取多个人物的动作文件,并基于样本动作,对多个人物的动作统一调整,有利于增加多个人物的动作协调性,有利于减少用户对视频的后期处理工作量。
结合第一方面,在第一方面的某些实现方式中,所述目标视频还包括所述第二人物的第二人物图像,所述目标视频中所述第二人物的动作与所述第二视频中所述第二人物的动作对应。
目标视频包括第二人物,可以实现第一人物与第二人物的合拍,有利于增添视频的灵活性。
结合第一方面,在第一方面的某些实现方式中,所述第一人物图像、所述第二人物图像属于所述目标视频中的同一帧图像。
在同一帧中,两个人物的动作可以较相似,因此有利于提高第一人物、第二人物在时序上的动作协调性,例如第一人物的动作和第二人物的动作的摆动速度可以更加相近。
结合第一方面,在第一方面的某些实现方式中,所述第二视频为所述第二人物和所述第四人物的视频,所述方法还包括:
所述第一电子设备获取第三视频,所述第三视频为第三人物的视频;
所述第一电子设备获取与所述第三视频对应的第三动作文件,所述第三动作文件与所述第三人物的动作对应;
所述第一电子设备获取第四动作文件,所述第四动作文件与所述第二视频中的所述第四人物的动作对应;
所述第一电子设备根据所述第一视频、所述第一动作文件、所述第二动作文件,生成目标视频,包括:
所述第一电子设备根据所述第一视频、所述第三视频、所述第一动作文件、所述第二动作文件、所述第三动作文件、所述第四动作文件,生成所述目标视频,所述目标视频还包括所述第三人物的第三人物图像,所述目标视频中所述第三人物的动作与所述第三视频中所述第三人物的动作不同,所述目标视频中所述第三人物的动作与所述第二视频中所述第四人物的动作对应。
第三人物和第一人物可以对照着同一视频中的两个人物做动作,有利于提高第三人物和第一人物的动作合作性。在不作任何视频处理的情况下,第三人物的动作和第一人物的动作之间的关联可能相对较弱,第一人物和第三人物共同完成一段动作的难度可能相对较大。如果不使用本申请提供的方案,第一人物和第二人物需要事先排练多次,增大了合拍视频的难度。本申请提供的方案可以提取多个人物的动作文件,并基于两个人物的样本动作,对多个人物的动作分别调整,有利于增加多个人物的动作合作性,有利于减少用户对视频的后期处理工作量。
结合第一方面,在第一方面的某些实现方式中,所述目标视频还包括所述第二人物的第二人物图像和所述第四人物的第四人物图像,所述目标视频中所述第二人物的动作与所述第二视频中所述第二人物的动作对应,所述目标视频中所述第四人物的动作与所述第二视频中所述第四人物的动作对应。
目标视频包括第二人物、第四人物,可以实现第一人物、第二人物、第三人物、第四人物的合拍,有利于增添视频的灵活性。
结合第一方面,在第一方面的某些实现方式中,所述第一人物图像、所述第二人物图像、所述第三人物图像、所述第四人物图像属于所述目标视频中的同一帧图像。
在同一帧中,第一人物、第二人物、第三人物、第四人物的动作可以较相似,因此有利于提高第一人物、第二人物、第三人物、第四人物在时序上的动作协调性,例如第一人物、第二人物、第三人物、第四人物的动作的摆动速度可以更加相近。
结合第一方面,在第一方面的某些实现方式中,在所述第一电子设备获取第一视频之前,所述方法还包括:
所述第一电子设备建立所述第一电子设备与第二电子设备的视频通话连接,所述第一电子设备为所述第一人物的电子设备,所述第二电子设备为第三人物的电子设备;
所述第一电子设备获取第一视频,包括:
所述第一电子设备在视频通话过程中,获取所述第一视频;
所述第一电子设备获取第三视频,包括:
所述第一电子设备通过所述视频通话连接,从所述第二电子设备获取第三视频。
第一人物和第三人物可以通过视频通话的方式交互视频,以制作新的视频。这有利于增加视频通话可应用的场景,视频通话还可以具有制作视频的功能。视频通话过程中获得的视频数据还可以用于制作新的视频,提升了设备间的交互效率。并且,视频通话还便于第一人物和第三人物交互动作细节,有利于提高第一人物、第三人物做出动作的准确性,进而有利于进一步减少用户对视频的后期处理工作量。
结合第一方面,在第一方面的某些实现方式中,所述第一视频、所述第三视频对应所述视频通话过程中的相同时段。
第一人物可以和第三人物同步做出动作,有利于提高第一人物的动作和第三人物的动作在时序上的协调性。
结合第一方面,在第一方面的某些实现方式中,所述第一电子设备建立所述第一电子设备与第二电子设备的视频通话连接,包括:
所述第一电子设备通过拍摄应用或视频通话应用,建立所述第一电子设备与第二电子设备的视频通话连接。
拍摄应用可以从拍摄应用以外的其他应用调用用户控件,从而可以向其他用户发起合拍请求。另外,通过合拍控件,可以使得电子设备的多个应用(包括拍摄应用)协同运行,以实现多个用户的合拍。
视频通话应用可以与其他应用协同运行,以实现多个用户的合拍。从而,视频通话应用除了可以具有视频通话的功能,还可以具有生成视频的功能。
结合第一方面,在第一方面的某些实现方式中,所述第二视频为本地或云端存储的视频。
第一电子设备可以根据已有的视频,修正第一视频中第一人物的动作。该已有的视频还可以被继续复用,有利于提高处理视频的灵活性。
结合第一方面,在第一方面的某些实现方式中,所述第一电子设备获取与第二视频对应的第二动作文件,包括:
所述第一电子设备从第二电子设备获取所述第二动作文件。
第一电子设备可以不获取第二视频,而仅获取第二视频中与动作相关的信息,这有利于减少第一电子设备与第二电子设备之间的信息传输量,进而有利于提高视频处理效率和通信效率。
结合第一方面,在第一方面的某些实现方式中,所述目标视频中所述第一人物的动作与所述第二视频中所述第二人物的动作对应,包括:
与所述第一人物图像对应的动作文件为第一目标动作文件,所述第一动作文件与所述第二动作文件之间的匹配度为第一匹配度,所述第一目标动作文件与所述第二动作文件之间的匹配度为第二匹配度,所述第二匹配度大于所述第一匹配度。
本申请提供的方法有利于在原有视频的基础上,提高两个人物在动作上的相似度,有利于使处理后的视频具有相对较高的动作协调性。
结合第一方面,在第一方面的某些实现方式中,所述第一电子设备获取与所述第一视频对应的第一动作文件,包括:
所述第一电子设备根据以下至少两项,确定所述第一动作子文件:第一头部像素点、第一颈部像素点、第一躯干像素点、第一左上前肢像素点、第一左上后肢像素点、第一左下前肢像素点、第一左下后肢像素点、第一右上前肢像素点、第一右上后肢像素点、第一右下前肢像素点、第一右下后肢像素点、第一左手像素点、第一右手像素点。
本申请的方案可以对人物的身体的各个按区划分,以便于提取身体各个部位的相关信息,得到人物的动作信息。
结合第一方面,在第一方面的某些实现方式中,所述第一动作子文件包括以下至少一项肢体角度:
第一头部角度、第一颈部角度、第一躯干角度、第一左上前肢角度、第一左上后肢角度、第一左下前肢角度、第一左下后肢角度、第一右上前肢角度、第一右上后肢角度、第一右下前肢角度、第一右下后肢角度、第一左手角度、第一右手角度。
本申请的方案可以针对两个人物某些部位的区别,以确认两个人物在动作上的相同之处和不同之处。
结合第一方面,在第一方面的某些实现方式中,所述第一动作文件对应第一肢体角度,所述第二动作文件对应第二肢体角度,所述目标动作文件对应第三肢体角度,所述第一肢体角度与所述第二肢体角度的差值小于预设角度,所述第三肢体角度介于所述第一肢体角度与所述第二肢体角度之间。
本申请的方案可以通过调整某个肢体的角度,以调整人物的动作,进而使多个人物的动作可以更加协调。
结合第一方面,在第一方面的某些实现方式中,所述第一视频包括第一子帧、第二子帧,所述第二视频包括第三子帧、第四子帧,所述目标视频包括第五子帧、第六子帧,所述第一子帧、所述第三子帧、所述第五子帧相互对应,所述第二子帧、所述第四子帧、所述第六子帧相互对应,所述第一子帧与所述第二子帧之间的时间差为第一时间差,所述第三子帧与所述第四子帧之间的时间差为第二时间差,所述第五子帧与所述第六子帧的时间差为第三时间差,所述第三时间差介于所述第一时间差与所述第二时间差之间。
本申请的方案可以调整多个动作之间的时间差,有利于使多个人物在一段时间内的动作快慢可以更加相似。
结合第一方面,在第一方面的某些实现方式中,所述目标视频包括第一图像区域、第二图像区域,所述第一图像区域包括与所述第一人物对应的像素点,所述第二图像区域包括与所述第二人物对应的像素点。
目标视频包括两个人物的动作,有利于用户更加直观的观察到第一人物的修正后的动作,以及第一人物和第二人物之间相对较高的动作协调性。
结合第一方面,在第一方面的某些实现方式中,所述第一图像区域包括与以下任一项对应的像素点:第一背景图像、第二背景图像、目标图库图像,所述第一背景图像包括与所述第一人物所在场景对应的像素点,所述第二背景图像包括与所述第二人物所在场景对应的像素点,所述目标图库图像为存储在所述第一电子设备上的图像。
结合第一方面,在第一方面的某些实现方式中,所述第二图像区域包括与以下任一项对应的像素点:第一背景图像、第二背景图像、目标图库图像,所述第一背景图像包括与所述第一人物所在场景对应的像素点,所述第二背景图像包括与所述第二人物所在场景对应的像素点,所述目标图库图像为存储在所述第一电子设备上的图像。
目标视频可以灵活采用第一视频、第二视频或图库图像中的任一个作为目标视频的背景。如果第一图像区域和第二图像区域采用相同的背景,第一图像区域和第二图像区域可以被视为处于同一背景或同一场景下,进而有利于增加第一图像区域和第二图像区域之间的关联性和融合性。第一人物图像和第二人物图像可以在用户界面上被归属于不同的区域,这可以更适应于需要相对明显地区分人物图像的场景,例如因人物身份不同而不适于将多个人物的图像混合起来的场景。
结合第一方面,在第一方面的某些实现方式中,所述合拍视频还包括背景图像区域,所述背景图像区域为所述第一图像区域、所述第二图像区域的背景,所述背景图像区域包括与以下任一项对应的像素点:第一背景图像、第二背景图像、目标图库图像,所述第一背景图像包括与所述第一人物所在场景对应的像素点,所述第二背景图像包括与所述第二人物所在场景对应的像素点,所述目标图库图像为存储在所述第一电子设备上的图像。
背景图像区域可以灵活采用第一视频、第二视频或图库图像中的任一个作为目标视频的背景。第一图像区域和第二图像区域可以被视为处于同一背景或同一场景下,进而有利于增加第一图像区域和第二图像区域之间的关联性和融合性。这可以更适应于不需要明显区域用户图像的场景,例如群体合拍场景。
第二方面,提供了一种电子设备,包括:处理器、存储器和收发器,所述存储器用于存储计算机程序,所述处理器用于执行所述存储器中存储的计算机程序;其中,
所述处理器用于,获取第一视频,所述第一视频为第一人物的视频;
所述处理器还用于,获取与所述第一视频对应的第一动作文件,所述第一动作文件与所述第一人物的动作对应;
所述处理器还用于,获取与第二视频对应的第二动作文件,所述第二视频为第二人物的视频,所述第二动作文件与所述第二人物的动作对应;
所述处理器还用于,根据所述第一视频、所述第一动作文件、所述第二动作文件,生成目标视频,所述目标视频包括所述第一人物的第一人物图像,所述目标视频中所述第一人物的动作与所述第一视频中所述第一人物的动作不同,所述目标视频中所述第一人物的动作与所述第二视频中所述第二人物的动作对应。
结合第二方面,在第二方面的某些实现方式中,在所述处理器获取第一视频之前,所述处理器还用于:
建立所述电子设备与第二电子设备的视频通话连接,所述电子设备为所述第一人物的电子设备,所述第二电子设备为所述第二人物的电子设备;
所述处理器具体用于,在视频通话过程中,获取所述第一视频;
所述处理器还用于,通过所述视频通话连接,从所述第二电子设备获取所述第二视频。
结合第二方面,在第二方面的某些实现方式中,所述第一视频、所述第二视频对应所述视频通话过程中的相同时段,所述目标视频还包括所述第二人物的第二人物图像,所述目标视频中所述第二人物的动作与所述第二视频中所述第二人物的动作对应。
结合第二方面,在第二方面的某些实现方式中,所述处理器还用于:
获取第三视频,所述第三视频为第三人物的视频;
获取与所述第三视频对应的第三动作文件,所述第三动作文件与所述第三人物的动作对应;
所述处理器具体用于,根据所述第一视频、所述第三视频、所述第一动作文件、所述第二动作文件、所述第三动作文件,生成所述目标视频,所述目标视频还包括所述第三人物的第三人物图像,所述目标视频中所述第三人物的动作与所述第三视频中所述第三人物的动作不同,所述目标视频中所述第三人物的动作与所述第二视频中所述第二人物的动作对应。
结合第二方面,在第二方面的某些实现方式中,所述目标视频还包括所述第二人物的第二人物图像,所述目标视频中所述第二人物的动作与所述第二视频中所述第二人物的动作对应。
结合第二方面,在第二方面的某些实现方式中,所述第一人物图像、所述第二人物图像属于所述目标视频中的同一帧图像。
结合第二方面,在第二方面的某些实现方式中,所述第二视频为所述第二人物和所述第四人物的视频,所述处理器还用于:
获取第三视频,所述第三视频为第三人物的视频;
获取与所述第三视频对应的第三动作文件,所述第三动作文件与所述第三人物的动作对应;
获取第四动作文件,所述第四动作文件与所述第二视频中的所述第四人物的动作对应;
所述处理器具体用于,根据所述第一视频、所述第三视频、所述第一动作文件、所述第二动作文件、所述第三动作文件、所述第四动作文件,生成所述目标视频,所述目标视频还包括所述第三人物的第三人物图像,所述目标视频中所述第三人物的动作与所述第三视频中所述第三人物的动作不同,所述目标视频中所述第三人物的动作与所述第二视频中所述第四人物的动作对应。
结合第二方面,在第二方面的某些实现方式中,所述目标视频还包括所述第二人物的第二人物图像和所述第四人物的第四人物图像,所述目标视频中所述第二人物的动作与所述第二视频中所述第二人物的动作对应,所述目标视频中所述第四人物的动作与所述第二视频中所述第四人物的动作对应。
结合第二方面,在第二方面的某些实现方式中,所述第一人物图像、所述第二人物图像、所述第三人物图像、所述第四人物图像属于所述目标视频中的同一帧图像。
结合第二方面,在第二方面的某些实现方式中,在所述处理器获取第一视频之前,所述处理器还用于:
建立所述电子设备与第二电子设备的视频通话连接,所述电子设备为所述第一人物的电子设备,所述第二电子设备为第三人物的电子设备;
所述处理器具体用于,在视频通话过程中,获取所述第一视频;
所述处理器具体用于,通过所述视频通话连接,从所述第二电子设备获取第三视频。
结合第二方面,在第二方面的某些实现方式中,所述第一视频、所述第三视频对应所述视频通话过程中的相同时段。
结合第二方面,在第二方面的某些实现方式中,所述处理器具体用于,通过拍摄应用或视频通话应用,建立所述电子设备与第二电子设备的视频通话连接。
结合第二方面,在第二方面的某些实现方式中,所述第二视频为本地或云端存储的视频。
结合第二方面,在第二方面的某些实现方式中,所述处理器具体用于,从第二电子设备获取所述第二动作文件。
结合第二方面,在第二方面的某些实现方式中,所述目标视频中所述第一人物的动作与所述第二视频中所述第二人物的动作对应,包括:
与所述第一人物图像对应的动作文件为第一目标动作文件,所述第一动作文件与所述第二动作文件之间的匹配度为第一匹配度,所述第一目标动作文件与所述第二动作文件之间的匹配度为第二匹配度,所述第二匹配度大于所述第一匹配度。
结合第二方面,在第二方面的某些实现方式中,所述处理器具体用于,根据以下至少两项,确定所述第一动作子文件:第一头部像素点、第一颈部像素点、第一躯干像素点、第一左上前肢像素点、第一左上后肢像素点、第一左下前肢像素点、第一左下后肢像素点、第一右上前肢像素点、第一右上后肢像素点、第一右下前肢像素点、第一右下后肢像素点、第一左手像素点、第一右手像素点。
结合第二方面,在第二方面的某些实现方式中,所述第一动作子文件包括以下至少一项肢体角度:
第一头部角度、第一颈部角度、第一躯干角度、第一左上前肢角度、第一左上后肢角度、第一左下前肢角度、第一左下后肢角度、第一右上前肢角度、第一右上后肢角度、第一右下前肢角度、第一右下后肢角度、第一左手角度、第一右手角度。
结合第二方面,在第二方面的某些实现方式中,所述第一动作文件对应第一肢体角度,所述第二动作文件对应第二肢体角度,所述目标动作文件对应第三肢体角度,所述第一肢体角度与所述第二肢体角度的差值小于预设角度,所述第三肢体角度介于所述第一肢体角度与所述第二肢体角度之间。
结合第二方面,在第二方面的某些实现方式中,所述第一视频包括第一子帧、第二子帧,所述第二视频包括第三子帧、第四子帧,所述目标视频包括第五子帧、第六子帧,所述第一子帧、所述第三子帧、所述第五子帧相互对应,所述第二子帧、所述第四子帧、所述第六子帧相互对应,所述第一子帧与所述第二子帧之间的时间差为第一时间差,所述第三子帧与所述第四子帧之间的时间差为第二时间差,所述第五子帧与所述第六子帧的时间差为第三时间差,所述第三时间差介于所述第一时间差与所述第二时间差之间。
第三方面,提供了一种计算机存储介质,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行上述第一方面的任一项可能的实现方式中所述的方法。
第四方面,提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述第一方面的任一项可能的实现方式中所述的方法。
附图说明
图1是本申请实施例提供的一种电子设备的示意性结构图。
图2是本申请实施例提供的一种电子设备的软件结构框图。
图3是本申请实施例提供的一种用户界面的示意性结构图。
图4是本申请实施例提供的一种用户界面的示意性结构图。
图5是本申请实施例提供的一种用户界面的示意性结构图。
图6是本申请实施例提供的一种用户界面的示意性结构图。
图7是本申请实施例提供的一种提取动作文件的示意性结构图。
图8是本申请实施例提供的一种处理视频的示意性结构图。
图9是本申请实施例提供的一种用户界面的示意性结构图。
图10是本申请实施例提供的一种用户界面的示意性结构图。
图11是本申请实施例提供的一种用户界面的示意性结构图。
图12是本申请实施例提供的一种用户界面的示意性结构图。
图13是本申请实施例提供的一种用户界面的示意性结构图。
图14是本申请实施例提供的一种用户界面的示意性结构图。
图15是本申请实施例提供的一种用户界面的示意性结构图。
图16是本申请实施例提供的一种处理视频的方法的示意性流程图。
图17是本申请实施例提供的一种电子设备的示意性结构图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请以下各实施例中,“至少一个”、“一个或多个”是指一个、两个或两个以上。术语“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
以下介绍了本申请实施例提供的电子设备、用于这样的电子设备的用户界面、和用于使用这样的电子设备的实施例。在一些实施例中,电子设备可以是还包含其它功能诸如个人数字助理和/或音乐播放器功能的便携式电子设备,诸如手机、平板电脑、具备无线通讯功能的可穿戴电子设备(如智能手表)等。便携式电子设备的示例性实施例包括但不限于搭载或者其它操作系统的便携式电子设备。上述便携式电子设备也可以是其它便携式电子设备,诸如膝上型计算机(Laptop)等。还应当理解的是,在其他一些实施例中,上述电子设备也可以不是便携式电子设备,而是台式计算机。
示例性的,图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,按键190,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的部件,也可以集成在一个或多个处理器中。在一些实施例中,电子设备101也可以包括一个或多个处理器110。其中,控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。在其他一些实施例中,处理器110中还可以设置存储器,用于存储指令和数据。示例性地,处理器110中的存储器可以为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。这样就避免了重复存取,减少了处理器110的等待时间,因而提高了电子设备101处理数据或执行指令的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路间(inter-integrated circuit,I2C)接口,集成电路间音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,SIM卡接口,和/或USB接口等。其中,USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备101充电,也可以用于电子设备101与外围设备之间传输数据。该USB接口130也可以用于连接耳机,通过耳机播放音频。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或多个显示屏194。
电子设备100的显示屏194可以是一种柔性屏,目前,柔性屏以其独特的特性和巨大的潜力而备受关注。柔性屏相对于传统屏幕而言,具有柔韧性强和可弯曲的特点,可以给用户提供基于可弯折特性的新交互方式,可以满足用户对于电子设备的更多需求。对于配置有可折叠显示屏的电子设备而言,电子设备上的可折叠显示屏可以随时在折叠形态下的小屏和展开形态下大屏之间切换。因此,用户在配置有可折叠显示屏的电子设备上使用分屏功能,也越来越频繁。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或多个摄像头193。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令,从而使得电子设备101执行本申请一些实施例中所提供的灭屏显示的方法,以及各种应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统;该存储程序区还可以存储一个或多个应用(比如图库、联系人等)等。存储数据区可存储电子设备101使用过程中所创建的数据(比如照片,联系人等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储部件,闪存部件,通用闪存存储器(universal flash storage,UFS)等。在一些实施例中,处理器110可以通过运行存储在内部存储器121的指令,和/或存储在设置于处理器110中的存储器的指令,来使得电子设备101执行本申请实施例中所提供的灭屏显示的方法,以及其他应用及数据处理。电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
图2是本申请实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括图库,相机,畅连,地图,导航等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
本申请实施例提供的方案可以应用于合拍场景,例如用户与素材合拍、用户与用户合拍的场景。用户和用户合拍的场景还可以包括远程多用户合拍场景。远程多用户合拍场景可以指,至少两个用户无法或很难在同一时间、通过同一摄像设备完成合拍。下面描述合拍场景的一些可能的示例。
示例一
用户A可以通过带有摄像功能的电子设备A进行自拍,得到自拍视频A;用户B可以通过带有摄像头的电子设备B进行自拍。通过将视频A与视频B合成,可以得到用户A与用户B的合拍视频。自拍视频A与自拍视频B可以通过异步拍摄的方式得到。
在这一示例中,用户A与用户B的合拍动作在视觉上的协调性可能较差。例如,用户A与电子设备A的距离可能和用户B与电子设备B的距离相差较大,因此自拍视频A中用户A的轮廓大小与自拍视频B中的用户B的轮廓大小相差较大。又如,用户A与用户B做类似的动作,但是用户A的动作相对较快,幅度较大,用户B的动作相对较慢,幅度较小。因此,视频A与视频B的匹配度可能相对较差;相应地,合拍视频的协调性可能相对较差。为了使合拍视频达到相对较高的协调性,用户需要对合拍视频进行工作量较大的后期处理。
示例二
用户A可以通过带有摄像功能的电子设备A,与用户B视频通话,并通过录屏的方式获取既包含用户A又包含用户B的合拍视频。
然而,通过录屏得到的合拍视频的清晰度通常相对较差。合拍视频的最大分辨率通常取决于电子设备A的显示分辨率。并且,即使用户A与用户B沟通协商清楚了诸多拍摄细节,但是多个用户做出相似度高的动作可能需要多次排练。因此合拍视频的协调性可能相对较差。为了使合拍视频达到相对较高的协调性,用户需要对合拍视频进行工作量较大的后期处理。
示例三
用户A与用户B可以位于同一场景内。用户A、用户B可以做类似的动作,并通过带有摄像功能的电子设备A进行自拍,可以得到合拍视频。
在这一示例中,用户A的动作与用户B的动作的协调性可能相对较差。例如,用户A与用户B做类似的动作,但是用户A的动作相对较快,幅度较大,用户B的动作相对较慢,幅度较小。因此合拍视频的协调性可能相对较差。为了使合拍视频达到相对较高的协调性,用户需要对合拍视频进行工作量较大的后期处理。
示例四
用户A可以观察视频素材。该视频素材包含人物C的一系列动作。用户A模仿人物C在视频素材中的动作,并通过带有摄像功能的电子设备A记录用户A做出的动作,以得到视频A。可选的,通过合成视频A与视频素材,可以得到合拍视频。
即使用户A反复观看、模仿人物C在视频素材中的动作,但是用户A可能需要反复排练,才有可能做出与人物C的动作相似度高的动作。因此,视频A与视频素材的匹配度可能相对较差。相应地,合拍视频的协调性可能相对较差。为了使合拍视频达到相对较高的协调性,用户需要对合拍视频进行工作量较大的后期处理。
本申请实施例提供一种新的处理视频的方法,目的包括减少用户对视频的后期处理工作量,进而有利于提升拍摄、制作、处理视频的用户体验感。
图3是本申请实施例提供的一种用户界面300的示意图。该用户界面300可以显示在第一电子设备上。该用户界面300可以为相机应用的界面,或者其他具有拍摄功能的应用的界面。也就是说,第一电子设备上可以承载相机应用或其他具有拍摄功能的应用。响应第一用户对这些应用做出的操作,第一电子设备可以显示该用户界面300。
例如,第一用户可以通过点击相机应用的图标,打开相机应用,进而第一电子设备可以显示用户界面300。相机应用可以调用图1所示的摄像头193,拍摄第一电子设备周围的景象。例如,相机应用可以调用第一电子设备的前置摄像头,以拍摄第一用户的自拍图像,并在用户界面300上显示该自拍图像。
用户界面300可以包括多个功能控件310(该功能控件310可以以选项卡的形式呈现在用户界面300上),该多个功能控件310可以分别与相机应用的多个相机功能一一对应。如图3所示,该多个相机功能例如可以包括人像功能、拍照功能、录像功能、视频合拍功能、专业功能等,多个功能控件310可以包括人像功能控件、拍照功能控件、录像功能控件、视频合拍功能控件、专业功能控件。
第一电子设备可以响应第一用户作用在用户界面300上的操作(如滑动操作),将当前相机功能切换至用于完成视频合拍的功能,例如图3所示的“视频合拍”功能。应理解,在其他可能的示例中,相机应用可以包括其他相机功能以用于完成视频合拍。本申请实施例下面以视频合拍功能为例进行阐述。
在当前相机功能为视频合拍功能的情况下,用户界面300例如可以包括以下至少一种控件:用户合拍控件320、素材合拍控件330、图库合拍控件340。响应第一用户作用在任一控件的操作,第一电子设备可以将拍摄视频与其他文件合成,进而完成合拍。
用户合拍控件320可以用于选择或邀请第二用户视频通话,以完成第一用户与第二用户的同步合拍。
例如,响应第一用户作用在用户合拍控件320上的操作(如点击操作),第一电子设备可以在用户界面300上显示与多个用户一一对应的多个用户控件,该多个用户可以包括第二用户。响应第一用户作用在该第二用户的用户控件的操作(如点击操作),第一电子设备可以向第二电子设备发起视频通话,其中,第二电子设备可以为第二用户使用的电子设备。相应地,第二用户可以通过第二电子设备接收到第一用户的视频通话邀请。第二电子设备可以显示视频通话邀请的界面,该界面可以包括视频通话接听控件。响应第二用户作用在视频通话接听控件上的操作,第一电子设备与第二电子设备之间可以建立视频通话连接。在第一电子设备与第二电子设备建立视频通话连接后,第一电子设备通过拍摄可以得到第一视频,第二电子设备通过拍摄可以得到第二视频。第一电子设备可以通过该视频通话连接,获取该第二视频。第二电子设备可以通过视频通话连接,获取该第一视频。电子设备可以根据第一视频、第二视频,通过本申请实施例提供的处理视频的方法,可以得到一种或多种处理后的视频。
素材合拍控件330可以用于从云端选择素材,以完成第一用户与素材的合拍。素材可以指云端存储的视频、动作模板等可以反映动作的文件。云端例如可以指云端服务器、云端存储设备等。
例如,素材可以为包含目标人物(如第二用户)的第二视频。在本申请中,目标人物例如可以是第一用户认识或熟悉的人,如朋友、家人、名人等,也可以是陌生人,还可以是具有人物特征的卡通形象。在某些示例中,素材可以理解为一种动作模板。素材可以包含目标人物的多帧动作图像。结合图3所示的示例,第一电子设备可以响应用户作用在素材合拍控件的操作,从云端服务器获取素材。
第一用户可以通过第一电子设备拍摄第一视频。第一电子设备可以拍摄包含第一用户的第一视频。第一电子设备可以根据第一视频、素材,通过本申请实施例提供的处理视频的方法,可以得到一种或多种处理后的视频。
在一个示例中,第一电子设备可以根据第一视频中第一用户的轮廓,裁剪第一视频,得到第一人物子视频。第一人物子视频可以包含第一用户的图像,且不包含第一视频中的背景图像。第一电子设备可以将第一人物子视频、素材和背景多媒体数据合成为第一目标视频,其中素材可以不包括与目标人物对应的背景图像,背景多媒体数据可以充当第一人物子视频、素材的背景。背景多媒体数据例如可以来自除第一视频、素材以外的其他文件。
在另一个示例中,第一电子设备可以根据第一视频中第一用户的轮廓,裁剪第一视频,得到第一人物子视频。第一电子设备可以将第一人物子视频、素材合成为第一目标视频,其中素材可以包括与目标人物对应的背景图像,从而该素材中的背景图像可以充当第一人物子视频的背景。
在又一个示例中,第一电子设备可以将第一视频、素材合成为第一目标视频。其中素材可以不包括与目标人物对应的背景图像。第一视频中的背景图像可以充当素材的背景。
下面以一个例子阐述用户图像(或用户像素点、用户图像块)与背景图像(或背景像素点、背景图像块)之间的关系。
例如,用户a可以通过电子设备a自拍一段视频。在电子设备a拍摄的视频A包含用户a的情况下,电子设备a可以根据视频A中用户a的轮廓,裁剪视频A,得到用户子视频和背景子视频。其中,用户子视频可以包含用户a的图像,且不包含背景图像;背景子视频可以包含背景图像,且不包含用户a的图像。
下面以视频A的一个子帧A为例进行详细说明。子帧A可以包括多个像素点A,该多个像素点A可以包括与用户a的轮廓对应的多个像素点a。子帧A中位于该多个像素点a以内的多个像素点a’可以形成用户子视频的一个子帧a’,且可以形成该用户a的图像;子帧A中位于该多个像素点a以外的多个像素点a”可以形成背景子视频的一个子帧a”,且可以形成该背景图像。
图库合拍控件340可以用于从本地图库中选择图库视频,以完成第一用户与图库视频的合拍。图库视频可以理解为存储在第一电子设备本地的视频。
例如,图库视频为包含目标人物(如第二用户)的第二视频。第一用户可以通过第一电子设备拍摄第一视频。第一电子设备可以拍摄包含第一用户的第一视频。第一电子设备可以根据第一视频、图库视频,通过本申请实施例提供的处理视频的方法,可以得到一种或多种处理后的视频。
在一个示例中,第一电子设备可以根据第一视频中第一用户的轮廓,裁剪第一视频,得到第一人物子视频。第一人物子视频可以包含第一用户的图像,且不包含第一视频中的背景图像。第一电子设备可以将第一人物子视频、图库视频和背景多媒体数据合成为第一目标视频,其中图库视频可以不包括与目标人物对应的背景图像,背景多媒体数据可以充当第一人物子视频、图库视频的背景。背景多媒体数据例如可以来自除第一视频、素材以外的其他文件。
在另一个示例中,第一电子设备可以根据第一视频中第一用户的轮廓,裁剪第一视频,得到第一人物子视频。第一电子设备可以将第一人物子视频、图库视频合成为第一目标视频,其中图库视频可以包括与目标人物对应的背景图像,从而该背景图像可以充当第一人物子视频的背景。
在又一个示例中,第一电子设备可以将第一视频、图库视频合成为第一目标视频。其中图库视频可以不包括与目标人物对应的背景图像。第一视频中的背景图像可以充当图库视频的背景。
可选的,用户界面300还可以包括图库控件350。响应第一用户作用在图库控件350的操作,第一电子设备可以跳转至图库应用,以查看已拍摄或已存储的多媒体数据。
响应第一用户作用在上述用户合拍控件320、素材合拍控件330、图库合拍控件340中的任一项,第一电子设备可以显示如图4所示的用户界面400。用户界面400可以包括第一界面区域460、第二界面区域470。第一界面区域460与第二界面区域470之间可以互不交叉。第一界面区域460、第二界面区域470可以位于用户界面400上的任意位置。如图4所示,第二界面区域470例如可以位于用户界面400的上方,第一界面区域460例如可以位于用户界面400的下方。
第一用户可以观察用户界面400的第二界面区域470,进而可以了解、熟悉第二界面区域470中的目标人物的动作。结合图3,在一个可能的示例中,第二界面区域470例如可以显示第二用户的视频通话内容,在此情况下,目标人物可以为第二用户;在另一个可能的示例中,第二界面区域470例如可以显示素材,在此情况下,目标人物可以为素材中的目标人物;在有一个示例中,第二界面区域470例如可以显示图库视频,在此情况下,目标人物可以为图库视频中的目标人物。
以下为便于描述,将第二界面区域470显示的视频资源统称为第二视频。其中,第二视频可以为以下任一种:在视频通话过程中从第二电子设备接收到的视频通话数据,第二电子设备为第二用户使用的电子设备;素材;图库视频。
第二视频可以包括第二人物子视频,或者,从第二视频中可以提取出第二人物子视频。也就是说,第二视频可以包括与目标人物对应的子帧。如图4所示,第二电子设备可以在第二界面区域470内显示第二人物图像471,进而可以播放第二人物子视频的画面。也就是说,第二界面区域470可以包括第二人物图像471。第二界面区域470可以包括与目标人物对应的像素点。
在其他示例中,第一电子设备可以直接在第二界面区域470内播放第二视频。该第二界面区域470可以包括第二人物图像471和第二背景图像472,第二背景图像472可以充当第二人物图像471的背景。也就是说,第一电子设备可以不对第二视频进行视裁剪或视频提取。
第一用户可以模仿目标人物做出一系列动作,并通过第一电子设备拍摄记录下来。如果第二视频为第二用户的视频通话视频,则第一用户可以模仿第二用户。如果第二视频为素材,则第一用户可以模仿素材中的目标人物。如果第二视频为图库视频,则第一用户可以模仿图库视频中的目标人物。如图4所示,用户界面400可以包括录制控件410。响应第一用户作用在该录制控件410上的操作,第一电子设备可以拍摄得到第一视频。
第一用户可以在拍摄第一视频的过程中,通过图4所示的第一界面区域460,预览第一视频的拍摄效果。
在一个示例中,第一电子设备可以包括第一人物子视频,或者,从第一视频中可以提取出第一人物子视频。也就是说,第二视频可以包括与第一用户对应的子帧。第一电子设备可以在第一界面区域460内显示第一人物图像461,进而可以播放第一人物子视频的画面。也就是说,第一界面区域460可以包括第一人物图像461。第一界面区域460可以包括与第一用户对应的像素点。
在其他示例中,第一电子设备可以直接在第一界面区域460内播放第一视频。该第一界面区域460可以包括第一人物图像461和第一背景图像462,第一背景图像462可以充当第一人物图像461的背景。也就是说,第一电子设备可以不对第一视频进行视裁剪或视频提取。
可选的,响应用户作用在录制控件410上的操作,电子设备可以合成第一视频、第二视频,得到例如图5、图6所示的第一目标视频。该第一目标视频可以包括与第一视频或第一用户对应的第一图像区域560,以及与第二视频或目标人物对应的第二图像区域570。第一图像区域560可以对应第一界面区域460,第二图像区域570可以对应第二界面区域470,使得拍摄过程中的预览视频与合成后的视频可以具有相对高的统一性。
在又一种可能的场景下,两个用户可以通过视频通话,模仿同一个视频中的一个或多个人物做动作。两个用户可以通过视频通话交流模仿细节。
例如,第一电子设备可以相应第一用户作用在如图3所示的用户合拍控件320的操作,向第二电子设备发出视频通话邀请,使用第二电子设备的用户可以是第三用户。之后,第一电子设备、第二电子设备之间可以建立视频通话连接。第一用户、第三用户例如可以通过图3所示的素材合拍控件330或图库合拍视频340,选择第二视频。第二视频可以是有关目标人物的视频。第二视频可以展示目标人物的动作。第一电子设备、第三电子设备均可以在用户界面上显示第一界面区域、第二界面区域、第三界面区域中的一个或多个。其中,第一界面区域可以显示第一用户视频通话的内容;第二界面区域可以显示第二视频;第三界面区域可以显示第三用户视频通话的内容。第一用户、第三用户可以模仿该第二视频中的动作,在视频通话过程中生成第一视频和第三视频。由于第一用户、第三用户模仿同一视频中同一目标人物的动作,因此后续可以参照第二视频中该目标人物的动作形态,分别对第一视频、第三视频进行处理,得到包含第一用户、第三用户的目标视频。
可选的,在视频通话过程中,第一用户、第三用户可以同时模仿目标人物的动作,也可以先后在不同的时段模仿模仿目标人物的动作。
例如,第一电子设备可以相应第一用户作用在如图3所示的用户合拍控件320的操作,向第二电子设备发出视频通话邀请,使用第二电子设备的用户可以是第三用户。之后,第一电子设备、第二电子设备之间可以建立视频通话连接。第一用户、第三用户例如可以通过图3所示的素材合拍控件330或图库合拍视频340,选择第二视频。第二视频可以是有关第一目标人物、第二目标人物的视频。第一目标人物、第二目标人物例如可以在第二视频中合作完成一系列动作。第一电子设备、第三电子设备均可以在用户界面上显示第一界面区域、第二界面区域、第三界面区域中的一个或多个。其中,第一界面区域可以显示第一用户视频通话的内容;第二界面区域可以显示第二视频;第三界面区域可以显示第三用户视频通话的内容。第一用户可以模仿该第二视频中第一目标人物的动作,并通过视频通话连接生成第一视频。第三用户可以模仿该第二视频中第二目标人物的动作,并通过视频通话连接生成第三视频。由于第一用户、第三用户模仿同一视频中第一目标人物、第二目标人物的动作,因此后续可以参照第二视频中第一目标人物、第二目标人物的动作形态,分别对第一视频、第三视频进行处理,得到包含第一用户、第三用户的目标视频。
可选的,在视频通话过程中,第一用户模仿第一目标人物的动作的时段,可以与第三用户模仿第二目标人物的动作的时段大致重叠,或者,第一用户模仿第一目标人物的动作的时段,可以与第三用户模仿第二目标人物的动作的时段互不交叉。
下面介绍图4所示的用户界面400可能包含的操作控件。
用户界面400例如可以包括分屏开关控件420。
如图的用户界面400所示,在分屏开关控件420处于开启状态的情况下,第一界面区域460和第二界面区域470例如可以为两个规则的显示区域。也就是说,第一界面区域460的轮廓与第一用户的轮廓可以不匹配(或不对应),且第二界面区域470的轮廓与目标人物的轮廓可以不匹配(或不对应)。第一界面区域460的面积和第二界面区域470的面积例如可以对应固定比例(如1:1、1:1.5等)。在图4所示的示例中,分屏开关控件420当前处于开启状态。第一界面区域460和第二界面区域470的形状均可以为矩形。
相应地,在图5所示的用户界面500中,第一目标视频的第一图像区域560和第二图像区域570可以为两个规则的显示区域。第一图像区域560的轮廓与第一用户的轮廓可以不匹配(或不对应),且第二图像区域570的轮廓与目标人物的轮廓可以不匹配(或不对应)。第一图像区域560的面积和第二图像区域570的面积例如可以对应固定比例(如1:1、1:1.5等)。结合图5所示的示例,第一图像区域560和第二图像区域570的形状均可以为矩形。也就是说,第一图像区域560、第二图像区域570均可以包括背景图像。
在其他示例中,在分屏开关控件420处于关闭状态的情况下,第一界面区域460的轮廓例如可以与第一用户的轮廓匹配(或对应),且第二界面区域470的轮廓例如可以与第二用户的轮廓匹配(或对应)。也就是说,第一界面区域460可以不包括如图4所示的第一视频的第一背景图像462;第二界面区域470可以不包括如图4所示的第二视频中的第二背景图像472。
相应地,在图6所示的示例中,该第一目标视频的第一图像区域560的轮廓可以与第一用户的轮廓匹配(或对应),且该第一目标视频的第二图像区域570的轮廓可以与第二用户的轮廓匹配(或对应)。也就是说,第一图像区域560可以不包括如图4所示的第一视频的第一背景图像462;第二图像区域570可以不包括如图4所示的第二视频中的第二背景图像472。
可选的,第一目标视频可以包括第一背景图像区域580。第一背景图像区域580的像素点例如可以是默认值。第一背景图像区域580的像素点还可以与第一背景图像462、第二背景图像472、目标图库图像中的任一个对应。在一些示例中,目标图库图像可以为图库视频的一个子帧。例如,第一目标视频的某个子帧可以与目标图库图像对应,该合拍视频的多个子帧可以与该目标图库图像所在视频的多个子帧一一对应。
如图6的用户界面600所示,第一用户可以通过作用在用户界面上操作,向第一电子设备指示第一目标视频的背景对应目标图库图像。第一电子设备可以响应来自用户的指示,确定第一目标视频的第一背景图像区域580的像素点对应目标图库图像,使得如图6所示的第一目标视频可以不包括与图4所示的第一背景图像462、第二背景图像472对应的像素点。
可选的,当第一人物图像461与第二人物图像471在用户界面400上可能存在显示冲突时,电子设备可以优先显示第一人物图像461或第二人物图像471。换句话说,第一人物图像461可以覆盖在第二人物图像471上,或者第二人物图像471可以覆盖在第一人物图像461上。
可选的,为了减少用户后期处理视频的工作量,用户可以通过作用在用户界面400上的操作,调整第一人物图像461和第二人物图像471的显示大小,进而可以调整第一用户的图像和目标人物的图像在第一目标视频中的尺寸比例。
可选的,如图4所示,用户界面400可以包括背景去除开关控件430。
在背景去除开关控件430处于关闭状态的情况下,电子设备可以不扣除第一视频的背景和第二视频的背景,即在用户界面400上显示第一视频的背景图像和第二视频的背景图像。
在图4所示的示例中,背景去除开关控件430当前可以处于关闭状态。第一界面区域460可以显示有第一人物图像461和第一背景图像462。第一背景图像462可以为第一用户的背景图像。第一背景图像462可以通过拍摄第一用户所在场景得到。也就是说,第一界面区域460可以包括与第一用户对应的像素点,以及与第一用户所在场景对应的像素点。第二界面区域470可以显示有第二人物图像471和第二背景图像472。第二背景图像472可以为目标人物的背景图像。也就是说,第二界面区域470可以包括与目标人物对应的像素点,以及与目标人物所在场景对应的像素点。
在背景去除开关控件430处于开启状态的情况下,电子设备例如可以扣除第一视频的背景和/或第二视频的背景。例如,第一电子设备可以在第一界面区域460、第二界面区域470内均显示第一视频的背景图像;又如,第一电子设备可以在第一界面区域460、第二界面区域470内均显示第二视频的背景图像;又如,第一电子设备可以在第一界面区域460、第二界面区域470内均显示除第一视频的背景图像、第二视频的背景以外的其他背景图像;又如,第一电子设备可以在用户界面400上显示第一视频的背景图像,不显示第二视频的背景图像;又如,第一电子设备可以在用户界面400上显示第二视频的背景图像,不显示第一视频的背景图像;又如,第一电子设备可以在用户界面400上显示除第一视频的背景图像、第二视频的背景以外的其他背景图像。除第一视频的背景图像、第二视频的背景以外的其他背景图像例如可以是目标图库图像。
相应地,第一目标视频中的第一图像区域560可以包括第一人物图像461、第一背景图像462,第一目标视频中的第二图像区域570可以包括第二人物图像471、第一背景图像462,第一背景图像462用于充当第二人物图像471的背景;或者,第一目标视频中的第一图像区域560可以包括第一人物图像461、第二背景图像472,第一目标视频中的第二图像区域570可以包括第二人物图像471、第二背景图像472,第二背景图像472用于充当第一人物图像461的背景;或者,第一目标视频中的第一图像区域560可以包括第一人物图像461、目标图库图像,第一目标视频中的第二图像区域570可以包括第二人物图像471、目标图库图像,目标图库图像用于充当第一人物图像461、第二人物图像471的背景;或者,第一目标视频中的第一图像区域560可以包括第一人物图像461,且不包括第一背景图像462,第一目标视频中的第二图像区域570可以包括第二人物图像471,且不包括第二背景图像472;第一目标视频中的第一背景图像区域580可以包括以下任一种:第一背景图像462,第二背景图像472,目标图库图像,第一背景图像区域580可以用于充当第一图像区域560、第二图像区域570的背景。
可选的,在背景去除开关控件430处于开启状态的情况下,第一电子设备可以响应第一用户作用在用户界面400上的操作,确定在第一界面区域460、第二界面区域470或用户界面400内显示的背景图像。
可选的,在分屏开关控件420处于关闭状态的情况下,背景去除开关控件430可以处于开启状态。
可选的,如图4所示,用户界面400可以包括美颜开关控件440。
在美颜开关控件440处于开启状态的情况下,电子设备可以针对第一人物图像461和/或第二人物图像471进行人像美化。也就是说,电子设备可以在用户界面400上显示经人像美化后的第一人物图像461和/或第二人物图像471;在合成后的第一目标视频中,第一图像区域560内的人物图像和/或第二图像区域570内的人物图像可以是经过美颜处理后的图像。
在美颜开关控件440处于关闭状态的情况下,电子设备可以不针对第一人物图像461和第二人物图像471进行人像美化。也就是说,电子设备可以根据第一用户的原始图像和目标人物的原始图像,在用户界面400可以显示第一人物图像461和第二人物图像471,第一人物图像461、第二人物图像471可以是未经美颜处理的图像。在合成后的第一目标视频中,第一图像区域560内的人物图像可以根据第一用户的原始图像得到,第二图像区域570内的人物图像可以根据目标人物的原始图像得到,即第一图像区域560内的人物图像、第二图像区域570内的人物图像可以是未经美颜处理的图像。
可选的,如图所示,用户界面400还可以包括滤镜开关控件450。
在滤镜开关控件450处于开启状态的情况下,电子设备可以针对第一视频的图像和/或第二视频的图像进行滤镜美化。也就是说,电子设备可以在用户界面400上显示经滤镜美化后的第一视频的图像和/或第一视频的图像;并且,在合成后的第一目标视频中,第一图像区域560内的图像和/或第二图像区域570内的图像可以是经过滤镜处理后的图像。
在滤镜开关控件450处于关闭状态的情况下,电子设备可以不针对第一人物图像461和第二人物图像471进行滤镜美化。也就是说,电子设备可以根据第一视频的原始图像和第二视频的原始图像,在用户界面400内显示未经滤镜处理的图像;在合成后的第一目标视频中,第一图像区域560内的图像可以根据第一视频的原始图像得到,第二图像区域570内的图像可以根据第二第一视频的原始图像得到,即第一目标视频可以不包括经过滤镜处理的图像。
在一个示例中,在第一视频拍摄结束后,第一电子设备可以根据第一视频和第二视频,通过本申请实施例提供的处理视频的方法,对第一视频或第一目标视频进行处理,得到如图5、图6所示的第一目标视频。在另一个示例中,电子设备可以同时进行第一视频的拍摄和对第一视频的处理。本申请实施例可以不限定处理视频的具体步骤顺序。下面结合图7、图8,阐述本申请实施例提供的处理视频的方法。
第一电子设备可以根据第一视频,提取第一动作文件。动作文件可以指示在一段视频的多个帧中,人物的多个肢体在图像上的相对位置,进而反映该人物在视频中的动作信息。根据前文可知,第一视频可以包括或提取得到第一人物子视频。第一人物子视频可以包括多个第一子帧。第一动作文件可以包括与多个第一子帧一一对应的第一动作子文件。每个第一子帧可以包含第一用户的一个动作。如图7所示,710示出了第一人物子视频的一个第一子帧A。第一用户在该第一子帧A中做出的动作可以为第一动作A。711示出了与该第一动作A对应的第一动作子文件A。
第一电子设备例如可以根据以下至少两项之间的位置关系或坐标,确定第一动作子文件A:第一头部像素点、第一颈部像素点、第一躯干像素点、第一左上前肢像素点、第一左上后肢像素点、第一左下前肢像素点、第一左下后肢像素点、第一右上前肢像素点、第一右上后肢像素点、第一右下前肢像素点、第一右下后肢像素点、第一左手像素点、第一右手像素点。
其中,第一头部像素点可以为与第一用户的头部对应的像素点。第一颈部像素点可以为与第一用户的颈部对应的像素点。第一躯干像素点可以为与第一用户的躯干对应的像素点。第一左上前肢像素点可以为与第一用户的左上前肢对应的像素点。第一左上后肢像素点可以为与第一用户的左上后肢对应的像素点。第一左下前肢像素点可以为与第一用户的左下前肢对应的像素点。第一左下后肢像素点可以为与第一用户的左下后肢对应的像素点。第一右上前肢像素点可以为与第一用户的右上前肢对应的像素点。第一右上后肢像素点可以为与第一用户的右上后肢对应的像素点。第一右下前肢像素点可以为与第一用户的右下前肢对应的像素点。第一右下后肢像素点可以为与第一用户的右下后肢对应的像素点。第一左手像素点可以为与第一用户的左手对应的像素点。第一右手像素点可以为与第一用户的右手对应的像素点。第一动作子文件可以为反映或指示或描述或对应第一动作的数据。
在一个示例中,如图7所示,多个像素点可以被近似拟合成线段。线段的类型例如可以包括以下一种或多种:头部线段、颈部线段、躯干线段、左上前肢线段、左上后肢线段、左下肢线段、左下前肢线段、左下后肢线段、右上前肢线段、右上后肢线段、右下前肢线段、右下后肢线段、左手线段、右手线段。动作子文件例如可以包括由像素点拟合得到的线段的数据。
两种类型像素点之间的位置关系,可以对应两种拟合线段之间的角度、距离等信息。例如,类型1像素点可以拟合为线段1,类型2像素点可以拟合为线段2。线段1的长度可以反映类型1像素点的相对数量;线段2的长度可以反映类型2像素点的相对数量。类型1像素点与类型2像素点之间的位置关系,可以对应线段1与线段2之间的角度、距离等信息。在本申请中,角度值为负,可以指该肢体向左倾斜;角度值为正,可以指该肢体向右倾斜。角度的绝对值越大,可以认为该肢体倾斜的程度越大。
在图7所示的示例中,第一动作子文件A可以反映,第一用户的第一动作A可以包括举起右上肢。第一右上后肢像素点与第一躯干像素点之间的相对位置关系,以及第一右上前置像素点与第一右上后肢像素点之间的相对位置关系,可以反映,在第一动作A中,第一用户的右上后肢的举起角度为第一右后上肢角度,第一用户的右上前肢的举起角度为第一右前上肢角度。如图7所示,第一右上后肢角度例如可以约为85°,第一右上前肢角度例如可以约为-10°。也就是说,第一用户的在其他示例中,第一右上前肢角度可以根据第一右上前肢像素点和第一躯干像素点确定。在此情况下,第一右上前肢角度例如可以约为75°。
在图7所示的示例中,第一动作子文件A可以反映,第一用户的第一动作A可以包括举起左上肢。第二左上后肢像素点与第一躯干像素点之间的相对位置关系,以及第一左上前置像素点与第一左上后肢像素点之间的相对位置关系,可以反映,在第一动作A中,第一用户的左上后肢的举起角度为第一左上后肢角度,第一用户的左上前肢的举起角度为第一左上前肢角度。如图7所示,第一左上后肢角度例如可以略小于-90°,第一左上前肢角度例如可以约为-45°。在其他示例中,第一左上前肢角度可以根据第一左上前肢像素点和第一躯干像素点确定。在此情况下,第一左上前肢角度例如可以约为-135°。
在图7所示的示例中,第一动作子文件A可以反映,第一用户的第一动作A可以包括举起右下肢。第一右下后肢像素点与第一躯干像素点之间的相对位置关系,以及第一右下前置像素点与第一右下后肢像素点之间的相对位置关系,可以反映,在第一动作A中,第一用户的右下后肢的举起角度为第一右后下肢角度,第一用户的右下前肢的举起角度为第一右前下肢角度。如图7所示,第一右下后肢角度例如可以约为60°,第一右下前肢角度例如可以约为0°。在其他示例中,第一右下前肢角度可以根据第一右下前肢像素点和第一躯干像素点确定。在此情况下,第一右下前肢角度例如可以约为60°。
在图7所示的示例中,第一动作子文件A可以反映,第一用户的第一动作A可以包括不举起左下肢。第二左下后肢像素点与第一躯干像素点之间的相对位置关系,以及第一左下前置像素点与第一左下后肢像素点之间的相对位置关系,可以反映,在第一动作A中,第一用户的左下后肢的举起角度为第一左下后肢角度,第一用户的左下前肢的举起角度为第一左下前肢角度。如图7所示,第一左下后肢角度例如可以约为-5°,第一左下前肢角度例如可以约为5°。在其他示例中,第一左下前肢角度可以根据第一左下前肢像素点和第一躯干像素点确定。在此情况下,第一左下前肢角度例如可以约为0°。
在图7所示的示例中,第一动作子文件A可以反映,第一用户的第一动作A可以包括歪扭颈部。第一颈部像素点与第一躯干像素点之间的相对位置关系可以反映,在第一动作A中,颈部歪扭的角度为第一颈部角度。如图7所示,第一颈部角度例如可以约为5°。
在图7所示的示例中,第一动作子文件A可以反映,第一用户的第一动作A可以包括歪扭头部。第一头部像素点与第一颈部像素点之间的相对位置关系可以反映,在第一动作A中,头部歪扭的角度为第一头部角度。如图7所示,第一头部角度例如可以约为15°。在其他示例中,第一头部角度可以根据第一头部像素点和第一躯干像素点确定。在此情况下,第一头部角度例如可以约为20°。
在图7所示的示例中,第一动作子文件A可以反映,第一用户的第一动作A可以包括不倾斜躯干。第一躯干像素点与中垂线(中垂线可以相对于地平线垂直)之间的相对位置关系可以反映,在第一动作A中躯干倾斜的角度为第一躯干角度。如图7所示,第一躯干角度例如可以约为0°。
可选的,第一动作子文件A可以反映,第一左手角度和/或第一右手角度。
例如,第一左手角度可以反映第一左手与第一左上前肢之间的角度。第一左手角度例如可以根据第一左手像素点与第一左上前肢像素点得到。
又如,第一左手角度可以反映第一左手与第一躯干之间的角度。可以根据第一左手像素点与第一躯干像素点得到。
例如,第一右手角度可以反映第一右手与第一右上前肢之间的角度。第一右手角度例如可以根据第一右手像素点与第一右上前肢像素点得到。
又如,第一右手角度可以反映第一右手与第一躯干之间的角度。可以根据第一右手像素点与第一躯干像素点得到。
应理解,本申请实施例通过图7所示的示例,阐述第一用户的一种可能的动作。本申请实施例无意于限定第一动作的具体内容。
第一电子设备可以根据第二视频,提取第二动作文件。根据前文可知,第二视频可以包括或提取得到第二人物子视频。第二人物子视频可以包括多个第二子帧。第二动作文件可以包括与多个第二子帧一一对应的第二动作子文件。每个第二子帧可以包含目标人物的一个动作。如图7所示,720示出了第二人物子视频的一个第二子帧a。目标人物在该第二子帧a中做出的动作可以为第二动作a。721示出了与该第二动作a对应的第二动作子文件a。
第二电子设备例如可以根据以下至少两项之间的位置关系或坐标,确定第二动作子文件a:第二头部像素点、第二颈部像素点、第二躯干像素点、第二左上前肢像素点、第二左上后肢像素点、第二左下前肢像素点、第二左下后肢像素点、第二右上前肢像素点、第二右上后肢像素点、第二右下前肢像素点、第二右下后肢像素点、第二左手像素点、第二右手像素点。
其中,第二头部像素点可以为与目标人物的头部对应的像素点。第二颈部像素点可以为与目标人物的颈部对应的像素点。第二躯干像素点可以为与目标人物的躯干对应的像素点。第二左上前肢像素点可以为与目标人物的左上前肢对应的像素点。第二左上后肢像素点可以为与目标人物的左上后肢对应的像素点。第二左下前肢像素点可以为与目标人物的左下前肢对应的像素点。第二左下后肢像素点可以为与目标人物的左下后肢对应的像素点。第二右上前肢像素点可以为与目标人物的右上前肢对应的像素点。第二右上后肢像素点可以为与目标人物的右上后肢对应的像素点。第二右下前肢像素点可以为与目标人物的右下前肢对应的像素点。第二右下后肢像素点可以为与目标人物的右下后肢对应的像素点。第二左手像素点可以为与目标人物的左手对应的像素点。第二右手像素点可以为与目标人物的右手对应的像素点。第二动作子文件可以为反映或指示或描述或对应第二动作的数据。如上所述,不同类型的像素点之间的位置关系、数量关系等,可以反映目标人物的动作方向、动作角度、动作幅度等。
在图7所示的示例中,第二动作子文件a可以反映,目标人物的第二动作a可以包括举起右上肢。第二右上后肢像素点与第二躯干像素点之间的相对位置关系,以及第二右上前置像素点与第二右上后肢像素点之间的相对位置关系,可以反映,在第二动作a中,目标人物的右上后肢的举起角度为第二右后上肢角度,目标人物的右上前肢的举起角度为第二右前上肢角度。如图7所示,第二右上后肢角度例如可以约为60°,第二右上前肢角度例如可以约为30°。也就是说,目标人物的在其他示例中,第二右上前肢角度可以根据第二右上前肢像素点和第二躯干像素点确定。在此情况下,第二右上前肢角度例如可以约为90°。
在图7所示的示例中,第二动作子文件a可以反映,目标人物的第二动作a可以包括举起左上肢。第二左上后肢像素点与第二躯干像素点之间的相对位置关系,以及第二左上前置像素点与第二左上后肢像素点之间的相对位置关系,可以反映,在第二动作a中,目标人物的左上后肢的举起角度为第二左上后肢角度,目标人物的左上前肢的举起角度为第二左上前肢角度。如图7所示,第二左上后肢角度例如可以略小于-135°,第二左上前肢角度例如可以约为-15°。在其他示例中,第二左上前肢角度可以根据第二左上前肢像素点和第二躯干像素点确定。在此情况下,第二左上前肢角度例如可以约为-150°。
在图7所示的示例中,第二动作子文件a可以反映,目标人物的第二动作a可以包括举起右下肢。第二右下后肢像素点与第二躯干像素点之间的相对位置关系,以及第二右下前置像素点与第二右下后肢像素点之间的相对位置关系,可以反映,在第二动作a中,目标人物的右下后肢的举起角度为第二右后下肢角度,目标人物的右下前肢的举起角度为第二右前下肢角度。如图7所示,第二右下后肢角度例如可以约为60°,第二右下前肢角度例如可以约为0°。在其他示例中,第二右下前肢角度可以根据第二右下前肢像素点和第二躯干像素点确定。在此情况下,第二右下前肢角度例如可以约为60°。
在图7所示的示例中,第二动作子文件a可以反映,目标人物的第二动作a可以包括不举起左下肢。第二左下后肢像素点与第二躯干像素点之间的相对位置关系,以及第二左下前置像素点与第二左下后肢像素点之间的相对位置关系,可以反映,在第二动作a中,目标人物的左下后肢的举起角度为第二左下后肢角度,目标人物的左下前肢的举起角度为第二左下前肢角度。如图7所示,第二左下后肢角度例如可以约为0°,第二左下前肢角度例如可以约为0°。在其他示例中,第二左下前肢角度可以根据第二左下前肢像素点和第二躯干像素点确定。在此情况下,第二左下前肢角度例如可以约为0°。
在图7所示的示例中,第二动作子文件a可以反映,目标人物的第二动作a可以包括歪扭颈部。第二颈部像素点与第二躯干像素点之间的相对位置关系可以反映,在第二动作a中,颈部歪扭的角度为第二颈部角度。如图7所示,第二颈部角度例如可以约为30°。
在图7所示的示例中,第二动作子文件a可以反映,目标人物的第二动作a可以包括歪扭头部。第二头部像素点与第二颈部像素点之间的相对位置关系可以反映,在第二动作a中,头部歪扭的角度为第二头部角度。如图7所示,第二头部角度例如可以约为0°。在其他示例中,第二头部角度可以根据第二头部像素点和第二躯干像素点确定。在此情况下,第二头部角度例如可以约为30°。
在图7所示的示例中,第二动作子文件a可以反映,目标人物的第二动作a可以包括不倾斜躯干。第二躯干像素点与中垂线(中垂线可以相对于地平线垂直)之间的相对位置关系可以反映,在第二动作a中躯干倾斜的角度为第二躯干角度。如图7所示,第二躯干角度例如可以约为-5°。
可选的,第二动作子文件a可以反映,第二左手角度和/或第二右手角度。
例如,第二左手角度可以反映第二左手与第二左上前肢之间的角度。第二左手角度例如可以根据第二左手像素点与第二左上前肢像素点得到。
又如,第二左手角度可以反映第二左手与第二躯干之间的角度。可以根据第二左手像素点与第二躯干像素点得到。
例如,第二右手角度可以反映第二右手与第二右上前肢之间的角度。第二右手角度例如可以根据第二右手像素点与第二右上前肢像素点得到。
又如,第二右手角度可以反映第二右手与第二躯干之间的角度。可以根据第二右手像素点与第二躯干像素点得到。
结合图7的示例可知,第一用户的动作和目标人物的动作相似度比较高,但是二者仍有差异:第一右上前肢角度例如可以约为-10°,第二右上前肢角度例如可以约为30°。第一右上后肢角度例如可以约为85°,第二右上后肢角度例如可以约为60°。第一左上前肢角度例如可以约为-45°,第二左上前肢角度例如可以约为-15°。第一左上后肢角度例如可以略小于-90°,第二左上后肢角度例如可以约为-135°。第一右下前肢角度例如可以约为0°,第二右下前肢角度例如可以约为0°。第一右下后肢角度例如可以约为60°,第二右下后肢角度例如可以约为60°。第一左下前肢角度例如可以约为5°,第二左下前肢角度例如可以约为0°。第一左下后肢角度例如可以约为-5°,第二左下后肢角度例如可以约为0°。第一颈部角度例如可以约为5°。第二颈部角度例如可以约为30°。第一头部角度例如可以约为15°。第二头部角度例如可以约为30°。第一躯干角度例如可以约为0°。第二躯干角度例如可以约为-5°。
将第一动作A与第二动作a比较,至少可以得出:第一右前上肢角度可以不同于第二右上前肢角度;第一右上后肢角度可以不同于第二右上后肢角度;第一左上前肢角度可以不同于第二左上前肢角度;第一左上后肢角度可以不同于第二左上后肢角度;第一左下前肢角度可以不同于第二左下前肢角度;第一左下后肢角度可以不同于第二左下后肢角度;第一颈部角度可以不同于第二颈部角度;第一头部角度可以不同于第二头部角度;第一躯干角度可以不同于第二躯干角度。
第一电子设备可以根据第二动作子文件a,调整第一子帧中的像素点,第一动作子文件A也可以被相应调整,从而处理后的第一视频所对应的动作子文件与第二动作子文件a可以尽可能相似或对应。
例如,在图7所示的示例中,第一电子设备可以通过调整第一子帧中的像素点,使得:第一右前上肢角度可以等同或近似等同于第二右上前肢角度;第一右上后肢角度可以等同或近似等同于第二右上后肢角度;第一左上前肢角度可以等同或近似等同于第二左上前肢角度;第一左上后肢角度可以等同或近似等同于第二左上后肢角度;第一左下前肢角度可以等同或近似等同于第二左下前肢角度;第一左下后肢角度可以等同或近似等同于第二左下后肢角度;第一颈部角度可以等同或近似等同于第二颈部角度;第一头部角度可以等同或近似等同于第二头部角度;第一躯干角度可以等同或近似等同于第二躯干角度。进而,在处理后的第一子帧中的第一动作a可以与第二视频中的第一动作A尽可能相似或对应。
第一电子设备可以输出处理后的第一子帧,如图7中的730所示。可以看出,调整后的第一用户的动作可以与目标人物的动作更加相似。也就是说,通过图7所示的方法,可以调整第一视频中用户的动作角度、动作方向、动作幅度等,进而有利于提高第一用户与目标人物之间的动作匹配度。
第一电子设备可以根据上述第一动作子文件A、上述第二动作子文件a,比较第一用户子视频的尺寸与第二用户子视频的播放尺寸。例如,根据头部像素点、颈部像素点、躯干像素点、左上肢像素点、左下肢像素点、右上肢像素点、右下肢像素点、左手像素点、右手像素点中的至少一种,可以拟合得到一个或多个线段。第一电子设备可以根据该一个或多个线段的长度,确定用户子视频的尺寸。
在图7所示的示例中,第一用户子视频的尺寸可以相对较小,第二用户子视频的尺寸可以相对较大。第一电子设备可以调整通过调整第一用户子视频中的像素点,以使得第一用户子视频的尺寸与第二用户子视频的尺寸可以相对匹配。也就是说,通过图7所示的方法,可以调整第一用户子视频占用的画面比例,有利于提高第一用户子视频与第二用户子视频之间的尺寸匹配度。
第一人物子视频的多个第一子帧中还可以包括第一子帧B,如图8中的810所示。第一用户在该第一子帧B中做出的动作可以为第一动作B。第一子帧A与第一子帧B为第一人物子视频中的两个不同的子帧。第一电子设备可以结合如图7所示的方法,根据第一子帧B,确定第一动作子文件B,如图8中的811所示。
第二人物子视频的多个第二子帧中还可以包括第二子帧b,如图8中的820所示。第二用户在该第二子帧b中做出的动作可以为第二动作b。第二子帧a与第二子帧b为第二人物子视频中的两个不同的子帧。第一电子设备可以结合如图7所示的方法,根据第二子帧b,或从云端服务器,获取第二动作子文件b,如图8中的821所示。
第一子帧A(如图8中的710所示)可以与第二子帧a(如图8中的720所示)对应,第一子帧B可以与第二子帧b对应。也就是说,第一动作子文件A(如图8中的711所示)可以与第二动作子文件a(如图8中的721所示)具有相对较高的相似度,第一动作子文件B可以与第二动作子文件b具有相对较高的相似度。
在一个示例中,第一子帧A与第一子帧B之间的时间差可以为T,第二子帧a与第二子帧b之间的时间差可以为t。也就是说,在第一视频中,相对于第二视频而言,第一用户做出第一动作A并过渡到第一动作B可以相对较快或相对较慢。如图8所示,T可以大于t,即第一用户的动作可以相对较慢。
第一电子设备可以根据第一子帧A、第一子帧B、第二子帧a、第二子帧b,调整第一子帧A与第一子帧B之间的子帧,使得第一子帧B可以靠近第一子帧A或远离第一子帧A,进而可以调整第一子帧A与第一子帧B之间的时间差。例如,在第一视频中,与第一子帧A距离为t的子帧为第一子帧C(如图8中的虚线矩形所示)。第一电子设备可以调整第一子帧A与第一子帧B之间的子帧,使得第一子帧B可以被调整至第一子帧C被调整前的位置。
结合图8所示的示例,目标人物做出第二动作a并过渡到第二动作b的时间较短,也就是说目标人物的动作相对较快;第一电子设备可以缩小第一子帧A与第一子帧B之间的时间差,从而可以加快第一用户的动作,如图8中的虚线箭头所示。
通过本申请实施例提供的图8所示的方法,第一电子设备可以对第一视频进行处理,有利于提高第一用户的动作与目标人物的动作之间的速度相似度。处理后的第一视频可以是第一目标视频。
在其他的示例中,响应用户作用在图4所示的录制控件410上的操作,电子设备还可以对第一视频进行处理,得到第一目标视频,如图9中的用户界面900所示。该第一目标视频可以通过如图7、图8所示的方法,根据第一视频以及第二视频处理得到。该第一目标视频例如包括如图5、图6所示的第一图像区域560,即包括对应图4所示的第一界面区域460的像素点。也就是说,图9所示的第一目标视频可以不包括如图5、图6所示的第二图像区域570,即不包括对应图4所示的第二界面区域470的像素点。
如图5、图6所示,本申请实施例提供的处理视频的方法可以应用于合拍场景中动作协调性的优化。如图8所示,本申请实施例提供的处理视频的方法还可以应用于除合拍场景以外的其他场景,例如针对单个视频进行动作优化。通过本申请实施例提供的处理视频的方法,可以调整第一视频中第一用户的动作幅度、第一用户的画面尺寸、第一用户的动作快慢等,进而可以减少第一用户对第一视频的后期处理量。
响应用户针对图库应用的操作,电子设备可以调取图5、图6或图9所示的第一目标视频,从而用户可以观看第一目标视频。响应用户针对图库应用的操作,电子设备可以对第一目标视频进行后期调整。例如可以调整第一图像区域的快慢、第二图像区域的播放快慢、对第一图像区域美化、对第二图像区域美化、第一图像区域的大小、第二图像区域的大小等。
在一个可能的示例中,响应第一用户作用在如图5、图6、图9所示的动作优化控件550,第一电子设备可以调整第一动作子文件与第二动作子文件之间的相似度,进而第一用户可以灵活指定动作的调整幅度。例如在第一用户不希望第一视频与第二视频完全相同的情况下,第一用户可以通过动作优化控件550,减小第一视频或第一目标视频被处理或被优化的程度;在第一用户希望第一视频与第二视频尽可能相同的情况下,第一用户可以通过动作优化控件550,增大第一视频或第一目标视频被处理或被优化的程度。第一视频被处理或被优化的程度例如可以默认为0.6~0.7。这样既有利于提高第一用户的动作与目标人物之间的动作匹配度,还有利于保留有第一用户自身的特点。
在一些场景中,多个用户可以模仿同一素材或同一图库视频。电子设备可以将多个用户的视频合成为合拍视频,以提高包含多个用户的合拍视频的协调性。
参照图3至图9所示的示例,第三用户可以模仿第二视频中的目标人物做出一系列动作,并通过第三电子设备拍摄第三视频。该目标人物可以与上文中第一用户模仿的人物为同一人物。如图10所示,第三电子设备可以显示如图10所示的用户界面1000。用户界面1000可以包括第三界面区域1060、第四界面区域1070。
如图10所示,第三电子设备可以在第三界面区域1060内显示第三人物图像1061和第三背景图像1062,其中第三人物图像1061可以包括与第三用户对应的像素点,第三背景图像1062可以包括与第三用户所在场景对应的像素点。第三界面区域1060可以用于预览第三用户的拍摄效果。第三电子设备可以在第四界面区域1070内显示第二人物图像471,进而可以播放第二人物子视频的画面。第四界面区域1070可以用于提示目标人物的动作。
如图10所示,用户界面可以包括录制控件1010。响应第三用户作用在该录制控件1010上的操作,第三电子设备可以拍摄得到第三视频。该第三视频可以包括或提取得到第三用户子视频、第三背景子视频。
在一个可能的示例中,结合图7、图8所示的处理视频的方法,第三电子设备可以根据第三用户子视频,确定多个第三动作子文件,该多个第三动作子文件可以与该第三用户子视频的多个第三子帧一一对应。第三动作子文件可以用于反映在第三子帧中第三用户的动作。可选的,在图10所示的示例中,第三用户的镜像动作可以与目标人物的动作匹配度更高,第三电子设备可以根据第三视频的镜像视频,确定该多个第三动作子文件。
第三电子设备可以根据第三动作子文件,以及与该第三动作子文件对应的第二动作子文件,调整第三视频的像素点,以实现对第三视频的处理,进而可以有利于提高第三用户与目标人物之间的动作相似度。如图10所示,被拍摄到的第三用户的动作与目标人物的动作相似但略有不同;如图11所示,在对第三视频处理后,第三用户的动作与目标人物的动作可以具有更高的相似度。
在一个示例中,第三电子设备可以将第二视频与第三视频合成为第二目标视频,其中第二目标视频和/或第三视频可以为经过处理的视频。在图11所示的示例中,第二目标视频可以属于经过分屏处理,且经过背景去除处理后的视频。第二目标视频可以包括第三图像区域1160、第四图像区域1170。第三图像区域1160可以包括与第三用户子视频对应的像素点,以及与第二背景子视频对应的像素点。第四图像区域1170可以包括与第二用户子视频对应的像素点,以及与第二背景子视频对应的像素点。也就是说,第二视频中的背景图像可以充当第三用户子视频的背景。
在其他示例中,第二目标视频可以不属于分屏视频,或者可以属于经过分屏处理但未经过背景去除处理的视频。
由于第一用户、第三用户均模仿目标人物的动作,因此将处理后的第一视频、第三视频合成为第三目标视频,有利于获得协调度相对较高的合拍视频。如图12所示,第一电子设备或第三电子设备可以将第一视频、第三视频合成为第三目标视频,其中第一视频、第三视频均可以为经过处理后的视频。
在一个可能的示例中,图12所示的第三目标视频可以属于经过分屏处理但未经背景去除处理的视频。第三目标视频可以包括第五图像区域1260、第六图像区域1270。第五图像区域1260可以包括与图5所示的第一用户子视频对应的像素点,以及与第一背景子视频对应的像素点。第六图像区域1270可以包括与图10所示的第三用户子视频对应的像素点,以及与第三背景子视频对应的像素点。在其他的示例中,第三目标视频可以属于经过分屏处理以及背景去除处理的视频。
在另一个示例中,图13所示的第三目标视频可以属于未经过分屏处理但经过背景去除处理的视频。第三目标视频可以包括第五图像区域1260、第六图像区域1270、第二背景图像区域1380。第五图像区域1260可以包括与第一用户子视频对应的像素点,可以不包括与第一背景子视频对应的像素点。第六图像区域1270可以包括与第三用户子视频对应的像素点,可以不包括与第三背景子视频对应的像素点。第二背景图像区域1380可以包括与目标图库图像对应的像素点。在其他的示例中,第二背景图像区域1380可以包括与图4所示的第一背景图像或图10所示的第三背景图像对应的像素点。
结合上文所述的示例,在其他可能的应用中,第一用户可以模仿第二视频中的第一目标人物做出一系列动作,并通过第一电子设备拍摄第一视频;第三用户可以模仿第二视频中的第二目标人物做出一系列动作,并通过第三电子设备拍摄第三视频。第一目标人物和第二目标人物可以是第二视频中的两个不同的人物。参照上文所述的示例,第一电子设备、第三电子设备或其他电子设备可以对第一视频、第三视频进行处理,得到包含第一用户、第三用户的目标视频。
在一个示例中,电子设备可以获取第一动作文件、第二动作文件、第三动作文件、第四动作文件。第一动作文件可以通过提取第一视频中第一用户的动作信息得到。第二动作文件可以通过提取第二视频中第一目标人物的动作信息得到。第三动作文件可以通过提取第三视频中第三用户的动作信息得到。第四动作文件可以通过提取第二视频中第二目标人物的动作信息得到。
电子设备可以对比第一动作子文件和第二动作子文件,对第一视频进行处理,得到第一目标视频,第一目标视频中第一用户的动作可以与第一视频中第一用户的动作略有不同,第一目标视频中第一用户的动作可以与第二视频中第一目标人物的动作更相似。
电子设备可以对比第三动作子文件和第四动作子文件,对第三视频进行处理,得到第三目标视频,第三目标视频中第三用户的动作可以与第三视频中第三用户的动作略有不同,第三目标视频中第三用户的动作可以与第二视频中第二目标人物的动作更相似。
电子设备可以将第一目标视频和第三目标视频合成为新的视频,该新的视频可以展示第一目标视频中第一用户的动作,且可以展示第三目标视频中第三用户的动作。可选的,该新的视频还可以包括第二视频中的数据。例如,该新的视频还可以展示第二视频中第一目标人物和第二目标人物的动作。
在其他示例中,电子设备可以根据第一视频、第三视频、第一动作文件、第二动作文件、第三动作文件、第四动作文件,直接生成一个完整的视频,既可以跳过生成第一目标视频和第三目标视频的步骤。图14是本申请实施例提供的另一种用户界面1400的示意图。该用户界面1400可以显示在第一电子设备上。该用户界面1400可以为畅连应用的界面,或者其他具有视频通话功能的应用的界面。也就是说,第一电子设备上可以承载畅连应用或其他具有视频通话功能的应用。响应第一用户作用的与这些应用对应的操作,第一电子设备可以显示该用户界面1400。
例如,第一用户可以通过点击畅连应用的图标,打开畅连应用,进而第一电子设备可以显示用户界面1400。
用户界面1400可以包括与多个用户一一对应的多个用户控件1410。该多个用户可以包括第二用户。响应第一用户对第二用户控件1410的操作(如点击操作),第一电子设备可以显示该第二用户的联系信息。第二用户的联系信息可以包括以下至少一项:第二用户的姓名、第二用户的联系方式、第二用户的通话记录等。
如图14所示,用户界面可以包括用户搜索控件1420。在一个示例中,第一用户可以通过该用户搜索控件,邀请第二用户进行视频通话。响应第一用户作用在用户搜索控件的操作(如点击操作),以及后续一系列操作(如文字输入、语音输入、扫描二维码等),第一电子设备可以获取第二用户的相关信息(如第二用户的部分或全部姓名、第二用户的姓名的首字母、第二用户的部分或全部视频通话号码等)。第一电子设备可以根据该第二用户的相关信息,从第一电子设备存储的多个用户记录中确定第二用户的用户记录,该多个用户记录可以与该多个用户一一对应。进而,第一电子设备可以快速在用户界面上显示该第二用户的用户控件。
可选的,用户界面可以包括常用用户控件1412。如图14所示,第二用户可以属于常用联系人,用户界面可以包括与第二用户对应的常用用户控件1411。
在一个示例中,第一电子设备可以统计合拍次数最多的用户为用户A,并在用户界面上显示常用用户控件A,该常用用户控件A可以为与用户A对应的控件。在另一个示例中,第一电子设备可以统计视频通话次数最多的用户为用户B,并在用户界面上显示常用用户控件B,该常用用户控件B可以为与用户B对应的控件。
可选的,为便于第一用户快速搜索第二用户,多个用户例如可以按照字母的顺序排列。
可选的,用户界面可以包括字母控件。响应第一用户作用在该字母控件上的操作,第一电子设备可以切换在用户界面上显示的用户控件。
用户界面可以包括畅连视频控件1430。如图14所示,用户界面可以包括与多个用户一一对应的多个畅连视频控件1430。
第一用户可以通过第一电子设备,邀请第二用户进行视频通话。响应第一用户作用在与第二用户对应的畅连视频控件1430的操作(如点击操作),第一电子设备可以向第二电子设备发起视频通话,其中,第二电子设备可以为第二用户使用的电子设备。相应地,第二用户可以通过第二电子设备接收到第一用户的视频通话邀请。第二电子设备可以显示视频通话邀请的界面,该界面可以包括视频通话接听控件。响应第二用户作用在视频通话接听控件上的操作,第一电子设备与第二电子设备之间可以建立视频通话连接。
在第一电子设备与第二电子设备建立视频通话连接后,第一电子设备通过拍摄可以得到第一视频,第二电子设备通过拍摄可以得到第二视频;并且,第一电子设备可以通过该视频通话连接,获取该第二视频,第二电子设备可以通过视频通话连接,获取该第一视频。
在一个示例中,第一用户可以在视频通话过程中邀请第二用户远程合拍。在其他示例中,第二用户可以在视频通话过程中邀请第一用户远程合拍。在远程合拍被第一用户、第二用户均授权后,第一电子设备、第二电子设备可以显示如图15所示的用户界面1500。用户界面1500可以是远程合拍的准备界面。
可选的,图14所示的用户界面还可以包括远程合拍控件1440。如图14所示,用户界面1400可以包括与多个用户一一对应的多个远程合拍控件1440。第一用户可以通过远程合拍控件1440,邀请第二用户通过视频通话完成远程合拍。结合图14所示,响应第一用户作用在该远程合拍控件1440的操作(如点击操作),第一电子设备可以向第二电子设备发起视频通话,并向第二电子设备发送指示信息,该指示信息用于邀请第二用户合拍,其中,第二电子设备可以为第二用户使用的电子设备。相应地,第二用户可以通过第二电子设备接收到第一用户的远程合拍邀请。第二电子设备可以显示远程合拍邀请的界面,该界面可以包括视频通话接听控件。响应第二用户作用在视频通话接听控件上的操作,第一电子设备与第二电子设备之间可以建立视频通话连接,并且,第一电子设备、第二电子设备均可以显示如图15所示的用户界面1500。
如图15所示,用户界面1500可以包括第一界面区域1560、第二界面区域1570,第一界面区域1560可以显示第一电子设备当前拍摄到的部分或全部图像,第二界面区域1570可以显示第二电子设备当前拍摄到的部分或全部图像。第一界面区域1560与第二界面区域1570之间可以互不交叉。第一界面区域1560、第二界面区域1570可以位于用户界面1500上的任意位置。如图15所示,第一界面区域1560可以位于用户界面1500的上方,第二界面区域1570可以位于用户界面1500的下方。也就是说,第一电子设备拍摄到的部分或全部图像与第二电子设备拍摄到的部分或全部图像可以同时显示在用户界面1500上。
用户可以观察用户界面1500,进而可以预览第一用户与第二用户的合拍效果。例如,如图15所示,在第一用户使用第一电子设备的前置摄像头自拍,且第二用户使用第二电子设备的前置摄像头自拍的情况下,第一界面区域1560可以包括第一人物图像1561,第二界面区域1570可以包括第二人物图像1571。也就是说,第一界面区域1560可以包括与第一用户对应的像素点,第二界面区域1570可以包括与第二用户对应的像素点。应理解,在其他示例中,第一电子设备和/或第二电子设备可以采用后置摄像头拍摄包含用户的图像。
用户界面1500还可以包括用于调整合拍效果的控件。如图15所示,用户界面1500可以包括分屏开关控件1520、背景去除开关控件1530、美化开关控件1540。在合拍开始之前或在合拍的过程中,用户可以通过这些控件调整合拍效果。可选的,参照图4所示的实施例,分屏开关控件1520可以具有上文所述的分屏开关控件420的功能,背景去除开关控件1530可以具有上文所述的背景去除开关控件430的功能,美化开关控件1540可以具有上文所述的美颜开关控件440和/或滤镜开关控件450的功能,在此就不再详细赘述。
用户界面1500可以包括录制控件1510。响应用户作用在该录制控件1510上的操作,电子设备可以合成第一电子设备拍摄的第一视频以及第二电子设备拍摄的第二视频,得到如图5、图6所示的第一目标视频。也就是说,在图14、图15所示的示例中,用户可以通过畅连应用以及本申请实施例提供的处理视频的方法,得到协调性相对较高的合拍视频。
结合上文所述的示例,下面阐述一种新的应用场景。
第一用户可以通过点击畅连应用的图标,打开畅连应用。第一电子设备可以显示在用户界面上显示多个用户控件。该多个用户可以包括第三用户。响应第一用户对第三用户的控件的操作(如点击操作),第一电子设备可以向第三用户使用的第二电子设备发起视频通话,邀请第三用户进行视频通话。相应地,第三用户可以通过第二电子设备接收到第一用户的视频通话邀请。之后,第一电子设备与第二电子设备之间可以建立视频通话连接。
在第一电子设备与第二电子设备建立视频通话连接后,第一电子设备通过拍摄可以得到第一视频,该第一视频可以是第一用户的视频;第二电子设备通过拍摄可以得到第三视频,该第一视频可以是第三用户的视频;并且,第一电子设备可以通过该视频通话连接,获取该第三视频,第二电子设备可以通过视频通话连接,获取该第一视频。对第一视频的动作信息提取,可以得到第一动作文件,第一动作文件可以指示了第一用户在第一视频中的动作。对第三视频的动作信息提取,可以得到第三动作文件,第三动作文件可以指示第三用户在第三视频中的动作。
第一用户可以在视频通话过程中邀请第三用户远程合拍。或者,第三用户可以在视频通话过程中邀请第一用户远程合拍。在远程合拍被第一用户、第三用户均授权后,第一电子设备、第二电子设备可以显示远程合拍的准备界面。该远程合拍的准备界面上可以显示有如图3所示的素材合拍控件330和/或图库合拍控件340。第一用户和第三用户中的一个可以通过素材合拍控件330或图库合拍控件340选择第二视频。
在一个示例中,第二视频可以是第一目标人物的视频,展示了第一目标人物的动作。在视频通话过程中,第一用户可以模仿第二视频中的第一目标人物的动作,且第三用户可以模仿第二视频中第一目标人物的动作。第一用户模仿动作的时段可以与第三用户模仿动作的时段相同或不同。
第一电子设备、第二电子设备中的一个电子设备可以根据获取到的第一视频、第三视频、第一动作文件、第三动作文件,以及与第二视频对应的第二动作文件,对第一视频、第三视频进行处理,得到目标视频。第二动作文件可以与第二视频中第一目标人物的动作对应。
该目标视频可以包括第一用户的图像和第三用户的图像;其中第一用户在该目标视频中的动作可以与第一视频中第一用户的动作不同,且第一用户在该目标视频中的动作可以与第二视频中第一目标人物的动作对应;第三用户在该目标视频中的动作可以与第三视频中第三用户的动作不同,且第三用户在该目标视频中的动作可以与第二视频中第一目标人物的动作对应。
可选的,目标视频还可以包括第二视频中第一目标人物的图像。
在另一个示例中,第二视频可以是第一目标人物和第二目标人物的视频,展示了第一目标人物的动作以及第二目标人物的动作。在视频通话过程中,第一用户可以模仿第二视频中的第一目标人物的动作,且第三用户可以模仿第二视频中第二目标人物的动作。第一用户模仿动作的时段可以与第三用户模仿动作的时段相同或不同。
第一电子设备、第二电子设备中的一个电子设备可以根据获取到的第一视频、第三视频、第一动作文件、第三动作文件,以及与第二视频对应的第二动作文件、第四动作文件,对第一视频、第三视频进行处理,得到目标视频。第二动作文件可以与第二视频中第一目标人物的动作对应。第四动作文件可以与第二视频中第二目标人物的动作对应。
该目标视频可以包括第一用户的图像和第三用户的图像;其中第一用户在该目标视频中的动作可以与第一视频中第一用户的动作不同,且第一用户在该目标视频中的动作可以与第二视频中第一目标人物的动作对应;第三用户在该目标视频中的动作可以与第三视频中第三用户的动作不同,且第三用户在该目标视频中的动作可以与第二视频中第二目标人物的动作对应。
可选的,目标视频还可以包括第二视频中第一目标人物的图像,以及第二视频第二目标人物的图像。
本申请实施例还提供了一种处理视频的方法1600,该方法1600可以在如图1、图2所示的电子设备(例如手机、平板电脑等)中实现。如图16所示,该方法1600可以包括以下步骤:
1601,第一电子设备获取第一视频,所述第一视频为第一人物的视频。
示例性的,第一人物以及第一视频可以参照图4至图6的第一人物图像461所示的示例。
示例性的,第一人物以及第一视频可以参照图15的第一人物图像1561所示的示例。
1602,所述第一电子设备获取与所述第一视频对应的第一动作文件,所述第一动作文件与所述第一人物的动作对应。
示例性的,第一动作文件可以参照图7中的第一动作子文件711所示的示例。
示例性的,第一动作文件可以参照图8中的第一动作子文件811所示的示例。
1603,所述第一电子设备获取与第二视频对应的第二动作文件,所述第二视频为第二人物的视频,所述第二动作文件与所述第二人物的动作对应。
示例性的,第二动作文件可以参照图7中的第二动作子文件721所示的示例。
示例性的,第二动作文件可以参照图8中的第二动作子文件821所示的示例。
1604,所述第一电子设备根据所述第一视频、所述第一动作文件、所述第二动作文件,生成目标视频,所述目标视频包括所述第一人物的第一人物图像,所述目标视频中所述第一人物的动作与所述第一视频中所述第一人物的动作不同,所述目标视频中所述第一人物的动作与所述第二视频中所述第二人物的动作对应。
示例性的,目标视频中的第一人物图像可以参照图5、图6、图9中的第一人物图像461所示的示例。示例性的,目标视频中的第一人物图像可以参照图15中的第一人物图像1561所示的示例。
可选的,在所述第一电子设备获取第一视频之前,所述方法还包括:所述第一电子设备建立所述第一电子设备与第二电子设备的视频通话连接,所述第一电子设备为所述第一人物的电子设备,所述第二电子设备为所述第二人物的电子设备;所述第一电子设备获取第一视频,包括:所述第一电子设备在视频通话过程中,获取所述第一视频;所述方法还包括:所述第一电子设备通过所述视频通话连接,从所述第二电子设备获取所述第二视频。
示例性的,视频通话连接的建立过程可以参照图14至图15所示的示例。
示例性的,第二人物以及第二视频可以参照图15的第二人物图像1571所示的示例。
可选的,所述第一视频、所述第二视频对应所述视频通话过程中的相同时段,所述目标视频还包括所述第二人物的第二人物图像,所述目标视频中所述第二人物的动作与所述第二视频中所述第二人物的动作对应。示例性的,目标视频的某个帧可以参照图15所示的用户界面所示。也就是说,第一人物和第二人物可以同步做出相似的动作,从基于第二人物的动作,对第一视频处理,使目标视频中第一人物的第二人物的动作更加协调。
示例性的,目标视频中的第二人物图像可以参照图15中的第二人物图像1571所示的示例。
可选的,所述方法还包括:所述第一电子设备获取第三视频,所述第三视频为第三人物的视频;所述第一电子设备获取与所述第三视频对应的第三动作文件,所述第三动作文件与所述第三人物的动作对应;所述第一电子设备根据所述第一视频、所述第一动作文件、所述第二动作文件,生成目标视频,包括:所述第一电子设备根据所述第一视频、所述第三视频、所述第一动作文件、所述第二动作文件、所述第三动作文件,生成所述目标视频,所述目标视频还包括所述第三人物的第三人物图像,所述目标视频中所述第三人物的动作与所述第三视频中所述第三人物的动作不同,所述目标视频中所述第三人物的动作与所述第二视频中所述第二人物的动作对应。
示例性的,第三视频可以参照图10的第三界面区域1060所示的示例。第三视频中第三人物的图像可以参照10的第三人物图像1061所示的示例。
示例性的,目标视频可以参照图11的第三图像区域1160所示的示例,或者参照图11的第三图像区域1160、第四图像区域1170所示的示例,或者参照图12的第三图像区域1260所示的示例,或者参照图12的第三图像区域1260、第四图像区域1270所示的示例,或者参照图13的用户界面1300所示的示例。
可选的,所述目标视频还包括所述第二人物的第二人物图像,所述目标视频中所述第二人物的动作与所述第二视频中所述第二人物的动作对应。
可选的,所述第一人物图像、所述第二人物图像属于所述目标视频中的同一帧图像。
可选的,所述第二视频为所述第二人物和所述第四人物的视频,所述方法还包括:所述第一电子设备获取第三视频,所述第三视频为第三人物的视频;所述第一电子设备获取与所述第三视频对应的第三动作文件,所述第三动作文件与所述第三人物的动作对应;所述第一电子设备获取第四动作文件,所述第四动作文件与所述第二视频中的所述第四人物的动作对应;所述第一电子设备根据所述第一视频、所述第一动作文件、所述第二动作文件,生成目标视频,包括:所述第一电子设备根据所述第一视频、所述第三视频、所述第一动作文件、所述第二动作文件、所述第三动作文件、所述第四动作文件,生成所述目标视频,所述目标视频还包括所述第三人物的第三人物图像,所述目标视频中所述第三人物的动作与所述第三视频中所述第三人物的动作不同,所述目标视频中所述第三人物的动作与所述第二视频中所述第四人物的动作对应。
可选的,所述目标视频还包括所述第二人物的第二人物图像和所述第四人物的第四人物图像,所述目标视频中所述第二人物的动作与所述第二视频中所述第二人物的动作对应,所述目标视频中所述第四人物的动作与所述第二视频中所述第四人物的动作对应。
可选的,所述第一人物图像、所述第二人物图像、所述第三人物图像、所述第四人物图像属于所述目标视频中的同一帧图像。
可选的,在所述第一电子设备获取第一视频之前,所述方法还包括:所述第一电子设备建立所述第一电子设备与第二电子设备的视频通话连接,所述第一电子设备为所述第一人物的电子设备,所述第二电子设备为第三人物的电子设备;所述第一电子设备获取第一视频,包括:所述第一电子设备在视频通话过程中,获取所述第一视频;所述第一电子设备获取第三视频,包括:所述第一电子设备通过所述视频通话连接,从所述第二电子设备获取第三视频。
示例性的,第一电子设备与第二电子设备的视频通话的过程可以参照图14至图15所示的示例。
可选的,所述第一视频、所述第三视频对应所述视频通话过程中的相同时段。
可选的,所述第一电子设备建立所述第一电子设备与第二电子设备的视频通话连接,包括:所述第一电子设备通过拍摄应用或视频通话应用,建立所述第一电子设备与第二电子设备的视频通话连接。
示例性的,拍摄应用可以参照图3所示的示例。
示例性的,视频通话应用可以参照图14至图15所示的示例。
可选的,所述第二视频为本地或云端存储的视频。
示例性的,本地存储的视频可以参照图3所示的图库合拍控件340所示的示例。
示例性的,云端存储的视频可以参照图3所示的素材合拍控件330所示的示例。
可选的,所述第一电子设备获取与第二视频对应的第二动作文件,包括:所述第一电子设备从第二电子设备获取所述第二动作文件。
可选的,所述目标视频中所述第一人物的动作与所述第二视频中所述第二人物的动作对应,包括:与所述第一人物图像对应的动作文件为第一目标动作文件,所述第一动作文件与所述第二动作文件之间的匹配度为第一匹配度,所述第一目标动作文件与所述第二动作文件之间的匹配度为第二匹配度,所述第二匹配度大于所述第一匹配度。
可选的,所述第一电子设备获取与所述第一视频对应的第一动作文件,包括:所述第一电子设备根据以下至少两项,确定所述第一动作子文件:第一头部像素点、第一颈部像素点、第一躯干像素点、第一左上前肢像素点、第一左上后肢像素点、第一左下前肢像素点、第一左下后肢像素点、第一右上前肢像素点、第一右上后肢像素点、第一右下前肢像素点、第一右下后肢像素点、第一左手像素点、第一右手像素点。
示例性的,第一动作子文件可以参照图7中的第一动作子文件711所示的示例。
可选的,所述第一动作子文件包括以下至少一项肢体角度:第一头部角度、第一颈部角度、第一躯干角度、第一左上前肢角度、第一左上后肢角度、第一左下前肢角度、第一左下后肢角度、第一右上前肢角度、第一右上后肢角度、第一右下前肢角度、第一右下后肢角度、第一左手角度、第一右手角度。
可选的,所述第一动作文件对应第一肢体角度,所述第二动作文件对应第二肢体角度,所述目标动作文件对应第三肢体角度,所述第一肢体角度与所述第二肢体角度的差值小于预设角度,所述第三肢体角度介于所述第一肢体角度与所述第二肢体角度之间。
可选的,所述第一视频包括第一子帧、第二子帧,所述第二视频包括第三子帧、第四子帧,所述目标视频包括第五子帧、第六子帧,所述第一子帧、所述第三子帧、所述第五子帧相互对应,所述第二子帧、所述第四子帧、所述第六子帧相互对应,所述第一子帧与所述第二子帧之间的时间差为第一时间差,所述第三子帧与所述第四子帧之间的时间差为第二时间差,所述第五子帧与所述第六子帧的时间差为第三时间差,所述第三时间差介于所述第一时间差与所述第二时间差之间。
可选的,所述目标视频包括第一图像区域、第二图像区域,所述第一图像区域包括与所述第一人物对应的像素点,所述第二图像区域包括与所述第二人物对应的像素点。
示例性的,第一图像区域可以参照图5、图6、图9中的第一图像区域560所示的示例。示例性的,目标视频中的第一人物图像可以参照图15中的第一界面区域1560所示的示例。
可选的,所述第一图像区域包括与以下任一项对应的像素点:第一背景图像、第二背景图像、目标图库图像,所述第一背景图像包括与所述第一人物所在场景对应的像素点,所述第二背景图像包括与所述第二人物所在场景对应的像素点,所述目标图库图像为存储在所述第一电子设备上的图像。
示例性的,所述第一图像区域包括第一背景图像,第一图像区域例如可以是图5所示的第一图像区域560。
示例性的,所述第一图像区域包括第二背景图像,第一图像区域例如可以是图11所示的第三图像区域1160。
可选的,所述第二图像区域包括与以下任一项对应的像素点:第一背景图像、第二背景图像、目标图库图像,所述第一背景图像包括与所述第一人物所在场景对应的像素点,所述第二背景图像包括与所述第二人物所在场景对应的像素点,所述目标图库图像为存储在所述第一电子设备上的图像。
示例性的,所述第二图像区域包括第一背景图像,第二图像区域例如可以是图5所示的第二图像区域570。
示例性的,所述第二图像区域包括第二背景图像,第二图像区域例如可以是图11所示的第四图像区域1170。
可选的,所述合拍视频还包括背景图像区域,所述背景图像区域为所述第一图像区域、所述第二图像区域的背景,所述背景图像区域包括与以下任一项对应的像素点:第一背景图像、第二背景图像、目标图库图像,所述第一背景图像包括与所述第一人物所在场景对应的像素点,所述第二背景图像包括与所述第二人物所在场景对应的像素点,所述目标图库图像为存储在所述第一电子设备上的图像。
示例性的,背景图像区域包括目标图库图像,背景图像区域例如可以是图6所示的第一背景图像区域580,或图13所示的第二背景图像区域1380。
可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图17示出了上述实施例中涉及的电子设备1700的一种可能的组成示意图,如图17所示,该电子设备1700可以包括:获取单元1701、处理单元1702。
获取单元1701可以用于获取第一视频,所述第一视频为第一人物的视频。
获取单元1701还可以用于获取与所述第一视频对应的第一动作文件,所述第一动作文件与所述第一人物的动作对应。
获取单元1701还可以用于获取与第二视频对应的第二动作文件,所述第二视频为第二人物的视频,所述第二动作文件与所述第二人物的动作对应。
处理单元1702可以用于根据所述第一视频、所述第一动作文件、所述第二动作文件,生成目标视频,所述目标视频包括所述第一人物的第一人物图像,所述目标视频中所述第一人物的动作与所述第一视频中所述第一人物的动作不同,所述目标视频中所述第一人物的动作与所述第二视频中所述第二人物的动作对应。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
在采用集成的单元的情况下,电子设备可以包括处理模块、存储模块和通信模块。其中,处理模块可以用于对电子设备的动作进行控制管理,例如,可以用于支持电子设备执行上述各个单元执行的步骤。存储模块可以用于支持电子设备执行存储程序代码和数据等。通信模块,可以用于支持电子设备与其他设备的通信。
其中,处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理(digital signal processing,DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块可以是收发器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。
在一个实施例中,当处理模块为处理器,存储模块为存储器时,本实施例所涉及的电子设备可以为具有图1所示结构的设备。
本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的处理视频的方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的处理视频的方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的处理视频的方法。
其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (39)

1.一种处理视频的方法,其特征在于,包括:
第一电子设备获取第一视频,所述第一视频为第一人物的视频;
所述第一电子设备获取与所述第一视频对应的第一动作文件,所述第一动作文件与所述第一人物的动作对应;
所述第一电子设备获取与第二视频对应的第二动作文件,所述第二视频为第二人物的视频,所述第二动作文件与所述第二人物的动作对应;
所述第一电子设备根据所述第一视频、所述第一动作文件、所述第二动作文件,生成目标视频,所述目标视频包括所述第一人物的第一人物图像,所述目标视频中所述第一人物的动作与所述第一视频中所述第一人物的动作不同,所述目标视频中所述第一人物的动作与所述第二视频中所述第二人物的动作对应,所述第一视频中所述第一人物的动作与所述第二视频中所述第二人物的动作相似。
2.根据权利要求1所述的方法,其特征在于,在所述第一电子设备获取第一视频之前,所述方法还包括:
所述第一电子设备建立所述第一电子设备与第二电子设备的视频通话连接,所述第一电子设备为所述第一人物的电子设备,所述第二电子设备为所述第二人物的电子设备;
所述第一电子设备获取第一视频,包括:
所述第一电子设备在视频通话过程中,获取所述第一视频;
所述方法还包括:
所述第一电子设备通过所述视频通话连接,从所述第二电子设备获取所述第二视频。
3.根据权利要求2所述的方法,其特征在于,所述第一视频、所述第二视频对应所述视频通话过程中的相同时段,所述目标视频还包括所述第二人物的第二人物图像,所述目标视频中所述第二人物的动作与所述第二视频中所述第二人物的动作对应。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述第一电子设备获取第三视频,所述第三视频为第三人物的视频;
所述第一电子设备获取与所述第三视频对应的第三动作文件,所述第三动作文件与所述第三人物的动作对应;
所述第一电子设备根据所述第一视频、所述第一动作文件、所述第二动作文件,生成目标视频,包括:
所述第一电子设备根据所述第一视频、所述第三视频、所述第一动作文件、所述第二动作文件、所述第三动作文件,生成所述目标视频,所述目标视频还包括所述第三人物的第三人物图像,所述目标视频中所述第三人物的动作与所述第三视频中所述第三人物的动作不同,所述目标视频中所述第三人物的动作与所述第二视频中所述第二人物的动作对应。
5.根据权利要求2至4中任一项所述的方法,其特征在于,所述目标视频还包括所述第二人物的第二人物图像,所述目标视频中所述第二人物的动作与所述第二视频中所述第二人物的动作对应。
6.根据权利要求5所述的方法,其特征在于,所述第一人物图像、所述第二人物图像属于所述目标视频中的同一帧图像。
7.根据权利要求1所述的方法,其特征在于,所述第二视频为所述第二人物和第四人物的视频,所述方法还包括:
所述第一电子设备获取第三视频,所述第三视频为第三人物的视频;
所述第一电子设备获取与所述第三视频对应的第三动作文件,所述第三动作文件与所述第三人物的动作对应;
所述第一电子设备获取第四动作文件,所述第四动作文件与所述第二视频中的所述第四人物的动作对应;
所述第一电子设备根据所述第一视频、所述第一动作文件、所述第二动作文件,生成目标视频,包括:
所述第一电子设备根据所述第一视频、所述第三视频、所述第一动作文件、所述第二动作文件、所述第三动作文件、所述第四动作文件,生成所述目标视频,所述目标视频还包括所述第三人物的第三人物图像,所述目标视频中所述第三人物的动作与所述第三视频中所述第三人物的动作不同,所述目标视频中所述第三人物的动作与所述第二视频中所述第四人物的动作对应。
8.根据权利要求7所述的方法,其特征在于,所述目标视频还包括所述第二人物的第二人物图像和所述第四人物的第四人物图像,所述目标视频中所述第二人物的动作与所述第二视频中所述第二人物的动作对应,所述目标视频中所述第四人物的动作与所述第二视频中所述第四人物的动作对应。
9.根据权利要求8所述的方法,其特征在于,所述第一人物图像、所述第二人物图像、所述第三人物图像、所述第四人物图像属于所述目标视频中的同一帧图像。
10.根据权利要求4、7-9中任一项所述的方法,其特征在于,在所述第一电子设备获取第一视频之前,所述方法还包括:
所述第一电子设备建立所述第一电子设备与第二电子设备的视频通话连接,所述第一电子设备为所述第一人物的电子设备,所述第二电子设备为第三人物的电子设备;
所述第一电子设备获取第一视频,包括:
所述第一电子设备在视频通话过程中,获取所述第一视频;
所述第一电子设备获取第三视频,包括:
所述第一电子设备通过所述视频通话连接,从所述第二电子设备获取第三视频。
11.根据权利要求10所述的方法,其特征在于,所述第一视频、所述第三视频对应所述视频通话过程中的相同时段。
12.根据权利要求2、3、10、11中任一项所述的方法,其特征在于,所述第一电子设备建立所述第一电子设备与第二电子设备的视频通话连接,包括:
所述第一电子设备通过拍摄应用或视频通话应用,建立所述第一电子设备与第二电子设备的视频通话连接。
13.根据权利要求1所述的方法,其特征在于,所述第二视频为本地或云端存储的视频。
14.根据权利要求1至13中任一项所述的方法,其特征在于,所述第一电子设备获取与第二视频对应的第二动作文件,包括:
所述第一电子设备从第二电子设备获取所述第二动作文件。
15.根据权利要求1至14中任一项所述的方法,其特征在于,所述目标视频中所述第一人物的动作与所述第二视频中所述第二人物的动作对应,包括:
与所述第一人物图像对应的动作文件为第一目标动作文件,所述第一动作文件与所述第二动作文件之间的匹配度为第一匹配度,所述第一目标动作文件与所述第二动作文件之间的匹配度为第二匹配度,所述第二匹配度大于所述第一匹配度。
16.根据权利要求1至15中任一项所述的方法,其特征在于,所述第一电子设备获取与所述第一视频对应的第一动作文件,包括:
所述第一电子设备根据以下至少两项,确定所述第一动作子文件:第一头部像素点、第一颈部像素点、第一躯干像素点、第一左上前肢像素点、第一左上后肢像素点、第一左下前肢像素点、第一左下后肢像素点、第一右上前肢像素点、第一右上后肢像素点、第一右下前肢像素点、第一右下后肢像素点、第一左手像素点、第一右手像素点。
17.根据权利要求1至16中任一项所述的方法,其特征在于,所述第一动作子文件包括以下至少一项肢体角度:
第一头部角度、第一颈部角度、第一躯干角度、第一左上前肢角度、第一左上后肢角度、第一左下前肢角度、第一左下后肢角度、第一右上前肢角度、第一右上后肢角度、第一右下前肢角度、第一右下后肢角度、第一左手角度、第一右手角度。
18.根据权利要求1至17中任一项所述的方法,其特征在于,所述第一动作文件对应第一肢体角度,所述第二动作文件对应第二肢体角度,所述目标动作文件对应第三肢体角度,所述第一肢体角度与所述第二肢体角度的差值小于预设角度,所述第三肢体角度介于所述第一肢体角度与所述第二肢体角度之间。
19.根据权利要求1至18中任一项所述的方法,其特征在于,所述第一视频包括第一子帧、第二子帧,所述第二视频包括第三子帧、第四子帧,所述目标视频包括第五子帧、第六子帧,所述第一子帧、所述第三子帧、所述第五子帧相互对应,所述第二子帧、所述第四子帧、所述第六子帧相互对应,所述第一子帧与所述第二子帧之间的时间差为第一时间差,所述第三子帧与所述第四子帧之间的时间差为第二时间差,所述第五子帧与所述第六子帧的时间差为第三时间差,所述第三时间差介于所述第一时间差与所述第二时间差之间。
20.一种电子设备,其特征在于,包括:
处理器、存储器和收发器,所述存储器用于存储计算机程序,所述处理器用于执行所述存储器中存储的计算机程序;其中,
所述处理器用于,获取第一视频,所述第一视频为第一人物的视频;
所述处理器还用于,获取与所述第一视频对应的第一动作文件,所述第一动作文件与所述第一人物的动作对应;
所述处理器还用于,获取与第二视频对应的第二动作文件,所述第二视频为第二人物的视频,所述第二动作文件与所述第二人物的动作对应;
所述处理器还用于,根据所述第一视频、所述第一动作文件、所述第二动作文件,生成目标视频,所述目标视频包括所述第一人物的第一人物图像,所述目标视频中所述第一人物的动作与所述第一视频中所述第一人物的动作不同,所述目标视频中所述第一人物的动作与所述第二视频中所述第二人物的动作对应,所述第一视频中所述第一人物的动作与所述第二视频中所述第二人物的动作相似。
21.根据权利要求20所述的电子设备,其特征在于,在所述处理器获取第一视频之前,所述处理器还用于:
建立所述电子设备与第二电子设备的视频通话连接,所述电子设备为所述第一人物的电子设备,所述第二电子设备为所述第二人物的电子设备;
所述处理器具体用于,在视频通话过程中,获取所述第一视频;
所述处理器还用于,通过所述视频通话连接,从所述第二电子设备获取所述第二视频。
22.根据权利要求21所述的电子设备,其特征在于,所述第一视频、所述第二视频对应所述视频通话过程中的相同时段,所述目标视频还包括所述第二人物的第二人物图像,所述目标视频中所述第二人物的动作与所述第二视频中所述第二人物的动作对应。
23.根据权利要求20所述的电子设备,其特征在于,所述处理器还用于:
获取第三视频,所述第三视频为第三人物的视频;
获取与所述第三视频对应的第三动作文件,所述第三动作文件与所述第三人物的动作对应;
所述处理器具体用于,根据所述第一视频、所述第三视频、所述第一动作文件、所述第二动作文件、所述第三动作文件,生成所述目标视频,所述目标视频还包括所述第三人物的第三人物图像,所述目标视频中所述第三人物的动作与所述第三视频中所述第三人物的动作不同,所述目标视频中所述第三人物的动作与所述第二视频中所述第二人物的动作对应。
24.根据权利要求21至23中任一项所述的电子设备,其特征在于,所述目标视频还包括所述第二人物的第二人物图像,所述目标视频中所述第二人物的动作与所述第二视频中所述第二人物的动作对应。
25.根据权利要求24所述的电子设备,其特征在于,所述第一人物图像、所述第二人物图像属于所述目标视频中的同一帧图像。
26.根据权利要求20所述的电子设备,其特征在于,所述第二视频为所述第二人物和第四人物的视频,所述处理器还用于:
获取第三视频,所述第三视频为第三人物的视频;
获取与所述第三视频对应的第三动作文件,所述第三动作文件与所述第三人物的动作对应;
获取第四动作文件,所述第四动作文件与所述第二视频中的所述第四人物的动作对应;
所述处理器具体用于,根据所述第一视频、所述第三视频、所述第一动作文件、所述第二动作文件、所述第三动作文件、所述第四动作文件,生成所述目标视频,所述目标视频还包括所述第三人物的第三人物图像,所述目标视频中所述第三人物的动作与所述第三视频中所述第三人物的动作不同,所述目标视频中所述第三人物的动作与所述第二视频中所述第四人物的动作对应。
27.根据权利要求26所述的电子设备,其特征在于,所述目标视频还包括所述第二人物的第二人物图像和所述第四人物的第四人物图像,所述目标视频中所述第二人物的动作与所述第二视频中所述第二人物的动作对应,所述目标视频中所述第四人物的动作与所述第二视频中所述第四人物的动作对应。
28.根据权利要求27所述的电子设备,其特征在于,所述第一人物图像、所述第二人物图像、所述第三人物图像、所述第四人物图像属于所述目标视频中的同一帧图像。
29.根据权利要求23、26-28中任一项所述的电子设备,其特征在于,在所述处理器获取第一视频之前,所述处理器还用于:
建立所述电子设备与第二电子设备的视频通话连接,所述电子设备为所述第一人物的电子设备,所述第二电子设备为第三人物的电子设备;
所述处理器具体用于,在视频通话过程中,获取所述第一视频;
所述处理器具体用于,通过所述视频通话连接,从所述第二电子设备获取第三视频。
30.根据权利要求29所述的电子设备,其特征在于,所述第一视频、所述第三视频对应所述视频通话过程中的相同时段。
31.根据权利要求21、22、29、30中任一项所述的电子设备,其特征在于,
所述处理器具体用于,通过拍摄应用或视频通话应用,建立所述电子设备与第二电子设备的视频通话连接。
32.根据权利要求20所述的电子设备,其特征在于,所述第二视频为本地或云端存储的视频。
33.根据权利要求20至32中任一项所述的电子设备,其特征在于,
所述处理器具体用于,从第二电子设备获取所述第二动作文件。
34.根据权利要求20至33中任一项所述的电子设备,其特征在于,所述目标视频中所述第一人物的动作与所述第二视频中所述第二人物的动作对应,包括:
与所述第一人物图像对应的动作文件为第一目标动作文件,所述第一动作文件与所述第二动作文件之间的匹配度为第一匹配度,所述第一目标动作文件与所述第二动作文件之间的匹配度为第二匹配度,所述第二匹配度大于所述第一匹配度。
35.根据权利要求20至34中任一项所述的电子设备,其特征在于,
所述处理器具体用于,根据以下至少两项,确定所述第一动作子文件:第一头部像素点、第一颈部像素点、第一躯干像素点、第一左上前肢像素点、第一左上后肢像素点、第一左下前肢像素点、第一左下后肢像素点、第一右上前肢像素点、第一右上后肢像素点、第一右下前肢像素点、第一右下后肢像素点、第一左手像素点、第一右手像素点。
36.根据权利要求20至35中任一项所述的电子设备,其特征在于,所述第一动作子文件包括以下至少一项肢体角度:
第一头部角度、第一颈部角度、第一躯干角度、第一左上前肢角度、第一左上后肢角度、第一左下前肢角度、第一左下后肢角度、第一右上前肢角度、第一右上后肢角度、第一右下前肢角度、第一右下后肢角度、第一左手角度、第一右手角度。
37.根据权利要求20至36中任一项所述的电子设备,其特征在于,所述第一动作文件对应第一肢体角度,所述第二动作文件对应第二肢体角度,所述目标动作文件对应第三肢体角度,所述第一肢体角度与所述第二肢体角度的差值小于预设角度,所述第三肢体角度介于所述第一肢体角度与所述第二肢体角度之间。
38.根据权利要求20至37中任一项所述的电子设备,其特征在于,所述第一视频包括第一子帧、第二子帧,所述第二视频包括第三子帧、第四子帧,所述目标视频包括第五子帧、第六子帧,所述第一子帧、所述第三子帧、所述第五子帧相互对应,所述第二子帧、所述第四子帧、所述第六子帧相互对应,所述第一子帧与所述第二子帧之间的时间差为第一时间差,所述第三子帧与所述第四子帧之间的时间差为第二时间差,所述第五子帧与所述第六子帧的时间差为第三时间差,所述第三时间差介于所述第一时间差与所述第二时间差之间。
39.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1至19中任一项所述的方法。
CN202110529002.XA 2021-02-09 2021-05-14 处理视频的方法和装置 Active CN114915722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/136393 WO2022170837A1 (zh) 2021-02-09 2021-12-08 处理视频的方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021101784529 2021-02-09
CN202110178452 2021-02-09

Publications (2)

Publication Number Publication Date
CN114915722A CN114915722A (zh) 2022-08-16
CN114915722B true CN114915722B (zh) 2023-08-22

Family

ID=82761282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110529002.XA Active CN114915722B (zh) 2021-02-09 2021-05-14 处理视频的方法和装置

Country Status (2)

Country Link
CN (1) CN114915722B (zh)
WO (1) WO2022170837A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259810A (zh) * 2018-03-29 2018-07-06 上海掌门科技有限公司 一种视频通话的方法、设备和计算机存储介质
CN109982130A (zh) * 2019-04-11 2019-07-05 北京字节跳动网络技术有限公司 一种视频拍摄方法、装置、电子设备及存储介质
CN110198428A (zh) * 2019-05-29 2019-09-03 维沃移动通信有限公司 一种多媒体文件生成方法及第一终端
CN110490897A (zh) * 2019-07-30 2019-11-22 维沃移动通信有限公司 模仿视频生成的方法和电子设备
CN111405361A (zh) * 2020-03-27 2020-07-10 咪咕文化科技有限公司 一种视频获取方法、电子设备及计算机可读存储介质
CN111447379A (zh) * 2019-01-17 2020-07-24 百度在线网络技术(北京)有限公司 生成信息的方法和装置
CN111726536A (zh) * 2020-07-03 2020-09-29 腾讯科技(深圳)有限公司 视频生成方法、装置、存储介质及计算机设备
CN112287848A (zh) * 2020-10-30 2021-01-29 腾讯科技(深圳)有限公司 基于直播的图像处理方法、装置、电子设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303251A (zh) * 2016-08-26 2017-01-04 深圳市金立通信设备有限公司 一种拍照方法及终端
CN108924464B (zh) * 2018-07-10 2021-06-08 腾讯科技(深圳)有限公司 视频文件的生成方法、装置及存储介质
CN110087143B (zh) * 2019-04-26 2020-06-09 北京谦仁科技有限公司 视频处理方法和装置、电子设备及计算机可读存储介质
CN110475086B (zh) * 2019-07-23 2021-11-16 咪咕动漫有限公司 视频录制方法及系统、服务器以及终端
CN110602396B (zh) * 2019-09-11 2022-03-22 腾讯科技(深圳)有限公司 智能合影方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259810A (zh) * 2018-03-29 2018-07-06 上海掌门科技有限公司 一种视频通话的方法、设备和计算机存储介质
CN111447379A (zh) * 2019-01-17 2020-07-24 百度在线网络技术(北京)有限公司 生成信息的方法和装置
CN109982130A (zh) * 2019-04-11 2019-07-05 北京字节跳动网络技术有限公司 一种视频拍摄方法、装置、电子设备及存储介质
CN110198428A (zh) * 2019-05-29 2019-09-03 维沃移动通信有限公司 一种多媒体文件生成方法及第一终端
CN110490897A (zh) * 2019-07-30 2019-11-22 维沃移动通信有限公司 模仿视频生成的方法和电子设备
CN111405361A (zh) * 2020-03-27 2020-07-10 咪咕文化科技有限公司 一种视频获取方法、电子设备及计算机可读存储介质
CN111726536A (zh) * 2020-07-03 2020-09-29 腾讯科技(深圳)有限公司 视频生成方法、装置、存储介质及计算机设备
CN112287848A (zh) * 2020-10-30 2021-01-29 腾讯科技(深圳)有限公司 基于直播的图像处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN114915722A (zh) 2022-08-16
WO2022170837A1 (zh) 2022-08-18

Similar Documents

Publication Publication Date Title
US11669242B2 (en) Screenshot method and electronic device
WO2020125410A1 (zh) 一种图像处理的方法及电子设备
WO2022042776A1 (zh) 一种拍摄方法及终端
CN112262563B (zh) 图像处理方法及电子设备
CN113099146B (zh) 一种视频生成方法、装置及相关设备
WO2022007862A1 (zh) 图像处理方法、系统、电子设备及计算机可读存储介质
WO2022143128A1 (zh) 基于虚拟形象的视频通话方法、装置和终端
WO2022262313A1 (zh) 基于画中画的图像处理方法、设备、存储介质和程序产品
CN112527174B (zh) 一种信息处理方法及电子设备
CN113965694B (zh) 录像方法、电子设备及计算机可读存储介质
CN113973189B (zh) 显示内容的切换方法、装置、终端及存储介质
WO2023284715A1 (zh) 一种物体重建方法以及相关设备
US11823603B2 (en) Always-on-display method and electronic device
WO2022007707A1 (zh) 家居设备控制方法、终端设备及计算机可读存储介质
US20240179397A1 (en) Video processing method and electronic device
CN113747056A (zh) 拍照方法、装置及电子设备
CN115147451A (zh) 目标跟踪方法及其装置
CN113850709A (zh) 图像变换方法和装置
CN114915722B (zh) 处理视频的方法和装置
CN116797767A (zh) 增强现实场景分享的方法和电子设备
CN115686403A (zh) 显示参数的调整方法、电子设备、芯片及可读存储介质
WO2022170918A1 (zh) 合拍方法和电子设备
CN114943662A (zh) 合拍方法和电子设备
US12020472B2 (en) Image processing method and image processing apparatus
US20210358523A1 (en) Image processing method and image processing apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant