CN108966017A - 视频生成方法、装置及电子设备 - Google Patents

视频生成方法、装置及电子设备 Download PDF

Info

Publication number
CN108966017A
CN108966017A CN201811035719.3A CN201811035719A CN108966017A CN 108966017 A CN108966017 A CN 108966017A CN 201811035719 A CN201811035719 A CN 201811035719A CN 108966017 A CN108966017 A CN 108966017A
Authority
CN
China
Prior art keywords
face
information
video
determining
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811035719.3A
Other languages
English (en)
Other versions
CN108966017B (zh
Inventor
李建亿
朱利明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pacific Future Technology Hangzhou Co ltd
Original Assignee
Pacific Future Technology (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pacific Future Technology (shenzhen) Co Ltd filed Critical Pacific Future Technology (shenzhen) Co Ltd
Publication of CN108966017A publication Critical patent/CN108966017A/zh
Application granted granted Critical
Publication of CN108966017B publication Critical patent/CN108966017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供一种视频生成方法、装置及电子设备，所述方法包括：接收目标图片，提取所述目标图片中第一人脸的第一特征信息和第一姿态信息；在视频中查找与所述第一姿态信息匹配的第二人脸，记录出现所述第二人脸的视频帧标识；在第二人脸中，基于所述第一特征信息确定与所述第一人脸相似的第三人脸；基于所述视频帧标识获取所述第三人脸的尺寸信息，根据所述尺寸信息对所述第一人脸进行处理，并将所述第三人脸替换成处理后的所述第一人脸。通过上述方法、装置及设备，用户可以与视频中出现的人物进行互动，助用户确定与自己相似的公众人物，增强了用户观看视频的趣味性和融入感。

Description

视频生成方法、装置及电子设备
技术领域
本发明涉及视频生成技术领域，尤其涉及一种视频生成方法、装置及电子设备。
背景技术
随着互联网技术的发展，在视频的播放过程中也越来越注重与用户的交互，例如视频播放过程中的弹幕、与情节相关联的广告展现等等，提高了用户在观看视频同时的趣味性。然而，发明人在实现本发明的过程中发现，现有技术中视频与用户的交互大多围绕与视频情节相关的内容，而忽略的与视频内出现的人物的互动，限制的用户的交互体验。例如：现有技术中的视频播放过程中，用户若能将视频中某个与自己相似的人物替换为自己的图像，则能极大提高用户的参与感和交互体验。此外，若要完成上述交互操作，往往需要用户通过手机等电子设备的摄像头获取自身人脸图像，提供给设备进行比对筛选，为了降低后续图像处理的难度往往要通过防抖技术尽量提供高质量的拍摄效果，现有技术中通常通过软件防抖，硬件防抖技术很少被关注。
发明内容
本发明实施例提供的视频生成方法、装置及电子设备，用以至少解决相关技术中的上述问题。
本发明实施例一方面提供了一种视频生成方法，包括：
接收目标图片，提取所述目标图片中第一人脸的第一特征信息和第一姿态信息；在视频中查找与所述第一姿态信息匹配的第二人脸，记录出现所述第二人脸的视频帧标识；在第二人脸中，基于所述第一特征信息确定与所述第一人脸相似的第三人脸；基于所述视频帧标识获取所述第三人脸的尺寸信息，根据所述尺寸信息对所述第一人脸进行处理，并将所述第三人脸替换成处理后的所述第一人脸。
进一步地，所述提取所述目标图片中第一人脸的第一特征信息和第一姿态信息，包括：使用关键点识别算法得到预设数量的关键点，确定所述关键点在所述目标图片上的坐标位置；基于所述坐标位置确定所述第一人脸的第一姿态信息；根据所述关键点提取所述第一人脸的局部器官图像，根据所述局部器官图像确定所述第一人脸的第一特征信息。
进一步地，所述方法还包括：确定所述视频中出现的人脸以及所述人脸对应的视频帧标识；提取所述人脸的特征信息和姿态信息，记录所述人脸、所述特征信息、所述姿态信息与所述视频帧标识之间的对应关系。
进一步地，所述在视频中查找与所述第一姿态信息匹配的第二人脸，记录出现所述第二人脸的视频帧标识，包括：在所述姿态信息中查找与所述第一姿态信息匹配的第二姿态信息；基于所述对应关系，确定所述第二姿态信息对应的第二人脸、第二特征信息和出现所述第二人脸的视频帧标识。
进一步地，特征信息包括人脸脸型信息和局部器官特征信息，所述在第二人脸中，基于所述第一特征信息确定与所述第一人脸相似的第三人脸，包括：基于所述第一特征信息和所述第二特征信息，分别计算所述第一人脸与所述第二人脸的人脸脸型相似度、各局部器官特征相似度；基于所述人脸脸型相似度和所述各局部器官特征相似度，确定与所述第一人脸相似的第三人脸。
进一步地，通过图像获取设备获取所述目标图片，所述图像获取设备包括镜头、自动聚焦音圈马达、机械防抖器以及图像传感器，所述镜头固装在所述自动聚焦音圈马达上，所述镜头用于获取图像(图片)，所述图像传感器将所述镜头获取的图像传输至所述识别模块，所述自动聚焦音圈马达安装在所述机械防抖器上，所述处理模块根据镜头内的陀螺仪检测到的镜头抖动的反馈驱动所述机械防抖器的动作，实现镜头的抖动补偿。
进一步地，所述机械防抖器包括活动板、基板以及补偿机构，所述活动板和所述基板的中部均设有所述镜头穿过的通孔，所述自动聚焦音圈马达安装在所述活动板上，所述活动板安装在所述基板上，且所述基板的尺寸大于所述活动板，所述补偿机构在所述处理模块的驱动下带动所述活动板和活动板上的镜头动作，以实现镜头的抖动补偿；所述补偿机构包括安装在所述基板四周的第一补偿组件、第二补偿组件、第三补偿组件以及第四补偿组件，其中所述第一补偿组件和所述第三补偿组件相对设置，所述第二补偿组件与所述第四补偿组件相对设置，所述第一补偿组件与第三补偿组件之间的连线与所述第一补偿组件与第三补偿组件之间的连线相互垂直；所述第一补偿组件、第二补偿组件、第三补偿组件以及第四补偿组件均包括驱动件、转轴、单向轴承以及转动齿圈；所述驱动件受控于所述处理模块，所述驱动件与所述转轴传动连接，以带动所述转轴转动；所述转轴与所述单向轴承的内圈相连接，以带动所述单向轴承的内圈转动；所述转动齿圈套设在所述单向轴承上并与所述单向轴承的外圈相连接，所述转动齿圈的外表面沿其周向设有一圈外齿，所述活动板的底面设有多排均匀间隔布设的条形槽，所述条形槽与所述外齿相啮合，且所述外齿可沿所述条形槽的长度方向滑动；其中，所述第一补偿组件的单向轴承的可转动方向与所述第三补偿组件的单向轴承的可转动方向相反，所述第二补偿组件的单向轴承的可转动方向与所述第四补偿组件的单向轴承的可转动方向相反。
进一步地，所述固定板的四周开设有四个贯穿的安装孔，所述安装孔上安装有所述单向轴承和所述转动齿圈。
进一步地，所述驱动件为微型电机，所述微型电机与所述处理模块电连接，所述微型电机的转动输出端与所述转轴相连接；或，所述驱动件包括记忆合金丝和曲柄连杆，所述记忆合金丝一端固定于所述固定板上，并与所述处理模块通过电路相连接，所述记忆合金丝另一端通过所述曲柄连杆与所述转轴相连接，以带动所述转轴转动。
进一步地，所述图像获取设备设置在手机上，手机包括支架。所述支架包括手机安装座和可伸缩的支撑杆；所述手机安装座包括可伸缩的连接板和安装于连接板相对两端的折叠板组，所述支撑杆的一端与所述连接板中部通过阻尼铰链相连接；所述折叠板组包括第一板体、第二板体及第三板体，其中，所述第一板体的相对两端中的一端与所述连接板相铰接，所述第一板体的相对两端中的另一端与所述第二板体的相对两端中的一端相铰接；所述第二板体相对两端的另一端与所述第三板体相对两端中的一端相铰接；所述第二板体设有供手机边角插入的开口；所述手机安装座用于安装手机时，所述第一板体、第二板体和第三板体折叠呈直角三角形状态，所述第二板体为直角三角形的斜边，所述第一板体和所述第三板体为直角三角形的直角边，其中，所述第三板体的一个侧面与所述连接板的一个侧面并排贴合，所述第三板体相对两端中的另一端与所述第一板体相对两端中的一端相抵。
进一步地，所述第三板体的一个侧面设有第一连接部，所述连接板与所述第三板体相贴合的侧面设有与所述第一连接部相配合的第一配合部，所述支架手机安装座用于安装手机时，所述第一连接部和所述第一配合部卡合连接。
进一步地，所述第一板体相对两端中的一端设有第二连接部，所述第三板体相对两端中的另一端设有与所述第二连接部相配合的第二配合部，所述支架手机安装座用于安装手机时，所述第二连接部和所述第二配合部卡合连接。
进一步地，所述支撑杆的另一端可拆卸连接有底座。
本发明实施例的另一方面提供了一种视频生成装置，包括：
提取模块，用于接收目标图片，提取所述目标图片中第一人脸的第一特征信息和第一姿态信息；查找模块，用于在视频中查找与所述第一姿态信息匹配的第二人脸，记录出现所述第二人脸的视频帧标识；第一确定模块，用于在第二人脸中，基于所述第一特征信息确定与所述第一人脸相似的第三人脸；替换模块，用于基于所述视频帧标识获取所述第三人脸的尺寸信息，根据所述尺寸信息对所述第一人脸进行处理，并将所述第三人脸替换成处理后的所述第一人脸。
进一步地，所述提取模块包括：识别单元，用于使用关键点识别算法得到预设数量的关键点，确定所述关键点在所述目标图片上的坐标位置；确定单元，用于基于所述坐标位置确定所述第一人脸的第一姿态信息；提取单元，用于根据所述关键点提取所述第一人脸的局部器官图像，根据所述局部器官图像确定所述第一人脸的第一特征信息。
进一步地，所述装置还包括：第二确定模块，用于确定所述视频中出现的人脸以及所述人脸对应的视频帧标识；记录模块，用于提取所述人脸的特征信息和姿态信息，记录所述人脸、所述特征信息、所述姿态信息与所述人脸对应的视频帧标识之间的对应关系。
进一步地，所述查找模块具体用于，在所述姿态信息中查找与所述第一姿态信息匹配的第二姿态信息；基于所述对应关系，确定所述第二姿态信息对应的第二人脸、第二特征信息和出现所述第二人脸的视频帧标识。
进一步地，特征信息包括人脸脸型信息和局部器官特征信息，所述第一确定模块具体用于，基于所述第一特征信息和所述第二特征信息，分别计算所述第一人脸与所述第二人脸的人脸脸型相似度、各局部器官特征相似度；基于所述人脸脸型相似度和所述各局部器官特征相似度，确定与所述第一人脸相似的第三人脸。
本发明实施例的又一方面提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明实施例上述任一项视频生成方法。
由以上技术方案可见，本发明实施例提供的视频生成方法、装置及电子设备，用户可以与视频中出现的人物进行互动，助用户确定与自己相似的公众人物，增强了用户观看视频的趣味性和融入感。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例提供的视频生成方法流程图；
图2为本发明一个实施例提供的步骤S101的具体流程图；
图3为本发明一个实施例提供的视频生成方法具体流程图；
图4为本发明一个实施例提供的视频生成装置结构图；
图5为本发明一个实施例提供的视频生成装置结构图；
图6为执行本发明方法实施例提供的视频生成方法的电子设备的硬件结构示意图；
图7为本发明一个实施例提供的图像获取设备的结构图；
图8为本发明一个实施例提供的光学防抖器的结构图；
图9为图8的A部放大图；
图10为本发明一个实施例提供的微型记忆合金光学防抖器的活动板的底面示意图；
图11为本发明一个实施例提供的支架的结构图；
图12为本发明一个实施例提供的支架的一个状态示意图；
图13为本发明一个实施例提供的支架的另一个状态示意图；
图14为本发明一个实施例提供的安装座与手机相连接时的结构状态图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。图1为本发明实施例提供的视频生成方法流程图。如图1所示，本发明实施例提供的视频生成方法，包括：
S101，接收目标图片，提取所述目标图片中第一人脸的第一特征信息和第一姿态信息。
首先介绍一下本发明实施例的应用场景。用户在观看视频或者在浏览视频列表时，可以触发视频互动标识，利用自己上传的目标图片中的人脸图像替换视频中相似的人脸，形成与视频中出现人物的互动。具体地，该目标图片可以是用户实时拍摄的，也可以是用户在本地保存的图片中选择的。
通常情况下，目标图片中会包含非人脸部分的图像，例如背景环境图像等，因此需要对图片中的人脸图像进行识别判断。可以首先对目标图片进行人脸检测，得到人脸在图片中的位置,用范围矩形框标识人脸的范围，例如(左，上，右，下)，将该范围内的目标图片裁剪下来作为第一人脸。进一步地，如果识别到的第一人脸图像的分辨率较低或脸部有遮挡(例如，人脸佩戴有墨镜、围巾等)，无法进行第一特征信息的提取，此时可以发出提示消息，提示用户更换目标图片。
当前技术存在许多识别人脸图像的识别方法，例如可以根据图像的边缘信息和/或颜色信息等识别出人脸图像的范围。作为本发明的一种可选实施方式，如图2所示，通过如下子步骤进行第一特征信息和第一姿态信息的提取。
S1011，使用关键点识别算法得到预设数量的关键点，确定所述关键点在所述目标图片上的坐标位置。
人脸中的眉毛、眼睛、鼻子、脸庞和嘴巴等分别由若干个所述关键点组成，因此可以预先确定预设数量的关键点来代表人脸的特征。具体地，可以利用关键点识别算法来获取关键点。对于人脸关键点识别算法的训练可以包括如下步骤：首先，获取一定数量的训练集，该训练集中为携带有人脸关键点标识及其对应的坐标位置的图片；其次，利用该训练集训练形成初始回归函数r0和初始训练集；再次，利用该初始训练集和初始回归函数r0迭代形成下一次训练集和回归函数rn；每次迭代回归函数均使用梯度提升算法进行学习，从而当第n次训练集与训练集中的人脸关键点信息满足收敛条件时，则其对应的回归函数rn即为训练完成的人脸关键点识别算法。
在本步骤中，通过训练好的关键点识别算法中的回归函数对输入的目标图片识别得到预设数量的关键点、以及第一人脸关键点坐标(xi，yi)，其中，i代表识别得到的第i个关键点，预设数量可以是68个，包括眉毛、眼睛、鼻子、嘴巴、脸庞、脸型轮廓等的关键点。
需要说明的是，坐标系是利用目标图片进行建立的，示例性的，可以以目标图片的左下角为原点，目标图片的左侧边为y轴，目标图片的底侧边为x轴。
S1012，基于所述坐标位置确定所述第一人脸的第一姿态信息。
具体地，所述第一姿态信息包括但不限于人脸的旋转角度、偏转角度等。根据关键点的坐标位置能够确定第一人脸五官的坐标，通过五官坐标的相对位置即能够确定当前人脸是否发生偏转或旋转，以及对应的偏转角度和旋转角度。
S1013，根据所述关键点提取所述第一人脸的局部器官图像，根据所述局部器官图像确定所述第一人脸的第一特征信息。
具体地，特征信息包括但不限于人脸脸型信息和局部器官特征信息。首先根据步骤S1011得到的关键点来提取第一人脸的局部器官图像，该局部器官包括眉毛、眼睛、鼻子、嘴巴和下巴。由于每个局部器官对应的关键点已经构成了该局部器官的轮廓，因此可以根据该轮廓来进行局部器官图像的提取。其次，根据这些局部器官图像，来确定第一人脸上若干个几何比例，根据几何比例最终得到第一人脸的人脸脸型信息。示例性地，这些几何比例包括鼻宽、上唇面宽、下唇面宽、眼部面宽之间的比例，瞳孔到鼻孔的纵向间距、眉毛到下巴的纵向间距、鼻孔到下巴的纵向间距、瞳孔到嘴角的纵向间距、嘴角到下巴的纵向间距、眉毛到瞳孔的纵向间距等等之间的比例。最后，可以对上述局部器官图像进行Gabor特征提取，来得到每个局部器官对应的纹理特征，即第一人脸的局部器官特征信息。该局部器官特征信息和上述人脸脸型信息整体构成了第一人脸的第一特征信息。
S102，在视频中查找与所述第一姿态信息匹配的第二人脸，记录出现所述第二人脸的视频帧标识。
由于我们的最终目标是将用户上传的目标图片中的人脸替换到视频中某个人物的人脸，因此需要两者的姿态是大体一致的。例如头部都是在向右侧倾斜，或者都是在向左侧偏转，因此本步骤需要挑选视频中与第一人脸姿态信息相匹配的第二人脸。
需要说明的是，在步骤S101中识别到第一人脸时，就能够确定该第一人脸的性别，因此，在视频中查找与第一姿态信息匹配的第二人脸时，一般是在同性别的人脸中查找
在进行本步骤之前，需要对视频进行预处理。一般来说，预处理步骤一般在视频上架前就已完成，或者在该视频开通互动功能前就已完成。
具体地，如图3所示，视频预处理过程包括如下步骤：
S301，确定所述视频中出现的人脸以及所述人脸对应的视频帧标识。
S302，提取所述人脸的特征信息和姿态信息，记录所述人脸、所述特征信息、所述姿态信息与所述人脸对应的视频帧标识之间的对应关系。
一个视频中一般会出现多个人物，每个人物对应一张人脸。因此需要统计视频中出现过的人脸，以及每张人脸对应的视频帧标识。在实际执行过程中，可以给视频按帧标号，例如视频中共出现了5张不同的人脸，可以记作人脸1(3-10，43-70，102-150)、人脸2(45-56，170-190)、人脸3(14-28，78-99，124-156)、人脸2(44-78，134-160)、人脸1(65-92，143-167，192-220)。
接续上例，按照步骤S101中的方法提取上述5张人脸的特征信息和姿态信息，记录并存储每张人脸对应的特征信息、姿态信息、出现该人脸的视频帧标识，即出现该人脸的视频帧帧号。可选地，可以通过下表的格式进行记录。
人脸 特征信息 姿态信息 视频帧标识
人脸1
人脸2
经过图3所示方法处理后的视频，即可以通过其记录的姿态信息查找与所述第一姿态信息匹配的第二姿态信息，在本发明实施例中，由于姿态信息一般指的是人脸的旋转角度或偏转角度，因此可以设定一个偏差阈值，例如5°，第一姿态信息和第二姿态信息的偏差在5°范围内的，就可以认定两者是相互匹配的。在确定了第二姿态信息后，基于上表所示的对应关系，确定第二姿态信息对应的第二人脸、第二特征信息和出现该第二人脸的视频帧标识。
S103，在第二人脸中，基于所述第一特征信息确定与所述第一人脸相似的第三人脸。
本步骤需要在第二人脸中确定与第一人脸五官相似的第三人脸进行替换。作为本发明实施例的一种可选实施方式，可以基于所述第一特征信息和所述第二特征信息，分别计算所述第一人脸与所述第二人脸的人脸脸型相似度、各局部器官特征相似度；基于所述人脸脸型相似度和所述各局部器官特征相似度，确定与所述第一人脸相似的第三人脸。
具体地，对于每张第二人脸，分别计算第一人脸和第二人脸之间人脸脸型相似度α1和每个局部器官特征的相似度(眉毛相似度α2，眼睛相似度α3，鼻子相似度α4，嘴巴相似度α5，下巴相似度α6)，可以为各个相似度设置权重，则第一人脸与第二人脸的总相似度α＝A1α1+A2α2+A3α3+A4α4+A5α5+A6α6。根据每个第二人脸与第一人脸的总相似度，确定与该第一人脸最相似的第三人脸。可选地，也可以根据总相似度确定与该第一人脸相似的多个第三人脸，展现给用户进行选择。
S104，基于所述视频帧标识获取所述第三人脸的尺寸信息，根据所述尺寸信息对所述第一人脸进行处理，并将所述第三人脸替换成处理后的所述第一人脸。
在确定了第三人脸之后，需要上表中所述第三人脸对应的视频帧标识中的第三人脸替换成第一人脸。由于各视频帧中第三人脸的尺寸可能会随着镜头的远近而有所区别，因此需要获取每个视频帧中第三人脸的尺寸信息，根据该尺寸信息对第一人脸的尺寸进行放大或缩小，以使放大或缩小后的第一人脸能够与视频中第三人脸的身形相匹配。在将第一人脸替换完成之后，则在视频播放的过程中，就可在相应的视频帧上显示第一人脸，可选地，亦可在视频预设位置显示该第一人脸与第三人脸各局部器官的相似度，以便于用户了解知晓。
本发明实施例提供的视频生成方法，用户可以与视频中出现的人物进行互动，助用户确定与自己相似的公众人物，增强了用户观看视频的趣味性和融入感。
图4为本发明实施例提供的视频生成装置结构图。如图4所示，该装置具体包括：提取模块100，查找模块200，第一确定模块300和替换模块400。其中，
提取模块100，用于接收目标图片，提取所述目标图片中第一人脸的第一特征信息和第一姿态信息；查找模块200，用于在视频中查找与所述第一姿态信息匹配的第二人脸，记录出现所述第二人脸的视频帧标识；第一确定模块300，用于在第二人脸中，基于所述第一特征信息确定与所述第一人脸相似的第三人脸；替换模块400，用于基于所述视频帧标识获取所述第三人脸的尺寸信息，根据所述尺寸信息对所述第一人脸进行处理，并将所述第三人脸替换成处理后的所述第一人脸。
本发明实施例提供的视频生成装置具体用于执行图1所示实施例提供的所述方法，其实现原理、方法和功能用途等与图1所示实施例类似，在此不再赘述。
图5为本发明实施例提供的视频生成装置结构图。如图5所示，该装置具体包括：第二确定模块500，记录模块600，提取模块100，查找模块200，第一确定模块300，替换模块400。其中，
第二确定模块500，用于确定视频中出现的人脸以及所述人脸对应的视频帧标识；记录模块600，用于提取所述人脸的特征信息和姿态信息，记录所述人脸、所述特征信息、所述姿态信息与所述人脸对应的视频帧标识之间的对应关系；提取模块100，用于接收目标图片，提取所述目标图片中第一人脸的第一特征信息和第一姿态信息；查找模块200，用于在视频中查找与所述第一姿态信息匹配的第二人脸，记录出现所述第二人脸的视频帧标识；第一确定模块300，用于在第二人脸中，基于所述第一特征信息确定与所述第一人脸相似的第三人脸；替换模块400，用于基于所述视频帧标识获取所述第三人脸的尺寸信息，根据所述尺寸信息对所述第一人脸进行处理，并将所述第三人脸替换成处理后的所述第一人脸。
可选地，提取模块100包括：识别单元110，确定单元120和提取单元130。其中，
识别单元110，用于使用关键点识别算法得到预设数量的关键点，确定所述关键点在所述目标图片上的坐标位置；确定单元120，用于基于所述坐标位置确定所述第一人脸的第一姿态信息；提取单元130，用于根据所述关键点提取所述第一人脸的局部器官图像，根据所述局部器官图像确定所述第一人脸的第一特征信息。
可选地，查找模块200具体用于，在所述姿态信息中查找与所述第一姿态信息匹配的第二姿态信息；基于所述对应关系，确定所述第二姿态信息对应的第二人脸、第二特征信息和出现所述第二人脸的视频帧标识。
可选地，特征信息包括人脸脸型信息和局部器官特征信息，第一确定模块300具体用于，基于所述第一特征信息和所述第二特征信息，分别计算所述第一人脸与所述第二人脸的人脸脸型相似度、各局部器官特征相似度；基于所述人脸脸型相似度和所述各局部器官特征相似度，确定与所述第一人脸相似的第三人脸。
本发明实施例提供的视频生成装置具体用于执行图1-图3所示实施例提供的所述方法，其实现原理、方法和功能用途和图1-图3所示实施例类似，在此不再赘述。
上述这些本发明实施例的视频生成装置可以作为其中一个软件或者硬件功能单元，独立设置在上述电子设备中，也可以作为整合在处理器中的其中一个功能模块，执行本发明实施例的视频生成方法。
图6为执行本发明方法实施例提供的视频生成方法的电子设备的硬件结构示意图。根据图6所示，该电子设备包括：
一个或多个处理器610以及存储器620，图6中以一个处理器610为例。
执行所述的视频生成方法的设备还可以包括：输入装置630和输出装置630。
处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接，图6中以通过总线连接为例。
存储器620作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的所述视频生成方法对应的程序指令/模块。处理器610通过运行存储在存储器620中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现所述视频生成方法。
存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据本发明实施例提供的视频生成装置的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器620，还可以包括非易失性存储器620，例如至少一个磁盘存储器620件、闪存器件、或其他非易失性固态存储器620件。在一些实施例中，存储器620可选包括相对于处理器66远程设置的存储器620，这些远程存储器620可以通过网络连接至所述视频生成装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可接收输入的数字或字符信息，以及产生与视频生成装置的用户设置以及功能控制有关的键信号输入。输入装置630可包括按压模组等设备。
所述一个或者多个模块存储在所述存储器620中，当被所述一个或者多个处理器610执行时，执行所述视频生成方法。
本发明实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)其他具有数据交互功能的电子装置。
优选的，所述电子设备上设置有用于获取图像的图像获取设备，图像获取设备上为保证获取图像的质量往往设置有软件或硬件防抖器。现有的防抖器大多由通电线圈在磁场中产生洛伦磁力驱动镜头移动，而要实现光学防抖，需要在至少两个方向上驱动镜头，这意味着需要布置多个线圈，会给整体结构的微型化带来一定挑战，而且容易受外界磁场干扰，进而影响防抖效果，因此公开号为CN106131435A的中国专利提供了一种微型光学防抖摄像头模组，其通过温度变化实现记忆合金丝的拉伸和缩短，以此拉动自动聚焦音圈马达移动，实现镜头的抖动补偿，微型记忆合金光学防抖致动器的控制芯片可以控制驱动信号的变化来改变记忆合金丝的温度，以此控制记忆合金丝的伸长和缩短，并且根据记忆合金丝的电阻来计算致动器的位置和移动距离。当微型记忆合金光学防抖致动器上移动到指定位置后反馈记忆合金丝此时的电阻，通过比较这个电阻值与目标值的偏差，可以校正微型记忆合金光学防抖致动器上的移动偏差。
但是申请人发现，由于抖动的随机性和不确定性，仅仅依靠上述技术方案的结构是无法实现在多次抖动发生的情况下能够对镜头进行精确的补偿，这是由于形状记忆合金的升温和降温均需要一定的时间，当抖动向第一方向发生时，上述技术方案可以实现镜头对第一方向抖动的补偿，但是当随之而来的第二方向的抖动发生时，由于记忆合金丝来不及在瞬间变形，因此容易造成补偿不及时，无法精准实现对多次抖动和不同方向的连续抖动的镜头抖动补偿，因此需要对其结构上进行改进，以期获得更好的图像质量，从而便于后续三维图像的生成。
结合附图8-10所示，本实施例对学防抖器进行改进，将其设计为机械防抖器3000，其具体结构如下：
本实施例的所述机械防抖器3000包括活动板3100、基板3200以及补偿机构3300，所述活动板3100和所述基板3200的中部均设有所述镜头1000穿过的通孔，所述自动聚焦音圈马达2000安装在所述活动板3100上，所述活动板3100安装在所述基板3200上，且所述基板3200的尺寸大于所述活动板3100，所述活动板3100通过其上方的自动聚焦音圈马达限位其上下的移动，所述补偿机构3300在所述处理模块的驱动下带动所述活动板3100和活动板3100上的镜头1000动作，以实现镜头1000的抖动补偿。
具体的，本实施例的所述补偿机构3300包括安装在所述基板3200四周的第一补偿组件3310、第二补偿组件3320、第三补偿组件3330以及第四补偿组件3340，其中所述第一补偿组件3310和所述第三补偿组件3330相对设置，所述第二补偿组件3320与所述第四补偿组件3340相对设置，所述第一补偿组件3310与第三补偿组件3330之间的连线与所述第一补偿组件3310与第三补偿组件3330之间的连线相互垂直，即一补偿组件、第二补偿组件3320、第三补偿组件3330分别布设在活动板3100的前后左右四个方位，第一补偿组件3310可使得活动板3100向前运动，第三补偿组件3330可使得活动板3100向后运动，第二补偿组件3320可使得活动板3100向左运动，第四补偿组件3340可使得活动板3100向左运动，而且第一补偿组件3310可以与第二补偿组件3320或者第四补偿组件3340相配合实现活动板3100向倾斜方向的运动，第三补偿组件3330也可以与第二补偿组件3320或者第四补偿组件3340相配合实现活动板3100向倾斜方向的运动，实现可以对镜头1000在各个抖动方向上的补偿。
具体的，本实施例的所述第一补偿组件3310、第二补偿组件3320、第三补偿组件3330以及第四补偿组件3340均包括驱动件3301、转轴3302、单向轴承3303以及转动齿圈3304。所述驱动件3301受控于所述处理模块，所述驱动件3301与所述转轴3302传动连接，以带动所述转轴3302转动。所述转轴3302与所述单向轴承3303的内圈相连接，以带动所述单向轴承3303的内圈转动；所述转动齿圈3304套设在所述单向轴承3303上并与所述单向轴承3303的外圈固定连接，所述转动齿圈3304的外表面沿其周向设有一圈外齿，所述活动板3100的底面设有多排均匀间隔布设的条形槽3110，所述条形槽3110与所述外齿相啮合，且所述外齿可沿所述条形槽3110的长度方向滑动；其中，所述第一补偿组件3310的单向轴承3303的可转动方向与所述第三补偿组件3330的单向轴承3303的可转动方向相反，所述第二补偿组件3320的单向轴承3303的可转动方向与所述第四补偿组件3340的单向轴承3303的可转动方向相反。
单向轴承3303是在一个方向上可以自由转动，而在另一个方向上锁死的一种轴承，当需要使得活动板3100向前移动时，第一补偿组件3310的驱动件3301使得转轴3302带动单向轴承3303的内圈转动，此时，单向轴承3303处于锁死状态，因此单向轴承3303的内圈可以带动外圈转动，进而带动转动齿圈3304转动，转动齿圈3304通过与条形槽3110的啮合带动活动板3100向可以补偿抖动的方向运动；当抖动补偿后需要活动板3100复位时，可以通过第三补偿组件3330带动活动板3100转动，第三补偿组件3330的运行过程过程与第一补偿组件3310同理，此时，第一补偿组件3310的单向轴承3303处于可转动状态，因此第一补偿组件3310上的齿圈为与活动板3100随动状态，不会影响活动板3100的复位。
优选的，为了降低整个机械防抖器3000的整体厚度，本实施例在所述固定板的四周开设有四个贯穿的安装孔(图中未示出)，所述安装孔上安装有所述单向轴承3303和所述转动齿圈3304，通过将单向轴承3303和转动齿圈3304的部分隐藏在安装孔内，以降低整个机械防抖器3000的整体厚度。或者直接将整个补偿组件的部分置于所述安装孔内。
具体，本实施例的所述驱动件3301可以是微型电机，所述微型电机与所述处理模块电连接，所述微型电机的转动输出端与所述转轴3302相连接，所述微型电机受控于所述处理模块。或者，所述驱动件3301由记忆合金丝和曲柄连杆组成，所述记忆合金丝一端固定于所述固定板上，并与所述处理模块通过电路相连接，所述记忆合金丝另一端通过所述曲柄连杆与所述转轴3302相连接，以带动所述转轴3302转动，具体为处理模块根据陀螺仪的反馈计算出记忆合金丝的伸长量，并驱动相应的电路对该形状记忆合金丝进行升温，该形状记忆合金丝伸长带动曲柄连杆机构运动，曲柄连杆机构的曲柄带动转轴3302转动，使得单向轴承3303的内圈转动，单向轴承3303处于锁死状态时，内圈带动外圈转动，转动齿圈3304通过条形槽3110带动活动板3100运动。
下面结合上述结构对本实施例的机械防抖器3000的工作过程进行详细的描述，以镜头1000两次抖动为例，两次抖动方向相反，且需要使得活动板3100向前运动补偿一次，并随后向左运动补偿一次。需要活动板3100向前运动补偿时，陀螺仪事先将检测到的镜头1000抖动方向和距离反馈给所述处理模块，处理模块计算出需要活动板3100的运动距离，进而驱动第一补偿组件3310的驱动件3301使得转轴3302带动单向轴承3303的内圈转动，此时，单向轴承3303处于锁死状态，因此内圈可以带动外圈转动，进而带动转动齿圈3304转动，转动齿圈3304通过条形槽3110带动活动板3100向前运动，随后第三补偿组件3330带动活动板3100复位。需要活动板3100向左运动补偿时，陀螺仪事先将检测到的镜头1000抖动方向和距离反馈给所述处理模块，处理模块计算出需要活动板3100的运动距离，进而驱动第二补偿组件3320的驱动件3301使得转轴3302带动单向轴承3303的内圈转动，此时，单向轴承3303处于锁死状态，因此内圈可以带动外圈转动，进而带动转动齿圈3304转动，转动齿圈3304通过条形槽3110带动活动板3100向前运动，而且由于转动齿圈3304的外齿可沿所述条形槽3110的长度方向滑动，在活动板3100向左运动时，活动板3100与第一补偿组件3310和第三补偿组件3330之间为滑动配合，不会影响活动板3100向左运动，在补偿结束后，再通过第四补偿组件3340带动活动板3100复位。
当然上述仅仅为简单的两次抖动，当发生多次抖动时，或者抖动的方向并非往复运动时，可以通过驱动多个补偿组件以补偿抖动，其基础工作过程与上述描述原理相同，这里不过多赘述，另外关于形状记忆合金电阻的检测反馈、陀螺仪的检测反馈等均为现有技术，这里也不过多描述。
结合上述说明可知，本实施例提供的机械补偿器不仅不会受到外界磁场干扰，防抖效果好，而且可以实现在多次抖动发生的情况下能够对镜头1000进行精确的补偿，补偿及时准确，大大改善改了获取图像的质量，简化了后续三维图像的处理难度。
进一步地，电子设备包括带有所述图像获取设备的手机。该手机包括支架，手机支架的目的是由于图像获取环境的不确定性，因此需要使用支架对手机进行支撑和固定，以期获得更稳定的图像质量。
另外，申请人发现，现有的手机支架仅仅具有支撑手机的功能，而不具有自拍杆的功能，因此申请人对支架做出第一步改进，将手机支架6000和支撑杆6200相结合，结合附图11所示，本实施例的所述支架6000包括手机安装座6100和可伸缩的支撑杆6200，支撑杆6200与手机安装座6100的中部(具体为下述基板3200的中部)通过阻尼铰链相连接，使得支撑杆6200在转动至图12的状态时，支架6000可形成自拍杆结构，而支撑杆6200在转动至图13的状态时，支架6000可形成手机支架6000结构。
而结合上述支架结构申请人又发现，手机安装座6100与支撑杆6200结合后占用空间较大，即使支撑杆6200可伸缩，但是手机安装座6100无法进行结构的变化，体积不会进一步缩小，无法将其放入衣兜或者小型的包内，造成支架6000携带不便的问题，因此本实施例对支架6000做出第二步改进，使得支架6000的整体收容性得到进一步的提高。
结合图12-14所示，本实施例的所述手机安装座6100包括可伸缩的连接板6110和安装于连接板6110相对两端的折叠板组6120，所述支撑杆6200与所述连接板6110中部通过阻尼铰链相连接；所述折叠板组6120包括第一板体6121、第二板体6122及第三板体6123，其中，所述第一板体6121的相对两端中的一端与所述连接板6110相铰接，所述第一板体6121的相对两端中的另一端与所述第二板体6122的相对两端中的一端相铰接；所述第二板体6122相对两端的另一端与所述第三板体6123相对两端中的一端相铰接；所述第二板体6122设有供手机边角插入的开口6130。
结合附图14所示，所述手机安装座6100用于安装手机时，所述第一板体6121、第二板体6122和第三板体6123折叠呈直角三角形状态，所述第二板体6122为直角三角形的斜边，所述第一板体6121和所述第三板体6123为直角三角形的直角边，其中，所述第三板体6123的一个侧面与所述连接板6110的一个侧面并排贴合，所述第三板体6123相对两端中的另一端与所述第一板体6121相对两端中的一端相抵，该结构可以使得三个折叠板处于自锁状态，并且将手机下部的两个边角插入到两侧的两个开口6130时，手机5000的下部两侧位于两个直角三角形内，通过手机、连接板6110和折叠板组6120件的共同作可以完成手机5000的固定，三角形状态在外力情况下无法打开，只有从开口6130抽出手机后才能解除折叠板组6120件的三角形状态。
而在手机安装座6100不处于工作状态时，将连接板6110缩小至最小长度，并且将折叠板组6120件与连接板6110相互折叠，用户可以将手机安装座6100折叠呈最小体积，而由于支撑杆6200的可伸缩性，因此可以将整个支架6000收容呈体积最小的状态，提高了支架6000的收荣幸，用户甚至可以直接将支架6000放入衣兜或小的手包内，十分方便。
优选的，本实施例还在所述第三板体6123的一个侧面设有第一连接部，所述连接板6110与所述第三板体6123相贴合的侧面设有与所述第一连接部相配合的第一配合部，所述支架6000手机安装座6100用于安装手机时，所述第一连接部和所述第一配合部卡合连接。具体的，本实施例的第一连接部为一个凸条或凸起(图中未示出)，第一配合部为开设在连接板6110上的卡槽(图中未示出)。该结构不仅提高了折叠板组6120件处于三角形状态时的稳定性，而且在需要将手机安装座6100折叠至最小状态时也便于折叠板组6120件与连接板6110的连接。
优选的，本实施例还在所述第一板体6121相对两端中的一端设有第二连接部，所述第三板体6123相对两端中的另一端设有与所述第二连接部相配合的第二配合部，所述支架6000手机安装座6100用于安装手机时，所述第二连接部和所述第二配合部卡合连接。第二连接部可以是凸起(图中未示出)，第二配合部为与凸起相配合的开口6130或卡槽(图中未示出)。该结构提高了叠板组件处于三角形状态时的稳定性
另外，本实施例还可以在所述支撑杆6200的另一端可拆卸连接有底座(图中未示出)，在需要固定手机并且使手机5000具有一定高度时，可以将支撑杆6200拉伸呈一定长度，并通过底座将支架6000置于一个平面上，再将手机放置到手机安装座6100内，完成手机的固定；而支撑杆6200和底座的可拆卸连接可以使得两者可以单独携带，进一步提高了支架6000的收容性和携带的方便性。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
本发明实施例提供了一种非暂态计算机可读存存储介质，所述计算机存储介质存储有计算机可执行指令，其中，当所述计算机可执行指令被电子设备执行时，使所述电子设备上执行上述任意方法实施例中的视频生成方法。
本发明实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，其中，当所述程序指令被电子设备执行时，使所述电子设备执行上述任意方法实施例中的视频生成方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。例如，机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等，该计算机软件产品包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种视频生成方法，其特征在于，包括：
接收目标图片，提取所述目标图片中第一人脸的第一特征信息和第一姿态信息；
在视频中查找与所述第一姿态信息匹配的第二人脸，记录出现所述第二人脸的视频帧标识；
在第二人脸中，基于所述第一特征信息确定与所述第一人脸相似的第三人脸；
基于所述视频帧标识获取所述第三人脸的尺寸信息，根据所述尺寸信息对所述第一人脸进行处理，并将所述第三人脸替换成处理后的所述第一人脸。
2.根据权利要求1所述的方法，其特征在于，所述提取所述目标图片中第一人脸的第一特征信息和第一姿态信息，包括：
使用关键点识别算法得到预设数量的关键点，确定所述关键点在所述目标图片上的坐标位置；
基于所述坐标位置确定所述第一人脸的第一姿态信息；
根据所述关键点提取所述第一人脸的局部器官图像，根据所述局部器官图像确定所述第一人脸的第一特征信息。
3.根据权利要求1或2所述的方法，其特征在于，所述在视频中查找与所述第一姿态信息匹配的第二人脸，记录出现所述第二人脸的视频帧标识的步骤之前，还包括：
确定所述视频中出现的人脸以及所述人脸对应的视频帧标识；
提取所述人脸的特征信息和姿态信息，记录所述人脸、所述特征信息、所述姿态信息与所述视频帧标识之间的对应关系。
4.根据权利要求3所述的方法，其特征在于，所述在视频中查找与所述第一姿态信息匹配的第二人脸，记录出现所述第二人脸的视频帧标识，包括：
在所述姿态信息中查找与所述第一姿态信息匹配的第二姿态信息；
基于所述对应关系，确定所述第二姿态信息对应的第二人脸、第二特征信息和出现所述第二人脸的视频帧标识。
5.根据权利要求3或4所述的方法，其特征在于，特征信息包括人脸脸型信息和局部器官特征信息，所述在第二人脸中，基于所述第一特征信息确定与所述第一人脸相似的第三人脸，包括：
基于所述第一特征信息和所述第二特征信息，分别计算所述第一人脸与所述第二人脸的人脸脸型相似度、各局部器官特征相似度；
基于所述人脸脸型相似度和所述各局部器官特征相似度，确定与所述第一人脸相似的第三人脸。
6.一种视频生成装置，其特征在于，包括：
提取模块，用于接收目标图片，提取所述目标图片中第一人脸的第一特征信息和第一姿态信息；
查找模块，用于在视频中查找与所述第一姿态信息匹配的第二人脸，记录出现所述第二人脸的视频帧标识；
第一确定模块，用于在第二人脸中，基于所述第一特征信息确定与所述第一人脸相似的第三人脸；
替换模块，用于基于所述视频帧标识获取所述第三人脸的尺寸信息，根据所述尺寸信息对所述第一人脸进行处理，并将所述第三人脸替换成处理后的所述第一人脸。
7.根据权利要求6所述的装置，其特征在于，所述提取模块包括：
识别单元，用于使用关键点识别算法得到预设数量的关键点，确定所述关键点在所述目标图片上的坐标位置；
确定单元，用于基于所述坐标位置确定所述第一人脸的第一姿态信息；
提取单元，用于根据所述关键点提取所述第一人脸的局部器官图像，根据所述局部器官图像确定所述第一人脸的第一特征信息。
8.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：
第二确定模块，用于确定所述视频中出现的人脸以及所述人脸对应的视频帧标识；
记录模块，用于提取所述人脸的特征信息和姿态信息，记录所述人脸、所述特征信息、所述姿态信息与所述视频帧标识之间的对应关系。
9.根据权利要求8所述的装置，其特征在于，所述查找模块具体用于，
在所述姿态信息中查找与所述第一姿态信息匹配的第二姿态信息；基于所述对应关系，确定所述第二姿态信息对应的第二人脸、第二特征信息和出现所述第二人脸的视频帧标识。
10.一种电子设备，其特征在于，包括：至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5中任一项所述的视频生成方法。
CN201811035719.3A 2018-08-24 2018-09-06 视频生成方法、装置及电子设备 Active CN108966017B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CNPCT/CN2018/102334 2018-08-24
PCT/CN2018/102334 WO2020037681A1 (zh) 2018-08-24 2018-08-24 视频生成方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN108966017A true CN108966017A (zh) 2018-12-07
CN108966017B CN108966017B (zh) 2021-02-12

Family

ID=64476031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811035719.3A Active CN108966017B (zh) 2018-08-24 2018-09-06 视频生成方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN108966017B (zh)
WO (1) WO2020037681A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110266973A (zh) * 2019-07-19 2019-09-20 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备
CN110675433A (zh) * 2019-10-31 2020-01-10 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备及存储介质
CN111047930A (zh) * 2019-11-29 2020-04-21 联想(北京)有限公司 一种处理方法、装置及电子设备
CN113066497A (zh) * 2021-03-18 2021-07-02 Oppo广东移动通信有限公司 数据处理方法、装置、系统、电子设备和可读存储介质
CN113873175A (zh) * 2021-09-15 2021-12-31 广州繁星互娱信息科技有限公司 视频播放方法、装置和存储介质及电子设备
CN113965802A (zh) * 2021-10-22 2022-01-21 深圳市兆驰股份有限公司 沉浸式视频交互方法、装置、设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001296B (zh) * 2020-08-20 2024-03-29 广东电网有限责任公司清远供电局 变电站立体化安全监控方法、装置，服务器及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1522425A (zh) * 2001-07-03 2004-08-18 �ʼҷ����ֵ������޹�˾ 在原始图像上叠加用户图像的方法和设备
KR20090022755A (ko) * 2007-08-31 2009-03-04 (주)에프엑스기어 사용자지정 안면이미지/음성데이터가 반영된 특화영상컨텐츠 제공 시스템
CN102196245A (zh) * 2011-04-07 2011-09-21 北京中星微电子有限公司 一种角色互动的视频播放方法和视频播放装置
CN105118082A (zh) * 2015-07-30 2015-12-02 科大讯飞股份有限公司 个性化视频生成方法及系统
US20160004321A1 (en) * 2013-09-11 2016-01-07 Clarion Co., Ltd. Information processing device, gesture detection method, and gesture detection program
US20160178923A1 (en) * 2013-08-09 2016-06-23 Mitsumi Electric Co., Ltd. Lens holder drive device, camera module, and portable terminal provided with camera
CN106101771A (zh) * 2016-06-27 2016-11-09 乐视控股（北京）有限公司 视频处理方法、装置及终端
CN106131435A (zh) * 2016-08-25 2016-11-16 东莞市亚登电子有限公司 微型光学防抖摄像头模组
US20160335774A1 (en) * 2015-02-06 2016-11-17 Ming Chuan University Method for automatic video face replacement by using a 2d face image to estimate a 3d vector angle of the face image
CN205987121U (zh) * 2016-08-25 2017-02-22 东莞市亚登电子有限公司 微型光学防抖摄像头模组结构
CN107563336A (zh) * 2017-09-07 2018-01-09 廖海斌 用于名人匹配游戏的人脸相似度分析方法、装置和系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69636695T2 (de) * 1995-02-02 2007-03-01 Matsushita Electric Industrial Co., Ltd., Kadoma Bildverarbeitungsvorrichtung
NL1007397C2 (nl) * 1997-10-30 1999-05-12 V O F Headscanning Werkwijze en inrichting voor het met een gewijzigd uiterlijk weergeven van tenminste een deel van het menselijk lichaam.
EP1864245A2 (en) * 2005-03-18 2007-12-12 Philips Intellectual Property & Standards GmbH Method of performing face recognition
JP4760349B2 (ja) * 2005-12-07 2011-08-31 ソニー株式会社 画像処理装置および画像処理方法、並びに、プログラム
CN103258316B (zh) * 2013-03-29 2017-02-15 东莞宇龙通信科技有限公司 一种图片处理方法和装置
CN105096354A (zh) * 2014-05-05 2015-11-25 腾讯科技（深圳）有限公司 一种图像处理的方法和装置
CN105469379B (zh) * 2014-09-04 2020-07-28 广东中星微电子有限公司 视频目标区域遮挡方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1522425A (zh) * 2001-07-03 2004-08-18 �ʼҷ����ֵ������޹�˾ 在原始图像上叠加用户图像的方法和设备
KR20090022755A (ko) * 2007-08-31 2009-03-04 (주)에프엑스기어 사용자지정 안면이미지/음성데이터가 반영된 특화영상컨텐츠 제공 시스템
CN102196245A (zh) * 2011-04-07 2011-09-21 北京中星微电子有限公司 一种角色互动的视频播放方法和视频播放装置
US20160178923A1 (en) * 2013-08-09 2016-06-23 Mitsumi Electric Co., Ltd. Lens holder drive device, camera module, and portable terminal provided with camera
US20160004321A1 (en) * 2013-09-11 2016-01-07 Clarion Co., Ltd. Information processing device, gesture detection method, and gesture detection program
US20160335774A1 (en) * 2015-02-06 2016-11-17 Ming Chuan University Method for automatic video face replacement by using a 2d face image to estimate a 3d vector angle of the face image
CN105118082A (zh) * 2015-07-30 2015-12-02 科大讯飞股份有限公司 个性化视频生成方法及系统
CN106101771A (zh) * 2016-06-27 2016-11-09 乐视控股（北京）有限公司 视频处理方法、装置及终端
CN106131435A (zh) * 2016-08-25 2016-11-16 东莞市亚登电子有限公司 微型光学防抖摄像头模组
CN205987121U (zh) * 2016-08-25 2017-02-22 东莞市亚登电子有限公司 微型光学防抖摄像头模组结构
CN107563336A (zh) * 2017-09-07 2018-01-09 廖海斌 用于名人匹配游戏的人脸相似度分析方法、装置和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
方维源等: "《数码摄影基础》", 31 July 2015 *
罗斯·胡迪诺特: "《数码单反镜头全攻略》", 31 January 2011 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110266973A (zh) * 2019-07-19 2019-09-20 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备
CN110266973B (zh) * 2019-07-19 2020-08-25 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备
CN110675433A (zh) * 2019-10-31 2020-01-10 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备及存储介质
US11450027B2 (en) 2019-10-31 2022-09-20 Beijing Dajia Internet Information Technologys Co., Ltd. Method and electronic device for processing videos
CN111047930A (zh) * 2019-11-29 2020-04-21 联想(北京)有限公司 一种处理方法、装置及电子设备
CN113066497A (zh) * 2021-03-18 2021-07-02 Oppo广东移动通信有限公司 数据处理方法、装置、系统、电子设备和可读存储介质
CN113873175A (zh) * 2021-09-15 2021-12-31 广州繁星互娱信息科技有限公司 视频播放方法、装置和存储介质及电子设备
CN113873175B (zh) * 2021-09-15 2024-03-15 广州繁星互娱信息科技有限公司 视频播放方法、装置和存储介质及电子设备
CN113965802A (zh) * 2021-10-22 2022-01-21 深圳市兆驰股份有限公司 沉浸式视频交互方法、装置、设备和存储介质

Also Published As

Publication number Publication date
WO2020037681A1 (zh) 2020-02-27
CN108966017B (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN108966017B (zh) 视频生成方法、装置及电子设备
CN109151340B (zh) 视频处理方法、装置及电子设备
CN109285216B (zh) 基于遮挡图像生成三维人脸图像方法、装置及电子设备
US11509817B2 (en) Autonomous media capturing
CN109271911B (zh) 基于光线的三维人脸优化方法、装置及电子设备
WO2020037676A1 (zh) 三维人脸图像生成方法、装置及电子设备
WO2019205284A1 (zh) Ar成像方法和装置
US11122258B2 (en) Method and apparatus for generating and displaying 360-degree video based on eye tracking and physiological measurements
CN108596827B (zh) 三维人脸模型生成方法、装置及电子设备
CN107911724B (zh) 直播互动方法、装置及系统
CN106161939B (zh) 一种照片拍摄方法及终端
CN109214351B (zh) 一种ar成像方法、装置及电子设备
CN109521869B (zh) 一种信息交互方法、装置及电子设备
CN109474801B (zh) 一种交互对象的生成方法、装置及电子设备
CN108537870B (zh) 图像处理方法、装置及电子设备
CN108377398B (zh) 基于红外的ar成像方法、系统、及电子设备
CN114697539B (zh) 拍照推荐方法、装置、电子设备以及存储介质
CN111640165A (zh) Ar合影图像的获取方法、装置、计算机设备及存储介质
JP2014050022A (ja) 画像処理装置、撮像装置、およびプログラム
DE102022117329A1 (de) Elektronische Geräte und entsprechende Verfahren zur automatischen Durchführung von Login-Vorgängen bei der Präsentation von Inhalten in Umgebungen mit mehreren Personen
CN109447924B (zh) 一种图片合成方法、装置及电子设备
WO2016090759A1 (zh) 一种智能拍照的方法和装置
CN115482565A (zh) 用户影像数据处理方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240910

Address after: Room 3011, 3rd Floor, Building A, No. 266 Tinglan Street, Qiaosi Street, Linping District, Hangzhou City, Zhejiang Province 311101

Patentee after: Pacific Future Technology (Hangzhou) Co.,Ltd.

Country or region after: China

Address before: 518000 area w, 1st floor, lingchuang Tianxia, Yannan Road, Meiban Avenue, Bantian street, Longgang District, Shenzhen City, Guangdong Province

Patentee before: Pacific future technology (Shenzhen) Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right