CN109089058A - 视频画面处理方法、电子终端及装置 - Google Patents

视频画面处理方法、电子终端及装置 Download PDF

Info

Publication number
CN109089058A
CN109089058A CN201810738111.0A CN201810738111A CN109089058A CN 109089058 A CN109089058 A CN 109089058A CN 201810738111 A CN201810738111 A CN 201810738111A CN 109089058 A CN109089058 A CN 109089058A
Authority
CN
China
Prior art keywords
video frame
target object
initial
frame
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810738111.0A
Other languages
English (en)
Other versions
CN109089058B (zh
Inventor
欧阳绍聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN201810738111.0A priority Critical patent/CN109089058B/zh
Publication of CN109089058A publication Critical patent/CN109089058A/zh
Application granted granted Critical
Publication of CN109089058B publication Critical patent/CN109089058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)

Abstract

本申请提供视频画面处理方法、电子终端及装置，其中处理方法包括：确定目标物体，将确定所述目标物体所对应的视频帧作为初始视频帧。采集后续的视频帧，并从所述初始视频帧开始对所述目标物体进行识别跟踪，以分别获得与各视频帧中的所述目标物体的状态相应的跟踪数据。根据所述跟踪数据分别调整待加入的特效模型，以分别得到相应的调整特效数据。将所述调整特效数据与其所对应的视频帧进行融合处理，以获得加入特效的视频帧。通过上述方式，本申请能够有效提高视频画面处理效率。

Description

视频画面处理方法、电子终端及装置
技术领域
本申请涉及视频处理技术领域，特别是涉及视频画面处理方法、电子终端及装置。
背景技术
随着互联网技术的发展和智能设备的快速普及，人们可以很便捷地通过智能设备进行视频和图像的处理，添加一些自己喜欢的特效，极大的丰富了智能设备使用的趣味性。在现有技术中，对于视频画面的处理一般都是在视频录制完成后通过人工使用手动的方式地往视频文件里面添加特效，在需要添加特效的地方，手动地对特效模型进行调整以适应不同的视频画面，例如同一个地方，在不同帧的视频画面中会呈现出不同的状态，因此需要对所添加的特效进行调整，如此导致视频处理效率低。
发明内容
本申请主要解决的技术问题是提供视频画面处理方法、电子终端及装置，能够提高视频特效处理的效率。
为解决上述技术问题，本申请提供一种视频画面处理方法，包括：
确定目标物体，将确定所述目标物体所对应的视频帧作为初始视频帧。
采集后续的视频帧，并从所述初始视频帧开始对所述目标物体进行识别跟踪，以分别获得与各视频帧中的所述目标物体的状态相应的跟踪数据。
根据所述跟踪数据分别调整待加入的特效模型，以分别得到相应的调整特效数据。
将所述调整特效数据与其所对应的视频帧进行融合处理，以获得加入特效的视频帧。
为解决上述技术问题，本申请提供一种电子终端，包括确定模块、采集模块、跟踪识别模块、调整模块、处理模块。
其中确定模块用于确定目标物体，将确定所述目标物体所对应的视频帧作为初始视频帧。采集模块用于采集后续的视频帧。跟踪识别模块用于从所述初始视频帧开始对所述目标物体进行识别跟踪，以分别获得与各视频帧中的所述目标物体的状态相应的跟踪数据。调整模块用于根据所述跟踪数据分别调整待加入的特效模型，以分别得到相应的调整特效数据。处理模块用于将所述调整特效数据与其所对应的视频帧进行融合处理，以获得加入特效的视频帧。
为了解决上述技术问题，本申请还提供一种电子终端，包括处理器和通信电路，所述处理器和所述通信电路耦接。
所述处理器用于确定目标物体，将确定所述目标物体所对应的视频帧作为初始视频帧。
所述处理器用于通过所述通信电路采集后续的视频帧，进一步用于从所述初始视频帧开始对所述目标物体进行识别跟踪，以分别获得与各视频帧中的所述目标物体的状态相应的跟踪数据。
所述处理器用于根据所述跟踪数据分别调整待加入的特效模型，以分别得到相应的调整特效数据。
所述处理器用于将所述调整特效数据与其所对应的视频帧进行融合处理，以获得加入特效的视频帧。
为了解决上述技术问题，本申请还提供一种具有存储功能的装置，存储有程序数据，所述程序数据能够被执行以实现如上述本申请提供的一种视频画面处理方法。
与现有技术相比，本申请的有益效果是：本申请通过确定目标物体并从确定目标的初始视频帧开始对目标物体进行识别追踪，随着后续的视频帧的采集，得到与各视频帧的目标物体状态相对应的跟踪数据，根据跟踪数据调整待加入的特效模型，将得到相应的调整特效数据与其相对应的视频帧进行融合处理，形成加入特效的视频帧，待视频帧采集完毕，就可以形成完整的加入特效的视频画面，如此能够实现自动识别跟踪目标物体添加与目标物状态相适应的特效模型，能够有效地提高视频画面处理的效率。
附图说明
图1是本申请视频画面处理方法实施例的第一流程示意图；
图2是本申请视频画面处理方法实施例的第一过程示意图；
图3是本申请视频画面处理方法实施例中视频直播的具体应用场景系统结构示意图；
图4是本申请视频画面处理方法实施例第二流程示意图；
图5是本申请视频画面处理方法实施例第三流程示意图；
图6是本申请视频画面处理方法实施例第四流程示意图；
图7是本申请视频画面处理方法实施例第二过程示意图；
图8是本申请视频画面处理方法实施例第三过程示意图；
图9是本申请电子终端第一实施例的结构示意图；
图10是本申请电子终端第二实施例的结构示意图；
图11是本申请具有存储功能的装置实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在现有技术中，对于视频画面的处理一般都是人工使用手动的方式地往视频文件里面添加特效，在需要添加特效的地方，手动地对特效模型进行调整以适应不同的视频画面，例如同一个地方，在不同帧的视频画面中会呈现出不同的状态，因此需要对所添加的特效进行调整，如此导致视频处理效率低。为了解决上述技术问题，本申请提供如下实施例：
请参阅图1和图2，本申请视频画面处理方法实施例，由电子终端10进行执行，电子终端10例如是智能手机、电脑、平板电脑、相机、摄像机等，可以通过在电子终端10中安装相应的应用程序(APP)，实现如下步骤：
S11：确定目标物体11，将确定目标物体11所对应的视频帧作为初始视频帧。
在本实施例中，视频画面可以是电子终端10录制的，一种情况是：在视频画面录制前，电子终端10通过自带的摄像头将要拍摄的画面显示在显示屏上，用户选择画面中的目标物体11。电子终端10接收到用户的选择指令，确定目标物体11，此时视频画面并没有录制，因此在视频画面开始录制时，将最初显示目标物体11的视频帧作为初始视频帧，也可以将视频画面的第一帧作为初始视频帧。
另一种情况是：视频画面已经在录制过程中，用户可以在已录制的视频帧中选择目标物体11，电子终端10接收到用户指令确定用户所选择的目标物体11，并将用户选择目标物体11所对应的视频帧作为初始视频帧。例如一个视频画面已经录制了48帧，每秒24帧，用户在第2秒的时刻选择了画面中的目标物体11，那么电子终端10将第48帧作为初始视频帧。
在本实施例中，视频画面可以是录制完，由电子终端10进行处理的。例如用户可以在视频画面的中选择目标物体11，电子终端10接收到用户指令确定用户所选择的目标物体11，并将用户选择目标物体11所对应的视频帧作为初始视频帧。
当然，在其他实施例中，目标物体11也是可以由电子终端10自行选择并确认的，可以不需要用户的选择。
S12：采集后续的视频帧，并从初始视频帧开始对目标物体11进行识别跟踪，以分别获得与各视频帧中的目标物体11的状态相应的跟踪数据。
在本实施例中，对于视频画面正在录制这种情况，从初始视频帧开始进行视频帧的录制，就是采集后续的视频帧，电子终端10随着视频帧的录制，从初始视频帧开始对目标物体11进行识别跟踪。对于已经录制完的视频画面这种情况，在播放过程中，视频帧随着播放的进行而不断推移，就是采集后续的视频帧，在播放画面中确定了目标物体11，也就确定了初始视频帧，随着播放的进行采集后续的视频帧，以便于针对后续的视频帧进行特效加入处理。
在本实施例中，从初始视频帧开始对目标物体11进行识别跟踪，由于随着视频帧的采集和推移，目标物体11在不同的视频帧中的状态是不同的，电子终端10通过相应的算法实现对目标物体11的识别跟踪，以确认目标物体11在各个视频帧中的状态。根据目标物体11的在各个视频帧中状态，计算出各个视频帧中相对应的跟踪数据，该跟踪数据主要是记录或表示目标物体11的状态，例如目标物体11的位置、旋转、以及缩放比例等方面的数据。从初始视频帧开始，每个视频帧会对应有该视频帧的跟踪数据。可选的是，对能识别到目标物体11的视频帧，计算其相对应的跟踪数据。
在本实施例中，各视频帧可以指后续采集的视频帧，也可以包括初始视频帧和后续的视频帧。在本实施例中，对于初始视频帧而言，也可以得到其跟踪数据，初始视频帧的跟踪数据相对应的目标物体11的状态无变化。
S13：根据跟踪数据分别调整待加入的特效模型，以分别得到相应的调整特效数据。其中调整特效数据分别与各视频帧中的目标物体11的状态相适应。
在本实施例中，电子终端10中所安装的相应的APP内预置有多个特效模型，用户可以选择一个特效模型作为待加入的特效模型。当然，电子终端10也可以自行选择特效模型。
在本实施例中，通过识别跟踪得出了各视频帧对应的跟踪数据后，电子终端10根据跟踪数据分别调整待加入的特效模型，具体是根据各视频帧的跟踪数据分别对应调整待加入的特效模型，使之能够适应于所对应的视频帧中的目标物体11。继续参阅图2，例如在初始视频帧后采集了一帧视频帧，例如第二帧视频帧，需要说明的是第二帧视频帧是相对于初始视频帧而言的，并不一定是整个视频画面的第二视频帧，从初始视频帧开始对目标物体11进行识别跟踪，在第二帧视频帧中得到第二帧视频帧的跟踪数据，该跟踪数据与第二帧视频帧中的目标物体11的状态相应，电子终端10根据该跟踪数据调整待加入的特效模型，使得该特效模型能够适应第二帧视频帧中的目标物体11的状态，也就是说调整后的特效模型能够适配第二帧视频帧中目标物体11的状态，形成到调整特效数据。
S14：将调整特效数据与其所对应的视频帧进行融合处理，以获得加入特效113的视频帧。
在本实施例中，得到调整特效数据之后，将该调整特效数据与其相对应的视频帧进行融合。一个视频帧，对应一份调整特效数据，两者进行融合后形成加入特效113后的视频帧，使得加入特效113的视频帧显示出的画面中的目标物体11是带有特效的，而且不同的视频帧的目标物体11的状态不同，特效也随着目标物体11呈现不同的形态。
在本实施例中，对于录制中的视频画面，每产生一个视频帧，根据本实施例的处理方法就对应获得该视频帧的跟踪数据，从而将调整待加入的特效模型，将得到的调整特效数据融合到该视频帧中，最后得到加入特效113的视频帧，待视频画面全部录制完毕，就形成了加入特效113的视频画面。该加入特效113的视频画面最后可以输出到电子终端10的显示屏上显示，或者存储在电子终端10上，或者发送给其他终端等。
请继续参阅图2，在本实施例中，初始视频帧可以加入特效113，在后续视频帧中，通过对目标物体11的识别追踪，对该特效模型进行适应调整符合其所对应的视频帧，实现特效跟随视频帧已经识别的目标物体11的运动而运动，也即特效跟随目标物体11的不同状态而呈现不同的状态。当然，初始视频帧也可以不加入特效113，而从后续的视频帧开始加入特效113。
在本实施例，可以不需要对目标物体11进行预先训练，从而实现良好的对目标物体11的跟踪效果，例如可以采用CMT(Clustering of Static-Adaptive Correspondencesfor Deformable Object Tracking)算法实现从对目标物体11的识别跟踪，同时还具备计算目标物体11状态的能力。
综上所述，本实施例通过确定目标物体11并从确定目标的初始视频帧开始对目标物体11进行识别追踪，随着后续的视频帧的采集，得到与各视频帧的目标物体11状态相对应的跟踪数据，根据跟踪数据调整待加入的特效模型，将得到相应的调整特效数据与其相对应的视频帧进行融合处理，形成加入特效113的视频帧，待视频帧采集完毕，就可以形成完整的加入特效的视频画面，如此能够实现自动识别跟踪目标物体11添加与目标物体11状态相适应的特效模型，能够有效地提高视频画面处理的效率。
此外，本实施例对视频画面的处理，是随着视频帧的采集，对所采集的视频帧进行特效加入处理，并不需要采集完视频帧后或者视频录制完毕后再进行特效加入处理，如此可以实现用户随着视频帧的特效加入可以很方便看到加入特效113的视频帧画面，并不需要等待录制完整个视频画面后再统一进行特效加入处理，如此可以提高用户的观看体验。等待视频录制完后再统一添加特效，应用场景有限，无法给用户更好的使用体验，而且如此视频处理的效率会很低，无法满足一些实时特效处理的场景。
请参阅图3，在本实施例中，视频画面可以为直播中的画面或者录制中的画面。以视频直播的具体应用场景为例，首先主播的第一电子终端10a上运行相应的应用程序，通过直播服务器10c与观众的第二电子终端10b进行通信连接，使得主播和观众能够进行互动，同时多个观众可以同时观看同一个主播的直播。
请参阅图2和图3，在直播时，执行本实施例的方法的电子终端10例如为主播的第一电子终端10a，第一电子终端10a通过自带的摄像头或者外接的摄像装置实时录制视频画面，主播在第一电子终端10a显示屏上所呈现的视频画面中选择将目标物体11，例如主播的脸部，第一电子终端10a确定该目标物体11，并将第一电子终端10a确定该目标物体11所对应的视频帧作为初始视频帧，在本应用场景中，将主播选择目标物体11的所对应的视频帧与第一电子终端10a确定该目标物体11所对应的视频帧可以是同一视频帧。随着直播的进行，摄像头或摄像装置不断地实时产生视频帧，第一电子终端10a从初始视频帧开始对目标物体11进行识别跟踪，通过对目标物体11的识别跟踪获得各视频帧中的目标物体11的状态，从而获得相应的跟踪数据。跟踪数据与目标物体11的状态相应。第一电子终端10a根据某一视频帧的跟踪数据，调整待加入的特效模型，得到相应的调整特效数据，接着将该调整特效特效数据与该视频帧进行融合处理，得到处理后的视频帧。也就是说，随着视频帧的实时采集，处理后的加入特效113的视频帧也实时产生。两者可以是同步产生，也可能由于添加特效的时长或网络的原因存在延迟。随着直播的进行，后续的视频帧不断加入相应特效，后经直播服务器10c发送到观众的第二电子终端10b上，第二电子终端10b可以实时显示加入特效113的视频画面，如果需要录制完或者直播完后再添加特效，那么就失去了视频直播的意义，或者可以说录制完或者直播完再添加特效的方案，根本不适用在直播中或者录制过程中。
在视频直播的应用场景中，也可以是由观众的第二电子终端10b执行本实施例的视频处理方法，不同的观众可以在其第二电子终端10b上所显示的直播画面中选择不同目标物体11和添加不同特效113，随着直播进行，观众可以实时观看到带有特效的直播画面，实现个性化定制，更符合观众个人的口味，体验观看体验。
当然，对于已经录制完的视频画面，采用本实施例的处理方法，用户在选择了目标物体11，电子终端10确定目标物体11和初始视频帧，随着视频画面的播放，视频帧不断的推移，调整特效数据不断地跟视频帧进行融合，加入特效113后的视频帧可以实时显示在电子终端10的显示屏上，直到视频画面播放完毕，形成了整个加入特效113的视频画面。
请参阅图2和图4，进一步地，在S11：确定目标物体11，将确定目标物体11所对应的视频帧作为初始视频帧的步骤之后包括：
S111：在初始视频帧中确定目标物体11的多个特征点112。
在本实施例中，电子终端10在确定了目标物体11之后，可以自行选择目标物体11上的多个特征点112，可以通过相应算法实现相关功能，例如上述提及的CMT算法。当然，在其他实施例中，多个特征点112的选择可以由用户进行选择，电子终端10根据用户的选择进行确定。多个特征点112是用于进行识别和跟踪，以在后续视频帧中确定目标物体11的状态。
请继续参阅图2，以视频直播的应用场景为例，主播通过第一电子终端10a进行选择目标物体11后，例如是主播的脸部，第一电子终端10a在主播的脸部确定多个特征点112，例如在眼睛、鼻子、嘴巴、额头等位置确定特征点，以方便在后续视频帧中对脸部进行识别和跟踪。
S112：根据目标物体11的多个特征点112确定初始框111，其中初始框111包含多个特征点112。
在本实施例中，可以通过相应的算法，例如CMT算法实现在初始视频帧中根据目标物体11的多个特征点112确定初始框111，初始框111包围多个特征点112，以便于初始框111包围目标物体11，例如初始框111可以呈矩形。通过确定初始框111，可以方便后续跟踪数据的确定。
请继续参阅图2，以视频直播的应用场景为例，主播选择脸部作为目标物体11，在眼睛、鼻子、嘴巴、额头等位置确定特征点，初始框111会包围这些特征点，以保证初始框111内包围住目标物体11。
请继续参阅图1、图2和图4，进一步地，S12：采集后续的视频帧，并从初始视频帧开始对目标物体11进行识别跟踪，以分别获得与各视频帧中的目标物体11的状态相应的跟踪数据的步骤包括：
S121：从初始视频帧开始对初始框111中的多个特征点112进行识别跟踪，并根据各视频帧中的多个特征点112的状态确定目标物体11的状态，以分别获得相应的跟踪数据。
请继续参阅图2，从初始视频帧开始对初始框111内的多个特征点112识别跟踪，实现对目标物体11的识别跟踪，例如在第二帧视频帧中，得到了第二帧视频帧的特征点112a，根据第二帧视频帧中的特征点112a确定第二帧视频帧中目标物体11的状态，例如可以与初始帧进行比较，得出相对于初始视频帧中的目标物体11的状态的改变，从而可以得到第二帧视频帧的跟踪数据，电子终端10根据第二帧视频帧的跟踪数据对待加入的特效模型进行调整，将得到的调整特效数据与第二帧视频帧进行融合，得到加入特效113的第二帧视频帧，以此类推，在后续视频帧中，对能够识别跟踪到目标物体11的视频帧进行特效加入处理。
请继续参阅图2，以视频直播的应用场景为例，主播在直播过程中，一边唱歌一边摇头，其选择脸部作为目标物体11，并选择在脸部旁添加爱心的特效，主播摇头的过程中，相邻的视频帧之间，脸部的位置会发生一定角度的偏转，那么特效113a也需要随之进行偏转，以保证特效的跟随效果，因此需要对从初始帧开始对脸部的多个特征点112进行识别和跟踪，以确定目标物体11的状态，从而获得相应的跟踪数据，电子终端10根据跟踪数据调整爱心特效113的形态，使之能够跟随目标物体11的状态，如此可以达到较好的视频特效观看效果。
请参阅图2和图5，可选的是，S121：从初始视频帧开始对多个特征点112进行识别跟踪，并根据各视频帧中的多个特征点112的状态确定目标物体11的状态，以分别获得相应的跟踪数据的步骤包括：
S1211：随着后续的视频帧的采集，当采集当前视频帧时，在当前视频帧中对多个特征点112进行检测。
举例对S1211进行说明，请继续参阅图2，例如从初始视频帧开始，当采集到第二帧视频帧时，在第二帧视频帧上对多个特征点112进行检测。因为由于初始视频帧和第二帧视频帧中的目标物体11的状态可能发生了变化，例如以视频直播的应用场景为例，作为目标物体11的主播的脸部在初始视频帧中的，是正对着摄像头，而在第二帧视频帧中，主播的脸部相对于摄像头往一侧偏移了，在第二帧视频帧上对目标物体11的特征点112进行检测，以保证对目标物体11的识别和追踪。由于状态的改变，在有些情况下可能出现导致全部特征点112缺失，或部分特征点112缺失到等情况，因此首先会对特征点112进行检测。对第二帧视频帧检测完并进行相应的特效处理后，随着第三帧视频帧的采集会接着对第三帧视频帧的特征点进行检测，依次进行，也就是随着后续的视频帧的采集而进行检测。
S1212：将当前视频帧中所检测到的特征点112a与初始视频帧中的多个特征点112进行匹配，以得到当前视频帧的检测特征点。
在本实施例中，由于特征点的识别跟踪都是从初始视频帧所确定的目标物体的多个特征点开始，因此将当前视频帧的中所检测到的特征点与初始视频帧中的多个特征点进行匹配，可以较为精确地识别到当前视频帧中目标物体11的特征点。
例如将第二帧视频帧中所检测到的特征点112a与初始视频帧中的多个特征点112进行相对应的匹配，例如在初始视频帧中确定了1-5号特征点，那么到了第二帧视频帧之后，对第二帧视频帧上的特征点进行检测，与初始视频帧的多个特征点112进行对应匹配后，可能会匹配到全部特征点112，也可能只匹配到多个特征点112中部分特征点，比如匹配到了1、3、4号特征点，没有匹配到2号和5号特征点。
例如在匹配时，如果匹配到的是非目标物体的特征点，则直接排除，如果对应的特征点进行匹配，如果两者距离小于预设阈值，则表示匹配程度高，匹配成功，如果两者距离大于预设阈值，则可以排除该特征点。在本实施例中，当前视频帧至少是初始视频帧的后一帧，也就是至少是从第二帧视频帧开始。
S1213：至少根据前一视频帧的有效特征点利用光流法进行跟踪得到当前视频帧的物理特征点。
利用光流法的相关算法对前一视频帧有效特征点不断地进行定位和跟踪，可以得到当前视频帧的物理特征点。
对于视频直播而言，可以是利用向后光流，对前一帧视频帧的有效特征点向后进行定位和追踪，得到当前视频帧的物理特征点，当然也可以同时利用向前光流和向后光流进行定位和追踪。对于已经录制完的视频画面而言，在其播放过程中的视频帧加入特效113数据，那么可以采用向前光流或向后光流，或者同时采用向前光流和向后光流。
S1214：将当前视频帧的检测特征点与物理特征点进行融合，得到当前视频帧的有效特征点。
因为在对当前视频帧进行检测时，由于物体状态的变化，有些能够被检测到特征点可能无法被检测到，或者有些能够被匹配到的特征点无法被匹配准确，或者有些不是特征点的点被检测和匹配出来。而对于物理特征点而言，由于是利用光流法得出的，可以保证特征点的得出，但是并不能保证得出的特征点是正确的，例如有些不应该被检测到的特征点也得出了。为了使得当前视频的特征点能够被精确地计算得出。本实施例将当前视频帧的检测特征点与物理特征点进行融合处理，可以排除一些错误的特征点、填补未被检测出的特征点等，在融合处理的过程中，要排除重合的点，保证不重复添加相同的点，以便较为精确地得到当前视频帧的有效特征点。
S1215：根据当前视频帧的有效特征点和初始视频帧的多个特征点112的对应关系，计算出当前视频帧的跟踪数据。
请继续参阅图2，在本实施例中，确定了当前视频帧的有效特征点，根据当前视频帧的有效特征点和初始视频帧的多个特征点112之间的对应关系，基于两者特征点的对应关系确定当前视频帧中目标物体11的状态变化，例如根据特征点之间的对应关系可以计算出目标物体11是否是旋转了一个角度、平移了一定的位移等，以得到当前视频帧的跟踪数据。电子终端10根据当前视频帧的跟踪数据相应调整待加入的特效模型，得到相应的调整特效数据，并将该调整特效数据与当前视频帧进行融合，得到加入特效113的当前视频帧，依次进行直至视频帧采集结束。
请继续参阅图2，以视频直播的应用场景为例，以视频直播的应用场景为例，主播在直播过程中，一边唱歌一边摇头，其选择脸部作为目标物体11，并选择在脸部旁添加爱心的特效，主播摇头的过程中，相邻的视频帧的脸部的多个特征点112对应起来，可以知道目标物体11位置发生改变且发生一定角度的偏转，此时可以计算出跟踪数据，从而根据跟踪数据调整特效模型，调整后的爱心特效也需要随目标物体11进行偏转和改变位置，以保证特效的跟随效果，如此可以达到较好的视频特效观看效果。
请参阅图2和图6，S1215：根据当前视频帧的有效特征点和初始视频帧的多个特征点112的对应关系，计算出当前视频帧的跟踪数据的步骤包括：
S1215a：根据当前视频帧的有效特征点确定当前视频帧的特征框111a，当前视频的有效特征点包含于当前视频帧的特征框111a内。
S1215b：根据当前视频帧的有效特征点与初始视频帧的多个特征点112的对应连线跟预设方向的夹角，计算得出当前视频帧的目标物体11的旋转角度。
请参阅图2和图7，例如对应特征点111，111a之间的旋转角度是对应特征点之间的连线与某一标准方向的夹角，通过两两对应的特征点111，111a的旋转角度计算平均的旋转角度，作为目标物体11的旋转角度。例如对两两对应的特征点111，111a之间的旋转角度进行加权平均处理，得到旋转角度的平均值，即目标物体11的旋转角度。在本实施例中，可以利用前述所提及的CMT算法进行计算出目标物体的夹角。
S1215c：根据当前视频帧的特征框111a与初始视频帧的初始框111的对应关系，计算出当前视频帧中的目标物体11的位置和缩放比例。
请参阅图2和图8，根据当前视频帧的特征框111a和初始视频帧的初始框111的对应关系，也即判断出当前视频帧的目标物体11相对于初始视频帧的目标物体11是否发生了位置改变和大小改变，采用特征框111a与初始框111的计算方式，能够更好地计算目标物体11的位置改变和大小改变。位置改变例如是否发生了平移，平移的距离。大小改变例如是缩小了还是变大了，缩放比例是多少。在本实施例中，可以利用前述所提及的CMT算法进行计算出目标物体的位置和缩放比例。
其中当前帧视频帧中目标物体11的跟踪数据包括当前视频帧的目标物体11的旋转角度、位置和缩放比例。
在本实施例中，步骤S1215a可以在步骤S1215b和步骤S1215c之间。
参阅图1和图5，S13：根据跟踪数据分别调整待加入的特效模型，以得到调整特效数据，其中调整特效数据分别与后续视频帧中的目标物体11的状态相适应的步骤包括：
S131：根据当前视频帧相对应的跟踪数据对待加入的特效模型至少进行相应的平移、旋转、缩放中的一种或多种调整，得到与当前视频帧相对应的调整特效数据；
S14：将调整特效数据与其所对应的后续视频帧进行融合处理，以获得加入特效113的视频帧的步骤包括：
S141：将与当前视频帧相对应的调整特效数据与当前视频帧进行融合处理，以获得加入特效113的当前视频帧。
在本实施例中，随着视频帧采集的进行，从初始视频帧开始对目标物体11进行识别跟踪，在识别跟踪到目标物体11的视频帧中融入调整特效数据，当视频帧采集完成后，特效也随着加入完毕，而并非是视频帧采集完之后进行统一的特效加入和视频封装。
请参阅图9，本申请电子终端第一实施例中的电子终端2，包括确定模块21、采集模块22，识别跟踪模块23、调整模块24、调整模块24处理模块25。
其中确定模块21用于确定目标物体，将确定目标物体所对应的视频帧作为初始视频帧。
采集模块22，用于采集后续视频帧。
识别跟踪模块23用于采集后续的视频帧，并从初始视频帧开始对目标物体进行识别跟踪，以分别获得与各视频帧中的目标物体的状态相应的跟踪数据。
调整模块24用于根据跟踪数据分别调整待加入的特效模型，以分别得到相应的调整特效数据。其中调整特效数据分别与各视频帧中的目标物体的状态相适应。
处理模块25用于将调整特效数据与其所对应的视频帧进行融合处理，以获得加入特效的视频帧。
可选的是，确定模块21进一步用于在初始视频帧中确定目标物体的多个特征点。确定模块21进一步用于根据目标物体的多个特征点确定初始框，其中初始框包含多个特征点。
可选的是，识别跟踪模块23进一步用于从初始视频帧开始对初始框中的多个特征点进行识别跟踪，并分别根据各视频帧中的多个特征点的状态确定目标物体的状态，以分别获得相应的跟踪数据。
可选的是，识别跟踪模块23进一步用于随着后续的视频帧的采集，采集到当前视频帧时，在当前视频帧中对多个特征点进行检测。
可选的是，识别跟踪模块23进一步用于将当前视频帧中所检测到的特征点与初始视频帧中的多个特征点进行匹配，以得到当前视频帧的检测特征点。
可选的是，识别跟踪模块23进一步用于至少根据前一视频帧的有效特征点利用光流法进行跟踪得到当前视频帧的物理特征点。
可选的是，识别跟踪模块23进一步用于将当前视频帧的检测特征点与物理特征点进行融合，得到当前视频帧的有效特征点。
可选的是，识别跟踪模块23进一步用于根据当前视频帧的有效特征点和初始视频帧的多个特征点的对应关系，计算出当前视频帧的跟踪数据。
可选的是，确定模块21进一步用于根据当前视频帧的有效特征点确定当前视频帧的特征框，当前视频的有效特征点包含于当前视频帧的特征框内。
可选的是，识别跟踪模块23用于根据当前视频帧的有效特征点与初始视频帧的多个特征点的对应连线跟预设方向的夹角，计算得出当前视频帧的目标物体的旋转角度。
识别跟踪模块23进一步用于根据当前视频帧的特征框与初始视频帧的初始框的对应关系，计算出当前视频帧的目标位置的位置和缩放比例。
其中当前帧视频帧中目标物体的跟踪数据包括当前视频帧的目标物体的旋转角度、位置和缩放比例。
可选的是，调整模块24进一步用于跟据当前视频帧相对应的跟踪数据对待加入的特效模型至少进行相应的平移、旋转、缩放中的一种或多种调整，得到与当前视频帧相适应的调整特效数据。
可选的是，处理模块25进一步用于将与当前视频帧相对应的调整特效数据与当前视频帧进行融合处理，以获得加入特效的当前视频帧。
可选的是，视频画面为直播中或者录制中的视频画面。
本申请电子终端第一实施例的各模块可以集成在一个处理模块中，也可以是各模块单独物理存在，也可以两个或两个以上集成在一个模块中，上述模块既可以采用硬件的形式来实现也可以采用软件功能单元的形式实现。
本申请电子终端第一实施例是本申请视频画面处理方法实施例中以功能模块的方式的体现，因此本申请电子终端第一实施例中关于各个功能模块的说明和作用，具体可以参照本申请视频画面处理方法实施例中的阐述，在此不再赘述。
请参阅图10，本申请电子终端第二实施例中的电子终端3包括处理器31和通信电路32。处理器31和通信电路32耦接。
处理器31用于确定目标物体，将确定目标物体所对应的视频帧作为初始视频帧。
处理器31用于通过通信电路32采集后续的视频帧，进一步用于从初始视频帧开始对目标物体进行识别跟踪，以分别获得与各视频帧中的目标物体的状态相应的跟踪数据。
处理器31用于根据跟踪数据分别调整待加入的特效模型，以分别得到相应的调整特效数据。
处理器31用于将调整特效数据与其所对应的视频帧进行融合处理，以获得加入特效的视频帧。
可选的是，处理器31进一步用于在初始视频帧中确定目标物体的多个特征点。
可选的是，处理器31进一步用于根据目标物体的多个特征点确定初始框，其中初始框包含多个特征点。
可选的是，处理器31进一步用于从初始视频帧开始对初始框中的多个特征点进行识别跟踪，并分别根据各视频帧中的多个特征点的状态相应确定目标物体的状态，以分别获得相应的跟踪数据。
随着后续的视频帧的采集，当采集到当前视频帧时，在当前视频帧中对多个特征点进行检测。
可选的是，处理器31进一步用于将当前视频帧中所检测到的特征点与初始视频帧中的多个特征点进行匹配，以得到当前视频帧的检测特征点。
可选的是，处理器31进一步用于至少根据前一视频帧的有效总特征点利用光流法进行跟踪得到当前视频帧的物理特征点。
可选的是，处理器31进一步用于将当前视频帧的检测特征点与物理特征点进行融合，得到当前视频帧的有效特征点。
可选的是，处理器31进一步用于根据当前视频帧的有效特征点和初始视频帧的多个特征点的对应关系，计算出当前视频帧的跟踪数据。
可选的是，处理器31进一步用于根据当前视频帧的有效特征点确定当前视频帧的特征框，当前视频的有效特征点包含于当前视频帧的特征框内。
可选的是，处理器31进一步用于根据当前视频帧的有效特征点与初始视频帧的多个特征点的对应连线跟预设方向的夹角，计算得出当前视频帧的目标物体的旋转角度。
处理器31进一步用于根据当前视频帧的特征框与初始视频帧的初始框的对应关系，计算出当前视频帧的目标位置的位置和缩放比例。
其中当前帧视频帧中目标物体的跟踪数据包括当前视频帧的目标物体的旋转角度、位置和缩放比例。
进一步地，处理器31进一步用于根据当前视频帧的跟踪数据对待加入的特效模型至少相应的进行平移、旋转、缩放中的一种或多种调整，得到与当前视频帧相适应的调整特效数据。
可选的是，处理器31进一步用于将与当前视频帧相对应的调整特效数据与当前视频帧进行融合处理，以获得加入特效的当前视频帧。
在本实施例中，视频画面可以为直播中或者录制中的视频画面。
在本实施例中，处理器31控制资源服务器的操作，处理器31还可以称为CPU(Central Processing Unit，中央处理单元)。处理器31可能是一种集成电路芯片，具有信号的处理能力。处理器31还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器31也可以是任何常规的处理器等。
本申请电子终端第二实施例是本申请视频画面处理方法实施例的硬件设备的体现，本申请电子终端第二实施例各个部分的功能具体可参考本申请视频画面处理方法实施例中的描述，在此不再赘述。
请参阅图11，本申请具有存储功能的装置实施例中的装置41存储有程序数据，程序数据能够被执行以实现如本申请视频画面处理方法实施例中的处理方法。
本申请视频画面处理方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在存储装置41中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种视频画面处理方法，其特征在于，包括：
确定目标物体，将确定所述目标物体所对应的视频帧作为初始视频帧；
采集后续的视频帧，并从所述初始视频帧开始对所述目标物体进行识别跟踪，以分别获得与各视频帧中的所述目标物体的状态相应的跟踪数据；
根据所述跟踪数据分别调整待加入的特效模型，以分别得到相应的调整特效数据；
将所述调整特效数据与其所对应的视频帧进行融合处理，以获得加入特效的视频帧。
2.根据权利要求1所述的处理方法，其特征在于：在所述确定目标物体，将确定所述目标物体所对应的视频帧作为初始视频帧的步骤之后包括：
在所述初始视频帧中确定所述目标物体的多个特征点；
根据所述目标物体的所述多个特征点确定初始框，其中所述初始框包含所述多个特征点；
所述采集后续的视频帧，并从所述初始视频帧开始对所述目标物体进行识别跟踪，以分别获得与各视频帧中的所述目标物体的状态相应的跟踪数据的步骤包括：
从所述初始视频帧开始对所述初始框中的多个特征点进行识别跟踪，并分别根据所述各视频帧中的所述多个特征点的状态相应确定所述目标物体的状态，以分别获得相应的所述跟踪数据。
3.根据权利要求2所述的处理方法，其特征在于：所述从所述初始视频帧开始对所述多个特征点进行识别跟踪，并分别根据所述各视频帧中的所述多个特征点的状态确定所述目标物体的状态，以分别获得相应的所述跟踪数据的步骤包括：
随着所述后续的视频帧的采集，当采集到当前视频帧时，在当前视频帧中对所述多个特征点进行检测；
将所述当前视频帧中所检测到的特征点与所述初始视频帧中的所述多个特征点进行匹配，以得到所述当前视频帧的检测特征点；
至少根据所述当前视频帧的前一视频帧的有效特征点利用光流法进行跟踪得到所述当前视频帧的物理特征点；
将所述当前视频帧的检测特征点与所述物理特征点进行融合，得到所述当前视频帧的有效特征点；
根据所述当前视频帧的有效特征点和所述初始视频帧的所述多个特征点的对应关系，计算出所述当前视频帧的跟踪数据。
4.根据权利要求3所述的处理方法，其特征在于：所述根据所述当前视频帧的有效特征点和所述初始视频帧的所述多个特征点的对应关系，计算出所述当前视频帧的跟踪数据的步骤包括：
根据所述当前视频帧的有效特征点确定所述当前视频帧的特征框，所述当前视频的有效特征点包含于所述当前视频帧的特征框内；
根据所述当前视频帧的有效特征点与所述初始视频帧的所述多个特征点的对应连线跟预设方向的夹角，计算得出所述当前视频帧的目标物体的旋转角度；
根据所述当前视频帧的特征框与所述初始视频帧的初始框的对应关系，计算出所述当前视频帧中所述目标位置的位置和缩放比例；
其中所述当前帧视频帧中所述目标物体的跟踪数据包括所述当前视频帧的所述目标物体的旋转角度、位置和缩放比例。
5.根据权利要求4所述的处理方法，其特征在于：所述根据所述跟踪数据分别调整待加入的特效模型，以得到相应的调整特效数据的步骤包括：
根据所述当前视频帧的跟踪数据对所述待加入的特效模型至少相应地进行平移、旋转、缩放中的一种或多种调整，得到与所述当前视频帧相适应的调整特效数据；
所述将所述调整特效数据与其所对应的视频帧进行融合处理，以获得加入特效的视频帧的步骤包括：
将与所述当前视频帧相对应的调整特效数据与所述当前视频帧进行融合处理，以获得加入特效的当前视频帧。
6.根据权利要求1-5任一项所述的处理方法，其特征在于：所述视频画面为直播中或者录制中的视频画面。
7.一种电子终端，其特征在于，包括：
确定模块，用于确定目标物体，将确定所述目标物体所对应的视频帧作为初始视频帧；
采集模块，用于采集后续的视频帧；
跟踪识别模块，用于从所述初始视频帧开始对所述目标物体进行识别跟踪，以分别获得与各视频帧中的所述目标物体的状态相应的跟踪数据；
调整模块，用于根据所述跟踪数据分别调整待加入的特效模型，以分别得到相应的调整特效数据；
处理模块，用于将所述调整特效数据与其所对应的视频帧进行融合处理，以获得加入特效的视频帧。
8.一种电子终端，其特征在于，包括处理器和通信电路，所述处理器和所述通信电路耦接；
所述处理器用于确定目标物体，将确定所述目标物体所对应的视频帧作为初始视频帧；
所述处理器用于通过所述通信电路采集后续的视频帧，进一步用于从所述初始视频帧开始对所述目标物体进行识别跟踪，以分别获得与各视频帧中的所述目标物体的状态相应的跟踪数据；
所述处理器用于根据所述跟踪数据分别调整待加入的特效模型，以分别得到相应的调整特效数据；
所述处理器用于将所述调整特效数据与其所对应的视频帧进行融合处理，以获得加入特效的视频帧。
9.根据权利要求8所述的终端，其特征在于：所述处理器用于在所述初始视频帧中确定所述目标物体的多个特征点；
所述处理器用于根据所述目标物体的所述多个特征点确定初始框，其中所述初始框包含所述多个特征点；
所述处理器用于从所述初始视频帧开始对所述初始框中的多个特征点进行识别跟踪，并根据所述各视频帧中的所述多个特征点的状态相应确定所述目标物体的状态，以分别获得相应的所述跟踪数据。
10.一种具有存储功能的装置，其特征在于，存储有程序数据，所述程序数据能够被执行以实现如权利要求1-6任一项所述的处理方法。
CN201810738111.0A 2018-07-06 2018-07-06 视频画面处理方法、电子终端及装置 Active CN109089058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810738111.0A CN109089058B (zh) 2018-07-06 2018-07-06 视频画面处理方法、电子终端及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810738111.0A CN109089058B (zh) 2018-07-06 2018-07-06 视频画面处理方法、电子终端及装置

Publications (2)

Publication Number Publication Date
CN109089058A true CN109089058A (zh) 2018-12-25
CN109089058B CN109089058B (zh) 2021-05-11

Family

ID=64837184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810738111.0A Active CN109089058B (zh) 2018-07-06 2018-07-06 视频画面处理方法、电子终端及装置

Country Status (1)

Country Link
CN (1) CN109089058B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020211422A1 (zh) * 2019-04-16 2020-10-22 北京字节跳动网络技术有限公司 视频处理方法、装置及设备
CN113225489A (zh) * 2021-04-30 2021-08-06 北京达佳互联信息技术有限公司 图像特效展示方法、装置、电子设备和存储介质
CN114025105A (zh) * 2021-12-15 2022-02-08 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449019B1 (en) * 2000-04-07 2002-09-10 Avid Technology, Inc. Real-time key frame effects using tracking information
CN104394324A (zh) * 2014-12-09 2015-03-04 成都理想境界科技有限公司 特效视频生成方法及装置
CN106302124A (zh) * 2016-08-18 2017-01-04 北京奇虎科技有限公司 一种添加特效的方法及电子设备
CN106341720A (zh) * 2016-08-18 2017-01-18 北京奇虎科技有限公司 一种在视频直播中添加脸部特效的方法及装置
CN106780557A (zh) * 2016-12-23 2017-05-31 南京邮电大学 一种基于光流法和关键点特征的运动目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449019B1 (en) * 2000-04-07 2002-09-10 Avid Technology, Inc. Real-time key frame effects using tracking information
CN104394324A (zh) * 2014-12-09 2015-03-04 成都理想境界科技有限公司 特效视频生成方法及装置
CN106302124A (zh) * 2016-08-18 2017-01-04 北京奇虎科技有限公司 一种添加特效的方法及电子设备
CN106341720A (zh) * 2016-08-18 2017-01-18 北京奇虎科技有限公司 一种在视频直播中添加脸部特效的方法及装置
CN106780557A (zh) * 2016-12-23 2017-05-31 南京邮电大学 一种基于光流法和关键点特征的运动目标跟踪方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020211422A1 (zh) * 2019-04-16 2020-10-22 北京字节跳动网络技术有限公司 视频处理方法、装置及设备
CN113225489A (zh) * 2021-04-30 2021-08-06 北京达佳互联信息技术有限公司 图像特效展示方法、装置、电子设备和存储介质
CN113225489B (zh) * 2021-04-30 2022-08-26 北京达佳互联信息技术有限公司 图像特效展示方法、装置、电子设备和存储介质
CN114025105A (zh) * 2021-12-15 2022-02-08 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备、存储介质
CN114025105B (zh) * 2021-12-15 2023-11-28 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备、存储介质

Also Published As

Publication number Publication date
CN109089058B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
Halvorsen et al. Bagadus: an integrated system for arena sports analytics: a soccer case study
CN110298231B (zh) 一种用于篮球比赛视频进球判定的方法及系统
JP2017507557A (ja) 高解像度の動画ストリームを自身の端末で視聴するユーザの体感品質を向上するためのプロセス
CN109089058A (zh) 视频画面处理方法、电子终端及装置
WO2018223554A1 (zh) 一种多源视频剪辑播放方法及系统
US9087380B2 (en) Method and system for creating event data and making same available to be served
JP2009505553A (ja) ビデオストリームへの視覚効果の挿入を管理するためのシステムおよび方法
US11228790B2 (en) Providing time slice video
CN108305223B (zh) 图像背景虚化处理方法及装置
US9154710B2 (en) Automatic camera identification from a multi-camera video stream
CN110270078B (zh) 足球比赛特效展示系统、方法及计算机装置
CN105635675A (zh) 一种全景播放方法和装置
CN114520920B (zh) 多机位视频同步方法和系统以及计算机程序产品
KR20150091064A (ko) 단일의 카메라를 이용하여 3d 이미지를 캡쳐하는 방법 및 시스템
CN109472230B (zh) 基于行人检测和互联网的运动员自动摄像推荐系统及方法
CN110059653A (zh) 一种数据收集方法及装置、电子设备、存储介质
CN113302906B (zh) 图像处理设备、图像处理方法和存储介质
KR101298902B1 (ko) 골프 스윙 자세 분석 시스템 및 그 운용 방법
KR101260862B1 (ko) 영상 비교 시스템
CN111279352B (zh) 通过投球练习的三维信息获取系统及摄像头参数算出方法
CN110287934A (zh) 一种对象检测方法、装置、客户端及服务器
CN114944015A (zh) 图像的处理方法、装置、电子设备及存储介质
WO2007070049A1 (en) Method and system for creating event data and making same available to be served
CN103366392A (zh) 为图像或图像序列添加辅助可视对象的方法及设备
CN113473244A (zh) 一种自由视点视频播放控制方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210114

Address after: 511442 3108, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant after: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 511449 28th floor, block B1, Wanda Plaza, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant