CN110677726A - 视频播放速度调节方法、电子设备及存储介质 - Google Patents

视频播放速度调节方法、电子设备及存储介质 Download PDF

Info

Publication number
CN110677726A
CN110677726A CN201911142961.5A CN201911142961A CN110677726A CN 110677726 A CN110677726 A CN 110677726A CN 201911142961 A CN201911142961 A CN 201911142961A CN 110677726 A CN110677726 A CN 110677726A
Authority
CN
China
Prior art keywords
playing
image
speed
sub
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911142961.5A
Other languages
English (en)
Inventor
李立锋
叶军
吴嘉旭
颜伟婷
王�琦
杜欧杰
蒋伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
Original Assignee
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Migu Cultural Technology Co Ltd, China Mobile Communications Group Co Ltd, MIGU Video Technology Co Ltd filed Critical Migu Cultural Technology Co Ltd
Priority to CN201911142961.5A priority Critical patent/CN110677726A/zh
Publication of CN110677726A publication Critical patent/CN110677726A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明实施例提供一种视频播放速度调节方法、电子设备及存储介质，所述方法包括：在视频播放的过程中，确定当前帧图像中的选中目标，以及针对选中目标的期望播放速度；对视频各帧图像进行图像分割，获得仅包括选中目标的目标子图像以及不包括选中目标的背景子图像；在基于当前播放速度播放所有帧的背景子图像过程中，基于所述期望播放速度播放所有帧的目标子图像。本发明实施例提供的视频播放速度调节方法、电子设备及存储介质，根据用户的需求确定当前帧图像中的选中目标，通过对各帧图像进行图像分割，获得仅包括选中目标的目标子图像，并以期望的播放速度播放所有的目标子图像，实现了对局部视频速度的调节。

Description

视频播放速度调节方法、电子设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种视频播放速度调节方法、电子设备及存储介质。
背景技术
随着互联网的发展，视频已经成为人们娱乐、学习的重要途径，人们对视频的播放形式也提出了更高的要求。
实际应用中，用户对视频播放速度有不同的需求，例如，为了节省时间，用户可以加快视频的播放速度，使原来10分钟的视频，只需要8分钟就能播放完。还有，如果遇到内容较难理解的教育视频，用户可以减慢视频的播放速度，使原来10分钟的视频，需要在15分钟内才能播放完，以使得用户有更多理解的时间，提升学习的效果。
但是，现有技术中无论是在线视频，还是本地视频播放器，都仅能针对整个视频画面进行播放速度的调节，无法对视频中某一区域或对象的播放速度进行调节，而对于某些特殊视频，例如跳舞视频，为了凸显某人，用户希望只对视频画面中的某人进行播放速度的调节。因此，如何实现对局部视频的播放速度进行调节，是亟待解决的技术问题。
发明内容
本发明实施例提供一种视频播放速度调节方法、电子设备及存储介质，用于解决现有技术中无法对局部视频的播放速度进行调节的技术问题。
为了解决上述技术问题，一方面，本发明实施例提供一种视频播放速度调节方法，包括：
在视频播放的过程中，确定当前帧图像中的选中目标，以及针对所述选中目标的期望播放速度；
对所述视频各帧图像进行图像分割，获得仅包括所述选中目标的目标子图像以及不包括所述选中目标的背景子图像；
在基于当前播放速度播放所有帧的背景子图像过程中，基于所述期望播放速度播放所有帧的目标子图像。
进一步地，若所述期望播放速度大于所述当前播放速度，则所述基于所述期望播放速度播放所有帧的目标子图像，具体包括：
基于所述期望播放速度循环播放所有目标子图像，其中，循环播放所有目标子图像时的帧率，大于播放所有背景子图像时的帧率。
进一步地，所述基于所述期望播放速度循环播放所有目标子图像，具体包括：
以帧率F循环播放所有目标子图像，其中，F＝Fk*Sx，Fk为播放所有背景子图像时的帧率，Sx为所述期望播放速度。
进一步地，若所述期望播放速度小于所述当前播放速度，则所述基于所述期望播放速度播放所有帧的目标子图像，具体包括：
基于所述期望播放速度，对所述目标子图像进行补帧；
以帧率F′k播放所有补帧后的目标子图像。
进一步地，所述基于所述期望播放速度，对所述目标子图像进行补帧，具体包括：
根据所述期望播放速度，确定补帧后的帧数N，其中，N＝Nk/Sx，Nk为所述背景子图像的帧数，Sx为所述期望播放速度；
根据补帧后的帧数N，对所述目标子图像进行补帧。
进一步地，在基于所述期望播放速度播放所有帧的目标子图像之前，还包括：
对所述目标子图像和所述背景子图像，进行帧之间的平滑处理。
进一步地，在基于所述期望播放速度播放所有帧的目标子图像过程中，还包括：
确定镜头未发生切换和/或确定待播放的帧图像中包含目标子图像。
进一步地，所述选中目标为当前帧图像中的一个区域或一个对象。
另一方面，本发明实施例提供一种电子设备，包括：存储器、处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述方法的步骤。
再一方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述方法的步骤。
本发明实施例提供的视频播放速度调节方法、电子设备及存储介质，根据用户的需求确定当前帧图像中的选中目标，通过对各帧图像进行图像分割，获得仅包括选中目标的目标子图像，并以期望的播放速度播放所有的目标子图像，实现了对局部视频速度的调节。
附图说明
图1为本发明实施例提供的视频播放速度调节方法示意图；
图2为本发明实施例提供的帧之间的平滑处理示意图；
图3为本发明实施例提供的视频播放速度调节装置示意图；
图4为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的视频播放速度调节方法示意图，如图1所示，本发明实施例提供一种视频播放速度调节方法，其执行主体为视频播放速度调节装置，视频播放速度调节装置可以是一个单独的设备，也可以是本地视频播放器中的一个模块，或者是云视频播放器中的一个模块。该方法包括：
步骤S101、在视频播放的过程中，确定当前帧图像中的选中目标，以及针对所述选中目标的期望播放速度。
具体来说，在视频播放的过程中，用户可以根据自己的需求，确定当前帧图像中的至少一个选中目标，以及针对该选中目标的期望播放速度。
选中目标是用户选中的期望调节的目标。例如，该选中目标可以为当前帧图像中的一个对象，用户可以通过选择框、长按操作、连续点击操作或划线操作等方式，确定该选中目标。对象可以是视频的当前帧图像中的人、动物或者其他物体等。
该选中目标还可以为当前帧图像中的一个区域，用户可以通过系统提供的预设形状的选择框，确定一个区域，以该区域作为选中目标；还可以通过手动画出自定义形状的选择框，确定该选中目标。该区域可以是视频的当前帧图像中的矩形区域、圆形区域、三角形区域或者自定义形状区域等。
期望播放速度可以由用户根据自己的需求，按动速度调节按钮进行选择的，期望播放速度可以相对于当前播放速度进行加快播放，或者减慢播放。
步骤S102、对所述视频各帧图像进行图像分割，获得仅包括所述选中目标的目标子图像以及不包括所述选中目标的背景子图像。
具体来说，在确定当前帧图像中的选中目标之后，对视频各帧图像进行图像分割，获得仅包括选中目标的目标子图像以及不包括选中目标的背景子图像，目标子图像是整帧图像中的一部分图像。例如，可以采取如下步骤确定选中目标的目标子图像：
首先，使用运动物体追踪对选中目标进行追踪。选中目标在视频中可能存在丢失的情况，这时需要使用物体追踪功能，锁定选中目标在视频中所处的视频帧。对每一帧进行运动目标检测，对检测到的物体进行判断，判断是否是存在的选中目标，若存在选中目标，则提取特征值，加入追踪队列，执行追踪算法，画出选中目标的运动轨迹。若不存在选中目标，则将提取出的目标当作新的目标。
然后，使用opencv对选中目标的图像轮廓检测。使用Canny边缘检测算法进行目标边缘检测，使用Contour对选中目标进行轮廓检测，再通过中心矩计算图像的轮廓长度以及面积，接着使用图像分割算法对图像进行分割，例如，使用分水岭算法对图像进行分割，再利用那些已经被破坏区域的边缘的颜色和结构，通过对它的繁殖和混合,填充的被损坏区域中去，对分割后的图像进行修复。
最后，对每帧不包括选中目标的背景子图像进行图像补全。对图像进行分割，提取选中目标之后，获得仅包括选中目标的目标子图像。对于不包括选中目标的背景子图像，由于选中目标被扣掉，因此，对被扣掉的部分进行补全。例如，可以使用Gan网络对被扣掉的部分进行补全。
步骤S103、在基于当前播放速度播放所有帧的背景子图像过程中，基于所述期望播放速度播放所有帧的目标子图像。
具体来说，在获得仅包括选中目标的目标子图像，以及不包括选中目标的背景子图像之后，在基于当前播放速度对背景子图像进行播放的过程中，基于期望播放速度，对目标子图像的播放速度进行调节。即，背景子图像的播放速度不变，而目标子图像的播放速度调节为用户期望播放速度。
例如，当前播放速度为单位1，当用户希望加快播放速度时，则期望播放速度可以为1.5，期望播放速度为1.5时，表示选中目标以1.5倍于当前播放速度进行播放，背景子图像的播放速度不变。当用户希望减慢播放速度时，则期望播放速度可以为0.8，期望播放速度为0.8时，表示选中目标以0.8倍于当前播放速度进行播放，背景子图像的播放速度不变。
本发明实施例提供的视频播放速度调节方法，根据用户的需求确定当前帧图像中的选中目标，通过对各帧图像进行图像分割，获得仅包括选中目标的目标子图像，并以期望的播放速度播放所有的目标子图像，实现了对局部视频速度的调节。
基于上述任一实施例，进一步地，若所述期望播放速度大于所述当前播放速度，则所述基于所述期望播放速度播放所有帧的目标子图像，具体包括：
基于所述期望播放速度循环播放所有目标子图像，其中，循环播放所有目标子图像时的帧率，大于播放所有背景子图像时的帧率。
具体来说，本发明实施例中，当用户的期望播放速度大于当前播放速度时，则对目标子图像进行循环播放。
由于用户希望加快针对选中目标的播放速度，此时，针对目标子图像进行播放时的帧率大于针对背景子图像进行播放时的帧率，在所有的目标子图像播放完时，背景子图像还没有播放完，因此，当用户的期望播放速度大于当前播放速度时，则对目标子图像进行循环播放。
本发明实施例提供的视频播放速度调节方法，根据用户的需求确定当前帧图像中的选中目标，通过对各帧图像进行图像分割，获得仅包括选中目标的目标子图像，并以期望的播放速度播放所有的目标子图像，实现了对局部视频速度的调节。
基于上述任一实施例，进一步地，所述基于所述期望播放速度循环播放所有目标子图像，具体包括：
以帧率F循环播放所有目标子图像，其中，F＝Fk*Sx，Fk为播放所有背景子图像时的帧率，Sx为所述期望播放速度。
具体来说，当用户的期望播放速度大于当前播放速度时，则对目标子图像进行循环播放。
对目标子图像进行循环播放时的帧率为F，F＝Fk*Sx，其中，Fk为对背景子图像进行播放时的帧率，Sx为期望播放速度，Sx大于1，当前播放速度为单位1。此时，对目标子图像进行循环播放的次数等于期望播放速度Sx。
本发明实施例提供的视频播放速度调节方法，根据用户的需求确定当前帧图像中的选中目标，通过对各帧图像进行图像分割，获得仅包括选中目标的目标子图像，并以期望的播放速度播放所有的目标子图像，实现了对局部视频速度的调节。
基于上述任一实施例，进一步地，若所述期望播放速度小于所述当前播放速度，则所述基于所述期望播放速度播放所有帧的目标子图像，具体包括：
基于所述期望播放速度，对所述目标子图像进行补帧；
以帧率F′k播放所有补帧后的目标子图像。
具体来说，本发明实施例中，当用户的期望播放速度小于当前播放速度时，则首先需要对目标子图像进行补帧，然后，以帧率F′k播放所有补帧后的目标子图像，F′k的大小可以根据实际情况进行设置。
例如，设置F′k＝Fk，则以背景子图像进行播放时的帧率Fk，对补帧后的目标子图像进行播放。
由于播放时的帧率与背景子图像进行播放时的帧率相同，而对目标子图像进行了补帧，所以实现了对选中目标的减速播放。
本发明实施例提供的视频播放速度调节方法，根据用户的需求确定当前帧图像中的选中目标，通过对各帧图像进行图像分割，获得仅包括选中目标的目标子图像，并以期望的播放速度播放所有的目标子图像，实现了对局部视频速度的调节。
基于上述任一实施例，进一步地，所述基于所述期望播放速度，对所述目标子图像进行补帧，具体包括：
根据所述期望播放速度，确定补帧后的帧数N，其中，N＝Nk/Sx，Nk为所述背景子图像的帧数，Sx为所述期望播放速度；
根据补帧后的帧数N，对所述目标子图像进行补帧。
具体来说，本发明实施例中，对目标子图像进行补帧的具体步骤如下：
首先，根据期望播放速度，确定补帧后的帧数N，其中，N＝Nk/Sx，Nk为背景子图像的帧数，Sx为期望播放速度，Sx小于1，当前播放速度为单位1。
例如，在一个视频镜头中，共有100帧图像，经过对视频中各帧图像进行图像分割后，分别获得100帧仅包括选中目标的目标子图像，以及100帧不包括选中目标的背景子图像，如果希望以0.5倍于当前播放速度进行减速播放选中目标。则补帧后的目标子图像的帧数为200(100/0.5)。
在确定补帧后的目标子图像的帧数之后，根据该帧数进行补帧。例如，可以使用卷积神经网络对目标子图像进行补帧。
本发明实施例提供的视频播放速度调节方法，根据用户的需求确定当前帧图像中的选中目标，通过对各帧图像进行图像分割，获得仅包括选中目标的目标子图像，并以期望的播放速度播放所有的目标子图像，实现了对局部视频速度的调节。
基于上述任一实施例，进一步地，在基于所述期望播放速度播放所有帧的目标子图像之前，还包括：
对所述目标子图像和所述背景子图像，进行帧之间的平滑处理。
具体来说，由于目标子图像是从原视频的每一帧图像中分离得到的，目标子图像中仅包括选中目标，为了避免对目标子图像的播放速度进行调节之后，导致视频画面出现跳跃感，需要进行帧之间的平滑处理。
图2为本发明实施例提供的帧之间的平滑处理示意图，如图2所示，由于目标子图像和背景子图像之间的帧数并不同步，按照重合度大小进行匹配，然后进行帧与帧之间的平滑处理。
例如，目标子图像的第1帧与背景子图像的第1帧重合度最高，因此这两帧的边缘区域进行对齐，以及平滑处理。目标子图像的第2帧与背景子图像的第1帧重合度最高，这两帧的边缘区域进行对齐，以及平滑处理。
本发明实施例提供的视频播放速度调节方法，根据用户的需求确定当前帧图像中的选中目标，通过对各帧图像进行图像分割，获得仅包括选中目标的目标子图像，并以期望的播放速度播放所有的目标子图像，实现了对局部视频速度的调节。
基于上述任一实施例，进一步地，在基于所述期望播放速度播放所有帧的目标子图像过程中，还包括：
确定镜头未发生切换和/或确定待播放的帧图像中包含目标子图像。
具体来说，本发明实施例中，在对目标子图像的播放速度进行调节的过程中，视频的整个画面，以背景子图像的画面为主，当背景子图像的镜头发生切换时，目标子图像也不再播放，整个画面显示下一个镜头。从而避免视频画面的跳跃感。
或者，确定待播放的帧图像中是否包含目标子图像，若包含目标子图像，则继续播放待播放的帧图像中的目标子图像，若不包含目标子图像，则不再播放目标子图像。
或者，先确认镜头是否发生切换，如果镜头发生了切换，则再确认切换后的待播放的帧图像中是否包含目标子图像，若包含目标子图像，则继续播放待播放的帧图像中的目标子图像，若不包含目标子图像，则不再播放目标子图像。
本发明实施例提供的视频播放速度调节方法，根据用户的需求确定当前帧图像中的选中目标，通过对各帧图像进行图像分割，获得仅包括选中目标的目标子图像，并以期望的播放速度播放所有的目标子图像，实现了对局部视频速度的调节。
基于上述任一实施例，进一步地，所述选中目标为当前帧图像中的一个区域或一个对象。
具体来说，本发明实施例中，选中目标为当前帧图像中的一个对象，用户可以通过选择框、长按操作、连续点击操作或划线操作等方式，确定该选中目标。对象可以是视频的当前帧图像中的人、动物或者其他物体等。
另外，本发明实施例中，该选中目标还可以为当前帧图像中的一个区域，用户可以通过系统提供的预设形状的选择框，确定一个区域，以该区域作为选中目标；还可以通过画出自定义形状的选择框，确定该选中目标。该区域可以是视频的当前帧图像中矩形区域、圆形区域、三角形区域或者自定义形状的区域等。
本发明实施例提供的视频播放速度调节方法，根据用户的需求确定当前帧图像中的选中目标，通过对各帧图像进行图像分割，获得仅包括选中目标的目标子图像，并以期望的播放速度播放所有的目标子图像，实现了对局部视频速度的调节。
基于上述任一实施例，进一步地，图3为本发明实施例提供的视频播放速度调节装置示意图，如图3所示，本发明实施例提供一种视频播放速度调节装置，该视频播放速度调节装置可以是一个单独的设备，也可以是本地视频播放器中的一个模块，或者是云视频播放器中的一个模块。该视频播放速度调节装置包括选中目标确定模块301、图像分割模块302和速度调节模块303，其中：
选中目标确定模块301用于在视频播放的过程中，确定当前帧图像中的选中目标，以及针对所述选中目标的期望播放速度；图像分割模块302用于对所述视频各帧图像进行图像分割，获得仅包括所述选中目标的目标子图像以及不包括所述选中目标的背景子图像；速度调节模块303用于在基于当前播放速度播放所有帧的背景子图像过程中，基于所述期望播放速度播放所有帧的目标子图像。
本发明实施例提供的视频播放速度调节装置，根据用户的需求确定当前帧图像中的选中目标，通过对各帧图像进行图像分割，获得仅包括选中目标的目标子图像，并以期望的播放速度播放所有的目标子图像，实现了对局部视频速度的调节。
基于上述任一实施例，进一步地，若所述期望播放速度大于所述当前播放速度，则所述速度调节模块具体用于基于所述期望播放速度循环播放所有目标子图像，其中，循环播放所有目标子图像时的帧率，大于播放所有背景子图像时的帧率。
基于上述任一实施例，进一步地，若所述期望播放速度大于所述当前播放速度，则所述速度调节模块具体用于以帧率F循环播放所有目标子图像，其中，F＝Fk*Sx，Fk为播放所有背景子图像时的帧率，Sx为所述期望播放速度。
基于上述任一实施例，进一步地，若所述期望播放速度小于所述当前播放速度，则所述速度调节模块具体用于基于所述期望播放速度，对所述目标子图像进行补帧；以帧率F′k播放所有补帧后的目标子图像。
基于上述任一实施例，进一步地，若所述期望播放速度小于所述当前播放速度，则所述速度调节模块具体用于根据所述期望播放速度，确定补帧后的帧数N，其中，N＝Nk/Sx，Nk为所述背景子图像的帧数，Sx为所述期望播放速度；根据补帧后的帧数N，对所述目标子图像进行补帧。
基于上述任一实施例，进一步地，还包括：平滑处理模块，所述平滑处理模块用于对所述目标子图像和所述背景子图像，进行帧之间的平滑处理。
图4为本发明实施例提供的电子设备的结构示意图，如图4所示，该电子设备包括：处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401和存储器402通过总线403完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行如下方法：
在视频播放的过程中，确定当前帧图像中的选中目标，以及针对所述选中目标的期望播放速度；
对所述视频各帧图像进行图像分割，获得仅包括所述选中目标的目标子图像以及不包括所述选中目标的背景子图像；
在基于当前播放速度播放所有帧的背景子图像过程中，基于所述期望播放速度播放所有帧的目标子图像。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例中的步骤，例如包括：
在视频播放的过程中，确定当前帧图像中的选中目标，以及针对所述选中目标的期望播放速度；
对所述视频各帧图像进行图像分割，获得仅包括所述选中目标的目标子图像以及不包括所述选中目标的背景子图像；
在基于当前播放速度播放所有帧的背景子图像过程中，基于所述期望播放速度播放所有帧的目标子图像。
进一步地，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述各方法实施例中的步骤，例如包括：
在视频播放的过程中，确定当前帧图像中的选中目标，以及针对所述选中目标的期望播放速度；
对所述视频各帧图像进行图像分割，获得仅包括所述选中目标的目标子图像以及不包括所述选中目标的背景子图像；
在基于当前播放速度播放所有帧的背景子图像过程中，基于所述期望播放速度播放所有帧的目标子图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种视频播放速度调节方法，其特征在于，包括：
在视频播放的过程中，确定当前帧图像中的至少一个选中目标，以及针对所述选中目标的期望播放速度；
对所述视频各帧图像进行图像分割，获得各帧中仅包括所述选中目标的目标子图像以及不包括所述选中目标的背景子图像；
在基于当前播放速度播放所有帧的背景子图像过程中，基于所述期望播放速度播放所有帧的目标子图像。
2.根据权利要求1所述的视频播放速度调节方法，其特征在于，若所述期望播放速度大于所述当前播放速度，则所述基于所述期望播放速度播放所有帧的目标子图像，具体包括：
基于所述期望播放速度循环播放所有目标子图像，其中，循环播放所有目标子图像时的帧率，大于播放所有背景子图像时的帧率。
3.根据权利要求2所述的视频播放速度调节方法，其特征在于，所述基于所述期望播放速度循环播放所有目标子图像，具体包括：
以帧率F循环播放所有目标子图像，其中，F＝Fk*Sx，Fk为播放所有背景子图像时的帧率，Sx为所述期望播放速度。
4.根据权利要求1所述的视频播放速度调节方法，其特征在于，若所述期望播放速度小于所述当前播放速度，则所述基于所述期望播放速度播放所有帧的目标子图像，具体包括：
基于所述期望播放速度，对所述目标子图像进行补帧；
以帧率F′k播放所有补帧后的目标子图像。
5.根据权利要求4所述的视频播放速度调节方法，其特征在于，所述基于所述期望播放速度，对所述目标子图像进行补帧，具体包括：
根据所述期望播放速度，确定补帧后的帧数N，其中，N＝Nk/Sx，Nk为所述背景子图像的帧数，Sx为所述期望播放速度；
根据补帧后的帧数N，对所述目标子图像进行补帧。
6.根据权利要求2-5任一项所述的视频播放速度调节方法，其特征在于，在基于所述期望播放速度播放所有帧的目标子图像之前，还包括：
对所述目标子图像和所述背景子图像，进行帧之间的平滑处理。
7.根据权利要求1-5任一项所述的视频播放速度调节方法，其特征在于，在基于所述期望播放速度播放所有帧的目标子图像过程中，还包括：
确定镜头未发生切换和/或确定待播放的帧图像中包含目标子图像。
8.根据权利要求1-5任一项所述的视频播放速度调节方法，其特征在于，所述选中目标为当前帧图像中的一个区域或一个对象。
9.一种电子设备，包括存储器、处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至8任一项所述视频播放速度调节方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，实现如权利要求1至8任一所述视频播放速度调节方法的步骤。
CN201911142961.5A 2019-11-20 2019-11-20 视频播放速度调节方法、电子设备及存储介质 Pending CN110677726A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911142961.5A CN110677726A (zh) 2019-11-20 2019-11-20 视频播放速度调节方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911142961.5A CN110677726A (zh) 2019-11-20 2019-11-20 视频播放速度调节方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110677726A true CN110677726A (zh) 2020-01-10

Family

ID=69087924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911142961.5A Pending CN110677726A (zh) 2019-11-20 2019-11-20 视频播放速度调节方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110677726A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289847A (zh) * 2011-08-02 2011-12-21 浙江大学 一种用于视频对象快速提取的交互方法
CN103856819A (zh) * 2012-11-30 2014-06-11 腾讯科技（深圳）有限公司 播放速度调整装置及方法
US10142540B1 (en) * 2016-07-26 2018-11-27 360fly, Inc. Panoramic video cameras, camera systems, and methods that provide data stream management for control and image streams in multi-camera environment with object tracking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289847A (zh) * 2011-08-02 2011-12-21 浙江大学 一种用于视频对象快速提取的交互方法
CN103856819A (zh) * 2012-11-30 2014-06-11 腾讯科技（深圳）有限公司 播放速度调整装置及方法
US10142540B1 (en) * 2016-07-26 2018-11-27 360fly, Inc. Panoramic video cameras, camera systems, and methods that provide data stream management for control and image streams in multi-camera environment with object tracking

Similar Documents

Publication Publication Date Title
US10534998B2 (en) Video deblurring using neural networks
US11928863B2 (en) Method, apparatus, device, and storage medium for determining implantation location of recommendation information
TWI539813B (zh) 影像合成裝置及方法
US11132770B2 (en) Image processing methods and apparatuses, computer readable storage media and electronic devices
CN110889824A (zh) 一种样本生成方法、装置、电子设备及计算机可读存储介质
CN110832583A (zh) 用于从多个图像帧生成概要故事板的系统和方法
EP3200444B1 (en) Method, system, and device for processing video shooting
CN109785264B (zh) 图像增强方法、装置及电子设备
CN110166684B (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN112752116A (zh) 直播视频画面的显示方法、装置、终端及存储介质
US20200275084A1 (en) Information processing apparatus, information processing method, and storage medium
CN109698957B (zh) 图像编码方法、装置、计算设备及存储介质
CN107820013A (zh) 一种拍照方法及终端
CN111080546B (zh) 一种图片处理方法及装置
US11087514B2 (en) Image object pose synchronization
CN111145308A (zh) 一种贴纸获取方法和装置
CN110493512B (zh) 摄影构图方法、装置、摄影设备、电子装置及存储介质
US8983188B1 (en) Edge-aware smoothing in images
KR20240089729A (ko) 화상 처리 방법, 장치, 저장 매체 및 전자 기기
CN109285122A (zh) 一种进行图像处理的方法和设备
CN111225287A (zh) 一种弹幕处理的方法及装置、电子设备、存储介质
EP4322115A1 (en) Finding the semantic region of interest in images
CN112860941A (zh) 一种封面推荐方法、装置、设备及介质
CN110677726A (zh) 视频播放速度调节方法、电子设备及存储介质
JP6632134B2 (ja) 画像処理装置、画像処理方法およびコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200110