CN115278355B - 视频剪辑方法、装置、设备、计算机可读存储介质及产品 - Google Patents

视频剪辑方法、装置、设备、计算机可读存储介质及产品 Download PDF

Info

Publication number
CN115278355B
CN115278355B CN202210701781.1A CN202210701781A CN115278355B CN 115278355 B CN115278355 B CN 115278355B CN 202210701781 A CN202210701781 A CN 202210701781A CN 115278355 B CN115278355 B CN 115278355B
Authority
CN
China
Prior art keywords
key frames
video
frame extraction
image
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210701781.1A
Other languages
English (en)
Other versions
CN115278355A (zh
Inventor
陈浩彬
傅依
吴俊塔
罗莉舒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210701781.1A priority Critical patent/CN115278355B/zh
Publication of CN115278355A publication Critical patent/CN115278355A/zh
Application granted granted Critical
Publication of CN115278355B publication Critical patent/CN115278355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本公开实施例提供一种视频剪辑方法、装置、设备、计算机可读存储介质及产品，该方法包括：获取待处理视频；按照预设的抽帧频率，在待处理视频中抽取预设数量的初始关键帧；对各初始关键帧对应的图像特征进行识别；根据图像特征对抽帧频率进行更新，获得更新后的抽帧频率，并采用更新后的抽帧频率对待处理视频中未进行抽帧的部分进行抽帧操作，获得多个关键帧；根据预设数量的初始关键帧以及多个关键帧进行视频剪辑操作，获得目标视频。从而能够实现视频的自动剪辑，无需用户手动地根据实际需求进行视频的剪辑，对用户的专业要求不高，简化了视频剪辑的流程，提高了视频剪辑的效率。

Description

视频剪辑方法、装置、设备、计算机可读存储介质及产品
技术领域
本公开实施例涉及视频处理技术领域，尤其涉及一种视频剪辑方法、装置、设备、计算机可读存储介质及产品。
背景技术
用户在参加娱乐活动过程中，往往存在通过视频的方式对娱乐活动进行记录的需求。若要完整记录其在过程中的关键音视频信息，则需自行使用摄像机设备进行自拍或者由他人进行拍摄。拍摄完毕后，用户可以根据实际需求使用专业剪辑软件手工进行视频剪辑和编辑，截取其中自己感兴趣的片段，形成一段视频日志。
但是，采用上述方法进行视频剪辑往往需要用户具有较高的视频剪辑技能水平，此外，剪辑过程操作较为繁琐，因此，往往导致用户体验不佳。
发明内容
本公开实施例提供一种视频剪辑方法、装置、设备、计算机可读存储介质及产品，用于解决现有的视频剪辑方法对用户专业技能要求较高，且操作较为繁琐的技术问题。
第一方面，本公开实施例提供一种视频剪辑方法，包括：
获取待处理视频；
按照预设的抽帧频率，在所述待处理视频中抽取预设数量的初始关键帧；
对各所述初始关键帧对应的图像特征进行识别；
根据所述图像特征对所述抽帧频率进行更新，获得更新后的抽帧频率，并采用所述更新后的抽帧频率对所述待处理视频中未进行抽帧的部分进行抽帧操作，获得多个关键帧；
根据所述预设数量的初始关键帧以及所述多个关键帧进行视频剪辑操作，获得目标视频。
第二方面，本公开实施例提供一种视频剪辑装置，包括：
获取模块，用于获取待处理视频；
抽帧模块，用于按照预设的抽帧频率，在所述待处理视频中抽取预设数量的初始关键帧；
识别模块，用于对各所述初始关键帧对应的图像特征进行识别；
更新模块，用于根据所述图像特征对所述抽帧频率进行更新，获得更新后的抽帧频率，并采用所述更新后的抽帧频率对所述待处理视频中未进行抽帧的部分进行抽帧操作，获得多个关键帧；
剪辑模块，用于根据所述预设数量的初始关键帧以及所述多个关键帧进行视频剪辑操作，获得目标视频。
第三方面，本公开实施例提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的视频剪辑方法。
第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的视频剪辑方法。
第五方面，本公开实施例提供一种计算机程序产品，包括计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的视频剪辑方法。
本实施例提供的视频剪辑方法、装置、设备、计算机可读存储介质及产品，通过按照预设的抽帧频率对待处理视频进行抽帧操作，并根据抽取的初始关键帧对应的图像特征对抽帧频率进行动态的更新，从而能够快速、准确地实现对具有有效图像特征的关键帧进行抽取，提高抽取到的关键帧的质量。此外，通过根据抽取的关键帧进行视频的剪辑操作，从而能够实现视频的自动剪辑，无需用户手动地根据实际需求进行视频的剪辑，对用户的专业要求不高，简化了视频剪辑的流程，提高了视频剪辑的效率。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开基于的网络架构示意图；
图2为本公开实施例提供的视频剪辑方法的流程示意图；
图3为本公开又一实施例提供的视频剪辑方法的流程示意图；
图4为本公开又一实施例提供的视频剪辑方法的流程示意图；
图5为本实施例提供的视频剪辑方法的应用场景示意图；
图6为本公开实施例提供的视频剪辑装置的结构示意图；
图7为本公开实施例提供的电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
针对上述提及的现有的视频剪辑方法对用户专业技能要求较高，且操作较为繁琐的技术问题，本公开提供了一种视频剪辑方法、装置、设备、计算机可读存储介质及产品。
需要说明的是，本申请提供视频剪辑方法、装置、设备、计算机可读存储介质及产品可运用在对各种视频进行剪辑的场景中。
现有的视频剪辑方法，一般都需要用户根据实际需求，自行选择需要剪辑的片段，并根据上述片段人工进行视频剪辑操作。因此，往往操作较为繁琐，且剪辑难度较高。
在解决上述技术问题的过程中，发明人通过研究发现，可以对待处理视频进行关键帧的抽取操作，根据抽取的关键帧自动地进行视频剪辑操作。进一步地，在关键帧抽取过程中，为了获取到质量更高的关键帧，可以根据当前已抽取的关键帧对应的图像特征，对抽帧频率进行动态的更新。具体地，图像特征包括所述初始图像帧中目标对象的数量、灰度值以及所述初始图像帧与相邻图像帧之间像素值的差分总和。通过根据图像特征对抽帧频率进行更新，从而能够抽取到人体数量更多、画面亮度更高、且画面变化情况较大的关键帧。根据更新后的抽帧频率进行关键帧的抽取。从而能够避免抽取质量较低的关键帧，节约了后续的计算资源，且提高了抽帧效率。
图1为本公开基于的网络架构示意图，如图1所示，本公开基于的网络架构至少包括：终端设备11、服务器12，其中，服务器12中设置有视频剪辑装置，该视频剪辑装置可采用C/C++、Java、Shell或Python等语言编写；终端设备11则可例如具有视频采集能力的手机、平板电脑等。
服务器12可以获取终端设备11发送的待处理视频，并对待处理视频进行自动化的抽帧操作，根据抽取的关键帧进行视频剪辑操作。
图2为本公开实施例提供的视频剪辑方法的流程示意图，如图2所示，该方法包括：
步骤201、获取待处理视频。
本实施例的执行主体为视频剪辑装置，该视频剪辑装置可耦合于服务器中。服务器能够与终端设备通信连接，从而能够获取终端设备拍摄的待处理视频。可选地，该视频剪辑装置可耦合于终端设备中，可以根据终端设备拍摄的待处理视频进行视频剪辑操作。可选地，该视频剪辑装置可耦合于服务器中。服务器能够与数据服务器通信连接，从而能够从数据服务器中获取待处理视频。
在本实施方式中，为了实现视频剪辑操作，可以获取待处理视频。该待处理视频可以为终端设备拍摄的，也可以为数据服务器中存储的，本公开对此不做限制。
步骤202、按照预设的抽帧频率，在所述待处理视频中抽取预设数量的初始关键帧。
在本实施方式中，可以预先设置一个抽帧频率，按照该抽帧频率对待处理视频进行抽帧操作。
实际应用中，由于待处理视频中可能部分片段存在较多的用户影像，部分片段为风景影像，可能在待处理视频中部分时间段内，拍摄的内容均为静止的内容等。因此，采用固定的抽帧频率进行关键帧抽取可能会抽取部分质量不佳、且重复的关键帧。或者，采用固定的抽帧频率进行关键帧抽取可能会错过部分质量较高的关键帧。
因此，为了解决上述技术问题，可以预先设置一个初始抽帧频率，并按照该抽帧频率在待处理视频中抽取预设数量的初始关键帧。以便后续根据该预设数量的初始关键帧实现对抽帧频率的更新。
其中，该预设数量可以为用户根据实际需求进行设置的。或者，可以实时地对采集到的初始关键帧进行识别，实时地对图像特征进行识别，本公开对此不做限制。
步骤203、对各所述初始关键帧对应的图像特征进行识别。
在本实施方式中，可以对预设数量的初始关键帧进行识别操作，以确定预设数量的初始关键帧对应的图像特征。其中，该图像特征包括初始图像帧中目标对象的数量、灰度值以及所述初始图像帧与相邻图像帧之间像素值的差分总和中的一项或多项。
通过对初始图像帧进行图像特征的识别，从而能够确定当前的视频片段是否为人体或者人像较多，整体图像亮度较高，内容变化较大的视频片段。进而能够根据该图像特征实现对抽帧频率的更新操作。
步骤204、根据所述图像特征对所述抽帧频率进行更新，获得更新后的抽帧频率，并采用所述更新后的抽帧频率对所述待处理视频中未进行抽帧的部分进行抽帧操作，获得多个关键帧。
在本实施方式中，在获取到预设数量的初始关键帧对应的图像特征之后，可以根据该图像特征对抽帧频率进行动态更新，获得更新后的抽帧频率。举例来说，若根据图像特征确定当前的视频片段人体或者人像较多，整体图像亮度较高，内容变化较大，则可以表征该视频片段包含较多的有效信息，可以提高抽帧频率，以保证采集到更多高质量的关键帧，避免高质量关键帧的丢失。或者，若根据图像特征确定当前的视频判断内不存在人体或者人像，且整体图像较暗，视频内容变化不大，则表征该视频片段内可能存在的有效信息较少，此时，为了降低后续关键帧处理的计算量，可以降低抽帧频率。
在完成对抽帧频率的更新之后，可以采用更新后的抽帧频率对待处理视频中未进行抽帧的部分进行抽帧操作，获得多个关键帧。
步骤205、根据所述预设数量的初始关键帧以及所述多个关键帧进行视频剪辑操作，获得目标视频。
在本实施方式中，在根据预设的抽帧频率以及更新后的抽帧频率对待处理视频进行抽帧之后，可以根据预设数量的初始关键帧以及多个关键帧自动地进行视频剪辑操作，获得目标视频。
本实施例提供的视频剪辑方法，通过按照预设的抽帧频率对待处理视频进行抽帧操作，并根据抽取的初始关键帧对应的图像特征对抽帧频率进行动态的更新，从而能够快速、准确地实现对具有有效图像特征的关键帧进行抽取，提高抽取到的关键帧的质量。此外，通过根据抽取的关键帧进行视频的剪辑操作，从而能够实现视频的自动剪辑，无需用户手动地根据实际需求进行视频的剪辑，对用户的专业要求不高，简化了视频剪辑的流程，提高了视频剪辑的效率。
进一步地，在上述任一实施例的基础上，步骤204包括：
采用所述更新后的抽帧频率对所述待处理视频中未进行抽帧的部分进行抽帧操作，直至完成对所述待处理视频的抽帧操作。
在本实施例中，在待处理视频的抽帧过程中，可以仅对抽帧频率进行一次更新。具体地，在对预设的抽帧频率进行更新之后，可以采用该待处理视频中未进行抽帧的部分进行抽帧操作，直至完成对待处理视频的抽帧操作。
可选地，在上述任一实施例的基础上，步骤204之后，还包括：
将所述多个关键帧确定为所述预设数量的初始关键帧，返回执行所述对各所述初始关键帧对应的图像特征进行识别的步骤，直至完成对所述待处理视频的抽帧操作。
在本实施例中，在待处理视频的抽帧过程中，可以动态地对抽帧频率进行多次更新操作，以提高抽取的关键帧的质量，自动生成更高质量的目标视频。
具体地，在采用更新后的抽帧频率对待处理视频中未进行抽帧的部分进行抽帧操作，获得多个关键帧之后，可以将该多个关键帧确定为预设数量的初始关键帧，返回执行对初始关键帧对应的图像特征进行识别，以根据该图像特征再次对抽帧频率进行更新。重复上述步骤，直至完成对待处理视频的抽帧操作。
本实施例提供的视频剪辑方法，通过对抽帧频率进行动态的更新，从而能够使得抽帧频率与待处理视频的图像特征更加匹配，提高抽取到的关键帧的质量，进而能够提高基于关键帧剪辑获得的目标视频的质量。
进一步地，在上述任一实施例的基础上，所述图像特征包括所述初始图像帧中目标对象的数量、灰度值以及所述初始图像帧与相邻图像帧之间像素值的差分总和，步骤204包括：
根据所述图像特征以及预设的频率更新方法对所述抽帧频率进行更新，获得更新后的抽帧频率。
在本实施例中，在获取到初始关键帧之后，可以以各关键帧为中心，宽度为W的范围通过预设的人体检测算法或者人脸检测算法检测人体数量np或者人脸数量np。统计该范围内每一初始关键帧的灰度值vg，以及相邻两张初始关键帧间的rgb像素值的差分总和vdiff，得到图像特征。
根据该目标对象的数量、灰度值、初始图像帧与相邻图像帧之间像素值的差分总和以及预设的频率更新方法对抽帧频率进行动态更新，获得更新后的抽帧频率。
具体地，可以根据目标对象的数量计算以e为底的指数函数，计算灰度值对应的对数以及差分总和对应的对数，根据该以e为底的指数函数、灰度值对应的对数以及差分总和对应的对数计算更新后的抽帧频率。
本实施例提供的视频剪辑方法，通过设置频率更新方法，从而能够根据该频率更新方法综合地考量待处理视频中的人体数量或者人脸数量、初始关键帧的灰度值以及相邻两张初始关键帧间的rgb像素值的差分总和，准确地实现对抽帧频率的更新，实现对更多高质量关键帧的采集。
图3为本公开又一实施例提供的视频剪辑方法的流程示意图，在上述任一实施例的基础上，如图3所示，步骤205包括：
步骤301、确定所述预设数量的初始关键帧以及所述多个关键帧中存在预设目标对象的多个目标关键帧。
步骤302、根据所述多个目标关键帧进行视频剪辑操作，获得目标视频。
在本实施例中，在获取到预设数量的初始关键帧以及多个关键帧之后，为了进一步地降低计算量，以及提高目标视频的质量，可以对其进行进一步地筛选。具体地，可以对预设数量的初始关键帧以及多个关键帧进行AI识别操作，以在预设数量的初始关键帧以及多个关键帧中识别出存在预设的目标对象的多个目标关键帧。
其中，该预设目标对象可以为用户输入的人脸、人体、或者小动物、特定物体等。
在获取到多个存在预设目标对象的目标关键帧之后，可以根据该多个目标关键帧进行视频剪辑操作，获得目标视频。
本实施例提供的视频剪辑方法，通过将存在预设的目标对象的多个初始关键帧或者关键帧确定为目标关键帧，从而能够保证后续剪辑生成的目标视频中包括目标对象，实现对目标对象所在视频片段的精准剪辑。在实现对待处理视频自动剪辑的基础上，提高了剪辑生成的目标视频的质量，有效地提升用户体验。
进一步地，在上述任一实施例的基础上，步骤301之前，还包括：
获取终端设备发送的注册请求，其中，所述注册请求中包括至少一张标准图像。
将所述标准图像中的人脸和/或人体确定为所述预设目标对象。
在本实施例中，该预设的目标对象具体可以为用户自行输入的。具体地，在用户需要进行待处理视频自动剪辑之前，可以通过终端设备发送注册请求，其中，该注册请求中包括至少一张标准图像。可以对至少一张标准图像进行AI识别，识别出标准图像中所包含的人脸和/或人体，将该人脸和/或人体确定为所述预设目标对象。
本实施例提供的视频剪辑方法，通过获取用户注册过程中提供的至少一张标准图像，并通过对标准图像识别确定预设目标对象，从而能够使得在抽帧过程中能够抽取到包括预设目标对象的目标关键帧，进而能够使得根据目标关键帧剪辑获得的目标视频更加贴合用户的实际需求，提升用户体验。
进一步地，在上述任一实施例的基础上，步骤301包括：
通过预设的目标对象识别模型识别所述预设数量的初始关键帧以及所述多个关键帧中是否存在人脸区域和/或人体区域。
确定存在人脸区域和/或人体区域的预设数量的初始关键帧以及所述多个关键帧与所述预设目标对象之间的相似度。
将所述相似度超过预设相似度阈值的存在人脸区域和/或人体区域的预设数量的初始关键帧以及所述多个关键帧确定为所述多个目标关键帧。
在本实施例中，在目标关键帧的识别过程中，可以对预设数量的初始关键帧以及多个关键帧中的人脸和/或人体进行识别操作，将识别获得的人脸和/或人体与预设目标对象进行比对操作，将相似度超过预设的相似度阈值的人脸和/或人体确定为预设目标对象。并且将包括相似度超过预设的相似度阈值的人脸和/或人体的关键帧确定为该目标关键帧。
本实施例提供的视频剪辑方法，通过将预设数量的初始关键帧以及多个关键帧中的人脸和/或人体与预设目标对象相比对，从而能够抽取到包括预设目标对象的目标关键帧，进而能够使得根据目标关键帧剪辑获得的目标视频更加贴合用户的实际需求，提升用户体验。
图4为本公开又一实施例提供的视频剪辑方法的流程示意图，在上述任一实施例的基础上，如图4所示，步骤205包括：
步骤401、对所述多个目标关键帧对应的视频片段进行细粒度解码操作，获得多个待识别图像帧。
步骤402、针对各待识别图像帧，计算所述待识别图像帧对应的高光分数。
步骤403、根据高光分数超过预设的分数阈值的多个待识别图像帧进行视频剪辑操作，获得目标视频。
在本实施例中，为了剪辑的目标视频包括更多细节，在获得多个目标关键帧之后，可以对目标关键帧对应的视频片段进行细粒度的解码获得多个待识别图像帧。
进一步地，在获得多个待识别图像帧之后，由于部分待识别图像帧中，用户的表情不佳或者动作不佳，因此，若直接根据多个待识别图像帧进行视频剪辑，会导致生成的目标视频质量不高。因此，在获得多个待识别图像帧之后，可以对多个待识别图像帧进行打分操作，计算各待识别图像帧对应的高光分数。
将各待识别图像帧对应的高光分数与预设的分数阈值进行比对，根据高光分数超过预设的分数阈值的多个待识别图像帧进行视频剪辑操作，获得目标视频。其中，该分数阈值可以为用户根据实际需求进行设置，本公开对此不做限制。
本实施例提供的视频剪辑方法，通过计算各待识别图像帧对应的高光分数，并根据高光分数对多个待识别图像帧进行筛选，根据筛选后的多个待识别图像帧进行视频剪辑操作，从而能够进一步地提高剪辑获得的目标视频的视频质量。
进一步地，在上述任一实施例的基础上，步骤402包括：
对所述待识别图像帧中目标对象的高光特征信息进行识别，其中，所述高光特征信息包括位置特征、表情特征以及动作特征中的至少一项。
根据所述高光特征信息以及预设的高光分数算法计算所述待识别图像帧对应的高光分数。
在本实施例中，针对各待识别图像帧，可以对待识别图像帧中目标对象的高光特征信息进行识别，其中，高光特征信息包括位置特征、表情特征以及动作特征中的至少一项。
具体地，可以分别获取待识别图像帧中心横坐标，待识别图像帧的宽度，以及待识别图像帧中人体检测框的中心横坐标，根据待识别图像帧中心横坐标与待识别图像帧中人体检测框的中心横坐标之间的差值与待识别图像帧的宽度的比值实现对位置特征sp的计算：
进一步地，可以通过预设的手势识别模型对待识别图像帧中目标对象的手势动作进行识别，获得动作特征。针对不同的手势，可以预先设置有不同的分数，举例来说，打招呼手势可以对应为8分，比耶手势可以对应为6分，OK手势可以对应为5分，点赞手势可以对应为4分，比心手势可以对应为3分。可以根据不同手势对应的分数进行高光分数的累加。
进一步地，可以通过预设的表情识别模型对待识别图像帧中目标对象的表情进行识别，获得表情特征。针对不同的表情，可以预先设置有不同的分数，举例来说，开心表情可以对应为4分，平静表情可以对应为3分，惊讶表情可以对应为2分，害怕表情可以对应为1分。可以根据不同表情对应的分数进行高光分数的累加。
在确定高光特征信息之后，可以根据预设的高光分数算法计算待识别图像帧对应的高光分数。具体地，可以将位置特征对应的数值、动作特征对应的分数以及表情特征对应的分数的和确定为待识别图像帧对应的高光分数
图5为本实施例提供的视频剪辑方法的应用场景示意图，如图5所示，在获取到待处理视频51之后，可以对待处理视频51进行粗粒度的解码操作，得到多个关键帧。通过AI模型识别多个关键帧存在目标对象actor的多个目标关键帧52。对多个目标关键帧52进行细粒度解码操作，并对细粒度解码后的多个目标关键帧52进行AI识别，以确定细粒度解码后的多个待识别图像帧对应的高光分数。根据高光分数53，选取高光分数超过预设的分数阈值的多个待识别图像帧进行视频剪辑操作，获得目标视频54。
以实际应用举例来说，用户在参加聚会或者参加活动时，并且能够获取到聚会或者活动的录制视频。用户可以根据实际需求对该录制视频进行剪辑操作。可选地，用户可以对该录制视频中包括该用户的较为精彩的部分进行剪辑操作。具体地，首先可以获取该用户的标准图像，该标准图像中包括用户的人脸和/或人体。对录制视频进行抽帧操作，并根据该用户的标准图像对抽取的视频帧进行识别，以获取到包括该用户的视频帧。将包括该用户的视频帧进行细粒度解码，并对细粒度解码后的视频帧进行高光分数的计算，以确定录制视频中用户较为精彩的视频片段，并对录制视频中用户较为精彩的视频片段进行剪辑操作。
可选地，由于聚会或者活动往往可以有多人参加，因此，为了能够使得剪辑的目标视频更加贴合用户的个性化需求，可以获取用户提供的多个聚会或者活动的参与者的标准图像，并根据该多个参与者的标准图像，实现对多个参与者的视频的剪辑操作。
可选地，当待处理视频中大部分时间内的视频内容均为景色内容或者其他静态内容。为了实现对待处理视频中包括目标对象的部分的剪辑操作，可以对待处理视频进行抽帧操作，并根据目标对象的标准图像对抽取的视频帧进行识别，以获取到包括目标对象的视频帧。将包括目标对象的视频帧进行细粒度解码，并对细粒度解码后的视频帧进行高光分数的计算，以确定待处理视频中目标对象较为精彩的视频片段，并对待处理视频中目标对象较为精彩的视频片段进行剪辑操作。从而能够快速地实现对有效内容较少的待处理视频的剪辑操作。
本实施例提供的视频剪辑方法，通过采用高光分数算法综合地考量位置特征、表情特征以及动作特征，从而能够准确地计算出待识别图像帧对应的高光分数，进而能够根据该高光分数准确地实现目标视频的剪辑操作。
图6为本公开实施例提供的视频剪辑装置的结构示意图，如图6所示，该装置包括：获取模块61、抽帧模块62、识别模块63、更新模块64以及剪辑模块65。其中，获取模块61，用于获取待处理视频。抽帧模块62，用于按照预设的抽帧频率，在所述待处理视频中抽取预设数量的初始关键帧。识别模块63，用于对各所述初始关键帧对应的图像特征进行识别。更新模块64，用于根据所述图像特征对所述抽帧频率进行更新，获得更新后的抽帧频率，并采用所述更新后的抽帧频率对所述待处理视频中未进行抽帧的部分进行抽帧操作，获得多个关键帧。剪辑模块65，用于根据所述预设数量的初始关键帧以及所述多个关键帧进行视频剪辑操作，获得目标视频。
进一步地，在上述任一实施例的基础上，所述图像特征包括所述初始图像帧中目标对象的数量、灰度值以及所述初始图像帧与相邻图像帧之间像素值的差分总和，所述更新模块用于：根据所述图像特征以及预设的频率更新方法对所述抽帧频率进行更新，获得更新后的抽帧频率。
进一步地，在上述任一实施例的基础上，所述更新模块用于：采用所述更新后的抽帧频率对所述待处理视频中未进行抽帧的部分进行抽帧操作，直至完成对所述待处理视频的抽帧操作。
进一步地，在上述任一实施例的基础上，该装置还包括：循环模块，用于将所述多个关键帧确定为所述预设数量的初始关键帧，返回执行所述对各所述初始关键帧对应的图像特征进行识别的步骤，直至完成对所述待处理视频的抽帧操作。
进一步地，在上述任一实施例的基础上，所述剪辑模块，用于：确定所述预设数量的初始关键帧以及所述多个关键帧中存在预设目标对象的多个目标关键帧。根据所述多个目标关键帧进行视频剪辑操作，获得目标视频。
进一步地，在上述任一实施例的基础上，所述装置还包括：获取模块，还用于获取终端设备发送的注册请求，其中，所述注册请求中包括至少一张标准图像。确定模块，用于将所述标准图像中的人脸和/或人体确定为所述预设目标对象。
进一步地，在上述任一实施例的基础上，所述剪辑模块，用于：通过预设的目标对象识别模型识别所述预设数量的初始关键帧以及所述多个关键帧中是否存在人脸区域和/或人体区域。确定存在人脸区域和/或人体区域的预设数量的初始关键帧以及所述多个关键帧与所述预设目标对象之间的相似度；将所述相似度超过预设相似度阈值的存在人脸区域和/或人体区域的预设数量的初始关键帧以及所述多个关键帧确定为所述多个目标关键帧。
进一步地，在上述任一实施例的基础上，所述剪辑模块，用于：对所述多个目标关键帧对应的视频片段进行细粒度解码操作，获得多个待识别图像帧。针对各待识别图像帧，计算所述待识别图像帧对应的高光分数。根据高光分数超过预设的分数阈值的多个待识别图像帧进行视频剪辑操作，获得目标视频。
进一步地，在上述任一实施例的基础上，所述剪辑模块，用于：对所述待识别图像帧中目标对象的高光特征信息进行识别，其中，所述高光特征信息包括位置特征、表情特征以及动作特征中的至少一项。根据所述高光特征信息以及预设的高光分数算法计算所述待识别图像帧对应的高光分数。
本实施例提供的设备，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
本公开又一实施例还提供了一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上述任一实施例所述的方法。
图7为本公开实施例提供的电子设备的结构示意图，如图7所示，该电子设备700可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑(Portable Android Device，简称PAD)、便携式多媒体播放器(Portable Media Player，简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(Read Only Memory，简称ROM)702中的程序或者从存储装置708加载到随机访问存储器(Random Access Memory，简称RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(Liquid CrystalDisplay，简称LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM702被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
本公开又一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上述任一实施例所述的方法。
本公开又一实施例还提供了一种计算机程序产品，包括计算机执行指令，当处理器执行所述计算机执行指令时，实现如上述任一实施例所述的方法。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network，简称LAN)或广域网(Wide Area Network，简称WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
第一方面，根据本公开的一个或多个实施例，提供了一种视频剪辑方法，包括：
获取待处理视频；
按照预设的抽帧频率，在所述待处理视频中抽取预设数量的初始关键帧；
对各所述初始关键帧对应的图像特征进行识别；
根据所述图像特征对所述抽帧频率进行更新，获得更新后的抽帧频率，并采用所述更新后的抽帧频率对所述待处理视频中未进行抽帧的部分进行抽帧操作，获得多个关键帧；
根据所述预设数量的初始关键帧以及所述多个关键帧进行视频剪辑操作，获得目标视频。
根据本公开的一个或多个实施例，所述图像特征包括所述初始图像帧中目标对象的数量、灰度值以及所述初始图像帧与相邻图像帧之间像素值的差分总和，所述根据所述图像特征对所述抽帧频率进行更新，包括：
根据所述图像特征以及预设的频率更新方法对所述抽帧频率进行更新，获得更新后的抽帧频率。
根据本公开的一个或多个实施例，所述采用所述更新后的抽帧频率对所述待处理视频中未进行抽帧的部分进行抽帧操作，获得多个关键帧，包括：
采用所述更新后的抽帧频率对所述待处理视频中未进行抽帧的部分进行抽帧操作，直至完成对所述待处理视频的抽帧操作；
根据本公开的一个或多个实施例，所述采用所述更新后的抽帧频率对所述待处理视频中未进行抽帧的部分进行抽帧操作，获得多个关键帧之后，还包括：
将所述多个关键帧确定为所述预设数量的初始关键帧，返回执行所述对各所述初始关键帧对应的图像特征进行识别的步骤，直至完成对所述待处理视频的抽帧操作。
根据本公开的一个或多个实施例，所述根据所述预设数量的初始关键帧以及所述多个关键帧进行视频剪辑操作，包括：
确定所述预设数量的初始关键帧以及所述多个关键帧中存在预设目标对象的多个目标关键帧；
根据所述多个目标关键帧进行视频剪辑操作，获得目标视频。
根据本公开的一个或多个实施例，所述确定所述预设数量的初始关键帧以及所述多个关键帧中存在预设目标对象的多个目标关键帧之前，还包括：
获取终端设备发送的注册请求，其中，所述注册请求中包括至少一张标准图像；
将所述标准图像中的人脸和/或人体确定为所述预设目标对象。
根据本公开的一个或多个实施例，所述确定所述预设数量的初始关键帧以及所述多个关键帧中存在预设目标对象的多个目标关键帧，包括：
通过预设的目标对象识别模型识别所述预设数量的初始关键帧以及所述多个关键帧中是否存在人脸区域和/或人体区域；
确定存在人脸区域和/或人体区域的预设数量的初始关键帧以及所述多个关键帧与所述预设目标对象之间的相似度；
将所述相似度超过预设相似度阈值的存在人脸区域和/或人体区域的预设数量的初始关键帧以及所述多个关键帧确定为所述多个目标关键帧。
根据本公开的一个或多个实施例，所述根据所述多个目标关键帧进行视频剪辑操作，获得目标视频，包括：
对所述多个目标关键帧对应的视频片段进行细粒度解码操作，获得多个待识别图像帧；
针对各待识别图像帧，计算所述待识别图像帧对应的高光分数；
根据高光分数超过预设的分数阈值的多个待识别图像帧进行视频剪辑操作，获得目标视频。
根据本公开的一个或多个实施例，所述计算所述待识别图像帧对应的高光分数，包括：
对所述待识别图像帧中目标对象的高光特征信息进行识别，其中，所述高光特征信息包括位置特征、表情特征以及动作特征中的至少一项；
根据所述高光特征信息以及预设的高光分数算法计算所述待识别图像帧对应的高光分数。
第二方面，根据本公开的一个或多个实施例，提供了一种视频剪辑装置，包括：
获取模块，用于获取待处理视频；
抽帧模块，用于按照预设的抽帧频率，在所述待处理视频中抽取预设数量的初始关键帧；
识别模块，用于对各所述初始关键帧对应的图像特征进行识别；
更新模块，用于根据所述图像特征对所述抽帧频率进行更新，获得更新后的抽帧频率，并采用所述更新后的抽帧频率对所述待处理视频中未进行抽帧的部分进行抽帧操作，获得多个关键帧；
剪辑模块，用于根据所述预设数量的初始关键帧以及所述多个关键帧进行视频剪辑操作，获得目标视频。
根据本公开的一个或多个实施例，所述图像特征包括所述初始图像帧中目标对象的数量、灰度值以及所述初始图像帧与相邻图像帧之间像素值的差分总和，所述更新模块用于：
根据所述图像特征以及预设的频率更新方法对所述抽帧频率进行更新，获得更新后的抽帧频率。
根据本公开的一个或多个实施例，所述更新模块用于：
采用所述更新后的抽帧频率对所述待处理视频中未进行抽帧的部分进行抽帧操作，直至完成对所述待处理视频的抽帧操作；
根据本公开的一个或多个实施例，该装置还包括：
循环模块，用于将所述多个关键帧确定为所述预设数量的初始关键帧，返回执行所述对各所述初始关键帧对应的图像特征进行识别的步骤，直至完成对所述待处理视频的抽帧操作。
根据本公开的一个或多个实施例，所述剪辑模块，用于：
确定所述预设数量的初始关键帧以及所述多个关键帧中存在预设目标对象的多个目标关键帧；
根据所述多个目标关键帧进行视频剪辑操作，获得目标视频。
根据本公开的一个或多个实施例，所述装置还包括：
获取模块，还用于获取终端设备发送的注册请求，其中，所述注册请求中包括至少一张标准图像；
确定模块，用于将所述标准图像中的人脸和/或人体确定为所述预设目标对象。
根据本公开的一个或多个实施例，所述剪辑模块，用于：
通过预设的目标对象识别模型识别所述预设数量的初始关键帧以及所述多个关键帧中是否存在人脸区域和/或人体区域；
确定存在人脸区域和/或人体区域的预设数量的初始关键帧以及所述多个关键帧与所述预设目标对象之间的相似度；
将所述相似度超过预设相似度阈值的存在人脸区域和/或人体区域的预设数量的初始关键帧以及所述多个关键帧确定为所述多个目标关键帧。
根据本公开的一个或多个实施例，所述剪辑模块，用于：
对所述多个目标关键帧对应的视频片段进行细粒度解码操作，获得多个待识别图像帧；
针对各待识别图像帧，计算所述待识别图像帧对应的高光分数；
根据高光分数超过预设的分数阈值的多个待识别图像帧进行视频剪辑操作，获得目标视频。
根据本公开的一个或多个实施例，所述剪辑模块，用于：
对所述待识别图像帧中目标对象的高光特征信息进行识别，其中，所述高光特征信息包括位置特征、表情特征以及动作特征中的至少一项；
根据所述高光特征信息以及预设的高光分数算法计算所述待识别图像帧对应的高光分数。
第三方面，根据本公开的一个或多个实施例，提供了一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的视频剪辑方法。
第四方面，根据本公开的一个或多个实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的视频剪辑方法。
第五方面，根据本公开的一个或多个实施例，提供了一种计算机程序产品，包括计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的视频剪辑方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种视频剪辑方法，其特征在于，包括：
获取待处理视频；
按照预设的抽帧频率，在所述待处理视频中抽取预设数量的初始关键帧；
对各所述初始关键帧对应的图像特征进行识别；
根据所述图像特征对所述抽帧频率进行更新，获得更新后的抽帧频率，并采用所述更新后的抽帧频率对所述待处理视频中未进行抽帧的部分进行抽帧操作，获得多个关键帧；
根据所述预设数量的初始关键帧以及所述多个关键帧进行视频剪辑操作，获得目标视频；
所述根据所述预设数量的初始关键帧以及所述多个关键帧进行视频剪辑操作，获得目标视频，包括：
在所述预设数量的初始关键帧以及所述多个关键帧中确定多个目标关键帧；
对所述多个目标关键帧对应的视频片段进行细粒度解码操作，获得多个待识别图像帧；
针对各待识别图像帧，计算所述待识别图像帧对应的高光分数；
根据高光分数超过预设的分数阈值的多个待识别图像帧进行视频剪辑操作，获得目标视频。
2.根据权利要求1所述的方法，其特征在于，所述图像特征包括所述初始关键帧中目标对象的数量、灰度值以及所述初始关键帧与相邻图像帧之间像素值的差分总和，所述根据所述图像特征对所述抽帧频率进行更新，包括：
根据所述图像特征以及预设的频率更新方法对所述抽帧频率进行更新，获得更新后的抽帧频率。
3.根据权利要求1所述的方法，其特征在于，所述采用所述更新后的抽帧频率对所述待处理视频中未进行抽帧的部分进行抽帧操作，获得多个关键帧之后，还包括：
将所述多个关键帧确定为所述预设数量的初始关键帧，返回执行所述对各所述初始关键帧对应的图像特征进行识别的步骤，直至完成对所述待处理视频的抽帧操作。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述预设数量的初始关键帧以及所述多个关键帧进行视频剪辑操作，包括：
确定所述预设数量的初始关键帧以及所述多个关键帧中存在预设目标对象的多个目标关键帧；
根据所述多个目标关键帧进行视频剪辑操作，获得目标视频。
5.根据权利要求4所述的方法，其特征在于，所述确定所述预设数量的初始关键帧以及所述多个关键帧中存在预设目标对象的多个目标关键帧之前，还包括：
获取终端设备发送的注册请求，其中，所述注册请求中包括至少一张标准图像；
将所述标准图像中的人脸和/或人体确定为所述预设目标对象。
6.根据权利要求5所述的方法，其特征在于，所述确定所述预设数量的初始关键帧以及所述多个关键帧中存在预设目标对象的多个目标关键帧，包括：
通过预设的目标对象识别模型识别所述预设数量的初始关键帧以及所述多个关键帧中是否存在人脸区域和/或人体区域；
确定存在人脸区域和/或人体区域的预设数量的初始关键帧以及所述多个关键帧与所述预设目标对象之间的相似度；
将所述相似度超过预设相似度阈值的存在人脸区域和/或人体区域的预设数量的初始关键帧以及所述多个关键帧确定为所述多个目标关键帧。
7.根据权利要求1所述的方法，其特征在于，所述计算所述待识别图像帧对应的高光分数，包括：
对所述待识别图像帧中目标对象的高光特征信息进行识别，其中，所述高光特征信息包括位置特征、表情特征以及动作特征中的至少一项；
根据所述高光特征信息以及预设的高光分数算法计算所述待识别图像帧对应的高光分数。
8.一种视频剪辑装置，其特征在于，包括：
获取模块，用于获取待处理视频；
抽帧模块，用于按照预设的抽帧频率，在所述待处理视频中抽取预设数量的初始关键帧；
识别模块，用于对各所述初始关键帧对应的图像特征进行识别；
更新模块，用于根据所述图像特征对所述抽帧频率进行更新，获得更新后的抽帧频率，并采用所述更新后的抽帧频率对所述待处理视频中未进行抽帧的部分进行抽帧操作，获得多个关键帧；
剪辑模块，用于根据所述预设数量的初始关键帧以及所述多个关键帧进行视频剪辑操作，获得目标视频；
所述剪辑模块用于：在所述预设数量的初始关键帧以及所述多个关键帧中确定多个目标关键帧；对所述多个目标关键帧对应的视频片段进行细粒度解码操作，获得多个待识别图像帧；针对各待识别图像帧，计算所述待识别图像帧对应的高光分数；根据高光分数超过预设的分数阈值的多个待识别图像帧进行视频剪辑操作，获得目标视频。
9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-7任一项所述的方法。
CN202210701781.1A 2022-06-20 2022-06-20 视频剪辑方法、装置、设备、计算机可读存储介质及产品 Active CN115278355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210701781.1A CN115278355B (zh) 2022-06-20 2022-06-20 视频剪辑方法、装置、设备、计算机可读存储介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210701781.1A CN115278355B (zh) 2022-06-20 2022-06-20 视频剪辑方法、装置、设备、计算机可读存储介质及产品

Publications (2)

Publication Number Publication Date
CN115278355A CN115278355A (zh) 2022-11-01
CN115278355B true CN115278355B (zh) 2024-02-13

Family

ID=83761804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210701781.1A Active CN115278355B (zh) 2022-06-20 2022-06-20 视频剪辑方法、装置、设备、计算机可读存储介质及产品

Country Status (1)

Country Link
CN (1) CN115278355B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115802101A (zh) * 2022-11-25 2023-03-14 深圳创维－Rgb电子有限公司 一种短视频生成方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107077595A (zh) * 2014-09-08 2017-08-18 谷歌公司 选择和呈现代表性帧以用于视频预览
CN109819338A (zh) * 2019-02-22 2019-05-28 深圳岚锋创视网络科技有限公司 一种视频自动剪辑方法、装置及便携式终端
CN110909715A (zh) * 2019-12-06 2020-03-24 重庆商勤科技有限公司 基于视频图像识别吸烟的方法、装置、服务器及存储介质
CN111260869A (zh) * 2020-01-19 2020-06-09 世纪龙信息网络有限责任公司 监控视频中视频帧的提取方法、装置和计算机设备
CN111464833A (zh) * 2020-03-23 2020-07-28 腾讯科技（深圳）有限公司 目标图像生成方法、目标图像生成装置、介质及电子设备
CN111523347A (zh) * 2019-02-01 2020-08-11 北京奇虎科技有限公司 图像侦测方法、装置、计算机设备及存储介质
CN112800805A (zh) * 2019-10-28 2021-05-14 上海哔哩哔哩科技有限公司 视频剪辑方法、系统、计算机设备及计算机存储介质
CN113132690A (zh) * 2021-04-22 2021-07-16 北京房江湖科技有限公司 施工过程视频的生成方法、装置以及电子设备、存储介质
CN113727200A (zh) * 2021-08-27 2021-11-30 游艺星际(北京)科技有限公司 一种视频摘要信息确定方法、装置、电子设备及存储介质
CN113949942A (zh) * 2020-07-16 2022-01-18 Tcl科技集团股份有限公司 视频摘要生成方法、装置、终端设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5456023B2 (ja) * 2009-04-07 2014-03-26 パナソニック株式会社 画像撮影装置、画像撮影方法、プログラム、及び集積回路
US8446490B2 (en) * 2010-05-25 2013-05-21 Intellectual Ventures Fund 83 Llc Video capture system producing a video summary
US20170316256A1 (en) * 2016-04-29 2017-11-02 Google Inc. Automatic animation triggering from video

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107077595A (zh) * 2014-09-08 2017-08-18 谷歌公司 选择和呈现代表性帧以用于视频预览
CN111523347A (zh) * 2019-02-01 2020-08-11 北京奇虎科技有限公司 图像侦测方法、装置、计算机设备及存储介质
CN109819338A (zh) * 2019-02-22 2019-05-28 深圳岚锋创视网络科技有限公司 一种视频自动剪辑方法、装置及便携式终端
CN112800805A (zh) * 2019-10-28 2021-05-14 上海哔哩哔哩科技有限公司 视频剪辑方法、系统、计算机设备及计算机存储介质
CN110909715A (zh) * 2019-12-06 2020-03-24 重庆商勤科技有限公司 基于视频图像识别吸烟的方法、装置、服务器及存储介质
CN111260869A (zh) * 2020-01-19 2020-06-09 世纪龙信息网络有限责任公司 监控视频中视频帧的提取方法、装置和计算机设备
CN111464833A (zh) * 2020-03-23 2020-07-28 腾讯科技（深圳）有限公司 目标图像生成方法、目标图像生成装置、介质及电子设备
CN113949942A (zh) * 2020-07-16 2022-01-18 Tcl科技集团股份有限公司 视频摘要生成方法、装置、终端设备及存储介质
CN113132690A (zh) * 2021-04-22 2021-07-16 北京房江湖科技有限公司 施工过程视频的生成方法、装置以及电子设备、存储介质
CN113727200A (zh) * 2021-08-27 2021-11-30 游艺星际(北京)科技有限公司 一种视频摘要信息确定方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视频热度的弱监督视频摘要方法;余俊;《中国优秀硕士学位论文全文数据库》(第第3期期);全文 *

Also Published As

Publication number Publication date
CN115278355A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN112637517B (zh) 视频处理方法、装置、电子设备及存储介质
CN112182299B (zh) 一种视频中精彩片段的获取方法、装置、设备和介质
CN112954450B (zh) 视频处理方法、装置、电子设备和存储介质
CN111445902B (zh) 数据收集方法、装置、存储介质及电子设备
US11443438B2 (en) Network module and distribution method and apparatus, electronic device, and storage medium
CN110062157B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN115442637A (zh) 直播特效渲染方法、装置、设备、可读存储介质及产品
CN115278355B (zh) 视频剪辑方法、装置、设备、计算机可读存储介质及产品
CN112929728A (zh) 一种视频渲染方法、装置、系统、电子设备及存储介质
CN113033677A (zh) 视频分类方法、装置、电子设备和存储介质
CN115761090A (zh) 特效渲染方法、装置、设备、计算机可读存储介质及产品
CN113902636A (zh) 图像去模糊方法及装置、计算机可读介质和电子设备
CN111783632B (zh) 针对视频流的人脸检测方法、装置、电子设备及存储介质
CN110809166B (zh) 视频数据处理方法、装置和电子设备
CN110765304A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN108960130B (zh) 视频文件智能处理方法和装置
CN115222969A (zh) 标识信息识别方法、装置、设备、可读存储介质及产品
US11810336B2 (en) Object display method and apparatus, electronic device, and computer readable storage medium
CN113905177B (zh) 视频生成方法、装置、设备及存储介质
CN114666622A (zh) 特效视频确定方法、装置、电子设备及存储介质
CN113473236A (zh) 录屏视频的处理方法、装置、可读介质和电子设备
CN114422698A (zh) 视频生成方法、装置、设备及存储介质
CN113963000A (zh) 图像分割方法、装置、电子设备及程序产品
CN115249215A (zh) 图像处理方法、装置、电子设备以及可读存储介质
CN113033552A (zh) 文本识别方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant