CN117651159B - 一种运动实时视频自动剪辑推送方法与系统 - Google Patents

一种运动实时视频自动剪辑推送方法与系统 Download PDF

Info

Publication number
CN117651159B
CN117651159B CN202410118700.4A CN202410118700A CN117651159B CN 117651159 B CN117651159 B CN 117651159B CN 202410118700 A CN202410118700 A CN 202410118700A CN 117651159 B CN117651159 B CN 117651159B
Authority
CN
China
Prior art keywords
video
analysis
target
determining
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410118700.4A
Other languages
English (en)
Other versions
CN117651159A (zh
Inventor
庞成俊
罗焰金
潘石柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Rayin Technology Co ltd
Original Assignee
Hangzhou Rayin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Rayin Technology Co ltd filed Critical Hangzhou Rayin Technology Co ltd
Priority to CN202410118700.4A priority Critical patent/CN117651159B/zh
Publication of CN117651159A publication Critical patent/CN117651159A/zh
Application granted granted Critical
Publication of CN117651159B publication Critical patent/CN117651159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种运动实时视频自动剪辑推送方法与系统，属于视频剪辑技术领域，具体包括：将目标事件的时刻的前后的预设时长内的视频作为目标分析视频，基于预设图像特征进行目标分析视频的不同的视频帧的图像质量的确定，并结合不同的视频帧与目标视频帧的时间间隔确定所述目标分析视频的视频质量以及筛选分析视频，通过身份匹配可信度对筛选分析视频进行筛选得到可信分析视频，通过不同的可信分析视频的身份匹配可信度以及视频质量进行不同的可信分析视频的剪辑时长的确定，并基于剪辑时长以及可信分析视频进行预设人员的视频剪辑结果的输出，实现了运动视频的自动剪辑输出。

Description

一种运动实时视频自动剪辑推送方法与系统
技术领域
本发明属于视频剪辑技术领域，尤其涉及一种运动实时视频自动剪辑推送方法与系统。
背景技术
随着体育设施和体育器材的逐渐完善，越来越多的人群喜欢上了篮球、足球等运动。同时在互联网时代，每个人都有分享自己运动精彩时刻的需求，因此如何自动进行用户的高光时刻的识别，在云端自动剪辑并推送至用户，以满足用户分享自己运动高光时刻的需求成为亟待解决的技术问题。
为了解决上述技术问题，现有技术方案中在发明专利CN202011238128.3《基于5GMEC的运动视频集锦智能生成和分发方法》中通过将根据人脸与该用户数据库中的人脸图像的对比结果进行用户身份的确定，并将用户专属的精彩片段集锦分发到以往响应该用户请求次数最多的MEC服务器，提升了剪辑处理的效率和匹配性，但是却存在以下技术问题：
在进行精彩片段剪辑时，可能存在投球的用户的面部被其它的用户遮挡的问题，因此采用面部图像的形式并不能准确的实现对用户的身份的识别，从而导致部分高光时刻由于无法匹配用户身份而无法进行剪辑。
现有技术方案中忽视了根据高光时刻的图像清晰度以及身份验证的可靠性等因素进行高光时刻的筛选，一般来说用户对于高光时刻的视频需求有一定的时长限制，因此若不能结合用户的身份验证的可靠性以及图像清晰度进行高光时刻的筛选，则有可能导致视频剪辑结果无法满足要求。
针对上述技术问题，本发明提供了一种运动实时视频自动剪辑推送方法与系统。
发明内容
为实现本发明目的，本发明采用如下技术方案：
根据本发明的一个方面，提供了一种运动实时视频自动剪辑推送方法。
一种运动实时视频自动剪辑推送方法，其特征在于，具体包括：
S1通过摄像机进行目标事件的识别确定目标事件的时刻，并根据所述目标事件的时刻进行所述时刻的前后的预设时长内的视频的获取，将其作为目标分析视频；
S2将包含所述目标事件的视频帧作为目标视频帧，基于预设图像特征进行所述目标分析视频的不同的视频帧的图像质量的确定，并结合不同的视频帧与所述目标视频帧的时间间隔确定所述目标分析视频的视频质量以及筛选分析视频；
S3将所述筛选分析视频中的不同的视频帧中的存在目标动作的人员作为目标人员，并根据不同的视频帧中的目标人员的人脸识别结果以及动作识别结果进行所述筛选分析视频与预设人员的身份匹配可信度的确定，并通过所述身份匹配可信度对所述筛选分析视频进行筛选得到可信分析视频；
S4通过不同的可信分析视频的身份匹配可信度以及视频质量进行不同的可信分析视频的剪辑时长的确定，并基于所述剪辑时长以及可信分析视频进行所述预设人员的视频剪辑结果的输出。
本发明的有益效果在于：
1、根据视频帧的图像质量以及不同的视频帧与目标视频帧的时间间隔确定目标分析视频的视频质量以及筛选分析视频，实现了从图像质量以及与目标视频帧的时间间隔两个角度对视频质量的评估，避免了由于目标分析视频的视频质量不满足要求导致的视频剪辑结果的视频质量不满足要求的技术问题，进一步提升了视频剪辑结果的视频质量。
2、通过身份匹配可信度对筛选分析视频进行筛选得到可信分析视频，从而实现了从动作识别的可信度以及面部图像识别的可信度两个角度进行可信分析视频的筛选，避免了原有的仅采用面部图像的识别导致的识别可信度不准确的技术问题，进一步提升了视频与用户的身份的匹配度。
3、通过不同的可信分析视频的身份匹配可信度以及视频质量进行不同的可信分析视频的剪辑时长的确定，既考虑到不同的可信分析视频的身份匹配情况，同时考虑到不同的可信分析视频的视频质量，保证了身份匹配较高以及视频质量较高的可信分析视频剪辑的时长更长，使得最终的视频剪辑结果的匹配度和视频质量更高。
进一步的技术方案在于，所述摄像机的设置数量至少为3个，并根据篮球框和篮球场的中线位置进行摄像机的设置。
进一步的技术方案在于，根据篮球框和篮球场的中线位置进行摄像机的设置，具体包括：
在所述篮球框设置一个摄像机，在所述篮球场的中心位置的球场两侧各设置一个摄像机。
进一步的技术方案在于，所述目标事件包括抢断、助攻和进球。
进一步的技术方案在于，所述预设时长根据所述目标事件的发生数量以及不同的目标事件的类型进行确定，其中所述目标事件的发生数量越少，目标事件的类型的重要程度越重要，则所述预设时长越长，具体的根据所述目标事件的类型进行基准时长的确定，并结合所述类型的目标事件的数量对所述基准时长进行修正得到预设时长。
进一步的技术方案在于，所述进球的重要程度大于助攻，助攻的重要程度大于抢断。
进一步的技术方案在于，所述不同的时间尺度区间的区间视频质量的取值范围在0到1之间，其中所述时间尺度区间的区间视频质量越大，则所述时间尺度区间的视频质量越高。
进一步的技术方案在于，所述目标动作包括投篮、运球、传球、抢断。
第二方面，本发明提供了一种计算机系统，包括：通信连接的存储器和处理器，以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，其特征在于：所述处理器运行所述计算机程序时执行上述的一种运动实时视频自动剪辑推送方法。
其他特征和优点将在随后的说明书中阐述，本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显；
图1是一种运动实时视频自动剪辑推送方法的流程图；
图2是视频帧的图像质量的确定的方法的流程图；
图3是目标分析视频的视频质量的确定的方法的流程图；
图4是筛选分析视频与预设人员的身份匹配可信度的确定的方法的流程图；
图5是可信分析视频的剪辑时长的确定的方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
为了实现对投篮、抢断等高峰时段的获取并自动剪辑，往往需要对高峰时段的目标主体的身份识别将对应的视频进行剪辑并自动推动至目标主体，但是由于在运动过程中，可能存在遮挡等情况导致无法通过对人脸识别的方式实现对目标主体的准确识别，从而无法准确的将对应的高峰时段进行剪辑并自动传送至目标主体。
为解决上述技术问题，采用以下技术方案：
首先通过摄像机进行投篮或者抢断的时刻的确定，并将所述投篮或者抢断的时刻进行所述时刻的前后的20s内的视频的获取，将其作为目标分析视频；
然后将包含投篮或者抢断的视频帧作为目标视频帧，基于预设图像特征进行所述目标分析视频的不同的视频帧的图像质量的确定，并结合不同的视频帧与所述目标视频帧的时间间隔确定目标分析视频的视频质量以及筛选分析视频，具体的可以通过不同的视频帧与所述目标视频帧的时间间隔确定不同的视频帧的权重值，然后根据不同的视频帧的图像质量的权重和确定目标分析视频的视频质量，并将视频质量满足要求的作为筛选分析视频；
紧接着将筛选分析视频中的不同的视频帧中的存在目标动作的人员作为目标人员，并根据不同的视频帧中的目标人员的人脸识别结果以及动作识别结果进行筛选分析视频与预设人员的身份匹配可信度的确定，具体的可以通过人脸识别的准确率以及动作识别的准确率确定筛选分析视频与预设人员的身份匹配可信度，并将身份匹配可信度较大的作为可信分析视频；
最后根据不同的可信分析视频所对应的目标事件的类型进行不同的可信分析视频的基础剪辑时长的确定，并根据不同的可信剪辑视频的身份匹配可信度以及视频质量进行不同的可信剪辑视频的综合视频质量的确定；以预设剪辑时长为目标，通过综合视频质量以及基础剪辑时长进行不同的可信分析视频的剪辑时长的确定，并基于所述剪辑时长以及可信分析视频进行所述预设人员的视频剪辑结果的输出。
以下将从方法类实施例和系统类实施例两个角度进行进一步阐述。
为解决上述问题，根据本发明的一个方面，如图1所示，提供了一种运动实时视频自动剪辑推送方法，其特征在于，具体包括：
S1通过摄像机进行目标事件的识别确定目标事件的时刻，并根据所述目标事件的时刻进行所述时刻的前后的预设时长内的视频的获取，将其作为目标分析视频；
需要说明的是，所述摄像机的设置数量至少为3个，并根据篮球框和篮球场的中线位置进行摄像机的设置。
进一步的，根据篮球框和篮球场的中线位置进行摄像机的设置，具体包括：
在所述篮球框设置一个摄像机，在所述篮球场的中心位置的球场两侧各设置一个摄像机。
需要说明的是，所述目标事件包括抢断、助攻和进球。
可以理解的是，所述预设时长根据所述目标事件的发生数量以及不同的目标事件的类型进行确定，其中所述目标事件的发生数量越少，目标事件的类型的重要程度越重要，则所述预设时长越长，具体的根据所述目标事件的类型进行基准时长的确定，并结合所述类型的目标事件的数量对所述基准时长进行修正得到预设时长。
具体的，所述进球的重要程度大于助攻，助攻的重要程度大于抢断。
S2将包含所述目标事件的视频帧作为目标视频帧，基于预设图像特征进行所述目标分析视频的不同的视频帧的图像质量的确定，并结合不同的视频帧与所述目标视频帧的时间间隔确定所述目标分析视频的视频质量以及筛选分析视频；
在其中的一个可能的实施例中，如图2所示，上述步骤S2中的所述视频帧的图像质量的确定的方法为：
获取所述视频帧的图像噪声，判断所述视频帧的图像噪声是否不满足要求，若是，则通过所述图像噪声进行所述视频帧的图像质量的确定，若否，则进入下一步骤；
提取所述视频帧的纹理特征，并根据所述纹理特征的灰度共生矩阵元素值的平方和以及信息熵进行所述视频帧的纹理图像质量的确定；
基于所述纹理图像质量以及图像噪声确定所述视频帧的图像质量。
在其中的一个可能的实施例中，如图3所示，上述步骤S2中的所述目标分析视频的视频质量的确定的方法为：
基于不同的视频帧与所述目标视频帧的时间间隔将所述视频帧划分至多个时间尺度区间，并根据不同的时间尺度区间内的视频帧的图像质量进行不同的时间尺度区间的区间视频质量的确定；
通过不同的时间尺度区间与所述目标视频帧的时间间隔进行不同的时间尺度区间的权重值的确定，并结合不同的事件尺度区间的区间视频质量确定所述目标分析视频的视频质量。
具体的，所述不同的时间尺度区间的区间视频质量的取值范围在0到1之间，其中所述时间尺度区间的区间视频质量越大，则所述时间尺度区间的视频质量越高。
在另外的一个可能的实施例中，上述步骤S2中的所述目标分析视频的视频质量的确定的方法为：
判断所述目标分析视频的视频帧的图像质量不满足要求的数量是否满足要求，若是，则进入下一步骤，若否，则确定所述目标分析视频不属于筛选分析视频；
将图像质量不满足要求的视频帧作为问题视频帧，并根据问题视频帧与所述目标视频帧的时间间隔进行不同的问题视频帧的权重值的确定，判断问题视频帧的权重值的和是否满足要求，若是，则进入下一步骤，若否，则确定所述目标分析视频不属于筛选分析视频；
基于不同的视频帧与所述目标视频帧的时间间隔将所述视频帧划分至多个时间尺度区间，并根据不同的时间尺度区间内的视频帧的图像质量、不同的视频帧的权重值以及问题视频帧的数量进行不同的时间尺度区间的区间视频质量的确定，判断是否存在区间视频质量不满足要求的时间尺度区间，若否，则进入下一步骤，若是，则确定所述目标分析视频不属于筛选分析视频；
通过不同的时间尺度区间与所述目标视频帧的时间间隔进行不同的时间尺度区间的权重值的确定，并结合不同的事件尺度区间的区间视频质量确定所述目标分析视频的视频质量。
在另外的一个可能的实施例中，上述步骤S2中的所述目标分析视频的视频质量的确定的方法为：
根据视频帧与所述目标视频帧的时间间隔进行不同的视频帧的权重值的确定，并结合不同的视频帧的图像质量进行所述目标分析视频的基础视频质量的确定，当所述目标分析视频的基准视频质量不满足要求时，则确定所述目标分析视频不属于筛选分析视频；
当所述目标分析视频的基准视频质量满足要求时，将图像质量不满足要求的视频帧作为问题视频帧，当所述目标分析视频中不存在问题视频帧时，则确定所述目标分析视频属于筛选分析视频， 并通过所述基准视频质量确定所述目标分析视频的视频质量；
当所述目标分析视频中存在问题视频帧时，判断问题视频帧的权重值的和是否满足要求，若是，则进入下一步骤，若否，则确定所述目标分析视频不属于筛选分析视频；
基于不同的视频帧与所述目标视频帧的时间间隔将所述视频帧划分至多个时间尺度区间，并根据不同的时间尺度区间内的视频帧的图像质量、不同的视频帧的权重值以及问题视频帧的数量进行不同的时间尺度区间的区间视频质量的确定，当存在预设区间数量以上的区间视频质量不满足要求的时间尺度区间，则确定所述目标分析视频不属于筛选分析视频；
当不存在预设区间数量以上的区间视频质量不满足要求的时间尺度区间时，通过不同的时间尺度区间与所述目标视频帧的时间间隔进行不同的时间尺度区间的权重值的确定，并结合不同的事件尺度区间的区间视频质量以及所述目标分析视频的基础视频质量确定所述目标分析视频的视频质量。
在本实施例中，根据视频帧的图像质量以及不同的视频帧与目标视频帧的时间间隔确定目标分析视频的视频质量以及筛选分析视频，实现了从图像质量以及与目标视频帧的时间间隔两个角度对视频质量的评估，避免了由于目标分析视频的视频质量不满足要求导致的视频剪辑结果的视频质量不满足要求的技术问题，进一步提升了视频剪辑结果的视频质量。
S3将所述筛选分析视频中的不同的视频帧中的存在目标动作的人员作为目标人员，并根据不同的视频帧中的目标人员的人脸识别结果以及动作识别结果进行所述筛选分析视频与预设人员的身份匹配可信度的确定，并通过所述身份匹配可信度对所述筛选分析视频进行筛选得到可信分析视频；
需要说明的是，所述目标动作包括投篮、运球、传球、抢断。
进一步的，如图4所示，所述筛选分析视频与预设人员的身份匹配可信度的确定的方法为：
将所述筛选分析视频中包括所述目标人员的人脸的视频帧作为可靠识别视频帧，并根据所述可靠识别视频帧与所述目标视频帧的时间间隔、不同的可靠识别视频帧的目标人员的人脸与所述预设人员的面部图像的相似度以及不同的可靠识别视频帧的目标人员的人脸的图像质量进行所述筛选分析视频的身份匹配可信度的确定；
根据不同的视频帧中的不同的动作与预设人员的相似度、不同的视频帧的图像质量以及不同的视频帧之间的不同的动作的相似度进行所述筛选分析视频的动作匹配可信度的确定；
通过所述筛选分析视频的身份匹配可信度以及动作匹配可信度进行所述筛选分析视频与预设人员的身份匹配可信度的确定。
在另外的一个可能的实施例中，上述步骤S3中的所述筛选分析视频与预设人员的身份匹配可信度的确定的方法为：
S31根据视频帧中的不同的动作与预设人员的相似度、视频帧的图像质量以及所述视频帧与所述目标视频帧的时间间隔进行所述视频帧的动作识别可信度的确定，判断动作识别可信度满足要求的视频帧的数量是否满足要求，若是，则进入步骤S34，若否，则进入下一步骤；
S32将所述筛选分析视频中包括所述目标人员的人脸的视频帧作为可靠识别视频帧，判断所述可靠识别视频帧的数量是否小于预设视频帧数量，若是，则确定所述筛选分析视频不属于可信分析视频，若否，则进入下一步骤；
S33通过所述可靠识别视频帧与所述目标视频帧的时间间隔、可靠识别视频帧的目标人员的人脸与所述预设人员的面部图像的相似度以及可靠识别视频帧的目标人员的人脸的图像质量进行不同的可靠识别视频帧的面部识别可信度的确定，判断所述面部识别可信度满足要求的视频帧的数量是否满足要求，若是，则进入下一步骤，若否，则确定所述筛选分析视频不属于可信分析视频；
S34根据不同的视频帧的动作识别可信度、动作识别可信度满足要求的视频帧的数量以及与所述目标视频帧的时间间隔小于预设时长的动作识别可信度满足要求的视频帧的数量进行所述视频帧的综合动作识别可信度的确定，根据不同的视频帧的面部识别可信度、面部识别可信度满足要求的视频帧的数量以及与所述目标视频帧的时间间隔小于预设时长的面部识别可信度满足要求的视频帧的数量进行所述视频帧的综合面部识别可信度的确定；
S35基于所述视频帧的综合动作识别可信度以及综合面部识别可信度进行所述筛选分析视频与预设人员的身份匹配可信度的确定。
在另外的一个可能的实施例中，上述步骤S3中的所述筛选分析视频与预设人员的身份匹配可信度的确定的方法为：
根据视频帧中的不同的动作与预设人员的相似度、视频帧的图像质量以及所述视频帧与所述目标视频帧的时间间隔进行所述视频帧的动作识别可信度的确定，将所述筛选分析视频中包括所述目标人员的人脸的视频帧作为可靠识别视频帧；
当所述可靠识别视频帧的数量与动作识别可信度满足要求的视频帧的数量的和不满足要求时，则确定所述筛选分析视频不属于可信分析视频；
当所述可靠识别视频帧以及动作识别可信度满足要求的视频帧的数量不满足要求时，通过所述可靠识别视频帧与所述目标视频帧的时间间隔、可靠识别视频帧的目标人员的人脸与所述预设人员的面部图像的相似度以及可靠识别视频帧的目标人员的人脸的图像质量进行不同的可靠识别视频帧的面部识别可信度的确定，当所述面部识别可信度满足要求的视频帧的数量以及动作识别可信度满足要求的视频帧的数量的和不满足要求时，则确定所述筛选分析视频不属于可信分析视频；
所述面部识别可信度满足要求的视频帧的数量以及动作识别可信度满足要求的视频帧的数量的和满足要求时，根据不同的视频帧的动作识别可信度、动作识别可信度满足要求的视频帧的数量以及与所述目标视频帧的时间间隔小于预设时长的动作识别可信度满足要求的视频帧的数量进行所述视频帧的综合动作识别可信度的确定，根据不同的视频帧的面部识别可信度、面部识别可信度满足要求的视频帧的数量以及与所述目标视频帧的时间间隔小于预设时长的面部识别可信度满足要求的视频帧的数量进行所述视频帧的综合面部识别可信度的确定；
基于所述视频帧的综合动作识别可信度以及综合面部识别可信度进行所述筛选分析视频与预设人员的身份匹配可信度的确定。
进一步的，当不存在所述可信分析视频时，则输出筛选分析视频的可信度不足，暂时无法进行所述预设人员的视频剪辑结果的输出。
在本实施例中，通过身份匹配可信度对筛选分析视频进行筛选得到可信分析视频，从而实现了从动作识别的可信度以及面部图像识别的可信度两个角度进行可信分析视频的筛选，避免了原有的仅采用面部图像的识别导致的识别可信度不准确的技术问题，进一步提升了视频与用户的身份的匹配度。
S4通过不同的可信分析视频的身份匹配可信度以及视频质量进行不同的可信分析视频的剪辑时长的确定，并基于所述剪辑时长以及可信分析视频进行所述预设人员的视频剪辑结果的输出。
在其中的一个可能的实施例中，如图5所示，上述步骤S4中的所述可信分析视频的剪辑时长的确定的方法为：
通过所述可信分析视频的数量以及时长确定所述可信分析视频的时长和是否大于所述预设剪辑时长，若是，则进入下一步骤，若否，则通过不同的可信分析视频的时长进行可信剪辑视频的剪辑时长的确定；
根据不同的可信分析视频所对应的目标事件的类型进行不同的可信分析视频的基础剪辑时长的确定，并根据不同的可信剪辑视频的身份匹配可信度以及视频质量进行不同的可信剪辑视频的综合视频质量的确定；
以所述预设剪辑时长为目标，通过所述综合视频质量以及基础剪辑时长进行不同的可信分析视频的剪辑时长的确定。
在另外的一个可能的实施例中，上述步骤S4中的所述可信分析视频的剪辑时长的确定的方法为：
S41通过所述可信分析视频的数量以及时长确定所述可信分析视频的时长和是否大于所述预设剪辑时长，若是，则进入下一步骤，若否，则通过不同的可信分析视频的时长进行可信剪辑视频的剪辑时长的确定；
S42根据不同的可信分析视频所对应的目标事件的类型确定所述可信剪辑视频所对应的目标事件的类型是否为预设类型，若是，则进入下一步骤，若否，则进入步骤S44；
S43根据所述可信剪辑视频的身份匹配可信度以及视频质量进行所述可信剪辑视频的综合视频质量的确定，判断所述综合视频质量是否满足要求，若是，则基于所述可信分析视频的时长进行可信剪辑视频的剪辑时长的确定，若否，则进入下一步骤；
S44根据不同的可信分析视频所对应的目标事件的类型进行不同的可信分析视频的基础剪辑时长的确定，以所述预设剪辑时长为目标，通过所述综合视频质量以及基础剪辑时长进行不同的可信分析视频的剪辑时长的确定。
在本实施例中，通过不同的可信分析视频的身份匹配可信度以及视频质量进行不同的可信分析视频的剪辑时长的确定，既考虑到不同的可信分析视频的身份匹配情况，同时考虑到不同的可信分析视频的视频质量，保证了身份匹配较高以及视频质量较高的可信分析视频剪辑的时长更长，使得最终的视频剪辑结果的匹配度和视频质量更高。
另一方面，本发明提供了一种计算机系统，包括：通信连接的存储器和处理器，以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，其特征在于：所述处理器运行所述计算机程序时执行上述的一种运动实时视频自动剪辑推送方法。
上述的一种运动实时视频自动剪辑推送方法，具体包括：
通过摄像机进行目标事件的识别确定目标事件的时刻，并根据所述目标事件的时刻进行所述时刻的前后的预设时长内的视频的获取，将其作为目标分析视频；
将包含所述目标事件的视频帧作为目标视频帧，基于预设图像特征进行所述目标分析视频的不同的视频帧的图像质量的确定，并结合不同的视频帧与所述目标视频帧的时间间隔确定所述目标分析视频的视频质量以及筛选分析视频；
将所述筛选分析视频中的不同的视频帧中的存在目标动作的人员作为目标人员，将所述筛选分析视频中包括所述目标人员的人脸的视频帧作为可靠识别视频帧，并根据所述可靠识别视频帧与所述目标视频帧的时间间隔、不同的可靠识别视频帧的目标人员的人脸与所述预设人员的面部图像的相似度以及不同的可靠识别视频帧的目标人员的人脸的图像质量进行所述筛选分析视频的身份匹配可信度的确定；
根据不同的视频帧中的不同的动作与预设人员的相似度、不同的视频帧的图像质量以及不同的视频帧之间的不同的动作的相似度进行所述筛选分析视频的动作匹配可信度的确定；
通过所述筛选分析视频的身份匹配可信度以及动作匹配可信度进行所述筛选分析视频与预设人员的身份匹配可信度的确定，并通过所述身份匹配可信度对所述筛选分析视频进行筛选得到可信分析视频；
通过所述可信分析视频的数量以及时长确定所述可信分析视频的时长和是否大于所述预设剪辑时长，若是，则进入下一步骤，若否，则通过不同的可信分析视频的时长进行可信剪辑视频的剪辑时长的确定；
根据所述可信剪辑视频的身份匹配可信度以及视频质量进行所述可信剪辑视频的综合视频质量的确定，判断所述综合视频质量是否满足要求，若是，则基于所述可信分析视频的时长进行可信剪辑视频的剪辑时长的确定，若否，则进入下一步骤；
根据不同的可信分析视频所对应的目标事件的类型进行不同的可信分析视频的基础剪辑时长的确定，以所述预设剪辑时长为目标，通过所述综合视频质量以及基础剪辑时长进行不同的可信分析视频的剪辑时长的确定，并基于所述剪辑时长以及可信分析视频进行所述预设人员的视频剪辑结果的输出。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书的一个或多个实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (9)

1.一种运动实时视频自动剪辑推送方法，其特征在于，具体包括：
通过摄像机进行目标事件的识别确定目标事件的时刻，并根据所述目标事件的时刻进行所述时刻的前后的预设时长内的视频的获取，将其作为目标分析视频；
将包含所述目标事件的视频帧作为目标视频帧，基于预设图像特征进行所述目标分析视频的不同的视频帧的图像质量的确定，并结合不同的视频帧与所述目标视频帧的时间间隔确定所述目标分析视频的视频质量以及筛选分析视频；
将所述筛选分析视频中的不同的视频帧中的存在目标动作的人员作为目标人员，并根据不同的视频帧中的目标人员的人脸识别结果以及动作识别结果进行所述筛选分析视频与预设人员的身份匹配可信度的确定，并通过所述身份匹配可信度对所述筛选分析视频进行筛选得到可信分析视频；
通过不同的可信分析视频的身份匹配可信度以及视频质量进行不同的可信分析视频的剪辑时长的确定，并基于所述剪辑时长以及可信分析视频进行所述预设人员的视频剪辑结果的输出；
将视频质量满足要求的作为筛选分析视频；
所述可信分析视频的剪辑时长的确定的方法为：
S41通过所述可信分析视频的数量以及时长确定所述可信分析视频的时长和是否大于预设剪辑时长，若是，则进入下一步骤，若否，则通过不同的可信分析视频的时长进行可信剪辑视频的剪辑时长的确定；
S42根据不同的可信分析视频所对应的目标事件的类型确定所述可信剪辑视频所对应的目标事件的类型是否为预设类型，若是，则进入下一步骤，若否，则进入步骤S44；
S43根据所述可信剪辑视频的身份匹配可信度以及视频质量进行所述可信剪辑视频的综合视频质量的确定，判断所述综合视频质量是否满足要求，若是，则基于所述可信分析视频的时长进行可信剪辑视频的剪辑时长的确定，若否，则进入下一步骤；
S44根据不同的可信分析视频所对应的目标事件的类型进行不同的可信分析视频的基础剪辑时长的确定，以所述预设剪辑时长为目标，通过所述综合视频质量以及基础剪辑时长进行不同的可信分析视频的剪辑时长的确定。
2.如权利要求1所述的运动实时视频自动剪辑推送方法，其特征在于，所述摄像机的设置数量至少为3个，并根据篮球框和篮球场的中线位置进行摄像机的设置。
3.如权利要求2所述的运动实时视频自动剪辑推送方法，其特征在于，根据篮球框和篮球场的中线位置进行摄像机的设置，具体包括：
在所述篮球框设置一个摄像机，在所述篮球场的中心位置的球场两侧各设置一个摄像机。
4.如权利要求1所述的运动实时视频自动剪辑推送方法，其特征在于，所述目标事件包括抢断、助攻和进球。
5.如权利要求1所述的运动实时视频自动剪辑推送方法，其特征在于，所述视频帧的图像质量的确定的方法为：
获取所述视频帧的图像噪声，判断所述视频帧的图像噪声是否不满足要求，若是，则通过所述图像噪声进行所述视频帧的图像质量的确定，若否，则进入下一步骤；
提取所述视频帧的纹理特征，并根据所述纹理特征的灰度共生矩阵元素值的平方和以及信息熵进行所述视频帧的纹理图像质量的确定；
基于所述纹理图像质量以及图像噪声确定所述视频帧的图像质量。
6.如权利要求1所述的运动实时视频自动剪辑推送方法，其特征在于，所述目标分析视频的视频质量的确定的方法为：
基于不同的视频帧与所述目标视频帧的时间间隔将所述视频帧划分至多个时间尺度区间，并根据不同的时间尺度区间内的视频帧的图像质量进行不同的时间尺度区间的区间视频质量的确定；
通过不同的时间尺度区间与所述目标视频帧的时间间隔进行不同的时间尺度区间的权重值的确定，并结合不同的事件尺度区间的区间视频质量确定所述目标分析视频的视频质量。
7.如权利要求6所述的运动实时视频自动剪辑推送方法，其特征在于，所述不同的时间尺度区间的区间视频质量的取值范围在0到1之间，其中所述时间尺度区间的区间视频质量越大，则所述时间尺度区间的视频质量越高。
8.如权利要求1所述的运动实时视频自动剪辑推送方法，其特征在于，所述筛选分析视频与预设人员的身份匹配可信度的确定的方法为：
将所述筛选分析视频中包括所述目标人员的人脸的视频帧作为可靠识别视频帧，并根据所述可靠识别视频帧与所述目标视频帧的时间间隔、不同的可靠识别视频帧的目标人员的人脸与所述预设人员的面部图像的相似度以及不同的可靠识别视频帧的目标人员的人脸的图像质量进行所述筛选分析视频的身份匹配可信度的确定；
根据不同的视频帧中的不同的动作与预设人员的相似度、不同的视频帧的图像质量以及不同的视频帧之间的不同的动作的相似度进行所述筛选分析视频的动作匹配可信度的确定；
通过所述筛选分析视频的身份匹配可信度以及动作匹配可信度进行所述筛选分析视频与预设人员的身份匹配可信度的确定。
9.一种计算机系统，包括：通信连接的存储器和处理器，以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，其特征在于：所述处理器运行所述计算机程序时执行权利要求1-8任一项所述的一种运动实时视频自动剪辑推送方法。
CN202410118700.4A 2024-01-29 2024-01-29 一种运动实时视频自动剪辑推送方法与系统 Active CN117651159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410118700.4A CN117651159B (zh) 2024-01-29 2024-01-29 一种运动实时视频自动剪辑推送方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410118700.4A CN117651159B (zh) 2024-01-29 2024-01-29 一种运动实时视频自动剪辑推送方法与系统

Publications (2)

Publication Number Publication Date
CN117651159A CN117651159A (zh) 2024-03-05
CN117651159B true CN117651159B (zh) 2024-04-23

Family

ID=90046350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410118700.4A Active CN117651159B (zh) 2024-01-29 2024-01-29 一种运动实时视频自动剪辑推送方法与系统

Country Status (1)

Country Link
CN (1) CN117651159B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015070235A1 (en) * 2013-11-11 2015-05-14 Quais Taraki Data collection for multiple view generation
CN106534967A (zh) * 2016-10-25 2017-03-22 司马大大（北京）智能系统有限公司 视频剪辑方法及装置
CN110691202A (zh) * 2019-08-28 2020-01-14 咪咕文化科技有限公司 视频剪辑方法、装置及计算机存储介质
WO2020253657A1 (zh) * 2019-06-17 2020-12-24 腾讯科技（深圳）有限公司 视频片段定位方法、装置、计算机设备及存储介质
CN112702535A (zh) * 2021-02-09 2021-04-23 云汉逐影(北京)科技有限公司 一种自动识别跟踪、拍摄剪辑机器视觉系统
CN113395542A (zh) * 2020-10-26 2021-09-14 腾讯科技（深圳）有限公司 基于人工智能的视频生成方法、装置、计算机设备及介质
CN113824900A (zh) * 2021-09-18 2021-12-21 深圳市爱剪辑科技有限公司 一种云端视频剪辑系统
CN114302224A (zh) * 2021-12-23 2022-04-08 新华智云科技有限公司 一种视频智能剪辑方法、装置、设备及存储介质
CN116980697A (zh) * 2023-06-26 2023-10-31 南方科技大学 一种说话人脸视频生成方法、装置、设备及存储介质
CN117459665A (zh) * 2023-10-25 2024-01-26 杭州友义文化传媒有限公司 视频剪辑方法、系统与存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110602546A (zh) * 2019-09-06 2019-12-20 Oppo广东移动通信有限公司 视频生成方法、终端及计算机可读存储介质
CN112559800B (zh) * 2020-12-17 2023-11-14 北京百度网讯科技有限公司 用于处理视频的方法、装置、电子设备、介质和产品

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015070235A1 (en) * 2013-11-11 2015-05-14 Quais Taraki Data collection for multiple view generation
CN106534967A (zh) * 2016-10-25 2017-03-22 司马大大（北京）智能系统有限公司 视频剪辑方法及装置
WO2020253657A1 (zh) * 2019-06-17 2020-12-24 腾讯科技（深圳）有限公司 视频片段定位方法、装置、计算机设备及存储介质
CN110691202A (zh) * 2019-08-28 2020-01-14 咪咕文化科技有限公司 视频剪辑方法、装置及计算机存储介质
CN113395542A (zh) * 2020-10-26 2021-09-14 腾讯科技（深圳）有限公司 基于人工智能的视频生成方法、装置、计算机设备及介质
CN112702535A (zh) * 2021-02-09 2021-04-23 云汉逐影(北京)科技有限公司 一种自动识别跟踪、拍摄剪辑机器视觉系统
CN113824900A (zh) * 2021-09-18 2021-12-21 深圳市爱剪辑科技有限公司 一种云端视频剪辑系统
CN114302224A (zh) * 2021-12-23 2022-04-08 新华智云科技有限公司 一种视频智能剪辑方法、装置、设备及存储介质
CN116980697A (zh) * 2023-06-26 2023-10-31 南方科技大学 一种说话人脸视频生成方法、装置、设备及存储介质
CN117459665A (zh) * 2023-10-25 2024-01-26 杭州友义文化传媒有限公司 视频剪辑方法、系统与存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Wei Huang.Identity-Aware Facial Expression Recognition Via Deep Metric Learning Based on Synthesized Images.《IEEE Transactions on Multimedia》.2021,第第24卷卷第3327-3339页. *
刘雨杭.基于深度特征融合的人脸-语音多模态身份识别研究.《全国优秀硕士学位论文数据库》.2020,第1-78页. *
黄菲 ; 高飞 ; 朱静洁 ; 戴玲娜 ; 俞俊 ; .基于生成对抗网络的异质人脸图像合成:进展与挑战.南京信息工程大学学报(自然科学版).2019,(第06期),第40-61页. *

Also Published As

Publication number Publication date
CN117651159A (zh) 2024-03-05

Similar Documents

Publication Publication Date Title
CN101778260B (zh) 一种基于结构化描述的视频监控管理方法及系统
CN108734107B (zh) 一种基于人脸的多目标跟踪方法及系统
CN109063611B (zh) 一种基于视频语义的人脸识别结果处理方法和装置
CN108629299B (zh) 一种结合人脸匹配的长时间多目标跟踪方法及系统
CN110287907A (zh) 一种对象检测方法和装置
CN111429476B (zh) 确定目标人物行动轨迹的方法和装置
CN109960969B (zh) 移动路线生成的方法、装置及系统
CN112686165A (zh) 视频中目标对象的识别方法、装置、电子设备及存储介质
CN109902681B (zh) 用户群体关系确定方法、装置、设备及存储介质
CN109117771B (zh) 一种基于锚节点的图像中暴力事件检测系统及方法
CN109086717B (zh) 基于人体骨架和运动信号特征的暴力行为检测系统及方法
CN115272967A (zh) 一种跨摄像机行人实时跟踪识别方法、装置及介质
CN111046769A (zh) 一种排队时长检测方法、装置及系统
CN112040325B (zh) 一种视频播放方法、装置、电子设备及存储介质
CN112001280B (zh) 一种实时、可在线优化的人脸识别系统和方法
Xu et al. An efficient and robust system for multiperson event detection in real-world indoor surveillance scenes
CN117651159B (zh) 一种运动实时视频自动剪辑推送方法与系统
CN108960165A (zh) 一种基于智能视频识别技术的体育场馆人群监控方法
CN111553408B (zh) 视频识别软件自动测试的方法
CN113657169B (zh) 一种步态识别方法、装置、系统和计算机可读存储介质
Bertini et al. Semantic adaptation of sport videos with user-centred performance analysis
CN114064669B (zh) 一种人员轨迹特征记录及特征更新方法
CN115376054A (zh) 一种目标检测方法、装置、设备及存储介质
CN113297417B (zh) 视频推送方法、装置、电子设备和存储介质
CN112559583B (zh) 一种同行人识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant