CN110267116A - 视频生成方法、装置、电子设备和计算机可读介质 - Google Patents

视频生成方法、装置、电子设备和计算机可读介质 Download PDF

Info

Publication number
CN110267116A
CN110267116A CN201910430921.4A CN201910430921A CN110267116A CN 110267116 A CN110267116 A CN 110267116A CN 201910430921 A CN201910430921 A CN 201910430921A CN 110267116 A CN110267116 A CN 110267116A
Authority
CN
China
Prior art keywords
segment
bout
target
behavior
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910430921.4A
Other languages
English (en)
Inventor
杨洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201910430921.4A priority Critical patent/CN110267116A/zh
Publication of CN110267116A publication Critical patent/CN110267116A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了视频生成方法、装置、电子设备和计算机可读介质。所述方法的实施例包括：对目标球类比赛视频按比分回合进行切分，生成多个回合片段；确定上述多个回合片段中的目标回合片段；分别从该目标球类比赛视频的起始片段和结束片段中截取目标片段；对所确定的目标回合片段和所截取的目标片段进行拼接，生成目标球类比赛视频的片段集锦。该实施方式对目标球类比赛视频的切分更精确合理，提高了所生成的片段集锦的质量。

Description

视频生成方法、装置、电子设备和计算机可读介质
技术领域
本申请实施例涉及计算机技术领域，具体涉及视频生成方法、装置、电子设备和计算机可读介质。
背景技术
随着球类运动(例如网球运动、羽毛球运动等)逐渐普及，球类比赛越来越受到观众喜爱。以网球为例，现有的网球比赛视频往往耗时较长，如果能够将网球比赛生成精彩片段集锦以供观众观看，将对观众提供很大的便利。
相关的方式，以网球为例，通常首先对网球比赛视频中的帧进行行为动作识别，而后根据识别出的行为动作对网球比赛视频进行切分，进而提取精彩片段，组合为片段集锦。然而，在这种方式中，由于网球比赛各回合结束时通常没有明确的行为动作，因而所切分出的片段通常无法准确与完整回合相对应，从而，导致切分的位置不够精确、片段集锦的质量不佳。
发明内容
本申请实施例提出了视频生成方法、装置、电子设备和计算机可读介质，以解决现有技术中按照行为动作对网球比赛等球类比赛视频进行切分所导致的切分的位置不够精确、片段集锦的质量不佳的技术问题。
第一方面，本申请实施例提供了一种视频生成方法，该方法包括：对目标球类比赛视频按比分回合进行切分，生成多个回合片段；确定多个回合片段中的目标回合片段；分别从目标球类比赛视频的起始片段和结束片段中截取目标片段；对目标回合片段和目标片段进行拼接，生成目标球类比赛视频的片段集锦。
在一些实施例中，对目标球类比赛视频按比分回合进行切分，生成多个回合片段，包括：利用预先训练的文字识别模型，对目标球类比赛视频中的帧所呈现的比分进行识别；将比分发生变化的帧的位置作为目标球类比赛视频的切分位置，在切分位置处对目标球类比赛视频进行切分，生成多个回合片段。
在一些实施例中，利用预先训练的文字识别模型对目标球类比赛视频中的帧所呈现的比分进行识别，包括：对于目标球类比赛视频中的帧，执行如下步骤：将该帧分割为多个区域，选取多个区域中的目标区域；检测目标区域中的文字区域，对文字区域中的像素进行直方图统计，基于统计结果，确定文字区域中的各文字框；将各文字框中的图像输入至预先训练的文字识别模型，得到各文字框中的文字；将所得到的文字进行整合，确定该帧中的比分。
在一些实施例中，确定多个回合片段中的目标回合片段，包括：基于各回合片段的比分，分别确定盘点、局点、赛点对应的回合片段，将所分别确定的回合片段确定为目标回合片段。
在一些实施例中，目标回合片段还包括发球得分回合片段；以及发球得分回合片段通过如下步骤确定：选取时长小于第一预设时长的回合片段，作为候选回合片段；将各候选回合片段中的帧输入至预先训练的景别检测模型，确定所输入的帧的景别，其中，景别包括近景和远景；基于所确定的景别，判断各候选回合片段是否存在近远景切换情况，其中，近远景切换包括从远景到近景的切换和从近景到远景的切换；将不存在近远景切换情况的候选回合片段确定为发球得分回合片段。
在一些实施例中，目标回合片段还包括多拍拉锯战回合片段，多拍拉锯战回合片段为多个回合片段中的时长大于或等于第二预设时长的回合片段。
在一些实施例中，目标回合片段还包括包含上网截击行为的回合片段；以及包含上网截击行为的回合片段通过如下步骤确定：获取目标球类比赛视频中的、景别为远景的多个帧；将所获取的各帧分别输入至预先训练的场地线检测模型，得到各帧对应的场地线检测结果；将所得到的场地线检测结果进行融合，生成场地线信息；对目标球类比赛视频中的景别为远景的帧进行人体检测，将呈现有目标动作的帧作为目标帧，基于场地线信息，确定目标帧中的人体对象在场地中的位置；对于每一个目标帧，响应于确定该帧中的人体对象在场地中的位置位于指定范围内，确定该帧中的人体对象的行为是上网截击行为，以及，将该目标帧所属的回合片段确定为包含上网截击行为的回合片段。
在一些实施例中，分别从目标球类比赛视频的起始片段和结束片段中截取目标片段，包括：将目标球类比赛视频的起始片段中的帧分别输入至预先训练的至少一个第一行为判别模型，以确定所输入的帧中的人体对象的行为是否分别为各第一行为判别模型所判别的第一行为；将目标球类比赛视频的结束片段中的帧分别输入至预先训练的至少一个第二行为判别模型，以确定所输入的帧中的人体对象的行为分别是否各第二行为判别模型所判别的第二行为；基于判别结果，截取存在第一行为的第一行为片段和存在第二行为的第二行为片段，将第一行为片段和第二行为片段确定为目标片段。
在一些实施例中，第一行为片段包括以下至少一项：入场行为片段、选边行为片段；以及第二行为片段包括以下至少一项：握手行为片段、举起奖杯行为片段。
第二方面，本申请实施例提供了一种视频生成装置，该装置包括：切分单元，被配置成对目标球类比赛视频按比分回合进行切分，生成多个回合片段；确定单元，被配置成确定多个回合片段中的目标回合片段；截取单元，被配置成分别从目标球类比赛视频的起始片段和结束片段中截取目标片段；生成单元，被配置成对目标回合片段和目标片段进行拼接，生成目标球类比赛视频的片段集锦。
在一些实施例中，切分单元，包括：识别模块，被配置成利用预先训练的文字识别模型，对目标球类比赛视频中的帧所呈现的比分进行识别；切分模块，被配置成将比分发生变化的帧的位置作为目标球类比赛视频的切分位置，在切分位置处对目标球类比赛视频进行切分，生成多个回合片段。
在一些实施例中，识别模块，进一步被配置成：对于目标球类比赛视频中的帧，执行如下步骤：将该帧分割为多个区域，选取多个区域中的目标区域；检测目标区域中的文字区域，对文字区域中的像素进行直方图统计，基于统计结果，确定文字区域中的各文字框；将各文字框中的图像输入至预先训练的文字识别模型，得到各文字框中的文字；将所得到的文字进行整合，确定该帧中的比分。
在一些实施例中，确定模块，进一步被配置成：基于各回合片段的比分，分别确定盘点、局点、赛点对应的回合片段，将所分别确定的回合片段确定为目标回合片段。
在一些实施例中，目标回合片段还包括发球得分回合片段；以及确定单元，进一步被配置成：通过如下步骤确定发球得分回合片段：选取时长小于第一预设时长的回合片段，作为候选回合片段；将各候选回合片段中的帧输入至预先训练的景别检测模型，确定所输入的帧的景别，其中，景别包括近景和远景；基于所确定的景别，判断各候选回合片段是否存在近远景切换情况，其中，近远景切换包括从远景到近景的切换和从近景到远景的切换；将不存在近远景切换情况的候选回合片段确定为发球得分回合片段。
在一些实施例中，目标回合片段还包括多拍拉锯战回合片段，多拍拉锯战回合片段为多个回合片段中的时长大于或等于第二预设时长的回合片段。
在一些实施例中，目标回合片段还包括包含上网截击行为的回合片段；以及确定单元，进一步被配置成：通过如下步骤确定包含上网截击行为的回合片段：获取目标球类比赛视频中的、景别为远景的多个帧；将所获取的各帧分别输入至预先训练的场地线检测模型，得到各帧对应的场地线检测结果；将所得到的场地线检测结果进行融合，生成场地线信息；对目标球类比赛视频中的景别为远景的帧进行人体检测，将呈现有目标动作的帧作为目标帧，基于场地线信息，确定目标帧中的人体对象在场地中的位置；对于每一个目标帧，响应于确定该帧中的人体对象在场地中的位置位于指定范围内，确定该帧中的人体对象的行为是上网截击行为，以及，将该目标帧所属的回合片段确定为包含上网截击行为的回合片段。
在一些实施例中，截取单元，包括：第一判别模块，被配置成将目标球类比赛视频的起始片段中的帧分别输入至预先训练的至少一个第一行为判别模型，以确定所输入的帧中的人体对象的行为是否分别为各第一行为判别模型所判别的第一行为；第二判别模块，被配置成将目标球类比赛视频的结束片段中的帧分别输入至预先训练的至少一个第二行为判别模型，以确定所输入的帧中的人体对象的行为分别是否各第二行为判别模型所判别的第二行为；确定模块，被配置成基于判别结果，截取存在第一行为的第一行为片段和存在第二行为的第二行为片段，将第一行为片段和第二行为片段确定为目标片段。
在一些实施例中，第一行为片段包括以下至少一项：入场行为片段、选边行为片段；以及，第二行为片段包括以下至少一项：握手行为片段、举起奖杯行为片段。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述第一方面中任一实施例的方法。
第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面中任一实施例的方法。
本申请实施例提供的视频生成方法和装置，通过对目标球类比赛视频按比分回合进行切分，从而生成多个回合片段；而后确定多个回合片段中的目标回合片段；之后分别从目标球类比赛视频的起始片段和结束片段中截取目标片段；最后对目标回合片段和目标片段进行拼接，生成目标球类比赛视频的片段集锦。由于按照比分回合切分目标球类比赛视频，能够使切分出的各回合片段对应有完整的回合，因而利用这种切分方式可以使目标球类比赛视频的切分更精确合理，同时，由于各回合片段对应有完整的回合，因而利用切分后的回合片段进行片段集锦的拼接，能够提高所生成的片段集锦的质量。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是根据本申请的视频生成方法的一个实施例的流程图；
图2是根据本申请的视频生成方法的又一个实施例的流程图；
图3是根据本申请的视频生成方法的一个应用场景的示意图；
图4是根据本申请的视频生成装置的一个实施例的结构示意图；
图5是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1，其示出了根据本申请的视频生成方法的一个实施例的流程100。该视频生成方法，包括以下步骤：
步骤101，对目标球类比赛视频按比分回合进行切分，生成多个回合片段。
在本实施例中，视频生成方法的执行主体(例如服务器等电子设备)可以首先确定目标球类比赛视频的各比分回合。此处，比分回合可以通过比分的变化情况来确定。同一个比分回合中，各帧所呈现的比分相同。当比分发生变化时，可以视为进入下一个比分回合。
此处，目标球类比赛视频可以是网球比赛视频、羽毛球比赛视频、乒乓球比赛视频等单人对抗的球类比赛视频。
在确定上述目标球类比赛视频的各比分回合之后，可以按照比分回合，对上述目标球类比赛视频进行切分，生成多个回合片段。每一个回合片段对应一个比分回合。这里，可以使用各种现有的视频处理方法或者应用(例如ffmpeg(Fast Forward Mpeg)应用)，进行上述目标球类比赛视频的切分，此处不作限定。
这里，目标球类比赛视频中的帧中的比分可以通过各种文字识别方式确定。作为示例，对于某一帧，上述执行主体可以利用OCR(Optical Character Recognition，光学字符识别)技术对该帧中的字符进行识别。具体地，可以首先对该帧进行亮度检测，检测该帧中的多个区域的暗、亮的模式，进而确定字符形状；之后，可以利用各种字符识别方法(例如欧式空间的比对方法、动态程序比对方法等等)将字符形状翻译成计算机文字。进而，确定出该帧中所呈现的比分。
以往的方式中，以网球比赛视频为例，通常首先对网球比赛视频中的帧进行动作识别，而后根据识别出的动作进行切分。但是，由于网球比赛每个动作较快，这种方式所切分的位置不够精确。按照比分回合进行切分，能够使各片段视频的内容较为独立。由此，这种切分方式更加精确合理，有助于提高最终所生成的网球比赛视频的片段集锦的质量。
在本实施例的一些可选的实现方式中，上述执行主体还可以按照如下步骤对上述目标球类比赛视频进行切分：
第一步，利用预先训练的文字识别模型对上述目标球类比赛视频中的帧所呈现的比分进行识别。其中，上述文字识别模型可以是现有的各种用于进行文字识别的模型；也可以是利用机器学习方法，基于样本集(包含图像样本和文字标注)，对现有的模型进行有监督训练得到的。作为示例，上述模型可以使用CNN(Convolutional Neural Network，卷积神经网络)、CRNN(Convolutional Recurrent Neural Network，卷积循环神经网络)等现有的模型结构。此外，上述模型也可以使用CPTN(Connectionist Text Proposal Network)与CRNN相结合的网络结构。
此处，利用文字识别模型，上述执行主体可以利用各种方式进行比分识别。作为示例，可以直接将该帧输入至上述文字识别模型，识别出该帧中的文字。之后，对所识别出的文字进行整合，得到比分。作为又一示例，可以首先识别该帧中的比分牌区域，而后将该比分牌区域输入至文字识别模型，识别出比分牌区域中的比分。
第二步，将比分发生变化的帧的位置作为上述目标球类比赛视频的切分位置，在上述切分位置处对上述目标球类比赛视频进行切分，生成多个回合片段。从而，使切分得到的每一个回合片段对应一个比分回合。需要说明的是，上述比分发生变化的帧，可以是与上一帧中的比分不同的帧。
由此，利用文字识别模型进行比分进行自动识别，相较于以往使用欧式空间的比对、动态程序比对等方法，可以提高识别效率和准确性。
步骤102，确定多个回合片段中的目标回合片段。
在本实施例中，上述执行主体可以从上述多个回合片段中，确定出目标回合片段。其中，上述目标回合片段可以是比较精彩或重要的回合片段。实践中，目标球类比赛的回合片段通常包括但不限于以下至少一项：盘点对应的回合片段、局点对应的回合片段、赛点对应的回合片段、发球得分回合片段、多拍拉锯战回合片段、包含上网截击行为的回合片段、发球失误回合片段等等。这里，可以选取其中的部分类型的回合片段，作为目标回合片段。
在本实施例的一些可选的实现方式中，上述执行主体可以基于各回合片段的比分，分别确定盘点、局点、赛点对应的回合片段，将所分别确定的回合片段确定为目标回合片段。
在本实施例的一些可选的实现方式中，上述目标回合片段还可以包括发球得分回合片段。上述执行主体可以通过如下步骤确定出发球得分回合片段：
第一步，选取时长小于第一预设时长的回合片段，作为候选回合片段。此处，第一预设时长可以根据大量数据统计而预先设定。
第二步，将各候选回合片段中的帧输入至预先训练的景别检测模型，确定所输入的帧的景别。其中，上述景别包括近景和远景。
此处，景别检测模型可以是利用机器学习方法，基于样本集(包含视频样本中的帧和用于指示帧的景别的标注)，对现有的卷积神经网络(Convolutional Neural Network，CNN)进行有监督训练得到的。其中，卷积神经网络可以使用各种现有的结构，例如ResNet、DenseBox、VGGNet、SegNet等。
第三步，基于所确定的景别，判断上述各候选回合片段是否存在近远景切换情况。其中，上述近远景切换包括从远景到近景的切换和从近景到远景的切换。这里，对于某一候选回合片段，若该片段中既存在景别为近景的帧，又存在景别为远景的帧，则确定该候选回合片段是否存在近远景切换情况。
第四步，将不存在近远景切换情况的候选回合片段确定为发球得分回合片段。
在本实施例的一些可选的实现方式中，上述目标回合片段还可以包括多拍拉锯战回合片段。上述执行主体可以将上述多个回合片段中的时长大于或等于第二预设时长的回合片段确定为多拍拉锯战回合片段。此处，第二预设时长可以根据大量数据统计而预先设定。
在本实施例的一些可选的实现方式中，上述目标回合片段还可以包括包含上网截击行为的回合片段。上述执行主体可以通过如下步骤确定出包含上网截击行为的回合片段：
第一步，获取上述目标球类比赛视频中的、景别为远景的多个帧。这里，可以基于上述景别检测模型获取景别为远景的帧。
第二步，将所获取的各帧分别输入至预先训练的场地线检测模型，得到各帧对应的场地线检测结果。其中，场地线检测模型可以用于检测图像中的场地线。
此处，场地线检测模型可以是利用机器学习方法，基于样本集(包含视频样本中的帧和场地线标注(例如场地线交点坐标))，对现有的卷积神经网络(Convolutional NeuralNetwork，CNN)进行有监督训练得到的。其中，卷积神经网络可以使用各种现有的结构，例如ResNet、DenseBox、VGGNet、SegNet等。
第三步，将所得到的场地线检测结果进行融合(例如取平均等融合方式)，生成场地线信息。
第四步，对上述目标球类比赛视频中的景别为远景的帧进行人体检测，将呈现有目标动作的帧作为目标帧，基于上述场地线信息，确定上述目标帧中的人体对象在场地中的位置。这里，目标动作可以是击球动作，或者击球位置高于腰部的击球动作等。通过人体检测，可以确定出人体对象的位置和所执行动作。这里，可以通过现有的人体检测模型进行人体位置和动作的检测。在已知场地线信息的情况下，可以确定出人体对象的位置是否位于场地的指定范围(例如发球区)内。
第五步，对于每一个目标帧，响应于确定该帧中的人体对象在场地中的位置位于指定范围内，确定该帧中的人体对象的行为是上网截击行为，以及，将该目标帧所属的回合片段确定为包含上网截击行为的回合片段。
步骤103，分别从目标球类比赛视频的起始片段和结束片段中截取目标片段。
在本实施例中，上述执行主体可以分别从上述目标球类比赛视频的起始片段和结束片段中截取目标片段。此处，目标球类比赛视频的起始片段、结束片段可以根据预先设定的方式来确定。设定方式此处不作限定。作为示例，可以将上述目标球类比赛视频的前10％的时长对应的片段作为起始片段；将上述目标球类比赛视频的后10％的时长对应的片段作为结束片段。作为又一示例，可以将上述目标球类比赛视频的前10分钟的片段作为起始片段；将上述目标球类比赛视频的最后10分钟的片段作为结束片段。
需要说明的是，上述目标片段可以是目标球类比赛正式开始前和正式结束后具有重要意义的片段。例如，目标片段可以包括但不限于以下至少一项：运动员入场片段、运动员选边片段、赛后握手片段、举起奖杯片段、接受采访片段、发表感言片段。
此处，上述执行主体可以利用不同的行为判别模型进行不同种类的目标片段的识别。例如，可以通过用于判别图像中的人体行为是否为入场行为的行为判别模型，判别某一帧中的运动员的行为是否为入场行为。将连续多帧被判别为入场行为的视频片段作为运动员入场片段。
步骤104，对目标回合片段和目标片段进行拼接，生成目标球类比赛视频的片段集锦。
在本实施例中，上述执行主体可以按照时间顺序对步骤102所确定的目标回合片段和步骤103所截取的目标片段进行排序，并按照所排顺序依次将视频片段(包括目标回合片段和目标片段)进行拼接，生成目标球类比赛视频的片段集锦。
本申请的上述实施例提供的方法，通过对目标球类比赛视频按比分回合进行切分，从而生成多个回合片段；而后确定上述多个回合片段中的目标回合片段；之后分别从上述目标球类比赛视频的起始片段和结束片段中截取目标片段；最后对上述目标回合片段和上述目标片段进行拼接，生成目标球类比赛视频的片段集锦。由于按照比分回合切分目标球类比赛视频，能够使切分出的各回合片段对应有完整的回合，因而利用这种切分方式可以使目标球类比赛视频的切分更精确合理，同时，由于各回合片段对应有完整的回合，因而利用切分后的回合片段进行片段集锦的拼接，能够提高所生成的片段集锦的质量。
进一步参考图2，其示出了视频生成方法的又一个实施例的流程200。该视频生成方法的流程200，包括以下步骤：
步骤201，对于目标球类比赛视频中的帧，将该帧分割为多个区域，选取多个区域中的目标区域。
在本实施例中，对于上述目标球类比赛视频中的帧，视频生成方法的执行主体(例如服务器等电子设备)可以首先将该帧分割为多个区域，选取上述多个区域中的目标区域。这里，可以按照预先设定的分割方式进行帧的分割。例如，可以等分为3×3的9个区域。此处，目标区域可以是目标球类比赛视频的帧中通常设置有比分牌的区域。目标区域的位置可以是技术人员预先指定的(例如左下角区域和右下角区域)。
步骤202，检测目标区域中的文字区域，对文字区域中的像素进行直方图统计，基于统计结果，确定文字区域中的各文字框。
在本实施例中，上述执行主体可以利用OCR技术检测上述目标区域中的文字区域。而后，可以对上述文字区域中的像素进行直方图统计，基于统计结果，确定上述文字区域中的各文字框。此处，可以统计文字框内的同一列的像素的分布，以区分每一列中是否存在文字区域。若存在，直方图通常会出现两个尖峰。若不存在，则通常只有一个尖峰。从而，可以准确地将文字分隔开，得到相互独立的文字框。
这里，由于文字区域较小，仅利用OCR方式所确定的文字的区域的精度还有待提升。结合直方图统计目标区域中的像素的方式，可以更加精确地确定出各文字区域，有助于提高文字识别的准确性。
步骤203，将各文字框中的图像输入至预先训练的文字识别模型，得到各文字框中的文字。
在本实施例中，上述执行主体可以将上述各文字框中的图像输入至预先训练的文字识别模型，得到各文字框中的文字。
步骤204，将所得到的文字进行整合，确定该帧中的比分。
在本实施例中，上述执行主体可以将所得到的文字进行整合(例如，整合为连续的字符串)，确定该帧中的比分。
步骤205，将比分发生变化的帧的位置作为上述目标球类比赛视频的切分位置，在上述切分位置处对上述目标球类比赛视频进行切分，生成多个回合片段。
在本实施例中，上述执行主体可以将比分发生变化的帧的位置作为上述目标球类比赛视频的切分位置，在上述切分位置处对上述目标球类比赛视频进行切分，从而生成多个回合片段。每一个回合片段对应一个比分回合。
以往的方式中，通常首先进行动作识别，而后根据识别出的动作进行视频切分。但是，由于目标球类比赛每个动作较快，这种方式所切分的位置不够精确。按照比分回合进行切分，使对目标球类比赛视频的切分更加精确合理。
步骤206，确定多个回合片段中的目标回合片段。
在本实施例中，由于上述执行主体在对目标球类比赛视频切分过程中已经识别出帧中的比分牌区域的文字(包含比分等信息)，因此，可以基于各回合片段的比分，分别确定盘点、局点、赛点对应的回合片段，将所分别确定的回合片段确定为目标回合片段。
此外，上述目标回合片段还可以包括发球得分回合片段。上述执行主体可以通过如下步骤确定出发球得分回合片段：首先，选取时长小于第一预设时长的回合片段，作为候选回合片段。而后，将各候选回合片段中的帧输入至预先训练的景别检测模型，确定所输入的帧的景别。其中，上述景别包括近景和远景。之后，基于所确定的景别，判断上述各候选回合片段是否存在近远景切换情况，其中，上述近远景切换包括从远景到近景的切换和从近景到远景的切换。最后，将不存在近远景切换情况的候选回合片段确定为发球得分回合片段。
此外，上述目标回合片段还可以包括多拍拉锯战回合片段。上述执行主体可以将上述多个回合片段中的时长大于或等于第二预设时长的回合片段确定为多拍拉锯战回合片段。
此外，上述目标回合片段还可以包括包含上网截击行为的回合片段。上述执行主体可以通过如下步骤确定出包含上网截击行为的回合片段：首先，获取上述目标球类比赛视频中的、景别为远景的多个帧。而后，将所获取的各帧分别输入至预先训练的场地线检测模型，得到各帧对应的场地线检测结果。之后，将所得到的场地线检测结果进行融合(例如取平均等融合方式)，生成场地线信息。然后，对上述目标球类比赛视频中的景别为远景的帧进行人体检测，将呈现有目标动作的帧作为目标帧，基于上述场地线信息，确定上述目标帧中的人体对象在场地中的位置。最后，对于每一个目标帧，响应于确定该帧中的人体对象在场地中的位置位于指定范围内，确定该帧中的人体对象的行为是上网截击行为，以及，将该目标帧所属的回合片段确定为包含上网截击行为的回合片段。
步骤207，将目标球类比赛视频的起始片段中的帧分别输入至预先训练的至少一个第一行为判别模型，以确定所输入的帧中的人体对象的行为是否分别为各第一行为判别模型所判别的第一行为。
在本实施例中，可以将上述目标球类比赛视频的前10％的时长对应的片段作为起始片段。上述执行主体可以将上述起始片段中的帧分别输入至预先训练的至少一个第一行为判别模型，以确定所输入的帧中的人体对象的行为是否分别为各第一行为判别模型所判别的第一行为。上述第一行为可以是在目标球类比赛正式开始前较为精彩或重要的行为。
此处，不同的第一行为判别模型可以对图像中不同种类的第一行为进行识别。例如，入场行为为第一行为之一时，可以通过用于判别图像中的人体行为是否为入场行为的入场行为判别模型，判别某一帧中的运动员的行为是否为入场行为。
步骤208，将目标球类比赛视频的结束片段中的帧分别输入至预先训练的至少一个第二行为判别模型，以确定所输入的帧中的人体对象的行为分别是否各第二行为判别模型所判别的第二行为。
在本实施例中，可以将上述目标球类比赛视频的后10％的时长对应的片段作为结束片段。上述执行主体可以将上述结束片段中的帧分别输入至预先训练的至少一个第二行为判别模型，以确定所输入的帧中的人体对象的行为分别是否各第二行为判别模型所判别的第二行为。上述第一行为可以是在目标球类比赛正式结束后较为精彩或重要的行为。
此处，不同的第二行为判别模型可以对图像中不同种类的第二行为进行识别。例如，握手行为为第二行为之一时，可以通过用于判别图像中的人体行为是否为握手行为的握手行为判别模型，判别某一帧中的运动员的行为是否为握手行为。
步骤209，基于判别结果，截取存在第一行为的第一行为片段和存在第二行为的第二行为片段，将第一行为片段和第二行为片段确定为目标片段。
在本实施例中，上述执行主体可以基于判别结果，截取存在上述第一行为的第一行为片段和存在上述第二行为的第二行为片段。例如，入场行为为第一行为之一时，可以将连续多帧被判别为入场行为的视频片段作为第一行为片段。在确定为第一行为片段和第二行为片段之后，可以将上述第一行为片段和上述第二行为片段确定为目标片段。
在本实施例的一些可选的实现方式中，上述第一行为片段可以包括以下至少一项：入场行为片段、选边行为片段。上述第二行为片段包括以下至少一项：握手行为片段、举起奖杯行为片段。
步骤210，对目标回合片段和目标片段进行拼接，生成目标球类比赛视频的片段集锦。
在本实施例中，上述执行主体可以按照时间顺序对确定的目标回合片段和所截取的目标片段进行排序，并按照所排顺序依次将视频片段(包括目标回合片段和目标片段)进行拼接，生成目标球类比赛视频的片段集锦。
从图2中可以看出，与图1对应的实施例相比，本实施例中的视频生成方法的流程200涉及了利用直方图像素统计、文字识别模型识别比分的步骤。由此，本实施例描述的方案可以更加精确地确定出各文字区域，有助于提高文字识别的准确性。此外，还涉及了将确定盘点、局点、赛点、发球得分、多拍拉锯战、上网截击等目标回合片段的步骤。由此，可以保留目标球类比赛视频中的精彩片段，进一步提高了所生成的目标球类比赛视频的片段集锦的质量。
继续参见图3，图3是根据本实施例的视频生成方法的一个应用场景的示意图。在图3的应用场景中，需要针对网球比赛视频，生成片段集锦。执行视频生成方法的电子设备中可以存储有预先训练的文字识别模型、景别检测模型、场地线检测模型、入场行为判别模型、选边行为判别模型、握手行为判别模型、颁奖行为判别模型等。
上述电子设备在得到网球比赛视频后，可以首先利用上述文字识别模型，检测各帧中的比分。接着，可以对该视频按比分回合进行切分，生成多个回合片段，并结合景别检测模型、场地线检测模型等，确定多个回合片段中的目标回合片段(例如盘点、局点、赛点、发球得分、多拍拉锯战、上网截击等)。
接着，将网球球类比赛视频的起始片段中的帧分别输入至预先训练的入场行为判别模型和选边行为判别模型，以确定所输入的帧中的人体对象的行为是否分别为入场行为和选边行为。
接着，将目标球类比赛视频的结束片段中的帧分别输入至预先训练的握手行为判别模型和颁奖行为判别模型，以确定所输入的帧中的人体对象的行为是否分别为握手行为和颁奖行为。
接着，可以基于判别结果，分别截取存在入场行为、选边行为、握手行为和颁奖行为的片段，并将所截取的片段作为目标片段。
最后，可以对目标回合片段和目标片段进行拼接，生成网球比赛视频的片段集锦。
进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种视频生成装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图4所示，本实施例所述的视频生成装置400包括：切分单元401，被配置成对目标球类比赛视频按比分回合进行切分，生成多个回合片段；确定单元402，被配置成确定上述多个回合片段中的目标回合片段；截取单元403，被配置成分别从上述目标球类比赛视频的起始片段和结束片段中截取目标片段；生成单元404，被配置成对上述目标回合片段和上述目标片段进行拼接，生成目标球类比赛视频的片段集锦。
在本实施例的一些可选的实现方式中，上述切分单元401可以包括识别模块4011和切分模块4012。其中，上述识别模块，被配置成利用预先训练的文字识别模型对上述目标球类比赛视频中的帧所呈现的比分进行识别。上述切分模块，被配置成将比分发生变化的帧的位置作为上述目标球类比赛视频的切分位置，在上述切分位置处对上述目标球类比赛视频进行切分，生成多个回合片段。
在本实施例的一些可选的实现方式中，上述识别模块可以进一步被配置成，对于上述目标球类比赛视频中的帧，执行如下步骤：将该帧分割为多个区域，选取上述多个区域中的目标区域；检测上述目标区域中的文字区域，对上述文字区域中的像素进行直方图统计，基于统计结果，确定上述文字区域中的各文字框；将上述各文字框中的图像输入至预先训练的文字识别模型，得到各文字框中的文字；将所得到的文字进行整合，确定该帧中的比分。
在本实施例的一些可选的实现方式中，上述确定模块可以进一步被配置成：基于各回合片段的比分，分别确定盘点、局点、赛点对应的回合片段，将所分别确定的回合片段确定为目标回合片段。
在本实施例的一些可选的实现方式中，上述目标回合片段还包括发球得分回合片段。以及，上述确定单元402可以进一步被配置成，通过如下步骤确定上述发球得分回合片段：选取时长小于第一预设时长的回合片段，作为候选回合片段；将各候选回合片段中的帧输入至预先训练的景别检测模型，确定所输入的帧的景别，其中，上述景别包括近景和远景；基于所确定的景别，判断上述各候选回合片段是否存在近远景切换情况；将不存在近远景切换情况的候选回合片段确定为发球得分回合片段。
在本实施例的一些可选的实现方式中，上述目标回合片段还可以包括多拍拉锯战回合片段，上述多拍拉锯战回合片段为上述多个回合片段中的时长大于或等于第二预设时长的回合片段。
在本实施例的一些可选的实现方式中，上述目标回合片段还可以包括包含上网截击行为的回合片段。以及，上述确定单元402可以进一步被配置成，通过如下步骤确定上述包含上网截击行为的回合片段：获取上述目标球类比赛视频中的、景别为远景的多个帧；将所获取的各帧分别输入至预先训练的场地线检测模型，得到各帧对应的场地线检测结果；将所得到的场地线检测结果进行融合，生成场地线信息；对上述目标球类比赛视频中的景别为远景的帧进行人体检测，将呈现有目标动作的帧作为目标帧，基于上述场地线信息，确定上述目标帧中的人体对象在场地中的位置；对于每一个目标帧，响应于确定该帧中的人体对象在场地中的位置位于指定范围内，确定该帧中的人体对象的行为是上网截击行为，以及，将该目标帧所属的回合片段确定为包含上网截击行为的回合片段。
在本实施例的一些可选的实现方式中，上述截取单403可以包括第一判别模块4031、第二判别模块4032和确定模块4033。其中，上述第一判别模块可以被配置成将上述目标球类比赛视频的起始片段中的帧分别输入至预先训练的至少一个第一行为判别模型，以确定所输入的帧中的人体对象的行为是否分别为各第一行为判别模型所判别的第一行为。上述第二判别模块可以被配置成将上述目标球类比赛视频的结束片段中的帧分别输入至预先训练的至少一个第二行为判别模型，以确定所输入的帧中的人体对象的行为分别是否各第二行为判别模型所判别的第二行为。上述确定模块可以被配置成基于判别结果，截取存在上述第一行为的第一行为片段和存在上述第二行为的第二行为片段，将上述第一行为片段和上述第二行为片段确定为目标片段。
在本实施例的一些可选的实现方式中，上述第一行为片段可以包括以下至少一项：入场行为片段、选边行为片段。上述第二行为片段包括以下至少一项：握手行为片段、举起奖杯行为片段。
本申请的上述实施例提供的装置，通过切分单元401对目标球类比赛视频按比分回合进行切分，从而生成多个回合片段；而后确定单元402确定上述多个回合片段中的目标回合片段；之后截取单元403分别从上述目标球类比赛视频的起始片段和结束片段中截取目标片段；最后生成单元404对上述目标回合片段和上述目标片段进行拼接，生成目标球类比赛视频的片段集锦。由此，按照比分回合切分目标球类比赛视频，可以使对目标球类比赛视频的切分更精确合理，使回合片段更完整，提高了所生成的片段集锦的质量。
下面参考图5，其示出了适于用来实现本申请实施例的电子设备的计算机系统500的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括切分单元、确定单元、截取单元和生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：对目标球类比赛视频按比分回合进行切分，生成多个回合片段；确定上述多个回合片段中的目标回合片段；分别从该目标球类比赛视频的起始片段和结束片段中截取目标片段；对所确定的目标回合片段和所截取的目标片段进行拼接，生成目标球类比赛视频的片段集锦。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (20)

1.一种视频生成方法，其特征在于，所述方法包括：
对目标球类比赛视频按比分回合进行切分，生成多个回合片段；
确定所述多个回合片段中的目标回合片段；
分别从所述目标球类比赛视频的起始片段和结束片段中截取目标片段；
对所述目标回合片段和所述目标片段进行拼接，生成所述目标球类比赛视频的片段集锦。
2.根据权利要求1所述的视频生成方法，其特征在于，所述对目标球类比赛视频按比分回合进行切分，生成多个回合片段，包括：
利用预先训练的文字识别模型，对所述目标球类比赛视频中的帧所呈现的比分进行识别；
将比分发生变化的帧的位置作为所述目标球类比赛视频的切分位置，在所述切分位置处对所述目标球类比赛视频进行切分，生成多个回合片段。
3.根据权利要求2所述的视频生成方法，其特征在于，所述利用预先训练的文字识别模型，对所述目标球类比赛视频中的帧所呈现的比分进行识别，包括：
对于所述目标球类比赛视频中的帧，执行如下步骤：
将该帧分割为多个区域，选取所述多个区域中的目标区域；
检测所述目标区域中的文字区域，对所述文字区域中的像素进行直方图统计，基于统计结果，确定所述文字区域中的各文字框；
将所述各文字框中的图像输入至预先训练的文字识别模型，得到各文字框中的文字；
将所得到的文字进行整合，确定该帧中的比分。
4.根据权利要求1所述的视频生成方法，其特征在于，所述确定所述多个回合片段中的目标回合片段，包括：
基于各回合片段的比分，分别确定盘点、局点、赛点对应的回合片段，将所分别确定的回合片段确定为目标回合片段。
5.根据权利要求4所述的视频生成方法，其特征在于，所述目标回合片段还包括发球得分回合片段；以及
所述发球得分回合片段通过如下步骤确定：
选取时长小于第一预设时长的回合片段，作为候选回合片段；
将各候选回合片段中的帧输入至预先训练的景别检测模型，确定所输入的帧的景别，其中，所述景别包括近景和远景；
基于所确定的景别，判断所述各候选回合片段是否存在近远景切换情况，其中，所述近远景切换包括从远景到近景的切换和从近景到远景的切换；
将不存在近远景切换情况的候选回合片段确定为发球得分回合片段。
6.根据权利要求4所述的视频生成方法，其特征在于，所述目标回合片段还包括多拍拉锯战回合片段，所述多拍拉锯战回合片段为所述多个回合片段中的时长大于或等于第二预设时长的回合片段。
7.根据权利要求4所述的视频生成方法，其特征在于，所述目标回合片段还包括包含上网截击行为的回合片段；以及
所述包含上网截击行为的回合片段通过如下步骤确定：
获取所述目标球类比赛视频中的、景别为远景的多个帧；
将所获取的各帧分别输入至预先训练的场地线检测模型，得到各帧对应的场地线检测结果；
将所得到的场地线检测结果进行融合，生成场地线信息；
对所述目标球类比赛视频中的景别为远景的帧进行人体检测，将呈现有目标动作的帧作为目标帧，基于所述场地线信息，确定所述目标帧中的人体对象在场地中的位置；
对于每一个目标帧，响应于确定该帧中的人体对象在场地中的位置位于指定范围内，确定该帧中的人体对象的行为是上网截击行为，以及，将该目标帧所属的回合片段确定为包含上网截击行为的回合片段。
8.根据权利要求1所述的视频生成方法，其特征在于，所述分别从所述目标球类比赛视频的起始片段和结束片段中截取目标片段，包括：
将所述目标球类比赛视频的起始片段中的帧分别输入至预先训练的至少一个第一行为判别模型，以确定所输入的帧中的人体对象的行为是否分别为各第一行为判别模型所判别的第一行为；
将所述目标球类比赛视频的结束片段中的帧分别输入至预先训练的至少一个第二行为判别模型，以确定所输入的帧中的人体对象的行为分别是否各第二行为判别模型所判别的第二行为；
基于判别结果，截取存在所述第一行为的第一行为片段和存在所述第二行为的第二行为片段，将所述第一行为片段和所述第二行为片段确定为目标片段。
9.根据权利要求8所述的视频生成方法，其特征在于，所述第一行为片段包括以下至少一项：入场行为片段、选边行为片段；以及
所述第二行为片段包括以下至少一项：握手行为片段、举起奖杯行为片段。
10.一种视频生成装置，其特征在于，所述装置包括：
切分单元，被配置成对目标球类比赛视频按比分回合进行切分，生成多个回合片段；
确定单元，被配置成确定所述多个回合片段中的目标回合片段；
截取单元，被配置成分别从所述目标球类比赛视频的起始片段和结束片段中截取目标片段；
生成单元，被配置成对所述目标回合片段和所述目标片段进行拼接，生成所述目标球类比赛视频的片段集锦。
11.根据权利要求10所述的视频生成装置，其特征在于，所述切分单元，包括：
识别模块，被配置成利用预先训练的文字识别模型，对所述目标球类比赛视频中的帧所呈现的比分进行识别；
切分模块，被配置成将比分发生变化的帧的位置作为所述目标球类比赛视频的切分位置，在所述切分位置处对所述目标球类比赛视频进行切分，生成多个回合片段。
12.根据权利要求11所述的视频生成装置，其特征在于，所述识别模块，进一步被配置成：
对于所述目标球类比赛视频中的帧，执行如下步骤：
将该帧分割为多个区域，选取所述多个区域中的目标区域；
检测所述目标区域中的文字区域，对所述文字区域中的像素进行直方图统计，基于统计结果，确定所述文字区域中的各文字框；
将所述各文字框中的图像输入至预先训练的文字识别模型，得到各文字框中的文字；
将所得到的文字进行整合，确定该帧中的比分。
13.根据权利要求10所述的视频生成装置，其特征在于，所述确定模块，进一步被配置成：
基于各回合片段的比分，分别确定盘点、局点、赛点对应的回合片段，将所分别确定的回合片段确定为目标回合片段。
14.根据权利要求13所述的视频生成装置，其特征在于，所述目标回合片段还包括发球得分回合片段；以及
所述确定单元，进一步被配置成：
通过如下步骤确定所述发球得分回合片段：
选取时长小于第一预设时长的回合片段，作为候选回合片段；
将各候选回合片段中的帧输入至预先训练的景别检测模型，确定所输入的帧的景别，其中，所述景别包括近景和远景；
基于所确定的景别，判断所述各候选回合片段是否存在近远景切换情况，其中，所述近远景切换包括从远景到近景的切换和从近景到远景的切换；
将不存在近远景切换情况的候选回合片段确定为发球得分回合片段。
15.根据权利要求13所述的视频生成装置，其特征在于，所述目标回合片段还包括多拍拉锯战回合片段，所述多拍拉锯战回合片段为所述多个回合片段中的时长大于或等于第二预设时长的回合片段。
16.根据权利要求13所述的视频生成装置，其特征在于，所述目标回合片段还包括包含上网截击行为的回合片段；以及
所述确定单元，进一步被配置成：
通过如下步骤确定所述包含上网截击行为的回合片段：
获取所述目标球类比赛视频中的、景别为远景的多个帧；
将所获取的各帧分别输入至预先训练的场地线检测模型，得到各帧对应的场地线检测结果；
将所得到的场地线检测结果进行融合，生成场地线信息；
对所述目标球类比赛视频中的景别为远景的帧进行人体检测，将呈现有目标动作的帧作为目标帧，基于所述场地线信息，确定所述目标帧中的人体对象在场地中的位置；
对于每一个目标帧，响应于确定该帧中的人体对象在场地中的位置位于指定范围内，确定该帧中的人体对象的行为是上网截击行为，以及，将该目标帧所属的回合片段确定为包含上网截击行为的回合片段。
17.根据权利要求10所述的视频生成装置，其特征在于，所述截取单元，包括：
第一判别模块，被配置成将所述目标球类比赛视频的起始片段中的帧分别输入至预先训练的至少一个第一行为判别模型，以确定所输入的帧中的人体对象的行为是否分别为各第一行为判别模型所判别的第一行为；
第二判别模块，被配置成将所述目标球类比赛视频的结束片段中的帧分别输入至预先训练的至少一个第二行为判别模型，以确定所输入的帧中的人体对象的行为分别是否各第二行为判别模型所判别的第二行为；
确定模块，被配置成基于判别结果，截取存在所述第一行为的第一行为片段和存在所述第二行为的第二行为片段，将所述第一行为片段和所述第二行为片段确定为目标片段。
18.根据权利要求17所述的视频生成装置，其特征在于，所述第一行为片段包括以下至少一项：入场行为片段、选边行为片段；以及，所述第二行为片段包括以下至少一项：握手行为片段、举起奖杯行为片段。
19.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。
20.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的方法。
CN201910430921.4A 2019-05-22 2019-05-22 视频生成方法、装置、电子设备和计算机可读介质 Pending CN110267116A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910430921.4A CN110267116A (zh) 2019-05-22 2019-05-22 视频生成方法、装置、电子设备和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910430921.4A CN110267116A (zh) 2019-05-22 2019-05-22 视频生成方法、装置、电子设备和计算机可读介质

Publications (1)

Publication Number Publication Date
CN110267116A true CN110267116A (zh) 2019-09-20

Family

ID=67915191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910430921.4A Pending CN110267116A (zh) 2019-05-22 2019-05-22 视频生成方法、装置、电子设备和计算机可读介质

Country Status (1)

Country Link
CN (1) CN110267116A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830847A (zh) * 2019-10-24 2020-02-21 杭州威佩网络科技有限公司 一种截取比赛视频片段的方法、装置及电子设备
CN111212321A (zh) * 2020-01-10 2020-05-29 上海摩象网络科技有限公司 视频处理方法、装置、设备及计算机存储介质
CN112560728A (zh) * 2020-12-22 2021-03-26 上海哔哩哔哩科技有限公司 目标对象识别方法及装置
CN113343843A (zh) * 2021-06-04 2021-09-03 北京格灵深瞳信息技术股份有限公司 目标战术识别方法、装置、电子设备及存储介质
CN113507630A (zh) * 2021-07-08 2021-10-15 北京百度网讯科技有限公司 比赛视频的拆条方法和装置
CN113537052A (zh) * 2021-07-14 2021-10-22 北京百度网讯科技有限公司 一种视频片段抽取方法、装置、设备及存储介质
CN113569095A (zh) * 2021-07-23 2021-10-29 北京百度网讯科技有限公司 结构化信息抽取方法、装置、设备以及存储介质
CN113810751A (zh) * 2020-06-12 2021-12-17 阿里巴巴集团控股有限公司 视频处理方法及设备、电子设备及服务器
CN114363669A (zh) * 2021-12-29 2022-04-15 北京达佳互联信息技术有限公司 信息显示方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080310727A1 (en) * 2007-06-18 2008-12-18 Sony (China) Limited Moving image analyzing apparatus, method and system
CN104581193A (zh) * 2015-01-20 2015-04-29 卡内基投资科技有限公司 一种精彩片段直播视频的生成方法
CN107241645A (zh) * 2017-06-09 2017-10-10 成都索贝数码科技股份有限公司 一种通过对视频的字幕识别自动提取进球精彩瞬间的方法
CN107615766A (zh) * 2015-04-16 2018-01-19 维斯克体育科技有限公司 用于创建和分配多媒体内容的系统和方法
CN109145784A (zh) * 2018-08-03 2019-01-04 百度在线网络技术（北京）有限公司 用于处理视频的方法和装置
CN109344292A (zh) * 2018-09-28 2019-02-15 百度在线网络技术（北京）有限公司 赛事得分片段的生成方法、装置、服务器和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080310727A1 (en) * 2007-06-18 2008-12-18 Sony (China) Limited Moving image analyzing apparatus, method and system
CN104581193A (zh) * 2015-01-20 2015-04-29 卡内基投资科技有限公司 一种精彩片段直播视频的生成方法
CN107615766A (zh) * 2015-04-16 2018-01-19 维斯克体育科技有限公司 用于创建和分配多媒体内容的系统和方法
CN107241645A (zh) * 2017-06-09 2017-10-10 成都索贝数码科技股份有限公司 一种通过对视频的字幕识别自动提取进球精彩瞬间的方法
CN109145784A (zh) * 2018-08-03 2019-01-04 百度在线网络技术（北京）有限公司 用于处理视频的方法和装置
CN109344292A (zh) * 2018-09-28 2019-02-15 百度在线网络技术（北京）有限公司 赛事得分片段的生成方法、装置、服务器和存储介质

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830847A (zh) * 2019-10-24 2020-02-21 杭州威佩网络科技有限公司 一种截取比赛视频片段的方法、装置及电子设备
CN111212321A (zh) * 2020-01-10 2020-05-29 上海摩象网络科技有限公司 视频处理方法、装置、设备及计算机存储介质
CN113810751A (zh) * 2020-06-12 2021-12-17 阿里巴巴集团控股有限公司 视频处理方法及设备、电子设备及服务器
CN113810751B (zh) * 2020-06-12 2022-10-28 阿里巴巴集团控股有限公司 视频处理方法及设备、电子设备及服务器
CN112560728A (zh) * 2020-12-22 2021-03-26 上海哔哩哔哩科技有限公司 目标对象识别方法及装置
CN112560728B (zh) * 2020-12-22 2023-07-11 上海幻电信息科技有限公司 目标对象识别方法及装置
CN113343843A (zh) * 2021-06-04 2021-09-03 北京格灵深瞳信息技术股份有限公司 目标战术识别方法、装置、电子设备及存储介质
CN113507630A (zh) * 2021-07-08 2021-10-15 北京百度网讯科技有限公司 比赛视频的拆条方法和装置
CN113537052A (zh) * 2021-07-14 2021-10-22 北京百度网讯科技有限公司 一种视频片段抽取方法、装置、设备及存储介质
CN113537052B (zh) * 2021-07-14 2023-07-28 北京百度网讯科技有限公司 一种视频片段抽取方法、装置、设备及存储介质
CN113569095A (zh) * 2021-07-23 2021-10-29 北京百度网讯科技有限公司 结构化信息抽取方法、装置、设备以及存储介质
CN114363669A (zh) * 2021-12-29 2022-04-15 北京达佳互联信息技术有限公司 信息显示方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110267116A (zh) 视频生成方法、装置、电子设备和计算机可读介质
US10803762B2 (en) Body-motion assessment device, dance assessment device, karaoke device, and game device
EP3473016B1 (en) Method and system for automatically producing video highlights
CN109640112B (zh) 视频处理方法、装置、设备及存储介质
CN110347872B (zh) 视频封面图像提取方法及装置、存储介质及电子设备
CN109729395B (zh) 视频质量评估方法、装置、存储介质和计算机设备
US11839805B2 (en) Computer vision and artificial intelligence applications in basketball
US20240082734A1 (en) In-game resource surfacing platform
CN111686450B (zh) 游戏的剧本生成及运行方法、装置、电子设备和存储介质
CN111228821B (zh) 智能检测穿墙外挂方法、装置、设备及其存储介质
US20230330485A1 (en) Personalizing Prediction of Performance using Data and Body-Pose for Analysis of Sporting Performance
US20210394060A1 (en) Method and system for automatically generating video highlights for a video game player using artificial intelligence (ai)
CN109224444A (zh) 游戏人物识别方法、装置、存储介质和电子设备
JP2018081630A (ja) 検索装置、検索方法およびプログラム
CN111414948A (zh) 目标对象检测方法和相关装置
CN109344697A (zh) 一种对抗性竞赛中的精彩时刻识别方法
CN110314361B (zh) 一种基于卷积神经网络的篮球进球得分判断方法及系统
CN110198472B (zh) 视频资源的播放方法及装置
CN105848737B (zh) 解析装置、记录媒体和解析方法
US20240013675A1 (en) A computerized method for facilitating motor learning of motor skills and system thereof
US20220122352A1 (en) Method and apparatus for detecting game prop in game region, device, and storage medium
CN116324668A (zh) 从非职业跟踪数据预测nba天赋和质量
CN112308013B (zh) 一种基于深度学习的足球球员追踪方法
US20240066355A1 (en) Live Tournament Predictions in Tennis
US20220355182A1 (en) Live Prediction of Player Performances in Tennis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190920

RJ01 Rejection of invention patent application after publication