CN112347941A - 基于5g mec的运动视频集锦智能生成和分发方法 - Google Patents

基于5g mec的运动视频集锦智能生成和分发方法 Download PDF

Info

Publication number
CN112347941A
CN112347941A CN202011238128.3A CN202011238128A CN112347941A CN 112347941 A CN112347941 A CN 112347941A CN 202011238128 A CN202011238128 A CN 202011238128A CN 112347941 A CN112347941 A CN 112347941A
Authority
CN
China
Prior art keywords
user
mec
highlight
video
mec server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011238128.3A
Other languages
English (en)
Other versions
CN112347941B (zh
Inventor
王正康
章小奇
姚琪琪
成曦
骆冰清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zijin Sports Industry Corp ltd
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Zijin Sports Industry Corp ltd
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zijin Sports Industry Corp ltd, Nanjing University of Posts and Telecommunications filed Critical Nanjing Zijin Sports Industry Corp ltd
Priority to CN202011238128.3A priority Critical patent/CN112347941B/zh
Publication of CN112347941A publication Critical patent/CN112347941A/zh
Application granted granted Critical
Publication of CN112347941B publication Critical patent/CN112347941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于5G MEC的运动视频集锦智能生成和分发方法，包括以运动器材为检测主体定位关键帧，将动作开始时刻到结束时刻的这一片段作为关键帧所在的精彩片段；从多个视频采集设备拍摄的同一时段的精彩片段中识别做出关键帧中动作的人物的人脸，并将识别出的人脸与该用户数据库中的人脸图像进行对比，以判断精彩片段是否属于该用户；视频采集设备的本地MEC服务器将用户专属的精彩片段集锦分发到以往响应该用户请求次数最多的MEC服务器，该用户请求查看其专属集锦内容时，由该用户的本地MEC服务器响应。本发明能够降低中心服务器的压力，减少链路延迟，定位运动视频中的精彩片段，生成针对每一位用户的专属精彩集锦，吸引用户的注意力和兴趣。

Description

基于5G MEC的运动视频集锦智能生成和分发方法
技术领域
本发明涉及视频图像处理技术领域，特别涉及一种基于5G MEC的运动视频集锦智能生成和分发方法。
背景技术
随着互联网的发展，体育场馆趋向于智能化建设。场馆中安装大量的监控设备，监控设备产生大量的视频数据。首先，处理这些数据会消耗大量的服务器资源。其次，从这些视频数据中心挖掘到一些片段吸引用户的注意和兴趣对场馆来说也非常重要。
以往对监控视频的处理都由中心服务器完成，监控视频中大量没有价值的内容，增加中心服务器的压力，5G的到来使我们进入万物互联的时代。移动边缘计算(MobileEdge Computing,MEC)概念最初于2013年出现。IBM与Nokia Siemens网络当时共同推出了一款计算平台，可在无线基站内部运行应用程序，向移动用户提供业务。欧洲电信标准协会(European Telecommunications Standards Institute,ETSI)于2014年成立移动边缘计算规范工作组(Mobile Edge Computing Industry Specification Group)，正式宣布推动移动边缘计算标准化。2016年，ETSI把MEC的概念扩展为多接入边缘计算(Multi-AccessEdge Computing,MEC)，将边缘计算从电信蜂窝网络进一步延伸至其他无线接入网络(如WiFi)。目前，MEC已经发展演进为5G移动通信系统的重要技术之一。
现有技术中往往以事件为主体进行识别和剪辑，且不能够生成针对用户个人的精彩集锦，仅对赛事视频进行截取和播放，无法满足用户观看自己运动视频精彩片段的个性化需要。并且，现有技术中采用中心服务器而没有使用到多接入边缘计算技术，所有视频的剪辑与集锦生成都在中心服务器中完成，当视频流较大时，会使中心服务器的负载过大，链路延迟增加。
发明内容
针对现有技术中的问题，本发明提出一种基于5G MEC的运动视频集锦智能生成和分发方法，能够降低中心服务器的压力，减少链路延迟，定位运动视频中的精彩片段，生成针对每一位用户的专属精彩集锦，吸引每一位用户的注意力和兴趣。
本发明提出的基于5G MEC的运动视频集锦智能生成和分发方法，使用多接入边缘计算技术对体育场馆中的视频进行剪辑处理，具体包括以下步骤：
步骤1、对视频采集设备上传到本地MEC服务器的视频进行预处理，得到需要剪辑的视频；
步骤2、以运动器材为检测主体，在需要剪辑的视频中定位关键帧，再从所述关键帧的前后片段中定位关键帧所在精彩片段的开始时刻和结束时刻；
步骤3、从多个视频采集设备拍摄的同一时段的所述精彩片段中识别做出关键帧中动作的人物的人脸，并将识别出的人脸与目标用户数据库中的人脸图像进行对比，以判断所述精彩片段是否属于该用户，如是，则将所述精彩片段添加到该用户的精彩片段列表，否则丢弃所述精彩片段；
步骤4、视频采集设备的本地MEC服务器将目标用户专属的精彩片段集锦分发到以往响应该用户请求次数最多的MEC服务器，该用户请求查看其专属集锦内容时，由该用户的本地MEC服务器响应。
进一步的，所述在需要剪辑的视频中定位关键帧通过双流卷积网络完成，具体过程为，所述双流卷积网络包括时间流卷积和空间流卷积，所述时间流卷积以需要剪辑的视频连续帧之间的光流作为输入，提取运动的时间信息；所述空间流卷积以需要剪辑的视频中帧的RGB图像作为输入，提取空间信息，再将所述时间信息和所述空间信息进行线性加权，定位到所述关键帧。
进一步的，所述从多个视频采集设备拍摄的同一时段的所述精彩片段中识别做出关键帧中动作的人物的人脸，具体为，
步骤301、从用户的候选精彩片段列表中选取一个精彩片段，并从分布在场馆的m个视频采集设备拍摄的视频中分别定位出在所述精彩片段所在的时间段内，动作人物做出关键动作的视频图像帧，得到m个视频图像帧组成的集合F＝{f1,f2,f3,…fm}；
步骤302、对集合F中的m个图像分别检测其中作出关键动作的目标人物，得到m个只含有目标人物的图像，组成目标人物图像集合T＝{t1,t2,t3,…tm}；
步骤303、检测目标人物图像集合T中的m个目标人物的人脸，得到m个人脸图像，组成人脸图像集合P＝{p1,p2,p3,…pm}；
步骤304、对集合P中的m个人脸图像分别进行特征提取，然后进行评分，选择评分最高的人脸图像pi。
进一步的，所述视频采集设备的本地MEC服务器将所述用户专属的精彩片段集锦分发到以往响应所述用户请求次数最多的MEC服务器，具体为，首先视频采集设备的本地MEC服务器从中心服务器获取到精彩片段所对应用户的以往请求响应记录，然后将精彩片段集锦内容通过MEC服务器之间的专线分发给响应该用户请求次数最多的MEC服务器，并将此次分发记录在中心服务器中。
本发明使用多接入边缘计算技术对体育场馆视频数据进行剪辑处理，并且在用户发出内容请求时由本地MEC服务器进行响应，缓解了中心服务器的压力，降低了网络时延。在从视频中检测精彩片段时使用基于运动器材定位关键帧的精彩片段检测方法，能够提高精彩片段检测的准确度；使用基于多摄像头提取精彩片段中关键动作的人脸识别方法，对检测到的精彩片段进行识别分类，找出属于该用户的精彩片段，为每一位用户生成其专属的集锦，增加了用户体验感，吸引了用户的兴趣；在进行内容分发时使用一种基于MEC的协作式用户专属精彩片段分发方法，能在一定程度上提高内容分发的命中率，尽可能的做到请求由本地MEC服务器直接响应。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例基于5G MEC的运动视频集锦智能生成和分发方法流程图；
图2为图1实施例中基于运动器材定位精彩片段的流程图；
图3为本发明实施例中双流卷积网络结构示意图；
图4为本发明实施例中Faster-RCNN网络结构图；
图5为图1实施例中基于MEC的协作式用户专属精彩片段分发系统网络图；
图6为本发明实施例中视频采集设备本地MEC服务器分发用户专属精彩片段流程图；
图7为本发明实施例中用户请求集锦内容时MEC服务器的响应过程流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本实施例是一种基于5G MEC的运动视频集锦智能生成和分发方法，使用多接入边缘计算技术对体育场馆中视频采集设备采集的视频内容进行剪辑处理，具体流程如图1所示。
步骤1、对视频采集设备上传到其本地MEC服务器的视频进行预处理，得到需要剪辑的视频；
步骤2、以运动器材为检测主体，在需要剪辑的视频中定位关键帧，再从所述关键帧的前后片段中定位关键帧所在精彩片段的开始时刻和结束时刻；
步骤3、从多个视频采集设备拍摄的同一时段的所述精彩片段中识别做出关键帧中动作的人物的人脸，并将识别出的人脸与目标用户数据库中的人脸图像进行对比，以判断所述精彩片段是否属于该用户，如是，则将所述精彩片段添加到该用户的精彩片段列表，否则丢弃所述精彩片段；
步骤4、视频采集设备的本地MEC服务器将所述用户专属的精彩片段集锦分发到以往响应该用户请求次数最多的MEC服务器，该用户请求查看其专属集锦内容时，由该用户的本地MEC服务器响应。
首先，基于运动器材定位精彩片段并且结合场馆预约时间信息提取预约时间段内所有的精彩片段。具体实施步骤如下。
如图2所示，先对视频进行预处理，根据场馆被预约的时间定位到视频中的运动片段。从中心服务器中获取到场馆的预约时间表，确定场馆在哪些时间段被预约使用以及该时间段内的预约者，从视频采集设备上传的视频中选取预约时间段内的视频片段。通过预约时间可以快速准确地定位未处理过的视频中的运动片段，实现对视频的预处理。
预处理后得到的是用户在其预约时间段内的运动片段，用户的精彩片段一定存在于预处理后得到的运动片段中，因此，先定位到该运动片段可以缩小下一步精彩片段检测的范围，提高检测的效率。
然后从前面得到的运动片段中检测精彩片段。首先输入预处理阶段得到的运动视频片段，视频以连续帧的形式表示。以运动器材为主体进行检测。以篮球运动为例，对篮框部位进行重点检测，本实施例采用利用双流卷积网络提取特征图，利用提取的特征训练模型去定位关键帧，该关键帧即为进球时刻的视频帧。
双流卷积网络的结构如图3所示。对于双流卷积网络中的时间流卷积，使用视频连续帧之间的光流作为输入，通过卷积网络提取运动时间信息，对于双流卷积网络中的空间流卷积，使用视频帧的RGB图像作为输入，通过卷积网络提取空间信息，然后将两个网络提取的信息进行线性加权得到输出，定位到运动视频片段的关键帧。使用上述方法再利用双流卷积网络提取的特征训练模型从该关键帧的前后视频片段中去分别定位该关键帧所在精彩片段的开始时刻和结束时刻，最后得到该关键帧所在的精彩片段。
检测精彩片段时以运动器材(例如篮球运动中的篮框)为检测主体，从寻找运动片段中的关键帧(进球时刻)入手，再从该关键帧分别向前后检测开始和结束时刻，这样可以在一定程度上避免直接检测运动人员动作时由于人员遮挡、某些片段的起始动作具有较高的相似性等因素造成的错检、漏检等问题。
其次，基于多摄像头提取精彩片段中关键动作的人脸识别方法判断出哪些精彩片段属于该用户，实现用户在场馆运动的精彩瞬间的自动集锦。具体实施步骤如下。
MEC服务器需要根据用户的人脸信息从用户的候选精彩列表中识别出属于该用户的精彩片段，自动生成每一位用户专属的精彩片段集锦。但是由于单一监控视频拍摄角度限制、视频中的运动人员存在遮挡等问题导致人脸识别效果不理想，为了解决上述问题，本实施例使用一种基于多摄像头提取精彩片段中关键动作的人脸识别方法。该方法结合运动器材(例如篮球运动中的篮球)定位精彩片段中运动人员的关键动作(例如投篮时的篮球出手时刻)，从场馆中多个摄像头拍摄的视频中提取做出该关键动作的运动人员的人脸图像，将人脸图像与人脸数据库中该用户的人脸图像进行比对来判断该精彩片段是否属于该用户。此方法不仅能提高关键动作识别准确度，还能提升人脸识别的效果。
在一些实施方式中，首先从该用户的候选精彩列表中选取一个精彩片段，使用上述利用双流网络基于运动器材定位关键帧的方法从该精彩片段所在的时间段内该场馆m个摄像头拍摄的视频中分别定位运动人员关键动作的视频图像帧，总共可以定位出m个视频图像帧，这m个视频图像帧便组成了一个视频图像帧集合F＝{f1,f2,f3,…fm}。
对视频图像帧集合F中的m个图像分别使用Faster-RCNN检测其中做出关键动作的人物(目标运动人员)，得到m个只含有目标运动人员的图像，组成目标运动人员图像集合T＝{t1,t2,t3,…tm}。
Faster-RCNN网络结构如图4所示，输入视频图像帧集合F中视频图像fi，使用卷积神经网络提取fi的特征，将多个卷积层特征图进行融合，包括低层特征图和高层特征图。这里使用L2规范化处理多个特征图，再将多个特征图在深度上连接，最后利用1×1卷积将其融合成一个特征图，将该特征图输入到RPN网络中找到所有可能包含目标运动人员的候选区域，将RPN网络中锚框的长宽比设置为1:1，1:1.5，2:1三种，锚框的尺度设置为16×16，32×32，64×64，128×128，256×256五种，ROI池化层将特征图与RPN网络生成的包含目标运动人员的检测框及其位置整合起来，并统一为相同的尺寸送入全连接层，通过Softmax分类与目标框回归进一步获得只含有目标运动人员的图像。
作为优选的实施方式，使用不同的数据集对上述Faster-RCNN网络进行训练，数据集中包含人脸图片和非人脸图片。对目标运动人员图像集合T中的m个目标运动人员图像分别用该Faster-RCNN检测其中的人脸，得到m个人脸图像，组成人脸图像集合P＝{p1,p2,p3,…pm},具体人脸检测方法与上述目标运动人员检测方法类似。
将识别出的人脸与该用户数据库中的人脸图像进行对比具体为，使用该用户数据库中的人脸图像对残差网络进行训练，得到用于人脸识别的模型，利用所述人脸识别的模型判断评分最高的人脸图像的人脸特征是否与该用户数据库中的人脸特征匹配，如果是则将所述评分最高的人脸图像存入该用户数据库。
具体为，对上述人脸图像集合P中的人脸图像分别进行特征提取，并通过图像的角度、大小、清晰度、对比度等多种评价指标来综合评价人脸图像，得出各自的评价系数(0,1.0)，通过各系数所占比重(1,100)进行加权计算，得出各人脸图像的评价得分。从上述各人脸图像中选择评价得分最高的人脸图像pi。使用该用户人脸数据库中的人脸图像对残差网络(Residual Network，ResNet)进行训练，得到用于人脸识别的模型，利用该模型判断上述评价得分最高的人脸图像pi的人脸特征是否与该用户的人脸特征匹配，进而判断该精彩片段是否属于该用户，如果属于该用户，为该精彩片段添加特效并存入该用户的精彩集锦列表，添加的特效包括但不限于添加片头、片尾、字幕、模板、滤镜和转场特效等。同时将上述最佳人脸图像存入该用户的人脸数据库，实现对人脸库的完善，使后续识别比对更加精准。
最后，基于MEC的协作式用户专属精彩片段分发方法将用户专属的精彩片段集锦内容从视频采集设备的本地MEC服务器分发至其它MEC服务器，当用户请求查看集锦时再由用户本地MEC服务器响应请求。
视频采集设备的本地MEC服务器要将用户专属的精彩片段进行分发，如果要将专属于某一位用户的精彩片段分发至所有的MEC服务器会产生大量的能耗并且造成存储、计算等的资源的浪费。为了能将内容直接分发到精彩片段对应用户的本地MEC服务器，使本地MEC服务器直接响应用户查看其专属集锦内容的请求，本实施例采用基于MEC的协作式用户专属精彩片段分发方法，该方法在分发时参考精彩片段所属的用户以往请求服务时哪些MEC服务器对其请求进行了响应，基于这些请求响应信息决定将内容分发至哪个MEC服务器，尽可能提高内容分发的命中率，为了能在本地为用户提供服务，用户本地MEC服务器首先需要拥有用户所请求的内容，该内容被分发到用户本地MEC服务器上的概率即为内容分发的命中率。具体实施步骤如下。
具体的，如图5所示，在每个基站站点部署MEC服务器，用户本地MEC服务器即为用户终端设备本地的MEC服务器，例如，MEC服务器A即为终端设备A的本地MEC服务器，相邻区域内的基站和部署在其上的MEC服务器构成一个协作分发域，c1，c2，c3构成一个协作分发域。一个协作分发域中的各个MEC服务器之间可以相互通信，相互协作，实现内容的共享，不同的协作分发域中的各MEC服务器之间通过专线连接，可以实现内容的相互分发，中心服务器中会存放对用户的响应记录以及MEC服务器之间的分发记录，以便对各用户的请求响应信息进行分析以及对各MEC服务器进行调度。每一次用户请求内容时，本地MEC服务器对用户请求进行响应之后将本次响应记录在中心服务器中。
结合图6对视频采集设备的本地MEC服务器分发用户专属精彩片段时的过程进行详细说明：
首先视频采集设备的本地MEC服务器从中心服务器中获取到该精彩片段对应用户以往的请求响应记录，然后将集锦内容通过MEC服务器之间的专线分发给响应该用户请求次数最多的MEC服务器并将此次分发记录在中心服务器中。考虑到用户请求内容一般会使用PC、智能平板、智能手机等设备，而一般PC设备、智能平板等的移动性较差，每次请求基本都会由同一MEC服务器响应，虽然智能手机具有较强的移动性，但是一般来说用户的活动范围有限，一个协作分发域基本上会覆盖用户的活动范围，所以基于以上分析，将用户专属的集锦内容分发至响应该用户请求次数最多的MEC服务器，这样会一定程度上提高内容分发的命中率。
结合图7对用户请求集锦内容时MEC服务器的响应过程进行详细说明：
首先用户向其本地MEC服务器发出请求，如果本地MEC服务器中有该内容，则由该服务器处理用户的请求并传输相应的内容给用户；如果本地MEC服务器中没有该用户请求的内容，则请求被转发至协作分发域内的其它MEC服务器上，如果协作分发域中的某一个MEC服务器有该用户请求的内容，则将内容发送给用户的本地MEC服务器，由用户本地MEC服务器来处理用户请求并将内容传输给用户；如果协作分发域中没有MEC服务器能满足用户请求，则将请求发送至中心服务器，中心服务器查找该内容所在的MEC服务器并使该MEC服务器将内容发送至用户的本地MEC服务器，由用户本地MEC服务器处理用户请求并将内容传输给用户。
本发明提出的使用多接入边缘计算技术对体育场馆视频数据进行剪辑处理，并且在用户发出内容请求时由本地MEC服务器进行响应，缓解了中心服务器的压力，降低了网络时延。在进行内容分发时使用一种基于MEC的协作式用户专属精彩片段分发方法，能在一定程度上提高内容分发的命中率，尽可能的做到请求由本地MEC服务器直接响应。检测精彩片段时使用一种基于运动器材定位关键帧的精彩片段检测方法，能够提高精彩片段检测的准确度。使用基于多摄像头提取精彩片段中关键动作的人脸识别方法对检测到的精彩片段进行识别分类，找出属于该用户的精彩片段，为每一位用户生成其专属的集锦，增加了用户体验感，吸引了用户的兴趣。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。

Claims (10)

1.基于5G MEC的运动视频集锦智能生成和分发方法，其特征在于，包括
步骤1、对视频采集设备上传到其本地MEC服务器的视频进行预处理，得到需要剪辑的视频；
步骤2、以运动器材为检测主体，在需要剪辑的视频中定位关键帧，再从所述关键帧的前后片段中定位关键帧所在精彩片段的开始时刻和结束时刻；
步骤3、从多个视频采集设备拍摄的同一时段的所述精彩片段中识别做出关键帧中动作的人物的人脸，并将识别出的人脸与目标用户数据库中的人脸图像进行对比，以判断所述精彩片段是否属于该用户，如是，则将所述精彩片段添加到该用户的精彩片段列表，否则丢弃所述精彩片段；
步骤4、视频采集设备的本地MEC服务器将目标用户专属的精彩片段集锦分发到以往响应该用户请求次数最多的MEC服务器，该用户请求查看其专属集锦内容时，由该用户的本地MEC服务器响应。
2.根据权利要求1所述的基于5G MEC的运动视频集锦智能生成和分发方法，其特征在于，所述对视频采集设备上传到本地MEC服务器的视频进行预处理，得到需要剪辑的视频，具体为，从中心服务器获取场馆的预约时间表，根据用户名称匹配其对应的预约时段，提取该预约时段的视频。
3.根据权利要求1所述的基于5G MEC的运动视频集锦智能生成和分发方法，其特征在于，步骤2中所述在需要剪辑的视频中定位关键帧通过双流卷积网络完成，具体过程为，所述双流卷积网络包括时间流卷积和空间流卷积，所述时间流卷积以需要剪辑的视频连续帧之间的光流作为输入，提取运动的时间信息；所述空间流卷积以需要剪辑的视频中帧的RGB图像作为输入，提取空间信息，再将所述时间信息和所述空间信息进行线性加权，定位到所述关键帧。
4.根据权利要求1所述的基于5G MEC的运动视频集锦智能生成和分发方法，其特征在于，步骤3中所述从多个视频采集设备拍摄的同一时段的所述精彩片段中识别做出关键帧中动作的人物的人脸，具体为，
步骤301、从用户的候选精彩片段列表中选取一个精彩片段，并从分布在场馆的m个视频采集设备拍摄的视频中分别定位出在所述精彩片段所在的时间段内，动作人物做出关键动作的视频图像帧，得到m个视频图像帧组成的集合F＝{f1,f2,f3,…fm}；
步骤302、对集合F中的m个图像分别检测其中作出关键动作的目标人物，得到m个只含有目标人物的图像，组成目标人物图像集合T＝{t1,t2,t3,…tm}；
步骤303、检测目标人物图像集合T中的m个目标人物的人脸，得到m个人脸图像，组成人脸图像集合P＝{p1,p2,p3,…pm}；
步骤304、对集合P中的m个人脸图像分别进行特征提取，然后进行评分，选择评分最高的人脸图像pi。
5.根据权利要求4所述的基于5G MEC的运动视频集锦智能生成和分发方法，其特征在于，步骤302中检测作出关键动作的目标人物和步骤303中检测目标人物的人脸均通过Faster-RCNN网络实现。
6.根据权利要求5所述的基于5G MEC的运动视频集锦智能生成和分发方法，其特征在于，还包括使用人脸数据和非人脸数据构成的数据集对Faster-RCNN网络进行训练。
7.根据权利要求4所述的基于5G MEC的运动视频集锦智能生成和分发方法，其特征在于，步骤3中所述将识别出的人脸与目标用户数据库中的人脸图像进行对比具体为，使用该用户数据库中的人脸图像对残差网络进行训练，得到用于人脸识别的模型，利用所述人脸识别的模型判断评分最高的人脸图像pi的人脸特征是否与该用户数据库中的人脸特征匹配，如果是则将pi存入该用户数据库。
8.根据权利要求7所述的基于5G MEC的运动视频集锦智能生成和分发方法，其特征在于，将所述精彩片段添加到该用户的精彩片段列表之前还包括，为精彩片段添加特效。
9.根据权利要求1所述的基于5G MEC的运动视频集锦智能生成和分发方法，其特征在于，步骤4所述视频采集设备的本地MEC服务器将所述用户专属的精彩片段集锦分发到以往响应所述用户请求次数最多的MEC服务器，具体为，首先视频采集设备的本地MEC服务器从中心服务器获取到精彩片段所对应用户的以往请求响应记录，然后将精彩片段集锦内容通过MEC服务器之间的专线分发给响应该用户请求次数最多的MEC服务器，并将此次分发记录在中心服务器中。
10.根据权利要求9所述的基于5G MEC的运动视频集锦智能生成和分发方法，其特征在于，步骤4所述该用户请求查看其专属集锦内容时，由该用户的本地MEC服务器响应具体为，首先用户向其本地MEC服务器发出请求，如果本地MEC服务器中有该内容，则由该MEC服务器处理用户的请求并传输相应的内容给用户；如果本地MEC服务器中没有该用户请求的内容，则所述请求被转发至协作分发域内的其它MEC服务器上，如果协作分发域中的某一个MEC服务器有该用户请求的内容，则将内容发送给用户的本地MEC服务器，由用户本地MEC服务器处理所述请求并将内容传输给用户；如果协作分发域中的MEC服务器中没有该用户请求的内容，则将请求发送至中心服务器，中心服务器查找该内容所在的MEC服务器并使该MEC服务器将内容发送至用户的本地MEC服务器，由用户本地MEC服务器处理用户请求并将内容传输给用户。
CN202011238128.3A 2020-11-09 2020-11-09 基于5g mec的运动视频集锦智能生成和分发方法 Active CN112347941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011238128.3A CN112347941B (zh) 2020-11-09 2020-11-09 基于5g mec的运动视频集锦智能生成和分发方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011238128.3A CN112347941B (zh) 2020-11-09 2020-11-09 基于5g mec的运动视频集锦智能生成和分发方法

Publications (2)

Publication Number Publication Date
CN112347941A true CN112347941A (zh) 2021-02-09
CN112347941B CN112347941B (zh) 2021-06-08

Family

ID=74430135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011238128.3A Active CN112347941B (zh) 2020-11-09 2020-11-09 基于5g mec的运动视频集锦智能生成和分发方法

Country Status (1)

Country Link
CN (1) CN112347941B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860922A (zh) * 2021-03-10 2021-05-28 北京晓数聚数字科技有限公司 一种基于数据智能与机器视觉的视频集锦自动生成方法
CN113132754A (zh) * 2021-03-26 2021-07-16 南京善跑体育科技有限公司 一种基于5gmec的运动视频剪辑方法及系统
CN113259472A (zh) * 2021-06-08 2021-08-13 江苏电力信息技术有限公司 一种面向视频分析任务的边缘节点资源分配方法
CN114007084A (zh) * 2022-01-04 2022-02-01 秒影工场(北京)科技有限公司 一种视频片段云存储方法及装置
CN114189641A (zh) * 2021-11-30 2022-03-15 广州博冠信息科技有限公司 视频处理方法、装置、设备及存储介质
CN114422664A (zh) * 2021-12-21 2022-04-29 成都臻识科技发展有限公司 一种智能运动相机
CN114466223A (zh) * 2022-04-12 2022-05-10 深圳市天兴诚科技有限公司 一种编码技术的视频数据处理方法及系统
CN115734007A (zh) * 2022-09-22 2023-03-03 北京国际云转播科技有限公司 视频剪辑方法、装置、介质及视频处理系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573614A (zh) * 2013-10-22 2015-04-29 北京三星通信技术研究有限公司 用于跟踪人脸的设备和方法
WO2017118353A1 (zh) * 2016-01-04 2017-07-13 努比亚技术有限公司 显示视频文件的装置及方法
CN108596114A (zh) * 2018-04-27 2018-09-28 佛山市日日圣科技有限公司 一种表情生成方法及装置
CN110012348A (zh) * 2019-06-04 2019-07-12 成都索贝数码科技股份有限公司 一种赛事节目自动集锦系统及方法
CN110177310A (zh) * 2019-06-28 2019-08-27 三星电子（中国）研发中心 一种内容分发系统和方法
CN110381366A (zh) * 2019-07-09 2019-10-25 新华智云科技有限公司 赛事自动化报道方法、系统、服务器及存储介质
CN111093213A (zh) * 2019-12-12 2020-05-01 西安电子科技大学 一种热点内容叠加推送与分发方法、系统、无线通信系统
CN111753129A (zh) * 2019-03-26 2020-10-09 百度在线网络技术（北京）有限公司 基于实时视频内容激发搜索的方法、系统以及终端设备
CN111787356A (zh) * 2020-07-09 2020-10-16 易视腾科技股份有限公司 目标视频片段提取方法和装置
CN111860451A (zh) * 2020-08-03 2020-10-30 宿州小马电子商务有限公司 一种基于人脸表情识别的游戏交互方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573614A (zh) * 2013-10-22 2015-04-29 北京三星通信技术研究有限公司 用于跟踪人脸的设备和方法
WO2017118353A1 (zh) * 2016-01-04 2017-07-13 努比亚技术有限公司 显示视频文件的装置及方法
CN108596114A (zh) * 2018-04-27 2018-09-28 佛山市日日圣科技有限公司 一种表情生成方法及装置
CN111753129A (zh) * 2019-03-26 2020-10-09 百度在线网络技术（北京）有限公司 基于实时视频内容激发搜索的方法、系统以及终端设备
CN110012348A (zh) * 2019-06-04 2019-07-12 成都索贝数码科技股份有限公司 一种赛事节目自动集锦系统及方法
CN110177310A (zh) * 2019-06-28 2019-08-27 三星电子（中国）研发中心 一种内容分发系统和方法
CN110381366A (zh) * 2019-07-09 2019-10-25 新华智云科技有限公司 赛事自动化报道方法、系统、服务器及存储介质
CN111093213A (zh) * 2019-12-12 2020-05-01 西安电子科技大学 一种热点内容叠加推送与分发方法、系统、无线通信系统
CN111787356A (zh) * 2020-07-09 2020-10-16 易视腾科技股份有限公司 目标视频片段提取方法和装置
CN111860451A (zh) * 2020-08-03 2020-10-30 宿州小马电子商务有限公司 一种基于人脸表情识别的游戏交互方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YIFAN JIAO等: ""Three-Dimensional Attention-Based Deep Ranking Model for Video Highlight Detection"", 《IEEE TRANSACTIONS ON MULTIMEDIA》 *
侯停停: ""移动边缘计算（MEC）架构中高效内容分发技术"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860922A (zh) * 2021-03-10 2021-05-28 北京晓数聚数字科技有限公司 一种基于数据智能与机器视觉的视频集锦自动生成方法
CN113132754A (zh) * 2021-03-26 2021-07-16 南京善跑体育科技有限公司 一种基于5gmec的运动视频剪辑方法及系统
CN113259472A (zh) * 2021-06-08 2021-08-13 江苏电力信息技术有限公司 一种面向视频分析任务的边缘节点资源分配方法
CN114189641A (zh) * 2021-11-30 2022-03-15 广州博冠信息科技有限公司 视频处理方法、装置、设备及存储介质
CN114422664A (zh) * 2021-12-21 2022-04-29 成都臻识科技发展有限公司 一种智能运动相机
CN114007084A (zh) * 2022-01-04 2022-02-01 秒影工场(北京)科技有限公司 一种视频片段云存储方法及装置
CN114466223A (zh) * 2022-04-12 2022-05-10 深圳市天兴诚科技有限公司 一种编码技术的视频数据处理方法及系统
CN114466223B (zh) * 2022-04-12 2022-07-12 深圳市天兴诚科技有限公司 一种编码技术的视频数据处理方法及系统
CN115734007A (zh) * 2022-09-22 2023-03-03 北京国际云转播科技有限公司 视频剪辑方法、装置、介质及视频处理系统
CN115734007B (zh) * 2022-09-22 2023-09-01 北京国际云转播科技有限公司 视频剪辑方法、装置、介质及视频处理系统

Also Published As

Publication number Publication date
CN112347941B (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN112347941B (zh) 基于5g mec的运动视频集锦智能生成和分发方法
CN105574506B (zh) 基于深度学习和大规模集群的智能人脸追逃系统及方法
CN111698470B (zh) 一种基于云边协同计算的安防视频监控系统及其实现方法
CN102799935B (zh) 一种基于视频分析技术的人流量统计方法
CN109934625A (zh) 一种人工智能显示屏广告动态投放系统和方法
CN103635954B (zh) 基于地理和可视信息增强可视数据流的系统
IL258817A (en) Methods and instrument for minimizing errors in face recognition applications
CN103581705A (zh) 视频节目识别方法和系统
CN101300588A (zh) 确定收集中的特定人的方法
CN106060470B (zh) 一种视频监控方法及其系统
CN110263613A (zh) 监控视频处理方法及装置
CN109241111A (zh) 一种基于内存数据库的分布式人脸识别系统及方法
CN111985348B (zh) 人脸识别方法和系统
CN106705972B (zh) 一种基于用户反馈的室内语义地图更新方法与系统
CN109784274A (zh) 识别尾随的方法及相关产品
CN103621131A (zh) 用于使用视听信息对设备进行空间准确定位的方法
CN101668176A (zh) 一种基于人际社交图的多媒体内容点播与分享方法
Civelek et al. Automated moving object classification in wireless multimedia sensor networks
CN109658040A (zh) 会议管理的方法、装置、设备及计算机存储介质
WO2021180004A1 (zh) 视频分析方法、视频分析的管理方法及相关设备
US20040249848A1 (en) Method and apparatus for intelligent and automatic alert management using multimedia database system
CN110378323A (zh) 用于处理视频的方法和装置
CN104506946A (zh) 一种基于图像识别的电视节目识别方法和系统
WO2022116545A1 (zh) 一种基于多特征识别的交互方法、装置及计算机设备
CN109684961A (zh) 基于人脸识别的人口管理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant