CN115103204A - 一种支持ai引擎的边缘智能应用实现方法及装置 - Google Patents

一种支持ai引擎的边缘智能应用实现方法及装置 Download PDF

Info

Publication number
CN115103204A
CN115103204A CN202210550070.9A CN202210550070A CN115103204A CN 115103204 A CN115103204 A CN 115103204A CN 202210550070 A CN202210550070 A CN 202210550070A CN 115103204 A CN115103204 A CN 115103204A
Authority
CN
China
Prior art keywords
video
engine
network
data
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210550070.9A
Other languages
English (en)
Other versions
CN115103204B (zh
Inventor
张海君
宋奇泽
管婉青
王东
温向明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202210550070.9A priority Critical patent/CN115103204B/zh
Publication of CN115103204A publication Critical patent/CN115103204A/zh
Application granted granted Critical
Publication of CN115103204B publication Critical patent/CN115103204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种AI引擎的边缘智能应用实现方法及装置，涉及无线通信技术领域。包括：在物理机上部署5G核心网以及5G接入网，对5G核心网以及5G接入网进行初步设置；将VR视频设备的SIM卡信息注册到5G核心网中，部署VR视频设备终端以及5G专用网络；对VR直播视频进行采集，将采集的VR视频数据上传至推流服务器；对获得的VR视频数据进行数据处理，将处理结果推回推流服务器；处理结果经过推流服务器传输至5G专用网络，通过VR展示平台将处理结果中的视频内容展示给前端观看用户。实现了5G专网内低时延，高可靠性的端到端连接；在边缘云支持AI引擎可以对VR视频数据进行智能分析，实现目标识别等智能图像处理业务，最终实现端到端的VR直播观看的用户体验。

Description

一种支持AI引擎的边缘智能应用实现方法及装置
技术领域
本发明涉及无线通信技术领域，特别是指一种支持AI引擎的边缘智能应用实现方法及装置。
背景技术
B5G和6G时代，虚拟化和数字化成为了加速制造业产业落地的新方向。利用5G+AR/VR+工业互联网，可以将车间的生产情况转化成VR视频进行监管和控制。但现在的VR设备一方面仅能传输图像，缺少对于人工智能算法对图像进行处理的支持；另一方面VR视频需经由远处云端进行传输，既造成了资源的浪费，也导致了传输时间变长，无法实时、稳定的对设备进行监管与控制。
发明内容
针对现有技术中传输时间变长，无法实时、稳定的对设备进行监管与控制的问题，本发明提出了一种支持AI引擎的边缘智能应用实现方法及装置。
为解决上述技术问题，本发明提供如下技术方案：
一方面，提供了一种AI引擎的边缘智能应用实现方法，该方法应用于电子设备，包括以下步骤：
S1：在物理机上部署5G核心网以及5G接入网，对5G核心网以及5G接入网进行初步设置；将VR视频设备的SIM卡信息注册到5G核心网中，部署VR视频设备终端以及5G专用网络；
S2：对VR直播视频进行采集，将采集的VR视频数据上传至推流服务器；
S3：对获得的VR视频数据进行数据处理，将处理结果推回推流服务器；
S4：所述处理结果经过所述推流服务器传输至5G专用网络，通过VR展示平台将处理结果中的视频内容展示给前端观看用户，完成基于AI引擎的边缘智能应用流程。
可选地，步骤S1中，在物理机上部署5G核心网以及5G接入网，对5G核心网以及5G接入网进行初步设置；将VR视频设备的SIM卡信息注册到5G核心网中，部署VR视频设备终端以及5G专用网络，包括：
S11：在物理机上部署5G核心网，并将AMF、UPF、MME、SGWU四个网元与网卡进行关联，配置每张网卡的IP，使其暴露于专网中被专网内的设备访问；
S12：在物理机上部署5G接入网，与已配置IP的5G核心网网元相连，使接入网和核心网之间连接；将通用无线电进行外设，使用USRP连接5G接入网；
S13：将VR全景视频上传设备和VR全景视频缓存设备的SIM卡信息分别注册到5G核心网中；
S14：基于RTMP协议搭建推流服务器，将所述VR全景视频上传设备和所述VR全景视频缓存设备在专网中进行相互连接，部署为5G专用网络。
可选地，5G核心网与5G接入网部署在通用计算机上，并基于IP协议实现相互通信；所述5G接入网利用USRP作为无线电通讯系统的数字基带和中频部分；基于5G协议栈的专网内部对VR直播数据进行传输，将数据的传输下沉到边缘云端。
可选地，推流服务器基于Node-Media-Server搭建，既接收VR视频采集终端传输的VR视频数据，也响应VR眼镜发来的播放请求。
可选地，步骤S2中，对VR直播视频进行采集，将采集的VR视频数据上传至推流服务器，包括：
S21：利用VR视频采集终端采集VR直播视频并通过空口连接5G接入网，经由5G协议栈上传至推流服务器；
S22：推流服务器利用AI引擎暴露出来的REST接口，向AI引擎传输VR直播的推流地址。
可选地，步骤S3中，对获得的VR视频数据进行数据处理，将处理结果推回推流服务器，包括：
S31：通过AI引擎从推流服务器拉流并将视频以帧为单位进行切分，从而捕获需要处理的视频帧数据；
S32：通过AI引擎调用自身基于英伟达的CUDA和yolo的智能算法，对切分的视频帧数据进行目标检测，并根据处理速度计算视频帧率和时延情况；
S33：通过AI引擎将处理后的视频帧数据通过管道利用ffmpeg推回推流服务器；
S34：通过AI引擎将计算出来的视频帧率和时延情况数据利用REST接口返回给推流服务器。
可选地，所述步骤S4中，所述处理结果经过所述推流服务器传输至5G专用网络，通过VR展示平台将处理结果中的视频内容展示给前端观看用户，完成基于AI引擎的边缘智能应用流程，包括：
S41：VR展示平台将经过AI引擎处理前后的视频内容、帧率和时延内容在前端进行展示和对比。
S42：VR全景缓存设备连接至推流服务器并通过空口连接5G接入网，经由5G协议栈接收VR视频数据，利用VR眼镜实现端到端的VR视频直播观看的用户体验。
可选地，AI引擎暴露自身的REST接口给推流服务器，使推流服务器与AI引擎进行双向交互；所述AI引擎基于英伟达的CUDA和yolo的智能算法，将需要识别的视频帧进行特征提取、区域划分和置信度检测，最后将识别结果进行框选并标注类别的置信度，进行目标检测的业务。
可选地，AI引擎通过计算处理的单张视频帧的时间来计算实时帧率和时延情况。
一方面，提供了一种AI引擎的边缘智能应用实现装置，该装置应用于电子设备，适用于上述任意一项的方法，该装置包括：
网络搭建模块，用于在物理机上部署5G核心网以及5G接入网，对5G核心网以及5G接入网进行初步设置；将VR视频设备的SIM卡信息注册到5G核心网中，部署VR视频设备终端以及5G专用网络；
视频数据采集模块，用于对VR直播视频进行采集，将采集的VR视频数据上传至推流服务器；
数据处理模块，用于对获得的VR视频数据进行数据处理，将处理结果推回推流服务器；
结果展示模块，用于所述处理结果经过所述推流服务器传输至5G专用网络，通过VR展示平台将处理结果中的视频内容展示给前端观看用户，完成基于AI引擎的边缘智能应用流程。
一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述一种AI引擎的边缘智能应用实现方法。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述一种AI引擎的边缘智能应用实现方法。
本发明实施例的上述技术方案至少具有如下有益效果：
上述方案中，本发明提出一种AI引擎的边缘智能应用实现方法及装置，基于5G协议栈搭建专网作为边缘端，并利用RTMP协议对VR视频数据进行应用层上的传输。同时利用AI引擎对VR视频进行智能分析，基于yolo等算法实现了目标识别业务。此外，我们还以Vue为框架搭建了VR展示平台，实现了对AI引擎处理前后的VR视频图像进行比对、测量二者的时延和帧率的功能。最终实现了支持AI引擎的边缘智能的应用。实现了在5G专网内低时延，高可靠性的端到端连接；同时在边缘云支持AI引擎可以对VR视频数据进行智能分析，实现目标识别等智能图像处理业务，最终实现端到端的VR直播观看的用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种AI引擎的边缘智能应用实现方法的流程图；
图2是本发明实施例提供的一种AI引擎的边缘智能应用实现方法的流程图；
图3是本发明实施例提供的一种AI引擎的边缘智能应用实现方法的VR视频目标检测系统图；
图4是本发明实施例提供的一种AI引擎的边缘智能应用实现方法的用户面数据传输流程示意图；
图5是本发明实施例提供的一种AI引擎的边缘智能应用实现方法的控制面数据传输流程示意图；
图6是本发明实施例提供的一种AI引擎的边缘智能应用实现方法的基于RTMP协议的应用层数据传输流程示意图；
图7是本发明实施例提供的一种AI引擎的边缘智能应用实现方法的VR展示平台图；
图8是本发明实施例提供的一种AI引擎的边缘智能应用实现装置框图；
图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提供了一种AI引擎的边缘智能应用实现方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的AI引擎的边缘智能应用实现方法流程图，该方法的处理流程可以包括如下的步骤：
S101：在物理机上部署5G核心网以及5G接入网，对5G核心网以及5G接入网进行初步设置；将VR视频设备的SIM卡信息注册到5G核心网中，部署VR视频设备终端以及5G专用网络；
S102：对VR直播视频进行采集，将采集的VR视频数据上传至推流服务器；
S103：对获得的VR视频数据进行数据处理，将处理结果推回推流服务器；
S104：将处理结果经过所述推流服务器传输至5G专用网络，通过VR展示平台将处理结果中的视频内容展示给前端观看用户，完成基于AI引擎的边缘智能应用流程。
可选地，步骤S101中，在物理机上部署5G核心网以及5G接入网，对5G核心网以及5G接入网进行初步设置；将VR视频设备的SIM卡信息注册到5G核心网中，部署VR视频设备终端以及5G专用网络，包括：
S111：在物理机上部署5G核心网，并将AMF、UPF、MME、SGWU四个网元与网卡进行关联，配置每张网卡的IP，使其暴露于专网中被专网内的设备访问；
S112：在物理机上部署5G接入网，与已配置IP的5G核心网网元相连，使接入网和核心网之间连接；将通用无线电进行外设，使用USRP连接5G接入网；
S113：将VR全景视频上传设备和VR全景视频缓存设备的SIM卡信息分别注册到5G核心网中；
S114：基于RTMP协议搭建推流服务器，将所述VR全景视频上传设备和所述VR全景视频缓存设备在专网中进行相互连接，部署为5G专用网络。
可选地，5G核心网与5G接入网部署在通用计算机上，并基于IP协议实现相互通信；所述5G接入网利用USRP作为无线电通讯系统的数字基带和中频部分；基于5G协议栈的专网内部对VR直播数据进行传输，将数据的传输下沉到边缘云端。
可选地，推流服务器基于Node-Media-Server搭建，既接收VR视频采集终端传输的VR视频数据，也响应VR眼镜发来的播放请求。
可选地，步骤S102中，对VR直播视频进行采集，将采集的VR视频数据上传至推流服务器，包括：
S121：利用VR视频采集终端采集VR直播视频并通过空口连接5G接入网，经由5G协议栈上传至推流服务器；
S122：推流服务器利用AI引擎暴露出来的REST接口，向AI引擎传输VR直播的推流地址。
可选地，步骤S103中，对获得的VR视频数据进行数据处理，将处理结果推回推流服务器，包括：
S131：通过AI引擎从推流服务器拉流并将视频以帧为单位进行切分，从而捕获需要处理的视频帧数据；
S132：通过AI引擎调用自身基于英伟达的CUDA和yolo的智能算法，对切分的视频帧数据进行目标检测，并根据处理速度计算视频帧率和时延情况；
S133：通过AI引擎将处理后的视频帧数据通过管道利用ffmpeg推回推流服务器；
S134：通过AI引擎将计算出来的视频帧率和时延情况数据利用REST接口返回给推流服务器。
可选地，所述步骤S4中，所述处理结果经过所述推流服务器传输至5G专用网络，通过VR展示平台将处理结果中的视频内容展示给前端观看用户，完成基于AI引擎的边缘智能应用流程，包括：
S141：VR展示平台将经过AI引擎处理前后的视频内容、帧率和时延内容在前端进行展示和对比。
S142：VR全景缓存设备连接至推流服务器并通过空口连接5G接入网，经由5G协议栈接收VR视频数据，利用VR眼镜实现端到端的VR视频直播观看的用户体验。
可选地，AI引擎暴露自身的REST接口给推流服务器，使推流服务器与AI引擎进行双向交互；所述AI引擎基于英伟达的CUDA和yolo的智能算法，将需要识别的视频帧进行特征提取、区域划分和置信度检测，最后将识别结果进行框选并标注类别的置信度，进行目标检测的业务。
可选地，AI引擎通过计算处理的单张视频帧的时间来计算实时帧率和时延情况。
本发明实施例中，提出一种AI引擎的边缘智能应用实现方法及装置，基于5G协议栈搭建专网作为边缘端，并利用RTMP协议对VR视频数据进行应用层上的传输。同时利用AI引擎对VR视频进行智能分析，基于yolo等算法实现了目标识别业务。此外，我们还以Vue为框架搭建了VR展示平台，实现了对AI引擎处理前后的VR视频图像进行比对、测量二者的时延和帧率的功能。最终实现了支持AI引擎的边缘智能的应用。实现了在5G专网内低时延，高可靠性的端到端连接；同时在边缘云支持AI引擎可以对VR视频数据进行智能分析，实现目标识别等智能图像处理业务，最终实现端到端的VR直播观看的用户体验。
本发明实施例提供了一种AI引擎的边缘智能应用实现方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图2所示的AI引擎的边缘智能应用实现方法流程图，该方法的处理流程可以包括如下的步骤：
S201：在物理机上部署5G核心网，并将AMF、UPF、MME、SGWU四个网元与网卡进行关联，配置每张网卡的IP，使其暴露于专网中被专网内的设备访问；
S202：在物理机上部署5G接入网，与已配置IP的5G核心网网元相连，使接入网和核心网之间连接；将通用无线电进行外设，使用USRP连接5G接入网。
一种可行的实施方式中，5G核心网与5G接入网部署在通用计算机上，并基于IP协议实现相互通信。5G接入网利用USRP作为无线电通讯系统的数字基带和中频部分。
S203：将VR全景视频上传设备和VR全景视频缓存设备的SIM卡信息分别注册到5G核心网中；
S204：基于RTMP协议搭建推流服务器，将所述VR全景视频上传设备和所述VR全景视频缓存设备在专网中进行相互连接，部署为5G专用网络。
一种可行的实施方式中，基于Node-Media-Server搭建推流服务器，可以接收VR视频采集终端传输的VR视频数据，也可以响应VR眼镜发来的播放请求。基于5G协议栈的专网内部对VR直播数据进行传输，将数据的传输下沉到边缘云端。
本发明实施例中，针对VR视频流的传输与智能处理的技术问题提出了新的解决方案，即将VR视频的传输下沉到边缘云，以及利用AI引擎实现对VR视频的智能处理。本发明大致分为两个部分：部署基于5G专网的VR视频直播和利用AI引擎进行视频处理。
一种可行的实施方式中，系统的整体架构如图3所示。首先，VR全景视频采集终端由VR全景摄像头和VR全景视频上传设备组成，并使得二者通过私有WIFI实现数据互通。VR全景视频采集终端通过USRP(通用无线电外设)接入5G接入网，通过5G协议栈利用RTMP(Real Time Message Protocol，实时信息传输协议)将上行流量即VR全景视频采集终端拍摄的VR视频数据传输到部署在专网内的推流服务器上。其次，推流服务器内部将视频内的画面进行分析，捕捉画面中需要识别的物体并将其进行标注，此时可以通过AI引擎，对视频数据的处理提供强有力的算力支持。然后，VR眼镜端内部由VR全景视频缓存设备和VR全景视频播放眼镜组成，同样通过5G协议栈利用RTMP协议接入5G接入网和5G核心网，并从专网上的推流服务器上对数据进行拉流，从而将VR视频数据拉取至VR眼镜上。最后用户戴上VR眼镜，便可以看到VR全景视频，从而实现端到端的VR直播观看的用户体验。
一种可行的实施方式中，5G核心网与5G接入网部署在通用计算机上，并基于IP协议实现相互通信；所述5G接入网利用USRP作为无线电通讯系统的数字基带和中频部分；基于5G协议栈的专网内部对VR直播数据进行传输，将数据的传输下沉到边缘云端。
一种可行的实施方式中，推流服务器基于Node-Media-Server搭建，既接收VR视频采集终端传输的VR视频数据，也响应VR眼镜发来的播放请求。
一种可行的实施方式中，将物理设备连接成专网，保证互相之间的连通性；其次配置5G协议栈，对于5G核心网来说，应使用至少四张网卡，将AMF、UPF、MME、SGWU四个网元与网卡进行关联，并配置好每张网卡的IP，使其暴露于专网中，并可以被专网内的设备访问到；对于5G接入网来说，一方面需要连接5G核心网的上述四个网元，以实现5G核心网与5G接入网之间的通信，另一方面需要使用通用无线电外设来连接UE。对于推流服务器来说，则需要让推流服务器与5G核心网相连，以实现VR视频数据的传输，同时与AI引擎相连，保证AI引擎的算法可以正常调用；对于UE来说，则需要将自己的SIM卡注册到5G核心网中以实现UE的接入。
S205：利用VR视频采集终端采集VR直播视频并通过空口连接5G接入网，经由5G协议栈上传至推流服务器；
S206：推流服务器利用AI引擎暴露出来的REST接口，向AI引擎传输VR直播的推流地址。
一种可行的实施方式中，在推流服务器中配置AI引擎的接入与视频数据的推流拉流业务。推流服务器需要部署直播推流服务器，从而接受UE在应用层上发来的RTMP数据包，并进一步变为VR视频数据，一部分和帧数、时延等信息通过REST接口传输到VR展示平台，另一部分推流给VR眼镜端来进行VR视频的播放。
控制面上，具体如图5所示。此处的协议与数据面有所不同，控制面不包含SDAP层，但多了一个RRC层。终端设备的NAS层直接与5G核心网建立连接，5G核心网的网元AMF负责接入设备的控制，其数据传输与用户面相同，也是5G接入网通过IP协议传输。
部署基于5G专网的VR视频直播方面，下文将介绍VR视频的直播原理。由于VR全景视频采集侧与VR眼镜侧使用了相同的协议栈，此处便以VR全景视频采集侧为例进行说明：
S207：对获得的VR视频数据进行数据处理，将处理结果推回推流服务器。
数据面上，具体如图4所示。首先，VR全景视频采集侧采集数据，通过APP向下传输数据，在PHY层VR全景视频采集设备与5G接入网通过空口建立连接，然后5G接入网侧再进一步将数据向上传输，在IP层通过IP协议与5G核心网建立连接，5G核心网侧的网元UPF将数据再向下传输，并最终接入专网，实现了视频数据的传输。
S208：通过AI引擎从推流服务器拉流并将视频以帧为单位进行切分，从而捕获需要处理的视频帧数据；
一种可行的实施方式中，利用AI引擎进行视频处理方面，我们将AI引擎接入推流服务器，从而提供目标识别的业务支持。推流服务器基于Node-Media-Server搭建，可以接收VR全景视频上传设备的VR视频推流，也可以响应VR眼镜发来的播放请求，将VR视频数据通过RTMP发送至VR眼镜。
S209：通过AI引擎调用自身基于英伟达的CUDA和yolo的智能算法，对切分的视频帧数据进行目标检测，并根据处理速度计算视频帧率和时延情况；
一种可行的实施方式中，AI引擎内部封装了多种智能算法，包括强化学习的模型如DQN、A3C，RNN预测模型如GRU和LSTM、目标检测模型如yolo和Fast R-CNN，可以实现智能切片管理、用户数据分析和AI智能应用等业务。本发明就是基于引擎中英伟达的CUDA和yolo算法为图像识别提供GPU上的算力支持，从而实现对视频物体的识别。此外，AI引擎有多种接口供外部程序调用，包括REST接口、RTC控制器和Socket。在本发明中，就是利用REST接口与推流服务器进行的通信。
一种可行的实施方式中，yolo是基于PyTorch的图像识别算法，这里基于英伟达的CUDA技术，可以调用AI引擎的GPU算力，实现VR视频的目标识别业务。其具体算法流程如下：
首先利用数据集对模型进行训练，制作数据集。这需要根据推流视频的分辨率，收集相似分辨率的图像数据，然后根据VR视频需要识别的对象，对图片内容进行筛选，找到含有目标对象的图片数据。然后使用Roboflow对图片信息进行标注，框出目标对象并标注对象信息，最后将数据集打包成YOLOv5 PyTorch格式供模型分析。然后选择模型的复杂度，这里选择了最复杂但识别准确率更高的yolov5x模型。然后利用上文制作好的数据集对模型进行训练。在wandb中可以看到训练结果明显收敛的时候模型便训练完成。
其次是将上文提到的视频帧进行处理。模型会先将视频帧处理为与训练集相同的分辨率，然后利用卷积神经网络进行特征提取，再利用滑动窗口方法对视频帧的内容进行遍历，对窗口内目标的置信度进行评估，最后利用NMS(非极大值抑制)的方法合并重合的目标窗口，最终获得每个目标对象识别出的置信框的位置和置信度，并根据置信框的位置将原视频帧中的目标对象进行框选，注明其置信度，完成对视频帧的目标识别。
视频帧处理完毕之后，AI引擎将帧数据转化为字节数据，并建立一个传输管道，利用ffmpeg将帧数据通过管道推流回推流服务器。同时根据每一帧的处理时间作为处理后的VR视频流数据的时延，并计算每秒可以处理的帧数作为处理后的VR视频的帧数，利用REST接口将这些数据发送到推流服务器，最终实现VR视频图像的智能化处理。
S210：通过AI引擎将处理后的视频帧数据通过管道利用ffmpeg推回推流服务器；
S211：通过AI引擎将计算出来的视频帧率和时延情况数据利用REST接口返回给推流服务器。
一种可行的实施方式中，推流服务器接收VR视频推流的同时，也会通过AI引擎暴露的接口来与AI引擎进行通信，将VR视频推流数据通过接口发送至AI引擎，AI引擎首先将视频流分割为单个静态画面的视频帧图像，然后交由yolo的预测模型进行处理。
S212：VR展示平台将经过AI引擎处理前后的视频内容、帧率和时延内容在前端进行展示和对比。
一种可行的实施方式中，本发明基于推流服务器搭建了VR展示平台，用于将VR视频进行前端的展示，同时也可以查看视频帧率、时延情况，以及对比AI引擎处理VR视频前后的视频效果。该平台前端界面使用Vue作为框架设计，并嵌入基于flvjs的直播视频播放器，可以在线播放推流服务器上拉取的视频，实现效果如图7所示，可以看到图左是VR全景视频上传设备正常拍摄时的界面，图右是对VR全景视频上传设备拍摄的画面进行AI视频处理识别之后的效果。
S213：VR全景缓存设备连接至推流服务器并通过空口连接5G接入网，经由5G协议栈接收VR视频数据，利用VR眼镜实现端到端的VR视频直播观看的用户体验。
本发明实施例中，AI引擎利用自身暴露的接口与推流服务器相连，并从推流服务器拉取VR视频数据。将视频流以帧为单位进行切分，从而得到可以进行识别的视频帧数据。AI引擎调用自身内部封装的AI算法来实现对于视频的目标识别业务，并将处理后的视频帧数据通过管道利用ffmpeg推流回推流服务器，VR展示平台从推流服务器同时拉取AI引擎处理前后的视频流并展示到前端界面上，并通过REST接口从推流服务器上请求识别后的视频的帧数、时延等信息，从而实现目标识别前后视频效果的比对。
一种可行的实施方式中，应用层上，VR视频的传输基于RTMP，主要负责数据运输过程的5G协议栈对其透明。基于RTMP的视频流数据传输情况如图6所示。首先，利用空口连接VR全景视频上传设备和5G接入网，并开启VR视频直播软件，根据软件提示与摄像头连接同一私有WIFI，并输入推流服务器的地址，点击开始直播后便可以与推流服务器在应用层建立连接，然后VR全景视频采集终端将视频数据封装成RTMP数据包发送到推流服务器；同样的，VR眼镜端连接5G接入网，并打开VR视频播放器，输入推流地址，便可以与推流服务器建立应用层连接，将RTMP数据包发送至VR眼镜端，最后VR全景视频缓存设备将发来的数据包解包成视频数据并嵌入VR眼镜，从而实现端到端的VR直播观看的用户体验。
本发明实施例中，一方面将VR传输系统下沉到边缘云，避免了传输到远处云端导致的资源浪费和时间延迟；另一方面我们设计了AI引擎，实现了对图像的实时处理，可以完成目标识别等业务。本发明首先基于5G协议栈搭建5G专网作为边缘云端，并利用专网将VR视频直播实时推流至用户的VR眼镜，实现了端到端的VR直播观看的用户体验。本发明相比传统方法降低了视频的传输时延，实现了高效的数据传输，保障了工业数据的安全。同时本发明还利用AI引擎实现了对视频中的目标识别，充分满足工业互联网对特定的物件的识别等需求。借助VR的数字化远程操作管理，大幅提高了机械设备的系统作业和智能水平。
图8是根据一示例性实施例示出的一种AI引擎的边缘智能应用实现装置框图。该装置适用于上述任意一项的方法。参照图8，该装置300包括：
网络搭建模块310，用于在物理机上部署5G核心网以及5G接入网，对5G核心网以及5G接入网进行初步设置；将VR视频设备的SIM卡信息注册到5G核心网中，部署VR视频设备终端以及5G专用网络；
视频数据采集模块320，用于对VR直播视频进行采集，将采集的VR视频数据上传至推流服务器；
数据处理模块330，用于对获得的VR视频数据进行数据处理，将处理结果推回推流服务器；
结果展示模块340，用于所述处理结果经过所述推流服务器传输至5G专用网络，通过VR展示平台将处理结果中的视频内容展示给前端观看用户，完成基于AI引擎的边缘智能应用流程。
可选地，网络搭建模块310，用于在物理机上部署5G核心网，并将AMF、UPF、MME、SGWU四个网元与网卡进行关联，配置每张网卡的IP，使其暴露于专网中被专网内的设备访问；
在物理机上部署5G接入网，与已配置IP的5G核心网网元相连，使接入网和核心网之间连接；将通用无线电进行外设，使用USRP连接5G接入网；
将VR全景视频上传设备和VR全景视频缓存设备的SIM卡信息分别注册到5G核心网中；
基于RTMP协议搭建推流服务器，将所述VR全景视频上传设备和所述VR全景视频缓存设备在专网中进行相互连接，部署为5G专用网络。
可选地，5G核心网与5G接入网部署在通用计算机上，并基于IP协议实现相互通信；所述5G接入网利用USRP作为无线电通讯系统的数字基带和中频部分；基于5G协议栈的专网内部对VR直播数据进行传输，将数据的传输下沉到边缘云端。
可选地，推流服务器基于Node-Media-Server搭建，既接收VR视频采集终端传输的VR视频数据，也响应VR眼镜发来的播放请求。
可选地，视频数据采集模块320，用于利用VR视频采集终端采集VR直播视频并通过空口连接5G接入网，经由5G协议栈上传至推流服务器；
推流服务器利用AI引擎暴露出来的REST接口，向AI引擎传输VR直播的推流地址。
可选地，数据处理模块330，用于通过AI引擎从推流服务器拉流并将视频以帧为单位进行切分，从而捕获需要处理的视频帧数据；
通过AI引擎调用自身基于英伟达的CUDA和yolo的智能算法，对切分的视频帧数据进行目标检测，并根据处理速度计算视频帧率和时延情况；
通过AI引擎将处理后的视频帧数据通过管道利用ffmpeg推回推流服务器；
通过AI引擎将计算出来的视频帧率和时延情况数据利用REST接口返回给推流服务器。
可选地，结果展示模块340，用于VR展示平台将经过AI引擎处理前后的视频内容、帧率和时延内容在前端进行展示和对比。
VR全景缓存设备连接至推流服务器并通过空口连接5G接入网，经由5G协议栈接收VR视频数据，利用VR眼镜实现端到端的VR视频直播观看的用户体验。
可选地，AI引擎暴露自身的REST接口给推流服务器，使推流服务器与AI引擎进行双向交互；所述AI引擎基于英伟达的CUDA和yolo的智能算法，将需要识别的视频帧进行特征提取、区域划分和置信度检测，最后将识别结果进行框选并标注类别的置信度，进行目标检测的业务。
可选地，AI引擎通过计算处理的单张视频帧的时间来计算实时帧率和时延情况。
本发明实施例中，提出一种AI引擎的边缘智能应用实现方法及装置，基于5G协议栈搭建专网作为边缘端，并利用RTMP协议对VR视频数据进行应用层上的传输。同时利用AI引擎对VR视频进行智能分析，基于yolo等算法实现了目标识别业务。此外，我们还以Vue为框架搭建了VR展示平台，实现了对AI引擎处理前后的VR视频图像进行比对、测量二者的时延和帧率的功能。最终实现了支持AI引擎的边缘智能的应用。实现了在5G专网内低时延，高可靠性的端到端连接；同时在边缘云支持AI引擎可以对VR视频数据进行智能分析，实现目标识别等智能图像处理业务，最终实现端到端的VR直播观看的用户体验。
图9是本发明实施例提供的一种电子设备400的结构示意图，该电子设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)401和一个或一个以上的存储器402，其中，所述存储器402中存储有至少一条指令，所述至少一条指令由所述处理器401加载并执行以实现下述AI引擎的边缘智能应用实现方法的步骤：
S1：在物理机上部署5G核心网以及5G接入网，对5G核心网以及5G接入网进行初步设置；将VR视频设备的SIM卡信息注册到5G核心网中，部署VR视频设备终端以及5G专用网络；
S2：对VR直播视频进行采集，将采集的VR视频数据上传至推流服务器；
S3：对获得的VR视频数据进行数据处理，将处理结果推回推流服务器；
S4：所述处理结果经过所述推流服务器传输至5G专用网络，通过VR展示平台将处理结果中的视频内容展示给前端观看用户，完成基于AI引擎的边缘智能应用流程。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述基于课程学习的AI引擎的边缘智能应用实现方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种支持AI引擎的边缘智能应用实现方法，其特征在于，包括以下步骤：
S1：在物理机上部署5G核心网以及5G接入网，对5G核心网以及5G接入网进行初步设置；将VR视频设备的SIM卡信息注册到5G核心网中，部署VR视频设备终端以及5G专用网络；
S2：对VR直播视频进行采集，将采集的VR视频数据上传至推流服务器；
S3：对获得的VR视频数据进行数据处理，将处理结果推回推流服务器；
S4：所述处理结果经过所述推流服务器传输至5G专用网络，通过VR展示平台将处理结果中的视频内容展示给前端观看用户，完成基于AI引擎的边缘智能应用实现流程。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1中，在物理机上部署5G核心网以及5G接入网，对5G核心网以及5G接入网进行初步设置；将VR视频设备的SIM卡信息注册到5G核心网中，部署VR视频设备终端以及5G专用网络，包括：
S11：在物理机上部署5G核心网，并将AMF、UPF、MME、SGWU四个网元与网卡进行关联，配置每张网卡的IP，使其暴露于专网中被专网内的设备访问；
S12：在物理机上部署5G接入网，与已配置IP的5G核心网网元相连，使接入网和核心网之间连接；将通用无线电进行外设，使用USRP连接5G接入网；
S13：将VR全景视频上传设备和VR全景视频缓存设备的SIM卡信息分别注册到5G核心网中；
S14：基于RTMP协议搭建推流服务器，将所述VR全景视频上传设备和所述VR全景视频缓存设备在专网中进行相互连接，部署为5G专用网络。
3.根据权利要求2所述的方法，其特征在于，所述5G核心网与5G接入网部署在通用计算机上，并基于IP协议实现相互通信；所述5G接入网利用USRP作为无线电通讯系统的数字基带和中频部分；基于5G协议栈的专网内部对VR直播数据进行传输，将数据的传输下沉到边缘云端。
4.根据权利要求2所述的方法，其特征在于，所述推流服务器基于Node-Media-Server搭建，既接收VR视频采集终端传输的VR视频数据，也响应VR眼镜发来的播放请求。
5.根据权利要求1所述的方法，其特征在于，所述步骤S2中，对VR直播视频进行采集，将采集的VR视频数据上传至推流服务器，包括：
S21：利用VR视频采集终端采集VR直播视频并通过空口连接5G接入网，经由5G协议栈上传至推流服务器；
S22：推流服务器利用AI引擎暴露出来的REST接口，向AI引擎传输VR直播的推流地址。
6.根据权利要求1所述的方法，其特征在于，所述步骤S3中，对获得的VR视频数据进行数据处理，将处理结果推回推流服务器，包括：
S31：通过AI引擎从推流服务器拉流并将视频以帧为单位进行切分，从而捕获需要处理的视频帧数据；
S32：通过AI引擎调用自身基于英伟达的CUDA和yolo的智能算法，对切分的视频帧数据进行目标检测，并根据处理速度计算视频帧率和时延情况；
S33：通过AI引擎将处理后的视频帧数据通过管道利用ffmpeg推回推流服务器；
S34：通过AI引擎将计算出来的视频帧率和时延情况数据利用REST接口返回给推流服务器。
7.根据权利要求1所述的方法，其特征在于，所述S4中，所述处理结果经过所述推流服务器传输至5G专用网络，通过VR展示平台将处理结果中的视频内容展示给前端观看用户，完成基于AI引擎的边缘智能应用流程，包括：
S41：VR展示平台将经过AI引擎处理前后的视频内容、帧率和时延内容在前端进行展示和对比；
S42：VR全景缓存设备连接至推流服务器并通过空口连接5G接入网，经由5G协议栈接收VR视频数据，利用VR眼镜实现端到端的VR视频直播观看的用户体验，完成基于AI引擎的边缘智能应用实现流程。
8.根据权利要求7所述的方法，其特征在于，所述AI引擎暴露自身的REST接口给推流服务器，使推流服务器与AI引擎进行双向交互；所述AI引擎基于英伟达的CUDA和yolo的智能算法，将需要识别的视频帧进行特征提取、区域划分和置信度检测，最后将识别结果进行框选并标注类别的置信度，进行目标检测的业务。
9.根据权利要求7所述的方法，其特征在于，所述AI引擎通过计算处理的单张视频帧的时间来计算实时帧率和时延情况。
10.一种支持AI引擎的边缘智能应用实现装置，其特征在于，所述装置适用于上述权利要求1-9中任意一项的方法，装置包括：
网络搭建模块，用于在物理机上部署5G核心网以及5G接入网，对5G核心网以及5G接入网进行初步设置；将VR视频设备的SIM卡信息注册到5G核心网中，部署VR视频设备终端以及5G专用网络；
视频数据采集模块，用于对VR直播视频进行采集，将采集的VR视频数据上传至推流服务器；
数据处理模块，用于对获得的VR视频数据进行数据处理，将处理结果推回推流服务器；
结果展示模块，用于所述处理结果经过所述推流服务器传输至5G专用网络，通过VR展示平台将处理结果中的视频内容展示给前端观看用户，完成基于AI引擎的边缘智能应用流程。
CN202210550070.9A 2022-05-20 2022-05-20 一种支持ai引擎的边缘智能应用实现方法及装置 Active CN115103204B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210550070.9A CN115103204B (zh) 2022-05-20 2022-05-20 一种支持ai引擎的边缘智能应用实现方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210550070.9A CN115103204B (zh) 2022-05-20 2022-05-20 一种支持ai引擎的边缘智能应用实现方法及装置

Publications (2)

Publication Number Publication Date
CN115103204A true CN115103204A (zh) 2022-09-23
CN115103204B CN115103204B (zh) 2023-10-10

Family

ID=83288059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210550070.9A Active CN115103204B (zh) 2022-05-20 2022-05-20 一种支持ai引擎的边缘智能应用实现方法及装置

Country Status (1)

Country Link
CN (1) CN115103204B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116562332A (zh) * 2023-07-10 2023-08-08 长春工业大学 一种人机共融环境下的机器人社交性运动规划方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113014872A (zh) * 2021-02-20 2021-06-22 国网上海市电力公司 一种基于5g专网、北斗定位、图像识别的自动全景运维系统
CN113153431A (zh) * 2021-04-02 2021-07-23 山东科技大学 基于5g通信的煤岩动力灾害监测预警可视化系统及方法
CN113765874A (zh) * 2020-11-09 2021-12-07 北京沃东天骏信息技术有限公司 一种基于5g移动通信技术的专网及双模式组网方法
CN113949719A (zh) * 2021-10-13 2022-01-18 政浩软件(上海)有限公司 一种基于5g通信的车载巡检方法及系统
US20220150129A1 (en) * 2020-11-06 2022-05-12 Electronics And Telecommunications Research Institute Adaptive deep learning inference apparatus and method in mobile edge computing
CN114494916A (zh) * 2022-01-24 2022-05-13 浪潮软件科技有限公司 一种基于YOLO和DeepSORT的黑颈鹤监测追踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220150129A1 (en) * 2020-11-06 2022-05-12 Electronics And Telecommunications Research Institute Adaptive deep learning inference apparatus and method in mobile edge computing
CN113765874A (zh) * 2020-11-09 2021-12-07 北京沃东天骏信息技术有限公司 一种基于5g移动通信技术的专网及双模式组网方法
CN113014872A (zh) * 2021-02-20 2021-06-22 国网上海市电力公司 一种基于5g专网、北斗定位、图像识别的自动全景运维系统
CN113153431A (zh) * 2021-04-02 2021-07-23 山东科技大学 基于5g通信的煤岩动力灾害监测预警可视化系统及方法
CN113949719A (zh) * 2021-10-13 2022-01-18 政浩软件(上海)有限公司 一种基于5g通信的车载巡检方法及系统
CN114494916A (zh) * 2022-01-24 2022-05-13 浪潮软件科技有限公司 一种基于YOLO和DeepSORT的黑颈鹤监测追踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116562332A (zh) * 2023-07-10 2023-08-08 长春工业大学 一种人机共融环境下的机器人社交性运动规划方法
CN116562332B (zh) * 2023-07-10 2023-09-12 长春工业大学 一种人机共融环境下的机器人社交性运动规划方法

Also Published As

Publication number Publication date
CN115103204B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
US11024092B2 (en) System and method for augmented reality content delivery in pre-captured environments
CN106851386B (zh) 基于Android系统的电视终端中增强现实的实现方法及装置
WO2019179283A1 (zh) 图像识别方法及装置
EP2523145A1 (en) Method for dynamically adapting video image parameters for facilitating subsequent applications
WO2014086223A1 (zh) 一种视频通讯方法及装置
CN107566749B (zh) 拍摄方法及移动终端
KR20170012178A (ko) 동영상 내용을 획득하기 위한 방법 및 장치
US20190051147A1 (en) Remote control method, apparatus, terminal device, and computer readable storage medium
CN113542875B (zh) 视频处理方法、装置、电子设备以及存储介质
WO2023071603A1 (zh) 视频融合方法、装置、电子设备及存储介质
WO2021179804A1 (zh) 图像处理方法、图像处理装置、存储介质与电子设备
WO2013189374A2 (zh) 一种传输媒体数据的方法及虚拟桌面服务器
CN115103204B (zh) 一种支持ai引擎的边缘智能应用实现方法及装置
CN109963106B (zh) 一种视频图像处理方法、装置、存储介质及终端
CN108881119B (zh) 一种视频浓缩的方法、装置和系统
CN111399655B (zh) 一种基于vr同步的图像处理方法及装置
CN108076370B (zh) 信息传输方法、装置和电子设备
CN111385481A (zh) 图像处理方法及装置、电子设备及存储介质
WO2019076156A1 (zh) 数据传输方法及摄像机、电子设备
WO2019076155A1 (zh) 数据传输方法及摄像机、电子设备
CN112351201B (zh) 多媒体数据处理方法、系统、装置、电子设备和存储介质
WO2021217467A1 (zh) 一种智能摄像头的测试方法及装置
CN109194981B (zh) 远程视频追踪方法、装置、存储介质
CN113240602A (zh) 图像去雾方法及装置、计算机可读介质和电子设备
CN111953897B (zh) 一种快速拍摄图像的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant