CN112929351B - 一种基于数字视网膜系统的通信方法 - Google Patents
一种基于数字视网膜系统的通信方法 Download PDFInfo
- Publication number
- CN112929351B CN112929351B CN202110117722.5A CN202110117722A CN112929351B CN 112929351 B CN112929351 B CN 112929351B CN 202110117722 A CN202110117722 A CN 202110117722A CN 112929351 B CN112929351 B CN 112929351B
- Authority
- CN
- China
- Prior art keywords
- edge server
- server
- end equipment
- wss
- https
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
- H04L65/1104—Session initiation protocol [SIP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开了一种基于数字视网膜系统的通信方法，所述方法包括：构建数字视网膜系统；根据所述数字视网膜系统，构建端设备、边缘服务器和云服务器之间的通信协议；根据所述通信协议，执行注册，注销，配置下发，功能定义，模型下发，模型获取，特征流推送、结果流推送、视频流推送与获取，状态上报，控制指令下发和根据需求提取视频、图片、算法结果，实现信息在端设备、边缘服务器和云服务器之间的通信。通过本实施例的通信方法可以保证高效的存储，能支撑大数据查询分析，同时支持在端设备(端)、边缘服务(边)、云服务(云)之间进行面向智能视频编码和特征分析的深度学习模型自适应迁移、压缩、更新与转换。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及的是一种基于数字视网膜系统的通信方法。
背景技术
传统摄像头只是把拍摄到的视频数据压缩后上传到云服务器进行存储，再做分析识别处理；无法对拍摄视频进行高质量视频编码和视觉特征提取编码，无法保证高效的存储，不能支撑大数据查询分析，也无法同时支持在端设备(端)、边缘服务(边)、云服务(云)之间进行面向智能视频编码和特征分析的深度学习模型自适应迁移、压缩、更新与转换。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于数字视网膜系统的通信方法，旨在解决现有技术中的通信方法无法对拍摄视频进行高质量视频编码和视觉特征提取编码，无法保证高效的存储，不能支撑大数据查询分析，也无法同时支持在端设备(端)、边缘服务(边)、云服务(云)之间进行面向智能视频编码和特征分析的深度学习模型自适应迁移、压缩、更新与转换的问题。
本发明解决问题所采用的技术方案如下：
第一方面，本发明实施例提供一种基于数字视网膜系统的通信方法，其中，所述方法包括：
构建数字视网膜系统；
根据所述数字视网膜系统，构建端设备、边缘服务器和云服务器之间的通信协议；
根据所述通信协议，执行注册，注销，配置下发，功能定义，模型下发，模型获取，特征流推送、结果流推送、视频流推送与获取，状态上报，控制指令下发和根据需求提取视频、图片、算法结果，实现信息在端设备、边缘服务器和云服务器之间的通信。
在一种实现方式中，其中，所述构建数字视网膜系统包括：
获取所述图像数据；
对所述图像数据进行视频编码，视觉特征提取编码和深度自适应学习，得到压缩编码图像数据，视觉特征数据和深度自适应学习模型；
根据所述压缩编码图像数据，所述视觉特征数据和所述深度自适应学习模型，构建数字视网膜系统。
在一种实现方式中，其中，所述根据所述数字视网膜系统，构建端设备、边缘服务器和云服务器之间的通信协议包括：
采用SIP协议传输端设备的控制流(符合GB/T28181标准)；
采用RTP/RTCP协议传输视频流(符合GB/T28181标准)。
在一种实现方式中，其中，所述根据所述数字视网膜系统，构建端设备、边缘服务器和云服务器之间的通信协议还包括：
将GB/T28181标准和GA/T1400标准以及WSS协议进行兼容；
采用HTTPS协议传输上行链路数据(符合GA/T1400标准)；
采用WSS协议传输下行链路数据。
在一种实现方式中，其中，所述根据所述通信协议，执行注册，注销，配置下发，功能定义，模型下发，模型获取，特征流推送、结果流推送、视频流推送与获取，状态上报，控制指令下发和根据需求提取视频、图片、算法结果包括：
根据所述通信协议，端设备向边缘服务器注册，边缘服务器向云服务器注册，生成注册方和服务方；
当注册方通过WSS向服务方发送注销请求并收到所述服务方的确认信息后，断开通信连接；
边缘服务器或云服务器通过WSS向端设备发送配置下发指令；
边缘服务器或云服务器通过WSS向端设备发送功能定义指令；
边缘服务器或云服务器通过WSS向端设备发送算法模型更新指令；
边缘服务器通过HTTPS向云服务器获取模型或端设备通过HTTPS向边缘服务器获取模型；
端设备将特征流和结构化结果流通过HTTPS上报到边缘服务器，然后边缘服务器将特征流和结构化结果流通过HTTPS转发到云服务器；
端设备通过RTP/RTCP将视频流推送到边缘服务器，同时边缘服务器获取所述视频流；
端设备通过HTTPS发送运行状态、设备时间、地理位置等信息到边缘服务器，然后边缘服务器通过HTTPS转发端设备的运行状态、设备时间、地理位置等信息到云服务器；边缘服务器通过HTTPS发送自身运行状态至云服务器。
云服务器通过WSS向边缘服务器发送控制指令，然后边缘服务器通过WSS或SIP向端设备转发控制指令；或由边缘服务器直接通过WSS或SIP向端设备发送控制指令。
查询指令发送方先通过WSS发送查询指令，然后根据查询指令结果中的url通过HTTPS下载对应的视频、图片、算法结果。
在一种实现方式中，其中，所述根据所述通信协议，端设备通过HTTPS向边缘服务器注册，边缘服务器通过HTTPS向云服务器注册，生成注册方和服务方包括：
根据所述通信协议，端设备向边缘服务器发送HTTPS注册请求，则端设备为注册方，边缘服务器为服务方；
根据所述通信协议，边缘服务器向云服务器发送HTTPS注册请求，则边缘服务器为注册方，云服务器为服务方。
在一种实现方式中，其中，所述边缘服务器或云服务器通过WSS发送配置下发指令到端设备包括：
边缘服务器通过WSS发送配置下发指令到端设备；
云服务器通过WSS发送配置下发指令到边缘服务器，边缘服务器通过WSS将所述配置下发指令发送到指定端设备。
在一种实现方式中，其中，所述边缘服务器或云服务器向端设备发送功能定义指令包括：
边缘服务器通过WSS向端设备发送功能定义指令；
云服务器通过WSS将功能定义指令发送到边缘服务器，边缘服务器通过WSS将所述功能定义指令发送到指定的端设备。
第二方面，本发明实施例还提供一种基于数字视网膜系统的通信装置，其中，所述装置包括：
数字视网膜系统构建单元，用于构建数字视网膜系统；
端设备、边缘服务器和云服务器之间的通信协议构建单元，用于根据所述数字视网膜系统，构建端设备、边缘服务器和云服务器之间的通信协议；
通信协议执行单元，用于根据所述通信协议，执行注册，注销，配置下发，功能定义，模型下发，模型获取，特征流推送、结果流推送、视频流推送与获取，状态上报，控制指令下发和根据需求提取视频、图片、算法结果，实现信息在端设备、边缘服务器和云服务器之间的通信。
第三方面，本发明实施例还提供一种服务器，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如上述任意一项所述的基于数字视网膜系统的通信方法。
第四方面，本发明实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述中任意一项所述的基于数字视网膜系统的通信方法。
本发明的有益效果：本发明实施例首先构建数字视网膜系统；然后根据所述数字视网膜系统，构建端设备、边缘服务器和云服务器之间的通信协议；最后根据所述通信协议，执行注册，注销，配置下发，功能定义，模型下发，模型获取，特征流推送、结果流推送、视频流推送与获取，状态上报，控制指令下发和根据需求提取视频、图片、算法结果，实现信息在端设备、边缘服务器和云服务器之间的通信；可见，本发明实施例中可以保证高效的存储，能支撑大数据查询分析，同时支持在端设备(端)、边缘服务(边)、云服务(云)之间进行面向智能视频编码和特征分析的深度学习模型自适应迁移、压缩、更新与转换。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于数字视网膜系统的通信方法流程示意图
图2为本发明实施例提供的HTTPS通信流程示意图
图3为本发明实施例提供的WSS通信流程示意图
图4为本发明实施例提供的SIP通信、RTP/RTCP通信流程示意图
图5本发明实施例提供的设备状态信息上报数据格式示意图
图6本发明实施例提供的设备基础配置参数下发样示意图
图7本发明实施例提供的设备注册鉴权流程图
图8本发明实施例提供的模型下发流程图
图9本发明实施例提供的模型获取流程图
图10本发明实施例提供的视频流推送与获取流程图
图11本发明实施例提供的状态上报流程图
图12本发明实施例提供的控制指令下发流程图
图13本发明实施例提供的视频、图片、算法结果按需提取流程图
图14本发明实施例提供的基于数字视网膜系统的通信装置的原理框图
图15本发明实施例提供的服务器的内部结构原理框图
具体实施方式
本发明公开了基于数字视网膜系统的通信方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
由于现有技术中通信方法无法对拍摄视频进行高质量视频编码和视觉特征提取编码，无法保证高效的存储，不能支撑大数据查询分析，也无法同时支持在端设备(端)、边缘服务(边)、云服务(云)之间进行面向智能视频编码和特征分析的深度学习模型自适应迁移、压缩、更新与转换。
为了解决现有技术的问题，本实施例提供了一种基于数字视网膜系统的通信方法，通过本通信方法，可以保证高效的存储，能支撑大数据查询分析，同时支持在端设备(端)、边缘服务(边)、云服务(云)之间进行面向智能视频编码和特征分析的深度学习模型自适应迁移、压缩、更新与转换。具体实施时，首先构建数字视网膜系统；然后根据所述数字视网膜系统，构建端设备、边缘服务器和云服务器之间的通信协议；最后根据所述通信协议，执行注册，注销，配置下发，功能定义，模型下发，模型获取，特征流推送、结果流推送、视频流推送与获取，状态上报，控制指令下发和根据需求提取视频、图片、算法结果，实现信息在端设备、边缘服务器和云服务器之间的通信。
举例说明
数字视网膜，类比于人类视网膜，对传统摄像头乃至视觉计算架构进行演进与革新，从而能够更加智能地支持城市大脑，服务智能安防、城市精细管理等智能应用。数字视网膜就是这样一种包含视频编码流、特征编码流和模型更新流的可伸缩端边云协同视觉计算架构。本发明实施例在数字视网膜端设备-边缘服务器-云服务器系统结构上，制定了一种数字视网膜系统端设备-边缘服务器-云服务器之间的通信协议。本发明实施例的视网膜通信系统中的HTTPS、SIP、WSS协议的协同使用，也即HTTPS用于数据上行，WSS用于下发控制指令(由于HTTPS协议是单向的，服务端只可以接受数据而不能主动发送控制指令，WSS作为HTTPS的补充)，SIP协议是对控制协议的扩充(用于兼容市场已有设备)，然后视频流采用RTP/RTCP协议传输。在本实施例中，首先构建数字视网膜系统，为通信协议的建立做准备；然后根据所述数字视网膜系统，构建端设备、边缘服务器和云服务器之间的通信协议，为后续数据传输做准备，最后根据所述通信协议，执行注册，注销，配置下发，功能定义，模型下发，模型获取，特征流推送、结果流推送、视频流推送与获取，状态上报，控制指令下发和根据需求提取视频、图片、算法结果，实现信息在端设备、边缘服务器和云服务器之间的通信，从而实现高效的存储，能支撑大数据查询分析，同时支持在端设备(端)、边缘服务(边)、云服务(云)之间进行面向智能视频编码和特征分析的深度学习模型自适应迁移、压缩、更新与转换。
示例性方法
本实施例提供一种基于数字视网膜系统的通信方法，该方法可以应用于通信工程的服务器。具体如图1所示，所述方法包括：
步骤S100、构建数字视网膜系统；
具体地，数字视网膜，类比于人类视网膜，对传统摄像头乃至视觉计算架构进行演进与革新，从而能够更加智能地支持城市大脑，服务智能安防、城市精细管理等智能应用，故构建数字视网膜系统很重要。所述构建数字视网膜系统包括如下步骤：
步骤S101、获取所述图像数据；
步骤S102、对所述图像数据进行视频编码，视觉特征提取编码和深度自适应学习，得到压缩编码图像数据，视觉特征数据和深度自适应学习模型；
步骤S103、根据所述压缩编码图像数据，所述视觉特征数据和所述深度自适应学习模型，构建数字视网膜系统。
实际中，在摄像头端会拍摄视频，系统会对拍摄视频进行高质量视频编码和视觉特征提取编码，对压缩编码过后的视频流进行本地存储的同时按需上传到云服务器，而所有的特征流实时同步到云服务器。同时，端设备(端)、边缘服务(边)、云服务(云)之间进行面向智能视频编码和特征分析的深度学习模型自适应迁移、压缩、更新与转换。数字视网膜就是这样一种包含视频编码流、特征编码流和模型更新流的可伸缩端边云协同视觉计算架构。
本实施例提供一种基于数字视网膜系统的通信方法，该方法可以应用于通信工程的服务器。具体如图1所示，所述方法包括：
步骤S200、根据所述数字视网膜系统，构建端设备、边缘服务器和云服务器之间的通信协议。
具体地，视网膜通信系统中的HTTPS、SIP、WSS协议的协同使用，从而构建端、边缘服务器和云服务器之间的通信协议。为了构建出端设备、边缘服务器和云服务器之间的完善的通信协议，采用SIP协议传输端设备的控制流(符合GB/T28181标准)；采用RTP/RTCP协议传输视频流(符合GB/T28181标准)，采用HTTPS协议传输上行链路数据(符合GA/T1400标准)；采用WSS协议传输下行链路数据；对GB/T28181标准、GA/T1400标准以及WSS协议进行兼容；。
HTTPS通信：注册、鉴权、创建连接(端设备向边缘服务器注册、边缘服务器向云服务器注册)。后续保活、注销、设备状态上报、算法模型查询、结构化数据上报、非结构化数据上报、数据打包上报都基于HTTPS通信,具体如图2所示。
WSS通信：在HTTPS注册后，注册方会获取到服务端生成的token。注册方携带该token发起WSS连接，用于后续接收服务方下发指令。后续设备基础参数下发、功能定义下发、设备算法模型下发、视频查询、图片查询、算法结果查询、设备状态查询、设备重启、设备关机等指令都基于WSS通信，具体如图3所示。
SIP通信、RTP/RTCP通信：端设备向边缘服务器的SIP服务器发起注册。后续设备控制指令遵循SIP协议、流媒体数据遵循RTP/RTCP协议，具体如图4所示。
本实施例提供一种基于数字视网膜系统的通信方法，该方法可以应用于通信工程的服务器。具体如图1所示，所述方法包括：
步骤S300、根据所述通信协议，执行注册，注销，配置下发，功能定义，模型下发，模型获取，特征流推送、结果流推送、视频流推送与获取，状态上报，控制指令下发和根据需求提取视频、图片、算法结果，实现信息在端设备、边缘服务器和云服务器之间的通信。
通信协议执行的具体流程包括注册，注销，配置下发，功能定义，模型下发，模型获取，特征流推送、结果流推送、视频流推送与获取，状态上报，控制指令下发，视频、图片、算法结果按需提取等。数据上报接口包括设备注册，注销，状态上报，视频流推送，特征流、结构化结果流上报等。数据上报接口除视频流采用符合GB/T 28181-2016要求的协议外，所有控制类接口和数据类接口采用RESTful HTTPS协议JSON数据包格式，数据格式样例如图5。控制下发接口为从云服务或边缘服务器下发的控制指令，包括配置下发、算法模型下发、视频查询等。除视频流设备控制指令外，下发接口都使用基于WebSocket Secure(WSS)协议的json数据格式，格式数据样例如图6所示。
为了实现信息在端设备、边缘服务器和云服务器之间的通信，所述根据所述通信协议，执行注册，注销，配置下发，功能定义，模型下发，模型获取，特征流推送、结果流推送、视频流推送与获取，状态上报，控制指令下发和根据需求提取视频、图片、算法结果包括如下步骤：
步骤S301、根据所述通信协议，端设备通过HTTPS向边缘服务器注册，边缘服务器通过HTTPS向云服务器注册，生成注册方和服务方；
步骤S302、当注册方通过WSS向服务方发送注销请求并收到所述服务方的确认信息后，断开通信连接；
步骤S303、边缘服务器或云服务器通过WSS发送配置文件到端设备。
步骤S304、边缘服务器或云服务器通过WSS向端设备发送功能定义指令；
步骤S305、边缘服务器或云服务器通过WSS发送算法模型更新指令；
步骤S306、边缘服务器通过HTTPS向云服务器或端设备向边缘服务器通过HTTPS获取模型；
步骤S307、根据所述通信协议，端设备将特征流和结构化结果流通过HTTPS上报到边缘服务器，或边缘服务器将特征流和结构化结果流通过HTTPS上报到云服务器；
步骤S308、端设备通过RTP/RTCP将视频流推送到边缘服务器，同时边缘服务器获取所述视频流；
步骤S309、根据所述通信协议，端设备通过HTTPS发送运行状态、设备时间、地理位置到边缘服务器或云服务器；
步骤S310、云服务器通过WSS向端设备发送控制指令，或边缘服务器通过WSS或SIP向端设备发送控制指令；
步骤S311、查询指令发送方先通过WSS发送查询指令并根据所述查询指令结果，通过HTTPS提取视频、图片、算法结果。具体地，设备注册与鉴权：端设备向边缘服务器注册、边缘服务器向云服务器注册。注册方携带登录信息、设备信息(包括设备种类、平台等详细信息)向服务方发起HTTPS注册请求。服务方鉴权登录请求并记录设备信息后，生成token并返回给注册方(若注册过程中鉴权失败，则断开连接)，注册成功后注册方保存token，后续的所有HTTPS通信都会带上该token。登录注册方携带token(由HTTPS注册鉴权阶段获取)信息发起WSS连接请求。该WSS连接用于后续服务方下发指令，HTTPS注册鉴权及WSS连接过程如图7所示。注册接口、消息体参数、返回值说明如下表1-1、1-2、1-3所示：
表1-1登录接口
| HTTP方法 | URI | 消息体 |
| POST | /System/Login | <Login> |
表1-2登录接口消息体Login参数
表1-3登录接口返回值
设备注销：注册方先通过HTTPS发送注销请求，在收到服务方正确返回后，先断开WebSocket连接(不再接受任何下发指令)，然后断开HTTPS连接，注销接口、消息体参数、返回值说明如下表2-1、2-2、2-3所示：
表2-1注销接口
| HTTP方法 | URI | 消息体 |
| POST | /System/Logout | <Logout> |
表2-2注销接口消息体Logout参数
表2-3注销接口返回值
配置下发：边缘服务器或云服务器通过WSS连接下发配置文件至端设备。若是云服务器向边缘服务器下发配置下发指令，则边缘服务器会转发至对应的端设备。配置下发指令用于设定端设备的特征流、算法结果流输出地址、视频流协议类型、编码类别、摄像头分辨率、状态上报频率等。端设备在接收到配置下发后，执行相应配置指令，通过WSS返回执行结果，由云服务或者边服务下发基础配置参数，配置下发接口及返回值如表3-1、3-2所示：
表3-1设备基础配置参数下发接口
表3-2设备基础配置参数下发接口返回值说明
功能定义下发：边缘服务器或云服务器向端设备下发功能定义指令。若是云服务器向边缘服务器下发功能定义指令，则边缘服务器会转发至对应的端设备。功能定义指令通过WSS连接下发，用于设定端设备的特征流、结果流、视频流的推送与否，算法模型的运行实例等。端设备在接收到功能定义下发后，执行相应功能定义指令，通过WSS返回执行结果，软件功能定义接口主要用于定义设备上同时加载运行的多个具体的算法模型，以及是否输出视频流、特征流、结果流等配置。详细参数及返回值如下表4-1、4-2所示。
表4-1功能定义下发接口
表4-2功能定义下发接口返回值说明
模型下发：由边缘服务器或云服务器通过WSS下发算法模型更新指令。模型下发过程为，边缘服务器或云服务器下发模型更新指令，指令数据包中包含模型URL，模型下发指令接收方在获取模型下发指令后，通过HTTPS连接与模型url下载具体的算法模型，然后通过HTTPS返回算法模型更新结果，流程如图8所示，设备算法配置接口参数及返回值如表5-1、5-2所示：
表5-1设备算法模型下发接口
表5-2设备算法模型下发接口返回值说明
模型获取：由边缘服务器向云服务器、或端设备向边缘服务器获取模型。模型获取过程为模型获取方通过HTTPS连接发起模型查询请求，模型发送方会回复相关的模型信息(其中包含模型URL)，模型获取方通过HTTPS连接使用URL下载对应模型，然后通过HTTPS主动上报模型更新结果，流程如图9所示，设备模型查询接口、消息体参数、返回值说明分别如表6-1、6-2、6-3、6-4、6-5所示：
表6-1算法模型查询接口
| HTTP方法 | URI | 消息体 |
| POST | /ModelQuery | <ModelQuery> |
表6-2算法模型查询接口消息体<ModelQuery>参数
表6-3算法模型查询接口返回值
表6-4算法模型查询接口返回消息体<AlgModel>参数
表6-5算法模型查询接口返回消息体<Model>参数
特征流、结构化结果流上报：特征流、结构化结果流通过HTTPS上报至边缘服务器或云服务器，若是端设备向边缘服务器上报，则边缘服务器会转发至云服务器。特征流、结构化结果流接收方回复发送方接收结果，结构化数据-特征值信息上报接口、消息体参数、返回值分别如表7-1、7-2、7-3所示：
表7-1结构化数据-特征值信息上报接口
| HTTP方法 | URI | 消息体 |
| POST | /FeatureInfo | <FeatureInfo>或<FeatureInfoList> |
表7-2结构化数据-特征值信息上报接口消息体FeatureInfo参数
表7-3结构化数据-特征值信息上报接口返回值
结构化结果流上报接口、消息体参数、返回值说明分别如表8-1、8-2、8-3所示：
表8-1结构化数据-算法结果信息上报接口
| HTTP方法 | URI | 消息体 |
| POST | /ResultInfo | <ResultInfo>或<ResultInfoList> |
表8-2结构化数据-算法结果信息上报接口消息体ResultInfo参数
表8-3结构化数据-算法结果信息上报接口返回值
视频流推送与获取：视频流媒体推送通过SIP(IETF RFC 3261)协议，端设备将视频流推送至边缘服务器的SIP流媒体服务器。视频流获取为流媒体接收端向SIP流媒体服务发送点播指令，SIP流媒体服务器转发由端设备推送至流媒体服务器的实时或历史流媒体数据，流程如图10所示。状态上报：状态上报为端设备通过HTTPS连接上传运行状态、设备时间、地理位置等状态信息至边缘服务器或云服务器。当状态上报至边缘服务器时，只有状态信息产生变化或者Forward字段置1时，边缘服务器才会上报状态信息至云服务器。在接收到状态上报后，状态接收方回复状态响应，流程如图11所示，端设备状态上报接口、消息体参数、返回值说明分别如表9-1、9-2、9-3所示：
表9-1端设备状态上报接口
| HTTP方法 | URI | 消息体 |
| PATCH | /System/DeviceStatus | <DeviceStatus> |
表9-2端设备状态上报接口消息体DeviceStatus参数
表9-3端状态上报接口返回值
边缘状态上报接口、消息体参数、返回值说明分别如表9-4、9-5、9-6所示：
表9-4边状态上报接口
| HTTP方法 | URI | 消息体 |
| PATCH | /System/EdgeStatus | <EdgeStatus> |
表9-5边状态上报接口消息体EdgeStatus参数
表9-6边状态上报接口返回值
控制指令下发：状态控制指令为云服务器或边缘服务器向端设备发送控制指令，或云服务器向边缘服务器发送控制指令，边缘服务器再转发至对应的端设备。在收到控制指令后，执行相应指令并返回执行结果，流程如图12所示，具体参数参见GB/T 28181-2016附录A.2.3的规定。
视频、图片、算法结果按需提取：视频、图片、算法结果按需提取的指令发送方通过WSS发起视频、图片、算法结果查询指令，指令接收方返回对应查询结果，选取所需的视频、图片、算法结果并通过HTTPS下载，流程如图13所示，视频查询接口需求为：支持视频查询，支持按需调取视频，视频查询接口参数及返回值如表10-1、10-2所示：
表10-1视频查询接口
表10-2视频查询接口返回值
图片查询接口需求为：支持图片查询，支持按需调取图片。图片查询接口参数及返回值如表11-1、11-2所示：
表11-1图片查询接口
表11-2图片查询接口返回值
算法结果查询接口参数及返回值如表12-1、12-2所示：
表12-1算法结果查询接口
表12-2算法结果查询接口返回值
示例性设备
如图14中所示，本发明实施例提供一种基于数字视网膜系统的通信装置，该装置包括：数字视网膜系统构建单元401，端设备、边缘服务器和云服务器之间的通信协议构建单元402，通信协议执行单元403，
数字视网膜系统构建单元401，用于构建数字视网膜系统；
端设备、边缘服务器和云服务器之间的通信协议构建单元402，用于根据所述数字视网膜系统，构建端设备、边缘服务器和云服务器之间的通信协议；
通信协议执行单元403，用于根据所述通信协议，执行注册，注销，配置下发，功能定义，模型下发，模型获取，特征流推送、结果流推送、视频流推送与获取，状态上报，控制指令下发和根据需求提取视频、图片、算法结果，实现信息在端设备、边缘服务器和云服务器之间的通信。
基于上述实施例，本发明还提供了一种服务器，其原理框图可以如图15所示。该服务器包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该服务器的处理器用于提供计算和控制能力。该服务器的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该服务器的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于数字视网膜系统的通信方法。该服务器的显示屏可以是液晶显示屏或者电子墨水显示屏，该服务器的温度传感器是预先在服务器内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图15中的原理图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的服务器的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种服务器，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：构建数字视网膜系统；
根据所述数字视网膜系统，构建端设备、边缘服务器和云服务器之间的通信协议；
根据所述通信协议，执行注册，注销，配置下发，功能定义，模型下发，模型获取，特征流推送、结果流推送、视频流推送与获取，状态上报，控制指令下发和根据需求提取视频、图片、算法结果，实现信息在端设备、边缘服务器和云服务器之间的通信。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了一种基于数字视网膜系统的通信方法，所述方法包括：构建数字视网膜系统；根据所述数字视网膜系统，构建端设备、边缘服务器和云服务器之间的通信协议；根据所述通信协议，执行注册，注销，配置下发，功能定义，模型下发，模型获取，特征流推送、结果流推送、视频流推送与获取，状态上报，控制指令下发和根据需求提取视频、图片、算法结果，实现信息在端设备、边缘服务器和云服务器之间的通信。通过本实施例的通信方法可以保证高效的存储，能支撑大数据查询分析，同时支持在端设备(端)、边缘服务(边)、云服务(云)之间进行面向智能视频编码和特征分析的深度学习模型自适应迁移、压缩、更新与转换。
应当理解的是，本发明公开了一种基于数字视网膜系统的通信方法，应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (3)
1.一种基于数字视网膜系统的通信方法，其特征在于，所述方法包括：
构建数字视网膜系统；
所述构建数字视网膜系统包括：
获取图像数据；
对所述图像数据进行视频编码，视觉特征提取编码和深度自适应学习，得到压缩编码图像数据，视觉特征数据和深度自适应学习模型；
根据所述压缩编码图像数据，所述视觉特征数据和所述深度自适应学习模型，构建数字视网膜系统；
根据所述数字视网膜系统，构建端设备、边缘服务器和云服务器之间的通信协议；
所述根据所述数字视网膜系统，构建端设备、边缘服务器和云服务器之间的通信协议包括：
采用SIP协议传输端设备的控制流(符合GB/T28181标准)；
采用RTP/RTCP协议传输视频流(符合GB/T28181标准)；
将GB/T28181标准和GA/T1400标准以及WSS协议进行兼容；
采用HTTPS协议传输上行链路数据(符合GA/T1400标准)；
采用WSS协议传输下行链路数据；
根据所述通信协议，执行注册，注销，配置下发，功能定义，模型下发，模型获取，特征流推送、结果流推送、视频流推送与获取，状态上报，控制指令下发和根据需求提取视频、图片、算法结果，实现信息在端设备、边缘服务器和云服务器之间的通信；数据上报接口包括设备注册，注销，状态上报，视频流推送，特征流、结构化结果流上报等；数据上报接口除视频流采用符合GB/T 28181-2016要求的协议外，所有控制类接口和数据类接口采用RESTfulHTTPS协议JSON数据包格式；
所述根据所述通信协议，执行注册，注销，配置下发，功能定义，模型下发，模型获取，特征流推送、结果流推送、视频流推送与获取，状态上报，控制指令下发和根据需求提取视频、图片、算法结果包括：
根据所述通信协议，端设备通过HTTPS向边缘服务器注册，边缘服务器通过HTTPS向云服务器注册，生成注册方和服务方；
当注册方通过WSS向服务方发送注销请求并收到所述服务方的确认信息后，断开通信连接；
边缘服务器或云服务器通过WSS向端设备发送配置下发指令；
边缘服务器或云服务器通过WSS向端设备发送功能定义指令；
边缘服务器或云服务器通过WSS向端设备发送算法模型更新指令；
边缘服务器通过HTTPS向云服务器或端设备通过HTTPS向边缘服务器获取模型；
端设备将特征流和结构化结果流通过HTTPS上报到边缘服务器，然后边缘服务器将特征流和结构化结果流通过HTTPS上报到云服务器；
端设备通过RTP/RTCP将视频流推送到边缘服务器，同时边缘服务器获取所述视频流；
端设备通过HTTPS发送运行状态、设备时间、地理位置等信息到边缘服务器，然后缘服务器通过HTTPS将端设备的运行状态、设备时间、地理位置等信息转发至云服务器；边缘服务器通过HTTPS发送自身运行状态至云服务器；
云服务器通过WSS向边缘服务器发送控制指令，然后边缘服务器通过WSS或SIP向端设备转发控制指令；或由边缘服务器直接通过WSS或SIP向端设备发送控制指令；
查询指令发送方先通过WSS发送查询指令，然后根据查询指令结果中的url通过HTTPS下载对应的视频、图片、算法结果；
所述根据所述通信协议，端设备通过HTTPS向边缘服务器注册，边缘服务器通过HTTPS向云服务器注册，生成注册方和服务方包括：
根据所述通信协议，端设备向边缘服务器发送HTTPS注册请求，则端设备为注册方，边缘服务器为服务方；
根据所述通信协议，边缘服务器向云服务器发送HTTPS注册请求，则边缘服务器为注册方，云服务器为服务方；
所述边缘服务器或云服务器通过WSS发送配置下发指令到端设备包括：
边缘服务器通过WSS发送配置下发指令到端设备；
云服务器通过WSS发送配置下发指令到边缘服务器，边缘服务器通过WSS将所述配置下发指令发送到指定的端设备；
所述边缘服务器或云服务器向端设备发送功能定义指令包括：
边缘服务器通过WSS向端设备发送功能定义指令；
云服务器通过WSS将功能定义指令发送到边缘服务器，边缘服务器通过WSS将所述功能定义指令发送到指定的端设备。
2.一种服务器，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1中所述的方法。
3.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110117722.5A CN112929351B (zh) | 2021-01-28 | 2021-01-28 | 一种基于数字视网膜系统的通信方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110117722.5A CN112929351B (zh) | 2021-01-28 | 2021-01-28 | 一种基于数字视网膜系统的通信方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112929351A CN112929351A (zh) | 2021-06-08 |
| CN112929351B true CN112929351B (zh) | 2022-08-09 |
Family
ID=76168799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110117722.5A Active CN112929351B (zh) | 2021-01-28 | 2021-01-28 | 一种基于数字视网膜系统的通信方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112929351B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926954A (zh) * | 2022-06-15 | 2022-08-19 | 上海意静信息科技有限公司 | 火灾报警确认的方法及相关组件 |
| CN116246474B (zh) * | 2023-02-15 | 2024-05-31 | 珠海市思瑞达智能科技有限公司 | 基于云边端协同的交通信号相位配时控制方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109088777A (zh) * | 2018-09-14 | 2018-12-25 | 武汉光迅科技股份有限公司 | 一种roadm业务侧光纤连接的匹配装置和方法 |
| CN112261336A (zh) * | 2020-09-25 | 2021-01-22 | 山东浪潮通软信息科技有限公司 | 一种融合gb28181协议实现手机视频通信的方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110719438A (zh) * | 2019-08-28 | 2020-01-21 | 北京大学 | 一种数字视网膜视频流与特征流的同步传输控制方法 |
| CN111090773B (zh) * | 2019-08-28 | 2023-02-07 | 北京大学 | 一种数字视网膜体系结构及软件架构方法及系统 |
-
2021
- 2021-01-28 CN CN202110117722.5A patent/CN112929351B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109088777A (zh) * | 2018-09-14 | 2018-12-25 | 武汉光迅科技股份有限公司 | 一种roadm业务侧光纤连接的匹配装置和方法 |
| CN112261336A (zh) * | 2020-09-25 | 2021-01-22 | 山东浪潮通软信息科技有限公司 | 一种融合gb28181协议实现手机视频通信的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112929351A (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230209186A1 (en) | System and method for controlling surveillance cameras | |
| CN112929351B (zh) | 一种基于数字视网膜系统的通信方法 | |
| CN103945003B (zh) | 一种WebRTC客户端连接动态自适应选择的方法 | |
| US10348520B2 (en) | Method and gateway for communication between browser and telecommunication network | |
| US10194180B2 (en) | Systems and methods for transmitting video data over a network | |
| WO2016127793A1 (zh) | 消息发送方法、装置、系统和服务器 | |
| US20180278692A1 (en) | Communication device, communication system, and communication method | |
| CN108737476B (zh) | 云存储系统、媒体数据存储方法及系统 | |
| CN104639625A (zh) | 一种基于mqtt的数据集中器采集控制方法、装置及系统 | |
| US20160294895A1 (en) | Mobile terminal and method for achieving cloud streaming medium file sharing based on dlna | |
| EP3576371B1 (en) | Method and system for transmitting streaming media resource | |
| WO2012129468A1 (en) | System and method for sharing data from a local network to a remote device | |
| CN105429958A (zh) | 一种基于Android开发的企业应用平台系统 | |
| US20140304419A1 (en) | System and terminal for p2p connection in mobile environment and method for p2p connection using the same | |
| CN103944992A (zh) | 一种在ios上加速http的方法 | |
| CN104065913B (zh) | 一种即时通信客户端 | |
| US9712392B2 (en) | SIP endpoint configuration in VoIP networks | |
| CN110719307A (zh) | 数据传输方法、客户端、服务端及计算机可读存储介质 | |
| CN103684970A (zh) | 媒体数据流的传输方法和瘦终端 | |
| CN116489307B (zh) | 网络监控系统、网络监控方法、装置及相关设备 | |
| CN101094159A (zh) | 一种媒体流私网穿透的方法 | |
| CN104754282A (zh) | 基于ip的视频会议控制系统及方法 | |
| WO2015081691A1 (zh) | 媒体资源共享的方法、共享服务器及共享系统 | |
| CN106603699A (zh) | 一种实时远程控制移动终端的方法和系统 | |
| KR101970200B1 (ko) | 영상 녹화 장치를 이용하여 복수의 sns 서버로 라이브 방송을 제공하는 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |