CN108255605A - 一种基于神经网络的图像识别协同计算方法及系统 - Google Patents
一种基于神经网络的图像识别协同计算方法及系统 Download PDFInfo
- Publication number
- CN108255605A CN108255605A CN201711475734.5A CN201711475734A CN108255605A CN 108255605 A CN108255605 A CN 108255605A CN 201711475734 A CN201711475734 A CN 201711475734A CN 108255605 A CN108255605 A CN 108255605A
- Authority
- CN
- China
- Prior art keywords
- cloud server
- node
- terminal equipment
- network edge
- subscriber terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer And Data Communications (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种基于神经网络的图像识别协同计算方法及系统，实现了一种自适应的移动用户设备终端、网络边缘端、云服务器端分布式协同计算架构方案，云端服务器根据用户设备终端、网络边缘端通信设备以及自身的实时性能结合网络上下文和已训练好的神经网络模型结构与参数信息，将云端服务器的计算任务分流至用户设备终端和网络边缘通信设备节点，能够充分利用移动用户设备与网络边缘基础通信设备的空闲计算力与存储空间等资源，解决在用户请求高并发的情况下云端服务器部署成本高、难度大和时延大的问题，从而能够在保证增强现实应用/活动开展的前提下，缓解云端服务器的计算压力，解决增强现实应用的低延时的问题。
Description
技术领域
本发明涉及增强现实技术领域，更具体地，涉及一种基于神经网络的图像识别协同计算方法及系统。
背景技术
增强现实技术(Augmented Reality technique，简称AR技术)是一种将真实世界信息与虚拟世界信息“无缝”集成的新技术，通过计算机对真实世界中一定时间空间范围内很难体验到的实体信息(如视觉信息，听觉信息等)进行仿真和模拟，将虚拟的信息应用到真实世界中，从而被人类感官所感知，达到超越现实的感官体验。增强现实技术融合了自然图像识别、多媒体、三维建模、多传感器融合、实时视频显示及控制、实时跟踪及注册、场景融合等新技术与新手段，作为一种实时的视觉交互技术，其对带宽和时延有着极高的要求。同时，增强现实技术涉及到对现实世界中目标物体的捕获、识别，以及相应三维空间的建立、模型渲染等多项计算密集型任务，需要执行大量且复杂的矩阵运算。
由于实时性与计算复杂性的限制，现有的增强现实系统大多是基于专用设备(如头戴式设备)来开发实现的。这种方案满足了增强现实技术对于带宽与计算性能的要求，从而为用户提供了良好的实时交互体验。然而，这种增强现实专用设备便携性差，用户只能在固定场所体验特定的增强现实场景，且设备价格昂贵，因此制约了增强现实技术的大规模、普适化推广与应用。近些年来，随着移动通信技术的发展与移动终端设备处理能力的提高，越来越多的网络服务与应用开始趋于轻量化、移动化与跨平台化，基于移动智能终端的增强现实技术也得到了越来越多的重视。
目前基于移动智能终端的增强现实应用多数通过安装应用程序(APP)的方式实现，这种方案可以充分访问并利用用户终端设备的硬件资源，从而提高应用程序的性能与用户体验。然而，安装增强现实相关的应用程序(APP)的方式跨平台性较差，移动终端设备用户只有在下载特定的应用程序后，才能体验到增强现实这种新技术，因而这种基于移动智能终端的增强现实解决方案依旧存在增强现实技术大规模普适化推广应用难的问题。万维网(WWW)技术以其天然的跨平台性，为增强现实的大规模普适化提供了全新的入口与途径。不再受限于特定的增强现实应用程序，互联网用户只需要通过点击特定的网络超链接，便可以从终端设备浏览器直接体验到增强现实技术，极大的降低了增强现实技术大规模推广的门槛与成本。然而，从技术开发角度来讲，由于Web浏览器端JS代码计算效率低下，且其JS代码的解释执行机制，致使移动终端设备的Web浏览器并无法良好的支持属于计算密集型业务的增强现实应用。
目前移动终端应用程序对于计算密集型业务多数都采用云计算的解决方案，大多数移动智能终端的增强现实应用程序同样如此，通过将复杂的计算任务上传到云端服务器执行，极大的缓解了终端设备本地执行计算任务的压力，从而大大提升了应用程序的用户体验。云计算的解决方案突破了智能终端设备本地计算力及存储空间不足的限制，极大的扩展了用户智能终端设备的性能。然而，对于增强现实这种新型视觉技术，需要通过捕获现实世界中的目标物体，并进行准确的图像识别等一系列后续操作，从而达到虚实结合、增强现实的效果。在此之间执行的图像捕获、图像识别、三维模型渲染等等操作涉及到了大量的复杂矩阵运算，虽然云端服务器相比于用户智能终端设备具有更高性能的配置，能够更快地执行这些复杂运算，提供更优的增强现实用户体验，但这些计算密集型业务依旧占用了大量的CPU、存储空间等计算资源，面对高并发的用户请求，云端服务器的部署成本与难度都成为一个不可忽视的问题。
发明内容
为了解决现有的在高并发的Web浏览器端增强现实应用场景下计算任务上传到云端服务器所造成的云服务器部署难、成本高、时延大的问题，本发明提供一种基于神经网络的图像识别协同计算方法及系统。
根据本发明的一个方面，提供一种基于神经网络的图像识别协同计算方法，包括：
S11，当用户终端设备接收到用户发送的增强现实服务请求时，获取自身的实时性能信息，并采集目标识别物的图像，对所述目标识别物的图像进行预处理，将所述经过预处理后的图像进行存储并生成业务逻辑请求信息；
S12，将所述业务逻辑请求信息和所述实时性能信息发送给网络边缘通信设备节点，以供所述网络边缘通信设备节点将其实时性能信息与所述业务逻辑请求信息和所述用户终端设备的实时性能信息一并打包后发送给云端服务器节点执行计算分流决策；
S13，当接收到云端服务器节点下发的神经网络计算任务块时，对经预处理后的图像执行与所述神经网络计算任务块中的信息相应的矩阵运算，获得矩阵运算结果；
S14，将所述矩阵运算结果的可信度与预置的可信度进行比较，若所述矩阵运算结果的可信度高于所述预置的可信度，则根据所述矩阵运算结果确定虚拟信息，并对所述虚拟信息进行渲染。
其中，所述步骤S14还包括：
若所述矩阵运算结果的可信度低于所述预置的可信度，则将所述矩阵运算结果发送至网络边缘通信设备节点，以供网络边缘通信设备节点根据所述矩阵运算结果继续执行神经网络的中间运算操作。
其中，在所述步骤S14之后还包括：
用户终端设备接收到网络边缘通信设备节点在执行所述神经网络的中间运算操作后所获得中间运算结果可信的情况下所发送的识别成功的状态信息时，根据所述状态信息确定虚拟信息，并对所述虚拟信息执行渲染操作。
其中，在所述步骤S14后，还包括：
用户终端设备接收到网络边缘通信设备节点在执行所述神经网络的中间运算操作后所获得中间运算结果可信度不足的情况下由云端服务器节点执行神经网络的后续计算操作所返回的神经网络最终计算结果时，根据所述神经网络最终计算结果确定虚拟信息，并对所述虚拟信息执行渲染操作；或者，重新开始进行目标识别物的图像采集。
根据本发明的另一个方面，提供一种基于神经网络的图像识别协同计算方法，包括：
S21，网络边缘通信设备节点在接收到用户终端发送的业务逻辑请求信息和实时性能信息时，网络边缘通信设备节点将自身的实时性能信息与所述业务逻辑请求信息和所述用户终端设备的实时性能信息一并打包后发送给云端服务器节点，以供云端服务器节点执行计算分流决策。
其中，在所述步骤S21之后，还包括：
S22，当网络边缘通信设备节点接收到用户终端设备发送的矩阵运算结果时，根据本地存储的由云端服务器节点下发的神经网络计算任务块中的信息，在所述矩阵运算结果的基础上继续执行神经网络的中间运算操作，获得中间运算结果；
S23，将所述中间运算结果的可信度与预置的可信度进行比较，若所述中间运算结果可信，则向用户终端设备发送识别成功的状态信息，以触发用户终端设备对虚拟信息进行渲染。
其中，所述步骤S23还包括：
若所述中间运算结果可信度不足，则将所述中间运算结果发送至云端服务器节点，以供云端服务器节点继续执行神经网络的后续计算操作。
根据本发明的另一个方面，提供一种基于神经网络的图像识别协同计算方法，包括：
S31，云端服务器节点通过对网络边缘设备节点发送的打包后的信息进行解析获得用户终端设备和网络边缘通信设备节点的实时性能信息，依据所述用户终端设备、网络边缘通信设备节点以及自身的实时性能信息，并结合网络上下文以及已训练好的神经网络模型结构与参数信息进行计算分流决策，生成计算分流策略；
S32，云端服务器节点依据所述计算分流策略，将神经网络模型参数与相关的矩阵运算函数分块打包成神经网络计算任务块，并将所述神经网络计算任务块发送给网络边缘通信设备节点和用户终端设备，以供所述用户终端设备和网络边缘通信设备节点根据所述神经网络计算任务块中的信息执行相关的计算操作。
其中，在所述步骤S32之后，还包括：
S33，云端服务器节点接收到网络边缘通信设备节点传来的中间运算结果后，在所述中间运算结果的基础上继续执行神经网络的后续计算操作，获得神经网络最终计算结果，并将所述神经网络最终计算结果直接发送至用户终端设备，以供用户终端设备决定是否执行对虚拟信息的渲染操作。
其中，所述步骤S31还包括：
当无法获取到用户终端设备的实时性能信息时，云端服务器节点依据所述用户终端设备的型号通过在线搜索获取所述用户终端设备的性能信息。
其中，还包括：
若云端服务器节点发生故障，则将当前云端服务器节点本地的计算任务迁移至云端服务器集群中其他正常的云端服务器节点上。
根据本发明的另一个方面，提供一种用户终端设备，在现有用户终端设备的web浏览器层部署移动web端协同计算子系统，以使用户终端设备执行如前所述的基于神经网络的图像识别协同计算方法，其中，所述移动web端协同计算子系统包括：
移动web端业务管理模块，用于与用户终端设备和所述移动web端协同计算子系统的其他各组件进行通信，并对所述移动web端协同计算子系统的其他各组件进行功能调度；
移动web端数据通信模块，用于实现所述web端业务处理模块与网络边缘通信设备节点或云端服务器节点之间的数据通信；
移动web端性能监测模块，用于对所述用户终端设备进行实时性能监测；
移动web端计算模块，用于管理和执行所述用户终端设备本地的计算任务；
图像采集模块，用于通过调用所述用户终端设备的摄像头进行图像采集；
图像预处理模块，用于对所述图像采集模块捕获到的图像进行预处理；
3D渲染模块，用于对虚拟信息进行渲染；
根据本发明的另一个方面，提供一种网络边缘通信设备节点，在现有网络边缘通信设备的底层硬件基础上增加网络边缘端协同计算子系统，以使所述网络边缘通信设备节点执行前所述的基于神经网络的图像识别协同计算方法，其中，所述网络边缘端协同计算子系统包括：
AR业务逻辑管理模块，用于管理具体的AR应用/活动业务逻辑并与AR抽象业务管理模块进行通信；
网络边缘端数据通信模块，用于和所述AR业务逻辑管理模块、用户终端设备以及云服务器节点进行数据通信；
AR抽象业务管理模块，用于为网络边缘通信设备节点提供统一的AR服务接口；
网络边缘端性能监测模块，用于对网络边缘通信设备节点进行实时性能监测；
网络边缘端计算模块，用于管理和执行本地网络边缘通信设备节点的计算任务。
根据本发明的另一个方面，提供一种云端服务器节点，在现有云端服务器的底层硬件基础上增加云服务器端协同计算子系统，以使所述云端服务器节点执行如前所述的基于神经网络的图像识别协同计算方法，其中，所述云服务器端协同计算子系统包括：
云服务器端业务管理模块，用于对所述云服务器端协同计算子系统的其他各组件进行功能调度；
云服务器端数据通信模块，用于实现所述云服务器端业务管理模块与网络边缘通信设备节点或用户终端设备之间的数据通信；
云服务器端性能监测模块，用于对本地云端服务器节点进行实时性能监测；
云服务器端计算模块，用于管理和执行本地云端服务器节点的计算任务；
神经网络模块，用于训练基于目标识别物的图像检测与分类神经网络模型；
计算分流决策模块，用于依据用户终端设备、网络边缘通信设备节点、云端服务器节点本地的性能信息，并结合网络上下文和训练好的神经网络模型参数信息进行计算分流决策，生成计算分流策略；
参数组装模块，用于依据所述计算分流策略，将已训练好的神经网络模型参数与相关的矩阵运算函数进行分块打包；
在线搜索模块，用于依据用户终端设备的型号执行在线性能查询操作；
计算迁移模块，用于在云端服务器节点发生故障时将云端服务器节点本地的计算任务迁移至云端服务器集群中其他正常的云端服务器节点。
根据本发明的又一个方面，提供一种基于神经网络的图像识别协同计算系统，包括：至少一个如上所述的用户终端设备、至少一个如上所述的网络边缘通信设备节点和至少一个如上所述的云端服务器节点。
本发明提出的一种基于神经网络的图像识别协同计算方法及系统，能够充分利用移动用户设备与网络边缘基础通信设备的空闲计算力与存储空间等资源，解决在用户请求高并发的情况下云端服务器部署成本高、难度大、时延大的问题，从而能够在保证增强现实应用/活动开展的前提下，缓解云端服务器的计算压力，解决增强现实应用的低延时的问题。
附图说明
图1为本发明一实施例提供的一种基于神经网络的图像识别协同计算方法的流程示意图；
图2为本发明另一实施例提供的一种基于神经网络的图像识别协同计算方法的流程示意图；
图3为本发明另一实施例提供的一种基于神经网络的图像识别协同计算方法的流程示意图；
图4为本发明另一实施例提供的一种用户终端设备的实现框图；
图5为本发明另一实施例提供的一种网络边缘通信设备节点的实现框图；
图6为本发明另一实施例提供的一种云端服务器节点的实现框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本发明保护的范围。
如图1所示，为本发明一实施例提供的一种基于神经网络的图像识别协同计算方法的流程示意图，包括：
S11，当用户终端设备接收到用户发送的增强现实服务请求时，获取自身的实时性能信息，并采集目标识别物的图像，对所述目标识别物的图像进行预处理，将所述经过预处理后的图像进行存储并生成业务逻辑请求信息；
S12，将所述业务逻辑请求信息和所述实时性能信息发送给网络边缘通信设备节点，以供所述网络边缘通信设备节点将其实时性能信息与所述业务逻辑请求信息和所述用户终端设备的实时性能信息一并打包后发送给云端服务器节点执行计算分流决策；
S13，当接收到云端服务器节点下发的神经网络计算任务块时，对经预处理后的图像执行与所述神经网络计算任务块中的信息相应的矩阵运算，获得矩阵运算结果；
S14，将所述矩阵运算结果的可信度与预置的可信度进行比较，若所述矩阵运算结果的可信度高于所述预置的可信度，则根据所述矩阵运算结果确定虚拟信息，并对所述虚拟信息进行渲染。
具体地，S11，用户终端设备接收到用户通过UI界面发送的增强现实服务请求之后，获取自身的当前性能信息，并调用用户终端设备上的摄像头采集目标识别物的图像，并对所采集的目标识别物的图像进行预处理，图像预处理包括压缩、灰度处理、直方图归一化等操作，处理后的图像会被存储下来，然后用户终端设备生成业务逻辑请求信息。
S12，将所述业务逻辑请求信息和其当前性能信息发送给网络边缘通信设备节点，所述网络边缘通信设备节点包括通信基站等边缘通信基础设备，然后网络边缘通信设备节点接收到用户终端设备发送的上述信息时，会获取其自身的实时性能信息，然后将所接收到的用户终端设备发送的业务逻辑请求信息和实时性能信息与其自身的实时性能信息一并打包发送给云端服务器节点，以供云端服务器节点根据上述性各性能信息和自身的实时性能信息并结合网络上下文进行计算分流决策。
S13，云端服务器节点执行计算分流决策后，会生成计算分流策略，然后依据所述计算分流策略，将神经网络模型参数与相关的矩阵运算函数分块打包成神经网络计算任务块，获得用户终端设备和网络边缘通信设备节点可以执行的神经网络计算任务块，所述神经网络计算任务块中的信息包括神经网络模型的部分参数以及相应的操作流程，然后将神经网络计算任务分别发送给用户终端设备和网络边缘通信设备节点。当用户终端设备接收到云端服务器器节点下发的神经网络计算任务时，对经预处理后的图像执行与所述神经网络计算任务相应的矩阵运算，包括卷积、池化等神经网络的前馈计算操作，获得矩阵运算结果。在用户终端设备进行的神经网络计算，层数较少，不会占用较多的资源。
S14，用户终端设备获取所述矩阵运算结果的可信度，并与预置的可信度进行比较，若所述矩阵运算结果可信，则说明通过用户终端设备的计算，就可以完成图像识别任务，那么用户终端设备可以根据图像识别的最终结果确定要进行渲染的虚拟信息，然后对所述虚拟信息进行渲染。
本发明实施例提供的一种基于神经网络的图像识别协同计算方法，通过将用户终端设备的业务逻辑请求和性能信息上传至云端服务器，云端服务器根据性能信息和网络上下文生成计算分流策略，并下发神经网络计算任务给用户终端设备执行相应的矩阵运算，能够充分利用用户终端设备的空闲计算力，有效缓解在用户请求高并发的情况下云端服务器的计算压力。
基于上述实施例，所述步骤S14还包括：
若所述矩阵运算结果的可信度低于所述预置的可信度，则将所述矩阵运算结果发送至网络边缘通信设备节点，以供网络边缘通信设备节点根据所述矩阵运算结果继续执行神经网络的中间运算操作。
具体地，若用户终端设备执行的神经网络计算任务的可信度不足，则说明图像识别任务仅通过用户终端设备处的计算不足以实现，那么用户终端设备就需要将执行神经网络计算任务所获得的矩阵运算结果进行上传，发送给网络边缘通信设备节点，以供网络边缘通信设备节点继续执行神经网络的中间计算任务，即继续进行图像检测与分类识别。
本发明另一实施例，在上述实施例的基础上，在所述步骤S14之后还包括：
用户终端设备接收到网络边缘通信设备节点在执行所述神经网络的中间运算操作后所获得中间运算结果可信的情况下所发送的识别成功的状态信息时，根据所述状态信息确定虚拟信息，并对所述虚拟信息执行渲染操作。
具体地，若网络边缘通信设备节点根据云端服务器节点下发的神经网络计算任务，在用户终端设备的矩阵计算结果的基础上，进一步地执行神经网络的中间运算操作，获得中间运算结果，并将所述中间运算结果的可信度与预置的可信度进行比较，若所述中间运算结果可信，则说明通过网络边缘通信设备节点的计算就能够完成图像识别任务，那么网络边缘通信设备节点就会向用户终端设备发送图像识别成功的状态消息。用户终端设备接收到所述状态消息后，就会触发自身的3D渲染功能模块对虚拟信息进行渲染。
本发明上述各实施例提供的一种基于神经网络的图像识别协同计算方法，云端服务器根据性能信息和网络上下文生成计算分流策略，并下发神经网络计算任务给用户终端设备和网络边缘通信设备节点执行相应的矩阵运算，在用户终端执行计算任务的可信度不足时，由网络边缘通信设备继续执行计算任务，能够充分利用用户终端设备和网络边缘通信设备的空闲计算力，有效缓解在用户请求高并发的情况下云端服务器的计算压力。
本发明另一实施例，在上述实施例的基础上，在所述步骤S14后，还包括：
用户终端设备接收到网络边缘通信设备节点在执行所述神经网络的中间运算操作后所获得中间运算结果可信度不足的情况下由云端服务器节点执行神经网络的后续运算操作所返回的神经网络最终计算结果时，根据所述神经网络最终计算结果确定虚拟信息，并对所述虚拟信息执行渲染操作；或者，重新开始进行目标识别物的图像采集。
具体地，若网络边缘通信设备节点根据云端服务器节点下发的神经网络计算任务，在用户终端设备的矩阵计算结果的基础上，进一步地执行神经网络的中间运算操作，获得中间运算结果，并将所述中间运算结果的可信度与预置的可信度进行比较，若所述中间运算结果不可信，则说明通过网络边缘通信设备节点的计算还不能够完成图像识别任务，则网络边缘通信设备节点会将其获得中间运算结果发送给云端服务器节点，云端服务器节点则会在所述中间运算结果的基础上，继续执行神经网络的后续运算操作，并将所获得的神经网络最终计算结果直接发送给用户终端设备。用户终端设备在接收到云端服务器节点下发的神经网络最终计算结果后，决定是否根据所述神经网络最终计算结果确定虚拟信息，然后触发3D渲染功能模块对所述虚拟信息进行渲染，或者，若用户终端设备认为所述云端服务器下发的神经网络最终计算结果不可信，则重新开始进行对目标识别物的图像采集，从而开始重新执行图像识别的一系列操作。
本发明上述各实施例提供的一种基于神经网络的图像识别协同计算方法，云端服务器根据性能信息和网络上下文生成计算分流策略，并下发神经网络计算任务给用户终端设备和网络边缘通信设备节点执行相应的矩阵运算，在网络边缘通信设备节点的计算结果可信度不足时，才由云端服务器执行计算任务，能够充分利用用户终端设备和网络边缘通信设备节点的空闲计算力，有效缓解在用户请求高并发的情况下云端服务器的计算压力。
本发明另一实施例，提供一种基于神经网络的图像识别协同计算方法，包括：
S21，网络边缘通信设备节点在接收到用户终端发送的业务逻辑请求信息和实时性能信息时，网络边缘通信设备节点将自身的实时性能信息与所述业务逻辑请求信息和所述用户终端设备的实时性能信息一并打包后发送给云端服务器节点，以供云端服务器节点执行计算分流决策。
具体地，网络边缘通信设备节点在接收到用户终端发送的业务逻辑请求信息和实时性能信息时，要将该业务逻辑请求信息和实时性能信息上传至服务器，同时，还需要获取自身的实时性能信息，以供云端服务器根据用户终端设备和网络边缘通信设备节点的性能信息进行相应地计算分流决策，以充分利用用户终端设备和网络边缘通信设备节点的空闲计算资源，缓解自身的计算压力。
如图2所示，为本发明另一实施例提供的一种基于神经网络的图像识别协同计算方法的流程示意图，在上述实施例所述的步骤S21之后，还包括：
S22，当网络边缘通信设备节点接收到用户终端设备发送的矩阵运算结果时，根据本地存储的由云端服务器节点下发的神经网络计算任务块中的信息，在所述矩阵运算结果的基础上继续执行神经网络的中间运算操作，获得中间运算结果；
S23，将所述中间运算结果的可信度与预置的可信度进行比较，若所述中间运算结果可信，则向用户终端设备发送识别成功的状态信息，以触发用户终端设备对虚拟信息进行渲染。
具体地，当云端服务器的神经网络计算任务下发成功后，首先由用户终端执行矩阵运算，用户终端在矩阵运算结果可信度不足时会向网络边缘通信设备节点发送该矩阵运算结果。当网络边缘通信设备节点接收到该信息时，则根据自身所接收到的云端服务器下发的神经网络计算任务块中的信息在该矩阵运算结果的基础上继续执行神经网络的中间运算操作，获得一个中间运算结果。并将所述中间运算结果与预先设置后的可信度进行比较，若所述中间运算结果可信，则说明图像识别任务成功，那么就通知用户终端设备可以进行对虚拟信息的渲染操作了，通知方式是向用户终端设备发送识别成功的状态信息。
本发明另一实施例，在上述实施例的基础上，所述步骤S23还包括：
若所述中间运算结果可信度不足，则将所述中间运算结果发送至云端服务器节点，以供云端服务器节点继续执行神经网络的后续计算操作。
具体地，若所获得的中间运算结果可信度不足，说明经过网络终端设备和网络边缘通信设备节点的神经网络计算过程还不足以实现对目标识别物的识别，需要云端服务器进行进一步的计算。因此，网络边缘通信设备节点将所获得的中间运算结果发送给云端服务器，以供云端服务器调用已训练好的神经网络模型相关参数在所述中间运算结果的基础上继续执行神经网络的后续计算操作，以继续完成图像识别任务。
本发明上述各实施例提供的一种基于神经网络的图像识别协同计算方法，云端服务器根据性能信息和网络上下文生成计算分流策略，并下发神经网络计算任务给用户终端设备和网络边缘通信设备节点执行相应的矩阵运算，在网络边缘通信设备节点的计算结果可信度不足时，才由云端服务器执行计算任务，能够充分利用用户终端设备的空闲计算力，有效缓解在用户请求高并发的情况下云端服务器的计算压力。
如图3所示，为本发明另一实施例提供的一种基于神经网络的图像识别协同计算方法的流程示意图，包括：
S31，云端服务器节点通过对网络边缘设备节点发送的打包后的信息进行解析获得用户终端设备和网络边缘通信设备节点的实时性能信息，依据所述用户终端设备、网络边缘通信设备节点以及自身的实时性能信息，并结合网络上下文以及已训练好的神经网络模型结构与参数信息进行计算分流决策，生成计算分流策略；
S32，云端服务器节点依据所述计算分流策略，将已训练好的神经网络模型参数与相关的矩阵运算函数分块打包成神经网络计算任务块，并将所述神经网络计算任务块发送给网络边缘通信设备节点和用户终端设备，以供所述用户终端设备和网络边缘通信设备节点根据所述神经网络计算任务块中的信息执行相关的计算操作。
具体地，云端服务器节点在获取到用户终端设备、网络边缘通信设备节点以及自身的实时性能信息时，会结合网络上下文和已经训练好的神经网络模型参数进行计算分流决策，生成计算分流策略，可采用整数线性规划、图模型、博弈论等方法来进行决策；然后，将所述计算分流策略进行分块打包，即通过WebAssembly等编码技术，将已训练好的神经网络模型参数及相关操作流程从c文件格式转码为wasm格式，从而可以直接由JavaScript代码实现神经网络前馈计算的快速执行，避免了JavaScript前段代码执行效率差的问题。分块打包的结果即包括下发给用户终端设备的神经网络计算任务块和下发给网络边缘通信设备节点的神经网络计算任务块，所述神经网络计算任务块包含了神经网络模型参数以及相关操作流程，对用户终端设备和网络边缘通信设备节点而言，云端服务器节点分配的神经网络计算任务块中的计算任务一般是不同的，云端服务器将所述神经网络计算任务块分别下发至用户终端设备和网络边缘通信设备节点，以供所述用户终端设备和网络边缘通信设备节点根据所述神经网络计算任务块中的信息执行相关的计算操作。
本发明另一实施例，在上述实施例的步骤S32之后，还包括：
S33，云端服务器节点接收到网络边缘通信设备节点传来的中间运算结果后，在所述中间运算结果的基础上继续执行神经网络的后续计算操作，获得神经网络最终计算结果，并将所述神经网络最终计算结果直接发送至用户终端设备，以供用户终端设备决定是否执行对虚拟信息的渲染操作。
具体地，云端服务器将图像识别的计算任务分配给用户终端设备和网络边缘通信设备节点后，若用户终端设备和网络边缘通信设备节点的计算结果不可信，则需要云端服务器执行该图像识别的计算任务，即云端服务器节点在接收到网络边缘通信设备节点传来的中间运算结果后，在所述中间运算结果的基础上根据已训练好的神经网络参数模型继续执行神经网络的后续计算操作，获得图像识别的最终计算结果，然后将所述获得的最终计算结果直接发送给用户终端设备，由用户终端设备去决定是否采用该最终计算结果，若用户终端设备采用该最终计算结果，则会对虚拟信息进行渲染，进而开始进行增强现实的其他运算，若用户终端设备不采用该最终计算结果，则用户终端设备会重新开始图像识别的操作。
本发明上述各实施例提供的一种基于神经网络的图像识别协同计算方法，云端服务器根据性能信息和网络上下文生成计算分流策略，并下发神经网络计算任务给用户终端设备和网络边缘通信设备节点执行相应的矩阵运算，在用户终端设备和网络边缘通信设备节点的计算结果可信度不足时，才开始执行神经网络计算任务，能够充分利用用户终端设备的空闲计算力，有效缓解在用户请求高并发的情况下云端服务器的计算压力。
本发明另一实施例，在上述实施例的基础上，所述步骤S31还包括：
当无法获取到用户终端设备的实时性能信息时，云端服务器节点依据所述用户终端设备的型号通过在线搜索获取所述用户终端设备的性能信息。
具体地，存在由于用户终端设备访问权限受限造成的设备性能信息无法获取的情况，云端服务器节点将依据用户终端设备型号通过在线搜索来获取用户终端设备的性能信息，然后根据该性能信息进行计算分流决策。
本发明另一实施例，在上述实施例的基础上，还包括：
若云端服务器节点发生故障，则将当前云端服务器节点本地的计算任务迁移至云端服务器集群中其他正常的云端服务器节点上。
具体地，为应对故障，让云端服务器节点具有计算迁移的功能，即若当前云端服务器节点发生了故障，则云端服务器节点中的计算迁移功能模块会将当前云端服务器节点的计算任务迁移至云端服务器集群中的其他云服务器节点上。
如图4所示，为本发明另一实施例提供一种用户终端设备的实现框图，在现有用户终端设备的web浏览器层部署移动web端协同计算子系统，以使用户终端设备执行如上述各实施例所述的基于神经网络的图像识别协同计算方法，例如包括：S11，当用户终端设备接收到用户发送的增强现实服务请求时，获取自身的实时性能信息，并采集目标识别物的图像，对所述目标识别物的图像进行预处理，将所述经过预处理后的图像进行存储并生成业务逻辑请求信息；S12，将所述业务逻辑请求信息和所述实时性能信息发送给网络边缘通信设备节点，以供所述网络边缘通信设备节点将其实时性能信息与所述业务逻辑请求信息和所述用户终端设备的实时性能信息一并打包后发送给云端服务器节点执行计算分流决策；S13，当接收到云端服务器节点下发的神经网络计算任务块时，对经预处理后的图像执行与所述神经网络计算任务块中的信息相应的矩阵运算，获得矩阵运算结果；S14，将所述矩阵运算结果的可信度与预置的可信度进行比较，若所述矩阵运算结果的可信度高于所述预置的可信度，则根据所述矩阵运算结果确定虚拟信息，并对所述虚拟信息进行渲染。
其中，所述移动web端协同计算子系统包括：移动web端业务管理模块、移动web端数据通信模块、移动web端性能监测模块、移动web端计算模块、图像采集模块、图像预处理模块和3D渲染模块；
所述移动web端业务管理模块用于接收用户的增强现实服务请求，并对所述移动web端协同计算子系统的其他各组件进行功能调度；
所述移动web端数据通信模块用于实现所述web端业务管理模块与网络边缘通信设备节点或云端服务器节点之间的数据通信；
所述移动web端性能监测模块用于对本地的用户终端设备进行实时性能监测；
所述移动web端计算模块用于管理和执行所述用户终端设备本地的计算任务；
所述图像采集模块用于通过调用所述用户终端设备的摄像头进行图像采集；
所述图像预处理模块用于对所述图像采集模块捕获到的图像进行预处理；
所述3D渲染模块用于对虚拟信息进行渲染。
具体地，当所述移动web端业务管理模块接收到用户发送的增强现实服务请求时，调用移动web端性能监测模块获取用户终端设备的实时性能信息，并调用图像采集模块采集目标识别物的图像，调用图像预处理模块对所述目标识别物的图像进行预处理，将所述经过预处理后的图像进行存储并生成业务逻辑请求信息。
所述移动web端数据通信模块与网络边缘通信设备节点建立通信连接，将所述业务逻辑请求信息和所述用户终端设备的实时性能信息发送给网络边缘通信设备节点，以供所述网络边缘通信设备节点将自身的实时性能信息与所述业务逻辑请求信息和所述用户终端设备的实时性能信息一并打包后发送给云端服务器节点进行计算分流决策。当接收到云端服务器节点下发的神经网络计算任务时，所述移动web端业务管理模块将所述神经网络计算任务进行存储后调用移动web端计算模块对经预处理后的图像执行与所述神经网络计算任务相应的矩阵运算，所获得的矩阵运算结果由所述移动web端业务管理模块存储。
移动web端业务管理模块将所述矩阵运算结果的可信度与预置的可信度进行比较，若所述矩阵运算结果的可信度高于所述预置的可信度，则根据所述矩阵运算结果确定虚拟信息，调用3D渲染模块对所述虚拟信息进行渲染。若所述矩阵运算结果的可信度低于所述预置的可信度，则将所述矩阵运算结果经由所述移动web端数据通信模块传输到网络边缘通信设备节点，以供网络边缘通信设备节点继续执行神经网络的中间计算任务。
用户终端设备在接收到云端服务器返回的神经网络最终计算结果后，所述移动web端业务管理模块调用3D渲染模块对根据所述神经网络最终计算结果确定的虚拟信息执行渲染操作；或者，所述移动web端业务管理模块调用图像采集模块重新开始进行目标识别物的图像采集。
如图5所示，为本发明另一实施例提供的一种网络边缘通信设备节点的实现框图，在现有网络边缘通信设备的底层硬件基础上增加网络边缘端协同计算子系统，以使所述网络边缘通信设备节点执行前所述的基于神经网络的图像识别协同计算方法，例如包括：S21，网络边缘通信设备节点将自身的实时性能信息与所述业务逻辑请求信息和所述用户终端设备的实时性能信息一并打包后发送给云端服务器节点，以供云端服务器节点执行计算分流决策。
其中，所述网络边缘端协同计算子系统包括：AR业务逻辑管理模块、网络边缘端数据通信模块、AR抽象业务管理模块、网络边缘端性能监测模块和网络边缘端计算模块；其中，
所述AR业务逻辑管理模块用于管理具体的AR应用/活动业务逻辑并与AR抽象业务管理模块进行通信；
所述网络边缘端数据通信模块用于和所述AR业务逻辑管理模块、用户终端设备以及云服务器节点进行数据通信；
所述AR抽象业务管理模块用于为网络边缘通信设备节点提供统一的AR服务接口；
所述网络边缘端性能监测模块用于对网络边缘通信设备节点进行实时性能监测；
所述网络边缘端计算模块用于管理和执行本地网络边缘通信设备节点的计算任务。
具体地，网络边缘通信设备节点的AR业务逻辑管理模块在接收到用户终端设备发送的业务逻辑请求信息和所述用户终端设备的实时性能信息之后，调用网络边缘端性能监测模块获取网络边缘通信设备节点的实时性能信息，并将所述网络边缘通信设备节点的实时性能信息与所述业务逻辑请求信息和所述用户终端设备的实时性能信息一并打包后发送给云端服务器节点，以供云端服务器节点执行计算分流决策。
网络边缘通信设备节点的AR业务逻辑管理模块在接收到用户终端设备发送的矩阵运算结果后，根据本地存储的神经网络计算任务信息，调用网络边缘端计算模块，对用户终端设备传入的所述矩阵运算结果继续执行神经网络的中间运算操作，将所获得的中间运算结果的可信度与预置的可信度进行比较，若所述中间运算结果可信，则向用户终端设备的web端业务管理模块发送识别成功的状态信息，以触发用户终端设备的3D渲染模块对虚拟信息进行3D渲染。若所述中间运算结果可信度不足，则将所述中间运算结果经由所述网络边缘端数据通信模块发送至云端服务器节点，以供云端服务器节点继续执行神经网络的后续计算操作。
如图6所示，为本发明另一实施例提供的一种云端服务器节点的实现框图，在现有云端服务器的底层硬件基础上增加云服务器端协同计算子系统，以使所述云端服务器节点执行如前所述的基于神经网络的图像识别协同计算方法，例如，包括：S31，云端服务器节点通过对网络边缘设备节点发送的打包后的信息进行解析获得用户终端设备和网络边缘通信设备节点的实时性能信息，依据所述用户终端设备、网络边缘通信设备节点以及自身的实时性能信息，并结合网络上下文以及已训练好的神经网络模型结构与参数信息进行计算分流决策，生成计算分流策略；S32，云端服务器节点依据所述计算分流策略，将已训练好的神经网络模型参数与相关的矩阵运算函数分块打包成神经网络计算任务块，并将所述神经网络计算任务块发送给网络边缘通信设备节点和用户终端设备，以供所述用户终端设备和网络边缘通信设备节点根据所述神经网络计算任务执行相关的计算操作。
其中，所述云服务器端协同计算子系统包括：云服务器端业务管理模块、云服务器端数据通信模块、云服务器端性能监测模块、云服务器端计算模块、神经网络模块、计算分流决策模块、参数组装模块、在线搜索模块和计算迁移模块；
所述云服务器端业务管理模块，用于对所述云服务器端协同计算子系统的其他各组件进行功能调度；
所述云服务器端数据通信模块，用于实现所述云服务器端业务管理模块与网络边缘通信设备节点或用户终端设备之间的数据通信；
所述云服务器端性能监测模块，用于对本地云端服务器节点进行实时性能监测；
所述云服务器端计算模块，用于管理和执行本地云端服务器节点的计算任务；
所述神经网络模块，用于训练基于目标识别物的图像检测与分类神经网络模型；
所述计算分流决策模块，用于依据用户终端设备、网络边缘通信设备节点、云端服务器节点本地的性能信息，并结合网络上下文和已训练好的神经网络模型结构与参数信息进行计算分流决策，生成计算分流策略；
所述参数组装模块，用于依据所述计算分流策略，将已训练好的神经网络模型参数与相关的矩阵运算函数进行分块打包；
所述在线搜索模块，用于依据用户终端设备的型号执行在线性能查询操作；
所述计算迁移模块，用于在云端服务器节点发生故障时将云端服务器节点本地的计算任务迁移至云端服务器集群中其他正常的云端服务器节点。
具体地，云服务器端业务管理模块接收到网络边缘设备节点发送的打包后的信息时，对所述打包后的信息进行解析，调用云服务器端性能检测模块获取云端服务器节点的实时性能信息，并调用计算分流决策模块依据用户终端设备、网络边缘通信设备节点以及云端服务器节点的实时性能信息，并结合网络上下文以及训练好的神经网络模型结构与参数信息进行综合分析，生成计算分流策略。
云服务器端业务管理模块调用参数组装模块依据所述计算分流策略，将训练好的神经网络模型参数与相关的矩阵运算操作进行分块打包，生成神经网络计算任务，并将所述神经网络计算任务经由云服务器端数据通信模块发送给网络边缘通信设备节点和用户终端设备。
当用户终端设备的实时性能信息无法获取时，云服务器端业务管理模块调用在线搜索模块依据用户终端设备的型号获取用户终端设备的性能信息并发送给云服务器端计算分流决策模块。
云服务器端业务管理模块在接收到网络边缘通信设备节点传来的中间运算结果后，通过调用云服务器端计算模块对所述中间运算结果继续执行神经网络的后续计算操作，获得神经网络最终计算结果，并将所述神经网络最终计算结果通过云服务器端数据通信模块直接发送至用户终端设备，以供移动web端业务管理模块决定对所述虚拟信息进行渲染或重新执行图像识别操作。
若所述云端服务器节点发生故障，则调用云服务器端计算迁移模块将所述云端服务器节点本地的计算任务迁移至云端服务器集群中其他正常的云端服务器节点上。
本发明又一实施例，在上述实施例的基础上，提供一种基于神经网络的图像识别协同计算系统，包括：至少一个如上所述的用户终端设备、至少一个如上所述的网络边缘通信设备节点和至少一个如上所述的云端服务器节点。
具体地，所述用户终端设备用于根据用户发送的增强现实服务请求消息生成业务逻辑请求信息，采集目标识别物的图像并对所述图像进行预处理，获取本地用户终端设备的实时性能信息，将所述业务逻辑请求信息和所述用户终端设备的实时性能信息一并发送给网络边缘通信设备节点，接收云端服务器节点下发的神经网络计算任务并执行相应的矩阵运算，在所获得的矩阵运算结果可信时根据所述神经网络计算结果确定虚拟信息，并对所述虚拟信息进行渲染。在所获得的矩阵运算结果可信度不足时，将所述矩阵运算结果发送给网络边缘通信设备节点。
所述网络边缘通信设备节点用于为网络边缘通信设备节点提供统一的AR业务接口，获取本地网络边缘通信设备节点的实时性能信息，将所接收到的用户终端设备发送的业务逻辑请求信息和实时性能信息与所述本地网络边缘通信设备节点的实时性能信息一并打包发送给云端服务器节点，接收云端服务器节点下发的神经网络计算任务，并根据用户终端设备在矩阵计算结果不可信时发送的矩阵运算结果继续执行神经网络的中间运算操作，在所获得的中间运算结果可信时发送识别成功的状态信息给用户终端设备。在所获得的中间运算结果不可信时将所述中间运算结果发送给云端服务器节点。
所述云服务器节点用于根据用户终端设备的实时性能信息、网络边缘通信设备节点的实时性能信息以及本地云端服务器节点的实时性能信息，并结合网络上下文和预先训练好的神经网络模型结构与参数信息，生成计算分流策略，依据所述计算分流策略，将已训练好的神经网络模型参数与相关的矩阵运算函数分块打包成神经网络计算任务块下发给所述用户终端设备和网络边缘通信设备节点，在网络边缘通信设备节点所获得的中间运算结果不可信时继续执行神经网络的后续计算操作，生成神经网络最终计算结果发送给用户终端设备，以供用户终端设备决定是否根据所述神经网络最终计算结果确定虚拟信息后对所述虚拟信息进行渲染。
所述用户终端设备、网络边缘通信设备节点和云服务器节点的具体实现如上述各实施例所述，在此不再赘述。
本发明实施例所提供的一种基于神经网络的图像识别协同计算系统，能够充分利用移动用户设备与网络边缘基础通信设备的空闲计算力与存储空间等资源，解决在用户请求高并发的情况下云端服务器部署成本高、难度大、时延大的问题，从而能够在保证增强现实应用/活动开展的前提下，缓解云端服务器的计算压力，解决增强现实应用的低延时的问题。
最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (15)
1.一种基于神经网络的图像识别协同计算方法，其特征在于，包括：
S11，当用户终端设备接收到用户发送的增强现实服务请求时，获取自身的实时性能信息，并采集目标识别物的图像，对所述目标识别物的图像进行预处理，将所述经过预处理后的图像进行存储并生成业务逻辑请求信息；
S12，将所述业务逻辑请求信息和所述实时性能信息发送给网络边缘通信设备节点，以供所述网络边缘通信设备节点将其实时性能信息与所述业务逻辑请求信息和所述用户终端设备的实时性能信息一并打包后发送给云端服务器节点执行计算分流决策；
S13，当接收到云端服务器节点下发的神经网络计算任务块时，对经预处理后的图像执行与所述神经网络计算任务块中的信息相应的矩阵运算，获得矩阵运算结果；
S14，将所述矩阵运算结果的可信度与预置的可信度进行比较，若所述矩阵运算结果的可信度高于所述预置的可信度，则根据所述矩阵运算结果确定虚拟信息，并对所述虚拟信息进行渲染。
2.根据权利要求1所述的方法，其特征在于，所述步骤S14还包括：
若所述矩阵运算结果的可信度低于所述预置的可信度，则将所述矩阵运算结果发送至网络边缘通信设备节点，以供网络边缘通信设备节点根据所述矩阵运算结果继续执行神经网络的中间运算操作。
3.根据权利要求2所述的方法，其特征在于，在所述步骤S14之后还包括：
用户终端设备接收到网络边缘通信设备节点在执行所述神经网络的中间运算操作后所获得中间运算结果可信的情况下所发送的识别成功的状态信息时，根据所述状态信息确定虚拟信息，并对所述虚拟信息执行渲染操作。
4.根据权利要求2所述的方法，其特征在于，在所述步骤S14后，还包括：
用户终端设备接收到网络边缘通信设备节点在执行所述神经网络的中间运算操作后所获得中间运算结果可信度不足的情况下由云端服务器节点执行神经网络的后续计算操作所返回的神经网络最终计算结果时，根据所述神经网络最终计算结果确定虚拟信息，并对所述虚拟信息执行渲染操作；或者，重新开始进行目标识别物的图像采集。
5.一种基于神经网络的图像识别协同计算方法，其特征在于，包括：
S21，网络边缘通信设备节点在接收到用户终端发送的业务逻辑请求信息和实时性能信息时，将自身的实时性能信息与所述业务逻辑请求信息和所述用户终端设备的实时性能信息一并打包后发送给云端服务器节点，以供云端服务器节点执行计算分流决策。
6.根据权利要求5所述的方法，其特征在于，在所述步骤S21之后，还包括：
S22，当网络边缘通信设备节点接收到用户终端设备发送的矩阵运算结果时，根据本地存储的由云端服务器节点下发的神经网络计算任务块中的信息，在所述矩阵运算结果的基础上继续执行神经网络的中间运算操作，获得中间运算结果；
S23，将所述中间运算结果的可信度与预置的可信度进行比较，若所述中间运算结果可信，则向用户终端设备发送识别成功的状态信息，以触发用户终端设备对虚拟信息进行渲染。
7.根据权利要求6所述的方法，其特征在于，所述步骤S23还包括：
若所述中间运算结果可信度不足，则将所述中间运算结果发送至云端服务器节点，以供云端服务器节点继续执行神经网络的后续计算操作。
8.一种基于神经网络的图像识别协同计算方法，其特征在于，包括：
S31，云端服务器节点通过对网络边缘设备节点发送的打包后的信息进行解析获得用户终端设备和网络边缘通信设备节点的实时性能信息，依据所述用户终端设备、网络边缘通信设备节点以及自身的实时性能信息，并结合网络上下文以及已训练好的神经网络模型结构与参数信息进行计算分流决策，生成计算分流策略；
S32，云端服务器节点依据所述计算分流策略，将已训练好的神经网络模型参数与相关的矩阵运算函数分块打包成神经网络计算任务块，并将所述神经网络计算任务块发送给网络边缘通信设备节点和用户终端设备，以供所述用户终端设备和网络边缘通信设备节点根据所述神经网络计算任务块中的信息执行相关的计算操作。
9.根据权利要求8所述的方法，其特征在于，在所述步骤S32之后，还包括：
S33，当云端服务器节点接收到网络边缘通信设备节点传来的中间运算结果时，在所述中间运算结果的基础上执行神经网络的后续计算操作，获得神经网络最终计算结果，并将所述神经网络最终计算结果直接发送至用户终端设备，以供用户终端设备决定是否执行对虚拟信息的渲染操作。
10.根据权利要求8所述的方法，其特征在于，所述步骤S31还包括：
当无法获取到用户终端设备的实时性能信息时，云端服务器节点依据所述用户终端设备的型号通过在线搜索获取所述用户终端设备的性能信息。
11.根据权利要求8所述的方法，其特征在于，还包括：
若云端服务器节点发生故障，则将当前云端服务器节点本地的计算任务迁移至云端服务器集群中其他正常的云端服务器节点上。
12.一种用户终端设备，其特征在于，在现有用户终端设备的web 浏览器层部署移动web端协同计算子系统，以使用户终端设备执行如权利要求1-4任一所述的方法，其中，所述移动web端协同计算子系统包括：
移动web端业务管理模块，用于与用户终端设备和所述移动web端协同计算子系统的其他各组件进行通信，并对所述移动web端协同计算子系统的其他各组件进行功能调度；
移动web端数据通信模块，用于实现所述web端业务处理模块与网络边缘通信设备节点或云端服务器节点之间的数据通信；
移动web端性能监测模块，用于对所述用户终端设备进行实时性能监测；
移动web端计算模块，用于管理和执行所述用户终端设备本地的计算任务；
图像采集模块，用于通过调用所述用户终端设备的摄像头进行图像采集；
图像预处理模块，用于对所述图像采集模块捕获到的图像进行预处理；
3D渲染模块，用于对虚拟信息进行渲染。
13.一种网络边缘通信设备节点，其特征在于，在现有网络边缘通信设备的底层硬件基础上增加网络边缘端协同计算子系统，以使所述网络边缘通信设备节点执行如权利要求5-7任一所述的方法，其中，所述网络边缘端协同计算子系统包括：
AR业务逻辑管理模块，用于管理具体的AR应用/活动业务逻辑并与AR抽象业务管理模块进行通信；
网络边缘端数据通信模块，用于和所述AR业务逻辑管理模块、用户终端设备以及云服务器节点进行数据通信；
AR抽象业务管理模块，用于为网络边缘通信设备节点提供统一的AR服务接口；
网络边缘端性能监测模块，用于对网络边缘通信设备节点进行实时性能监测；
网络边缘端计算模块，用于管理和执行本地网络边缘通信设备节点的计算任务。
14.一种云端服务器节点，其特征在于，在现有云端服务器的底层硬件基础上增加云服务器端协同计算子系统，以使所述云端服务器节点执行如权利要求8-11任一所述的方法，其中，所述云服务器端协同计算子系统包括：
云服务器端业务管理模块，用于对所述云服务器端协同计算子系统的其他各组件进行功能调度；
云服务器端数据通信模块，用于实现所述云服务器端业务管理模块与网络边缘通信设备节点或用户终端设备之间的数据通信；
云服务器端性能监测模块，用于对本地云端服务器节点进行实时性能监测；
云服务器端计算模块，用于管理和执行本地云端服务器节点的计算任务；
神经网络模块，用于训练基于目标识别物的图像检测与分类神经网络模型；
计算分流决策模块，用于依据用户终端设备、网络边缘通信设备节点、云端服务器节点本地的性能信息，并结合网络上下文和已训练好的神经网络模型结构与参数信息进行计算分流决策，生成计算分流策略；
参数组装模块，用于依据所述计算分流策略，将已训练好的神经网络模型参数与相关的矩阵运算函数进行分块打包；
在线搜索模块，用于依据用户终端设备的型号执行在线性能查询操作；
计算迁移模块，用于在云端服务器节点发生故障时将云端服务器节点本地的计算任务迁移至云端服务器集群中其他正常的云端服务器节点。
15.一种基于神经网络的图像识别协同计算系统，其特征在于，包括：至少一个如权利要求12所述的用户终端设备、至少一个如权利要求13所述的网络边缘通信设备节点和至少一个如权利要求14所述的云端服务器节点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711475734.5A CN108255605B (zh) | 2017-12-29 | 2017-12-29 | 一种基于神经网络的图像识别协同计算方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711475734.5A CN108255605B (zh) | 2017-12-29 | 2017-12-29 | 一种基于神经网络的图像识别协同计算方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108255605A true CN108255605A (zh) | 2018-07-06 |
| CN108255605B CN108255605B (zh) | 2020-12-04 |
Family
ID=62724651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711475734.5A Active CN108255605B (zh) | 2017-12-29 | 2017-12-29 | 一种基于神经网络的图像识别协同计算方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108255605B (zh) |
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109040686A (zh) * | 2018-08-22 | 2018-12-18 | 苏宁易购集团股份有限公司 | 一种物联网摄像系统中的软件部署方法及物联网摄像系统 |
| CN109242755A (zh) * | 2018-08-01 | 2019-01-18 | 浙江深眸科技有限公司 | 基于神经网络的计算机视觉处理服务器架构 |
| CN109298933A (zh) * | 2018-09-03 | 2019-02-01 | 北京邮电大学 | 基于边缘计算网络的无线通信网络设备及系统 |
| CN109408234A (zh) * | 2018-10-19 | 2019-03-01 | 国云科技股份有限公司 | 一种基于边缘计算的增强现实技术数据优化系统及方法 |
| CN109446783A (zh) * | 2018-11-16 | 2019-03-08 | 济南浪潮高新科技投资发展有限公司 | 一种基于机器众包的图像识别高效样本采集方法及系统 |
| CN109543829A (zh) * | 2018-10-15 | 2019-03-29 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 在终端和云端上混合部署深度学习神经网络的方法和系统 |
| CN109598250A (zh) * | 2018-12-10 | 2019-04-09 | 北京旷视科技有限公司 | 特征提取方法、装置、电子设备和计算机可读介质 |
| CN109614208A (zh) * | 2018-10-18 | 2019-04-12 | 平安普惠企业管理有限公司 | 任务的优化处理方法、装置、计算机设备及存储介质 |
| CN109617960A (zh) * | 2018-12-10 | 2019-04-12 | 浙江传媒学院 | 一种基于属性化分离的web AR数据呈现方法 |
| CN109754073A (zh) * | 2018-12-29 | 2019-05-14 | 北京中科寒武纪科技有限公司 | 数据处理方法、装置、电子设备和可读存储介质 |
| CN109889599A (zh) * | 2019-03-07 | 2019-06-14 | 北京邮电大学 | 一种数据处理方法及系统 |
| CN110008898A (zh) * | 2019-04-02 | 2019-07-12 | 中国计量大学 | 基于符号和卷积神经网络的工业设备数据边缘处理方法 |
| CN110581898A (zh) * | 2019-10-09 | 2019-12-17 | 成都康胜思科技有限公司 | 基于5g和边缘计算的物联网数据终端系统 |
| CN110730245A (zh) * | 2019-10-22 | 2020-01-24 | 青岛农业大学 | 基于神经网络的边缘计算系统和方法 |
| CN110851255A (zh) * | 2019-11-07 | 2020-02-28 | 之江实验室 | 一种基于终端设备和边缘服务器协同进行视频流处理的方法 |
| CN111030861A (zh) * | 2019-12-11 | 2020-04-17 | 中移物联网有限公司 | 一种边缘计算分布式模型训练方法、终端和网络侧设备 |
| CN111047225A (zh) * | 2020-01-10 | 2020-04-21 | 惠州光弘科技股份有限公司 | 一种基于边缘侧模型处理的smt表面组装组件焊点的质量评定方法 |
| CN111126594A (zh) * | 2019-11-25 | 2020-05-08 | 北京邮电大学 | 基于边缘计算的神经网络模型动态切分方法及装置 |
| CN111178493A (zh) * | 2018-11-09 | 2020-05-19 | 财团法人资讯工业策进会 | 分散式网络运算系统、方法及非暂态计算机可读取记录媒体 |
| CN111325356A (zh) * | 2019-12-10 | 2020-06-23 | 四川大学 | 一种基于演化计算的神经网络搜索分布式训练系统及训练方法 |
| CN111385598A (zh) * | 2018-12-29 | 2020-07-07 | 富泰华工业（深圳）有限公司 | 云端装置、终端装置及影像分类方法 |
| CN111625354A (zh) * | 2020-05-19 | 2020-09-04 | 南京乐贤智能科技有限公司 | 一种边缘计算设备算力的编排方法及其相关设备 |
| CN111818139A (zh) * | 2020-06-28 | 2020-10-23 | 盾钰（上海）互联网科技有限公司 | 一种基于神经网络的无线异构控制计算系统 |
| CN111832729A (zh) * | 2020-07-06 | 2020-10-27 | 东南数字经济发展研究院 | 一种保护数据隐私的分布式深度学习推理部署方法 |
| CN111913712A (zh) * | 2019-05-08 | 2020-11-10 | 北京字节跳动网络技术有限公司 | 用于在Web端部署神经网络模型的方法和装置 |
| CN112287733A (zh) * | 2019-07-22 | 2021-01-29 | 海巴智能科技(上海)有限公司 | 一种基于边缘计算的目标分布式融合识别方法 |
| CN112615736A (zh) * | 2020-12-10 | 2021-04-06 | 南京工业大学 | 面向线性边缘网络的延迟最优分布式NNs协同优化方法 |
| CN113169990A (zh) * | 2018-11-30 | 2021-07-23 | 阿里巴巴集团控股有限公司 | 具有动态卸载的深度学习推理的分割 |
| CN113242271A (zh) * | 2021-03-17 | 2021-08-10 | 北京大学 | 一种基于数字视网膜的端、边、云协同系统及方法、设备 |
| CN113436208A (zh) * | 2021-06-30 | 2021-09-24 | 中国工商银行股份有限公司 | 基于端边云协同的图像处理方法、装置、设备及介质 |
| CN113518114A (zh) * | 2021-05-12 | 2021-10-19 | 江苏力行电力电子科技有限公司 | 一种基于多模态自组网的人工智能控制方法及系统 |
| CN113743420A (zh) * | 2021-08-26 | 2021-12-03 | 北京邮电大学 | 一种基于云边端协同的Web AR图像识别方法及系统 |
| US11256921B2 (en) | 2020-01-03 | 2022-02-22 | Cawamo Ltd | System and method for identifying events of interest in images from one or more imagers in a computing network |
| CN114138501A (zh) * | 2022-02-07 | 2022-03-04 | 杭州智现科技有限公司 | 用于现场安全监控的边缘智能服务的处理方法和装置 |
| CN114500536A (zh) * | 2022-01-27 | 2022-05-13 | 京东方科技集团股份有限公司 | 云边协同方法及系统、装置、云平台、设备、介质 |
| CN114745260A (zh) * | 2022-03-09 | 2022-07-12 | 优刻得科技股份有限公司 | 内容分发网络的计算力增强方法、装置、设备及存储介质 |
| CN116521150A (zh) * | 2023-07-04 | 2023-08-01 | 北京凯思昊鹏软件工程技术有限公司 | 一种支持异构融合的分布式系统及通信方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102903144A (zh) * | 2012-08-03 | 2013-01-30 | 樊晓东 | 一种基于云计算的交互式增强现实系统实现方法 |
| CN103699425A (zh) * | 2013-09-26 | 2014-04-02 | 武汉中地数码科技有限公司 | 一种基于云计算的软件t/c/v架构及其云计算方法 |
| CN103902987A (zh) * | 2014-04-17 | 2014-07-02 | 福州大学 | 一种基于卷积网络的台标识别方法 |
| WO2016125754A1 (ja) * | 2015-02-03 | 2016-08-11 | 国立大学法人京都大学 | 粒子レンダリング処理装置、粒子レンダリング方法及びコンピュータプログラム |
| CN107222843A (zh) * | 2017-06-30 | 2017-09-29 | 西安电子科技大学 | 面向室内定位的雾网络实现系统和方法 |
-
2017
- 2017-12-29 CN CN201711475734.5A patent/CN108255605B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102903144A (zh) * | 2012-08-03 | 2013-01-30 | 樊晓东 | 一种基于云计算的交互式增强现实系统实现方法 |
| CN103699425A (zh) * | 2013-09-26 | 2014-04-02 | 武汉中地数码科技有限公司 | 一种基于云计算的软件t/c/v架构及其云计算方法 |
| CN103902987A (zh) * | 2014-04-17 | 2014-07-02 | 福州大学 | 一种基于卷积网络的台标识别方法 |
| WO2016125754A1 (ja) * | 2015-02-03 | 2016-08-11 | 国立大学法人京都大学 | 粒子レンダリング処理装置、粒子レンダリング方法及びコンピュータプログラム |
| CN107222843A (zh) * | 2017-06-30 | 2017-09-29 | 西安电子科技大学 | 面向室内定位的雾网络实现系统和方法 |
Non-Patent Citations (3)
| Title |
|---|
| PRAVIN CHOPADE ET AL.: "Node Attributes and Edge Structure for Large-Scale Big Data Network Analytics and Community Detection", 《2015 IEEE INTERNATIONAL SYMPOSIUM ON TECHNOLOGIES FOR HOMELAND SECURITY》 * |
| 乔秀全 等: "关于增强现实技术潜在发展方向的思考", 《中兴通讯技术》 * |
| 刘嵩 等: "云计算系统中基于边缘节点和容量的延迟分析", 《计算机应用与软件》 * |
Cited By (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109242755A (zh) * | 2018-08-01 | 2019-01-18 | 浙江深眸科技有限公司 | 基于神经网络的计算机视觉处理服务器架构 |
| CN109040686A (zh) * | 2018-08-22 | 2018-12-18 | 苏宁易购集团股份有限公司 | 一种物联网摄像系统中的软件部署方法及物联网摄像系统 |
| CN109298933A (zh) * | 2018-09-03 | 2019-02-01 | 北京邮电大学 | 基于边缘计算网络的无线通信网络设备及系统 |
| CN109298933B (zh) * | 2018-09-03 | 2020-09-11 | 北京邮电大学 | 基于边缘计算网络的无线通信网络设备及系统 |
| CN109543829A (zh) * | 2018-10-15 | 2019-03-29 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 在终端和云端上混合部署深度学习神经网络的方法和系统 |
| CN109614208A (zh) * | 2018-10-18 | 2019-04-12 | 平安普惠企业管理有限公司 | 任务的优化处理方法、装置、计算机设备及存储介质 |
| CN109408234A (zh) * | 2018-10-19 | 2019-03-01 | 国云科技股份有限公司 | 一种基于边缘计算的增强现实技术数据优化系统及方法 |
| CN111178493A (zh) * | 2018-11-09 | 2020-05-19 | 财团法人资讯工业策进会 | 分散式网络运算系统、方法及非暂态计算机可读取记录媒体 |
| CN109446783A (zh) * | 2018-11-16 | 2019-03-08 | 济南浪潮高新科技投资发展有限公司 | 一种基于机器众包的图像识别高效样本采集方法及系统 |
| CN113169990B (zh) * | 2018-11-30 | 2024-04-05 | 阿里巴巴集团控股有限公司 | 具有动态卸载的深度学习推理的分割 |
| CN113169990A (zh) * | 2018-11-30 | 2021-07-23 | 阿里巴巴集团控股有限公司 | 具有动态卸载的深度学习推理的分割 |
| CN109617960A (zh) * | 2018-12-10 | 2019-04-12 | 浙江传媒学院 | 一种基于属性化分离的web AR数据呈现方法 |
| CN109598250A (zh) * | 2018-12-10 | 2019-04-09 | 北京旷视科技有限公司 | 特征提取方法、装置、电子设备和计算机可读介质 |
| CN109617960B (zh) * | 2018-12-10 | 2022-04-12 | 浙江传媒学院 | 一种基于属性化分离的web AR数据呈现方法 |
| CN109598250B (zh) * | 2018-12-10 | 2021-06-25 | 北京旷视科技有限公司 | 特征提取方法、装置、电子设备和计算机可读介质 |
| CN109754073B (zh) * | 2018-12-29 | 2020-03-10 | 中科寒武纪科技股份有限公司 | 数据处理方法、装置、电子设备和可读存储介质 |
| CN111385598A (zh) * | 2018-12-29 | 2020-07-07 | 富泰华工业（深圳）有限公司 | 云端装置、终端装置及影像分类方法 |
| CN109754073A (zh) * | 2018-12-29 | 2019-05-14 | 北京中科寒武纪科技有限公司 | 数据处理方法、装置、电子设备和可读存储介质 |
| CN109889599A (zh) * | 2019-03-07 | 2019-06-14 | 北京邮电大学 | 一种数据处理方法及系统 |
| CN109889599B (zh) * | 2019-03-07 | 2020-08-28 | 北京邮电大学 | 一种数据处理方法及系统 |
| CN110008898A (zh) * | 2019-04-02 | 2019-07-12 | 中国计量大学 | 基于符号和卷积神经网络的工业设备数据边缘处理方法 |
| CN111913712A (zh) * | 2019-05-08 | 2020-11-10 | 北京字节跳动网络技术有限公司 | 用于在Web端部署神经网络模型的方法和装置 |
| CN112287733A (zh) * | 2019-07-22 | 2021-01-29 | 海巴智能科技(上海)有限公司 | 一种基于边缘计算的目标分布式融合识别方法 |
| CN110581898A (zh) * | 2019-10-09 | 2019-12-17 | 成都康胜思科技有限公司 | 基于5g和边缘计算的物联网数据终端系统 |
| CN110730245B (zh) * | 2019-10-22 | 2022-12-16 | 青岛农业大学 | 基于神经网络的边缘计算系统和方法 |
| CN110730245A (zh) * | 2019-10-22 | 2020-01-24 | 青岛农业大学 | 基于神经网络的边缘计算系统和方法 |
| CN110851255A (zh) * | 2019-11-07 | 2020-02-28 | 之江实验室 | 一种基于终端设备和边缘服务器协同进行视频流处理的方法 |
| CN111126594B (zh) * | 2019-11-25 | 2023-08-04 | 北京邮电大学 | 基于边缘计算的神经网络模型动态切分方法及装置 |
| CN111126594A (zh) * | 2019-11-25 | 2020-05-08 | 北京邮电大学 | 基于边缘计算的神经网络模型动态切分方法及装置 |
| CN111325356A (zh) * | 2019-12-10 | 2020-06-23 | 四川大学 | 一种基于演化计算的神经网络搜索分布式训练系统及训练方法 |
| CN111030861A (zh) * | 2019-12-11 | 2020-04-17 | 中移物联网有限公司 | 一种边缘计算分布式模型训练方法、终端和网络侧设备 |
| CN111030861B (zh) * | 2019-12-11 | 2022-05-31 | 中移物联网有限公司 | 一种边缘计算分布式模型训练方法、终端和网络侧设备 |
| US11256921B2 (en) | 2020-01-03 | 2022-02-22 | Cawamo Ltd | System and method for identifying events of interest in images from one or more imagers in a computing network |
| CN111047225B (zh) * | 2020-01-10 | 2021-03-23 | 惠州光弘科技股份有限公司 | 一种基于边缘侧模型处理的smt表面组装组件焊点的质量评定方法 |
| CN111047225A (zh) * | 2020-01-10 | 2020-04-21 | 惠州光弘科技股份有限公司 | 一种基于边缘侧模型处理的smt表面组装组件焊点的质量评定方法 |
| CN111625354B (zh) * | 2020-05-19 | 2023-09-19 | 南京乐贤智能科技有限公司 | 一种边缘计算设备算力的编排方法及其相关设备 |
| CN111625354A (zh) * | 2020-05-19 | 2020-09-04 | 南京乐贤智能科技有限公司 | 一种边缘计算设备算力的编排方法及其相关设备 |
| CN111818139A (zh) * | 2020-06-28 | 2020-10-23 | 盾钰（上海）互联网科技有限公司 | 一种基于神经网络的无线异构控制计算系统 |
| CN111832729A (zh) * | 2020-07-06 | 2020-10-27 | 东南数字经济发展研究院 | 一种保护数据隐私的分布式深度学习推理部署方法 |
| CN112615736A (zh) * | 2020-12-10 | 2021-04-06 | 南京工业大学 | 面向线性边缘网络的延迟最优分布式NNs协同优化方法 |
| CN113242271A (zh) * | 2021-03-17 | 2021-08-10 | 北京大学 | 一种基于数字视网膜的端、边、云协同系统及方法、设备 |
| CN113518114A (zh) * | 2021-05-12 | 2021-10-19 | 江苏力行电力电子科技有限公司 | 一种基于多模态自组网的人工智能控制方法及系统 |
| CN113436208A (zh) * | 2021-06-30 | 2021-09-24 | 中国工商银行股份有限公司 | 基于端边云协同的图像处理方法、装置、设备及介质 |
| CN113743420B (zh) * | 2021-08-26 | 2023-12-05 | 北京邮电大学 | 一种基于云边端协同的Web AR图像识别方法及系统 |
| CN113743420A (zh) * | 2021-08-26 | 2021-12-03 | 北京邮电大学 | 一种基于云边端协同的Web AR图像识别方法及系统 |
| CN114500536A (zh) * | 2022-01-27 | 2022-05-13 | 京东方科技集团股份有限公司 | 云边协同方法及系统、装置、云平台、设备、介质 |
| CN114500536B (zh) * | 2022-01-27 | 2024-03-01 | 京东方科技集团股份有限公司 | 云边协同方法及系统、装置、云平台、设备、介质 |
| CN114138501B (zh) * | 2022-02-07 | 2022-06-14 | 杭州智现科技有限公司 | 用于现场安全监控的边缘智能服务的处理方法和装置 |
| CN114138501A (zh) * | 2022-02-07 | 2022-03-04 | 杭州智现科技有限公司 | 用于现场安全监控的边缘智能服务的处理方法和装置 |
| CN114745260A (zh) * | 2022-03-09 | 2022-07-12 | 优刻得科技股份有限公司 | 内容分发网络的计算力增强方法、装置、设备及存储介质 |
| CN114745260B (zh) * | 2022-03-09 | 2024-04-02 | 优刻得科技股份有限公司 | 内容分发网络的计算力增强方法、装置、设备及存储介质 |
| CN116521150A (zh) * | 2023-07-04 | 2023-08-01 | 北京凯思昊鹏软件工程技术有限公司 | 一种支持异构融合的分布式系统及通信方法 |
| CN116521150B (zh) * | 2023-07-04 | 2023-10-13 | 北京凯思昊鹏软件工程技术有限公司 | 一种支持异构融合的分布式系统及通信方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108255605B (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108255605A (zh) | 一种基于神经网络的图像识别协同计算方法及系统 | |
| McChesney et al. | Defog: fog computing benchmarks | |
| Jeong et al. | Computation offloading for machine learning web apps in the edge server environment | |
| Chen et al. | An adaptive offloading framework for android applications in mobile edge computing | |
| CN109529338B (zh) | 对象控制方法、装置、电子设计及计算机可读介质 | |
| CN107885871A (zh) | 基于云计算的同步定位与地图构建方法、系统、交互系统 | |
| CN111522657B (zh) | 一种分散设备协同深度学习推理方法 | |
| Hu et al. | If-rans: intelligent traffic prediction and cognitive caching toward fog-computing-based radio access networks | |
| CN110430068A (zh) | 一种特征工程编排方法及装置 | |
| CN109144661A (zh) | 一种基于docker的深度学习管理方法 | |
| CN110941421A (zh) | 一种开发机器学习装置及其使用方法 | |
| CN109829964A (zh) | Web增强现实的渲染方法和装置 | |
| CN110347389A (zh) | 算法文件的处理方法、装置和系统 | |
| CN113112536A (zh) | 图像处理模型训练方法、图像处理方法及装置 | |
| Li et al. | An intelligent collaborative inference approach of service partitioning and task offloading for deep learning based service in mobile edge computing networks | |
| CN115272565A (zh) | 一种头部三维模型的重建方法及电子设备 | |
| CN110232338B (zh) | 基于二值神经网络的轻量化Web AR识别方法及系统 | |
| Braubach et al. | The jadex project: Simulation | |
| Wang et al. | Computation offloading via Sinkhorn’s matrix scaling for edge services | |
| CN113822114A (zh) | 一种图像处理方法、相关设备及计算机可读存储介质 | |
| KR20200110257A (ko) | 클라우드 서버 기반의 기계학습 관절정보 추출 시스템 및 그 방법 | |
| Lu et al. | Dynamic offloading on a hybrid edge–cloud architecture for multiobject tracking | |
| Wang et al. | C3Meta: A Context-Aware Cloud-Edge-End Collaboration Framework Toward Green Metaverse | |
| CN112669353B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN114422862A (zh) | 服务视频生成方法、装置、设备、存储介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220526 Address after: A601, Qingya building, 8 wenhuiyuan North Road, Haidian District, Beijing 100082 Patentee after: Beijing Xinfang Communication Technology Co.,Ltd. Address before: 100876 Beijing city Haidian District Xitucheng Road No. 10 Patentee before: Beijing University of Posts and Telecommunications |
|
| TR01 | Transfer of patent right |