CN110232338B - 基于二值神经网络的轻量化Web AR识别方法及系统 - Google Patents

基于二值神经网络的轻量化Web AR识别方法及系统 Download PDF

Info

Publication number
CN110232338B
CN110232338B CN201910458117.7A CN201910458117A CN110232338B CN 110232338 B CN110232338 B CN 110232338B CN 201910458117 A CN201910458117 A CN 201910458117A CN 110232338 B CN110232338 B CN 110232338B
Authority
CN
China
Prior art keywords
neural network
image recognition
binary neural
web browser
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910458117.7A
Other languages
English (en)
Other versions
CN110232338A (zh
Inventor
乔秀全
黄亚坤
商彦磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Jinhu Insurance Equipment Group Co Ltd
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910458117.7A priority Critical patent/CN110232338B/zh
Publication of CN110232338A publication Critical patent/CN110232338A/zh
Application granted granted Critical
Publication of CN110232338B publication Critical patent/CN110232338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种基于二值神经网络的轻量化Web AR识别方法及系统，所述方法包括：移动Web浏览器加载目标图像并对图像进行预处理，同时向边缘服务器发送目标识别任务请求；接收边缘服务器返回的二值神经网络模型及相关可执行脚本，并执行二值神经网络前馈计算，获得图像识别结果并暂存共享层输出结果，判断图像识别结果的交叉熵是否满足预设阈值，若不满足，将共享层输出结果发送至边缘服务器进行前馈推理。本发明实施例引入二值神经网络加速了网络推理，减少了图像识别加载时延以及设备能量消耗的压力，可充分利用移动终端的计算资源，有效缓解边缘服务器的计算压力，为Web AR应用提供了实时的解决方案。

Description

基于二值神经网络的轻量化Web AR识别方法及系统
技术领域
本发明涉及增强现实技术领域，更具体地，涉及一种基于二值神经网络的轻量化Web AR识别方法及系统。
背景技术
增强现实(Augmented Reality，简称AR)是一种将真实世界信息与虚拟世界信息进行无缝融合的技术，利用计算机信息仿真模拟一定时间和空间范围内的实体信息，将这种虚拟的信息融入到真实世界中，提升用户对真实世界的感知，从而达到超越现实的效果。增强现实包含了多种技术的融合，例如图像识别、三维建模、传感器融合、实时跟踪及注册和场景融合等。
目前增强现实系统主要是采用专业的设备(例如头戴式以及眼镜类设备)作为核心计算设备，以此满足增强现实技术对带宽和计算性能的要求，从而为用户提供了良好的实时交互体验。然而，由于设备的价格昂贵，携带不方便等因素制约了增强现实技术的大规模普适化推广与应用。此外，近些年来，基于移动智能终端的增强现实技术能够充分利用移动终端设备的硬件资源提供轻量化、移动化的增强现实服务。然而，这种方案需要下载安装增强现实相关的应用程序(APP)后，才能体验到增强现实的新技术。因此，基于移动智能终端的增强现实解决方案依旧存在增强现实技术大规模普适化推广应用难的问题。而万维网(WWW)技术以其天然的跨平台性，为增强现实的大规模普适化提供了全新的入口与途径。不再受限于特定的增强现实应用程序，互联网用户只需要通过点击特定的超链接，便可以从终端设备浏览器直接体验到增强现实技术，极大的降低了增强现实技术大规模推广的门槛与成本。
图像识别是增强现实系统的重要组成部分，只有精准、高效的轻量化识别算法才能在Web浏览器上为Web AR系统提供后续的追踪和渲染。传统的特征匹配识别算法受限于泛化识别能力弱，在复杂环境下的识别效果较差，难以直接应用于Web AR应用中。深度神经网络(Deep Neural Network，简称DNN)因其强大的泛化能力和精准的识别率广泛地应用于不同领域中。然而，通常DNN的模型比较大，计算量大，且主要应用于服务器端，难以直接部署应用于Web浏览器端。尽管一些JavaScript推理库(例如Tensoflow.js、Keras.js等)实现了在移动Web浏览器上执行DNN网络，但是模型加载和网络前馈推理的时延仍然太高，并能量消耗高，无法有效应用于移动Web AR应用中，因此探索一种轻量化的识别系统是推进WebAR应用的重要问题之一。
发明内容
本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的基于二值神经网络的轻量化Web AR识别方法及系统。
第一方面，本发明实施例提供一种基于二值神经网络的轻量化Web AR识别方法，应用于移动Web浏览器，包括：
加载目标图像并对所述目标图像进行预处理，向边缘服务器发送图像识别任务请求，以供所述边缘服务器接收所述图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本；
将经过预处理的所述目标图像作为输入，通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；
计算所述图像识别结果的标准交叉熵值，判断所述标准交叉熵值是否满足预先设定的阈值，若满足，则输出所述图像识别结果；或者，
若不满足，则将暂存的所述第一卷积层输出结果推送至所述边缘服务器，以供所述边缘服务器基于所述第一卷积层输出结果执行剩余的全精度神经网络前馈计算，获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器。
第二方面，本发明实施例提供一种基于二值神经网络的轻量化Web AR识别方法，应用于边缘服务器，包括：
接收移动Web浏览器发送的图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本，以供所述移动Web浏览器通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；
若接收到所述移动Web浏览器发送的第一卷积层输出结果，将所述第一卷积层输出结果输入至预先训练好的全精度神经网络模型来完成剩余的全精度神经网络前馈计算，获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器。
第三方面，本发明实施例提供一种移动Web浏览器，包括：
图像识别请求模块，用于加载目标图像并对所述目标图像进行预处理，向边缘服务器发送图像识别任务请求，以供所述边缘服务器接收所述图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本；
第一前馈计算模块，用于将经过预处理的所述目标图像作为输入，通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；
判断模块，用于计算所述图像识别结果的标准交叉熵值，判断所述标准交叉熵值是否满足预先设定的阈值，若满足，则输出所述图像识别结果；或者，
若不满足，则将暂存的所述第一卷积层输出结果推送至所述边缘服务器，以供所述边缘服务器基于所述第一卷积层输出结果执行剩余的全精度神经网络前馈计算，获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器。
第四方面，本发明实施例提供一种边缘服务器，包括：
请求接收模块，用于接收移动Web浏览器发送的图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本，以供所述移动Web浏览器通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；
第二前馈计算模块，用于若接收到所述移动Web浏览器发送的第一卷积层输出结果，将所述第一卷积层输出结果输入至预先训练好的全精度神经网络模型来完成剩余的全精度神经网络前馈计算，获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器。
第五方面，本发明实施例提供一种基于二值神经网络的轻量化Web AR识别系统，包括：如前所述的移动Web浏览器和如前所述的边缘服务器。
第六方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面或第二方面所提供的方法的步骤。
本发明实施例提供的基于二值神经网络的轻量化Web AR识别方法及系统，通过引入二值神经网络减少了分支模型的大小并加速了网络的前馈推理，并提供了移动Web浏览器与边缘服务器之间的协作机制，充分利用了移动终端的计算资源，可有效地缓解边缘服务器的计算压力，减少了移动Web浏览器运行分布式DNN识别时的加载时延以及计算和设备能量消耗的压力，为Web AR应用提供了实时的识别解决方案。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于二值神经网络的轻量化Web AR识别方法的流程示意图；
图2为本发明实施例提供的基于二值神经网络的轻量化Web AR识别方法的流程示意图；
图3为本发明实施例提供的复合神经网络识别结构的示意图；
图4为本发明实施例提供的移动Web浏览器的结构示意图；
图5为本发明实施例提供的边缘服务器的结构示意图；
图6为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明实施例提供的基于二值神经网络的轻量化Web AR识别方法的流程示意图，应用于移动Web浏览器，包括：
步骤100、加载目标图像并对所述目标图像进行预处理，向边缘服务器发送图像识别任务请求，以供所述边缘服务器接收所述图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本；
具体地，移动Web浏览器是指移动终端设备上的Web浏览器，移动Web浏览器首先加载目标图像，目标图像来自于用户上传的目标识别物体的图像或通过摄像头实时拍摄的目标识别物体的图像。然后，移动Web浏览器对目标图像进行预处理操作，主要包括图像的压缩、灰度处理、尺寸、格式以及归一化等操作，完成图像的预处理操作后，移动Web浏览器通过API接口形式向边缘服务器发送图像识别任务请求。边缘服务器是与移动终端设备直接发生联系的前端服务器，为用户提供了进入网络的通道和与其它服务器设备通讯的功能。
当边缘服务器接收到移动Web浏览器发送过来的图像识别任务请求后，返回已训练好的二值神经网络模型和相关的可执行脚本以供移动Web浏览器加载并执行图像识别任务。
可以理解的是，边缘服务器需要预先训练好二值神经网络模型，训练好的二值神经网络模型具有图像识别功能。由于已有的深度神经网络前馈框架主要采用Python或C++实现，因此无法直接部署应用在移动Web浏览器中，边缘服务器还需要将采用Python或C++实现的二值神经网络前馈推理库转换为能够在移动Web浏览器中运行的可执行脚本。
需要说明的是，边缘服务器返回的已训练好的二值神经网络模型实质上返回的是已训练好的二值神经网络结构以及二值神经网络结构中各层的参数。运行可执行脚本即可以执行二值神经网络的前馈计算。
步骤101、将经过预处理的所述目标图像作为输入，通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；
具体地，当移动Web浏览器接收到边缘服务器发送的预先训练好的二值神经网络模型以及相关的可执行脚本后，加载所述预先训练好的二值神经网络模型以及相关的可执行脚本，将经过预处理的所述目标图像输入到所述二值神经网络模型中进行前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果。
本发明实施例中设计了一个复合神经网络识别结构，其中，所述复合神经网络识别结构包括应用于移动Web浏览器的二值神经网络分支结构和应用于边缘服务器的全精度神经网络分支结构，所述二值神经网络分支结构和全精度神经网络分支结构共享第一卷积层，为了实现移动Web浏览器与边缘服务器之间的协作，在前馈计算的过程中，暂存第一卷积层输出结果。
本发明实施例通过引入二值神经网络分支，二值神经网络分支中对权重和每一层的输入均采取二值操作，从而大大减少了模型大小，并加速了前馈推理速度。
步骤102、计算所述图像识别结果的标准交叉熵值，判断所述标准交叉熵值是否满足预先设定的阈值，若满足，则输出所述图像识别结果；或者，
若不满足，则将暂存的所述第一卷积层输出结果推送至所述边缘服务器，以供所述边缘服务器基于所述第一卷积层输出结果执行剩余的全精度神经网络前馈计算，获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器。
具体地，判断二值神经网络前馈计算的结果是否满足预设的精度条件，首先计算所述图像识别结果的标准交叉熵值，判断所述标准交叉熵值是否满足预先设定的阈值，若满足，说明当前图像识别结果满足精度要求，则输出当前图像识别结果，以供后续Web AR任务使用。
如果当前图像识别结果达不到精度要求，则将暂存的所述第一卷积层输出结果推送至所述边缘服务器，由边缘服务器来完成剩余的全精度神经网络前馈计算，获得最终的图像识别结果，边缘服务器将所述最终的图像识别结果返回至所述移动Web浏览器。
值得说明的是，边缘服务器基于全精度神经网络分支结构执行前馈计算获得最终的图像识别结果。
本发明实施例提供的基于二值神经网络的轻量化Web AR识别方法，通过引入二值神经网络减少了分支模型的大小并加速了网络的前馈推理，并提供了移动Web浏览器与边缘服务器之间的协作机制，充分利用了移动终端的计算资源，可有效地缓解边缘服务器的计算压力，减少了移动Web浏览器(特别是APP的嵌入式浏览器)运行分布式DNN识别时的加载时延以及计算和设备能量消耗的压力，为Web AR应用提供了实时的识别解决方案。
如图2所示，为本发明实施例提供的基于二值神经网络的轻量化Web AR识别方法的流程示意图，应用于边缘服务器，包括：
步骤200、接收移动Web浏览器发送的图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本，以供所述移动Web浏览器通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；
具体地，当边缘服务器接收到移动Web浏览器发送的图像识别任务请求时，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本。
移动Web浏览器通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果。当图像识别结果不能满足预先设定的精度要求时，移动Web浏览器将暂存的第一卷积层输出结果发送给边缘服务器。
步骤201、若接收到所述移动Web浏览器发送的第一卷积层输出结果，将所述第一卷积层输出结果输入至预先训练好的全精度神经网络模型来完成剩余的全精度神经网络前馈计算，获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器。
具体地，若边缘服务器接收到所述移动Web浏览器发送的第一卷积层输出结果，则将所述第一卷积层输出结果输入至预先训练好的全精度神经网络模型中，完成剩余的全精度神经网络前馈计算，从而获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器，以供移动Web浏览器完成后续Web AR任务，比如模型的渲染等。
本发明实施例提供的基于二值神经网络的轻量化Web AR识别方法，通过引入二值神经网络减少了分支模型的大小并加速了网络的前馈推理，并提供了移动Web浏览器与边缘服务器之间的协作机制，在使用二值神经网络得到的图像识别结果无法满足精度要求时，由边缘服务器去完成剩余的全精度前馈计算，充分利用了移动终端的计算资源，可有效地缓解边缘服务器的计算压力，减少了移动Web浏览器(特别是APP的嵌入式浏览器)运行分布式DNN识别时的加载时延以及计算和设备能量消耗的压力，为Web AR应用提供了实时的识别解决方案。
基于上述实施例的内容，所述接收移动Web浏览器发送的图像识别任务请求的步骤之前，还包括如下步骤：
首先，构建复合神经网络识别结构，其中，所述复合神经网络识别结构包括应用于移动Web浏览器的二值神经网络分支结构和应用于边缘服务器的全精度神经网络分支结构，所述二值神经网络分支结构和全精度神经网络分支结构共享第一卷积层；
具体地，参见图3，图3为复合神经网络识别结构的示意图，应用于边缘服务器的全精度神经网络分支结构包括卷积层、池化层、归一化层和全连接层等层，是常规的神经网络。图3中conv表示卷积层，FC表示全连接层。池化层、归一化层等未在图3中示出。
然后，对所述复合神经网络识别结构进行联合训练，获得训练完成的二值神经网络模型和全精度神经网络模型。
可以理解的是，本发明实施例提供了一种联合训练方法对所构建的复合神经网络识别结构进行训练。
针对该复合神经网络识别结构的训练，首先训练所述全精度神经网络分支结构直至收敛；然后，固定第一卷积层的权重参数，采用二值神经网络的训练方法来训练所述二值神经网络分支结构直至收敛；保存训练好的全精度神经网络分支结构的参数和二值神经网络分支结构的参数，获得训练完成的二值神经网络模型和全精度神经网络模型。
最后，基于C++实现所述训练完成的二值神经网络模型的前馈推理库，利用Emscripten对所述前馈推理库进行优化转换，生成能够在移动Web端进行前馈计算的JavaScript脚本和WASM脚本。
可以理解的是，移动Web浏览器执行二值神经网络前馈计算主要步骤是加载已训练好的模型以及相关的JavaScript脚本和WASM脚本。此外，前馈计算中利用了WebAssembly技术有效地加速了二值神经网络的前馈过程。
本发明实施例提供的基于二值神经网络的轻量化Web AR识别方法，设计了一种复合神经网络，通过引入二值神经网络减少了分支模型的大小并加速了网络的前馈推理，同时提供了一种联合训练方法用于共同训练常规全精度神经网络分支和二值神经网络分支；并开发了用于在移动Web浏览器上执行该二值压缩神经网络分支的JavaScript推理库，该推理库提供了移动Web浏览器与边缘服务器之间的协作机制，有效地缓解了边缘服务器的计算压力，同时充分利用了移动终端的计算资源，减少了移动Web浏览器(特别是APP的嵌入式浏览器)运行分布式DNN识别时的加载时延以及计算和设备能量消耗的压力，为Web AR应用提供了实时的识别解决方案。
如图4所示，为本发明实施例提供的移动Web浏览器的结构示意图，包括：图像识别请求模块401、第一前馈计算模块402和判断模块403，其中，
图像识别请求模块401，用于加载目标图像并对所述目标图像进行预处理，向边缘服务器发送图像识别任务请求，以供所述边缘服务器接收所述图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本；
具体地，移动Web浏览器是指移动终端设备上的Web浏览器，图像识别请求模块401首先加载目标图像，目标图像来自于用户上传的目标识别物体的图像或通过摄像头实时拍摄的目标识别物体的图像。然后，对目标图像进行预处理操作，主要包括图像的压缩、灰度处理、尺寸、格式以及归一化等操作，完成图像的预处理操作后，通过API接口形式向边缘服务器发送图像识别任务请求。边缘服务器是与移动终端设备直接发生联系的前端服务器，为用户提供了进入网络的通道和与其它服务器设备通讯的功能。
当边缘服务器接收到移动Web浏览器发送过来的图像识别任务请求后，返回已训练好的二值神经网络模型和相关的可执行脚本以供移动Web浏览器加载并执行图像识别任务。
可以理解的是，边缘服务器需要预先训练好二值神经网络模型，训练好的二值神经网络模型具有图像识别功能。由于已有的深度神经网络前馈框架主要采用Python或C++实现，因此无法直接部署应用在移动Web浏览器中，边缘服务器还需要将采用Python或C++实现的二值神经网络前馈推理库转换为能够在移动Web浏览器中运行的可执行脚本。
需要说明的是，边缘服务器返回的已训练好的二值神经网络模型实质上返回的是已训练好的二值神经网络结构以及二值神经网络结构中各层的参数。运行可执行脚本即可以执行二值神经网络的前馈计算。
第一前馈计算模块402，用于将经过预处理的所述目标图像作为输入，通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；
具体地，第一前馈计算模块402加载所述预先训练好的二值神经网络模型以及相关的可执行脚本，将经过预处理的所述目标图像输入到所述二值神经网络模型中进行前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果。
本发明实施例中设计了一个复合神经网络识别结构，其中，所述复合神经网络识别结构包括应用于移动Web浏览器的二值神经网络分支结构和应用于边缘服务器的全精度神经网络分支结构，所述二值神经网络分支结构和全精度神经网络分支结构共享第一卷积层，为了实现移动Web浏览器与边缘服务器之间的协作，在前馈计算的过程中，第一前馈计算模块402暂存第一卷积层输出结果。
本发明实施例通过引入二值神经网络分支，二值神经网络分支中对权重和每一层的输入均采取二值操作，从而大大减少了模型大小，并加速了前馈推理速度。
判断模块403，用于计算所述图像识别结果的标准交叉熵值，判断所述标准交叉熵值是否满足预先设定的阈值，若满足，则输出所述图像识别结果；或者，
若不满足，则将暂存的所述第一卷积层输出结果推送至所述边缘服务器，以供所述边缘服务器基于所述第一卷积层输出结果执行剩余的全精度神经网络前馈计算，获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器。
具体地，判断模块403判断二值神经网络前馈计算的结果是否满足预设的精度条件，首先计算所述图像识别结果的标准交叉熵值，判断所述标准交叉熵值是否满足预先设定的阈值，若满足，说明当前图像识别结果满足精度要求，则判断模块403输出当前图像识别结果，以供后续Web AR任务使用。
如果当前图像识别结果达不到精度要求，则判断模块403将暂存的所述第一卷积层输出结果推送至所述边缘服务器，由边缘服务器来完成剩余的全精度神经网络前馈计算，获得最终的图像识别结果，边缘服务器将所述最终的图像识别结果返回至所述移动Web浏览器。
值得说明的是，边缘服务器基于全精度神经网络分支结构执行前馈计算获得最终的图像识别结果。
本发明实施例提供的基于二值神经网络的轻量化Web AR识别系统，通过引入二值神经网络减少了分支模型的大小并加速了网络的前馈推理，并提供了移动Web浏览器与边缘服务器之间的协作机制，充分利用了移动终端的计算资源，可有效地缓解边缘服务器的计算压力，减少了移动Web浏览器(特别是APP的嵌入式浏览器)运行分布式DNN识别时的加载时延以及计算和设备能量消耗的压力，为Web AR应用提供了实时的识别解决方案。
如图5所示，为本发明实施例提供的边缘服务器的结构示意图，包括：请求接收模块501和第二前馈计算模块502，其中，
请求接收模块501，用于接收移动Web浏览器发送的图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本，以供所述移动Web浏览器通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；
具体地，当请求接收模块501接收到移动Web浏览器发送的图像识别任务请求时，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本。
移动Web浏览器通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果。当图像识别结果不能满足预先设定的精度要求时，移动Web浏览器将暂存的第一卷积层输出结果发送给边缘服务器。
第二前馈计算模块502，用于若接收到所述移动Web浏览器发送的第一卷积层输出结果，将所述第一卷积层输出结果输入至预先训练好的全精度神经网络模型来完成剩余的全精度神经网络前馈计算，获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器。
具体地，若接收到所述移动Web浏览器发送的第一卷积层输出结果，则第二前馈计算模块502将所述第一卷积层输出结果输入至预先训练好的全精度神经网络模型中，完成剩余的全精度神经网络前馈计算，从而获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器，以供移动Web浏览器完成后续Web AR任务，比如模型的渲染等。
本发明实施例提供的基于二值神经网络的轻量化Web AR识别系统，通过引入二值神经网络减少了分支模型的大小并加速了网络的前馈推理，并提供了移动Web浏览器与边缘服务器之间的协作机制，在使用二值神经网络得到的图像识别结果无法满足精度要求时，由边缘服务器去完成剩余的全精度前馈计算，充分利用了移动终端的计算资源，可有效地缓解边缘服务器的计算压力，减少了移动Web浏览器(特别是APP的嵌入式浏览器)运行分布式DNN识别时的加载时延以及计算和设备能量消耗的压力，为Web AR应用提供了实时的识别解决方案。
基于上述实施例的内容，边缘服务器还包括：
神经网络构建模块，用于构建复合神经网络识别结构，所述复合神经网络识别结构包括应用于移动Web浏览器的二值神经网络分支结构和应用于边缘服务器的全精度神经网络分支结构，所述二值神经网络分支结构和全精度神经网络分支结构共享输入层和第一卷积层；
训练模块，用于对所述复合神经网络识别结构进行联合训练，获得训练完成的二值神经网络模型和全精度神经网络模型；
所述训练模块具体用于：
训练所述全精度神经网络分支结构直至收敛；
固定第一卷积层的权重参数，采用二值神经网络的训练方法来训练所述二值神经网络分支结构直至收敛；
保存训练好的全精度神经网络分支结构的参数和二值神经网络分支结构的参数，获得训练完成的二值神经网络模型和全精度神经网络模型。
可执行脚本生成模块，用于基于C++实现所述训练完成的二值神经网络模型的前馈推理库，利用Emscripten对所述前馈推理库进行优化转换，生成JavaScript脚本和WASM脚本。
可以理解的是，移动Web浏览器执行二值神经网络前馈计算主要步骤是加载已训练好的模型以及相关的JavaScript脚本和WASM脚本。此外，前馈计算中利用了WebAssembly技术有效地加速了二值神经网络的前馈过程。
本发明实施例提供的基于二值神经网络的轻量化Web AR识别系统，设计了一种复合神经网络，通过引入二值神经网络减少了分支模型的大小并加速了网络的前馈推理，同时提供了一种联合训练方法用于共同训练常规全精度神经网络分支和二值神经网络分支；并开发了用于在移动Web浏览器上执行该二值压缩神经网络分支的JavaScript推理库，该推理库提供了移动Web浏览器与边缘服务器之间的协作机制，有效地缓解了边缘服务器的计算压力，同时充分利用了移动终端的计算资源，减少了移动Web浏览器(特别是APP的嵌入式浏览器)运行分布式DNN识别时的加载时延以及计算和设备能量消耗的压力，为Web AR应用提供了实时的识别解决方案。
本发明又一实施例，提供一种基于二值神经网络的轻量化Web AR识别系统，包括：如上各实施例所述的移动Web浏览器和如上各实施例所述的边缘服务器。
在前述各实施例中的移动Web浏览器和边缘服务器的描述和定义，可以用于本发明实施例中移动Web浏览器和边缘服务器的理解，在此不再赘述。
图6为本发明实施例提供的电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储在存储器630上并可在处理器610上运行的计算机程序，以执行上述各方法实施例所提供的基于二值神经网络的轻量化Web AR识别方法，例如包括：加载目标图像并对所述目标图像进行预处理，向边缘服务器发送图像识别任务请求，以供所述边缘服务器接收所述图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本；将经过预处理的所述目标图像作为输入，通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；计算所述图像识别结果的标准交叉熵值，判断所述标准交叉熵值是否满足预先设定的阈值，若满足，则输出所述图像识别结果；或者，若不满足，则将暂存的所述第一卷积层输出结果推送至所述边缘服务器，以供所述边缘服务器基于所述第一卷积层输出结果执行剩余的全精度神经网络前馈计算，获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器。
处理器610可以调用存储在存储器630上并可在处理器610上运行的计算机程序，以执行上述各方法实施例所提供的基于二值神经网络的轻量化Web AR识别方法，例如包括：接收移动Web浏览器发送的图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本，以供所述移动Web浏览器通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；若接收到所述移动Web浏览器发送的第一卷积层输出结果，将所述第一卷积层输出结果输入至预先训练好的全精度神经网络模型来完成剩余的全精度神经网络前馈计算，获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例提供的基于二值神经网络的轻量化Web AR识别方法，例如包括：加载目标图像并对所述目标图像进行预处理，向边缘服务器发送图像识别任务请求，以供所述边缘服务器接收所述图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本；将经过预处理的所述目标图像作为输入，通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；计算所述图像识别结果的标准交叉熵值，判断所述标准交叉熵值是否满足预先设定的阈值，若满足，则输出所述图像识别结果；或者，若不满足，则将暂存的所述第一卷积层输出结果推送至所述边缘服务器，以供所述边缘服务器基于所述第一卷积层输出结果执行剩余的全精度神经网络前馈计算，获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例提供的基于二值神经网络的轻量化Web AR识别方法，例如包括：接收移动Web浏览器发送的图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本，以供所述移动Web浏览器通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；若接收到所述移动Web浏览器发送的第一卷积层输出结果，将所述第一卷积层输出结果输入至预先训练好的全精度神经网络模型来完成剩余的全精度神经网络前馈计算，获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于二值神经网络的轻量化Web AR识别方法，其特征在于，应用于移动Web浏览器，包括：
加载目标图像并对所述目标图像进行预处理，向边缘服务器发送图像识别任务请求，以供所述边缘服务器接收所述图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本；
将经过预处理的所述目标图像作为输入，通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；
计算所述图像识别结果的标准交叉熵值，判断所述标准交叉熵值是否满足预先设定的阈值，若满足，则输出所述图像识别结果；或者，
若不满足，则将暂存的所述第一卷积层输出结果推送至所述边缘服务器，以供所述边缘服务器基于所述第一卷积层输出结果执行剩余的全精度神经网络前馈计算，获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器。
2.一种基于二值神经网络的轻量化Web AR识别方法，其特征在于，应用于边缘服务器，包括：
接收移动Web浏览器发送的图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本，以供所述移动Web浏览器通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；
若接收到所述移动Web浏览器发送的第一卷积层输出结果，将所述第一卷积层输出结果输入至预先训练好的全精度神经网络模型来完成剩余的全精度神经网络前馈计算，获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器。
3.根据权利要求2所述的基于二值神经网络的轻量化Web AR识别方法，其特征在于，所述接收移动Web浏览器发送的图像识别任务请求的步骤之前，还包括：
构建复合神经网络识别结构，其中，所述复合神经网络识别结构包括应用于移动Web浏览器的二值神经网络分支结构和应用于边缘服务器的全精度神经网络分支结构，所述二值神经网络分支结构和全精度神经网络分支结构共享第一卷积层；
对所述复合神经网络识别结构进行联合训练，获得训练完成的二值神经网络模型和全精度神经网络模型；
基于C++实现所述训练完成的二值神经网络模型的前馈推理库，利用Emscripten对所述前馈推理库进行优化转换，生成JavaScript脚本和WASM脚本。
4.根据权利要求3所述的方法，其特征在于，对所述复合神经网络识别结构进行联合训练，获得训练完成的二值神经网络模型和全精度神经网络模型的步骤，具体为：
训练所述全精度神经网络分支结构直至收敛；
固定第一卷积层的权重参数，采用二值神经网络的训练方法来训练所述二值神经网络分支结构直至收敛；
保存训练好的全精度神经网络分支结构的参数和二值神经网络分支结构的参数，获得训练完成的二值神经网络模型和全精度神经网络模型。
5.一种移动Web浏览器，其特征在于，包括：
图像识别请求模块，用于加载目标图像并对所述目标图像进行预处理，向边缘服务器发送图像识别任务请求，以供所述边缘服务器接收所述图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本；
第一前馈计算模块，用于将经过预处理的所述目标图像作为输入，通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；
判断模块，用于计算所述图像识别结果的标准交叉熵值，判断所述标准交叉熵值是否满足预先设定的阈值，若满足，则输出所述图像识别结果；或者，
若不满足，则将暂存的所述第一卷积层输出结果推送至所述边缘服务器，以供所述边缘服务器基于所述第一卷积层输出结果执行剩余的全精度神经网络前馈计算，获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器。
6.一种边缘服务器，其特征在于，包括：
请求接收模块，用于接收移动Web浏览器发送的图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本，以供所述移动Web浏览器通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；
第二前馈计算模块，用于若接收到所述移动Web浏览器发送的第一卷积层输出结果，将所述第一卷积层输出结果输入至预先训练好的全精度神经网络模型来完成剩余的全精度神经网络前馈计算，获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器。
7.根据权利要求6所述的边缘服务器，其特征在于，还包括：
神经网络构建模块，用于构建复合神经网络识别结构，所述复合神经网络识别结构包括应用于移动Web浏览器的二值神经网络分支结构和应用于边缘服务器的全精度神经网络分支结构，所述二值神经网络分支结构和全精度神经网络分支结构共享输入层和第一卷积层；
训练模块，用于对所述复合神经网络识别结构进行联合训练，获得训练完成的二值神经网络模型和全精度神经网络模型；
可执行脚本生成模块，用于基于C++实现所述训练完成的二值神经网络模型的前馈推理库，利用Emscripten对所述前馈推理库进行优化转换，生成JavaScript脚本和WASM脚本。
8.根据权利要求7所述的边缘服务器，其特征在于，所述训练模块具体用于：
训练所述全精度神经网络分支结构直至收敛；
固定第一卷积层的权重参数，采用二值神经网络的训练方法来训练所述二值神经网络分支结构直至收敛；
保存训练好的全精度神经网络分支结构的参数和二值神经网络分支结构的参数，获得训练完成的二值神经网络模型和全精度神经网络模型。
9.一种基于二值神经网络的轻量化Web AR识别系统，其特征在于，包括：如权利要求5所述的移动Web浏览器和如权利要求6-8任一项所述的边缘服务器。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述的基于二值神经网络的轻量化WebAR识别方法的步骤。
CN201910458117.7A 2019-05-29 2019-05-29 基于二值神经网络的轻量化Web AR识别方法及系统 Active CN110232338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910458117.7A CN110232338B (zh) 2019-05-29 2019-05-29 基于二值神经网络的轻量化Web AR识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910458117.7A CN110232338B (zh) 2019-05-29 2019-05-29 基于二值神经网络的轻量化Web AR识别方法及系统

Publications (2)

Publication Number Publication Date
CN110232338A CN110232338A (zh) 2019-09-13
CN110232338B true CN110232338B (zh) 2021-02-05

Family

ID=67858636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910458117.7A Active CN110232338B (zh) 2019-05-29 2019-05-29 基于二值神经网络的轻量化Web AR识别方法及系统

Country Status (1)

Country Link
CN (1) CN110232338B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795235B (zh) * 2019-09-25 2022-07-19 北京邮电大学 一种移动web深度学习协作的方法及系统
CN111126594B (zh) * 2019-11-25 2023-08-04 北京邮电大学 基于边缘计算的神经网络模型动态切分方法及装置
CN111966942A (zh) * 2020-08-11 2020-11-20 济南科明数码技术股份有限公司 一种移动终端的vr展示方法、系统及设备
CN113743420B (zh) * 2021-08-26 2023-12-05 北京邮电大学 一种基于云边端协同的Web AR图像识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222529A (zh) * 2017-05-22 2017-09-29 北京邮电大学 增强现实处理方法、web模块、终端和云端服务器
CN108052977A (zh) * 2017-12-15 2018-05-18 福建师范大学 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法
CN108304786A (zh) * 2018-01-17 2018-07-20 东南大学 一种基于二值化卷积神经网络的行人检测方法
CN108664975A (zh) * 2018-04-24 2018-10-16 新疆大学 一种维吾尔文手写字母识别方法、系统及电子设备
WO2019078924A1 (en) * 2017-10-19 2019-04-25 General Electric Company CONSTRUCTION OF A NEURONAL BINARY NETWORK ARCHITECTURE

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596143B (zh) * 2018-05-03 2021-07-27 复旦大学 基于残差量化卷积神经网络的人脸识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222529A (zh) * 2017-05-22 2017-09-29 北京邮电大学 增强现实处理方法、web模块、终端和云端服务器
WO2019078924A1 (en) * 2017-10-19 2019-04-25 General Electric Company CONSTRUCTION OF A NEURONAL BINARY NETWORK ARCHITECTURE
CN108052977A (zh) * 2017-12-15 2018-05-18 福建师范大学 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法
CN108304786A (zh) * 2018-01-17 2018-07-20 东南大学 一种基于二值化卷积神经网络的行人检测方法
CN108664975A (zh) * 2018-04-24 2018-10-16 新疆大学 一种维吾尔文手写字母识别方法、系统及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Web AR: A Promising Future for Mobile AR—State of the Art, Challenges, and Insights;XIUQUAN QIAO 等;《PROCEEDINGS OF THE IEEE》;20190430;651-666 *

Also Published As

Publication number Publication date
CN110232338A (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
CN110232338B (zh) 基于二值神经网络的轻量化Web AR识别方法及系统
CN108765481B (zh) 一种单目视频的深度估计方法、装置、终端和存储介质
CN108629823B (zh) 多视角图像的生成方法和装置
CN108255605A (zh) 一种基于神经网络的图像识别协同计算方法及系统
CN110378854B (zh) 机器人图像增强方法及装置
CN110795235B (zh) 一种移动web深度学习协作的方法及系统
CN110612538A (zh) 生成输入数据项的离散潜在表示
US20230068238A1 (en) Method and apparatus for processing image, electronic device and storage medium
CN111898484A (zh) 生成模型的方法、装置、可读存储介质及电子设备
CN113516227B (zh) 一种基于联邦学习的神经网络训练方法及设备
KR20200111948A (ko) 인공 신경망을 처리하는 방법 및 이를 위한 전자 장치
CN111931901A (zh) 一种神经网络构建方法以及装置
CN115081588A (zh) 一种神经网络参数量化方法和装置
CN114792359A (zh) 渲染网络训练和虚拟对象渲染方法、装置、设备及介质
CN115272565A (zh) 一种头部三维模型的重建方法及电子设备
JP2023131117A (ja) 結合感知モデルのトレーニング、結合感知方法、装置、機器および媒体
Wisultschew et al. Artificial vision on edge iot devices: A practical case for 3d data classification
CN115471805A (zh) 点云处理和深度学习模型训练方法、装置及自动驾驶车辆
CN111738403A (zh) 一种神经网络的优化方法及相关设备
CN113592709B (zh) 图像超分处理方法、装置、设备及存储介质
CN113822114A (zh) 一种图像处理方法、相关设备及计算机可读存储介质
CN115866229B (zh) 多视角图像的视角转换方法、装置、设备和介质
CN116402914A (zh) 用于确定风格化图像生成模型的方法、装置及产品
CN115861755A (zh) 特征融合方法、装置、电子设备及自动驾驶车辆
CN114579054A (zh) 一种数据处理方法、装置、电子设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230119

Address after: 331200 No.66, Keji Road, metal District, Yaodu science and Technology Industrial Park, Zhangshu City, Yichun City, Jiangxi Province

Patentee after: JIANGXI THE JINHU INSURANCE EQUIPMENT GROUP Co.,Ltd.

Address before: 100876 Beijing city Haidian District Xitucheng Road No. 10, Beijing University of Posts and Telecommunications

Patentee before: Beijing University of Posts and Telecommunications