CN110674918A - 信息处理方法、设备、系统及存储介质 - Google Patents

信息处理方法、设备、系统及存储介质 Download PDF

Info

Publication number
CN110674918A
CN110674918A CN201810710542.6A CN201810710542A CN110674918A CN 110674918 A CN110674918 A CN 110674918A CN 201810710542 A CN201810710542 A CN 201810710542A CN 110674918 A CN110674918 A CN 110674918A
Authority
CN
China
Prior art keywords
result
processing
server
end processing
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810710542.6A
Other languages
English (en)
Other versions
CN110674918B (zh
Inventor
王奎澎
周强
寇浩锋
包英泽
范彦文
付鹏
方阳华
周仁义
胡跃祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810710542.6A priority Critical patent/CN110674918B/zh
Priority to US16/458,566 priority patent/US11126821B2/en
Priority to EP19183853.1A priority patent/EP3579163A1/en
Priority to JP2019123479A priority patent/JP6909829B2/ja
Publication of CN110674918A publication Critical patent/CN110674918A/zh
Application granted granted Critical
Publication of CN110674918B publication Critical patent/CN110674918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/04—Billing or invoicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)

Abstract

本发明实施例提供一种信息处理方法、设备、系统及存储介质。该信息处理方法包括：AI相机获取无人零售场景下的实时数据，并基于神经网络模型，对实时数据进行前端处理，该前端处理包括以下任一种或多种：商品识别和人体监测，之后将前端处理后的结果发送给服务器，该前端处理后的结果用于触发服务器根据该前端处理后的结果进行人脸识别和/或确定商品的流向。本发明实施例考虑到端上获取实时数据的及时性以及便利性，引入AI相机作为前端的基础算子，结合服务器的后端处理，使得在无人零售场景下，引入分布式计算思想，降低整个无人零售分布式系统的成本，减少数据传输的带宽压力，有效提高系统扩展性及无人零售解决方案的性能。

Description

信息处理方法、设备、系统及存储介质
技术领域
本发明实施例涉及互联网技术，尤其涉及一种信息处理方法、设备、系统及存储介质。
背景技术
随着互联网技术的快速发展，无人零售日渐进入公众的视野，且越来越多的高科技公司投入人力和物力，研究实际可行的落地方案。
目前，无人零售的解决方案普遍采用传统的单体网络结构，并以大数据为依托，将终端摄像头采集到的数据通过网络传输集中到服务器上进行集成处理。
发明人发现：上述无人零售的解决方案的性能较差。
发明内容
本发明实施例提供一种信息处理方法、设备、系统及存储介质，以有效提高无人零售解决方案的性能。
第一方面，本发明实施例提供一种信息处理方法，应用于无人零售场景，包括：
人工智能AI相机获取无人零售场景下的实时数据；
所述AI相机基于神经网络模型，对所述实时数据进行前端处理，所述前端处理包括以下任一种或多种：商品识别和人体监测；
所述AI相机将前端处理后的结果发送给服务器，所述前端处理后的结果用于触发所述服务器根据所述前端处理后的结果进行人脸识别和/或确定商品的流向。
在一种可能的设计中，所述神经网络模型包括SSD-MobileNet模型以及卷积神经网络CNN模型。
在一种可能的设计中，所述服务器包括本地服务器和云端服务器，所述AI相机将前端处理后的结果发送给服务器，包括：
所述AI相机将前端处理后的结果发送给所述本地服务器，所述前端处理后的结果用于触发所述本地服务器根据所述前端处理后的结果进行边缘处理，并将边缘处理后的结果发送给所述云端服务器，所述边缘处理后的结果用于触发所述云端服务器根据所述边缘处理后的结果进行人脸识别和/或确定商品的流向，其中，所述边缘处理包括人体视觉处理。
在一种可能的设计中，所述边缘处理后的结果还用于触发所述云端服务器根据所述边缘处理后的结果生成账单，并发送给用户设备。
在一种可能的设计中，所述AI相机包括摄像头和与所述摄像头连接的AI芯片；其中，
所述摄像头，被配置为摄取无人零售场景下的实时数据，并传输给所述AI芯片；
所述AI芯片，被配置为基于神经网络模型，对所述实时数据进行前端处理，并将前端处理后的结果发送给服务器。
第二方面，本发明实施例提供一种信息处理方法，应用于无人零售场景，包括：
服务器接收前端处理后的结果，所述前端处理后的结果是人工智能AI相机基于神经网络模型，对无人零售场景下的实时数据进行前端处理后的结果，所述前端处理包括以下任一种或多种：商品识别和人体监测；
根据所述前端处理后的结果进行人脸识别和/或确定商品的流向。
在一种可能的设计中，所述神经网络模型包括SSD-MobileNet模型以及卷积神经网络CNN模型。
在一种可能的设计中，所述服务器包括本地服务器；
所述根据所述前端处理后的结果进行人脸识别和/或确定商品的流向，包括：
所述本地服务器根据所述前端处理后的结果进行边缘处理，其中，所述边缘处理包括人体视觉处理；
将边缘处理后的结果发送给云端服务器，所述边缘处理后的结果用于触发云端服务器根据所述边缘处理后的结果进行人脸识别或确定商品的流向。
在一种可能的设计中，所述服务器包括云端服务器；
所述根据所述前端处理后的结果进行人脸识别和/或确定商品的流向，包括：
所述云端服务器接收边缘处理后的结果，所述边缘处理后的结果为本地服务器根据所述前端处理后的结果进行边缘处理后的结果，其中，所述边缘处理包括人体视觉处理；
根据所述边缘处理后的结果进行人脸识别或确定商品的流向。
在一种可能的设计中，所述云端服务器接收边缘处理后的结果之后，还包括：
根据所述边缘处理后的结果生成账单；
发送所述账单给用户设备。
第三方面，本发明实施例提供一种人工智能AI相机，应用于无人零售场景，所述AI相机包括：
获取模块，用于获取无人零售场景下的实时数据；
处理模块，用于基于神经网络模型，对所述获取模块获取的实时数据进行前端处理，所述前端处理包括以下任一种或多种：商品识别和人体监测；
发送模块，用于将所述处理模块得到的前端处理后的结果发送给服务器，所述前端处理后的结果用于触发所述服务器根据所述前端处理后的结果进行人脸识别和/或确定商品的流向。
在一种可能的设计中，所述神经网络模型包括SSD-MobileNet模型以及卷积神经网络CNN模型。
在一种可能的设计中，所述服务器包括本地服务器和云端服务器，所述发送模块具体用于：将前端处理后的结果发送给所述本地服务器，所述前端处理后的结果用于触发所述本地服务器根据所述前端处理后的结果进行边缘处理，并将边缘处理后的结果发送给所述云端服务器，所述边缘处理后的结果用于触发所述云端服务器根据所述边缘处理后的结果进行人脸识别和/或确定商品的流向，其中，所述边缘处理包括人体视觉处理。
在一种可能的设计中，所述边缘处理后的结果还用于触发所述云端服务器根据所述边缘处理后的结果生成账单，并发送给用户设备。
第四方面，本发明实施例提供一种服务器，应用于无人零售场景，包括：
第一接收模块，用于接收前端处理后的结果，所述前端处理后的结果是人工智能AI相机基于神经网络模型，对无人零售场景下的实时数据进行前端处理后的结果，所述前端处理包括以下任一种或多种：商品识别和人体监测；
处理模块，用于根据所述第一接收模块接收的所述前端处理后的结果进行人脸识别和/或确定商品的流向。
在一种可能的设计中，所述服务器包括本地服务器，所述处理模块包括第一处理模块；
其中，所述本地服务器包括所述第一接收模块、所述第一处理模块和第一发送模块；
所述第一处理模块，用于根据所述第一接收模块接收的所述前端处理后的结果进行边缘处理，其中，所述边缘处理包括人体视觉处理；
所述第一发送模块，用于将所述第一处理模块得到的边缘处理后的结果发送给云端服务器，所述边缘处理后的结果用于触发云端服务器根据所述边缘处理后的结果进行人脸识别或确定商品的流向。
在一种可能的设计中，所述服务器包括云端服务器，所述处理模块包括第二处理模块；
其中，所述云端服务器包括第二接收模块和所述第二处理模块；
所述第二接收模块，用于接收边缘处理后的结果，所述边缘处理后的结果为本地服务器根据所述前端处理后的结果进行边缘处理后的结果，其中，所述边缘处理包括人体视觉处理；
所述第二处理模块，用于根据所述边缘处理后的结果进行人脸识别或确定商品的流向。
在一种可能的设计中，所述云端服务器还包括第二发送模块。所述第二处理模块，还用于根据所述边缘处理后的结果生成账单；所述第二发送模块，用于发送所述账单给用户设备。
在一种可能的设计中，所述神经网络模型包括SSD-MobileNet模型以及卷积神经网络CNN模型。
第五方面，本发明实施例提供一种电子设备，包括：处理器和存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述计算机执行指令，使得所述处理器执行：
如第一方面任一项所述的信息处理方法；
和/或，如第二方面任一项所述的信息处理方法。
第六方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现：
如第一方面任一项所述的信息处理方法；
和/或，如第二方面任一项所述的信息处理方法。
第七方面，本发明实施例提供一种信息处理系统，应用于无人零售场景，包括：
如第三方面所述的人工智能AI相机，和，如第四方面所述的服务器。
在一种可能的设计中，所述服务器包括本地服务器和云端服务器，其中，所述本地服务器用于执行如第二方面所述的信息处理方法中所述本地服务器执行的操作；所述云端服务器用于如第二方面所述的信息处理方法中所述云端服务器执行的操作。
本发明实施例提供的信息处理方法、设备、系统及存储介质，由AI相机获取无人零售场景下的实时数据，并基于神经网络模型，对实时数据进行前端处理，该前端处理包括以下任一种或多种：商品识别和人体监测，之后将前端处理后的结果发送给服务器，该前端处理后的结果用于触发服务器根据该前端处理后的结果进行人脸识别和/或确定商品的流向。考虑到端上获取实时数据的及时性以及便利性，引入AI相机作为前端的基础算子，进行深度学习计算，结合服务器的后端处理，使得在无人零售场景下，引入分布式计算思想，可降低整个无人零售分布式系统的成本，减少数据传输的带宽压力，有效提高系统扩展性及无人零售解决方案的性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出传统的单体网络结构示意图；
图2为本发明一实施例提供的信息处理方法的流程图；
图3为本发明另一实施例提供的信息处理方法的流程图；
图4为本发明一实施例提供的AI相机的结构示意图；
图5为本发明一实施例提供的服务器的结构示意图；
图6为本发明一实施例提供的本地服务器的结构示意图；
图7为本发明一实施例提供的云端服务器的结构示意图；
图8为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出传统的单体网络结构示意图。参考图1，在终端部署海量摄像头来采集原始数据，然后通过网络经由网关传输给云端服务器，最后由云端服务器来完成所有的计算任务。毫无疑问的，相关技术中云端服务器为唯一的计算角色。因此，如何把云端服务器从高负载，以及繁重的计算任务中解放出来，成为了行业内一个不断探索的主题。
基于上述问题，本发明实施例提供一种信息处理方法、设备、系统及存储介质，通过引入AI相机作为前端的基础算子，结合服务器的后端处理，使得在无人零售场景下，引入分布式计算思想，可减轻云端服务器的计算负担，降低整个无人零售分布式系统的成本，降低吞吐量、数据传输的带宽压力及数据延时，有效提高系统扩展性。
图2为本发明一实施例提供的信息处理方法的流程图。本发明实施例提供一种信息处理方法，应用于无人零售场景。该信息处理方法可以通过软件和/或硬件的方式实现。
如图2所示，该信息处理方法包括：
S201、人工智能(Artificial Intelligence，简称：AI)相机获取无人零售场景下的实时数据。
在实际应用中，无人零售场景中布置至少一个AI相机，以获取各个角度下的实时数据。该实时数据可以包括但不限于：与商品相关的数据、与无人零售场景下用户相关的数据，等等。
可选地，AI相机包括摄像头，具体可以通过摄像头获取无人零售场景下的实时数据。具体地，摄像头可以为单目摄像头、双目摄像头或三目摄像头等。
S202、AI相机基于神经网络模型，对实时数据进行前端处理。
其中，该前端处理包括以下任一种或多种：商品识别和人体监测等。在无人零售的场景中,核心的算法主要包含两部分：商品识别和人体监测跟踪，其中，人体监测跟踪可以包括人体监测和人体跟踪。这里将商品识别和人体监测由AI相机完成，至于人体跟踪由服务器实现。
在传统的无人零售解决方案中，商品识别和人体监测跟踪这两部分的计算都是在云端服务器上进行，导致云端服务器负担较大。本发明实施例考虑到端上获取实时数据的及时性以及便利性，引入AI相机作为前端的基础算子,进行基本的深度学习计算，即AI相机对实时数据进行前端处理。
S203、AI相机将前端处理后的结果发送给服务器。
可以理解，该前端处理后的结果，相比实时数据，数据量变小，因此，可降低吞吐量、数据传输的带宽压力及数据延时，有效提高系统扩展性。
对应地，服务器接收AI相机发送的前端处理后的结果。
S204、服务器根据前端处理后的结果进行人脸识别和/或确定商品的流向。
示例性地，该前端处理后的结果可以包括商品图片，服务器可以基于该商品图片中背景确定商品的流向；或者，该前端处理后的结果可以包括人体图像，服务器可以基于该人体图像进行人脸识别；或者，服务器根据前端处理后的结果判断某商品是被谁拿走的，等等。
因此，该前端处理后的结果可用于触发服务器执行S204。
本发明实施例中，由AI相机获取无人零售场景下的实时数据，并基于神经网络模型，对实时数据进行前端处理，该前端处理包括以下任一种或多种：商品识别和人体监测，之后将前端处理后的结果发送给服务器，该前端处理后的结果用于触发服务器根据该前端处理后的结果进行人脸识别和/或确定商品的流向。考虑到端上获取实时数据的及时性以及便利性，引入AI相机作为前端的基础算子，进行深度学习计算，结合服务器的后端处理，使得在无人零售场景下，引入分布式计算思想，可降低整个无人零售分布式系统的成本，减少数据传输的带宽压力，有效提高系统扩展性及无人零售解决方案的性能。
在上述实施例的基础上，可选地，神经网络模型可以包括SSD-MobileNet模型以及卷积神经网络(Convolutional Neural Network，简称：CNN)模型。可以理解，神经网络模型是根据训练数据预先训练得到的，具体的训练过程可参考相关技术，此处不再赘述。需说明的是，当AI相机基于神经网络模型对实时数据进行商品识别时，训练数据包括商品图片等特征；当AI相机基于神经网络模型对实时数据进行人体监测时，训练数据包括与人体监测相关的特征。
进一步地，服务器可以包括本地服务器和云端服务器。也就是说，上述实施例中关于服务器执行的步骤既可以由本地服务器执行，也可以由云端服务器执行，或者，还可以由本地服务器和云端服务器共同执行。
一些实施例中，AI相机还可以包括与摄像头连接的AI芯片。其中，摄像头被配置为摄取无人零售场景下的实时数据，并传输给AI芯片；AI芯片被配置为基于神经网络模型，对实时数据进行前端处理，并将前端处理后的结果发送给服务器。
基于系统性能方面的考量，一些实施例中的AI相机，可以采用集成了12个实现机器视觉的128-Bit SHAVE Vector处理器以及众多硬件加速器、图像/视觉信号处理器，还集成了两个32位的RISC处理器、一系列可配置的外设如12Lanes MIPI、I2C、SPI、I2S、PWM、USB3.0、SDIO、Ethernet等接口的AI芯片,该AI芯片保证了低功耗的状态下也可以很好地完成相应的神经网络计算任务。
上述实施例通过采用低成本的AI芯片，极大地降低了整个系统的成本。
接下来，以上述实施例中关于服务器执行的步骤由本地服务器和云端服务器共同执行进行示例说明。
图3为本发明另一实施例提供的信息处理方法的流程图。如图3所示，该实施例中的信息处理方法可以包括：
S301、AI相机获取无人零售场景下的实时数据。
该步骤同S201，此处不再赘述。
S302、AI相机基于神经网络模型，对实时数据进行前端处理。
该步骤同S202，此处不再赘述。
S303、AI相机将前端处理后的结果发送给本地服务器。
该步骤类似S203，此处不再赘述。
对应地，本地服务器接收前端处理后的结果。
S304、本地服务器根据前端处理后的结果进行边缘处理。
其中，边缘处理可以包括人体视觉处理等边缘计算。例如，本地服务器可以根据AI相机发送的前端处理后的结果，确定多个不同角度的图片的差异，等等。
示例性地，本地服务器可以采用TX1/TX2，或者TX1/TX2与低端图形处理器(Graphics Processing Unit，简称：GPU)结合，来完成边缘处理。或者，本地服务器可配置ARM(Advanced RISC Machines)系统进行结构稍微复杂的边缘计算，或者不适合在端上(即AI相机)进行计算的CV操作等。
因此，前端处理后的结果可以用于触发本地服务器执行S304。
S305、本地服务器将边缘处理后的结果发送给云端服务器。
对应地，云端服务器接收边缘处理后的结果。
S306、云端服务器根据边缘处理后的结果进行人脸识别和/或确定商品的流向。
因此，边缘处理后的结果可以用于触发云端服务器执行S306。
云端服务器主要负责一些复杂计算，例如，计算人体轨迹，实现人体跟踪等。
该步骤类似S204。
本发明实施例在无人零售中引入分布式计算思想，可以提高系统的健壮性，并且通过在端上部署海量的摄像头来达到降低成本的目的。在无人零售的场景下，方案的核心是围绕计算任务进行设计的。从计算任务的角度进行划分，把整个无人零售分布式系统分为以下3个部分：
(1)前端处理部分，由AI相机实现。
(2)边缘处理部分，由本地服务器实现。
(3)复杂计算部分，由云端服务器实现。
其中，分布式计算思想也更好的实现了模块化，更利于系统的扩展以及提高了团队协作的效率。
上述实施例，采用漏斗式的数据筛选、清洗，实现数据分流，降低下一层的计算压力和带宽压力。具体地，由于网络通信的不可靠性，持续的高负载网络环境对于系统的稳定性和实用性是个巨大的挑战，本发明以减少数据的通信量和降低网络负载为目的，设计了漏斗式的数据传递方式，有选择性地筛选数据以实现数据分流，达到降低下一层计算压力的目的，相比于传统的无人零售单体网络结构解决方案需要将所有的数据无差别的传到云端服务器上，本发明将部分计算迁移，引入前端处理和边缘处理，最后只把计算的结果传到云端服务器上，这极大地减少了数据传输,有效地降低了负载，降低了云端服务器的计算压力；同时，还降低了成本。
经过验证，本发明实施例提供的无人零售分布式系统的性能远远优于传统的单体网络解决方案。
可选地，云端服务器接收边缘处理后的结果之后，还可以包括：根据边缘处理后的结果生成账单，并发送该账单给用户设备，从而完成一次零售过程。该实施中，边缘处理后的结果还可以用于触发云端服务器根据边缘处理后的结果生成账单，并发送给用户设备。
图4为本发明一实施例提供的AI相机的结构示意图。本发明实施例提供一种AI相机，应用于无人零售场景。该AI相机可以通过软件和/或硬件的方式实现。
如图4所示，AI相机40包括：获取模块41、处理模块42和发送模块43。其中，
该获取模块41，用于获取无人零售场景下的实时数据。
该处理模块42，用于基于神经网络模型，对获取模块41获取的实时数据进行前端处理。其中，前端处理包括以下任一种或多种：商品识别和人体监测等。
该发送模块43，用于将处理模块42得到的前端处理后的结果发送给服务器。其中，前端处理后的结果用于触发服务器根据该前端处理后的结果进行人脸识别和/或确定商品的流向。
本实施例提供的AI相机，可用于执行上述的方法实施例中AI相机执行的步骤，其实现方式和技术效果类似，本实施例此处不再赘述。
在上述实施例中，神经网络模型可以包括但不限于SSD-MobileNet模型以及CNN模型等。
在一些实施例中，服务器可以包括本地服务器和云端服务器。此时，发送模块43可具体用于：将前端处理后的结果发送给本地服务器。其中，前端处理后的结果用于触发本地服务器根据前端处理后的结果进行边缘处理，并将边缘处理后的结果发送给云端服务器。边缘处理后的结果可以用于触发云端服务器根据该边缘处理后的结果进行人脸识别和/或确定商品的流向。其中，边缘处理可以包括人体视觉处理等。
进一步地，边缘处理后的结果还可以用于触发云端服务器根据边缘处理后的结果生成账单，并发送给用户设备。
图5为本发明一实施例提供的服务器的结构示意图。本发明实施例提供一种服务器，应用于无人零售场景。该服务器可以通过软件和/或硬件的方式实现。参考图5，服务器50包括第一接收模块51和处理模块52。其中，
该第一接收模块51，用于接收前端处理后的结果。该前端处理后的结果是AI相机基于神经网络模型，对无人零售场景下的实时数据进行前端处理后的结果。具体地，前端处理可以包括以下任一种或多种：商品识别和人体监测等。
该处理模块52，用于根据第一接收模块51接收的前端处理后的结果进行人脸识别和/或确定商品的流向。
本实施例提供的服务器，可用于执行上述的方法实施例中服务器执行的步骤，其实现方式和技术效果类似，本实施例此处不再赘述。
在上述实施例的基础上，一种实现方式中，服务器50可以包括本地服务器。此时，处理模块52可以包括第一处理模块。
图6为本发明一实施例提供的本地服务器的结构示意图。如图6所示，本地服务器60包括第一接收模块51、第一处理模块61和第一发送模块62。
该第一处理模块61，用于根据第一接收模块51接收的前端处理后的结果进行边缘处理。其中，该边缘处理可以包括人体视觉处理等。
该第一发送模块62，用于将第一处理模块61得到的边缘处理后的结果发送给云端服务器。其中，该边缘处理后的结果用于触发云端服务器根据该边缘处理后的结果进行人脸识别或确定商品的流向。
另一种实现方式中，服务器50可以包括云端服务器。此时，处理模块52可以包括第二处理模块。
图7为本发明一实施例提供的云端服务器的结构示意图。如图7所示，云端服务器70包括第二接收模块71和第二处理模块72。
该第二接收模块71，用于接收边缘处理后的结果。其中，边缘处理后的结果为本地服务器根据前端处理后的结果进行边缘处理后的结果。该边缘处理可以包括人体视觉处理等。
该第二处理模块72，用于根据边缘处理后的结果进行人脸识别或确定商品的流向。
进一步地，云端服务器70还可以包括第二发送模块(未示出)。此时，第二处理模块72，还可以用于根据所述边缘处理后的结果生成账单。第二发送模块用于发送该账单给用户设备。
可选地，上述神经网络模型可以包括SSD-MobileNet模型以及CNN模型等。
图8为本发明一实施例提供的电子设备的结构示意图。如图8所示，该电子设备80包括：
处理器81和存储器82；
存储器82存储计算机执行指令；
处理器81执行计算机执行指令，使得电子设备80执行如前所述的信息处理方法中AI相机或服务器执行的步骤。其中，该服务器包括本地服务器和云端服务器。
处理器81的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
可选地，该电子设备80还包括通信部件83。其中，处理器81、存储器82以及通信部件83可以通过总线84连接。
本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，该计算机执行指令被处理器执行时用于实现如上所述的信息处理方法。
本发明实施例还提供一种信息处理系统，应用于无人零售场景，包括：如前所述的AI相机和服务器。
可选地，该服务器可以包括本地服务器和云端服务器。其中，本地服务器用于执行如前所述的信息处理方法中本地服务器执行的步骤；云端服务器用于如前所述的信息处理方法中本地服务器执行的步骤。
在上述的实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。
应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于终端或服务器中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (18)

1.一种信息处理方法，其特征在于，应用于无人零售场景，包括：
人工智能AI相机获取无人零售场景下的实时数据；
所述AI相机基于神经网络模型，对所述实时数据进行前端处理，所述前端处理包括以下任一种或多种：商品识别和人体监测；
所述AI相机将前端处理后的结果发送给服务器，所述前端处理后的结果用于触发所述服务器根据所述前端处理后的结果进行人脸识别和/或确定商品的流向。
2.根据权利要求1所述的信息处理方法，其特征在于，所述神经网络模型包括SSD-MobileNet模型以及卷积神经网络CNN模型。
3.根据权利要求1所述的信息处理方法，其特征在于，所述服务器包括本地服务器和云端服务器，所述AI相机将前端处理后的结果发送给服务器，包括：
所述AI相机将前端处理后的结果发送给所述本地服务器，所述前端处理后的结果用于触发所述本地服务器根据所述前端处理后的结果进行边缘处理，并将边缘处理后的结果发送给所述云端服务器，所述边缘处理后的结果用于触发所述云端服务器根据所述边缘处理后的结果进行人脸识别和/或确定商品的流向，其中，所述边缘处理包括人体视觉处理。
4.根据权利要求3所述的信息处理方法，其特征在于，所述边缘处理后的结果还用于触发所述云端服务器根据所述边缘处理后的结果生成账单，并发送给用户设备。
5.根据权利要求1所述的信息处理方法，其特征在于，所述AI相机包括摄像头和与所述摄像头连接的AI芯片；其中，
所述摄像头，被配置为摄取无人零售场景下的实时数据，并传输给所述AI芯片；
所述AI芯片，被配置为基于神经网络模型，对所述实时数据进行前端处理，并将前端处理后的结果发送给服务器。
6.一种信息处理方法，其特征在于，应用于无人零售场景，包括：
服务器接收前端处理后的结果，所述前端处理后的结果是人工智能AI相机基于神经网络模型，对无人零售场景下的实时数据进行前端处理后的结果，所述前端处理包括以下任一种或多种：商品识别和人体监测；
根据所述前端处理后的结果进行人脸识别和/或确定商品的流向。
7.根据权利要求6所述的信息处理方法，其特征在于，所述神经网络模型包括SSD-MobileNet模型以及卷积神经网络CNN模型。
8.根据权利要求6所述的信息处理方法，其特征在于，所述服务器包括本地服务器；
所述根据所述前端处理后的结果进行人脸识别和/或确定商品的流向，包括：
所述本地服务器根据所述前端处理后的结果进行边缘处理，其中，所述边缘处理包括人体视觉处理；
将边缘处理后的结果发送给云端服务器，所述边缘处理后的结果用于触发云端服务器根据所述边缘处理后的结果进行人脸识别或确定商品的流向。
9.根据权利要求6所述的信息处理方法，其特征在于，所述服务器包括云端服务器；
所述根据所述前端处理后的结果进行人脸识别和/或确定商品的流向，包括：
所述云端服务器接收边缘处理后的结果，所述边缘处理后的结果为本地服务器根据所述前端处理后的结果进行边缘处理后的结果，其中，所述边缘处理包括人体视觉处理；
根据所述边缘处理后的结果进行人脸识别或确定商品的流向。
10.根据权利要求9所述的信息处理方法，其特征在于，所述云端服务器接收边缘处理后的结果之后，还包括：
根据所述边缘处理后的结果生成账单；
发送所述账单给用户设备。
11.一种人工智能AI相机，其特征在于，应用于无人零售场景，所述AI相机包括：
获取模块，用于获取无人零售场景下的实时数据；
处理模块，用于基于神经网络模型，对所述获取模块获取的实时数据进行前端处理，所述前端处理包括以下任一种或多种：商品识别和人体监测；
发送模块，用于将所述处理模块得到的前端处理后的结果发送给服务器，所述前端处理后的结果用于触发所述服务器根据所述前端处理后的结果进行人脸识别和/或确定商品的流向。
12.一种服务器，其特征在于，应用于无人零售场景，包括：
第一接收模块，用于接收前端处理后的结果，所述前端处理后的结果是人工智能AI相机基于神经网络模型，对无人零售场景下的实时数据进行前端处理后的结果，所述前端处理包括以下任一种或多种：商品识别和人体监测；
处理模块，用于根据所述第一接收模块接收的所述前端处理后的结果进行人脸识别和/或确定商品的流向。
13.根据权利要求12所述的服务器，其特征在于，所述服务器包括本地服务器，所述处理模块包括第一处理模块；
其中，所述本地服务器包括所述第一接收模块、所述第一处理模块和第一发送模块；
所述第一处理模块，用于根据所述第一接收模块接收的所述前端处理后的结果进行边缘处理，其中，所述边缘处理包括人体视觉处理；
所述第一发送模块，用于将所述第一处理模块得到的边缘处理后的结果发送给云端服务器，所述边缘处理后的结果用于触发云端服务器根据所述边缘处理后的结果进行人脸识别或确定商品的流向。
14.根据权利要求12所述的服务器，其特征在于，所述服务器包括云端服务器，所述处理模块包括第二处理模块；
其中，所述云端服务器包括第二接收模块和所述第二处理模块；
所述第二接收模块，用于接收边缘处理后的结果，所述边缘处理后的结果为本地服务器根据所述前端处理后的结果进行边缘处理后的结果，其中，所述边缘处理包括人体视觉处理；
所述第二处理模块，用于根据所述边缘处理后的结果进行人脸识别或确定商品的流向。
15.一种电子设备，其特征在于，包括：处理器和存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述计算机执行指令，使得所述处理器执行：
如权利要求1至5任一项所述的信息处理方法；
和/或，如权利要求6至10任一项所述的信息处理方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现：
如权利要求1至5任一项所述的信息处理方法；
和/或，如权利要求6至10任一项所述的信息处理方法。
17.一种信息处理系统，其特征在于，应用于无人零售场景，包括：
如权利要求11所述的人工智能AI相机，和，如权利要求12所述的服务器。
18.根据权利要求17所述的信息处理系统，其特征在于，所述服务器包括本地服务器和云端服务器，其中，所述本地服务器用于执行如权利要求8所述的信息处理方法；所述云端服务器用于如权利要求9或10所述的信息处理方法。
CN201810710542.6A 2018-07-02 2018-07-02 信息处理方法、设备、系统及存储介质 Active CN110674918B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810710542.6A CN110674918B (zh) 2018-07-02 2018-07-02 信息处理方法、设备、系统及存储介质
US16/458,566 US11126821B2 (en) 2018-07-02 2019-07-01 Information processing method, device, system and storage medium
EP19183853.1A EP3579163A1 (en) 2018-07-02 2019-07-02 Information processing method, device, system and storage medium
JP2019123479A JP6909829B2 (ja) 2018-07-02 2019-07-02 情報処理方法、機器、システム及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810710542.6A CN110674918B (zh) 2018-07-02 2018-07-02 信息处理方法、设备、系统及存储介质

Publications (2)

Publication Number Publication Date
CN110674918A true CN110674918A (zh) 2020-01-10
CN110674918B CN110674918B (zh) 2023-05-23

Family

ID=67145570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810710542.6A Active CN110674918B (zh) 2018-07-02 2018-07-02 信息处理方法、设备、系统及存储介质

Country Status (4)

Country Link
US (1) US11126821B2 (zh)
EP (1) EP3579163A1 (zh)
JP (1) JP6909829B2 (zh)
CN (1) CN110674918B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724606A (zh) * 2020-06-30 2020-09-29 广州市云景信息科技有限公司 一种黑烟车抓拍视频后处理系统及方法
CN112734446A (zh) * 2020-12-31 2021-04-30 北京每日优鲜电子商务有限公司 基于视觉和重力检测的商品验证方法和装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111024158B (zh) * 2019-12-23 2021-11-19 广东工业大学 一种结合边缘计算的厨电危险智能监测方法
WO2021147095A1 (en) * 2020-01-23 2021-07-29 Baidu.Com Times Technology (Beijing) Co., Ltd. Deep residual network for color filter array image denoising
CN113064734A (zh) * 2021-03-01 2021-07-02 青岛海尔科技有限公司 数据处理方法、装置、前端中间层组件和前后端分离式开发系统
CN116016670B (zh) * 2022-12-05 2023-12-29 航天联志技术有限公司 一种基于多级缓存的数据上链方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160189162A1 (en) * 2014-12-29 2016-06-30 Toshiba Tec Kabushiki Kaisha Information processing system, and storage medium which stores information processing program
US20170076195A1 (en) * 2015-09-10 2017-03-16 Intel Corporation Distributed neural networks for scalable real-time analytics
CN108229946A (zh) * 2018-02-08 2018-06-29 中山简单点网络技术有限公司 一种无人销售结算系统及系统识别商品的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160189162A1 (en) * 2014-12-29 2016-06-30 Toshiba Tec Kabushiki Kaisha Information processing system, and storage medium which stores information processing program
US20170076195A1 (en) * 2015-09-10 2017-03-16 Intel Corporation Distributed neural networks for scalable real-time analytics
CN108229946A (zh) * 2018-02-08 2018-06-29 中山简单点网络技术有限公司 一种无人销售结算系统及系统识别商品的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CARDARELLI ELENA ET AL: "cooperative cloud robotics architecture for the coordination of multi-AGV systems in industrial warehouses", 《MECHATRONICS》 *
TEERAPITTAYANON SURAT ET AL: "Distributed deep neural networks over the cloud,the edge and end devices", 《PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON DISTRIBUTED COMPUTING SYSTEMS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724606A (zh) * 2020-06-30 2020-09-29 广州市云景信息科技有限公司 一种黑烟车抓拍视频后处理系统及方法
CN112734446A (zh) * 2020-12-31 2021-04-30 北京每日优鲜电子商务有限公司 基于视觉和重力检测的商品验证方法和装置

Also Published As

Publication number Publication date
US11126821B2 (en) 2021-09-21
US20190325199A1 (en) 2019-10-24
EP3579163A1 (en) 2019-12-11
CN110674918B (zh) 2023-05-23
JP6909829B2 (ja) 2021-07-28
JP2019194902A (ja) 2019-11-07

Similar Documents

Publication Publication Date Title
CN110674918B (zh) 信息处理方法、设备、系统及存储介质
CN110147251B (zh) 用于计算神经网络模型的系统、芯片及计算方法
WO2020119527A1 (zh) 人体动作识别方法、装置、终端设备及存储介质
CN112153306B (zh) 图像采集系统、方法、装置、电子设备及可穿戴设备
CN111614769B (zh) 一种深度学习技术的行为智能分析引擎系统及控制方法
CN112767294B (zh) 深度图像的增强方法、装置、电子设备以及存储介质
Chien et al. Distributed computing in IoT: System-on-a-chip for smart cameras as an example
CN108288025A (zh) 一种车载视频监控方法、装置及设备
CN114612987A (zh) 一种表情识别方法及装置
CN111091106A (zh) 图像聚类方法及装置、存储介质、电子装置
CN108711135A (zh) 一种基于fpga+dsp架构的相机图像采集与处理的方法及系统
Fularz et al. The architecture of an embedded smart camera for intelligent inspection and surveillance
CN110619670A (zh) 人脸互换方法、装置、计算机设备及存储介质
WO2019127926A1 (zh) 一种稀疏神经网络的计算方法及计算装置、电子装置、计算机可读存储介质以及计算机程序产品
CN111783677A (zh) 人脸识别方法、装置、服务器和计算机可读介质
CN109121194B (zh) 用于电子设备的状态转换的方法和装置
CN114422776B (zh) 摄像设备的检测方法及装置、存储介质、电子装置
CN111489289A (zh) 一种图像处理方法、图像处理装置及终端设备
Sulzbachner et al. An optimized silicon retina stereo matching algorithm using time-space correlation
CN114254563A (zh) 数据处理方法及装置、电子设备、存储介质
CN114299152A (zh) 一种获取姿态数据的方法及神经网络构建方法
CN109981969B (zh) 一种智能电子设备和图像处理单元、图像处理方法
CN111611843A (zh) 人脸检测预处理方法、装置、设备和存储介质
CN113726723A (zh) 基于udp的数据传输方法、装置及设备
CN218071614U (zh) 一种基于多摄像头的目标跟踪装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant