CN116385723A - 基于室内定位的智能零售系统和方法 - Google Patents
基于室内定位的智能零售系统和方法 Download PDFInfo
- Publication number
- CN116385723A CN116385723A CN202310380078.XA CN202310380078A CN116385723A CN 116385723 A CN116385723 A CN 116385723A CN 202310380078 A CN202310380078 A CN 202310380078A CN 116385723 A CN116385723 A CN 116385723A
- Authority
- CN
- China
- Prior art keywords
- commodity
- time point
- data
- neural network
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 98
- 238000012549 training Methods 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 17
- 238000013500 data storage Methods 0.000 claims description 12
- 238000010295 mobile communication Methods 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 10
- 238000013523 data management Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 10
- 238000013461 design Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 108
- 230000008859 change Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 235000021022 fresh fruits Nutrition 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于室内定位的智能零售系统及方法,属于人工智能智能零售技术领域。所述系统包括:内容汇总器件,将各个分视野分别对应的各个商品类型作为各个不同商品存放区域分别存放的各个商品类型以作为捕获时间点对应的输出数据;第一处理器件、第二处理器件以及第三处理器件,用于建立并训练卷积神经网络,并运行多次训练后的卷积神经网络以获取未来时间点对应的商品定位数据以作为所述智能零售系统的当前室内定位数据输出。通过本发明,能够采用针对性设计和训练的卷积神经网络,基于无人超市各件商品的历史位置预测未来时间点各件商品的当前位置,从而为无人超市的整理策略提供数据基础。
Description
技术领域
本发明涉及人工智能智能零售领域,尤其涉及一种基于室内定位的智能零售系统和方法。
背景技术
新零售是在引领电商十多年后,随着技术进步和内外部环境的变化,整个商业体系不断思考和自然演进的结果。技术创新推动行业向前发展。新零售的出现只是大势所趋,变才是不变的规律。作为当前新零售的重要形式,智能零售已经成为现代零售业发展的第四个阶段。目前,数字经济和数字转型已经成为零售企业不可回避的话题,随着移动应用和数字环境的发展,搜索驱动的零售已经转向场景零售,这使得智能零售的发展成为可能。智能零售旨在通过线上线下联合宣传,将线上用户带入线下,从而为消费者提供多样化、个性化的产品和独特的消费体验,最终将客户存放线下。
以大数据和人工智能为代表的新技术的应用,会导致企业内部组织和职能之间的重构,随着时间的积累,会导致企业之间的重构。从整个行业的角度来看,每一个重组后的企业就像是多个相互啮合的齿轮,必然会推动整个业务业态的变化。每一次改变背后都隐藏着一次机会,在当今复杂多变的市场环境中,企业适应环境和应对变化的能力尤为重要。从适应变化到控制变化,企业思维的灵活性受到考验。智能零售反映了企业经营人员在不断变化的市场环境中思维的变化。
但是,在智能零售的应用过程中,如何克服各个技术瓶颈以达到原有传统零售模式的销售效果甚至超越原有传统零售模式的销售效果,是智能零售的研发人员和运营人员需要解决的难题。例如,在执行智能销售的无人超市内,由于缺乏专人的整理,当经历过较长时间的购买人员的翻动和重新摆放后,无人超市内的各类商品可能已经不在原先设定的位置,导致原本对应的标签无法与商品匹配,在给购买人员带来困惑的同时,也提升了无人超市经营的难度。
发明内容
为了解决上述问题,本发明提供了一种基于室内定位的智能零售系统和方法,能够在无人超市内实现全景数据采集以及分区域图像分割的基础上,采用针对性设计和训练的卷积神经网络,用于基于无人超市各件商品的历史位置预测未来时间点各件商品的当前位置,从而为无人超市的整理策略提供数据基础,更为重要的是,根据不同的无人超市的占地面积,设计具有不同参数的卷积神经网络,从而提升了商品室内定位的精度。
相比较于现有技术,本发明至少需要具备以下几处突出的实质性特点:
(1)采用全景采集模式对无人超市执行全景图像采集,采用视野分割机制和商品识别机制实现对采集的全景图像中的视觉区域的分割以及每一个视觉区域内的商品类型的鉴别,从而为后续的人工智能识别机制提供输入数据和训练数据;
(2)建立卷积神经网络,所述卷积神经网络包括单个输入层、多个隐层和单个输出层,所述卷积神经网络的输入层的多个输入数据为识别时间点之前预设数量的各个时间点分别对应的商品定位数据,所述卷积神经网络的输出层的单个输出数据为识别时间点对应的商品定位数据,并采用历史数据对所述卷积神经网络执行多次训练,以及运行多次训练后的卷积神经网络以获取未来时间点对应的商品定位数据以作为智能零售系统的当前室内定位数据输出;
(3)针对不同占地面积的无人超市,定制不同结构的卷积神经网络,其中,无人超市的占地面积越大,卷积神经网络输入数据的数量越多,同时对卷积神经网络执行训练的次数也越多,从而提升了建立的卷积神经网络的自适应水准。
根据本发明的第一方面,提供了一种基于室内定位的智能零售系统,所述系统包括:
数据存储芯片,用于为无人超市提供定位数据服务,所述数据存储芯片中存储了所述无人超市内各个不同商品存放区域分别对应的各个定位编号;
内容捕获器件,设置在所述无人超市所在房间顶部的中央位置,内置鱼眼摄像头用于对所述无人超市执行图像捕获动作,以获得定向视野内的全景捕获图像;
视野分割器件,与所述内容捕获器件连接,用于对所述定向视野内的全景捕获图像进行视野分割,以获得多个分视野对应的多个子图像,每一分视野对应的子图像覆盖所述无人超市内一个商品存放区域;
信息识别器件,与所述视野分割器件连接,用于识别每一分视野对应的子图像中出现的占据像素点数量最多的商品目标以及所述商品目标对应的商品类型;
内容汇总器件,分别与所述内容捕获器件和所述信息识别器件连接,用于将所述内容捕获器件获取全景捕获图像的时间点作为捕获时间点,将各个分视野分别对应的各个商品类型作为各个不同商品存放区域分别存放的各个商品类型以作为捕获时间点对应的输出数据;
第一处理器件,用于建立卷积神经网络,所述卷积神经网络包括单个输入层、多个隐层和单个输出层,所述卷积神经网络的输入层的多个输入数据为识别时间点之前预设数量的各个时间点分别对应的商品定位数据,所述卷积神经网络的输出层的单个输出数据为识别时间点对应的商品定位数据;
第二处理器件,用于训练卷积神经网络,采用多份历史数据分别完成对所述卷积神经网络的多次训练,每一份历史数据包括多个输入数据和单个输出数据,所述单个输出数据为某一历史时间点对应的商品定位数据,所述多个输入数据为所述历史时间点之前预设数量的各个时间点分别对应的商品定位数据;
第三处理器件,与所述第二处理器件连接,用于运行多次训练后的卷积神经网络以获取未来时间点对应的商品定位数据以作为所述智能零售系统的当前室内定位数据输出;
其中,除了识别时间点之外,其他时间点对应的商品定位数据都来源于所述内容汇总器件的输出数据;
其中,所述无人超市的占地面积越大,所述预设数量的取值越大,所述多次训练对应的训练次数越多。
根据本发明的第二方面,提供了一种基于室内定位的智能零售系统,所述系统包括存储器以及一个或多个处理器,所述存储器存储有计算机程序,所述计算机程序被配置成由所述一个或多个处理器执行以完成以下步骤:
为无人超市提供定位数据服务,提供的定位数据服务信息包括所述无人超市内各个不同商品存放区域分别对应的各个定位编号;
对所述无人超市执行图像捕获动作,以获得定向视野内的全景捕获图像;
对所述定向视野内的全景捕获图像进行视野分割,以获得多个分视野对应的多个子图像,每一分视野对应的子图像覆盖所述无人超市内一个商品存放区域;
识别每一分视野对应的子图像中出现的占据像素点数量最多的商品目标以及所述商品目标对应的商品类型;
将所述内容捕获器件获取全景捕获图像的时间点作为捕获时间点,将各个分视野分别对应的各个商品类型作为各个不同商品存放区域分别存放的各个商品类型以作为捕获时间点对应的输出数据;
建立卷积神经网络,所述卷积神经网络包括单个输入层、多个隐层和单个输出层,所述卷积神经网络的输入层的多个输入数据为识别时间点之前预设数量的各个时间点分别对应的商品定位数据,所述卷积神经网络的输出层的单个输出数据为识别时间点对应的商品定位数据;
训练卷积神经网络,采用多份历史数据分别完成对所述卷积神经网络的多次训练,每一份历史数据包括多个输入数据和单个输出数据,所述单个输出数据为某一历史时间点对应的商品定位数据,所述多个输入数据为所述历史时间点之前预设数量的各个时间点分别对应的商品定位数据;
运行多次训练后的卷积神经网络以获取未来时间点对应的商品定位数据以作为所述智能零售系统的当前室内定位数据输出;
其中,除了识别时间点之外,其他时间点对应的商品定位数据都来源于所述内容汇总器件的输出数据;
其中,所述无人超市的占地面积越大,所述预设数量的取值越大,所述多次训练对应的训练次数越多。
根据本发明的第三方面,提供了一种基于室内定位的智能零售方法,所述方法包括:
为无人超市提供定位数据服务,提供的定位数据服务信息包括所述无人超市内各个不同商品存放区域分别对应的各个定位编号;
对所述无人超市执行图像捕获动作,以获得定向视野内的全景捕获图像;
对所述定向视野内的全景捕获图像进行视野分割,以获得多个分视野对应的多个子图像,每一分视野对应的子图像覆盖所述无人超市内一个商品存放区域;
识别每一分视野对应的子图像中出现的占据像素点数量最多的商品目标以及所述商品目标对应的商品类型;
将所述内容捕获器件获取全景捕获图像的时间点作为捕获时间点,将各个分视野分别对应的各个商品类型作为各个不同商品存放区域分别存放的各个商品类型以作为捕获时间点对应的输出数据;
建立卷积神经网络,所述卷积神经网络包括单个输入层、多个隐层和单个输出层,所述卷积神经网络的输入层的多个输入数据为识别时间点之前预设数量的各个时间点分别对应的商品定位数据,所述卷积神经网络的输出层的单个输出数据为识别时间点对应的商品定位数据;
训练卷积神经网络,采用多份历史数据分别完成对所述卷积神经网络的多次训练,每一份历史数据包括多个输入数据和单个输出数据,所述单个输出数据为某一历史时间点对应的商品定位数据,所述多个输入数据为所述历史时间点之前预设数量的各个时间点分别对应的商品定位数据;
运行多次训练后的卷积神经网络以获取未来时间点对应的商品定位数据以作为所述智能零售系统的当前室内定位数据输出;
其中,除了识别时间点之外,其他时间点对应的商品定位数据都来源于所述内容汇总器件的输出数据;
其中,所述无人超市的占地面积越大,所述预设数量的取值越大,所述多次训练对应的训练次数越多。
附图说明
以下将结合附图对本发明的实施方案进行描述,其中:
图1为根据本发明的基于室内定位的智能零售系统和方法的技术流程图。
图2为根据本发明的实施例1示出的基于室内定位的智能零售系统的结构示意图。
图3为根据本发明的实施例2示出的基于室内定位的智能零售系统的结构示意图。
图4为根据本发明的实施例3示出的基于室内定位的智能零售系统的结构示意图。
图5为根据本发明的实施例4示出的基于室内定位的智能零售系统的结构示意图。
图6为根据本发明的实施例5示出的基于室内定位的智能零售系统的结构示意图。
具体实施方式
智能零售和无限零售都旨在实施全渠道战略,实现真正的效率革命。智能零售的实践离不开技术的加持。数据和技术是企业为用户服务的完美望远镜和显微镜。他可以为企业提供清晰的消费者画像,了解消费者的偏好和需求,提供有针对性的服务,减少交易过程中涉及的信息不对称,从而帮助企业吸引有潜在需求的消费者,增强原始用户的粘性,降低获取客户的成本。
抛开外在的形式,零售商业所要思考的本质问题是能为消费者带来什么样的服务,创造什么样的价值。从根本上说,实现效率革命的意义是为了实现服务革命。因此,在应用数字化和智慧零售转型的过程中,销售企业一定要处理好数据、技术和服务之间的关系。
在数字化转型的过程中,智能零售企业需要贯彻技术和数据要服务消费者的理念,一直在向改善用户体验和商品服务的方向深入培育。例如,可以利用数字经济为农民解决农产品销售渠道问题提供了新的平台,同时通过构建智能物流系统,用于在第一时间向消费者交付新鲜水果和蔬菜。
然而,作为一项新的零售模式,其落地过程中必然出现各种本地化问题。例如,当智能零售的销售主体即无人超市在运营过程中,一开始其室内摆放的各个商品是准确在其应有的位置,但在一段时间过后,一些商品因为人们翻动较多而失去原有的位置,其他商品因为人们翻动较少而保持在原有的位置,则时对经营方带来了困扰,如果频繁派遣人员重新整理,可能因为失位的商品过少而浪费人工,相反,如果间隔过久才派遣人员重新整理,也可能因为失位的商品过多而影响销售。
为了克服上述不足,本发明搭建了一种基于室内定位的智能零售系统和方法,通过为城市内无人超市设置视觉分区机制和人工智能定位机制分别对室内商品进行位置数据采集以及未来时间商品位置进行定位预测,并为不同无人超市设置具有不同配置参数的人工智能定位机制,从而便于无人超市的管理人员提前设定商品整理策略。
如图1所示,给出了根据本发明示出的基于室内定位的智能零售系统和方法的技术流程图。
如图1所示,本发明的具体的技术流程如下:
首先,在无人商店内采用内容捕获器件的全景摄像视野对无人商店内部环境执行图像捕获动作,以获得每一时刻的店内全景图像,对所述店内全景图像进行图像分割以获得分别包括单个商品的各个子图像,随后,对每一子图像中的商品类型进行视觉识别,从而获得所述时刻对应的商品信息即商品定位数据,所述商品信息包括无人商店实体分区编号以及实体分区存在商品类型的编号;
其次,基于无人商店的占据面积定制卷积神经网络,占据面积越大,定制的卷积神经网络的输入数据越多,训练次数越多,采用每一时刻获得的商品信息作为卷积神经网络的输入数据,采用稍后时刻的商品信息作为卷积神经网络的输出数据,构建所述卷积神经网络并完成对所述卷积神经网络的多次训练;
最后,采用多个历史时刻的商品信息作为多次训练后的卷积神经网络的输入数据以执行所述多次训练后的卷积神经网络,获得其输出数据,即未来某一时刻的商品信息即商品定位数据,从而完成对未来时刻商品是否在应在的位置的预测,为无人商店的整理提供重要参考数据;
其中,在图1中,示例性地给出了两份历史时刻的商品信息作为多次训练后的卷积神经网络的输入数据,实际上,输入数据的份数与无人商店的占据面积单调正向关联,从而为不同无人商店构建不同的卷积神经网络以完成室内商品的定位。
本发明的关键点在于,采用人工识别模式提前预知未来某一时刻无人商店内各个商品是否在其各自设定位置的室内定位数据,从而方便无人商店的管理者提取定制管理策略,例如触发对室内货架的商品整理操作,一方面,避免执行频繁无效的人工整理,另一方面,也保证了室内货架商品的良好的摆放顺序。
下面,将对本发明的基于室内定位的智能零售系统和方法以实施例的方式进行具体说明。
实施例1
图2为根据本发明的实施例1示出的基于室内定位的智能零售系统的结构示意图。
如图2所示,所述基于室内定位的智能零售系统包括以下部件:
数据存储芯片,用于为无人超市提供定位数据服务,所述数据存储芯片中存储了所述无人超市内各个不同商品存放区域分别对应的各个定位编号;
内容捕获器件,设置在所述无人超市所在房间顶部的中央位置,内置鱼眼摄像头用于对所述无人超市执行图像捕获动作,以获得定向视野内的全景捕获图像;
视野分割器件,与所述内容捕获器件连接,用于对所述定向视野内的全景捕获图像进行视野分割,以获得多个分视野对应的多个子图像,每一分视野对应的子图像覆盖所述无人超市内一个商品存放区域;
信息识别器件,与所述视野分割器件连接,用于识别每一分视野对应的子图像中出现的占据像素点数量最多的商品目标以及所述商品目标对应的商品类型;
内容汇总器件,分别与所述内容捕获器件和所述信息识别器件连接,用于将所述内容捕获器件获取全景捕获图像的时间点作为捕获时间点,将各个分视野分别对应的各个商品类型作为各个不同商品存放区域分别存放的各个商品类型以作为捕获时间点对应的输出数据;
第一处理器件,用于建立卷积神经网络,所述卷积神经网络包括单个输入层、多个隐层和单个输出层,所述卷积神经网络的输入层的多个输入数据为识别时间点之前预设数量的各个时间点分别对应的商品定位数据,所述卷积神经网络的输出层的单个输出数据为识别时间点对应的商品定位数据;
第二处理器件,用于训练卷积神经网络,采用多份历史数据分别完成对所述卷积神经网络的多次训练,每一份历史数据包括多个输入数据和单个输出数据,所述单个输出数据为某一历史时间点对应的商品定位数据,所述多个输入数据为所述历史时间点之前预设数量的各个时间点分别对应的商品定位数据;
第三处理器件,与所述第二处理器件连接,用于运行多次训练后的卷积神经网络以获取未来时间点对应的商品定位数据以作为所述智能零售系统的当前室内定位数据输出;
其中,除了识别时间点之外,其他时间点对应的商品定位数据都来源于所述内容汇总器件的输出数据;
其中,所述无人超市的占地面积越大,所述预设数量的取值越大,所述多次训练对应的训练次数越多。
实施例2
图3为根据本发明的实施例2示出的基于室内定位的智能零售系统的结构示意图。
如图3所示,与本发明的实施例1不同,所述基于室内定位的智能零售系统还包括:
移动通信器件,与所述第三处理器件连接,用于将接收到的所述智能零售系统的当前室内定位数据通过移动通信链路发送给远端的无人超市的大数据管理节点。
实施例3
图4为根据本发明的实施例3示出的基于室内定位的智能零售系统的结构示意图。
如图4所示,与本发明的实施例1不同,所述基于室内定位的智能零售系统还包括:
移动通信器件,与所述第三处理器件连接,用于将接收到的所述智能零售系统的当前室内定位数据通过移动通信链路发送给远端的无人超市的大数据管理节点;
大数据管理节点,与所述移动通信器件连接,用于负载实现对同一城市区域内的各家无人超市的同时的数据管理和维护。
实施例4
图5为根据本发明的实施例4示出的基于室内定位的智能零售系统的结构示意图。
如图5所示,与本发明的实施例1不同,所述基于室内定位的智能零售系统还包括:
移动通信器件,与所述第三处理器件连接,用于将接收到的所述智能零售系统的当前室内定位数据通过移动通信链路发送给远端的无人超市的大数据管理节点;
大数据管理节点,与所述移动通信器件连接,用于负载实现对同一城市区域内的各家无人超市的同时的数据管理和维护;
电源供应器件,分别与所述第一处理器件、所述第二处理器件以及所述第三处理器件连接;
其中,所述电源供应器件用于分别为所述第一处理器件、所述第二处理器件以及所述第三处理器件提供各自需求的供电电压。
在上述实施例的任一实施例中,可选地,在所述基于室内定位的智能零售系统中:
运行多次训练后的卷积神经网络以获取未来时间点对应的商品定位数据以作为所述智能零售系统的当前室内定位数据输出包括:将未来时间点之前预设数量的各个时间点分别对应的商品定位数据输入到多次训练后的卷积神经网络,并预先多次训练后的卷积神经网络以获得其输出的未来时间点对应的商品定位数据。
在上述实施例的任一实施例中,可选地,在所述基于室内定位的智能零售系统中:
所述数据存储芯片中存储了所述无人超市内各个不同商品存放区域分别对应的各个定位编号包括:所述数据存储芯片中,商品存放区域不同,对应的定位编号不同;
其中,所述数据存储芯片中存储了所述无人超市内各个不同商品存放区域分别对应的各个定位编号包括:所述无人超市内每一个商品存放区域对应的定位编号是一个4位的二进制编码数据。
在上述实施例的任一实施例中,可选地,在所述基于室内定位的智能零售系统中:
所述识别时间点以及所述各个时间点在时间轴上均匀分布,每一个时间点对应的商品定位数据为所述时间点所述各个不同商品存放区域分别存放的各个商品类型分别对应的各个商品类型编号;
其中,每一个时间点对应的商品定位数据为所述时间点所述各个不同商品存放区域分别存放的各个商品类型分别对应的各个商品类型编号包括:商品类型不同,对应的商品类型编号不同,每一个商品类型编号为一个4位的二进制编码数据。
在上述实施例的任一实施例中,可选地,在所述基于室内定位的智能零售系统中:
每一个时间点对应的商品定位数据为所述时间点所述各个不同商品存放区域分别存放各个商品类型编号还包括:每一个时间点对应的商品定位数据中每一个商品存放区域对应的数据由所述商品存放区域对应的定位编号衔接存放的商品类型编号所构成的一个8位的二进制编码数据;
其中,所述卷积神经网络的输出层的单个输出数据为识别时间点对应的商品定位数据包括:识别时间点对应的商品定位数据为所述识别时间点所述各个不同商品存放区域分别存放的各个商品类型分别对应的各个商品类型编号。
实施例5
图6为根据本发明的实施例5示出的基于室内定位的智能零售系统的结构方框图。
如图6所示,所述基于室内定位的智能零售系统包括存储器以及N个处理器,N为大于等于1的正整数,所述存储器存储有计算机程序,所述计算机程序被配置成由所述N个处理器执行以完成以下步骤:
为无人超市提供定位数据服务,提供的定位数据服务信息包括所述无人超市内各个不同商品存放区域分别对应的各个定位编号;
对所述无人超市执行图像捕获动作,以获得定向视野内的全景捕获图像;
对所述定向视野内的全景捕获图像进行视野分割,以获得多个分视野对应的多个子图像,每一分视野对应的子图像覆盖所述无人超市内一个商品存放区域;
识别每一分视野对应的子图像中出现的占据像素点数量最多的商品目标以及所述商品目标对应的商品类型;
将所述内容捕获器件获取全景捕获图像的时间点作为捕获时间点,将各个分视野分别对应的各个商品类型作为各个不同商品存放区域分别存放的各个商品类型以作为捕获时间点对应的输出数据;
建立卷积神经网络,所述卷积神经网络包括单个输入层、多个隐层和单个输出层,所述卷积神经网络的输入层的多个输入数据为识别时间点之前预设数量的各个时间点分别对应的商品定位数据,所述卷积神经网络的输出层的单个输出数据为识别时间点对应的商品定位数据;
训练卷积神经网络,采用多份历史数据分别完成对所述卷积神经网络的多次训练,每一份历史数据包括多个输入数据和单个输出数据,所述单个输出数据为某一历史时间点对应的商品定位数据,所述多个输入数据为所述历史时间点之前预设数量的各个时间点分别对应的商品定位数据;
运行多次训练后的卷积神经网络以获取未来时间点对应的商品定位数据以作为所述智能零售系统的当前室内定位数据输出;
其中,除了识别时间点之外,其他时间点对应的商品定位数据都来源于所述内容汇总器件的输出数据;
其中,所述无人超市的占地面积越大,所述预设数量的取值越大,所述多次训练对应的训练次数越多。
实施例6
根据本发明实施6还提供基于室内定位的智能零售方法,其包括:
为无人超市提供定位数据服务,提供的定位数据服务信息包括所述无人超市内各个不同商品存放区域分别对应的各个定位编号;
对所述无人超市执行图像捕获动作,以获得定向视野内的全景捕获图像;
对所述定向视野内的全景捕获图像进行视野分割,以获得多个分视野对应的多个子图像,每一分视野对应的子图像覆盖所述无人超市内一个商品存放区域;
识别每一分视野对应的子图像中出现的占据像素点数量最多的商品目标以及所述商品目标对应的商品类型;
将所述内容捕获器件获取全景捕获图像的时间点作为捕获时间点,将各个分视野分别对应的各个商品类型作为各个不同商品存放区域分别存放的各个商品类型以作为捕获时间点对应的输出数据;
建立卷积神经网络,所述卷积神经网络包括单个输入层、多个隐层和单个输出层,所述卷积神经网络的输入层的多个输入数据为识别时间点之前预设数量的各个时间点分别对应的商品定位数据,所述卷积神经网络的输出层的单个输出数据为识别时间点对应的商品定位数据;
训练卷积神经网络,采用多份历史数据分别完成对所述卷积神经网络的多次训练,每一份历史数据包括多个输入数据和单个输出数据,所述单个输出数据为某一历史时间点对应的商品定位数据,所述多个输入数据为所述历史时间点之前预设数量的各个时间点分别对应的商品定位数据;
运行多次训练后的卷积神经网络以获取未来时间点对应的商品定位数据以作为所述智能零售系统的当前室内定位数据输出;
其中,除了识别时间点之外,其他时间点对应的商品定位数据都来源于所述内容汇总器件的输出数据;
其中,所述无人超市的占地面积越大,所述预设数量的取值越大,所述多次训练对应的训练次数越多。
另外,卷积神经网络中卷积层间的连接被称为稀疏连接(sparse connection),即相比于前馈神经网络中的全连接,卷积层中的神经元仅与其相邻层的部分,而非全部神经元相连。具体地,卷积神经网络第l层特征图中的任意一个像素(神经元)都仅是l-1层中卷积核所定义的感受野内的像素的线性组合。卷积神经网络的稀疏连接具有正则化的效果,提高了网络结构的稳定性和泛化能力,避免过度拟合,同时,稀疏连接减少了权重参数的总量,有利于神经网络的快速学习,和在计算时减少内存开销。
卷积神经网络中特征图同一通道内的所有像素共享一组卷积核权重系数,该性质被称为权重共享(weight sharing)。权重共享将卷积神经网络和其它包含局部连接结构的神经网络相区分,后者虽然使用了稀疏连接,但不同连接的权重是不同的。权重共享和稀疏连接一样,减少了卷积神经网络的参数总量,并具有正则化的效果。
在全连接网络视角下,卷积神经网络的稀疏连接和权重共享可以被视为两个无限强的先验,即一个隐含层神经元在其感受野之外的所有权重系数恒为0(但感受野可以在空间移动);且在一个通道内,所有神经元的权重系数相同。
深度卷积网络主要是由输入层、卷积层、激活函数、池化层、全连接层和输出层组成。以下将以人脸识别为例对深度卷积神经网络的各个组成部分进行简单的介绍。输入层:深度卷积网络可直接将图片作为网络的输入,通过训练提取特征,但是为了获得更好的效果,通常需要将图片进行预处理,在人脸识别中,就需要进行人脸检测等处理(MTCNN是一种较好的人脸检测方法)。此外,在样本不足的情况下会需要进行样本增强处理,包括旋转、平移,剪切、增加噪声、颜色变换等。卷积层:通过卷积运算实质是对输入进行另一种表示,若将卷积层视为黑盒子,那么人们可以将输出看作是输入的另外一种表示,而整个网络的训练也就是训练出这种表示所需的中间参数。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种基于室内定位的智能零售系统,其特征在于,所述系统包括:
数据存储芯片,用于为无人超市提供定位数据服务,所述数据存储芯片中存储了所述无人超市内各个不同商品存放区域分别对应的各个定位编号;
内容捕获器件,设置在所述无人超市所在房间顶部的中央位置,内置鱼眼摄像头用于对所述无人超市执行图像捕获动作,以获得定向视野内的全景捕获图像;
视野分割器件,与所述内容捕获器件连接,用于对所述定向视野内的全景捕获图像进行视野分割,以获得多个分视野对应的多个子图像,每一分视野对应的子图像覆盖所述无人超市内一个商品存放区域;
信息识别器件,与所述视野分割器件连接,用于识别每一分视野对应的子图像中出现的占据像素点数量最多的商品目标以及所述商品目标对应的商品类型;
内容汇总器件,分别与所述内容捕获器件和所述信息识别器件连接,用于将所述内容捕获器件获取全景捕获图像的时间点作为捕获时间点,将各个分视野分别对应的各个商品类型作为各个不同商品存放区域分别存放的各个商品类型以作为捕获时间点对应的输出数据;
第一处理器件,用于建立卷积神经网络,所述卷积神经网络包括单个输入层、多个隐层和单个输出层,所述卷积神经网络的输入层的多个输入数据为识别时间点之前预设数量的各个时间点分别对应的商品定位数据,所述卷积神经网络的输出层的单个输出数据为识别时间点对应的商品定位数据;
第二处理器件,用于训练卷积神经网络,采用多份历史数据分别完成对所述卷积神经网络的多次训练,每一份历史数据包括多个输入数据和单个输出数据,所述单个输出数据为某一历史时间点对应的商品定位数据,所述多个输入数据为所述历史时间点之前预设数量的各个时间点分别对应的商品定位数据;
第三处理器件,与所述第二处理器件连接,用于运行多次训练后的卷积神经网络以获取未来时间点对应的商品定位数据以作为所述智能零售系统的当前室内定位数据输出;
其中,除了识别时间点之外,其他时间点对应的商品定位数据都来源于所述内容汇总器件的输出数据;
其中,所述无人超市的占地面积越大,所述预设数量的取值越大,所述多次训练对应的训练次数越多。
2.如权利要求1所述的基于室内定位的智能零售系统,其特征在于,所述系统还包括:
移动通信器件,与所述第三处理器件连接,用于将接收到的所述智能零售系统的当前室内定位数据通过移动通信链路发送给远端的无人超市的大数据管理节点。
3.如权利要求2所述的基于室内定位的智能零售系统,其特征在于,所述系统还包括:
大数据管理节点,与所述移动通信器件连接,用于负载实现对同一城市区域内的各家无人超市的同时的数据管理和维护。
4.如权利要求3所述的基于室内定位的智能零售系统,其特征在于,所述系统还包括:
电源供应器件,分别与所述第一处理器件、所述第二处理器件以及所述第三处理器件连接;
其中,所述电源供应器件用于分别为所述第一处理器件、所述第二处理器件以及所述第三处理器件提供各自需求的供电电压。
5.如权利要求1-4任一所述的基于室内定位的智能零售系统,其特征在于:
运行多次训练后的卷积神经网络以获取未来时间点对应的商品定位数据以作为所述智能零售系统的当前室内定位数据输出包括:将未来时间点之前预设数量的各个时间点分别对应的商品定位数据输入到多次训练后的卷积神经网络,并预先多次训练后的卷积神经网络以获得其输出的未来时间点对应的商品定位数据。
6.如权利要求1-4任一所述的基于室内定位的智能零售系统,其特征在于:
所述数据存储芯片中存储了所述无人超市内各个不同商品存放区域分别对应的各个定位编号包括:所述数据存储芯片中,商品存放区域不同,对应的定位编号不同;
其中,所述数据存储芯片中存储了所述无人超市内各个不同商品存放区域分别对应的各个定位编号包括:所述无人超市内每一个商品存放区域对应的定位编号是一个4位的二进制编码数据。
7.如权利要求6所述的基于室内定位的智能零售系统,其特征在于:
所述识别时间点以及所述各个时间点在时间轴上均匀分布,每一个时间点对应的商品定位数据为所述时间点所述各个不同商品存放区域分别存放的各个商品类型分别对应的各个商品类型编号;
其中,每一个时间点对应的商品定位数据为所述时间点所述各个不同商品存放区域分别存放的各个商品类型分别对应的各个商品类型编号包括:商品类型不同,对应的商品类型编号不同,每一个商品类型编号为一个4位的二进制编码数据。
8.如权利要求7所述的基于室内定位的智能零售系统,其特征在于:
每一个时间点对应的商品定位数据为所述时间点所述各个不同商品存放区域分别存放各个商品类型编号还包括:每一个时间点对应的商品定位数据中每一个商品存放区域对应的数据由所述商品存放区域对应的定位编号衔接存放的商品类型编号所构成的一个8位的二进制编码数据;
其中,所述卷积神经网络的输出层的单个输出数据为识别时间点对应的商品定位数据包括:识别时间点对应的商品定位数据为所述识别时间点所述各个不同商品存放区域分别存放的各个商品类型分别对应的各个商品类型编号。
9.一种基于室内定位的智能零售系统,其特征在于,所述系统包括存储器以及一个或多个处理器,所述存储器存储有计算机程序,所述计算机程序被配置成由所述一个或多个处理器执行以完成以下步骤:
为无人超市提供定位数据服务,提供的定位数据服务信息包括所述无人超市内各个不同商品存放区域分别对应的各个定位编号;
对所述无人超市执行图像捕获动作,以获得定向视野内的全景捕获图像;
对所述定向视野内的全景捕获图像进行视野分割,以获得多个分视野对应的多个子图像,每一分视野对应的子图像覆盖所述无人超市内一个商品存放区域;
识别每一分视野对应的子图像中出现的占据像素点数量最多的商品目标以及所述商品目标对应的商品类型;
将所述内容捕获器件获取全景捕获图像的时间点作为捕获时间点,将各个分视野分别对应的各个商品类型作为各个不同商品存放区域分别存放的各个商品类型以作为捕获时间点对应的输出数据;
建立卷积神经网络,所述卷积神经网络包括单个输入层、多个隐层和单个输出层,所述卷积神经网络的输入层的多个输入数据为识别时间点之前预设数量的各个时间点分别对应的商品定位数据,所述卷积神经网络的输出层的单个输出数据为识别时间点对应的商品定位数据;
训练卷积神经网络,采用多份历史数据分别完成对所述卷积神经网络的多次训练,每一份历史数据包括多个输入数据和单个输出数据,所述单个输出数据为某一历史时间点对应的商品定位数据,所述多个输入数据为所述历史时间点之前预设数量的各个时间点分别对应的商品定位数据;
运行多次训练后的卷积神经网络以获取未来时间点对应的商品定位数据以作为所述智能零售系统的当前室内定位数据输出;
其中,除了识别时间点之外,其他时间点对应的商品定位数据都来源于所述内容汇总器件的输出数据;
其中,所述无人超市的占地面积越大,所述预设数量的取值越大,所述多次训练对应的训练次数越多。
10.一种基于室内定位的智能零售方法,其特征在于,所述方法包括:
为无人超市提供定位数据服务,提供的定位数据服务信息包括所述无人超市内各个不同商品存放区域分别对应的各个定位编号;
对所述无人超市执行图像捕获动作,以获得定向视野内的全景捕获图像;
对所述定向视野内的全景捕获图像进行视野分割,以获得多个分视野对应的多个子图像,每一分视野对应的子图像覆盖所述无人超市内一个商品存放区域;
识别每一分视野对应的子图像中出现的占据像素点数量最多的商品目标以及所述商品目标对应的商品类型;
将所述内容捕获器件获取全景捕获图像的时间点作为捕获时间点,将各个分视野分别对应的各个商品类型作为各个不同商品存放区域分别存放的各个商品类型以作为捕获时间点对应的输出数据;
建立卷积神经网络,所述卷积神经网络包括单个输入层、多个隐层和单个输出层,所述卷积神经网络的输入层的多个输入数据为识别时间点之前预设数量的各个时间点分别对应的商品定位数据,所述卷积神经网络的输出层的单个输出数据为识别时间点对应的商品定位数据;
训练卷积神经网络,采用多份历史数据分别完成对所述卷积神经网络的多次训练,每一份历史数据包括多个输入数据和单个输出数据,所述单个输出数据为某一历史时间点对应的商品定位数据,所述多个输入数据为所述历史时间点之前预设数量的各个时间点分别对应的商品定位数据;
运行多次训练后的卷积神经网络以获取未来时间点对应的商品定位数据以作为所述智能零售系统的当前室内定位数据输出;
其中,除了识别时间点之外,其他时间点对应的商品定位数据都来源于所述内容汇总器件的输出数据;
其中,所述无人超市的占地面积越大,所述预设数量的取值越大,所述多次训练对应的训练次数越多。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310380078.XA CN116385723B (zh) | 2023-04-11 | 2023-04-11 | 基于室内定位的智能零售系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310380078.XA CN116385723B (zh) | 2023-04-11 | 2023-04-11 | 基于室内定位的智能零售系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116385723A true CN116385723A (zh) | 2023-07-04 |
CN116385723B CN116385723B (zh) | 2023-09-15 |
Family
ID=86970824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310380078.XA Active CN116385723B (zh) | 2023-04-11 | 2023-04-11 | 基于室内定位的智能零售系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116385723B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109359553A (zh) * | 2018-09-21 | 2019-02-19 | 上海小萌科技有限公司 | 鱼眼图像的商品检测方法、装置、计算机设备和存储介质 |
CN111652654A (zh) * | 2020-06-10 | 2020-09-11 | 创新奇智(南京)科技有限公司 | 销量预测及神经网络构建的方法、装置、设备、存储介质 |
KR102212286B1 (ko) * | 2019-08-22 | 2021-02-04 | 타이아(주) | IoT 기반 모듈 단위 무인 스마트 마트 시스템, 그리고 이의 제공 방법 |
CN112434710A (zh) * | 2020-11-23 | 2021-03-02 | 西安理工大学 | 一种基于目标检测技术的智能货架商品识别方法 |
JP2021196709A (ja) * | 2020-06-10 | 2021-12-27 | ソフトバンク株式会社 | 情報処理端末、情報処理方法及びプログラム |
KR20220055168A (ko) * | 2020-10-26 | 2022-05-03 | 주식회사 케이티 | 무인 매장에서 자동 결제 방법 및 그것을 구현하는 무인 매장 플랫폼 장치 |
CN114863233A (zh) * | 2022-04-18 | 2022-08-05 | 戴一荻 | 一种基于深度神经网络的无人商店的库存管理系统 |
-
2023
- 2023-04-11 CN CN202310380078.XA patent/CN116385723B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109359553A (zh) * | 2018-09-21 | 2019-02-19 | 上海小萌科技有限公司 | 鱼眼图像的商品检测方法、装置、计算机设备和存储介质 |
KR102212286B1 (ko) * | 2019-08-22 | 2021-02-04 | 타이아(주) | IoT 기반 모듈 단위 무인 스마트 마트 시스템, 그리고 이의 제공 방법 |
CN111652654A (zh) * | 2020-06-10 | 2020-09-11 | 创新奇智(南京)科技有限公司 | 销量预测及神经网络构建的方法、装置、设备、存储介质 |
JP2021196709A (ja) * | 2020-06-10 | 2021-12-27 | ソフトバンク株式会社 | 情報処理端末、情報処理方法及びプログラム |
KR20220055168A (ko) * | 2020-10-26 | 2022-05-03 | 주식회사 케이티 | 무인 매장에서 자동 결제 방법 및 그것을 구현하는 무인 매장 플랫폼 장치 |
CN112434710A (zh) * | 2020-11-23 | 2021-03-02 | 西安理工大学 | 一种基于目标检测技术的智能货架商品识别方法 |
CN114863233A (zh) * | 2022-04-18 | 2022-08-05 | 戴一荻 | 一种基于深度神经网络的无人商店的库存管理系统 |
Non-Patent Citations (1)
Title |
---|
王树义: "面向智慧零售的行人检测与3D定位系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 01 * |
Also Published As
Publication number | Publication date |
---|---|
CN116385723B (zh) | 2023-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kourtit et al. | Smart cities in perspective–a comparative European study by means of self-organizing maps | |
AU2020103613A4 (en) | Cnn and transfer learning based disease intelligent identification method and system | |
Lu et al. | Human face recognition based on convolutional neural network and augmented dataset | |
Banker et al. | The use of categorical variables in data envelopment analysis | |
CN110148120A (zh) | 一种基于cnn与迁移学习的病害智能识别方法及系统 | |
CN107169847B (zh) | 基于机器学习模型动态调整短租房房价的系统及其方法 | |
Wu et al. | ClothGAN: generation of fashionable Dunhuang clothes using generative adversarial networks | |
CN107016587A (zh) | 一种个性化页面推送方法及装置 | |
CN107066322B (zh) | 一种面向自组织群智感知系统的在线任务分派方法 | |
CN108009560A (zh) | 商品图像相似类别判定方法及装置 | |
Li et al. | DeepGIN: Deep generative inpainting network for extreme image inpainting | |
CN115222896B (zh) | 三维重建方法、装置、电子设备及计算机可读存储介质 | |
CN108600336A (zh) | 景区一体化综合服务平台 | |
CN109493186A (zh) | 确定推送信息的方法和装置 | |
CN113781139A (zh) | 物品推荐方法、物品推荐装置、设备和介质 | |
Guo et al. | Salient object detection from low contrast images based on local contrast enhancing and non-local feature learning | |
Perveen et al. | [Retracted] Multidimensional Attention‐Based CNN Model for Identifying Apple Leaf Disease | |
CN116385723B (zh) | 基于室内定位的智能零售系统和方法 | |
KR20210068752A (ko) | IoT 수장고와 연동되는 블록체인 기반 미술품 중개 서비스 제공 시스템 | |
CN110288465A (zh) | 对象确定方法及装置、存储介质、电子装置 | |
Aguilar et al. | Uncertainty modeling and deep learning applied to food image analysis | |
Hicks et al. | Deep learning object detection to estimate the nectar sugar mass of flowering vegetation | |
Bricman et al. | CocoNet: A deep neural network for mapping pixel coordinates to color values | |
Kong et al. | Multitask bilateral learning for real‐time image enhancement | |
CN109858448A (zh) | 一种零售场景下的物品识别方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |