CN111696258A - 智能货架系统及其控制方法 - Google Patents
智能货架系统及其控制方法 Download PDFInfo
- Publication number
- CN111696258A CN111696258A CN201910198159.1A CN201910198159A CN111696258A CN 111696258 A CN111696258 A CN 111696258A CN 201910198159 A CN201910198159 A CN 201910198159A CN 111696258 A CN111696258 A CN 111696258A
- Authority
- CN
- China
- Prior art keywords
- goods
- intelligent
- shelf
- cloud
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
- G07C9/00896—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys specially adapted for particular uses
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F9/00—Details other than those peculiar to special kinds or types of apparatus
- G07F9/02—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
- G07F9/026—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus for alarm, monitoring and auditing in vending machines or means for indication, e.g. when empty
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本发明公开了一种上述智能货架系统及其控制方法,包括多个能够被放置在不同物理位置的智能货架;其中,每个货架包括智能门锁;其解锁方式能够将特定的用户移动装置与货物销售活动相联系;并且将在用户关闭门锁后触发支付货款程序;一个或多个受控货物存放装置;货架控制器;用于获取所取得货物的产品类别、价格、以及数量等相关信息,记录并通过网络将所述信息传输到云端货物识别器,同时更新云端货物识别器中的产品类别及数量信息;云端货物识别器,通过深度学习技术训练模型识别各种产品,并同步所述货架控制器,以识别新产品。由于本发明采用了上述智能货架系统及其控制方法,能够高效识别并整合多个不同地点和/不同地区的自动销售货架。
Description
技术领域
本发明属于智能货架系统领域,特别是通过人工智能方式识别目标货物的智能货架系统及其控制方法。
背景技术
长期以来,销售者均需要对自动售货装置进行有效率的安排,从而能及时了解销售情况并尽快补充货物;但是对于销售商在不同地点和/不同地区的自动售货装置来说,缺乏一种有效率的方式进行对所述信息进行处理分析,并及时更新数据管理系统。
现有技术中公开了多种智能货架,例如在中国发明专利申请201711249049.0中公开了利用传感器监控货架运动,反馈目标对象在运动轨迹中所关联的商品信息的监测设备和智能货架的方案;或在中国发明专利申请201810381313.4中公开的在货架本体上设有若干置物板,所述智能垫子设置于所述置物板上,所述智能垫子用于测量智能垫子上货物的重量以及智能垫子与货物的接触面积,所述控制模块与所述智能垫子和通讯模块电性相连,所述通讯模块和所述云服务器通信相连。
上述这些现有技术基本上采用了物理感知货物销售状况的方式,改善了销售商对信息的获取方法,从而降低成本。然而,上述方式仍然存在无法将多地点多地区的信息进行整合的缺陷。即使在上述第二个专利申请中提及云服务器,云服务器的作用也是用来接收并记录货物的识别特征和位置数据,并采集对应的智能垫子的坐标。也就是说,识别过程是通过智能垫片的压力变化完成的;云服务器的作用在于存储与记录相关识别结果。因此,需要高效识别并整合多个不同物理位置的自动销售货架的解决方案。
发明内容
本发明的目的在于提供一种高效识别并整合多个不同位置的智能货架系统及其控制方法。
本发明的一种智能货架系统,其包括:多个能够被放置在不同物理位置的智能货架;其中,每个货架包括智能门锁;其解锁方式能够将特定的用户移动装置与货物销售活动相联系;并且将在用户关闭门锁后触发支付货款程序;一个或多个受控货物存放装置;货架控制器;用于获取所取得货物的产品类别、价格、以及数量等相关信息,记录并通过网络将所述信息传输到云端货物识别器,同时更新云端货物识别器中的产品类别及数量信息;云端货物识别器,通过深度学习技术训练模型识别各种产品,并同步所述货架控制器,以识别新产品。
本发明的一个方面还包括,本地货物感知装置;用于获得货物增加或减少的数量与类别等信息。其中所述货架控制器为智能产品识别专用芯片;所述云端货物识别器为云端AI训练引擎。其中所述的本地货物感知装置为摄像头,用于获得智能货架上所展示商品的图像和/或视频,或智能货架上所增减的商品的图像和/或视频。其中所述的本地货物感知装置为压力传感器;用于感知货物的增加或减少。温度控制装置;和/或照明装置;和/或触摸式控制屏与广告展示装置。编码模块,将所获得的图像和/或视频转化为图像的二进制编码图;卷积模块,利用卷积神经网络(“CNN”)对所述二进制编码图进行学习,CNN是由一个或多个卷积层和顶端的全连接层(对应经典的神经网络)组成,同时也包括关联权重和池化层(pooling layer);它的人工神经元响应一部分覆盖范围内的周围单元;卷积神经网络中每层卷积层由若干卷积单元组成,每个卷积单元的参数都是通过反向传播算法最佳化得到的,通过卷积运算提取输入货物产品类别信息的不同特征,多层卷积网路能从低层卷积中获得的低级特征中迭代提取复杂的特征,从而获得特征图;进一步采用最大池化(Maxpooling)方式,利用同形式的非线性池化函数,对特征图进行形式的降采样,将输入的图像划分为若干个矩形区域,对每个子区域输出最大值;将获得降维的特征图生成压平层(Flatten),即将二维图片的输入一维化,生成一维阵列,进一步实现从卷积层到全连接层(fully connection)的过渡;识别模块,经过云端货物识别器模块对神经网络模型的训练,在全连接层中对信息进行分类,从而识别出某一商品、品牌与数量。还包括,显示及闭锁模块,将本次货物销售活动所涉及的金额、类型及数量在用户移动设备中展示出来;并且用户把智能门锁关闭后,将通过移动设备或者现金或者其他能够被所述智能货架系统所接受的支付方式支付本次货物销售所需支付的费用。
本发明的控制智能货架系统的方法,其包括如下步骤:将多个智能货架放置在不同物理位置;其中每个货架设置智能门锁;其该解锁方式能够将特定的用户移动装置与货物销售活动相联系;并且将在用户关闭门锁后触发支付货款程序;设置一个或多个受控货物存放装置;设置货架控制器;获取所取得货物的产品类别、价格、以及数量等相关信息,记录并通过网络将所述信息传输到云端货物识别器,同时更新云端货物识别器中的产品类别及数量信息;设置云端货物识别器,通过深度学习技术训练模型识别各种产品,并同步所述货架控制器,以识别新产品。
由于本发明采用了上述智能货架系统及其控制方法,能够高效识别并整合多个不同地点和/不同地区的自动销售货架。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实例,对于本领域普通技术人员来讲,在不付出创新性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的智能货架系统示意图。
图2为通过本发明的智能货架系统进行货物销售的流程图。
图3为控制本发明的智能货架系统货架控制器的流程示意图。
图4为本发明的智能货架系统的云端货物识别器的流程示意图。
图5为本发明的全连接层识别某品牌方便面的示意图。
图6a为利用本发明的智能货架系统对库存和物流进行控制的流程图。
图6b和6c为利用本发明的一个实施例的智能货架系统的云端货物识别器对库存和物流大数据分析的流程图。
图6d为利用本发明的一个实施例的智能货架系统利用大数据分析进行精准销售的流程图。
图7为本发明的智能货架系统一个实施例中的货物感知装置104示意图。
图8为本发明的智能货架系统的货架控制器结构图。
具体实施方式
现结合相应的附图,对本发明的具体实施例进行描述。然而,本发明可以以多种不同的形式实施,而不应被解释为局限于此处展示的实施例。提供这些实施例只是为了本发明可以详尽和全面,从而可以将本发明的范围完全地描述给本领域的技术人员。附图中说明的实施例的详细描述中使用的措辞不应对本发明造成限制。
图1为本发明的智能货架系统示意图。其中,智能货架101为一个或多个(图中未示出)能够被放置在不同物理位置的智能货架。每个智能货架101包括智能门锁103;一个或多个受控货物存放装置102;货物出口(图中未示出);和货架控制器105。通过所述货架控制器105,所述智能货架101能够被云端110中所包含的云端货物识别器(图中未示出)所控制。所述云端110可以为阿里云、腾讯云、亚马逊AWS等,但不限于此,可以为任何在网络环境下能够被位于不同物理位置的终端所共同访问并更新的存储方式,云端110中所包含的云端货物识别器可以即时控制并更新位于不同物理位置的智能货架中的货架控制器。
可选择的,智能货架101还包含本地货物感知装置104;和/或温度控制装置;和/或照明装置;和/或触摸式控制屏与广告展示装置。所述本地货物感知装置104可以为一个或多个摄像头,用来获得智能货架上所展示商品的图像和/或视频,从而获得产品的外观,数量,尺寸,品种等基本信息,从而确定产品的种类、型号及价格以明确某产品。所述智能货架可以根据需要分割为彼此隔离的部分,根据商品对温度的不同需求,存放不同的商品。例如,将需要存放在特定温度下的红酒、汽水等饮料与常温下的饼干、面包等食品与温热条件下的快餐食品相分离。其中所述温度控制装置分别控制智能货架的不同区域,可以采用但不限于冷柜、消毒柜、保温柜或者展示柜温度控制器。所述照明装置可以为一个和多个各种适于智能货架的普通灯、LED灯等。所述触摸式控制屏和/或广告展示装置可以为二维或三维显示屏,用来展示柜内产品或与柜内产品无关的广告信息。该触摸屏和/或广告展示装置除了通过智能门锁,还可以通过触摸的方式选择货物,或者输入个人移动装置体现出的独特解锁密码开启智能门锁。
图2为通过本发明的智能货架系统进行货物销售的流程图。在步骤201,用户启动移动装置并开启智能门锁103。所述开启方式包括但不限于二维码扫描;体现个人身份的识别码输入;以及其他能够解锁智能门锁103的方式,只要该解锁方式能够将特定的用户移动装置与本次货物销售活动相联系。在步骤202,用户获得所需要的货物。在获得货物的同时,货架控制器105获取所取得货物的产品类别、价格、以及数量等相关信息,记录并通过网络将所述信息传输到云端货物识别器,同时更新云端货物识别器中的产品类别及数量信息,可选择地在用户移动装置中更新并展示剩余数量。在此步骤中,货架控制器105可以通过货物感知装置104,即摄像头获得的图像或录像来感知货物的增加或减少获取所售产品类别、价格、以及数量等相关信息;也可以通过压力传感器、或者其他机械手段感知货物的增加或减少。在步骤203,将本次货物销售活动所涉及的金额、类型及数量在用户移动设备中展示出来;在步骤204,用户关闭智能门锁103后,将通过移动设备或者现金或者其他能够被所述智能货架所接受的支付方式支付本次货物销售所需支付的费用。上文所述的智能门锁103可采用包括但不限于二维码扫描;个人身份识别码输入的方式开启的任何智能门锁,只要该方式能够将特定的用户移动装置与本次货物销售活动相联系,并能够通过该移动设备控制开启所述智能门锁。
图3为控制本发明的智能货架系统货架控制器的流程示意图。其中,智能货架101为一个或多个(图中未示出)能够被放置在不同物理位置的智能货架。其中每个智能货架101可以包含一个或多个本地货物感知装置104,用来获得智能货架上所展示商品的图像和/或视频,获得产品的外观,数量,尺寸、品种等基本信息,从而确定产品的种类、型号及价格以便明确某产品。在步骤301,本地货物感知装置104将所获得的图像和/或视频信号发送至智能货架101中的货架控制器105。货架控制器105可以为智能产品识别专用芯片。所述货架控制器105可以通过但不限于中央处理器(“CPU”)、圆形处理器(“GPU”)、张量处理器(“TPU”)、现场可编程逻辑门阵列(“FPGA”)、神经网处理器(“NPU”)、专用集成电路(“ASIC”)eASIC等通用或专用芯片来实现,随着AI芯片技术的发展以及成本的不断降低,在本发明的智能货架系统在成本与效率之间会不断找到新的平衡点。在一个实施方式中,采用NPU(神经网处理器)、DPS(信号处理器)和CPU(中央处理器)相结合的异构、多核SoC设计,能够做到一块芯片支持智能货架系统,并且具有低成本、低功耗的特点,有效地解决AI芯片成本问题。
所述货架控制器105还受到云端110中的云端货物识别器305的控制。所述云端货物识别器305可以为云端AI训练引擎,通过深度学习技术训练模型识别各种产品,所述训练方法将在下文详细描述。云端货物识别器305可以通过但不限于中央处理器(“CPU”)、圆形处理器(“GPU”)、张量处理器(“TPU”)来实现。在步骤304,所述云端货物识别器305将同步货架控制器105,以识别新产品。在步骤302,识别并记录新产品303。在步骤306,用识别出来的产品信息更新用户移动设备307中显示的购物清单。
在另外一个实施方式中,所述货架控制器105还可以预先存储大量的货物信息,同样的,当新货品被更新到智能货架中时,云端货物识别器305在云端接收所述新货品的基本数据,识别所述新产品,并同步更新控制货架控制器105中的信息。当新产品被用户取走时,货架控制器会直接将新产品的种类、数量与价格信息反馈到用户的移动设备端。
图4为本发明的智能货架系统的云端货物识别器的流程示意图。云端货物识别器可以为云端AI训练引擎;通过深度学习的方式来训练模型以识别各种产品。在本案的一个实施方式中,云端AI训练引擎获得了关于产品的图像和/或视频数据集合401,根据产品种类将数据粗略地进行划分,例如,分出饮用水和酒精饮品类、面包糕点类等;将属于相同产品类别的图像和/或视频数据分为不同的多个分集合402中。就每一个图像和/或视频信息而言,获得图像的二进制编码图(image binary code)403,即获得数字图像403;在步骤404,对该二进制编码图403利用卷积神经网络(convolution neural network,CNN)进行学习;CNN是由一个或多个卷积层和顶端的全连接层(对应经典的神经网络)组成,同时也包括关联权重和池化层(pooling layer);它的人工神经元可以响应一部分覆盖范围内的周围单元。卷积神经网络中每层卷积层由若干卷积单元组成,每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征,第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级,更多层的网路能从低级特征中迭代提取更复杂的特征;从而获得特征图(feature map)405。在步骤406,采用池化(Pooling)手段,特别是最大池化(Max pooling)方式,即,从修正的特征图中提取最大值作为该区域池化后的值。将输入的图像划分为若干个矩形区域,对每个子区域输出最大值。直觉上,这种机制能够有效地原因在于,在发现一个特征之后,它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小,因此参数的数量和计算量也会下降,这在一定程度上也控制了过拟合。通常来说,CNN的卷积层之间都会周期性地插入池化层。池化层通常会分别作用于每个输入的特征并减小其大小。目前最常用形式的池化层是每隔2个元素从图像划分出2×2的区块,然后对每个区块中的4个数取最大值。这将会减少75%的数据量。
如下表1示例中的单深度切片:
表1
经过最大池化步骤406后,获得降维的特征图407,由于降维的特征图407仍然为二维图片,因此在步骤408,生成压平层(Flatten),即将二维图片的输入一维化,生成一维阵列409,用于从卷积层到全连接层(fully connection)的过渡。对二维图片的压平操作不影响批(Batch)的大小,其中批是用于更好的处理非凸的损失函数;和合理利用内存容量。
在步骤410,训练全连接前馈神经网络(full connected feedforward network),在图4所示的示例中,采用五层神经网络结构,其中第一层411为输入层(Input layer),众多神经元(Neuron)接受大量非线形输入讯息,输入的信息称为输入向量。第二层412,第三层413,第四层414为隐藏层(Hidden layer),简称“隐层”,是输入层和输出层之间众多神经元和链接组成的各个层面;在具有多个隐藏层,例如三层的情况下,意味着多个激活函数;第五层415为输出层(Output layer),信息在神经元链接中传输、分析、权衡,形成输出结果,输出的讯息称为输出向量。
为了将某一种商品与其他商品相区分,经过云端AI训练引擎对神经网络模型的训练,在全连接层中对信息进行分类,从而识别出某一商品与品牌。图5为本发明的全连接层识别某品牌方便面的示意图;红/黄/绿点(图5中用深浅不同的点表示不同的颜色)表示该神经元被找到,即被激活了;同一层的其他未高亮的神经元,表明要么所涉及一维阵列中不包含方便面的特征,要么方便面特征不明显。进而输出最终结果,判断商品的种类和品牌,即确定为某品牌方便面。
上述描述仅为所述云端货物识别的一种实施方式,可采用已知或未知的其他深度学习技术,只要所述技术能从云端训练智能货架系统的货架控制器,从而即时监控和了解货物销售的情况,以及需要补充的货物品种、数量及品牌等基本信息。
图6a为利用本发明的一个实施例的智能货架系统对库存和物流进行控制的流程图。在步骤601,将货物摆放在货架上,附图中的货架为开放式货架,支付系统与货架本身的锁无关,支付系统可以设置在商店出口;本发明中所述的智能货架系统包括但不限于开放式货架,可以为封闭式的智能货架;在步骤602,在所述智能货架上设置传感器以便确定货物的数量和品种,除说明书前述的压力传感器,所述传感器可以为红外传感器、体积位移传感器、光幕传感器等,其中红外传感器可以区分用户的手和货物;体积位移传感器可以用来区分货物的尺寸和机械位移,从而感知货物的状态。光幕传感器通过投光器发射出调制的红外光,由受光器接收,形成了一个保护网,当是有物体进入保护网,当从中有光线被物体挡住,通过内部控制线路,受光器电路马上作出反应。这些传感器通过感知货物的存量,获知货物被取走的情况;
在步骤603,顾客从货架上取走货物;在步骤604,传感器感知货物被取走的状况,并将信息传送至云端;在步骤605,云端服务器处理货物被取走的信息,并将货物存量缺乏的信息在步骤606向显示装置发出货架存货低的警示;并在步骤607由服务人员将货物补齐。
图6b和6c为利用本发明的一个实施例的智能货架系统的云端货物识别器对库存和物流大数据分析的流程图。本发明的智能货架系统对商品和供应链进行整合管理,具体地,在步骤610和步骤620分别对货物和供应货物的渠道进行优化,对货物的优化步骤610包括步骤611对货物组合进行优化;在步骤612对货物的价格进行优化;以及在步骤613对货物的布局和设计进行优化。其中,在步骤611中,对货物组合的优化包括将货物以客户为中心进行分类,例如,分为适用于女性的产品、适用于儿童的产品等;并且对全部的渠道进行分类,例如分为货物的各种不同来源;以及对货物的本地化进行分类,例如识别并获得本地的货物;在步骤612中,对价格的优化的因素包括但不限于对客户的情绪进行定量分析;根据购销情况动态调整定价;提供预算并对客户的行为进行预测;进行促销分析;在步骤613中,对货物的布局和设计进行优化的步骤包括对商品选择的分析;以及商品在货架上布局的分析等。在供货渠道优化的步骤620包括步骤621对库存货物进行优化;步骤622对货物的分销和物流进行优化;以及步骤623对货物的存储空间管理进行优化。其中,步骤621中,对货物的库存优化的步骤包括对货物的存储状况进行分析,并对低于预定水平的库存水平提出警示;根据存货的情况对客户的需求进行预测;并管理库存的费用,以便在存量和库存花费之间获得最优的方案;在步骤622中,对货物的分销和物流优化的步骤包括,对于不同供应商的表现进行分析,对不同供应商进行身份信息管理以及对于各供应商发货的状况进行管理,以获得最优的供应商以及物流安排;在步骤623中,对货物存储空间的管理包括对存储商品的选择以及顾客购买模式的分析,以获得最佳的存储空间。
图6d为利用本发明的一个实施例的智能货架系统利用大数据分析进行精准销售的流程图。利用本发明的实施方式的智能货架系统进行大数据分析从而进行精准销售的目的是为了获得智能的购物体验。在步骤631,对客户进行智能分析,其中,包括在步骤632对客户的身份进行识别;和在步骤635对客户的行为进行分析。在步骤634,对货物进行全渠道营销,其中,包括在步骤633基于客户位置进行营销;在步骤636对客户进行精准营销,并且在步骤637提升客户全渠道的体验。具体地,在步骤632的客户身份识别步骤,获得全渠道客户信息;客户活跃周期分析;对客户进行多维度细分,例如,重点考虑细分的多个维度,那么在应用事后细分模型之后,模型会对每个样本或客户,打上类别标签,这样就可以通过这个标签来看客户的性别差异、年龄差异、收入差异等,迅速找到目标客户;在步骤635的客户行为识别步骤,包括对客户跨渠道的行为、交叉购物以及客户情绪分别进行分析;在基于客户位置进行营销的步骤633步骤中,对客户的场景、实时行为和位置分别进行分析;并且在步骤636中,根据对货物和客户之间关联,对客户的挖掘和行为预测的分析以及营销效果分析获得对客户的精准销售,例如,根据客户对口红品牌色彩的偏爱以及固定年龄群固定性别的客户分析,获得对某年龄段某种职业或收入范围的客户进行精准销售的信息;在步骤637中,根据对客户线上线下行为、个性化服务以及渠道流程的分析,提升客户的全渠道体验。
图7为本发明的智能货架系统中的一个实施例中的货物感知装置104示意图。所述货物感知装置104可以包含摄像头和/或存储单元,所述存储单元可以为内置于货物感知装置也可以为外置于货物感知装置的,所述摄像头为一个或多个,其适于拍摄产品外观的图像或者录像信息,所述图像或者录像信息可以为二维的,但不限于二维的。
图8为本发明的智能货架系统的货架控制器结构图。例如货架控制器服务器801。该货架控制器服务器包括货架控制器处理器802,此处的处理器可以为上文所述通用或专用芯片,和以存储器803形式的计算机程序产品或者计算机可读介质。存储器803可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器803具有用于执行上述方法中的任何方法步骤的程序代码805的存储空间804。例如,用于程序代码的存储空间804可以包括分别用于实现上面的方法中的各种步骤的各个程序代码805。这些程序代码可以被云端AI训练引擎读出或者写入到所述货架控制器处理器中。程序代码可以例如以适当形式进行压缩。这些代码当由服务器运行时,导致该服务器执行上面所描述的方法中的各个步骤。
本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着,结合实施例描述的特定特征、结构或者特性包括在本发明的至少一个实施例中。此外,请注意,这里“在一个实施例中”的词语例子不一定全指同一个实施例。
以上所述仅用于说明本发明的技术方案,任何本领域普通技术人员均可在不违背本发明的精神及范畴下,对上述实施例进行修饰与改变。因此,本发明的权利保护范围应视权利要求范围为准。本发明已结合例子在上面进行了阐述。然而,在本发明公开范围以内的上述实施例以外的其它实施例也同样可行。本发明的不同的特点和步骤可以以不同于所描述的其它方法进行组合。本发明的范围仅受限于所附的权利要求书。更一般地,本领域普通技术人员可以轻易地理解此处描述的所有的参数,尺寸,材料和配置是为示范目的而实际的参数,尺寸,材料和/或配置将取决于特定应用或本发明教导所用于的应用。
Claims (24)
1.一种智能货架系统,其包括:
多个能够被放置在不同物理位置的智能货架;
其中,每个货架包括
智能门锁;该智能门锁的解锁方式能够将特定的用户移动装置与货物销售活动相联系;并且将在用户关闭门锁后触发支付货款程序;
一个或多个受控货物存放装置;
货架控制器;用于获取所取得货物的产品类别、价格、以及数量等相关信息,记录并通过网络将所述信息传输到云端货物识别器,同时更新云端货物识别器中的产品类别及数量信息;
云端货物识别器,通过深度学习技术训练模型识别各种产品,并同步所述货架控制器,以识别新产品。
2.如权利要求1所述的智能货架系统,还包括
本地货物感知装置;用于获得货物增加或减少的数量与类别等信息。
3.如权利要求1-2所述的智能货架系统,其中所述货架控制器为智能产品识别专用芯片;所述云端货物识别器为云端AI训练引擎。
4.如权利要求2所述的智能货架系统,其中所述的本地货物感知装置为摄像头,用于获得智能货架上所展示商品的图像和/或视频,或智能货架上所增减的商品的图像和/或视频。
5.如权利要求2所述的智能货架系统,其中所述的本地货物感知装置为压力传感器;用于感知货物的增加或减少。
6.如权利要求1-4所述的智能货架系统,其还包括:
温度控制装置;和/或照明装置;和/或触摸式控制屏与广告展示装置。
7.如权利要求4所述的智能货架系统,其中还包括:
编码模块,将所获得的图像和/或视频转化为图像的二进制编码图;
卷积模块,利用卷积神经网络(“CNN”)对所述二进制编码图进行学习,CNN是由一个或多个卷积层和顶端的全连接层(对应经典的神经网络)组成,同时也包括关联权重和池化层(pooling layer);它的人工神经元响应一部分覆盖范围内的周围单元;卷积神经网络中每层卷积层由若干卷积单元组成,每个卷积单元的参数都是通过反向传播算法最佳化得到的,通过卷积运算提取输入货物产品类别信息的不同特征,多层卷积网路能从低层卷积中获得的低级特征中迭代提取复杂的特征,从而获得特征图;进一步采用最大池化(Maxpooling)方式,利用同形式的非线性池化函数,对特征图进行形式的降采样,将输入的图像划分为若干个矩形区域,对每个子区域输出最大值;将获得降维的特征图生成压平层(Flatten),即将二维图片的输入一维化,生成一维阵列,进一步实现从卷积层到全连接层(fully connection)的过渡;
识别模块,经过云端货物识别器模块对神经网络模型的训练,在全连接层中对信息进行分类,从而识别出某一商品、品牌与数量。
8.如权利要求1-7任何一个智能货架系统,还包括
显示及闭锁模块,将本次货物销售活动所涉及的金额、类型及数量在用户移动设备中展示出来;并且用户把智能门锁关闭后,将通过移动设备或者现金或者其他能够被所述智能货架系统所接受的支付方式支付本次货物销售所需支付的费用。
9.一种控制智能货架系统的方法,其包括如下步骤:
将多个智能货架放置在不同物理位置;
其中每个货架设置智能门锁;其该解锁方式能够将特定的用户移动装置与货物销售活动相联系;并且将在用户关闭门锁后触发支付货款程序;
设置一个或多个受控货物存放装置;
设置货架控制器;获取所取得货物的产品类别、价格、以及数量等相关信息,记录并通过网络将所述信息传输到云端货物识别器,同时更新云端货物识别器中的产品类别及数量信息;
设置云端货物识别器,通过深度学习技术训练模型识别各种产品,并同步所述货架控制器,以识别新产品。
10.如权利要求9所述的方法,还包括
本地货物感知装置;用于获得货物增加或减少的数量与类别等信息。
11.如权利要求9-10所述的方法,其中所述货架控制器为智能产品识别专用芯片;所述云端货物识别器为云端AI训练引擎。
12.如权利要求11所述的方法,其中所述的本地货物感知装置为摄像头,用于用来获得智能货架上所展示商品的图像和/或视频,或智能货架上所增加或减少的商品的图像和/或视频。
13.如权利要求12所述的方法,其中所述的本地货物感知装置为压力传感器;用于感知货物的增加或减少。
14.如权利要求9-13所述的方法,其还包括:
温度控制装置;和/或照明装置;和/或触摸式控制屏与广告展示装置。
15.如权利要求12所述的方法,其中还包括:
编码步骤,将所获得的图像和/或视频转化为图像的二进制编码图;
卷积步骤,利用卷积神经网络(“CNN”)对所述二进制编码图进行学习,CNN是由一个或多个卷积层和顶端的全连接层(对应经典的神经网络)组成,同时也包括关联权重和池化层(pooling layer);它的人工神经元响应一部分覆盖范围内的周围单元;卷积神经网络中每层卷积层由若干卷积单元组成,每个卷积单元的参数都是通过反向传播算法最佳化得到的,通过卷积运算提取输入货物产品类别信息的不同特征,多层卷积网路能从低层卷积中获得的低级特征中迭代提取复杂的特征,从而获得特征图;进一步采用最大池化(Maxpooling)方式,利用同形式的非线性池化函数,对特征图进行形式的降采样,将输入的图像划分为若干个矩形区域,对每个子区域输出最大值;将获得降维的特征图生成压平层(Flatten),即将二维图片的输入一维化,生成一维阵列,进一步实现从卷积层到全连接层(fully connection)的过渡;
识别步骤,经过云端货物识别器模块对神经网络模型的训练,在全连接层中对信息进行分类,从而识别出某一商品、品牌与数量。
16.如权利要求9-15任何一个所述的方法,还包括显示及闭锁步骤,将本次货物销售活动所涉及的金额、类型及数量在用户移动设备中展示出来;并且用户把智能门锁关闭后,将通过移动设备或者现金或者其他能够被所述智能货架系统所接受的支付方式支付本次货物销售所需支付的费用。
17.一种通过如权利要求1-8的智能货架系统对货物进行控制的装置,包括:
放置于智能货架外的支付模块,用于向用户提供价格并记录是否成功付款;
感知模块,用于确定货物的数量和品种以及货物是否处于被取走的状态;
处理模块,将所述感知模块获得的信息传输至云端服务器,并处理其中货物被取走的信息;
警示模块,将货物存量缺乏的信息显示于显示装置。
18.如权利要求17所述的控制装置,其中,所述的感知模块包括压力传感器或红外传感器或体积位移传感器或光幕传感器;并且所述的智能货架可以为开放式或封闭式智能货架。
19.一种通过如权利要求1-8的智能货架系统对货物进行控制的方法,包括:将支付系统设置于智能货架外;
感知并确定货物的数量和品种以及货物是否处于被取走的状态;
将所感知的信息传输至云端服务器,并处理其中货物被取走的信息;
将货物缺乏的信息传输至显示装置。
20.如权利要求19所述的控制方法,其中,通过压力传感器或红外传感器或体积位移传感器或光幕传感器实现所述感知并确定确定货物的数量和品种以及货物是否处于被取走的状态的步骤;并且所述的智能货架可以为开放式或封闭式智能货架。
21.通过权利要求1-8所述的智能货架系统中所述的云端货物识别器对货物库存及物流进行分析的装置,包括:
货物优化模块和供应渠道优化模块;其中所述货物优化模块包括:
货物组合优化模块,用于将货物以客户为中心进行分类,并且对货物的渠道来源进行分类,以识别并获得适用于不同客户群的本地产品;
货物价格优化模块,用于对客户的情绪进行定量分析,并且根据购销情况动态调整定价,提供预算对客户的行为进行预测,并且进行促销分析;
货物布局设计优化模块,用于对商品选择和商品在货架上布局的分析;
所述供应渠道优化模块包括:
库存货物优化模块,用于对货物的存储状况进行分析,并对低于预定水平的库存水平提出警示;根据存货的情况对客户的需求进行预测;并管理库存的费用,以便在存量和库存花费之间获得最优的方案;
货物分销和物流优化模块,用于对于不同供应商的表现进行分析,对不同供应商进行身份信息管理以及对于各供应商发货的状况进行管理,以获得最优的供应商以及物流安排;以及
货物的存储空间管理模块,用于对货物存储空间的管理包括对存储商品的选择以及顾客购买模式的分析,以获得最佳的存储空间。
22.通过权利要求1-8所述的智能货架系统中所述的云端货物识别器对货物库存及物流进行分析的方法,包括:
进行货物优化和供应渠道优化;其中所述货物优化步骤包括:
对货物组合进行优化,用于将货物以客户为中心进行分类,并且对货物的渠道来源进行分类,以识别并获得适用于不同客户群的本地产品;
对货物价格进行优化,用于对客户的情绪进行定量分析,并且根据购销情况动态调整定价,提供预算对客户的行为进行预测,并且进行促销分析;
对货物布局设计进行优化,用于对商品选择和商品在货架上布局的分析;
所述供应渠道优化步骤包括:
对库存货物进行优化,用于对货物的存储状况进行分析,并对低于预定水平的库存水平提出警示;根据存货的情况对客户的需求进行预测;并管理库存的费用,以便在存量和库存花费之间获得最优的方案;
对货物分销和物流进行优化,用于对于不同供应商的表现进行分析,对不同供应商进行身份信息管理以及对于各供应商发货的状况进行管理,以获得最优的供应商以及物流安排;以及
对货物的存储空间进行管理,用于对货物存储空间的管理包括对存储商品的选择以及顾客购买模式的分析,以获得最佳的存储空间。
23.通过权利要求1-8所述的智能货架系统进行精准销售的装置,包括智能分析模块,通过获得全渠道客户信息;客户活跃周期分析;对客户进行多维度细分;并对客户编制类别标签,以便识别客户身份;并通过对客户跨渠道的行为、交叉购物以及客户情绪分别进行分析,以便获得客户行为方式;
全渠道营销模块,通过对客户的场景、实时行为和位置分别进行分析,以便根据客户位置进行销售;并且,根据对货物和客户之间关联,对客户的挖掘和行为预测的分析以及营销效果分析,以便获得对客户的精准销售;并根据对客户线上线下行为、个性化服务以及渠道流程的分析,以便提升客户的全渠道体验。
24.通过权利要求1-8所述的智能货架系统进行精准销售的方法,包括:对客户进行智能分析;包括通过获得全渠道客户信息;客户活跃周期分析;对客户进行多维度细分;并对客户编制类别标签,识别客户身份;并通过对客户跨渠道的行为、交叉购物以及客户情绪分别进行分析,获得客户行为方式;并且
对客户进行全渠道销售,包括通过对客户的场景、实时行为和位置分别进行分析,以便根据客户位置进行销售;并且,根据对货物和客户之间关联,对客户的挖掘和行为预测的分析以及营销效果分析,以便获得对客户的精准销售;并根据对客户线上线下行为、个性化服务以及渠道流程的分析,以便提升客户的全渠道体验。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211697154.1A CN115830764A (zh) | 2019-03-15 | 2019-03-15 | 通过智能货架系统对货物进行控制的装置及其方法 |
CN201910198159.1A CN111696258B (zh) | 2019-03-15 | 2019-03-15 | 智能货架系统及其控制方法 |
CN202211697122.1A CN115862219A (zh) | 2019-03-15 | 2019-03-15 | 智能货架系统及其控制方法 |
CN202211697127.4A CN115841718A (zh) | 2019-03-15 | 2019-03-15 | 通过智能货架系统对货物库存及物流进行分析的装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910198159.1A CN111696258B (zh) | 2019-03-15 | 2019-03-15 | 智能货架系统及其控制方法 |
Related Child Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211697154.1A Division CN115830764A (zh) | 2019-03-15 | 2019-03-15 | 通过智能货架系统对货物进行控制的装置及其方法 |
CN202211697122.1A Division CN115862219A (zh) | 2019-03-15 | 2019-03-15 | 智能货架系统及其控制方法 |
CN202211697127.4A Division CN115841718A (zh) | 2019-03-15 | 2019-03-15 | 通过智能货架系统对货物库存及物流进行分析的装置和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111696258A true CN111696258A (zh) | 2020-09-22 |
CN111696258B CN111696258B (zh) | 2023-05-09 |
Family
ID=72475238
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910198159.1A Active CN111696258B (zh) | 2019-03-15 | 2019-03-15 | 智能货架系统及其控制方法 |
CN202211697154.1A Pending CN115830764A (zh) | 2019-03-15 | 2019-03-15 | 通过智能货架系统对货物进行控制的装置及其方法 |
CN202211697122.1A Pending CN115862219A (zh) | 2019-03-15 | 2019-03-15 | 智能货架系统及其控制方法 |
CN202211697127.4A Pending CN115841718A (zh) | 2019-03-15 | 2019-03-15 | 通过智能货架系统对货物库存及物流进行分析的装置和方法 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211697154.1A Pending CN115830764A (zh) | 2019-03-15 | 2019-03-15 | 通过智能货架系统对货物进行控制的装置及其方法 |
CN202211697122.1A Pending CN115862219A (zh) | 2019-03-15 | 2019-03-15 | 智能货架系统及其控制方法 |
CN202211697127.4A Pending CN115841718A (zh) | 2019-03-15 | 2019-03-15 | 通过智能货架系统对货物库存及物流进行分析的装置和方法 |
Country Status (1)
Country | Link |
---|---|
CN (4) | CN111696258B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113065492A (zh) * | 2021-04-12 | 2021-07-02 | 北京滴普科技有限公司 | 云边协同自动点货方法、装置、系统及其存储介质 |
CN114092649A (zh) * | 2021-11-25 | 2022-02-25 | 马上消费金融股份有限公司 | 基于神经网络的图片生成方法及装置 |
CN116188043A (zh) * | 2023-03-01 | 2023-05-30 | 宁波市镇海六合塑胶制品有限公司 | 货架标夹的加工装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080099548A1 (en) * | 2004-05-18 | 2008-05-01 | Silverbrook Research Pty Ltd | Currency Counter |
CN107342962A (zh) * | 2017-07-03 | 2017-11-10 | 北京邮电大学 | 基于卷积神经网络的深度学习智能星座图分析方法 |
CN108416901A (zh) * | 2018-03-27 | 2018-08-17 | 合肥美的智能科技有限公司 | 智能货柜内货品识别方法及装置、智能货柜 |
CN108416902A (zh) * | 2018-02-28 | 2018-08-17 | 成都果小美网络科技有限公司 | 基于差异识别的实时物体识别方法和装置 |
CN108537994A (zh) * | 2018-03-12 | 2018-09-14 | 深兰科技(上海)有限公司 | 基于视觉识别及重量感应技术的智能商品结算系统及方法 |
CN109035629A (zh) * | 2018-07-09 | 2018-12-18 | 深圳码隆科技有限公司 | 一种基于开放式自动售货机的购物结算方法和装置 |
CN109190705A (zh) * | 2018-09-06 | 2019-01-11 | 深圳码隆科技有限公司 | 无人售货方法、装置及系统 |
CN109377657A (zh) * | 2017-12-29 | 2019-02-22 | 广州Tcl智能家居科技有限公司 | 一种自动售卖机及其运行方法 |
CN209640977U (zh) * | 2019-03-15 | 2019-11-15 | 万维数码智能有限公司 | 智能货架系统 |
-
2019
- 2019-03-15 CN CN201910198159.1A patent/CN111696258B/zh active Active
- 2019-03-15 CN CN202211697154.1A patent/CN115830764A/zh active Pending
- 2019-03-15 CN CN202211697122.1A patent/CN115862219A/zh active Pending
- 2019-03-15 CN CN202211697127.4A patent/CN115841718A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080099548A1 (en) * | 2004-05-18 | 2008-05-01 | Silverbrook Research Pty Ltd | Currency Counter |
CN107342962A (zh) * | 2017-07-03 | 2017-11-10 | 北京邮电大学 | 基于卷积神经网络的深度学习智能星座图分析方法 |
CN109377657A (zh) * | 2017-12-29 | 2019-02-22 | 广州Tcl智能家居科技有限公司 | 一种自动售卖机及其运行方法 |
CN108416902A (zh) * | 2018-02-28 | 2018-08-17 | 成都果小美网络科技有限公司 | 基于差异识别的实时物体识别方法和装置 |
CN108537994A (zh) * | 2018-03-12 | 2018-09-14 | 深兰科技(上海)有限公司 | 基于视觉识别及重量感应技术的智能商品结算系统及方法 |
CN108416901A (zh) * | 2018-03-27 | 2018-08-17 | 合肥美的智能科技有限公司 | 智能货柜内货品识别方法及装置、智能货柜 |
CN109035629A (zh) * | 2018-07-09 | 2018-12-18 | 深圳码隆科技有限公司 | 一种基于开放式自动售货机的购物结算方法和装置 |
CN109190705A (zh) * | 2018-09-06 | 2019-01-11 | 深圳码隆科技有限公司 | 无人售货方法、装置及系统 |
CN209640977U (zh) * | 2019-03-15 | 2019-11-15 | 万维数码智能有限公司 | 智能货架系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113065492A (zh) * | 2021-04-12 | 2021-07-02 | 北京滴普科技有限公司 | 云边协同自动点货方法、装置、系统及其存储介质 |
CN114092649A (zh) * | 2021-11-25 | 2022-02-25 | 马上消费金融股份有限公司 | 基于神经网络的图片生成方法及装置 |
CN114092649B (zh) * | 2021-11-25 | 2022-10-18 | 马上消费金融股份有限公司 | 基于神经网络的图片生成方法及装置 |
CN116188043A (zh) * | 2023-03-01 | 2023-05-30 | 宁波市镇海六合塑胶制品有限公司 | 货架标夹的加工装置 |
CN116188043B (zh) * | 2023-03-01 | 2023-07-21 | 宁波市镇海六合塑胶制品有限公司 | 货架标夹的加工装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115830764A (zh) | 2023-03-21 |
CN115862219A (zh) | 2023-03-28 |
CN111696258B (zh) | 2023-05-09 |
CN115841718A (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11783251B2 (en) | Managing inventory of perishable products | |
CN105184975B (zh) | 自动售货机管理系统和管理方法 | |
CN109414119B (zh) | 用于在环境内计算机视觉驱动应用的系统和方法 | |
US9685048B2 (en) | Automatically generating an optimal marketing strategy for improving cross sales and upsales of items | |
US11756095B2 (en) | Facilitating camera installation and maintenance using extended reality | |
CA3078985A1 (en) | Automatically monitoring retail products based on captured images | |
US20220067642A1 (en) | Systems and methods for auto-replenishment of products using pressure mapping sensors and machine learning | |
CN111696258B (zh) | 智能货架系统及其控制方法 | |
US20090083122A1 (en) | Method and apparatus for identifying customer behavioral types from a continuous video stream for use in optimizing loss leader merchandizing | |
US20210004756A1 (en) | Methods and systems for generating a planogram at a retail facility | |
WO2016016934A1 (ja) | 嗜好分析システム | |
WO2020051213A1 (en) | Systems and methods for monitoring products and aggregating product information | |
US20220122146A1 (en) | Transparent Smart Doors for Retail Storage Containers | |
CN209640977U (zh) | 智能货架系统 | |
US20230351326A1 (en) | Optimization of item availability prompts in the context of non-deterministic inventory data | |
US20220335358A1 (en) | Store supporting system, learning device, store supporting method, generation method of learned model, and program | |
CN109064154B (zh) | 一种信息传输方法及相关装置 | |
CN113039571A (zh) | 用于实体零售商中的价格测试及优化的系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |