CN114399619A - 一种机器视觉图像识别系统及其处理方法 - Google Patents

一种机器视觉图像识别系统及其处理方法 Download PDF

Info

Publication number
CN114399619A
CN114399619A CN202210042356.6A CN202210042356A CN114399619A CN 114399619 A CN114399619 A CN 114399619A CN 202210042356 A CN202210042356 A CN 202210042356A CN 114399619 A CN114399619 A CN 114399619A
Authority
CN
China
Prior art keywords
image recognition
machine vision
module
neural network
vision image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210042356.6A
Other languages
English (en)
Inventor
林珏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Sushengtian Information Technology Co ltd
Original Assignee
Nanjing Sushengtian Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Sushengtian Information Technology Co ltd filed Critical Nanjing Sushengtian Information Technology Co ltd
Priority to CN202210042356.6A priority Critical patent/CN114399619A/zh
Publication of CN114399619A publication Critical patent/CN114399619A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种机器视觉图像识别系统及其处理方法,包括机器视觉图像识别机和设于机器视觉图像识别机中工控主机,工控主机设有机器视觉图像识别系统,用于控制机器视觉图像识别机各种,本发明通过利用机器视觉和深度学习神经网络系统的配置,可实现对物资的识别和称重工作,系统将自动完成价格计算,并将消费金额传输到支付终端,消费者进对应的付款,同时深度学习神经网络系统可进行图像补偿和降低图像识别的误差,使得此机器视觉图像识别系统整体操作方便智能,适用性广泛,降低使用成本和图像识别的误差,提高对物资图像识别的效率以及精准度。

Description

一种机器视觉图像识别系统及其处理方法
技术领域
本发明涉及图像识别应用技术领域,特别是一种机器视觉图像识别系统及其处理方法。
背景技术
机器视觉是人工智能正在快速发展的一个分支。简单说来,机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品(即图像摄取装置,分CMOS和CCD两种)将被摄取目标转换成图像信号,传送给专用的图像处理系统,得到被摄目标的形态信息,根据像素分布和亮度、颜色等信息,转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的设备动作。
BP神经网络的计算过程由正向计算过程和反向计算过程组成。正向传播过程,输入模式从输入层经隐单元层逐层处理,并转向输出层,每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出,则转入反向传播,将误差信号沿原来的连接通路返回,通过修改各神经元的权值,使得误差信号最小。
传统的物资结算模式是通过人工对顾客所选的物资种类进行统计并输入计价器,容易产生算错和交易时间慢等问题,目前有利用扫码和射频识别技术即RFID。扫码通过信息码的识别,往往需要人工将信息码对准摄像头进行识别操作,具有操作不便,摄像头不易识别和信息码与物资不匹配的问题;射频识别技术是通过预先在物资中预设射频芯片进行不同物资读取,结算时到有安装结算器和读卡器的结算台,利用计算机软件系统进行快速识别和结算,这种射频识别技术局限性较大,不仅使用投入成本较高,且适用性较窄,往往适用于可回收循环使用的物资中,难以大规模的进行推广和使用,为此,提出一种机器视觉图像识别系统及其处理方法来解决上述难题。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有的图像识别应用中存在的问题,提出了本发明。
因此,本发明其中的一个目的是提供一种机器视觉图像识别系统及其处理方法,其利用机器视觉和BP神经网络的计算系统的配置,可实现对物资的识别和称重工作,工作整体操作方便智能,降低使用成本和图像识别的误差,提高对物资图像识别的效率以及精准度。
为解决上述技术问题,本发明提供如下技术方案:包括:机器视觉图像识别机,包括柜体、安装在柜体上的面板和安装在柜体外壁上的安装板,所述面板设有等待区和称重区,所述称重区的下方安装有称重传感器,所述安装板上安装有用于显示信息的显示屏和用于图像采集的摄像头;工控主机,用于控制所述机器视觉图像识别机,设于机器视觉图像识别机中,且工控主机包括处理模块,以及与所述处理模块电性连接的视觉图像采集模块、称重模块和通讯模块;所述处理模块内置对应的物资视觉图像识别软件和物资质量结算系统软件,所述视觉图像采集模块电性连接摄像头,所述称重模块电性连接称重传感器,所述工控主机通过通讯模块信号连接物资数据服务器,所述物资数据服务器设有物资管理系统和基于LSTM智能预测系统的深度学习神经网络系统,所述基于LSTM智能预测系统的深度学习神经网络系统采用C/S结构和B/S结构的嵌套架构BP神经网络系统,以及与BP神经网络系统协同运行的CNN卷积神经网络系统,且基于LSTM智能预测系统的深度学习神经网络系统通过BP神经网络系统和CNN卷积神经网络系统与所述物资数据服务器建立数据连接;
其中,所述物资管理系统预设物资图像信息和对应的计价程序,在进行图像识别称重时,物资放置在称重区,摄像头拍照捕获当前物资图像信息传输至工控主机中并与所述物资管理系统预设物资图像信息比对,并在物资管理系统中确定匹配的计价程序,同时将当前物资图像信息上传至物资数据服务器中的基于LSTM智能预测系统的深度学习神经网络系统进行逐层处理,称重传感器获取当前物资重量信息并传输至工控主机中,并根据匹配的计价程序进行结算,生成当前结算金额,将生成当前结算金额传输至支付终端,显示屏显示物资交易信息和当前结算金额。
作为本发明所述一种机器视觉图像识别系统及其处理方法的一种优选方案,其中:所述工控主机还包括功能操作模块、IC信息读取模块、照明模块、显示模块、存储模块、拓展模块和供电模块;所述功能操作模块电性连接安装在安装板上的触摸屏面板,所述IC信息读取模块电性连接安装在安装板上的IC读卡器,所述照明模块电性连接安装在安装板上的补光灯和光线强度传感器,所述显示模块电性连接安装在柜体上的显示屏,所述存储模块电性连接硬盘,所述拓展模块电性连接安装在柜体上的音响和USB接口。
作为本发明所述一种机器视觉图像识别系统及其处理方法的一种优选方案,其中:所述安装板呈7字型垂直相交设置,其内部为空心设置,外部采用冷轧钢板静电喷漆,且所述安装板设有顶部和与顶部连接的侧部,顶部和侧部的相交处为弧形倒角设置,所述触摸屏面板和IC读卡器均呈嵌入式的设在安装板侧部上,并位于靠近面板一侧设置,所述触摸屏面板设于IC读卡器的上方,所述补光灯、摄像头和光线强度传感器均设于安装板顶部底壁,所述补光灯呈矩形环状设置,所述摄像头设于安装板顶部,且位于补光灯的圈内安装。
作为本发明所述一种机器视觉图像识别系统及其处理方法的一种优选方案,其中:所述安装板通过丝杆升降机构活动连接所述柜体,所述丝杆升降机构包括安装在安装板底端侧壁上的限位滑块、与所述限位滑块匹配的限位滑轨、安装在所述安装板底端底壁上的活动套、与活动套活动连接的丝杆,以及与所述丝杆连接的蜗杆驱动电机,所述限位滑轨和蜗杆驱动电机均固定安装在柜体上,所述蜗杆驱动电机的输出轴上连接蜗杆,蜗杆啮合蜗轮,蜗轮内圈安装有与所述丝杆匹配的导套,所述限位滑块开设有供线材穿透的通孔。
作为本发明所述一种机器视觉图像识别系统及其处理方法的一种优选方案,其中:所述柜体的底部对称安装有万向轮,所述面板采用钢化玻璃板设置,厚度设置至少8mm,所述面板的四周边角均为倒角设置,且面板的外壁上开设有供安装板上下活动的凹槽,所述等待区和称重区的面积设置一致,且称重区设于所述摄像头的正下方。
作为本发明所述一种机器视觉图像识别系统及其处理方法的一种优选方案,其中:所述支付终端采用卡机、手持扫码枪或固定扫码设备任意一种,所述物资包括便利店商品、快餐店的食品或其他面积小于所述称重区的商品其中的一种。
作为本发明所述一种机器视觉图像识别系统及其处理方法的一种优选方案,其中:所述摄像头至少设有两个,所述工控主机设有对应的双摄像头的立体成像软件。
作为本发明所述一种机器视觉图像识别系统及其处理方法的一种优选方案,其中:所述处理模块采用的处理芯片为FPGA芯片、DSP芯片及PIC芯片中任意一种。
一种机器视觉图像识别系统的处理方法,具体包括以下步骤:
S1,建立设备数据连接,将机器视觉图像识别机通过通讯模块数据连接物资数据服务器,并与物资管理系统和基于LSTM智能预测系统的深度学习神经网络系统之间建立数据连接,基于LSTM智能预测系统的深度学习神经网络系统采用C/S结构和B/S结构的嵌套架构BP神经网络系统,并融合协同运行的CNN卷积神经网络系统;
S2,设备的识别称重使用,将待识别称重的物资放置在称重区,等待区上可放置下一待识别称重的物资,此时称重区上的摄像头拍照捕获当前物资图像信息传输至工控主机中并与所述物资管理系统预设物资图像信息比对,并在物资管理系统中确定匹配的计价程序,同时称重区下的称重传感器获取当前物资重量信息并传输至工控主机中,并根据匹配的计价程序进行结算,生成当前结算金额,将生成当前结算金额传输至支付终端,显示屏显示物资交易信息和当前结算金额,支付终端收取对应的金额,完毕后结束,进行下一待识别称重的物资的识别称重操作;
S3,设备通过深度学习神经网络自主学习,机器视觉图像识别机将当前物资图像信息上传至物资数据服务器中的基于LSTM智能预测系统的深度学习神经网络系统进行逐层处理,CNN卷积神经网络系统融合BP神经网络系统的输入层可以处理多维数据,通过基于LSTM智能预测系统的深度学习神经网络系统进行仿真学习,更新物资管理系统预设物资图像信息,对当前物资管理系统预设物资图像信息存在误差进行统计,并在后续机器视觉图像识别机进行机器视觉图像识别程序汇编时进行图像补偿;同时通过图像误差变化规律并进行分析汇总,获得当前机器视觉图像识别机误差变化规律,以降低图像识别的误差。
本发明的有益效果:本发明通过利用机器视觉和深度学习神经网络系统的配置,可实现对物资的识别和称重工作,系统将自动完成价格计算,并将消费金额传输到支付终端,消费者进对应的付款,同时深度学习神经网络系统可进行图像补偿和降低图像识别的误差,使得此机器视觉图像识别系统整体操作方便智能,适用性广泛,降低使用成本和图像识别的误差,提高对物资图像识别的效率以及精准度,可推广使用在便利店商品、快餐店的食品或其他小商品的销售中。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明实施例1和2中机器视觉图像识别机系统的模块化组成结构图;
图2为本发明实施例1和2中机器视觉图像识别机的结构示意图;
图3为本发明实施例1和2中物资数据服务器的模块化组成结构图;
图4为本发明实施例1和2中机器视觉图像识别机的正视图;
图5为本发明实施例1中机器视觉图像识别机的侧视图;
图6为本发明实施例中图4中A处的放大图;
图7为本发明实施例2中机器视觉图像识别机的侧视图;
图8为本发明实施例中图7中B处的放大图。
图中标号:1、机器视觉图像识别机;10、处理模块;11、视觉图像采集模块;12、功能操作模块;13、称重模块;14、IC信息读取模块;15、照明模块;16、显示模块;17、存储模块;18、通讯模块;19、拓展模块;
101、柜体;102、面板;102a、等待区;102b、称重区;103、安装板;1031、限位滑块;1032、限位滑轨;1033、活动套;1034、丝杆;1035、蜗杆驱动电机;104、触摸屏面板;105、音响;106、显示屏;107、摄像头;108、补光灯;109、光线强度传感器;110、称重传感器;111、IC读卡器。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1,参照图2,为本发明的一个实施例,该实施例提供了机器视觉图像识别机1,包括柜体101、安装在柜体101上的面板102和安装在柜体101外壁上的安装板103,面板102设有等待区102a和称重区102b,称重区102b的下方安装有称重传感器110,安装板103上安装有用于显示信息的显示屏106和用于图像采集的摄像头107;
本实施例具体的,安装板103呈7字型垂直相交设置,其内部为空心设置,外部采用冷轧钢板静电喷漆,且安装板103设有顶部和与顶部连接的侧部,顶部和侧部的相交处为弧形倒角设置,触摸屏面板104和IC读卡器111均呈嵌入式的设在安装板103侧部上,并位于靠近面板102一侧设置,触摸屏面板104设于IC读卡器111的上方,补光灯108、摄像头107和光线强度传感器109均设于安装板103顶部底壁,补光灯108呈矩形环状设置,摄像头107设于安装板103顶部,且位于补光灯108的圈内安装。
本实施例进一步的,柜体101的底部对称安装有万向轮,面板102采用钢化玻璃板设置,厚度设置至少8mm,面板102的四周边角均为倒角设置,且面板102的外壁上开设有供安装板103上下活动的凹槽,等待区102a和称重区102b的面积设置一致,且称重区102b设于摄像头107的正下方。
基于上述,此机器视觉图像识别机1的整体结构设置合理,便于使用、移动、清洁和整体稳定性高。
参照图1和图3,为工控主机的机器视觉图像识别机系统的模块化组成结构图,工控主机用于控制机器视觉图像识别机1,设于机器视觉图像识别机1中,且工控主机包括处理模块10,以及与处理模块10电性连接的视觉图像采集模块11、称重模块13和通讯模块18;处理模块10内置对应的物资视觉图像识别软件和物资质量结算系统软件,处理模块10采用的处理芯片为DSP芯片设置,视觉图像采集模块11电性连接摄像头107,称重模块13电性连接称重传感器110,工控主机通过通讯模块18信号连接物资数据服务器,物资数据服务器设有物资管理系统和基于LSTM智能预测系统的深度学习神经网络系统,基于LSTM智能预测系统的深度学习神经网络系统采用C/S结构和B/S结构的嵌套架构BP神经网络系统,以及与BP神经网络系统协同运行的CNN卷积神经网络系统,且基于LSTM智能预测系统的深度学习神经网络系统通过BP神经网络系统和CNN卷积神经网络系统与物资数据服务器建立数据连接;其中,物资管理系统预设物资图像信息和对应的计价程序,在进行图像识别称重时,物资放置在称重区102b,摄像头107拍照捕获当前物资图像信息传输至工控主机中并与物资管理系统预设物资图像信息比对,并在物资管理系统中确定匹配的计价程序,同时将当前物资图像信息上传至物资数据服务器中的基于LSTM智能预测系统的深度学习神经网络系统进行逐层处理,称重传感器110获取当前物资重量信息并传输至工控主机中,并根据匹配的计价程序进行结算,生成当前结算金额,将生成当前结算金额传输至支付终端,显示屏106显示物资交易信息和当前结算金额。
较佳的,摄像头107至少设有两个,工控主机设有对应的双摄像头的立体成像软件,以此提高摄像头107识别的准确性。
本实施例的工控主机还包括功能操作模块12、IC信息读取模块14、照明模块15、显示模块16、存储模块17、拓展模块19和供电模块;功能操作模块12电性连接安装在安装板103上的触摸屏面板104,触摸屏面板104可输入控制该机器视觉图像识别机1的控制指令,用于调节内置参数或进行信息的查看,IC信息读取模块14电性连接安装在安装板103上的IC读卡器111,IC读卡器111可作为消费使用,照明模块15电性连接安装在安装板103上的补光灯108和光线强度传感器109,光线强度传感器109可采集当前的光线强度,并根据阈值进行调节照明模块15电性连接补光灯108的启停或光照强度;显示模块16电性连接安装在柜体101上的显示屏106,显示屏106显示信息,存储模块17电性连接硬盘,拓展模块19电性连接安装在柜体101上的音响和USB接口,音响可发出匹配的声音,进行播报,USB接口进行拓展。
本实施例需要说明的,以上支付终端采用卡机或USB接口的固定扫码设备,可供消费者进行自行扫码后付款使用,本实施例的物资可设为面积小于称重区102b的商品,例如便利店商品或快餐店的食品,由于快餐店的食品图片分辨度高,这里用快餐店的食品举例使用。
结合上述机器视觉图像识别机1,还提供此机器视觉图像识别机1的机器视觉图像识别系统的处理方法,具体包括以下步骤:
S1,建立设备数据连接,将机器视觉图像识别机1通过通讯模块18数据连接物资数据服务器,并与物资管理系统和基于LSTM智能预测系统的深度学习神经网络系统之间建立数据连接,基于LSTM智能预测系统的深度学习神经网络系统采用C/S结构和B/S结构的嵌套架构BP神经网络系统,并融合协同运行的CNN卷积神经网络系统;
S2,设备的识别称重使用,将待识别称重的物资放置在称重区102b,等待区102a上可放置下一待识别称重的物资,此时称重区102b上的摄像头107拍照捕获当前物资图像信息传输至工控主机中并与物资管理系统预设物资图像信息比对,并在物资管理系统中确定匹配的计价程序,同时称重区102b下的称重传感器110获取当前物资重量信息并传输至工控主机中,并根据匹配的计价程序进行结算,生成当前结算金额,将生成当前结算金额传输至支付终端,显示屏106显示物资交易信息和当前结算金额,支付终端收取对应的金额,完毕后结束,进行下一待识别称重的物资的识别称重操作;
S3,设备通过深度学习神经网络自主学习,机器视觉图像识别机1将当前物资图像信息上传至物资数据服务器中的基于LSTM智能预测系统的深度学习神经网络系统进行逐层处理,CNN卷积神经网络系统融合BP神经网络系统的输入层可以处理多维数据,通过基于LSTM智能预测系统的深度学习神经网络系统进行仿真学习,更新物资管理系统预设物资图像信息,对当前物资管理系统预设物资图像信息存在误差进行统计,并在后续机器视觉图像识别机1进行机器视觉图像识别程序汇编时进行图像补偿;同时通过图像误差变化规律并进行分析汇总,获得当前机器视觉图像识别机1误差变化规律,以降低图像识别的误差。
基于上述,本实施例的机器视觉图像识别机1采用图像识别技术,自动识别菜品和菜品的质量,实现自助快速计价和结算,并结合BP神经网络的计算系统的配置,降低使用成本和图像识别的误差,提高对物资图像识别的效率以及精准度;使用时只需将餐盘置放在结算台的称重区102b,系统将自动完成价格计算,并将消费金额传输到支付终端。整体操作简单便捷,高效率低运行成本。
实施例2,参照图7和图8,为本发明的第二个实施例,该实施例提供了机器视觉图像识别机1的侧视图,与上述实施例1的结构基本相同,不同的地方在于:安装板103通过丝杆升降机构活动连接柜体101,可通过蜗杆驱动电机1035的转动对应的调节的安装板103在柜体101上的高度,蜗杆驱动电机1035通过其中的蜗杆和蜗轮配合,可带动导套转动,导套可带动丝杆1034转动,通过限位滑块1031和匹配的限位滑轨1032的限位,可以带动安装板103进行升降工作,进而可根据需求对应的调节安装在安装板103上摄像头107的高度,达到了较佳的拍摄视角,以此使得此机器视觉图像识别机1具有很好的调节功能,提高了视觉图像识别机1整体的调节性、适用性和拍摄的精准度。
本实施例具体的,丝杆升降机构包括安装在安装板103底端侧壁上的限位滑块1031、与限位滑块1031匹配的限位滑轨1032、安装在安装板103底端底壁上的活动套1033、与活动套1033活动连接的丝杆1034,以及与丝杆1034连接的蜗杆驱动电机1035,限位滑轨1032和蜗杆驱动电机1035均固定安装在柜体101上,蜗杆驱动电机1035的输出轴上连接蜗杆,蜗杆啮合蜗轮,蜗轮内圈安装有与丝杆1034匹配的导套,限位滑块1031开设有供线材穿透的通孔。
由此可见,实施例1的安装板103固定连接,可根据特点物资进行调试后生产,具有成本相对低廉,结构稳定等特点;实施例2的安装板103设有调节机构,可根据物资的不同以及需求,对应的进行调节,具有很好的调节性和适用性的特点,消费者可根据需求使用实施例1或2。
综上所述,本发明通过利用机器视觉和深度学习神经网络系统的配置,可实现对物资的识别和称重工作,系统将自动完成价格计算,并将消费金额传输到支付终端,消费者进对应的付款,同时深度学习神经网络系统可进行图像补偿和降低图像识别的误差,使得此机器视觉图像识别系统整体操作方便智能,适用性广泛,降低使用成本和图像识别的误差,提高对物资图像识别的效率以及精准度,可推广使用在便利店商品、快餐店的食品或其他小商品的销售中。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种机器视觉图像识别系统,其特征在于,包括:
机器视觉图像识别机(1),包括柜体(101)、安装在柜体(101)上的面板(102)和安装在柜体(101)外壁上的安装板(103),所述面板(102)设有等待区(102a)和称重区(102b),所述称重区(102b)的下方安装有称重传感器(110),所述安装板(103)上安装有用于显示信息的显示屏(106)和用于图像采集的摄像头(107);
工控主机,用于控制所述机器视觉图像识别机(1),设于机器视觉图像识别机(1)中,且工控主机包括处理模块(10),以及与所述处理模块(10)电性连接的视觉图像采集模块(11)、称重模块(13)和通讯模块(18);所述处理模块(10)内置对应的物资视觉图像识别软件和物资质量结算系统软件,所述视觉图像采集模块(11)电性连接摄像头(107),所述称重模块(13)电性连接称重传感器(110),所述工控主机通过通讯模块(18)信号连接物资数据服务器,所述物资数据服务器设有物资管理系统和基于LSTM智能预测系统的深度学习神经网络系统,所述基于LSTM智能预测系统的深度学习神经网络系统采用C/S结构和B/S结构的嵌套架构BP神经网络系统,以及与BP神经网络系统协同运行的CNN卷积神经网络系统,且基于LSTM智能预测系统的深度学习神经网络系统通过BP神经网络系统和CNN卷积神经网络系统与所述物资数据服务器建立数据连接;
其中,所述物资管理系统预设物资图像信息和对应的计价程序,在进行图像识别称重时,物资放置在称重区(102b),摄像头(107)拍照捕获当前物资图像信息传输至工控主机中并与所述物资管理系统预设物资图像信息比对,并在物资管理系统中确定匹配的计价程序,同时将当前物资图像信息上传至物资数据服务器中的基于LSTM智能预测系统的深度学习神经网络系统进行逐层处理,称重传感器(110)获取当前物资重量信息并传输至工控主机中,并根据匹配的计价程序进行结算,生成当前结算金额,将生成当前结算金额传输至支付终端,显示屏(106)显示物资交易信息和当前结算金额。
2.如权利要求1所述的一种机器视觉图像识别系统,其特征在于,所述工控主机还包括功能操作模块(12)、IC信息读取模块(14)、照明模块(15)、显示模块(16)、存储模块(17)、拓展模块(19)和供电模块;所述功能操作模块(12)电性连接安装在安装板(103)上的触摸屏面板(104),所述IC信息读取模块(14)电性连接安装在安装板(103)上的IC读卡器(111),所述照明模块(15)电性连接安装在安装板(103)上的补光灯(108)和光线强度传感器(109),所述显示模块(16)电性连接安装在柜体(101)上的显示屏(106),所述存储模块(17)电性连接硬盘,所述拓展模块(19)电性连接安装在柜体(101)上的音响和USB接口。
3.如权利要求1所述的一种机器视觉图像识别系统,其特征在于,所述安装板(103)呈7字型垂直相交设置,其内部为空心设置,外部采用冷轧钢板静电喷漆,且所述安装板(103)设有顶部和与顶部连接的侧部,顶部和侧部的相交处为弧形倒角设置,所述触摸屏面板(104)和IC读卡器(111)均呈嵌入式的设在安装板(103)侧部上,并位于靠近面板(102)一侧设置,所述触摸屏面板(104)设于IC读卡器(111)的上方,所述补光灯(108)、摄像头(107)和光线强度传感器(109)均设于安装板(103)顶部底壁,所述补光灯(108)呈矩形环状设置,所述摄像头(107)设于安装板(103)顶部,且位于补光灯(108)的圈内安装。
4.如权利要求1-3任意一项所述的一种机器视觉图像识别系统,其特征在于,所述安装板(103)通过丝杆升降机构活动连接所述柜体(101),所述丝杆升降机构包括安装在安装板(103)底端侧壁上的限位滑块(1031)、与所述限位滑块(1031)匹配的限位滑轨(1032)、安装在所述安装板(103)底端底壁上的活动套(1033)、与活动套(1033)活动连接的丝杆(1034),以及与所述丝杆(1034)连接的蜗杆驱动电机(1035),所述限位滑轨(1032)和蜗杆驱动电机(1035)均固定安装在柜体(101)上,所述蜗杆驱动电机(1035)的输出轴上连接蜗杆,蜗杆啮合蜗轮,蜗轮内圈安装有与所述丝杆(1034)匹配的导套,所述限位滑块(1031)开设有供线材穿透的通孔。
5.如权利要求4所述的一种机器视觉图像识别系统,其特征在于,所述柜体(101)的底部对称安装有万向轮,所述面板(102)采用钢化玻璃板设置,厚度设置至少8mm,所述面板(102)的四周边角均为倒角设置,且面板(102)的外壁上开设有供安装板(103)上下活动的凹槽,所述等待区(102a)和称重区(102b)的面积设置一致,且称重区(102b)设于所述摄像头(107)的正下方。
6.如权利要求1所述的一种机器视觉图像识别系统,其特征在于,所述支付终端采用卡机、手持扫码枪或固定扫码设备任意一种,所述物资包括便利店商品、快餐店的食品或其他面积小于所述称重区(102b)的商品其中的一种。
7.如权利要求1-3任意一项所述的一种机器视觉图像识别系统,其特征在于,所述摄像头(107)至少设有两个,所述工控主机设有对应的双摄像头的立体成像软件。
8.如权利要求1所述的一种机器视觉图像识别系统及其处理方法,其特征在于,所述处理模块(10)采用的处理芯片为FPGA芯片、DSP芯片及PIC芯片中任意一种。
9.基于权利要求1、2、3、6或8任任意一项所述的一种机器视觉图像识别系统的处理方法,其特征在于,具体包括以下步骤:
S1,建立设备数据连接,将机器视觉图像识别机(1)通过通讯模块(18)数据连接物资数据服务器,并与物资管理系统和基于LSTM智能预测系统的深度学习神经网络系统之间建立数据连接,基于LSTM智能预测系统的深度学习神经网络系统采用C/S结构和B/S结构的嵌套架构BP神经网络系统,并融合协同运行的CNN卷积神经网络系统;
S2,设备的识别称重使用,将待识别称重的物资放置在称重区(102b),等待区(102a)上可放置下一待识别称重的物资,此时称重区(102b)上的摄像头(107)拍照捕获当前物资图像信息传输至工控主机中并与所述物资管理系统预设物资图像信息比对,并在物资管理系统中确定匹配的计价程序,同时称重区(102b)下的称重传感器(110)获取当前物资重量信息并传输至工控主机中,并根据匹配的计价程序进行结算,生成当前结算金额,将生成当前结算金额传输至支付终端,显示屏(106)显示物资交易信息和当前结算金额,支付终端收取对应的金额,完毕后结束,进行下一待识别称重的物资的识别称重操作;
S3,设备通过深度学习神经网络自主学习,机器视觉图像识别机(1)将当前物资图像信息上传至物资数据服务器中的基于LSTM智能预测系统的深度学习神经网络系统进行逐层处理,CNN卷积神经网络系统融合BP神经网络系统的输入层可以处理多维数据,通过基于LSTM智能预测系统的深度学习神经网络系统进行仿真学习,更新物资管理系统预设物资图像信息,对当前物资管理系统预设物资图像信息存在误差进行统计,并在后续机器视觉图像识别机(1)进行机器视觉图像识别程序汇编时进行图像补偿,以降低图像识别的误差。
10.如权利要求9所述的一种机器视觉图像识别系统及其处理方法,其特征在于,在S3中,机器视觉图像识别机(1)通过深度学习神经网络自主学习时,同时通过图像误差变化规律并进行分析汇总,获得当前机器视觉图像识别机(1)误差变化规律,以降低图像识别的误差。
CN202210042356.6A 2022-01-14 2022-01-14 一种机器视觉图像识别系统及其处理方法 Pending CN114399619A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210042356.6A CN114399619A (zh) 2022-01-14 2022-01-14 一种机器视觉图像识别系统及其处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210042356.6A CN114399619A (zh) 2022-01-14 2022-01-14 一种机器视觉图像识别系统及其处理方法

Publications (1)

Publication Number Publication Date
CN114399619A true CN114399619A (zh) 2022-04-26

Family

ID=81230253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210042356.6A Pending CN114399619A (zh) 2022-01-14 2022-01-14 一种机器视觉图像识别系统及其处理方法

Country Status (1)

Country Link
CN (1) CN114399619A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106340137A (zh) * 2016-11-14 2017-01-18 贵州师范学院 一种基于深度学习的自动称重机及其程序控制方法
CN108846971A (zh) * 2018-05-25 2018-11-20 合肥欧仕嘉机电设备有限公司 一种散装物品自动识别称重结算方法
CN208488815U (zh) * 2018-04-24 2019-02-12 金云珍 基于机器视觉的智能结算台
WO2019062017A1 (zh) * 2017-09-27 2019-04-04 缤果可为(北京)科技有限公司 基于神经网络的商品识别方法、装置、自助收银台
CN111652283A (zh) * 2020-05-06 2020-09-11 三峡大学 一种蔬果识别方法及结算设备和使用方法
CN112613597A (zh) * 2020-11-30 2021-04-06 河南汇祥通信设备有限公司 一种综合管廊风险自动识别卷积神经网络模型及构建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106340137A (zh) * 2016-11-14 2017-01-18 贵州师范学院 一种基于深度学习的自动称重机及其程序控制方法
WO2019062017A1 (zh) * 2017-09-27 2019-04-04 缤果可为(北京)科技有限公司 基于神经网络的商品识别方法、装置、自助收银台
CN208488815U (zh) * 2018-04-24 2019-02-12 金云珍 基于机器视觉的智能结算台
CN108846971A (zh) * 2018-05-25 2018-11-20 合肥欧仕嘉机电设备有限公司 一种散装物品自动识别称重结算方法
CN111652283A (zh) * 2020-05-06 2020-09-11 三峡大学 一种蔬果识别方法及结算设备和使用方法
CN112613597A (zh) * 2020-11-30 2021-04-06 河南汇祥通信设备有限公司 一种综合管廊风险自动识别卷积神经网络模型及构建方法

Similar Documents

Publication Publication Date Title
CN104223858B (zh) 一种自识别智能镜子
CN107808469B (zh) 自助超市系统
CN103765455B (zh) 电子设备回收利用一体机及其方法
US20240020672A1 (en) Intelligent weighing apparatus based on computer vision technology, and intelligent weighing method
CN109147170A (zh) 一种基于图像识别的无人售货柜
CN102177490A (zh) 具有数据通信接口的触觉型人机接口
CN111009073A (zh) 一种电子产品智能回收机
CN105869025A (zh) 一种互动镜子信息传媒电子商务系统
CN110119915A (zh) 对象入库处理方法、装置和系统
CN111079959A (zh) 一种电子产品检测回收方法
CN109300238A (zh) 智能展示及自助体验系统及方法
CN202694690U (zh) 智能交互电子橱窗系统
CN114399619A (zh) 一种机器视觉图像识别系统及其处理方法
CN212500605U (zh) 一种智能购物车
WO2019144332A1 (zh) 一种智能销售导购方法及系统
CN203786044U (zh) 基于机器视觉的食品品种检测系统
CN207895620U (zh) 一种多点触控零售终端
KR101773772B1 (ko) 그림자 출력장치를 이용한 주문 관리 시스템
KR20170090341A (ko) 그림자 출력방식을 이용한 메뉴 주문장치
CN211878681U (zh) 多媒体设备
CN210377705U (zh) 一种具有二维码收款功能的支付装置
CN115243022B (zh) 一种激光投影互动展示系统
CN109903460A (zh) 无人超市自动售货系统
CN111459287A (zh) 一种一体式3d投影触摸自助点菜装置及系统
CN219162773U (zh) 卷烟零售集成式智能结算一体机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220426