CN115169375A - 基于ar与枪球联动的高位物料可视化方法 - Google Patents

基于ar与枪球联动的高位物料可视化方法 Download PDF

Info

Publication number
CN115169375A
CN115169375A CN202210807894.XA CN202210807894A CN115169375A CN 115169375 A CN115169375 A CN 115169375A CN 202210807894 A CN202210807894 A CN 202210807894A CN 115169375 A CN115169375 A CN 115169375A
Authority
CN
China
Prior art keywords
hough
bar code
image
point
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210807894.XA
Other languages
English (en)
Other versions
CN115169375B (zh
Inventor
陈长健
卢艳华
邱超
庄思越
崔刘帅
王光辉
郭浩
孙远
袁穆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRRC Nanjing Puzhen Co Ltd
Original Assignee
CRRC Nanjing Puzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRRC Nanjing Puzhen Co Ltd filed Critical CRRC Nanjing Puzhen Co Ltd
Priority to CN202210807894.XA priority Critical patent/CN115169375B/zh
Publication of CN115169375A publication Critical patent/CN115169375A/zh
Application granted granted Critical
Publication of CN115169375B publication Critical patent/CN115169375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1452—Methods for optical code recognition including a method step for retrieval of the optical code detecting bar code edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/146—Methods for optical code recognition the method including quality enhancement steps
    • G06K7/1486—Setting the threshold-width for bar codes to be decoded
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及基于AR与枪球联动的高位物料可视化方法，该方法包括：获取物料架上物料的全局图像及其上的高位物料图像，获取物料的条码图像及条码图像的中条码线与水平方向的夹角值，获取条码图像的边缘图像的霍夫图像，计算霍夫图像中霍夫点的极角值与夹角值的差值绝对值，计算霍夫点属于条码图像中条码线的概率值，确定条码线对应的目标霍夫点，对目标霍夫点进行聚类得到最终霍夫点并得到其对应的最终条码线，对最终条码线的像素点进行二值化，将二值化后的二值图像对应的物料信息投影至全局图像中对应的物料区域并传输至AR眼镜进行可视化，本发明提高了物料信息获取的精度，进而提高了物料信息可视化的准确度。

Description

基于AR与枪球联动的高位物料可视化方法
技术领域
本发明涉及图像处理技术领域，具体涉及基于AR与枪球联动的高位物料可视化方法。
背景技术
随着物流行业的价值逐渐被重视，物流仓储成为热点之一，但是由于我国物流仓储业起步较晚，传统物流仓储的以下痛点制约着行业的发展：
1、效率低下，效率低下的情况主要出现在仓库刚刚开始运作的阶段或新的工作人员进入仓库，由于工作人员对仓库布局、货物摆放、工作流程等不是很熟悉，人员之间缺乏了解和工作默契，或因为前期设备、人员准备不重复，导致订单不能有效准时备货和发货。
2、库存混乱，库存混乱的第一个表现就在于库存不准确，当工作人员根据订单备货时，无法在相应的位置找到对应的货物，导致仓库运转效率低下，同时出现不必要的错误和损失；
3、盘点商品太多，出入库数据不准确，盘点可以挽救，若遇到大量数据需要盘点，盘点的过程不会有趣，甚至枯燥，并由于人工清点容易出现误差。
随着AR物流管理技术的出现，大幅度降低的仓储成本以及提高了效率性和准确性，员工佩戴上AR智能眼镜后(可自由选择是否搭配扫码指环)，利用摄像机所采集得到的图像，实现对货物进行二维码、条码、标签、文数字OCR等进行识别，匹配对应的货物信息，员工可以在眼镜端看到相关仓储信息或者作业工单，实现智能视觉分拣与仓储管理。
在采集图像过程中，由于获取在仓库内都是摆放在物料架上的，因此，对每个物料进行图像采集时，由于物料摆放的不规则，且相机的采集范围是有限的，故位于物料架上的高位置的物料作为高位物料，在物料图像采集时是通过相机对物料图像获取，然而高位物料与相机正对的物料中的条码尺寸视觉差异大，导致在对应条码识别时可能并不能准确识别，进而无法准确获取高位处的物料信息，影响物料的收发货，从而导致经济损失。
因此，需要提供基于AR与枪球联动的高位物料可视化方法，予以解决上述问题。
发明内容
本发明提供基于AR与枪球联动的高位物料可视化方法，以解决现有的问题。
本发明的基于AR与枪球联动的高位物料可视化方法采用如下技术方案：该方法包括：
获取物料架上所有物料的全局图像及物料架上的高位物料图像；
获取高位物料图像中每个物料的条码图像，并获取条码图像的中条码线与水平方向的夹角值；
获取条码图像的边缘图像并得到边缘图像的霍夫图像，并获取霍夫图像中各个霍夫点的极角值，计算霍夫点的极角值与该霍夫点对应的条码线与水平方向的夹角值的差值绝对值；
获取霍夫图像中各个霍夫点的霍夫值，根据每个霍夫点对应的霍夫值、差值绝对值计算每个霍夫点属于条码图像中条码线的概率值；
根据每个霍夫点属于条码图像中条码线的概率值确定所有条码线对应的目标霍夫点，对所有目标霍夫点进行密度聚类得到多个目标霍夫点类别，将每个目标霍夫点类别中的中心点对应的目标霍夫点作为最终霍夫点，获取每个最终霍夫点对应的最终条码线；
计算每两条相邻的最终条码线之间的平均灰度值，根据每个平均灰度值对其对应的两条相邻的最终条码线上的像素点进行二值化，并得到条码图像的二值图像，获取二值图像对应的物料信息；
将每个二值图像对应的物料信息投影至全局图像中对应的物料区域并传输至AR眼镜进行可视化。
优选的，获取物料架上所有物料的全局图像及物料架上的高位物料图像的步骤包括：
采用枪式相机采集物料架上所有物料的全局图像；
采用智能球摄像机获取物料架上高位物料图像。
优选的，利用模板匹配的方法获取高位物料图像中每个物料上的条码图像。
优选的，获取条码图像的中条码线与水平方向的夹角值的步骤包括：
获取条码图像的边缘图像；
获取边缘图像中的所有连通域，并获取每个连通域的中心点坐标；
根据所有连通域的中心点坐标利用主成分分析算法得到最小特征值对应的目标主成分方向；
对目标主成分方向进行奇异值分解得到第一特征值和第二特征值；
将第一特征值与第二特征值的比值作为条码图像中的条码线的斜率；
根据条码线的斜率得到条码线与水平方向的夹角值。
优选的，霍夫点对应的霍夫值为霍夫点对应的条码线经过边缘图像中有值像素点个数。
优选的，根据每个霍夫点对应的霍夫值、差值绝对值计算每个霍夫点属于条码图像中条码线的概率值的公式：
Pn＝exp(-Cn)×fn
式中，Pn表示霍夫点n属于条码图像中条码线的概率值；
Cn表示霍夫点n的极角值与霍夫点n对应的条码线与水平方向的夹角值的差值绝对值；
fn表示霍夫点n的霍夫值。
优选的，根据每个霍夫点属于条码图像中条码线的概率值确定所有条码线对应的目标霍夫点的步骤包括：
对所有霍夫点对应的属于条码图像中条码线的概率值进行二分类；
分别获取两个分类内概率值的平均值；
将两个分类对应的平均值中大的平均值对应的霍夫点记为目标霍夫点，反之，则记为噪声点。
优选的，利用DBSCAN算法密度聚类对所有目标霍夫点进行密度聚类得到多个目标霍夫点类别。
优选的，根据每个平均灰度值对其对应的两条相邻的最终条码线上的像素点进行二值化的步骤包括：
根据每个平均灰度值对其对应的两条相邻的最终条码线上的像素点进行二分类得到两类像素点；
将两类像素点中像素点灰度值大于平均灰度值的像素点类别中像素点的灰度值置为1；
将两类像素点中像素点灰度值小于平均灰度值的像素点类别中像素点的灰度值置为0。
本发明的有益效果是：本发明的基于AR与枪球联动的高位物料可视化方法，通过枪机相机采集全局图像，智能球摄像机采集每个物料的局部信息，然后通过图像处理技术对每个物料的局部条码信息进行处理，对条码图像的条码线进行准确获取并进行增强，从而得到增强后的条码图像的二值图，利用条码图像的二值图实现对条码图像的二值图中的物料信息获取，同时将物料信息投影至全局图像中对应的物料区域并传输至AR眼镜进行可视化，从而实现了对高位物料的条码图像信息进行精确识别，从而提高物料信息可视化的精准度，进一步避免产生积极损失。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的基于AR与枪球联动的高位物料可视化方法的实施例总体步骤的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的基于AR与枪球联动的高位物料可视化方法的实施例，本实施例的应用场景为：在仓库物料的物流信息中，采用基于AR眼镜的可视化，枪式相机和球机相机相互配合，枪击相机用于采集全局图像，球机相机用于方法采集局部图像，如图1所示，该方法包括：
S1、获取物料架上所有物料的全局图像及物料架上的高位物料图像，具体的，采用枪式相机采集物料架上所有物料的全局图像，采用智能球摄像机获取物料架上高位物料图像，其中，物料架上的高位物料图像指的是枪式相机的采集范围是有限的，故位于枪式相机的采集范围边缘的物料作为高位物料，然后利用智能球摄像机转动获取物料架上位于全局图像边缘的高位物料区域图像，从高位物料区域图像中得到每个高位物料图像。
S2、获取高位物料图像中每个物料的条码图像，并获取条码图像的中条码线与水平方向的夹角值。
具体的，先从高位物料图像中得到每个高位物料图像，获取利用模板匹配的方法获取每个高位物料图像中每个物料上的条码图像，模板匹配为现有技术，本实施例不再赘述，其中，获取条码图像的中条码线与水平方向的夹角值的步骤：获取条码图像的边缘图像；获取边缘图像中的所有连通域，并获取每个连通域的中心点坐标；其中，由于本实施例中的第i个高位物料的条码图像对应边缘图像中所得到的所有连通域中心点坐标为二维数据，所以对第i个高位物料的条码图像对应的边缘图像中所得到的所有连通域的中心点坐标利用主成分分析算法得到两个主成分方向，其中，将最小特征值对应的主成分方向作为目标主成分方向；对目标主成分方向进行奇异值分解(SVD分解算法)得到第一特征值和第二特征值；将第一特征值与第二特征值的比值作为条码图像中的条码线的斜率；根据条码线的斜率得到条码线与水平方向的夹角值，即通过反正切三角函数，将斜率转化为角度制得到条码线与水平方向的夹角值。
S3、获取条码图像的边缘图像并得到边缘图像的霍夫图像，并获取霍夫图像中各个霍夫点的极角值，计算霍夫点的极角值与该霍夫点对应的条码线与水平方向的夹角值的差值绝对值，具体的，对条码图像进行边缘检测得到边缘图像，并将边缘图像转化至霍夫空间得到霍夫图像，由于霍夫图像中各个霍夫点的极角值，为极坐标轴中的极角值，当极角值与霍夫点对应的条码线与水平方向的夹角值的差值绝对值Czn越小，则说明该霍夫点对应的直线越可能是该高位物料的条码图像中的条码线。
S4、获取霍夫图像中各个霍夫点的霍夫值，根据每个霍夫点对应的霍夫值、差值绝对值计算每个霍夫点属于条码图像中条码线的概率值，具体的，霍夫图像中各个霍夫点的霍夫值在本实施例中为霍夫空间中各点对应的值，在本实施例中，将霍夫图像中各个点定义为霍夫点，每个点对应的值为霍夫值，具体的，霍夫点对应的霍夫值为霍夫点对应的条码线经过边缘图像中有值像素点个数，其中，根据每个霍夫点对应的霍夫值、差值绝对值计算每个霍夫点属于条码图像中条码线的概率值的公式：
Pn＝exp(-Cn)×fn
式中，Pn表示霍夫点n属于条码图像中条码线的概率值；
Cn表示霍夫点n的极角值与霍夫点n对应的条码线与水平方向的夹角值的差值绝对值，Cn越小，则说明该霍夫点对应的直线越可能是高位物料的条码线，由于Cn越小，越能表示第n个霍夫点是高位物料的条码线的概率越大，所以采用exp(-x)负相关映射函数，使得Czn越小；
fn表示霍夫点n的霍夫值，fn值越大，则越可能表示当前第n个霍夫点在对应高位物料的条码图像的边缘图像中越可能是表示一条直线，如果霍夫值fn越低，则表示当前第n个霍夫点在该高位物料中的条码图像对应的边缘图像中所对应直线的有值像素点个数越少，很可能是噪声，这里需要说明的是，噪声点相对于边缘点的数量肯定是少的，因此，根据像素点的数量判断噪声点和边缘点。
S5、根据每个霍夫点属于条码图像中条码线的概率值确定所有条码线对应的目标霍夫点，对所有目标霍夫点进行密度聚类得到多个目标霍夫点类别，将每个目标霍夫点类别中的中心点对应的目标霍夫点作为最终霍夫点，获取每个最终霍夫点对应的最终条码线，从而得到条码图像的每条最终条码线，并实现了对条码图像的增强，为后续准确识别条码信息提供依据。
具体的，在步骤S4的计算每个霍夫点属于条码图像中条码线的概率值的公式中对霍夫值fn的分析能得到霍夫值fn越低，则表示当前第n个霍夫点在该高位物料中的条码图像对应的边缘图像中所对应直线的有值像素点个数越少，很可能是噪声，判断依据为噪声点相对于边缘点的数量是少的，故，当霍夫值fn越低时，对应的概率值越小，故根据每个霍夫点属于条码图像中条码线的概率值确定所有条码线对应的目标霍夫点，具体的，对所有霍夫点对应的属于条码图像中条码线的概率值进行二分类，具体的，采用k-means算法对所有霍夫点对应的属于条码图像中条码线的概率值进行二分类，分别获取两个分类内概率值的平均值；将两个分类对应的平均值中大的平均值对应的霍夫点记为目标霍夫点，反之，则记为噪声点。
具体的，利用DBSCAN算法密度聚类对所有目标霍夫点进行密度聚类得到多个目标霍夫点类别，其中，在密度聚类时，选择窗口大小为邻域半径r＝3，邻域中数据对象数目阈值m＝3的DBSCAN密度聚类算法，其中r＝3，m＝3，是一个超参数，可由实施者根据具体实施场景进行调整，并将二分类的概率值中概率值P大类别内的霍夫点所对应的二维坐标点和概率值P作为DBSCAN密度聚类算法的输入，得到聚类后的每个目标霍夫点类别。
S6、计算每两条相邻的最终条码线之间的平均灰度值，根据每个平均灰度值对其对应的两条相邻的最终条码线上的像素点进行二值化，并得到条码图像的二值图像，获取二值图像对应的物料信息。
具体的，根据每个平均灰度值对其对应的两条相邻的最终条码线上的像素点进行二值化的步骤包括：根据每个平均灰度值对其对应的两条相邻的最终条码线上的像素点进行二分类得到两类像素点；将两类像素点中像素点灰度值大于平均灰度值的像素点类别中像素点的灰度值置为1；将两类像素点中像素点灰度值小于平均灰度值的像素点类别中像素点的灰度值置为0，从而得到条码图像的二值图像，并获取条码图像的二值图像对应的物料信息。
S7、将每个二值图像对应的物料信息投影至全局图像中对应的物料区域并传输至AR眼镜进行可视化。
综上所述，本发明提供基于AR与枪球联动的高位物料可视化方法，通过枪机相机采集全局图像，智能球摄像机采集每个物料的局部信息，然后通过图像处理技术对每个物料的局部条码信息进行处理，对条码图像的条码线进行准确获取并进行增强，从而得到增强后的条码图像的二值图，利用条码图像的二值图实现对条码图像的二值图中的物料信息获取，同时将物料信息投影至全局图像中对应的物料区域并传输至AR眼镜进行可视化，从而实现了对高位物料的条码图像信息进行精确识别，从而提高物料信息可视化的精准度，进一步避免产生积极损失。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于AR与枪球联动的高位物料可视化方法，其特征在于，该方法包括：
获取物料架上所有物料的全局图像及物料架上的高位物料图像；
获取高位物料图像中每个物料的条码图像，并获取条码图像的中条码线与水平方向的夹角值；
获取条码图像的边缘图像并得到边缘图像的霍夫图像，并获取霍夫图像中各个霍夫点的极角值，计算霍夫点的极角值与该霍夫点对应的条码线与水平方向的夹角值的差值绝对值；
获取霍夫图像中各个霍夫点的霍夫值，根据每个霍夫点对应的霍夫值、差值绝对值计算每个霍夫点属于条码图像中条码线的概率值；
根据每个霍夫点属于条码图像中条码线的概率值确定所有条码线对应的目标霍夫点，对所有目标霍夫点进行密度聚类得到多个目标霍夫点类别，将每个目标霍夫点类别中的中心点对应的目标霍夫点作为最终霍夫点，获取每个最终霍夫点对应的最终条码线；
计算每两条相邻的最终条码线之间的平均灰度值，根据每个平均灰度值对其对应的两条相邻的最终条码线上的像素点进行二值化，并得到条码图像的二值图像，获取二值图像对应的物料信息；
将每个二值图像对应的物料信息投影至全局图像中对应的物料区域并传输至AR眼镜进行可视化。
2.根据权利要求1所述的基于AR与枪球联动的高位物料可视化方法，其特征在于，获取物料架上所有物料的全局图像及物料架上的高位物料图像的步骤包括：
采用枪式相机采集物料架上所有物料的全局图像；
采用智能球摄像机获取物料架上高位物料图像。
3.根据权利要求1所述的基于AR与枪球联动的高位物料可视化方法，其特征在于，利用模板匹配的方法获取高位物料图像中每个物料上的条码图像。
4.根据权利要求1所述的基于AR与枪球联动的高位物料可视化方法，其特征在于，获取条码图像的中条码线与水平方向的夹角值的步骤包括：
获取条码图像的边缘图像；
获取边缘图像中的所有连通域，并获取每个连通域的中心点坐标；
根据所有连通域的中心点坐标利用主成分分析算法得到最小特征值对应的目标主成分方向；
对目标主成分方向进行奇异值分解得到第一特征值和第二特征值；
将第一特征值与第二特征值的比值作为条码图像中的条码线的斜率；
根据条码线的斜率得到条码线与水平方向的夹角值。
5.根据权利要求1所述的基于AR与枪球联动的高位物料可视化方法，其特征在于，霍夫点对应的霍夫值为霍夫点对应的条码线经过边缘图像中有值像素点个数。
6.根据权利要求1所述的基于AR与枪球联动的高位物料可视化方法，其特征在于，根据每个霍夫点对应的霍夫值、差值绝对值计算每个霍夫点属于条码图像中条码线的概率值的公式：
Pn＝exp(-Cn)×fn
式中，Pn表示霍夫点n属于条码图像中条码线的概率值；
Cn表示霍夫点n的极角值与霍夫点n对应的条码线与水平方向的夹角值的差值绝对值；
fn表示霍夫点n的霍夫值。
7.根据权利要求1所述的基于AR与枪球联动的高位物料可视化方法，其特征在于，根据每个霍夫点属于条码图像中条码线的概率值确定所有条码线对应的目标霍夫点的步骤包括：
对所有霍夫点对应的属于条码图像中条码线的概率值进行二分类；
分别获取两个分类内概率值的平均值；
将两个分类对应的平均值中大的平均值对应的霍夫点记为目标霍夫点，反之，则记为噪声点。
8.根据权利要求1所述的基于AR与枪球联动的高位物料可视化方法，其特征在于，利用DBSCAN算法密度聚类对所有目标霍夫点进行密度聚类得到多个目标霍夫点类别。
9.根据权利要求1所述的基于AR与枪球联动的高位物料可视化方法，其特征在于，根据每个平均灰度值对其对应的两条相邻的最终条码线上的像素点进行二值化的步骤包括：
根据每个平均灰度值对其对应的两条相邻的最终条码线上的像素点进行二分类得到两类像素点；
将两类像素点中像素点灰度值大于平均灰度值的像素点类别中像素点的灰度值置为1；
将两类像素点中像素点灰度值小于平均灰度值的像素点类别中像素点的灰度值置为0。
CN202210807894.XA 2022-07-11 2022-07-11 基于ar与枪球联动的高位物料可视化方法 Active CN115169375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210807894.XA CN115169375B (zh) 2022-07-11 2022-07-11 基于ar与枪球联动的高位物料可视化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210807894.XA CN115169375B (zh) 2022-07-11 2022-07-11 基于ar与枪球联动的高位物料可视化方法

Publications (2)

Publication Number Publication Date
CN115169375A true CN115169375A (zh) 2022-10-11
CN115169375B CN115169375B (zh) 2024-03-08

Family

ID=83492925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210807894.XA Active CN115169375B (zh) 2022-07-11 2022-07-11 基于ar与枪球联动的高位物料可视化方法

Country Status (1)

Country Link
CN (1) CN115169375B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830011A (zh) * 2023-02-08 2023-03-21 山东瑞峰新材料科技有限公司 一种无声胶带生产过程的视觉检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101807566B1 (ko) * 2016-06-17 2017-12-11 인천대학교 산학협력단 바코드 검출 방법 및 장치
CN111967286A (zh) * 2019-05-20 2020-11-20 京东方科技集团股份有限公司 信息承载介质的识别方法、识别装置、计算机设备和介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101807566B1 (ko) * 2016-06-17 2017-12-11 인천대학교 산학협력단 바코드 검출 방법 및 장치
CN111967286A (zh) * 2019-05-20 2020-11-20 京东方科技集团股份有限公司 信息承载介质的识别方法、识别装置、计算机设备和介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
N.KIRYATI等: ""A PROBABILISTIC HOUGH TRANSFORM"", 《百度学术》, pages 303 - 316 *
倪艺凡等: ""木门生产线中运动状态下条码定位与复原"", 《电子测量技术》, pages 136 - 141 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830011A (zh) * 2023-02-08 2023-03-21 山东瑞峰新材料科技有限公司 一种无声胶带生产过程的视觉检测方法

Also Published As

Publication number Publication date
CN115169375B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN107617573B (zh) 一种基于多任务深度学习的物流编码识别和分拣方法
CN108416412B (zh) 一种基于多任务深度学习的物流复合码识别方法
US10930105B2 (en) Banknote management method and system
EP1234273B1 (en) Multi-resolution label locator
CN110210477B (zh) 一种数字式仪表读数识别方法
CN113160192A (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
Dave Segmentation methods for hand written character recognition
CN101807257A (zh) 图像标签信息识别方法
CN102236788A (zh) 电力电能表图像自动识别方法
CN115797798B (zh) 基于废弃矿山遥感图像的生态修复效果评估方法
CN109800698A (zh) 基于深度网络的图标检测方法
CN103914680A (zh) 一种喷印字符图像识别与校验系统及方法
CN114511718B (zh) 一种建筑施工用物料智能管理方法及系统
CN112329587B (zh) 饮料瓶的分类方法、装置及电子设备
CN114972922A (zh) 基于机器学习的煤矸分选识别方法、装置及设备
CN115169375A (zh) 基于ar与枪球联动的高位物料可视化方法
CN108171098B (zh) 一种条码检测方法及设备
CN112257644B (zh) 一种基于云计算的电子商务平台店铺商品库存智能管理系统
CN110502605B (zh) 基于人工智能技术的电力资产lcc成本归集系统
CN111199240A (zh) 银行卡识别模型的训练方法、银行卡识别方法以及装置
CN110378337B (zh) 金属切削刀具图纸标识信息视觉输入方法及系统
Laroca et al. Automatic Counting and Identification of Train Wagons Based on Computer Vision and Deep Learning
JP2023156991A (ja) 情報処理システム
CN115272778A (zh) 基于rpa和计算机视觉的可回收垃圾分类方法及系统
CN112633116B (zh) 一种智能解析pdf图文的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant