CN116934847B - 卸料方法、装置、电子设备及存储介质 - Google Patents
卸料方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116934847B CN116934847B CN202311193800.5A CN202311193800A CN116934847B CN 116934847 B CN116934847 B CN 116934847B CN 202311193800 A CN202311193800 A CN 202311193800A CN 116934847 B CN116934847 B CN 116934847B
- Authority
- CN
- China
- Prior art keywords
- actual
- object distance
- coordinate
- acquiring
- feeding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000007599 discharging Methods 0.000 title claims abstract description 32
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 41
- 238000010586 diagram Methods 0.000 claims abstract description 30
- 239000013077 target material Substances 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 230000001276 controlling effect Effects 0.000 description 9
- 208000028659 discharge Diseases 0.000 description 9
- 238000002372 labelling Methods 0.000 description 9
- 238000011068 loading method Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 239000013590 bulk material Substances 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种卸料方法、装置、电子设备及存储介质，属于智能卸料技术领域。其中，该方法包括：获取目标物料的进料车辆的进料图像；采用语义分割模型对所述进料图像进行语义分割，得到进料口区域图；定位所述进料口区域图的中心位置，并计算所述中心位置在世界坐标系下的第一坐标；控制所述目标物料的卸料设备的卸料口从初始位置移动到所述世界坐标系的所述第一坐标进行卸料。通过本申请，解决了相关技术中卸料效率低的技术问题。
Description
技术领域
本申请涉及智能卸料技术领域，具体而言，涉及一种卸料方法、装置、电子设备及存储介质。
背景技术
目前，在相关物料生产后，需将相关物料从储存器内运输到使用基地，这就避免不了装车流转。一般常见的装车流程主要包括进卸料口对齐、卸料两个过程，其中进卸料口对齐主要依靠人工判定及人工操作来实现进卸料口对齐，待人工对齐后，再通过人工启动卸料控制系统实现卸料过程，最终实现整个装车流程。由于整个装车流程都须依赖于人工，一方面须工人全天候值班，将耗费大量人力，另一方面装车效率低，不利于自动化、智能化发展。
针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。
发明内容
本申请提供了一种卸料方法、装置、电子设备及存储介质，以解决相关技术中卸料效率低的技术问题。
根据本申请实施例的一个方面，提供了一种卸料方法，包括：获取目标物料的进料车辆的进料图像；采用语义分割模型对所述进料图像进行语义分割，得到进料口区域图；定位所述进料口区域图的中心位置，并计算所述中心位置在世界坐标系下的第一坐标；控制所述目标物料的卸料设备的卸料口从初始位置移动到所述世界坐标系的所述第一坐标进行卸料。
根据本申请实施例的另一个方面，还提供了一种卸料装置，包括：获取模块，用于获取目标物料的进料车辆的进料图像；分隔模块，用于采用语义分割模型对所述进料图像进行语义分割，得到进料口区域图；计算模块，用于定位所述进料口区域图的中心位置，并计算所述中心位置在世界坐标系下的第一坐标；控制模块，用于控制所述目标物料的卸料设备的卸料口从初始位置移动到所述世界坐标系的所述第一坐标进行卸料。
进一步地，所述计算模块包括第一计算单元，用于获取所述进料车辆的实际高度，根据所述实际高度计算实际物距，所述实际物距为所述进料车辆的进料口平面与相机成像平面的实际垂直距离，其中，所述相机成像平面与水平面平行；获取在实际物距下，相平面中所述中心位置在相平面坐标系下的第二坐标，所述第二坐标的单位为像素；获取标准物距，并获取在所述标准物距下，相机成像平面中单个像素对应的实际距离；根据所述实际物距、所述标准物距，所述第二坐标、所述实际距离计算所述中心位置在世界坐标系下的第一坐标。
进一步地，所述第一计算单元，还用于获取相机拍摄的棋盘格标定板的棋盘格图片，所述棋盘格标定板放置于h处，所述h为相机成像平面到标准进料口平面的垂直距离；提取所述棋盘格图片的特征点；根据所述特征点对所述相机的参数进行标定，得到在所述标准物距下，相机成像平面中单个像素对应的实际距离。
进一步地，所述控制模块包括控制单元，用于获取所述卸料口的可移动范围；判断所述第一坐标是否在所述可移动范围内；若所述第一坐标在所述可移动范围内，则控制所述目标物料的卸料设备的卸料口从初始位置移动到所述世界坐标系的所述第一坐标进行卸料。
进一步地，所述卸料装置还包括训练模块，用于获取样本帧；采用初始权重，以及所述样本帧的所有像素的损失函数对初始模型进行训练，得到第一中间模型，其中，所述第一中间模型包括第一权重；采用所述损失函数计算每个像素的损失值，按照所述损失值对像素进行降序排列，选取序列前预设占比的像素的损失值；采用所述第一权重，以及所述序列前预设占比的像素的损失值对所述第一中间模型进行训练，得到第二中间模型，其中，所述第二中间模型包括第二权重；采用所述第二权重和所述损失函数对所述第二中间模型进行训练，得到语义分割模型。
进一步地，所述训练模块还用于获取相机采集的样本视频；获取所述样本视频的当前帧；对所述当前帧进行运动目标检测，并将所述当前帧与所述当前帧的相邻帧进行图像相似度计算；若所述当前帧为运动目标，且所述当前帧与所述相邻帧的相似度低于预设阈值，则确定所述当前帧为车辆卸料过程的前景样本帧；提取所述前景样本帧作为用于模型训练的样本帧。
进一步地，所述计算模块包括第二计算单元，用于对所述进料口区域图采用霍夫变换进行椭圆检测，得到所述进料口区域对应的椭圆；提取所述椭圆对应的圆心，将所述圆心作为所述进料口区域图的中心位置。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。
根据本申请实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。
通过本申请，基于语义分割对进料口区域进行识别，并提取进料口位置参数，指导可移动卸料口精准移动，实现卸料口与进料口自动对齐，进而实现自动卸料，提高了装车效率，降低了人工工作强度，最终促进自动化、智能化发展。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请实施例的一种计算机的硬件结构框图；
图2是本申请实施例的一种卸料方法的流程图；
图3是本申请实施例视觉监测与控制系统现场安装示意图；
图4是本申请实施例相机标定流程示意图；
图5是本申请实施例进卸料口位置初步判定算法流程示意图；
图6是本申请实施例半自动标注流程示意图；
图7是本申请实施例标注样本帧自动选取算法流程示意图；
图8是本申请实施例语义分割多步训练流程示意图；
图9是本申请实施例坐标系确定示意图；
图10是本申请实施例小孔成像原理示意图；
图11是本申请实施例的一种卸料装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
本申请实施例一所提供的方法实施例可以在手机、计算机、平板或者类似的运算装置中执行。以运行在计算机上为例，图1是本申请实施例的一种计算机的硬件结构框图。如图1所示，计算机可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，可选地，上述计算机还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机的结构造成限定。例如，计算机还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例中的一种卸料方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
本实施例提供的卸料方法基于如图3所示的视觉监测与控制硬件系统，视觉监测与控制硬件系统主要硬件包括网络摄像头、光源、显示器、计算存储设备、可移动卸料口等。其安装示意图如图3所示，网络摄像头垂直于地面安装，摄像头用于对进卸料口对齐过程进行实时监测，保证相机成像平面（以下简称相平面）与进料口平面平行，相机周边辅以LED光源，以降低光照变化对图像质量的影响。可移动卸料口安装由特殊机构支撑的位置，可实现卸料口位置微调，通过视觉控制系统，可实现进卸料口自动精准对齐。计算存储设备用于对视觉监测数据进行计算、分析及存储并向视觉控制部分发出控制命令，指导可移动卸料口进行精准移动，实现进卸料口自动对齐。显示器用于可视化各类监测、检测结果。进料车辆实现进卸料口初步对齐，可移动卸料口实现精准对齐，从而提高对齐效率与精准度。
在本实施例中提供了一种卸料方法，图2是根据本申请实施例的一种卸料方法的流程图，如图2所示，该流程包括如下步骤：
步骤S10，获取目标物料的进料车辆的进料图像；
步骤S20，采用语义分割模型对所述进料图像进行语义分割，得到进料口区域图；
本实施例中的目标物料为散装物料，比如散装水泥、砂石等，获取进料车辆移动至卸料口的可移动范围进行装料的进料视频，采用语义分割模型对视频中的进料图像进行语义分割，得到进料口区域图，本实施例中进料口区域图为二值图像。本实施例考虑目标检测模型输出的位置框不稳定，会造成相关参数提取不准确，且相机视野中只会出现一辆进料车辆，不会存在其他车辆，因此本实施例选择语义分割模型来对进料口区域进行识别，相比采用实例分割或全景分割等复杂输出分割方法，简化了识别过程。
步骤S30，定位所述进料口区域图的中心位置，并计算所述中心位置在世界坐标系下的第一坐标；
步骤S40，控制所述目标物料的卸料设备的卸料口从初始位置移动到所述世界坐标系的所述第一坐标进行卸料。
通过上述步骤，基于语义分割对进料口区域进行识别，并提取进料口位置参数，指导可移动卸料口精准移动，实现卸料口与进料口自动对齐，进而实现自动卸料，提高了装车效率，降低了人工工作强度，最终促进卸料自动化、智能化发展。
本实施例的一实施方式中，计算所述中心位置在世界坐标系下的第一坐标包括：
a1，获取所述进料车辆的实际高度，根据所述实际高度计算实际物距，所述实际物距为所述进料车辆的进料口平面与相机成像平面的实际垂直距离，其中，所述相机成像平面与水平面平行；
本实施例中进料车辆的实际高度可直接获取，例如进料车辆在进入搅拌站前，都须统计其基本信息，从而可直接获取进料车辆的实际高度，且相机位置固定，进而根据实际高度可计算实际物距S2，物距为进料车辆的进料口平面与相平面的实际垂直距离，本实施例中，标准物距S1为预先标定的标准的进料车辆实际高度对应的物距。
a2，获取在实际物距下，相平面中所述中心位置在相平面坐标系下的第二坐标，所述第二坐标的单位为像素；
a3，获取标准物距，并获取在所述标准物距下，相机成像平面中单个像素对应的实际距离；
a4，根据所述实际物距、所述标准物距，所述第二坐标、所述实际距离计算所述中心位置在世界坐标系下的第一坐标。
本实施例中获取相机的光心位置，根据光心位置构建相平面坐标系与世界坐标系，如图9，经过光心并与相平面垂直的直线与相平面相交的点O1作为相平面坐标系的原点，相平面横向、纵向分别为相平面坐标系的x1轴、y1轴，世界坐标系的原点为光心与O1所确定直线与物平面的交点O，x轴与y轴为世界坐标系的横轴与纵轴，其中，x轴与x1轴平行，y轴与y1轴平行。可移动卸料口的零点位置相对于光心位置在世界坐标系下xy平面上坐标为（xa，ya），进料口区域的中心位置相对于光心位置在世界坐标系下xy平面上坐标为（xb，yb）,则卸料口在世界坐标系xy平面上所需要移动的坐标为（xb-xa，yb-ya），其中，中心位置在世界坐标系下的第一坐标（xb，yb）的计算公式如下所示：
，公式1；/>公式2；其中，S为标准物距，Sb为实际物距，（x_pixes，y_pixes）为在实际物距Sb下，在相平面中，进料口中心位置在相平面坐标系x1y1平面上的第二坐标，单位为像素，第二坐标可以在进料图像中获取，space_x、space_y分别为在标准物距S下，x轴、y轴方向每个像素所代表的实际距离，，/>，/>，，space_xb、space_yb分别表示在实际物距Sb下，x轴、y轴方向每个像素所代表实际距离。
本实施例中卸料口每次卸料完成后都移动到卸料口的零点位置，零点位置为已知值。
在本实施例中，由于进料车辆型号不一致，因而其进料口平面会在一定高度范围内变化，将导致标定误差（在指定物距下，相平面中单个像素对应的实际距离），因此，本实施例中基于小孔成像原理计算实际物距下，相平面中单个像素对应的实际距离space2，space2包括上述的在实际物距下，x轴、y轴方向每个像素所代表实际距离。如图10所示，其中S1为标准物距、S2为实际物距、h1为标准像素高度、h2为实际像素高度（像素高度指实际车辆高度在成像平面成像对应像素个数），h为不考虑车辆高度变化的情况下固定的车辆实际高度，由相似三角形性质可推导出公式3，/>公式4，space1代表在标准物距S1下，每个像素所代表的实际距离，space2代表在实际物距S2下，每个像素所代表的实际距离。当物距为实际物距S2时，实测高度为h，相平面所预测的高度为h’，/>公式5，预测高度误差取决于的S1/S2比值，若其比值越远离1，则所带来的误差就越大，因此，本实施例通过上述公式3、4得到/>公式6，补偿由于物距变化所带来的误差，从而实现精确定位。
本实施例采用标准物距S1下，利用space1（每个像素所代表的实际物理距离）来统一表示不同物距下每个像素所代表的实际物理距离，即认为物距固定，每个像素所代表的实际物理距离固定，这也是简化建模所带来误差的根本来源。因为本实施例只采用标准物距下的space1，只对一个物距下（即标准物距下）每个像素所代表的实际物理距离进行标定，所用高度预测都采用space1，公式5说明若忽略物距的变化，实际检测所带来的误差的计算。
根据公式6，由于S1、space1为标准物距下的参数，已通过标定得到，S2表示实际情况下的物距，若得到S2的实际值，则可通过公式6，计算得到物距为S2，其每个像素所代表的物理距离为，依据公式6，从而可得到不同物距下，每个像素所代表实际物理距离，从而到达消除标定误差的目的。
在本实施方式中，获取在所述标准物距下，相机成像平面中单个像素对应的实际距离包括：
a31，获取相机拍摄的棋盘格标定板的棋盘格图片，所述棋盘格标定板放置于h处，所述h为相机成像平面到标准进料口平面的垂直距离；
a32，提取所述棋盘格图片的特征点；
a33，根据所述特征点对所述相机的参数进行标定，得到在所述标准物距下，相机成像平面中单个像素对应的实际距离。
由于后续须视觉控制，引导可移动卸料口精准移动，以实现进卸料口精准对齐，因而须对相机进行相关标定，标定的参数包括相机内参、外参、畸变系数、以及在标准物距下，相机成像平面中单个像素对应的实际距离。
本实施例中采用黑白棋盘格对相机进行标定，可选地棋盘格标定板的尺寸大于或等于卸料口可移动范围，可对整个可移动范围进行标定，确保相关参数标定更准确。参考图4，将棋盘格标定板放置距离相机为h处（h为相机平面到进料口标准平面的垂直距离，如图3所示，棋盘格位置尽可能处于相机视野中心位置），从不同角度拍摄若干标定板图像，获取不同角度拍摄的若干标定板图像，检测图像中的特征点，求解理想无畸变情况下相机内参和外参，并利用极大似然估计提升精度，应用最小二乘求解出实际的径向畸变系数，综合内参、外参、畸变系数，使用极大似然优化估计，提升估计精度，得到相机内参、外参和畸变系数，然后分别计算在物距为h下，相机横轴、纵轴每个像素代表的实际距离（x_dist mm/pixe，y_dist mm/pixe）。
在本实施例的一实施方式中，控制卸料口从零点位置移动到所述第一坐标进行卸料包括：获取所述卸料口的可移动范围；判断所述第一坐标是否在所述可移动范围内；若所述第一坐标在所述可移动范围内，则控制卸料口从零点位置移动到所述第一坐标进行卸料。
如图3所示，由于可移动卸料口微调范围有限，若要实现进卸口精准对齐，需要实现进卸料口初步对齐，即保证进料车辆的进料口位置在可移动卸料口微调范围内。既提高了进卸料口的对齐效率，又提高了对齐精准度，降低溢料风险。
如图5所示，本实施例中，首先确定视频单帧中的ROI区域、对ROI区域图像预处理、ROI区域图像经过语义分割模型得到进料口区域的二值图像、对二值图像进行后处理、对二值图像进行hough椭圆检测、判断椭圆圆心是否在可移动卸料口的可移动范围内。
由于每个卸料场地相机安装位置固定，其拍摄视野较大且为固定范围，可移动卸料口有效活动范围固定，因而卸料口的可移动范围在相机视野中的范围也是固定的，进料车辆须停在可移动卸料口的活动范围内，才能进行有效对齐，可根据可移动卸料口在相机视野中的有效活动范围，来确定所需的ROI区域，ROI区域可根据可移动卸料口活动范围进行适当扩大，以便于进卸料口实现初步对齐。在本实施方式中可根据先验知识，确定进卸料口对齐流程有效活动区域，以减小图片分辨率、降低背景干扰对后续算法模型的影响。
对ROI区域图片进行去噪、光照不均处理，并利用获取的畸变系数对ROI区域图像进行畸变矫正，以降低噪声、光照不均及图像畸变对后续图像识别及图像测量的影响。
ROI区域图像经过语义分割模型后，得到二值分割图像，对二值图像采用腐蚀、滤除小物体、膨胀处理，以降低噪声对后续椭圆识别的影响。
二值图像利用霍夫hough变换进行椭圆检测，以降低由于语义分割模型识别料口区域不够准确而造成料口区域中心点提取精度不高的风险。
提取进料口区域椭圆中心，判断圆心是否在可移动卸料口可移动范围内，若在，则利用可移动卸料口实现进卸料口精准对齐，若不在，则输出提示消息，以指导司机重新对齐，直至进料口在可移动卸料口可移动范围内。
在本实施例的一实施方式中，在采用语义分割模型对所述图像进行语义分割，得到进料口区域图之前，所述方法还包括：
b1，获取样本帧；
具体地，获取样本帧包括：获取相机采集的样本视频；获取所述样本视频的当前帧；对所述当前帧进行运动目标检测，并将所述当前帧与所述当前帧的相邻帧进行图像相似度计算；若所述当前帧为运动目标，且所述当前帧与所述相邻帧的相似度低于预设阈值，则确定所述当前帧为车辆卸料过程的前景样本帧；提取所述前景样本帧作为用于模型训练的样本帧。
本实施方式为了提高样本库建设效率，保障样本质量，降低样本标注成本同时提高标注效率，针对进卸料口对齐场景（每次采集的都是海量视频，且进卸料口对齐过程为运动过程，存在很多没有作业的静止画面），本实施例基于大模型进行半自动语义分割标注，包括标注样本帧自动选择、大模型语义分割，如图6所示，首先利用标注样本帧自动选取算法判断当前视频帧是否为待标注前景样本帧，若是，将其输入大模型语义分割模型，生成语义标签，最终将所有生成的语义分割标签进行人工核对，以进一步保证标签的正确性。
由于每次采集视频数据都是海量的，而所需的实际标注样本却有限，因而如何快速从海量视频中选择所需标注的样本帧成为样本库建设所须解决的第一个问题，由于料口对齐过程是一个运动过程，且相机不动，依据此类特征，为此本实施方式采用运动目标检测结合图像相似度来进行标注样本帧选择，其具体计算流程如图7所示，其中，运动目标检测可采用帧差法、光流法等，图像相似度计算可采用图像结构相似度SSIM、峰值信噪比PSNR等指标。相比于传统抽帧策略，本实施方式可较好区分前景帧与背景帧，可量化帧间差异，降低冗余帧，保证样本帧间差异性。
如图7所示，获取相机采集的样本视频；获取样本视频的当前帧；对当前帧进行运动目标检测，并将当前帧与当前帧的相邻帧（具体为前一帧）进行图像相似度计算，若当前帧为运动目标，说明为车辆移动至卸料口可移动范围进行卸料的前景帧，且当前帧与相邻帧的相似度低于预设阈值，说明当前帧和前一帧差别较大，保证样本帧间差异性，则确定当前帧为车辆卸料过程的前景样本帧，提取前景样本帧作为用于模型训练的样本帧。
b2，采用初始权重，以及所述样本帧的所有像素的损失函数对初始模型进行训练，得到第一中间模型，其中，所述第一中间模型包括第一权重；
b3，采用所述损失函数计算每个像素的损失值，按照所述损失值对像素进行降序排列，选取序列前预设占比的像素的损失值；
b4，采用所述第一权重，以及所述序列前预设占比的像素的损失值对所述第一中间模型进行训练，得到第二中间模型，其中，所述第二中间模型包括第二权重；
b5，采用所述第二权重和所述损失函数对所述第二中间模型进行训练，得到语义分割模型。
本实施例采用语义分割模型来实现对进料口区域进行识别，为了保证模型泛化能力，本实施例采用多步训练策略，在样本库不变的情况下，进一步优化模型，提高模型鲁棒性，其训练流程如图8所示，首选采用coco预训练权重作为初始权重，以及所有像素的softmax损失函数对初始模型进行初步训练，得到第一中间模型，第一中间模型包括第一权重（训练权重1）；然后，将训练权重1为初始权重，采用softmax损失函数计算各个像素损失值，并将其降序排列，取其前占比n1（如n1取30%）损失值对第一中间模型进行训练，得到第二中间模型，第二中间模型包括第二权重（训练权重2）；预训练权重2为初始权重，采用softmax损失函数计算各个像素损失值，并将其降序排列，取其前占比n2（如n1取40%）损失值作为最终模型参数更新损失值，得到最终模型权重3（其中n1<n2）。在实际使用该策略时，具体分为几步训练，每步如何设置相关参数须视具体情况而论。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本申请各个实施例所述的方法。
实施例2
在本实施例中还提供了一种卸料装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图11是根据本申请实施例的一种卸料装置的结构框图，如图11所示，该装置包括：
获取模块111，用于获取目标物料的进料车辆的进料图像；
分隔模块112，用于采用语义分割模型对所述进料图像进行语义分割，得到进料口区域图；
计算模块113，用于定位所述进料口区域图的中心位置，并计算所述中心位置在世界坐标系下的第一坐标；
控制模块114，用于控制所述目标物料的卸料设备的卸料口从初始位置移动到所述世界坐标系的所述第一坐标进行卸料。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本申请的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取目标物料的进料车辆的进料图像；
S2，采用语义分割模型对所述进料图像进行语义分割，得到进料口区域图；
S3，定位所述进料口区域图的中心位置，并计算所述中心位置在世界坐标系下的第一坐标；
S4，控制所述目标物料的卸料设备的卸料口从初始位置移动到所述世界坐标系的所述第一坐标进行卸料。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本申请的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取目标物料的进料车辆的进料图像；
S2，采用语义分割模型对所述进料图像进行语义分割，得到进料口区域图；
S3，定位所述进料口区域图的中心位置，并计算所述中心位置在世界坐标系下的第一坐标；
S4，控制所述目标物料的卸料设备的卸料口从初始位置移动到所述世界坐标系的所述第一坐标进行卸料。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (8)
1.一种卸料方法，其特征在于，所述方法包括：
获取目标物料的进料车辆的进料图像；
采用语义分割模型对所述进料图像进行语义分割，得到进料口区域图；
定位所述进料口区域图的中心位置，并计算所述中心位置在世界坐标系下的第一坐标；
控制所述目标物料的卸料设备的卸料口从初始位置移动到所述世界坐标系的所述第一坐标进行卸料；
其中，定位所述进料口区域图的中心位置包括：对所述进料口区域图采用霍夫变换进行椭圆检测，得到所述进料口区域对应的椭圆；提取所述椭圆对应的圆心，将所述圆心作为所述进料口区域图的中心位置；
计算所述中心位置在世界坐标系下的第一坐标包括：获取所述进料车辆的实际高度，根据所述实际高度计算实际物距，所述实际物距为所述进料车辆的进料口平面与相机成像平面的实际垂直距离，其中，所述相机成像平面与水平面平行；获取在实际物距下，相平面中所述中心位置在相平面坐标系下的第二坐标，所述第二坐标的单位为像素；获取标准物距，并获取在所述标准物距下，相机成像平面中单个像素对应的实际距离；
设定所述第一坐标为（xb，yb），所述实际物距为Sb，所述标准物距为S，所述第二坐标为（x_pixes，y_pixes），所述实际距离包括在所述标准物距下，x轴、y轴方向每个像素所代表的实际距离space_x与space_y，并采用以下计算公式：，进行计算。
2.根据权利要求1所述的方法，其特征在于，获取在所述标准物距下，相机成像平面中单个像素对应的实际距离包括：
获取相机拍摄的棋盘格标定板的棋盘格图片，所述棋盘格标定板放置于h处，所述h为相机成像平面到标准进料口平面的垂直距离；
提取所述棋盘格图片的特征点；
根据所述特征点对所述相机的参数进行标定，得到在所述标准物距下，相机成像平面中单个像素对应的实际距离。
3.根据权利要求1所述的方法，其特征在于，控制所述目标物料的卸料设备的卸料口从初始位置移动到所述世界坐标系的所述第一坐标进行卸料包括：
获取所述卸料口的可移动范围；
判断所述第一坐标是否在所述可移动范围内；
若所述第一坐标在所述可移动范围内，则控制所述目标物料的卸料设备的卸料口从初始位置移动到所述世界坐标系的所述第一坐标进行卸料。
4.根据权利要求1所述的方法，其特征在于，在采用语义分割模型对所述图像进行语义分割，得到进料口区域图之前，所述方法还包括：
获取样本帧；
采用初始权重，以及所述样本帧的所有像素的损失函数对初始模型进行训练，得到第一中间模型，其中，所述第一中间模型包括第一权重；
采用所述损失函数计算每个像素的损失值，按照所述损失值对像素进行降序排列，选取序列前预设占比的像素的损失值；
采用所述第一权重，以及所述序列前预设占比的像素的损失值对所述第一中间模型进行训练，得到第二中间模型，其中，所述第二中间模型包括第二权重；
采用所述第二权重和所述损失函数对所述第二中间模型进行训练，得到语义分割模型。
5.根据权利要求4所述的方法，其特征在于，获取样本帧包括：
获取相机采集的样本视频；
获取所述样本视频的当前帧；
对所述当前帧进行运动目标检测，并将所述当前帧与所述当前帧的相邻帧进行图像相似度计算；
若所述当前帧为运动目标，且所述当前帧与所述相邻帧的相似度低于预设阈值，则确定所述当前帧为车辆卸料过程的前景样本帧；
提取所述前景样本帧作为用于模型训练的样本帧。
6.一种卸料装置，其特征在于，包括：
获取模块，用于获取目标物料的进料车辆的进料图像；
分隔模块，用于采用语义分割模型对所述进料图像进行语义分割，得到进料口区域图；
计算模块，用于定位所述进料口区域图的中心位置，并计算所述中心位置在世界坐标系下的第一坐标；
控制模块，用于控制所述目标物料的卸料设备的卸料口从初始位置移动到所述世界坐标系的所述第一坐标进行卸料；
所述计算模块包括第二计算单元，用于对所述进料口区域图采用霍夫变换进行椭圆检测，得到所述进料口区域对应的椭圆；提取所述椭圆对应的圆心，将所述圆心作为所述进料口区域图的中心位置；
所述计算模块包括第一计算单元，用于获取所述进料车辆的实际高度，根据所述实际高度计算实际物距，所述实际物距为所述进料车辆的进料口平面与相机成像平面的实际垂直距离，其中，所述相机成像平面与水平面平行；获取在实际物距下，相平面中所述中心位置在相平面坐标系下的第二坐标，所述第二坐标的单位为像素；获取标准物距，并获取在所述标准物距下，相机成像平面中单个像素对应的实际距离；
设定所述第一坐标为（xb，yb），所述实际物距为Sb，所述标准物距为S，所述第二坐标为（x_pixes，y_pixes），所述实际距离包括在所述标准物距下，x轴、y轴方向每个像素所代表的实际距离space_x与space_y，并采用以下计算公式：，进行计算。
7.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：
存储器，用于存放计算机程序；
处理器，用于通过运行存储器上所存放的程序来执行权利要求1至5中任一项所述的方法步骤。
8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至5中任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311193800.5A CN116934847B (zh) | 2023-09-15 | 2023-09-15 | 卸料方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311193800.5A CN116934847B (zh) | 2023-09-15 | 2023-09-15 | 卸料方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116934847A CN116934847A (zh) | 2023-10-24 |
| CN116934847B true CN116934847B (zh) | 2024-01-05 |
Family
ID=88390906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311193800.5A Active CN116934847B (zh) | 2023-09-15 | 2023-09-15 | 卸料方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116934847B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112487898A (zh) * | 2020-11-18 | 2021-03-12 | 中科云谷科技有限公司 | 搅拌站搅拌车进、卸口对齐自动判定方法、设备及系统 |
| CN113160204A (zh) * | 2021-04-30 | 2021-07-23 | 聚时科技(上海)有限公司 | 基于目标检测信息生成缺陷区域的语义分割网络训练方法 |
| CN113554002A (zh) * | 2021-09-18 | 2021-10-26 | 三一汽车制造有限公司 | 对齐状态检测方法、系统、电子设备及存储介质 |
| CN113580380A (zh) * | 2021-03-19 | 2021-11-02 | 三一汽车制造有限公司 | 搅拌站智能卸料监控方法及系统 |
| CN114359223A (zh) * | 2022-01-05 | 2022-04-15 | 三一汽车制造有限公司 | 料位面高度检测方法、装置、系统及作业机械 |
| CN115139413A (zh) * | 2022-05-16 | 2022-10-04 | 中联重科股份有限公司 | 进料控制方法、系统及计算机可读存储介质 |
| WO2023028880A1 (zh) * | 2021-08-31 | 2023-03-09 | 华为技术有限公司 | 车载相机的外部参数的标定方法及相关装置 |
| CN116129380A (zh) * | 2023-01-03 | 2023-05-16 | 重庆长安汽车股份有限公司 | 自动驾驶车辆行驶车道判别方法、系统、车辆及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9881234B2 (en) * | 2015-11-25 | 2018-01-30 | Baidu Usa Llc. | Systems and methods for end-to-end object detection |
| KR102215757B1 (ko) * | 2019-05-14 | 2021-02-15 | 경희대학교 산학협력단 | 이미지 세그멘테이션 방법, 장치 및 컴퓨터 프로그램 |
| US11460856B2 (en) * | 2019-09-13 | 2022-10-04 | Honda Motor Co., Ltd. | System and method for tactical behavior recognition |
-
2023
- 2023-09-15 CN CN202311193800.5A patent/CN116934847B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112487898A (zh) * | 2020-11-18 | 2021-03-12 | 中科云谷科技有限公司 | 搅拌站搅拌车进、卸口对齐自动判定方法、设备及系统 |
| CN113580380A (zh) * | 2021-03-19 | 2021-11-02 | 三一汽车制造有限公司 | 搅拌站智能卸料监控方法及系统 |
| WO2022193848A1 (zh) * | 2021-03-19 | 2022-09-22 | 三一汽车制造有限公司 | 搅拌站智能卸料监控方法及系统 |
| CN113160204A (zh) * | 2021-04-30 | 2021-07-23 | 聚时科技(上海)有限公司 | 基于目标检测信息生成缺陷区域的语义分割网络训练方法 |
| WO2023028880A1 (zh) * | 2021-08-31 | 2023-03-09 | 华为技术有限公司 | 车载相机的外部参数的标定方法及相关装置 |
| CN113554002A (zh) * | 2021-09-18 | 2021-10-26 | 三一汽车制造有限公司 | 对齐状态检测方法、系统、电子设备及存储介质 |
| CN114359223A (zh) * | 2022-01-05 | 2022-04-15 | 三一汽车制造有限公司 | 料位面高度检测方法、装置、系统及作业机械 |
| CN115139413A (zh) * | 2022-05-16 | 2022-10-04 | 中联重科股份有限公司 | 进料控制方法、系统及计算机可读存储介质 |
| CN116129380A (zh) * | 2023-01-03 | 2023-05-16 | 重庆长安汽车股份有限公司 | 自动驾驶车辆行驶车道判别方法、系统、车辆及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Not All Pixels Are Equal: Learning Pixel Hardness for Semantic Segmentation;Xin Xiao等;《arXiv:2305.08462v1》;第1-13页 * |
| 基于语义分割的混凝土搅拌站卸料对齐方法;黄跃峰等;《混凝土机械优秀论文》(第2期);第38-41页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116934847A (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108124487B (zh) | 云端抄表方法及装置 | |
| CN109658454B (zh) | 一种位姿信息确定方法、相关装置及存储介质 | |
| CN108229475B (zh) | 车辆跟踪方法、系统、计算机设备及可读存储介质 | |
| CN113706495B (zh) | 一种在传送带上自动检测锂电池参数的机器视觉检测系统 | |
| CN112912932B (zh) | 一种车载摄像头的标定方法、装置及终端设备 | |
| CN115880296B (zh) | 基于机器视觉的预制构件质量检测方法及装置 | |
| CN113552123A (zh) | 视觉检测方法和视觉检测装置 | |
| CN113554004B (zh) | 搅拌车溢料检测方法、检测系统、电子设备及搅拌站 | |
| CN110866949A (zh) | 中心点定位方法、装置、电子设备和存储介质 | |
| EP3617937A1 (en) | Image processing device, driving assistance system, image processing method, and program | |
| CN111310727A (zh) | 对象检测方法及装置、存储介质、电子装置 | |
| CN115880260A (zh) | 基站施工的检测方法、装置、设备及计算机可读存储介质 | |
| CN116934847B (zh) | 卸料方法、装置、电子设备及存储介质 | |
| CN113902740A (zh) | 图像模糊程度评价模型的构建方法 | |
| CN116485801B (zh) | 基于计算机视觉的胶管质量在线检测方法及系统 | |
| CN112215304A (zh) | 一种用于地理影像拼接的灰度影像匹配方法及装置 | |
| CN115690747B (zh) | 车辆盲区检测模型测试方法、装置、电子设备及存储介质 | |
| CN111598097A (zh) | 一种基于机器人视觉的仪表位置、读数识别方法和系统 | |
| CN116071562A (zh) | 一种植物种子识别方法、装置、电子设备及存储介质 | |
| CN112839168B (zh) | 一种自动调整aoi检测系统中相机成像分辨率的方法 | |
| CN109242894B (zh) | 一种基于移动最小二乘法的图像对齐方法及系统 | |
| CN113689411B (zh) | 一种基于视觉识别的计件方法、装置及存储介质 | |
| CN117233157A (zh) | 一种基于无人机巡检的绝缘子缺陷检测方法及系统 | |
| CN113269767B (zh) | 基于机器视觉的批量零件特征检测方法、系统、介质和设备 | |
| CN117392127B (zh) | 一种显示面板边框的检测方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |