CN113569841A - 一种用于线阵相机的数据采集与标注装置及其标注方法 - Google Patents
一种用于线阵相机的数据采集与标注装置及其标注方法 Download PDFInfo
- Publication number
- CN113569841A CN113569841A CN202111110332.1A CN202111110332A CN113569841A CN 113569841 A CN113569841 A CN 113569841A CN 202111110332 A CN202111110332 A CN 202111110332A CN 113569841 A CN113569841 A CN 113569841A
- Authority
- CN
- China
- Prior art keywords
- sample
- marking
- labeling
- conveyor belt
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 17
- 238000002372 labelling Methods 0.000 claims abstract description 50
- 230000008859 change Effects 0.000 claims abstract description 31
- 230000009466 transformation Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 14
- 101100408454 Arabidopsis thaliana PLC6 gene Proteins 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 101150096839 Fcmr gene Proteins 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G15/00—Conveyors having endless load-conveying surfaces, i.e. belts and like continuous members, to which tractive effort is transmitted by means other than endless driving elements of similar configuration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
- B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/22—Devices influencing the relative position or the attitude of articles during transit by conveyors
- B65G47/24—Devices influencing the relative position or the attitude of articles during transit by conveyors orientating the articles
- B65G47/244—Devices influencing the relative position or the attitude of articles during transit by conveyors orientating the articles by turning them about an axis substantially perpendicular to the conveying plane
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/701—Line sensors
Abstract
本发明提供了一种用于线阵相机的数据采集与标注装置及其标注方法，采集与标注装置包括执行模块、PLC和主控电脑，执行模块和PLC均连接到主控电脑，传送带为循环式结构并转动安装有与传送带一同移动的承托盘，样本置于承托盘中令同一样本能够连续重复经过设有线阵相机和光源的采集区域多次采集图像数据，主控电脑用于在每次采集图像数据前设置和修改各个执行模块的配置参数，并依据前一次的标注框的位置信息和修改后的配置参数对标注框进行位置信息的重新计算，求取标注框新的位置信息实现对图像数据中样本位置的自动标注。本发明能实现多个朝向和方向位置的自动姿态改变，获得训练集效率搞，并能对实现自动标注。
Description
技术领域
本发明涉及一种用于线阵相机的数据采集与标注装置及其标注方法。
背景技术
基于神经网络的图像处理技术在工业检测中有着广泛的应用，为了提升算法准确度，需要大量经过标注的被检测目标图像对神经网络进行训练，图像中目标的姿态、光照、位置等参数越丰富多样，训练效果越好。然而，人工拍摄与标注大量图像的成本非常高，效率非常低，而且人工操作误差较大，多样性也无法保证，拍摄效果无法控制，由于改变样本姿态灵活程度较大，很容易造成拍摄的图像参数重复的情况发生。同时线阵相机采集的都是定向移动的样本的图像，当触发拍照后，样本的位置会因输送速度、样本朝向和样本在输送装置上的横向位置不同造成样本在被线阵相机采集后存在朝向、位置的差异，因此用于训练线阵相机识别模型的训练集不仅各个图像数据要具备样本各种朝向的图像，还需要有样本在图像中横向、纵向位置都不同的各种图像数据，否则无法适应实际生产中可能存在的各种样本设置情况，由此带来训练集中样本位置的各种改变也令对样本进行标注的工作难以依靠现有的简单设备完成。
发明内容
本发明的目的在于提供一种用于线阵相机的数据采集与标注装置，以解决现有技术中通过改变样本姿态产生的姿态变化范围有限，难以实现多个朝向和方向位置的自动姿态改变，也不能对应前述改变方式形成自动标注，获得训练集效率较低，而且改变样本姿态不可控，很容易造成拍摄的图像重复的技术问题。
所述的一种用于线阵相机的数据采集与标注装置，包括执行模块、PLC和主控电脑，所述执行模块包括传送带、姿态变换模块、线阵相机、光源和触发传感器，所述传送带、所述姿态变换模块、所述光源、所述线阵相机和所述PLC均连接到主控电脑，所述触发传感器和所述线阵相机均连接到PLC；所述传送带为循环式结构并转动安装有与所述传送带一同移动的承托盘，样本置于所述承托盘中令同一样本能够连续重复经过设有所述线阵相机和所述光源的采集区域多次采集图像数据，所述主控电脑用于在每次采集图像数据前设置和修改各个执行模块的配置参数，并依据前一次的标注框的位置信息和修改后的配置参数对标注框进行位置信息的重新计算，求取标注框新的位置信息实现对图像数据中样本位置的自动标注。
优选的，所述传送带包括模拟输送部分和循环输送部分，循环输送部分至少具有一个令输送方向发生改变的变向输送结构，所述采集区域和所述姿态变换模块顺着所述传送带的输送方向依次设于所述模拟输送部分，触发传感器设置在线阵相机与姿态变换模块之间。
优选的，所述模拟输送部分采用直线段输送结构，所述循环输送部分包括一个与所述模拟输送部分平行的直线结构的变速输送部分，用传送带变速时输送样本，变速输送部分的两端均通过半圆形结构的变向输送结构分别与所述模拟输送部分的两端连接形成完整的循环结构。
优选的，所述承托盘上设有用于标识输送方向和横向方向的十字标示线，以及用于标识距离所述承托盘中心距离的若干环形距离标示线，所述承托盘中心位于所述传送带的中线上。
优选的，所述姿态变换模块包括电机、转盘、电缸、机架和吸盘，所述机架设置在所述传送带的上方，所述转盘与所述机架转动连接，所述电机驱动所述转盘转动，所述电缸固定在所述转盘底部的中间，所述吸盘固定在所述电缸活塞杆的端部。
优选的，由所述主控电脑设置的配置参数包括电机转动的转角、传送带的速度和触发传感器的延迟时间，自动标注计算所用的配置参数包括电机转动的转角、传送带的速度、触发传感器的延迟时间、变向输送结构上所述承托盘中心的移动轨迹的半径，样本相对所述承托盘的中心的位置距离。
本发明还提供了一种利用上述的用于线阵相机的数据采集与标注装置的标注方法，包括如下步骤：
1）启动数据采集与标注装置，设置样本信息并初始化各项配置参数，对各个执行模块进行参数配置；
2）放置样本，样本触发传感器后线阵相机开始第一次拍摄并将图像传到主控电脑7；
3）操作人员从主控电脑中提取采集图像信息中的第一张图片并对图片上需要识别的物品进行手动标注，完成标注框的创建；
4）主控电脑自动修改执行模块的一项或多项配置参数；
5）改变传送带的速度；
6）姿态变换模块改变样本朝向；
7）样本再次经过触发传感器根据新的配置参数延时触发线阵相机拍摄；
8）线阵相机将图像数据传到主控电脑，主控电脑依据配置参数对样本的转角和位置信息进行计算，根据计算得到的位置信息的改变量对上一次标注得到的标注框在图像数据中的位置信息进行计算使之与样本的新位置信息匹配，并将图像数据、类型信息、位置信息以及当前的配置信息合并保存得到完整标注信息
9）重复步骤5-8，直至拍摄图片数量达到预先设定的值停止运行或者手动停止。
优选的，所述标注框的计算方式包括：图像中样本到由触发传感器5触发后确定的图像边缘之间的可确定距离
，其中
为延迟时间为0时图像中样本到触发传感器5触发后确定的图像边缘的初始距离， 
是传送带的速度, 
为延迟时间，设输送方向为采集图像数据的坐标空间的y轴方向，则y轴坐标改变量为
，
为根据本次检测所用配置参数计算出的当前采集图像的可确定距离，
为根据前一次检测时计算出的前一次采集图像的可确定距离，利用y轴坐标改变量即可根据前一次采集的标注框的位置信息计算出当前采集图像的标注框位置信息，实现标注框的自动标注。
优选的，所述标注框的计算方式包括：电机的配置参转角为
，由此能计算出当前图像数据对应的样本转角
，样本转角
作为本次采集数据对应的配置参数之一与图像数据绑定储存，之后将样本转角
带入极坐标与直角坐标转换方程得到直角坐标的相对变化量：
，
，其中R为样本相对所述承托盘的中心的距离，通过该组直角坐标的相对变化量对标注框的位置信息进行计算就能得到改变后的标注框位置信息，实现标注框的自动标注。
优选的，所述标注框的计算方式包括：由于有物体位置偏移公式：
， 
为变化后传送带的速度，
为变化前传送带的速度，
为变化前的样本距离变向输送结构的曲率中心的距离，
的初始值为输入的变向输送结构上所述承托盘中心的移动轨迹的半径，
为新的距离，当 
达到足够让样本相对承托盘横向移动的速度时，配置参数变化后当前图像数据对应的新的距离
由物体位置偏移公式计算出来，由此进一步求得x轴坐标改变量即横向位移量：
，利用x轴坐标改变量即可根据前一次采集的标注框的位置信息计算出当前采集图像的标注框位置信息，实现标注框的自动标注。
本发明的优点在于：1、完成第一次手动标注工作后，可以完全通过该装置的自动系统完成自动采集以及自动标注工作，而样本姿态由姿态变换模块、传送带等执行模块调整改变，执行模块调整所用的配置参数由主控电脑根据线阵相机采集样本图像的特点自动生成，大大提高工作效率，能产生包括多个方向位置、朝向的图像数据，自动生成的模式大幅提高获得训练集效率，并能通过设置避免产生重复的图像数据，优化了训练集的训练效果。
2、由于样本涉及位置、朝向等姿态改变的因素是执行模块配置参数的改变，本系统对样本姿态的调整是可控可预测的，因此主控电脑也能依据改变前后的配置参数、标注框的位置信息、样本信息等数据实现对调整后样本位置的估计，并由此估计图像中样品的位置变化量，从而由此对标注框进行同样的位置变换，令标注框位置与图像中样品位置保持一致，实现自动标注并保证自动标志的可靠性和准确性。
3、在采集图像的同时能够保存拍照时的多种参数信息，方便用于后续分析工作，如训练过程中对训练集元素的挑选，或者在训练时将部分相关参数作为训练集的一部分。
附图说明
图1为本发明的结构示意图；
图2为本发明姿态变换模块的结构示意图；
图3为本发明线性相机的结构示意图；
图4为本发明的原理框图。
图5为本发明中承托盘的俯视图。
附图中的标记为：1、传送带，21、电机，22、转盘，23、电缸，24、吸盘，25、机架，3、线阵相机，4、光源，5、触发传感器，6、PLC，7、主控电脑，8、承托盘，81、环形距离标示线，82、十字标示线。
具体实施方式
下面对照附图，通过对实施例的描述，对本发明具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。
如图1-5所示，本发明提供了一种用于线阵相机的数据采集与标注装置，包括传送带1、姿态变换模块、线阵相机3、光源4、触发传感器5、PLC6和主控电脑7。传送带1为循环式结构，令同一样本的输送过程能够连续重复经过设有线阵相机3的采集区域，所述传送带1包括模拟现场线阵相机3输送环境的模拟输送部分和实现循环输送效果的循环输送部分。循环输送部分至少具有一个令输送方向发生改变的变向输送结构。
光源4设置在采集区域，采集区域和所述姿态变换模块顺着所述传送带1的输送方向依次设于所述模拟输送部分，触发传感器5设置在线阵相机3与姿态变换模块之间，所述传送带1、所述姿态变换模块、所述光源4、所述线阵相机3和所述PLC均连接到主控电脑7，所述触发传感器5和所述线阵相机3均连接到PLC。主控电脑7根据内置算法以预先设计好的规则对所述传送带1、所述姿态变换模块、所述光源4、所述线阵相机3和所述PLC6各个部分的配置参数进行设置和更改，也可以基于指定范围内随机选取相应的配置参数进行设置，基于防止拍摄的图像重复目的，对于已经被设置过的参数组合主控电脑7会将该配置组合加入黑名单禁止再次作为同一样本的采集用配置参数。
所述传送带1上在设置样本的位置转动连接有一个承托盘8，所述承托盘8只能转动并随传送带1移动，样本置于承托盘8中。所述承托盘8上设有用于标识输送方向和横向方向的十字标示线82，以及用于标识距离所述承托盘8中心距离的若干环形距离标示线81，所述承托盘8中心位于所述传送带1的中线上。这样使用者能在承托盘8放置样本时方便地确定放置样本相对所述承托盘8的中心的位置距离，在进行自动采集和标注过程时能将样本相对所述承托盘8的中心的位置距离作为参数输入到系统，供系统在自动标注时进行标注框位置的计算。
所述模拟输送部分考虑线阵相机3对输送的要求采用直线段输送结构，在本实施例中所述循环输送部分包括一个与所述模拟输送部分平行的直线段输送结构作为变速输送部分，作用是在进行传送带1输送速度增减时承担输送样本的作用，变速输送部分的两端均通过半圆形结构的变向输送结构分别与所述模拟输送部分的两端连接形成完整的循环结构。采用这种结构当传送带1变速时能避免变速过程中样本相对承托盘8发送不可预测的滑行，同时在控制传送带1的加速度的情况下，直线结构的变速输送部分能更方便地保持样本的稳定性。
相反半圆形结构的变向输送结构则具有驱使样本相对承托盘8滑动的效果，当传送带1的速度足够大时，通过变向输送结构能让样本相对承托盘8做出沿传送带1横向滑动的效果，并且若此过程传送带1的速度稳定，还能比较准确地估测样本相对承托盘8的滑行方向和滑动距离。
姿态变换模块包括电机21、转盘22、电缸23、机架25和吸盘24，机架25设置在传送带1的上方，转盘22与机架25转动连接，电机21驱动转盘22转动，电缸23固定在转盘22底部的中间，吸盘24固定在电缸23活塞杆的端部，当样本运行到姿态变换模块时电缸23的活塞杆下降，吸盘24吸住样本或承托盘8，电机21驱动转盘22转动主控电脑7设置的角度，吸盘24带动样本或承托盘8转动，然后吸盘24停止工作，脱离样本或承托盘8，并将电缸23的活塞杆收回，样本随承托盘8继续向线阵相机3一侧移动。吸盘24位于传送带1顶部的中线位置上，当样本位于承托盘8中心并能够被所述吸盘24吸附时，吸盘24直接改变的是样本的朝向，但如果样本的形状难以被有效吸附或样本位置远离吸盘不能被吸附，吸盘24则用于转动承托盘8改变样本的朝向，当样本不在承托盘8的中心时，这种转动还会改变样本的位置。
电机21为步进电机，其运行参数通过主控电脑7进行配置，电缸23的运行参数线阵相机3接收到PLC6的信号时拍摄一张照片，其曝光时间、感光度、白平衡、焦距等参数通过主控电脑7配置，拍摄的照片传输到主控电脑7保存，光源4的亮度通过主控电脑7控制。
主控电脑7用于设定运行模式、配置参数、保存图像和标注结果，以及在每次采集时基于前一次的图像数据自动改变标注框的位置实现自动标注。
触发传感器5为红外传感器，样本经过触发传感器5前侧时触发，触发传感器5信号传递到PLC6。
PLC6对触发传感器5的触发信号进行处理并触发线阵相机3进行拍摄，其延迟时间等参数由主控电脑7配置。
在采集区域，本实施例中由于现场采集图像的线阵相机3是设于传送带1的上方，因此本装置也将线阵相机3、光源4模拟实际采集的场景通过支架设于传送带1的上方，从上方采集图像数据。如果现场实际是从侧面进行采集，则可将线阵相机3设于采集区域的侧面，对样品经过姿态变换模块造成的位置改变则考虑投影方向的改变，对计算公式进行适应性改变，从而计算出改变后的标注框位置。
针对上述的数据采集与标注装置，本发明还提供了适用于上述数据采集与标注装置的标注方法，具体包括如下步骤：
1）主控电脑7启动，获取线阵相机3信息，设置样本信息（包括放置样本相对所述承托盘8的中心的位置距离），初始化各项配置参数，并将参数配置到传送带1、姿态变换模块、线阵相机3、光源4和PLC6中，传送带1开始运行；
2）将样本放在传送带1上，样本经过触发传感器5的监控区域时，触发传感器5触发，将信号输送到PLC6，PLC6按照设定参数实现去抖动以免重复触发，并在等待设定的延迟时间后控制线阵相机3开始第一次拍摄并将图像传到主控电脑7；
3）操作人员从主控电脑7中提取采集图像信息中的第一张图片并对图片上需要识别的物品进行手动标注，并完成标注框的创建；
4）主控电脑7修改传送带1、姿态变换模块、线阵相机3、光源4和PLC6中的一项或多项配置参数，配置参数修改可以按照预先设计好的规则进行，也可以在指定范围内随机选取；
5）当样品进入变速输送部分后，系统依据修改后的配置参数控制传送带1变速，当变速后速度较大产生的离心力足以引发样本滑移时，样本会在变向输送结构处滑移产生横向位置变化；
6）同一样本运输到姿态变换模块处，电缸23的活塞杆向下伸出，吸盘24工作，吸住样本，通过电机21带动转盘22转动，转盘22带动电缸23转动从而带动样本转动主控电脑7设置的角度后，吸盘24停止工作脱离样本，电缸23的活塞缸收进缸筒内；
7）样本继续在传送带1上向运行，经过触发传感器5的监控区域时，触发传感器5触发，将信号输送到PLC6，PLC6按照设定参数实现去抖动以免重复触发，并在等待设定的拍照延时后控制线阵相机3开始拍摄；
8）线阵相机3拍照并将图像传到主控电脑7，主控电脑7依据姿态变换模块的参数对上一次标注得到的标注框的位置信息进行修改，将标注框调整到与改变后的样本姿态位置相匹配完成自动标注，并将图像、类型信息、位置信息以及当前使用的系统配置合并保存，得到包含以上数据的完整标注信息；
9）重复步骤5-8，直至拍摄图片数量达到预先设定的值停止运行或者手动停止。
上述过程中若干样本本身被所述吸盘24吸附进行转动以改变朝向时，样本依旧位于承托盘8的中心，样本在线阵相机3采集的图像数据中的位置只受传送带1的速度和触发传感器5的延迟时间参数，当触发传感器5被样本边缘触发后，根据延迟时间能确定图像初次采集线阵图像产生的图像边缘位置，因此图像中样本到由触发传感器5触发后确定的图像边缘之间的可确定距离
，其中
为延迟时间为0时图像中样本到触发传感器5触发后确定的图像边缘的初始距离，该值可能为负，
是传送带1的速度。在实际进行姿态变换时，能够通过
、
中任一参数改变模拟实际输送装置的速度改变。设输送方向为采集图像数据的坐标空间的y轴方向，则标注框由于过传送带1的速度
和延迟时间
变化导致的y轴坐标改变量为
，
为根据本次检测所用配置参数计算出的当前采集图像的可确定距离，
为根据前一次检测时计算出的前一次采集图像的可确定距离，利用y轴坐标改变量即可根据前一次采集的标注框的位置信息（即坐标集合）计算出当前采集图像的标注框位置信息，实现标注框的自动标注。
而如果样本不在承托盘8的中心，从而令吸盘24实际驱动承托盘8转动，由于之前放置样本时已经输入了样本相对承托盘8中心的相对位置距离，将该参数加入考虑计算出样本在以承托盘8中心为原点的极坐标空间的坐标，本次检测如姿态变换模块对承托盘8进行转动，产生的转角由电机21的配置参数能确定为
，由此能计算出当前图像数据对应的样本转角
，样本转角
作为本次采集数据对应的配置参数之一与图像数据绑定储存，之后将样本转角
带入极坐标与直角坐标转换方程得到直角坐标的相对变化量：
，
。其中R为样本相对所述承托盘8的中心的距离，可以通过输入的参数——放置样本相对所述承托盘8的中心的位置距离——确定。通过该组直角坐标的相对变化量对标注框的位置信息进行计算就能得到改变后的标注框位置信息，实现标注框的自动标注。
在样本底部较为平整并且样本本身在移动中比较稳定的情况下，当需要调整样本在传送带1横向方向的位置变化时，可以通过变向输送结构产生的离心力控制样本在传送带1横向方向的位置变化。设样本第一次放置时位于承托盘8的中心，则
为变化前的样本距离变向输送结构的曲率中心的距离等于传送带1自身固有的配置参数——变向输送结构上所述承托盘8中心的移动轨迹的半径。
物体随传送带1运动时，物体收到的力有传送带1向上的支持力,其大小与物体所受的重力。物体受到离心力的作用，离心力变大时，物体的姿态和位置会发生变化。
离心力计算公式 
，
为曲率半径，
为传送带1的速度，
为样本的质量。
摩擦力公式
，
为样本底部与承托盘8之间的摩擦力系数。
在传送带1速度稳定时，物体所受向离心力和摩擦力相等，
等于
，使物体可以在传送带1不发生偏移。
当传送带1的速度发生改变时，从 
增大时，物体所受离心力会变大，此瞬间
大于
，物体为保持受力平衡，使得 
等于
，物体在传送带1位置会向外偏移，使得
变大。
将
的变化系数和
的变化系数带入离心力计算公式 
可以得到新的离心力计算公式
，其中
和
为系数，当
大于1的时候，可以认为时传送带1速度变大，公式可以化简为
。假设速度增加1.1倍，为保持
的数值不变，
会变成1.21，即物体在距离曲率中心的位置变远了1.21倍。
由于有物体位置偏移公式：
，
为变化后传送带1的速度，
为变化前传送带1的速度，
为变化前的样本距离变向输送结构的曲率中心的距离（相当于变向输送结构上所述承托盘8中心的移动轨迹的半径）。
为新的距离。
因此可以得出结论，当样本的质量m为恒定值，调整传送带1的速度v，会改变物体所受的离心力，当物理所受的向心力发生变化时，为保持受力平衡，物体的距离曲率中心的位置会发生变化。
依据上述原理，对样本进行横向位移调整时，配置参数的方式首先是在前一次检测过程中将样本与承托盘8中心的连线方向调整到与传送带1横向方向一致，电机21的具体转角参数计算通过再前一次采集过程中图像数据对应的样本估计的坐标位置 
计算得到，这样下一次当样本进入变速输送部分后，系统调整传送带1的速度
，使其根据上述原理达到需要改变横向位置所需的速度大小，并由此确定当前图像数据采集过程中作为配置参数目标的新的距离
（相当于前述原理过程中的
）。在完成配置参数后，求得x轴坐标改变量即横向位移量：
，利用x轴坐标改变量即可根据前一次采集的标注框的位置信息计算出当前采集图像的标注框位置信息，实现标注框的自动标注。
上述三种改变方式能相互结合，例如先将样本放置于承托盘8的中心，在低速范围内改变传送带1的速度、改变触发传感器5的延迟时间以及电机21的转角从而对样本进行朝向和位置的改变，之后采集一定量图像数据后，再通过将传送带1的速度增大到能够令样本发生横向位移的大小，然后结合计算横向位移的方法实现对样本位置的横向改变和标注框的自动标注。
本采集和标注装置既能通过配置参数的自动生成控制姿态变换模块、传送带、触发传感器5等设备令样本在各个方向位置和朝向产生改变，进而针对相应的样本姿态采集图像数据的功能，一方面，由于造成样品上述位置和朝向的改变是通过与图像数据绑定的配置参数产生的，因此当配置参数改变，本系统能通过配置参数计算出样本位置的变化量，并由此确定样本在图中的位移量，进而利用位移量对标注框的位置修正，保证计算得到的标注框与样本位置相对应，实现了针对配置参数改变后图像数据的自动标注。
由于相机拍摄的图像中物体的位置还与透射关系有关，设置内置透射矩阵作为参数，标注框即图像中样本的位置与内置透射矩阵的值有关，设置多种透射矩阵，可以获得多组不同的图片。设
为物体初始图像，
为经过透射变化后生成的图像，则有：
其中，
为透射矩阵，通过设置透射矩阵中的9个参数，可以生成无数种图片，将透射矩阵 
用于修正标注框的位置信息就能产生与各个透射变化的图像数据对应的标注框，实现自动标注。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的发明构思和技术方案进行的各种非实质性的改进，或未经改进将本发明构思和技术方案直接应用于其它场合的，均在本发明保护范围之内。
Claims (10)
1.一种用于线阵相机的数据采集与标注装置，包括执行模块、PLC和主控电脑(7)，所述执行模块包括传送带(1)、姿态变换模块、线阵相机(3)、光源(4)和触发传感器(5)，所述传送带(1)、所述姿态变换模块、所述光源(4)、所述线阵相机(3)和所述PLC均连接到主控电脑(7)，所述触发传感器(5)和所述线阵相机(3)均连接到PLC；所述传送带(1)为循环式结构并转动安装有与所述传送带(1)一同移动的承托盘(8)，样本置于所述承托盘(8)中令同一样本能够连续重复经过设有所述线阵相机(3)和所述光源(4)的采集区域多次采集图像数据，所述主控电脑(7)用于在每次采集图像数据前设置和修改各个执行模块的配置参数，并依据前一次的标注框的位置信息和修改后的配置参数对标注框进行位置信息的重新计算，求取标注框新的位置信息实现对图像数据中样本位置的自动标注。
2.根据权利要求1所述的一种用于线阵相机的数据采集与标注装置，其特征在于：所述传送带(1)包括模拟输送部分和循环输送部分，循环输送部分至少具有一个令输送方向发生改变的变向输送结构，所述采集区域和所述姿态变换模块顺着所述传送带(1)的输送方向依次设于所述模拟输送部分，触发传感器(5)设置在线阵相机(3)与姿态变换模块之间。
3.根据权利要求2所述的一种用于线阵相机的数据采集与标注装置，其特征在于：所述模拟输送部分采用直线段输送结构，所述循环输送部分包括一个与所述模拟输送部分平行的直线结构的变速输送部分，用传送带(1)变速时输送样本，变速输送部分的两端均通过半圆形结构的变向输送结构分别与所述模拟输送部分的两端连接形成完整的循环结构。
4.根据权利要求3所述的一种用于线阵相机的数据采集与标注装置，其特征在于：所述承托盘(8)上设有用于标识输送方向和横向方向的十字标示线(82)，以及用于标识距离所述承托盘(8)中心距离的若干环形距离标示线(81)，所述承托盘(8)中心位于所述传送带(1)的中线上。
5.根据权利要求4所述的一种用于线阵相机的数据采集与标注装置，其特征在于：所述姿态变换模块包括电机(21)、转盘(22)、电缸(23)、机架(25)和吸盘(24)，所述机架(25)设置在所述传送带(1)的上方，所述转盘(22)与所述机架(25)转动连接，所述电机(21)驱动所述转盘(22)转动，所述电缸(23)固定在所述转盘(22)底部的中间，所述吸盘(24)固定在所述电缸(23)活塞杆的端部。
6.根据权利要求5所述的一种用于线阵相机的数据采集与标注装置，其特征在于：由所述主控电脑(7)设置的配置参数包括电机(21)转动的转角、传送带(1)的速度和触发传感器(5)的延迟时间，自动标注计算所用的配置参数包括电机(21)转动的转角、传送带(1)的速度、触发传感器(5)的延迟时间、变向输送结构上所述承托盘(8)中心的移动轨迹的半径，样本相对所述承托盘(8)的中心的位置距离。
7.一种根据权利要求1-6任一所述的一种用于线阵相机的数据采集与标注装置的标注方法，其特征在于：包括如下步骤：
1）启动数据采集与标注装置，设置样本信息并初始化各项配置参数，对各个执行模块进行参数配置；
2）放置样本，样本触发传感器(5)后线阵相机(3)开始第一次拍摄并将图像传到主控电脑(7)；
3）操作人员从主控电脑(7)中提取采集图像信息中的第一张图片并对图片上需要识别的物品进行手动标注，完成标注框的创建；
4）主控电脑(7)自动修改执行模块的一项或多项配置参数；
5）改变传送带(1)的速度；
6）姿态变换模块改变样本朝向；
7）样本再次经过触发传感器(5)根据新的配置参数延时触发线阵相机(3)拍摄；
8）线阵相机(3)将图像数据传到主控电脑(7)，主控电脑(7)依据配置参数对样本的转角和位置信息进行计算，根据计算得到的位置信息的改变量对上一次标注得到的标注框在图像数据中的位置信息进行计算使之与样本的新位置信息匹配，并将图像数据、类型信息、位置信息以及当前的配置信息合并保存得到完整标注信息；
9）重复步骤5-8，直至拍摄图片数量达到预先设定的值停止运行或者手动停止。
8.一种根据权利要求7所述的一种用于线阵相机的数据采集与标注装置的标注方法，其特征在于：所述标注框的计算方式包括：图像中样本到由触发传感器 (5)触发后确定的图像边缘之间的可确定距离
，其中
为延迟时间为0时图像中样本到触发传感器 (5)触发后确定的图像边缘的初始距离，v是传送带(1)的速度, t为延迟时间，设输送方向为采集图像数据的坐标空间的y轴方向，则y轴坐标改变量为
，
为根据本次检测所用配置参数计算出的当前采集图像的可确定距离，
为根据前一次检测时计算出的前一次采集图像的可确定距离，利用y轴坐标改变量即可根据前一次采集的标注框的位置信息计算出当前采集图像的标注框位置信息，实现标注框的自动标注。
9.一种根据权利要求7所述的一种用于线阵相机的数据采集与标注装置的标注方法，其特征在于：所述标注框的计算方式包括：电机(21)的配置参转角为 
，由此能计算出当前图像数据对应的样本转角
，样本转角
作为本次采集数据对应的配置参数之一与图像数据绑定储存，之后将样本转角 带入极坐标与直角坐标转换方程得到直角坐标的相对变化量：
，
，其中R为样本相对所述承托盘(8)的中心的距离，通过该组直角坐标的相对变化量对标注框的位置信息进行计算就能得到改变后的标注框位置信息，实现标注框的自动标注。
10.一种根据权利要求7所述的一种用于线阵相机的数据采集与标注装置的标注方法，其特征在于：所述标注框的计算方式包括：由于有物体位置偏移公式：
，
为变化后传送带(1)的速度，
为变化前传送带(1)的速度，
为变化前的样本距离变向输送结构的曲率中心的距离，
的初始值为输入的变向输送结构上所述承托盘(8)中心的移动轨迹的半径，
为新的距离，当
达到足够让样本相对承托盘(8)横向移动的速度时，配置参数变化后当前图像数据对应的新的距离
由物体位置偏移公式计算出来，由此进一步求得x轴坐标改变量即横向位移量：
，利用x轴坐标改变量即可根据前一次采集的标注框的位置信息计算出当前采集图像的标注框位置信息，实现标注框的自动标注。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111110332.1A CN113569841B (zh) | 2021-09-23 | 2021-09-23 | 一种用于线阵相机的数据采集与标注装置及其标注方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111110332.1A CN113569841B (zh) | 2021-09-23 | 2021-09-23 | 一种用于线阵相机的数据采集与标注装置及其标注方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113569841A true CN113569841A (zh) | 2021-10-29 |
| CN113569841B CN113569841B (zh) | 2021-12-28 |
Family
ID=78174012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111110332.1A Active CN113569841B (zh) | 2021-09-23 | 2021-09-23 | 一种用于线阵相机的数据采集与标注装置及其标注方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113569841B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115086522A (zh) * | 2022-06-10 | 2022-09-20 | 福州大学 | 一种棒状金属表面图像采集方法 |
| CN115540755A (zh) * | 2022-09-30 | 2022-12-30 | 哈尔滨科锐同创机模制造有限公司 | 一种快速检测工件尺寸的自动化工作站、测量系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160070986A1 (en) * | 2014-09-04 | 2016-03-10 | Xerox Corporation | Domain adaptation for image classification with class priors |
| CN108875730A (zh) * | 2017-05-16 | 2018-11-23 | 中兴通讯股份有限公司 | 一种深度学习样本收集方法、装置、设备及存储介质 |
| CN109558868A (zh) * | 2017-09-27 | 2019-04-02 | 缤果可为（北京）科技有限公司 | 图像自动采集和标注设备及方法 |
| CN110648366A (zh) * | 2019-10-14 | 2020-01-03 | 阿丘机器人科技(苏州)有限公司 | 基于深度学习的橘子检测系统及分瓣方法 |
-
2021
- 2021-09-23 CN CN202111110332.1A patent/CN113569841B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160070986A1 (en) * | 2014-09-04 | 2016-03-10 | Xerox Corporation | Domain adaptation for image classification with class priors |
| CN108875730A (zh) * | 2017-05-16 | 2018-11-23 | 中兴通讯股份有限公司 | 一种深度学习样本收集方法、装置、设备及存储介质 |
| CN109558868A (zh) * | 2017-09-27 | 2019-04-02 | 缤果可为（北京）科技有限公司 | 图像自动采集和标注设备及方法 |
| CN110648366A (zh) * | 2019-10-14 | 2020-01-03 | 阿丘机器人科技(苏州)有限公司 | 基于深度学习的橘子检测系统及分瓣方法 |
Non-Patent Citations (2)
| Title |
|---|
| A. NOVOZÁMSKÝ ET AL.: "Automated Object Labeling For Cnn-Based Image Segmentation", 《 2020 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 * |
| 林静 等: "水果姿态图像自动采集训练检测仪设计", 《中国测试》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115086522A (zh) * | 2022-06-10 | 2022-09-20 | 福州大学 | 一种棒状金属表面图像采集方法 |
| CN115086522B (zh) * | 2022-06-10 | 2023-05-26 | 福州大学 | 一种棒状金属表面图像采集方法 |
| CN115540755A (zh) * | 2022-09-30 | 2022-12-30 | 哈尔滨科锐同创机模制造有限公司 | 一种快速检测工件尺寸的自动化工作站、测量系统及方法 |
| CN115540755B (zh) * | 2022-09-30 | 2023-10-03 | 哈尔滨科锐同创机模制造有限公司 | 一种快速检测工件尺寸的自动化工作站、测量系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113569841B (zh) | 2021-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113569841B (zh) | 一种用于线阵相机的数据采集与标注装置及其标注方法 | |
| CN107009358B (zh) | 一种基于单相机的机器人无序抓取装置及方法 | |
| CN207832115U (zh) | 一种基于三轴运动控制的视觉检测系统 | |
| CN108748149B (zh) | 一种复杂环境下基于深度学习的无标定机械臂抓取方法 | |
| CN103842036A (zh) | 利用照相机拍摄移动的被拍摄体并根据拍摄图像来获取被拍摄体的实际移动轨迹的方法及系统 | |
| EP1727677B1 (en) | Automatic mounting system | |
| CN107063139A (zh) | 一种基于机器人视觉的产品表面处理检测装置及方法 | |
| CN1727983A (zh) | 选通脉冲照明 | |
| CN112658631B (zh) | 自动化装配设备 | |
| WO2022021561A1 (zh) | 一种货品分拣系统及分拣方法 | |
| US20200094401A1 (en) | System and method for automatic learning of product manipulation | |
| CN108955525B (zh) | 透视投影式机器学习图像数据标注系统及方法 | |
| CN109894376B (zh) | 水表视觉检测设备 | |
| CN203708648U (zh) | 一种ccd滑台式分拣系统 | |
| CN109541626B (zh) | 目标平面法向量检测装置及检测方法 | |
| CN109284407A (zh) | 一种用于智能售货柜训练自动标注数据集的装置 | |
| CN106553762B (zh) | 一种无人机 | |
| CN111366072B (zh) | 一种用于图像深度学习的数据采集方法 | |
| CN109322513B (zh) | 万向车台紧急扶持机构 | |
| CN108402420A (zh) | 连续式槟榔点卤设备 | |
| CN109374037A (zh) | 一种影像自动化检测装置 | |
| CN211047019U (zh) | 一种多角度图像采集系统 | |
| CN114889931A (zh) | 一种贴标机及贴标方法、装置、电子装置和存储介质 | |
| CN114285979A (zh) | 一种微距摄影设备及方法 | |
| CN114723823A (zh) | 一种可排吸多吸嘴标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231130 Address after: 9/F, Henan Enterprise Alliance Building, No. 238, Mingli Road, Longzihu, Zhengdong New District, Zhengzhou City, Henan Province, 450000 Patentee after: Henan Qidi Ruishi Intelligent Technology Co.,Ltd. Address before: 201210 unit 02, 6 / F, building 5, No. 666 shengxia road and No. 122 Yindong Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai Patentee before: Shanghai Qidi Ruishi Intelligent Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |