CN111145218B - 一种基于YOLO算法的mini-LED芯片精密定位方法 - Google Patents
一种基于YOLO算法的mini-LED芯片精密定位方法 Download PDFInfo
- Publication number
- CN111145218B CN111145218B CN201911391077.5A CN201911391077A CN111145218B CN 111145218 B CN111145218 B CN 111145218B CN 201911391077 A CN201911391077 A CN 201911391077A CN 111145218 B CN111145218 B CN 111145218B
- Authority
- CN
- China
- Prior art keywords
- pixel position
- image
- frame image
- conveyor belt
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于YOLO算法的mini‑LED芯片精密定位方法,包括步骤:设定待跟踪的mini‑LED芯片中的mark图片,设置预定像素位置;启动传送带后开启相机;将mark图片作为模板存入模板文件中;从第一帧图像起的每一帧图像都进行目标检测,得到每一帧图像中mark图片的置信度和像素位置;根据图像的置信度与设定的置信度阈值的大小关系,确定图像匹配情况;将mark图片在所检测帧图像中的像素位置与预定像素位置进行比较,调节传送带的速度;当实时的mark图片的像素位置与像素预定位置距离相差小于等于允许误差时,停止传送带,完成定位。本发明采用YOLO的深度学习目标检测算法,通过实时跟踪mini‑LED芯片位置,并实时调整传送带速度,达到精确定位的效果,有效地提高mini‑LED的生产效率。
Description
技术领域
本发明涉及目标跟踪定位的技术领域,尤其涉及一种基于YOLO算法的mini-LED芯片精密定位方法。
背景技术
目前,随着计算机视觉技术的发展,基于视觉的运动目标检测与跟踪成为当前研究热点,在视频监控、虚拟现实、人机交互、行星探测、精确制导等诸多方面都有广泛的应用前景。
YOLO算法是一种基于深度学习神经网络框架的物体检测算法,该算法将输入的图像分为7乘7的网格,并以每个网格为中心预置5个默认框,算法的输出是在每个网格处预测以该5个默认框为基础的偏移,并同时预测对应的类别。5个预置的默认框是通过在大量物体检测数据集上进行聚类得到的5种具有代表性的框,因而能保证输出框的准确性与算法回归的收敛性。该方法可以消除由于视野场景发生变化带来的检测累计误差,即使背景十分复杂,也可以识别目标物体。
白光LED是一种新型半导体全固态照明光源。与传统照明技术相比,这种新型光源具有高效节能、长寿命、小体积、易维护、绿色环保、使用安全、耐候性好等领先优势,被公认为是未来照明光源之首选。
白光LED封装是推动国际半导体照明和显示迅速发展的关键工艺,而荧光粉涂覆是目前国际上实现蓝光LED向白光LED转换的主流技术。目前很多机器使用模板匹配的方法来实现LED的自动上料过程中芯片的自动定位,这样使用模板匹配的传统方法有个问题,当环境变化时,比如光强变化,当终端执行机构高度变化时,需要重新相机标定,否则会导致匹配的严重不准确,可靠性很低,但是这样很麻烦。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于YOLO算法的mini-LED芯片精密定位方法。本发明能够实现对芯片的持续跟踪,具有速度快、实时性好、对于环境变化的实用性强等优点,相较于传统方法,能够提高定位的准确性和可靠性,能够提高生产效率。
本发明的目的能够通过以下技术方案实现:
一种基于YOLO算法的mini-LED芯片精密定位方法,包括步骤:
设定待跟踪的mini-LED芯片中的mark图片,设置在图像中的预定像素位置,令预定像素位置作为芯片最终要停留的位置;相机放置到指定拍摄位置,启动传送带后开启相机实时逐帧采集图像并将图像实时发送给计算机;
将作为特定目标的mark图片作为模板存入模板文件中,作为训练的样本;
将出现mark图片的第一帧图像作为第一帧图像,使用YOLO检测算法从第一帧图像起的每一帧图像都进行目标检测,得到每一帧图像中mark图片的置信度和像素位置;
判断图像的置信度是否大于设定的置信度阈值:
如果第i帧图像的置信度大于等于置信度阈值,则表示跟踪成功,第i帧图像的目标跟踪完成,将匹配到的mark图片从第i帧图像中截取出来作为新的模板存入模板文件中,令i=i+1,进行下一帧图像的目标跟踪;
如果置信度小于置信度阈值,则第i帧图像中没有特定目标,令i=i+1,进行下一帧图像的目标跟踪;
将mark图片在所检测帧图像中的像素位置与预定像素位置进行比较,调节传送带的速度;
当实时的mark图片的像素位置与像素预定位置距离相差小于等于允许误差时,停止传送带,完成定位。
具体地,所述设置在图像中的预定像素位置,方法为:将mini-LED芯片放置在理想终点位置,查看图片取得mark点的中心像素的坐标,令该坐标作为预定像素位置。
具体地,所述每一帧图像中的mark图片的检测结果包括置信度{a1,a2,…,an}和对应的像素位置{S1,S2,…,Sn};其中,n表示帧数,置信度表示匹配到目标的可能性,置信度越高,匹配到目标的可能性就越高,超过置信度阈值Thres表示成功匹配并跟踪到目标。像素位置S是根据传送带方向来决定,如果传送带方向是沿X轴方向,则S是取像素坐标(x,y)的x值。
具体地,所述将mark图片在所检测帧图像中的像素位置与预定像素位置进行比较,调节传送带的速度的步骤中,实时像素位置与预定像素位置越近,传送带的速度需要控制得越小,传送带的速度调节公式为:
v=k/S
其中v是传送带速度,k是系数,S是mark图片的像素位置{x,y}的x值。k系数通过试凑法或根据具体运行情况来确定。
本发明相较于现有技术,具有以下的有益效果:
当前,目前很多机器使用模板匹配的方法来实现mini-LED的自动上料过程中芯片的自动定位,这种方法抗干扰能力弱,对环境变化敏感,生产效率不高。采用本发明可以利用深度学习的优点能很有效的提高机器的抗干扰能力,环境变化适应性强,定位精度高,可以大幅提高生产效率。
附图说明
图1是本发明提供的基于YOLO算法的mini-LED芯片目标跟踪定位过程的方法流程图。
图2是本发明提供的传送带结构图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
如图1所示为一种基于YOLO算法的mini-LED芯片精密定位方法的流程图,所述方法包括步骤:
(1)设定待跟踪的mini-LED芯片中的mark图片,设置在图像中的预定像素位置,令预定像素位置作为芯片最终要停留的位置;相机放置到指定拍摄位置,启动传送带后开启相机实时逐帧采集图像并将图像实时发送给计算机;
所述mark图片用于作为训练样本,本发明中目标检测就是检测匹配这个mark图片,也就是实时跟踪这个mark图片,mark图片是整个大芯片的一个小标记,是芯片的一个固定位置标记。整个图像中是独一无二的,通过检测这个标记来代替检测整个芯片。
传送带的结构如图2所示,在本实施例中,移动轴使相机的视野能覆盖传送带,然后固定相机在传送带正上方中间(2)的正上方,在视野的起点(1)处放置芯片,拍摄一张图片,截取芯片上的mark点图片作为待跟踪的目标,并设置在图像中的预定像素位置的x轴坐标D作为芯片最终要停留的位置。
所述设置在图像中的预定像素位置,方法为:将mini-LED芯片放置在理想终点位置(2),查看图片取得mark点的中心像素的X坐标,令该坐标作为预定像素位置D。
(2)将作为特定目标的mark图片作为模板存入模板文件中,作为训练的样本;
在本发明中,将匹配成功的每个位置的mark图片都作为训练样本,增大训练样本数量,提高可靠性。
(3)将出现mark图片的第一帧图像作为第一帧图像,使用YOLO检测算法从第一帧图像起的每一帧图像都进行目标检测,得到每一帧图像中mark图片的置信度和像素位置;
所述每一帧图像中的mark图片的检测结果包括置信度{a1,a2,…,an}和对应的像素位置{S1,S2,…,Sn};其中,n表示帧数,置信度表示匹配到目标的可能性,置信度越高,匹配到目标的可能性就越高,超过置信度阈值Thres表示成功匹配并跟踪到目标。像素位置S是根据传送带方向来决定,如果传送带方向是沿X轴方向,则S是取像素坐标(x,y)的x值。
(4)判断图像的置信度是否大于设定的置信度阈值:
如果第i帧图像的置信度大于等于置信度阈值,则表示跟踪成功,第i帧图像的目标跟踪完成,将匹配到的mark图片从第i帧图像中截取出来作为新的模板存入模板文件中,令i=i+1,进行下一帧图像的目标跟踪;
如果置信度小于置信度阈值,则第i帧图像中没有特定目标,令i=i+1,进行下一帧图像的目标跟踪;
(5)将mark图片在所检测帧图像中的像素位置与预定像素位置进行比较,调节传送带的速度;
对于成功匹配并跟踪到的目标,将用于控制传送带的运动速度,实时跟踪到的目标像素位置S与设定的预定像素位置D进行比较,S越接近D,则传送带速度要设置的越小。传送带的速度调节公式为:
v=k/S
其中v是传送带速度,k是系数,S是mark图片的像素位置{x,y}的x值。
(6)当实时的mark图片的像素位置与像素预定位置距离相差小于等于允许误差时,停止传送带,完成定位。
判断目标像素位置S与预定位置D的距离,如果D-S≤diff,则停止传送带,diff表示此次定位的允许误差,停止相机拍摄和目标跟踪,定位完成,进行下一步喷涂作业。否则按照步骤(5)控制传送带的速度。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (2)
1.一种基于YOLO算法的mini-LED芯片精密定位方法,其特征在于,包括步骤:
设定待跟踪的mini-LED芯片中的mark图片,设置在图像中的预定像素位置,令预定像素位置作为芯片最终要停留的位置;相机放置到指定拍摄位置,启动传送带后开启相机实时逐帧采集图像并将图像实时发送给计算机;
将作为特定目标的mark图片作为模板存入模板文件中,作为训练的样本;
将出现mark图片的第一帧图像作为第一帧图像,使用YOLO检测算法从第一帧图像起的每一帧图像都进行目标检测,得到每一帧图像中mark图片的置信度和像素位置;
根据图像的置信度与设定的置信度阈值的大小关系,确定图像匹配情况,具体为:
如果第i帧图像的置信度大于等于置信度阈值,则表示跟踪成功,第i帧图像的目标跟踪完成,将匹配到的mark图片从第i帧图像中截取出来作为新的模板存入模板文件中,令i=i+1,进行下一帧图像的目标跟踪;
如果置信度小于置信度阈值,则第i帧图像中没有特定目标,令i=i+1,进行下一帧图像的目标跟踪;
将mark图片在所检测帧图像中的像素位置与预定像素位置进行比较,调节传送带的速度,其中,实时像素位置与预定像素位置越近,传送带的速度需要控制得越小,传送带的速度调节公式为:
v=k/S
其中v是传送带速度,k是系数,S是mark图片的像素位置{x,y}的x值;
当实时的mark图片的像素位置与像素预定位置距离相差小于等于允许误差时,停止传送带,完成定位。
2.根据权利要求1所述的方法,其特征在于,所述设置在图像中的预定像素位置,方法为:将mini-LED芯片放置在理想终点位置,查看图片取得mark点的中心像素的坐标,令该坐标作为预定像素位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911391077.5A CN111145218B (zh) | 2019-12-30 | 2019-12-30 | 一种基于YOLO算法的mini-LED芯片精密定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911391077.5A CN111145218B (zh) | 2019-12-30 | 2019-12-30 | 一种基于YOLO算法的mini-LED芯片精密定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111145218A CN111145218A (zh) | 2020-05-12 |
CN111145218B true CN111145218B (zh) | 2023-04-07 |
Family
ID=70521672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911391077.5A Active CN111145218B (zh) | 2019-12-30 | 2019-12-30 | 一种基于YOLO算法的mini-LED芯片精密定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111145218B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113158753B (zh) * | 2021-02-07 | 2021-11-05 | 北京信息科技大学 | 捷联图像制导飞行器的目标识别及制导方法 |
CN114323638A (zh) * | 2022-01-05 | 2022-04-12 | 山东工大中能科技有限公司 | 基于计算机视觉的输送带打滑检测方法、系统及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685827A (zh) * | 2018-11-30 | 2019-04-26 | 南京理工大学 | 一种基于dsp的目标检测与跟踪方法 |
CN109871763A (zh) * | 2019-01-16 | 2019-06-11 | 清华大学 | 一种基于yolo的特定目标跟踪方法 |
-
2019
- 2019-12-30 CN CN201911391077.5A patent/CN111145218B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685827A (zh) * | 2018-11-30 | 2019-04-26 | 南京理工大学 | 一种基于dsp的目标检测与跟踪方法 |
CN109871763A (zh) * | 2019-01-16 | 2019-06-11 | 清华大学 | 一种基于yolo的特定目标跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111145218A (zh) | 2020-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112766103B (zh) | 一种机房巡检方法及装置 | |
CN106737665B (zh) | 基于双目视觉和sift特征匹配的机械臂控制系统及实现方法 | |
CN113723325B (zh) | 一种装配式预制构件的工装缺陷检测系统 | |
CN102636120B (zh) | Led芯片视觉伺服二次定位系统及其定位方法 | |
CN208027173U (zh) | 一种机器人摄像头安装参数可调式测试装置 | |
CN111145218B (zh) | 一种基于YOLO算法的mini-LED芯片精密定位方法 | |
WO2019062423A1 (zh) | 一种舞台灯光自动跟踪系统及其控制方法 | |
CN104574389A (zh) | 基于彩色机器视觉的电池片色差分选控制方法 | |
CN102879404B (zh) | 工业结构化场景中医用胶囊缺陷自动检测的系统 | |
CN205340165U (zh) | 一种基于图像检测的舞台人员定位装置 | |
Yang et al. | An automatic aperture detection system for LED cup based on machine vision | |
CN105758318A (zh) | 基于机器视觉色差法在线检测CdS薄膜厚度的系统及方法 | |
CN107797560A (zh) | 一种用于机器人跟踪的视觉识别系统及方法 | |
CN114863250B (zh) | 集装箱锁孔识别定位方法、系统及存储介质 | |
CN115761535A (zh) | 应用于土壤质量数据分析方法和系统 | |
WO2019223763A1 (zh) | 图像检测方法、装置、设备及介质,图案化控制系统及方法 | |
CN114226289A (zh) | 基于机器视觉的自动化激光标记系统、标记方法及应用 | |
CN113989241A (zh) | 一种基于图像处理与深度学习融合的光伏组件el缺陷检测方法 | |
CN103949054A (zh) | 红外光枪定位方法及系统 | |
CN106444774B (zh) | 基于室内照明灯的移动机器人视觉导航方法 | |
Wang et al. | Improved visual odometry based on ssd algorithm in dynamic environment | |
CN114885473A (zh) | 分布式照明智能控制系统 | |
CN115514930A (zh) | 一种配网线路无人机智能巡检方法 | |
CN118758945A (zh) | 一种基于机器视觉的工业产品质量检测系统及方法 | |
CN117915510B (zh) | 一种led灯恒功率输出的控制系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |