CN108596173A - 单相机全视角线号实时识别装置及其检测方法 - Google Patents
单相机全视角线号实时识别装置及其检测方法 Download PDFInfo
- Publication number
- CN108596173A CN108596173A CN201810351895.1A CN201810351895A CN108596173A CN 108596173 A CN108596173 A CN 108596173A CN 201810351895 A CN201810351895 A CN 201810351895A CN 108596173 A CN108596173 A CN 108596173A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- optical identification
- full view
- wire size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 17
- 230000003287 optical effect Effects 0.000 claims description 73
- 230000007246 mechanism Effects 0.000 claims description 48
- 238000013519 translation Methods 0.000 claims description 32
- 238000009434 installation Methods 0.000 claims description 15
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 230000004888 barrier function Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000007873 sieving Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 5
- 238000011031 large-scale manufacturing process Methods 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 239000004411 aluminium Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 102220057728 rs151235720 Human genes 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
- G03B15/06—Special arrangements of screening, diffusing, or reflecting devices, e.g. in studio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于单相机全视角线号实时识别装置,使大型全自动布线系统可以对线缆上的线号进行实时检测。同时公开了基于单相机全视角线号识别装置的检测方法,围绕工业现场复杂环境,设计研究小型化,轻量的自动检测装置,针对识别装置结构,照明方式,图像特征检测,检测结果判断识别进行了详细的介绍。本发明可为大型生产线自动布线中无法确定线号的问题,提供技术支持。
Description
技术领域
本发明属于机器视觉及图像处理算法领域,具体涉及一种单相机全视角线号实时识别装置及其检测方法。
背景技术
随着工业技术的发展,大型光机电设备的功能越来越多,线束作为连接大型设备各个部件,它所承担的任务也越来越多,不仅担负着传统的配电功能,还担负着控制,信号传输等重要功能。现有自动布线机不能完成从机械手自动取线到布线的识别过程。机械手可以从众多线缆中随即抽取一条线缆,却不能识别取出线缆的线号,因而无法将该线缆自动布线至其线号对应的布线路径,只能由人工确定线号后向机械手下达布线指令,极大限制了自动布线机的布线效率,由于人工识别干扰因素较多,也无法确保识别准确度,提高了设备安全风险。
发明内容
本发明的目的是提出一种单相机全视角线号实时识别装置和编写图像识别分类软件,取代现有布线系统中人工对线号进行判读,通过编写高效的图像处理算法,可实现由机械手取线后自动对线号进行实时识别,自动匹配布线路径,实现全自动布线操作,可以大大提高线束的分拣效率,降低出错率,解决之前人工无法将线缆匹配到对应安装位置的难题。
本发明的目的是通过以下方案实现的:
一种单相机全视角线号实时识别装置,包括光学识别机构相机安装底板、三维调整机构、全视角反射镜、图像采集和照明部分,三维调整机构、图像采集和照明部分均固定在光学识别机构相机安装底板上,全视角反射镜固定在三维调整机构上,可通过三维调整机构对全视角反射镜进行空间位置调整;所述图像采集和照明部分包括光学识别挡光板、同轴光源、镜头、相机、光学识别机构相机安装底座、光学识别机构相机安装立板、上板面弯板、光学识别机构相机安装底板,光学识别机构相机安装立板固定在光学识别机构相机安装底板上,相机通过光学识别机构相机安装底座固定在光学识别机构相机安装立板上方,同轴光源固定在光学识别机构相机安装立板上方且同轴光源位于相机的正前方,保证相机、同轴光源与全视角反射镜在同一轴线上,光学识别挡光板固定在光学识别机构相机安装立板前端,保证全视角反射镜8的背景为单一的黑色。
所述的一种单相机全视角线号实时识别装置,三维调整机构包括一号平移台、二号平移台、角位移台、光学识别角度台底座、弯板;光学识别角度台底座固定在所述光学识别机构相机安装底板上,角位移台固定在光学识别角度台底座上,一号平移台固定在光学识别角度台底座上,弯板固定在一号平移台上,二号平移台固定在弯板后端面,且一号平移台与二号平移台的平移方向互相垂直;所述全视角反射镜固定在二号平移台后端面。
本发明同时提供一种单相机全视角线号实时识别装置的检测方法,包括以下步骤:
步骤一、通过同步采集的方式,获得线缆的灰度图片,定时器时间为40ms;
步骤二、对步骤一采集到的图像进行预处理:
采用在空间域内直接对图像像素点的灰度值进行处理,通过均值滤波降低图像中的噪声;
步骤三、对步骤二预处理之后图像划定感兴趣的区域,并得到相应的二值图像:
对步骤二处理之后的图像划定感兴趣的区域,通过将预处理后图像与感兴趣的区域相减,获得感兴趣的区域所在的图像,并利用ROI检测算法将全反射镜中线缆的图像筛选出来,对筛选出来的图像采用全局阈值法进行阈值分割,先选取一个阈值,如果图像中某像素点的灰度值小于该阈值,则将该像素点的灰度值设置为0,否则将灰度值设置为255,因此灰度阈值分割后获得的图像为二值图像;
步骤四、对步骤三获得的二值图像中每一个区域,通过形态学的方法获得线缆上光学字符,并对其边缘进行提取:
由于平面镜所成的像为左右镜像的像,因此需要将目标区域进行镜像处理,之后对获得的目标区域进行连通域分析和边缘提取,利用数学形态学的方法即通过一个结构元素去探测一个图像,看能否将这个结构元素很好地填放在图像的内部,同时验证填放结构元素的方法是否有效;在边缘提取的过程中,先对获得字符区域进行膨胀,字符变大,然后在对原字符区域进行腐蚀,字符变小,通过变大的字符与变小的字符区域进行相减,从而获得字符轮廓;
步骤五、确定线缆上是否有光学字符:
通过对步骤四中边缘轮廓是否存在进行判段,如果存在则继续进行下一步,如果不存在则继续采集图像返回步骤一;
步骤六、对提取的边缘轮廓进行特征分类和识别,进而确定线缆上的线号:
通过步骤四和步骤五中获得的目标边缘,从所有图像中学习,提取目标图像特征,训练神经网络分类器,完成对线束字符的识别和分类;将识别出来的线号与数据库中的线号资源进行比对,根据识别结果的置信度来确定字符识别的准确性,进而选择哪个反射面上检测到的字符,确定线束的类型。
本发明具有以下优点:
采用单相机拍照,且通过四块反射镜组成全视角反射镜,实现线缆线号的全视角识别,结构简单、不需要图像拼接和融合,提高检测速度,成本低准确率高。
由于平面镜具有像差小,横向放大倍率为1,畸变小等特点,为后续的图像处理奠定了良好的基础。
将本发明应用于自动布线机,可实现由机械手取线后自动对线号进行识别,进而进行自动布线操作。
附图说明
图1为全视角反射镜与相机布置图;
图2为本发明整体结构示意图;
图3、图4、图5、图6、图7、图8均为全视角反射镜工作示意图;
图9为全视角反射镜结构尺寸图;
图10为本发明图像处理整体流程图;
图11-1、图11-2为图像处理示例图片;
图12-1、图12-2为示例图片进行图像处理后的图片;
图中:
1-光学识别角度台底座;2-KSMG10-65角位移台;3-一号NFP-1462型平移台;4-弯板;5-固定小块;6-上板面;7-二号NFP-1462型平移台;8-全视角反射镜;9-线缆;10-侧板面;11-光学识别挡光板;12-AFT-RC同轴光源;13-M3Z1228C-MP镜头;14-MER-1070-10GM型相机;15-光学识别机构相机安装底座;16-光学识别机构相机安装立板;17-上板面弯板;18-光学识别机构相机安装底板
具体实施方式
以下结合图详细介绍本发明的技术方案:
如图2所示,一种单相机全视角线号实时识别装置,主要由18个零部件组成:光学识别角度台底座1,KSMG10-65角位移台2,一号NFP-1462型平移台3,弯板4,固定小块5,上板面6,二号NFP-1462型平移台7,全视角反射镜8,线缆9,侧板面10,光学识别挡光板11,AFT-RC同轴光源12,M3Z1228C-MP镜头13,MER-1070-10GM型相机14,光学识别机构相机安装底座15,光学识别机构相机安装立板16,上板面弯板17,光学识别机构相机安装底板18。
在光学识别机构相机安装底板18上加工出四个台阶孔,通过沉头螺栓将光学识别机构安装在工作台上,三维调整机构主要由两个NFP-1462型平移台、一个KSMG10-65角位移台2、一个光学识别角度台底座1和弯板4组成,通过螺栓将光学识别角度台底座1、KSMG10-65角位移台2、两个NFP-1462型平移台和弯板4连接起来,使其具备三维空间的微调整能力,具体为:光学识别角度台底座1固定在光学识别机构相机安装底板18上,KSMG10-65角位移台2固定在光学识别角度台底座1上,一号NFP-1462型平移台3固定在光学识别角度台底座1上,弯板4固定在一号NFP-1462型平移台3上,二号NFP-1462型平移台7固定在弯板4后端面,且一号NFP-1462型平移台3与二号NFP-1462型平移台7的平移方向互相垂直。全视角反射镜8与二号NFP-1462型平移台7采用胶连接的方式。在图2右侧为图像采集和照明部分,为了保证相机光源和全视角反射镜在同一轴线上,通过光学识别机构相机安装立板16将MER-1070-10GM型相机14与AFT-RC同轴光源12等装置垫高,同样在光学识别机构相机安装底板18上加工台阶孔,在光学识别机构相机安装立板16上加工螺纹孔,通过螺栓连接的方式固定连接。将MER-1070-10GM型相机14侧面的三个安装定位孔与光学识别机构相机安装底座15通过螺栓连接,达到固定相机的作用,安装调整AFT-RC同轴光源12的位置,使其在MER-1070-10GM型相机14的正前方,采用同轴光源前向照明方式,使得采集的图像具有较高的亮度和良好的对比度,为后续的图像处理打下良好的基础。光学识别挡光板11是为了保证全视角反射镜8的背景为单一的黑色,使得背景单一,便于后期的阈值分割和轮廓提取,通过螺栓连接的方式将光学识别挡光板11固定在光学识别机构相机安装立板16前端。作为光学识别机构的保护装置,通过2mm厚的铝板上板面6等和一些带有螺纹孔的固定小块5通过螺栓连接,起到隔离灰尘杂物,保护识别机构的作用。最后根据物距的大小,线缆到物镜的距离,线缆在全反射镜上的成像规律,以及线缆可动的距离确定线缆到全视角反射镜的距离,通过三维转台调整全视角反射镜的位置和姿态,使相机可以获得清晰的线缆图像以及后续的识别算法,完成对线号的识别和检测。
(1)全视角反射镜镜片夹角的确立
建模以几何光学为基础。由反射定理可知物体反射成像可等效为由物体虚像直接在镜头中成像。在这里应用近轴光学理论进行建模。
约束条件1:保证五个像中至少一个像有线号,并且每个有线号的像中线号完整。由此给出以下约束条件。(其中θ1:第一块镜子与光轴垂线的夹角。θ2:第二块镜子与第一块镜子夹角。α1:(第一块镜子)物体的出射光线与物体虚像的出射光线的夹角。α2:同前定义对于第二块镜子。θ0:线的截面中线号所占角度。)
(θ1+θ2)<θ0+5*pi/180
α1>(pi/2-θ1-θ0/2-5*pi/180)
α2<=(10*pi/180-(θ1+θ2)+θ0)
(θ2+α2-α1)<θ0
(l为字符在柱面上所占弧长,r为线径)
约束条件2:保证物体虚像的出射光路边界不过镜子端点及在镜子内。
(A1x1+B1y1+C1)(A1x2+B1y2+C1)<0
(A2x1+B2y1+C2)(A2x2+B2y2+C2)<0
(A3x3+B3y3+C3)(A3x2+B3y2+C3)<0
(A4x3+B4y3+C4)(A4x2+B4y2+C4)<0
其中Ax+By+C1为虚像出射光路边界的方程。x1,x2,x3分别为镜子的端点坐标。
(注:对于光轴左边的两块镜子,右边同理。)
约束条件3:保证物体虚像的出射光路边界不与物体相交。
其中x0,y0,z0为物体的圆心坐标,r为半径。
约束条件4:尽量使五个像在同一平面上。并且使物镜距离尽可能短,以减小景深。
注:同理。
其中分别为光轴左边虚像的圆心坐标。h1h2h3分别为通过透镜所成像的圆心到过光心且垂直于光轴的直线的距离。f1f分别为透镜的第一主焦距和焦距。由上两式可知当增大时上两式趋于1即五个像位置趋于直线。所以物镜距离尽可能大。
通过建立模型,以及实际操作选取如图1所示的夹角,将四面反射镜拼成全视角反射镜。
(2)装置结构的设计以及元器件的选取
线号识别装置设计及选型方面:相机、镜头、光源以及机械结构部分的设计,将相机、镜头、光源、全反射镜的中心位于同一条直线上,形成共轴光学系统。因为全视角反射镜以及线缆都是黑白色,系统的工作波长可定为可见光区域,因此相机可选择黑白相机。由于全反射镜截面为一92*40mm的矩形面,而传感器靶面通常为4:3的矩形,因此,为了将物体全部摄入靶面内,应该以靶面的短边长度为参考。
由于工厂环境以及对装置尺寸的限制,单相机全视角线号识别装置应尽可能小型化,在保证相机功能的前提下,选择体积小巧、性能可靠、清晰度高的大恒公司水星MER-1070-10GM超小型工业相机,靶面尺寸为1/2.3英寸,分辨率为3843*2748,像素尺寸为1.67μm×1.67μm,β=4.62/92=0.05,可分辨的景物精度为:像素尺寸/放大倍率=0.00167/0.05=0.033mm,因此现有的系统的分辨率可达到0.03mm。
由于全反射镜到镜头的距离为277mm,可得物镜的焦距为f′=I/(1+1/β)=277/(1+1/0.05)=13.2mm,系统像面的分辨率要大于1/(2*0.1*0.05)=100(lp/mm),因此选用Computar M3Z1228C-MP型镜头,其靶面尺寸为:2/3英寸,焦距12-36mm,光圈范围F2.8-F16C。
分析现有的照明方式,以及对光源选型的要求,在满足几何形状、照明亮度、均匀度、发光的光谱特性以及发光效率和使用寿命等条件下,采用前向同轴照明方式将光源至于镜头的正前方,选用维视AFT-RC系列同轴光源(白光)进行系统照明,其外形尺寸为95*70*70。
在全反射镜的控制方面,再用手动三维控制台(X轴和Z轴平移台以及角位移台),选用卓立汉光公司的NFP-1462型平移台(行程25mm灵敏度<0.001mm)以及KSMG10-65角位移台(行程±10mm摆动精度<40um),通过手动对三维控制台进行旋转可以实现对全视角反射镜的各个位置的控制。
(3)图像识别分类软件
本发明单相机全视角线号实时识别装置的检测方法,如图10所示,包括以下步骤:
步骤一、通过同步采集的方式,获得线缆的灰度图片,定时器时间为40ms。
步骤二、对步骤一采集到的图像进行预处理。
由于工业现场的环境较为复杂以及数字图像获取和传输过程中的各种因素引起的噪声(常见的图像噪声有加性噪声、乘性噪声和量化噪声等)在所难免。噪声会造成图像质量的下降,从而增大图像后续处理的难度,因此首先要对采集到的图像进行预处理以提高图像的质量,本装置采用在空间域内直接对图像像素点的灰度值进行处理,通过均值滤波降低图像中的噪声。
步骤三、针对步骤二预处理之后图像划定感兴趣的区域,并得到相应的二值图像。
由于是在线检测,为了提高软件算法的处理效率,通过划定感兴趣的区域(ROI),通过图像与ROI区域相减,获得ROI区域所在的图像,并利用ROI检测算法将全反射镜中线缆的图像筛选出来,对筛选出来的图像采用全局阈值法进行阈值分割,先选取一个阈值(灰度值),如果图像中某像素点的灰度值小于该阈值,则将该像素点的灰度值设置为0,否则将灰度值设置为255,因此灰度阈值分割后获得的图像为二值图像。如图12-1所示,图中目标区域(黑色)和背景区域(白色)。
步骤四、针对步骤三获得的二值图像中每一个区域,通过形态学的方法获得线缆上光学字符,并对其边缘进行提取。
其中,由于平面镜所成的像为左右镜像的像,因此需要将目标区域进行镜像处理,之后对获得的目标区域进行连通域分析和边缘提取,利用数学形态学的方法即通过一个结构元素去探测一个图像,看能否将这个结构元素很好地填放在图像的内部,同时验证填放结构元素的方法是否有效。本设计采用的结构元素为圆形单元结构,半径为50。在边缘提取的过程中,先对获得字符区域进行膨胀,字符变大,然后在对原字符区域进行腐蚀,字符变小,通过变大的字符与变小的字符区域进行相减,从而获得字符轮廓。
步骤五、确定线缆上是否有光学字符
通过对步骤四中边缘轮廓是否存在进行判段,如果存在则继续进行下一步,如果不存在则继续采集图像返回步骤一
步骤六、对提取的边缘轮廓进行特征分类和识别,进而确定线缆上的线号。
通过步骤四和步骤五中获得的目标边缘。从230张图片中学习,提取目标图像特征,训练神经网络分类器,完成对线束字符的识别和分类。将识别出来的线号与数据库中的线号资源进行比对,根据识别结果的置信度来确定字符识别的准确性,从而选择哪个反射面上检测到的字符,从而确定线束的类型,对机械手发出指令完成对线缆的铺设。
本方法可以实现线号的实时自动检测,采用单相机取代多相机识别,不需要算法的融合,降低了算法的复杂度,解决了人工识别易出错,低效率等问题,进而保障了大型生产线自动布线中无法确定线号的问题。
Claims (3)
1.一种单相机全视角线号实时识别装置,其特征在于,包括光学识别机构相机安装底板、三维调整机构、全视角反射镜、图像采集和照明部分,三维调整机构、图像采集和照明部分均固定在光学识别机构相机安装底板上,全视角反射镜固定在三维调整机构上,可通过三维调整机构对全视角反射镜进行空间位置调整;所述图像采集和照明部分包括光学识别挡光板、同轴光源、镜头、相机、光学识别机构相机安装底座、光学识别机构相机安装立板、上板面弯板、光学识别机构相机安装底板,光学识别机构相机安装立板固定在光学识别机构相机安装底板上,相机通过光学识别机构相机安装底座固定在光学识别机构相机安装立板上方,同轴光源固定在光学识别机构相机安装立板上方且同轴光源位于相机的正前方,保证相机、同轴光源与全视角反射镜在同一轴线上,光学识别挡光板固定在光学识别机构相机安装立板前端,保证全视角反射镜8的背景为单一的黑色。
2.如权利要求1所述的一种单相机全视角线号实时识别装置,其特征在于,所述三维调整机构包括一号平移台、二号平移台、角位移台、光学识别角度台底座、弯板;光学识别角度台底座固定在所述光学识别机构相机安装底板上,角位移台固定在光学识别角度台底座上,一号平移台固定在光学识别角度台底座上,弯板固定在一号平移台上,二号平移台固定在弯板后端面,且一号平移台与二号平移台的平移方向互相垂直;所述全视角反射镜固定在二号平移台后端面。
3.如权利要求1所述的一种单相机全视角线号实时识别装置的检测方法,其特征在于,包括以下步骤:
步骤一、通过同步采集的方式,获得线缆的灰度图片,定时器时间为40ms;
步骤二、对步骤一采集到的图像进行预处理:
采用在空间域内直接对图像像素点的灰度值进行处理,通过均值滤波降低图像中的噪声;
步骤三、对步骤二预处理之后图像划定感兴趣的区域,并得到相应的二值图像:
对步骤二处理之后的图像划定感兴趣的区域,通过将预处理后图像与感兴趣的区域相减,获得感兴趣的区域所在的图像,并利用ROI检测算法将全反射镜中线缆的图像筛选出来,对筛选出来的图像采用全局阈值法进行阈值分割,先选取一个阈值,如果图像中某像素点的灰度值小于该阈值,则将该像素点的灰度值设置为0,否则将灰度值设置为255,因此灰度阈值分割后获得的图像为二值图像;
步骤四、对步骤三获得的二值图像中每一个区域,通过形态学的方法获得线缆上光学字符,并对其边缘进行提取:
由于平面镜所成的像为左右镜像的像,因此需要将目标区域进行镜像处理,之后对获得的目标区域进行连通域分析和边缘提取,利用数学形态学的方法即通过一个结构元素去探测一个图像,看能否将这个结构元素很好地填放在图像的内部,同时验证填放结构元素的方法是否有效;在边缘提取的过程中,先对获得字符区域进行膨胀,字符变大,然后在对原字符区域进行腐蚀,字符变小,通过变大的字符与变小的字符区域进行相减,从而获得字符轮廓;
步骤五、确定线缆上是否有光学字符:
通过对步骤四中边缘轮廓是否存在进行判段,如果存在则继续进行下一步,如果不存在则继续采集图像返回步骤一;
步骤六、对提取的边缘轮廓进行特征分类和识别,进而确定线缆上的线号:
通过步骤四和步骤五中获得的目标边缘,从所有图像中学习,提取目标图像特征,训练神经网络分类器,完成对线束字符的识别和分类;将识别出来的线号与数据库中的线号资源进行比对,根据识别结果的置信度来确定字符识别的准确性,进而选择哪个反射面上检测到的字符,确定线束的类型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810351895.1A CN108596173B (zh) | 2018-04-19 | 2018-04-19 | 单相机全视角线号实时识别装置及其检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810351895.1A CN108596173B (zh) | 2018-04-19 | 2018-04-19 | 单相机全视角线号实时识别装置及其检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108596173A true CN108596173A (zh) | 2018-09-28 |
CN108596173B CN108596173B (zh) | 2022-02-11 |
Family
ID=63613633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810351895.1A Expired - Fee Related CN108596173B (zh) | 2018-04-19 | 2018-04-19 | 单相机全视角线号实时识别装置及其检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108596173B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110197181A (zh) * | 2019-05-31 | 2019-09-03 | 烽火通信科技股份有限公司 | 一种基于ocr的线缆字符检测方法及系统 |
CN111553893A (zh) * | 2020-04-24 | 2020-08-18 | 成都飞机工业(集团)有限责任公司 | 一种飞机线束自动布线切断标识识别方法 |
CN111914823A (zh) * | 2020-07-30 | 2020-11-10 | 西湖大学 | 一种用于瓶胚中模穴号识别的在线检测设备 |
CN112270668A (zh) * | 2020-11-06 | 2021-01-26 | 南京斌之志网络科技有限公司 | 垂吊线缆检测方法、系统和电子设备 |
CN112395949A (zh) * | 2020-10-21 | 2021-02-23 | 天津中科智能识别产业技术研究院有限公司 | 多目标人群的虹膜图像获取装置与方法 |
CN113971759A (zh) * | 2021-10-26 | 2022-01-25 | 中国农业大学 | 一种基于计算机视觉的大豆株间杂草自动识别装置及方法 |
CN116258838A (zh) * | 2023-05-15 | 2023-06-13 | 青岛环球重工科技有限公司 | 一种用于管片模具合模系统的智能视觉引导方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101408933A (zh) * | 2008-05-21 | 2009-04-15 | 浙江师范大学 | 基于粗网格特征提取和bp神经网络的车牌字符识别方法 |
CN101980342A (zh) * | 2010-10-08 | 2011-02-23 | 江苏仁安高新技术有限公司 | 一种新型线缆识别标贴 |
US20140252243A1 (en) * | 2013-03-06 | 2014-09-11 | Canon Kabushiki Kaisha | Radiographic apparatus and method for controlling radiographic apparatus |
CN104820985A (zh) * | 2015-04-28 | 2015-08-05 | 电子科技大学 | 一种线缆表观缺陷检测和字符识别装置 |
CN104820827A (zh) * | 2015-04-28 | 2015-08-05 | 电子科技大学 | 一种电线电缆表面的点状字符识别方法 |
CN105301002A (zh) * | 2015-10-29 | 2016-02-03 | 南京邮电大学 | 一种线缆表面缺陷在线检测装置 |
US20160292264A1 (en) * | 2010-07-23 | 2016-10-06 | Sony Corporation | Information processing device, information processing method, and information processing program |
CN106249517A (zh) * | 2016-09-29 | 2016-12-21 | 长春理工大学 | 单相机全视角线号识别装置 |
CN106446896A (zh) * | 2015-08-04 | 2017-02-22 | 阿里巴巴集团控股有限公司 | 一种字符分割方法、装置及电子设备 |
CN107084993A (zh) * | 2017-06-21 | 2017-08-22 | 无锡九霄科技有限公司 | 双相机单工位正反面视觉检测装置 |
-
2018
- 2018-04-19 CN CN201810351895.1A patent/CN108596173B/zh not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101408933A (zh) * | 2008-05-21 | 2009-04-15 | 浙江师范大学 | 基于粗网格特征提取和bp神经网络的车牌字符识别方法 |
US20160292264A1 (en) * | 2010-07-23 | 2016-10-06 | Sony Corporation | Information processing device, information processing method, and information processing program |
CN101980342A (zh) * | 2010-10-08 | 2011-02-23 | 江苏仁安高新技术有限公司 | 一种新型线缆识别标贴 |
US20140252243A1 (en) * | 2013-03-06 | 2014-09-11 | Canon Kabushiki Kaisha | Radiographic apparatus and method for controlling radiographic apparatus |
CN104820985A (zh) * | 2015-04-28 | 2015-08-05 | 电子科技大学 | 一种线缆表观缺陷检测和字符识别装置 |
CN104820827A (zh) * | 2015-04-28 | 2015-08-05 | 电子科技大学 | 一种电线电缆表面的点状字符识别方法 |
CN106446896A (zh) * | 2015-08-04 | 2017-02-22 | 阿里巴巴集团控股有限公司 | 一种字符分割方法、装置及电子设备 |
CN105301002A (zh) * | 2015-10-29 | 2016-02-03 | 南京邮电大学 | 一种线缆表面缺陷在线检测装置 |
CN106249517A (zh) * | 2016-09-29 | 2016-12-21 | 长春理工大学 | 单相机全视角线号识别装置 |
CN107084993A (zh) * | 2017-06-21 | 2017-08-22 | 无锡九霄科技有限公司 | 双相机单工位正反面视觉检测装置 |
Non-Patent Citations (1)
Title |
---|
张童: "基于FPGA的线缆喷印字符光学识别算法的研究", 《中国优秀博硕士学位论文全文数据库(硕士)》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110197181A (zh) * | 2019-05-31 | 2019-09-03 | 烽火通信科技股份有限公司 | 一种基于ocr的线缆字符检测方法及系统 |
CN111553893A (zh) * | 2020-04-24 | 2020-08-18 | 成都飞机工业(集团)有限责任公司 | 一种飞机线束自动布线切断标识识别方法 |
CN111914823A (zh) * | 2020-07-30 | 2020-11-10 | 西湖大学 | 一种用于瓶胚中模穴号识别的在线检测设备 |
CN112395949A (zh) * | 2020-10-21 | 2021-02-23 | 天津中科智能识别产业技术研究院有限公司 | 多目标人群的虹膜图像获取装置与方法 |
CN112395949B (zh) * | 2020-10-21 | 2023-06-20 | 天津中科智能识别产业技术研究院有限公司 | 多目标人群的虹膜图像获取装置与方法 |
CN112270668A (zh) * | 2020-11-06 | 2021-01-26 | 南京斌之志网络科技有限公司 | 垂吊线缆检测方法、系统和电子设备 |
CN112270668B (zh) * | 2020-11-06 | 2021-09-21 | 威海世一电子有限公司 | 垂吊线缆检测方法、系统和电子设备 |
CN113971759A (zh) * | 2021-10-26 | 2022-01-25 | 中国农业大学 | 一种基于计算机视觉的大豆株间杂草自动识别装置及方法 |
CN113971759B (zh) * | 2021-10-26 | 2024-04-16 | 中国农业大学 | 一种基于计算机视觉的大豆株间杂草自动识别装置及方法 |
CN116258838A (zh) * | 2023-05-15 | 2023-06-13 | 青岛环球重工科技有限公司 | 一种用于管片模具合模系统的智能视觉引导方法 |
CN116258838B (zh) * | 2023-05-15 | 2023-09-19 | 青岛环球重工科技有限公司 | 一种用于管片模具合模系统的智能视觉引导方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108596173B (zh) | 2022-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108596173A (zh) | 单相机全视角线号实时识别装置及其检测方法 | |
CN110543871B (zh) | 基于点云的3d比对测量方法 | |
CN111612737B (zh) | 一种人造板表面瑕疵检测装置及检测方法 | |
KR101207198B1 (ko) | 기판 검사장치 | |
CN108765416A (zh) | 基于快速几何对准的pcb表面缺陷检测方法及装置 | |
CN105572144B (zh) | 玻璃边角图像采集装置及系统 | |
CN208207914U (zh) | 基于快速几何对准的pcb表面缺陷检测装置 | |
CN101013028A (zh) | 图像处理方法以及图像处理装置 | |
WO2004010380A3 (en) | Measuring 3d deformations of an object by comparing focusing conditions for sharp capturing of said object before and after deformation | |
CN113884497B (zh) | 一种基于复合光源的fpca飞拍检测方法 | |
US10579890B2 (en) | Automatic alignment of a 3D model to a test object | |
WO2006075528A1 (ja) | 3次元オブジェクト計測装置 | |
CN206611521U (zh) | 一种基于多传感器的车载环境识别系统及全方位视觉模块 | |
CN109632809A (zh) | 产品质量检测方法及装置 | |
CN109141240A (zh) | 一种自适应3d测量及信息获取装置 | |
CN110189375A (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
CN112033971A (zh) | 一种视觉瑕疵检测系统及方法 | |
CN115546716A (zh) | 一种基于双目视觉的输电线路周边火灾源头定位方法 | |
CN111340959A (zh) | 一种基于直方图匹配的三维模型无缝纹理贴图方法 | |
CN103873773B (zh) | 基于主辅协同双光路设计的全向成像方法 | |
CN110200315A (zh) | 一种用于烟支外观视觉检测机器的成像装置 | |
CN113189005A (zh) | 一种便携式表面缺陷一体化检测装置及表面缺陷自动检测方法 | |
Tao et al. | Utilization of both machine vision and robotics technologies in assisting quality inspection and testing | |
CN115183989B (zh) | 一种近眼显示模组检测方法及检测系统 | |
CN111489384A (zh) | 基于互视角的遮挡评估方法及装置、设备、系统和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220211 |