CN111047646A - 基于fpga的多目标透镜定位方法及系统 - Google Patents

基于fpga的多目标透镜定位方法及系统 Download PDF

Info

Publication number
CN111047646A
CN111047646A CN201911147770.8A CN201911147770A CN111047646A CN 111047646 A CN111047646 A CN 111047646A CN 201911147770 A CN201911147770 A CN 201911147770A CN 111047646 A CN111047646 A CN 111047646A
Authority
CN
China
Prior art keywords
image
fpga
target lens
target
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911147770.8A
Other languages
English (en)
Inventor
姚红兵
朱卫华
张爱梅
张�林
邹华
张开骁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201911147770.8A priority Critical patent/CN111047646A/zh
Publication of CN111047646A publication Critical patent/CN111047646A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于FPGA的多目标透镜定位方法,包括:获取多目标透镜的图像,使每个目标透镜成的像形成一个完整的环形区域;对获取的图像进行预处理,得到二值化图像;采用连通域标记法对得到的二值化图像进行标记,得到标记后的图像;基于标记后的图像,提取每个目标透镜的内轮廓所包围的区域以及该区域的中心坐标。本发明还提供一种基于FPGA的多目标透镜定位系统。本发明通过平面光源产生平面光照射到透镜上,使目标透镜成的像形成一个完整的环形区域,然后通过摄像头获取目标透镜的图像并发送至FPGA,FPGA对获取的图像进行预处理、连通域标记后,提取出每个目标透镜的内轮廓所包围的区域以及该区域的中心坐标,最终识别出多个目标透镜的准确位置。

Description

基于FPGA的多目标透镜定位方法及系统
技术领域
本发明涉及图像识别技术领域,具体为一种基于FPGA(Field-ProgrammableGate Array,现场可编程门阵列)的多目标透镜定位方法及系统。
背景技术
机器视觉是一门研究如何利用计算机来模拟人类的视觉功能进而识别图像中的有价值信息的学科,它主要由三个系统组成:照明系统,图像处理系统和机械控制系统。图像处理系统是机器视觉中非常重要的一个部分,它接收来自照明系统的图像,需要对图像分析出我们需要的有价值的信息,比如目标的坐标,种类等,最终将这些信息传输给机械控制系统。对比人工,机器视觉技术有着巨大的优势:
1人在长时间工作后会因为疲劳等原因在不同的工作时段有着不同的效率,机器不会疲倦,可以长时间保持同一效率。
2人在与产品接触的时候,即使有着防护措施,仍然不可避免的会污染或划伤到产品,这会给后续的步骤产生影响,而机器相对要“安全”的多。
3当今社会,人力成本非常高,并且需要持续的支付,而机器只需要初次投入,剩下的只需要维护费和电费,从长远考虑,机器的成本低于人力成本。
因此,在现有的图像处理系统中,需要借助机器视觉的优势,提高多目标识别的速度和效率。
发明内容
本发明的目的是针对现有技术存在的问题,提供一种基于FPGA的多目标透镜定位方法及系统,通过平面光源产生平面光照射到透镜上,使目标透镜成的像形成一个完整的环形区域,然后通过摄像头获取目标透镜的图像并发送至FPGA,FPGA对获取的图像进行预处理、连通域标记后,提取出每个目标透镜的内轮廓所包围的区域以及该区域的中心坐标,最终识别出多个目标透镜的准确位置。
为实现上述目的,本发明采用的技术方案是:
基于FPGA的多目标透镜定位方法,包括:
获取多目标透镜的图像,使每个目标透镜成的像形成一个完整的环形区域;
对获取的图像进行预处理,得到二值化图像;
采用连通域标记法对得到的二值化图像进行标记,得到标记后的图像;
基于标记后的图像,提取每个目标透镜的内轮廓所包围的区域以及该区域的中心坐标。
优选地,对获取的图像进行预处理,得到二值化图像的步骤进一步包括:对获取的图像进行灰度化、中值滤波、二值化和开运算后,得到多目标透镜的二值化图像。
优选地,采用连通域标记法对得到的二值化图像进行标记,得到标记后的图像的步骤进一步包括:基于逐行扫描进行连通域的标定,将每个单独的连通域区分开。
优选地,在进行全图标记时,目标像素点只与自身像素点上、下、左、右四个方向上的像素点存在邻接关系。
优选地,在进行全图标记时,待标记的二值化图像包括M行N列,其中,第一行、第M行、第一列和第N列所对应的像素点设置为同一标记值,对第2~M-1行和第2~N-1列,先判断当前像素点的值为0还是1,如果是1,那么将当前位置对应的标记值置为1。
优选地,如果为0,则考虑该像素点上一行同位置坐标的像素点的标记值和当前行左边位置坐标的像素点的标记值,得到不同的标记值结果。
优选地,基于标记后的图像,判断每个连通区是否为有效区域,若是有效区域,则计算出该区域的外接矩形的中心,得到每个目标透镜的内轮廓所包围的区域以及该区域的中心坐标。
基于FPGA的多目标透镜定位系统,包括平面光源、放置平台、摄像头和FPGA,放置平台用以放置透镜,摄像头设置于透镜的正上方,摄像头与FPGA连接;平面光源产生平面光照射到透镜上,使目标透镜成的像形成一个完整的环形区域,摄像头获取透镜的图像并将获取的图像发送至FPGA,FPGA对获取的图像进行预处理、连通域标记后,提取出每个目标透镜的内轮廓所包围的区域以及该区域的中心坐标。
与现有技术相比,本发明的有益效果是:
(1)本发明利用平面光源照射放置平台上的透镜,使透明的透镜生成的像形成一个完整的环形区域,然后利用图像处理和连通域分析的方法将每个单独的目标区分出来并且定位,具有识别速度快,识别目标多,同时识别位置和正反面的优点。
(2)本发明利用多目标透镜定位系统进行多目标定位,首先获取目标透镜的图像,使每个目标透镜成的像形成一个完整的环形区域,然后进行二值化处理,对二值化处理后的图像进行标记,最后基于标记后的图像提取出目标透镜的位置信息,该定位方法通过连通域分析将每个单独的目标区分出来并定位,具有识别速度快,识别目标多,同时识别位置和正反面的优点。
(3)本发明使用FPGA嵌入式机器来解决多目标透镜的定位问题,减少工人的工作量,提高工程的生成效率。
附图说明
图1为根据本发明实施例的方法流程示意图;
图2为根据本发明实施例的系统结构示意图;
图3为根据本发明实施例的二值化图像示意图;
图4为根据本发明实施例的图像框架处的标记示意图;
图5为根据本发明实施例的情况1的示意图;
图6为根据本发明实施例的情况2的示意图;
图7为根据本发明实施例的情况3的示意图;
图8为根据本发明实施例的情况4的示意图;
图9为根据本发明实施例的参数存储器的示意图。
具体实施方式
下面将结合本发明中的附图,对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例,都属于本发明保护的范围。
如图2所示,本发明提供一种基于FPGA的多目标透镜定位系统,包括平面光源、放置平台、摄像头和FPGA,放置平台用以放置透镜,摄像头设置于透镜的正上方,摄像头与FPGA连接。这里采用的透镜是纯透明的透镜。
该系统的工作原理是:平面光源产生平面光照射到透镜上,使目标透镜成的像形成一个完整的环形区域,摄像头获取透镜的图像并将获取的图像发送至FPGA,FPGA对获取的图像进行预处理、连通域标记后,提取出每个目标透镜的内轮廓所包围的区域以及该区域的中心坐标,最终识别出多个目标透镜的准确位置。
本发明还提供一种基于FPGA的多目标透镜定位方法,采用如图2所示的系统实现,该方法如图1所示,包括:
步骤1,平面光源照射到目标透镜上,使每个目标透镜成的像形成一个完整的环形区域,通过摄像头获取多目标透镜的图像。
步骤2,FPGA对获取的图像进行预处理,包括灰度化、中值滤波、二值化和开运算,得到二值化图像。
步骤3,采用连通域标记法基于逐行扫描对得到的二值化图像进行标记,将每个单独的连通区域分开,得到标记后的图像。
进一步地,在进行全图标记时,目标像素点只与自身像素点上、下、左、右四个方向上的像素点存在邻接关系。在进行全图标记时,待标记的二值化图像包括M行N列,其中,第一行、第M行、第一列和第N列所对应的像素点设置为同一标记值,对第2~M-1行和第2~N-1列,先判断当前像素点的值为0还是1,如果是1,那么将当前位置对应的标记值置为1。如果为0,则考虑该像素点上一行同位置坐标的像素点的标记值和当前行左边位置坐标的像素点的标记值,得到不同的标记值结果。
步骤4,基于标记后的图像,判断每个连通区是否为有效区域,若是有效区域,则计算出该区域的外接矩形的中心,得到每个目标透镜的内轮廓所包围的区域以及该区域的中心坐标。
实施例
本实施例提供一种基于FPGA的多目标透镜定位系统以及基于该系统的多目标透镜定位方法。
首先,需要合适的光照条件,数量和位置未知的透镜放置在平台上,在平台左侧放置一个平面光源,本实施例使用的是一个150W的LED的灯配合一个90*60的柔光箱,产生均匀柔和的平面光,照射到目标透镜上。CMOS摄像头放在透镜的正上方,高度根据视场大小可以改变,本实施例中的高度在20CM,是一个小视场。CMOS摄像头通过杜邦线和FPGA相连,进行图像的采集,图像大小为1280*1024。
其次,进行图像预处理,包括:
(1)灰度化。将摄像头采集到的彩色图像R、G、B通道分离,然后将RGB格式转换成Y(Luminance),Cb(Chrominance-Blue),Cr(Chrominance-Red)格式,提取Y分量后输出即为灰度图像:
Figure BDA0002282682730000041
(2)中值滤波。在实时图像采集中,不可避免的会引入噪声,尤其是干扰噪声和椒盐噪声,噪声的存在严重影响边缘检测的效果,中值滤波是一种非线性滤波,它取每一像素点的邻域中所有像素点的中值来代替该像素点的灰度值。通常是用某种结构(矩形,十字形,圆形等)的二维滑动模板,从原图像中取出目标点以及目标点的邻域,然后将板内像素按照像素值的大小进行排序,生成单调上升(或下降)的为二维数据序列,最后输出的中值即是目标点滤波后的像素值。
本实施例采用3*3的模板:
Figure BDA0002282682730000051
中值滤波公式为:
Figure BDA0002282682730000052
其中,I(i,j)为灰度图像对应位置的像素值,I1(i,j)为滤波后的图像对应位置的像素值。
(3)二值化。在图像处理过程中,需要将灰度图像转换成0-1二值图像来进行后续的处理。本实施例采用最大类间方差法(OTSU法),首先通过灰度直方图计算出在这个环境下的最合适的阈值TH,然后根据公式进行二值化:
Figure BDA0002282682730000053
其中,I2(i,j)为二值化后的图像对应位置的像素值。
(4)形态学运算。形态学运算用于弥补滤波的不足,他有四种基本操作:膨胀,腐蚀,开运算和闭运算。膨胀的作用是填补图像中的孔洞,原理是取一个3*3的模板,然后将这九个值进行或操作:
Figure BDA0002282682730000054
腐蚀可以去除单独且无意义的元素,原理是取一个3*3的模板,然后将这九个值进行与操作:
Figure BDA0002282682730000055
开运算是先腐蚀后膨胀。闭运算是先膨胀后腐蚀。
本实施例只需要进行一次开运算,就可以得到滤除了椒盐噪声的高可靠性的二值图像,如图3所示。
接着逐行扫描的方法进行连通域的标定,将每个单独的连通域区分开。在标定过程中,本文使用的是4邻接,如图4,即目标像素点X只与它的上,下,左,右4个方向上的4个像素点存在邻接关系。在标定的过程中需要用到一个初始值为3的标记tip。
在进行全图标记时,待标记的图像包括:第1行,第M行,第1列,第N列以及2~M行2~N列。其中第一行,第M行,第一列和第N列组成了一幅图像的框架,在本实施例中,将这两行两列所对应的标记都置为2,如图4。对第2~M行第2~N列,先判断当前像素点的值为0还是1。如果是1,那么将该点对应的标记值置为1;如果为0,那么需要考虑该像素点上一行同位置像素点的标记值和当前行坐标位置坐标的像素点的标记值,可以分为以下几种情况:
情况1,如图5,左边和上边都是1:当前像素点与左边和上边的点都不连通,可以当做一个新的开始节点,将tip的值赋给当前像素点,然后tip加1。
情况2,如图6,左边为1上边大于等于2:将上边像素点对应的标记值赋值给当前点。
情况3,如图7,左边大于等于2上边为1:将左边像素点对应的标记值赋值给当前点。
情况4,如图8,左边大于等于2上边大于等于2:比较上边像素点对应的标记值和左边像素点对应的标记值将较小的值赋值给当前点,同时将边像素点对应的标记值和左边像素点对应的标记值计入等价表中。
在进行全图标记时,需要若干个取决于图像复杂度的标记值参数存储器。格式如图9。他需要记录每个标志值对应的面积S:
Figure BDA0002282682730000061
和X和Y的最值Ximin,Ximax,Yimin,Yimax,这里的X和Y具体指需要提取的每块区域的外接矩形的中心坐标。其中i表示标记值。每当发生情况4,即出现新的等价关系时,这两个标记值对应的参数存储器进行合并:面积S直接相加,X和Y的最值比较后更新,全部写入标记值将较小的参数寄存器中。在完成扫描后,进行等价关系的整理,使每个区域对应的标记值都指向其中数值最小的那个标记值,同时输出该标记值的参数存储器中的内容。此时,先将该参数存储器中的面积和一个阈值THR进行比较,判断这个区域是有效区域还是虚假的目标区域。本文根据大量的数据,选择的阈值THR为500,根据公式:
Figure BDA0002282682730000071
其中T表示该区域种类,如果是虚假目标,则直接剔除掉;如果是有效目标,那么根据参数存储器中的X和Y的最值Ximin,Ximax,Yimin,Yimax,计算出该区域的外接矩形的中心:
Figure BDA0002282682730000072
该中心点可以近似认为透镜中心点。
最后输出透镜坐标的定位结果。
本发明利用面光源照射平台上的透镜,使透明的透镜生成的像形成一个完整的环形区域,然后利用图像处理的方法将每个单独的目标区分出来并且定位。本发明包含光照部分和图像识别部分,主要的装置包括:平面光源,放置透镜的平台,透镜样品,CMOS摄像同样以及FPGA一台。本发明具有识别速度快,识别目标多,同时识别位置和正反面的优点。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.基于FPGA的多目标透镜定位方法,其特征在于,包括:
获取多目标透镜的图像,使每个目标透镜成的像形成一个完整的环形区域;
对获取的图像进行预处理,得到二值化图像;
采用连通域标记法对得到的二值化图像进行标记,得到标记后的图像;
基于标记后的图像,提取每个目标透镜的内轮廓所包围的区域以及该区域的中心坐标。
2.根据权利要求1所述的基于FPGA的多目标透镜定位方法,其特征在于,对获取的图像进行预处理,得到二值化图像的步骤进一步包括:对获取的图像进行灰度化、中值滤波、二值化和开运算后,得到多目标透镜的二值化图像。
3.根据权利要求1所述的基于FPGA的多目标透镜定位方法,其特征在于,采用连通域标记法对得到的二值化图像进行标记,得到标记后的图像的步骤进一步包括:基于逐行扫描进行连通域的标定,将每个单独的连通域区分开。
4.根据权利要求3所述的基于FPGA的多目标透镜定位方法,其特征在于,在进行全图标记时,目标像素点只与自身像素点上、下、左、右四个方向上的像素点存在邻接关系。
5.根据权利要求4所述的基于FPGA的多目标透镜定位方法,其特征在于,在进行全图标记时,待标记的二值化图像包括M行N列,其中,第一行、第M行、第一列和第N列所对应的像素点设置为同一标记值,对第2~M-1行和第2~N-1列,先判断当前像素点的值为0还是1,如果是1,那么将当前位置对应的标记值置为1。
6.根据权利要求5所述的基于FPGA的多目标透镜定位方法,其特征在于,如果为0,则考虑该像素点上一行同位置坐标的像素点的标记值和当前行左边位置坐标的像素点的标记值,得到不同的标记值结果。
7.根据权利要求1所述的基于FPGA的多目标透镜定位方法,其特征在于,基于标记后的图像,判断每个连通区是否为有效区域,若是有效区域,则计算出该区域的外接矩形的中心,得到每个目标透镜的内轮廓所包围的区域以及该区域的中心坐标。
8.基于FPGA的多目标透镜定位系统,其特征在于,包括平面光源、放置平台、摄像头和FPGA,放置平台用以放置透镜,摄像头设置于透镜的正上方,摄像头与FPGA连接;平面光源产生平面光照射到透镜上,使目标透镜成的像形成一个完整的环形区域,摄像头获取透镜的图像并将获取的图像发送至FPGA,FPGA对获取的图像进行预处理、连通域标记后,提取出每个目标透镜的内轮廓所包围的区域以及该区域的中心坐标。
CN201911147770.8A 2019-11-21 2019-11-21 基于fpga的多目标透镜定位方法及系统 Withdrawn CN111047646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911147770.8A CN111047646A (zh) 2019-11-21 2019-11-21 基于fpga的多目标透镜定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911147770.8A CN111047646A (zh) 2019-11-21 2019-11-21 基于fpga的多目标透镜定位方法及系统

Publications (1)

Publication Number Publication Date
CN111047646A true CN111047646A (zh) 2020-04-21

Family

ID=70232966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911147770.8A Withdrawn CN111047646A (zh) 2019-11-21 2019-11-21 基于fpga的多目标透镜定位方法及系统

Country Status (1)

Country Link
CN (1) CN111047646A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184578A (zh) * 2020-09-23 2021-01-05 南京大学 一种标定光场成像中各微透镜成像的中心坐标的方法
CN114494060A (zh) * 2022-01-20 2022-05-13 齐鲁工业大学 一种基于Opencv的菲涅尔透镜中心定位方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184578A (zh) * 2020-09-23 2021-01-05 南京大学 一种标定光场成像中各微透镜成像的中心坐标的方法
CN114494060A (zh) * 2022-01-20 2022-05-13 齐鲁工业大学 一种基于Opencv的菲涅尔透镜中心定位方法
CN114494060B (zh) * 2022-01-20 2024-02-23 齐鲁工业大学 一种基于Opencv的菲涅尔透镜中心定位方法

Similar Documents

Publication Publication Date Title
CN104700092B (zh) 一种基于模板和特征匹配相结合的小字符数字识别方法
CN108920992B (zh) 一种基于深度学习的医药标签条码的定位与识别方法
TW201732651A (zh) 一種單詞的分割方法和裝置
CN104992449A (zh) 基于机器视觉的信息识别及表面缺陷在线检测方法
CN111091544B (zh) 铁路货车转向架侧面一体架构断裂故障检测方法
CN111080622A (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN108921120B (zh) 一种适应广泛零售场景下的香烟识别方法
CN111666824B (zh) 移动机器人的基于颜色属性和机器学习的指示灯识别方法
CN104881665A (zh) 一种芯片字符识别与校验方法及装置
CN104766344B (zh) 基于运动边缘提取器的车辆检测方法
CN111598856A (zh) 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
CN106803087A (zh) 一种车号自动识别方法及系统
CN111047646A (zh) 基于fpga的多目标透镜定位方法及系统
CN116704516B (zh) 一种用于水溶肥料包装的视觉检测方法
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
Anis et al. Digital electric meter reading recognition based on horizontal and vertical binary pattern
CN111401364B (zh) 一种基于颜色特征和模板匹配相结合的车牌定位算法
CN109241948A (zh) 一种数控刀具视觉识别方法及装置
CN111814576A (zh) 一种基于深度学习的购物小票图片识别方法
Duong et al. Vision inspection system for pharmaceuticals
CN112884741B (zh) 一种基于图像相似性对比的印刷表观缺陷检测方法
CN107545565B (zh) 一种太阳能网版检测方法
CN113344047A (zh) 基于改进K-means算法的压板状态识别方法
CN110046618B (zh) 基于机器学习和最大极值稳定区域的车牌识别方法
CN117475353A (zh) 基于视频的异常烟雾识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200421