CN103279921A - 一种图像嵌入式处理系统及低照度图像光点获取与定位方法 - Google Patents

一种图像嵌入式处理系统及低照度图像光点获取与定位方法 Download PDF

Info

Publication number
CN103279921A
CN103279921A CN2013101844351A CN201310184435A CN103279921A CN 103279921 A CN103279921 A CN 103279921A CN 2013101844351 A CN2013101844351 A CN 2013101844351A CN 201310184435 A CN201310184435 A CN 201310184435A CN 103279921 A CN103279921 A CN 103279921A
Authority
CN
China
Prior art keywords
image
luminous point
light
image data
data processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013101844351A
Other languages
English (en)
Other versions
CN103279921B (zh
Inventor
徐敏
钟平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201310184435.1A priority Critical patent/CN103279921B/zh
Publication of CN103279921A publication Critical patent/CN103279921A/zh
Application granted granted Critical
Publication of CN103279921B publication Critical patent/CN103279921B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明属于精密计量仪器技术领域,具体涉及一种图像嵌入式处理系统及低照度图像光点获取与定位方法。本发明基于CMOS或CCD成像器件获取低照度图像,构建以FPGA、DSP及DDR3为主芯片的嵌入式图像处理系统。在算法上,应用形态学滤波算子和中值滤波算子相结合滤波算法,实现对图像进行滤波;同时,设计针对低照度图像特点的全局图像动态范围调节器及局部特征对比度的增强器。在光点检测与定位方法上,先对图像进行划分,利用区域投影算法,对光点进行快速检测及初步定位,再锁定的检测区域进行灰度拟合处理,计算出目标的亚像素级位置坐标。本发明具有实时性强、准确性高等特点,适合低照度成像器件图像目标检测与定位。

Description

一种图像嵌入式处理系统及低照度图像光点获取与定位方法
技术领域
本发明属于精密计量仪器技术领域,具体涉及一种图像嵌入式处理系统及低照度图像光点获取与定位方法,以实现形位精密测量和计算角度偏移。
背景技术
光电自准测装置是一种高精度的角度测量仪器,它将光学自准直成像技术、探测器阵列技术和图像处理技术相结合,实现一定范围内平面角度的分/秒量级变化的精密测量。由于其在实现小角度的多维、非接触测量中具有独特的优点,被广泛应用于导轨平台的直线度、精密平台的平面度和光学元件形位公差等测量、光学系统集成等领域,是机械、计量、光电等科学研究部门必备的常规测量仪器,特别在精密、超精密测量方面具有极为重大的作用。
精密光机工程的发展对测角精度和移动性要求越来越高,但同时,国内、外的相关产品在移动性或精确程度上存在许多不足,特别是超精密机械加工工业的平直度、平面度、垂直度、平行度等检测、计量检定行业的角度测量、棱镜角度定位及监控、光学元件的测试、安装精度检测控制等。传统的测角装置往往直接或间接利用测微装置从分划板或读数鼓轮上读出其测量的角度值,其测量精度难于满足实际的需要。而采用光电自准侧装置,以光电瞄准对线代替人工瞄准对线,以数字化逻辑算法图像识别代替大脑的估判,能大幅度地提高检测精度、速度和功能,满足了一些特定的工业生产需要。如基于计算机及图像传感器CCD或CMOS新式自准仪,其局限性就是脱离不了计算机的限制,仪器较笨重,使用和携带都不方便。而另一些基于嵌入式所开发小型化的测角装置,其精度却又难以满足应用要求。如何保证提高自准直仪精度的同时减小仪器体积、增加灵活性,是目前该类仪器开发的急需解决的问题。本发明提出一种应用于低照度图像光点获取与定位的嵌入式处理平台的设计方法,采用嵌入式图像处理系统,特别适用于小型平行光管自准仪低照度成像条件下,对图像中光点目标的检测和定位。基于检测仪器小型化的要求,配置微型的CCD或CMOS成像器件,将偏角度大小测量直接转换为光点图像的精确定位,具有很强的实时性和直观性,实现对偏角的高精度测量。引入嵌入式图像处理系统,能使仪器在提高精度和效率的基础上大大减少设备体积,脱离计算机的限制,同时拓宽其应用范围。
发明内容
本发明的目的在于提供一种能实现平行光管偏角检测仪的小型化及高精度偏角测量的可用于低照度图像光点获取与定位的图像嵌入式处理系统,以及基于该图像嵌入式处理系统的低照度图像光点获取与定位方法。
本发明提出的可用于低照度图像光点获取与定位的图像嵌入式处理系统,包括FPGA(可编程逻辑控制器)、两个图像数据处理器(DSP)及动态存储器堆(DDR3);其中:
所述的FPGA为系统的核心控制部件,控制图像数据的采集、存储及处理;FPGA包括两个双向缓存器、一个共享仲裁控制逻辑、一个RAM控制逻辑;两个双向缓冲器用于对输入、输出数据的缓存,以实现输入、输出时序的匹配;共享仲裁控制逻辑用于控制图像数据处理器对动态存储器堆的访问及对图像数据的处理;RAM控制逻辑用于产生对动态存储器堆访问的时序控制信号,配合两图像数据处理器对动态存储器堆进行访问;
所述的两个图像数据处理器DSP中,图像数据处理器DSP1#和DSP2#采用流水线并行处理方式,负责低照度图像的滤波和增强处理,最后由图像数据处理器DSP2#负责光点的定位计算。具体来说,图像数据的处理过程中,两个图像数据处理器采用流水线并行工作方式,首先由图像数据处理器DSP1#获取图像数据进行形态学滤波,处理结束后,图像数据处理器DSP1#将处理好的图像数据传入图像数据处理器DSP2#,由图像数据处理器DSP2#对图像进行中值滤波,同时,图像数据处理器DSP1#对图像进行直方图分析和参数估计,以获取图像动态范围调节参数;当图像数据处理器DSP2#完成中值滤波后,将处理好的图像数据回传给图像数据处理器DSP1#,由其对图像进行动态范围调节;同时,图像数据处理器DSP2#对图像进行窗口方差计算,获取图像局部特征增强参数;图像数据处理器DSP1#完成动态范围增强后再次将图像数据回传图像数据处理器DSP2#,由图像数据处理器DSP2#完成图像局部特征增强;最后由图像数据处理器DSP2#进行光点定位。
所述的图像嵌入式处理系统,采用动态存储器堆结构,先将由CMOS或CCD成像器件采集的图像数据存入FPGA的缓存器,再存入动态存储器堆,然后由FPGA的共享仲裁控制逻辑单元对动态存储器堆进行访问控制,实现FPGA与DSP及DSP之间的数据流向与操作控制。RAM控制逻辑主要产生片选DDR的信号,配合两处理器对存储堆进行访问。
所述的图像嵌入式处理系统,对低照度图像的滤波进行滤波处理前,先由FPGA将RBG颜色系统转为YUV系统,以获图像的灰度值的Y分量,并用3×3结构元素窗口构成形态学滤波算子,对图像进行开运算滤波,再进行中值滤波算子滤波。
所述的图像嵌入式处理系统,对低照度图像的增强处理,是基于图像直方图分析及局部窗口统计方差分析后,构建由动态范围调节器及局部对比度特征的增强器组成的图像变换函数,实现对图像整体效果的动态范围调整和局部图像的对比度调整。
所述的图像嵌入式处理系统,图像分区是以光点几何尺寸,决定其分区图像的大小,以减小灰度的累积误差;并采用重叠分区方法,确保光点在一个完整的区域内,并根据行和列投影曲线的峰值和灰度分布特征锁定光点位置区域和像素级精度的初定位。
所述的图像嵌入式处理系统,光点定位方法分两步进行,先采用区域灰度投影实现光点的初步定位,再采用灰度拟合的方法,计算出光点位置的亚像素坐标,实现精确定位。
基于上述图像嵌入式处理系统的低照度图像光点获取与定位方法,具体步骤为:
步骤1:利用平行光管发出的准直光束和标准的镜面反射系统对CMOS或CCD成像系统进行标定;
步骤2:打开LED点光源,由FPGA控制图像传感器采集低照度场景图像,先进入缓存器,再将图像数据存入存储器堆DDR3中;同时,图像数据地址映射到存储器堆DDR3管理区和FPGA的地址控制器中,两个图像数据处理器DSP分别将待处理图像数据地址各自搬至自身的地址存储器中,以便由FPGA逻辑控制单元控制DSP进行图像数据读取与处理;
步骤3:利用形态学滤波算子及中值滤波算子对图像进行滤波处理,再采用全局图像动态范围调节器及局部特征对比度增强器,对滤波后的图像进行增强处理;
步骤4:针对增强后灰度图像特征及光点的大小尺寸,对图像进行分区域灰度投影,根据投影曲线的灰度分布特征和最大值,锁定光点所在区域,实现对光点进行像素级精度的初定位;
步骤5:以光点所在像素级坐标位置为中心,在其锁定的区域范围内,利用二维高斯拟合算法,实现对光点的亚像素级的精确定位;
步骤6:根据对光点的定位信息,输出光点的精确定位信息。
本发明的有益效果
本发明提出的低照度图像光点获取与定位方法,特别适合于小型平行光管低照度成像条件下,光点目标的检测与定位。将小型的CCD或CMOS成像器件和嵌入式图像处理系统引入精密的光学测量方式,能够最大限度地利用仪器测量精度的同时,减小体积,增加便携程度,该种方法也能更广泛地应用于其它光学测量领域。
本发明配置相应的光学设备,可应用于航空航天、船舶、军工等行业的要求精密度极高的偏角测量,如机械加工工业的质量保证(平直度、平面度、垂直度、平行度等测量)、计量检定行业中角度测试、棱镜角度定位及监控、光学元件的测试及安装精度检测等。
附图说明
图1系统结构示意图。
图2低照度图像光点获取与定位嵌入式处理平台结构示意图。
图3 LED光点强度分布图。
图4光点检测与定位算法流程图。
具体实施方式
为使本发明更明显易懂,兹以一优选实施例,并配合附图作详细说明如下。
图1为本发明提供的数字平行光管自准仪系统结构示意图,其整个的测量装置包括自准直光学装置、图像传感器件、低照度图像处理平台、输出电路单元及显示终端等五部分构成。在整体系统设计中,可采用具有多向可调节功能的底座承载自准直光学装置,以便于光路对准及适应各种工作环境。为保证检测的精度,光孔设计较小,本发明允许采用小光孔,使探测器工作于低照度条件下,有利于提高系统的检测精度,同时增加了光点检测的挑战性。图像传感器件主要包括CCD或CMOS和传感器的外围电路,图像传感器用于转换光电信号;外围电路用于配置传感器及提供电源和时钟频率。
图2为低照度图像光点获取与定位嵌入式处理平台结构示意图。嵌入式处理平台主要由FPGA、DSP及DDR3等构成嵌入式图像处理平台。其中高速器件FPGA为核心控制与逻辑运算部件,控制图像的数据的采集、存储和运算;同时,结合双DSP结构,采用流水线并行工作方式,实现对图像滤波、增强等操作,以提高系统的实时性。采用动态存储器堆设计方法,将CCD或CMOS成像器件采集的图像数据存入存储器堆,并通过共享仲裁控制逻辑对存储器堆进行访问控制,实现FPGA与DSP及DSP之间的数据流向控制与操作。
在测量过程中,当光源从小孔中射入宽带分光棱镜,再通过一个消色差双胶合透镜射出镜筒,射到需要测量的反射面上,反射回平行光管的光束通过分光棱镜后汇聚到图像传感器CCD或CMOS上并成为一个小光点。如果镜面为严格垂直法线,则光点位于小孔中心,通常的情况是偏移一个小角度则反射到传感器上的光点则位于偏边缘一点的位置上。通过采集到的图像的光点位置到中心的距离或光点间的距离,就可检测竖直偏移角或两次的夹角。其角度的计算可由公式(1)表示:
Figure 508714DEST_PATH_IMAGE001
          (1)
其中,
Figure 349631DEST_PATH_IMAGE002
是图像传感器获得的光点实际偏移距离,
Figure 420356DEST_PATH_IMAGE003
为CMOS到物镜的距离。该仪器具有出射光和反射光均是平行光,所以可以不受待测量反射面距离的影响和限制。
在本发明中,光点的准确定位是检测系统的关键,直接影响系统的检测精度及性能。在定位算法中,本发明采用两个主要步骤进行,即:首先采用分区投影算法识别光点区域并实现光点的像素级初定位;然后用拟合算法对光点中心进行亚像素精确定位。为了达到光点精确定位的目标,首先对图像进行预处理。基于低照度图像的特点及嵌入式图像处理系统的实现方法,本申请设计算法时主要考虑以下3个因素:1)图像去噪平滑效果,即去噪后图像的信噪比。2)图像的清晰程度。即虽然对图像去噪操作后可以压抑噪声,但必须保证一定的图像清晰度。3)图像去噪时间复杂度与嵌入式系统的易实现性。由于图像传感器采用RGB系统,为方便嵌入式系统处理图像数据,先由FPGA将图像的RGB系统转换为YUV系统,以获取图像的灰度值Y分量,然后将获取的灰度图像数据传给DSP,实现对图像像素灰度值,即Y分量进行数学形态学滤波。一般地,由于图像噪声表现为随机的亮点和毛刺,根据数学形态学性质,选用开运算进行滤波,即先对图像进行腐蚀运算,再对图像进行膨胀运算。另外由于图像噪声信号直径较小,所以选用3×3的结构元素窗口。本发明对经过数学形态学滤波的Y分量,再进行中值滤波,原因是图像像素的Y分量进行数学形态学滤波后,虽然消除了部分噪声,但该算法易导致把图像细节聚合在一起,这时使用中值滤波就可以消除图像中剩余的噪声,使得图像平滑,且不会丢失图像细。中值滤波可用以下公式表示为:
Figure 473762DEST_PATH_IMAGE004
           (2)
其中,
Figure 703755DEST_PATH_IMAGE005
为窗口长度,而需要处理的图像像素序列表示为:
Figure 184415DEST_PATH_IMAGE006
对给定图像
Figure 945698DEST_PATH_IMAGE007
及作为结构元素模板
Figure 537216DEST_PATH_IMAGE008
,其腐蚀和膨胀运算可以表示成如下:
Figure 231503DEST_PATH_IMAGE009
    (3)
Figure 148643DEST_PATH_IMAGE010
    (4)。
低照度图像的另一个特点是图像的动态范围较窄,为了更好地突出图像光点的特征信息,需进一步对图像进行增强处理。通过引入具有局部动态放大效应的对比度增强处理之后,可强化了局部图像细节。但由于原始输入图像的灰度值较低,使得整个输出图像视觉效果仍然不明显。而直方图均衡化算法能够扩展输出图像灰度的动态范围及改善视觉效果,但却是以牺牲图像细节为代价的。综上所述分析,本发明将改进的直方图均衡化方法与改进的局部对比度增强方法相结合,实现对低照度图像进行增强。该方法能同时满足图像增强的两种要求,即既能整体调节图像的动态范围,又能增强图像的局部对比度,突出图像的细节。前者使图像总体质量较好,后者能增强图像细节,从而解决了低照度图像偏暗且对比度较低的问题。低照度图像增强方法具体实现如下:根据改进的直方图均衡化方法,对CMOS获取的原始输入图像进行直方图统计并均衡化,得到新灰度级分布。
Figure 459539DEST_PATH_IMAGE011
    (5)
其中, 
Figure 854748DEST_PATH_IMAGE012
分别为对比度增强后的图像所期望的达到的均值和方差,
Figure 491583DEST_PATH_IMAGE014
为均值的调节系数,为放大系数,
Figure 347729DEST_PATH_IMAGE016
Figure 547766DEST_PATH_IMAGE017
分别为原始输入图像和对比度增强后图像。
Figure 541130DEST_PATH_IMAGE018
为原始输入图像的局部统计的均值,
Figure 295460DEST_PATH_IMAGE019
为原始输入图像局部统计的方差。则可设此时的灰度映射函数为
Figure 235734DEST_PATH_IMAGE020
,且定义:
Figure 759119DEST_PATH_IMAGE021
  (6)
其中:,且当
Figure 86381DEST_PATH_IMAGE023
时,可设为一个适当的常数,从公式我们可以看出,函数(3)的前半部分:起到灰度直方图调节动态范围的作用,而其后半部分:可起到增强局部对比度细化的作用。所以在本发明中,可以对图像增强函数重新定义为(4)式:
Figure 334643DEST_PATH_IMAGE027
 (7)。
本发明提出的数学形态滤波算子和中值滤波算子相结合的方法对图像进行预处理,同时采用全局图像动态范围调节器及局部特征对比度增强器,对滤波后的图像进行增强处理的方法,不仅能有效提高图像的质量,且有利于嵌入式图像处理系统实现流水线方式处理。
通过对图像进行预处理后,下一步就是对光点进行检测与定位。要在获取图像中检测到光点,即先要判读图像是否存在光点,并锁定检测光点所在的区域。在本申请中,由图像传感器摄取的图像背景与所要检测的光点具有较大的灰度差异,投影算法是基于图像的灰度变化这一特点可实现光点目标的检测,它具有算法简单、执行速度快,检测位置稳定等特点,能适用本发明光点目标的检测与初步定位。投影算法的原理和实现方法如下。
对于CCD或CMOS获取的图像经过适当的预处理后,可将其灰度值映射成两个独立的一维波形,其投影方法可用公式表示如下:
Figure 413457DEST_PATH_IMAGE028
                  (8)
Figure 317959DEST_PATH_IMAGE029
                    (9)
在上两式中,
Figure 89606DEST_PATH_IMAGE030
为求和符号,图像
Figure 495704DEST_PATH_IMAGE032
为第
Figure 378210DEST_PATH_IMAGE033
帧图像第j列像素的灰度值。是第
Figure 938821DEST_PATH_IMAGE033
帧图像上
Figure 376756DEST_PATH_IMAGE035
位置处的像素灰度值。而
Figure 797373DEST_PATH_IMAGE037
为第
Figure 676467DEST_PATH_IMAGE033
帧图像第
Figure 789916DEST_PATH_IMAGE038
行的灰度值。令
Figure 391985DEST_PATH_IMAGE040
最大时的值,则光点水平方向的坐标为
Figure 268991DEST_PATH_IMAGE039
。而令
Figure 806152DEST_PATH_IMAGE042
Figure 240675DEST_PATH_IMAGE040
最大时
Figure 422258DEST_PATH_IMAGE041
的值,则光点垂直方向的坐标为
在本发明中,为提高精度,减小投影过程中的累积误差,特别是考虑到所检测的光点相对于背景其几何尺寸较小,图像存在噪声干扰等因素的影响,投影灰度的累积误差是该算法影响光点定位精度的主要因素。本发明采用先对图像进行分区、再进行投影的方法。用分区的方法对图像进行投影处理,能增强光点灰度值对投影曲线的权重,从而提高其检测精度。本发明采用以下方法对图像进行分区。对输入要处理的图像,根据光点的尺寸,从上到下分成重叠且大小严格相等的若干个区,如对于分辨率为346×668像素的图像,可根据光点的尺寸,将图像分成从上到下的10个重叠区域,(实际的区域的大小可根据所检测光点的几何尺寸而定)。其中第0~48行像素为第一区域,第33~81行像素为第二区域,…,第297~345行像素为第十区域。每一个区域图像的大小为49*668像素。采用这样重叠的分区方法,以保证所有分区总有一个区能完整地包含被检测的光点。行投影也采用类似的方法进行处理,即对输入要处理的图像,根据光点的尺寸,从左到右分成重叠且大小严格相等的若干个区。
用分区的方法,在求其每一帧图像光点位置的时候,先对每一区域进行列投影,得到各个分区的投影灰度的极大值及对应的行坐标。然后求其各分区极大值的最大值,则最大值所对应的行坐标为光点的行坐标。利用投影的方法不仅可确定光点的初步位置,并可以根据投影曲线的形状分布,锁定光点在图像中的区域范围,为下一步实现其精确定位奠定基础。
对本申请提出的平行光管系统,由于采用LED光源作为检测光源,当其通过小孔后被检测面返回到成像面,其能量分布可用理想高斯模型来描述。发光点的能量分布数学模型可用下式表示为:
       (10)
在上式中,
Figure 343443DEST_PATH_IMAGE044
光点的中心坐标,而,
Figure 97642DEST_PATH_IMAGE045
Figure 458216DEST_PATH_IMAGE046
分别为灰度分布在传感器的行方向和列方向上的均方差。当传感器像素的行方向和列方向的长度近似相等时,可认为二
Figure 845335DEST_PATH_IMAGE047
。由于矩形窗口内像素灰度分布同能量分布类似,可表示为:
Figure 621661DEST_PATH_IMAGE048
    (11)
Figure 512257DEST_PATH_IMAGE049
为真实光斑中心坐标。此时的窗口大小为:
Figure 309311DEST_PATH_IMAGE050
,其左上角的像素的坐标为
Figure 918147DEST_PATH_IMAGE051
,右下角的坐标为:
Figure 219203DEST_PATH_IMAGE052
,像素为窗口的任意一点表示为
Figure 761043DEST_PATH_IMAGE053
,其灰度为:
Figure 728999DEST_PATH_IMAGE054
,其理想分布模型如图3所示。
Figure 825131DEST_PATH_IMAGE055
为高斯函数的均方差,与物距、焦距、离焦量和光圈大小有关,
Figure 661369DEST_PATH_IMAGE056
为投射到成像平面上的总能量,它与LED的亮度及曝光时间有关。对(11)式两边同时取对数可得到:
Figure 526556DEST_PATH_IMAGE057
令: 
Figure 665414DEST_PATH_IMAGE058
得到方程:
Figure 639055DEST_PATH_IMAGE059
将区域内所有灰度非0点代入方程,得到一个超定方程组:
为了确定
Figure 405203DEST_PATH_IMAGE061
的值,需要求解该超定方程组的最优解。
Figure 714961DEST_PATH_IMAGE062
,
Figure 910319DEST_PATH_IMAGE063
,
Figure 370250DEST_PATH_IMAGE064
则可写成格式,则有:
Figure 157869DEST_PATH_IMAGE066
(9)
其中为矩阵
Figure 572987DEST_PATH_IMAGE068
的广义逆矩阵,求得
Figure 267273DEST_PATH_IMAGE069
后,通过
Figure 918834DEST_PATH_IMAGE070
解得光点中心的亚像素坐标。算法通过拟合光点灰度实际分布情况,求得光点中心。通过该算法,所求取的光点坐标具有亚像素的检测精度。整个检测流程图如图4所示。
在实施过程中,采用下列器材:
(1)可编程逻辑控制器(FPGA)。FPGA采用的是Xilinx公司器件。该器件具有324个引脚,其中有232个可用引脚,2278个slices,每个slices包含4个CLB,每个CLB包含4个6输入的查找表LUT,所以共36448个6-inputLUTs。该FPGA内置的硬件资源有32个数字信号处理器(DSP48A1),两个存储管理块(MCB)及
Figure 370675DEST_PATH_IMAGE071
的内置随机存储器(RAM)。
(2)动态存储器DDR3。存储器件采用存储容量为大小为1Gb,96-Ball FBGA封装,存储空间为8Meg*16*8Banks,其一次突发传输位512bit,突发长度为8,最大工作频率533MHz,通过双倍数据倍率来实现高速存取。本设计时钟采用400MHz的差分时钟输入,数据存取速率可达800Mb/s。
(3)数字信号处理器DSP。同时具有DSP(DM64X)和ARM双内核的SOC(System on Chip)嵌入式处理器。这类处理器既具有ARM9内核,可以运行Windows或Linux操作系统,又具有高主频的DSP内核,可以快速运行音视频编解码、模式识别等各种复杂视频处理算法。同时DaVinci处理器还具有功耗低的优势,可以广泛应用于各种电池供电环境。
(4)图像传感器CMOS:采用2048*1536像素,成像区域大小为3626μm x 2709μm,像素大小为1.75μm x 1.75μm,最高速度可达30帧每秒。
(5)光源型号:采用LED点白光源,电气参数24v/2.5w,光强可控,环境温度为25°C时,以50%白色光源亮度连续可靠工作超过 30000 小时 (衰减量为50%时),并使用频闪控制,以延长光源的使用寿命。
(6)电容式液晶显示触摸显示屏。采用TFT LCD,尺寸大小为7寸,分辨率为800*480,接口信号为 Parallel RGB ,显示对比度为500:1。
在对指定的对象进行自准检测后,首先需要对嵌入式图像处理系统进行初始化,包括对图像系统进行标定,自动实现测量参数生成和系统设定。然后将装置安放在被检测对象的检测位置,并使系统进入检测状态。实现方式通过FPGA驱动图像传感器采集图像,再将图像数据由DSP进行预处理及光点定位等,最后将计算出的光点亚像素坐标返回给FPGA,并由FPGA将光点的精确位置转换成相应角度数据,最后通过FPGA驱动接口来显示或者存储检测结果。

Claims (5)

1.一种应用于低照度图像光点获取与定位的图像嵌入式处理系统,其特征在于:该系统包括FPGA、两个图像数据处理器(DSP)及动态存储器堆(DDR3);其中:
所述的FPGA为系统的核心控制部件,控制图像数据的采集、存储及处理;FPGA包括两个双向缓存器、一个共享仲裁控制逻辑、一个RAM控制逻辑;两个双向缓冲器用于对输入、输出数据的缓存,以实现输入、输出时序的匹配;共享仲裁控制逻辑用于控制图像数据处理器对动态存储器堆的访问及对图像数据的处理;RAM控制逻辑用于产生对动态存储器堆访问的时序控制信号,配合两图像数据处理器对动态存储器堆进行访问;
所述的两个图像数据处理器(DSP)中,第一图像数据处理器(DSP1#)和第二图像数据处理器(DSP2#)采用流水线并行处理方式,首先由第一图像数据处理器(DSP1#)获取图像数据进行形态学滤波,处理结束后,将处理好的图像数据传入第二图像数据处理器(DSP2#),由第二图像数据处理器(DSP2#)对图像进行中值滤波;同时,第一图像数据处理器(DSP1#)对图像进行直方图分析和参数估计,以获取图像动态范围调节参数;第二当图像数据处理器(DSP2#)完成中值滤波后,将处理好的图像数据回传给第一图像数据处理器(DSP1#),由其对图像进行动态范围调节;同时,第二图像数据处理器(DSP2#)对图像进行窗口方差计算,获取图像局部特征增强参数;第一图像数据处理器(DSP1#)完成动态范围增强后再次将图像数据回传给第二图像数据处理器(DSP2#),由第二图像数据处理器(DSP2#)完成图像局部特征增强;最后由第二图像数据处理器(DSP2#)进行光点定位;
所述的图像嵌入式处理系统,采用动态存储器堆结构,先将由CMOS或CCD成像器件采集的图像数据存入FPGA的缓存器,再存入动态存储器堆,然后由FPGA的共享仲裁控制逻辑单元对动态存储器堆进行访问控制,实现FPGA与图像数据处理器(DSP)及图像数据处理器(DSP)之间的数据流向与操作控制;RAM控制逻辑主要产生片选DDR的信号,配合两处理器对存储堆进行访问;
所述的图像嵌入式处理系统,对低照度图像的滤波进行滤波处理前,先由FPGA将RBG颜色系统转为YUV系统,以获图像的灰度值的Y分量,并用3×3结构元素窗口构成形态学滤波算子,对图像进行开运算滤波,再进行中值滤波算子滤波; 
所述的图像嵌入式处理系统,对低照度图像的增强处理,是基于图像直方图分析及局部窗口统计方差分析后,构建由动态范围调节器及局部对比度特征的增强器组成的图像变换函数,实现对图像整体效果的动态范围调整和局部图像的对比度调整; 
所述的图像嵌入式处理系统,图像分区是以光点几何尺寸,决定其分区图像的大小,以减小灰度的累积误差;并采用重叠分区方法,确保光点在一个完整的区域内,并根据行和列投影曲线的峰值和灰度分布特征锁定光点位置区域和像素级精度的初定位;
所述的图像嵌入式处理系统,光点定位方法分两步进行,先采用区域灰度投影实现光点的初步定位,再采用灰度拟合的方法,计算出光点位置的亚像素坐标,实现精确定位。
2.根据权利要求1所述的应用于低照度图像光点获取与定位的图像嵌入式处理系统,其特征在于:所述由动态范围调节器及局部对比度特征的增强器组成的图像变换函数,定义如下式所示:
其中, 
Figure 129842DEST_PATH_IMAGE002
分别为对比度增强后的图像所期望的达到的均值和方差,为均值的调节系数,为放大系数,
Figure 560506DEST_PATH_IMAGE006
Figure 912990DEST_PATH_IMAGE007
分别为原始输入图像和对比度增强后图像;
Figure 855538DEST_PATH_IMAGE008
为原始输入图像的局部统计的均值,
Figure 90211DEST_PATH_IMAGE009
为原始输入图像局部统计的方差,
Figure 510828DEST_PATH_IMAGE010
为灰度映射函数。
3.根据权利要求2所述的应用于低照度图像光点获取与定位的图像嵌入式处理系统,其特征在于:由第二图像数据处理器(DSP2#)对光点位置的初定位的流程为,对图像进行分区,即对输入要处理的图像,根据光点的尺寸,从上到下分成重叠且大小严格相等的若干个区,以保证所有分区总有一个区能完整地包含被检测的光点;行投影也采用类似的方法进行分区处理;
用分区的方法,在求其每一帧图像光点位置的时候,先对每一区域进行列投影,得到各个分区的投影灰度的极大值及对应的行坐标;然后求其各分区极大值的最大值,则最大值所对应的行坐标为光点的行坐标。
4.根据权利要求3所述的应用于低照度图像光点获取与定位的图像嵌入式处理系统,其特征在于:由第二图像数据处理器(DSP2#)对光点位置精确定位的流程为,对于平行光管系统,采用LED光源作为检测光源,当其通过小孔后被检测面返回到成像面,其能量分布用理想高斯模型来描述,发光点的能量分布数学模型用下式表示为:
 
在上式中,
Figure 628005DEST_PATH_IMAGE012
光点的中心坐标,而,
Figure 553236DEST_PATH_IMAGE013
Figure 574282DEST_PATH_IMAGE014
分别为灰度分布在传感器的行方向和列方向上的均方差;当传感器像素的行方向和列方向的长度近似相等时,
Figure 635779DEST_PATH_IMAGE015
;所以,矩形窗口内像素灰度分布同能量分布类似,表示为:
Figure 920129DEST_PATH_IMAGE016
            
Figure 129394DEST_PATH_IMAGE018
为真实光斑中心坐标;此时的窗口大小为:
Figure 157393DEST_PATH_IMAGE019
,其左上角的像素的坐标为
Figure 338975DEST_PATH_IMAGE020
,右下角的坐标为:
Figure 59807DEST_PATH_IMAGE022
,像素为窗口的任意一点
Figure 959630DEST_PATH_IMAGE024
,其灰度为:
Figure 322478DEST_PATH_IMAGE026
Figure 624146DEST_PATH_IMAGE027
为高斯函数的均方差, 
Figure 984720DEST_PATH_IMAGE028
为投射到成像平面上的总能量;对上式两边同时取对数得到:
Figure 902998DEST_PATH_IMAGE030
令: 
Figure 272799DEST_PATH_IMAGE032
得到方程:
Figure 163395DEST_PATH_IMAGE034
将区域内所有灰度非0点代入方程,得到一个超定方程组:
为了确定
Figure 696849DEST_PATH_IMAGE036
的值,需要求解该超定方程组的最优解:
Figure 870341DEST_PATH_IMAGE037
,
Figure 881023DEST_PATH_IMAGE038
,
Figure 504771DEST_PATH_IMAGE039
则写成
Figure 600903DEST_PATH_IMAGE040
格式,有:
Figure DEST_PATH_IMAGE041
其中
Figure 109245DEST_PATH_IMAGE042
为矩阵
Figure DEST_PATH_IMAGE043
的广义逆矩阵,求得
Figure 505591DEST_PATH_IMAGE044
后,通过
Figure DEST_PATH_IMAGE045
解得光点中心的亚像素坐标,通过拟合光点灰度实际分布情况,求得光点中心。
5.一种基于权利要求4所述的图像嵌入式处理系统的低照度图像光点获取与定位方法,其特征在于具体步骤为:
步骤1:利用平行光管发出的准直光束和标准的镜面反射系统对CMOS或CCD成像系统进行标定;
步骤2:打开LED点光源,由FPGA控制图像传感器采集低照度场景图像,先进入缓存器,再将图像数据存入动态存储器堆(DDR3)中;同时,图像数据地址映射到动态存储器堆(DDR3)管理区和FPGA的地址控制器中,两个图像数据处理器(DSP)分别将待处理图像数据地址各自搬至自身的地址存储器中,以便由FPGA逻辑控制单元控制图像数据处理器(DSP)进行图像数据读取与处理;
步骤3:利用形态学滤波算子及中值滤波算子对图像进行滤波处理,再采用全局图像动态范围调节器及局部特征对比度增强器,对滤波后的图像进行增强处理;
步骤4:针对增强后灰度图像特征及光点的大小尺寸,对图像进行分区域灰度投影,根据投影曲线的灰度分布特征和最大值,锁定光点所在区域,实现对光点进行像素级精度的初定位;
步骤5:以光点所在像素级坐标位置为中心,在其锁定的区域范围内,利用二维高斯拟合算法,实现对光点的亚像素级的精确定位;
步骤6:根据对光点的定位信息,输出光点的精确定位信息。
CN201310184435.1A 2013-05-17 2013-05-17 一种图像嵌入式处理系统及低照度图像光点获取与定位方法 Expired - Fee Related CN103279921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310184435.1A CN103279921B (zh) 2013-05-17 2013-05-17 一种图像嵌入式处理系统及低照度图像光点获取与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310184435.1A CN103279921B (zh) 2013-05-17 2013-05-17 一种图像嵌入式处理系统及低照度图像光点获取与定位方法

Publications (2)

Publication Number Publication Date
CN103279921A true CN103279921A (zh) 2013-09-04
CN103279921B CN103279921B (zh) 2015-12-02

Family

ID=49062428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310184435.1A Expired - Fee Related CN103279921B (zh) 2013-05-17 2013-05-17 一种图像嵌入式处理系统及低照度图像光点获取与定位方法

Country Status (1)

Country Link
CN (1) CN103279921B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046685A (zh) * 2015-06-19 2015-11-11 长春理工大学 基于单幅摄影球图像的真实点光源方向的计算及虚拟化方法
CN105651204A (zh) * 2014-11-15 2016-06-08 北京航天计量测试技术研究所 一种基于数字图像的面阵自准直仪光源控制方法
CN106651818A (zh) * 2016-11-07 2017-05-10 湖南源信光电科技有限公司 基于改进的直方图均衡化低照度图像增强算法
CN107328411A (zh) * 2017-06-30 2017-11-07 百度在线网络技术(北京)有限公司 车载定位系统和自动驾驶车辆
CN107328410A (zh) * 2017-06-30 2017-11-07 百度在线网络技术(北京)有限公司 用于定位自动驾驶车辆的方法和汽车电脑
CN108490656A (zh) * 2018-04-13 2018-09-04 凌云光技术集团有限责任公司 液晶显示器图像检测方法和装置
CN108805880A (zh) * 2018-05-28 2018-11-13 佘以道 一种安全防护方法
CN109559305A (zh) * 2018-11-26 2019-04-02 易思维(杭州)科技有限公司 一种基于soc-fpga的线结构光图像快速处理系统
CN111750781A (zh) * 2020-08-04 2020-10-09 润江智能科技(苏州)有限公司 一种基于ccd的自动测试系统及其方法
CN113050107A (zh) * 2021-03-11 2021-06-29 广州市合熠智能科技股份有限公司 一种高精度激光位移传感器智能测距系统
CN113218306A (zh) * 2021-04-28 2021-08-06 大连理工大学 一种基于fpga的光斑位置探测系统与方法
CN113516187A (zh) * 2021-07-13 2021-10-19 周口师范学院 一种采用局部特征对比度的红外弱小目标检测算法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009230494A (ja) * 2008-03-24 2009-10-08 Nec Corp Fpgaを用いた並列周辺画素加算モジュール、その方法及びそのプログラム
CN202033012U (zh) * 2011-02-23 2011-11-09 上海理工大学 基于面阵图像传感器的光电自准直仪自动瞄准读值装置
CN103033148A (zh) * 2012-12-12 2013-04-10 东华大学 一种基于嵌入式图像信息处理技术的测角装置和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009230494A (ja) * 2008-03-24 2009-10-08 Nec Corp Fpgaを用いた並列周辺画素加算モジュール、その方法及びそのプログラム
CN202033012U (zh) * 2011-02-23 2011-11-09 上海理工大学 基于面阵图像传感器的光电自准直仪自动瞄准读值装置
CN103033148A (zh) * 2012-12-12 2013-04-10 东华大学 一种基于嵌入式图像信息处理技术的测角装置和方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105651204A (zh) * 2014-11-15 2016-06-08 北京航天计量测试技术研究所 一种基于数字图像的面阵自准直仪光源控制方法
CN105046685A (zh) * 2015-06-19 2015-11-11 长春理工大学 基于单幅摄影球图像的真实点光源方向的计算及虚拟化方法
CN105046685B (zh) * 2015-06-19 2017-10-27 长春理工大学 基于单幅摄影球图像的真实点光源方向的计算及虚拟化方法
CN106651818A (zh) * 2016-11-07 2017-05-10 湖南源信光电科技有限公司 基于改进的直方图均衡化低照度图像增强算法
CN107328411A (zh) * 2017-06-30 2017-11-07 百度在线网络技术(北京)有限公司 车载定位系统和自动驾驶车辆
CN107328410A (zh) * 2017-06-30 2017-11-07 百度在线网络技术(北京)有限公司 用于定位自动驾驶车辆的方法和汽车电脑
CN108490656A (zh) * 2018-04-13 2018-09-04 凌云光技术集团有限责任公司 液晶显示器图像检测方法和装置
CN108805880A (zh) * 2018-05-28 2018-11-13 佘以道 一种安全防护方法
CN109559305A (zh) * 2018-11-26 2019-04-02 易思维(杭州)科技有限公司 一种基于soc-fpga的线结构光图像快速处理系统
CN109559305B (zh) * 2018-11-26 2023-06-30 易思维(杭州)科技有限公司 一种基于soc-fpga的线结构光图像快速处理系统
CN111750781A (zh) * 2020-08-04 2020-10-09 润江智能科技(苏州)有限公司 一种基于ccd的自动测试系统及其方法
CN113050107A (zh) * 2021-03-11 2021-06-29 广州市合熠智能科技股份有限公司 一种高精度激光位移传感器智能测距系统
CN113218306A (zh) * 2021-04-28 2021-08-06 大连理工大学 一种基于fpga的光斑位置探测系统与方法
CN113516187A (zh) * 2021-07-13 2021-10-19 周口师范学院 一种采用局部特征对比度的红外弱小目标检测算法

Also Published As

Publication number Publication date
CN103279921B (zh) 2015-12-02

Similar Documents

Publication Publication Date Title
CN103279921A (zh) 一种图像嵌入式处理系统及低照度图像光点获取与定位方法
US11189044B2 (en) Method and device for detecting object stacking state and intelligent shelf
CN105181082B (zh) 一种基于可见激光和图像处理的液位检测方法和装置
WO2016076796A1 (en) Optoelectronic modules for distance measurements and/or multi-dimensional imaging
CN102494663B (zh) 摆动喷管的摆动角度的测量方法
CN103292701A (zh) 基于机器视觉的精密器件在线尺寸测量方法
CN108088381A (zh) 一种基于图像处理的非接触式微小间隙宽度测量方法
CN113822920B (zh) 结构光相机获取深度信息的方法、电子设备及存储介质
CN102982550A (zh) 利用正五棱台求解摄像机内参数
CN103033148B (zh) 一种基于嵌入式图像信息处理技术的测角装置和方法
CN105078404B (zh) 基于激光算法的全自动眼动追踪测距定标仪及其使用方法
CN105651258A (zh) 主动视角双目测距系统及方法
CN105115431A (zh) 一种新型ccd激光位移传感器纸页厚度计
Shim et al. Performance evaluation of time-of-flight and structured light depth sensors in radiometric/geometric variations
CN111583191A (zh) 基于光场epi傅里叶变换的折射特征检测方法
CN206959992U (zh) 一种激光偏振态测量仪
CN115854866A (zh) 一种光学靶标三维测量系统、方法、电子设备及存储介质
Zhang et al. Microscopic vision based on the adaptive positioning of the camera coordinate frame
CN105043305A (zh) 一种量子关联自准直仪及测角方法
Song et al. Automatic calibration method based on improved camera calibration template
CN107271041A (zh) 一种激光偏振态测量仪
Bi et al. An automatic camera calibration method based on checkerboard.
CN111637837A (zh) 一种单目摄像头测量物体尺寸及距离的方法和系统
CN111397692B (zh) 基于视觉非接触的液位检测方法
Wei et al. Improved YOLOv5 light source positioning method in multi-medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151202

Termination date: 20180517