CN107730547A - 基于离焦曲线状态检测的控制装置及含该装置的系统 - Google Patents

基于离焦曲线状态检测的控制装置及含该装置的系统 Download PDF

Info

Publication number
CN107730547A
CN107730547A CN201711146741.0A CN201711146741A CN107730547A CN 107730547 A CN107730547 A CN 107730547A CN 201711146741 A CN201711146741 A CN 201711146741A CN 107730547 A CN107730547 A CN 107730547A
Authority
CN
China
Prior art keywords
module
pixel data
interpolation
control device
external device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711146741.0A
Other languages
English (en)
Other versions
CN107730547B (zh
Inventor
李超
张锐
黄宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Sunny Opotech Co Ltd
Original Assignee
Ningbo Sunny Opotech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Sunny Opotech Co Ltd filed Critical Ningbo Sunny Opotech Co Ltd
Priority to CN201711146741.0A priority Critical patent/CN107730547B/zh
Publication of CN107730547A publication Critical patent/CN107730547A/zh
Application granted granted Critical
Publication of CN107730547B publication Critical patent/CN107730547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于离焦曲线状态检测的控制装置及含该装置的系统,所述控制装置是基于FPGA实现的,其包括:图像插值模块,用于从外部接收像素数据,并对所述像素数据进行插值;图像提取模块,用于对插值后的所述像素数据进行Y分量提取;解像力计算模块,用于对经过Y分量提取的所述像素数据进行计算,以获取MTF值;以及控制模块,用于根据所述MTF值,对外部装置进行控制。通过在FPGA中嵌入硬件算法和控制模块避免了传统技术上位机发送命令以及数据传输过程中导致的像素数据传输延迟、算法延迟等。通过利用FPGA良好的并行和流水作业的特点,在像素数据采集的过程中直接对每一帧图像进行像素数据插值、MTF值的计算,提高了本发明的工作效率。

Description

基于离焦曲线状态检测的控制装置及含该装置的系统
技术领域
本发明涉及一种基于离焦曲线状态检测的控制装置及含该装置的系统。
背景技术
现有技术中,离焦曲线的测试是基于上位机。首先初始状态下由上位机发送一个命令,驱动图像传感器曝光,图像即由图像传感器产生并传递至FPGA工装板,然后缓存,接下来传递至PC并由PC计算完当前图像的MTF值。PC计算完当前的MTF值后,发送命令驱动马达,待马达停止后再进行下一点MTF的计算直至整条曲线完成。在此过程中,图像传感器开始传输图像到上位机完全接收到当前帧会有几帧时间的延迟。同时,上位机对接收到的图像首先进行缓存,然后进行插值、Y分量提取、MTF值计算需要消耗大量的时间,并且只有完成一个像素点的MTF计算后,才能够开始下一像素点的运算,浪费一定的等待时间。由此看出,现有技术中离焦曲线的测试由于上述传输延迟和算法延迟,严重影响了整个离焦曲线测试的效率。
发明内容
本发明的目的在于提供一种基于离焦曲线状态检测的控制装置及含该装置的系统及离焦曲线绘制方法,解决测试效率低的问题。
为实现上述目的,本发明提供一种基于离焦曲线状态检测的控制装置,所述控制装置是基于FPGA实现的,其包括:
图像插值模块,用于从外部接收像素数据,并对所述像素数据进行插值;
图像提取模块,用于对插值后的所述像素数据进行Y分量提取;
解像力计算模块,用于对经过Y分量提取的所述像素数据进行计算,以获取MTF值;以及
控制模块,用于根据所述MTF值,对外部装置进行控制。
根据本发明的一个方面,所述图像提取模块开始对插值后的所述像素数据进行Y分量提取时,所述图像插值模块马上开始对下一像素数据进行插值。
根据本发明的一个方面,所述解像力计算模块开始对经过Y分量提取的所述像素数据进行计算时,所述图像提取模块马上开始对下一插值后的所述像素数据进行Y分量提取。
根据本发明的一个方面,所述控制模块开始根据所述MTF值对外部装置进行控制时,所述解像力计算模块马上开始对下一Y分量提取后的像素数据进行计算。
根据本发明的一个方面,所述图像插值模块包括:
移位寄存器组,用于从外部接收所述像素数据;
矩阵处理子模块,用于将所述像素数据处理成预定规格的矩阵;以及
插值子模块,用于对处理成预定规格矩阵的像素数据进行插值。
根据本发明的一个方面,所述图像插值模块还包括:
Bayer模式选择子模块,用于将与所述像素数据的像素相同的Bayer格式信息提供给所述插值子模块,以使所述插值子模块基于所述Bayer格式进行插值;
第一FIFO缓冲模块,用于将来自外部的所述像素数据处理成同步并行数据,并将所述同步并行数据提供给所述移位寄存器组;以及
第二FIFO缓冲模块,用于基于AXI协议对插值后的并行像素数据转化成AXI数据流。
根据本发明的一个方面,所述移位寄存器组包括两个级联的移位寄存器,每个所述移位存储器的位宽为64bit,
所述矩阵处理子模块将3*10矩阵的像素数据变换成八个3*3矩阵的像素数据。
根据本发明的一个方面,所述解像力计算模块包括:MTF参数输入模块、水平方向对比度运算子模块、垂直方向对比度运算子模块以及取平均计算子模块,
所述水平方向对比度运算子模块以及所述垂直方向对比度运算子模块基于来自所述MTF参数输入模块的MTF参数,分别对所述像素数据的相邻像素在水平方向以及垂直方向上的对比度进行计算,并分别求积分;
所述取平均计算子模块将水平方向以及垂直方向上的对比度的积分结果相加求平均。
根据本发明的一个方面,所述控制模块包括:
离焦曲线状态检测子模块,用于根据所述MTF值,确定离焦曲线状态以及外部装置的运行状态,并将确定的离焦曲线状态以及外部装置的运行参数发送给所述解像力计算模块;
状态控制子模块,用于根据所述离焦曲线的运行状态,对外部装置进行控制;以及
参数输入子模块,用于接收所述外部装置的参数信息,并将经过译码后的所述参数信息提供给所述状态控制子模块。
根据本发明的一个方面,当所述离焦曲线状态检测子模块检测到所述MTF值超过峰值且在所述外部装置的三个步长中连续下降时,将所述离焦曲线状态标识为结束状态并且将所述外部装置的运行状态标识为初始状态;
所述状态控制子模块根据所述初始状态,控制所述外部装置恢复到初始位置。
根据本发明的一个方面,还包括:
MIPI接口,用于从外部接收所述像素数据;
参数发送模块,用于向所述图像插值模块发送Bayer格式信息,向所述解像力计算模块发送MTF参数以及向所述控制模块发送所述外部装置的参数信息;以及
离焦曲线发送模块,用于从所述解像力计算模块中获取所述离焦曲线并向外部发送。
根据本发明的一个方面,所述MTF参数包括:间隔点数、提取的区域高度和区域宽度;
所述外部装置的参数信息包括:所述外部装置的起始位置、步长以及行程。
为实现上述目的,本发明提供一种具有基于离焦曲线状态检测的控制装置的系统,其还包括:
图像传感器,用于向所述控制装置发送所述像素数据;
上位机,用于与所述控制模块进行数据传输;以及
驱动器,用于根据所述控制模块的控制指令,驱动所述外部装置。
根据本发明的一个方面,所述上位机分别与参数发送模块、离焦曲线发送模块进行数据传输;
所述外部装置为伺服马达。
为实现上述目的,本发明提供一种离焦曲线绘制方法,包括:
S100.通过上位机设定控制装置的运行参数;
S101.根据所述运行参数控制外部装置驱动图像传感器移动;
S102.所述控制装置接收图像传感器采集的像素数据,计算得出像素数据的MTF值;
S103.所述上位机接收所述MTF值并绘制MTF曲线,当所述MTF值超过所述MTF曲线的峰值且在所述外部装置的三个步长中连续下降时,所述外部装置回到初始状态,完成所述MTF曲线的绘制。
根据本发明,通过在FPGA中嵌入硬件算法避免了传统技术上位机发送命令以及数据传输过程中导致的像素数据传输延迟、算法延迟等。通过利用FPGA良好的并行和流水作业的特点,在像素数据采集的过程中直接对每一帧图像进行像素数据插值、MTF值的计算,提高了本发明的工作效率。在本发明的控制装置中设置控制模块避免了通过上位机向外部装置传输指令的延迟,保证了外部装置能够及时响应并运行,进一步提高了本发明的控制装置中其它模块的工作效率。
根据本发明,通过MIPI接口从外部接收像素数据,保证了插值模块能够连续地对像素数据进行插值运算,保证了整个控制装置运行的连续和稳定。通过离焦曲线发送模块的传输作用,保证了MTF值能够被及时传输,保证了整个控制装置工作效率。
根据本发明,通过使用FIFO缓冲模块与寄存器组相互连接的方式实现移位寄存器,能够减少大量的逻辑资源占用,并且也能减少RAM资源的占用。通过上述设置,寄存器组传输的像素数据容量大,并且传输像素数据的过程占用资源少,运行效率高。
根据本发明,本发明的控制装置在传输过程中采用8个像素数据并行的流水线方式直接计算图像区域的MTF值,一帧图像传输完成即刻完成了每块区域的MTF值计算,实时性非常高。相比传统的软件计算效果,本控制装置通过硬件算法的稳定性和重复性更好。
根据本发明,基于离焦曲线状态检测的控制模块的系统绘制的MTF曲线光滑,对称性好,峰值突出,精度符合要求。实际应用过程中,本发明基于离焦曲线状态检测的控制模块的系统绘制MTF曲线只需要0.5秒左右,而传统上位机控制并绘制MTF曲线需要4~6秒的时间。通过对比可知,本发明的基于离焦曲线状态检测的控制模块的系统的效率整整提高8倍以上,有效提升了MTF曲线的测试效率,进一步提高了采用本发明的系统的生产线的生产效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是示意性表示根据本发明的基于离焦曲线状态检测的控制装置的结构框图;
图1B是示意性表示根据本发明的基于离焦曲线状态检测的控制装置的并行及流水作业流程示意图;
图2是示意性表示根据本发明的图像插值模块的结构框图;
图3是示意性表示根据本发明的第一FIFO缓冲模块生成三行像素数据的流程图;
图4是示意性表示根据本发明的矩阵处理子模块中像素数据矩阵分割流程图;
图5是示意性表示根据本发明的解像力计算模块的结构框图;
图6是示意性表示根据本发明的控制模块的结构框图;
图7是示意性表示根据本发明的基于离焦曲线状态检测的控制装置的系统的结构框图;
图8是示意性表示根据本发明的基于离焦曲线状态检测的控制装置的系统的运行流程图;
图9为根据本发明的基于离焦曲线状态检测的控制装置的系统绘制的MTF曲线图。
具体实施方式
此说明性实施方式的描述应与相应的附图相结合,附图应作为完整的说明书的一部分。在附图中,实施例的形状或是厚度可扩大,并以简化或是方便标示。再者,附图中各结构的部分将以分别描述进行说明,值得注意的是,图中未示出或未通过文字进行说明的元件,为所属技术领域中的普通技术人员所知的形式。
此处实施例的描述,有关方向和方位的任何参考,均仅是为了便于描述,而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合,这些特征可能独立存在或者组合存在,本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。
图1A是示意性表示根据本发明的基于离焦曲线状态检测的控制装置的结构框图。如图1A所示,根据本发明的一种实施方式,本发明的基于离焦曲线状态检测的控制装置基于FPGA实现,其包括图像插值模块1、图像提取模块2和解像力计算模块3。在本实施方式中,图像插值模块1接收外部图像传感器输出的像素数据。同时,图像插值模块1对接收的像素数据进行插值运算。图像提取模块2与图像插值模块1相互之间电连接,图像插值模块1将插值运算后的像素数据传输到图像提取模块2。图像提取模块2对插值后的像素数据进行Y分量(图像灰度)提取。
解像力计算模块3与图像提取模块2相互电连接,通过图像提取模块2进行Y分量(图像灰度)提取的像素数据被传入到解像力计算模块3中,解像力计算模块3对像素数据进行计算获取图像数据的MTF值。同时,解像力计算模块3将获得的MTF值传输到下一级,从而完成MTF曲线绘制。
图1B是示意性表示根据本发明的基于离焦曲线状态检测的控制装置的并行及流水作业流程示意图。在此过程中,控制装置的各模块均是针对像素点进行数据运算。在某一像素点处,当图像插值模块1将插值运算后的数据传输到图像提取模块2,由图像提取模块2对插值后的像素数据进行Y分量(图像灰度)提取时,图像插值模块1可立刻开始对下一像素点的像素数据进行插值运算。
同样,图像提取模块2和解像力计算模块3也具有同样的特性,当图像提取模块2完成对插值后的像素点数据进行Y分量(图像灰度)提取后,解像力计算模块3开始获取此像素点的MTF值,此时像素提取模块2则开始对图像插值模块1进行插值运算后的下一像素点的像素数据进行Y分量(图像灰度)提取,从而使得本发明的控制装置能够同时对多个像素点的像素数据进行流水作业,无需等待其中一个像素点完成MTF值计算才能够开始下一像素点的数据处理,因此能够节省运算时间,提高整体的运算效率。
通过在FPGA中嵌入硬件算法避免了传统技术上位机发送命令以及数据传输过程中导致的像素数据传输延迟、算法延迟等。通过利用FPGA良好的并行和流水作业的特点,在像素数据采集的过程中能够连续不断地对每一帧图像进行像素数据插值、MTF值的计算,提高了工作效率。
如图1A所示,根据本发明的一种实施方式,本发明的基于离焦曲线状态检测的控制装置还包括控制模块4。在本实施方式中,控制模块4与解像力计算模块3相互电连接,并且控制模块4还需要与外界的产生位移的外部装置相互电连接。解像力计算模块3对当前像素数据的MTF值计算完成后,控制模块4接收到电信号,控制模块4进一步对外界的外部装置发出信号,使外部装置完成位置移动。通过外部装置的运动,外部图像传感器传输的像素数据随之改变,使本发明的控制装置中解像力计算模块3对不同像素数据的MTF值进行计算。解像力计算模块3将计算完成的不同MTF值连续传输到下一级,完成绘制MTF值的曲线。控制模块4接收到电信号开始根据MTF值对外部装置进行控制时,解像力计算模块3马上开始对下一Y分量提取后的像素数据进行计算。通过上述设置,在本发明的控制装置中设置控制模块4避免了通过上位机向外部装置传输指令的延迟,保证了外部装置能够及时响应并运行,进一步提高了本发明的控制装置中其它模块的工作效率。
如图1A所示,根据本发明的一种实施方式,本发明的基于离焦曲线状态检测的控制装置还包括:MIPI接口5、参数发送模块6和离焦曲线发送模块7。在本实施方式中,MIPI接口5与图像插值模块1相互电连接。本发明的控制装置的外部生成的像素数据通过MIPI接口5传输到图像插值模块1中,从而实现像素数据的插值运算。通过MIPI接口5从外部接收像素数据,保证了插值模块能够连续地对像素数据进行插值运算,保证了整个控制装置运行的连续和稳定。在本实施方式中,参数发送模块6分别与图像插值模块1、图像提取模块2、解像力计算模块3和控制模块4相互电连接。参数发送模块6向图像插值模块1发送像素数据的Bayer格式信息,保证插值模块在插值运算过程中格式信息的准确,有利于提高整个图像插值模块1的计算效率。在解像力计算模块3运算过程中,参数发送模块6还需要向解像力计算模块3发送MTF参数。同时,参数发送模块6需要向控制模块4发送外部装置的参数信息从而保证整个控制装置完成MTF曲线的MTF值的运算。在本实施方式中,离焦曲线发送模块7同样与解像力计算模块3相互电连接,解像力计算模块3计算得出的MTF值传输到离焦曲线发送模块7。
图2是示意性表示根据本发明的图像插值模块的结构框图。如图2所示,根据本发明的一种实施方式,图像插值模块1包括移位寄存器组10、矩阵处理子模块11和插值子模块12。在本实施方式中,外部的图像传感器生成的像素数据通过移位寄存器组10输入图像插值模块1中。像素数据通过矩阵处理子模块11被处理成预定规格的矩阵。插值子模块12则对处理成预定规格的矩阵的像素数据进行插值运算。
如图2所示,根据本发明的一种实施方式,图像插值模块1还包括第一FIFO缓冲模块13、第二FIFO缓冲模块14和Bayer模式选择子模块15。
图3是示意性表示根据本发明的第一FIFO缓冲模块生成三行像素数据的流程图。参见图3,第一FIFO缓冲模块13将来自外部的像素数据处理成同步并行数据,并将同步并行数据提供给移位寄存器组10。即外部的图像传感器生成的像素数据需要先通过第一FIFO缓冲模块13的处理后,才会被传输到移位寄存器组10。在本实施方式中,Bayer模式选择子模块15接受参数发送模块6发送的像素数据的Bayer格式信息,并且Bayer模式选择子模块15与插值子模块12相对应。Bayer模式选择子模块15将与像素数据相同的Bayer格式信息提供给插值子模块12,以使插值子模块12基于Bayer格式进行像素数据的插值运算。在本实施方式中,第二FIFO缓冲模块14基于AXI协议将插值后的并行像素数据转化为AXI数据流。同时,被转化的像素数据进入下一级进行运算,即第二FIFO缓冲模块14将插值后的像素数据传输到图像提取模块2。
根据本发明的一种实施方式,移位寄存器组10包括两个级联的移位寄存器,每个移位存储器的位宽为64bit。两个级联的移位寄存器同时接收第一FIFO缓冲模块13传输的像素数据,从而产生三行并行的同步像素数据。如图3所示,在本实施方式中,raw1_1~raw1_8分别表示第一行单个像素数据,raw2_1~raw2_8分别表示第二行单个像素数据,raw3_1~raw3_8分别表示第三行单个像素数据。其中,在移位寄存器组10中,每行数据在每个pclk(时钟频率)能够同时写入和读出8个像素数据。通过使用FIFO缓冲模块与寄存器组相互连接的方式构成移位寄存器,能够减少大量的逻辑资源占用,并且也能减少RAM资源的占用。通过上述设置,寄存器组传输的像素数据容量大,并且传输像素数据的过程占用资源少,运行效率高。
图4是示意性表示根据本发明的矩阵处理子模块中像素数据矩阵分割流程图。根据本发明的一种实施方式,矩阵处理子模块11接收移位寄存器组10传输的三行并行的同步像素数据。对于并行的三行像素数据,矩阵处理子模块11均提取当前(定义为时间t)每行的8个像素数据,以及前一时刻(则为t-1时刻)每行像素数据的第8个像素数据,以及后一时刻(则为t+1时刻)每行像素数据的第1个像素数据。如图4所示,矩阵处理子模块11将提取的像素数据构建成为一个3×10的矩阵。其中,last_raw1_8代表前一时刻第一行像素数据的第8个像素数据,raw1_1代表当前时刻第一行像素数据的第1个像素数据,next_raw1_1表示后一时刻第一行像素数据的第1个像素数据,其余像素数据的标识与上述含义相同,不再赘述。进一步的,矩阵处理子模块11将3×10的矩阵依次划分成8个3×3的矩阵。矩阵处理子模块11将划分完成的8个3×3的像素数据矩阵传输到插值子模块12中,进行下一级的工作。
如图2所示,根据本发明的一种实施方式,插值子模块12接收矩阵处理子模块11划分完成的8个3×3的像素数据矩阵,并进行插值运算。在本实施方式中,Bayer模式选择子模块15将与像素数据的像素相同的Bayer格式信息提供给插值子模块12,以使插值子模块12对8个3×3的矩阵进行像素数据的插值运算。通过对每个3×3矩阵进行插值,即可以得到每个矩阵中心的24bit的RGB数据。在本实施方式中,Bayer模式选择子模块15具有RGGB、GRBG、GBRG、BGGR四种Bayer模式,从而便于本发明的控制装置对四种Bayer模式的图像传感器进行插值运算。
在本实施方式中,以图4中raw2_2为中心的像素数据为例进行插值运算的说明。在此假定raw2_2的像素数据的感光颜色为R(即红色),则其插值运算的计算公式为:
R=raw2_2;
G=(raw1_2+raw2_1+raw2_3+raw3_2)/4;
B=(raw1_1+raw1_3+raw3_1+raw3_3)/4;
其中,R表示红色,G表示绿色,B表示蓝色。
依次类推,其余像素数据插值运算公式通过将上述公式进行替换即可得出,在此不再赘述。显而易见的,每个pclk在插值子模块12中可同时并行完成raw2-1~raw2_8的8个像素数据的插值,其效率比普通插值算法提升8倍。
图5是示意性表示根据本发明的解像力计算模块的结构框图。结合图1A和图5所示,根据本发明的一种实施方式,插值子模块12将插值后的像素数据传输到解像力计算模块3。解像力计算模块3包括:MTF参数输入模块31、水平方向对比度运算子模块32、垂直方向对比度运算子模块33以及取平均计算子模块34。在本实施方式中,水平方向对比度运算子模块32以及垂直方向对比度运算子模块33基于来自MTF参数输入模块31的MTF参数,分别对像素数据的相邻像素在水平方向以及垂直方向上的对比度进行计算,并分别求积分。在本实施方式中,取平均计算子模块34将水平方向以及垂直方向上的对比度的积分结果相加求平均从而得到MTF值。其中,解像力计算模块3是以Y分量(图像灰度)为基准进行计算。根据本发明的另一种实施方式,解像力计算模块3中的MTF参数输入模块31还可以设置为输入SFR参数或者Sobel参数的输入模块。
如图5所示,在本实施方式中,水平方向对比度运算子模块32相对应地设置有水平方向寄存器,并且水平方向寄存器为一个64bit的寄存器。垂直方向对比度运算子模块33相对应地设置有垂直方向寄存器,并且垂直方向寄存器为三行移位寄存器。每个pclk向解像力计算模块3输入8个并行的高度和宽度一定的Y分量提取的区域,分别输送给水平和垂直方向进行计算。其中,水平方向需要64bit的寄存器进行缓存,垂直方向需要三行移位寄存器进行缓存。通过MTF参数输入模块31输入的MTF参数,分别计算所选取区域所有像素数据的水平方向和垂直方向的对比度,然后求出这些对比度的积分。在本实施方式中,MTF参数输入模块31输入的MTF参数可以确定间隔像素数据个数,输入的Y分量提取的区域高度,输入的Y分量提取的区域宽度。具体公式如下所示:
MTFx=(∑|P[x][y]-P[x-i][y]|)/HEIGHT×(WIDTH-i);
MTFy=(∑|P[x][y]-P[x][y-i]|)/WIDTH×(HEIGHT-i);
MTF=(MTFx+MTFy)/2;
其中,P[x][y]表示为选定的像素数据的Y分量,i为间隔像素数据个数,HEIGHT为选定区域的图像高度,WIDTH为选定区域的图像宽度。通过MTF参数输入模块31,还可以灵活选择选定区域的中心位置坐标(x,y),从而对指定图像的区域进行MTF值的计算。MTF参数输入模块31可以选择图像的5块区域进行MTF值计算。
通过上述设置,本发明的控制装置在传输过程中采用8个像素数据并行的流水线方式直接计算图像区域的MTF值,一帧图像传输完成即可完成每块区域的MTF值计算,实时性非常高。相比传统方法中,通过上位机的软件进行计算,本控制装置通过硬件算法进行计算,计算过程中的稳定性和重复性更好。
图6是示意性表示根据本发明的控制模块的结构框图。如图6所示,根据本发明的一种实施方式,控制模块4包括:离焦曲线状态检测子模块41、状态控制子模块42和参数输入子模块43。在本实施方式中,离焦曲线状态检测子模块41根据MTF值确定离焦曲线状态信息以及外部装置的运行状态信息,并将确定的离焦曲线状态信息以及外部装置的运行参数发送给解像力计算模块3。状态控制子模块42与离焦曲线状态检测子模块41相互电连接。状态控制子模块42接收离焦曲线状态的信息,以及根据外部装置的运行状态,对外部装置进行控制。参数输入子模块43接收外部装置的参数信息。参数输入子模块43中包含有参数译码电路。参数信息经过参数译码电路的译码后,参数输入子模块43将进过译码后的参数信息提供给状态控制子模块42,从而实现状态控制子模块42的控制功能。在本实施方式中,外部装置的参数信息为外部装置的起始位置、步长以及行程等。
根据本发明的一种实施方式,当离焦曲线状态检测子模块41检测到MTF值超过峰值且在外部装置运行的三个步长中连续下降时,将离焦曲线状态标识为结束状态,同时离焦曲线状态检测子模块41将外部装置的运行状态标识为初始状态。状态控制子模块42根据外部装置的初始状态,控制外部装置恢复到初始位置。
图7是示意性表示根据本发明的基于离焦曲线状态检测的控制装置的系统的结构框图。如图7所示,根据本发明的一种实施方式,本发明的基于离焦曲线状态检测的控制装置的系统还包括:图像传感器8、上位机9和驱动器10。在本实施方式中,图像传感器8通过外部装置运行实现位置的移动。图像传感器8与控制装置中的MIPI接口5相互电连接,上位机9分别与参数发送模块6和离焦曲线发送模块7相互电连接,驱动器10与控制装置相互电连接。在本实施方式中,图像传感器8生成像素数据,并且将生成的像素数据通过MIPI接口5传输到图像插值模块1。在本实施方式中,离焦曲线发送模块7将解像力计算模块3得出的MTF值连续输送到上位机9中,上位机9根据接收到的MTF值进行MTF曲线的绘制。同时,上位机9对参数发送模块6还可进行参数的配置。在本实施方式中,通过上位机9可以对外部装置的运行参数进行设定,例如,外部装置的起始位置、步长和最大行程等。上位机9将上述参数发送至参数发送模块6,参数发送模块6将上述参数分发至控制模块4中,控制模块4进一步根据参数向驱动器10下发运动指令,通过驱动器10即可控制外部装置进行运动。
离焦曲线发送模块7与外部的上位机相互电连接,离焦曲线发送模块7从解像力计算模块3中获取MTF值并向外部上位机发送。通过离焦曲线发送模块7的传输作用,保证了MTF值能够被及时传输,提高了整个控制装置工作效率。
在本实施方式中,外部装置可以为伺服马达。
图8是示意性表示根据本发明的基于离焦曲线状态检测的控制装置的系统的运行流程图。结合图7和图8所示,本发明的基于离焦曲线状态检测的控制装置的系统的工作流程如下:
S100.通过上位机9设定参数发送模块6的参数,参数发送模块6分别向图像插值模块1、图像提取模块2、解像力计算模块3和控制模块4发送设定的参数,开始进行MTF曲线的绘制。
S101.外部装置根据参数发送模块6分发至控制模块4中的起始位置、步长和最大行程等参数开始运行,并驱动图像传感器8开始移动。在本实施方式中,起始位置可以为0~1mm,步长可以为0~100μm,最大行程可以为0~5mm;外部装置运行到位并且自动调整位移误差到规定范围内,从而停止运行,外部装置的位移误差可以控制在1μm以下。
S102.图像传感器8采集像素数据并传入到控制装置中,通过图像插值模块1,图像提取模块2,解像力计算模块3,计算得出像素数据的MTF值。
S103.通过离焦曲线发送模块7将得出的MTF值发送到上位机9,上位机9通过接收到的MTF值绘制出MTF曲线;当离焦曲线状态检测子模块41检测到MTF值超过绘制的MTF曲线的峰值且在外部装置的三个步长中连续下降时,将离焦曲线状态标识为结束状态,状态控制子模块42根据结束状态,停止控制外部装置,从而完成MTF值的绘制。
图9为根据本发明的基于离焦曲线状态检测的控制装置的系统绘制的MTF曲线图。如图9所示,横坐标为外部装置的位移值(单位为μm),纵坐标为MTF值。图中通过五条曲线分别表示五个图像区域的MTF曲线变化情况。
通过上述设置,根据本本发明的基于离焦曲线状态检测的控制模块4的系统绘制的MTF曲线光滑,对称性好,峰值突出,精度高。实际应用过程中,本发明的基于离焦曲线状态检测的控制模块4的系统绘制MTF曲线只需要0.5秒左右,而传统上位机控制并绘制MTF曲线需要4~6秒的时间。通过对比可知,本发明的基于离焦曲线状态检测的控制模块4的系统的效率提高8倍以上,有效提升了MTF曲线的测试效率,进一步提高了采用本发明的系统的生产线的生产效率。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (15)

1.一种基于离焦曲线状态检测的控制装置,其特征在于,所述控制装置是基于FPGA实现的,其包括:
图像插值模块,用于从外部接收像素数据,并对所述像素数据进行插值;
图像提取模块,用于对插值后的所述像素数据进行Y分量提取;
解像力计算模块,用于对经过Y分量提取的所述像素数据进行计算,以获取MTF值;以及
控制模块,用于根据所述MTF值,对外部装置进行控制。
2.根据权利要求1所述的控制装置,其特征在于,所述图像提取模块开始对插值后的所述像素数据进行Y分量提取时,所述图像插值模块马上开始对下一像素数据进行插值。
3.根据权利要求2所述的控制装置,其特征在于,所述解像力计算模块开始对经过Y分量提取的所述像素数据进行计算时,所述图像提取模块马上开始对下一插值后的所述像素数据进行Y分量提取。
4.根据权利要求3所述的控制装置,其特征在于,所述控制模块开始根据所述MTF值对外部装置进行控制时,所述解像力计算模块马上开始对下一Y分量提取后的像素数据进行计算。
5.根据权利要求1所述的控制装置,其特征在于,所述图像插值模块包括:
移位寄存器组,用于从外部接收所述像素数据;
矩阵处理子模块,用于将所述像素数据处理成预定规格的矩阵;以及
插值子模块,用于对处理成预定规格矩阵的像素数据进行插值。
6.根据权利要求5所述的控制装置,其特征在于,所述图像插值模块还包括:
Bayer模式选择子模块,用于将与所述像素数据的像素相同的Bayer格式信息提供给所述插值子模块,以使所述插值子模块基于所述Bayer格式进行插值;
第一FIFO缓冲模块,用于将来自外部的所述像素数据处理成同步并行数据,并将所述同步并行数据提供给所述移位寄存器组;以及
第二FIFO缓冲模块,用于基于AXI协议对插值后的并行像素数据转化成AXI数据流。
7.根据权利要求6所述的控制装置,其特征在于,所述移位寄存器组包括两个级联的移位寄存器,每个所述移位存储器的位宽为64bit;
所述矩阵处理子模块将3*10矩阵的像素数据变换成八个3*3矩阵的像素数据。
8.根据权利要求1所述的控制装置,其特征在于,所述解像力计算模块包括:MTF参数输入模块、水平方向对比度运算子模块、垂直方向对比度运算子模块以及取平均计算子模块;
所述水平方向对比度运算子模块以及所述垂直方向对比度运算子模块基于来自所述MTF参数输入模块的MTF参数,分别对所述像素数据的相邻像素在水平方向以及垂直方向上的对比度进行计算,并分别求积分;
所述取平均计算子模块将水平方向以及垂直方向上的对比度的积分结果相加求平均。
9.根据权利要求1所述的控制装置,其特征在于,所述控制模块包括:
离焦曲线状态检测子模块,用于根据所述MTF值,确定离焦曲线状态以及外部装置的运行状态,并将确定的离焦曲线状态以及外部装置的运行参数发送给所述解像力计算模块;
状态控制子模块,用于根据所述离焦曲线的运行状态,对外部装置进行控制;以及
参数输入子模块,用于接收所述外部装置的参数信息,并将经过译码后的所述参数信息提供给所述状态控制子模块。
10.根据权利要求9所述的控制装置,其特征在于,当所述离焦曲线状态检测子模块检测到所述MTF值超过峰值且在所述外部装置的三个步长中连续下降时,将所述离焦曲线状态标识为结束状态并且将所述外部装置的运行状态标识为初始状态;
所述状态控制子模块根据所述初始状态,控制所述外部装置恢复到初始位置。
11.根据权利要求1所述的控制装置,其特征在于,还包括:
MIPI接口,用于从外部接收所述像素数据;
参数发送模块,用于向所述图像插值模块发送Bayer格式信息,向所述解像力计算模块发送MTF参数以及向所述控制模块发送所述外部装置的参数信息;以及
离焦曲线发送模块,用于从所述解像力计算模块中获取所述离焦曲线并向外部发送。
12.根据权利要求11所述的控制装置,其特征在于,所述MTF参数包括:间隔点数、提取的区域高度和区域宽度;
所述外部装置的参数信息包括:所述外部装置的起始位置、步长以及行程。
13.一种具有上述权利要求中任一项所述的基于离焦曲线状态检测的控制装置的系统,其还包括:
图像传感器,用于向所述控制装置发送所述像素数据;
上位机,用于与所述控制模块进行数据传输;以及
驱动器,用于根据所述控制模块的控制指令,驱动所述外部装置。
14.根据权利要求13所述的系统,其特征在于,所述上位机分别与参数发送模块、离焦曲线发送模块进行数据传输;
所述外部装置为伺服马达。
15.一种基于权利要求13或14所述的系统的离焦曲线绘制方法,包括:
S100.通过上位机设定控制装置的运行参数;
S101.根据所述运行参数控制外部装置驱动图像传感器移动;
S102.所述控制装置接收图像传感器采集的像素数据,计算得出像素数据的MTF值;
S103.所述上位机接收所述MTF值并绘制MTF曲线,当所述MTF值超过所述MTF曲线的峰值且在所述外部装置的三个步长中连续下降时,所述外部装置回到初始状态,完成所述MTF曲线的绘制。
CN201711146741.0A 2017-11-17 2017-11-17 基于离焦曲线状态检测的控制装置及含该装置的系统 Active CN107730547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711146741.0A CN107730547B (zh) 2017-11-17 2017-11-17 基于离焦曲线状态检测的控制装置及含该装置的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711146741.0A CN107730547B (zh) 2017-11-17 2017-11-17 基于离焦曲线状态检测的控制装置及含该装置的系统

Publications (2)

Publication Number Publication Date
CN107730547A true CN107730547A (zh) 2018-02-23
CN107730547B CN107730547B (zh) 2023-05-23

Family

ID=61217117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711146741.0A Active CN107730547B (zh) 2017-11-17 2017-11-17 基于离焦曲线状态检测的控制装置及含该装置的系统

Country Status (1)

Country Link
CN (1) CN107730547B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113399838A (zh) * 2021-07-29 2021-09-17 中国科学院力学研究所 一种基于激光离焦曲线的轧辊表面毛化凸度的加工方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003043328A (ja) * 2001-07-30 2003-02-13 Sony Corp ズームレンズの調整方法、撮像装置の調整方法、ズームレンズ及び撮像装置
WO2007026899A1 (ja) * 2005-09-01 2007-03-08 Olympus Corporation 画像処理装置および画像処理プログラム
CN101309430A (zh) * 2008-06-26 2008-11-19 天津市亚安科技电子有限公司 基于fpga的视频图像预处理器
JP2011217195A (ja) * 2010-03-31 2011-10-27 Konica Minolta Business Technologies Inc 画像処理装置、同装置における画像処理方法及び画像処理プログラム
CN105611256A (zh) * 2015-12-28 2016-05-25 南京航空航天大学 一种基于梯度的Bayer格式图像插值方法及基于FPGA的显示装置
CN106447597A (zh) * 2016-11-02 2017-02-22 上海航天控制技术研究所 一种基于并行流水机制的高分辨图像加速处理方法
CN106888344A (zh) * 2015-12-16 2017-06-23 宁波舜宇光电信息有限公司 摄像模组及其像面倾斜的获取方法和调整方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003043328A (ja) * 2001-07-30 2003-02-13 Sony Corp ズームレンズの調整方法、撮像装置の調整方法、ズームレンズ及び撮像装置
WO2007026899A1 (ja) * 2005-09-01 2007-03-08 Olympus Corporation 画像処理装置および画像処理プログラム
CN101309430A (zh) * 2008-06-26 2008-11-19 天津市亚安科技电子有限公司 基于fpga的视频图像预处理器
JP2011217195A (ja) * 2010-03-31 2011-10-27 Konica Minolta Business Technologies Inc 画像処理装置、同装置における画像処理方法及び画像処理プログラム
CN106888344A (zh) * 2015-12-16 2017-06-23 宁波舜宇光电信息有限公司 摄像模组及其像面倾斜的获取方法和调整方法
CN105611256A (zh) * 2015-12-28 2016-05-25 南京航空航天大学 一种基于梯度的Bayer格式图像插值方法及基于FPGA的显示装置
CN106447597A (zh) * 2016-11-02 2017-02-22 上海航天控制技术研究所 一种基于并行流水机制的高分辨图像加速处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J. F. BELL III ET AL: "The Mars Science Laboratory Curiosity rover Mastcam instruments: Preflight and in-flight calibration,validation, and data archiving", 《EARTH AND SPACE SCIENCE》 *
朱建新等: "拍照手机镜头MTF的测量方法", 《光学仪器》 *
陈国金等: "基于现场可编程门阵列的图像调焦系统", 《系统工程与电子技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113399838A (zh) * 2021-07-29 2021-09-17 中国科学院力学研究所 一种基于激光离焦曲线的轧辊表面毛化凸度的加工方法

Also Published As

Publication number Publication date
CN107730547B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN102273208A (zh) 图像处理设备、图像处理方法以及程序
CN103269425A (zh) 多功能智能图像转换系统
CN106060462B (zh) 一种基于Zynq平台的高性能视频处理及传输系统
US20040150734A1 (en) Interpolation of edge portions of a digital image
US6608296B1 (en) High-speed vision sensor having a parallel processing system
CN108133215A (zh) 一种处理单元
CN105049826B (zh) 基于fpga的实时立体视频融合转换方法
CN105611256B (zh) 一种基于梯度的Bayer格式插值方法及基于FPGA的显示装置
CN105430361A (zh) 成像方法、图像传感器、成像装置及电子装置
CN101087386A (zh) 图像处理装置、图像处理方法、记录介质和程序
CN107730547A (zh) 基于离焦曲线状态检测的控制装置及含该装置的系统
CN108897264A (zh) 用于通用系统芯片的适用范围广的模数转换器控制装置
CN110276110A (zh) 一种双目立体视觉系统的软硬件协同设计方法
CN104113674B (zh) 基于fpga的线阵ccd成像系统的图像实时校正输出方法
CN206661588U (zh) 一种点胶机视觉伺服系统
CN101562006A (zh) 一种图像缩放的方法及装置
CN102118289A (zh) Ieee1394接口的实时图像分割处理系统与高速智能统一总线接口方法
CN109754381A (zh) 一种图像处理方法及系统
CN105430297B (zh) 多视频格式向iidc协议视频格式转换的自动控制系统
CN113723418B (zh) 一种对造影图像进行优选的处理方法和装置
CN110415244A (zh) 判断骨骼状态的方法及其模型训练方法、装置
CN110341766A (zh) 自适应时长调整平台
CN105100639B (zh) 一种显示方法及显示装置
CN105708495B (zh) 超声彩色血流成像边界处理方法及系统
CN105517396B (zh) 一种自动化设备电路板控制柜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant