CN107743238A - 一种获取图像的设备和方法 - Google Patents

Abstract

本发明实施例公开了一种获取图像的设备和方法，其特征在于包括：传感器驱动单元、输入图像缓存、运动矢量检测单元、数字图像处理单元、输出图像缓存、数字图像输出单元。所述传感器驱动单元为高速图像传感器驱动单元，其曝光时间远小于数字图像输出单元的帧周期，其获取图像的帧率比数字图像输出单元的帧率高。所述运动矢量检测单元检测图像运动并输出二维运动矢量序列。所述数字图像处理单元根据二维运动矢量序列，对连续多帧图像进行跟踪累加，并去除部分图像冗余信息。通过上述方式，本发明能够以更短曝光时间获取更高的图像信噪比，以适应高速运动物体的录像或抓拍。

Description

一种获取图像的设备和方法

技术领域

本发明涉及光学检测领域，特别是涉及一种图像获取的设备和方法，用于获取高速运动物体的图像，在避免运动模糊的同时保持较高的图像信噪比。

背景技术

在当今激烈竞争的制造业市场，随着生产速度的加快和用户要求的日益提升，保证连续稳定的产品质量对制造业至关重要。表面检测技术是指使用图像传感器替代人眼，100％精确检测物体表面缺陷、瑕疵，并对缺陷信息进行统计、分类和分析，优化生产过程控制，将产品进行分级，对合格品和不合格品进行分类，提高客户的信赖和满意度。

比如在平面印刷领域，彩色表面检测直接关系到印刷厂的产量，要求设备速度越来越高，比如北大方正的宽幅高速印刷机可以达到150米/分钟的印刷速度，幅面宽度520mm，分辨率600DPI。印刷品光学检测需要识别的缺陷包括：漏印、糊版、拖墨、色差、套印不准、污点、皱折、刀丝、机械损伤等。获取清晰的图像是光学检测的前提。获取快速运动的印刷品的图像，在避免运动模糊的同时保持较高的图像信噪比，成为运动物体光学检测的重点和难点。

符颖等在中国专利公开号为CN10695224A的文献中公开了一种基于图像梯度分布模型和点扩散函数模型的去运动模糊方法。万磊等在中国专利公开号为CN106875360A的文献中公开了一种模糊核的去运动模糊方法。徐圆飞等在中国专利公开号为CN106504213A的文献中公开了一种非盲卷积运动模糊复原方法。孙剑等在中国专利公开号为CN1046800491B的文献中公开了一种基于深度神经网路的图像非均匀运动模糊去除方法。党宏社等在中国专利公开号为CN104156919B的文献中公开了一种基于小波变换和Hopfield神经网络的运动图像恢复方法。这些方法要么算法过于复杂，要么去运动模糊效果不佳。尤其对于高速运动，模糊一旦形成，是很难彻底去除的。

为了避免高速运动模糊，最好的办法是减小曝光时间。150米/分钟600DPI意味着(150*1000/25.4)*600/60＝59055dot/second的运动速度，为了避免运动模糊，曝光时间的潜在需求是1/59055＝16.9微秒，这是普通曝光时间的大约千分之一。这么短的曝光时间，为了保持较高的图像信噪比，现有技术采用增加灯光照度和增加图像传感器的PixelSize的方法，来弥补这大约1000倍的差距。

以200万像素面阵传感器为例，性价比较高的普通图像传感器，其PixelSize大约为2.8微米。高价格高性能的面阵传感器其PixelSize大约为5.5微米，能够提升图像信噪比(5.5/2.8)^2＝3.8倍，还需要250倍的灯光照度。过亮的灯光照度，不仅浪费能源，而且价格昂贵，还造成灯光污染，危害人眼健康，不适合普通的工作环境。

发明内容

本发明主要解决的技术问题是提供一种图像获取的设备和方法，能够在拍摄快速运动时避免运动模糊，避免使用过于明亮的灯光，同时保持较高的图像信噪比。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种获取图像的设备和方法；其特征在于，包括：传感器驱动单元、输入图像缓存、运动矢量检测单元、数字图像处理单元、输出图像缓存、数字图像输出单元。所述传感器驱动单元为高速图像传感器驱动单元，其曝光时间远小于数字图像输出单元的帧周期，其获取图像的帧率比数字图像输出单元的帧率高。所述输入图像缓存存储至少两帧高帧率高噪声图像。所述运动矢量检测单元检测图像运动并输出二维运动矢量序列。所述数字图像处理单元根据二维运动矢量序列，对连续多帧图像进行跟踪累加，并去除部分图像冗余信息。所述输出图像缓存存储至少一帧低帧率低噪声图像，其刷新帧率不大于数字图像输出单元的帧率。所述数字图像输出单元采用业界标准的视频帧率和图像格式。

根据本发明特定实施例，所述数字图像处理单元根据二维的全局运动矢量，对所有像素采用一致的全局运动矢量序列，进行连续多帧图像的跟踪累加，并通过降低帧率的方法去除部分图像冗余信息。

根据本发明特定实施例，所述数字图像处理单元根据二维的全局运动矢量，对所有像素采用一致的全局运动矢量序列，进行连续多帧跟踪累加，并采用扫描写入的方法去除部分图像冗余信息。

根据本发明特定实施例，所述数字图像处理单元根据二维的局部运动矢量，对连续多帧图像中的运动像素，采用各自的运动矢量序列进行局部跟踪累加，对连续多帧图像中的背景像素直接累加，并通过降低帧率的方法去除部分图像冗余信息。

根据本发明特定实施例，所述运动矢量检测单元采用光流法获得二维的全局运动矢量。

根据本发明特定实施例，所述运动矢量检测单元采用编码器驱动单元辅助获得二维的全局运动矢量。

根据本发明特定实施例，所述运动矢量检测单元采用特定的测试图和光流法标定编码器脉冲与全局运动矢量的关系，并采用编码器驱动单元获得实时的二维的全局运动矢量。

根据本发明特定实施例，所述运动矢量检测单元采用光流法获得二维的局部运动矢量。

根据本发明特定实施例，所述运动矢量检测单元采用高斯混合模型和运动检测进行图像分割，针对每个运动对象采用光流法获得该运动对象的运动矢量，每个运动对象覆盖的像素采用一致的运动矢量。

根据本发明特定实施例，所述传感器驱动单元在写入输入图像缓存之前进行畸变矫正，去除桶形畸变和枕形畸变。

根据本发明特定实施例，所述输入图像缓存使用以帧为单位的形成循环队列。

根据本发明特定实施例，所述输出图像缓存使用以行为单位的形成循环队列，并采用扫描写入模式。

根据本发明特定实施例，所述输出图像缓存工作在乒乓写入模式。

根据本发明特定实施例，所述数字图像输出单元采用扫描刷新的模式。

根据本发明特定实施例，所述数字图像输出单元采用VIDEO刷新的模式。

本发明的有益效果是：拍摄快速运动的物体时避免运动模糊，避免使用过于明亮的灯光，同时保持较高的图像信噪比。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术中所需要使用的附图作简要的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明特定实施例，使用一种获取图像的设备用于印刷品缺陷检测。

图2示出了根据本发明特定实施例，一种获取图像的设备的结构示意图。

图3示出了根据本发明特定实施例，输入缓存的分解示意图。

图4A、图4B、图4C、图4D示出了根据本发明特定实施例，运动矢量检测单元的分解示意图。

图5示出了根据本发明特定实施例，数字图像处理单元的流程示意图。

图6A、图6B、图6C示出了根据本发明特定实施例，输出图像缓存的分解示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

应当理解，本发明实施例涉及的“第一”、“第二”、“第三”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品、或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1示出了本发明的一种典型应用，其中待检测的印刷品40随着传送带50做平移运动。灯具30为本发明公开的一种获取图像的设备和方法10提供照明，使印刷品40表面照度符合应用需求。增量编码器60检测传送带的运动距离，产生增量脉冲发送给本发明公开的一种获取图像的设备和方法10，作为运动矢量检测的参考。本发明公开的一种获取图像的设备和方法10产生图像，发送给计算机20，用于印刷品缺陷检测。

图2示出了本发明的一种实施例，一种获取图像的设备和方法10，包括传感器驱动单元110、输入图像缓存120、运动矢量检测单元130、数字图像处理单元140、输出图像缓存160、数字图像输出单元170。其中传感器驱动单元110为高速图像传感器驱动单元，其曝光时间远小于数字图像输出单元的帧周期，其获取图像的帧率比数字图像输出单元160的帧率高。其中运动矢量检测单元130检测图像运动并输出二维运动矢量序列MV。其中数字图像处理单元140根据二维运动矢量序列MV，对连续多帧图像VN进行跟踪累加，并去除部分图像冗余信息。其中数字图像输出单元170采用业界标准的视频帧率和图像格式。

图3示出了输入图像缓存120的一种实施例，包括输入图像Writing帧121、输入图像前向跟踪帧122、输入图像Reading帧123、输入图像后向跟踪帧124、输入缓存WritePointer 125、输入缓存ReadPointer 126。其中输入图像前向跟踪帧122有M帧缓存，输入图像后向跟踪帧124有N帧缓存，M、N为自然数，总共M+N+2帧缓存形成循环队列。其中输入缓存WritePointer 125为写指针、输出缓存ReadPointer 126为读指针。其中输入图像Writing帧121禁止读出，其他缓存禁止写入。括输入图像Writing帧121被传感器驱动单元110写入，被运动矢量检测单元130、数字图像处理单元140读出。图中121a和121b可设置为默认静止区，121c为可能包含运动的图像区域。

图4A示出了运动矢量检测单元130的第一种实施例，包括默认静止区域设置单元131、运动对象检测单元132、特征点检测单元133、特征点匹配单元134、运动矢量生成单元136。默认静止区域设置单元131设置图3中121a和121b的起止位置，该区域的图像默认为静止，不参与运动对象检测，其中如果121a和121b的宽度设置为0，表示没有默认静止区域。运动对象检测单元132，从输入图像缓存120读出图像V2，检测出N_object个运动对象。业界有很多种成熟的运动对象检测算法，一种常用的方法是基于高斯混合模型的运动对象检测算法。特征点检测单元133在每个运动对象覆盖区域里检测至少一个特征点，业界有很多成熟的特征点检测算法，比如Harris角点是一种常用的特征点检测算法。特征点匹配单元134在相邻帧之间进行特征点匹配进行特征点跟踪，业界有很多成熟的特征点匹配算法，比如光流法就是一种常用的特征点匹配算法。运动矢量生成单元136针对每个对象包含的至少一个特征点对，求其运动矢量的最优解，业界有很多成熟的最优解算法，比如最小二乘法。运动矢量生成单元136生成的运动矢量发送给数字图像处理单元140，用于进一步的图像处理。

图4B示出了运动矢量检测单元130的第二种实施例，在图4A的基础上增加了编码器驱动单元135。其中编码器驱动单元135接收来自增量编码器60的增量编码脉冲，生成运动矢量初值，作为特征点匹配单元134的参考数据，可以降低特征点匹配单元的迭代次数或搜索范围，从而降低运算量，加快运算速度，节省运算资源。

图4C示出了运动矢量检测单元130的第三种实施例，在图4A的基础上,增加了编码器驱动单元135、运动矢量标定单元137。其中编码器驱动单元135接收来自增量编码器60的增量编码脉冲，计算运动速度。其中运动矢量标定单元137，比对运动速度和来自运动矢量生成单元136的运动矢量，建立运动速度与运动矢量的对应关系。运动矢量的标定结果用于图4D。在图4C所示的标定过程中，标定用的印刷品40采用具有明显特征点的TVChart，比如棋盘格。

图4D示出了运动矢量检测单元130的第四种实施例，包括默认静止区域设置单元131、编码器驱动单元135、运动矢量生成单元136。基于图4C的标定结果，运动矢量生成单元136可以根据编码器脉冲生成运动矢量。

图5示出了数字图像处理单元140的一种实施例。在步骤141中，开始当前帧的图像处理。在步骤142中，获取来自运动矢量检测单元130的运动对象数N_object。在步骤143中，获扫描行数Vscan、垂直行数Vmax、水平列数Hmax。在步骤144中，判断N_object是否为1，如果N_object为1则转向步骤145，否则转向步骤146。在步骤145中，设置OutWriteMode＝SCAN，Nmax＝Hmax*Vscan，其中Vscan是本帧处理需要写入输出图像缓存160的行数。在步骤146中，设置OutWriteMode＝PINGPANG，Nmax＝Hmax*Vmax。在步骤147中，设置i＝0。在步骤148中，判断如果i<Nmax则转向步骤149，否则本帧处理结束。在步骤149中，获取当前像素坐标x,y，获取当前像素所属对象id号，获取该对象的运动向量序列MVx(id,k),MVy(id,k)。在步骤150中，实现跟踪累加：

其中outR(x,y)、outG(x,y)、outB(x,y)是写入输出图像缓存160的红绿蓝三基色数值，x,y是像素坐标，x是列编号，y是行编号。其中inR(x,y,k)、inG(x,y,k)、inB(x,y,k)是来自输入图像缓存120第k帧的红绿蓝三基色数值，x,y是像素坐标，x是列编号，y是行编号，k是帧编号。其中MVx(id,k)、MVy(id,k)是当前帧相对于第k帧的运动向量，x,y是像素坐标，x是列编号，y是行编号，id是该像素所属运动对象的标识号。

图6A示出了输出图像缓存160的第一种实施例，用于SCAN写入模式，包括读缓冲区161、写缓冲区162，输出缓存ReadPointer 163、输出缓存WritePointer 164、输出缓存StartPointer165、输出缓存EndPointer165。其中读缓冲区161、写缓冲区162以行为单位组成循环队列。其中输出缓存StartPointer165、输出缓存EndPointer165由数字图像处理单元140控制，指定读缓冲区161的范围。其中输出缓存WritePointer 164由数字图像处理单元140控制，指向正在写入的缓存地址，该模式为SCAN写入模式。其中输出缓存ReadPointer163由数字图像输出单元170控制，指向当前正在读出的缓存地址。输出缓存ReadPointer163可以工作在SCAN刷新模式或VIDEO刷新模式。

图6B示出了输出图像缓存160的第二种实施例，用于乒乓写入模式，包括读缓冲区161、写缓冲区162，输出缓存ReadPointer 163、输出缓存WritePointer 164。其中读缓冲区161、写缓冲区162在A缓存、B缓存之间乒乓切换。其中输出缓存WritePointer 164由数字图像处理单元140控制，指向正在写入的缓存地址，该模式为PINGPANG写入模式。其中输出缓存ReadPointer163由数字图像输出单元170控制，指向当前正在读出的缓存地址。输出缓存ReadPointer 163可以工作在VIDEO刷新模式。

图6C示出了输出图像缓存160的第三种实施例，用于混合写入模式，包括扫描缓冲区167、乒乓缓冲区168。其中扫描缓冲区167工作在扫描写入模式，乒乓缓冲区168工作在乒乓写入模式。在混合写入模式下，数字图像输出单元170必须工作在VIDEO刷新模式。

在上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有描述的部分，可以参考其它实施例的相关描述。

在本发明所提的几个实施例中，应该理解到，所披露的装置和方法，可以通过其它的方式实现。例如，以上说描述的装置实施例仅仅是示意性的。例如，所述单元的划分，仅仅是一种逻辑单元划分，实际实现时可以有另外的划分方式。例如，多个单元和组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的直接耦合或间接耦合或通信连接，可以是通过一些接口，可以是有线的、无线的，可以是电气的、机械的、软件的、或其它形式。

所述作为分离部件说明的单元，可以是或者可以不是物理上分开的。作为单元显示的部件可以是或者可以不是物理单元，即可以位于一个地方，或者可以分步到多个网络单元上。可以根据实际需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以用硬件的形式实现，也可以用硬件加软件单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备)或数字信号处理器(DSP)或中央处理器(CPU)或图像处理器(GPU)或现场可编程阵列(FPGA)或复杂可编程逻辑器件(CPLD)或片上系统(SoC)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Accessed Memory，RAM)、磁碟、光碟等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将装置的内部结构划分成不同的功能单元，以完成以上描述的全部或部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应该说明的是，以上各实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种获取图像的设备，其特征在于，包括：传感器驱动单元、输入图像缓存、运动矢量检测单元、数字图像处理单元、输出图像缓存、数字图像输出单元；

所述传感器驱动单元为高速图像传感器驱动单元，其曝光时间远小于数字图像输出单元的帧周期，其获取图像的帧率大于数字图像输出单元的帧率；

所述输入图像缓存存储至少两帧高帧率高噪声图像；

所述运动矢量检测单元检测图像运动并输出二维运动矢量序列；

所述数字图像处理单元根据二维运动矢量序列，对连续多帧图像进行跟踪累加以降低图像噪声，并去除部分图像冗余信息；

所述输出图像缓存存储至少一帧低帧率低噪声图像，其刷新帧率不大于数字图像输出单元的帧率；

所述数字图像输出单元采用业界标准的视频帧率和图像格式。

2.根据权利要求1所述的一种获取图像的设备，其特征在于：所述数字图像处理单元根据二维的全局运动矢量，所有像素采用一致的全局运动矢量序列，对连续多帧图像进行跟踪累加，并通过降低帧率或只保留扫描图像的方法去除部分图像冗余信息。

3.根据权利要求1所述的一种获取图像的设备，其特征在于：所述数字图像处理单元根据二维的局部运动矢量，对连续多帧图像中的运动像素，采用各自的运动矢量序列进行局部跟踪累加，对连续多帧图像中的背景像素直接累加，并通过降低帧率的方法去除部分图像冗余信息。

4.根据权利要求1-3所述的一种获取图像的设备，其特征在于：所述运动矢量检测单元采用光流法获得二维的全局运动矢量或局部二维运动矢量。

5.根据权利要求1-3所述的一种获取图像的设备，其特征在于：所述运动矢量检测单元采用特定的测试图和光流法标定编码器脉冲与全局运动矢量的关系，并采用编码器驱动单元获得实时的二维的全局运动矢量。

6.一种获取图像的方法，其特征在于：包括以下步骤：传感器驱动单元获取原始图像、写入输入图像缓存、检测运动矢量、进行数字图像处理、写入输出图像缓存、输出数字图像；

所述传感器驱动单元为高速图像传感器驱动单元，其曝光时间小于数字图像输出单元的帧周期，其曝光时间远小于数字图像输出单元的帧周期，其获取图像的帧率远大于数字图像输出单元的帧率；

所述输入图像缓存存储至少两帧高帧率高噪声图像；

所述运动矢量检测单元输出二维运动矢量序列；

所述数字图像处理单元根据二维运动矢量序列，对连续多帧图像进行跟踪累加以降低图像噪声，并降低帧率以去除部分图像冗余信息；

所述输出图像缓存存储至少一帧低帧率低噪声图像，其刷新帧率不大于数字图像输出单元的帧率；

所述数字图像输出单元采用业界标准的视频帧率和图像格式。

7.根据权利要求6所述的一种获取图像的方法，其特征在于：所述数字图像处理单元根据二维的全局运动矢量，所有像素采用一致的全局运动矢量序列，对连续多帧图像进行跟踪累加，并通过降低帧率的方法或只保留扫描图像的方法去除部分图像冗余信息。

8.根据权利要求6所述的一种获取图像的方法，其特征在于：所述数字图像处理单元根据二维的局部运动矢量，对连续多帧图像中的运动像素，采用各自的运动矢量序列进行局部跟踪累加，对连续多帧图像中的背景像素直接累加，并通过降低帧率的方法去除部分图像冗余信息。

9.根据权利要求6-8所述的一种获取图像的方法，其特征在于：所述运动矢量检测单元采用光流法获得全局的二维运动矢量或局部的二维运动矢量。

10.根据权利要求6-8所述的一种获取图像的方法，其特征在于：所述运动矢量检测单元采用特定的测试图和光流法标定编码器脉冲与全局运动矢量的关系，并采用编码器驱动单元获得实时的二维的全局运动矢量。