CN117876503B - 一种线扫相机图像中嵌入标记的方法及系统 - Google Patents

Abstract

本发明涉图像数据处理技术领域，特别涉及一种线扫相机图像中嵌入标记的方法及系统。包括以下步骤：采集线扫相机行像素的行周期；判断线扫相机是否发生速度突变事件、方向变化事件或启停事件；嵌入事件标记并将发生事件的坐标信息同步至线扫相机主机接口的帧信息；组成一帧图像并输出。能够自动在线扫相机的图像中嵌入标记，记录线扫相机的启停、速度变化和方向变化，避免依靠肉眼通过观察捕获到的图像确定发生问题的具体位置，加快了对线扫相机工作中各类问题现场调试的效率和故障点定位的精度，以及对故障类型判断的准确率和可信度。

Description

一种线扫相机图像中嵌入标记的方法及系统

技术领域

本发明涉图像数据处理技术领域，特别涉及一种线扫相机图像中嵌入标记的方法及系统。

背景技术

线扫相机在工业检测领域中频繁使用，被采集对象通常是运动物体。在一些较为苛刻的使用环境中，要求线扫相机能持续不断电工作。但是运动控制台可能会间断性地运行工作，外部因素也可能导致运动控制器运行不稳定而发生高频抖动，致使线扫相机采集速度与运动物体的实际速度不匹配，造成采集图像异常。亦或输出的编码器信号受外界干扰致使AB编码器采集到的信号相位发生翻转方向指示错误，线扫相机采集方向与运动物体的实际运动方向不一致而导致的图像异常。

为了便于现场排查是何种原因引起的图像异常，需要获取运动物体的具体启停点位置、速度突变点位置和方向变化位置，以便于排查是何种原因导致的图像异常。例如，在停止后如果是惯性原因导致运动物体发生反转，采集到的图像可能存在部分重叠拖影现象；在加减速过程中采集设备响应时间和运动物体速度不匹配时，采集到的图像可能存在轻微的断层错位；速度突变时发生丢行和重采样，采集到的图像出现局部压缩和拉伸。

现有技术的线扫相机依靠肉眼通过观察捕获到的图像确定发生问题的具体位置，但是上述的图像问题往往比较轻微，肉眼分辨图像细节判定问题类型和部位效率低下，并且准确率和可信度均不高。

发明内容

本发明的目的是为了解决上述相关问题，设计了一种线扫相机图像中嵌入标记的方法及系统。为实现上述目的，本发明提供了如下方案：

一种线扫相机图像中嵌入标记的方法，其特征在于，包括以下步骤：

采集线扫相机行像素的行周期；

判断线扫相机是否发生速度突变事件、方向变化事件或启停事件；

嵌入事件标记并将发生事件的坐标信息同步至线扫相机主机接口的帧信息；

根据设定的图像高度，将所述线扫相机采集到的图像以行为单位拼接成设定的图像高度，输出为一帧，在与之对应的行像素数据中嵌入标记数据，标记数据是以离散的线段或离散的点的形式表征并保留部分原始数据,通过不同的表征方式区分是哪种事件标记。

作为本技术方案的进一步改进，采集线扫相机行像素的行周期的具体过程为：将输入行开始信号作为同步信号，以1us脉冲为一个行周期实时采集线扫相机行像素的行周期。

作为本技术方案的进一步改进，判断线扫相机是否发生速度突变事件的具体方式为：设定判断连续的行周期值N和相邻行的行周期值之间的误差可接受值ΔN；实时计算每个行周期值N；如果当前行周期前的行周期一直保持为匀速状态，同时当前行周期值减去上一行周期值的差值的绝对值大于ΔN时，判断线扫相机发生了速度突变事件；当前行周期值大于上一行周期值则判定为速度突发变小，当前行周期值小于上一行周期值则判定为速度突发变大。

作为本技术方案的进一步改进，判断线扫相机是否方向变化事件的具体方式为：记录AB编码器的AB两相信号，根据AB两相信号的电平变化状态判定是否发生方向变化事件，以下四种状态变化判定为正向：A上升沿B逻辑低、B上升沿A逻辑低、B下降沿A逻辑低、A下降沿B逻辑高；以下四种状态变化判定为反向：A下降沿B逻辑低、B下降沿A逻辑高、B上升沿A逻辑低、A上升沿B逻辑高；AB两相状态同时发生变化时判定为异常。

作为本技术方案的进一步改进，判断线扫相机是否发生启停事件的具体方式为：设定判断减速的连续行周期值个数D和等待时间T，计算每个行周期值，当连续D个行周期值出现后一行周期值大于前一个行周期值，并且等待时间T之后还无新的行数据，判断线扫相机发生了停止事件。

作为本技术方案的进一步改进，嵌入事件标记并将发生事件的坐标信息同步至线扫相机主机接口的帧信息的具体方式为：记录事件所在行坐标，在与之对应的行数据中嵌入标记数据，标记数据是离散的线段或离散的点，并将行坐标值同步至线扫相机主机接口的帧信息中。

一种线扫相机图像中嵌入标记的系统，其特征在于，包括以下模块：

速度采样模块，用于采集线扫相机行像素的行周期；

速度变化判定模块，用于判定线扫相机是否发生速度变化；

方向变化判定模块，用于判定线扫相机是否发生方向变化；

启停判定模块，用于判定线扫相机是否停止；

图像标记模块，根据判定模块输出的事件类型记录其行坐标，并在相应的行像素中按照不同的事件类嵌入不同的标记；

组帧模块，根据设定的图像高度，将所述线扫相机采集到的图像以行为单位拼接成设定的图像高度，输出为一帧，在与之对应的行像素数据中嵌入标记数据，标记数据是以离散的线段或离散的点的形式表征并保留部分原始数据,通过不同的表征方式区分是哪种事件标记。

作为本技术方案的进一步改进，所述速度采样模块采集计算线扫相机行像素的行周期，将输入行开始信号作为同步信号，以1us脉冲为一个行周期采集计算线扫相机行像素的行周期；所述速度变化判定模块设定判断连续的行周期值N和相邻行的行周期值之间的误差可接受值ΔN；实时计算每个行周期值N；如果当前行周期前的行周期一直保持为匀速状态，同时当前行周期值减去上一行周期值的差值的绝对值大于ΔN时，判断线扫相机发生了速度突变事件；当前行周期值大于上一行周期值则判定为速度突发变小，当前行周期值小于上一行周期值则判定为速度突发变大；所述方向变化判定模块记录AB编码器的AB两相信号，根据AB两相信号的电平变化状态判定是否发生方向变化事件，以下四种状态变化判定为正向：A上升沿B逻辑低、B上升沿A逻辑低、B下降沿A逻辑低、A下降沿B逻辑高；以下四种状态变化判定为反向：A下降沿B逻辑低、B下降沿A逻辑高、B上升沿A逻辑低、A上升沿B逻辑高；AB两相状态同时发生变化时判定为异常；所述启停判定模块设定判断减速的连续行周期值个数D和等待时间T，计算每个行周期值，当连续D个行周期值出现后一行周期值大于前一个行周期值，并且等待时间T之后还无新的行数据，判断线扫相机发生了停止事件。

作为本技术方案的进一步改进，所述图像标记模块记录速度突变事件、方向变化事件和启停事件的所对应的图像行坐标，并将行坐标值同步至线扫相机主机接口的帧信息中。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制；

图1为本发明线扫相机图像中嵌入标记方法的流程示意图；

图2为运动控制器给出脉冲信号的示意图；

图3为发生速度突发变小事件行周期变化示意图;

图4为发生速度突发变大事件行周期变化示意图；

图5为AB编码器及运动方向信号波形示意图；

图6为本发明线扫相机图像中嵌入标记系统的结构示意图；

图7为启停模块判断停止事件的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“所述”也可包括复数形式。应进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

下面结合附图对本发明进行具体描述。

实施例1

如图1所示，一种线扫相机图像中嵌入标记方法的流程示意图，图2为在时间轴上描绘出的运动控制器给出行周期脉冲信号的示意图，横坐标为时间轴，纵坐标为行周期脉冲。设定判断减速的连续行周期值个数D和等待时间T。运动控制器在正常工作时速度应整体上呈现均匀的速度，体现在图2的前部分匀速脉冲，在减速过程中脉冲间隔周期变大。停止时刻的脉冲相对于上一脉冲的间隔周期为最大值。FPGA实时计算每行像素的行周期，判断连续的D行减速周期，即满足连续D个当前行像素的周期大于上一行像素的周期，并且等待时间T之后还无新的行数据，则可以判定停止事件发生，记录当前事件所在行坐标，在与之对应的行数据中嵌入标记，并将坐标信息同步至相机GIGE接口的帧信息中，用于后端上位机驱动直接获取并提供可视化的指示数据。

实施例2

如图1所示，一种线扫相机图像中嵌入标记方法的流程示意图，图3为发生速度突发变小事件行周期变化示意图，图4为发生速度突发变大事件行周期变化示意图。在线扫相机的实际应用中，外部行触发信号中可能会出现低频和高频信号，低频会致使行周期突发变大，高频会致使周期突发变小。在运动物体正常运转中，因外部的干扰致使速度的突变，都会导致线扫相机采集成像的异常。低频出现局部压缩，高频出现局部拉伸。为了识别并指示图像异常点，设定判断连续的行周期值N和相邻行的行周期值之间的误差可接受值ΔN。FPGA实时计算每行像素的行周期，如果当前行像素周期减去上一行像素周期的差值的绝对值大于ΔN，且满足前N行像素的周期呈现匀速状态，则可以判定为速度发生突变。进一步的判断速度是突发变小还是变大，需要将当前行像素周期与上一行像素周期进行比较，若当前行像素周期大于上一行像素周期则判定为速度突发变小，如果当前行像素周期小于上一行像素周期则判定为突发变大。记录当前事件所在行坐标，在与之对应的行数据中嵌入标记，并将坐标信息同步至相机GIGE接口的帧信息中，用于后端上位机驱动直接获取并提供可视化的指示数据。

实施例3

如图1所示，一种线扫相机图像中嵌入标记方法的流程示意图，图5为AB编码器及 运动方向信号波形示意图。外部输入触发信号由AB编码器的AB两相信号组成，通过AB两相 信号的变化确定方向。AB两项信号按真值表排列共有00、01、10、11四种逻辑组合。图5列举 了一种情况下正向至反向运动方向的变化。其余情况未列举，从理论分析方向的判断如下 真值表所示：

AB相变化前	正向	反向	异常
				00	10	01	11
01	00	11	10
				10	11	00	01
11	01	10	00

其中第一列为AB相信号变化前的电平组合，后面三列为变化后AB相电平组合所对应的判定方向。当识别到方向发生变化后，方向过滤使能未开启时，方向给到后端的图像处理模块依旧生效，此时将会产生运动方向变化事件，记录当前事件所在行坐标，在与之对应的行数据中嵌入标记，并将坐标信息同步至相机GIGE接口的帧信息中，用于后端上位机驱动直接获取并提供可视化的指示数据。

实施例4

如图6所示，一种线扫相机图像中嵌入标记系统结构示意图，图7为启停模块判断停止事件的流程示意图。线扫相机图像中嵌入标记系统结构包括速度采样模块、速度变化判定模块、方向变化判定模块、启停判定模块、图像标记模块、组帧模块，由主机软件进行设置。行像素数据和前端识别的方向分别进入组帧模块和速度采样模块。速度采样模块主要是实时采集各行数据间的周期，将输入行开始信号作为同步信号，计时以1us脉冲为单位。收到当前行信号时结束上一行周期的周期统计，开始当前行周期的统计。采样的值以精度1us为单位。采样到的周期结合方向信号反馈给速度变化判定模块、方向变化判定模块、启停判定模块。图像标记模块根据判定模块输出的事件类型锁定其行坐标，并在相应的行像素中按照不同的事件类嵌入不同的标记。组帧模块根据主机设定的图像高度，将输入进来的图像以行为单位拼接组成设定的图像高度，并与之产生同步时序，根据帧开始、帧结束、行开始、行结束信号生成帧内行列二维坐标系，并按照不同的事件嵌入不同的标记图像，标记图像一般是离散的点或者线段嵌入原始的行像素中，并不将原始行像素全部替代，避免过多的细节被掩饰掉。

启停模块判断停止事件判定的具体流程如图7所示：输入的行周期值在输入行同步脉冲下将通过寄存器缓存一拍，并在行同步脉冲有效下将经过寄存器缓存的行周期和未经过寄存器缓存的行周期进行比较，如果未经寄存器缓存的行周期值大于经过寄存器缓存的行周期值，在连续减速行周期计数器的值小于等于设定的D值时，连续减速行计数器将加1。如果未经寄存器缓存的行周期值小于等于经过寄存器缓存的行周期值，连续减速行计数器将置0，若当前行周期大于等于T且连续减速行计数器大于等于D，则停止事件判定有效输出停止事件脉冲。

综上所述，本发明提出的一种线扫相机图像中嵌入标记的方法及系统，能够自动在线扫相机的图像中嵌入标记，记录线扫相机的启停、速度变化和方向变化，避免依靠肉眼通过观察捕获到的图像确定发生问题的具体位置，加快了对线扫相机工作中各类问题现场调试的效率和故障点定位的精度，以及对故障类型判断的准确率和可信度。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应所述了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种线扫相机图像中嵌入标记的方法，其特征在于，包括以下步骤：

采集线扫相机行像素的行周期；

判断线扫相机是否发生速度突变事件、方向变化事件或启停事件；

嵌入事件标记并将发生事件的坐标信息同步至线扫相机主机接口的帧信息；根据设定的图像高度，将所述线扫相机采集到的图像以行为单位拼接成设定的图像高度，输出为一帧，在与之对应的行像素数据中嵌入标记数据，标记数据是以离散的线段或离散的点的形式表征并保留部分原始数据,通过不同的表征方式区分是哪种事件标记。

2.根据权利要求1所述的线扫相机图像中嵌入标记的方法，其特征在于，采集线扫相机行像素的行周期的具体过程为：将输入行开始信号作为同步信号，以1us脉冲为一个行周期实时采集线扫相机行像素的行周期。

3.根据权利要求1所述的线扫相机图像中嵌入标记的方法，其特征在于，判断线扫相机是否发生速度突变事件的具体方式为：设定判断连续的行周期值N和相邻行的行周期值之间的误差可接受值ΔN；实时计算每个行周期值N；如果当前行周期前的行周期一直保持为匀速状态，同时当前行周期值减去上一行周期值的差值的绝对值大于ΔN时，判断线扫相机发生了速度突变事件；当前行周期值大于上一行周期值则判定为速度突发变小，当前行周期值小于上一行周期值则判定为速度突发变大。

4.根据权利要求1所述的线扫相机图像中嵌入标记的方法，其特征在于，判断线扫相机是否发生方向变化事件的具体方式为：记录AB编码器的AB两相信号，根据AB两相信号的电平变化状态判定是否发生方向变化事件，以下四种状态变化判定为正向：A上升沿B逻辑低、B上升沿A逻辑低、B下降沿A逻辑低、A下降沿B逻辑高；以下四种状态变化判定为反向：A下降沿B逻辑低、B下降沿A逻辑高、B上升沿A逻辑低、A上升沿B逻辑高；AB两相状态同时发生变化时判定为异常。

5.根据权利要求1所述的线扫相机图像中嵌入标记的方法，其特征在于，判断线扫相机是否发生启停事件的具体方式为：设定判断减速的连续行周期值个数D和等待时间T，计算每个行周期值，当连续D个行周期值出现后一行周期值大于前一个行周期值，并且等待时间T之后还无新的行数据，判断线扫相机发生了停止事件。

6.根据权利要求1所述的线扫相机图像中嵌入标记的方法，其特征在于，嵌入事件标记并将发生事件的坐标信息同步至线扫相机主机接口的帧信息的具体方式为：记录速度突变事件、方向变化事件和启停事件的所对应的图像行坐标，并将行坐标值同步至线扫相机主机接口的帧信息中。

7.一种线扫相机图像中嵌入标记的系统，其特征在于，包括以下模块：

速度采样模块，用于采集线扫相机行像素的行周期；

速度变化判定模块，用于判定线扫相机是否发生速度变化；

方向变化判定模块，用于判定线扫相机是否发生方向变化；

启停判定模块，用于判定线扫相机是否停止；

图像标记模块，根据判定模块输出的事件类型记录其行坐标，并在相应的行像素中按照不同的事件类嵌入不同的标记；

组帧模块，根据设定的图像高度，将所述线扫相机采集到的图像以行为单位拼接成设定的图像高度，输出为一帧，在与之对应的行像素数据中嵌入标记数据，标记数据是以离散的线段或离散的点的形式表征并保留部分原始数据,通过不同的表征方式区分是哪种事件标记。

8.根据权利要求7所述的线扫相机图像中嵌入标记的系统，其特征在于，所述速度采样模块采集计算线扫相机行像素的行周期，将输入行开始信号作为同步信号，以1us脉冲为一个行周期采集计算线扫相机行像素的行周期；

所述速度变化判定模块设定判断连续的行周期值N和相邻行的行周期值之间的误差可接受值ΔN；实时计算每个行周期值N；如果当前行周期前的行周期一直保持为匀速状态，同时当前行周期值减去上一行周期值的差值的绝对值大于ΔN时，判断线扫相机发生了速度突变事件；当前行周期值大于上一行周期值则判定为速度突发变小，当前行周期值小于上一行周期值则判定为速度突发变大；

所述方向变化判定模块记录AB编码器的AB两相信号，根据AB两相信号的电平变化状态判定是否发生方向变化事件，以下四种状态变化判定为正向：A上升沿B逻辑低、B上升沿A逻辑低、B下降沿A逻辑低、A下降沿B逻辑高；以下四种状态变化判定为反向：A下降沿B逻辑低、B下降沿A逻辑高、B上升沿A逻辑低、A上升沿B逻辑高；AB两相状态同时发生变化时判定为异常；

所述启停判定模块设定判断减速的连续行周期值个数D和等待时间T，当连续D个行周期值出现后一行周期值大于前一个行周期值，并且等待时间T之后还无新的行数据，判断线扫相机发生了停止事件。

9.根据权利要求8所述的线扫相机图像中嵌入标记的系统，其特征在于，所述图像标记模块记录速度突变事件、方向变化事件和启停事件的所对应的图像行坐标，并将行坐标值同步至线扫相机主机接口的帧信息中。