CN114782482A

CN114782482A - 一种运动检测方法及图像传感器

Info

Publication number: CN114782482A
Application number: CN202210416006.1A
Authority: CN
Inventors: 不公告发明人
Original assignee: Sichuan Chuang'an Microelectronics Co ltd
Current assignee: Sichuan Chuang'an Microelectronics Co ltd
Priority date: 2022-04-20
Filing date: 2022-04-20
Publication date: 2022-07-22

Abstract

本发明公开了一种运动检测方法及图像传感器，涉及运动检测技术领域，其技术方案要点是：对前级电路输出的目标图像进行区块划分；根据不同颜色像素感光度对区块中的不同像素匹配相应的权重系数；根据像素值和权重系数计算得到各区块的实际灰度平均值；根据实际灰度平均值和基准帧中对应区块的标准灰度平均值计算得到相应区块的差分值，并依据所有区块的差分值计算得到差分平均值；若差分平均值大于运动检测阈值，则目标图像的检测结果为有运动物，同时基准帧更新为当前帧的目标图像。本发明通过物体运动状态来实时控制更新基准帧，实现了运动场景自适应更新控制帧间间隔的效果。

Description

一种运动检测方法及图像传感器

技术领域

本发明涉及运动检测技术领域，更具体地说，它涉及一种运动检测方法及图像传感器。

背景技术

目前图像传感器领域的运动物体检测功能大多是通过给图像传感器附加外围电路，或者是在后端的软件平台上来实现的，采用的技术手段通常是帧间差分法或背景差分法。

然而，传统的帧间差分法和背景差分法都存在一定缺陷。一、传统的帧间差分法是通过设置帧间间隔N，把当前帧的N帧之前的帧作为基准帧，两帧做差分，将差分值和运动检测阈值进行比较，依据比较结果判断是否有运动物体。对于低速运动物体和高速运动物体而言，采用同样的帧间间隔会影响检测的时效性和准确性。而根据检测的对象以及场景等因素来设置帧间间隔的做法，又会导致运算量和电路规模的增加。二、传统的背景差分法是利用背景画和当前帧的差分，将差分值和运动检测阈值进行比较，依据比较结果判断是否有运动物体。背景画是无前景物体的背景图像，因此背景画要结合环境的变化进行更新，如光线的变化、光照的强度。而环境变化是复杂的，因此需要通过复杂的算法去实现背景画的更新，但是会增加电路规模。

因此，如何研究设计一种能够克服上述缺陷的一种运动检测方法及图像传感器是我们目前急需解决的问题。

发明内容

为解决现有技术中的不足，本发明的目的是提供一种运动检测方法及图像传感器，通过物体运动状态来实时控制更新基准帧，实现了运动场景自适应更新控制帧间间隔的效果。

本发明的上述技术目的是通过以下技术方案得以实现的：

第一方面，提供了一种运动检测方法，包括以下步骤：

对前级电路输出的目标图像进行区块划分；

根据不同颜色像素感光度对区块中的不同像素匹配相应的权重系数；

根据像素值和权重系数计算得到各区块的实际灰度平均值；

根据实际灰度平均值和基准帧中对应区块的标准灰度平均值计算得到相应区块的差分值，并依据所有区块的差分值计算得到差分平均值；

若差分平均值大于运动检测阈值，则目标图像的检测结果为有运动物，同时基准帧更新为当前帧的目标图像。

进一步的，所述区块划分的过程具体为：

根据区块规格信息和最大图像检测区域的大小自动算出区块最大划分信息；

或，根据输入的水平方向开始位置和垂直方向开始位置确定检测原点，并根据水平方向宽度和垂直方向高度从检测原点开始划分。

进一步的，所述实际灰度平均值的计算过程具体为：

根据像素值与对应的权重系数乘积计算得到相应像素的单像素灰度值；

选取不大于过曝光阈值的单像素灰度值作为有效灰度值；

以同一区块中所有的有效灰度值的均值作为实际灰度平均值。

进一步的，所述区块的差分值计算公式具体为：

Δ(X,Y)＝∣AVE(X,Y)-AVE_base(X,Y)∣

其中，Δ(X,Y)表示帧间区块(X,Y)的差分值；AVE(X,Y)表示当前帧区块(X,Y)的实际灰度平均值；AVE_base(X,Y)表示基准帧区块(X,Y)的标准灰度平均值。

进一步的，所述差分平均值的计算公式具体为：

其中，AVE_Δ表示差分平均值；TH_B表示无运动物区块的判定阈值；Δ(X,Y)表示帧间区块(X,Y)的差分值；blk_cnt表示差分值超过判定阈值的区块数量。

进一步的，所述无运动物区块的判定阈值由基准帧与当前帧的目标图像之间的曝光时间偏移量和自动增益偏移量决定。

进一步的，所述运动检测阈值由光强、曝光时间和增益决定。

进一步的，该方法还包括：

确定帧数阈值；

记录检测结果为无运动物的连续帧数；

若连续帧数小于帧数阈值，则基准帧保持不变；若连续帧数大于或等于帧数阈值，则更新基准帧。

进一步的，所述帧数阈值的确定过程具体为：

对不同时间段的自然光强变化进行采样测试；

记录每个时间段中由于光强变化所导致运动误检测的所需时长；

将不同时间段运动误检测的所需时长的平均值作为光强变化导致误检出的时间参数；

以时间参数与相机的当前帧率的乘积作为对应帧率下基准帧的更新阈值上限，帧数阈值的取值不大于更新阈值上限。

第二方面，提供了一种图像传感器，该图像传感器以内部数字图像处理功能实现如第一方面中任意一项所述的一种运动检测方法。

与现有技术相比，本发明具有以下有益效果：

1、本发明提出的一种运动检测方法，通过物体运动状态来实时控制更新基准帧，实现了运动场景自适应更新控制帧间间隔的效果，相较于传统帧间差分法需要预先设定帧间间隔，在高速或低速运动物体检测场景都能很好应对；此外，本发明应用于基于图像传感器内部数字图像处理实现，在不降低检测效果的同时相较于传统方法减小电路规模；另外，本发明具有低成本易于实现的特点，且在一定程度上相对于传统帧间差分法及背景差分法提高了检测灵敏度与准确度；

2、本发明依据过曝光阈值对单像素灰度值进行过滤处理，使得实际灰度平均值更加符合实际情况；

3、本发明为了避免无运动物的区块对整体运动判定的影响，在计算差分平均值时将无运动物的区块的差分值过滤，使得运动检测结果的准确度更高；

4、本发明针对光照亮度变化的累积可能会带来误检出的问题，当检测结果为无运动物的连续帧数大于或等于帧数阈值时，也要对基准帧进行更新，有效提高了运动检测的准确性和可靠性。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1是本发明实施例中的流程图；

图2是本发明实施例中区块自动算出示意图；

图3是本发明实施例中区块直接设定示意图；

图4是本发明实施例中RGB像素排列示意图；

图5是本发明实施例中基准帧的更新流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例：一种运动检测方法，该方法可以基于图像传感器内部数字图像处理实现，如图1所示，包括以下步骤：

S1：对前级电路输出的目标图像进行区块划分；

S2：根据不同颜色像素感光度对区块中的不同像素匹配相应的权重系数；

S3：根据像素值和权重系数计算得到各区块的实际灰度平均值；

S4：根据实际灰度平均值和基准帧中对应区块的标准灰度平均值计算得到相应区块的差分值，并依据所有区块的差分值计算得到差分平均值；

S5：若差分平均值大于运动检测阈值，则目标图像的检测结果为有运动物，同时基准帧更新为当前帧的目标图像；当差分平均值小于或等于运动检测阈值，则目标图像的检测结果为当帧无运动物体，同时基准帧保持不变；而第一次进行物体的运动检测时，以首帧做为基准帧。

相较于传统帧间差分法需要预先设定帧间间隔，本发明是通过物体运动状态来实时控制更新基准帧，即实现了运动场景自适应更新控制帧间间隔的效果。以帧间差分法难以应付的低速运动物体检测场景为例，由于基准帧的更新不受控于预先设定的帧间间隔，所以理论上不论运动物体速度有多慢，只要拍摄时间足够，一定能够检测出此运动物体。而在高速物体检测场景，基准帧则会相对快地被更新。从而实现了运动场景自适应的基准帧控制，在高速或低速运动物体检测场景都能很好应对。

区块划分越密集对应的计算量及功耗也就越大，为了减少计算量和电路规模，在实际应用中可把图像划分为16x16个区块。

如图2所示，作为一种可选的实施方式，区块划分可以根据区块规格信息和最大图像检测区域的大小自动算出区块最大划分信息。

如图3所示，作为另一种可选的实施方式，根据输入的水平方向开始位置和垂直方向开始位置确定检测原点，并根据水平方向宽度和垂直方向高度从检测原点开始划分。

生成区块灰度信息时会先获得每个像素的灰度值。由于R、G、B三种像素的感光度不同，并且相同光强下三种像素积蓄电荷的能力也不同，因此需要对每种像素乘以不同系数以生成单像素灰度值，排除其对运动检测的影响。

单像素灰度值的计算方法具体为：

V_R,G,B＝K_R,G,B×PIX_R,G,B

其中，PIX_R,G,B表示像素值；K_R,G,B表示相应像素的权重系数，权重系数通常设定在0-2之间，对于RGB像素排列方式如附图4，在本实施例中，设置K_R＝1.2，K_Gr＝1.2，K_Gb＝1.2，K_B＝0.4。

各区块灰度信息是过曝光以外的像素点生成的灰度信息的平均值，是否过曝光通过过曝光阈值PIX_VTH来判定。

区块灰度信息即为实际灰度平均值，实际灰度平均值的计算方法为：

其中，X表示区块水平方向的序号；Y表示区块垂直方向的序号；V_i表示区块(X,Y)中的有效灰度值，V_i≦PIX_VTH；pix_cnt表示该区块内有效灰度值的数量；过曝光阈值PIX_VTH的大小由相机的拍摄参数决定，例如曝光时间、增益等。

假定区块的宽度为32、高度为16，在区块(0,15)内有四个过曝光的像素点时，则pix_cnt＝32x16-4＝508，因此，区块的实际灰度平均值为

区块的差分值计算公式具体为：

Δ(X,Y)＝∣AVE(X,Y)-AVE_base(X,Y)∣

为了避免无运动物的区块对整体运动判定的影响，在计算差分平均值时需要将无运动物的区块的差分值除外。无运动物的区块通过判定阈值TH_B来判定，差分平均值的计算公式具体为：

需要说明的是，一个区块内的外部场景无运动物体时也可能会有判定帧和基准帧灰度平均值的差分，这种差分通常是判定帧和基准帧的曝光时间、自动增益不一致以及感光器件自身温度等噪声因素带来的。所以TH_B的设置主要由基准帧与判定帧的曝光时间偏移量和自动增益偏移量决定。

此外，运动检测阈值的设置决定了运动检出的灵敏度，大小由光强、曝光时间、增益等参数决定。分别针对环境光强比较大和比较小的情况，通过反复实验得出最佳阈值设定范围，将实验数据以表格形式存储在相机存储单元中，在阈值设定时通过查找表的方式找出合适阈值进行设置。

另外，判定阈值的目的是为了消除没有运动物的区块对差分平均值的影响，运动检测阈值的目的是用来进行运动判定，所以运动检测阈值大于判定阈值。

针对光照亮度变化的累积可能会带来误检出的问题，使用以下基准帧的更新机制。例如场景由白天变到傍晚的情形，仅仅是光线变化也可能带来运动物检出，为了规避此类误检出，每隔一定时间就更新基准帧。具体包括以下步骤：确定帧数阈值；记录检测结果为无运动物的连续帧数；若连续帧数小于帧数阈值，则基准帧保持不变；若连续帧数大于或等于帧数阈值，则更新基准帧。

基准帧更新的帧数阈值设定越大，运动检测的灵敏度越高，但是随着帧数阈值的增大，环境光线变化及相机自身温度等不可控因素的影响也会增大，运动检测的准确度随之降低。所以在帧数阈值设定时，应先对不同应用场景的光强变化分析，得出经过多长时间光强的变化才会带来误检测，根据此时间和相机拍摄的帧率来设定此阈值。

如图5所示，为了获得只因光强变化带来误检测的帧数阈值TH，应选择无运动物出现，而只有自然光强变化的场景进行实验。同时将基准帧更新功能关闭。其次由于一天内不同时段的光强变化不一样，所以分不同的时间段进行采样测试。在每一个时段记录下由于光强变化所导致运动误检测的时间T₀,T₁,···T_n，再取不同时段的误检测所需时间的平均值作为光强变化导致误检出的时间参数：

最后由时间参数T与相机当前帧率X的乘积作为此帧率下基准帧的更新阈值上限，即TH≦T×X。

工作原理：通过物体运动状态来实时控制更新基准帧，实现了运动场景自适应更新控制帧间间隔的效果，相较于传统帧间差分法需要预先设定帧间间隔，在高速或低速运动物体检测场景都能很好应对；此外，本发明应用于基于图像传感器内部数字图像处理实现，在不降低检测效果的同时相较于传统方法减小电路规模；另外，本发明具有低成本易于实现的特点，且在一定程度上相对于传统帧间差分法及背景差分法提高了检测灵敏度与准确度。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种运动检测方法，其特征是，包括以下步骤：

对前级电路输出的目标图像进行区块划分；

根据像素值和权重系数计算得到各区块的实际灰度平均值；

2.根据权利要求1所述的一种运动检测方法，其特征是，所述区块划分的过程具体为：

3.根据权利要求1所述的一种运动检测方法，其特征是，所述实际灰度平均值的计算过程具体为：

选取不大于过曝光阈值的单像素灰度值作为有效灰度值；

4.根据权利要求1所述的一种运动检测方法，其特征是，所述区块的差分值计算公式具体为：

Δ(X,Y)＝∣AVE(X,Y)-AVE_base(X,Y)∣

5.根据权利要求1所述的一种运动检测方法，其特征是，所述差分平均值的计算公式具体为：

6.根据权利要求5所述的一种运动检测方法，其特征是，所述无运动物区块的判定阈值由基准帧与当前帧的目标图像之间的曝光时间偏移量和自动增益偏移量决定。

7.根据权利要求1所述的一种运动检测方法，其特征是，所述运动检测阈值由光强、曝光时间和增益决定。

8.根据权利要求1-7任意一项所述的一种运动检测方法，其特征是，该方法还包括：

确定帧数阈值；

记录检测结果为无运动物的连续帧数；

9.根据权利要求8所述的一种运动检测方法，其特征是，所述帧数阈值的确定过程具体为：

对不同时间段的自然光强变化进行采样测试；

10.一种图像传感器，其特征是，该图像传感器以内部数字图像处理功能实现如权利要求1-9任意一项所述的一种运动检测方法。