CN116074645A - 一种图像条纹噪声主动抑制方法 - Google Patents

Abstract

一种图像条纹噪声主动抑制方法，属于电磁兼容技术领域，本发明为解决现有图像条纹噪声抑制方法存在的问题。本发明方法包括以下步骤：S1、在包含SMA‑OIS执行器和CMOS图像传感器的移动设备上采用扫频算法和图像条纹噪声评价算法得到图像条纹噪声数据曲线，该数据曲线为SMA‑OIS执行器PWM驱动频率和图像条纹噪声之间的关系曲线；S2、以噪声值A1为界，首先滤除噪声值大于或等于A1对应的频率，获取N段驱动频率范围，N≥1；其次，滤除频率大于30kHz的高频段，保留低频段；最后，滤除所述低频段中频率小于20kHz的频率，获取频率范围f1～f2作为SMA‑OIS执行器PWM驱动信号频率；S3、在f1～f2频率范围内，基于扩频驱动原理生成PWM调制信号，用于驱动SMA‑OIS执行器。

Description

一种图像条纹噪声主动抑制方法

技术领域

本发明涉及微型摄像头模组应用开关模式驱动时的噪声抑制技术，属于电磁兼容技术领域，特别是在应用形状记忆合金光学防抖(SMA-OIS)执行器和CMOS图像传感器的微型摄像头模组。

背景技术

微型摄像头模组(CCM)被广泛应用于移动手机、汽车自动驾驶、智能家居和无人机摄像等便携式相机设备领域，微型摄像头模组是一个典型的光机电结合的应用，其主要包括CMOS图像传感器、镜头模组和微型执行器。微型摄像头模组中的微型执行器根据不同的机理主要分为音圈电机、压电执行器和形状记忆合金执行器，由于形状记忆合金执行器(SMAA)具有高功率重量比、轻量小型化和无传感器控制等优点，近年来被逐渐应用于微型摄像模组的光学防抖和自动对焦等应用中。

为了实现SMA-OIS执行器的精确定位和低电磁噪声的驱动，SMA-OIS执行器通常采用恒流线性驱动方法。然而，从功耗的角度来看，线性驱动电路是不够高效的，因此在便携式相机设备中，由于电池的能量有限，应该使用开关模式(有时被描述为脉冲宽度调制(PWM)驱动电路)来提高效率。实际应用中，PWM驱动电路的效率可能比的线性驱动电路高50％左右。然而，由于PWM驱动技术在方波的上升沿和下降沿通常具有较高的dv/dt和di/dt，其中包含了较多的谐波次的电磁干扰，而CMOS图像传感器对电磁干扰比较敏感，因此在应用过程中发现采用PWM驱动技术的SMA-OIS执行器会干扰CMOS图像传感器的成像质量，从而导致CMOS图像传感器的成像结果中出现细微的条纹噪声。

为了解决SMA-OIS执行器对CMOS图像传感器的电磁干扰问题，《PWM同步的改进及其相关改进》(中国专利申请号：202080010236.7，公开日期：2021年8月31日)公开了一种PWM信号同步改进的控制方法，其本质是通过控制PWM驱动信号避开COMS图像传感器数据读取的敏感时间段，从而实现CMOS图像传感器的降噪，然而这种方法对SMA-OIS执行器的控制器和CMOS图像传感器时钟同步信号和控制器的性能要求比较高，增加了系统的成本和控制复杂度。《Method and apparatus for camera actuator driver mode controlsynchronized with imaging sensor frame》(美国专利公开号：US 9654689 B2，公开日期：2017年5月16日)公开了一种线性驱动+PWM驱动混合驱动的控制方法，通过在CMOS图像传感器输出信号的读出阶段采用线性驱动控制，而在CMOS图像传感器光信息采集阶段采用PWM驱动控制，从而降低了图像传感器的噪声，然而这种方式不仅需要同步CMOS图像传感器和SMA-OIS执行器控制的信号，而且需要特殊设计的驱动器，同样增加了系统的成本和控制复杂度。《PWM shielding in a camera》(欧洲专利公开号：EP 3472665B1，公开日期：2021年10月11日)公开了一种采用增加电磁干扰屏蔽层的方法，通过采用磁导率较高的材料和设计合理屏蔽结构，能够有效降低CMOS图像传感器的噪声，然而增加屏蔽层的方法，不仅需要重新设计CCM的结构，而且增加了物料成本和生产的复杂度。以上专利公开的图像条纹噪声抑制方法中，均需要对原有的SMA-OIS执行器系统硬件上改进，不仅增加了系统的成本和控制的复杂度，而且在已经投入使用的CCM中无法实现噪声抑制。

发明内容

针对现有图像条纹噪声抑制方法存在的问题，本发明提供一种图像条纹噪声主动抑制方法。

本发明所述一种图像条纹噪声主动抑制方法，该方法包括以下步骤：

S1、在包含SMA-OIS执行器和CMOS图像传感器的移动设备上采用扫频算法和图像条纹噪声评价算法得到图像条纹噪声数据曲线，该数据曲线为SMA-OIS执行器PWM驱动频率和图像条纹噪声之间的关系曲线；

S2、以噪声值A1为界，首先滤除噪声值大于或等于A1对应的频率，获取N段驱动频率范围，N≥1；其次，滤除频率大于30kHz的高频段，保留低频段；最后，滤除所述低频段中频率小于20kHz的频率，获取频率范围f₁～f₂作为SMA-OIS执行器PWM驱动信号频率；

其中噪声值A1为PWM模式开关信号对SMA-OIS执行器是否产生电磁干扰的分界值；

S3、在f₁～f₂频率范围内，基于扩频驱动原理生成PWM调制信号，用于驱动SMA-OIS执行器。

优选地，步骤S1的具体过程为：

S11、采用图像条纹噪声评价算法获取以任一频率作为SMA-OIS执行器PWM驱动频率时的图像条纹噪声值；

S12、采用扫频算法，通过改变频率值获取所有频率下图像条纹噪声值，进而获取SMA-OIS执行器PWM驱动频率和图像条纹噪声之间的关系曲线。

优选地，步骤S11的具体过程为：

S111、采集无噪声背景图像和有噪声图像；

S112、将无噪声背景图像和有噪声图像灰度化并矩阵化处理，获取有噪声图像矩阵A和无噪声图像矩阵B；

S113、将有噪声图像矩阵A减去无噪声图像矩阵B得到噪声矩阵C；

S114、计算噪声矩阵C行均值，并将行均值求和作为图像条纹噪声值。

优选地，噪声值A1的选取：观察SMA-OIS执行器PWM驱动频率和图像条纹噪声之间的关系曲线，从低频至高频方向观察，当连续光滑的曲线出现横条纹时，认为出现条纹噪声，将首先出现横条纹时的噪声值记为A1。

优选地，S3中基于扩频驱动原理生成PWM调制信号的扩频驱动方式采用随机调制方式。

优选地，步骤S3的具体过程为：

PWM调制信号g(t)按开关函数

随机生成；

式中，k为开关周期序号，N为开关周期总数，t_k为信号调制后上升沿位置；

在生成PWM调制信号时，与PWM调制信号g(t)相关的三个参数(a_k,b_k,T_k)满足如下约束条件：

0≤a_k+b_k≤1

式中：a_k为脉冲宽度参数，T_k为脉冲周期、a_kT_k为开关导通时间，b_k为脉冲上升沿位置延迟系数，b_kT_k表征信号调制后上升沿延迟时间；

令a_k,b_k保持不变，令脉冲周期T_k在特定范围内按一定规律随机变化，随机生成PWM驱动信号，

其随机程度为：

上式中T_max、T_min和T_avg分别为随机调制PWM信号的周期最大值，周期最小值和周期平均值，

且：

本发明的有益效果：本发明的一种图像条纹噪声主动抑制方法只需采用纯软件算法的PWM驱动方法，能够实现不增加任何硬件和提高系统负载的情况下实现图像条纹噪声主动抑制，本发明具有操作简单且效果较好的图像噪声抑制效果。具体为：

1.本发明所述图像条纹噪声主动抑制方法操作方法简单便捷，通过在包含SMA-OIS执行器和CMOS图像传感器的移动设备上采用扫频算法和图像条纹噪声评价算法获取移动设备图像条纹噪声数据曲线，该数据曲线为SMA-OIS执行器PWM驱动频率f和图像条纹噪声(ISN)之间的关系曲线，利用该数据曲线能够方便工程应用中较低图像噪声驱动频率的选取，同时该方法同样适用于多种型号的微型摄像头模组，具有一定的通用性和普适性。

2.本发明所述图像条纹噪声主动抑制方法成本较低、不需要任何硬件上的改动，同时对数字控制器性能的要求较低，符合目前移动设备上常用的数字控制器的性能，通过在移动设备上采用较低图像条纹噪声值的SMA-OIS执行器的PWM驱动频率，只需改进PWM驱动频率就能够抑制图像条纹噪声，提高图像质量，而且本发明同样适用于已经生产出产品图像条纹噪声的抑制。

3.本发明所述图像条纹噪声主动抑制方法能够有效抑制图像条纹噪声，提高图像质量，进一步采用本发明提出的基于扩频原理的PWM驱动技术，将原来将较集中的谐波能量扩展到一定的频段内使其分布较均匀，则其频带内的峰值能够进一步降低，从而降低SMA-OIS执行器的电磁噪声，能够在图像条纹噪声值较低频率情况下进一步提高图像质量。

附图说明

图1为微型摄像头模组基本结构。

图2为SMA-OIS执行器原理图。

图3为SMA-OIS执行器驱动电路原理图。

图4为图像条纹噪声评价算法流程图。

图5为图像条纹噪声进行主动噪声抑制原理框图。

图6为移动设备图像条纹噪声数据曲线。

图7为基于扩频原理的PWM驱动原理图。

图8为图像条纹噪声抑制方法结果对比图，分别为无噪声背景图像、80kHz定频驱动图像(高频)、21kHz定频驱动图像(低频)、20kHz～21kHz扩频驱动图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

具体实施方式一：下面结合图1至图8说明本实施方式，本实施方式所述一种图像条纹噪声主动抑制方法，该方法包括以下步骤：

S1、在包含SMA-OIS执行器和CMOS图像传感器的移动设备上采用扫频算法和图像条纹噪声评价算法得到图像条纹噪声数据曲线，该数据曲线为SMA-OIS执行器PWM驱动频率和图像条纹噪声之间的关系曲线；

参见图4，具体过程为：

S11、采用图像条纹噪声评价算法获取以任一频率作为SMA-OIS执行器PWM驱动频率时的图像条纹噪声值；具体过程为：

S111、采集无噪声背景图像和有噪声图像；

S112、将无噪声背景图像和有噪声图像灰度化并矩阵化处理，获取有噪声图像矩阵A和无噪声图像矩阵B；

S113、将有噪声图像矩阵A减去无噪声图像矩阵B得到噪声矩阵C；

S114、计算噪声矩阵C行均值，并将行均值求和作为图像条纹噪声值。

S12、采用扫频算法，通过改变频率值获取所有频率下图像条纹噪声值，进而获取SMA-OIS执行器PWM驱动频率和图像条纹噪声之间的关系曲线。参见图6所示。

S2、以噪声值A1为界，首先滤除噪声值大于或等于A1对应的频率，获取N段驱动频率范围，N≥1；其次，滤除频率大于30kHz的高频段，保留低频段；最后，滤除所述低频段中频率小于20kHz的频率，获取频率范围f₁～f₂作为SMA-OIS执行器PWM驱动信号频率；

其中噪声值A1为PWM模式开关信号对SMA-OIS执行器是否产生电磁干扰的分界值；

噪声值A1的选取：观察SMA-OIS执行器PWM驱动频率和图像条纹噪声之间的关系曲线，从低频至高频方向观察，当连续光滑的曲线出现横条纹时，认为出现条纹噪声，将首先出现横条纹时的噪声值记为A1。

S3、在f₁～f₂频率范围内，基于扩频驱动原理生成PWM调制信号，用于驱动SMA-OIS执行器。

具体过程为：

PWM调制信号g(t)按开关函数

随机生成；

式中，k为开关周期序号，N为开关周期总数，即k＝1,2,...,N，t_k为信号调制后上升沿位置；

在生成PWM调制信号时，与PWM调制信号g(t)相关的三个参数(a_k,b_k,T_k)满足如下约束条件：

0≤a_k+b_k≤1

式中：a_k为脉冲宽度参数，T_k为脉冲周期、a_kT_k为开关导通时间，b_k为脉冲上升沿位置延迟系数，b_kT_k表征信号调制后上升沿延迟时间；

令a_k,b_k保持不变，令脉冲周期T_k在特定范围内按一定规律随机变化，随机生成PWM驱动信号，

其随机程度为：

上式中T_max、T_min和T_avg分别为随机调制PWM信号的周期最大值，周期最小值和周期平均值，

且：

下面以一个实施例来具体分析工作原理及降噪过程：

图1所示为微型摄像头模组基本结构示意图，其主要包括镜头模组1、音圈对焦执行器2、SMA-OIS执行器3、红外滤光片4、CMOS图像传感器5、承载底板6和SMA-OIS执行器近场电磁干扰示意7，其中SMA-OIS执行器由于采用了PWM驱动方式产生了局部的近场辐射电磁干扰，导致了CMOS图像传感器受到了影响，在读出的图像结果上出现了细微的条纹噪声。

图2所示为SMA-OIS执行器原理图，其主要包括SMA-OIS执行器外承载框架8、4根SMA驱动丝9(S1～S4)和镜头模组承载运动平台10，SMA-OIS执行器为三层结构，其中下底座固定在CMOS传感器上，提供固定的底座支撑，中间层为导电和支撑结构，4根SMA驱动丝9一端连接在中间层，另一端连接在上层，中间层的端子通过合理的布线为4根SMA驱动丝9提供驱动电流，实现镜头模组承载运动平台10的XOY平面运动。

图3所示为SMA-OIS执行器驱动电路原理图，图中R₁、R₂、R₃和R₄分别表示4根SMA驱动丝9的电阻，R_s为采样电阻，通过采用4路相互延迟一定时间的PWM波，控制4个MOS管Q₁～Q₄来实现采样电路的多路复用，通过采样电阻反馈的电压，计算出SMA丝的电阻以提供给微控制器的无传感器位置反馈信号，微控制器通过内部已经建立的电阻-位移模型，计算出此时SMA电机的位置，进而实现无传感器闭环控制。其中PWM脉冲波形是由微控制器输出的，传统采用这种开关模式驱动SMA-OIS执行器时，在方波的上升沿和下降沿通常具有较高的dv/dt和di/dt，其中包含了较多的谐波次的电磁干扰，而CMOS图像传感器对电磁干扰比较敏感，参见图5，针对应用形状记忆合金光学防抖(SMA-OIS)执行器和CMOS图像传感器的微型摄像头模组中的电磁兼容问题，主要可以分为电磁干扰源、耦合路径和敏感设备，其中SMA-OIS执行器为主要的电磁干扰源，耦合路径为近场辐射，CMOS图像传感器为敏感设备，本发明针对此电磁兼容性问题，采用主动抑制的方法对开关模式驱动存在的噪声进行降噪处理。

首先，按图4所示的图像条纹噪声评价算法对包含SMA-OIS执行器和CMOS图像传感器的移动设备实测其噪声值，本发明提出的一种图像条纹噪声评价算法为全参考评价算法，为了实现本算法自动精确的预测和感知图像质量，根据图像条纹噪声的特点对图像条纹噪声评价算法进行了有针对性的设计，首先通过采集无噪声的背景图像和有噪声图像文件，其次通过灰度化处理和矩阵化处理得到图像的矩阵数据模型，再次将有噪声图像矩阵A减去无噪声图像矩阵B得到噪声矩阵C，从而将图像条纹噪声分离，最后计算噪声矩阵C行均值，并将行均值求和作为图像条纹噪声值(ISN)。

然后，采用扫频算法，通过改变频率值获取所有频率下图像条纹噪声值，进而获取SMA-OIS执行器PWM驱动频率和图像条纹噪声之间的关系曲线。参见图6所示。该曲线横纵标为PWM驱动频率，纵坐标为图像条纹噪声值，测试环境的背景噪声为ISN＝6.2时，当ISN＝20时，图像开始出现不明显的细小横条纹，当条纹噪声值ISN>20时，图像条纹噪声逐渐变得明显，当ISN>25时，图像条纹噪声较明显，ISN>30时，图像的条纹噪声非常明显，因此，选择A1＝20作为产生电磁干扰的分界值，当ISN>20时，开关模式驱动将会因出现的电磁干扰而产生图像条纹噪声，进而影响CMOS的图像质量。

对该曲线进行处理获取SMA-OIS执行器PWM驱动信号频率的过程为：ISN>20的高条纹噪声频率段集中在22kHz～54kHz、61kHz～86kHz和128kHz～158kHz频段，条纹噪声峰值出现在36kHz、47kHz、72kHz和141kHz，则首先滤除噪声值大于或等于20对应的频率，即滤除22kHz～54kHz、61kHz～86kHz和128kHz～158kHz三个频段，滤除后保留下来两个频段：14kHz～21kHz和87kHz～123kHz，然后，滤除频率大于30kHz的高频段，保留低频段，即保留14kHz～21kHz频段，这样选择的理由一方面是高频驱动会明显增加功耗，另一方面，高频驱动时图像质量不好，参见图8，SMA-OIS执行器在工作频率80kHz的噪声为28.8，图像条纹噪声明显，因此本发明舍弃了高频部分以提高图像质量；最后，滤除所述低频段中频率小于20kHz的频率，滤除20kHz以下频率的理由是为了避免噪声对人耳的影响，获取频率范围20kHz～21kHz频段作为SMA-OIS执行器PWM驱动信号频段；在该频段中选取一个确定数值的频率以定频的方式驱动也是可以的，比如以21kHz作为驱动频率，其效果如图8所示。

为了进一步提升图像质量，本发明采用20kHz～21kHz频段内扩频驱动方式，图7所示为基于扩频原理PWM驱动原理图，基于扩频驱动原理的PWM驱动根据扩频驱动方式主要分为周期调制、随机调制和混沌调制等，周期调制的开关频率可以随着预先设计的周期信号规律变化，如常见的正弦波、锯齿波、三角波和方波等，随机频率调制的开关信号的开关位置、开关频率等参数可以随机变化，混沌调制主要分为连续混沌调制和离散混沌调制。然而，在众多中研究中发现，周期调制的电磁噪声抑制效果表现较差，在某些谐波频率的功率谱密度仍然较高，而且周期调制的周期信号需要设计人员具有一定的经验和调试技巧才能在实际中发挥作用，混沌调制基于混沌数学理论，混沌调制信号是典型的伪随机信号，具有确定性、非周期性，对初始条件非常敏感，因此在实际应用中较复杂，而且对微控制器的性能要求较高，随机调制中的随机频率调制由于具有功率谱密度均匀、电磁干扰抑制效果好、设计简单和对数字微控制器的性能要求较低的优点，本发明采用随机调制方式令微处理器在20kHz～21kHz频段随机输出不同数值的驱动频率调制信号。

图8所示为图像条纹噪声抑制方法结果对比图，图中所示依次为无噪声背景图像、80kHz定频驱动的图像，低噪声PWM驱动频率情况下图像(f＝20kHz)和扩频驱动图像(f＝20kHz～21kHz)，从图中可以看到在原工作频率80kHz时，图像出现较明显的条纹噪声，而在定频20kHz时，图像只有较轻微的条纹，而在扩频的情况下，图像条纹噪声完全消失，图像呈现出较细腻和均匀的画质，以上结果证明了本发明对主动抑制图像条纹噪声具有较好的效果。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (6)

1.一种图像条纹噪声主动抑制方法，其特征在于，该方法包括以下步骤：

S1、在包含SMA-OIS执行器和CMOS图像传感器的移动设备上采用扫频算法和图像条纹噪声评价算法得到图像条纹噪声数据曲线，该数据曲线为SMA-OIS执行器PWM驱动频率和图像条纹噪声之间的关系曲线；

S2、以噪声值A1为界，首先滤除噪声值大于或等于A1对应的频率，获取N段驱动频率范围，N≥1；其次，滤除频率大于30kHz的高频段，保留低频段；最后，滤除所述低频段中频率小于20kHz的频率，获取频率范围f₁～f₂作为SMA-OIS执行器PWM驱动信号频率；

其中噪声值A1为PWM模式开关信号对SMA-OIS执行器是否产生电磁干扰的分界值；

S3、在f₁～f₂频率范围内，基于扩频驱动原理生成PWM调制信号，用于驱动SMA-OIS执行器。

2.根据权利要求1所述一种图像条纹噪声主动抑制方法，其特征在于，步骤S1的具体过程为：

S11、采用图像条纹噪声评价算法获取以任一频率作为SMA-OIS执行器PWM驱动频率时的图像条纹噪声值；

S12、采用扫频算法，通过改变频率值获取所有频率下图像条纹噪声值，进而获取SMA-OIS执行器PWM驱动频率和图像条纹噪声之间的关系曲线。

3.根据权利要求2所述一种图像条纹噪声主动抑制方法，其特征在于，步骤S11的具体过程为：

S111、采集无噪声背景图像和有噪声图像；

S112、将无噪声背景图像和有噪声图像灰度化并矩阵化处理，获取有噪声图像矩阵A和无噪声图像矩阵B；

S113、将有噪声图像矩阵A减去无噪声图像矩阵B得到噪声矩阵C；

S114、计算噪声矩阵C行均值，并将行均值求和作为图像条纹噪声值。

4.根据权利要求1所述一种图像条纹噪声主动抑制方法，其特征在于，噪声值A1的选取：观察SMA-OIS执行器PWM驱动频率和图像条纹噪声之间的关系曲线，从低频至高频方向观察，当连续光滑的曲线出现横条纹时，认为出现条纹噪声，将首先出现横条纹时的噪声值记为A1。

5.根据权利要求1所述一种图像条纹噪声主动抑制方法，其特征在于，S3中基于扩频驱动原理生成PWM调制信号的扩频驱动方式采用随机调制方式。

6.根据权利要求5所述一种图像条纹噪声主动抑制方法，其特征在于，步骤S3的具体过程为：

PWM调制信号g(t)按开关函数

随机生成；

式中，k为开关周期序号，N为开关周期总数，t_k为信号调制后上升沿位置；

在生成PWM调制信号时，与PWM调制信号g(t)相关的三个参数(a_k,b_k,T_k)满足如下约束条件：

0≤a_k+b_k≤1

式中：a_k为脉冲宽度参数，T_k为脉冲周期、a_kT_k为开关导通时间，b_k为脉冲上升沿位置延迟系数，b_kT_k表征信号调制后上升沿延迟时间；

令a_k,b_k保持不变，令脉冲周期T_k在特定范围内按一定规律随机变化，随机生成PWM驱动信号，

其随机程度为：

上式中T_max、T_min和T_avg分别为随机调制PWM信号的周期最大值，周期最小值和周期平均值，

且：

Images