CN104735349A - 同步多聚焦Bayer视频图像处理系统及方法 - Google Patents

Abstract

本发明公开了一种同步多聚焦Bayer视频图像处理系统及方法，系统包括多聚焦Bayer视频图像获取装置(1)和视频图像处理装置(3)，视频图像处理装置(3)工作过程如下：一、多路整合处理：其对多聚焦Bayer视频图像获取装置(1)的各Bayer成像装置同一时刻采集来的U个Bayer图像 ，其中，进行融合处理，得到一个融合的Bayer图像，处理后的Bayer图像为同一时刻k时目标场景内所有位置的目标均清晰的Bayer图像；二、对Bayer图像再经过恢复处理，得到全图均清晰的彩色图像，。本发明的系统与方法节约时间、简化系统，处理后的图像质量高。

Description

同步多聚焦Bayer视频图像处理系统及方法

技术领域

本发明涉及一种视频图像的处理系统与方法，其主要是同步多聚焦视频图像处理系统与方法，特别是一种同步多聚焦Bayer视频图像处理系统与方法。

背景技术

视频传感器（即图像传感器，下同）属于光电元件类，核心为光学镜头、有源像元构成的光敏元阵列、时序和控制电路及功能电路和模拟信号的处理与输出接口等部件共同组成。其中影响成像质量的主要元器件是光学镜头和光敏元阵列。由于光学物理特性的局限，光学镜头都受到景深的限制，即只有距离镜头在景深范围内的物体能够清晰成像，不在景深范围的物体成像模糊。该局限严重限制了视频传感在军事、遥感、医学、工业、交通等诸多领域的应用。通过改变镜头光圈可以在一定范围扩展景深，但降低了在景深范围的物体成像的清晰度。目前，多聚焦图像融合技术是解决该问题一种有效途径；多聚焦图像融合是指在相同的成像条件下，在于镜头取景范围内，不同镜头聚焦不同距离的目标，再将不同镜头得到的多个图像合并得到一个在取景范围内所有聚焦目标都清晰的融合图像；小波分析和稀疏表示等理论常用来解决图像融合问题。然而这些方法都是针对真彩色源图像进行融合处理，而从各个镜头和相应图像传感器直接得到的图像为Bayer模式数据格式图像，因此需要将各个图像传感器输出的原始数据进行Bayer模式数据恢复处理，得到各个真彩色图像，然后再对各个真彩色图像进行融合处理，才可以得到所有聚焦目标都清晰的融合图像。这种处理方法先要对各个镜头和相应图像传感器直接得到的Bayer模式数据格式的图像分别进行数据恢复处理，而进行一次数据恢复处理就需要耗费系统（视频图像系统）大量的空间和时间，这样导致得到一幅清晰的真彩色图像就要进行多次数据恢复处理，大大降低了系统的效率，无形中对系统的硬件要求大大提高，成本增高，这就是目前高档的成像装备价格昂贵的主要原因。

景深是指在摄影机镜头或其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围。在聚焦完成后，在焦点前后的范围内都能形成清晰的像，这一前一后的距离范围，便叫做景深。在镜头前方（调焦点的前、后）有一段一定长度的空间，当被摄物体位于这段空间内时，其在底片上的成像恰位于焦点前后这两个弥散圆之间。

Bayer模式数据格式图像，即Bayer图像，是伊士曼·柯达公司科学家Bryce Bayer发明的，Bryce Bayer所发明的拜耳阵列被广泛运用数字图像，Bayer图像数据，其一般格式为：奇数扫描行输出 RGRG……，偶数扫描行输出 GBGB……；即奇数扫描行的第1，2，3，4，…象素分别采样和输出R，G，R，G，…数据；偶数扫描行的第1，2，3，4，…象素分别采样和输出G，B，G，B，…数据；Bayer图像也即马赛克图像。

发明内容

本发明的目的是克服现有技术的上述不足而提供一种同步多聚焦Bayer视频图像处理系统，其结构所需储存空间小，其处理速度快，成本低。

本发明的另一目的是克服现有技术的上述不足而提供一种同步多聚焦Bayer视频图像处理方法，其处理速度快，所需要空间少。

本发明的技术方案是：一种同步多聚焦Bayer视频图像处理系统，其包括多聚焦Bayer视频图像获取装置和视频图像处理装置；

多聚焦Bayer视频图像获取装置包括多个Bayer成像装置，其个数记为U，U≥2，每个Bayer成像装置包括聚焦镜头、贝尔滤光器和图像传感器，聚焦镜头为凸透镜，其焦距可调，各个Bayer成像装置的聚焦镜头的焦距设置不相同,以保证在场景范围内的不同位置不同远近的目标至少在一个聚焦镜头中成像是清晰的，贝尔滤光器由三种颜色滤光片构成，三种颜色滤光片以Bayer模式排成阵列，即贝尔滤光器是一个二维彩色滤光器阵列，它由RGB三原色滤光单元格栅组成，每个栅格只能滤过三原色的一种，并一一对应图像传感器上的每个像素；图像传感器为CCD，每个图像传感器位于对应的聚焦镜头聚焦的光路上，每个贝尔滤光器位于相应的图像传感器和聚焦镜头之间，贝尔滤光器的每个滤光单元格栅对应于图像传感器上的一个像素；每个Bayer成像装置可以对目标场景进行成像，并输出Bayer格式的图像，记为                                               ，即为某一时刻k时第u个Bayer成像装置获得的目标场景的一个Bayer图像， U个Bayer成像装置可对同一目标场景在同一时刻k产生U个Bayer图像，记为，其中，U为上述的Bayer成像装置的个数；一个Bayer成像装置在多个时刻k产生多个Bayer图像，即一路Bayer视频，记为，其中，n 为成像采样的时刻的个数；多个Bayer成像装置在多个时刻k产生多个Bayer视频，即多路Bayer视频，记为，其中，，也可记为，每一个Bayer图像由个像素组成，即U路Bayer视频还可以表示为，其中,，，，H为每幅Bayer图像的像素的行数，N为每幅图像的像素的列数；

视频图像处理装置包括数字处理装置、多路Bayer图像融合装置和Bayer图像恢复装置；数字处理装置能进行数据处理，其包括输入接口、存贮器、处理器和输出接口；

多聚焦Bayer视频图像获取装置与视频图像处理装置之间通过通讯系统连接；

多路Bayer图像融合装置置于视频图像处理装置的数字处理装置中，其用于对多聚焦Bayer视频图像获取装置的各Bayer成像装置同一时刻采集来的U个Bayer图像，其中，或进行融合处理，得到一个融合的Bayer图像，处理后的Bayer图像包含了U个Bayer图像中所有的聚焦区域影像，即处理后的Bayer图像为同一时刻k时目标场景内所有位置的目标均清晰的Bayer图像；

Bayer图像恢复装置用于对多路Bayer图像融合装置处理后得到的Bayer图像再经过恢复处理，得到一张全图均清晰的彩色图像。

本发明进一步的技术方案是：所述的多路Bayer图像融合装置包括图像分块模块、图像块RGB分解模块、图像块清晰度衡量模块、基于清晰度的图像合成模块；

图像分块模块，其用于将第k个时刻U个Bayer图像的每一个Bayer图像都完全分割成Q个图像块，；

图像块RGB分解模块，其用于将图像分块模块得到的各图像块，，按照RGB颜色属性分别分解成R色子图像块、B色子图像块、G1色子图像块、G2色子图像块；

图像块清晰度衡量模块，其用于衡量每一个图像的清晰度；其先分别衡量对应于每一个图像块的四个子图像的清晰度，然后取各子图像块的清晰度之和，得到每一个图像块的清晰度；

基于清晰度的图像合成模块，其用于对同一时刻k时U个Bayer图像中相同位置（即q值相同）的各图像块的清晰度，取清晰度最大的图像块直接或者带权后作为合成的Bayer图像该位置的图像块的像素值。

本发明更进一步的技术方案是：所述的图像分块模块，其用于将第k个时刻U个Bayer图像的每一个Bayer图像都完全分割成Q个包括r行与r列像素的图像块，，且对同一幅Bayer图像分割成的任意相邻两个图像块之间具有c行或者c列像素重叠，即左右相邻两个图像块之间有c列像素相重叠（像素相同），上下相邻的两个图像块之间有c行像素相重叠，r一般取8～64之间的偶数, c取4～32，c<r，r<H，r<N；；表示由第u个Bayer成像装置在第k时刻得到的Bayer图像经分割后得到的第q个图像块，U个Bayer图像在对应的同一图像区域就分成了U个图像块，记为，。

本发明再进一步的技术方案是：所述的图像块RGB分解模块，其用于将图像分块模块得到的各图像块，，按照RGB颜色属性分别分解成R色子图像块、B色子图像块、G1色子图像块、G2色子图像块尺寸分别为(r/2)x(r/2)四个子图像块；具体是对每个图像块，，进行如下操作：取每个图像块的奇数行和奇数列的像素，得到一个(r/2)x(r/2)的R色子图像块，标记为；取每个图像块的偶数行和偶数列的像素，得到一个(r/2)x(r/2)的B色子图像块，标记为；取每个图像块的奇数行和偶数列的像素，得到一个(r/2)x(r/2)的G1色子图像块，标记为；取每个图像块的偶数行和奇数列的像素，得到一个(r/2)x(r/2)的G2色子图像块，标记为；即U个Bayer图像在对应的同一图像区域就分成了U×4个子图像块 、、、，其中，用、、、分别表示相应子图像块第i行j列处的像素值。

本发明还进一步的技术方案是：所述的图像块清晰度衡量模块，其用于先对每个子图像块的像元阵列的相邻列像素值对应求差值，取平方，再对每个子图像块的像元阵列的相邻行像素值对应求差值，取平方，再取所有平方值的和，然后将和除以(r/2)²再开平方，用开平方的值表示该子图像块的清晰度，分别得到R色子图像块、B色子图像块、G1色子图像块、G2色子图像块的清晰度量、、和；再将四个子图像块的清晰度求和得到图像块的清晰度，即，表示图像块的清晰度量，当，就分别得到同一时刻k时U个Bayer成像装置得到的所有Bayer图像的各图像块的清晰度量。

本发明进一步的技术方案是：所述的基于清晰度的图像合成模块，其具体用于：

选取最大清晰度的图像块：根据图像块清晰度衡量模块得到的同一时刻k时U个Bayer图像中同一区域q中各图像块的清晰度，求出最大清晰度的图像块号，表示，中最大值时相应的u值，得到最大清晰图像块记为，

 ，

构造Bayer合成图像并初始化：构造一个H行N列初始的Bayer合成图像，初始的Bayer合成图像的像素值全为零,即；

构造权阵W并初始化：构造H行N列各元素值均为零的权阵W，表示子权阵W的第i行第j列的元素值，即；

构造子权阵：构造一个r行r列的子权阵ω，用表示子权阵ω的第i行第j列的元素值，取， ；可以看出，当r一定时，ω就成了一个常量阵列（即每个位置的元素值是固定的）；

对初始的Bayer合成图像进行一次带权合成：将各最大清晰图像块的像素值带权累加至Bayer合成图像相应位置像素值，即将每一个最大清晰图像块以子权阵ω倍率进行像素值变换，也即将每一个最大清晰图像块的每一个像素值与子权阵ω中相对应的元素值相乘，得到各加权图像块，然后将各加权图像块的每个像素值累加入Bayer合成图像中对应的各个图像块的相应位置的各像素值中，得到一次带权的Bayer合成图像；

权阵W赋值：按照Q个最大清晰图像块的位置，将子权阵ω依次累加入权阵W相应的元素值中，得到最终的权阵W；

对一次带权的Bayer合成图像进行整体带权：将上述Bayer合成图像依权阵W倒数倍率变换，得到二次带权的Bayer合成图像，即得到最后的全图均清晰的Bayer合成图像；即再将累加后得到的Bayer合成图像的每一个像素值分别除以权阵W对应的元素值，即

得到全图均清晰的Bayer合成图像。

本发明的另一技术方案是：一种同步多聚焦Bayer视频图像处理方法，其包括如下处理步骤：

一、多路整合处理：其对多聚焦Bayer视频图像获取装置的各Bayer成像装置同一时刻采集来的U个Bayer图像，其中，或进行融合处理，得到一个融合的Bayer图像，处理后的Bayer图像包含了U个Bayer图像中所有的聚焦区域影像，即处理后的Bayer图像为同一时刻k时目标场景内所有位置的目标均清晰的Bayer图像；

二、对Bayer图像再经过恢复处理，得到一张全图均清晰的彩色图像。

本发明进一步的另一技术方案是：对多聚焦Bayer视频图像获取装置每一时刻k采集来的多个图像均进行处理，得到清晰的彩色视频，即得到，。

本发明更进一步的另一技术方案是：所述的多路整合处理包括如下处理步骤：

图像分块，将第k个时刻U个Bayer图像的每一个Bayer图像都完全分割成Q个图像块，；

图像块RGB分解，将图像分块模块得到的各图像块，，按照RGB颜色属性分别分解成R色子图像块、B色子图像块、G1色子图像块、G2色子图像块；

图像块清晰度衡量，其先分别衡量对应于每一个图像块的四个子图像的清晰度，然后取各子图像块的清晰度之和，得到每一个图像块的清晰度；

基于清晰度的图像合成，对同一时刻k时U个Bayer图像中相同位置（即q值相同）的各图像块的清晰度，取清晰度最大的图像块直接或者带权后作为合成的Bayer图像该位置的图像块的像素值。

本发明再进一步的另一技术方案是：图像分块，将第k个时刻U个Bayer图像的每一个Bayer图像都完全分割成Q个包括r行与r列像素的图像块，，且对同一幅Bayer图像分割成的任意相邻两个图像块之间具有c行或者c列像素重叠，即左右相邻两个图像块之间有c列像素相重叠（像素相同），上下相邻的两个图像块之间有c行像素相重叠，r一般取8～64之间的偶数, c取4～32，c<r，r<H，r<N；；表示由第u个Bayer成像装置在第k时刻得到的Bayer图像经分割后得到的第q个图像块，U个Bayer图像在对应的同一图像区域就分成了U个图像块，记为，；

图像块RGB分解，将图像分块模块得到的各图像块，，按照RGB颜色属性分别分解成R色子图像块、B色子图像块、G1色子图像块、G2色子图像块尺寸分别为(r/2)x(r/2)四个子图像块；具体是对每个图像块，，进行如下操作：取每个图像块的奇数行和奇数列的像素，得到一个(r/2)x(r/2)的R色子图像块，标记为；取每个图像块的偶数行和偶数列的像素，得到一个(r/2)x(r/2)的B色子图像块，标记为；取每个图像块的奇数行和偶数列的像素，得到一个(r/2)x(r/2)的G1色子图像块，标记为；取每个图像块的偶数行和奇数列的像素，得到一个(r/2)x(r/2)的G2色子图像块，标记为；即U个Bayer图像在对应的同一图像区域就分成了U×4个子图像块 、、、，其中，用、、、分别表示相应子图像块第i行j列处的像素值；

图像块清晰度衡量，先对每个子图像块的像元阵列的相邻列像素值对应求差值，取平方，再对每个子图像块的像元阵列的相邻行像素值对应求差值，取平方，再取所有平方值的和，然后将和除以(r/2)²再开平方，用开平方的值表示该子图像块的清晰度，分别得到R色子图像块、B色子图像块、G1色子图像块、G2色子图像块的清晰度量、、和；再将四个子图像块的清晰度求和得到图像块的清晰度，即，表示图像块的清晰度量，当，就分别得到同一时刻k时U个Bayer成像装置得到的所有Bayer图像的各图像块的清晰度量；

基于清晰度的图像合成：

选取最大清晰度的图像块：根据图像块清晰度衡量模块得到的同一时刻k时U个Bayer图像中同一区域q中各图像块的清晰度，求出最大清晰度的图像块号，表示，中最大值时相应的u值，得到最大清晰图像块记为，

 ，

构造Bayer合成图像并初始化：构造一个H行N列初始的Bayer合成图像，初始的Bayer合成图像的像素值全为零,即；

构造权阵W并初始化：构造H行N列各元素值均为零的权阵W，表示子权阵W的第i行第j列的元素值，即；

构造子权阵：构造一个r行r列的子权阵ω，用表示子权阵ω的第i行第j列的元素值，取， ；可以看出，当r一定时，ω就成了一个常量阵列（即每个位置的元素值是固定的）；

对初始的Bayer合成图像进行一次带权合成：将各最大清晰图像块的像素值带权累加至Bayer合成图像相应位置像素值，即将每一个最大清晰图像块以子权阵ω倍率进行像素值变换，也即将每一个最大清晰图像块的每一个像素值与子权阵ω中相对应的元素值相乘，得到各加权图像块，然后将各加权图像块的每个像素值累加入Bayer合成图像中对应的各个图像块的相应位置的各像素值中，得到一次带权的Bayer合成图像；

权阵W赋值：按照Q个最大清晰图像块的位置，将子权阵ω依次累加入权阵W相应的元素值中，得到最终的权阵W；

对一次带权的Bayer合成图像进行整体带权：将上述Bayer合成图像依权阵W倒数倍率变换，得到二次带权的Bayer合成图像，即得到最后的全图均清晰的Bayer合成图像；即再将累加后得到的Bayer合成图像的每一个像素值分别除以权阵W对应的元素值，即

得到全图均清晰的Bayer合成图像。

本发明与现有技术相比具有如下特点：

1．本发明的系统与方法均对同一时刻的U个原始Bayer图像只要作一次恢复就够了，从而大大减少了马赛克图像后续恢复处理的工作量和存储空间，节约时间，简化系统。

2．本发明的系统与方法均除了在处理图像序列时节约了大量的系统的空间与时间，且进行了画质优选与带权处理，使得处理后的图像质量更高，清晰度更好，让人们看起来更舒服、真实。

以下结合附图和具体实施方式对本发明的详细结构作进一步描述。

附图说明

图1为本发明的同步多聚焦Bayer视频图像处理系统的结构框图；

图2为本发明的多聚焦Bayer视频图像获取装置的结构框图；

图3为本发明的视频图像处理装置的结构框图；

图4为本发明的多路Bayer图像融合装置的结构框图；

图5为本发明的多聚焦Bayer视频图像获取装置的一个Bayer成像装置所采集到的图像；

图6为本发明的多聚焦Bayer视频图像获取装置的另一个Bayer成像装置所采集到的图像（与图5为同一目标且在同一时刻采的像，但在采像时镜头的焦距不同）；

图7为图5与图6经过本发明的视频图像处理装置处理后得到的图像；

图8为传统方法（先对源Bayer图像恢复，然后再用基于非下采样轮廓波变换方法得到的仿真融合图像）处理图5与图6得到的图像。

具体实施方式

实施例1

如图1所示：一种同步多聚焦Bayer视频图像处理系统，其包括多聚焦Bayer视频图像获取装置1和视频图像处理装置3；如图2所示，多聚焦Bayer视频图像获取装置1包括多个（两个以上）Bayer成像装置，其个数记为U，U≥2，每个Bayer成像装置包括聚焦镜头11、贝尔滤光器12和图像传感器13，聚焦镜头11为凸透镜，其焦距可调，各个Bayer成像装置的聚焦镜头11的焦距设置不相同,使得在各图像传感器13上成像的景深不相同，以保证在场景范围内的不同位置不同远近的目标至少在一个聚焦镜头11中成像（在图像传感器13上）是清晰的，形成“多聚焦”的效果，贝尔滤光器12由三种颜色滤光片构成，三种颜色滤光片以Bayer模式排成阵列，即贝尔滤光器12是一个二维彩色滤光器阵列（CFA），它由RGB（即三原色红、绿、蓝）三原色滤光单元格栅组成，每个栅格只能滤过三原色的一种，并一一对应图像传感器13上的每个像素，贝尔滤光器12也就是一个色彩马赛克阵列；图像传感器13为CCD（CCD，英文全称：Charge-coupled Device，中文全称：电荷耦合元件；可以称为CCD图像传感器,也叫图像控制器；CCD是一种半导体器件，能够把光学影像转化为数字信号），每个图像传感器13位于对应的聚焦镜头11聚焦的光路上，每个贝尔滤光器12位于相应的图像传感器13和聚焦镜头11之间，贝尔滤光器12的每个滤光单元格栅对应于图像传感器13上的一个像素。

每个Bayer成像装置可以对取像场景（即目标场景）进行成像，并输出Bayer格式的图像（简称Bayer图像，也可以称为马赛克图像），记为，即为某一时刻k时第u个Bayer成像装置获得的目标场景的一个Bayer图像， 多个（即U个，下同）Bayer成像装置（即多聚焦Bayer视频图像获取装置1）可对同一目标场景在同一时刻k产生多个Bayer图像，即多路Bayer图像，记为，其中，U表示Bayer成像装置的个数；一个Bayer成像装置在多个时刻k产生多个Bayer图像，即一路Bayer视频，记为，其中，n 为成像采样的时刻的个数；多个Bayer成像装置在多个时刻k产生多个Bayer视频，即多路Bayer视频，记为，其中，，U表示Bayer成像装置的个数，n 为成像采样的时刻的个数，也可记为，每一个Bayer图像由个像素组成，即多路Bayer视频还可以表示为，其中,，，，H为每幅Bayer图像的像素的行数，N为每幅图像的像素的列数。视频图像处理装置3可以将多路Bayer图像融合成一张清晰的马赛克图像，再经过恢复处理后成为一张全图均清晰的彩色图像，记为；多路Bayer视频经过融合和恢复处理后成一组清晰的彩色图像序列，即处理成清晰的一路彩色视频，记为。

由于每个Bayer成像装置的聚焦镜头11焦距设置不同，各个Bayer成像装置的图像传感器13得到的像元阵列（即Bayer图像）聚焦在不同远近的物体上，图像传感器13得到的Bayer图像有如下特点：1.由于得到的Bayer图像中相邻两个像素来自不同的入射光谱（贝尔滤光器12介入的原因），所以相邻像元像素值差别较大，将Bayer图像显示成可视图像的形式的时候，可以看到视频上图像中有明显的格子形状，因此不能够通过相邻像元的值来直接计算图像的清晰度；2. 被聚焦的物体在图像中会比较清晰，没有聚焦的物体，在图像中比较模糊（将Bayer图像显示成灰度图像的形式，虽然有Bayer模式格子的影响，视频上还是可以看出图像聚焦区域和非聚焦区域）。本发明就是基于多个Bayer成像装置对同一目标场景在同一时刻k产生多个Bayer图像，，直接进行融合处理，得到同一时刻k时目标场景内所有位置的目标均清晰的Bayer图像（即马赛克图像），记为，然后再经过恢复处理后成为一张全图均清晰的彩色图像，记为，这样在同一时刻的U个原始Bayer图像只要作一次恢复就够了，从而大大减少了马赛克图像后续恢复处理的工作量和存储空间，节约时间，简化系统。

多聚焦Bayer视频图像获取装置1与视频图像处理装置3之间通过通讯系统连接，所述的通讯系统可以为电缆及其接口电路，也可以为无线通讯系统，无线通讯系统包括无线收发器、接口电路等部件；通讯系统还应该包括电平转换、I/V转换、信号放大、A/D转换等电路。

如图3所示，视频图像处理装置3包括数字处理装置31、多路Bayer图像融合装置32和Bayer图像恢复装置33；数字处理装置31能进行数据处理，其包括输入接口、存贮器、处理器和输出接口，其在表现形式上可以为专用定做的数字处理装置，也可以为一台能进行数字信号处理的微处理器或计算机（例如笔记本电脑、单片机等）。

多路Bayer图像融合装置32置于视频图像处理装置3的数字处理装置31中，其可以为硬件形式，即制成硬件模块，也可以为软件形式，从可复制性来讲，主要制成软件形式置于数字处理装置31中，其用于对多聚焦Bayer视频图像获取装置1的各Bayer成像装置同一时刻采集来的多个Bayer图像（即，其中，或）进行融合处理，得到一个融合的Bayer图像（即目标均清晰的Bayer图像），处理后的融合的Bayer图像包含了U个Bayer图像中所有的聚焦区域影像（图像数据），也就是说去掉了每幅Bayer图像中的非聚焦区域的影像，合并了相应聚焦区域部分，其是通过如下模块实现的。

如图4所示，多路Bayer图像融合装置32包括图像分块模块、图像块RGB分解模块、图像块清晰度衡量模块、基于清晰度的图像合成模块。

图像分块模块，其用于将第k个时刻U个Bayer图像的每一个Bayer图像都完全分割成多个包括r行与r列像素的图像块，，且对同一幅Bayer图像分割成的任意相邻两个图像块之间具有c行或者c列像素重叠，即左右相邻两个图像块之间有c列像素相重叠（像素相同），上下相邻的两个图像块之间有c行像素相重叠，r一般取8～64之间的偶数, c取4～32，c<r，r<H，r<N；分割出的第一个图像块为相应Bayer图像的第1行至第r行和第1列至第r列的像素组成的图像，记为，第二个图像块为相应Bayer图像的第1行至第r行和第r–c+1列至第2r–c列像素组成的图像，记为，依次类推，，，将每个Bayer图像都分割成相邻都有c行或者c列元素相互重叠的Q个图像块，Q值大小（即可以分成的块数）可以按如下公式计算：

；

用表示由第u个Bayer成像装置（即从第u个图像传感器13中得到的）在第k时刻得到的Bayer图像经分割后得到的第q个图像块；则U个Bayer图像在对应的同一图像区域就分成了U个图像块，记为，。

图像块RGB分解模块，其用于将图像块按照RGB（红、绿、蓝）颜色属性进行进一步分解成四个子图像块（分别为R色子图像块、B色子图像块、G1色子图像块、G2色子图像块），即其用于将每个图像块进一步分解为四个尺寸分别为(r/2)x(r/2)的子图像块（即子图像块为r/2行r/2列像素的图像），具体方法是对每个图像块，）进行如下操作：取每个图像块的奇数行和奇数列的像素，得到一个(r/2)x(r/2)的子图像块（可以定义为R色子图像块），标记为；取每个图像块的偶数行和偶数列的像素，得到一个(r/2)x(r/2)的子图像块（可以定义为B色子图像块），标记为；取每个图像块的奇数行和偶数列的像素，得到一个(r/2)x(r/2)的子图像块（可以定义为G1色子图像块），标记为；取每个图像块的偶数行和奇数列的像素，得到一个(r/2)x(r/2)的子图像块（也可以定义为G2色子图像块），标记为；即U个Bayer图像在对应的同一图像区域就分成了U×4个子图像块，记为、、、，其中，用、、、分别表示相应子图像块i行j列处的像素值。

图像块清晰度衡量模块，其用于衡量每一个图像的清晰度；其先分别衡量对应于每一个图像块的四个子图像的清晰度，然后取各子图像块的清晰度之和，得到每一个图像块的清晰度；即其先对每个子图像块的像元阵列的相邻列像素值对应求差值，取平方，再对每个子图像块的像元阵列的相邻行像素值对应求差值，取平方，再取所有平方值的和，然后将和除以(r/2)²再开平方，用开平方的值表示该子图像块的清晰度；以子图像块（即R色子图像块）为例具体计算方法为：

其中和为

得到R色子图像块的清晰度量；依相同方法得到其他三个子图像块（、和）的清晰度量，分别记为、和；再将四个子图像块的清晰度求和得到图像块的清晰度，即，表示图像块的清晰度量，当，就分别得到同一时刻k时全部（即U个）Bayer成像装置得到的所有Bayer图像的各图像块的清晰度量。

基于清晰度的图像合成模块，其用于对同一时刻k时U个Bayer图像中相同位置（即q值相同）的各图像块的清晰度，取清晰度最大的图像块作为合成时该位置所需要的图像块；即最大清晰图像块记为，具体可表示为：

 ，

表示，中最大值时相应的u值，为同一时刻k时U个Bayer图像中同一区域q中最清晰的图像块，全部这样的图像块，（也可以表示为）为所有位置最清晰图像块序列，用于合成k时刻的一幅清晰的Bayer合成图像；

基于清晰度的图像合成模块具体工作过程如下（即其具体用于如下操作）：

选取最大清晰度的图像块：根据图像块清晰度衡量模块得到的同一时刻k时U个Bayer图像中同一区域q中各图像块的清晰度，求出最大清晰度的图像块号，表示，中最大值时相应的u值，得到最大清晰图像块记为，

 ，

构造Bayer合成图像并初始化：构造一个H行N列初始的Bayer合成图像，初始的Bayer合成图像的像素值全为零,即；

构造权阵W并初始化：构造H行N列各元素值均为零的权阵W，表示子权阵W的第i行第j列的元素值，即；

构造子权阵：构造一个r行r列的子权阵ω，用表示子权阵ω的第i行第j列的元素值，取， ；可以看出，当r一定时，ω就成了一个常量阵列（即每个位置的元素值是固定的）；

对初始的Bayer合成图像进行一次带权合成：将各最大清晰图像块的像素值带权累加至Bayer合成图像相应位置像素值，即将每一个最大清晰图像块以子权阵ω倍率进行像素值变换，也即将每一个最大清晰图像块的每一个像素值与子权阵ω中相对应的元素值相乘，得到各加权图像块，然后将各加权图像块的每个像素值累加入Bayer合成图像中对应的各个图像块的相应位置的各像素值中；例如，当q=1时，是进行如下操作：

其中表示Bayer合成图像的第1行到r行、第1列到r列的元素，表示图像块的每个像素值与权阵ω对应位置的元素值相乘，得到加权图像块，再累加入Bayer合成图像相对应的像素值中去；

当q=2时，则

依以此类推，将后续的每一个最大清晰图像块都经过子权阵ω倍率进行像素值变换，再累加入Bayer合成图像相对应像素值中去，得到一次带权的Bayer合成图像；

权阵W赋值：按照Q个最大清晰图像块的位置，将子权阵ω依次累加入权阵W相应的元素值中，得到最终的权阵W；例如当q=1时，执行如下累加操作:

表示权阵W的中第1行至第r行、第1列至第r列组成的r行r列大小的小方阵，表示将r行r列大小的子权阵ω的各元素值分别累加入权阵W的第1行至第r行与第1列至第r列的各元素值中，

当q=2时，执行如下累加操作：

依此类推，依次按照的对应的最大清晰图像块图像块的位置，将子权阵ω依次累加入权阵W相应的元素值中，得到最终的权阵W；

对一次带权的Bayer合成图像进行整体带权：将上述Bayer合成图像依权阵W倒数倍率变换，得到二次带权的Bayer合成图像，即得到最后的全图均清晰的Bayer合成图像；即再将累加后得到的Bayer合成图像的每一个像素值分别除以权阵W对应的元素值：

，其中，；

也可以简单表示为：

得到全图均清晰的Bayer合成图像，也即全图均清晰的马赛克合成图像；

当，时就形成了清晰的马赛克视频，即为清晰的马赛克视频。

Bayer图像恢复装置33用于对多路Bayer图像融合装置32得到的各全图均清晰的马赛克合成图像进行恢复操作，即进行去掉马赛克操作，也即将RGB图像恢复成真彩色图像，得到各全图均清晰的真彩色图像，当，时就形成了清晰的真彩色视频，即为清晰的真彩色视频，得到人人们最终所需要的全画面均清晰的彩色视频。

其中去马赛克操作可以采用基于梯度的Bayer像元阵列恢复方法进行操作。该方法的核心思想是假设在图像内平滑区域红色像素值与绿色像素值的比以及蓝色像素值与绿色像素值的比恒定，而在边缘区域比值产生变化，然后在绿色像素位置计算该点在各个方向的梯度，然后用梯度值作为权重进行加权平均，而对红色和蓝色像素，则利用它们对绿色的比值进行加权平均，从而实现Bayer像元阵列的彩色恢复。该方法能避免简单差值方法在物体边缘部位存在颜色混叠的缺点。该方法的具体步骤可参见[Ron Kimmel, “Demosaicing: Image Reconstruction from Color CCD Samples”, IEEE Transactions on Image Processing, 1999, vol. 8, no. 9, pp: 1221-1228.]

由于目前对Bayer图像去掉马赛克的方法很多，本发明也完全可以采用其他方法将Bayer图像（也即马赛克图像）恢复成真彩色图像，均完全属于本发明的构思。

试验：

图5为本发明的多聚焦Bayer视频图像获取装置的一个Bayer成像装置所采集到的图像；图6为本发明的多聚焦Bayer视频图像获取装置的另一个Bayer成像装置所采集到的图像，与图5为同一目标且在同一时刻采的像，但在采像时镜头的焦距不同，从图5和图6两个图片（图像）可以清晰地看出，源Bayer图像有明显的格子状栅格的图像分别聚焦在远近不同的物体上，图5聚焦在图片中右部分较远的场景上，图5聚焦在图片中左部分较近的场景上；

图7为图5与图6经过本发明的视频图像处理装置处理后得到的图像，可以看出本发明处理结果为彩色图像，且图像中没有了格子状栅格，图像中的左右不同远近的两块目标在图像中都非常清晰，处理结果更适合人眼观看和后续的一些其他计算机图像处理应用。

图8为传统方法（即先对Bayer图像恢复，然后再用基于非下采样轮廓波变换方法得到的仿真融合）对图5与图6处理后得到的图像，视觉上可以看出图8没有本发明处理得到的图7清晰，图7更适合人眼观看。表1为图7与图8的客观评价结果。其中基于非下采样轮廓波变换方法分别用缩写NSCT表示。采用的评价指标包含：SF、Q^AB/F和Q_W，其中空间频率用SF缩写表示，其值越大表示融合图像质量越好；Q^AB/F在文献[C.S. Xydeas and V. Petrovic, “Objective image fusion performance measure,” Electron. Lett., vol. 36, no. 4, pp. 308-309, 2000]中提出，其值越大表示融合图像质量越好；Q_W在文献[G. Piella, H. Heijmans, A new quality metric for image fusion, in: Proceedings of the International Conference on Image Processing, 2003, pp. 173–176]中提出，其值越大表示融合图像质量越好。从表1列出的评价结果可以看出本发明得到的图像质量最好。

表1. 两种处理结果的客观评价结果

	NSCT方法	本发明
			SF	26.7982	27.6663
QAB/F	0.6823	0.7327
			QW	0.8922	0.9071

所以本发明除了在处理图像序列时节约了大量的系统的空间与时间，且处理后的图像质量更高。

实施例2

一种同步多聚焦Bayer视频图像处理方法，其包括如下处理步骤：

一、多路整合处理：其对多聚焦Bayer视频图像获取装置(1)的各Bayer成像装置同一时刻采集来的U个Bayer图像，其中，或进行融合处理，得到一个融合的Bayer图像，处理后的Bayer图像包含了U个Bayer图像中所有的聚焦区域影像，即处理后的Bayer图像为同一时刻k时目标场景内所有位置的目标均清晰的Bayer图像；

具体包括如下处理步骤：

图像分块，将第k个时刻U个Bayer图像的每一个Bayer图像都完全分割成Q个图像块，；将第k个时刻U个Bayer图像的每一个Bayer图像都完全分割成Q个包括r行与r列像素的图像块，，且对同一幅Bayer图像分割成的任意相邻两个图像块之间具有c行或者c列像素重叠，即左右相邻两个图像块之间有c列像素相重叠（像素相同），上下相邻的两个图像块之间有c行像素相重叠，r一般取8～64之间的偶数, c取4～32，c<r，r<H，r<N；；表示由第u个Bayer成像装置在第k时刻得到的Bayer图像经分割后得到的第q个图像块，U个Bayer图像在对应的同一图像区域就分成了U个图像块，记为，；

图像块RGB分解，将图像分块模块得到的各图像块，，按照RGB颜色属性分别分解成R色子图像块、B色子图像块、G1色子图像块、G2色子图像块；将图像分块模块得到的各图像块，，按照RGB颜色属性分别分解成R色子图像块、B色子图像块、G1色子图像块、G2色子图像块尺寸分别为(r/2)x(r/2)四个子图像块；具体是对每个图像块，，进行如下操作：取每个图像块的奇数行和奇数列的像素，得到一个(r/2)x(r/2)的R色子图像块，标记为；取每个图像块的偶数行和偶数列的像素，得到一个(r/2)x(r/2)的B色子图像块，标记为；取每个图像块的奇数行和偶数列的像素，得到一个(r/2)x(r/2)的G1色子图像块，标记为；取每个图像块的偶数行和奇数列的像素，得到一个(r/2)x(r/2)的G2色子图像块，标记为；即U个Bayer图像在对应的同一图像区域就分成了U×4个子图像块 、、、，其中，用、、、分别表示相应子图像块第i行j列处的像素值；

图像块清晰度衡量，其先分别衡量对应于每一个图像块的四个子图像的清晰度，然后取各子图像块的清晰度之和，得到每一个图像块的清晰度；图像块清晰度衡量，先对每个子图像块的像元阵列的相邻列像素值对应求差值，取平方，再对每个子图像块的像元阵列的相邻行像素值对应求差值，取平方，再取所有平方值的和，然后将和除以(r/2)²再开平方，用开平方的值表示该子图像块的清晰度，分别得到R色子图像块、B色子图像块、G1色子图像块、G2色子图像块的清晰度量、、和；再将四个子图像块的清晰度求和得到图像块的清晰度，即，表示图像块的清晰度量，当，就分别得到同一时刻k时U个Bayer成像装置得到的所有Bayer图像的各图像块的清晰度量；

基于清晰度的图像合成，对同一时刻k时U个Bayer图像中相同位置（即q值相同）的各图像块的清晰度，取清晰度最大的图像块直接或者带权后作为合成的Bayer图像该位置的图像块的像素值；

选取最大清晰度的图像块：根据图像块清晰度衡量模块得到的同一时刻k时U个Bayer图像中同一区域q中各图像块的清晰度，求出最大清晰度的图像块号，表示，中最大值时相应的u值，得到最大清晰图像块记为，

 ，

构造Bayer合成图像并初始化：构造一个H行N列初始的Bayer合成图像，初始的Bayer合成图像的像素值全为零,即；

构造权阵W并初始化：构造H行N列各元素值均为零的权阵W，表示子权阵W的第i行第j列的元素值，即；

构造子权阵：构造一个r行r列的子权阵ω，用表示子权阵ω的第i行第j列的元素值，取， ；可以看出，当r一定时，ω就成了一个常量阵列（即每个位置的元素值是固定的）；

对初始的Bayer合成图像进行一次带权合成：将各最大清晰图像块的像素值带权累加至Bayer合成图像相应位置像素值，即将每一个最大清晰图像块以子权阵ω倍率进行像素值变换，也即将每一个最大清晰图像块的每一个像素值与子权阵ω中相对应的元素值相乘，得到各加权图像块，然后将各加权图像块的每个像素值累加入Bayer合成图像中对应的各个图像块的相应位置的各像素值中，得到一次带权的Bayer合成图像；

权阵W赋值：按照Q个最大清晰图像块的位置，将子权阵ω依次累加入权阵W相应的元素值中，得到最终的权阵W；

对一次带权的Bayer合成图像进行整体带权：将上述Bayer合成图像依权阵W倒数倍率变换，得到二次带权的Bayer合成图像，即得到最后的全图均清晰的Bayer合成图像；即再将累加后得到的Bayer合成图像的每一个像素值分别除以权阵W对应的元素值，即

得到全图均清晰的Bayer合成图像

二、对Bayer合成图像再经过恢复处理，得到一张全图均清晰的彩色图像；当时就得到每一时刻k均清晰的彩色图像序列，即得到清晰的彩色视频。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1. 一种同步多聚焦Bayer视频图像处理系统，其包括多聚焦Bayer视频图像获取装置(1)和视频图像处理装置(3)；

其特征是：

多聚焦Bayer视频图像获取装置(1)包括多个Bayer成像装置，其个数记为U，U≥2，每个Bayer成像装置包括聚焦镜头(11)、贝尔滤光器(12)和图像传感器(13)，聚焦镜头(11)为凸透镜，其焦距可调，各个Bayer成像装置的聚焦镜头(11)的焦距设置不相同,以保证在场景范围内的不同位置不同远近的目标至少在一个聚焦镜头(11)中成像是清晰的，贝尔滤光器(12)由三种颜色滤光片构成，三种颜色滤光片以Bayer模式排成阵列，即贝尔滤光器(12)是一个二维彩色滤光器阵列，它由RGB三原色滤光单元格栅组成，每个栅格只能滤过三原色的一种，并一一对应图像传感器(13)上的每个像素；图像传感器(13)为CCD，每个图像传感器(13)位于对应的聚焦镜头(11)聚焦的光路上，每个贝尔滤光器(12)位于相应的图像传感器(13)和聚焦镜头(11)之间，贝尔滤光器(12)的每个滤光单元格栅对应于图像传感器(13)上的一个像素；每个Bayer成像装置可以对目标场景进行成像，并输出Bayer格式的图像，记为                                               ，即为某一时刻k时第u个Bayer成像装置获得的目标场景的一个Bayer图像， U个Bayer成像装置可对同一目标场景在同一时刻k产生U个Bayer图像，记为，其中，U为上述的Bayer成像装置的个数；一个Bayer成像装置在多个时刻k产生多个Bayer图像，即一路Bayer视频，记为，其中，n 为成像采样的时刻的个数；多个Bayer成像装置在多个时刻k产生多个Bayer视频，即多路Bayer视频，记为，其中，，也可记为，每一个Bayer图像由个像素组成，即U路Bayer视频还可以表示为，其中,，，，H为每幅Bayer图像的像素的行数，N为每幅图像的像素的列数；

视频图像处理装置(3)包括数字处理装置(31)、多路Bayer图像融合装置(32)和Bayer图像恢复装置(33)；数字处理装置(31)能进行数据处理，其包括输入接口、存贮器、处理器和输出接口；

多聚焦Bayer视频图像获取装置(1)与视频图像处理装置(3)之间通过通讯系统连接；

多路Bayer图像融合装置(32)置于视频图像处理装置(3)的数字处理装置(31)中，其用于对多聚焦Bayer视频图像获取装置(1)的各Bayer成像装置同一时刻采集来的U个Bayer图像，其中，或进行融合处理，得到一个融合的Bayer图像，处理后的Bayer图像包含了U个Bayer图像中所有的聚焦区域影像，即处理后的Bayer图像为同一时刻k时目标场景内所有位置的目标均清晰的Bayer图像；

Bayer图像恢复装置(33)用于对多路Bayer图像融合装置(32)处理后得到的Bayer图像再经过恢复处理，得到一张全图均清晰的彩色图像。

2. 根据权利要求1所述的同步多聚焦Bayer视频图像处理系统，其特征是：所述的多路Bayer图像融合装置(32)包括图像分块模块、图像块RGB分解模块、图像块清晰度衡量模块、基于清晰度的图像合成模块；

图像分块模块，其用于将第k个时刻U个Bayer图像的每一个Bayer图像都完全分割成Q个图像块，；

图像块RGB分解模块，其用于将图像分块模块得到的各图像块，，按照RGB颜色属性分别分解成R色子图像块、B色子图像块、G1色子图像块、G2色子图像块；

图像块清晰度衡量模块，其用于衡量每一个图像的清晰度；其先分别衡量对应于每一个图像块的四个子图像的清晰度，然后取各子图像块的清晰度之和，得到每一个图像块的清晰度；

基于清晰度的图像合成模块，其用于对同一时刻k时U个Bayer图像中相同位置（即q值相同）的各图像块的清晰度，取清晰度最大的图像块直接或者带权后作为合成的Bayer图像该位置的图像块的像素值。

3. 根据权利要求2所述的同步多聚焦Bayer视频图像处理系统，其特征是：所述的图像分块模块，其用于将第k个时刻U个Bayer图像的每一个Bayer图像都完全分割成Q个包括r行与r列像素的图像块，，且对同一幅Bayer图像分割成的任意相邻两个图像块之间具有c行或者c列像素重叠，即左右相邻两个图像块之间有c列像素相重叠（像素相同），上下相邻的两个图像块之间有c行像素相重叠，r一般取8～64之间的偶数, c取4～32，c<r，r<H，r<N；；表示由第u个Bayer成像装置在第k时刻得到的Bayer图像经分割后得到的第q个图像块，U个Bayer图像在对应的同一图像区域就分成了U个图像块，记为，。

4. 根据权利要求3所述的同步多聚焦Bayer视频图像处理系统，其特征是：所述的图像块RGB分解模块，其用于将图像分块模块得到的各图像块，，按照RGB颜色属性分别分解成R色子图像块、B色子图像块、G1色子图像块、G2色子图像块尺寸分别为(r/2)x(r/2)四个子图像块；具体是对每个图像块，，进行如下操作：取每个图像块的奇数行和奇数列的像素，得到一个(r/2)x(r/2)的R色子图像块，标记为；取每个图像块的偶数行和偶数列的像素，得到一个(r/2)x(r/2)的B色子图像块，标记为；取每个图像块的奇数行和偶数列的像素，得到一个(r/2)x(r/2)的G1色子图像块，标记为；取每个图像块的偶数行和奇数列的像素，得到一个(r/2)x(r/2)的G2色子图像块，标记为；即U个Bayer图像在对应的同一图像区域就分成了U×4个子图像块 、、、，其中，用、、、分别表示相应子图像块第i行j列处的像素值。

5. 根据权利要求4所述的同步多聚焦Bayer视频图像处理系统，其特征是：所述的图像块清晰度衡量模块，其用于先对每个子图像块的像元阵列的相邻列像素值对应求差值，取平方，再对每个子图像块的像元阵列的相邻行像素值对应求差值，取平方，再取所有平方值的和，然后将和除以(r/2)²再开平方，用开平方的值表示该子图像块的清晰度，分别得到R色子图像块、B色子图像块、G1色子图像块、G2色子图像块的清晰度量、、和；再将四个子图像块的清晰度求和得到图像块的清晰度，即，表示图像块的清晰度量，当，就分别得到同一时刻k时U个Bayer成像装置得到的所有Bayer图像的各图像块的清晰度量。

6. 根据权利要求5所述的同步多聚焦Bayer视频图像处理系统，其特征是：所述的基于清晰度的图像合成模块，其具体用于：

选取最大清晰度的图像块：根据图像块清晰度衡量模块得到的同一时刻k时U个Bayer图像中同一区域q中各图像块的清晰度，求出最大清晰度的图像块号，表示，中最大值时相应的u值，得到最大清晰图像块记为，

 ，

构造Bayer合成图像并初始化：构造一个H行N列初始的Bayer合成图像，初始的Bayer合成图像的像素值全为零,即；

构造权阵W并初始化：构造H行N列各元素值均为零的权阵W，表示子权阵W的第i行第j列的元素值，即；

构造子权阵：构造一个r行r列的子权阵ω，用表示子权阵ω的第i行第j列的元素值，取， ；可以看出，当r一定时，ω就成了一个常量阵列（即每个位置的元素值是固定的）；

对初始的Bayer合成图像进行一次带权合成：将各最大清晰图像块的像素值带权累加至Bayer合成图像相应位置像素值，即将每一个最大清晰图像块以子权阵ω倍率进行像素值变换，也即将每一个最大清晰图像块的每一个像素值与子权阵ω中相对应的元素值相乘，得到各加权图像块，然后将各加权图像块的每个像素值累加入Bayer合成图像中对应的各个图像块的相应位置的各像素值中，得到一次带权的Bayer合成图像；

权阵W赋值：按照Q个最大清晰图像块的位置，将子权阵ω依次累加入权阵W相应的元素值中，得到最终的权阵W；

对一次带权的Bayer合成图像进行整体带权：将上述Bayer合成图像依权阵W倒数倍率变换，得到二次带权的Bayer合成图像，即得到最后的全图均清晰的Bayer合成图像；即再将累加后得到的Bayer合成图像的每一个像素值分别除以权阵W对应的元素值，即

得到全图均清晰的Bayer合成图像。

7. 一种同步多聚焦Bayer视频图像处理方法，其特征是：其包括如下处理步骤：

一、多路整合处理：其对多聚焦Bayer视频图像获取装置(1)的各Bayer成像装置同一时刻采集来的U个Bayer图像，其中，或进行融合处理，得到一个融合的Bayer图像，处理后的Bayer图像包含了U个Bayer图像中所有的聚焦区域影像，即处理后的Bayer图像为同一时刻k时目标场景内所有位置的目标均清晰的Bayer图像；

二、对Bayer图像再经过恢复处理，得到一张全图均清晰的彩色图像。

8. 根据权利要求5所述的同步多聚焦Bayer视频图像处理方法, 其特征是：对多聚焦Bayer视频图像获取装置(1)每一时刻k采集来的多个图像均进行处理，得到清晰的彩色视频，即得到，。

9. 根据权利要求8或9所述的同步多聚焦Bayer视频图像处理方法，其特征是：所述的多路整合处理包括如下处理步骤：

图像分块，将第k个时刻U个Bayer图像的每一个Bayer图像都完全分割成Q个图像块，；

图像块RGB分解，将图像分块模块得到的各图像块，，按照RGB颜色属性分别分解成R色子图像块、B色子图像块、G1色子图像块、G2色子图像块；

图像块清晰度衡量，其先分别衡量对应于每一个图像块的四个子图像的清晰度，然后取各子图像块的清晰度之和，得到每一个图像块的清晰度；

基于清晰度的图像合成，对同一时刻k时U个Bayer图像中相同位置的各图像块的清晰度，取清晰度最大的图像块直接或者带权后作为合成的Bayer图像该位置的图像块的像素值。

10. 根据权利要求9所述的同步多聚焦Bayer视频图像处理方法，其特征是：

图像分块，将第k个时刻U个Bayer图像的每一个Bayer图像都完全分割成Q个包括r行与r列像素的图像块，，且对同一幅Bayer图像分割成的任意相邻两个图像块之间具有c行或者c列像素重叠，即左右相邻两个图像块之间有c列像素相重叠（像素相同），上下相邻的两个图像块之间有c行像素相重叠，r一般取8～64之间的偶数, c取4～32，c<r，r<H，r<N；；表示由第u个Bayer成像装置在第k时刻得到的Bayer图像经分割后得到的第q个图像块，U个Bayer图像在对应的同一图像区域就分成了U个图像块，记为，；

图像块RGB分解，将图像分块模块得到的各图像块，，按照RGB颜色属性分别分解成R色子图像块、B色子图像块、G1色子图像块、G2色子图像块尺寸分别为(r/2)x(r/2)四个子图像块；具体是对每个图像块，，进行如下操作：取每个图像块的奇数行和奇数列的像素，得到一个(r/2)x(r/2)的R色子图像块，标记为；取每个图像块的偶数行和偶数列的像素，得到一个(r/2)x(r/2)的B色子图像块，标记为；取每个图像块的奇数行和偶数列的像素，得到一个(r/2)x(r/2)的G1色子图像块，标记为；取每个图像块的偶数行和奇数列的像素，得到一个(r/2)x(r/2)的G2色子图像块，标记为；即U个Bayer图像在对应的同一图像区域就分成了U×4个子图像块 、、、，其中，用、、、分别表示相应子图像块第i行j列处的像素值；

图像块清晰度衡量，先对每个子图像块的像元阵列的相邻列像素值对应求差值，取平方，再对每个子图像块的像元阵列的相邻行像素值对应求差值，取平方，再取所有平方值的和，然后将和除以(r/2)²再开平方，用开平方的值表示该子图像块的清晰度，分别得到R色子图像块、B色子图像块、G1色子图像块、G2色子图像块的清晰度量、、和；再将四个子图像块的清晰度求和得到图像块的清晰度，即，表示图像块的清晰度量，当，就分别得到同一时刻k时U个Bayer成像装置得到的所有Bayer图像的各图像块的清晰度量；

基于清晰度的图像合成：

选取最大清晰度的图像块：根据图像块清晰度衡量模块得到的同一时刻k时U个Bayer图像中同一区域q中各图像块的清晰度，求出最大清晰度的图像块号，表示，中最大值时相应的u值，得到最大清晰图像块记为，

 ，

构造Bayer合成图像并初始化：构造一个H行N列初始的Bayer合成图像，初始的Bayer合成图像的像素值全为零,即；

构造权阵W并初始化：构造H行N列各元素值均为零的权阵W，表示子权阵W的第i行第j列的元素值，即；

构造子权阵：构造一个r行r列的子权阵ω，用表示子权阵ω的第i行第j列的元素值，取， ；可以看出，当r一定时，ω就成了一个常量阵列（即每个位置的元素值是固定的）；

对初始的Bayer合成图像进行一次带权合成：将各最大清晰图像块的像素值带权累加至Bayer合成图像相应位置像素值，即将每一个最大清晰图像块以子权阵ω倍率进行像素值变换，也即将每一个最大清晰图像块的每一个像素值与子权阵ω中相对应的元素值相乘，得到各加权图像块，然后将各加权图像块的每个像素值累加入Bayer合成图像中对应的各个图像块的相应位置的各像素值中，得到一次带权的Bayer合成图像；

权阵W赋值：按照Q个最大清晰图像块的位置，将子权阵ω依次累加入权阵W相应的元素值中，得到最终的权阵W；

对一次带权的Bayer合成图像进行整体带权：将上述Bayer合成图像依权阵W倒数倍率变换，得到二次带权的Bayer合成图像，即得到最后的全图均清晰的Bayer合成图像；即再将累加后得到的Bayer合成图像的每一个像素值分别除以权阵W对应的元素值，即

得到全图均清晰的Bayer合成图像。