CN113727042B - 图像处理系统及方法 - Google Patents
图像处理系统及方法 Download PDFInfo
- Publication number
- CN113727042B CN113727042B CN202010457577.0A CN202010457577A CN113727042B CN 113727042 B CN113727042 B CN 113727042B CN 202010457577 A CN202010457577 A CN 202010457577A CN 113727042 B CN113727042 B CN 113727042B
- Authority
- CN
- China
- Prior art keywords
- image
- light intensity
- pixel position
- motion compensation
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000003384 imaging method Methods 0.000 claims abstract description 58
- 230000004927 fusion Effects 0.000 claims abstract description 51
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 27
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 27
- 230000009467 reduction Effects 0.000 claims abstract description 23
- 230000003287 optical effect Effects 0.000 claims description 40
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000012805 post-processing Methods 0.000 claims description 11
- 238000009825 accumulation Methods 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请提供一种图像处理系统及方法，该系统包括：成像单元，用于获取目标场景的多帧图像信号和事件信号；事件信号处理单元，用于对所述事件信号进行同步和降噪处理，以得到处理后的事件信号；多帧合成处理单元，用于基于处理后的事件信号，对所述多帧图像信号对应的光强图像进行运动补偿，得到运动补偿后的光强图像；对运动补偿后的光强图像进行图像融合。该系统可以优化多帧图像信号对应的光强图像融合的效果。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种图像处理系统及方法。
背景技术
摄像机在夜晚、或者光照不足的环境下，捕获的可见光图像噪声过大，监控画面效果不佳；此外，拍摄运动物体时还会存在图像模糊的问题。
对于低照度导致的噪声问题，传统降噪算法无法很好去除40dB以上的噪声，针对大噪声，业内常见方案包括白光爆闪提高场景亮度，多帧可见光图像融合，以及红外与可见光融合。然而白光爆闪光污染严重；多帧融合不适用于存在运动物体的场景；红外可见光融合则有较大色偏，且无法解决由短曝光引起的图像噪声。
对于运动模糊问题，一般都是通过估计运动轨迹再反卷积的方法，但这不光计算复杂度高，且对噪声非常敏感，运动估计误差较大。此外，对于局部运动模糊，需要估计每个点的模糊核，这无疑会导致问题更加困难。
发明内容
有鉴于此，本申请提供一种图像处理系统及方法。
具体地，本申请是通过如下技术方案实现的：
根据本申请实施例的第一方面，提供一种图像处理系统，包括：
成像单元，用于获取目标场景的多帧图像信号和事件信号；
事件信号处理单元，用于对所述事件信号进行同步和降噪处理，以得到处理后的事件信号；
多帧合成处理单元，用于基于处理后的事件信号，对所述多帧图像信号对应的光强图像进行运动补偿，得到运动补偿后的光强图像；对运动补偿后的光强图像进行图像融合。
根据本申请实施例的第二方面，提供一种图像处理方法，包括：
获取目标场景的多帧图像信号和事件信号；
对所述事件信号进行同步和降噪处理，以得到处理后的事件信号；
基于处理后的事件信号，对所述多帧图像信号对应的光强图像进行运动补偿，得到运动补偿后的光强图像；
对运动补偿后的光强图像进行图像融合。
本申请实施例的图像处理系统，通过成像单元获取目标场景的多帧图像信号和事件信号，并通过事件信号处理单元对事件信号进行同步和降噪处理，以得到处理后的事件信号，进而，通过多帧合成处理单元基于处理后的事件信号，对多帧图像信号对应的光强图像进行运动补偿，得到运动补偿后的光强图像，并对运动补偿后的光强图像进行图像融合，优化了多帧图像信号对应的光强图像融合的效果。
附图说明
图1是本申请一示例性实施例示出的一种图像处理系统的结构示意图；
图2A是本申请又一示例性实施例示出的另一种图像处理系统的结构示意图；
图2B是本申请又一示例性实施例示出的另一种图像处理系统的结构示意图；
图3是本申请又一示例性实施例示出的另一种图像处理系统的结构示意图；
图4A是本申请又一示例性实施例示出的另一种图像处理系统的结构示意图；
图4B是本申请又一示例性实施例示出的另一种图像处理系统的结构示意图；
图4C是本申请又一示例性实施例示出的另一种图像处理系统的结构示意图；
图5A是本申请一示例性实施例示出的一种图像处理系统的结构示意图；
图5B是本申请又一示例性实施例示出的另一种图像处理系统的结构示意图；
图5C是本申请一示例性实施例示出的一种事件信号处理单元的示意图；
图5D是本申请一示例性实施例示出的一种多帧合成处理单元的示意图；
图5E是本申请又一示例性实施例示出的另一种多帧合成处理单元的示意图；
图5F是本申请又一示例性实施例示出的另一种多帧合成处理单元的示意图；
图5G是本申请一示例性实施例示出的一种图像合成模块的示意图；
图5H是本申请又一示例性实施例示出的另一种图像合成模块的示意图；
图6是本申请一示例性实施例示出的一种图像处理方法的流程示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。
请参见图1，为本申请实施例提供的一种图像处理系统的结构示意图，如图1所示，该图像处理系统可以包括：
成像单元110，用于获取目标场景的多帧图像信号和事件信号；
事件信号处理单元120，用于对所述事件信号进行同步和降噪处理，以得到处理后的事件信号；
多帧合成处理单元130，用于基于处理后的事件信号，对所述多帧图像信号对应的光强图像进行运动补偿，得到运动补偿后的光强图像；对运动补偿后的光强图像进行图像融合。
本申请实施例中，为了提高图像质量，可以通过成像单元110获取同一场景的事件信号和图像信号，并由多帧合成处理单元130基于事件信号对多帧图像信号对应的光强图像(一帧图像信号对应一帧光强图像)进行运动补偿，消除各帧光强图像之间的运动差异，进而，基于运动补偿后的光强图像进行图像融合。
示例性的，图像信号对应的光强图像可以包括但不限于可见光图像或其他波段的图像，如近红外图像。
本申请实施例中，目标场景并不特指某一固定的场景，而是可以指代任一采用本申请实施例提供的技术方案进行图像处理的监控前端的监控场景，本申请实施例后续不再复述。
本申请实施例中，为了降低图像信号与事件信号之间的拍摄时间差，并降低事件信号噪声，当成像单元110获取到目标场景的多帧图像信号和事件信号时，事件信号处理单元120可以分别对获取到的事件信号进行同步和降噪处理，以得到处理后的事件信号，多帧合成处理单元130可以基于处理后的事件信号，对成像单元110获取的多帧图像信号对应的光强图像进行运动补偿，以得到运动补偿后的光强图像。
在一个示例中，如图2A所示，成像单元110可以包括混合成像模块111，用于分别获取目标场景的图像信号和事件信号。
示例性的，可以通过混合成像模块111获取目标场景的图像信号和事件信号，混合成像模块111可以输出针对目标场景的每一个像素的光强信号(对应图像信号)和事件信号。
在另一示例中，如图2B所示，成像单元110包括常规成像模块112和动态视觉模块113；
常规成像模块112，用于获取目标场景的图像信号；
动态视觉模块113，用于获取目标场景的事件信号
示例性的，可以分别通过常规成像模块112和动态视觉模块113获取目标场景的图像信号和事件信号，常规成像模块112获取包含场景亮度色彩信息的图像信号；动态视觉模块113获取同一场景中运动区域的事件信号。
在一个示例中，如图3所示，图像处理系统还可以包括：图像配准单元140。
图像配准单元140，用于对处理后的事件信号和多帧图像信号进行图像配准，以消除所述处理后的事件信号和所述多帧图像信号在成像内容空间上的错位；
多帧合成处理单元130，具体用于基于图像配准后的事件信号，对图像配准后的多帧图像信号对应的光强图像进行运动补偿，得到运动补偿后的光强图像，并对运动补偿后的光强图像进行图像融合。
示例性的，为了消除图像信号和事件信号在成像内容空间上的错位，使图像信号和事件信号在每个像素位置上尽量能够内容对应，可以通过图像配准单元140对成像单元110获取的目标场景的图像信号和事件信号进行图像配准。
例如，可以通过图像配准单元140对常规成像模块112获取的图像信号和动态视觉模块113获取的事件信号进行图像配准，以消除常规成像模块112和动态视觉模块113在成像内容空间上的错位，使常规成像模块112和动态视觉模块113在每个像素位置上尽量能够内容对应。
作为一种可能的实施例，如图4A所示，多帧合成处理单元130可以包括：运动补偿模块131和图像合成模块132。
运动补偿模块131，用于基于处理后的事件信号，对多帧图像信号对应的光强图像进行运动补偿，得到运动补偿后的光强图像；
图像合成模块132，用于对运动补偿后的光强图像进行图像融合。
在一个示例中，运动补偿模块131，具体用于当事件信号包括发生事件的像素位置的像素值时，对于任一发生事件的像素位置，使用该像素位置的处理后的事件信号中的像素值，替换多帧图像信号对应的光强图像中该像素位置的像素值。
示例性的，当事件信号包括发生事件的像素位置的像素值时，即对于(x，y，a，t，p)型事件信号，可以基于处理后的事件信号中的像素值(即a)对光强图像进行运动补偿。
示例性的，(x，y)为事件的像素位置的物理坐标，t为事件的时间戳，p为事件极性，p∈{-1，0，1}，-1表示强度变化为增加，+1表示强度变化为减小，0表示强度无变化，a表示事件的像素位置的像素值(发生事件后的像素值)。
示例性的，为便于描述和理解，在本申请实施例中，可以令p＝0表示无事件发生，即p∈{-1，1}。
在另一个示例中，运动补偿模块131，具体用于对于目标光强图像中任一发生事件的像素位置，使用该像素位置的目标事件信号中的像素值，替换目标光强图像中该像素位置的像素值。
示例性的，目标事件信号为第一时间与第二时间之间的该像素位置的最新事件信号，目标光强图像为多帧图像信号对应的光强图像中的待补偿图像，第一时间为目标光强图像的该像素位置的曝光结束时间，第二时间为多帧图像信号对应的光强图像中的参考图像的该像素位置的曝光开始时间。
举例来说，以三帧光强图像为例，假设以第二帧光强图像为参考图像，分别对第一帧光强图像和第三帧光强图像进行运动补偿，则对第一帧光强图像进行运动补偿时，目标光强图像为第一帧光强图像；对第三帧光强图像进行运动补偿时，目标光强图像为第三帧光强图像。
举例来说，仍以三帧光强图像为例，假设以第三帧光强图像为参考图像，分别对第一帧光强图像和第二帧光强图像进行运动补偿，则对第一帧光强图像进行运动补偿时，目标光强图像为第一帧光强图像；对第二帧光强图像进行运动补偿时，目标光强图像为第二帧光强图像。
示例性的，对于目标光强图像中任一发生事件的像素位置，可以基于该像素位置的最新事件信号(即目标事件信号)中的像素值对目标光强图像的该像素值位置进行运动补偿，如使用目标事件信号中的像素值替换目标光强图像的该像素位置的像素值。
举例来说，以两帧光强图像为例，即N＝2。对于任一发生事件的像素位置(x，y)，假设前一帧光强图像该像素位置的曝光结束时间为T1，后一帧光强图像该像素位置的曝光开始时间为T2。对于该像素位置在时间段[T1,T2]内的全部事件信号(x,y,a1,t1,p1)，…，(x,y,ak,tk,pk)，T1＜t1＜...＜tk≤T2，选取最接近T2的事件信号中的ak替换原像素值
需要说明的是，对于某一像素位置，若该像素位置不存在事件，则该像素位置的像素值不变。
在另一个示例中，运动补偿模块131，具体用于基于处理后的事件信号中的事件极性信息，对所述多帧图像信号对应的光强图像进行运动补偿。
示例性的，可以基于处理后的事件信号中的事件极性信息对图像信号对应的光强进行运动补偿。
示例性的，运动补偿模块131，具体用于对于目标光强图像中任一发生事件的像素位置，对第一时间与第二时间之间的该像素位置的事件信号的事件极性信息进行累加，并基于累加结果对所述目标光强图像的该像素位置进行补偿。
示例性的，对于目标光强图像中任一发生事件像素位置，可以通过对第一时间与第二时间之间的像素位置的事件信号的事件极性信息进行累加，确定累积结果(可以称为累积事件)，并通过对目标光强图像与累积事件进行融合的方式，实现运动补偿。
在另一个示例中，运动补偿模块131，具体用于基于处理后的事件信号确定发生事件的像素位置的光流信息，并基于光流信息对所述多帧图像信号对应的光强图像进行运动补偿，所述发生事件的像素位置的光流信息包括该像素位置在所述多帧图像信号对应的光强图像之间的运动方向和运动距离。
示例性的，可以基于处理后的事件信号确定发生事件的像素位置(即像素值发生变化的像素位置，可以称为变化像素)的光流信息，并基于光流信息对多帧图像信号对应的光强图像进行运动补偿
例如，运动补偿模块131，具体用于对于多帧图像信号对应的光强图像中任一发生事件的像素位置，基于第一时间与第二时间之间的该发生事件的像素位置的事件信号确定该像素位置的帧间光流，并基于该像素位置的帧间光流对所述目标光强图像的该像素位置进行补偿；
示例性的，对于多帧图像信号对应的光强图像中任一发生事件的像素位置，可以基于第一时间与第二时间之间的该发生事件的像素位置的事件信号确定该像素位置的帧间光流。
示例性的，以像素位置存在事件表征像素位置的像素值发生变化为例进行说明。
可以基于该像素位置的帧间光流对目标光强图像的该像素位置进行补偿。
在一个示例中，上述多帧图像信号对应的光强图像包括短曝光图像和长曝光图像；所述短曝光图像中任一像素位置的曝光结束时间早于所述长曝光图像中该像素位置的曝光开始时间；
图像合成模块132，具体用于对运动补偿后的短曝光图像和长曝光图像进行宽动态融合。
示例性的，以上述多帧图像信号对应的光强图像包括短曝光图像和长曝光图像为例，按照上述方式完成运动补偿之后，可以对运动补偿后的短曝光图像和长曝光图像进行宽动态融合，其具体实现可以在下文中结合具体实例进行说明，本申请实施例在此不做赘述。
在另一个示例中，上述多帧图像信号对应的光强图像包括可见光图像和红外光图像；
图像合成模块132，具体用于对运动补偿后的可见光图像和红外光图像进行双光融合。
示例性的，以上述多帧图像信号对应的光强图像包括可见光图像和红外光图像为例，按照上述方式完成运动补偿之后，可以对运动补偿后的可见光图像和红外光图像进行双光融合，其具体实现可以在下文中结合具体实例进行说明，本申请实施例在此不做赘述。
在一个示例中，如图4B所示，多帧合成处理单元130还包括：图像预处理模块133；
图像预处理模块133，用于对多帧图像信号对应的光强图像进行图像处理，以得到多帧处理后的光强图像；
运动补偿模块131，具体用于基于处理后的事件信号，对多帧处理后的光强图像进行运动补偿。
在另一个示例中，如图4C所示，多帧合成处理单元130还包括：图像后处理模块134；
图像后处理模块134，用于对融合后的图像进行图像处理。
示例性的，该图像处理包括以下之一或多个：
降噪、白平衡以及去马赛克。
示例性的，为了提高图像质量，在对图像信号对应的光强图像进行运动补偿之前，可以先对多帧图像信号对应的光强图像进行图像处理(该实施例中可以称为图像预处理)，以得到多帧处理后的光强图像，并基于上述处理后的事件信号，对多帧处理后的光强图像进行运动补偿。
示例性的，该图像预处理可以包括但不限于降噪、白平衡以及去马赛克等处理中的一个或多个。
或者，
还可以通过对融合后的图像进行图像处理(可以称为图像后处理)的方式提高图像质量。
示例性的，该图像后处理可以包括但不限于降噪、白平衡以及去马赛克等处理中的一个或多个。
本申请实施例中，通过成像单元获取目标场景的多帧图像信号和事件信号，并通过事件信号处理单元对事件信号进行同步和降噪处理，以得到处理后的事件信号，进而，通过多帧合成处理单元基于处理后的事件信号，对多帧图像信号对应的光强图像进行运动补偿，得到运动补偿后的光强图像，并对运动补偿后的光强图像进行图像融合，优化了多帧图像信号对应的光强图像融合的效果。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体应用场景对本申请实施例提供的技术方案进行说明。
实施例一
如图5A所示，以成像单元为混合成像单元模块为例，通过混合成像模块，获取同一场景图像信号与运动区域的事件信号，混合成像模块的每个像素包含常规图像像素以及动态视觉像素，当像素亮度变化超出动态视觉像素阈值时，输出事件信号，否则仅由常规图像像素输出图像信号。
示例性的，混合成像模块可以为DAVIS传感器或光流传感器等。
实施例二
如图5B所示，以成像单元可以包括常规成像模块和动态视觉模块为例，常规成像模块获取包含场景亮度色彩信息的图像信号；动态视觉模块获取同一场景中运动区域的事件信号。
示例性的，常规成像模块和动态视觉模块获取的信号还可以经图像配准单元进行配准，得到空间配准的图像。
示例性的，常规图像模块为常规图像传感器，指的是能够提供光强信息的积分型传感器，如CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)。
动态视觉模块为动态视觉传感器，动态视觉传感器为差分型传感器，仅对光强变化响应，当光强变化超过阈值时输出脉冲信号，该脉冲信号称之为事件信号。
示例性的，动态视觉传感器与常规图像传感器可以采用双目视觉方式并排排列。常规图像传感器获取图像信号，动态视觉传感器获取同一场景的事件信号。
或者，采用分光的方式将场景光线分为两路，分别由常规图像传感器和动态视觉传感器接收，常规图像传感器获取图像信号，动态视觉传感器获取同一场景中的事件信号。
示例性的，上述同一场景中的事件信号可以包括运动区域的事件信号，或通过传感器在像面上平移旋转获取的全局事件信号。
上述平移旋转指的是动态视觉传感器平移或旋转，平移和旋转都是在像面的平面上进行。平移可以包括二维平移，即依次向水平和垂直方向平移一个像素距离，动态视觉传感器输出像素平移后的事件响应。旋转为传感器旋转一个预设角度，输出旋转后的事件响应。
实施例三
如图5C所示，事件信号处理单元包括信号同步模块和事件降噪模块。
示例性的，动态视觉相机获取的事件信号的数据输出格式为以地址事件表示(Address-Event Representation，简称AER)的事件流。
在AER格式中事件e表示成一个四元组(x，y，t，p)。
此外，部分事件相机的事件信号为(x,y,a,t,p)。
信号同步的目的是为了保证不同成像单元获取的信号间无拍摄时差。
示例性的，对于任一像素位置，假设前一帧光强图像该像素位置的曝光结束时间为Ti，后一帧光强图像该像素位置的曝光开始时间为Ti+1，则可以选取t∈[Ti,Ti+1]内的事件信号用于对该两帧光强图像的该像素位置进行运动补偿，i∈[1,N-1]。
事件降噪的目的是为了降低事件信号噪声。以采样三维阈值滤波实现事件降噪为例，可以通过以下公式实现：
其中，M为空域滤波窗口半径，T为时域滤波窗口半径(均为经验值，如可以分别设置为2和(Ti+1-Ti)/4)。e(i,j,k)表示空间位置(i,j)，时间k的事件极性。Thre为滤波阈值(经验值，如3)。
实施例四
当通过常规成像模块+动态视觉模块获取图像信号和事件信号时，处理后的事件信号与图像信号输入图像配准单元，图像配准主要是为了消除两个成像单元在成像内容空间上的错位，使成像单元在每个像素位置上尽量能够内容对应。
示例性的，空域配准采用仿射变换的方法对感光图像进行处理，其中变换矩阵事先通过标定获得，实际处理时保持不变。
实施例五
如图5D所示，多帧合成处理单元可以包括运动补偿模块和图像合成模块。其中，运动补偿单元目的是利用事件信号消除各帧光强图像间的运动差异，从而提升合成图像质量。
实施例六
如图5E所示，多帧合成处理单元的多帧输入光强图像可以先进行图像预处理。图像预处理包括但不限于降噪处理，降噪的目的是降低图像噪声。图像降噪可以使用任意降噪算法，如非局部均值降噪(Non-local Means)、双边滤波或小波降噪等。
示例性的，若图像信号对应的光强图像为彩色图像，则图像处理还可以是白平衡。白平衡的目的是校正不同色彩通道的光强差异。
在一个示例中，以常见的Bayer阵列为例，白平衡的一种实施例为：
OutR＝InR×gainR
OutB＝InB×gainB
其中，InR、
InB分别对应不同色彩通道输入像素值。gainR、
gainB为不同通道的白平衡增益，可以通过手动配置，也可以由外部模块估计得到。OutR、
OutB为不同色彩通道白平衡后的像素值。
示例性的，图像预处理还可以包括去马赛克等，其具体实现在此不做赘述。
实施例七
如图5F所示，还可以在图像合成模块之后，对合成图像进行后处理(即图像后处理)。
示例性的，图像后处理的实现可以参见图像预处理的相关描述，本申请实施例在此不做赘述。
实施例八
运动补偿的一种实施例中，对于(x,y,a,t,p)型事件信号，即事件信号包括发生事件的像素位置的像素值，可以用最新事件的像素值替换短曝光图像中对应像素值(以上述多帧图像信号对应的光强图像包括一帧短曝光图像和一帧长曝光图像，且同一像素位置，短曝光图像完成曝光后，长曝光图像开始曝光为例)。
示例性的，假设对于某发生事件的像素位置，前一帧光强图像该像素位置曝光结束时间为T1，后一帧光强图像该像素位置曝光开始时间为T2。对于空间位置(x,y)在时间段[T1,T2]内的全部事件信号(x,y,a1,t1,p1)，…，(x,y,ak,tk,pk)，T1＜t1＜...＜tk≤T2，选取最接近T2的事件信号中的ak替换原像素值，即：
其中，px,y表示空间位置(x，y)的事件极性，Imc表示运动补偿图像。
实施例九
运动补偿的另一种实施例中，可以根据事件极性信息进行运动补偿。
示例性的，对T1～T2之间的事件信号的极性信息进行累积，得到累积事件：esum(x，y)：
然后短曝光图像Ishort与累积事件进行融合，生成方式如下式所示：
Imc(x,y)＝Ishort(x,y)+λ·esum(x,y)·f(C)
其中，C为动态视觉传感器的事件触发阈值，当光强对数变化超过C时产生脉冲。函数f()为转换函数，用于将阈值C所在的非线性光强坐标转换为线性光强坐标，例如，f()可以为反对数函数。λ为调节系数，用于使转换后的阈值与常规传感器的光强变化匹配，调节系数事先通过标定获得，也可以根据场景亮度计算得到。
实施例十
运动补偿的另一种实施例中，可以先由事件信号计算得到变化像素的光流信息(θ,l)，然后根据光流信息进行运动补偿。其中θ表示运动方向，l表示运动距离。
示例性的，对于任一变化像素，将两帧间该像素位置的曝光时间[T1，T2]等分为N段：
分别对每个时间段内的事件极性绝对值进行累积，得到累积图像
以0为阈值，对累积图像进行二值化处理，利用常规光流算法分别计算相邻二值事件图间的光流图(θk,lk),k＝1,...,N-1，由于事件信号时间分辨率非常高，因此基于事件信号计算光流信息更加准确。最后根据各光流图得到长短帧图像间的帧间光流：
运动补偿图像可由下式表示，若(x-lcosθ,y-lsinθ)不为整数，则根据周围邻近像素插值得到对应像素。例如，采用双线性插值。
Imc(x,y)＝Ishort(x-lcosθ,y-lsinθ)
实施例十一
如图5G所示，图像合成模块的一种实施例中，可用于宽动态合成(WDR)，即成像单元可以获取短曝光图像Ishort和长曝光图像Ilong，以及T1～T2的事件信号。Ishort任一像素位置的曝光结束时间点为T1，长帧图像Ilong该像素位置开始曝光时间点为T2，T1＜T2。
运动补偿后的短曝光图像Imc，与长曝光图像Ilong进行宽动态融合。宽动态融合的目的是提升图像信息以及人眼感受，使得同一张图像中包含长短帧图像所有清晰、亮度合适的信息。
以基于局部亮度进行融合为例，生成方式可以如下式：
其中，K为图像实际位宽，与成像单元使用的传感器相关。
实施例十二
如图5H所示，图像合成模块的另一个实施例中，可用于可见光和红外光图像双光融合，即成像单元可以依次获取可见光图像IRGB和红外光图像IIR，以及T1～T2的事件信号。IRGB任一像素位置的曝光结束时间点为T1，IIR该像素位置的开始曝光时间点为T2，T1＜T2。
运动补偿后的可见光图像IRGB，与红外光图像IIR进行双光融合。双光融合的目的是提升图像信噪比，在低照度场景中获得亮度合适的彩色图像。
在一个示例中，可以先将可见光图像转换到亮度色彩空间，例如Lab色彩空间(颜色-对立空间)或YUV(一种颜色编码方法)色彩空间等；然后将转换后的亮度图像与红外光图像IIR进行融合，融合方法可以是局部对比度保持融合算法；最后将融合后的亮度图像替代原亮度图像，转回RGB(一种颜色标准)色彩空间，得到融合后的图像。
以上对本申请提供的系统进行了描述。下面对本申请提供的方法进行描述：
请参见图6，为本申请实施例提供的一种图像处理方法的流程示意图，如图6所示，该图像处理方法可以包括：
步骤S600、获取目标场景的多帧图像信号和事件信号。
本申请实施例中，为了提高图像质量，可以通过成像单元获取同一场景的事件信号和图像信号，并基于事件信号对多帧图像信号对应的光强图像进行运动补偿，消除各帧光强图像之间的运动差异，进而，基于运动补偿后的光强图像进行图像融合。
本申请实施例中，目标场景并不特指某一固定的场景，而是可以指代任一采用本申请实施例提供的技术方案进行图像处理的监控前端的监控场景，本申请实施例后续不再复述。
在一个示例中，可以通过混合成像模块获取目标场景的图像信号和事件信号，混合成像模块可以输出针对目标场景的每一个像素的光强信号(对应图像信号)和事件信号。
在另一示例中，可以分别通过常规成像模块和动态视觉模块获取目标场景的图像信号和事件信号，常规成像模块获取包含场景亮度色彩信息的图像信号；动态视觉模块获取同一场景中运动区域的事件信号。
示例性的，常规成像模块和动态视觉模块获取的信号需经图像配准单元进行图像配准，图像配准主要是为了消除常规成像模块和动态视觉模块在成像内容空间上的错位，使常规成像模块和动态视觉模块在每个像素位置上尽量能够内容对应。
示例性的，图像信号对应的光强图像以包括但不限于可见光图像或其他波段的图像，如近红外图像。
步骤S610、对事件信号进行同步和降噪处理，以得到处理后的事件信号。
本申请实施例中，获取到目标场景的多帧图像信号和事件信号时，可以分别对获取到的事件信号进行同步和降噪处理，以得到处理后的事件信号。
示例性的，信号同步的目的是为了降低图像信号与事件信号之间的拍摄时间差；降噪的目的是为了降低事件信号噪声。
在一个示例中，对于任一像素位置，假设前一帧光强图像该像素位置的曝光结束时间为Ti，后一帧光强图像该像素位置的曝光开始时间为Ti+1，则可以选取t∈[Ti,Ti+1]内的事件信号用于对该两帧光强图像的该像素位置进行运动补偿，i∈[1,N-1]。
步骤S620、基于处理后的事件信号，对多帧图像信号对应的光强图像进行运动补偿，得到运动补偿后的光强图像。
本申请实施例中，可以基于步骤S610中处理得到的处理后的事件信号，对步骤S600中获取的多帧图像信号对应的光强图像进行运动补偿，以得到运动补偿后的光强图像。
步骤S630、对运动补偿后的光强图像进行图像融合。
在一个实施例中，步骤S620中，基于处理后的事件信号，对多帧图像信号对应的光强图像进行运动补偿，可以包括：
当事件信号包括发生事件的像素位置的像素值时，对于任一发生事件的像素位置，使用该像素位置的处理后的事件信号中的像素值，替换多帧图像信号对应的光强图像中该像素位置的像素值。
示例性的，当事件信号包括发生事件的像素位置的像素值时，即对于(x，y，a，t，p)型事件信号，可以基于处理后的事件信号中的像素值(即a)对光强图像进行运动补偿。
示例性的，(x，y)为事件的像素位置的物理坐标，t为事件的时间戳，p为事件极性，p∈{-1，0，1}，-1表示强度变化为增加，+1表示强度变化为减小，0表示强度无变化，a表示事件的像素位置的像素值(发生事件后的像素值)。
示例性的，为便于描述和理解，在本申请实施例中，可以令p＝0表示无事件发生，即p∈{-1，1}。
在一个示例中，上述基于处理后的事件信号中的像素值，对多帧图像信号对应的光强图像进行运动补偿，可以包括：
对于目标光强图像中任一发生事件的像素位置，使用该像素位置的目标事件信号中的像素值，替换目标光强图像中该像素位置的像素值。
示例性的，目标事件信号为第一时间与第二时间之间的该像素位置的最新事件信号，目标光强图像为多帧图像信号对应的光强图像中的待补偿图像，第一时间为目标光强图像的该像素位置的曝光结束时间，第二时间为该多帧图像信号对应的光强图像中的参考图像的该像素位置的曝光开始时间。
举例来说，以三帧光强图像为例，假设以第二帧光强图像为参考图像，分别对第一帧光强图像和第三帧光强图像进行运动补偿，则对第一帧光强图像进行运动补偿时，目标光强图像为第一帧光强图像；对第三帧光强图像进行运动补偿时，目标光强图像为第三帧光强图像。
举例来说，仍以三帧光强图像为例，假设以第三帧光强图像为参考图像，分别对第一帧光强图像和第二帧光强图像进行运动补偿，则对第一帧光强图像进行运动补偿时，目标光强图像为第一帧光强图像；对第二帧光强图像进行运动补偿时，目标光强图像为第二帧光强图像。
示例性的，对于目标光强图像中任一发生事件的像素位置，可以基于该像素位置的最新事件信号(即目标事件信号)中的像素值对目标光强图像的该像素值位置进行运动补偿，如使用目标事件信号中的像素值替换目标光强图像的该像素位置的像素值。
举例来说，以两帧光强图像为例，即N＝2。对于任一发生事件的像素位置(x，y)，假设前一帧光强图像该像素位置的曝光结束时间为T1，后一帧光强图像该像素位置的曝光开始时间为T2。对于该像素位置在时间段[T1,T2]内的全部事件信号(x,y,a1,t1,p1)，…，(x,y,ak,tk,pk)，T1＜t1＜...＜tk≤T2，选取最接近T2的事件信号中的ak替换原像素值。
需要说明的是，对于某一像素位置，若该像素位置不存在事件，则该像素位置的像素值不变。
在另一个实施例中，步骤S620中，基于处理后的事件信号，对多帧图像信号对应的光强图像进行运动补偿，可以包括：
基于处理后的事件信号中的事件极性信息，对多帧图像信号对应的光强图像进行运动补偿。
示例性的，可以基于处理后的事件信号中的事件极性信息对图像信号对应的光强图像进行运动补偿。
在一个示例中，上述基于处理后的事件信号中的事件极性信息，对多帧图像信号对应的光强图像进行运动补偿，可以包括：
对于目标光强图像中任一发生事件的像素位置，对第一时间与第二时间之间的该像素位置的事件信号的事件极性信息进行累加，并基于累加结果对所述目标光强图像的该像素位置进行补偿。
示例性的，对于目标光强图像中任一发生事件的像素位置，可以通过对第一时间与第二时间之间的像素位置的事件信号的事件极性信息进行累加，确定累积结果(可以称为累积事件)，并通过对目标光强图像与累积事件进行融合的方式，实现运动补偿。
在另一个实施例中，步骤S620中，基于处理后的事件信号，对多帧图像信号对应的光强图像进行运动补偿，可以包括：
基于处理后的事件信号确定发生事件的像素位置的光流信息，并基于光流信息对多帧图像信号对应的光强图像进行运动补偿，该发生事件的像素位置的光流信息包括该像素位置在多帧图像信号对应的光强图像之间的运动方向和运动距离。
示例性的，可以基于处理后的事件信号确定发生事件的像素位置(即像素值发生变化的像素位置)的光流信息，并基于光流信息对多帧图像信号对应的光强图像进行运动补偿。
在一个示例中，上述基于处理后的事件信号确定发生事件的像素位置的光流信息，可以包括：
对于多帧图像信号对应的光强图像中任一发生事件的像素位置，基于第一时间与第二时间之间的该像素位置的事件信号确定该像素位置的帧间光流，并基于该像素位置的帧间光流对目标光强图像的该像素位置进行补偿。
示例性的，对于多帧图像信号对应的光强图像中任一发生事件的像素位置，可以基于第一时间与第二时间之间的该发生事件的像素位置的事件信号确定该像素位置的帧间光流。
示例性的，以像素位置存在事件表征像素位置的像素值发生变化为例进行说明。
可以基于该像素位置的帧间光流对目标光强图像的该像素位置进行补偿。
在一个实施例中，上述多帧图像信号对应的光强图像包括短曝光图像和长曝光图像，该短曝光图像中任一像素位置的曝光结束时间早于该长曝光图像中该像素位置的曝光开始时间；
步骤S630中，对运动补偿后的光强图像进行图像融合，可以包括：
对运动补偿后的短曝光图像和长曝光图像进行宽动态融合。
示例性的，以上述多帧图像信号对应的光强图像包括短曝光图像和长曝光图像为例，按照上述方式完成运动补偿之后，可以对运动补偿后的短曝光图像和长曝光图像进行宽动态融合，其具体实现可以参见上述实施例中的相关描述，本申请实施例在此不再赘述。
在另一个实施例中，上述多帧图像信号对应的光强图像包括可见光图像和红外光图像；
步骤S630中，对运动补偿后的光强图像进行图像融合，可以包括
对运动补偿后的可见光图像和红外光图像进行双光融合。
示例性的，以上述多帧图像信号对应的光强图像包括可见光图像和红外光图像为例，按照上述方式完成运动补偿之后，可以对运动补偿后的可见光图像和红外光图像进行双光融合，其具体实现可以参见上述实施例中的相关描述，本申请实施例在此不再赘述。
在一个实施例中，步骤S620中，基于处理后的事件信号，对多帧图像信号对应的光强图像进行运动补偿之前，还可以包括：
对多帧图像信号对应的光强图像进行图像处理，以得到多帧处理后的光强图像。
步骤S620中，基于处理后的事件信号，对多帧图像信号对应的光强图像进行运动补偿，可以包括：
基于处理后的事件信号，对多帧处理后的光强图像进行运动补偿。
示例性的，为了提高图像质量，在对图像信号对应的光强图像进行运动补偿之前，可以先对多帧图像信号对应的光强图像进行图像处理(该实施例中可以称为图像预处理)，以得到多帧处理后的光强图像，并基于上述处理后的事件信号，对多帧处理后的光强图像进行运动补偿。
示例性的，该图像预处理可以包括但不限于降噪、白平衡以及去马赛克等处理中的一个或多个。
在另一个实施例中，步骤S630中，对运动补偿后的光强图像进行图像融合之后，还可以包括：
对融合后的图像进行图像处理。
示例性的，还可以通过对融合后的图像进行图像处理(可以称为图像后处理)的方式提高图像质量。
示例性的，该图像后处理可以包括但不限于降噪、白平衡以及去马赛克等处理中的一个或多个。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (24)
1.一种图像处理系统，其特征在于，包括：
成像单元，用于获取目标场景的多帧图像信号和事件信号；
事件信号处理单元，用于对所述事件信号进行同步和降噪处理，以得到处理后的事件信号；
多帧合成处理单元，用于基于处理后的事件信号，对所述多帧图像信号对应的光强图像进行运动补偿，得到运动补偿后的光强图像；对运动补偿后的光强图像进行图像融合。
2.根据权利要求1所述的图像处理系统，其特征在于，所述成像单元包括混合成像模块；其中，
所述混合成像模块，用于分别获取目标场景的图像信号和事件信号；
或，
所述成像单元包括常规成像模块和动态视觉模块；其中：
所述常规成像模块，用于获取目标场景的图像信号；
所述动态视觉模块，用于获取目标场景的事件信号。
3.根据权利要求1所述的图像处理系统，其特征在于，还包括：图像配准单元；其中：
所述图像配准单元，用于对所述处理后的事件信号和所述多帧图像信号进行图像配准，以消除所述处理后的事件信号和所述多帧图像信号在成像内容空间上的错位；
所述多帧合成处理单元，具体用于基于图像配准后的事件信号，对图像配准后的多帧图像信号对应的光强图像进行运动补偿，得到运动补偿后的光强图像，并对运动补偿后的光强图像进行图像融合。
4.根据权利要求1所述的图像处理系统，其特征在于，所述多帧合成处理单元包括：运动补偿模块和图像合成模块；其中：
所述运动补偿模块，用于基于处理后的事件信号，对所述多帧图像信号对应的光强图像进行运动补偿，得到运动补偿后的光强图像；
所述图像合成模块，用于对运动补偿后的光强图像进行图像融合。
5.根据权利要求4所述的图像处理系统，其特征在于，
所述运动补偿模块，具体用于当所述事件信号包括发生事件的像素位置的像素值时，对于任一发生事件的像素位置，使用该像素位置的处理后的事件信号中的像素值，替换所述多帧图像信号对应的光强图像中该像素位置的像素值。
6.根据权利要求5所述的图像处理系统，其特征在于，
所述运动补偿模块，具体用于对于目标光强图像中任一发生事件的像素位置，使用该像素位置的目标事件信号中的像素值，替换所述目标光强图像中该像素位置的像素值；
其中，所述目标事件信号为第一时间与第二时间之间的该像素位置的最新事件信号，所述目标光强图像为所述多帧图像信号对应的光强图像中的待补偿图像，所述第一时间为所述目标光强图像的该像素位置的曝光结束时间，所述第二时间为所述多帧图像信号对应的光强图像中的参考图像的该像素位置曝光开始时间。
7.根据权利要求4所述的图像处理系统，其特征在于，
所述运动补偿模块，具体用于基于处理后的事件信号中的事件极性信息，对所述多帧图像信号对应的光强图像进行运动补偿。
8.根据权利要求7所述的图像处理系统，其特征在于，
所述运动补偿模块，具体用于对于目标光强图像中任一发生事件的像素位置，对第一时间与第二时间之间的该像素位置的事件信号的事件极性信息进行累加，并基于累加结果对所述目标光强图像的该像素位置进行补偿；
其中，所述目标光强图像为所述多帧图像信号对应的光强图像中的待补偿图像，所述第一时间为所述目标光强图像的该像素位置的曝光结束时间，所述第二时间为所述多帧图像信号对应的光强图像中的参考图像的该像素位置曝光开始时间。
9.根据权利要求4所述的图像处理系统，其特征在于，
所述运动补偿模块，具体用于基于处理后的事件信号确定所述多帧图像信号对应的光强图像中发生事件的像素位置的光流信息，并基于所述光流信息对所述多帧图像信号对应的光强图像进行运动补偿，所述发生事件的像素位置的光流信息包括该像素位置在所述多帧图像信号对应的光强图像之间的运动方向和运动距离。
10.根据权利要求9所述的图像处理系统，其特征在于，
所述运动补偿模块，具体用于对于所述多帧图像信号对应的光强图像中任一发生事件的像素位置，基于第一时间与第二时间之间的该发生事件的像素位置的事件信号确定该像素位置的帧间光流，并基于该像素位置的帧间光流对目标光强图像的该像素位置进行补偿；
其中，所述目标光强图像为所述多帧图像信号对应的光强图像中的待补偿图像，所述第一时间为所述目标光强图像的该像素位置的曝光结束时间，所述第二时间为所述多帧图像信号对应的光强图像中的参考图像的该像素位置的曝光开始时间。
11.根据权利要求4-10任一项所述的图像处理系统，其特征在于，所述多帧图像信号对应的光强图像包括短曝光图像和长曝光图像；所述短曝光图像中任一像素位置的曝光结束时间早于所述长曝光图像中该像素位置的曝光开始时间；
所述图像合成模块，具体用于对运动补偿后的短曝光图像和长曝光图像进行宽动态融合。
12.根据权利要求4-10任一项所述的图像处理系统，其特征在于，所述多帧图像信号对应的光强图像包括可见光图像和红外光图像；
所述图像合成模块，具体用于对运动补偿后的可见光图像和红外光图像进行双光融合。
13.根据权利要求4-10任一项所述的图像处理系统，其特征在于，所述多帧合成处理单元包括还包括：图像预处理模块；其中：
所述图像预处理模块，用于对所述多帧图像信号对应的光强图像进行图像处理，以得到多帧处理后的光强图像；
所述运动补偿模块，具体用于基于处理后的事件信号，对所述多帧处理后的光强图像进行运动补偿；
或者，
所述多帧合成处理单元包括还包括：图像后处理模块；其中：
所述图像后处理模块，用于对融合后的图像进行图像处理；
其中，所述图像处理包括以下之一或多个：
降噪、白平衡以及去马赛克。
14.一种图像处理方法，其特征在于，包括：
获取目标场景的多帧图像信号和事件信号；
对所述事件信号进行同步和降噪处理，以得到处理后的事件信号；
基于处理后的事件信号，对所述多帧图像信号对应的光强图像进行运动补偿，得到运动补偿后的光强图像；
对运动补偿后的光强图像进行图像融合。
15.根据权利要求14所述的方法，其特征在于，所述基于处理后的事件信号，对所述多帧图像信号对应的光强图像进行运动补偿，得到运动补偿后的光强图像，包括：
对所述处理后的事件信号和所述多帧图像信号进行图像配准，以消除所述处理后的事件信号和所述多帧图像信号在成像内容空间上的错位；
基于图像配准后的事件信号，对图像配准后的多帧图像信号对应的光强图像进行运动补偿，得到运动补偿后的光强图像，并对运动补偿后的光强图像进行图像融合。
16.根据权利要求14所述的方法，其特征在于，所述基于处理后的事件信号，对所述多帧图像信号对应的光强图像进行运动补偿，包括：
当所述事件信号包括发生事件的像素位置的像素值时，对于任一发生事件的像素位置，使用该像素位置的处理后的事件信号中的像素值，替换所述多帧图像信号对应的光强图像中该像素位置的像素值。
17.根据权利要求16所述的方法，其特征在于，所述基于处理后的事件信号，对所述多帧图像信号对应的光强图像进行运动补偿，包括：
对于目标光强图像中任一发生事件的像素位置，使用该像素位置的目标事件信号中的像素值，替换所述目标光强图像中该像素位置的像素值；
其中，所述目标事件信号为第一时间与第二时间之间的该像素位置的最新事件信号，所述目标光强图像为所述多帧图像信号对应的光强图像中的待补偿图像，所述第一时间为所述目标光强图像的该像素位置的曝光结束时间，所述第二时间为所述多帧图像信号对应的光强图像中的参考图像的该像素位置曝光开始时间。
18.根据权利要求14所述的方法，其特征在于，所述基于处理后的事件信号，对所述多帧图像信号对应的光强图像进行运动补偿，包括：
基于处理后的事件信号中的事件极性信息，对所述多帧图像信号对应的光强图像进行运动补偿。
19.根据权利要求18所述的方法，其特征在于，所述基于处理后的事件信号中的事件极性信息，对所述多帧图像信号对应的光强图像进行运动补偿，包括：
对于目标光强图像中任一发生事件的像素位置，对第一时间与第二时间之间的该像素位置的事件信号的事件极性信息进行累加，并基于累加结果对所述目标光强图像的该像素位置进行补偿；
其中，所述目标光强图像为所述多帧图像信号对应的光强图像中的待补偿图像，所述第一时间为所述目标光强图像的该像素位置的曝光结束时间，所述第二时间为所述多帧图像信号对应的光强图像中的参考图像的该像素位置曝光开始时间。
20.根据权利要求14所述的方法，其特征在于，所述基于处理后的事件信号，对所述多帧图像信号对应的光强图像进行运动补偿，包括：
基于处理后的事件信号确定所述多帧图像信号对应的光强图像中发生事件的像素位置的光流信息，并基于所述光流信息对所述多帧图像信号对应的光强图像进行运动补偿，所述发生事件的像素位置的光流信息包括该像素位置在所述多帧图像信号对应的光强图像之间的运动方向和运动距离。
21.根据权利要求20所述的方法，其特征在于，所述基于所述光流信息对所述多帧图像信号对应的光强图像进行运动补偿，包括：
对于所述多帧图像信号对应的光强图像中任一发生事件的像素位置，基于第一时间与第二时间之间的该发生事件的像素位置的事件信号确定该像素位置的帧间光流，并基于该像素位置的帧间光流对目标光强图像的该像素位置进行补偿；
其中，所述目标光强图像为所述多帧图像信号对应的光强图像中的待补偿图像，所述第一时间为所述目标光强图像的该像素位置的曝光结束时间，所述第二时间为所述多帧图像信号对应的光强图像中的参考图像的该像素位置的曝光开始时间。
22.根据权利要求14-21任一项所述的方法，其特征在于，所述多帧图像信号对应的光强图像包括短曝光图像和长曝光图像；所述短曝光图像中任一像素位置的曝光结束时间早于所述长曝光图像中该像素位置的曝光开始时间；
所述对运动补偿后的光强图像进行图像融合，包括：
对运动补偿后的短曝光图像和长曝光图像进行宽动态融合。
23.根据权利要求14-21任一项所述的方法，其特征在于，所述多帧图像信号对应的光强图像包括可见光图像和红外光图像；
所述对运动补偿后的光强图像进行图像融合，包括：
对运动补偿后的可见光图像和红外光图像进行双光融合。
24.根据权利要求14-21任一项所述的方法，其特征在于，所述基于处理后的事件信号，对所述多帧图像信号对应的光强图像进行运动补偿，得到运动补偿后的光强图像，包括：
对所述多帧图像信号对应的光强图像进行图像处理，以得到多帧处理后的光强图像；
基于处理后的事件信号，对所述多帧处理后的光强图像进行运动补偿；
或者，
所述对运动补偿后的光强图像进行图像融合之后，还包括：
对融合后的图像进行图像处理；
其中，所述图像处理包括以下之一或多个：
降噪、白平衡以及去马赛克。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010457577.0A CN113727042B (zh) | 2020-05-26 | 2020-05-26 | 图像处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010457577.0A CN113727042B (zh) | 2020-05-26 | 2020-05-26 | 图像处理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113727042A CN113727042A (zh) | 2021-11-30 |
| CN113727042B true CN113727042B (zh) | 2023-04-07 |
Family
ID=78672141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010457577.0A Active CN113727042B (zh) | 2020-05-26 | 2020-05-26 | 图像处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113727042B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114845017A (zh) * | 2022-04-13 | 2022-08-02 | Oppo广东移动通信有限公司 | 成像模组、电子设备、成像方法和存储介质 |
| CN116189065B (zh) * | 2023-04-27 | 2023-07-14 | 苏州浪潮智能科技有限公司 | 面向davis的数据标定方法、装置、电子设备及介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8913153B2 (en) * | 2011-10-06 | 2014-12-16 | Aptina Imaging Corporation | Imaging systems and methods for generating motion-compensated high-dynamic-range images |
| CN105635635A (zh) * | 2014-11-19 | 2016-06-01 | 杜比实验室特许公司 | 调节视频会议系统中的空间一致性 |
| CN110418065B (zh) * | 2018-04-27 | 2021-03-19 | 北京紫光展锐通信技术有限公司 | 高动态范围图像运动补偿方法、装置及电子设备 |
-
2020
- 2020-05-26 CN CN202010457577.0A patent/CN113727042B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113727042A (zh) | 2021-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7077395B2 (ja) | 多重化高ダイナミックレンジ画像 | |
| US7773115B2 (en) | Method and system for deblurring digital camera images using reference image and motion estimation | |
| JP5017419B2 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
| US20120262607A1 (en) | Multocular image pickup apparatus and multocular image pickup method | |
| WO2011090107A1 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
| CN113727042B (zh) | 图像处理系统及方法 | |
| WO2013008517A1 (ja) | 撮像装置及び画像生成方法 | |
| WO2017057047A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| US20230044846A1 (en) | Image signal processing for reducing lens flare | |
| KR101923957B1 (ko) | 감도 개선을 위한 영상 처리 장치 및 방법 | |
| JP5414691B2 (ja) | 画像処理装置及び画像処理方法 | |
| TWI423666B (zh) | Image elimination method for image sequence | |
| CN110580684A (zh) | 一种基于黑白-彩色双目相机的图像增强方法 | |
| JP2011171842A (ja) | 画像処理装置及び画像処理プログラム | |
| WO2015186510A1 (ja) | 撮像装置および方法、並びにプログラム | |
| WO2014084730A1 (en) | System and method for generating image using multiple lenses and multiple imagers | |
| CN101778297B (zh) | 影像序列的干扰消除方法 | |
| KR100741517B1 (ko) | 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법 | |
| JP6494388B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN113724142B (zh) | 图像复原系统及方法 | |
| JP7263018B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2022086311A (ja) | 撮像装置、撮像装置の制御方法、およびプログラム | |
| JP2011015228A (ja) | 画像処理装置、撮像処理装置、画像処理方法、および、画像処理装置の制御プログラム | |
| JP2020077946A (ja) | 画像のノイズを低減する画像処理装置および画像処理方法ならびにプログラム | |
| WO2015156045A1 (ja) | 画像処理装置、撮像装置および撮像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |