CN115334250A - 一种图像处理方法、装置及电子设备 - Google Patents

Abstract

本公开提供了一种图像处理方法、装置及电子设备，涉及图像处理技术领域，尤其涉及计算机视觉技术领域。具体实现方案为：根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组；根据所述目标图像帧组对应的图像参数调整所述图像帧，得到优化图像帧，每个图像帧组对应的亮度场景不同，不同的图像参数用于优化不同的亮度场景；输出所述优化图像帧。可以等效提高输出的图像的动态范围。

Description

一种图像处理方法、装置及电子设备

技术领域

本公开涉及图像处理技术领域，尤其涉及计算机视觉技术领域。

背景技术

相关技术，车载相机经常需要面对傍晚、阴天、白天强逆光等亮度变化较大的拍摄场景。

发明内容

本公开提供了一种图像处理方法、装置及电子设备。

根据本公开的第一方面，提供了一种图像处理方法，包括：

根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组；

根据所述目标图像帧组对应的图像参数调整所述图像帧，得到优化图像帧，每个图像帧组对应的亮度场景不同，不同的图像参数用于优化不同的亮度场景；

输出所述优化图像帧。

根据本公开的第二方面，提供了一种图像处理装置，包括：

分组模块，用于根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组；

优化模块，用于根据所述目标图像帧组对应的图像参数调整所述图像帧，得到优化图像帧，每个图像帧组对应的亮度场景不同，不同的图像参数用于优化不同的亮度场景；

输出模块，用于输出所述优化图像帧。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中任一项所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述第一方面中任一项所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述第一方面中任一项所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开的图像处理方法的一种流程示意图；

图2是根据本公开的图像处理方法的另一种流程示意图；

图3是根据本公开的用于支持图像帧分组的一种硬件结构示意图；

图4是根据本公开的用于支持图像帧分组的另一种硬件结构示意图；

图5是根据本公开的用于支持图像帧分组的又一种硬件结构示意图；

图6是根据本公开提供的基于图像处理方法的图像识别流程示意图；

图7是根据本公开的图像处理方法的又一种流程示意图；

图8是根据本公开的图像处理方法得到的优化图像帧的效果示意图；

图9是根据本公开的图像处理方法得到的优化图像帧的效果示意图；

图10是根据本公开的图像处理方法得到的优化图像帧的效果示意图；

图11是根据本公开的图像处理装置的一种结构示意图；

图12是用来实现本公开实施例的图像处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在自动驾驶汽车上，车载相机是最重要的传感器设备之一。车载相机用于拍摄自动驾驶车辆所处场景的图像，以根据图像识别红绿灯状态以及障碍物、车辆和行人等物体，从而使得自动驾驶车辆根据识别出的红绿灯状态、障碍物、车辆和行人等物体合理制定自动驾驶策略。为准确地识别图像中的物体，对车载相机采集到的成像存在一定的要求。在实际应用中，不同亮度场景下，对车载相机的成像要求不完全相同。特别是车载相机经常需要在傍晚、阴天、白天强逆光等亮度变化较大的场景，识别上述物体，而相关技术中的车载相机拍摄的图像动态范围不能满足上述特殊场景中对各物体的拍摄要求，进而拍摄的图像中物体不清晰，使得后续难以准确地进行物体识别，其中，“动态范围”描述的是车载相机在单帧图像内可以记录的最亮和最暗影调之间的比率。基于此，本公开提供了一种图像处理方法，提高输出图像的动态范围，如图1所示，方法包括：

S101，根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组。

S102，根据目标图像帧组对应的图像参数调整图像帧，得到优化图像帧。

S103，输出优化图像帧。

选用本公开的实施例，由于感光芯片输出的是连续多帧图像，因此各图像帧的采集时刻相近，可以近似认为在这期间场景内的物体未发生变化或仅发生较小的变化，因此各图像帧的画面和包含的物体相同或相似，可以将连续多帧图像帧看做为多帧包含相同物体的图像。根据图像帧号确定感光芯片输出的连续多帧图像帧对应的目标图像帧组，不同的图像帧组对应的图像参数用于优化不同的亮度场景，因此，对应于不同目标图像帧组的图像帧被优化时使用的图像参数不同，使得得到的优化图像帧适应的亮度场景不同。因此，多个优化图像帧包含了各经过了不同亮度调整的相同物体，而总有一种图像参数中的亮度处理方式适合当前画面中的物体，以此，得到的优化图像帧中总有一帧可以表现当前画面中的物体细节，使得无论面对哪种亮度场景，通过本公开的方案都能输出可以表现当前画面中的物体细节的优化图像帧，从而等效于提高了输出的图像的动态范围。

其中，在S101中，相机在拍摄图像的过程实际上是通过感光芯片输出图像的过程，对于车载相机而言，为了使拍摄得到的图像中的物体更容易识别，其在拍摄图像时通常需要对同一个场景的各物体连续拍摄多帧图像，或者直接录制视频，而视频也是连续的图像组成的。因此，感光芯片会连续输出关于同一场景的各物体的多帧图像。

在一种可能的实施例中，感光芯片的图像帧的输出帧率高于预设帧率。该预设帧率可以是本领域技术人员根据经验设置的，也可以是根据需求设置的，作为一种示例，预设帧率的取值可以在45帧/秒-60帧/秒之间，也可以在50帧/秒-55帧/秒，还可以在53帧/秒-65帧/秒。可以理解的是，感光芯片的输出帧率越高，其在相同时间输出的图像帧就越多，则相邻几帧的图像帧的画面差别就越小，而连续多帧图像包含的物体相同。因此，后续通过对连续多帧图像进行处理得到的优化图像帧的画面更类似而包含的物体相同，可以视作对同一画面进行了多次不同的处理而得到的多个优化图像帧。

因此，选用该实施例，可以使得同一画面的物体得到多次不同的图像参数处理，进行使得得到关于同一画面的优化图像帧中总有一帧能反映当前画面中物体的细节。

在感光芯片输出图像帧的同时，也会为每帧图像帧确定其对应的帧号，用于标识各图像帧的输出顺序。可以理解的是，图像帧的图像帧号可以是从感光芯片初始化之后开始输出第一帧图像帧时开始排序，也可以是从感光芯片对开始输出当前场景的图像帧时开始排序，本公开对此并不限定。不同的图像帧组对于其包含的图像帧的图像帧号具有不同的限定条件，为方便描述，下面以两个图像帧组的情况为例，作为一种示例，对于一个图像帧组，其限定条件可以是图像帧号为不为0的偶数，如2，4，6等，对于另一图像帧组，其限定条件可以为奇数，如1，3，5等。作为另一种示例，对于一个图像帧组，其限定条件为图像帧号满足4n或4n-3，对于另一个图像帧组，其限定条件为图像帧号满足4n-1或4n-2，其中，n为任意正整数。以此，根据图像帧的图像帧号，确定感光芯片输出的各图像帧对于的各目标图像帧组。

其中，在S102中，每个图像帧组对应的亮度场景可以相同，也可以不同，但是至少两个图像帧组对应的图像场景不同，下文为描述方便，仅以每个图像帧组对应的图像场景不同的情况为例进行说明，对于存在两个图像帧组对应的图像场景相同的情况，原理是相同的，在此不再赘述。不同的图像参数用于优化不同的亮度场景，且任意图像帧组对应的图像参数用于优化该图像帧组对应的亮度场景。

由于每个图像帧组对应的图像参数不同，因此对应于不同目标图像帧组的连续多个图像帧，在被优化时使用的图像参数也不同，并且不同的图像参数用于优化不同的亮度场景，因此，使用图像参数优化后得到的各优化图像帧被优化的亮度场景不同。

不同的图像帧组对应不同的亮度场景，这些亮度场景是可以根据本领域技术人员的经验预先设置的。

在一种可能的实施例中，亮度场景包括高亮场景、中亮场景和低亮场景，高亮场景为亮度值高于第一阈值的场景，中亮场景为亮度值在第一阈值和第二阈值之间的场景，低亮场景为亮度值低于第二阈值的场景。若共有三个图像帧组，分别对应的图像参数用于优化高亮场景、中亮场景和低亮场景，若在S101中，连续输出3帧图像帧对应的目标图像帧分别为这三个图像帧组，则根据目标图像帧组对应的图像参数调整这三帧图像后，会得到一帧高亮场景被优化的优化图像帧，一帧中亮场景被优化的优化图像帧，一帧低亮场景被优化的优化图像帧。在另一种可能的实施例中，亮度场景可以仅包括前述高亮场景、中亮场景以及低亮场景中的任意两个场景，在又一种可能的实施例中，亮度场景还可以包括除前述高亮场景、中亮场景以及低亮场景外的其他亮度场景，示例性的，亮度场景包括：极高亮场景、普通高亮场景、中亮场景以及低亮场景，其中，极高亮场景为亮度值高于第四阈值的场景，普通高亮场景为亮度值在第四阈值与第一阈值之间的场景。下文为描述方便，仅以亮度场景包括高亮场景、中亮场景以及低亮场景的情况为例进行说明，对于其他情况原理是相同的，在此不再赘述。

对于车载相机而言，经常需要面对晚上交通灯灯芯偏白和光晕过大或在某些特殊场景下识别物体的情况，例如夜晚的行人和车辆。针对晚上灯芯偏白和光晕过大，就需要在拍摄图像后，对图像帧进行高亮场景处理，调整图像帧色彩或降低整体画面亮度等，进而实现对图像帧中处于高亮场景的红绿灯进行优化，使得车载相机通过对优化后的图像帧的识别识别出红绿灯所示的行驶信号。对于夜晚的行人和车辆，由于其亮度较低，行人车辆在拍摄的图像帧中不能准确识别出来，因此，需要对图像帧进行低亮场景优化，提高图像帧的亮度，使得图像中的行人和车辆很好的显现出来。在一种可能的实施例中，图像参数也可以包括图像色彩、图像亮度和/或图像噪声。

本公开对图像帧组的数量并不限定，其可以根据本领域技术人员经验进行设置。例如，根据对图像亮度场景的区分(三种亮度场景，分别为高、中、低亮度场景)，将图像帧组设置为3组，其对应的图像参数分别用于优化高亮场景、中亮场景和低亮场景。在另一种示例中，如果车载相机资源有限，也可以将图像帧组设置为2组，其分别对应的图像参数分别用于优化高亮场景和低亮场景。并且针对同一亮度场景，可以仅设置一组图像帧组，还可以设置多组图像帧组，示例性的，可以将图像帧组设置为4组，分别记为图像帧组1-4，其中，图像帧组1-2对应于高亮场景，图像帧组3对应于中亮场景，图像帧组4对应于低亮场景。

选用该实施例，根据车载相机的实际应用场景，确定出其经常需要拍摄的亮度场景，即高亮场景、中亮场景和低亮场景，而根据这些亮度场景可以确定出图像参数的种类，使得后续包含相同物体的多帧图像帧可以被分别用于优化高亮场景、中亮场景和低亮场景的三种不同图像参数处理，从而得到的优化帧图像能够覆盖车载相机实际应用场景中的各拍摄情况，进一步提高了输出的图像的动态范围。

其中，在S103中，由于感光芯片输出的图像帧是连续多帧的，因此根据图像帧优化得到优化图像帧也是连续多帧图像。而由于优化图像帧为连续多帧图像，因此，这些优化图像帧中包含的画面类似且物体相同，例如，若一张优化图像帧中包含红绿灯，则其他与该优化图像帧一起输出的优化图像帧中也应该包含红绿灯。可以理解的是，多帧对应于不同目标图像帧组的连续优化图像帧可以看做为对同一画面中的各物体分别进行了多次不同的图像参数调整，而总有一种图像参数符合图像帧中物体所处的亮度场景，从而使得输出的各优化图像帧中总有一帧可以很好的表现当前画面中物体的细节。

示例性的，若确定了连续输出的三帧图像帧分别对应的三个目标图像帧组，这三个目标图像帧组对应的图像参数分别用于优化高亮场景、中亮场景和低亮场景，若此时图像帧中画面为太阳的强逆光场景下的车辆，可以理解，该画面需要降低亮度，即需要高亮优化。而这三帧包含相似画面和相同物体的图像帧会分别被不同的图像参数进行高亮优化、中亮优化、低亮优化，得到三帧不同的优化图像帧。而这三张优化图像帧中，总有一张图像帧为适合当前感光芯片输出的图像帧的亮度场景的图像帧。可见，不论当前画面中的物体所在场景需要哪种优化，通过本公开的上述方案，对图像帧进行优化的图像参数总能实现适合当前画面的物体的优化方式，而得到的优化图像帧中总有可以表现当前画面中的物体细节的图像帧。

相关技术中，为了提高车载相机的成像效果，通常会增加专用的红绿灯识别相机，并增加相机的数量以及后续主机视频通道数量，而这种方法提高了系统成本的同时，由于车载相机可以增加的数量有限，因此增加的相机不能全面的覆盖正前方和侧前方出现特殊亮度场景的识别需求。

而选用本公开的上述实施例，可以让所有方向的车载相机在面对特殊的亮度场景时都能输出体现画面物体细节的图像，因此无需设置专用的红绿灯识别相机，有效降低了系统成本，同时提高了车载相机的输出图像的动态范围，满足了车载相机的使用需求。

在另一种相关技术中，会在车载相机中采用高动态范围的感光芯片，例如120dB，而这种芯片，针对视野内有太阳的强逆光场景、夜晚识别红绿灯和暗处行人车辆的场景，也不能满足相应的图像拍摄需求，图像动态范围不足。

而采用本公开的上述方案，申请人在实践中发现可以将图像的动态范围提高到160dB以上，从而在各种特殊的亮度场景下，都能输出颜色和亮度俱佳的图像。

上述方案是对感光芯片输出的图像帧进行的处理，而这是对图像帧在拍摄之后的后期处理方法，而在对图像帧处理前，也可以对其拍摄时候的参数进行调整以调整图像帧的画面，以使得图像帧可以很好表现画面中的物体细节，基于此，本公开还提供了一种图像处理方法，如图2所示，方法包括：

S201，根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组。

该步骤与前述S101相同，可以参见前述S101的相关说明，在此不再赘述。

S202，根据目标图像帧组对应的图像参数调整图像帧，得到优化图像帧。

该步骤与前述S102相同，可以参见前述S102的相关说明，在此不再赘述。

S203，输出优化图像帧。

该步骤与前述S103相同，可以参见前述S103的相关说明，在此不再赘述。

S204，根据目标图像帧组对应的亮度场景检测图像帧的亮度程度。

S205，根据图像帧的亮度程度确定目标图像帧组中下一图像帧的AE参数。

S206，根据图像帧的图像帧号确定目标图像帧组中下一图像帧的图像帧号。

S207，将AE参数与目标图像帧组中下一图像帧的图像帧号发送至感光芯片，使感光芯片根据下一图像帧的图像帧号顺序按照AE参数输出目标图像帧组的下一图像帧。

S208，返回执行S201。

其中，在S204中，如前所述，不同的图像帧组对应不同的亮度场景，如高亮场景、中亮场景或低亮场景。进而，不同的图像帧组对应的亮度场景检测标准也不相同，若一帧图像帧对应的目标图像帧组为高亮场景，则检测该图像帧的亮度程度时应该检测该图像帧是否有区域的亮度高于第一阈值，若一帧图像帧对应的目标图像帧组为低亮场景，则检测该图像帧的亮度程度时应该检测该图像帧是否有区域的亮度低于第二阈值。

可以理解的是，此步骤可以与S203并列执行，也可以先于S203执行，也可以在S203之后执行。

其中，在S205中，对一帧图像帧在拍摄时的AE(Auto Exposure，自动曝光)参数进行哪种调整与该图像帧的亮度程度有关。作为一种示例，若该图像帧对应的目标图像帧组对应的亮度场景为高亮场景，且检测到该图像帧的亮度程度高于第一阈值，则说明该图像帧有区域过亮，进而可以确定当前拍摄画面中有物体过亮，则需要对降低后续拍摄的图像帧的亮度，将该目标图像帧组中下一图像帧在拍摄时的AE参数进行调整，如缩短曝光时间，降低曝光增益，使得画面亮度降低，进而使得物体可以清晰显示。

若该图像帧对应的目标图像帧组对应的亮度场景为低亮场景，且检测到该图像帧的亮度程度低于第二阈值，则说明该图像帧有区域过暗，进而可以确定当前拍摄画面中有物体过暗，则需要对提高后续拍摄的图像帧的亮度，将该目标图像帧组中下一图像帧在拍摄时的AE参数进行调整，如增加曝光时间，提高曝光增益，使得画面亮度提高，进而使得物体可以清晰显示。若该图像帧对应的目标图像帧组对应的亮度场景为中亮场景，且检测到该图像帧的亮度程度处于第一阈值和第二阈值之间，则将该目标图像帧组中下一图像帧在拍摄时的AE参数进行调整，如使曝光时间适中，使曝光增益适中，使得画面亮度适中，进而使得物体可以清晰显示。

其中，在S206中，如前所述，不同的图像帧组对应的图像帧是通过图像帧号进行区别的，可以通过一个目标图像帧组的当前图像帧的图像帧号确定属于该目标图像帧组的还未拍摄的图像帧的图像帧号。示例性的，若共有三个图像帧组，第一图像帧组对应的图像帧号为对3取余为0的帧号，如3、6、9等，第二图像帧组对应的图像帧号为对3取余为1的帧号，如4、7、10等，第三图像帧组对应的图像帧号为对3取余为2的帧号，如5、8、11等。若第一图像帧组为一个目标图像帧组，其当前的图像帧的图像帧号为3，则根据该当前图像帧号可以确定该第一图像帧组的还未进行拍摄的下一帧图像帧的图像帧号应该为6。

可以理解的是，此步骤可以与S205并列执行，也可以先于S205执行，也可以在S205之后执行。

其中，在S207中，在前述S205和S206步骤中，目标图像帧组中下一图像帧的图像帧号和AE参数已经确定，因此，将图像帧号和AE参数发送至感光芯片，可以使得感光芯片在图像帧号的顺序轮到目标图像帧组中下一图像帧的图像帧号的顺序时，采用其对应的AE参数拍摄输出该下一图像帧。可以理解的是，由于感光芯片输出的图像帧是连续的，因此，各图像帧组中的当前图像帧与其下一图像帧的相隔时间很短，可以将该当前帧与下一图像帧的画面视为类似画面，其包含的物体为相同的物体，因此，通过对当前图目标图像帧组的下一图像帧的AE参数的调整，可以使得感光芯片在拍摄输出该下一图像帧时就使用适合该画面物体的AE参数进行拍摄，使得在当前图像帧因亮度过亮或过暗而没有明显显示出的物体的细节在下一图像帧画面中可以清晰显示。

选用该实施例，在各目标图像帧组对应的下一图像帧还未拍摄时，就根据当前图像帧的画面亮度确定了下一图像帧的AE参数，使得输出得到的下一图像帧能够显示与上一图像帧(即之前的当前图像帧)类似画面中相同物体的细节，并且，该下一图像帧后续还会通过目标图像帧组对应的图像参数进一步优化该目标图像帧组中上一图像帧(即之前的当前图像帧)中出现的亮度问题，如有高亮区域或中亮区域或低亮区域，进而使得输出的优化图像帧在色彩和亮度上都能够很好体现当前画面中物体。

为了使得本公开的上述方法能够在实际的相机中得以实施，本公开还提供了三种硬件上支持图像帧分组的方法，本公开的图像处理方法可以通过该三种支持图像帧分组的方法中的任意方法实现图像帧分组，也可以通过该三种支持图像帧分组的方法以外的方法实现图像帧分组，以下示例对此不做任何限制，参见图3、图4和图5所示的各方案示意图，这三种硬件上支持图像帧分组的方法包括：

方法一：通过一个解串器芯片根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组；示例性的，如图3所示，通过一个解串芯片将图像帧划分为三个图像帧组，并分别通过帧I数据流、帧II数据流以及帧III数据流将该三个图像帧组发送至同一图像处理芯片进行处理，其中，帧I数据流用于传输对应于高亮场景的图像帧组，帧II数据流用于传输对应于中亮场景的图像帧组，帧III数据流用于传输对应于低亮场景的图像帧组。

方法二：通过一个图像处理芯片根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组，示例性的，如图4所示；

方法三：通过预设数量个图像处理芯片根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组。示例性的，如图5所示，通过三个图像处理芯片，即图像处理芯片1-3，分别对不同图像帧组进行处理，其中，图像处理芯片1处理的图像帧组对应于高亮场景，图像处理芯片2处理的图像帧组对应于中亮场景，图像处理芯片3处理的图像帧组对应于低亮场景。

本公开的感光芯片输出了多帧图像帧后，会经过串行芯片将其通过同轴线缆输出到可以用优化多帧图像的计算平台，因此，计算平台在通过解串芯片解串的过程中就可以根据各预设的图像帧组对应的帧号将各图像帧分流到各图像帧组中，即确定各图像帧对应的目标图像帧组。

而若解串芯片功能简单而不具备对图像帧的分流功能，则可以在解串之后将各图像帧发送到图像处理芯片，在图像处理芯片按照图像参数处理各图像帧之前先将各图像帧按照帧号分流，即确定各图像帧对应的目标图像帧组。

若解串芯片和图像处理芯片功能都较简单，不能完成图像帧的赋值或分流，可以增加图像处理芯片的个数到预设个数量，该预设个数量与图像帧组的数量相等，每个图像处理芯片负责根据图像帧号确定一个图像帧组的图像帧，以此，完成对图像帧的分流，确定各图像帧对应的目标图像帧组。

选用该实施例，提供了三种硬件上支持图像帧分组的方式，使得可以根据系统硬件情况对图像帧进行分流而确定各图像帧对应的目标图像帧组的方法，降低了系统资源消耗，提高了图像处理效率。

可以理解的是，本公开输出的优化图像帧是关于类似画面中相同物体的图像帧，而不同的优化图像帧优化的亮度场景不同，而得到的图像亮度也不同，因此，车载相机在识别图像中物体的过程中对于不同亮度场景的物体也需要不同的模块进行识别，基于此，本公开还提供了一种图像识别方法，如图6所示，方法包括：

S601，根据目标图像帧组对应的亮度场景确定目标图像帧组对应的物体识别方法，作为目标识别方法。

S602，通过目标识别方法优化图像帧，得到识别结果。

其中，在S601中，如前所述，不同的目标图像帧组对应不同的亮度场景，不同的图像参数用于优化不同的亮度场景，因此，不同的目标图像帧组对应的图像帧后续都会被进行不同的优化，并且使用不同图像参数优化处理后续的优化图像帧的物体更易于被特定的目标识别方法识别。

例如对于高亮场景的目标图像帧组来说，其包含的图像帧后续在优化时会被降低亮度，因此，其对应的优化图像帧中的高亮区域的物体往往都会降低亮度而易于识别，例如，红绿灯，强光下的人或车等，因此，可以采用专门对高亮区域物体进行识别的方法作为目标识别方法来识别该优化图像帧，例如采用专对红绿灯识别的识别方法。而对于中亮场景的目标图像帧组来说，其包含的图像帧后续在优化时亮度被调到适中，因此，可以采用专门对中亮区域物体进行识别的识别方法作为目标识别方法来识别该优化图像帧，例如采用专对车辆或行人识别的识别方法。而对于低亮场景的目标图像帧组来说，其包含的图像帧后续在优化时会被提高亮度，因此，其对应的优化图像帧中的低亮区域的物体往往都会提高亮度而易于识别，例如，夜晚的物体等，因此，可以采用专门对低亮区域物体进行识别的方法作为目标识别方法来识别该优化图像帧，例如采用专对暗处物体识别的识别方法。

其中，在S602中，在确定各目标图像帧组对应的识别方法之后，可以通过该目标识别方法来识别所有该目标图像帧组中图像帧优化后得到的优化图像帧，进而得到识别结果。

选用该实施例，可以根据不同优化图像帧的特点为其确定对应的目标识别方法，从而提高了对输出优化图像帧的物体识别的准确性。

为了更清楚的对本公开提供的图像处理方法进行说明，下面将结合具体的应用场景对本公开提供的图像处理方法进行示例性说明，该示例中，需要使得车载相机拍摄到的图像中能够清楚的呈现出红绿灯、车辆、行人以及暗处物体的细节，以便于后续从图像中准确识别出红绿灯、车辆、行人以及暗处物体，作为车辆制定自动驾驶策略时的参考，并且该实例中亮度场景包括：高亮场景、中亮场景、低亮场景，图像帧组被设置为3组，分别记为图像帧组1-3，其中图像帧组1对应于高亮场景，且限定条件为图像帧号取余3的结果为0，图像帧组2对应于中亮场景，且限定条件为图像帧号取余3的结果为1，图像帧3对应于低亮场景，且限定条件为图像帧号取余3的结果为2，该示例中图像处理的流程如图7所示，包括：

S701，感光芯片拍摄图像帧。

该实例中，感光芯片采集到的图像帧为尚未经过的处理的原始图像帧，因此为RAW格式的图像帧。

S702，判断图像帧号取余3得到的结果是否为0，若是，则执行S705，若否则执行S703。

该步骤即判断感光芯片拍摄到的图像帧对应的目标图像帧组是否为图像帧组1，相当于前述S101的步骤，如前述关于各图像帧组的限定条件的说明，若图像帧号取余3得到的结果等于0，则图像帧对应的目标图像帧组为图像帧组1，此时可以根据图像帧组1对应的图像参数对图像帧进行优化，即执行S705。

反之，若图像帧号取余3得到的结果不等于0，则图像帧对应的目标图像帧组不为图像帧组1，此时需要继续确定目标图像帧组，即执行S703。

S703，判断图像帧号取余3得到的结果是否为1，若是，则执行S706，若否则执行S704。

该步骤即判断感光芯片拍摄到的图像帧对应的目标图像帧组是否为图像帧组2，如前述说明，若图像帧号取余3得到的结果等于1，则图像帧对应的目标图像帧组为图像帧组2，此时可以根据图像帧组2对应的图像参数对图像帧进行优化，即执行S706。

反之，若图像帧号取余3得到的结果不等于1，则图像帧对应的目标图像帧组不为图像帧组2，此时需要继续确定目标图像帧组，即执行S704。

S704，判断图像帧号取余3得到的结果是否为2，若是，则执行S707，若否则执行S702。

该步骤即判断感光芯片拍摄到的图像帧对应的目标图像帧组是否为图像帧组3，如前述说明，若图像帧号取余3得到的结果等于2，则图像帧对应的目标图像帧组为图像帧组3，此时可以根据图像帧组3对应的图像参数对图像帧进行优化，即执行S707。

反之，若图像帧号取余3得到的结果不等于3，则图像帧对应的目标图像帧组不为图像帧组3，此时需要继续确定目标图像帧组，因此返回执行S702。

S705，执行图像处理流程1。

即按照图像帧组1对应的图像参数调整图像帧并确定图像帧组1中下一图像帧(即图像帧号为N+3的图像帧，N为感光芯片拍摄到的图像帧的图像帧号)的AE参数。

S706，执行图像处理流程2。

即按照图像帧组2对应的图像参数调整图像帧并确定图像帧组2中下一图像帧的AE参数。

S707，执行图像处理流程3。

即按照图像帧组3对应的图像参数调整图像帧并确定图像帧组3中下一图像帧的AE参数。S705-S707相当于前述S102和S205。

S708，利用识别模块1对经过处理的图像帧中的高亮区域进行识别。

识别模型1所使用的识别方法为高亮场景对应的物体识别方法。

S709，利用识别模块2对经过处理的图像帧中的中亮区域进行识别。

识别模型2所使用的识别方法为中亮场景对应的物体识别方法。

S710，利用识别模块3对经过处理的图像帧中的低亮区域进行识别。

识别模型3所使用的识别方法为低亮场景对应的物体识别方法。

S708-S710相当于前述S601-S602。可以参见前述S601-S602的相关说明，在此不再赘述。

示例性的，对于三组分别对应于图像帧组1、图像帧组2和图像帧组3的画面类似且包含相同物体的图像帧，通过本公开的上述图像处理方法处理后得到的优化图像帧如图8，图9，图10所示，其中所示的图像从到右分别为使用图像帧组1(高亮场景)、图像帧组2(中亮场景)和图像帧组3(低亮场景)对应的处理方法处理得到图像。

在图8和图10中可见，对于包含高亮物体如灯的图像帧，其通过图像帧组1(高亮场景)对应的处理方法处理得到的优化图像帧中该高亮物体即灯，最容易识别。

在图9中可见，对于包含暗处物体的图像帧，其通过图像帧组3(低亮场景)对应的处理方法处理得到的优化图像帧中该低亮物体即座椅，最容易识别。

对应于前述图像处理方法，本公开还提供了一种图像处理装置，如图11所示，包括：

分组模块111，用于根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组；

优化模块112，用于根据所述目标图像帧组对应的图像参数调整所述图像帧，得到优化图像帧，每个图像帧组对应的亮度场景不同，不同的图像参数用于优化不同的亮度场景；

输出模块113，用于输出所述优化图像帧。

在一种可能的实施例中，还包括参数调整模块，用于根据所述目标图像帧组对应的亮度场景检测所述图像帧的亮度程度；

根据所述图像帧的亮度程度确定所述目标图像帧组中下一图像帧的AE自动曝光参数；

根据所述图像帧的图像帧号确定所述目标图像帧组中下一图像帧的图像帧号；

将所述AE自动曝光参数与所述目标图像帧组中下一图像帧的图像帧号发送至所述感光芯片，使所述感光芯片根据所述下一图像帧的图像帧号顺序按照所述AE自动曝光参数输出所述目标图像帧组的下一图像帧。

在一种可能的实施例中，所述分组模块111根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组，包括：

通过一个解串器芯片根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组；

或

通过一个图像处理芯片根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组；

或

通过预设数量个图像处理芯片根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组。

在一种可能的实施例中，所述感光芯片的图像帧的输出帧率高于预设帧率。

在一种可能的实施例中，还包括识别模块，用于根据所述目标图像帧组对应的亮度场景确定所述目标图像帧组对应的物体识别方法，作为目标识别方法；

通过所述目标识别方法所述优化图像帧，得到识别结果。

在一种可能的实施例中，所述亮度场景包括：高亮场景、中亮场景和低亮场景，所述高亮场景为亮度值高于第一阈值的场景，所述中亮场景为亮度值在第一阈值和第二阈值之间的场景，所述低亮场景为亮度值低于第二阈值的场景。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图12示出了可以用来实施本公开的实施例的示例电子设备120的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图12所示，设备120包括计算单元121，其可以根据存储在只读存储器(ROM)122中的计算机程序或者从存储单元128加载到随机访问存储器(RAM)123中的计算机程序，来执行各种适当的动作和处理。在RAM 123中，还可存储设备120操作所需的各种程序和数据。计算单元121、ROM 122以及RAM 123通过总线124彼此相连。输入/输出(I/O)接口125也连接至总线124。

设备120中的多个部件连接至I/O接口125，包括：输入单元126，例如键盘、鼠标等；输出单元127，例如各种类型的显示器、扬声器等；存储单元128，例如磁盘、光盘等；以及通信单元129，例如网卡、调制解调器、无线通信收发机等。通信单元129允许设备120通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元121可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元121的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元121执行上文所描述的各个方法和处理，例如图像处理方法。例如，在一些实施例中，图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元128。在一些实施例中，计算机程序的部分或者全部可以经由ROM 122和/或通信单元129而被载入和/或安装到设备120上。当计算机程序加载到RAM 123并由计算单元121执行时，可以执行上文描述的图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元121可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种图像处理方法，包括：

根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组；

根据所述目标图像帧组对应的图像参数调整所述图像帧，得到优化图像帧，每个图像帧组对应的亮度场景不同，不同的图像参数用于优化不同的亮度场景；

输出所述优化图像帧。

2.根据权利要求1所述的方法，还包括：

根据所述目标图像帧组对应的亮度场景检测所述图像帧的亮度程度；

根据所述图像帧的亮度程度确定所述目标图像帧组中下一图像帧的AE自动曝光参数；

根据所述图像帧的图像帧号确定所述目标图像帧组中下一图像帧的图像帧号；

将所述AE自动曝光参数与所述目标图像帧组中下一图像帧的图像帧号发送至所述感光芯片，使所述感光芯片根据所述下一图像帧的图像帧号顺序按照所述AE自动曝光参数输出所述目标图像帧组的下一图像帧。

3.根据权利要求1所述的方法，其中，所述根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组，包括：

通过一个解串器芯片根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组；

或

通过一个图像处理芯片根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组；

或

通过预设数量个图像处理芯片根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组。

4.根据权利要求1所述的方法，其中，所述感光芯片的图像帧的输出帧率高于预设帧率。

5.根据权利要求1所述的方法，还包括：

根据所述目标图像帧组对应的亮度场景确定所述目标图像帧组对应的物体识别方法，作为目标识别方法；

通过所述目标识别方法所述优化图像帧，得到识别结果。

6.根据权利要求1所述的方法，其中，所述亮度场景包括：高亮场景、中亮场景和低亮场景，所述高亮场景为亮度值高于第一阈值的场景，所述中亮场景为亮度值在第一阈值和第二阈值之间的场景，所述低亮场景为亮度值低于第二阈值的场景。

7.一种图像处理装置，包括：

分组模块，用于根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组；

优化模块，用于根据所述目标图像帧组对应的图像参数调整所述图像帧，得到优化图像帧，每个图像帧组对应的亮度场景不同，不同的图像参数用于优化不同的亮度场景；

输出模块，用于输出所述优化图像帧。

8.根据权利要求7所述的装置，还包括参数调整模块，用于根据所述目标图像帧组对应的亮度场景检测所述图像帧的亮度程度；

根据所述图像帧的亮度程度确定所述目标图像帧组中下一图像帧的AE自动曝光参数；

根据所述图像帧的图像帧号确定所述目标图像帧组中下一图像帧的图像帧号；

将所述AE自动曝光参数与所述目标图像帧组中下一图像帧的图像帧号发送至所述感光芯片，使所述感光芯片根据所述下一图像帧的图像帧号顺序按照所述AE自动曝光参数输出所述目标图像帧组的下一图像帧。

9.根据权利要求7所述的装置，其中，所述分组模块根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组，包括：

通过一个解串器芯片根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组；

或

通过一个图像处理芯片根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组；

或

通过预设数量个图像处理芯片根据图像帧号确定感光芯片连续输出的图像帧对应的目标图像帧组。

10.根据权利要求7所述的装置，其中，所述感光芯片的图像帧的输出帧率高于预设帧率。

11.根据权利要求7所述的装置，还包括识别模块，用于根据所述目标图像帧组对应的亮度场景确定所述目标图像帧组对应的物体识别方法，作为目标识别方法；

通过所述目标识别方法所述优化图像帧，得到识别结果。

12.根据权利要求7所述的装置，其中，所述亮度场景包括：高亮场景、中亮场景和低亮场景，所述高亮场景为亮度值高于第一阈值的场景，所述中亮场景为亮度值在第一阈值和第二阈值之间的场景，所述低亮场景为亮度值低于第二阈值的场景。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images