图像处理方法、系统、可移动平台和存储介质
技术领域
本申请实施例涉及自动驾驶领域,尤其涉及一种图像处理方法、系统、可移动平台和存储介质。
背景技术
随着自动驾驶技术的研究和发展,自动驾驶技术和自动驾驶设备开始得到应用。自动驾驶设备,例如有自动驾驶车辆、无人机、等等。自动驾驶设备在行驶或飞行的过程中,需要采集当前环境的图像,进而对图像进行分析和处理,以完成自动驾驶、或者完成预定的任务。其中,采集到的图像是高比特图像,由于数据传输的限制、显示设备的硬件限制等原因,需要将高动态范围图像压缩为低动态范围图像;进而完成图像分析或者预定任务。
在通常的图像处理,例如相机拍照的后期处理中,可以对图像进行全局映射处理,即采用一个预设函数处理图像的像素值,得到处理后的图像。然而在采用全局映射处理方式处理图像的时候,由于是对所有像素点的像素值进行的统一处理,进而会损失掉图像的局部细节信息,得到图像的对比度和亮度都较差,例如图像的亮度偏暗或偏亮;从而得到的图像的质量较差。通常的图像处理还可以对图像进行局部映射处理,即根据不同区域的动态范围变化采用不同的映射曲线,可以提高映射结果的局部对比度,展现更多的细节,但会损失一定的全局成像效果。
然而,在自动驾驶设备在行驶或飞行的过程中,由于场景复杂且经常变化很大,采集到的图像经常是高动态范围图像;并且由于自动驾驶设备在行驶或飞行的过程中,采集图像是用作后续的算法处理的,因此对采集图像的处理效果、数据量及处理实时性都有很高的要求,前述的通常的全局映射处理很难得到稳定的处理效果,局部映射处理计算复杂度高很难满足实时性要求,都难以满足自动驾驶设备上对图像处理的要求。
发明内容
本申请实施例提供一种图像处理方法、系统、可移动平台和存储介质,以保留图像的局部细节信息、得到的图像的对比度和亮度都较好,提高低动态范围图像的质量,并且利于实时性计算。
第一方面,本申请实施例提供一种图像处理方法,包括:
获取待处理图像数据,其中,所述待处理图像数据为搭载于可移动平台的视觉传感器所获取的环境图像数据;
对所述待处理图像数据进行自适应的全局亮度调节,得到第一图像数据;
对所述第一图像数据进行对比度调节,得到第二图像数据;
其中,所述第二图像数据用于所述可移动平台的在线图像处理。
第二方面,本申请实施例提供一种图像处理系统,包括:处理器、存储器和视觉传感器;
所述存储器用于存储程序代码;
所述视觉传感器,用于获取待处理图像数据,其中,所述待处理图像数据为搭载于可移动平台上,且所述待处理图像数据为环境图像数据;
所述处理器,调用所述程序代码,当程序代码被执行时,用于执行以下操作:
对所述待处理图像数据进行自适应的全局亮度调节,得到第一图像数据;
对所述第一图像数据进行对比度调节,得到第二图像数据;
其中,所述第二图像数据用于所述可移动平台的在线图像处理。
第三方面,本申请实施例提供一种可移动平台,包括:处理器、存储器和视觉传感器;
所述存储器用于存储程序代码;
所述视觉传感器,用于获取待处理图像数据,所述待处理图像数据为环境图像数据;
所述处理器,调用所述程序代码,当程序代码被执行时,用于执行以下操作:
对所述待处理图像数据进行自适应的全局亮度调节,得到第一图像数据;
对所述第一图像数据进行对比度调节,得到第二图像数据;
对所述第二图像数据,进行在线图像处理。
第四方面,本申请实施例提供一种可读存储介质,所述可读存储介质上存储有计算机程序;所述计算机程序在被执行时,实现如第一方面本申请实施例所述的图像处理方法。
第五方面,本申请实施例提供一种程序产品,所述程序产品包括计算机程序,所述计算机程序存储在可读存储介质中,图像处理系统或可移动平台的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得图像处理系统或可移动平台实施如第一方面本申请实施例所述的图像处理方法。
本申请实施例提供的图像处理方法、系统、可移动平台和存储介质,通过获取可移动平台在移动过程中所处环境的环境图像数据,进而得到待处理图像数据;然后对环境图像数据依次进行全局亮度调节、对比度调节之后,得到低动态范围图像;由于所获取到的待处理图像数据为可移动平台的移动过程中所处的环境的环境图像数据,从而所生成的第二图像数据可以用于可移动平台进行在线图像处理。由于可以对所获取的待处理图像数据依次进行全局亮度调节、对比度调节,处理过程简单、清楚,可以快速的对高动态范围的待处理图像数据进行压缩,计算速度较快、实时性高;并且,自适应的全局亮度调节,可以使得待处理图像数据的细节尽可能的得到保留;对比度调节的方式,可以提高经过亮度调节后的图像的对比度;自适应的全局亮度调节和对比度调节的调节过程是稳定的,可以对待处理图像数据进行稳定的处理,不会出现噪声、光晕等。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的应用场景示意图一;
图2为本申请提供的应用场景示意图二;
图3为本申请提供的应用场景示意图三;
图4为本申请提供的应用场景示意图四;
图5为本申请一实施例提供的图像处理方法的流程图;
图6为本申请另一实施例提供的图像处理方法的流程图;
图7为本申请提供的现有技术的图像示意图一;
图8为本申请提供的第二图像数据的图像示意图一;
图9为本申请提供的现有技术的图像示意图二;
图10为本申请提供的第二图像数据的图像示意图二;
图11为本申请提供的现有技术的图像示意图三;
图12为本申请提供的第二图像数据的图像示意图三;
图13为本申请一实施例提供的图像处理系统的结构示意图;
图14为本申请一实施例提供的可移动平台的结构示意图;
图15为本申请另一实施例提供的图像处理系统的结构示意图;
图16为本申请另一实施例提供的可移动平台的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,当组件被称为“固定于”另一个组件,它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件,它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
本申请的实施例提供了图像处理方法、系统、可移动平台和存储介质。图1为本申请提供的应用场景示意图一,图2为本申请提供的应用场景示意图二,图3为本申请提供的应用场景示意图三,如图1-图3所示,图像处理方法可以应用到图像处理系统上,图像处理系统包括但不限于以下设备中的任意一种:网络设备1、终端设备2、车辆3。
其中,网络设备1包括但不限于:传输点(Transmission Reception Point,简称TRP)、基站(如,gNB)、无线网络控制器(Radio Network Controller,简称RNC)、节点B(NodeB,简称NB)、基站控制器(Base Station Controller,简称BSC)、BTS(Base TransceiverStation)、HeNB(Home Evolved NodeB),或HNB(Home Node B)、基带单元(Baseband Uit,简称BBU)等。
终端设备2包括但不限于车辆终端、车载终端、车辆设备、移动终端、公共终端等,其中,车载终端包括但不限于车载导航仪等,移动终端包括但不限于手机、可穿戴设备、平板电脑等。
车辆3包括但不限于普通车辆、自动驾驶车辆、无人驾驶车辆等等。
图4为本申请提供的应用场景示意图四,如图4所示,图像处理方法可以应用到可移动平台上,可移动平台包括但不限于无人机4等等。
图像处理方法还可以应用到任意设备或者系统上,进而完成本申请提供的图像处理过程。
应理解,上述对于设备的各组成部分的命名仅是出于标识的目的,并不应理解为对本申请的实施例的限制。
在自动驾驶设备上,自动驾驶设备在行驶或飞行的过程中,需要采集当前环境的图像,进而对图像进行分析和处理,以完成自动驾驶、或者完成预定的任务。
由于高动态范围(High Dynamic Range)图像记录了图像的丰富的细节,从而高动态范围图像可以被应用到安防监控、设备成像、医学影像、自动驾驶、自动飞行等等技术领域中;其中,高动态范围图像,也可以称为高比特图像。在本申请所涉及的技术领域中,在获取到高动态范围图像之后,由于高动态范围图像的较大,造成数据传输较慢、图像显示较慢、存储空间的占用较多等等,需要将高动态范围图像压缩为低动态范围图像,然后完成图像分析或者预定任务。
在将高动态范围图像压缩为低动态范围图像的过程中,通常可以采用全局映射处理方式,或者采用局部映射处理方式。
采用全局映射处理方式处理图像的时候,可以较好的呈现出图像的整体效果,并且全局映射处理方式的计算效率较高;但是,采用全局映射处理方式处理图像的时候,由于是对所有像素点的像素值进行的统一处理,进而会损失掉图像的局部细节信息,得到图像的对比度和亮度都较差,例如图像的亮度偏暗或偏亮;从而得到的图像的质量较差,图像处理的效果较差。
采用局部映射处理方式处理图像的时候,由于局部映射处理方式可以根据不同区域的动态范围变化采用不同的映射曲线,从而可以提高图像的局部对比度,展现出图像的更多细节;但是采用局部映射处理方式处理图像的时候,损失一定的全局成像效果,并且容易在图像中产生光晕、噪声等等,并且,局部映射处理方式的计算复杂度较高。
但是,在自动驾驶设备在行驶或飞行的过程中,对采集的高动态范围图像的算法响应速度、图像处理效果等等都是具有很高要求的;全局映射处理方式很难得到稳定的处理效果,并且,无法针对高动态范围图像进行良好的压缩;局部映射处理方式的计算复杂度高很难满足实时性要求,都难以满足自动驾驶设备上对图像处理的要求。
本实施例提供的图像处理方法、系统、可移动平台和存储介质,可以解决上述问题。
图5为本申请一实施例提供的图像处理方法的流程图,如图5所示,本实施例的方法可以包括:
S101、获取待处理图像数据,其中,待处理图像数据为搭载于可移动平台的视觉传感器所获取的环境图像数据。
本实施例中,本实施例的执行主体可以是图像处理系统、或者是图像处理设备、或者是可移动平台。本实施例以执行主体为图像处理系统进行说明。
在可移动平台上设置有视觉传感器,其中,可移动平台可以是自动驾驶车辆、自动飞行设备等等。视觉传感器用于获取环境图像数据。
从而,在可移动平台上的视觉传感器获取到环境图像数据的时候,图像处理系统可以获取到视觉传感器所获取到环境图像数据,进而,图像处理系统可以获取待处理图像数据。上述待处理图像数据,为高动态范围图像,即上述待处理图像数据,为高比特图像。
举例来说,图像处理系统与可移动平台是两个不同的设备,在可移动平台上搭载有视觉传感器,图像处理系统与视觉传感器连接;随着可移动平台的移动,视觉传感器可以实时的获取环境图像数据,进而获取到高动态范围图像;然后,图像处理系统可以实时的获取到视觉传感器所采集的环境图像数据。
再举例来说,图像处理系统与可移动平台是同一个设备,即,图像处理系统为一个可移动平台;在可移动平台上搭载有视觉传感器,可移动平台与视觉传感器连接;随着可移动平台的移动,视觉传感器可以实时的获取环境图像数据,进而获取到高动态范围图像,从而可移动平台可以实时的获取到视觉传感器所采集的环境图像数据。
例如,图像处理系统为自动驾驶车辆,在自动驾驶车辆的行驶过程中,自动驾驶车辆可以通过视觉传感器获取到自动驾驶车辆行驶环境中的环境图像数据。
再例如,图像处理系统为自动飞行设备,在自动飞行设备的飞行过程中,自动飞行设备可以通过视觉传感器获取到自动飞行设备的飞行环境中的环境图像数据。
S102、对待处理图像数据进行自适应的全局亮度调节,得到第一图像数据。
本实施例中,图像处理系统在得到待处理图像数据之后,采用自适应处理方式对待处理图像数据进行全局亮度调节,进而生成第一图像数据。可选的,自适应处理方式为自适应函数,例如,自适应函数为伽马校正函数,或者,自适应函数为其他的现有技术中的校正函数。
S103、对第一图像数据进行对比度调节,得到第二图像数据;其中,第二图像数据用于可移动平台的在线图像处理。
本实施例中,图像处理系统在对待处理图像数据进行了全局亮度调节之后,再对所得到第一图像数据进行对比度调节,进而生成第二图像数据。可选的,对比度调节的方式,可以为采用直方图均衡化、或者自适应直方图均衡化算法、插值加速算法等等;以上算法为现有技术中所提供的图像对比度调整的算法。
在本申请中,所获取到的待处理图像数据为可移动平台的移动过程中所处环境的环境图像数据,进而所生成的第二图像数据,是对环境图像数据依次进行了全局亮度调节、对比度调节之后所得到图像;可以将第二图像数据用于进行可移动平台的在线图像处理过程,即,可移动平台可以对第二图像数据进行在线图像处理。例如,可移动平台可以直接显示第二图像数据,或者,可移动平台对第二图像数据中的对象进行识别。
并且,上述第二图像数据是低动态范围图像。
举例来说,图像处理系统与可移动平台是两个不同的设备,根据步骤S101中的举例,图像处理系统可以实时的获取到视觉传感器所采集的环境图像数据;图像处理系统对环境图像数据依次进行了全局亮度调节、对比度调节之后,得到第二图像数据;图像处理系统可以将第二图像数据发送给可移动平台进行图像处理。
再举例来说,图像处理系统与可移动平台是同一个设备,根据步骤S101中的举例,可移动平台可以实时的获取到视觉传感器所采集的环境图像数据;可移动平台对环境图像数据依次进行了全局亮度调节、对比度调节之后,得到第二图像数据;然后,可移动平台直接对第二图像数据进行图像处理。
例如,图像处理系统为自动驾驶车辆,在自动驾驶车辆的行驶过程中,自动驾驶车辆可以通过视觉传感器获取到自动驾驶车辆行驶环境中的环境图像数据;由于自动驾驶车辆获取到的环境图像数据是高动态范围图像,高动态范围图像的图像大小是比较大的,自动驾驶车辆需要将高动态范围图像压缩为低动态范围图像,以便于快速的对图像进行处理或传输;然后自动驾驶车辆对环境图像数据依次进行了全局亮度调节、对比度调节之后,得到第二图像数据,进而得到低动态范围图像;然后,自动驾驶车辆对第二图像数据进行后续的图像分析、图像显示等等过程。
再例如,图像处理系统为自动飞行设备,在自动飞行设备的飞行过程中,自动飞行设备可以通过视觉传感器获取到自动飞行设备的飞行环境中的环境图像数据;由于自动飞行设备获取到的环境图像数据是高动态范围图像,高动态范围图像的图像大小是比较大的,自动飞行设备需要将高动态范围图像压缩为低动态范围图像,以便于快速的对图像进行处理或传输;然后自动飞行设备对环境图像数据依次进行了全局亮度调节、对比度调节之后,得到第二图像数据,进而得到低动态范围图像;然后,自动飞行设备对第二图像数据进行后续的图像分析、图像显示等等过程。
本实施例,通过获取待处理图像数据,待处理图像数据为搭载于可移动平台的视觉传感器所获取的环境图像数据;对待处理图像数据进行自适应的全局亮度调节,得到第一图像数据;对第一图像数据进行对比度调节,得到第二图像数据;第二图像数据用于可移动平台的在线图像处理。获取可移动平台在移动过程中所处环境的环境图像数据,进而得到待处理图像数据;然后对环境图像数据依次进行全局亮度调节、对比度调节之后,得到低动态范围图像;由于所获取到的待处理图像数据为可移动平台的移动过程中所处的环境的环境图像数据,从而所生成的第二图像数据可以用于可移动平台进行在线图像处理。由于可以对所获取的待处理图像数据依次进行全局亮度调节、对比度调节,处理过程简单、清楚,可以快速的对高动态范围的待处理图像数据进行压缩,计算速度较快、实时性高;并且,自适应的全局亮度调节,可以使得待处理图像数据的细节尽可能的得到保留;对比度调节的方式,可以提高经过亮度调节后的图像的对比度;自适应的全局亮度调节和对比度调节的调节过程是稳定的,可以对待处理图像数据进行稳定的处理,不会出现噪声、光晕等。
图6为本申请另一实施例提供的图像处理方法的流程图,如图6所示,本实施例的方法可以包括:
S201、获取拍摄图像,其中,拍摄图像为搭载于可移动平台的视觉传感器所获取的高动态范围的环境图像数据。
本实施例中,本实施例的执行主体可以是图像处理系统、或者是图像处理设备、或者是可移动平台。本实施例以执行主体为图像处理系统进行说明。
在可移动平台上设置有视觉传感器,其中,可移动平台可以是自动驾驶车辆、自动飞行设备等等。视觉传感器用于获取环境图像数据。
随着可移动平台的移动,可移动平台上的视觉传感器可以实时的获取周围环境的环境图像数据,其中,环境图像数据为高动态范围图像;然后,图像处理系统可以获取到视觉传感器所采集到的环境图像数据,即,图像处理系统获取到拍摄图像。
其中,上述图像处理系统与上述可移动平台,可以是同一个设备,或者是不同设备。
举例来说,图像处理系统为自动驾驶车辆,在自动驾驶车辆上设置有视觉传感器;在自动驾驶车辆的行驶过程中,视觉传感器可以实时的采集环境图像数据,即,采集到拍摄图像;进而,自动驾驶车辆获取到拍摄图像。
再举例来说,图像处理系统为自动飞行设备,在自动飞行设备上设置有视觉传感器;在自动飞行设备的飞行过程中,视觉传感器可以实时的采集环境图像数据,即,采集到拍摄图像;进而,自动飞行设备获取到拍摄图像。
S202、对拍摄图像进行归一化处理,并对归一化后的拍摄图像进行压缩处理,得到待处理图像数据。
本实施例中,为了加快对拍摄图像的图像处理过程,图像处理系统需要对拍摄图像进行压缩处理。
在进行压缩处理之前,图像处理系统首先需要对拍摄图像进行归一化处理,得到归一化处理后的拍摄图像。具体的,若拍摄图像为灰度图像,图像处理系统需要对拍摄图像中的各像素点的像素值,归一化到一个预设范围之内,例如,预设范围为像素值[0,1]。若拍摄图像为彩色图像,且拍摄图像为RGB(Red Green Blue)图像,图像处理系统可以将RGB图像转换为YUV(Luminance Chrominance Chroma)图像;然后,图像处理系统将Y维度上的图像数据的数值,归一化到一个预设范围之内,并且,将U维度上的图像数据的数值,归一化到另一个预设范围之内,将V维度上的图像数据的数值,归一化到其他一个预设范围之内;或者,图像处理系统可以只对Y维度上的图像数据的数值进行归一化处理,图像处理系统可以将Y维度上的图像数据的数值,归一化到一个预设范围之内,然后后续的图像处理过程,图像处理系统只对将Y维度上的图像数据进行分析。
然后,图像处理系统在得到归一化处理后的拍摄图像之后,就可以对归一化处理后的拍摄图像进行压缩处理了,进而得到待处理图像数据,待处理图像数据为低动态范围图像。
可选的,可以采用现有的压缩算法,将高动态范围的拍摄图像,压缩为低动态范围图像,即,得到待处理图像数据。
可选的,可以采用公式Lout=(A*log(B+Lin))/(log(C+D*Lin))得到经过了压缩处理的待处理图像数据,其中,Lin为归一化处理后的拍摄图像,Lout为待处理图像数据,A、B、C、D均为预设的压缩参数。
本申请中,对于上述压缩处理的方式,不做限定。经过上述压缩处理,可以降低拍摄图像的数据量,提高后续的图像处理过程的处理速度。
例如,图像处理系统为自动驾驶车辆,自动驾驶车辆在获取到拍摄图像之后,由于自动驾驶车辆处于行驶过程中,自动驾驶车辆中的控制设备还需要控制自动驾驶车辆的整个行驶过程,所以需要降低图像处理的复杂度,以避免图像处理影响到自动驾驶车辆中的控制设备的控制过程、响应时间;从而,自动驾驶车辆需要对拍摄图像进行压缩,然后,自动驾驶车辆可以执行上述压缩处理的过程。
再例如,图像处理系统为自动飞行设备,自动飞行设备在获取到拍摄图像之后,由于自动飞行设备处于飞行过程中,自动飞行设备中的控制设备还需要控制自动飞行设备的整个飞行过程,所以需要降低图像处理的复杂度,以避免图像处理影响到自动飞行设备中的控制设备的控制过程、响应时间;从而,自动飞行设备需要对拍摄图像进行压缩,然后,自动飞行设备可以执行上述压缩处理的过程。
S203、根据待处理图像数据的像素值,确定待处理图像数据的累计直方图信息,其中,累计直方图信息中包括待处理图像数据的各个像素值的累计概率分布值。
本实施例中,图像处理系统需要对经过了压缩处理后的上述待处理图像数据,依次进行自适应的全局亮度调节、对比度调节;在对待处理图像数据进行自适应的全局亮度调节之前,图像处理系统需要确定出自适应的全局亮度调节所需要的系数、对比度调节所需要的系数。
首先,图像处理系统需要统计出待处理图像数据的累计直方图信息。具体的,待处理图像数据中的各个像素点具有像素值,从而,待处理图像数据具有不同的像素值;针对每一个像素值,图像处理系统计算出在每一个像素值上的像素点的个数,然后,图像处理系统将每一个像素值上的像素点的个数,除以待处理图像数据的像素点总个数,得到每一个像素值的像素点概率;然后,图像处理系统依据像素值的大小,依次对每一个像素值的像素点概率进行累加,进而得到每一个像素值的累计概率分布值;各个像素值的累计概率分布值,构成了待处理图像数据的累计直方图信息。
举例来说,待处理图像数据中具有P个像素点,每一个像素点的像素值的取值为k,k属于一个预设范围;例如,待处理图像数据为灰度图,则k∈[0,L],k、L为整数。具有像素值k的像素点的个数为n
k,则像素值k的像素点概率为n
k/P;像素值k的累计概率分布值为
其中,j∈[0,k],j为整数。
S204、根据累计直方图信息,确定第一系数和第二系数。
可选的,具有第一系数和第二系数的像素值的累计概率分布值,大于预设阈值。
可选的,步骤S204具体包括以下过程:
设定i的初始值为1,重复执行以下各步骤,直至确定出第一系数和第二系数。
判断选取值集合中第i个选取值的累计概率分布值,是否大于预设阈值,其中,选取值集合中包括N个选取值,各选取值均是待处理图像数据的像素值,第i个选取值小于第i+1个选取值,N为大于等于1的正整数,i∈[1,N],i为正整数。
若确定大于,则将确定预设的第一预选集合中的第i个第一预选系数,为第一系数,并确定预设的第二预选集合中第i个第二预选系数,为第二系数,其中,第一预选集合中包括N+1个第一预选系数,第i个第一预选系数小于第i+1个第一预选系数,第二预选集合中包括N+1个第二预选系数,第i个第二预选系数大于第i+1个第二预选系数。
若确定小于等于,则确定i累加1。
可选的,步骤S204还包括以下过程:在选取值集合中的第N-1个选取值的累计概率分布值,小于等于预设阈值时,若确定选取值集合中的第N个选取值的累计概率分布值,小于等于预设阈值,则确定第一预选集合中的第N+1个第一预选系数,为第一系数,并确定预设的第二预选集合中第N+1个第二预选系数,为第二系数。
本实施例中,图像处理系统可以根据累计直方图信息中的像素值的累计概率分布值,直接划分出用于进行全局亮度调节的第一系数、用于进行对比度调节的第二系数。
具体的,图像处理系统从待处理图像数据的像素值中,选取了N个像素值,将这个N个像素值作为N个选取值,N个选取值构成了一个选取值集合;为了便于为根据待处理图像数据的像素值的取值大小,去确定出合适的第一系数和第二系数,以对待处理图像数据进行核实的亮度、对比度调节,在选取值集合中,可以将N个选取值依据选取值的由小到大的次序,对N个选取值放置到选取值集合中;从而,在选取值集合中,第i个选取值小于第i+1个选取值。并且,由于N个像素值中的每一个像素值具有累计概率分布值,从而,N个选取值中的每一个选取值也具有对应的累计概率分布值;即,第i个像素值的累计概率分布值与第i个选取值的累计概率分布值,两者之间是相同的。
并且,图像处理系统配置了不同的N+1个第一预选系数、不同的N+1第二预选系数。将N+1个第一预选系数,构成一个第一预选集合,各第一预选系数作为第一系数的备选;并且,由于第一系数用于进行图像的全局亮度调节,从而,为了便于可以选择出合适的第一预选系数去作为第一系数,需要根据N+1个第一预选系数的由小到大的次序,将N+1个第一预选系数繁殖到第一预选集合中,即,第i个第一预选系数小于第i+1个第一预选系数。将N+1个第二预选系数,构成一个第二预选集合,各第二预选系数作为第二系数的备选;并且,由于第二系数用于进行图像的对比度调节,从而,为了便于可以选择出合适的第二预选系数去作为第二系数,需要根据N+1个第二预选系数的由大到小的次序,将N+1个第二预选系数繁殖到第二预选集合中,即,第i个第一预选系数大于第i+1个第二预选系数。
然后,图像处理系统依次对选取值进行分析,首先,图像处理系统判断第1个选取值的累计概率分布值,是否大于一个预设阈值;若图像处理系统确定第1个选取值的累计概率分布值大于一个预设阈值,则图像处理系统可以将第1个第一预选系数,作为用于进行全局亮度调节的第一系数,并且,将第1个第二预选系数,作为用于进行对比度调节的第二系数;若图像处理系统确定第1个选取值的累计概率分布值小于等于上述预设阈值,则图像处理系统需要对第2个选取值进行分析。然后,图像处理系统判断第2个选取值的累计概率分布值,是否大于上述预设阈值;若图像处理系统确定第2个选取值的累计概率分布值大于上述预设阈值,则图像处理系统可以将第2个第一预选系数,作为用于进行全局亮度调节的第一系数,并且,将第2个第二预选系数,作为用于进行对比度调节的第二系数;若图像处理系统确定第2个选取值的累计概率分布值小于等于上述预设阈值,则图像处理系统需要对第3个选取值进行分析。以此类推,图像处理系统判断第i个选取值的累计概率分布值,是否大于上述预设阈值;若图像处理系统确定第i个选取值的累计概率分布值大于上述预设阈值,则图像处理系统可以将第i个第一预选系数,作为用于进行全局亮度调节的第一系数,并且,将第i个第二预选系数,作为用于进行对比度调节的第二系数;若图像处理系统确定第i个选取值的累计概率分布值小于等于上述预设阈值,则图像处理系统需要对第i个选取值进行分析。以此类推,直至可以确定出第一系数和第二系数。可选的,当图像处理系统根据上述过程,分析到第N个选取值的时候,确定第N个选取值的累计概率分布值小于等于上述预设阈值,则图像处理系统可以直接将第N+1个第一预选系数,作为第一系数,并且,将第N+1个第二预选系数,作为第二系数。
根据上述过程,可知,具有第一系数和第二系数的像素值的累计概率分布值,是大于上述预设阈值的。
举例来说,图像处理系统配置了2个选取值,每一个选取值分别为待处理图像数据的不同的像素值,2个选取值分别为选取值thr1和选取值thr2,并且,选取值thr1小于选取值thr2;图像处理系统若确定选取值thr1,大于预设阈值xp_value,则图像处理系统可以将一个第一预选系数γ1,作为第一系数γ,并且,将一个第二预选系数stret1,作为第二系数stret;图像处理系统若确定选取值thr1,小于等于预设阈值xp_value,则图像处理系统判断选取值thr2,是否大于预设阈值xp_value;图像处理系统若确定选取值thr2,大于预设阈值xp_value,则图像处理系统可以将一个第一预选系数γ2,作为第一系数γ,并且,将一个第二预选系数stret2,作为第二系数stret;图像处理系统若确定选取值thr2,小于等于预设阈值xp_value,则图像处理系统可以将一个第一预选系数γ3,作为第一系数γ,并且,将一个第二预选系数stret3,作为第二系数stret。并且,第一预选系数γ1小于第一预选系数γ2,第一预选系数γ2小于第一预选系数γ3;第二预选系数stret3小于第二预选系数stret2,第二预选系数stret2小于第二预选系数stret1。
S205、采用自适应函数,对待处理图像数据进行全局亮度调节,得到第一图像数据;其中,自适应函数与环境图像数据的亮度之间相关。
可选的,自适应函数中的第一系数与环境图像数据的亮度之间正相关,第一系数用于对环境图像数据进行亮度调节。
可选的,自适应函数为伽马校正函数。
本实施例中,图像处理系统已经被预先配置了一个自适应函数,该自适应函数用于进行图像的自适应的全局亮度调节;优选的,自适应函数为伽马校正函数。
然后,图像处理系统就可以直接根据自适应函数,对待处理图像数据进行自适应的全局亮度调节,得到第一图像数据;第一图像数据为经过了自适应的全局亮度调节的待处理图像数据。
并且,为了良好的提高待处理图像数据的全局亮度,自适应函数中的所涉及的系数和参数,是与根据待处理图像数据的亮度而确定的;由于视觉传感器所采集到的环境图像数据,构成了上述待处理图像数据,从而可知,自适应函数涉及的系数和参数,是与环境图像数据的亮度之间相关的。
优选的,根据上述步骤S205中所确定出第一系数,对待处理图像数据进行自适应的全局亮度调节,得到第一图像数据。并且,第一系数与环境图像数据的亮度之间正相关,即,环境图像数据的亮度越高,第一系数越大;进而可以根据与环境图像数据的亮度之间正相关的第一系数,去调节待处理的全局亮度。
举例来说,在自适应函数为伽马校正函数的时候,可以采用如下公式确定出第一图像数据为
其中,
为待处理图像数据,γ为第一系数。
S206、对第一图像数据进行对比度调节,得到第二图像数据;其中,第二图像数据用于可移动平台的在线图像处理。
可选的,对比度调节所采用的第二系数与环境图像数据的亮度之间负相关。
可选的,步骤S206具体包括以下过程:
根据第二系数,将第一图像数据的第一取值范围,映射到第二取值范围上,其中,第一取值范围为第一图像数据的像素值的取值范围,第二取值范围为第二系数与预设取值之间的取值范围。
根据第一图像数据中的每一个像素点的像素值、第一取值范围和第二取值范围,确定第二图像数据。
本实施例中,图像处理系统依据上述第二系数,对第一图像数据进行图像的对比度调节,使得第一图像数据中的像素点的像素值的差异化更加明显,然后,得到第二图像数据。
具体的,第一图像数据的像素值的取值范围,构成了一个第一取值范围;为了进行对比度的调节,图像处理系统在对第一图像数据进行对比度的拉伸操作的时候,图像处理系统需要先将第一图像数据的第一取值范围,映射到第二取值范围上,上述第二取值范围由第二系数与预设取值之间的取值所构成;从而将第一图像数据的像素值的取值范围,缩小到一个更小的取值范围之内。
然后,图像处理系统依据第一图像数据中的每一个像素点的像素值、第一取值范围和第二取值范围,生成与第一图像数据中的每一个像素点所对应的像素值;进而,与第一图像数据中的每一个像素点所对应的像素值,构成了第二图像数据。
可选的,第二图像数据中的每一个像素点的像素值为y=((x-a)*(d-c)/(b-a))+c;其中,第一取值范围为[a,b],第二取值范围为[c,d],a为第一图像数据的最小像素值,b为第一图像数据的最大像素值,c为第二系数,d为预设取值。
并且,在上述过程中,为了使得所生成的第二图像数据中的像素点的像素值的差异化更加明显,在进行对比度调节的时候,所采用的第二系数是与视觉传感器所采集的环境图像数据的亮度之间负相关,即,环境图像数据的亮度越高,第二系数的取值越小。
S207、将第二图像数据,传输给处理设备进行处理。
本实施例中,图像处理系统将生成的第二图像数据,传输给处理设备进行处理,例如,处理设备可以直接显示第二图像数据,或者,处理设备对第二图像数据中的对象进行识别。
其中,处理设备可以是图像处理系统中的其他控制器,或者,处理设备可以是可移动平台。
例如,图像处理系统为自动驾驶车辆,在自动驾驶车辆的行驶过程中,自动驾驶车辆可以通过视觉传感器获取到自动驾驶车辆行驶环境中的环境图像数据;然后,为了减少计算量,自动驾驶车辆采用步骤S202的过程对环境图像数据进行压缩处理,得到待处理图像数据;然后,自动驾驶车辆采用所确定出的第一系数,采用自适应函数对待处理图像数据进行全局亮度调节;然后,自动驾驶车辆采用所确定出的第二系数,对经过了全局亮度调节的图像,进行对比度调节,得到第二图像数据;进而,自动驾驶车辆可以对第二图像数据进行显示、识别等处理过程。图像处理系统为自动飞行设备的时候,也可以参见如上过程。
举例来说,图7为本申请提供的现有技术的图像示意图一,图8为本申请提供的第二图像数据的图像示意图一,图像处理系统为自动驾驶车辆,自动驾驶车辆在路面上行驶的时候,自动驾驶车辆采用上述过程,获取到环境图像数据,但是环境图像数据所表征的图像的亮度和对比度都很差,自动驾驶车辆无法依据获取到的环境图像数据进行自动驾驶过程;从而,自动驾驶车辆采用本实施例所提供的方案,对环境图像数据依次进行了全局亮度调节、对比度调节之后,得到图8所示的第二图像数据。图7为采用现有技术中的Reinhard算法,对环境图像数据进行调节之后得到的图像,Reinhard算法用于对全局颜色基调单一的图像进行调节;将图7和图8进行对比,可知,采用本申请的方案,在自动驾驶车辆在路面上行驶的场景中,可以明显的提高环境图像数据的全局亮度和对比度。
再举例来说,图9为本申请提供的现有技术的图像示意图二,图10为本申请提供的第二图像数据的图像示意图二,图像处理系统为自动驾驶车辆,自动驾驶车辆在隧道中行驶的时候,自动驾驶车辆采用上述过程,获取到环境图像数据,但是环境图像数据所表征的图像的亮度和对比度都很差,自动驾驶车辆无法依据获取到的环境图像数据,在隧道中进行自动驾驶过程;从而,自动驾驶车辆采用本实施例所提供的方案,对环境图像数据依次进行了全局亮度调节、对比度调节之后,得到图10所示的第二图像数据。图9为采用现有技术中的Reinhard算法,对环境图像数据进行调节之后得到的图像;将图9和图10进行对比,可知,采用本申请的方案,在自动驾驶车辆在隧道上行驶的场景中,可以明显的提高环境图像数据的全局亮度和对比度。
又举例来说,图11为本申请提供的现有技术的图像示意图三,图12为本申请提供的第二图像数据的图像示意图三,图像处理系统为自动驾驶车辆,自动驾驶车辆在夜晚行驶的时候,自动驾驶车辆采用上述过程,获取到环境图像数据,由于夜晚的管线较暗,从而所获取到的环境图像数据所表征的图像的亮度和对比度都很差,自动驾驶车辆无法依据获取到的环境图像数据,在夜晚中进行自动驾驶过程;从而,自动驾驶车辆采用本实施例所提供的方案,对环境图像数据依次进行了全局亮度调节、对比度调节之后,得到图12所示的第二图像数据。图11为采用现有技术中的Reinhard算法,对环境图像数据进行调节之后得到的图像;将图11和图12进行对比,可知,采用本申请的方案,在自动驾驶车辆在夜晚环境中行驶的时候,可以明显的提高环境图像数据的全局亮度和对比度。
本实施例,通过对搭载于可移动平台的视觉传感器所获取的拍摄图像,进行压缩处理,得到待处理图像数据,可以减小图像处理的数据量,加快图像处理速度;然后,根据第一系数,采用自适应函数对待处理图像数据进行全局亮度调节,得到第一图像数据;再根据第二系数,对第一图像数据进行对比度调节,得到第二图像数据;从而,可以提升待处理图像数据的全局亮度和对比度,得到更为清楚的环境图像;然后,就可以将第二图像数据,传输给可移动平台等处理设备进行在线图像处理。从而,由于可以对所获取的待处理图像数据依次进行全局亮度调节、对比度调节,处理过程简单、清楚,可以快速的对高动态范围的待处理图像数据进行压缩,计算速度较快、实时性高;并且,自适应的全局亮度调节,可以使得待处理图像数据的细节尽可能的得到保留;对比度调节的方式,可以提高经过亮度调节后的图像的对比度;自适应的全局亮度调节和对比度调节的调节过程是稳定的,可以对待处理图像数据进行稳定的处理,不会出现噪声、光晕等。
图13为本申请一实施例提供的图像处理系统的结构示意图,图13所示,本实施例提供的图像处理系统600可以包括:处理器601、存储器602和视觉传感器603。
其中,存储器602用于存储程序代码。
视觉传感器603,用于获取待处理图像数据,其中,待处理图像数据为搭载于可移动平台上,且待处理图像数据为环境图像数据。
处理器601,调用程序代码,当程序代码被执行时,用于执行以下操作:对待处理图像数据进行自适应的全局亮度调节,得到第一图像数据;对第一图像数据进行对比度调节,得到第二图像数据;其中,第二图像数据用于可移动平台的在线图像处理。
在一些实施例中,处理器601在对待处理图像数据进行自适应全局亮度调节,得到第一图像数据时,用于:采用自适应函数,对待处理图像数据进行全局亮度调节,得到第一图像数据;其中,自适应函数与环境图像数据的亮度之间相关。
在一些实施例中,自适应函数中的第一系数与环境图像数据的亮度之间相关,第一系数用于对环境图像数据进行亮度调节。
在一些实施例中,对比度调节所采用的第二系数与环境图像数据的亮度之间相关。
在一些实施例中,处理器601在对待处理图像数据进行自适应全局亮度调节,得到第一图像数据之前,还用于:根据待处理图像数据的像素值,确定待处理图像数据的累计直方图信息,其中,累计直方图信息中包括待处理图像数据的各个像素值的累计概率分布值;根据累计直方图信息,确定第一系数和第二系数。
在一些实施例中,具有第一系数和第二系数的像素值的累计概率分布值,大于预设阈值。
在一些实施例中,处理器601在根据累计直方图信息,确定第一系数和第二系数时,用于:设定i的初始值为1,重复执行以下各步骤,直至确定出第一系数和第二系数:判断选取值集合中第i个选取值的累计概率分布值,是否大于预设阈值,其中,选取值集合中包括N个选取值,各选取值均是待处理图像数据的像素值,第i个选取值小于第i+1个选取值,N为大于等于1的正整数,i∈[1,N],i为正整数;若确定大于,则将确定预设的第一预选集合中的第i个第一预选系数,为第一系数,并确定预设的第二预选集合中第i个第二预选系数,为第二系数,其中,第一预选集合中包括N+1个第一预选系数,第i个第一预选系数小于第i+1个第一预选系数,第二预选集合中包括N+1个第二预选系数,第i个第二预选系数大于第i+1个第二预选系数;若确定小于等于,则确定i累加1。
在一些实施例中,处理器601,还用于:在选取值集合中的第N-1个选取值的累计概率分布值,小于等于预设阈值时,若确定选取值集合中的第N个选取值的累计概率分布值,小于等于预设阈值,则确定第一预选集合中的第N+1个第一预选系数,为第一系数,并确定预设的第二预选集合中第N+1个第二预选系数,为第二系数。
在一些实施例中,自适应函数为伽马校正函数。
在一些实施例中,处理器601在对第一图像数据进行对比度调节,得到第二图像数据时,用于:根据第二系数,将第一图像数据的第一取值范围,映射到第二取值范围上,其中,第一取值范围为第一图像数据的像素值的取值范围,第二取值范围为第二系数与预设取值之间的取值范围;根据第一图像数据中的每一个像素点的像素值、第一取值范围和第二取值范围,确定第二图像数据。
在一些实施例中,视觉传感器603在获取待处理图像数据时,用于:获取拍摄图像,其中,拍摄图像为视觉传感器603所获取的高动态范围的环境图像数据。
处理器601,还用于对拍摄图像进行归一化处理,并对归一化后的拍摄图像进行压缩处理,得到待处理图像数据。
在一些实施例中,图像处理系统600,还包括:发送器604;发送器604,用于将第二图像数据,传输给处理设备进行处理。
本实施例的图像处理系统600,可以用于执行图5-图6所提供的方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图14为本申请一实施例提供的可移动平台的结构示意图,图14所示,本实施例提供的可移动平台700可以包括:处理器701、存储器702和视觉传感器703。
其中,存储器702用于存储程序代码。
视觉传感器703,用于获取待处理图像数据,待处理图像数据为环境图像数据。
处理器701,调用程序代码,当程序代码被执行时,用于执行以下操作:对待处理图像数据进行自适应的全局亮度调节,得到第一图像数据;对第一图像数据进行对比度调节,得到第二图像数据;对第二图像数据,进行在线图像处理。
在一些实施例中,处理器701在对待处理图像数据进行自适应全局亮度调节,得到第一图像数据时,用于:采用自适应函数,对待处理图像数据进行全局亮度调节,得到第一图像数据;其中,自适应函数与环境图像数据的亮度之间相关。
在一些实施例中,自适应函数中的第一系数与环境图像数据的亮度之间相关,第一系数用于对环境图像数据进行亮度调节。
在一些实施例中,对比度调节所采用的第二系数与环境图像数据的亮度之间相关。
在一些实施例中,处理器701在对待处理图像数据进行自适应全局亮度调节,得到第一图像数据之前,还用于:根据待处理图像数据的像素值,确定待处理图像数据的累计直方图信息,其中,累计直方图信息中包括待处理图像数据的各个像素值的累计概率分布值;根据累计直方图信息,确定第一系数和第二系数。
在一些实施例中,具有第一系数和第二系数的像素值的累计概率分布值,大于预设阈值。
在一些实施例中,处理器701在根据累计直方图信息,确定第一系数和第二系数时,用于:设定i的初始值为1,重复执行以下各步骤,直至确定出第一系数和第二系数:判断选取值集合中第i个选取值的累计概率分布值,是否大于预设阈值,其中,选取值集合中包括N个选取值,各选取值均是待处理图像数据的像素值,第i个选取值小于第i+1个选取值,N为大于等于1的正整数,i∈[1,N],i为正整数;若确定大于,则将确定预设的第一预选集合中的第i个第一预选系数,为第一系数,并确定预设的第二预选集合中第i个第二预选系数,为第二系数,其中,第一预选集合中包括N+1个第一预选系数,第i个第一预选系数小于第i+1个第一预选系数,第二预选集合中包括N+1个第二预选系数,第i个第二预选系数大于第i+1个第二预选系数;若确定小于等于,则确定i累加1。
在一些实施例中,处理器701,还用于:在选取值集合中的第N-1个选取值的累计概率分布值,小于等于预设阈值时,若确定选取值集合中的第N个选取值的累计概率分布值,小于等于预设阈值,则确定第一预选集合中的第N+1个第一预选系数,为第一系数,并确定预设的第二预选集合中第N+1个第二预选系数,为第二系数。
在一些实施例中,自适应函数为伽马校正函数。
在一些实施例中,处理器701在对第一图像数据进行对比度调节,得到第二图像数据时,用于:根据第二系数,将第一图像数据的第一取值范围,映射到第二取值范围上,其中,第一取值范围为第一图像数据的像素值的取值范围,第二取值范围为第二系数与预设取值之间的取值范围;根据第一图像数据中的每一个像素点的像素值、第一取值范围和第二取值范围,确定第二图像数据。
在一些实施例中,视觉传感器703在获取待处理图像数据时,用于:获取拍摄图像,其中,拍摄图像为视觉传感器所获取的高动态范围的环境图像数据。
处理器701,还用于对拍摄图像进行归一化处理,并对归一化后的拍摄图像进行压缩处理,得到待处理图像数据。
本实施例的可移动平台700,可以用于执行图5-图6所提供的方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本申请实施例中还提供了一种计算机存储介质,该计算机存储介质中存储有程序指令,程序执行时可包括如图5-图6及其对应实施例中的图像处理方法的部分或全部步骤,或者,程序执行时可包括如图5-图6及其对应实施例中的图像处理方法的部分或全部步骤。
图15为本申请另一实施例提供的图像处理系统的结构示意图,如图15所示,本实施例的图像处理系统800可以包括:图像处理系统本体801以及图像处理装置802。
其中,图像处理装置802安装于图像处理系统本体801上。图像处理装置802可以是独立于图像处理系统本体801的装置。
其中,图像处理装置802可以采用图13所示实施例的结构,其对应地,可以执行图5-图6及其对应方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图16为本申请另一实施例提供的可移动平台的结构示意图,如图16所示,本实施例的可移动平台900可以包括:可移动平台本体901以及图像处理装置902。
其中,图像处理装置902安装于可移动平台本体901上。图像处理装置902可以是独立于可移动平台本体901的装置。
其中,图像处理装置902可以采用图14所示实施例的结构,其对应地,可以执行图5-图6及其对应方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:只读内存(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。