CN115766969A - 一种车载图像处理方法、装置、介质及计算设备 - Google Patents
一种车载图像处理方法、装置、介质及计算设备 Download PDFInfo
- Publication number
- CN115766969A CN115766969A CN202211511242.8A CN202211511242A CN115766969A CN 115766969 A CN115766969 A CN 115766969A CN 202211511242 A CN202211511242 A CN 202211511242A CN 115766969 A CN115766969 A CN 115766969A
- Authority
- CN
- China
- Prior art keywords
- image
- processing
- processed
- image data
- modules
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 202
- 230000002708 enhancing effect Effects 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 34
- 230000015654 memory Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004148 unit process Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种车载图像处理方法、装置、介质及计算设备,包括获取从自动驾驶域采集到的第一待处理图像以及从座舱域采集到的第二待处理图像;确定第一待处理图像的第一图像数据量以及第二待处理图像的第二图像数据量;根据所述第一图像数据量和所述第二图像数据量,确定低延迟处理模块的第一数量以及画质增强模块的第二数量;基于第一数量的所述低延迟处理模块和第二数量的所述画质增强模块对所述第一待处理图像和所述第二待处理图像进行处理,得到所述自动驾驶域对应的第一图像数据和所述座舱域对应的第二图像数据。本发明能够为自动驾驶提供低延迟图像处理能力的同时,还可以为座舱等提供高画质的图像处理能力,提升车载图像的处理效率。
Description
技术领域
本发明涉及图像处理技术领域,具体而言,涉及一种车载图像处理方法、装置、介质及计算设备。
背景技术
目前,车载系统中自动驾驶域和座舱域都依赖于图像传感器输出的图像数据,这些数据在被自动驾驶算法和座舱相关算法使用前,都要先经过图像信号处理(ImageSignal Processor,ISP),这些处理包括去噪、颜色插值等。但是自动驾驶算法和座舱相关算法对输入图像的要求不同:自动驾驶域要求ISP对图像传感器的数据处理延迟尽可能低,而对ISP输出的图像是否美观、是否能够达到一个较高的主观审美标准并不关心;座舱域对图像的延迟要求不高,但是因为有观看的需求,其图像在经过ISP处理时,有着较高的主观图像画质的要求。
目前,ISP通常集成在自动驾驶芯片当中。为了同时满足车载场景下自动驾驶低延迟和座舱高画质的要求,座舱部分可以额外再配置一个不同于自动驾驶的ISP。但是两套ISP对产品的成本、集成度以及系统开发维护的难度等,都带来负面的影响。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种车载图像处理方法、装置、介质及计算设备,能够为自动驾驶提供低延迟图像处理能力,同时为座舱等提供高画质的图像处理能力,提升车载图像的处理效率。
根据本发明实施例的一个方面,提供了一种车载图像处理方法,包括:
获取从自动驾驶域采集到的第一待处理图像以及从座舱域采集到的第二待处理图像;
确定所述第一待处理图像的第一图像数据量以及所述第二待处理图像的第二图像数据量;
根据所述第一图像数据量和所述第二图像数据量,确定低延迟处理模块的第一数量以及画质增强模块的第二数量;
基于第一数量的所述低延迟处理模块和第二数量的所述画质增强模块对所述第一待处理图像和所述第二待处理图像进行处理,得到所述自动驾驶域对应的第一图像数据和所述座舱域对应的第二图像数据。
作为一种可选的实施方式,所述根据所述第一图像数据量和所述第二图像数据量,确定低延迟处理模块的第一数量以及画质增强模块的第二数量,包括:
确定与所述第一图像数据量和所述第二图像数据量共同对应的低延迟处理模块的第一数量;
确定与所述第二图像数据量对应的画质增强模块的第二数量。
作为一种可选的实施方式,所述基于第一数量的所述低延迟处理模块和第二数量的所述画质增强模块对所述第一待处理图像和所述第二待处理图像进行处理,得到所述自动驾驶域对应的第一图像数据和所述座舱域对应的第二图像数据,包括:
基于第一数量的所述低延迟处理模块对所述第一待处理图像和所述第二待处理图像进行处理,得到低延迟处理图像;其中,所述低延迟处理图像中包括所述自动驾驶域对应的第一图像数据以及画质待增强图像;
基于第二数量的所述画质增强模块对所述画质待增强图像进行处理,得到所述座舱域对应的第二图像数据。
作为一种可选的实施方式,所述基于第二数量的所述画质增强模块对所述画质待增强图像进行处理,得到所述座舱域对应的第二图像数据,包括:
基于第二数量的所述画质增强模块对所述画质待增强图像进行处理,得到画质增强图像;其中,所述画质增强图像中包括所述座舱域对应的第二图像数据以及高画质待增强图像;
以及,所述得到画质增强图像之后,所述方法还包括:
获取与所述高画质待增强图像对应的高画质增强模块;
基于所述高画质增强模块对所述高画质待增强图像进行处理,得到高画质增强图像。
作为一种可选的实施方式,所述基于第一数量的所述低延迟处理模块对所述第一待处理图像和所述第二待处理图像进行处理,得到低延迟处理图像,包括:
基于第一数量的所述低延迟处理模块对所述第一待处理图像进行处理,得到所述自动驾驶域对应的第一图像数据;
基于所述低延迟处理模块对所述第二待处理图像进行处理,得到画质待增强图像;
将所述第一图像数据和所述画质待增强图像确定为低延迟处理图像;
以及,所述将所述第一图像数据和所述画质待增强图像确定为低延迟处理图像之后,所述方法还包括:
将所述第一图像数据存储至缓存,以使所述自动驾驶域从缓存中读取所述第一图像数据。
根据本发明实施例的另一方面,还提供了一种车载图像处理装置,包括:
获取单元,用于获取从自动驾驶域采集到的第一待处理图像以及从座舱域采集到的第二待处理图像;
第一确定单元,用于确定所述第一待处理图像的第一图像数据量以及所述第二待处理图像的第二图像数据量;
第二确定单元,用于根据所述第一图像数据量和所述第二图像数据量,确定低延迟处理模块的第一数量以及画质增强模块的第二数量;
图像处理单元,用于基于第一数量的所述低延迟处理模块和第二数量的所述画质增强模块对所述第一待处理图像和所述第二待处理图像进行处理,得到所述自动驾驶域对应的第一图像数据和所述座舱域对应的第二图像数据。
根据本发明实施例的又一方面,还提供了一种计算设备,所述计算设备包括:至少一个处理器、存储器和输入输出单元;其中,所述存储器用于存储计算机程序,所述处理器用于调用所述存储器中存储的计算机程序来执行上述车载图像处理方法。
根据本发明实施例的又一方面,还提供了一种计算机可读存储介质,其包括指令,当其在计算机上运行时,使得计算机执行上述车载图像处理方法。
在本发明实施例中,能够根据获取到的自动驾驶域的第一待处理图像的数据量和座舱域的第二待处理图像的数据量,确定出低延迟处理模块的第一数量以及画质增强模块的第二数量,通过第一数量的低延迟处理模块和第二数量的画质增强模块对第一待处理图像和第二待处理图像进行处理,得到自动驾驶域对应的第一图像数据和座舱域对应的第二图像数据,本发明在为自动驾驶提供低延迟图像处理能力的同时,还可以为座舱等提供高画质的图像处理能力,提升车载图像的处理效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的车载图像处理方法的流程示意图;
图2是根据本发明实施例的一种可选的车载图像处理装置的结构示意图;
图3示意性地示出了本发明实施例的一种介质的结构示意图;
图4示意性地示出了本发明实施例的一种计算设备的结构示意图;
图5a示意性地示出了本发明实施例的由低延迟处理模块A和画质增强模块B构成的两级ISP架构;
图5b示意性地示出了本发明实施例的两级ISP架构的处理数据流;
图6a示意性地示出了本发明实施例的由低延迟处理模块A和画质增强模块B、C构成的三级ISP架构;
图6b示意性地示出了本发明实施例的三级ISP架构的处理数据流。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面参考图1,图1为本发明一实施例提供的车载图像处理方法的流程示意图。需要注意的是,本发明的实施方式可以应用于适用的任何场景。
图1所示的本发明一实施例提供的车载图像处理方法的流程,包括:
步骤S101,获取从自动驾驶域采集到的第一待处理图像以及从座舱域采集到的第二待处理图像。
本发明实施例中,第一待处理图像可以为自动驾驶域图像传感器采集到的图像,第二待处理图像可以为座舱域图像传感器采集到的图像。自动驾驶域图像传感器的数量可以为一个或多个,座舱域图像传感器的数量可以为一个或多个;第一待处理图像的数量可以为一个或多个,第二待处理图像的数量可以为一个或多个。
步骤S102,确定所述第一待处理图像的第一图像数据量以及所述第二待处理图像的第二图像数据量。
作为一种可选的实施方式,步骤S102确定所述第一待处理图像的第一图像数据量以及所述第二待处理图像的第二图像数据量的方式具体为:
确定与所述第一图像数据量和所述第二图像数据量共同对应的低延迟处理模块的第一数量;
确定与所述第二图像数据量对应的画质增强模块的第二数量。
其中,实施这种实施方式,可以根据第一图像数据量和第二图像数据量共同确定低延迟处理模块的第一数量,以使低延迟处理模块能够对第一待处理图像和第二待处理图像同时进行处理,并且可以根据第二图像数据量确定画质增强模块的第二数量,以使画质增强模块能够满足第二待处理图像的处理需求,提升了低延迟处理模块以及画质增强模块对图像处理的灵活性。
步骤S103,根据所述第一图像数据量和所述第二图像数据量,确定低延迟处理模块的第一数量以及画质增强模块的第二数量。
本发明实施例可以提供ISP架构,包含低延迟处理模块和画质增强模块。ISP架构可以由第一级的ISP A1~Am和第二级的ISP B1~Bn构成。ISP A1~Am代表低延迟处理模块,ISP B1~Bn代表画质增强模块。其中低延迟处理模块包含了ISP处理的基本功能,这些功能可以满足自动驾驶的较低画质要求。画质增强模块在低延迟处理模块的基础上,进一步对图像数据进行更为复杂的处理,可以为座舱域提供画质更为出色的图像。为了满足汽车领域多个图像传感器数据需要同时处理的高吞吐要求,可以在ISP架构中使用多个低延迟处理模块和画质增强模块。
本发明实施例中,上述ISP A1~Am模块,以及B1~Bn模块,可以是图像处理算法硬化后的专用集成电路(ASIC),也可以是通用可编程的各种处理器,如CPU、DSP、GPU,还可以是各种可重构期间,如CPLD、FPGA等。ISP模块的类型不对本发明构成限制。上述的缓存模块,可以是DDR,或者其他类型的存储设备。缓存的类型不对本发明构成限制。
本发明实施例中,ISP架构可以根据处理能力需求,灵活配置每一级处理模块的数量,实现处理能力的充分利用。通常情况下,ISP各级模块会利用缓存进行分时复用,达到利用率最大化的目的。此时可以根据各种应用待处理的图像数据量以及每个模块的处理能力,计算每个模块所需要的数量,避免处理能力的浪费。
举例来说,以两级ISP架构为例,假设为自动驾驶搭配了3个帧率30帧/秒的5兆像素图像传感器,同时为座舱搭配了1个帧率30帧/秒的2兆像素图像传感器,低延迟处理模块A和画质增强模块B的处理能力分别是300兆像素/s和100兆像素/秒,此时只需要2个模块A和1个模块B就能够满足系统要求。
步骤S104,基于第一数量的所述低延迟处理模块和第二数量的所述画质增强模块对所述第一待处理图像和所述第二待处理图像进行处理,得到所述自动驾驶域对应的第一图像数据和所述座舱域对应的第二图像数据。
作为一种可选的实施方式,步骤S104基于第一数量的所述低延迟处理模块和第二数量的所述画质增强模块对所述第一待处理图像和所述第二待处理图像进行处理,得到所述自动驾驶域对应的第一图像数据和所述座舱域对应的第二图像数据的方式具体为:
基于第一数量的所述低延迟处理模块对所述第一待处理图像和所述第二待处理图像进行处理,得到低延迟处理图像;其中,所述低延迟处理图像中包括所述自动驾驶域对应的第一图像数据以及画质待增强图像;
基于第二数量的所述画质增强模块对所述画质待增强图像进行处理,得到所述座舱域对应的第二图像数据。
其中,实施这种实施方式,可以对第一待处理图像和第二待处理图像同时进行低延迟处理,以满足自动驾驶域对低延迟处理的图像的使用需求,进而可以对画质待增强图像进行进一步的画质增强处理,简化了对图像进行低延迟处理以及画质增强的过程。
作为一种可选的实施方式,基于第一数量的所述低延迟处理模块对所述第一待处理图像和所述第二待处理图像进行处理,得到低延迟处理图像的方式具体为:
基于第一数量的所述低延迟处理模块对所述第一待处理图像进行处理,得到所述自动驾驶域对应的第一图像数据;
基于所述低延迟处理模块对所述第二待处理图像进行处理,得到画质待增强图像;
将所述第一图像数据和所述画质待增强图像确定为低延迟处理图像;
以及,所述将所述第一图像数据和所述画质待增强图像确定为低延迟处理图像之后,所述方法还包括:
将所述第一图像数据存储至缓存,以使所述自动驾驶域从缓存中读取所述第一图像数据。
其中,实施这种实施方式,可以在得到低延迟处理图像后,将自动驾驶域需要使用的第一图像数据存储至缓存,以使自动驾驶域能够随时获取到第一图像数据,并且可以将第一图像数据与画质待增强图像分离,以避免第一图像数据也去进行额外的图像增强,提升了画质增强模块的效率。
作为一种可选的实施方式,基于第二数量的所述画质增强模块对所述画质待增强图像进行处理,得到所述座舱域对应的第二图像数据的方式具体为:
基于第二数量的所述画质增强模块对所述画质待增强图像进行处理,得到画质增强图像;其中,所述画质增强图像中包括所述座舱域对应的第二图像数据以及高画质待增强图像;
以及,所述得到画质增强图像之后,所述方法还包括:
获取与所述高画质待增强图像对应的高画质增强模块;
基于所述高画质增强模块对所述高画质待增强图像进行处理,得到高画质增强图像。
其中,实施这种实施方式,可以对进行画质增强的图像进一步进行高画质增强,以满足不同的图像要求。
本发明实施例中,根据画质需求灵活可扩展,不断提高输出图像质量。当ISP架构最高画质已经无法满足应用要求的时候,可以以缓存为媒介,向后扩展出更多的图像处理层级。例如两级和三级的ISP架构,实际应用中可以根据需求继续扩展出更多层级,这些层级会对图像进行更多更复杂的处理,以满足用户对画质的要求。
举例来说,请一并参阅图5a和图5b,图5a示意性地示出了本发明实施例的由低延迟处理模块A和画质增强模块B构成的两级ISP架构;图5b示意性地示出了本发明实施例的两级ISP架构的处理数据流,其中:
假设某车辆系统配备了1个座舱图像传感器和2个自动驾驶图像传感器,ISP对该系统进行图像处理的数据流如图5b所示。系统工作时,3个图像传感器的图像数据先进入缓存,之后ISP A1分时复用,从缓存中将图像数据逐行读出并进行处理,处理后的数据被逐行写入缓存。此时的图像质量已经可以满足自动驾驶域的要求,没有必要进行引入额外延迟的画质提升处理,自动驾驶可以从缓存中取用相关图像数据。ISP B1对缓存中已经经过低延迟模块处理的图像数据进行进一步更为复杂的处理,提升图像画质,满足座舱域要求。经过B1处理后的图像,虽然延迟更大,但是画质更好。和自动驾驶域一样,座舱域也是从缓存中读取相关的图像数据。
图5b的示例中,ISP A1通过分时复用处理了3个图像传感器的数据。当图像传感器的数量超过对应的ISP模块数量时,可以借助缓存,对ISP模块进行分时复用,满足对数量更多的图像传感器数据的处理需求。当多个图像传感器的总数据量超过ISP A1的处理能力时,可以增加ISP A2、ISP A3等,以满足性能要求。同理,也可以增加ISP B2、ISP B3等,满足对高图像画质处理的性能要求。
举例来说,请一并参阅图6a和图6b,图6a示意性地示出了本发明实施例的由低延迟处理模块A和画质增强模块B、C构成的三级ISP架构;图6b示意性地示出了本发明实施例的三级ISP架构的处理数据流,其中:
为了提供更多的画质选择,进一步获得更好的图像质量,ISP可以划分为更多的层级;同时,为了处理更多图像传感器带来的更多图像数据,每一级可以增加对应的处理单元。如图6a和图6b所示,ISP由A、B和C三级构成。其中A1~A3为低延迟处理模块,其输出特点为低延迟,画质不高,主要为自动驾驶域服务;B1,B2以及C1为画质增强模块,其输出特点为延迟较高,但是画质更好,主要为对延迟不敏感但是对画质有较高要求的领域服务,如座舱。特别的,ISP C1的输出延迟最大,画质最高,可用于其他对画质要求更高但是对延迟不敏感的场合。和图5a和图5b中的两级ISP架构相比,三级ISP架构第一级增加了ISP A2和ISPA3,第二级增加了ISP B2,分别应对更多的低延迟数据处理和高画质数据处理。
本发明能够为自动驾驶提供低延迟图像处理能力的同时,还可以为座舱等提供高画质的图像处理能力,提升车载图像的处理效率。此外,本发明还可以提升低延迟处理模块以及画质增强模块对图像处理的灵活性。此外,本发明还可以简化对图像进行低延迟处理以及画质增强的过程。此外,本发明还可以提升画质增强模块的效率。此外,本发明还可以对进行画质增强的图像进一步进行高画质增强,以满足不同的图像要求。
在介绍了本发明示例性实施方式的方法之后,接下来,参考图2对本发明示例性实施方式的一种车载图像处理装置进行说明,该装置包括:
获取单元201,用于获取从自动驾驶域采集到的第一待处理图像以及从座舱域采集到的第二待处理图像;
第一确定单元202,用于确定获取单元201获取的所述第一待处理图像的第一图像数据量以及所述第二待处理图像的第二图像数据量;
第二确定单元203,用于根据第一确定单元202确定的所述第一图像数据量和所述第二图像数据量,确定低延迟处理模块的第一数量以及画质增强模块的第二数量;
图像处理单元204,用于基于第二确定单元203确定的第一数量的所述低延迟处理模块和第二数量的所述画质增强模块对所述第一待处理图像和所述第二待处理图像进行处理,得到所述自动驾驶域对应的第一图像数据和所述座舱域对应的第二图像数据。
作为一种可选的实施方式,第一确定单元202确定所述第一待处理图像的第一图像数据量以及所述第二待处理图像的第二图像数据量的方式具体为:
确定与所述第一图像数据量和所述第二图像数据量共同对应的低延迟处理模块的第一数量;
确定与所述第二图像数据量对应的画质增强模块的第二数量。
其中,实施这种实施方式,可以根据第一图像数据量和第二图像数据量共同确定低延迟处理模块的第一数量,以使低延迟处理模块能够对第一待处理图像和第二待处理图像同时进行处理,并且可以根据第二图像数据量确定画质增强模块的第二数量,以使画质增强模块能够满足第二待处理图像的处理需求,提升了低延迟处理模块以及画质增强模块对图像处理的灵活性。
作为一种可选的实施方式,图像处理单元204基于第一数量的所述低延迟处理模块和第二数量的所述画质增强模块对所述第一待处理图像和所述第二待处理图像进行处理,得到所述自动驾驶域对应的第一图像数据和所述座舱域对应的第二图像数据的方式具体为:
基于第一数量的所述低延迟处理模块对所述第一待处理图像和所述第二待处理图像进行处理,得到低延迟处理图像;其中,所述低延迟处理图像中包括所述自动驾驶域对应的第一图像数据以及画质待增强图像;
基于第二数量的所述画质增强模块对所述画质待增强图像进行处理,得到所述座舱域对应的第二图像数据。
其中,实施这种实施方式,可以对第一待处理图像和第二待处理图像同时进行低延迟处理,以满足自动驾驶域对低延迟处理的图像的使用需求,进而可以对画质待增强图像进行进一步的画质增强处理,简化了对图像进行低延迟处理以及画质增强的过程。
作为一种可选的实施方式,图像处理单元204基于第二数量的所述画质增强模块对所述画质待增强图像进行处理,得到所述座舱域对应的第二图像数据的方式具体为:
基于第二数量的所述画质增强模块对所述画质待增强图像进行处理,得到画质增强图像;其中,所述画质增强图像中包括所述座舱域对应的第二图像数据以及高画质待增强图像;
以及,所述图像处理单元204还用于:
在得到画质增强图像之后,获取与所述高画质待增强图像对应的高画质增强模块;
基于所述高画质增强模块对所述高画质待增强图像进行处理,得到高画质增强图像。
其中,实施这种实施方式,可以对进行画质增强的图像进一步进行高画质增强,以满足不同的图像要求。
作为一种可选的实施方式,图像处理单元204基于第一数量的所述低延迟处理模块对所述第一待处理图像和所述第二待处理图像进行处理,得到低延迟处理图像的方式具体为:
基于第一数量的所述低延迟处理模块对所述第一待处理图像进行处理,得到所述自动驾驶域对应的第一图像数据;
基于所述低延迟处理模块对所述第二待处理图像进行处理,得到画质待增强图像;
将所述第一图像数据和所述画质待增强图像确定为低延迟处理图像;
以及,所述图像处理单元204还用于:
在将所述第一图像数据和所述画质待增强图像确定为低延迟处理图像之后,将所述第一图像数据存储至缓存,以使所述自动驾驶域从缓存中读取所述第一图像数据。
其中,实施这种实施方式,可以在得到低延迟处理图像后,将自动驾驶域需要使用的第一图像数据存储至缓存,以使自动驾驶域能够随时获取到第一图像数据,并且可以将第一图像数据与画质待增强图像分离,以避免第一图像数据也去进行额外的图像增强,提升了画质增强模块的效率。
在介绍了本发明示例性实施方式的方法和装置之后,接下来,参考图3对本发明示例性实施方式的计算机可读存储介质进行说明,请参考图3,其示出的计算机可读存储介质为光盘30,其上存储有计算机程序(即程序产品),所述计算机程序在被处理器运行时,会实现上述方法实施方式中所记载的各步骤,例如,获取从自动驾驶域采集到的第一待处理图像以及从座舱域采集到的第二待处理图像;确定第一待处理图像的第一图像数据量以及第二待处理图像的第二图像数据量;根据所述第一图像数据量和所述第二图像数据量,确定低延迟处理模块的第一数量以及画质增强模块的第二数量;基于第一数量的所述低延迟处理模块和第二数量的所述画质增强模块对所述第一待处理图像和所述第二待处理图像进行处理,得到所述自动驾驶域对应的第一图像数据和所述座舱域对应的第二图像数据;各步骤的具体实现方式在此不再重复说明。
需要说明的是,所述计算机可读存储介质的例子还可以包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质,在此不再一一赘述。
在介绍了本发明示例性实施方式的方法、介质和装置之后,接下来,参考图4对本发明示例性实施方式的用于车载图像处理的计算设备。
图4示出了适于用来实现本发明实施方式的示例性计算设备40的框图,该计算设备40可以是计算机系统或服务器。图4显示的计算设备40仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,计算设备40的组件可以包括但不限于:一个或者多个处理器或者处理单元401,系统存储器402,连接不同系统组件(包括系统存储器402和处理单元401)的总线403。
计算设备40典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备40访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器402可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)4021和/或高速缓存存储器4022。计算设备40可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,ROM4023可以用于读写不可移动的、非易失性磁介质(图4中未显示,通常称为“硬盘驱动器”)。尽管未在图4中示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线403相连。系统存储器402中可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块4024的程序/实用工具4025,可以存储在例如系统存储器402中,且这样的程序模块4024包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块4024通常执行本发明所描述的实施例中的功能和/或方法。
计算设备40也可以与一个或多个外部设备404(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口405进行。并且,计算设备40还可以通过网络适配器406与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图4所示,网络适配器406通过总线403与计算设备40的其它模块(如处理单元401等)通信。应当明白,尽管图4中未示出,可以结合计算设备40使用其它硬件和/或软件模块。
处理单元401通过运行存储在系统存储器402中的程序,从而执行各种功能应用以及数据处理,例如,获取从自动驾驶域采集到的第一待处理图像以及从座舱域采集到的第二待处理图像;确定第一待处理图像的第一图像数据量以及第二待处理图像的第二图像数据量;根据所述第一图像数据量和所述第二图像数据量,确定低延迟处理模块的第一数量以及画质增强模块的第二数量;基于第一数量的所述低延迟处理模块和第二数量的所述画质增强模块对所述第一待处理图像和所述第二待处理图像进行处理,得到所述自动驾驶域对应的第一图像数据和所述座舱域对应的第二图像数据。各步骤的具体实现方式在此不再重复说明。应当注意,尽管在上文详细描述中提及了车载图像处理装置的若干单元/模块或子单元/子模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
Claims (10)
1.一种车载图像处理方法,包括:
获取从自动驾驶域采集到的第一待处理图像以及从座舱域采集到的第二待处理图像;
确定所述第一待处理图像的第一图像数据量以及所述第二待处理图像的第二图像数据量;
根据所述第一图像数据量和所述第二图像数据量,确定低延迟处理模块的第一数量以及画质增强模块的第二数量;
基于第一数量的所述低延迟处理模块和第二数量的所述画质增强模块对所述第一待处理图像和所述第二待处理图像进行处理,得到所述自动驾驶域对应的第一图像数据和所述座舱域对应的第二图像数据。
2.根据权利要求1所述的车载图像处理方法,所述根据所述第一图像数据量和所述第二图像数据量,确定低延迟处理模块的第一数量以及画质增强模块的第二数量,包括:
确定与所述第一图像数据量和所述第二图像数据量共同对应的低延迟处理模块的第一数量;
确定与所述第二图像数据量对应的画质增强模块的第二数量。
3.根据权利要求1或2所述的车载图像处理方法,所述基于第一数量的所述低延迟处理模块和第二数量的所述画质增强模块对所述第一待处理图像和所述第二待处理图像进行处理,得到所述自动驾驶域对应的第一图像数据和所述座舱域对应的第二图像数据,包括:
基于第一数量的所述低延迟处理模块对所述第一待处理图像和所述第二待处理图像进行处理,得到低延迟处理图像;其中,所述低延迟处理图像中包括所述自动驾驶域对应的第一图像数据以及画质待增强图像;
基于第二数量的所述画质增强模块对所述画质待增强图像进行处理,得到所述座舱域对应的第二图像数据。
4.根据权利要求3所述的车载图像处理方法,所述基于第二数量的所述画质增强模块对所述画质待增强图像进行处理,得到所述座舱域对应的第二图像数据,包括:
基于第二数量的所述画质增强模块对所述画质待增强图像进行处理,得到画质增强图像;其中,所述画质增强图像中包括所述座舱域对应的第二图像数据以及高画质待增强图像;
以及,所述得到画质增强图像之后,所述方法还包括:
获取与所述高画质待增强图像对应的高画质增强模块;
基于所述高画质增强模块对所述高画质待增强图像进行处理,得到高画质增强图像。
5.根据权利要求3所述的车载图像处理方法,所述基于第一数量的所述低延迟处理模块对所述第一待处理图像和所述第二待处理图像进行处理,得到低延迟处理图像,包括:
基于第一数量的所述低延迟处理模块对所述第一待处理图像进行处理,得到所述自动驾驶域对应的第一图像数据;
基于所述低延迟处理模块对所述第二待处理图像进行处理,得到画质待增强图像;
将所述第一图像数据和所述画质待增强图像确定为低延迟处理图像;
以及,所述将所述第一图像数据和所述画质待增强图像确定为低延迟处理图像之后,所述方法还包括:
将所述第一图像数据存储至缓存,以使所述自动驾驶域从缓存中读取所述第一图像数据。
6.一种车载图像处理装置,包括:
获取单元,用于获取从自动驾驶域采集到的第一待处理图像以及从座舱域采集到的第二待处理图像;
第一确定单元,用于确定所述第一待处理图像的第一图像数据量以及所述第二待处理图像的第二图像数据量;
第二确定单元,用于根据所述第一图像数据量和所述第二图像数据量,确定低延迟处理模块的第一数量以及画质增强模块的第二数量;
图像处理单元,用于基于第一数量的所述低延迟处理模块和第二数量的所述画质增强模块对所述第一待处理图像和所述第二待处理图像进行处理,得到所述自动驾驶域对应的第一图像数据和所述座舱域对应的第二图像数据。
7.根据权利要求6所述的车载图像处理装置,所述第一确定单元确定所述第一待处理图像的第一图像数据量以及所述第二待处理图像的第二图像数据量的方式具体为:
确定与所述第一图像数据量和所述第二图像数据量共同对应的低延迟处理模块的第一数量;
确定与所述第二图像数据量对应的画质增强模块的第二数量。
8.根据权利要求6或7所述的车载图像处理装置,所述图像处理单元基于第一数量的所述低延迟处理模块和第二数量的所述画质增强模块对所述第一待处理图像和所述第二待处理图像进行处理,得到所述自动驾驶域对应的第一图像数据和所述座舱域对应的第二图像数据的方式具体为:
基于第一数量的所述低延迟处理模块对所述第一待处理图像和所述第二待处理图像进行处理,得到低延迟处理图像;其中,所述低延迟处理图像中包括所述自动驾驶域对应的第一图像数据以及画质待增强图像;
基于第二数量的所述画质增强模块对所述画质待增强图像进行处理,得到所述座舱域对应的第二图像数据。
9.一种计算设备,所述计算设备包括:
至少一个处理器、存储器和输入输出单元;
其中,所述存储器用于存储计算机程序,所述处理器用于调用所述存储器中存储的计算机程序来执行如权利要求1~5中任一项所述的方法。
10.一种计算机可读存储介质,其包括指令,当其在计算机上运行时,使得计算机执行如权利要求1~5中的任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211511242.8A CN115766969B (zh) | 2022-11-29 | 2022-11-29 | 一种车载图像处理方法、装置、介质及计算设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211511242.8A CN115766969B (zh) | 2022-11-29 | 2022-11-29 | 一种车载图像处理方法、装置、介质及计算设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115766969A true CN115766969A (zh) | 2023-03-07 |
CN115766969B CN115766969B (zh) | 2024-06-11 |
Family
ID=85340179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211511242.8A Active CN115766969B (zh) | 2022-11-29 | 2022-11-29 | 一种车载图像处理方法、装置、介质及计算设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115766969B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116485626A (zh) * | 2023-04-10 | 2023-07-25 | 北京辉羲智能科技有限公司 | 一种对传感器数据转储的自动驾驶SoC芯片 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150237280A1 (en) * | 2014-02-19 | 2015-08-20 | Samsung Electronics Co., Ltd. | Image processing device with multiple image signal processors and image processing method |
CN105657422A (zh) * | 2016-01-21 | 2016-06-08 | 航天恒星科技有限公司 | 多场景的图像压缩处理方法及系统 |
CN105872651A (zh) * | 2015-12-18 | 2016-08-17 | 乐视移动智能信息技术(北京)有限公司 | 图像处理方法及装置 |
CN106056572A (zh) * | 2015-04-16 | 2016-10-26 | 莱卡仪器(新加坡)私人有限公司 | 用于显微镜的显微图像控制器装置、显微镜以及显微方法 |
CN110113603A (zh) * | 2019-04-22 | 2019-08-09 | 屠晓 | 高清视频处理终端 |
JP2020095741A (ja) * | 2020-03-03 | 2020-06-18 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
US20210192686A1 (en) * | 2019-12-18 | 2021-06-24 | Samsung Electronics Co., Ltd. | Apparatus and method of controlling the same |
US20220224906A1 (en) * | 2019-09-30 | 2022-07-14 | SZ DJI Technology Co., Ltd. | Image processing method and apparatus for mobile platform, mobile platform, and medium |
-
2022
- 2022-11-29 CN CN202211511242.8A patent/CN115766969B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150237280A1 (en) * | 2014-02-19 | 2015-08-20 | Samsung Electronics Co., Ltd. | Image processing device with multiple image signal processors and image processing method |
CN106056572A (zh) * | 2015-04-16 | 2016-10-26 | 莱卡仪器(新加坡)私人有限公司 | 用于显微镜的显微图像控制器装置、显微镜以及显微方法 |
CN105872651A (zh) * | 2015-12-18 | 2016-08-17 | 乐视移动智能信息技术(北京)有限公司 | 图像处理方法及装置 |
CN105657422A (zh) * | 2016-01-21 | 2016-06-08 | 航天恒星科技有限公司 | 多场景的图像压缩处理方法及系统 |
CN110113603A (zh) * | 2019-04-22 | 2019-08-09 | 屠晓 | 高清视频处理终端 |
US20220224906A1 (en) * | 2019-09-30 | 2022-07-14 | SZ DJI Technology Co., Ltd. | Image processing method and apparatus for mobile platform, mobile platform, and medium |
US20210192686A1 (en) * | 2019-12-18 | 2021-06-24 | Samsung Electronics Co., Ltd. | Apparatus and method of controlling the same |
JP2020095741A (ja) * | 2020-03-03 | 2020-06-18 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
Non-Patent Citations (2)
Title |
---|
NORHASHIM MOHD ARSHAD; NOORFADZLI ABDUL RAZAK: "Vision-based detection technique for effective line-tracking autonomus vehicle", 2012 IEEE 8TH INTERNATIONAL COLLOQUIUM ON SIGNAL PROCESSING AND ITS APPLICATIONS, 7 May 2012 (2012-05-07) * |
朱胜利: "基于移动智能终端的视像信号处理技术研究", 优秀博士学位论文, 1 April 2014 (2014-04-01) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116485626A (zh) * | 2023-04-10 | 2023-07-25 | 北京辉羲智能科技有限公司 | 一种对传感器数据转储的自动驾驶SoC芯片 |
CN116485626B (zh) * | 2023-04-10 | 2024-03-12 | 北京辉羲智能科技有限公司 | 一种对传感器数据转储的自动驾驶SoC芯片 |
Also Published As
Publication number | Publication date |
---|---|
CN115766969B (zh) | 2024-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9286650B2 (en) | Video processing apparatus, display apparatus, and video processing method | |
US11176438B2 (en) | Neural network system, application processor having the same, and method of operating the neural network system | |
WO2018077295A1 (zh) | 一种卷积神经网络的数据处理方法和装置 | |
CN108961170B (zh) | 图像处理方法、装置和系统 | |
US10169295B2 (en) | Convolution operation device and method | |
CN115766969A (zh) | 一种车载图像处理方法、装置、介质及计算设备 | |
EP3270371B1 (en) | Method and apparatus for managing graphics layers within a graphics display component | |
CN108346131A (zh) | 一种数字图像缩放方法、装置及显示设备 | |
US20180246641A1 (en) | Triggering control of a zone using a zone image overlay on an in-vehicle display | |
CN112308789A (zh) | 基于视觉的辅助系统和方法 | |
CN114510207B (zh) | 图层合成方法、装置、设备、介质及程序产品 | |
US20070291178A1 (en) | Noise reduction apparatus for image signal and method thereof | |
CN113918233A (zh) | 一种ai芯片控制方法、电子设备及ai芯片 | |
US8072462B2 (en) | System, method, and computer program product for preventing display of unwanted content stored in a frame buffer | |
CN116527978A (zh) | 一种多屏互动的控制方法及装置 | |
CN108765341B (zh) | 一种图像处理的方法及其装置 | |
CN113554164A (zh) | 神经网络模型的优化、数据处理方法及装置、存储介质 | |
CN113348436B (zh) | 显示控制系统及方法、显示装置及方法、移动体、记录介质 | |
CN109427071B (zh) | 一种全搜索块匹配方法和装置 | |
CN117273102B (zh) | 用于池化加速器的装置及方法和芯片电路及计算设备 | |
KR20240039394A (ko) | 영상 처리 장치, 그것을 갖는 전자 장치, 그것의 동작 방법 | |
CN115981505A (zh) | 触摸信号处理方法、装置、设备及存储介质 | |
JP4844143B2 (ja) | メモリバス負荷調整装置 | |
CN115981623A (zh) | 车机用户界面动态调整方法、装置、车机及存储介质 | |
CN116934632A (zh) | 一种图像降噪方法、装置及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |