CN116416114A - 一种车载显示器的成像方法及成像系统 - Google Patents
一种车载显示器的成像方法及成像系统 Download PDFInfo
- Publication number
- CN116416114A CN116416114A CN202111662080.3A CN202111662080A CN116416114A CN 116416114 A CN116416114 A CN 116416114A CN 202111662080 A CN202111662080 A CN 202111662080A CN 116416114 A CN116416114 A CN 116416114A
- Authority
- CN
- China
- Prior art keywords
- image
- format
- layer
- vehicle
- image processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 92
- 230000004044 response Effects 0.000 claims abstract description 25
- 230000015654 memory Effects 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 22
- 230000005540 biological transmission Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 14
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- OFHCOWSQAMBJIW-AVJTYSNKSA-N alfacalcidol Chemical compound C1(/[C@@H]2CC[C@@H]([C@]2(CCC1)C)[C@H](C)CCCC(C)C)=C\C=C1\C[C@@H](O)C[C@H](O)C1=C OFHCOWSQAMBJIW-AVJTYSNKSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供了一种车载显示器的成像方法及成像系统。上述成像方法包括:响应于处于倒车模式,第一图像处理器将第一格式的第一图层转化为第二格式,第一图层承载倒车辅助标记,第二格式的数据量小于第一格式的数据量;第二图像处理器获取第二格式的第一图层以及第一格式的第二图层,以第二格式的第一图层为上层图层、以第一格式的第二图层为下层图层,合成第二格式的第一图层与第一格式的第二图层为实时的倒车图像,并输出倒车图像至车载显示器;第二图层承载实时的车辆后方图像。本发明中,通过第一图像处理器事先将需要合成的图层转化为数据量较小的格式,能够减轻为车载显示器提供图像的第二图像处理器的运转负荷,有效缓解闪屏问题。
Description
技术领域
本发明涉及车载领域,尤其涉及车载领域中,车载显示器的成像方法及成像系统。
背景技术
随着经济的发展,尤其是汽车工业的发展,现在社会的汽车数量越来越多,伴随着人们生活水平的提高,将汽车用作代步工具已经非常普遍,消费者在购车时对于车辆的配置要求也越来越高,但目前市场上常见的汽车配置都满足不了消费者对车辆人性化、智能化的要求。
车载显示器,是目前车辆实现智能化过程中,用以与用户交互的一个重要组件。用户能够通过车载显示器查看多种信息。例如,可以通过插入USB等存储介质,指令车载系统播放存储介质内的视频,并通过车载显示器进行显示。可以指令车载系统进行导航,将导航的画面显示在车载显示器中。可以在倒车时,将车辆后方的实时图像结合倒车辅助标记呈现在车载显示器上,辅助用户进行倒车等等。
由于视频播放、车载导航的特殊性,通常来说,只要用户不选择主动退出这两个功能,车载系统将在后台持续进行视频播放(即使处于暂停状态)、持续进行导航。也就是说,存在多个应用程序并行使用的情况。根据现有的实践,发现当车载系统内存在多个应用并行使用时,会低概率引发车载显示器闪屏问题,具体表现为显示器显示过程中图像出现了瞬间窜位,无法显示完整的画面,随后立即恢复等。尤其是视频播放、车载导航、倒车影像三个应用并发使用时复现率较高,给用户的体现不佳。
有鉴于此,希望能够提供一种车载显示器的成像方法及成像系统,能够解决在车载显示器的成像过程中出现的闪屏问题,改善用户体验。
发明内容
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览,并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
本发明的一个目的在于提供一种车载显示器的成像方法及成像系统,其优势在于,本发明在倒车模式下,通过借助于第一图像处理器对需要合成的图层事先进行转化,能够降低成像送显的第二图像处理器的运转负荷,从而能够有效改善第二图像处理器的成像送显流程,进而改善了车载显示屏的闪屏问题。
本发明的另一个目的在于提供一种车载显示器的成像方法及成像系统,其优势在于,本发明在倒车模式下,能够通过第二图像处理器对承载了倒车辅助标记的第一图层和承载了实时的车辆后方图像的第二图层进行合成,并且,能够通过透过处理,将倒车辅助标记显示在实时车辆后方图像的上面,让用户既能观察到车辆实时后方图像,又能够及时看到辅助倒车标记,便于用户进行倒车。
本发明的另一个目的在于提供一种车载显示器的成像方法及成像系统,其优势在于,本发明在需要响应多个应用并行的图像处理需求时,通过设置各个应用的优先级,暂停处理在后台的应用所要求的图像处理需求,从而能够有效降低各个图像处理器的运转负荷,进一步缓解闪屏问题。
本发明的优势和特点可通过下面的详细说明得以充分体现并可通过所附的示意性实施例得以实现。
本发明的一方面提供了一种车载显示器的成像方法,包括以下步骤:响应于处于倒车模式,第一图像处理器将第一格式的第一图层转化为第二格式,所述第一图层承载倒车辅助标记,所述第二格式的数据量小于所述第一格式的数据量;第二图像处理器获取所述第二格式的第一图层以及所述第一格式的第二图层,所述第二图层承载实时的车辆后方图像;所述第二图像处理器以所述第二格式的第一图层为上层图层、以所述第一格式的第二图层为下层图层,合成所述第二格式的第一图层与所述第一格式的第二图层为实时的倒车图像;以及所述第二图像处理器输出所述倒车图像至所述车载显示器。
根据本发明的一个实施例,所述第二图像处理器在合成所述第一图层与所述第二图层时,对所述第一图层中所述倒车辅助标记以外的像素点进行透过处理。
根据本发明的一个实施例,所述第一图像处理器还被配置为:响应于处于导航模式,生成导航画面,并输出所述导航画面至所述车载显示器;其中,所述成像方法还包括:响应于处于所述倒车模式且未退出所述导航模式,控制所述第一图像处理器暂停生成所述导航画面,直至退出所述倒车模式。
本发明的另一方面还提供了一种车载显示器的成像系统,所述成像系统至少包括第一图像处理器、第二图像处理器和存储器;其中响应于处于倒车模式,所述第一图像处理器被配置为:将第一格式的第一图层转化为第二格式,并存储在所述存储器中,所述第一图层承载倒车辅助标记,所述第二格式的数据量小于所述第一格式的数据量;所述第二图像处理器被配置为:从所述存储器获取所述第二格式的第一图层以及所述第一格式的第二图层,所述第二图层承载实时的车辆后方图像;以所述第二格式的第一图层为上层图层、以所述第一格式的第二图层为下层图层,合成所述第二格式的第一图层与所述第一格式的第二图层为实时的倒车图像;以及输出所述倒车图像至所述车载显示器。
本发明的另一方面还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如本发明中任意一项实施例所描述的成像方法。
附图说明
在结合以下附图阅读本公开的实施例的详细描述之后,能够更好地理解本发明的上述特征和优点。在附图中,各组件不一定是按比例绘制,并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
图1结合了执行主体示出了本发明的一方面所提供的车载显示器的成像方法的流程示意图。
图2结合了执行主体示出了本发明所提供的成像方法中进行透过处理的相关步骤的流程示意图。
图3示出了本发明中第一图像处理器执行相关步骤的流程示意图。
图4示出了本发明中第一图像处理器、第三图像处理器执行相关步骤的流程示意图。
图5示出了本发明的另一方面所提供的车载显示器的成像系统的结构示意图。
附图标记
100 第一图像处理器;
200 第二图像处理器;
300 第三图像处理器;
400 成像系统;
401 存储器;
402 处理器;
403 总线;
404 随机存取存储器;
405 高速缓存存储器;
406 存储系统;
407 程序模块;
408 外部设备;
409 显示器;
410 输入/输出(I/O)接口;
411 网络适配器。
具体实施方式
以下结合附图和具体实施例对本发明作详细描述。注意,以下结合附图和具体实施例描述的诸方面仅是示例性的,而不应被理解为对本发明的保护范围进行任何限制。
给出以下描述以使得本领域技术人员能够实施和使用本发明并将其结合到具体应用背景中。各种变型、以及在不同应用中的各种使用对于本领域技术人员将是容易显见的,并且本文定义的一般性原理可适用于较宽范围的实施例。由此,本发明并不限于本文中给出的实施例,而是应被授予与本文中公开的原理和新颖性特征相一致的最广义的范围。
在以下详细描述中,阐述了许多特定细节以提供对本发明的更透彻理解。然而,对于本领域技术人员显而易见的是,本发明的实践可不必局限于这些具体细节。换言之,公知的结构和器件以框图形式示出而没有详细显示,以避免模糊本发明。
请读者注意与本说明书同时提交的且对公众查阅本说明书开放的所有文件及文献,且所有这样的文件及文献的内容以参考方式并入本文。除非另有直接说明,否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此,除非另有明确说明,否则所公开的每一个特征仅是一组等效或类似特征的一个示例。
注意,在使用到的情况下,标志左、右、前、后、顶、底、正、反、顺时针和逆时针仅仅是出于方便的目的所使用的,而并不暗示任何具体的固定方向。事实上,它们被用于反映对象的各个部分之间的相对位置和/或方向。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
注意,在使用到的情况下,进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头,该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
以下结合附图和具体实施例对本发明作详细描述。注意,以下结合附图和具体实施例描述的诸方面仅是示例性的,而不应被理解为对本发明的保护范围进行任何限制。
如上文所描述的,为了解决在车载显示器的成像过程中出现的闪屏问题,本发明提供了一种车载显示器的成像方法及成像系统。请结合图1-图5来理解本发明所提供的车载显示器的成像方法及成像系统。
首先,请参考图1,图1结合了执行主体示出了本发明的一方面所提供的车载显示器的成像方法的流程示意图。在如图1所示出的实施例中,是通过优化倒车图像描图的方式来优化车载显示器的成像。如图1所示出的,响应于处于倒车模式,第一图像处理器100将第一格式的第一图层转化为第二格式。随后,第二图像处理器200获取第二格式的第一图层以及第一格式的第二图层;以第二格式的第一图层为上层图层、以第一格式的第二图层为下层图层,合成第二格式的第一图层与第一格式的第二图层为实时的倒车图像;并输出倒车图像至车载显示器。
其中,响应于处于倒车模式,上述的第一图层承载倒车辅助标记,第二图层承载实时的车辆后方图像。上述的第二格式的数据量小于第一格式的数据量。
进一步的,可以通过车辆的变速箱当前是否挂入了倒车档来判断是否处于倒车模式。亦可以通过现有或将有的其他判断方式来判断是否车辆当前是否正处于倒车模式。
对于具有倒车影像功能的车辆而言,响应于进入到倒车模式,用于拍摄车辆后方环境信息的车载摄像装置开始工作,从而能够返回实时的车辆后方图像,以供驾驶员在倒车时通过车载显示装置查看车辆后方的情况,避免引发事故。
进一步的,在更为优选的方案中,驾驶员可以在车载显示装置中不仅查看到实时的车辆后方图像,还能够观察到表征车辆信息的倒车辅助标记,从而能够在用户倒车入库的时候作为参考,方便驾驶员完成倒车。
在本发明中,为了提供带用倒车辅助标记的倒车图像,需要将承载有倒车辅助标记的第一图层与承载有实时的车辆后方图像进行合成,随后将合成后的倒车图像输出至车载显示器进行显示。
上述的车载显示器表征现有或将有的应用于车辆上的显示器,车载显示器可以是嵌入式安装在车辆上的,也可以是通过后装的方式安装在车辆上的。上述的车载显示器可以是仪表盘、方向盘上的屏幕,以及抬头显示器等。上述的车载显示器可以采用现有或将有的显示屏技术,包括但不限于阴极射线管显示器(CRT)、等离子显示器PDP、液晶显示器LCD、柔性显示屏等。
更为具体的,如图1所示出的,本发明采用第一图像处理器100将第一格式的承载有倒车辅助标记的第一图层转化为第二格式,从而降低了第一图层的数据量。而原本就需要执行第一图层和第二图层合成的第二图像处理器200在获取得到需要合成的两个图层时,由于第一图层的数据量已经被降低,能够缓解第二图像处理器200在获取第一图层时的运转负荷。同时,在对第二格式的第一图层和第一格式的第二图层进行合成时,也正是由于第一图层的数据量已经降低了,在合成的过程中,也能够有效地缓解第二图像处理器200的运转负荷。
因此,通过降低第一图层的数据量,能够使得第二图像处理器200的运转负荷有效降低,从而使得倒车图像合成的过程更为流畅,在送至车载显示器时不会出现现有技术中存在的闪屏现象。
在一实施例中,上述的第一图像处理器100可以指向通俗意义上的图形处理器,即GPU(Graphics Processing Unit),又称显示核心、视觉处理器、显示芯片,是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器。而上述的第二图像处理器200可以指向通俗意义上的图像处理单元,即IPU(Image Processing Unit),图像处理单元的目标是提供从图像输入(摄像头传感器/电视信号输入等)到显示设备(LCD显示屏/TV输出/外部图像处理单元等)端到端的数据流信号处理的全面支持。
在一实施例中,上述的第一格式为RGBA32格式,第二格式为RGB565格式。RGBA32格式的数据量BPP(bit per pixel)为32(每个像素点占32bit),RGB为常规的红黄蓝三个颜色分量,共占24bit,A是用于保存透明度的Alpha分量单独占8bit。RGB565格式的数据量BPP为16,即每个像素占16bit,即2个字节,表征常规红黄蓝三个颜色分量RGB分量分别使用5位、6位、5位,不涉及透明度分量,是RGBA32格式数据量的一半。若采用RGB565格式的图层,能够实现图层数据总量的减半,节省总线带宽。
但可以理解的是,RGBA32由于各采用8bit来表征常规的红黄蓝分量,从颜色的丰富程度来说,RGBA32格式的图像画质、色彩呈现度均要好于RGB565格式的图像。在整个倒车影像生成过程中,由于FB0,即第二图层承载的是实时的车辆后方图像,如果将实时的车辆后方图像的格式降级,会导致车辆后方图像的色彩失真,导致倒车影像不清晰,反而可能会影像用户的倒车体验。
而FB1,即第一图层承载的是辅助倒车标记,这些辅助倒车标记通常是简约的线条框、色彩块,将该图层的图像格式降级,不会造成视觉上的不适,因此,适合通过对FB1的图像格式降级的方式,来减少图层数据总量,节省总线带宽。在上述的实施例中,由第一图像处理器100(即)
进一步的,在生成倒车影像时,在上方的第一图层除了在辅助倒车标记的区域外,希望能够透出在下方的第二图层。为了实现透过效果,如图2所示出的,第二图像处理器200在合成第一图层与第二图层时,需要对第一图层中倒车辅助标记以外的像素点进行透过处理。
进一步的,还是参照图2,上述透过处理的具体子步骤为:响应于上层图层的像素点表征预设的透过色,以下层图层对应位置的像素点的属性设置倒车图像对应位置的像素点的属性。也就是说,假设预设的透过色的RGB分量为(0,0,0),若上层图层坐标为(100,100)的像素点的RGB分量为(0,0,0),则在最终合成的图像上,坐标为(100,100)的像素点的RGB分量为下层图层坐标为(100,100)的RGB分量值,从而能够实现透过上层图像,看到下层图像的效果。
进一步的,为了使第二图像处理器200在合成第一图层和第二图层时,能够进行透过处理,第一图像处理器100在将第一格式的第一图层转化为第二图层时,第一图层中倒车辅助标记以外的像素点被设置为预设的透过色,从而为后续第二图像处理器200进行透过处理提供可能。
也就是说,在生成倒车影像时,倒车影像的描画需要IPU进行图形合成运算,即FB0+FB1两个图层叠加的方式(FB:Frame buffer,是专门用来保存正在显示的图像数据的缓存buffer),FB0为Background,在底层用来显示倒车影像视频,即实时的车辆后方图像;FB1为Overlay,在顶层显示UI(设置菜单/倒车辅助线等)。通过将FB1图层设置为透过的方式,我们既能看到顶层FB1的UI,同时也能看到底层FB0上的倒车影像。两个FB需要合成一张图再推送到显示器上显示,图层合成的过程由IPU来完成。
在现有技术中,IPU每次从内存中需要读取两张图层(FB0+FB1),并且,两张图层的格式均为RGBA32。其内部的Combining Unit模块利用RGBA32格式中的Alpha(0-255)分量进行图层合成,Alpha即用于保存透明度的分量,两图层相同位置的像素点通过二者的透明度分量配合固定算法,最终得出该像素点成像数据,当透明度分量取最小值或最大值时,代表该像素完全透明或完全不透明。现有方案中的合成方式配置为Local Alpha,该方案对IPU的占用相对较多,原因如下:
Local Alpha的方式需要两个图层视频格式均为RGBA,BPP(bit per pixel)为32(每个像素点占32bit),RGB为常规的红黄蓝三个颜色分量共占24bit,A就是用于保存透明度的Alpha分量单独占8bit,也就是说一帧图中每个像素点都有属于自己的Alpha分量,这种合成方式需要Combining Unit针对像素点进行逐一运算透明度,所以说该过程对IPU的占用也相对较多。
另一方面,由于IPU(Image processing unit)就是负责合成画面并送显的,需要合成的图像数据保存在内存中,所以IPU每描画一帧图像,都需要从内存中通过总线读取两张图进来(FB0&FB1)。由于显示器配置的刷新率是60Hz,所以IPU需要以60FPS的帧率源源不断的输出图像到屏幕,也就需要源源不断地从内存获取两张图进来(FB0&FB1),所获取图片的数据大小也会影响总线负载,影响获取步骤的流畅性。
从倒车描画的角度来看,本发明通过降低FB1的数据量,即将RGBA32的格式转化为RGB565格式,减半了数据量,减少FB1图层的数据总量,节省总线带宽。
由于FB1格式调整后,每个像素点失去了Alpha分量,但Alpha又是Local Alpha图层合成的必要条件,所以本发明中合成方式由现有技术中的Local Alpha调整为GlobalAlpha,即FB1图层所有像素点统一使用一个Alpha值,即255(Alpha范围0-255,255表示完全不透过),这样的配置会带来一个问题,FB1完全遮挡FB0,用户无法看到FB0上的倒车影像视频,所以还需要实现透过功能。
在本发明中,通过配置FB1 Color Key的方式来实现透过功能,用户设置一种颜色作为透过色,当FB1画面中的像素点颜色与透过色完全吻合,直接做透过处理,在一实施例中,上述预设的透过色可以是纯黑色。
为了使FB1 Color Key的配置生效,对于FB1描绘所用到的图片,需要将透过的区域全部设置为预设的透过色纯黑色,不需要透过的区域则避开预设的头盖过色纯黑色,最终实现了透过效果,与现有方案在最终生成的倒车画面上保持一致。
在本发明中,通过FB1图层的格式调整,同时使用Global Alpha+Color Key的方式做透过处理,不仅减少了图像数据总量,缓解内部总线压力,同时相比现有方案LocalAlpha的方式,Global Alpha的方式使图层所有像素点使用同一个Alpha值,CombiningUnit做图层合成不必针对每个像素点进行逐一运算,节省了IPU算力,为IPU减轻压力,以便其能够更加稳定的输出图像送显,从根本节省平台硬件资源,从而避免了闪屏问题。
根据本发明的另一方面,如图3、图4所示出的,本发明还通过调整多进程并行的册落来优化车载显示器的成像。在现有技术中,如上文所描述的,车载显示器可以用以实现多种交互功能。例如,可以提供视频播放/模拟导航/倒车影像等多种功能。
对于这些功能而言,除了需要使用到系统的CPU进行基础的运算以及依赖IPU成像显示之外,这些功能还会对其他的硬件资源造成占用:
视频播放:依赖VPU对视频流进行解码;
导航:通过OpenGL直接操作GPU进行图形描绘;
倒车影像:使用GPU将摄像装置获取得到的车后图像进行编码转换,同时依赖IPU进行图形合成运算。
这也就意味这,在视频/模拟导航/倒车影像并发使用时,从硬件资源占用的角度,视频播放会依赖VPU((Video processing unit),导航画面描绘则使用GPU(Graphicsprocessing unit),倒车影像更是IPU与GPU同时使用,三者并发使用大大增加了总线负载,最终引发故障现象。
为了改善车载显示器的成像,需要缓解芯片内部总线压力,降低负载,为IPU成像留出充足的带宽,以保证显示器成像稳定性。
请参考图3来理解本发明在导航与倒车并行时,如何优化负载的流程示意图。如图3所示出的,对于第一图像处理器100,即GPU而言,响应于处于导航模式,第一图像处理器100会生成导航画面,并输出导航画面至车载显示器。而当车辆处于倒车模式时,导航模式会切换到后台,但此时,现有技术中并没有退出导航模式,也就是说,在现有技术中,虽然没有从车载显示器上看到GPU生成的导航画面,但实际上,GPU仍然在后台生成导航画面。
因此,在本发明中,响应于处于倒车模式且未退出导航模式,控制第一图像处理器100暂停生成导航画面,由IPU生成倒车图像,并输出至车载显示器,直至退出倒车模式,导航模式重新回到前台进行显示,控制第一图像处理器100继续生成导航画面。因此,能够在导航模式切换到后台,在车载显示器上不会看到导航画面的情况下,暂停导航画面的生成,从而降低GPU的负载,进而降低整个总线的负载,节省硬件资源,提高成像稳定性,提升用户体验。
在本发明的另一方面,请参考图4,本发明的成像系统还包括第三图像处理器,即通俗意义上的视频处理单元VPU(Video Processing Unit),是一种视频处理平台核心引擎,具有硬解码功能以及减少CPU负荷的能力。另外,VPU可以减少服务器负载和网络带宽的消耗,区别于传统GPU(Graph Process Unit,图形处理器),可以包括视频处理单元、外视频模块和后处理模块这三个主要模块。
上述的第三图像处理器300被配置为:响应于用户指令进入视频播放模式,由第三图像处理器生成对应的视频图像,并输出所述视频图像至所述车载显示器。
请参考图4来理解本发明在导航与视频播放并行时,如何优化负载的流程示意图。如图4所示出的,对于第一图像处理器100,即GPU而言,响应于处于导航模式,第一图像处理器100会生成导航画面,并输出导航画面至车载显示器。而当车辆处于视频播放模式时,导航模式会切换到后台,但此时,现有技术中并没有退出导航模式,也就是说,在现有技术中,虽然没有从车载显示器上看到GPU生成的导航画面,但实际上,GPU仍然在后台生成导航画面。
因此,在本发明中,响应于处于视频播放模式且未退出导航模式,控制第一图像处理器100暂停生成导航画面,由第三图像处理器生成视频图像,并输出至车载显示器,直至退出视频播放模式,导航模式重新回到前台进行显示,控制第一图像处理器100继续生成导航画面。因此,能够在导航模式切换到后台,在车载显示器上不会看到导航画面的情况下,暂停导航画面的生成,从而降低GPU的负载,进而降低整个总线的负载,节省硬件资源,提高成像稳定性,提升用户体验。
本领域技术人员可以理解的是,虽然以第一图像处理器为切入点描述了如何避免多应用并行,在另一方面,还可以从第三图像处理器为切入点来避免多应用并行,即:
若正在播放视频的过程中进入了倒车模式,进入后台的视频图像暂停生成,直到退出倒车时,恢复生成视频图像;
若正在播放视频的过程中进入了导航模式,进入后台的视频图像暂停生成,直到退出导航画面时,恢复生成视频图像。
至此,已经描述了本发明的一方面所提供的车载显示器的成像方法。本发明在倒车模式下,通过借助于第一图像处理器对需要合成的图层事先进行转化,能够降低成像送显的第二图像处理器的运转负荷,从而能够有效改善第二图像处理器的成像送显流程,进而改善了车载显示屏的闪屏问题。
本发明在倒车模式下,能够通过第二图像处理器对承载了倒车辅助标记的第一图层和承载了实时的车辆后方图像的第二图层进行合成,并且,能够通过透过处理,将倒车辅助标记显示在实时车辆后方图像的上面,让用户既能观察到车辆实时后方图像,又能够及时看到辅助倒车标记,便于用户进行倒车。
本发明在需要响应多个应用并行的图像处理需求时,通过设置各个应用的优先级,暂停处理在后台的应用所要求的图像处理需求,从而能够有效降低各个图像处理器的运转负荷,进一步缓解闪屏问题。
本发明的另一方面还提供了一种车载显示器的成像系统400,成像系统400至少包括第一图像处理器100、第二图像处理器200和存储器401。请参考图5来理解本发明的另一方面所提供的成像系统。在如图5所示出的实施例中,成像系统400以通用处理器的形式表现。
以通用处理器形式表现的该成像系统400的组件可以包括一个或者多个存储器401,一个或多个处理器402,以及连接不同系统组件(包括存储器401和处理器402)的总线403。
总线403包括数据总线、地址总线以及控制总线。数据总线的位数与工作频率的乘积正比于数据传输率,地址总线的位数决定了可寻址的最大内存空间,控制总线(读/写)指出总线周期的类型和本次输入/输出操作完成的时刻。处理器402,这里指向中央处理器,即CPU通过总线403连接存储器401,并配置用于实施上述任意一个实施例所提供的车载显示器的成像方法。
处理器402作为成像系统400的运算和控制核心,是信息处理、程序运行的最终执行单元。计算机系统中所有软件层的操作,最终都将通过指令集映射为处理器402的操作。处理器402的功效主要为处理指令、执行操作、控制时间、处理数据。
而在本发明所提供的成像系统400中,更包括多个图像处理器,在如图5所示出的实施例中,包括第一图像处理器100,第二图像处理器200以及第三图像处理器300。
其中,响应于处于倒车模式,第一图像处理器100被配置为:将第一格式的第一图层转化为第二格式,并存储在存储器中,第一图层承载倒车辅助标记,第二格式的数据量小于第一格式的数据量。
响应于处于倒车模式,第二图像处理器200被配置为:从存储器获取第二格式的第一图层以及第一格式的第二图层,第二图层承载实时的车辆后方图像;以第二格式的第一图层为上层图层、以第一格式的第二图层为下层图层,合成第二格式的第一图层与第一格式的第二图层为实时的倒车图像;以及输出倒车图像至车载显示器。
进一步的,第二图像处理器200在合成第一图层与第二图层时,对第一图层中倒车辅助标记以外的像素点进行透过处理。
在另一方面,第一图像处理器100还被配置为:响应于处于导航模式,生成导航画面,并输出导航画面至车载显示器;其中响应于处于倒车模式且未退出导航模式,第一图像处理器100被配置为暂停生成导航画面,直至退出倒车模式。
在成像系统400包括第三图像处理器300的实施例中,第三图像处理器300被配置为:响应于用户指令进入视频播放模式,生成对应的视频图像,并输出视频图像至车载显示器;其中第一图像处理器100还被配置为:响应于处于视频播放模式且未退出导航模式,暂停生成导航画面,直至退出视频播放模式。
存储器401是指计算机中由存放程序和数据的各种存储设备。第一图像处理器100将进行格式转换后的第一图层存放在存储器401中,而第二图像处理器200从存储器401中获取需要合成的第一图层和第二图层。存储器401可以包括存储易失性存储器形式的计算机系统可读介质。例如随机存取存储器(RAM)404和/或高速缓存存储器405。
随机存取存储器(RAM)404是与处理器402直接交换数据的内部存储器。它可以随时读写(刷新时除外),而且速度很快,通常作为操作系统或其他正在运行中的程序的临时数据存储介质,一旦断电其中所存储的数据将随之丢失。高速缓存存储器(Cache)405是存在于主存与处理器402之间的一级存储器,其容量比较小但速度比主存高得多,接近于处理器402的速度。
成像系统400还可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。本实施例中,存储系统406可以用于读写不可移动的、非易失性磁介质。
存储器401还可以包括至少一组程序模块407。程序模块407可以存储在存储器401中。程序模块407包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块407通常执行本发明所描述的实施例中的功能和/或方法。
成像系统400也可以与一个或多个外部设备408通信。例如一个或者多个使得用户能与该成像系统400交互的交互装置。外部设备408还包括显示器409,即上文所描述的车载显示器。也就是说,成像系统所生成的图像最终会输出到显示器409进行显示。
成像系统400也可与一个或者多个使得用户能与该成像系统400交互的设备通信,和/或与使得该成像系统400能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口410进行。
成像系统400还可以通过网络适配器411与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,如因特网)通信。如图5所示,网络适配器411通过总线403与成像系统400的其它模块通信。应当明白,尽管图中未示出,可以结合成像系统400使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
至此,已经描述了本发明的另一方面所提供的车载显示器的成像系统。可以理解的是,上述的成像系统中的各个组成部件用以共同合作实现本发明的另一方面所提供的车载显示器的成像方法,具体请参见上文关于车载显示器的成像方法的描述,在此不再赘述。
本发明的另一方面还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如本发明任意一项实施例所描述的车载显示器的成像方法,在此不再赘述。
至此已经描述了本发明所提供的车载显示器的成像方法及成像系统的具体实施方式。根据本发明,在倒车模式下,通过借助于第一图像处理器对需要合成的图层事先进行转化,能够降低成像送显的第二图像处理器的运转负荷,从而能够有效改善第二图像处理器的成像送显流程,进而改善了车载显示屏的闪屏问题。在倒车模式下,能够通过第二图像处理器对承载了倒车辅助标记的第一图层和承载了实时的车辆后方图像的第二图层进行合成,并且,能够通过透过处理,将倒车辅助标记显示在实时车辆后方图像的上面,让用户既能观察到车辆实时后方图像,又能够及时看到辅助倒车标记,便于用户进行倒车。本发明在需要响应多个应用并行的图像处理需求时,通过设置各个应用的优先级,暂停处理在后台的应用所要求的图像处理需求,从而能够有效降低各个图像处理器的运转负荷,进一步缓解闪屏问题。
结合本文所公开的实施例描述的各种解说性逻辑模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器,但在替换方案中,该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合,例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。
结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中,存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中,处理器和存储介质可作为分立组件驻留在用户终端中。
在一个或多个示例性实施例中,所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品,则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者,其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定,这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如,如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来,则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟,其中盘(disk)往往以磁的方式再现数据,而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
提供之前的描述是为了使本领域中的任何技术人员均能够实践本文中所描述的各种方面。但是应该理解,本发明的保护范围应当以所附权利要求书为准,而不应被限定于以上所解说实施例的具体结构和组件。本领域技术人员在本发明的精神和范围内,可以对各实施例进行各种变动和修改,这些变动和修改也落在本发明的保护范围之内。
Claims (12)
1.一种车载显示器的成像方法,其特征在于,包括以下步骤:
响应于处于倒车模式,第一图像处理器将第一格式的第一图层转化为第二格式,所述第一图层承载倒车辅助标记,所述第二格式的数据量小于所述第一格式的数据量;
第二图像处理器获取所述第二格式的第一图层以及所述第一格式的第二图层,所述第二图层承载实时的车辆后方图像;
所述第二图像处理器以所述第二格式的第一图层为上层图层、以所述第一格式的第二图层为下层图层,合成所述第二格式的第一图层与所述第一格式的第二图层为实时的倒车图像;以及
所述第二图像处理器输出所述倒车图像至所述车载显示器。
2.如权利要求1所述的成像方法,所述第二图像处理器在合成所述第一图层与所述第二图层时,对所述第一图层中所述倒车辅助标记以外的像素点进行透过处理。
3.如权利要求2所述的成像方法,所述透过处理包括步骤:
响应于所述上层图层的像素点表征预设的透过色,以所述下层图层对应位置的像素点的属性设置所述倒车图像对应位置的像素点的属性。
4.如权利要求3所述的成像方法,所述第一图像处理器将所述第一格式的第一图层转化为第二格式时,所述第一图层中所述倒车辅助标记以外的像素点被设置为所述预设的透过色。
5.如权利要求1所述的成像方法,所述第一格式为RGBA32格式,所述第二格式为RGB565格式。
6.如权利要求1-5中任意一项所述的成像方法,所述第一图像处理器还被配置为:响应于处于导航模式,生成导航画面,并输出所述导航画面至所述车载显示器;其中,所述成像方法还包括:
响应于处于所述倒车模式且未退出所述导航模式,控制所述第一图像处理器暂停生成所述导航画面,直至退出所述倒车模式。
7.如权利要求6所述的成像方法,响应于用户指令进入视频播放模式,控制第三图像处理器生成对应的视频图像,并输出所述视频图像至所述车载显示器;其中,所述成像方法还包括:
响应于处于所述视频播放模式且未退出所述导航模式,控制所述第一图像处理器暂停生成所述导航画面,直至退出所述视频播放模式。
8.一种车载显示器的成像系统,其特征在于,所述成像系统至少包括第一图像处理器、第二图像处理器和存储器;其中
响应于处于倒车模式,
所述第一图像处理器被配置为:
将第一格式的第一图层转化为第二格式,并存储在所述存储器中,所述第一图层承载倒车辅助标记,所述第二格式的数据量小于所述第一格式的数据量;
所述第二图像处理器被配置为:
从所述存储器获取所述第二格式的第一图层以及所述第一格式的第二图层,所述第二图层承载实时的车辆后方图像;
以所述第二格式的第一图层为上层图层、以所述第一格式的第二图层为下层图层,合成所述第二格式的第一图层与所述第一格式的第二图层为实时的倒车图像;以及
输出所述倒车图像至所述车载显示器。
9.如权利要求8所述的成像系统,所述第二图像处理器在合成所述第一图层与所述第二图层时,对所述第一图层中所述倒车辅助标记以外的像素点进行透过处理。
10.如权利要求8或9所述的成像系统,所述第一图像处理器还被配置为:响应于处于导航模式,生成导航画面,并输出所述导航画面至所述车载显示器;其中
响应于处于所述倒车模式且未退出所述导航模式,所述第一图像处理器被配置为暂停生成所述导航画面,直至退出所述倒车模式。
11.如权利要求10所述的成像系统,所述成像系统还包括第三图像处理器,所述第三图像处理器被配置为:
响应于用户指令进入视频播放模式,生成对应的视频图像,并输出所述视频图像至所述车载显示器;其中
所述第一图像处理器还被配置为:
响应于处于所述视频播放模式且未退出所述导航模式,暂停生成所述导航画面,直至退出所述视频播放模式。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的成像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111662080.3A CN116416114A (zh) | 2021-12-31 | 2021-12-31 | 一种车载显示器的成像方法及成像系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111662080.3A CN116416114A (zh) | 2021-12-31 | 2021-12-31 | 一种车载显示器的成像方法及成像系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116416114A true CN116416114A (zh) | 2023-07-11 |
Family
ID=87056723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111662080.3A Pending CN116416114A (zh) | 2021-12-31 | 2021-12-31 | 一种车载显示器的成像方法及成像系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116416114A (zh) |
-
2021
- 2021-12-31 CN CN202111662080.3A patent/CN116416114A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6788309B1 (en) | Method and apparatus for generating a video overlay | |
US20230039100A1 (en) | Multi-layer reprojection techniques for augmented reality | |
US11862128B2 (en) | Systems and methods for foveated rendering | |
US20210358200A1 (en) | Rendering method, computer product and display apparatus | |
JP4982862B2 (ja) | プログラム、情報記憶媒体及び画像生成システム | |
WO1999052077A1 (fr) | Dispositif et procede de trace d'images, et support associe | |
CN111866408B (zh) | 图形处理芯片及视频解码显示方法 | |
CN101102443B (zh) | 图像显示系统 | |
EP3364289A1 (en) | Display switching method for terminal, and terminal | |
JP2011529209A (ja) | 画像処理のための装置および方法、およびシステム | |
CN112740278B (zh) | 用于图形处理的方法及设备 | |
US20220092863A1 (en) | Virtual, augmented, and mixed reality systems and methods | |
CN116416114A (zh) | 一种车载显示器的成像方法及成像系统 | |
CN111775838B (zh) | 一种图像显示方法及车辆中控系统 | |
US8754908B2 (en) | Optimized on-screen video composition for mobile device | |
JP2009064355A (ja) | プログラム、情報記憶媒体及び画像生成システム | |
US20240046410A1 (en) | Foveated scaling for rendering and bandwidth workloads | |
WO2023197284A1 (en) | Saliency-based adaptive color enhancement | |
WO2023065100A1 (en) | Power optimizations for sequential frame animation | |
WO2024001225A1 (zh) | 虚像显示装置、图像数据的生成方法、装置和相关设备 | |
US11622113B2 (en) | Image-space function transmission | |
CN117453170B (zh) | 一种显示控制方法、装置及存储介质 | |
WO2023225771A1 (en) | Concurrent frame buffer composition scheme | |
WO2024044936A1 (en) | Composition for layer roi processing | |
WO2021146978A1 (zh) | 显示系统、图形处理器gpu、显示控制器以及显示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |