CN113132650A - 一种视频图像显示处理控制装置、方法及显示终端 - Google Patents

一种视频图像显示处理控制装置、方法及显示终端 Download PDF

Info

Publication number
CN113132650A
CN113132650A CN201911421696.4A CN201911421696A CN113132650A CN 113132650 A CN113132650 A CN 113132650A CN 201911421696 A CN201911421696 A CN 201911421696A CN 113132650 A CN113132650 A CN 113132650A
Authority
CN
China
Prior art keywords
module
image
rgb
output
ycbcr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911421696.4A
Other languages
English (en)
Inventor
袁扬智
韦毅
刘俊秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Kaiyang Electronics Co ltd
Original Assignee
Shenzhen Kaiyang Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Kaiyang Electronics Co ltd filed Critical Shenzhen Kaiyang Electronics Co ltd
Priority to CN201911421696.4A priority Critical patent/CN113132650A/zh
Publication of CN113132650A publication Critical patent/CN113132650A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Abstract

本发明提供一种视频图像显示处理控制装置，包括：输入解码模块、前级缩放引擎模块、第一YCbCr转RGB模块、第一图层叠加模块、RGB转YCbCr模块、第一选择器、旋转控制模块、帧缓存控制器、仲裁器、后级缩放引擎模块、第二选择器、第二YCbCr转RGB模块、第二图层叠加模块、AOSD/OSD模块、第三选择器以及时序控制器；根据选择控制信号将OSD/AOSD模块输出的图层数据叠加在旋转处理前的图像数据或者后级缩放处理后的图像数据。该装置不需要高成本的集成CPU大系统，成本低廉、图像显示处理效果好。

Description

一种视频图像显示处理控制装置、方法及显示终端
技术领域
本发明涉及数字图像处理技术领域，尤其涉及一种视频图像显示处理控制装置、方法及显示终端。
背景技术
在车载多媒体系统以及监控摄像等领域中，数字图像的应用越来越广泛，视频图像质量的要求越来越高。在监控等显示芯片中，视频源由传统的标清发展为高清已是一种趋势，传统的这类单显芯片中，通常将接收的输入信号(例如ITU656/ITU601/RGB888等)经过缩放等并产生一系列符合屏的时序后驱动屏显示，这些芯片通常不带帧缓存，即输出的帧率与输入的帧率一致，当输入为标清的CVBS信号时，由于输入帧率为50/60Hz，输出画面不会受影响，而当输入信号变为高清的摄像头时，输入帧率通常只有25/30Hz，若不进行帧率转换则图像显示会由于帧率低而闪烁，极大地影响视频图像观看效果。
此外，在车载以及监控等应用中，显示屏需要横屏竖用或竖屏横用，即人眼观看到的图像实际上是经过90度或270度旋转，以及水平镜像或垂直镜像，这些功能要求在只有MCU不带帧缓存的小系统显示芯片中，根本无法实现。在开机界面或操作显示菜单的时候，还需要用到字符型OSD或真彩色的高性能AOSD以满足不同的应用需求。
现有的技术方案中，在低成本的单显示芯片中，由于不带帧缓存，不能实现变帧，也不能支持旋转等功能，而OSD或AOSD同样也无法实现旋转显示的功能。为了实现前述功能，只能在高成本的集成CPU大系统，利用CPU进行软件的旋转或利用专门的GPU进行旋转，同时调用耗费较大资源的LCD控制器进行帧率转换以及实现OSD与AOSD叠加在图像上显示的功能，因此性价比不高。
发明内容
有鉴于此，本发明提供一种视频图像显示处理控制装置、方法及显示终端用于解决现有技术的不足。
为达到上述目的，本发明采用如下技术方案：
本发明实施例提供了一种视频图像显示处理控制装置，包括：输入解码模块、前级缩放引擎模块、第一YCbCr转RGB模块、第一图层叠加模块、RGB转YCbCr模块、第一选择器、旋转控制模块、帧缓存控制器、仲裁器、后级缩放引擎模块、第二选择器、第二YCbCr转RGB模块、第二图层叠加模块、AOSD/OSD模块、第三选择器以及时序控制器；
所述输入解码模块用于对输入的图像数据进行解码，解出行场同步时序信息；所述前级缩放引擎模块用于对输入图像进行缩放处理；所述第一YCbCr转RGB模块用于将输入的YCbCr格式的数据转化为RGB的图像数据格式；所述第一图层叠加模块用于将第一YCbCr转RGB模块输出的视频图层和OSD/AOSD模块输出的图层进行叠加处理；所述RGB转YCbCr模块用于将第一图层叠加模块输出的RGB格式的图像数据转化为YCbCr格式的数据；所述第一选择器用于选择未经过所述第一图层叠加模块叠加或经过所述第一图层叠加模块叠加的YCbCr格式数据输出至所述旋转控制模块输入端；所述旋转控制模块用于接收第一选择器输出的图像数据，根据预先配置的模式，将图像数据缓存转换处理后，输出到仲裁器和帧缓存控制器；所述仲裁器用于对访问帧缓存的输入输出请求进行仲裁，启动帧缓存控制器进行帧缓存的读写访问；所述后级缩放引擎用于按照显示时钟域的时序，负责向仲裁器发出读视频数据的请求，从帧缓存中得到显示数据后，对图像进行缩放处理，并输出点屏的行场同步时序信息；所述AOSD/OSD模块用于产生高性能AOSD或普通字符型OSD的RGB信号供所述第一图层叠加模块以及第二图层叠加模块使用；所述第二选择器用于将未经过所述第一图层叠加模块叠加的YCbCr格式数据或所述后级缩放引擎模块输出的YCbCr格式数据输出至所述第二YCbCr转RGB模块的输入端；所述第二YCbCr转RGB模块用于将第二选择器输出的YCbCr格式的数据转化为RGB的图像数据格式；所述第二图层叠加模块用于将第二YCbCr转RGB模块输出的视频图层和OSD/AOSD模块输出的图层进行叠加处理；所述第三选择器用于选择所述第二图层叠加模块输出的RGB格式数据或所述第二YCbCr转RGB模块输出的RGB格式数据至时序控制器；所述时序控制器用于根据输出的各种接口以及时序，将接收到的图像数据按显示所要求的相应格式输出送显示。
进一步地，所述第一图层叠加模块和所述第二图层叠加模块均包括：第一选择单元、第二选择单元、第三选择单元、第一图层叠加单元以及第二图层叠加单元；
所述第一选择单元的一输入端连接视频RGB信号；所述第一选择单元的另一输入端连接所述第二图层叠加单元的输出端；所述第一选择单元的输出端连接所述第一图层叠加单元的一输入端；所述第一图层叠加单元的另一输入端连接普通字符型OSD的RGB信号；所述第一图层叠加单元的输出端分别连接所述第二选择单元的一输入端以及所述第三选择单元的一输入端；所述第二选择单元的另一输入端连接视频RGB信号；所述第二选择单元的输出端连接所述第二图层叠加单元的一输入端；所述第二图层叠加单元的另一输入端连接高性能AOSD的RGB信号；所述第二图层叠加单元的输出端分别连接所述第一选择单元的另一输入端以及所述第三选择单元的另一输入端。
进一步地，所述前级缩放引擎模块支持放大缩小操作，所述后级缩放引擎模块仅支持放大操作。
进一步地，所述前级缩放引擎模块根据输入和输出分辨率大小对图像进行缩放，前级缩放引擎模块的输入时钟域为输入接口的像素时钟，输出时钟域为芯片内部锁相环产生的显示时钟，采用场同步清零的方式进行实时地图像缩放，通过调整输出的行频以及消隐宽度实现图像任意比例缩放。
进一步地，所述前级缩放引擎模块前还包括：图像前处理模块；所述图像前处理模块用于对输入解码模块输出的数据进行自适应降噪处理；
或，所述前级缩放引擎模块后还包括图像后处理模块；所述图像后处理模块用于对缩放后的图像数据进行图像增强处理。
进一步地，所述前级缩放引擎模块缩放比例的设置满足缩放后的数据与所述帧缓存的存储空间大小匹配。
进一步地，所述旋转控制模块支持ycbcr422和ycbcr420两种格式。
进一步地，当所述预先配置的模式为旋转时，所述旋转控制模块将接收到的图像数据进行行列互换和帧率转换；当所述预先配置的模式为正常时，所述旋转控制模块将接收到的图像数据进行帧率转换。
进一步地，所述图像增强处理包括：锐化、亮度色度瞬态增强、亮度对比度色度调整。
本发明实施例提供了一种视频图像显示处理控制方法，包括：
对输入的图像数据进行解码，解出行场同步时序信息；
对图像数据进行前级缩放处理；
对前级缩放处理过的图像数据进行旋转处理；其中旋转处理具体包括：接收输入的图像数据，根据预先配置的模式，将图像数据缓存转换处理后输出到仲裁器和帧缓存控制器；仲裁器对访问帧缓存的输入输出请求进行仲裁，启动帧缓存控制器进行帧缓存的读写访问；
对旋转处理过的图像数据进行后级缩放处理；其中后级缩放处理具体包括：按照显示时钟域的时序，向仲裁器发出读视频数据的请求，从帧缓存中得到显示数据后，对图像进行缩放处理，并输出点屏的行场同步时序信息；
根据选择控制信号将OSD/AOSD模块输出的图层数据叠加在旋转处理前的图像数据或者后级缩放处理后的图像数据；
根据输出的各种接口以及时序，将接收到的图像数据按显示所要求的相应格式输出送至显示装置。
进一步地，在进行前级缩放处理前还包括进行自适应降噪处理；
或，
在进行前级缩放处理后还包括进行图像增强处理。
进一步地，所述前级缩放比例的设置满足缩放后的数据与所述帧缓存的存储空间大小匹配。
本发明实施例提供了一种显示终端，包括：显示屏和以上所述的视频图像显示处理控制装置。
与现有技术相比，本发明具有如下有益效果：本发明提供的视频图像显示处理控制装置不需要高成本的集成CPU大系统，成本低廉，可以高效地实现图像的叠加以及旋转操作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频图像显示处理控制装置的结构图；
图2为本发明实施例提供的另一种视频图像显示处理控制装置的结构图；
图3为本发明中第一图层叠加模块和第二图层叠加模块的结构图；
图4为一种视频图像显示处理控制方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供的一种视频图像显示处理控制装置，包括：输入解码模块Input Decoder、前级缩放引擎模块Pre_Scaler、第一YCbCr转RGB模块Ycbcr2rgb1、第一图层叠加模块Blend1、RGB转YCbCr模块Rgb2ycbcr、第一选择器、旋转控制模块Rotate_ctl、帧缓存控制器Memory Controller、仲裁器Arbiter、后级缩放引擎模块Pos_Scaler、第二选择器、第二YCbCr转RGB模块Ycbcr2rgb2、第二图层叠加模块Blend2、AOSD/OSD模块以及时序控制器TCON。
下面结合各个具体功能模块对本发明的一种视频图像显示处理控制装置进行详细的阐述。
输入解码模块Input Decoder用于对输入的图像数据进行解码，解出行场同步时序信息。其中，输入的图像数据包括：ITU601、ITU656、BT1120、RGB等。
输入解码模块Input Decoder对输入的ITU601、ITU656、BT1120或RGB进行解码，解出行场同步时序信息以便后续操作能够得到正确的图像数据。
如图2所示，在另一实施例中，视频图像显示处理控制装置还包括：图像前处理模块Video_Pre_Pro，图像前处理模块Video_Pre_Pro用于对输入解码模块Input Decoder输出的数据进行自适应降噪处理。
图像前处理模块Video_Pre_Pro接收输入解码模块Input Decoder输出的数据，实现自适应降噪功能，在不经过其它图像处理前先进行降噪，能在源头上最大限度地抑制噪声，避免噪声对其他的功能处理带来噪声干扰。在图像缩放前进行降噪处理可以防止噪声被放大而严重影响图像质量。
前级缩放引擎模块Pre_Scaler用于对输入的图像进行缩放处理。
前级缩放引擎模块Pre_Scaler对图像进行缩放。前级缩放引擎模块可配为任意比例的缩放，根据输入和输出分辨率大小对图像进行缩放，前级缩放引擎模块输入时钟域为输入接口的像素时钟，输出时钟域为芯片内部锁相环产生的显示时钟，其工作原理为，采用场同步清零的方式进行实时地图像缩放，在不改变输入输出视频帧率，确保输出有效点和有效行满足输出分辨率要求的前提下，通过调整输出的行频以及消隐宽度，使得满足缩放比例同时通过缩放逻辑对行缓存的控制达到输入输出数据吞吐率的动态平衡，从而实现图像任意比例缩放。
前级缩放引擎模块Pre_Scale缩放比例的设置满足缩放后的数据与帧缓存MEMORY的存储空间大小匹配。
前级缩放引擎模块缩放比例的设置满足缩放后的数据与所述帧缓存的存储空间大小匹配。在前级缩放引擎模块Pre_Scale中需要控制缩放的范围以确保帧缓存Memory的容量大小能够缓存需要旋转处理的数据，当帧缓存Memory的容量较小时，可以在前级缩放引擎模块Pre_Scale中对图像进行缩小处理，这样保证旋转旋转控制模块Rotate_ctl实现旋转时，帧缓存Memory有充足的存储空间辅助完成图像旋转处理。当外部输入的图像数据像素低，数据存储空间较小，而同时帧缓存Memory的容量较大时，前级缩放引擎模块Pre_Scale实现图像放大处理。
如图2所示，在另一实施例中，视频图像显示处理控制装置还包括：图像后处理模块Video_Pos_Pro，图像后处理模块Video_Pos_Pro用于对前级缩放引擎模块Pre_Scaler缩放后的图像数据进行图像增强处理。图像增强处理包括：锐化、亮度色度瞬态增强、亮度对比度色度调整。锐化、亮度/色度瞬态增强、亮度/对比度/色度调整处理等。
图像后处理模块Video_Pos_Pro接收前级缩放后的图像数据，根据预设规则进行锐化、亮度/色度瞬态增强、亮度/对比度/色度调整等处理。通过以上图像后处理后，使得视频图像的清晰度更高、过度及景深更好，以满足越来越高的图像质量要求。
第一YCbCr转RGB模块Ycbcr2rgb1用于将输入的YCbCr格式的数据转化为RGB的图像数据格式。
由于OSD/AOSD模块输出的图层为RGB格式，在进行图层叠加时需要保证为同一格式，因此，需要利用第一YCbCr转RGB模块Ycbcr2rgb1将输入的YCbCr格式的数据转化为RGB的图像数据格式，以便与OSD/AOSD模块输出的格式相同，便于后续进行图层叠加操作。
第一图层叠加模块Blend1用于将第一YCbCr转RGB模块Ycbcr2rgb1输出的视频图层和OSD/AOSD模块输出的图层进行叠加处理。
第一图层叠加模块Blend1实现视频图层和OSD/AOSD的叠加功能，具体叠加方式如图3所示，第一图层叠加模块Blend1包括：第一选择单元Mux_osd、第二选择单元Mux_aosd、第三选择单元Mux_Blend、第一图层叠加单元osd_blend以及第二图层叠加单元aosd_blend；
第一选择单元Mux_osd的一输入端连接视频RGB信号Video_rgb；第一选择单元Mux_osd的另一输入端连接第二图层叠加单元aosd_blend的输出端；第一选择单元Mux_osd的输出端连接第一图层叠加单元osd_blend的一输入端；第一图层叠加单元osd_blend的另一输入端连接普通字符型OSD的RGB信号osd_rgb；第一图层叠加单元osd_blend的输出端分别连接第二选择单元Mux_aosd的一输入端以及第三选择单元Mux_Blend的一输入端；第二选择单元Mux_aosd的另一输入端连接视频RGB信号Video_rgb；第二选择单元Mux_aosd的输出端连接第二图层叠加单元aosd_blend的一输入端；第二图层叠加单元aosd_blend的另一输入端连接高性能AOSD的RGB信号aosd_rgb；第二图层叠加单元aosd_blend的输出端分别连接第一选择单元Mux_osd的另一输入端以及第三选择单元Mux_Blend的另一输入端。
视频输入为YCbCr转RGB模块输出的RGB格式的信号Video_rgb。
当Blend_order等于0时，第一选择单元Mux_osd选通Video_rgb输入，第一图层叠加单元osd_blend先进行Video_rgb和普通字符型OSD的osd_rgb的叠加，第二选择单元Mux_aosd选通osd_blend输入，将普通字符型OSD与视频图像叠加的结果osd_blend再与高性能的AOSD的aosd_rgb进行叠加输出aosd_blend，最后第三选择单元Mux_blend选通aosd_blend输出到后续模块。
当Blend_order等于1时，第二选择单元Mux_aosd选通Video_rgb输入，第二图层叠加单元aosd_blend先进行Video_rgb和高性能的AOSD的aosd_rgb的叠加，第一选择单元Mux_osd选通aosd_blend输入，将高性能的AOSD与视频图像叠加的结果aosd_blend再与普通字符型OSD的osd_rgb进行叠加输出osd_blend，最后第三选择单元Mux_blend选通osd_blend输出到后续模块。
第一选择单元Mux_osd、第二选择单元Mux_aosd以及第三选择单元Mux_Blend均可以选用2选1选择器。
RGB转YCbCr模块Rgb2ycbcr用于将第一图层叠加模块Blend1输出的RGB格式的图像数据转化为YCbCr格式的数据；
RGB转YCbCr模块Rgb2ycbcr，将视频与OSD/AOSD叠加后的RGB格式的图像数据转化为YCbCr格式的数据，以便于给旋转控制模块Rotate_ctl使用。
第一选择器用于选择未经过第一图层叠加模块叠加的YCbCr格式数据或经过第一图层叠加模块叠加的YCbCr格式数据输出至旋转控制模块Rotate_ctl的输入端。如图1所示，未经过第一图层叠加模块叠加的YCbCr格式数据就是前级缩放引擎模块Pre_Scaler输出的YCbCr格式数据。如图2所示，未经过第一图层叠加模块叠加的YCbCr格式数据就是图像后处理模块Video_Pos_Pro输出的YCbCr格式数据。
具体地，对于第一选择选择器，当控制信号mod_sel等于0时，选通Video_pos_pro图像后处理之后的图像数据给旋转模块使用；当控制信号mod_sel等于1时，选通经OSD叠加后Rgb2ycbcr输出的图像数据给旋转模块使用。
旋转控制模块Rotate_ctl用于接收第一选择器输出的图像数据，根据用户预先配置的模式，将图像数据缓存转换处理后，输出到仲裁器Arbiter和帧缓存控制器MemoryController。为了兼顾图像的质量和帧缓存的容量，旋转控制模块支持yuv422和yuv420两种格式的数据输出。
在横屏竖用或竖屏横用的时候，需要用到90度、270度旋转，以及水平镜像，垂直翻转的功能，旋转控制模块Rotate_ctl先将接收到的图像数据进行行缓存，缓存行的数量设为N，N可选为8的整数倍，例如：8，16，32等值，采用乒乓缓冲机制发送旋转转置后的数据，当缓存了N/2行的数据后，同时将N/2行中相同地址的图像数据依次取出，对应地址范围为一帧图像水平像素点个数，将取出垂直按列排放的N/2个数据拼成一次突发传输的连续数据，并根据像素坐标计算产生旋转后写到帧缓存中的地址，发送写请求到仲裁器Arbiter，仲裁器Arbiter收到请求后，若判决可以传输，则启动帧缓存控制器Memory Controller将旋转控制模块缓存中的N/2行数据读出，并根据旋转模块计算好的目的地址将旋转后的数据写入帧缓存Memory中，当N/2行的旋转处理完后，接着进行下一组N/2行的旋转操作，直到一帧图像处理结束，新的一帧图像的N/2开始后，需要将旋转的目的地址切到新的一帧缓存起始位置，以便进行多帧缓存进行帧率转换，旋转的时候由于要进行行列互换和帧率转换，帧缓存数目少了可能导致帧内容读写冲突无法正常实现帧率转换，多了则带来帧缓存容量需求过大的问题，本发明将旋转帧缓存的帧数设为3即可，每3帧进行目的地址的一次循环，如此往复即实现了视频图像的旋转功能。
正常模式下，即不需要旋转，而只是进行帧率转换时，该模块只需要缓存两行图像数据，使用两行乒乓的机制，负责将乒乓缓存数据准备好并向仲裁控制单元发送写到帧缓存的请求，仲裁响应请求后，将一行图像数据通过帧缓存控制单元写入帧缓存中，正常模式操作按行处理，每缓存一行数据后向帧缓存仲裁单元发送一次请求，例如一帧图像为1080行，则请求1080次便可完成一帧图像的存储。正常模式下，其它N-2行的缓存用门控关掉时钟进入省电模式以降低芯片功耗。
不管是正常模式还是旋转模式，旋转控制模块都支持ycbcr422和ycbcr420两种格式，在将数据写到行缓存的同时对色度分量做处理，ycbcr420为ycbcr422的色度分量的3/4。提供ycbcr422和ycbcr420两种格式可以兼顾图像的质量和帧缓存容量的大小。
微控制处理模块MCU，主要负责调度各个模块协同工作，可通过访问寄存器表等方式实现各个模块的协同工作。微控制处理模块MCU可选用8位小系统。例如：8051单片机。
寄存器表Register Table，用于提供软硬件访问的接口，配置各个模块的参数以便各个模块协同工作。
外部Flash，用于存储程序以及AOSD素材等。
外部Flash控制器Flash Controller用于提供AOSD访问外部Flash中素材的控制接口，以及提供MCU访问外部Flash中程序的接口。AOSD素材比较多，占用较多的存储资源，通过切换Flash的地址，即可实现导入不同图片暂存到帧缓存中，以提供给AOSD模块使用。
帧缓存器MEMORY，用以缓存视频图像和AOSD素材，在芯片中具体可以选择DDR等存储器。
仲裁器Arbiter用于对各种访问帧缓存MEMORY的输入输出请求进行仲裁，启动帧缓存控制器Memory Controller进行帧缓存MEMORY的读写访问。根据读写请求的速度，控制读写指针的跳转实现帧率转换的功能。其控制原理为，当输入帧率大于输出帧率时，输入写指针的跳转不得超过输出读指针以避免输入帧将输出帧覆盖，当输入帧率小于等于输出帧率时，输出帧率读指针不得超过输入写指针以避免输出超过输入导致图像错乱。
后级缩放引擎模块Pos_Scaler，用于按照显示时钟域的时序，负责向仲裁器Arbiter发出读视频数据的请求，从帧缓存MEMORY中得到显示数据后，对图像进行缩放处理，并输出点屏的行场同步等时序信息。本发明包括两个前后级的缩放引擎，前级缩放引擎模块设计为放大缩小都支持，而从总体图像质量及芯片成本考虑，Pos_Scaler设计为后级只支持放大功能。因为当芯片输入分辨率大于输出分辨率时，Pre_Scaler配置为缩小将图像处理为输出分辨率大小再缓存，这样可以降低帧缓存MEMORY的容量，降低MEMORY成本，而Pos_Scaler只需要按屏的显示时序将MEMORY中的视频读出按1：1的比例显示即可。当输入分辨率小于输出分辨率时，Pre_Scaler配置为1：1，不进行放大，将图像存储到MEMORY中，Pos_Scaler再进行放大处理以适应输出的显示需求。
此外，本发明采用前后两级缩放架构，可以更方便地实现区域无极放大的功能，例如当输入为1080p的高清格式，而输出为480p时，可以选择将1080p的图像先用Pre_Scaler缩小为480p，而选中显示屏中某一块区域图像进行无极放大时，又要求将图像中内容进行放大，这时Pre_Scaler仍然配置为缩小，可以调用Pos_Scaler取出MEMORY中部分内容进行放大，可以顺利地实现无极放大的功能。更复杂地，在MEMORY缓存足够大，以及带宽足够的情况下，Pre_Scaler也可以选择按1080p的图像1：1的比例进行存储，再配置Pos_scler读出1080p中的部分内容进行无极放大以适应480p的分辨率显示需求。
第二选择器用于将未经过第一图层叠加模块叠加的YCbCr格式数据或后级缩放引擎模块Pos_Scaler输出的YCbCr格式数据输出至第二YCbCr转RGB模块的输入端。
具体地，对于第二选择器，当控制信号ddr_bypass等于0时，选通后级缩放引擎模块Pos_Scaler缩放处理之后的图像数据给第二YCbCr转RGB模块ycbcr2rgb2使用，当控制信号ddr_bypass等于1时，选通图像后处理模块Video_Pos_Pro处理后的图像数据给第二YCbCr转RGB模块ycbcr2rgb2使用。设置第二选择器的益处在于，当某些应用不需要进行变帧或旋转时，例如输入帧率达到50/60Hz，显示内容也不需要旋转，可以通过配置第二选择器的控制信号ddr_bypass为1，使得芯片数据流不经过MEMORY，而直接使用前级缩放引擎模块Pre_Scaler的时序点屏。针对这种应用，芯片封装时不需要考虑MEMORY叠封等问题，还能极大降低产品成本。
第二YCbCr转RGB模块ycbcr2rgb2用于将第二选择器输出的YCbCr格式的数据转化为RGB的图像数据格式。
第二YCbCr转RGB模块ycbcr2rgb2与第一YCbCr转RGB模块ycbcr2rgb1实现的方式一样，不再累述。
第二图层叠加模块Blend2用于将第二YCbCr转RGB模块ycbcr2rgb2输出的视频图层和OSD/AOSD模块输出的图层进行叠加处理。
第二图层叠加模块Blend2与第一图层叠加模块Blend1的结构和实现方式一样，不再累述。第二图层叠加模块Blend2与第一图层叠加模块Blend1可以为同一逻辑单元。
通过mod_sel信号的控制，AOSD/OSD与视频图层的叠加可以选择在前级或后级，即要么在前级叠加，要么在后级叠加，当mod_sel信号为1时，通过第一图层叠加模块实现前级叠加；当mod_sel信号为0时，通过第二图层叠加模块实现后级叠加；本发明装置进行AOSD/OSD与视频叠加的这种处理方式优点有：一、资源占用小，前后级AOSD/OSD与blend模块都是由mod_sel选择放置在前级1或后级0，可以为同一物理逻辑实现；二、当横屏竖用或竖屏横用时，AOSD/OSD可以与视频先叠加后再一起旋转，这样不需要单独为了AOSD/OSD素材再做选择，节省了硬件资源并节约了产品应用开发时间；三、当输入输出帧率不一样时，可以通过配置mod_sel信号将AOSD/OSD与视频的叠加放在帧率较低的那一级，输入的低则放前级，输出低则放在后级，这样可以节约AOSD访问MEMORY的频率，降低数据存储带宽的需求。通过视频图层和AOSD以及OSD的灵活叠加，可以在开机界面以及操作菜单中呈现出丰富的效果，满足不同的在屏显示需求。应用领域更加广泛。
AOSD/OSD模块用于产生高性能AOSD或普通字符型OSD的RGB信号供第一图层叠加模块Blend1以及第二图层叠加模块Blend2使用。
对于高性能AOSD根据显示时序产生读MEMORY中AOSD素材的请求信号，仲裁器响应后会启动Memory Controller从MEMORY中读取AOSD内容写到AOSD中，AOSD再依据显示时序将AOSD内容处理后，送到第一图层叠加模块Blend1以及第二图层叠加模块Blend2。普通字符型OSD根据显示时序，产生相应的字符在屏显示菜单，最后再与其它图层进行叠加。
第三选择器用于选择第二图层叠加模块Blend2输出的RGB格式数据或所述第二YCbCr转RGB模块输出的RGB格式数据至时序控制器TCON。
具体地，对于第三选择器，当控制信号mod_sel等于0时，选通后级AOSD/OSD与视频叠加后的图像输出给时序控制器TCON，当控制信号mod_sel等于1时，选通第二YCbCr转RGB模块ycbcr2rgb2的图像输出给TCON模块使用。第三选择器可配合第一选择器，即可实现AOSD/OSD与视频图层前后级可配的叠加。当控制信号mod_sel为1时，第一图层叠加模块Blend1实现前级叠加，当控制信号mod_sel为0时，第二图层叠加模块Blend2实现后级叠加。
时钟产生模块，用于产生各个模块所需的工作时钟，本发明装置为了节约资源，缓存前的图像处理以及缓存后的图像处理，都用一个显示锁相环，采用调节前级缩放引擎模块Pre_Scaler中一行总点数的方式满足行频需求达到同一个显示时钟，便可实现变帧的功能。例如，同样分辨率输入帧率为30Hz，输出为60Hz时，因为给前后两级的时钟只有一个，则通过将前面总点数放大一倍的方式，实现帧率的转换匹配。
时序控制器TCON用于根据输出的各种接口以及时序，将接收到的图像数据按显示所要求的相应格式输出送显示。
通过时序控制器TCON将处理的图像数据输出显示，输出支持并行RGB、串行RGB、cpu scr，以及双通道LVDS、MIPI等屏。
一种视频图像显示处理控制装置具体还包括IIC、UART、Timer、PWM、GPIO、Key以及IR等为芯片工作必须单元，非本视频图像显示处理控制装置的重点，这里也不再详述。
本发明提供的视频图像显示处理控制装置对输入的数字图像信号进行解码、缩放以及图像增强等处理，解决了只有MCU的小系统中为了避免图像闪烁需要进行的帧率转换，以及越来越多的横屏竖用、竖屏横用需要进行的高效灵活的图像旋转镜像，本发明的支持普通字符型OSD和真彩色的高性能AOSD，更巧妙地本发明通过OSD/AOSD与视频图层前后级可配的叠加方式，能解图像处理显示中由于视频和AOSD较大图像数据传输所带来的带宽问题，而且相对视频图层而言OSD/AOSD可选与视频同时旋转或不旋转，极大地方便了UI素材的设计和应用，能提高芯片的推广效率，此外通过本发明提供的前后两个独立可配的缩放引擎，配合帧存储器能实现视频图像的无极缩放以及4：3/16:9等显示模式的无缝切换，满足各种屏的显示需求，最后通过时序控制器TCON将处理的图像数据输出显示，输出支持并行RGB、串行RGB、CPU，以及双通道LVDS、MIPI等屏。
如图4所示，本发明实施例提供一种视频图像显示处理控制方法，包括：
S101、对输入的图像数据进行解码，解出行场同步时序信息。
S102、对图像数据进行前级缩放处理。
S103、对前级缩放处理过的图像数据进行旋转处理。
其中旋转处理具体包括：接收输入的图像数据，根据预先配置的模式，将图像数据缓存转换处理后输出到仲裁器和帧缓存控制器；仲裁器对访问帧缓存的输入输出请求进行仲裁，启动帧缓存控制器进行帧缓存的读写访问。
S104、对旋转处理过的图像数据进行后级缩放处理。
其中后级缩放处理具体包括：按照显示时钟域的时序，向仲裁器发出读视频数据的请求，从帧缓存中得到显示数据后，对图像进行缩放处理，并输出点屏的行场同步时序信息。
S105、根据选择控制信号将OSD/AOSD模块输出的图层数据叠加在旋转处理前的图像数据或者后级缩放处理后的图像数据。
S106、根据输出的各种接口以及时序，将接收到的图像数据按显示所要求的相应格式输出送至显示装置。
在进行前级缩放处理前还可包括进行自适应降噪处理。在进行前级缩放处理后还可包括进行图像增强处理。另外，上述实施例提供的视频图像显示处理控制方法与视频图像显示处理控制装置实施例属于同一构思，其具体实现过程详见装置实施例，其有益效果同装置项实施例，这里不再赘述。
本发明实施例还提供一种显示终端，该显示终端包括：显示屏以及以上所述的视频图像显示处理控制装置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上举较佳实施例，对本发明的目的、技术方案和优点进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内，本发明所主张的权利范围应以发明申请范围所述为准，而非仅限于上述实施例。

Claims (10)

1.一种视频图像显示处理控制装置，其特征在于，包括：输入解码模块、前级缩放引擎模块、第一YCbCr转RGB模块、第一图层叠加模块、RGB转YCbCr模块、第一选择器、旋转控制模块、帧缓存控制器、仲裁器、后级缩放引擎模块、第二选择器、第二YCbCr转RGB模块、第二图层叠加模块、AOSD/OSD模块、第三选择器以及时序控制器；
所述输入解码模块用于对输入的图像数据进行解码，解出行场同步时序信息；所述前级缩放引擎模块用于对输入图像进行缩放处理；所述第一YCbCr转RGB模块用于将输入的YCbCr格式的数据转化为RGB的图像数据格式；所述第一图层叠加模块用于将第一YCbCr转RGB模块输出的视频图层和OSD/AOSD模块输出的图层进行叠加处理；所述RGB转YCbCr模块用于将第一图层叠加模块输出的RGB格式的图像数据转化为YCbCr格式的数据；所述第一选择器用于选择未经过所述第一图层叠加模块叠加或经过所述第一图层叠加模块叠加的YCbCr格式数据输出至所述旋转控制模块输入端；所述旋转控制模块用于接收第一选择器输出的图像数据，根据预先配置的模式，将图像数据缓存转换处理后，输出到仲裁器和帧缓存控制器；所述仲裁器用于对访问帧缓存的输入输出请求进行仲裁，启动帧缓存控制器进行帧缓存的读写访问；所述后级缩放引擎用于按照显示时钟域的时序，负责向仲裁器发出读视频数据的请求，从帧缓存中得到显示数据后，对图像进行缩放处理，并输出点屏的行场同步时序信息；所述AOSD/OSD模块用于产生高性能AOSD或普通字符型OSD的RGB信号供所述第一图层叠加模块以及第二图层叠加模块使用；所述第二选择器用于将未经过所述第一图层叠加模块叠加的YCbCr格式数据或所述后级缩放引擎模块输出的YCbCr格式数据输出至所述第二YCbCr转RGB模块的输入端；所述第二YCbCr转RGB模块用于将第二选择器输出的YCbCr格式的数据转化为RGB的图像数据格式；所述第二图层叠加模块用于将第二YCbCr转RGB模块输出的视频图层和OSD/AOSD模块输出的图层进行叠加处理；所述第三选择器用于选择所述第二图层叠加模块输出的RGB格式数据或所述第二YCbCr转RGB模块输出的RGB格式数据至时序控制器；所述时序控制器用于根据输出的各种接口以及时序，将接收到的图像数据按显示所要求的相应格式输出送显示。
2.根据权利要求1所述的视频图像显示处理控制装置，其特征在于，所述第一图层叠加模块和所述第二图层叠加模块均包括：第一选择单元、第二选择单元、第三选择单元、第一图层叠加单元以及第二图层叠加单元；
所述第一选择单元的一输入端连接视频RGB信号；所述第一选择单元的另一输入端连接所述第二图层叠加单元的输出端；所述第一选择单元的输出端连接所述第一图层叠加单元的一输入端；所述第一图层叠加单元的另一输入端连接普通字符型OSD的RGB信号；所述第一图层叠加单元的输出端分别连接所述第二选择单元的一输入端以及所述第三选择单元的一输入端；所述第二选择单元的另一输入端连接视频RGB信号；所述第二选择单元的输出端连接所述第二图层叠加单元的一输入端；所述第二图层叠加单元的另一输入端连接高性能AOSD的RGB信号；所述第二图层叠加单元的输出端分别连接所述第一选择单元的另一输入端以及所述第三选择单元的另一输入端。
3.根据权利要求1所述的视频图像显示处理控制装置，其特征在于，所述前级缩放引擎模块支持放大缩小操作，所述后级缩放引擎模块仅支持放大操作。
4.根据权利要求1所述的视频图像显示处理控制装置，其特征在于，所述前级缩放引擎模块根据输入和输出分辨率大小对图像进行缩放，前级缩放引擎模块的输入时钟域为输入接口的像素时钟，输出时钟域为芯片内部锁相环产生的显示时钟，采用场同步清零的方式进行实时地图像缩放，通过调整输出的行频以及消隐宽度实现图像任意比例缩放。
5.根据权利要求1所述的视频图像显示处理控制装置，其特征在于，所述前级缩放引擎模块前还包括：图像前处理模块；所述图像前处理模块用于对输入解码模块输出的数据进行自适应降噪处理；
或，所述前级缩放引擎模块后还包括图像后处理模块；所述图像后处理模块用于对缩放后的图像数据进行图像增强处理。
6.根据权利要求1所述的视频图像显示处理控制装置，其特征在于，所述前级缩放引擎模块缩放比例的设置满足缩放后的数据与所述帧缓存的存储空间大小匹配。
7.一种视频图像显示处理控制方法，其特征在于，包括：
对输入的图像数据进行解码，解出行场同步时序信息；
对图像数据进行前级缩放处理；
对前级缩放处理过的图像数据进行旋转处理；其中旋转处理具体包括：接收输入的图像数据，根据预先配置的模式，将图像数据缓存转换处理后输出到仲裁器和帧缓存控制器；仲裁器对访问帧缓存的输入输出请求进行仲裁，启动帧缓存控制器进行帧缓存的读写访问；
对旋转处理过的图像数据进行后级缩放处理；其中后级缩放处理具体包括：按照显示时钟域的时序，向仲裁器发出读视频数据的请求，从帧缓存中得到显示数据后，对图像进行缩放处理，并输出点屏的行场同步时序信息；
根据选择控制信号将OSD/AOSD模块输出的图层数据叠加在旋转处理前的图像数据或者后级缩放处理后的图像数据；
根据输出的各种接口以及时序，将接收到的图像数据按显示所要求的相应格式输出送至显示装置。
8.根据权利要求7所述的视频图像显示处理控制方法，其特征在于，在进行前级缩放处理前还包括进行自适应降噪处理；
或，
在进行前级缩放处理后还包括进行图像增强处理。
9.根据权利要求7所述的视频图像显示处理控制方法，其特征在于，所述前级缩放比例的设置满足缩放后的数据与所述帧缓存的存储空间大小匹配。
10.一种显示终端，其特征在于，包括：显示屏和如权利要求1-6任一所述的视频图像显示处理控制装置。
CN201911421696.4A 2019-12-31 2019-12-31 一种视频图像显示处理控制装置、方法及显示终端 Pending CN113132650A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911421696.4A CN113132650A (zh) 2019-12-31 2019-12-31 一种视频图像显示处理控制装置、方法及显示终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911421696.4A CN113132650A (zh) 2019-12-31 2019-12-31 一种视频图像显示处理控制装置、方法及显示终端

Publications (1)

Publication Number Publication Date
CN113132650A true CN113132650A (zh) 2021-07-16

Family

ID=76770082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911421696.4A Pending CN113132650A (zh) 2019-12-31 2019-12-31 一种视频图像显示处理控制装置、方法及显示终端

Country Status (1)

Country Link
CN (1) CN113132650A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434199A (zh) * 2021-08-27 2021-09-24 南京沁恒微电子股份有限公司 一种可驱动多组rgb灯的mcu及其驱动方法
CN115278264A (zh) * 2022-09-26 2022-11-01 杭州雄迈集成电路技术股份有限公司 一种图像放大和osd叠加编码方法和系统
CN116456144A (zh) * 2023-06-14 2023-07-18 合肥六角形半导体有限公司 一种无帧缓存视频流处置输出装置和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060221210A1 (en) * 2005-04-01 2006-10-05 Hiroya Miura Image processing apparatus, image processing method, program, and storage medium
CN104065948A (zh) * 2014-06-19 2014-09-24 杭州立体世界科技有限公司 高清裸眼便携式立体影视播放器专用可编程逻辑器件
CN107333173A (zh) * 2017-07-06 2017-11-07 微鲸科技有限公司 显示画面旋转方法、装置及显示设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060221210A1 (en) * 2005-04-01 2006-10-05 Hiroya Miura Image processing apparatus, image processing method, program, and storage medium
CN104065948A (zh) * 2014-06-19 2014-09-24 杭州立体世界科技有限公司 高清裸眼便携式立体影视播放器专用可编程逻辑器件
CN107333173A (zh) * 2017-07-06 2017-11-07 微鲸科技有限公司 显示画面旋转方法、装置及显示设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434199A (zh) * 2021-08-27 2021-09-24 南京沁恒微电子股份有限公司 一种可驱动多组rgb灯的mcu及其驱动方法
CN113434199B (zh) * 2021-08-27 2021-11-23 南京沁恒微电子股份有限公司 一种可驱动多组rgb灯的mcu及其驱动方法
CN115278264A (zh) * 2022-09-26 2022-11-01 杭州雄迈集成电路技术股份有限公司 一种图像放大和osd叠加编码方法和系统
CN115278264B (zh) * 2022-09-26 2023-02-28 杭州雄迈集成电路技术股份有限公司 一种图像放大和osd叠加编码方法和系统
CN116456144A (zh) * 2023-06-14 2023-07-18 合肥六角形半导体有限公司 一种无帧缓存视频流处置输出装置和方法
CN116456144B (zh) * 2023-06-14 2023-09-26 合肥六角形半导体有限公司 一种无帧缓存视频流处置输出装置和方法

Similar Documents

Publication Publication Date Title
CN109547662B (zh) 非模态视频和静态帧捕获
US7542010B2 (en) Preventing image tearing where a single video input is streamed to two independent display devices
JP6652937B2 (ja) 分割ディスプレイを駆動する多重ディスプレイパイプライン
US9495926B2 (en) Variable frame refresh rate
US20120307141A1 (en) Frame retiming for mirror mode
CN113132650A (zh) 一种视频图像显示处理控制装置、方法及显示终端
JP2008506295A (ja) 一連のイメージ・フレームを表示する方法及びシステム
US10055809B2 (en) Systems and methods for time shifting tasks
US20120306926A1 (en) Inline scaling unit for mirror mode
US9001160B2 (en) Frame timing synchronization for an inline scaler using multiple buffer thresholds
US20110261061A1 (en) Method and system for processing image data on a per tile basis in an image sensor pipeline
US8102399B2 (en) Method and device for processing image data stored in a frame buffer
US9652816B1 (en) Reduced frame refresh rate
JP2012028997A (ja) 画像処理装置およびカメラ
JP2005184458A (ja) 映像信号処理装置
CN111554248A (zh) 液晶显示芯片
US9412147B2 (en) Display pipe line buffer sharing
CN101257588A (zh) 用于处理电视分割画面的影像处理系统与方法
JP2006287715A (ja) 画像処理コントローラ及び電子機器
CN212461112U (zh) 一种液晶显示芯片
JP5224492B2 (ja) 画像データ転送制御装置及び画像データ転送方法並びに該画像データ転送装置を有するカメラ
JP2001237930A (ja) 情報処理装置及びその方法
CN107632810B (zh) 一种基于Android系统HDMI同显时节省带宽的方法
JP2000267642A (ja) 画像表示装置
Zheng et al. The design of PAL integrative camera based on FPGA

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination