CN117522879A - 处理图像的方法、视频处理装置、设备及存储介质 - Google Patents
处理图像的方法、视频处理装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117522879A CN117522879A CN202210910986.0A CN202210910986A CN117522879A CN 117522879 A CN117522879 A CN 117522879A CN 202210910986 A CN202210910986 A CN 202210910986A CN 117522879 A CN117522879 A CN 117522879A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- processing unit
- processing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 271
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000012805 post-processing Methods 0.000 claims abstract description 76
- 238000003709 image segmentation Methods 0.000 claims abstract description 52
- 238000004590 computer program Methods 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 230000003139 buffering effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004148 unit process Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请属于显示技术领域,尤其涉及一种处理图像的方法、视频处理装置、视频处理设备及存储介质。视频处理器包括画中画处理单元、图像分割单元以及多个物理输出接口,画中画处理单元包括一个目标后级处理单元,该方法包括:通过画中画处理单元获取目标输入源输入的视频源图像;通过画中画处理单元中的目标后级处理单元将视频源图像处理为第一图像;通过图像分割单元将第一图像分割为多个第二图像;通过多个物理输出接口输出多个第二图像。本方法通过一个目标后级处理单元即可实现多个物理输出接口输出各自对应的第二图像,显著减少了资源的消耗,大大降低了硬件成本,提升了视频处理器的处理效率。
Description
技术领域
本申请属于显示技术领域,尤其涉及一种处理图像的方法、视频处理装置、视频处理设备及存储介质。
背景技术
视频处理器通常应用于舞台演出、监控中心、商场、演唱会等场景,其通常与提供视频源的设备(如视频服务器、摄像机等)以及显示设备(如显示器)配合使用。例如,视频处理器可以将视频服务器、摄像机等设备提供的视频源图像转换为显示设备能够接受的信号,从而在多个显示设备中以拼接的方式显示图像。
目前,视频处理器在对视频源图像进行处理时,资源消耗过大,增加了经济成本,降低了处理效率。
发明内容
本申请的主要目的在于提供一种处理图像的方法、视频处理装置、视频处理设备及存储介质,旨在解决视频处理器在对视频源图像进行处理的过程中,资源消耗过大,增加了经济成本,降低了处理效率的问题。
第一方面,本申请实施例提供了一种处理图像的方法,该方法应用于视频处理器,视频处理器包括画中画处理单元、图像分割单元以及多个物理输出接口,画中画处理单元包括一个目标后级处理单元,该方法可以包括:
通过画中画处理单元获取目标输入源输入的视频源图像;
通过画中画处理单元中的目标后级处理单元将视频源图像处理为第一图像;
通过图像分割单元将第一图像分割为多个第二图像,每个第二图像对应一个物理输出接口;
通过多个物理输出接口输出多个第二图像。
第一方面提供的处理图像的方法中,画中画处理单元无需考虑物理输出接口的数量,通过一个目标后级处理单元将目标输入源输入的视频源图像处理为第一图像,再通过图像分割单元将第一图像分割为多个第二图像,每个第二图像对应一个物理输出接口,最后通过多个物理输出接口输出多个第二图像。
现有技术中有多少个物理输出接口,画中画处理单元中就需要多少个画中画后级,才可实现多个物理输出接口输出各自对应的图像,本申请提供的处理图像的方法,在整个视频源图像的处理过程中,无论有多少个物理输出接口,无需多个画中画后级,只需一个目标后级处理单元,即可实现多个物理输出接口输出各自对应的第二图像,显著减少了资源的消耗,在硬件中只需安装一个目标后级处理单元,大大降低了硬件成本。且通过一个目标后级处理单元将目标输入源输入的视频源图像处理为第一图像,再通过图像分割单元将第一图像分割为多个第二图像,无需多个画中画后级处理图像,提升了视频处理器的处理效率。
可选地,在一些可能的实现方式中,视频处理器还包括帧缓冲存储器,画中画处理单元还包括前级处理单元,通过画中画处理单元中的目标后级处理单元将视频源图像处理为第一图像,包括:通过前级处理单元对视频源图像进行缩小处理,得到处理结果;通过帧缓冲存储器对处理结果进行缓存处理,得到缓存图像;通过目标后级处理单元对缓存图像进行放大处理,得到第一图像,第一图像的分辨率为总分辨率,总分辨率为多个物理输出接口对应输出的多个第二图像的分辨率之和。
可选地,在一些可能的实现方式中,通过图像分割单元将第一图像分割为多个第二图像,包括:图像分割单元获取每个物理输出接口对应的图像信息,图像信息包括图像分辨率和图像位置;图像分割单元根据每个图像信息对第一图像进行分割,得到多个第二图像,每个第二图像的分辨率小于或等于各自对应的物理输出接口的最大带载分辨率。
可选地,在一些可能的实现方式中,在多个物理输出接口的拼接方式为垂直拼接的情况下,通过帧缓冲存储器对处理结果进行缓存处理,得到缓存图像之后,方法还包括:目标后级处理单元根据每个物理输出接口对应输出的图像信息,将缓存图像分割为多个子图像,每个子图像对应一个物理输出接口,多个子图像的拼接方式为水平拼接;通过图像分割单元将第一图像分割为多个第二图像包括:通过图像分割单元将第一图像分割为多个子图像,将多个子图像映射为与每个子图像对应的第二图像。
可选地,在一些可能的实现方式中,多个物理输出接口一一对应多个虚拟输出接口,目标后级处理单元根据每个物理输出接口对应输出的图像信息,将缓存图像分割为多个子图像,包括:目标后级处理单元根据每个物理输出接口对应输出的图像信息,将缓存图像分割为多个虚拟输出接口对应的多个子图像,多个虚拟输出接口水平拼接,使得多个子图像水平拼接,每个子图像的分辨率小于或等于各自对应的虚拟输出接口的分辨率。
可选地,在一些可能的实现方式中,图像分割单元的分割方式为行缓存分割方式。
可选地,在一些可能的实现方式中,视频处理器还包括混叠单元,当画中画处理单元至少有两个时,该方法还包括:混叠单元根据预设的图层顺序将各个画中画处理单元对应的第一图像叠加为一个目标图像;
通过图像分割单元将第一图像分割为多个第二图像包括:图像分割单元将目标图像分割为多个第二图像。
可选地,在一些可能的实现方式中,通过多个物理输出接口输出多个第二图像,包括:针对每个第二图像,图像分割单元将第二图像转换为输出视频源图像;将输出视频源图像输出至第二图像对应的物理输出接口。
第二方面,本申请实施例提供了一种视频处理装置,该视频处理装置包括画中画处理单元、图像分割单元以及多个物理输出接口,画中画处理单元包括一个目标后级处理单元,画中画处理单元用于,获取目标输入源输入的视频源图像;
目标后级处理单元用于,将视频源图像处理为第一图像;
图像分割单元用于,将第一图像分割为多个第二图像,每个第二图像对应一个物理输出接口;
多个物理输出接口用于,输出多个第二图像。
可选地,在一些可能的实现方式中,该视频处理装置还包括混叠单元,当画中画处理单元至少有两个时,混叠单元用于,根据预设的图层顺序将各个画中画处理单元对应的第一图像叠加为一个目标图像;
图像分割单元还用于,将目标图像分割为多个第二图像。
第三方面,本申请实施例提供了一种视频处理设备,包括:处理器及存储器,该处理器和存储器耦合,该存储器存储有程序指令,当该存储器存储的程序指令被该处理器执行时执行上述第一方面提供的处理图像的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储了计算机程序,该计算机程序包括程序指令,该程序指令当被处理器执行时使该处理器执行上述第一方面提供的处理图像的方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在视频处理设备上运行时,使得该视频处理设备执行上述第一方面提供的处理图像的方法。
可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本申请提供的一种视频处理器的结构示意图;
图2是本申请提供的一种图像处理过程示意图;
图3是本申请一示例性实施例提供的处理图像的方法的示意性流程图;
图4是本申请一示例性实施例提供的一种视频处理器的结构示意图。
图5是本申请另一示例性实施例提供的处理图像的方法的步骤S103的具体流程图;
图6是本申请又一示例性实施例提供的一种图像处理过程示意图;
图7是本申请再一实施例提供的一种图像处理过程示意图;
图8是本申请又一实施例提供的一种图像处理过程示意图;
图9是本申请另一实施例提供的一种视频处理设备的示意图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本申请一部分实施例,而非全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
视频处理器通常应用于舞台演出、监控中心、商场展示、演唱会等场景,其通常与提供视频源的设备(如视频服务器、摄像机等)以及显示设备(如显示器)配合使用。例如,视频处理器可以将视频服务器、摄像机等设备提供的视频源图像转换为显示设备能够接受的信号,从而在多个显示设备中以拼接的方式显示图像。
目前,市面上的视频处理器通常包括主控单元、画中画(PIP)处理单元、多个输入源、多个混叠单元、多个输出接口。画中画(PIP),也叫图层,用于在背景视频或图像上叠放一个视频或图像,位置和区域大小都可设置,PIP处理单元用于实现该功能。PIP处理单元中又可包含PIP前级、帧缓冲存储器以及多个PIP后级,每个输出接口连接一个显示设备。
输入源输入视频源图像,PIP处理单元中的PIP前级、帧缓冲存储器以及多个PIP后级对该视频源图像进行处理,得到多个图像,这多个图像可以拼接成一个完成的图像。具体地,每个输出接口输出一个对应的图像,并显示在与该输出接口连接的显示设备中,最终多个显示设备以拼接的方式显示一个完整的图像。
可以理解的是,由于视频处理器的种类非常多,不同规格的视频处理器,其包含的输入源的数量、PIP处理单元的数量以及输出接口的数量都各不相同。但是,输出接口、PIP后级以及混叠单元的数量都是相同的,即有多少个输出接口,就对应有多少个PIP后级和混叠单元。
作为一个示例,请参见图1,图1是本申请提供的一种视频处理器的结构示意图。如图1所示,图1展示了市面上一种视频处理器的结构。该视频处理器包括一个主控单元、一个帧缓冲存储器、n个输入源(如输入源1、输入源2……输入源n)、PIP处理单元、m个混叠(Blending)单元(如混叠单元1、混叠单元2……混叠单元m)、m个输出接口(如输出接口1、输出接口2……输出接口m)。
图1中的目标输入源表示从n个输入源中任意选择的输入源,即用户从n个输入源中任意选择一个输入源作为目标输入源。
PIP处理单元中又包含一个PIP前级以及m个PIP后级(如PIP后级1、PI P后级2……PIP后级m)。可见市面上的视频处理器中,PIP后级、混叠单元以及输出接口的数量都是相同的。
在PIP后级的数量和输出接口的数量相同的情况下,一个PIP后级对应一个输出接口,对于每个PIP后级来说,该PIP后级处理带宽的能力与其对应的输出接口输出的图像的分辨率所匹配。例如,输出接口输出的图像的分辨率为2K,则与该输出接口对应的PIP后级的处理能力为2K带宽。
也就是说,当有多个输出接口的情况下,需要对应有多个混叠单元以及多个PIP后级,且每个PIP后级处理带宽的能力与输出接口输出的图像的分辨率所匹配。
作为另一个示例,请参见图2,图2是本申请提供的一种图像处理过程示意图。如图2所示的场景中,有4个输出接口,分别为输出接口1、输出接口2、输出接口3以及输出接口4。相应地,有4个PIP后级,分别为PIP后级1、PIP后级2、PIP后级3以及PIP后级4。PIP后级1与输出接口1的一端连接,PIP后级2与输出接口2的一端连接、PIP后级3与输出接口3的一端连接,PIP后级4与输出接口4的一端连接。
图2所示的场景中,还包括4个显示设备,分别为显示器1、显示器2、显示器3以及显示器4。显示器1与输出接口1的另一端连接,显示器2与输出接口2的另一端连接,显示器3与输出接口3的另一端连接,显示器4与输出接口4的另一端连接。
该示例中,PIP后级1处理带宽的能力与输出接口1输出的分辨率匹配,PIP后级2处理带宽的能力与输出接口2输出的分辨率匹配,PIP后级3处理带宽的能力与输出接口3输出的分辨率匹配,PIP后级4处理带宽的能力与输出接口4输出的分辨率匹配。
图2左侧为通过帧缓冲存储器缓存处理后得到的内容,共由4部分构成。每个PIP后级对应处理一部分内容,并将处理后的结果传输至与该PIP后级对应的输出接口,该输出接口将该处理后的结果在与其连接的显示器中显示。例如,PIP后级1处理图2左边虚线框中的内容,将处理结果传输至输出接口1,输出接口1将该处理结果在显示器1中显示。PIP后级2、PIP后级3以及PIP后级4的处理类似,此处不再赘述。经过上述处理,最终在显示器1、显示器2、显示器3以及显示器4中显示各自对应的画面。
上述这种实现方式中,一个输出接口对应一个PIP后级,即一个输出接口输出的内容,需要一个单独的PIP后级去处理。随着视频处理器产品规格的提升,输出接口越来越大,有的甚至十几个输出接口,相应地就需要十几个单独的PIP后级去处理,这导致视频处理器在处理图像的过程中,资源消耗巨大,不仅增加了经济成本,且由于这么多PIP后级同时运行,视频处理器负载过重,反而降低了处理效率。
针对上述问题,本申请实施例提供了一种处理图像的方法,该方法应用于视频处理器,视频处理器包括画中画处理单元、图像分割单元以及多个物理输出接口,画中画处理单元包括一个目标后级处理单元,该方法可以包括:通过画中画处理单元获取目标输入源输入的视频源图像;通过画中画处理单元中的目标后级处理单元将视频源图像处理为第一图像;通过图像分割单元将第一图像分割为多个第二图像,每个第二图像对应一个物理输出接口;通过多个物理输出接口输出多个第二图像。
本方法中,PIP处理单元无需考虑物理输出接口的数量,通过一个目标后级处理单元将目标输入源输入的视频源图像处理为第一图像,再通过图像分割单元将第一图像分割为多个第二图像,每个第二图像对应一个物理输出接口,最后通过多个物理输出接口输出多个第二图像。
现有技术中有多少个输出接口,PIP处理单元中就需要多少个PIP后级,才可实现多个物理输出接口输出各自对应的图像,本申请提供的处理图像的方法,在整个视频源图像的处理过程中,无论有多少个物理输出接口,无需多个画中画后级,只需一个目标后级处理单元,即可实现多个物理输出接口输出各自对应的第二图像,显著减少了资源的消耗,在硬件中只需安装一个目标后级处理单元,大大降低了硬件成本。且通过一个目标后级处理单元将目标输入源输入的视频源图像处理为第一图像,再通过图像分割单元将第一图像分割为多个第二图像,无需多个画中画后级处理图像,提升了视频处理器的处理效率。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
请参见图3,图3是本申请一示例性实施例提供的处理图像的方法的示意性流程图。在具体的实施例中,处理图像的方法可以由视频处理器执行,也可以是由具有视频处理器功能的视频处理设备执行,视频处理设备可以包括服务器、移动设备(例如,手机、掌上电脑(Personal Digital Assistant,PDA)、平板电脑(Tablet Personal Computer,TabletPC)笔记本电脑等)以及固定设备(例如,台式计算机、智能控制面板等)等。
本申请实施例所示的处理图像的方法应用于视频处理器,该处理图像的方法可以包括步骤S101至步骤S104。
本申请实施例中的视频处理器可以包括主控单元、现场可编程门阵列(Field-Programmable Gate Array,FPGA)单元、帧缓冲存储器。其中,FPGA单元可以包括画中画(PIP)处理单元、图像分割单元、混叠单元。PIP处理单元可以包括前级处理单元和一个目标后级处理单元。帧缓冲存储器可以是动态随机存取存储器(Dynamic Random AccessMemory,DRAM),也可以是双倍速率同步动态随机存储器(Double Data Rate,DDR),对此不做限定。值得说明的是,本申请所提供的各个单元可以是虚拟装置也可以是实体装置,以实际实施情况为准,对此不做限定。
请参见图4,图4是本申请一示例性实施例提供的一种视频处理器的结构示意图。如图4所示,图4展示了本申请改进后的视频处理器的结构。该视频处理器包括一个主控单元、n个输入源(如输入源1、输入源2……输入源n)、目标输入源、PIP处理单元、图像分割单元、m个物理输出接口(如物理输出接口1、物理输出接口2……物理输出接口m)。其中,目标输入源表示从n个输入源中任意选择的输入源,例如,用户从n个输入源中任意选择一个输入源作为目标输入源。
如图4所示,PIP处理单元中包含前级处理单元以及一个目标后级处理单元。前级处理单元即图1对应的实施例中所描述的PIP前级,帧缓存表示帧缓存处理。可以看出,本申请实施例中,无论有多少个物理输出接口,一个PIP处理单元中都只有一个目标后级处理单元。
目标后级处理单元也可称为高带宽PIP后级,目标后级处理单元是指处理带宽的能力与多个物理输出接口的总分辨率匹配的PIP后级。需要注意的是,本申请中提供的目标后级处理单元与现有技术中普通的PIP后级并不相同,目标后级处理单元处理带宽的能力远高于普通的PIP后级处理带宽的能力。现有技术中普通的PI后级处理带宽的能力与其对应的一个输出接口输出的图像的分辨率所匹配,而本申请中提供的目标后级处理单元,处理带宽的能力与多个物理输出接口输出的总分辨率所匹配。例如,有4个物理输出接口,每个物理输出接口对应的分辨率为2K,则4个物理输出接口对应的总分辨率为8K,该目标后级处理单元的处理能力8K带宽。
也就是说,本申请提供的视频处理器,当有多个物理输出接口的情况下,在一个PIP处理单元中只需有一个目标后级处理单元,即可达到处理多个物理输出接口的总分辨率的能力。
示例性地,每个输入源提供不同的视频源图像,用户从多个输入源中任意选择一个输入源作为目标输入源,PI P处理单元获取该目标输入源输入的视频源图像。PIP处理单元中的前级处理单元用于对视频源图像进行缩小处理,得到处理结果。帧缓冲存储器用于对该处理结果进行缓存,得到缓存图像。目标后级处理单元对该缓存图像进行放大处理,从而得到满足总分辨率的第一图像。
目标后级处理单元将第一图像发送至图像分割单元,主控单元向该图像分割单元发送图像信息,如每个显示设备最终显示的图像分辨率和图像位置等,该图像分割单元根据图像信息对第一图像进行分割,得到多个第二图像。多个物理输出接口输出多个第二图像,以使得与每个物理输出接口连接的显示设备显示对应的第二图像。可以理解的是,这些第二图像拼接可得到第一图像。
在本申请实施例中,物理输出接口可以为视频图形阵列(Video Graphics Array,VGA)接口、显示接口(DisplayPort,DP)、数字分量串行接口(Serial Digital Interface,SDI)、复合视频广播信号(Composite Video Broadcast Signal,CVBS)接口、高清多媒体接口(High Definition Multimedia Interface,HDMI)、数字视频接口(Digital VisualInterface,DVI)等,此处仅为示例性说明,对此不做限定。
下面对步骤S101至步骤S104进行详细描述。
S101:通过画中画处理单元获取目标输入源输入的视频源图像。
目标输入源可以是多个输入源中的任意一个输入源。示例性地,不同的输入源提供不同的视频源图像,不同的视频源图像最终可以在显示设备中展示不同的图像。用户根据实际需求,从多个输入源中选择一个输入源作为目标输入源。该目标输入源将其提供的视频源图像发送至PIP处理单元,PIP处理单元接收该目标输入源发送的视频源图像。
S102:通过目标后级处理单元将视频源图像处理为第一图像。
在本申请实施例中,无需多个PIP后级,只通过一个目标后级处理单元即可将目标输入源输入的视频源图像处理为第一图像。
可选地,在一种可能的实现方式中,无需多个PIP后级,只通过一个目标后级处理单元,将视频源图像处理为满足多个物理输出接口对应的总分辨率的第一图像。示例性地,通过PIP处理单元获取多个物理输出接口对应的总分辨率,通过PIP处理单元中的目标后级处理单元将视频源图像处理为第一图像,第一图像的分辨率为总分辨率。
每个物理输出接口对应一个分辨率,该分辨率指该物理输出接口输出的图像或者视频的分辨率。多个物理输出接口对应的总分辨率,为各个物理输出接口对应的分辨率之和。示例性地,在某个场景中,有4个物理输出接口,用户设置每个物理输出接口对应的分辨率。如每个物理输出接口对应的分辨率为2K,则4个物理输出接口对应的总分辨率为8K,该第一图像的分辨率也为8K。
值得说明的是,通过PIP处理单元获取多个物理输出接口对应的总分辨率,可以是,主控单元根据用户设置的每个物理输出接口对应的分辨率,计算多个物理输出接口对应的总分辨率,并将计算得到的总分辨率发送至PIP处理单元,PIP处理单元接收主控单元发送的多个物理输出接口对应的总分辨率。也可以是,PIP处理单元获取每个物理输出接口对应的分辨率,并根据每个物理输出接口对应的分辨率,计算多个物理输出接口对应的总分辨率。此处仅为示例性说明,对此不做限定。
请参见图5,图5是本申请另一示例性实施例提供的处理图像的方法的步骤S102的具体流程图,可选地,在一种可能的实现方式中,上述S102可以包括S1021至步骤S1023,具体如下:
S1021:通过前级处理单元对视频源图像进行缩小处理,得到处理结果。
在本申请实施例中,PIP处理单元包括一个前级处理单元(即PIP前级)、一个帧缓冲存储器以及一个目标后级处理单元。PIP前级用于对视频源图像进行缩小处理,帧缓冲存储器用于对缩小处理后的结果进行缓存处理,目标后级处理单元用于对缓存结果进行放大处理。通过PIP前级对视频源图像进行缩小处理,可以有效地缩小带宽,有利于减小缓存、提升处理速度,最后再通过目标后级处理单元进行放大处理,从而得到满足总分辨率的第一图像。
示例性地,PIP前级采用缩放算法缩小该视频源图像。可以理解为,在该图像中选择合适的像素点,由被选择的这些像素点组成的图像为缩小后的图像,即该处理结果。其中,缩放算法可以为时域缩放算法、超采样(supersampling)反锯齿算法等。通过这种缩放算法得到的图像,可使图像缩小且保持原有图像的概貌特征不丢失。
S1022:通过帧缓冲存储器对处理结果进行缓存处理,得到缓存图像。
帧缓冲存储器简称帧缓存,它是显示设备所显示画面的一个直接映像。帧缓存的每一存储单元对应显示设备上的一个像素,整个帧缓存对应一帧图像。请参见图6,图6是本申请又一示例性实施例提供的一种图像处理过程示意图。如图6所示的场景中,最左侧即为帧缓冲存储器缓存的内容,最右侧为帧缓冲存储器缓存的内容在显示器中的映像。
将S1021中的处理结果不停地写入帧缓冲存储器,写完一帧图像后,得到一帧缓存图像。例如,将这一帧缩小后的图像写入帧缓冲存储器,这帧缩小后的图像写完后,得到缓存图像。如图6最左侧所示的内容,即为一帧缓存图像。
S1023:通过目标后级处理单元对缓存图像进行放大处理,得到第一图像。
第一图像的分辨率为总分辨率,总分辨率为多个物理输出接口对应输出的多个第二图像的分辨率之和。可以理解的是,分辨率越高,图像所包含的像素点越多。在S1021中通过PIP前级对视频源图像进行了缩小处理,而最终的第一图像的分辨率要满足多个物理输出接口对应的总分辨率,因此,在S1023步骤中,需要对缓存图像做放大处理,即增大缓存图像的分辨率,从而得到分辨率为总分辨率的第一图像。如可通过目标后级处理单元将缓存图像的分辨率调整为总分辨率。
示例性地,如图6所示,有4个物理输出接口,分别为物理输出接口1、物理输出接口2、物理输出接口3以及物理输出接口4,但只有一个目标后级处理单元。示例性地,通过该目标后级处理单元读取该缓存图像,同时将该缓存图像的分辨率调整为总分辨率,从而得到第一图像。具体地,目标后级处理单元在帧缓冲存储器中依次读取该缓存图像的每个像素点,在读取像素点的同时,可以采用插值算法增加缓存图像的像素点的个数。当读取完该缓存图像的所有像素点时,也就得到了第一图像。其中,插值算法可以为最临近点插值算法、双线性插值算法等。
本实施方式中,通过一个目标后级处理单元将缓存图像的分辨率调整为总分辨率,即通过一个目标后级处理单元将缓存图像处理为满足多个物理输出接口对应的总分辨率的第一图像,便于后续通过图像分割单元将第一图像分割为多个第二图像,从而在一个目标后级处理单元的情况下,实现多个物理输出接口输出各自对应的第二图像。无需多个PIP后级,显著减少了资源的消耗,大大降低了硬件成本。且不用考虑物理输出接口的数量,灵活性更强,使视频处理器的适用场景更丰富。
S103:通过图像分割单元将第一图像分割为多个第二图像。
第二图像为显示设备最终显示的图像,用户可以根据实际需求设置第二图像的数量。通常,物理输出接口、显示设备以及第二图像的数据量相对应。例如,每个第二图像对应一个物理输出接口。
第一图像的分辨率为总分辨率,每个第二图像的分辨率小于或等于各自对应的物理输出接口的最大带载分辨率。如图6所示,有4个物理输出接口,4个显示器。其中,物理输出接口1与显示器1连接,物理输出接口2与显示器2连接,物理输出接口3与显示器3连接,物理输出接口4与显示器4连接。
第一图像与图6最左侧所展示的内容类似,只是第一图像的分辨率为总分辨率。在本申请实施例中,通过图像分割单元将第一图像分割为4个第二图像。第1个第二图像的分辨率小于或等于物理输出接口1的最大带载分辨率,第2个第二图像的分辨率小于或等于物理输出接口2的最大带载分辨率,第3个第二图像的分辨率小于或等于物理输出接口3的最大带载分辨率,第4个第二图像的分辨率小于或等于物理输出接口4的最大带载分辨率。
例如,物理输出接口1、物理输出接口2、物理输出接口3以及物理输出接口4的最大带载分辨率分别为2K、4K、4K、2K,则第1个第二图像、第2个第二图像、第3个第二图像以及第4个第二图像的分辨率可以分别为2K、4K、4K、2K,第1个第二图像、第2个第二图像、第3个第二图像以及第4个第二图像的分辨率也可以分别为2K、2K、2K、2K。此处仅为示例性说明,对此不做限定。
可选地,在一种可能的实现方式中,上述S103可以包括步骤S1031和步骤S1032,具体如下:
S1031:图像分割单元获取每个物理输出接口对应的图像信息。
图像信息包括图像分辨率和图像位置。其中,图像分辨率为与该物理输出接口连接的显示设备最终显示的图像分辨率,图像位置包括与该物理输出接口连接的显示设备最终显示的图像位置,如图像位置可以包括该物理输出接口连接的显示设备最终显示的图像所对应的图像起点位置。
示例性地,主控单元会根据用户预先设置的物理输出接口的数量、每个物理输出接口的分辨率、每个显示设备显示图像的图像位置等信息,生成每个物理输出接口对应的图像信息。主控单元将每个物理输出接口对应的图像信息发送至图像分割单元,图像分割单元接收这些图像信息。
S1032:图像分割单元根据每个图像信息对第一图像进行分割,得到多个第二图像。
示例性地,图像分割单元以物理输出接口为载体对第一图像进行分割,根据一个图像信息可以分割得到一个第二图像,当有4个物理输出接口时,图像分割单元接收到主控单元发送的4个图像信息,根据这4个图像信息,将第一图像分割为4个第二图像。其中,每个第二图像的分辨率小于或等于各自对应的物理输出接口的最大带载分辨率。例如,某个物理输出接口的最大带载分辨率为4K,其对应的第二图像的分辨率可以为2K或4K等。此处仅为示例性说明,对此不做限定。
以分割第1个第二图像为例,第一图像中左上角第1个像素点即为分割起始点,是第1个第二图像的图像起点位置,该像素点也是分割后得到的第二图像的起始像素点。根据起始像素点、图像信息中的图像分辨率,确定第1个第二图像的终止像素点。确定了第1个第二图像的起始像素点、终止像素点以及图像分辨率,可以在第一图像将该第1个第二图像分割出来。
根据第1个第二图像的终止像素点,确定第2个第二图像的起始像素点。例如,与第1个第二图像的终止像素点相邻的下一行像素点中,最左边的像素点即为第2个第二图像的起始像素点。采用上述同样的方式分割出第2个第二图像、第3个第二图像以及第4个第二图像。
可选地,还可根据图像位置调整该每个第二图像的显示位置,以保证最终第二图像在显示器上显示时,其显示的位置满足用户的需求。如图6所示,第1个第二图像在显示器1的下半部分显示,第2个第二图像在显示器2中全屏显示,第3个第二图像在显示器3中全屏显示,第4个第二图像在显示器4的上半部分显示。此处仅为示例性说明,对此不做限定。
本实施方式中,采用图像分割单元将第一图像分割为多个第二图像,每个第二图像的分辨率小于或等于各自对应的物理输出接口的最大带载分辨率,无需像现有技术中那样,需要多个PIP后级才可实现多个物理输出接口输出各自对应的图像。该图像分割单元与目标后级处理单元互相配合,在整个视频源图像的处理过程中,无论有多少个物理输出接口,只需一个目标后级处理单元,即可实现多个物理输出接口输出各自对应的第二图像,显著减少了资源的消耗,大大降低了硬件成本。
S104:通过多个物理输出接口输出多个第二图像。
示例性地,每个物理输出接口对应输出一个第二图像。如图6所示,与物理输出接口1连接的显示器1输出第1个第二图像,与物理输出接口2连接的显示器2输出第2个第二图像,与物理输出接口3连接的显示器3输出第3个第二图像,与物理输出接口4连接的显示器4输出第4个第二图像。
可以理解的是,经过上述处理,最终在显示器1、显示器2、显示器3以及显示器4中显示不同的第二图像,这四个显示器各自显示的第二图像拼接后,可得到一个完整的图像,即第一图像。
本实施方式中,PIP处理单元无需考虑物理输出接口的数量,而是以多个物理输出接口对应的总分辨率为参考,通过一个目标后级处理单元将目标输入源输入的视频源图像处理为满足该总分辨率的第一图像,再通过图像分割单元将第一图像分割为多个第二图像,每个第二图像的分辨率小于或等于各自对应的物理输出接口的最大带载分辨率,最后通过多个物理输出接口输出多个第二图像。
现有技术中有多少个输出接口,PIP处理单元中就需要多少个PIP后级,才可实现多个物理输出接口输出各自对应的图像,本申请提供的处理图像的方法,在整个视频源图像的处理过程中,无论有多少个物理输出接口,无需多个PIP后级,只需一个目标后级处理单元,即可实现多个物理输出接口输出各自对应的第二图像,显著减少了资源的消耗,在硬件中只需安装一个目标后级处理单元,大大降低了硬件成本。且通过一个目标后级处理单元将目标输入源输入的视频源图像处理为满足该总分辨率的第一图像,再通过图像分割单元将第一图像分割为多个第二图像,无需多个PIP后级处理图像,提升了视频处理器的处理效率。
可选地,在一种可能的实现方式中,上述S104可以包括步骤S1041和步骤S1042,具体如下:
S1041:针对每个第二图像,图像分割单元将第二图像转换为输出视频源图像。
S1042:将输出视频源图像输出至第二图像对应的物理输出接口。
示例性地,通过图像分割单元将第二图像转换为输出视频源图像,将该输出视频源图像输出至该第二图像对应的物理输出接口,该物理输出接口与显示设备连接,该显示设备显示该第二图像。针对每个第二图像都进行相同的处理,从而得到每个第二图像对应的输出视频源图像,将每个输出视频源图像输出至其对应的物理输出接口,与各个物理输出接口相连接的各个显示设备显示各个第二图像。
本实施方式中,由于图像分割单元对第一图像进行分割后,得到的是多个第二图像,而物理输出接口传输的是视频源图像,因此将第二图像转换为输出视频源图像后,再通过物理输出接口输出,这样可使各个显示设备能够及时、同步呈现各个第二图像。
视频处理器的各个物理输出接口是独立的,而这些物理输出接口的输出时序是同一时刻,即与各个物理输出接口连接的各个显示设备同步输出图像。其中,输出时序是指对于每帧图像,都是从左上角的像素点开始顺序传输像素点,一行结束后再传输下一行,直至该帧图像传输结束。
通常各个物理输出接口的拼接方式为垂直拼接,相应地,显示设备最终显示的图像的拼接方式也为垂直拼接,PIP后级在处理缓存图像时,也是从缓存图像的左上角开始处理。如图2所示,PIP后级1处理完输出接口1对应的图像后,PIP后级2才可以处理输出接口2对应的图像,PIP后级2处理完输出接口2对应的图像后,PIP后级3才可以处理输出接口3对应的图像,PIP后级3处理完输出接口3对应的图像后,PIP后级4才可以处理输出接口4对应的图像。
然而,输出接口1、输出接口2、输出接口3以及输出接口4的输出时序是同一时刻,若前一个PIP后级处理完其对应的图像直接通过输出接口输出,则会造成各个显示设备最终显示的图像不同步。若要保证各个显示设备同步输出图像,则需要将前面的各个输出接口的内容缓存起来,等到最后一个PIP后级处理完成后,再同步输出。这种实现方式会导致缓存压力过大,进而导致图像延迟显示。
针对该问题,本申请另一实施例提供了一种处理图像的方法,该处理图像的方法与图3对应的实施例中的不同点在于,在多个物理输出接口的拼接方式为垂直拼接的情况下,通过帧缓冲存储器对处理结果进行缓存处理,得到缓存图像之后,目标后级处理单元根据每个物理输出接口对应输出的图像信息,将缓存图像分割为多个子图像,每个子图像对应一个物理输出接口,多个子图像的拼接方式为水平拼接。此时,通过图像分割单元将第一图像分割为多个第二图像包括:通过图像分割单元将第一图像分割为多个子图像,将多个子图像映射为与每个子图像对应的第二图像。
请参见图7,图7是本申请再一实施例提供的一种图像处理过程示意图。如图7所示的场景中,最左侧为帧缓冲存储器缓存的内容,可以理解为缓存图像。图7中与该缓存图像相邻的为第一图像,该第一图像包含多个子图像,从左到右依次为第一子图像、第二子图像、第三子图像以及第四子图像,多个子图像以水平拼接的方式拼接。目标后级处理单元在将缓存图像分割为多个子图像时,同时调整了每个子图像的分辨率,使得到的包含多个子图像的第一图像的分辨率为总分辨率。
多个物理输出接口一一对应多个虚拟输出接口,即每个子图像对应一个虚拟输出接口,每个虚拟输出接口对应一个物理输出接口。虚拟输出接口可以理解为子图像的载体,即分割得到的子图像先由各自对应的虚拟输出接口承载,多个虚拟输出接口的拼接方式,可以改变多个子图像的拼接方式。例如,多个虚拟输出接口水平拼接,可使多个子图像水平拼接,如图7所示的第一子图像、第二子图像、第三子图像以及第四子图像就以水平拼接的方式拼接。
每个虚拟输出接口的分辨率与其对应的物理输出接口的最大带载分辨率相同,每个子图像的分辨率小于或等于各自对应的虚拟输出接口的分辨率。例如,某个虚拟输出接口的分辨率为4K,其对应的子图像的分辨率可以为2K或4K等。此处仅为示例性说明,对此不做限定。
目标后级处理单元根据每个物理输出接口对应的图像信息,将缓存图像分割为多个子图像的过程,与图像分割单元根据每个物理输出接口对应的图像信息,将第一图像分割为多个第二图像的过程类似。值得说明的是,后者分割得到的多个第二图像的拼接方式为垂直拼接,前者得到的多个子图像的拼接方式为水平拼接。
示例性地,主控单元将每个物理输出接口对应的图像信息发送至目标后级处理单元,目标后级处理单元接收这些图像信息。或者,视频处理器还可以包括转换单元,该转换单元用于辅助目标后级处理单元将缓存图像分割为多个子图像。例如,转换单元生成每个物理输出接口对应的图像信息,然后将这些图像信息发送至目标后级处理单元,目标后级处理单元接收这些图像信息。
目标后级处理单元根据每个物理输出接口对应输出的图像信息,将缓存图像分割为多个虚拟输出接口对应的多个子图像。例如,根据一个图像信息可以分割得到一个虚拟输出接口对应的一个子图像。当有4个物理输出接口时,对应有4个虚拟输出接口,目标后级处理单元接收到4个图像信息,根据这4个图像信息,将缓存图像分割为与4个虚拟输出接口分别对应的4个子图像。
以分割第一子图像为例,缓存图像中左上角第1个像素点即为分割起始点,是第一子图像的图像起点位置,该像素点也是分割后得到的第一子图像的起始像素点。根据起始像素点、图像信息中的图像分辨率,确定第一子图像的终止像素点。确定了第一子图像的起始像素点、终止像素点以及图像分辨率,可在缓存图像中分割出一个图像。再根据预设的坐标映射关系,对分割出的图像进行像素点坐标映射,得到分割好的第一子图像。
根据第一子图像的终止像素点,确定第二子图像的起始像素点。例如,与第一子图像的终止像素点相邻的下一行像素点中,最左边的像素点即为第二子图像的起始像素点。采用上述同样的方式分割出第二子图像、第三子图像以及第四子图像。
可选地,在一种实现方式中,由于本实施方式中的第一图像是由多个水平拼接的子图像构成,所以再通过图像分割单元将第一图像分割为多个第二图像时,只需通过图像分割单元将每个子图像映射为与每个子图像对应的第二图像即可。这种处理方式中,图像分割单元只需做映射处理就可得到每个子图像对应的第二图像,提升了图像处理速度。
可选地,在另一种可能的实现方式中,通过图像分割单元将第一图像分割为多个第二图像也可以包括:通过图像分割单元将第一图像分割为多个子图像,将多个子图像映射为与每个子图像对应的第二图像。可以理解的是,通过图像分割单元将第一图像分割为多个子图像的过程,与目标后级处理单元根据每个物理输出接口对应输出的图像信息,将缓存图像分割为多个子图像的过程类似,可以参考上述目标后级处理单元分割缓存图像的具体过程,此处不再赘述。
图像分割单元的分割方式为行缓存分割方式,即在分割图像的过程中,对于每帧图像,都是从左上角的像素点开始顺序读取,一行结束后再读取下一行,直至该帧图像读取结束。如图7所示,在本实施方式中,图像分割单元在读取像素点时,第一行的起始像素点为第二子图像的左上角的像素点,第一行的终止像素点为第四子图像的右上角的像素点,第二行的起始像素点为第二子图像第二行最左边的像素点,第二行的终止像素点为第四子图像第二行最右边的像素点。以此类推,图像分割单元读取到第三图像右下角的像素点时,第一图像读取完毕。
图像分割单元将第一图像中的每个子图像提取出来,并分别确定为与其对应的第二图像。例如,将第一子图像确定为第1个第二图像,将第二子图像确定为第2个第二图像,将第三子图像确定为第3个第二图像,将第四子图像确定为第4个第二图像。
由于图像分割单元的分割方式为行缓存分割方式,在读写图像数据时,若每次读写的数据长度短、次数多,则会大大降低工作效率。而本实施方式中,将缓存图像分割为多个水平拼接的子图像,便于图像分割单元读写图像数据,即在读写图像数据时,每次读写的长度长,而次数大大减少,这种读写操作能够显著提升图像分割单元的效率,进而提升视频处理器处理图像的效率。
且本实施方式中目标后级处理单元将缓存图像处理为多个水平拼接的子图像,图像分割单元在读取到第三子图像右下角的像素点时,就将整个第一图像读取完毕。然后通过简单的映射就可基于多个物理输出接口输出多个第二图像,无需缓存前几个物理输出接口的内容,就可保证各个显示设备同步输出图像,不仅降低了缓存压力,同时还避免了图像延迟显示。
可选地,在一种可能的实现方式中,本申请提供的视频处理器还可包括混叠单元,该混叠单元用于和PIP处理单元配合,使最终显示设备中显示的图像呈现叠加效果,即在一个图像上叠放另一个图像。若有多个图像,则可多层叠加。
例如,一个PIP处理单元用于处理一个输入源的视频源图像,一个视频源图像对应一个完整的图像,当PIP处理单元至少有两个时,可以同时处理至少两个输入源的视频源图像。此时,产生至少两个完整的图像,将这至少两个完整的图像按照用户的需求叠加后再分割,然后将分割的结果在显示设备中显示。
示例性地,当视频处理器中至少有两个画中画处理单元时,混叠单元根据预设的图层顺序将各个画中画处理单元对应的第一图像叠加为一个目标图像;此时,通过图像分割单元将第一图像分割为多个第二图像包括:图像分割单元将目标图像分割为多个第二图像。预设的图层顺序是指各个PIP处理单元对应的第一图像之间的叠加顺序,预设的图层顺序由用户根据实际需求进行设置。
请参见图8,图8是本申请又一实施例提供的一种图像处理过程示意图。如图8所示的场景中,包括n个输入源(如输入源1、输入源2……输入源n)、3个PIP处理单元(PIP处理单元1、PIP处理单元2、PIP处理单元3)、3个目标输入源、1个混叠单元、1个图像分割单元、4个物理输出接口、4个显示设备(显示器)。
其中,3个PIP处理单元共同接入1个混叠单元,该混叠单元与图像分割单元连接,物理输出接口1与显示器1连接,物理输出接口2与显示器2连接,物理输出接口3与显示器3连接,物理输出接口4与显示器4连接。每个PIP处理单元中包含一个前级处理单元以及一个目标后级处理单元,帧缓存表示对前级处理单元的处理结果进行缓存处理。
图8中的目标输入源1、目标输入源2、目标输入源3,分别表示从n个输入源中任意选择的输入源,即用户从n个输入源中任意选择3个不同的输入源作为目标输入源1、目标输入源2、目标输入源3。
以目标输入源1和PIP处理单元1为例进行说明,PIP处理单元1获取4个物理输出接口对应的总分辨率以及获取目标输入源1输入的视频源图像1;PIP处理单元1将该视频源图像1处理为第一图像,第一图像的分辨率为总分辨率。同理,每个PIP处理单元对其对应的目标输入源输入的视频源图像进行处理,得到对应的第一图像。
预设的图层顺序可以为PIP处理单元1对应的第一图像在最顶层,PIP处理单元2对应的第一图像在中间层,PIP处理单元3对应的第一图像在最底层。如图8所示,网格图像表示PIP处理单元1对应的第一图像,其最终在各个显示器中显示时,也在最顶层显示。灰色图像表示PIP处理单元2对应的第一图像,其最终在各个显示器中显示时,也在中间层显示。黑色图像表示PIP处理单元3对应的第一图像,其最终在各个显示器中显示时,也在最底层显示。
混叠单元根据预设的图层顺序,将PIP处理单元1对应的网格图像、PIP处理单元2对应的灰色图像以及PIP处理单元3对应的黑色图像叠加为一个目标图像。图像分割单元将该目标图像分割为多个第二图像。
主控单元向图像分割单元发送每个物理输出接口对应的目标图像信息。该目标图像信息包括与该物理输出接口连接的显示器最终显示的图像分辨率,以及与该物理输出接口连接的显示器最终显示的图像位置。图像分割单元基于每个物理输出接口对应的目标图像信息,对目标图像进行分割,得到多个第二图像。因为混叠单元已经将各个PIP处理单元对应的第一图像叠加为一个图像,在分割每个第二图像的过程中,只需分割一次即可得到对应的第二图像。
针对每个第二图像,图像分割单元将该第二图像转换为输出视频源图像;将输出视频源图像输出至第二图像对应的物理输出接口,与各个物理输出接口相连接的各个显示器显示各个第二图像。可参见图8中显示器1、显示器2、显示器3以及显示器4显示的内容。
本实施方式中,通过一个混叠单元将各个PIP处理单元对应的第一图像叠加为一个目标图像,通过图像分割单元将目标图像分割为多个第二图像,最后通过多个物理输出接口输出多个第二图像。这样可使最终呈现在显示设备上的图像呈现叠加效果,以满足用户不同的需求。且通过混合单元先叠加,减轻了后续图像分割单元分割图像的工作量,进而提升了图像处理速度。现有技术中有多少个PIP后级,就需要多少个混叠单元,本申请提供的处理图像的方法中,只需要一个混叠单元就可达到与现有技术相同的输出效果,显著减少了资源的消耗,大大降低了硬件成本。
本申请实施例还提供了一种视频处理装置,视频处理装置可以包括主控单元、FPGA单元、帧缓冲存储器。其中,FPGA单元可以包括画中画(PIP)处理单元、图像分割单元、混叠单元。PIP处理单元可以包括前级处理单元和一个目标后级处理单元。
该画中画处理单元用于,获取目标输入源输入的视频源图像;目标后级处理单元用于,将视频源图像处理为第一图像;图像分割单元用于,将第一图像分割为多个第二图像,每个第二图像对应一个物理输出接口;多个物理输出接口用于,输出多个第二图像。可选地,画中画处理单元还用于获取多个物理输出接口对应的总分辨率。可选地,画中画处理单元还包括前级处理单元。前级处理单元用于,对视频源图像进行缩小处理,得到处理结果;帧缓冲存储器用于,对处理结果进行缓存处理,得到缓存图像;目标后级处理单元还用于,对缓存图像进行放大处理,得到第一图像,该第一图像的分辨率为总分辨率,该总分辨率为多个物理输出接口对应输出的多个第二图像的分辨率之和。
可选地,图像分割单元还用于,获取每个物理输出接口对应的图像信息,图像信息包括图像分辨率和图像位置;根据每个图像信息对第一图像进行分割,得到多个第二图像,每个第二图像的分辨率小于或等于各自对应的物理输出接口的最大带载分辨率。
可选地,在多个物理输出接口的拼接方式为垂直拼接的情况下,通过帧缓冲存储器对处理结果进行缓存处理,得到缓存图像之后,该方法还包括:目标后级处理单元根据每个物理输出接口对应输出的图像信息,将缓存图像分割为多个子图像,每个子图像对应一个物理输出接口,多个子图像的拼接方式为水平拼接;通过图像分割单元将第一图像分割为多个第二图像包括:通过图像分割单元将第一图像分割为多个子图像,将多个子图像映射为与每个子图像对应的第二图像。
可选地,多个物理输出接口一一对应多个虚拟输出接口,目标后级处理单元根据每个物理输出接口对应输出的图像信息,将缓存图像分割为多个子图像,包括:目标后级处理单元根据每个物理输出接口对应输出的图像信息,将缓存图像分割为多个虚拟输出接口对应的多个子图像,多个虚拟输出接口水平拼接,使得多个子图像水平拼接,每个子图像的分辨率小于或等于各自对应的虚拟输出接口的分辨率。
可选地,图像分割单元的分割方式为行缓存分割方式。
可选地,视频处理器还包括混叠单元,当画中画处理单元至少有两个时,混叠单元根据预设的图层顺序将各个画中画处理单元对应的第一图像叠加为一个目标图像;图像分割单元还用于,将目标图像分割为多个第二图像。可选地,图像分割单元还用于,将第二图像转换为输出视频源图像;多个物理输出接口还用于,将输出视频源图像输出至第二图像对应的物理输出接口。
请参见图9,图9是本申请另一实施例提供的一种视频处理设备的示意图。该视频处理设备可以为任意一种具有视频处理器功能的设备。具体地,如图9所示,该实施例的视频处理设备2包括:处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22。所述处理器20执行所述计算机程序22时实现上述各个处理图像的方法实施例中的步骤,例如图1所示的S101至S104。或者,所述处理器20执行所述计算机程序22时实现上述各实施例中各单元的功能,例如实现主控单元、输入源、PIP处理单元、图像分割单元、物理输出接口、混叠单元、转换单元等的功能。
示例性地,所述计算机程序22可以被分割成一个或多个单元,所述一个或者多个单元被存储在所述存储器21中,并由所述处理器20执行,以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机指令段,该指令段用于描述所述计算机程序22在所述视频处理设备2中的执行过程。例如,所述计算机程序22可以被分割为主控单元、输入源、PIP处理单元、图像分割单元、物理输出接口、混叠单元、转换单元等,各单元具体功能如上所述。
所述视频处理设备2可包括,但不仅限于,处理器20、存储器21。本领域技术人员可以理解,图9仅仅是视频处理设备2的示例,并不构成对视频处理设备2的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述视频处理设备2还可以包括输入输出设备、网络接入设备、总线等。
所称处理器20可以是中央处理单元(CentralProcessing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器21可以是所述视频处理设备2的内部存储单元,例如视频处理设备2的硬盘或内存。所述存储器21也可以是所述视频处理设备2的外部存储终端,例如所述视频处理设备2上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器21还可以既包括所述视频处理设备2的内部存储单元也包括外部存储终端。所述存储器21用于存储所述计算机指令以及所述终端所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机存储介质,计算机存储介质可以是非易失性,也可以是易失性,该计算机存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述各个处理图像的方法实施例中的步骤。本申请还提供了一种计算机程序产品,当计算机程序产品在视频处理设备上运行时,使得该视频处理设备执行上述各个处理图像的方法实施例中的步骤。本申请实施例还提供了一种芯片或者集成电路,该芯片或者集成电路包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有该芯片或者集成电路的设备执行上述各个处理图像的方法实施例中的步骤。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、单元的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/视频处理设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/视频处理设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (12)
1.一种处理图像的方法,其特征在于,应用于视频处理器,所述视频处理器包括画中画处理单元、图像分割单元以及多个物理输出接口,所述画中画处理单元包括一个目标后级处理单元,所述方法包括:
通过所述画中画处理单元获取目标输入源输入的视频源图像;
通过所述画中画处理单元中的目标后级处理单元将所述视频源图像处理为第一图像;
通过所述图像分割单元将所述第一图像分割为多个第二图像,每个第二图像对应一个物理输出接口;
通过所述多个物理输出接口输出所述多个第二图像。
2.根据权利要求1所述的方法,其特征在于,所述视频处理器还包括帧缓冲存储器,所述画中画处理单元还包括前级处理单元,所述通过所述画中画处理单元中的目标后级处理单元将所述视频源图像处理为第一图像,包括:
通过所述前级处理单元对所述视频源图像进行缩小处理,得到处理结果;
通过所述帧缓冲存储器对所述处理结果进行缓存处理,得到缓存图像;
通过所述目标后级处理单元对所述缓存图像进行放大处理,得到所述第一图像,所述第一图像的分辨率为总分辨率,所述总分辨率为所述多个物理输出接口对应输出的多个第二图像的分辨率之和。
3.根据权利要求1所述的方法,其特征在于,所述通过所述图像分割单元将所述第一图像分割为多个第二图像,包括:
所述图像分割单元获取每个所述物理输出接口对应的图像信息,所述图像信息包括图像分辨率和图像位置;
所述图像分割单元根据每个所述图像信息对所述第一图像进行分割,得到所述多个第二图像,每个第二图像的分辨率小于或等于各自对应的物理输出接口的最大带载分辨率。
4.根据权利要求2所述的方法,其特征在于,在所述多个物理输出接口的拼接方式为垂直拼接的情况下,所述通过所述帧缓冲存储器对所述处理结果进行缓存处理,得到缓存图像之后,所述方法还包括:
所述目标后级处理单元根据每个所述物理输出接口对应输出的图像信息,将所述缓存图像分割为多个子图像,每个所述子图像对应一个物理输出接口,所述多个子图像的拼接方式为水平拼接;
所述通过所述图像分割单元将所述第一图像分割为多个第二图像包括:通过所述图像分割单元将所述第一图像分割为多个子图像,将所述多个子图像映射为与每个子图像对应的第二图像。
5.根据权利要求4所述的方法,其特征在于,所述多个物理输出接口一一对应多个虚拟输出接口,所述目标后级处理单元根据每个所述物理输出接口对应输出的图像信息,将所述缓存图像分割为多个子图像,包括:
所述目标后级处理单元根据每个所述物理输出接口对应输出的图像信息,将所述缓存图像分割为所述多个虚拟输出接口对应的多个子图像,所述多个虚拟输出接口水平拼接,使得所述多个子图像水平拼接,每个子图像的分辨率小于或等于各自对应的虚拟输出接口的分辨率。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述图像分割单元的分割方式为行缓存分割方式。
7.根据权利要求1所述的方法,其特征在于,所述视频处理器还包括混叠单元,当所述画中画处理单元至少有两个时,所述方法还包括:
所述混叠单元根据预设的图层顺序将各个所述画中画处理单元对应的第一图像叠加为一个目标图像;
所述通过所述图像分割单元将所述第一图像分割为多个第二图像包括:所述图像分割单元将所述目标图像分割为多个第二图像。
8.根据权利要求1所述的方法,其特征在于,所述通过所述多个物理输出接口输出所述多个第二图像,包括:
针对每个所述第二图像,所述图像分割单元将所述第二图像转换为输出视频源图像;
将所述输出视频源图像输出至所述第二图像对应的物理输出接口。
9.一种视频处理装置,其特征在于,所述视频处理装置包括画中画处理单元、图像分割单元以及多个物理输出接口,所述画中画处理单元包括一个目标后级处理单元,所述画中画处理单元用于,获取目标输入源输入的视频源图像;
所述目标后级处理单元用于,将所述视频源图像处理为第一图像;
所述图像分割单元用于,将所述第一图像分割为多个第二图像,每个第二图像对应一个物理输出接口;
所述多个物理输出接口用于,输出所述多个第二图像。
10.根据权利要求9所述的视频处理装置,其特征在于,所述视频处理装置还包括混叠单元,当所述画中画处理单元至少有两个时,所述混叠单元用于根据预设的图层顺序将各个所述画中画处理单元对应的第一图像叠加为一个目标图像;
所述图像分割单元还用于将所述目标图像分割为多个第二图像。
11.一种视频处理设备,其特征在于,包括:处理器及存储器,所述处理器和存储器耦合,所述存储器存储有程序指令,当所述存储器存储的程序指令被所述处理器执行时执行如权利要求1至8中任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储了计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1至8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210910986.0A CN117522879A (zh) | 2022-07-29 | 2022-07-29 | 处理图像的方法、视频处理装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210910986.0A CN117522879A (zh) | 2022-07-29 | 2022-07-29 | 处理图像的方法、视频处理装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117522879A true CN117522879A (zh) | 2024-02-06 |
Family
ID=89742599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210910986.0A Pending CN117522879A (zh) | 2022-07-29 | 2022-07-29 | 处理图像的方法、视频处理装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117522879A (zh) |
-
2022
- 2022-07-29 CN CN202210910986.0A patent/CN117522879A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110377264B (zh) | 图层合成方法、装置、电子设备及存储介质 | |
US8723891B2 (en) | System and method for efficiently processing digital video | |
CN110363831B (zh) | 图层合成方法、装置、电子设备及存储介质 | |
CN110868625A (zh) | 一种视频播放方法、装置、电子设备及存储介质 | |
WO2019041863A1 (zh) | 图像处理系统、图像显示方法及显示装置、存储介质 | |
AU2017317839B2 (en) | Panoramic video compression method and device | |
CN111064906A (zh) | 国产处理器和国产fpga多路4k高清视频综合显示方法 | |
US9001160B2 (en) | Frame timing synchronization for an inline scaler using multiple buffer thresholds | |
WO2021008427A1 (zh) | 图像合成方法、装置、电子设备及存储介质 | |
US11615509B2 (en) | Picture processing method and device | |
JP2007089110A (ja) | テレビウォール用画像分割方法 | |
CN113625982A (zh) | 多屏显示方法及装置 | |
CN108509241B (zh) | 一种图像的全屏显示方法、全屏显示装置及移动终端 | |
CN113625981A (zh) | 多屏显示方法及装置 | |
CN112203124B (zh) | 显示装置及其控制方法 | |
US20110148888A1 (en) | Method and apparatus for controlling multiple display panels from a single graphics output | |
CN113132650A (zh) | 一种视频图像显示处理控制装置、方法及显示终端 | |
US10672367B2 (en) | Providing data to a display in data processing systems | |
CN112650460A (zh) | 媒体显示方法和媒体显示装置 | |
WO2017000605A1 (zh) | 片上系统、图形绘制方法、中间层及嵌入式设备、介质 | |
CN114697555B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN117522879A (zh) | 处理图像的方法、视频处理装置、设备及存储介质 | |
US20160286140A1 (en) | Techniques for processing subtitles | |
US11189254B2 (en) | Video processing device, display device, video processing method, and recording medium | |
CN112822545A (zh) | 图像显示方法、装置和系统以及视频控制器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |