CN102244739A - 图像处理装置、图像处理方法以及图像处理系统 - Google Patents

Abstract

一种图像处理装置、图像处理方法和图像处理系统，所述图像处理装置包括：数据同步单元，配置来同步来自第一图像输入接口的第一图像数据，并且产生与所述第一图像数据对应的位置信息；图像获得单元，配置来基于所述数据同步单元产生的、与所述第一图像数据对应的位置信息，从缓冲器中获得与所述位置信息对应的第二图像数据，其中所述缓冲器存储来自第二图像输入接口的所述第二图像数据；和图像处理单元，配置来接收来自所述数据同步单元的所述第一图像数据以及来自所述图像获得单元的所述第二图像数据，并且将所述第一图像数据以及所述第二图像数据混合以产生混合图像数据。

Description

图像处理装置、图像处理方法以及图像处理系统

技术领域

本发明涉及一种图像处理装置、图像处理方法以及图像处理系统。

背景技术

随着高清数字电视日益普及的发展趋势，以数字电视为中心的高清产品层出不穷，如高清机顶盒，高清播放器及蓝光播放机等等。目前，高清数字电视不仅可以播放具有高清晰度的图像信号，而且其图像来源也不限于传统的电视信号。例如，高清数字电视的图像来源不仅包括来自高清机顶盒的数字图像流，也包括网络上的不同位置上的图像数据源。这些基于高清图像的每一路图像数据的数据流量，无论是存储处理还是要先解码后存储，通常都会占用很大的处理器及存储器资源。尤其是当要进行多个图像数据源的图像的混合显示时，对诸如处理器和内存之类的系统资源的需求显得更为突出。

图1图解现有技术中采用的图像处理装置。例如，如图1所示，在显示设备的内存中的帧缓冲器102中存储经由第一图像输入接口101从图像数据源(如，数字电视信号)输入的图像数据，而帧缓冲器104中存储经由第二图像输入接口103从另一个图像数据源(如，来自网络的高清视频)输入的图像数据。此时，图像获得单元105按一定的数据缓冲长度(如，图像中一行的数据量)交替读取帧缓冲器102和帧缓冲器104中等长的图像数据，并且将所读出的图像数据发送的图像处理单元106。然后，图像处理单元106接收从图像获得单元105输出的、来自帧缓冲器102和帧缓冲器104的图像数据以及混合参数(如，alpha值)，并且通过混合参数将所读出的图像数据进行混合。在这种情况下，通常图像是以像素数(如，图像包含1920×1080个像素)为单元。这里，一般每个像素的数据量为24bit(RGB各8bit)，而混合参数通常为8bit。此外，常用的混合后的图像帧率(刷新率)为60帧或以上，因此可以通过下面的等式获得混合两个图像数据源所需的带宽：

图像数据源(数字电视信号)：1920x1080x60x24＝2.985Gbps；

图像数据源(网络高清视频)：1920x1080x60x24＝2.985Gbps；

混合参数(alpha)：1920x1080x60x8＝0.995Gbps；

在这种情况下，总带宽为：2.985G+2.985G+0.995G＝6.965Gbps。

因此，不难看出，仅仅两个图像数据源的图像数据的混合就需要大量的带宽。因此，采用这种图像混合输出方式进行显示将会占用极大部分的整体资源，同时很难实现流畅的两个高清图像数据的混合显示。此外，由于现有技术中的图像处理方法采用交替图像数据读入之后再进行混合，因此还必须提供对先输入的图像数据提前缓冲(存储)，否则无法进行两个图像数据的混合。因此，传统的图像处理单元还必须增加缓冲单元，从而导致成本的升高。

发明内容

为了解决现有技术中的上述技术问题，根据本发明的一个方面，提供一种图像处理装置，包括：数据同步单元，配置来同步来自第一图像输入接口的第一图像数据，并且产生与所述第一图像数据对应的位置信息；图像获得单元，配置来基于所述数据同步单元产生的、与所述第一图像数据对应的位置信息，从缓冲器中获得与所述位置信息对应的第二图像数据，其中所述缓冲器存储来自第二图像输入接口的所述第二图像数据；和图像处理单元，配置来接收来自所述数据同步单元的所述第一图像数据以及来自所述图像获得单元的所述第二图像数据，并且将所述第一图像数据以及所述第二图像数据混合以产生混合图像数据。

此外，根据本发明的另一方面，提供一种图像处理方法，包括：同步来自第一图像输入接口的第一图像数据，并且产生与所述第一图像数据对应的位置信息；基于与所述第一图像数据的对应的位置信息，从缓冲器中读取与所述位置信息对应的第二图像数据，其中所述缓冲器存储来自第二图像输入接口的所述第二图像数据；和将所述第一图像数据以及所述第二图像数据混合以产生混合图像数据。

此外，根据本发明的另一方面，提供一种一种图像处理系统，包括：第一图像输入接口，配置来接收来自外部的第一图像数据；第二图像输入接口，配置来接收来自外部的第二图像数据；缓冲器，配置来存储来自所述第二图像输入接口的所述第二图像数据；数据同步单元，配置来同步来自第一图像输入接口的第一图像数据，并且产生与所述第一图像数据对应的位置信息；图像获得单元，配置来基于所述数据同步单元产生的、与所述第一图像数据对应的位置信息，从缓冲器中获得与所述位置信息对应的第二图像数据；和图像处理单元，配置来接收来自所述数据同步单元的所述第一图像数据以及来自所述图像获得单元的所述第二图像数据，并且将所述第一图像数据以及所述第二图像数据混合以产生混合图像数据；显示输出单元，配置来接收从所述图像处理单元输出的混合图像数据，并且将所述混合图像数据进行预定的图像处理以输出图像显示信号；和显示装置，配置来从显示输出单元接收所述图像显示信号，并且基于所述图像显示信号进行显示。

附图说明

图1是图解现有技术中采用的图像处理装置的示例的方框图；

图2是图解根据本发明的实施例的图像处理装置的示例的方框图；

图3是图解根据本发明的实施例的图像处理装置执行的操作的流程图；

图4是图解根据本发明的另一实施例的图像处理系统的示例的方框图。

具体实施方式

下面将参照附图描述本发明的各个优选实施例。在附图中，相同的附图标记表示相同或类似的元件或组成部分，并且为了使说明书更加简明而省略它们的重复描述。

图2简要描述根据本发明实施例的图像处理装置201的结构。

如图2所示，例如，根据本发明实施例的图像处理装置20包括：存储器201、图像获得单元202、图像处理单元203、数据同步单元204、第一图像输入接口205以及第二图像输入接口206。

存储器201用于在加载时存储(例如)程序数据和诸如图像数据、文档数据之类的用户数据。例如，根据本发明实施例的存储器201可以由诸如易失性存储器、非易失性存储器之类的任意高速存储器实现。根据本发明的实施例，可以在该存储器201中包括存储经由第二图像输入接口206从网络接收的图像数据(如，视频数据)的缓冲器(buffer)207。这里，需要注意的是，可以以任意有线或无线的方式从任意类型的网络向根据本发明实施例的图像处理装置20提供图像数据。

第一图像输入接口205与诸如数字机顶盒之类的外部视频输入装置(未示出)连接，并且可以接收来自外部视频输入装置的图像数据(如，数字电视信号)。根据本发明的实施例，第一图像输入接口205包括(但不限于)HDMI、DVI、VGA、YPbPr等图像输入接口。

数据同步单元204与第一图像输入接口205连接，并且将从第一图像输入接口205接收到的图像数据同步来以图像扫描方式将同步的图像数据输出到显示器(未示出)上进行显示。此外，根据本发明实施例的数据同步单元204能够产生与所接收到的图像数据对应的位置信息，并将该位置信息传送到图像获得单元202。这里，需要注意的是，与所接收到的图像数据对应的位置信息指的是组成例如图像帧的各个组成部分(如，像素点或像素块)的位置信息。具体地，数据同步单元204可以进一步包括数据同步模块208，其与第一图像输入接口205连接，并且将第一图像输入接口205输入的图像数据同步，并且产生与所述图像数据有关的同步信号。这里，在从第一图像输入接口205为模拟接口，并且输入的图像数据是模拟图像信号的情况下，数据同步单元204还可以包括A/D转换器(未示出)，并且通过利用A/D转换器进行A/D转换(模-数转换)之后，进行图像数据的同步，并且获得与图像数据有关的同步信号。另外，在第一图像输入接口205为差分数字接口(如，LVDS)的情况下，数据同步单元204还可以包括转换模块来获得上述与图像数据有关的同步信号。

此外，数据同步单元204还包括同步信息模块209，其与数据同步模块208连接，同步信息模块209可以从数据同步模块208产生的同步信号中提取与数据同步模块208同步的图像数据对应的位置信息，并且将该位置信息发送到所述图像获得单元202(其具体操作将在下面描述)。

图像获得单元202分别与包括帧缓冲器207的存储器201以及数据同步单元204连接，并且可以从存储(例如)来自网络的图像数据的帧缓冲器207中读取图像数据。此外，在需要进行两种图像数据的混合显示时，图像获得单元202可以基于数据同步单元204产生的位置信息，从帧缓冲器207中读取与该位置信息对应的位置上的另一图像数据以进行图像混合。

图像处理单元203与数据同步单元204以及图像获得单元202连接，并且可以接收来自数据同步单元204的图像数据以及来自图像获得单元202的图像数据。在需要进行图像混合的情况下，图像处理单元203可以将来自数据同步单元204的图像数据以及来自图像获得单元202的图像数据混合以产生混合图像数据。在不需要进行图像混合的情况下，图像处理单元203可以基于用户的需要选择来自数据同步单元204的图像数据以及来自图像获得单元202的图像数据之一以输出到显示装置(未示出)。

此外，图像处理装置20还可以包括混合参数存储单元(未示出)，用于存储用于混合来自数据同步单元204的图像数据以及来自图像获得单元202的图像数据的混合参数。在这种情况下，图像处理单元203可以从混合参数存储单元获取用于混合来自数据同步单元204的图像数据以及来自图像获得单元202的图像数据的混合参数(如，alpha、PIP(画中画)等)，并且基于该混合参数进行图像数据的混合。这里，alpha值为图像的透明度参数，并且可以应用到上述两个图像数据的混合中来在同一屏幕上显示两幅相同尺寸(或不相同尺寸)图像。此外，画中画模式可以通过缩放上述两个图像数据中的任意一个来在同一屏幕上显示两幅图像。这里，需要注意的是，通过alpha值或画中画混合两个图像数据对于本领域技术人员来说是熟知的，因此，这里省略了其详细描述。此外，可以任意地设置混合参数存储单元。例如，混合参数存储单元可以设置在图像获得单元202、图像处理单元203或数据同步单元204中以向图像处理单元203提供各种混合参数。

通过上述配置，与先将来自两个数据源的图像数据先存储到存储器的缓冲器中，然后采取固定的循环按一定的数据缓冲长度交替读取缓冲器中的两个图像数据中相等长度、相同位置的数据，再通过相应的混合参数进行图像数据的混合的现有技术不同，根据本发明实施例的图像处理装置20将来自数据同步单元205的图像数据(如，数字电视信号)直接进行同步，并且将其输出给图像处理单元203以进行混合。在这种情况下，由于无需向存储器中同时写入或从存储器读取来自两个数据源的图像数据，因此减少了对存储器的图像数据写入和读出的操作。此外，由于与现有技术相比，根据本发明实施例的图像获得单元202无需交替地传送来自两个数据源的图像数据，图像获得单元202仅需要基于来自数据同步单元204的位置信息读取帧缓冲器207中的对应位置上的图像数据，因此，图像获得单元202仅需要传送来自一个数据源的数据，从而极大的节约了带宽(如，2.985G)。

此外，数据同步单元204对第一图像输入接口205接收到的图像数据进行同步，并且提取该图像数据的位置信息，而图像获得单元202基于该位置信息，从帧缓冲器207中读取与该位置信息对应的另一图像数据。使得数据同步单元204接收到的图像数据与图像获得单元202基于该位置信息读取的另一图像数据完全对应并且同步，以实现实时的图像数据的混合输出。

在这里，需要注意的是，在现有技术中，由于仅仅只有一个图像数据通道交替传送来自两个数据源的图像数据，因此传统的图像获得单元需要交替读取两个缓冲器中的图像数据来实现数据输入。在这种情况下，由于采用交替图像数据读入后再混合的方式，因此，传统的图像处理单元还必须设置缓冲器来存储先输入的图像数据来与之后输入的另一图像数据混合，而根据本发明实施例的图像处理单元203同时接收来自数据同步单元204的图像数据以及来自图像获得单元202的图像数据来进行混合，因此在图像处理单元203中的缓冲器不是必须的，从而可以进一步降低图像处理装置20的成本。此外，由于与现有技术相比极大的节约了带宽，因此，即使采用处理性能相对较低的图像获得单元202和图像处理单元203，也能够实现来自两个数据源的图像数据的实时混合输出，从而进一步节约了图像处理装置的成本。

此外，需要注意的是，在上面的实施例中，虽然针对两个数据源的图像数据的混合进行了描述，但是，显然本发明可以应用到多个数据源的图像数据的混合的情况。例如，可以通过任意个数据同步单元与图像获得单元组合的方式来实现针对多个数据源的图像数据的混合。

接下来，将参照图3详细描述在进行两个数据源的图像数据的混合时，根据本发明实施例的图像处理装置20执行的图像处理方法。

图3图解根据本发明的实施例的图像处理装置20执行的图像处理方法。

当用户指示开始两个数据源的图像数据的混合显示时，根据本发明的实施例的图像处理装置20执行如图3所示的操作。

其中，在步骤S301，数据同步单元204的数据同步模块208接收从第一图像输入接口205输入的图像数据，并且将所接收到的图像数据进行同步。具体地，数据同步模块208对所接收到的图像数据进行信号采样同步以产生同步信号。这里，需要注意的是，由于数据同步模块208的结构以及操作对于本领域技术人员来说是熟知的，因此这里省略了对图像数据的同步的详细描述。例如，在数据同步模块208对所接收到的图像数据进行同步之后的同步信号包括图像场同步信号VS、图像行同步信号HS、图像点阵有效信号DE、图像点阵时钟信号CLK以及图像点阵RGB数据信号。在步骤S302，同步信息模块209接收包括图像场同步信号VS、图像行同步信号HS、图像点阵有效信号DE、图像点阵时钟信号CLK等同步信号，并且基于这些同步信号产生与数据同步模块208所接收到的图像数据对应的位置信息。需要注意的是，在这里，与图像数据对应的位置信息表示组成例如图像帧的的各个组成部分(如，像素点或像素块)的位置信息。

具体地，在同步信息模块209接收到上述图像场同步信号VS之后，同步信息模块209可以根据图像场同步信号VS执行图像地址的复位(reset)处理，也就是重置一个场中的位置计算处理。然后，同步信息模块209可以根据图像行同步信号HS进行行计数，从而得出当前所接收到的图像数据所处的行位置。在获得当前图像数据所处的行位置之后，同步信息模块209可以根据图像点阵有效信号DE、图像点阵时钟信号CLK得出当前图像数据的列位置。因此，通过执行上述处理，同步信息模块209可以实时提取当前图像数据所处的行列位置信息。

在步骤S303，同步信息模块209将所获得的当前图像数据的行列位置信息发送到图像获得单元202。

在步骤S304，图像获得单元202基于从同步信息模块209接收的行列位置信息，从存储另一图像数据的帧缓冲器207中读取当前要输出的图像数据中与上述行列位置信息对应的位置上的图像数据，并且将所读取的图像数据传送到图像处理单元203。例如，图像获得单元202基于行列位置信息(如，图像的第5行第3列的位置)，从帧缓冲器207中读取当前要输出的图像数据中的相应位置上(第5行第3列)的图像数据，并且将该位置上的图像数据传送到图像处理单元203。

通过上述处理，从数据同步单元204输出的图像数据与从图像获得单元202输出的图像数据的位置相互对应，因此便于图像处理单元203进行图像数据的混合操作，而不会出现由于从数据同步单元204输出的图像数据与从图像获得单元202输出的图像数据的位置不同而导致混合的图像混乱的现象。

在步骤S305，图像处理单元203接收来自数据同步单元204的图像数据以及来自图像获得单元202的图像数据，然后基于混合参数，将来自数据同步单元204的图像数据以及来自图像获得单元202的图像数据进行混合以产生混合图像数据。在这里，需要注意的是，由于上述来自两路的图像数据实现了完全的位置对应以及同步，因此，图像处理单元203可以根据用户的具体需要，基于预定混合参数直接进行各种混合，而无需进行不同图像数据的位置对应处理。这里，通常的混合处理包括(但不限于)alpha混合，画中画等。

在步骤S306，图像处理装置20判断图像混合处理是否结束。如果图像处理装置20判断用户结束了图像混合处理，则终止图像混合处理，从而根据用户的操作输出两路图像数据之一，或显示其他的图像数据(例如，默认的桌面图像)。如果图像处理装置20判断用户未结束图像混合处理，则重复步骤S301至步骤S305的操作。

在这里，需要注意的是，以顺序的方式描述了图像处理装置20执行的图像数据的混合处理。但是，显然本发明不限于此。可以以与上述描述的顺序不同顺序执行图像数据的混合处理。例如，可以并行的方式执行如图3所示的两个或多个步骤。

在上面描述了图像获得单元202基于与图像数据对应的位置信息(行列位置信息)读取帧缓冲器207中的对应位置上的图像数据的图像处理方法的一个实施例。显然，本发明不限于此，可以利用其它的位置信息进行相应的读取操作。

例如，根据本发明的另一实施例的图像处理方法还可以使用行位置信息来代替行列位置信息。

具体地，在同步信息模块209可以根据图像场同步信号VS执行图像地址的复位(reset)处理。然后，同步信息模块209根据图像行同步信号HS进行行计数，从而得出当前所接收到的图像数据所处的行位置。然后，同步信息模块209将所获得的当前图像数据的行位置信息发送到图像获得单元202。此时，图像获得单元202基于该行位置信息，从存储另一图像数据的帧缓冲器207中读取与该行位置信息对应的一行图像数据，并且将所读取的图像数据传送到图像处理单元203。在这种情况下，可以仅使用同步信号中的图像场同步信号VS和图像行同步信号HS就能够获得与图像数据对应的行位置信息，而无需使用图像点阵有效信号DE、图像点阵时钟信号CLK。这里，由于根据本实施例的图像处理方法的其它步骤与图3所示的对应步骤相同，因此这里省略了其详细描述。

接下来，将描述根据本发明另一实施例的图像处理系统。

图4是图解根据本发明的另一实施例的图像处理系统40的方框图。

如图4所示，图像处理系统40包括存储器201、图像获得单元202、图像处理单元203、数据同步单元204、第一图像输入接口205、第二图像输入接口206、显示输出单元407以及显示装置408。

由于图像处理系统40中的存储器201、图像获得单元202、图像处理单元203、数据同步单元204、第一图像输入接口205以及第二图像输入接口206与图2中的图像处理装置20中的对应部件基本相同，因此在仅对上述部件进行简单的描述。

与针对图2描述的图像处理装置20类似，第一图像输入接口205接收来自外部的图像数据，而第二图像输入接口206接收来自外部的另一个图像数据。

存储器201包括缓冲器，所述缓冲器用于存储第二图像输入接口206接收的图像数据。

数据同步单元204同步来自第一图像输入接口的图像数据，并且产生与该图像数据对应的位置信息

图像获得单元202基于所述数据同步单元204产生的、与所述第一图像数据对应的位置信息，从存储第二图像输入接口206所接收的图像数据的缓冲器中获得与上述位置信息对应的图像数据。

图像处理单元203接收来自数据同步单元204的图像数据以及来自图像获得单元202的图像数据，并且将其进行混合以产生混合图像数据。

显示输出单元407与图像处理单元203连接，并且可以接收从图像处理单元203输出的混合图像数据。显示输出单元407将所接收到的混合图像数据进行预定的图像处理以产生混合图像显示信号。根据本发明的实施例，可以采用任意的显示输出单元(如，任意型号的显卡)来处理混合图像数据。由于显示输出单元407的结构和操作对于本领域技术人员来说是熟知的，因此这里省略了其结构和操作的详细描述。在对混合图像数据进行预定的图像处理之后，显示输出单元407将所产生的混合图像显示信号输出到显示装置408。

显示装置408与显示输出单元407连接，并且从显示输出单元407接收所述图像显示信号。显示装置408基于所述图像显示信号进行混合图像数据的显示。根据本发明的实施例，显示装置408可以由任意的显示器实现。

在上面已经描述了根据本发明实施例的图像处理装置、图像处理方法和图像处理系统。如上所述，由于与现有技术相比极大的节约了带宽，因此可以采用配置较低且成本低廉的部件来实现实时的高分辨率图像数据的混合。例如，可以通过低成本的FPGA或专用芯片实现根据本发明实施例的图像处理装置和图像处理方法。

此外，根据本发明实施例的图像处理装置和图像处理方法可以应用到多种电子设备中。例如，根据本发明实施例的图像处理装置和图像处理方法可以应用到多媒体电视设计以及具有电视输入接口的计算机设计中，也可集成在诸如机顶盒等产品设计中。

如上所述，已经在上面具体地描述了本发明的各个实施例，但是本发明不限于此。本领域的技术人员应该理解，可以根据设计要求或其它因素进行各种修改、组合、子组合或者替换，而它们在所附权利要求及其等效物的范围内。

Claims (9)

1.一种图像处理装置，包括：

数据同步单元，配置来同步来自第一图像输入接口的第一图像数据，并且产生与所述第一图像数据对应的位置信息；

图像获得单元，配置来基于所述数据同步单元产生的、与所述第一图像数据对应的位置信息，从缓冲器中获得与所述位置信息对应的第二图像数据，其中所述缓冲器存储来自第二图像输入接口的所述第二图像数据；和

图像处理单元，配置来接收来自所述数据同步单元的所述第一图像数据以及来自所述图像获得单元的所述第二图像数据，并且将所述第一图像数据以及所述第二图像数据混合以产生混合图像数据。

2.如权利要求1所述的图像处理装置，其中所述数据同步单元进一步包括：

数据同步模块，配置来将所述第一图像输入接口输入的第一图像数据同步，并且产生与所述第一图像数据对应的同步信号；和

同步信息模块，配置来从所述同步信号中提取与所述第一图像数据对应的位置信息，并且将所述位置信息发送到所述图像获得单元。

3.如权利要求1所述的图像处理装置，进一步包括：

混合参数存储单元，配置来存储用于混合所述第一图像数据以及所述第二图像数据的混合参数，

其中所述图像处理单元在混合所述第一图像数据和第二图像数据时从所述混合参数存储单元接收所述混合参数，并且基于所述混合参数将所述第一图像数据以及所述第二图像数据混合。

4.如权利要求1所述的图像处理装置，其中所述图像输入接口包括HDMI、DVI、VGA以及YPbPr接口。

5.一种图像处理方法，包括：

同步来自第一图像输入接口的第一图像数据，并且产生与所述第一图像数据对应的位置信息；

基于与所述第一图像数据的对应的位置信息，从缓冲器中读取与所述位置信息对应的第二图像数据，其中所述缓冲器存储来自第二图像输入接口的所述第二图像数据；和

将所述第一图像数据以及所述第二图像数据混合以产生混合图像数据。

6.如权利要求5所述的图像处理方法，其中同步所述第一图像数据并产生与所述第一图像数据有关的位置信息的步骤进一步包括：

将所述图像输入接口输入的第一图像数据同步，并且产生与所述第一图像数据有关的同步信号；和

从所述同步信号中提取与所述第一图像数据对应的位置信息。

7.如权利要求5所述的图像处理方法，进一步包括：

提供混合参数以基于所述混合参数将所述第一图像数据以及所述第二图像数据混合。

8.如权利要求5所述的图像处理方法，其中所述图像输入接口包括HDMI、DVI、VGA以及YPbPr接口。

9.一种图像处理系统，包括：

第一图像输入接口，配置来接收来自外部的第一图像数据；

第二图像输入接口，配置来接收来自外部的第二图像数据；

缓冲器，配置来存储来自所述第二图像输入接口的所述第二图像数据；

数据同步单元，配置来同步来自第一图像输入接口的第一图像数据，并且产生与所述第一图像数据对应的位置信息；

图像获得单元，配置来基于所述数据同步单元产生的、与所述第一图像数据对应的位置信息，从缓冲器中获得与所述位置信息对应的第二图像数据；和

图像处理单元，配置来接收来自所述数据同步单元的所述第一图像数据以及来自所述图像获得单元的所述第二图像数据，并且将所述第一图像数据以及所述第二图像数据混合以产生混合图像数据；

显示输出单元，配置来接收从所述图像处理单元输出的混合图像数据，并且将所述混合图像数据进行预定的图像处理以输出图像显示信号；和显示装置，配置来从显示输出单元接收所述图像显示信号，并且基于所述图像显示信号进行显示。

Images