CN105448273A - 影像处理方法及系统 - Google Patents

Abstract

一种影像处理方法及系统。影像处理方法包括以下步骤。提供至少一第一影像源。以一多核处理器的数个核心单元多工平行处理第一影像源，以获得一第二影像源。各个核心单元处理一个第一影像源，或者处理至少一第一影像源的一部分。输出第二影像源。

Description

影像处理方法及系统

技术领域

本发明是有关于一种影像处理方法及系统，且特别是有关于一种采用多核处理器的影像处理方法及系统。

背景技术

随着影像显科技的进步，各式影像播放装置的尺寸越来越大，影像品质的要求也越来越高。

影像处理芯片的处理频率通常绑定于输出影像源的解析度。然而，当输出影像源的解析度提高时，影像处理芯片必须提高处理频率，往往挑战了制造技术极限，且处理功耗也相的高。

例如在HDMI标准中，帧率为60，解析度为1080P的HD画面(1080P60)，其输出时钟频率仅为148.5MHz；而同等帧率解析度翻倍的UHD画面(4KP60)，标准输出时钟频率为594MHz，最新的8KP60画面的标准输出时钟频率甚至达到了2.4GHz。由于在通常设计中，视频后处理芯片的处理频率至少等于或大于所支援输出源相应的输出时钟频率。那么随着输出画面品质要求的提高，其硬件投入也是成倍的增长。

如何在有限的硬件条件下，提高所支援的输出画面品质，是业界设计者所面临的待解决问题。

发明内容

本发明系有关于一种影像处理方法及系统，其利用多核处理器以降低处理频率及处理功耗。

根据本发明的第一方面，提出一种影像处理方法。影像处理方法包括以下步骤。提供至少一第一影像源。以一多核处理器的数个核心单元多工平行处理第一影像源，以获得一第二影像源。各个核心单元处理一个第一影像源，或者处理至少一第一影像源的一部分。输出第二影像源。

根据本发明的一第二方面，提出一种影像处理系统。影像处理系统包括一多核处理器及一输出单元。多核处理器包括数个核心单元。此些核心单元多工平行处理至少一第一影像源，以获得一第二影像源。各个核心单元处理一个第一影像源，或者处理至少一第一影像源的一部分。输出单元用以输出第二影像源。

为了对本发明的上述及其他方面有更佳的了解，下文特举较佳实施例，并配合所附图式，作详细说明如下：

附图说明

图1影像处理系统于第一实施例的运作示意图。

图2影像处理系统于第二实施例的运作示意图。

图3影像处理系统于第三实施例的运作示意图。

图4影像处理系统于第四实施例的运作示意图。

图5影像处理系统于第五实施例的运作示意图。

图6影像处理系统于第六实施例的运作示意图。

图7影像处理系统于第七实施例的运作示意图。

附图标记说明

100、200：影像处理系统

110：延展单元

120：分配单元

130、230：多核处理器

131、132、133、134、135、136、137、138：核心单元

139：迭合单元

140：输出单元

V100：原始影像源

V111、V112、V113、V114、V211、V212、V311、V312、V411、V511、V611、V711：第一影像源

V120、V220、V320、V420、V520、V620、V720：第二影像源

具体实施方式

第一实施例

请参照图1，其绘示影像处理系统100于第一实施例的运作示意图。影像处理系统100包括一延展单元(scalingunit)110、一分配单元(distributingunit)120、一多核处理器(multicoreprocessor)130及一输出单元(outputunit)140。延展单元110用以延展影像源，使影像源的解析度能够增加至一预定程度。

多核处理器130包括数个核心单元131、132、133、134及一迭合单元(blendingunit)139。核心单元131、132、133、134用以平行处理一或多个影像源，以进行去除杂讯、调整色差、增加锐利度、扩展尺寸等影像处理程序。迭合单元139用以进行多个影像源的一迭合程序，以获得多层次影像源。在另一实施例中，核心单元的数量可以是大于或等于二的任意自然数。

分配单元120用以将一或多个影像源的处理程序分配于多核处理器130的多个核心单元131、132、133、134。

延展单元110、分配单元120及多核处理器130例如是芯片、具有固件电路的电路板或储存数组程式码的记录媒体。

输出单元150用以将处理完毕的影像源输出，例如是一显示器、一传输线、一无线传输出装置或一印表机。

上述的影像处理系统100可以较低的处理频率来输出高解析度的影像源，而无须随着输出影像源的解析度提高而大幅提高处理频率。以下更以影像处理系统100为例详细说明本实施例的影像处理方法。

首先，提供一个原始影像源V100，其视频格式例如是480i、480p、576i、576p、720p、1080i等较低解析度的格式。

接着，延展单元110延展原始影像源V100四次，以获得视频格式为1080p的四个第一影像源V111、V112、V113、V114。在另一实施例中，第一影像源的数量可以是大于或等于一的任意自然数。

然后，分配单元120分别分配四个第一影像源V111、V112、V113、V114至四个核心单元131、132、133、134。分配单元120系按照图上的「0、1、2、3」编号进行分配，例如第一影像源V111被分配至核心单元131，第一影像源V112被分配至核心单元132，第一影像源V113被分配至核心单元133，第一影像源V114被分配至核心单元134。

接着，多核处理器130的四个核心单元131、132、133、134多工平行处理四个第一影像源V111、V112、V113、V114。核心单元131、132、133、134的处理频率例如是148.5MHz。各个核心单元131、132、133、134可以分别独立地进行各种影像处理程序，而无须等待其他核心单元131、132、133、134的处理程序。

此外，前述四个核心单元131、132、133、134各自处理不同的第一影像源V111、V112、V113、V114，因此传输的带宽可以降低。

然后，多核处理器130的迭合单元132进行一迭合程序，以使处理后的四个第一影像源V111、V112、V113、V114迭合成层数为四且视频格式为1080p的一第二影像源V120。在另一实施例中，第二影像源V120的层数可以是大于或等于一的任意自然数。

在本实施例中，依照HDMI输出标准，只需透过处理频率为148.5MHz的多个核心单元131、132、133、134即可输出层数为四且视频格式为1080p的第二影像源V120，而无须提高处理频率及功耗。

接着，输出单元140输出第二影像源V120。

综上所述，当第一影像源的数量为k，核心处理单元的数量为k，各个核心单元处理k个第一影像源的其中之一，迭合单元132并进行一个迭合程序，可使第二影像源的层数为k，k为自然数。在本实施例中，k系以4为例做说明。

以上在「第一影像源」到「第二影像源」的处理过程中，输出了同等解析度、多层图像的画面，可以应用于菜单字幕、九宫格、PIP画面、3D显示等应用场景中。

第二实施例

请参照图2，其绘示影像处理系统100于第二实施例的运作示意图。首先，提供一个原始影像源V100，其视频格式例如是480i、480p、576i、576p、720p、1080i等较低解析度的格式。

接着，延展单元110延展原始影像源V100两次，以获得视频格式为1080p的两个第一影像源V211、V212。

然后，分配单元120平均分配两个第一影像源V211、V212至四个核心单元131、132、133、134。分配单元120系按照图上的「0、1、2、3」编号以垂直的方式进行分配，例如第一影像源V211的左半部分配至核心单元131，第一影像源V211的右半部分配至核心单元133，第一影像源V212的左半部分配至核心单元132，第一影像源V212的右半部分配至核心单元134。在本流程中，并没有特定的分割程序，而是在分配单元120进行分配时，直接将第一影像源V211分配至不同的核心单元131、133，并直接将第一影像源V212分配至不同的核心单元132、134。

接着，多核处理器130的四个核心单元131、132、133、134多工平行处理四个1/2的第一影像源V211、V212。核心单元131、132、133、134的处理频率例如是148.5MHz。各个核心单元131、132、133、134可以分别独立地对一个1/2的第一影像源V211、V212进行各种影像处理程序，而无须等待其他核心单元131、132、133、134的处理程序。

此外，前述四个核心单元131、132、133、134各自处理不同的1/2的第一影像源V211、V212，因此传输的带宽可以降低。

然后，多核处理器130的迭合单元139对处理后的左半部第一影像源V211及处理后的左半部第一影像源V212进行一迭合程序；并对处理后的右半部第一影像源V211及处理后的右半部第一影像源V212进行另一迭合程序。两个迭合程序所得到的内容，即可组成层数为二且视频格式为4K(亦称4K×2K)的第二影像源V220。

在本实施例中，只需透过处理频率为148.5MHz的多个核心单元131、132、133、134即可输出层数为二且视频格式为4K的第二影像源V220，而无须提高处理频率及功耗。

接着，输出单元140输出第二影像源V220。

综上所述，当第一影像源的数量为k/n，核心处理单元的数量为k，各个核心单元处理k/n个第一影像源的其中之一的一部份，并进行n个迭合程序时，第二影像源的层数则为k/n，k与n为自然数，n为2的倍数。在本实施例中，k以4为例且n以2为例做说明。

根据第一实施例与第二实施例的比较，影像处理系统100可以任意地调整第一影像源的数量并且输出不同层数的第二影像源，端视设计需求而定。

第三实施例

请参照图3，其绘示影像处理系统100于第三实施例的运作示意图。首先，提供视频格式为4K的两个第一影像源V311、V312。

然后，分配单元120平均分配两个第一影像源V311、V312至四个核心单元131、132、133、134。分配单元120系按照图上的「4、5、6、7」编号以垂直的方式进行分配，例如第一影像源V311的左半部分配至核心单元131，第一影像源V311的右半部分配至核心单元133，第一影像源V312的左半部分配至核心单元132，第一影像源V312的右半部分配至核心单元134。在本流程中，并没有特定的分割程序，而是在分配单元120进行分配时，直接将第一影像源V311分配至不同的核心单元131、133，并直接将第一影像源V312分配至不同的核心单元132、134。

接着，多核处理器130的四个核心单元131、132、133、134多工平行处理四个1/2的第一影像源V311、V312。核心单元131、132、133、134的处理频率例如是148.5MHz。各个核心单元131、132、133、134可以分别独立地对一个1/2的第一影像源V311、V312进行各种影像处理程序，而无须等待其他核心单元131、132、133、134的处理程序。

此外，前述四个核心单元131、132、133、134各自处理不同的1/2的第一影像源V311、V312，因此传输的带宽可以降低。

然后，多核处理器130的迭合单元139对处理后的第一影像源V311的左半部及第一影像源V312的左半部进行一迭合程序；并对处理后的第一影像源V311的右半部及第一影像源V312的右半部进行另一迭合程序。两个迭合程序所得到的内容，即可组成层数为二且视频格式为4K的第二影像源V320。

在本实施例中，只需透过处理频率为148.5MHz的多个核心单元131、132、133、134即可输出层数为二且视频格式为4K的第二影像源V320，而无须提高处理频率及功耗。

接着，输出单元140输出第二影像源V320。

根据第二实施例与第三实施例的比较，影像处理系统100可以任意地调整第一影像源的解析度，即使第一影像源的解析度大于1080p，仍可透过分配至两个以上的核心单元的方式进行处理，而无须增加核心单元的处理频率。该实施例可以应用于影像解析度提升、画面延展等应用场景中。

第四实施例

请参照图4，其绘示影像处理系统100于第四实施例的运作示意图。首先，提供一个原始影像源V400，其视频格式例如是480i、480p、576i、576p、720p、1080i等解析度较低的格式。

接着，延展单元110延展原始影像源V100，以获得视频格式为1080p的一个第一影像源V411。

然后，分配单元120平均分配一个第一影像源V411至四个核心单元131、132、133、134。分配单元120系按照图上的「0、1、2、3」编号以垂直的方式进行分配，例如第一影像源V411的第一个1/4区块分配至核心单元131，第一影像源V411的第二个1/4区块分配至核心单元132，第一影像源V411的第三个1/4区块分配至核心单元133，第一影像源V411的第四个1/4区块分配至核心单元134。在本流程中，并没有特定的分割程序，而是在分配单元120进行分配时，直接将第一影像源V411的各个区块分配至不同的核心单元131、132、133、134。

接着，多核处理器130的四个核心单元131、132、133、134多工平行处理四个1/4的第一影像源V411。核心单元131、132、133、134的处理频率例如是148.5MHz。各个核心单元131、132、133、134可以分别独立地对一个1/4的第一影像源V411进行各种影像处理程序，而无须等待其他核心单元131、132、133、134的处理程序。

此外，前述四个核心单元131、132、133、134各自处理不同的1/4的第一影像源V411，因此传输的带宽可以降低。

然后，四个处理后的1/4的第一影像源V411可以组成层数为一且视频格式为8K的第二影像源V420。

在本实施例中，只需透过处理频率为148.5MHz的多个核心单元131、132、133、134即可输出层数为一且视频格式为8K的第二影像源V420，而无须提高处理频率及功耗。

接着，输出单元140输出第二影像源V420。

综上所述，当第一影像源的数量为1，各个核心单元处理第一影像源的一部份时，第二影像源的层数则为1。

根据第二实施例与第四实施例的比较，影像处理系统100可以透过两个以上的核心单元，输出解析度大于1080p的第二影像源，而无须增加核心单元的处理频率。

第五实施例

请参照图5，其绘示影像处理系统100于第五实施例的运作示意图。首先，提供视频格式为8K(亦称8K×4K)的一个第一影像源V511。

然后，分配单元120平均分配一个第一影像源V511至四个核心单元131、132、133、134。分配单元120系按照图上的「4、5、6、7」编号以垂直的方式进行分配，例如第一影像源V511的第一个1/4区块分配至核心单元131，第一影像源V511的第二个1/4区块分配至核心单元132，第一影像源V511的第三个1/4区块分配至核心单元133，第一影像源V511的第四个1/4区块分配至核心单元134。在本流程中，并没有特定的分割程序，而是在分配单元120进行分配时，直接将第一影像源V511分配至不同的核心单元131、132、133、134。

接着，多核处理器130的四个核心单元131、132、133、134多工平行处理四个1/4的第一影像源V511。核心单元131、132、133、134的处理频率例如是148.5MHz。各个核心单元131、132、133、134可以分别独立地对一个1/4的第一影像源V511进行各种影像处理程序，而无须等待其他核心单元131、132、133、134的处理程序。

此外，前述四个核心单元131、132、133、134各自处理不同的1/4的第一影像源V511，因此传输的带宽可以降低。

然后，四个处理后的1/4的第一影像源V511可以组成层数为一且视频格式为8K的第二影像源V520。

在本实施例中，只需透过处理频率为148.5MHz的多个核心单元131、132、133、134即可输出层数为一且视频格式为8K的第二影像源V520，而无须提高处理频率及功耗。

接着，输出单元140输出第二影像源V520。

根据第二实施例与第五实施例的比较，影像处理系统100可以透过两个以上的核心单元，输出解析度大于1080p的第二影像源，而无须增加核心单元的处理频率。

第六实施例

请参照图6，其绘示影像处理系统200于第六实施例的运作示意图。首先，提供一个原始影像源V100，其视频格式例如是480i、480p、576i、576p、720p、1080i。

接着，延展单元110延展原始影像源V100，以获得视频格式为1080p的一个第一影像源V611。

然后，分配单元120平均分配一个第一影像源V611至八个核心单元131、132、133、134、135、136、137、138。分配单元120系按照图上的「0、1、2、3、4、5、6、7」编号以垂直的方式进行分配，例如第一影像源V611的第一个1/8区块分配至核心单元131，第一影像源V611的第二个1/8区块分配至核心单元132，第一影像源V611的第三个1/8区块分配至核心单元133，第一影像源V611的第四个1/8区块分配至核心单元134，第一影像源V611的第五个1/8区块分配至核心单元135，第一影像源V611的第六个1/8区块分配至核心单元136，第一影像源V611的第七个1/8区块分配至核心单元137，第一影像源V611的第八个1/8区块分配至核心单元138。在本流程中，并没有特定的分割程序，而是在分配单元120进行分配时，直接将第一影像源V611的各个区块分配至不同的核心单元131、132、133、134、135、136、137、138。

接着，多核处理器230的八个核心单元131、132、133、134、135、136、137、138多工平行处理八个1/8的第一影像源V611。核心单元131、132、133、134、135、136、137、138的处理频率例如是148.5MHz。各个核心单元131、132、133、134、135、136、137、138可以分别独立地对一个1/8的第一影像源V611进行各种影像处理程序，而无须等待其他核心单元131、132、133、134、135、136、137、138的处理程序。

此外，前述八个核心单元131、132、133、134、135、136、137、138各自处理不同的1/8的第一影像源V611，因此传输的带宽可以降低。

然后，八个处理后的1/8的第一影像源V611可以组成层数为一且视频格式为8K的第二影像源V620。

在本实施例中，只需透过处理频率为148.5MHz的多个核心单元131、132、133、134……138即可输出层数为一且视频格式为8K的第二影像源V620，而无须提高处理频率及功耗。

接着，输出单元140输出第二影像源V620。

第七实施例

请参照图7，其绘示影像处理系统200于第七实施例的运作示意图。首先，提供视频格式为16K(亦称16K×8K)的一个第一影像源V711。

然后，分配单元120平均分配一个第一影像源V711至八个核心单元131、132、133、134、135、136、137、138。分配单元120系按照图上的「8、9、10、11、12、13、14、15」编号以垂直的方式进行分配，例如第一影像源V711的第一个1/8区块分配至核心单元131，第一影像源V711的第二个1/8区块分配至核心单元132，第一影像源V711的第三个1/8区块分配至核心单元133，第一影像源V711的第四个1/8区块分配至核心单元134，第一影像源V711的第五个1/8区块分配至核心单元135，第一影像源V711的第六个1/8区块分配至核心单元136，第一影像源V711的第七个1/8区块分配至核心单元137，第一影像源V711的第八个1/8区块分配至核心单元138。在本流程中，并没有特定的分割程序，而是在分配单元120进行分配时，直接将第一影像源V711分配至不同的核心单元131、132、133、134、135、136、137、138。

接着，多核处理器230的八个核心单元131、132、133、134、135、136、137、138多工平行处理八个1/8的第一影像源V711。核心单元131、132、133、134、135、136、137、138的处理频率例如是148.5MHz。各个核心单元131、132、133、134、135、136、137、138可以分别独立地对一个1/8的第一影像源V711进行各种影像处理程序，而无须等待其他核心单元131、132、133、134、135、136、137、138的处理程序。

此外，前述八个核心单元131、132、133、134、135、136、137、138各自处理不同的1/8的第一影像源V711，因此传输的带宽可以降低。

然后，八个处理后的1/8的第一影像源V711可以组成层数为一且视频格式为16K的第二影像源V720。

在本实施例中，只需透过处理频率为148.5MHz的多个核心单元131、132、133、134、135、136、137、138即可输出层数为一且视频格式为16K的第二影像源V720，而无须提高处理频率及功耗。

接着，输出单元140输出第二影像源V720。

根据上述实施例，影像处理系统及方法所输入的第一影像源的大小可调变。当第一影像源的大小超过一个核心单元的处理能力时，一个第一影像源可以分配至多个核心单元。

此外，影像处理系统及方法可以输入一个或多个第一影像源。当第一影像源的数量等于核心单元的数量时，可以各个第一影像源可以一对一地分配至核心单元。当第一影像源的数量少于核心单元时，一个第一影像源可以分配至两个以上的核心单元。

再者，影像处理系统及方法无须独立的分割单元，分配单元将第一影像源进行分配时，即完成分割的动作。

此外，影像处理系统及方法无须独立的边界处理单元，多核处理器即可对处理后的第一影像源进行组合。

再者，当输入解析度较高的第一影像源的尺寸较大或者欲输出解析度较高的第二影像源时，可以透过多个核心单元的配置来降低影像的处理频率及功耗。

此外，上述各个实施例中多核处理器的核心单元的处理频率均设定为148.5MHz，采取了HDMI标准中对图像处理芯片的处理频率最低要求(支援输出1080P60格式)。仅为解释本发明，方便理解所用，并不局限于此。因为在多核处理器的核心单元的数量固定的情况下，若将多核处理器的核心单元的处理频率增加一倍，数据处理能力也会强一倍。

上述各个实施例输出格式系以帧率(每秒输出的图像数量)相同为例作说明。即默认8K60P的数据处理量是4K60P的一倍，但如果帧率不同无法直接比较，例如8K30P未必比4K60P对处理能力的要求更高。

另外需要指出的是，在部分实施例中，若原始影像源的视频格式是480i、480p、576i、576p、720p、1080i等非HD画面时，本发明采用了先使用常规延展手段(延展单元)，延展为1080P的“第一影像源”，再采用本发明方法，处理成更高输出标准的“第二影像源”。这是因为在非HD画面延展为HD画面的手段中，常规方法(例如图元填充、锐化、清晰演算法)已经非常成熟，对硬件要求亦很低。但并非局限本发明在此类情况中的应用。即使不经初步延展，直接使用本发明方法，分块处理，迭加输出画面，亦是可行的。

综上所述，本发明提出的影像处理方法，解决了「高端设计标准」如何向下兼容低端硬件的架构问题。在实际情况中，除了满足成本限制外，上述实施例更具有设计弹性，能够发挥适应各种使用场景的价值。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视后附的权利要求所界定者为准。

Claims (16)

1.一种影像处理方法，包括：

提供至少一第一影像源；

以一多核处理器的多个核心单元多工平行处理该至少一第一影像源，以获得一第二影像源；其中，各该核心单元处理一个该第一影像源，或者处理该至少一第一影像源的一部分；以及

输出该第二影像源。

2.如权利要求1所述的影像处理方法，其特征在于，提供该至少一第一影像源的步骤包括：

提供一原始影像源；以及

延展该原始影像源，以获得该至少一第一影像源。

3.如权利要求1所述的影像处理方法，其特征在于，该多核处理器进行一迭合程序，以使该第二影像源的层数大于或等于2。

4.如权利要求1所述的影像处理方法，其特征在于，该第二影像源的解析度大于或等于该至少一第一影像源。

5.如权利要求1所述的影像处理方法，其特征在于，该至少一第一影像源平均分配至各该核心单元。

6.如权利要求1所述的影像处理方法，其特征在于，该至少一第一影像源的数量为k，该核心处理单元的数量为k，各该核心单元处理该些第一影像源的其中之一，并进行一迭合程序，以使该第二影像源的层数为k，k为自然数。

7.如权利要求1所述的影像处理方法，其特征在于，该至少一第一影像源的数量为k/n，该核心处理单元的数量为k，各该核心单元处理该些第一影像源的其中之一的一部份，该第二影像源的层数为k/n，k与n为自然数，n为2的倍数。

8.如权利要求1所述的影像处理方法，其特征在于，该至少一第一影像源的数量为1，各该核心单元处理该第一影像源的一部份，该第二影像源的层数为1。

9.一种影像处理系统，包括：

一多核处理器，包括多个核心单元，该些核心单元多工平行处理至少一第一影像源，以获得一第二影像源，各该核心单元处理一个该第一影像源，或者处理该至少一第一影像源的一部分；以及

一输出单元，用以输出该第二影像源。

10.如权利要求9所述的影像处理系统，其特征在于，更包括：

一影像延展单元，用以延展一原始影像源，以获得该至少一第一影像源。

11.如权利要求9所述的影像处理系统，其特征在于，该多核处理器更包括一迭合单元，该迭合单元用以进行一迭合程序，以使该第二影像源的层数大于或等于2。

12.如权利要求9所述的影像处理系统，其特征在于，该第二影像源的解析度大于或等于该至少一第一影像源。

13.如权利要求9所述的影像处理系统，其特征在于，更包括：

一分配单元，用以将该至少一第一影像源平均分配至各该核心单元。

14.如权利要求9所述的影像处理系统，其特征在于，该至少一第一影像源的数量为k，该核心处理单元的数量为k，各该核心单元用以处理该些第一影像源的其中之一，该多核处理器更包括一迭合单元，该迭合单元用以进行一迭合程序，以使该第二影像源的层数为k，k为自然数。

15.如权利要求9所述的影像处理系统，其特征在于，该至少一第一影像源的数量为k/n，该核心处理单元的数量为k，各该核心单元用以处理该些第一影像源的其中之一的一部份，该第二影像源的层数为k/n，k与n为自然数，n为2的倍数。

16.如权利要求9所述的影像处理系统，其特征在于，该至少一第一影像源的数量为1，各该核心单元用以处理该第一影像源的一部份，该第二影像源的层数为1。