CN115714914A - 用于帧速率控制的芯片组与相关的图像处理方法 - Google Patents

Abstract

本发明涉及用于帧速率控制的芯片组与相关的图像处理方法。芯片组包含一第一帧速率控制芯片及一第二帧速率控制芯片。该第一帧速率控制芯片用以接收一输入图像数据的第一部分，并对该输入图像数据的第一部分进行运动补偿操作以产生一输出图像数据的第一部分，其中该输出图像数据的帧速率高于或等于该输入图像数据的帧速率。该第二帧速率控制芯片用以接收该输入图像数据的第二部分，并对该输入图像数据的第二部分进行运动补偿操作以产生该输出图像数据的第二部分，其中该输出图像数据的第一部分以及该输出图像数据的第二部分组成完整的输出图像数据，以供在一显示面板上显示。

Description

用于帧速率控制的芯片组与相关的图像处理方法

技术领域

本发明是有关于帧速率控制芯片。

背景技术

运动估计与运动补偿(motion estimation and motion compensation，MEMC)是一种常用于帧速率控制的方法，特别是用于帧速率增加时用于产生内插帧之用。在帧速率控制芯片中，会设置相关的内存以暂存相关的图像数据，而内存的大小则是会考虑到所处理的图像数据的像素速率(pixel rate)或是帧分辨率来决定。然而，由于显示产品的多样化，对应到不同产品的帧速率控制芯片所需要的内存大小也不相同，举例来说，若是多个显示产品的规格分别包含了8k*4k*60Hz(即，分辨率为7680*4320，帧更新率为60Hz)以及8k*4k*120Hz(即，分辨率为7680*4320，帧更新率为120Hz)，则由于两种规格的像素速率分别约为每秒2.38*10⁹个像素以及每秒4.75*10⁹个像素，故帧速率控制芯片内部的内存及处理电路也会具有不同的设计。因此，若是要针对每一个显示产品都设计专属的帧速率控制芯片，则会大幅增加设计成本。

发明内容

因此，本发明的目的之一在于提出一种可以结合多个帧速率控制芯片以作为符合另一种规格的帧速率控制芯片组的方法，以降低帧速率控制芯片的设计成本来解决先前技术中所述的问题。

在本发明的一个实施例中，公开了一种芯片组，其包括一第一帧速率控制芯片以及一第二帧速率控制芯片。该第一帧速率控制芯片用以接收一输入图像数据的第一部分，并对该输入图像数据的第一部分进行运动补偿操作以产生一输出图像数据的第一部分，其中该输出图像数据的帧速率高于或等于该输入图像数据的帧速率；该第二帧速率控制芯片用以接收该输入图像数据的第二部分，并对该输入图像数据的第二部分进行运动补偿操作以产生该输出图像数据的第二部分，其中该输出图像数据的第一部分以及该输出图像数据的第二部分组成完整的输出图像数据，以供在一显示面板上显示。

在本发明的另一个实施例中，公开了一种图像处理方法，其包括以下步骤：通过一第一帧速率控制芯片接收一输入图像数据的第一部分，并对该输入图像数据的第一部分进行运动补偿操作以产生一输出图像数据的第一部分，其中该输出图像数据的帧速率高于或等于该输入图像数据的帧速率；通过一第二帧速率控制芯片接收该输入图像数据的第二部分，并对该输入图像数据的第二部分进行运动补偿操作以产生该输出图像数据的第二部分；以及将该输出图像数据的第一部分和该输出图像数据的第二部分组成完整的输出图像数据，以供在一显示面板上显示。

附图说明

图1为根据本发明一实施例的芯片组的示意图。

图2为根据本发明一实施例的图像分割电路将帧分割为第一部分和第二部分的示意图。

图3为产生内插帧的第一部分的示意图。

图4为产生内插帧的第二部分的示意图。

具体实施方式

图1为根据本发明一实施例的芯片组100的示意图。如图1所示，芯片组100包含了两个帧速率控制芯片110、120，其中帧速率控制芯片110包含了一图像分割电路112、一多任务器113、一内存114、一运动估计电路115、一运动信息分割电路116、一多任务器117以及一运动补偿电路118，帧速率控制芯片120包含了一图像分割电路122、一多任务器123、一内存124、一运动估计电路125、一运动信息分割电路126、一多任务器127以及一运动补偿电路128，且帧速率控制芯片110、120通过接口电路102、104彼此连接。在本实施例中，接口电路102、104可以包含任何可供帧速率控制芯片110、120的数据传递的组件，例如传输线、电路板上的接点/接脚、…等等；芯片组100可以设置在任何需要进行图像帧速率转换的电子装置中，例如移动电话、平板计算机、电视、显示器、笔记本电脑、电视机顶盒…等等。

在本实施例中，帧速率控制芯片110、120中的每一者可以单独地来使用，以供使用于具有一第一显示规格的电子装置，举例来说，帧速率控制芯片110可以单独地被应用在显示规格为8k*4k*60Hz的电子装置中，以将输入图像数据Vin进行帧速率转换以产生输出图像数据Vout1。帧速率控制芯片110、120也可以作为芯片组100来一起使用，以供使用于具有一第二显示规格的电子装置，举例来说，芯片组100可以被应用在显示规格为8k*4k*120Hz的电子装置中，以将输入图像数据Vin进行帧速率转换以产生输出图像数据Vout1、Vout2。换句话说，如图1所示，当设计者需要同时设计用于具有第一显示规格的电子装置以及具有第二显示规格的电子装置的帧速率控制芯片时，设计者在硬件设计上可以只需要考虑到符合第一显示规格的单一帧速率控制芯片110即可，而若是需要应用到具有第二显示规格的电子装置时，只要将两个帧速率控制芯片组合使用便可以达到其效果，因此可以大幅降低设计成本。

在本实施例中，帧速率控制芯片110、120具有相同的硬件架构，然而，在本发明的其他实施例中，帧速率控制芯片110、120的硬件架构可以不需要完全相同，即帧速率控制芯片110可以单独被用在第一显示规格的电子装置、帧速率控制芯片120可以单独被用在第三显示规格的电子装置、而包含帧速率控制芯片110、120的芯片组100可以单独被用在第二显示规格的电子装置。

具体来说，在芯片组100的操作中，帧速率控制芯片110中的图像分割电路112接收输入图像数据Vin，并将输入图像数据Vin分割为两个部分。举例来说，输入图像数据Vin包含了多个帧的数据，而图2绘示了一帧200的示意图，其中帧200包含了多个像素的像素值，例如7680*4320个像素值。如图2所示，图像分割电路112可以将帧200分割为一第一部分和一第二部分，其中第一部分包含了帧200的左侧区域，且第二部分包含了帧200的右侧区域。在本实施例中，为了方便后续关于运动估计电路115的操作，第一部分除了包含帧200的左侧的3840*4320个像素之外，另外包含了帧200中心点往右的一部分区域的像素，例如，第一部分可以包含了4800*4320个像素；同理，第二部分除了包含帧200的右侧的3840*4320个像素之外，另外包含了帧200中心点往左的一部分区域的像素，例如，第二部分也可以包含了4800*4320个像素。

需注意的是，图2所示的帧200、第一部分及第二部分仅是作为范例说明，而非是本发明的限制。在其他的实施例中，帧200可以具有不同的分辨率，且只要第一部分与第二部分包含了帧200的所有像素值，且第一部分与第二部分有部分重迭的区域，相关设计上的变化均应隶属于本发明的范畴。

图像分割电路112会依序将输入图像数据Vin中的每一个帧进行分割，以产生一第一图像数据Vin1以及一第二图像数据Vin2，其中第一图像数据Vin1可以是图2所示的第一部分，而第二图像数据Vin2可以是图2所示的第二部分。第一图像数据Vin1直接被传送至多任务器113，而多任务器113则被控制以将第一图像数据Vin1传送至内存114并进行储存；而第二图像数据Vin2则是通过接口电路102被传送至帧速率控制芯片120，而多任务器123则被控制以将第二图像数据Vin2传送至内存124并进行储存。

在本实施例中，帧速率控制芯片110作为主装置，而帧速率控制芯片120则作为从装置，而考虑到运动估计操作在运算上的一致性，帧速率控制芯片110中的运动估计电路115会对输入图像数据Vin进行运动估计，以决定出每一个帧的运动信息MER，以供帧速率控制芯片110、120使用。在本实施例中，运动信息MER主要包含了运动向量(motion vector)，而由于运动估计电路115的操作已为本领域普通技术人员所熟知，例如采用区块匹配算法来产生运动向量，故相关细节在此不赘述。

接着，运动信息分割电路116将运动信息MER分为两个部分以产生运动信息的第一部分MER1以及运动信息的第二部分MER2，其中运动信息的第一部分MER1可视为对应到图2所示的帧200的第一部分，即运动信息的第一部分MER1包含了图2所示的第一部分内区块的运动向量；而运动信息的第二部分MER2可视为对应到图2所示的帧200的第二部分，即运动信息的第二部分MER2包含了图2所示的第二部分内区块的运动向量。运动信息的第一部分MER1被传送至多任务器117，而多任务器117被控制以将运动信息的第一部分传送至运动补偿电路118；此外，运动信息的第二部分MER2通过接口电路104被传送至帧速率控制芯片120内的多任务器127，而多任务器127被控制以将运动信息的第二部分MER2传送至运动补偿电路128。

在运动补偿电路118的操作中，运动补偿电路118自内存114读取一第一参考帧的第一部分FA1以及一第二参考帧的第一部分FB1，其中第一参考帧的第一部分FA1可以对应到图2所示的第一部分，而第二参考帧的第一部分FB1也可对应到图2所示的第一部分。参考图3，运动补偿电路118用来根据第一参考帧的第一部分FA1以及第二参考帧的第一部分FB1来产生内插帧的第一部分，举例来说，运动补偿电路118可以参考第一参考帧的第一部分FA1中的区块B_A1及相关运动向量、第二参考帧的第一部分FB1中的区块B_B1及相关的运动向量，以决定出内插帧的第一部分的区块B_I1的位置及其像素值。需注意的是，由于运动补偿电路118中关于内插帧的计算方式已为本领域普通技术人员所熟知，且本发明的重点并不在于运动补偿的算法，故相关细节不再赘述。

类似地，在运动补偿电路128的操作中，运动补偿电路118自内存114读取一第一参考帧的第二部分FA2以及第二参考帧的第二部分FB2，其中第一参考帧的第二部分FA2可以对应到图2所示的第二部分，而第二参考帧的第二部分FB2也可对应到图2所示的第二部分。参考图4，运动补偿电路128用来根据第一参考帧的第二部分FA2以及第二参考帧的第二部分FB2来产生内插帧的第二部分，举例来说，运动补偿电路128可以参考第一参考帧的第二部分FA2中的区块B_A2及相关运动向量、第二参考帧的第二部分FB2中的区块B_B2及相关的运动向量，以决定出内插帧的第二部分的区块B_I2的位置及其像素值。

最后，帧速率控制芯片110中的运动补偿电路118输出包含内插帧的多个帧的第一部分(例如，仅包含帧左侧的4800*4320个像素值、或是仅包含帧左侧的3840*4320个像素值)以作为输出图像数据Vout1，而帧速率控制芯片120中的运动补偿电路128输出包含内插帧的多个帧的第二部分(例如，仅包含帧右侧的4800*4320个像素值、或是仅包含帧右侧的3840*4320个像素值)以作为输出图像数据Vout2，而输出图像数据Vout1、Vout2会被输入至后端的处理电路进行组合处理，以供在显示面板上显示。

如以上实施例所述，由于帧速率控制芯片110以及帧速率控制芯片120分别负责处理一部分的帧，因此，内存114、124可以不需要设计的太大，以降低单一个帧速率控制芯片110、120的制造成本。

需注意的是，由于帧速率控制芯片110是作为主装置，而帧速率控制芯片120是作为从装置，故帧速率控制芯片120中的图像分割电路122、运动估计电路125及运动信息分割电路126可以关闭而不需要进行操作，以节省帧速率控制芯片120的电力消耗。

在图1所示的实施例中，输出图像数据Vin是通过帧速率控制芯片110中的图像分割电路112进行分割后，以产生输入图像数据的第一部分Vin1以及输入图像数据的第二部分Vin2，以分别供帧速率控制芯片110、120使用，然而，本发明并不以此为限。在本发明的其他实施例中，输出图像数据Vin可以同时输入至帧速率控制芯片110、120，而帧速率控制芯片110中的图像分割电路112获取输入图像数据的第一部分Vin1后传送至内存114并储存在其中，且帧速率控制芯片120中的图像分割电路122获取输入图像数据的第一部分Vin2后传送至内存124并储存在其中，这些设计上的变化应隶属于本发明的范畴。

在图1所示的实施例中，每一个帧的运动信息是全部由帧速率控制芯片110中的运动估计电路115来产生，而运动信息的第一部分MER1给运动补偿电路118使用，且运动信息的第二部分MER2则传送给帧速率控制芯片120的运动补偿电路118使用，然而，本发明并不以此为限。在本发明的其他实施例中，帧速率控制芯片120中的运动估计电路125也可用来产生运动信息。换句话说，帧速率控制芯片110中的运动估计电路115可以对输入图像数据Vin进行运动估计以产生运动信息的第一部分MER1，而帧速率控制芯片120中的运动估计电路125可以对输入图像数据Vin进行运动估计以产生运动信息的第二部分MER2，这些设计上的变化应隶属于本发明的范畴。

简要归纳本发明，在本发明中，通过将原本可以单独用于具有第一显示规格的帧速率控制芯片110、120组合为一个芯片组，以供具有第二显示规格的电子装置使用，可以在仅需要设计一个芯片的硬件架构的情形下同时应用至两种或多种不同显示规格的电子产品，以大幅降低设计成本。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的等同变化与更改，皆应属本发明的涵盖范围。

【符号说明】

100:芯片组

102,104:接口电路

110:帧速率控制芯片

112:图像分割电路

113:多任务器

114:内存

115:运动估计电路

116:运动信息分割电路

117:多任务器

118:运动补偿电路

120:帧速率控制芯片

122:图像分割电路

123:多任务器

124:内存

125:运动估计电路

126:运动信息分割电路

127:多任务器

128:运动补偿电路

200:帧

B_A1,B_B1,B_I1,B_A2,B_B2,B_I2:区块

Vin:输入图像数据

Vin1:输入图像数据的第一部分

Vin2:输入图像数据的第二部分

MER:运动信息

MER1:运动信息的第一部分

MER1:运动信息的第二部分

FA1:第一参考帧的第一部分

FB1:第二参考帧的第一部分

FA2:第一参考帧的第二部分

FB2:第二参考帧的第二部分

Vout1,Vout2:输出图像数据

Claims (10)

1.一种用于帧速率控制的芯片组，包括：

一第一帧速率控制芯片，用以接收一输入图像数据的第一部分，并对所述输入图像数据的第一部分进行运动补偿操作以产生一输出图像数据的第一部分，其中所述输出图像数据的帧速率高于或等于所述输入图像数据的帧速率；以及

一第二帧速率控制芯片，用以接收所述输入图像数据的第二部分，并对所述输入图像数据的第二部分进行运动补偿操作以产生所述输出图像数据的第二部分；

其中所述输出图像数据的第一部分以及所述输出图像数据的第二部分组成完整的输出图像数据，以供在一显示面板上显示。

2.根据权利要求1所述的芯片组，其中所述输入图像数据包含了多个帧，所述输入图像数据的第一部分包含了每一个帧的第一部分，且所述输入图像数据的第二部分包含了每一个帧的第二部分；以及针对每一个帧，所述帧的第一部分与所述帧的第二部分包含了所述帧的所有像素值，且所述帧的第一部分与所述帧的第二部分包含有部分重迭的像素值。

3.根据权利要求2所述的芯片组，其中所述输出图像数据包含了所述多个帧以及多个内插帧，所述输出图像数据的第一部分包含了每一个帧及每一个内插帧的第一部分，且所述输出图像数据的第二部分包含了每一个帧及每一个内插帧的第二部分；以及针对每一个内插帧，所述内插帧的第一部分与所述内插帧的第二部分包含了所述内插帧的所有像素值。

4.根据权利要求1所述的芯片组，其中所述第一帧速率控制芯片接收所述输入图像数据，并将所述输入图像数据分割为所述输入图像数据的第一部分和所述输入图像数据的第二部分，其中所述输入图像数据的第一部分储存在所述第一帧速率控制芯片中的一内存，而所述输入图像数据的第二部分则传送至所述第二帧速率控制芯片。

5.根据权利要求1所述的芯片组，其中所述第一帧速率控制芯片对所述输入图像数据做运动估计以产生一运动信息，并根据所述运动信息的第一部分对所述输入图像数据的第一部分进行运动补偿操作以产生所述输出图像数据的第一部分；以及所述第一帧速率控制芯片将所述运动信息的第二部分传送至所述第二帧速率控制芯片，且所述第二帧速率控制芯片对所述输入图像数据的第二部分进行运动补偿操作以产生所述输出图像数据的第二部分。

6.根据权利要求1所述的芯片组，其中所述第一帧速率控制芯片包含有：

一图像分割电路，用以接收所述输入图像数据，将所述输入图像数据分割为所述输入图像数据的第一部分和所述输入图像数据的第二部分，并将所述输入图像数据的第二部分传送至所述第二帧速率控制芯片；

一内存，用以储存所述输入图像数据的第一部分；

一运动估计电路，用以对所述输入图像数据做运动估计以产生一运动信息；

一运动补偿电路，耦接于所述内存，用以自所述内存中读取所述输入图像数据的第一部分，并根据所述运动信息的第一部分对所述输入图像数据的第一部分进行运动补偿操作以产生所述输出图像数据的第一部分。

7.根据权利要求6所述的芯片组，其中所述内存不会储存所述输入图像数据的第二部分。

8.根据权利要求6所述的芯片组，其中所述第一帧速率控制芯片另包含有：

一运动信息分割电路，耦接于所述运动估计电路，用以将所述运动信息分割为所述运动信息的第一部分和所述运动信息的第二部分，并将所述运动信息的第二部分传送至所述第二帧速率控制芯片。

9.根据权利要求8所述的芯片组，其中所述内存为一第一内存，所述运动补偿电路为一第一运动补偿电路，且所述第二帧速率控制芯片包含有：

一第二内存，用以储存所述输入图像数据的第二部分；以及

一第二运动补偿电路，用以自所述内存中读取所述输入图像数据的第二部分，并根据所述运动信息的第二部分对所述输入图像数据的第二部分进行运动补偿操作以产生所述输出图像数据的第二部分。

10.一种图像处理方法，包括：

通过一第一帧速率控制芯片接收一输入图像数据的第一部分，并对所述输入图像数据的第一部分进行运动补偿操作以产生一输出图像数据的第一部分，其中所述输出图像数据的帧速率高于或等于所述输入图像数据的帧速率；

通过一第二帧速率控制芯片接收所述输入图像数据的第二部分，并对所述输入图像数据的第二部分进行运动补偿操作以产生所述输出图像数据的第二部分；以及

将所述输出图像数据的第一部分以及所述输出图像数据的第二部分组成完整的输出图像数据，以供在一显示面板上显示。

Images