CN110312095B

CN110312095B - 影像处理装置及影像处理方法

Info

Publication number: CN110312095B
Application number: CN201810230493.6A
Authority: CN
Inventors: 余家伟; 张政信; 谢俊兴; 郑吉雄
Original assignee: Realtek Semiconductor Corp
Current assignee: Realtek Semiconductor Corp
Priority date: 2018-03-20
Filing date: 2018-03-20
Publication date: 2021-10-08
Anticipated expiration: 2038-03-20
Also published as: CN110312095A

Abstract

本发明公开一种影像处理装置与影像处理方法。影像处理方法包含：参考多个图帧或与所述多个图帧相关的一辅助数据以判断所述多个图帧是否包含实质上相同的图帧；根据所述多个图帧是否包含实质上相同的图帧来选择所述多个图帧，以产生多个选取的图帧；以及对所述多个选取的图帧进行影像处理。其中当所述多个图帧未包含实质上相同的图帧时，所述多个选取的图帧与所述多个图帧相同，当所述多个图帧包含实质上相同的图帧时，所述多个选取的图帧为所述多个图帧的一部分。本发明的影像处理装置及方法能够在对影像进行强化及帧率转换之前减少待处理的数据量，降低电路的功耗及减少对存储器频宽的需求。

Description

影像处理装置及影像处理方法

技术领域

本发明涉及影像处理装置及影像处理方法，尤其涉及应用于补重复帧(pull-up)信号的影像处理装置及影像处理方法。

背景技术

图1是现有影像处理装置的功能方框图。影像处理装置100包含输入级110、影像强化电路120、帧率转换电路130以及存储器140。输入级110对影像信号Vin做前置处理，例如对影像信号Vin进行解码。解码的过程中输入级110需将影像数据写入及读出存储器140。解码完成后输入级110输出影像数据V1至影像强化电路120。如果影像信号Vin为不需解码的影像信号，则输入级110可以直接输出影像数据V1。影像强化电路120对影像数据V1进行影像强化处理，例如降低噪声、提升清晰度(sharpness)、影像缩放(scaling)等操作，然后输出影像数据V2。帧率转换电路130对影像数据V2进行帧率转换，例如将影像从60fps(frameper second，每秒帧数)转换成120fps。帧率转换电路130进行帧率转换的过程中需将影像数据写入及读出存储器140，并于转换完成后输出影像数据V3。

当影像信号Vin为补重复帧信号时，影像数据V1、影像数据V2及影像数据V3可能包含如图2所示的图帧(frame)。关于补重复帧的技术请参考https：//en.wikipedia.org/wiki/Three-two_pull_down。如图2所示，影像数据V1及影像数据V2皆包含重复的图帧(至少包含三张图帧(A)及两张图帧(B))。帧率转换电路130收到影像数据V2后，将影像数据V2存入存储器140；接着帧率转换电路130从影像数据V2的重复的图帧中挑选其中之一(例如挑选三张图帧(A)的其中之一、挑选两张图帧(B)的其中之一…)，再根据挑选出的图帧产生影像数据V3。帧率转换电路130可以利用运动估计及运动补偿(motion estimation motioncompensation,MEMC)技术来产生影像数据V3，而影像数据V3原则上不包含重复的图帧。在此例中，帧率转换电路130根据图帧(A)及图帧(B)产生图帧(A,B)₁与图帧(A,B)₂，以及根据图帧(B)及图帧(C)产生图帧(B,C)₂，其中(A,B)₁代表由图帧(A)及图帧(B)所产生的第一张图帧，(B,C)₂代表由图帧(B)及图帧(C)所产生的第二张图帧。

由图1及图2可知，虽然实际上仅有三张图帧，影像强化电路120在处理影像数据V2时却是对六张图帧进行处理，换言之，有三次影像强化处理是重复的，且帧率转换电路130也会将重复的图帧写入存储器140，如此的操作会造成耗电增加、存储器140的需求增加以及存储器频宽的浪费。

发明内容

鉴于现有技术的不足，本发明的一目的在于提供一种影像处理装置及影像处理方法，以降低电路的功耗及减少对存储器频宽的需求。

本发明公开一种影像处理装置，包含一解码器、一影像模式检测电路、一图帧序列控制电路以及一影像强化电路。该解码器用来解码一影像信号以产生多个图帧以及指示所述多个图帧的顺序的一图帧顺序信息。该影像模式检测电路用来参考该图帧顺序信息以依据一图像数据来判断所述多个图帧是否包含实质上相同的图帧。该图帧序列控制电路用来根据所述多个图帧是否包含实质上相同的图帧来选择所述多个图帧，以产生多个选取的图帧。该影像强化电路用来对所述多个选取的图帧进行影像处理。当所述多个图帧未包含实质上相同的图帧时，所述多个选取的图帧与所述多个图帧相同，当所述多个图帧包含实质上相同的图帧时，所述多个选取的图帧为所述多个图帧的一部分。

本发明还公开一种影像处理方法，包含：解码一影像信号以产生多个图帧以及指示所述图帧的顺序的一图帧顺序信息；参考该图帧顺序信息以依据一图像数据来判断所述多个图帧是否包含实质上相同的图帧；根据所述多个图帧是否包含实质上相同的图帧来选择所述多个图帧，以产生多个选取的图帧；以及对所述多个选取的图帧进行影像处理。其中当所述多个图帧未包含实质上相同的图帧时，所述多个选取的图帧与所述多个图帧相同，当所述多个图帧包含实质上相同的图帧时，所述多个选取的图帧为所述多个图帧的一部分。

本发明还公开一种影像处理装置，包含一影像模式检测电路、一图帧序列控制电路以及一影像强化电路。该影像模式检测电路用来参考多个图帧或与所述多个图帧相关的一辅助数据以判断所述多个图帧是否包含实质上相同的图帧。该图帧序列控制电路用来根据所述多个图帧是否包含实质上相同的图帧来选择所述多个图帧，以产生多个选取的图帧。该影像强化电路用来对所述多个选取的图帧进行影像处理。当所述多个图帧未包含实质上相同的图帧时，所述多个选取的图帧与所述多个图帧相同，当所述多个图帧包含实质上相同的图帧时，所述多个选取的图帧为所述多个图帧的一部分。

本发明还公开一种影像处理方法，包含：参考多个图帧或与所述多个图帧相关的一辅助数据以判断所述多个图帧是否包含实质上相同的图帧；根据所述多个图帧是否包含实质上相同的图帧来选择所述多个图帧，以产生多个选取的图帧；以及对所述多个选取的图帧进行影像处理。其中当所述多个图帧未包含实质上相同的图帧时，所述多个选取的图帧与所述多个图帧相同，当所述多个图帧包含实质上相同的图帧时，所述多个选取的图帧为所述多个图帧的一部分。

本发明的影像处理装置及影像处理方法能够在对影像进行强化及帧率转换之前减少待处理的数据量。相较于传统技术，本发明的影像处理装置及影像处理方法可以降低电路的功耗及减少对存储器频宽的需求。

有关本发明的特征、实作与技术效果，兹配合附图作实施例详细说明如下。

附图说明

图1为现有影像处理装置的功能方框图；

图2为现有的影像处理装置的图帧变化示意图；

图3为本发明影像处理装置的一实施例的功能方框图；

图4为本发明影像处理方法的一实施例的流程图；

图5为本发明的影像处理装置的图帧变化示意图；以及

图6为本发明影像处理装置的另一实施例的功能方框图。

符号说明

100、300、600 影像处理装置

110、310、610 输入级

120、320 影像强化电路

130、330 帧率转换电路

140、340、312 存储器

314 解码器

316 影像模式检测电路

318 图帧序列控制电路

Vin 影像信号

V1、V2、V3 影像数据

Fo 图帧

Fs 图帧顺序信息

614 影像尺寸调整及存储电路

DA 辅助数据

PM 模式信号

S410～S495 步骤

具体实施方式

以下说明内容的技术用语是参照本技术领域的习惯用语，如本说明书对部分用语有加以说明或定义，该部分用语的解释是以本说明书的说明或定义为准。

本发明的公开内容包含影像处理装置及影像处理方法。由于本发明的影像处理装置所包含的部分元件单独而言可能为已知元件，因此在不影响该装置发明的充分公开及可实施性的前提下，以下说明对于已知元件的细节将予以省略。此外，本发明的影像处理方法的部分或全部流程可以是软件及/或固件的形式，并且可通过本发明的影像处理装置或其等效装置来执行，在不影响该方法发明的充分公开及可实施性的前提下，以下方法发明的说明将着重于步骤内容而非硬件。

图3是本发明影像处理装置的一实施例的功能方框图。影像处理装置300包含输入级310、影像强化电路320、帧率转换电路330以及存储器340。输入级310包含存储器312、解码器314、影像模式检测电路316以及图帧序列控制电路318。存储器340可以是一个图帧缓存器(frame buffer)。图4为本发明影像处理方法的一实施例的流程图。以下的说明请同时参考图3及图4。

首先输入级310接收影像信号Vin(步骤S410)。影像信号Vin可以是已解码或未解码的影像信号。已解码的影像信号例如来自于机顶盒(set-up box)，并且通过数字影像接口输入影像处理装置300。数字影像接口包含但不限于高画质多媒体接口(HighDefinition Multimedia Interface,HDMI)以及显示端(DisplayPort,DP)。当影像信号Vin输入输入级310时，影像数据被写入存储器312。存储器312例如是列缓冲器(line buffer)。解码器314从存储器312中读取影像数据，并判断影像信号Vin是否需解码(步骤S420)。

在一个实施例中，影像信号Vin为未解码的影像信号(步骤S420为是)。解码器314对影像数据解码(步骤S430)，以产生多个图帧Fo以及指示所述多个图帧Fo的顺序的图帧顺序信息Fs。解码器314还可以包含影像尺寸调整及存储电路(图未示)，影像尺寸调整及存储电路对图帧Fo进行处理，以产生辅助数据DA(步骤S435)。步骤S435为选择性的。辅助数据DA例如是图帧Fo的缩图、色彩空间(color space)及直方图(histogram)等信息。图帧Fo及辅助数据DA皆被存入存储器340。

前述产生缩图、色彩空间以及直方图的方式为本技术领域技术人员所熟知，在此列举以下的信息供实作上的参考。缩图：https：//en.wikipedia.org/wiki/Image_scaling；色彩空间：https：//en.wikipedia.org/wiki/HSL_and_HSV；以及直方图：https：//en.wikipedia.org/wiki/Histogram。

影像模式检测电路316从存储器340读取图帧Fo或辅助数据DA(例如读取10～15张图帧Fo，或是对应所述多个图帧Fo的辅助数据DA)，并根据图帧顺序信息Fs得知图帧Fo或辅助数据DA的顺序。影像模式检测电路316再通过比对所述多个图帧Fo或辅助数据DA来进行影像模式检测(film mode detection)(步骤S440)，以产生指示影像信号Vin的影像模式的模式信号PM。当影像信号Vin不是补重复帧信号时，模式信号PM指示图帧Fo未包含实质上相同的图帧；而当影像信号Vin为补重复帧信号时，模式信号PM指示影像信号Vin的补重复帧的模式，例如22、23、3223等补重复帧模式的其中之一。由于辅助数据DA的数据量小于图帧Fo，所以当影像模式检测电路316依据辅助数据DA进行影像模式检测时，可以节省存储器频宽。

影像模式检测电路316可以采用以下的方法进行影像模式检测。在一些实施例中，影像模式检测电路316计算时间上相邻的两张图帧的相似度flag[t]：

其中Img[t]为时间t时的图像数据，i及j为像素位置的参数，WxH为图像数据的全部像素。Img[t]可以是前述的所述多个图帧Fo的其中之一，或是对应的辅助数据DA。在其他的实施例中，相似度flag[t]为

其中W(Img[t][i][j]-Img[t-1][i][j])为加权比重函数。当相似度flag[t]小于预设值时，代表两张图帧实质上相同。

之后图帧序列控制电路318从存储器340中读取图帧Fo、参考图帧顺序信息Fs以得知所述多个图帧Fo的顺序，并且由模式信号PM得知影像信号Vin是否为补重复帧信号(步骤S450)。图帧序列控制电路318根据模式信号PM来选择所述多个图帧Fo的一部分或全部，以产生影像数据V1。更明确地说，当影像信号Vin不是补重复帧信号时，模式信号PM指示图帧Fo未包含实质上相同的图帧，因此图帧序列控制电路318根据图帧顺序信息Fs将所有的所述多个图帧Fo依照时间先后的顺序输出以产生影像数据V1(步骤S460)。当影像信号Vin为补重复帧信号时，图帧Fo包含实质上相同的图帧，因此图帧序列控制电路318根据模式信号PM及图帧顺序信息Fs选择所述多个图帧Fo的一部分，以产生影像数据V1(步骤S470)。举例来说，假设经排序后的图帧Fo如图2的影像数据V1所示，则图帧序列控制电路318根据模式信号PM得知前三张图帧为相同的图帧(图帧(A))，第四及第五张图帧为相同的图帧(图帧(B))，从而选择图帧Fo的前三张图帧的其中之一作为影像数据V1的第一张图帧、选择图帧Fo的第四及第五张图帧的其中之一作为影像数据V1的第二张图帧，以此类推；最后图帧序列控制电路318所输出的影像数据V1如图5所示。

在一些实施例中，图帧序列控制电路318亦可选择性地将模式信号PM传送至影像强化电路320，使影像强化电路320可立即得知影像信号Vin的影像模式，并据以进行影像处理。

接下来影像强化电路320对影像数据V1进行影像强化处理，例如降低噪声、提升清晰度、影像缩放等操作，然后输出影像数据V2(步骤S480)。如图5所示，影像数据V2的图帧与影像数据V1的图帧实质上相同。然后帧率转换电路330判断是否需进行帧率转换(步骤S485)，并选择性地进行帧率转换(步骤S490)。在一些实施例中，帧率转换电路330可以根据模式信号PM开启或关闭。举例来说，如果影像信号Vin不是补重复帧信号，则帧率转换电路330不执行操作(亦即帧率转换电路330关闭且步骤S490被略过)；如果影像信号Vin为补重复帧信号，则帧率转换电路330执行操作(亦即帧率转换电路330开启且执行步骤S490)。最后帧率转换电路330输出影像数据V3至显示装置(例如面板)(步骤S495)。影像数据V3的内容例如图5所示，其中图帧(A,B)₁是根据图帧(A)及图帧(B)产生，图帧(B,C)₁及图帧(B,C)₂是根据图帧(B)及图帧(C)产生。

比对图2及图5，当影像信号Vin为补重复帧信号时，图5的影像数据V1的图帧数比图2的影像数据V1的图帧数少，且图5的影像数据V2的图帧数比图2的影像数据V2的图帧数少，表示影像强化电路320可处理较少的图帧(亦即可降低功耗)以及帧率转换电路330存入较少的图帧至存储器340(亦即可减少存储器频宽的需求)。

在另一个实施例中，图3的影像信号Vin为已解码的影像信号(步骤S420为否)。在此情况下，影像信号Vin包含图帧Fo，且所述多个图帧Fo已依照时间先后的顺序排列；因此，解码器314不产生图帧顺序信息Fs。类似地，解码器314可以选择性地以影像尺寸调整及存储电路对图帧Fo进行处理，以产生辅助数据DA(步骤S435)。接下来，影像模式检测电路316根据图帧Fo或辅助数据DA进行影像模式检测(步骤S440)。之后图帧序列控制电路318根据模式信号PM判断影像信号Vin是否为补重复帧信号(步骤S450)，并依据判断结果执行步骤S460或步骤S470。因为图帧序列控制电路318从存储器340读出的图帧Fo己依照顺序排列，所以在步骤S460及步骤S470中图帧序列控制电路318不需参考图帧顺序信息Fs(在此实施例中解码器314不产生图帧顺序信息Fs)。

图6是本发明影像处理装置的另一实施例的功能方框图。影像处理装置600包含输入级610、影像强化电路320、帧率转换电路330以及存储器340。输入级610包含存储器312、影像尺寸调整及存储电路614、影像模式检测电路316以及图帧序列控制电路318。此实施例中影像信号Vin为已解码的影像信号(亦即可略过步骤S420及步骤S430)，因此影像信号Vin包含图帧Fo，且所述多个图帧Fo已依照顺序排列。影像处理装置600与影像处理装置300相似，差别在于输入级610不具解码功能，而是利用影像尺寸调整及存储电路614处理图帧Fo以产生辅助数据DA(步骤S435)。同样地，步骤S435为选择性的。图6与图3中标示相同符号的元件具有相同或相似的功能，故不再赘述。

前面公开的解码器314及影像尺寸调整及存储电路614可以由数字信号处理器(digital signal processor)实作。解码器314内建的影像尺寸调整及存储电路或是影像尺寸调整及存储电路614可以还包含影像尺寸调整模块及色彩空间转换模块。在一些实施例中，影像模式检测电路316可以直接从解码器314及影像尺寸调整及存储电路614取得图帧Fo或辅助数据DA，而非从存储器340读取。在一些实施例中，图帧序列控制电路318可以将在步骤S470中未被选择的图帧做信息的缩减，再将缩减后所得的信息连同选择的图帧一并输出到影像强化电路320。缩减后所得的信息例如是原图帧的缩图、色彩空间及/或直方图。

由于本技术领域技术人员可通过本公开的装置发明的公开内容来了解本公开的方法发明的实施细节与变化，因此，为避免赘文，在不影响该方法发明的公开要求及可实施性的前提下，重复的说明在此予以省略。请注意，前面公开的图示中，元件的形状、尺寸、比例以及步骤的顺序等仅为示意，是供本技术领域技术人员了解本发明之用，非用以限制本发明。

虽然本发明的实施例如上所述，然而该些实施例并非用来限定本发明，本技术领域技术人员可依据本发明的明示或隐含的内容对本发明的技术特征施以变化，凡此种种变化均可能属于本发明所寻求的专利保护范围，换言之，本发明的专利保护范围需视本说明书的权利要求所界定者为准。

Claims

1.一种影像处理装置，包含：

一解码器，用来解码一影像信号以产生多个图帧以及指示所述多个图帧的顺序的一图帧顺序信息；

一影像模式检测电路，耦接该解码器，用来参考该图帧顺序信息以依据一图像数据来判断所述多个图帧是否包含实质上相同的图帧；

一图帧序列控制电路，耦接该影像模式检测电路，用来根据所述多个图帧是否包含实质上相同的图帧来选择所述多个图帧，以产生多个选取的图帧；以及

一影像强化电路，耦接该图帧序列控制电路，用来对所述多个选取的图帧进行影像强化处理；

一帧率转换电路，用于判断是否需进行帧率转换，并选择性地进行帧率转换；

其中当所述多个图帧未包含实质上相同的图帧时，所述多个选取的图帧与所述多个图帧相同，当所述多个图帧包含实质上相同的图帧时，所述多个选取的图帧为所述多个图帧的一部分。

2.如权利要求1所述的影像处理装置，其中该图像数据为所述多个图帧。

3.如权利要求1所述的影像处理装置，其中该解码器还处理所述多个图帧以产生与所述多个图帧相关的一辅助数据，该辅助数据的数据量小于所述多个图帧的数据量，且该图像数据为该辅助数据。

4.一种影像处理方法，包含：

解码一影像信号以产生多个图帧以及指示所述多个图帧的顺序的一图帧顺序信息；

参考该图帧顺序信息以依据一图像数据来判断所述多个图帧是否包含实质上相同的图帧；

根据所述多个图帧是否包含实质上相同的图帧来选择所述多个图帧，以产生多个选取的图帧；以及

对所述多个选取的图帧进行影像强化处理；

判断是否需进行帧率转换，并选择性地进行帧率转换；

5.如权利要求4所述的影像处理方法，其中该图像数据为所述多个图帧。

6.如权利要求4所述的影像处理方法，还包含：

处理所述多个图帧以产生与所述多个图帧相关的一辅助数据；

其中该辅助数据的数据量小于所述多个图帧的数据量，且

该图像数据为该辅助数据。

7.一种影像处理装置，包含：

一影像模式检测电路，用来参考多个图帧或与所述多个图帧相关的一辅助数据以判断所述多个图帧是否包含实质上相同的图帧；

8.如权利要求7所述的影像处理装置，还包含：

一影像尺寸调整及存储电路，耦接该影像模式检测电路，用来处理所述多个图帧以产生该辅助数据；

其中该辅助数据的数据量小于所述多个图帧的数据量。

9.一种影像处理方法，包含：

参考多个图帧或与所述多个图帧相关的一辅助数据以判断所述多个图帧是否包含实质上相同的图帧；

对所述多个选取的图帧进行影像强化处理；

判断是否需进行帧率转换，并选择性地进行帧率转换；

10.如权利要求9所述的影像处理方法，还包含：

处理所述多个图帧以产生该辅助数据，其中该辅助数据的数据量小于所述多个图帧的数据量。