CN104954720B

CN104954720B - 影像转换方法及系统

Info

Publication number: CN104954720B
Application number: CN201410116761.3A
Authority: CN
Inventors: 文锦松
Original assignee: Ali Corp
Current assignee: Yangzhi Electronic Technology Chengdu Co ltd
Priority date: 2014-03-26
Filing date: 2014-03-26
Publication date: 2018-06-15
Anticipated expiration: 2034-03-26
Also published as: CN104954720A

Abstract

一种影像转换方法及系统。影像转换系统包括一输入单元、一造频器、一帧间频率分析器、一频率丢失检测器及一频率补偿器。输入单元用以提供一具有数个像素的原始影像。造频器用以依据各个像素的数个邻近窗口，以此些邻近窗口的差异，产生一高频产生消息。帧间频率分析器用以依据原始影像，产生一高频补偿增益消息。频率丢失检测器用以依据原始影像，产生一频率丢失消息。频率补偿器用以至少依据高频产生消息、高频补偿增益消息及频率丢失消息，修正原始影像，以增加原始影像的高频谱的分布。

Description

影像转换方法及系统

技术领域

本发明是有关于一种转换方法及系统，且特别是有关于一种影像转换方法及系统。

背景技术

随着显示面板技术的发展，显示面板的解析度不断的提升。显示面板的解析度已经发展到3840×2160的超高清（Ultra High-Definition,UHD）解析度。

然而，目前的影像源仍多数为720×480的标清（standard-definition,SD）解析度或1920×1080的高清（High-definition,HD）解析度。这些影像源投射到超高清（UHD）解析度显示面板时，必须进行影像转换。影像转换的技术严重影响到影像的视觉品质。

发明内容

本发明有关于一种影像转换方法及系统，其利用增加高频谱分布的方式，使得视觉品质能够有效地大幅提升。

根据本发明的一方面，提出一种影像转换方法。影像转换方法包括以下步骤。提供一具有数个像素的原始影像。依据各个像素的数个邻近窗口，以此些邻近窗口的差异，产生一高频产生消息。至少依据高频产生消息，修正原始影像，以增加原始影像的高频谱的分布。

根据本发明的另一方面，提出一种影像转换系统。影像转换系统包括一输入单元、一造频器及一频率补偿器。输入单元用以提供一具有数个像素的原始影像。造频器用以依据各个像素的数个邻近窗口，以此些邻近窗口的差异，产生一高频产生消息。频率补偿器用以至少依据高频产生消息，修正原始影像，以增加原始影像的高频谱的分布。

根据本发明的再一方面，提出一种影像转换系统。影像转换系统包括一输入单元、一造频器、一帧间频率分析器、一频率丢失检测器及一频率补偿器。输入单元用以提供一具有数个像素的原始影像。造频器用以依据各个像素的数个邻近窗口，以此些邻近窗口的差异，产生一高频产生消息。帧间频率分析器用以依据原始影像，产生一高频补偿增益消息。频率丢失检测器用以依据原始影像，产生一频率丢失消息。频率补偿器用以至少依据高频产生消息、高频补偿增益消息及频率丢失消息，修正原始影像，以增加原始影像的高频谱的分布。

为让本发明的上述内容能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下：

附图说明

图1绘示影像转换系统的示意图；

图2绘示影像转换方法的流程图；

图3绘示另一实施例的影像转换系统的示意图；

图4绘示另一实施例的影像转换方法的流程图。

图5绘示高频采样值的分析示意图；

图6绘示频率丢失消息的分析示意图图；

图7绘示邻近窗口的示意图；

图8绘示邻近窗口的另一实施方式的示意图。

主要元件符号说明

100、200：影像转换系统

110：输入单元

120：频率丢失检测器

121：滤波器

122：逆演算单元

130：帧间频率分析器

140：造频器

150：频率补偿器

D：预定距离

gain_hf_compensate：高频补偿增益消息

hf：高频产生消息

hf_miss：频率丢失消息

IM0：原始影像

IM0’：模拟影像

IM1：修正影像

IM2：高解析度影像

P7、P8、P[N-1]、P[N-2]：像素

record[i]：高频采样值

S201～S205：流程步骤

W22、W33、W44、W55、W331、W332、W333、W334：邻近窗口

具体实施方式

请参照第1及2图，图1绘示影像转换系统100的示意图，图2绘示影像转换方法的流程图。影像转换系统100包括一输入单元110、一频率丢失检测器120、一帧间频率分析器130、一造频器140及一频率补偿器150。

输入单元110用以输入各种影像资料，例如是一硬盘、一存储卡、一存储器、一资料传输线或具有输入资料功能的电路。

频率丢失检测器120、帧间频率分析器130、造频器140及频率补偿器150用以进行各种影像处理程序，例如是一芯片、一电路板、一电路、或具有数组程序码的记录媒体装置。

以图2的流程图为例，在步骤S201中，输入单元110提供一具有数个像素的原始影像IM0。

在步骤S202中，造频器140依据各个像素，产生一高频产生消息hf。

在步骤S203中，帧间频率分析器130依据原始影像IM0，产生一高频补偿增益消息gain_hf_compensate。

在步骤S204中，频率丢失检测器120依据原始影像IM0，产生一频率丢失消息hf_miss。

在步骤S205中，频率补偿器150依据高频产生消息hf、高频补偿增益消息gain_hf_compensate及频率丢失消息hf_miss，修正原始影像IM0，以增加原始影像IM0的高频谱的分布，而输出修正影像IM1。

请参照第3及4图，图3绘示另一实施例的影像转换系统200的示意图，图4绘示另一实施例的影像转换方法的流程图。

在图3中，影像转换系统200只包括输入单元110、造频器140及频率补偿器150。在图4的步骤S405中，频率补偿器150只依据造频器140所提供的高频产生消息hf，修正原始影像IM0，以增加原始影像IM0的高频谱的分布，而输出修正影像IM1。

上述各种实施例均可有效增加原始影像IM0的高频谱分布，使得原始影像IM0由标清（SD）/高清（HD）转为超高清（UHD）时，均能够有效地大幅提升视觉品质，本发明实施例详细说明如下。

请参照图5，其绘示高频采样值record[i]的分析示意图。频率丢失检测器120在原始影像IM0的各帧图像中，找出频率排序较高的N组高频采样值record[i]（i=0～N-1），这些高频采样值record[i]所对应的像素点之间距必须大于一预定距离D。举例来说，图5所示的第N-1个高频采样值record[N-1]所对应的像素点P[N-1]及第N-2个高频采样值record[N-2]所对应的像素点P[N-2]的预定距离D的范围没有重叠（即两者间距大于预定距离D）。

N为一预定百分比所对应的数值，例如是32或64。也就是说，频率丢失检测器120找出的是排序于预定百分比之前的部分的高频采样值record[i]。

请参照图6，其绘示频率丢失消息hf_miss的分析示意图。在频率丢失检测器120中，是透过以下方式来分析出频率丢失消息hf_miss。首先，输入原始影像IM0。接着，一滤波器121提高原始影像IM0的解析度，以获得一高解析度影像IM2。然后，一逆演算单元122逆演算高解析度影像IM2，以获得一模拟影像IM0’。接着，计算模拟影像IM0’与原始影像IM0的差异，以获得频率丢失消息hf_miss。

如图1所示，帧间频率分析器130依据频率丢失检测器120所分析出的高频采样值record[i]，产生高频补偿增益消息gain_hf_compensate。以下进一步说明高频补偿增益消息gain_hf_compensate的产生方式。

首先，以下式（1）依据高频采样值record[i]获得总和值sum。

接着，以下式（2）依据总和值sum获得增益值gain。

gain=f₁(sum)…………………………………………（2）

其中函数f₁(sum)可以是非线性函数也可以是线性函数，例如是下式（3）的函数。

其中base_fre是基准频率增强点，如果输入的等于基准频率增强点base_fre的时候，将按造频器140的产出一倍增强。input_gain也是一个函数模型，例如是与视频码率成反比的函数。

然后，为了保证时间轴上的增益值gain不变，高频补偿增益消息gain_hf_compensate透过下式（4）的时间轴模型来获得。

其中t代表各帧图像，gain_t代表各帧图像的增益值，cur表示当前帧图像。

帧间频率分析器透过上式（1）～（4）的计算，即可获得高频补偿增益消息gain_hf_compensate。

如图1所示，造频器140依据原始影像IM0，产生高频产生消息hf。以下进一步说明高频产生消息hf的产生方式。

请参照图7，其绘示邻近窗口W22、W33、W44、W55的示意图。对于每一帧图像的每一个像素（图7以像素P7为例），以其为中心划定数个2×2～n×n（n例如是5）大小的邻近窗口W22、W33、W44、W55，并依据各个像素的数个邻近窗口W22、W33、W44、W55，以此些邻近窗口W22、W33、W44、W55的差异，产生高频产生消息hf。在图7的实施例中，四个邻近窗口W22、W33、W44、W55的大小不同，但皆涵盖到同一个像素。

首先，依据下式（5）计算每一个邻近窗口W22、W33、W44、W55的像素平均值DC_M×M(M为1～n)。其中pixel_value为像素值。

接着，依据下式（6）计算高频权重值enhance_weight。

其中平均值权重weight_L,H包含了weight_2,4、weight_2,5、weight_3,4、weight_3,5、weight_4,5。平均值权重weight_2,4、weight_2,5、weight_3,4、weight_3,5、weight_4,5是为1，平均值权重weight₂₃则依据下式（7）进行计算。

在一实施例中，平均值权重weight_L,H可以皆设为1，而在式（6）中不被考虑。

请参照图8，其绘示邻近窗口W331、W332、W333、W334的另一实施方式的示意图。对于每一帧图像的每一个像素（图8以像素P8为例），以其为中心划定数个3×3大小的邻近窗口W331、W332、W333、W334，并依据各个像素的数个邻近窗口W331、W332、W333、W334，以此些邻近窗口W331、W332、W333、W334的差异，产生高频产生消息hf。在图8的实施例中，划定朝四个不同方向的3×3邻近窗口W331、W332、W333、W334。

接着，由于人眼对于肤色与类肤色的变化希望是平滑的状态，所以造频器140可以透过下式（8）计算一肤色调整因子fix_mul_factor。

fix_mul_factor=f₂(cb,cr)…………………………………（8）

其中cb为蓝色浓度偏移量cr为红色浓度偏移量。

然后，造频器140透过下式（9）计算出高频产生消息hf。

hf=(pixel_value-DC')*fix_mul_factor*enhance_weight………（9）

其中pixel_value为该像素的像素值，像素平均值DC’选自于像素平均值DC_2×2、DC_3×3、DC_4×4及DC_5×5，例如是像素平均值DC_5×5。

在式（9）中，肤色调整因子fix_mul_factor可以设定为1，而在式（9）中不被考虑。

造频器140透过上式（5）～（9）的计算，即可获得高频产生消息hf。

在一实施例中，造频器140所产生的高频产生消息hf传送至频率补偿器150之后，频率补偿器150可以对高频产生消息hf进行抗泛白修正。举例来说，频率补偿器150可以依据下式（10）计算修正的高频产生消息hf’。

也就是说，当像素值pixel_value过亮时，将高频产生消息hf向下修正；当像素值pixel_value较暗时，将高频产生消息hf向上修正。

如图1所示，频率丢失检测器120产生频率丢失消息hf_miss，帧间频率分析器130产生高频补偿增益消息gain_hf_compensate，造频器140产生高频产生消息hf。频率丢失消息hf_miss、高频补偿增益消息gain_hf_compensate及高频产生消息hf传递至频率补偿器150之后，频率补偿器150先以下式（11）依据高频补偿增益消息gain_hf_compensate及高频产生消息hf，修正原始影像IM0。

pixel_value'=hf*gain_hf_compensate………………………（11）

其中pixel_value’为修正后的像素值。

在一实施例中，式（11）的高频产生消息hf可以式（10）的修正后高频产生消息hf’来取代。

或者，在一实施例中，式（11）的高频补偿增益消息gain_hf_compensate可以设定为1，而在式（11）中不被考虑。

接着，频率补偿器150先以下式（12）再依据频率丢失消息hf_miss，修正原始影像IM0。

其中pixel_value”为进一步修正后的像素值。

在一实施例中，若式（12）修正后的像素值超过灰度最大值，则依据式（13）进一步修正。

其中pixel_value'''为进一步修正后的像素值。

如上所述，原始影像IM0的每一帧图像的每一像素可以透过上述处理方式进行修正，可有效增加原始影像IM0的高频谱分布，使得原始影像IM0由标清（SD）/高清（HD）转超高清（UHD）时，均能够有效地大幅提升视觉品质。

综上所述，虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视后附的权利要求所界定者为准。

Claims

1.一种影像转换方法，包括：

提供一具有多个像素的原始影像；

依据该原始影像，产生一频率丢失消息；

依据各该像素的多个邻近窗口，以该多个邻近窗口的差异，产生一高频产生消息；以及

至少依据该高频产生消息及该频率丢失消息，修正该原始影像，以增加该原始影像的高频谱的分布，

其中，依据该原始影像，产生该频率丢失消息的步骤更包括：

以一滤波器提高该原始影像的解析度，以获得一高解析度影像；

逆演算该高解析度影像，以获得一模拟影像；以及

计算该模拟影像与该原始影像的差异，以获得该频率丢失消息。

2.如权利要求1所述的影像转换方法，其特征在于，各该邻近窗口包含对应的该像素，该多个邻近窗口的大小不同。

3.如权利要求1所述的影像转换方法，其特征在于，该多个邻近窗口包含对应的该像素，该多个邻近窗口的大小相同，该多个邻近窗口是由对应的该像素朝不同方向延伸。

4.如权利要求1所述的影像转换方法，其特征在于，依据各该像素的多个邻近窗口，以该多个邻近窗口的差异，产生该高频产生消息的步骤更包括：

依据各该像素的一肤色程度，产生该高频产生消息。

5.如权利要求1所述的影像转换方法，其特征在于，更包括：

依据该原始影像，产生一高频补偿增益消息；

其中，在修正该原始影像的步骤中，至少依据该高频产生消息及该高频补偿增益消息的乘积，修正该原始影像。

6.如权利要求5所述的影像转换方法，其特征在于，各该像素的一邻近窗口具有一高频采样值，依据该原始影像，产生该高频补偿增益消息的步骤更包括：

依据排序于一预定百分比之前的部分的该多个高频采样值，产生该高频补偿增益消息。

7.一种影像转换系统，包括：

一输入单元，用以提供一具有多个像素的原始影像；

一频率丢失检测器，用以依据该原始影像，产生一频率丢失消息；

一造频器，用以依据各该像素的多个邻近窗口，以该多个邻近窗口的差异，产生一高频产生消息；以及

一频率补偿器，用以至少依据该高频产生消息及该频率丢失消息，修正该原始影像，以增加该原始影像的高频谱的分布，

其中，该频率丢失检测器更包括：

一滤波器，用以提高该原始影像的解析度，以获得一高解析度影像；以及

一逆演算单元，逆演算该高解析度影像，以获得一模拟影像；

依据该模拟影像与该原始影像的差异，以获得该频率丢失消息。

8.如权利要求7所述的影像转换系统，其特征在于，该多个邻近窗口包含对应的该像素，该多个邻近窗口的大小不同。

9.如权利要求7所述的影像转换系统，其特征在于，该多个邻近窗口包含对应的该像素，该多个邻近窗口的大小相同，该多个邻近窗口由对应的该像素朝不同方向延伸。

10.如权利要求7所述的影像转换系统，其特征在于，该造频器更依据各该像素的一肤色程度，产生该高频产生消息。

11.如权利要求7所述的影像转换系统，更包括：

一帧间频率分析器，用以依据该原始影像，产生一高频补偿增益消息；

其中，该频率补偿器至少依据该高频产生消息及该高频补偿增益消息的乘积，修正该原始影像。

12.如权利要求11所述的影像转换系统，其特征在于，各该像素的一邻近窗口具有一高频采样值，该帧间频率分析器更依据排序于一预定百分比之前的部分的该多个高频采样值，产生该高频补偿增益消息。

13.一种影像转换系统，包括：

一输入单元，用以提供一具有多个像素的原始影像；

一造频器，用以依据各该像素的多个邻近窗口，以该多个邻近窗口的差异，产生一高频产生消息；

一频率丢失检测器，用以依据该原始影像，产生一频率丢失消息；以及

一频率补偿器，用以至少依据该高频产生消息、该高频补偿增益消息及该频率丢失消息，修正该原始影像，以增加该原始影像的高频谱的分布，

其中，该频率丢失检测器更包括：

14.如权利要求13所述的影像转换系统，其特征在于，该多个邻近窗口包含对应的该像素，该多个邻近窗口的大小不同。

15.如权利要求13所述的影像转换系统，其特征在于，该多个邻近窗口包含对应的该像素，该多个邻近窗口的大小相同，该多个邻近窗口由对应的该像素朝不同方向延伸。

16.如权利要求13所述的影像转换系统，其特征在于，该造频器更依据各该像素的一肤色程度，产生该高频产生消息。

17.如权利要求13所述的影像转换系统，其特征在于，该频率补偿器是至少依据该高频产生消息及该高频补偿增益消息的乘积，修正该原始影像。

18.如权利要求13所述的影像转换系统，其特征在于，各该像素的一邻近窗口具有一高频采样值，该帧间频率分析器更依据排序于一预定百分比之前的部分的该多个高频采样值，产生该高频补偿增益消息。