CN104135637A - 低分辨率转换成高分辨率的图像处理方法及装置 - Google Patents

Abstract

本发明公开了一种低分辨率转换成高分辨率的图像处理方法，包括：计算表示被输入图像的当前帧相对于前一帧的几何变换的转换参数；将在所述前一帧生成的高分辨率图像，变换成几何上符合所述当前帧的图像；以及使用储存的输入图像和转换参数，以所述生成的变换图像作为初始值，生成所述当前帧的高分辨率图像。本发明能够减少在高分辨率图像生成处理中的循环计算的次数；在未装配专用硬件等的情况下，能够实时地获得具有较高分辨率的动态图像。

Description

低分辨率转换成高分辨率的图像处理方法及装置

技术领域

本发明涉及图像处理方法，具体涉及到一种低分辨率转换成高分辨率的图像处理方法，此外，本发明还设计到图像处理装置。

背景技术

图像处理是用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。基本内容 图像处理一般指数字图像处理。数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。图像处理技术的主要内容包括图像压缩，增强和复原，匹配、描述和识别3个部分。 常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。图像处理一般指数字图像处理。图像处理过程中，时常需要将低分辨率的图像处理成具有高分辨率的图像

为了解决现有技术中的上述不足，本发明提出了一种新的解决方案。

发明内容

本发明的目的是提供一种低分辨率转换成高分辨率的图像处理方法和装置。

为达上述目的，本发明所采用的技术方案是：提供一种低分辨率转换成高分辨率的图像处理方法，包括：

计算表示被输入图像的当前帧相对于前一帧的几何变换的转换参数；将在所述前一帧生成的高分辨率图像，变换成几何上符合所述当前帧的图像；以及使用储存的输入图像和转换参数，以所述生成的变换图像作为初始值，生成所述当前帧的高分辨率图像，其中，所述几何上符合是指在该高分辨率图像中的对象的位置、大小和姿势符合当前帧中对象的位置、大小和姿势的状态。

一种图像处理装置，包括：

转换参数计算单元，用于计算表示输入图像数据的当前帧相对于前一帧的几何变换的转换参数；初始图像生成单元，用于使用所述计算的转换参数，将在前一帧生成的高分辨率图像变换成几何上符合所述当前帧的图像；以及高分辨率图像生成单元，用于使用输入图像和所述转换参数，以在所述初始图像生成单元中生成的所述变换图像作为初始值，生成所述当前帧的高分辨率图像，其中，所述几何上符合是指在该高分辨率图像中的对象的位置、大小和姿势符合当前帧中对象的位置、大小和姿势的状态。

综上所述，本发明具有以下优点：

根据本发明，能够减少在高分辨率图像生成处理中的循环计算的次数；在未装配专用硬件等的情况下，能够实时地获得具有较高分辨率的动态图像。

附图说明

图1是示出根据本发明的图像处理设备的第一示例性实施例的配置的框图；

图2是示出第一示例性实施例的图像处理设备的操作的流程图；

图3是示出根据本发明的图像处理设备的第二示例性实施例的配置的框图；

图4是示出根据本发明的图像处理设备的示例的配置的框图；

图5是示出该示例操作的示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做详细的说明。

在图1中，根据本发明的图像处理设备的第一示例性实施例通过可在程序控制下操作的计算机100以及输入图像和转换参数储存单元110配置。在图1中，根据本发明的图像处理设备的第一示例性实施例通过可在程序控制下操作的计算机(中央处理设备；处理器；数据处理设备)100以及输入图像和转换参数储存单元110配置。

计算机100包括转换参数计算单元101、初始图像生成单元102以及高分辨率图像生成单元103。计算机(中央处理设备；处理器；数据处理设备)100包括转换参数计算单元101、初始图像生成单元102以及高分辨率图像生成单元103。

转换参数计算单元101计算表示当前帧相对于前一帧的几何变换的转换参数。输入图像和转换参数储存单元110储存当前帧图像和通过转换参数计算单元101计算的转换参数。初始图像生成单元102使用该转换参数，将在前一帧生成的高分辨率图像，变换成几何上符合当前帧的图像。转换参数计算单元101计算表示当前帧相对于前一帧的几何变换的转换参数。输入图像和转换参数储存单元110储存当前帧图像和通过转换参数计算单元101计算的转换参数。初始图像生成单元102使用该转换参数，将在前一帧生成的高分辨率图像，变换成几何上符合当前帧的图像。

高分辨率图像生成单元103使用位于当前帧时间附近的连续帧及其储存在输入图像和转换参数储存单元110中的转换参数，以在初始图像生成单元102中生成的被变换的图像作为初始值，通过，例如，非专利文献1中公开的方法，生成当前帧的高分辨率图像。该生成的高分辨率图像被传送到初始图像生成单元102，以用于下一帧的高分辨率图像的生成。高分辨率图像生成单元103使用位于当前帧时间附近的连续帧及其储存在输入图像和转换参数储存单元110中的转换参数，以在初始图像生成单元102中生成的被变换的图像作为初始值，通过，例如，非专利文献1中公开的方法，生成当前帧的高分辨率图像。该生成的高分辨率图像被传送到初始图像生成单元102，以用于下一帧的高分辨率图像的生成。

下面将参考图1和图2的流程图，详细描述本示例性实施例的全部操作。下面将参考图1和图2的流程图，详细描述本示例性实施例的全部操作。

首先，当前帧图像被输入计算机100(步骤A1)。然后，在转换参数计算单元101中计算表示当前帧相对于前一帧的变换的转换参数(步骤A2)。当前帧的输入图像和由转换参数计算单元101计算的转换参数被储存在输入图像和转换参数储存单元110中。首先，当前帧图像被输入计算机100(步骤A1)。然后，在转换参数计算单元101中计算表示当前帧相对于前一帧的变换的转换参数(步骤A2)。当前帧的输入图像和由转换参数计算单元101计算的转换参数被储存在输入图像和转换参数储存单元110中。

这里，因为输入图像和转换参数储存单元110的储存容量有限，在某一数目的帧之前的储存的输入图像及其转换参数被从该储存区删除(步骤A3)。这里，因为输入图像和转换参数储存单元110的储存容量有限，在某一数目的帧之前的储存的输入图像及其转换参数被从该储存区删除(步骤A3)。

接下来，初始图像生成单元102使用转换参数计算单元101计算的当前帧的转换参数，通过变换由高分辨率图像生成单元103在前一帧生成的高分辨率图像，生成几何上符合当前帧的高分辨率图像(步骤A4)。这里，“几何上符合”指在该高分辨率图像中的对象的位置、大小和姿势符合当前帧中对象的位置、大小和姿势的状态。接下来，初始图像生成单元102使用转换参数计算单元101计算的当前帧的转换参数，通过变换由高分辨率图像生成单元103在前一帧生成的高分辨率图像，生成几何上符合当前帧的高分辨率图像(步骤A4)。这里，“几何上符合”指在该高分辨率图像中的对象的位置、大小和姿势符合当前帧中对象的位置、大小和姿势的状态。

高分辨率图像生成单元103读入位于当前帧时间附近的连续帧及其储存在输入图像和转换参数储存单元110中的转换参数(步骤A5)。这里，读入的帧的数目是下一个高质量图像生成处理所必需的图像的数目(例如10)，并且由用户预先设置。高分辨率图像生成单元103读入位于当前帧时间附近的连续帧及其储存在输入图像和转换参数储存单元110中的转换参数(步骤A5)。这里，读入的帧的数目是下一个高质量图像生成处理所必需的图像的数目(例如10)，并且由用户预先设置。

然后，高分辨率图像生成单元103进行高分辨率图像生成处理，以在初始图像生成单元102中生成的图像作为初始值，使用在步骤A5读入的输入图像(连续帧)和转换参数，从而输出生成的图像(步骤A6)。最后，在步骤A6中生成的高分辨率图像被传送至初始图像生成单元102(步骤A7)。然后，高分辨率图像生成单元103进行高分辨率图像生成处理，以在初始图像生成单元102中生成的图像作为初始值，使用在步骤A5读入的输入图像(连续帧)和转换参数，从而输出生成的图像(步骤A6)。最后，在步骤A6中生成的高分辨率图像被传送至初始图像生成单元102(步骤A7)。

根据该示例性实施例，该图像处理设备将前一帧的高分辨率图像变换成几何上符合当前帧的图像，前一帧的高分辨率图像可被认为是与需要生成的当前帧的高分辨率图像类似；并且利用被变换的图像作为在当前帧的高分辨率图像生成处理的初始值。相应地，基于接近最优解的初始值开始循环计算是可能的，因此，每一帧的循环计算的数目可以减少，即，可以加速处理。(示例性实施例2)根据该示例性实施例，该图像处理设备将前一帧的高分辨率图像变换成几何上符合当前帧的图像，前一帧的高分辨率图像可被认为是与需要生成的当前帧的高分辨率图像类似；并且利用被变换的图像作为在当前帧的高分辨率图像生成处理的初始值。相应地，基于接近最优解的初始值开始循环计算是可能的，因此，每一帧的循环计算的数目可以减少，即，可以加速处理。(示例性实施例2)

下面将参考附图，描述实施本发明的另一示例性实施例。下面将参考附图，描述实施本发明的另一示例性实施例。

参考图3，本发明的图像处理设备的第二示例性实施例包括在其中记录图像处理程序的记录介质310。记录介质310是，例如，磁盘、半导体存储器、磁带、CD(压缩光盘)ROM、或DVD(数字多用途光盘)、或可以是其它记录介质。参考图3，本发明的图像处理设备的第二示例性实施例包括在其中记录图像处理程序的记录介质310。记录介质310是，例如，磁盘、半导体存储器、磁带、CD(压缩光盘)ROM、或DVD(数字多用途光盘)、或可以是其它记录介质。

将图像处理程序从记录介质310读入到图像处理单元300中。替代地，可以通过通信介质，从服务器(未示出)等下载并将该处理程序读入到图像处理单元300中。通过将该图像处理程序加载到图像处理单元300的主存储器中来执行，图像处理单元300的操作被控制，从而能够实施本发明的图像处理方法。将图像处理程序从记录介质310读入到图像处理单元300中。替代地，可以通过通信介质，从服务器(未示出)等下载并将该处理程序读入到图像处理单元300中。通过将该图像处理程序加载到图像处理单元300的主存储器中来执行，图像处理单元300的操作被控制，从而能够实施本发明的图像处理方法。

图像处理程序是图像处理单元300执行第一示例性实施例的转换参数计算单元101、初始图像生成单元102、高分辨率图像生成单元103以及输入图像和转换参数储存单元110的功能的程序。在本示例性实施例中，包括在图像处理单元300中的存储器用作第一示例性实施例的输入图像和转换参数储存单元110。示例图像处理程序是图像处理单元300执行第一示例性实施例的转换参数计算单元101、初始图像生成单元102、高分辨率图像生成单元103以及输入图像和转换参数储存单元110的功能的程序。在本示例性实施例中，包括在图像处理单元300中的存储器用作第一示例性实施例的输入图像和转换参数储存单元110。示例

接下来，将参考图4和图5描述根据本发明的图像处理系统的特定示例。该示例对应于本发明的第一示例性实施例。接下来，将参考图4和图5描述根据本发明的图像处理系统的特定示例。该示例对应于本发明的第一示例性实施例。

如图4中所示，本示例的图像处理系统包括用于输出视频信号的回放设备404、图像处理设备400以及显示器405。视频回放设备404是诸如硬盘记录器等具有回放预先录制的视频的功能的设备，并且通过复合端子和/或切换端子，连接至图像处理设备400。等离子显示器、液晶电视接收器等的显示设备可以称为显示器105的示例。其通过D端子和/或HMDI端子连接至图像处理设备400。如图4中所示，本示例的图像处理系统包括用于输出视频信号的回放设备404、图像处理设备400以及显示器405。视频回放设备404是诸如硬盘记录器等具有回放预先录制的视频的功能的设备，并且通过复合端子和/或切换端子，连接至图像处理设备400。等离子显示器、液晶电视接收器等的显示设备可以称为显示器105的示例。其通过D端子和/或HMDI端子连接至图像处理设备400。

图像处理设备400是可在程序控制下操作的计算机(中央处理设备；处理器；数据处理设备)，并且包括转换参数计算单元401、初始图像生成单元402、高分辨率图像生成单元403、以及输入图像和转换参数储存单元410。图像处理设备400是可在程序控制下操作的计算机(中央处理设备；处理器；数据处理设备)，并且包括转换参数计算单元401、初始图像生成单元402、高分辨率图像生成单元403、以及输入图像和转换参数储存单元410。

转换参数计算单元401计算表示当前帧图像501相对于图5中所示的前一帧图像500的几何变换的转换参数。具体地，对于当前帧图像501上的每一个点，获得前一帧图像500中亮度分布与当前帧图像501上的点相同的位置(叠合点)，并且获得表示其中每个点和每个位置分别重叠的变换的转换参数。转换参数计算单元401计算表示当前帧图像501相对于图5中所示的前一帧图像500的几何变换的转换参数。具体地，对于当前帧图像501上的每一个点，获得前一帧图像500中亮度分布与当前帧图像501上的点相同的位置(叠合点)，并且获得表示其中每个点和每个位置分别重叠的变换的转换参数。

典型地，等式5所表示的模型，由于其简明性，常被用作转换参数，其中，对象被假定为平面。这里，(u1，v1，1)和(u2，v2，1)分别是叠合点的齐次坐标；a、b、c、d、e、f、g、h是图像转换参数；t是任意常数。典型地，等式5所表示的模型，由于其简明性，常被用作转换参数，其中，对象被假定为平面。这里，(u1，v1，1)和(u2，v2，1)分别是叠合点的齐次坐标；a、b、c、d、e、f、g、h是图像转换参数；t是任意常数。

输入图像和转换参数储存单元410储存当前帧图像501及由转换参数计算单元计算的转换参数。初始图像生成单元402，使用转换参数，将在前一帧产生的高分辨率图像变换成几何上符合当前帧的图像(被变换的图像)503。输入图像和转换参数储存单元410储存当前帧图像501及由转换参数计算单元计算的转换参数。初始图像生成单元402，使用转换参数，将在前一帧产生的高分辨率图像变换成几何上符合当前帧的图像(被变换的图像)503。

分辨率图像生成单元403使用位于当前帧时间附近的连续帧及其储存在输入图像和转换参数储存单元410中的转换参数，以由初始图像生成单元402生成的被变换的图像作为初始值，通过，例如，非专利文献1中公开的方法，生成当前帧的高分辨率图像504。高分辨率图像生成单元403使用位于当前帧时间附近的连续帧及其储存在输入图像和转换参数储存单元410中的转换参数，以由初始图像生成单元402生成的被变换的图像作为初始值，通过，例如，非专利文献1中公开的方法，生成当前帧的高分辨率图像504。

生成的高分辨率图像504被输出至显示器405。而且，它被传送至初始图像生成单元402，以用于下一帧的高分辨率图像生成。通过为每一帧进行前面的处理，能够输出高分辨率动态图像。生成的高分辨率图像504被输出至显示器405。而且，它被传送至初始图像生成单元402，以用于下一帧的高分辨率图像生成。通过为每一帧进行前面的处理，能够输出高分辨率动态图像。

此外，在本示例中，尽管显示器405被作为输入由图像处理设备400输出的视频信号的设备的示例而给出，但是诸如储存视频信号的储存设备等的各种设备可以被用作输入视频信号的设备。此外，在本示例中，尽管显示器405被作为输入由图像处理设备400输出的视频信号的设备的示例而给出，但是诸如储存视频信号的储存设备等的各种设备可以被用作输入视频信号的设备。

本申请是基于2006年3月20日提交的日本专利申请2006-094536，并要求该申请的优先权，其内容通过引用而整体并入这里。工业应用性本申请是基于2006年3月20日提交的日本专利申请2006-094536，并要求该申请的优先权，其内容通过引用而整体并入这里。工业应用性

根据本发明，其可以被应用于这样下述应用，即当记录例如用NTSC方法的视频相机拍摄的动态图像时，该图像能够被实时转换成具有与高清晰度电视的图像质量和分辨率相同的图像质量和分辨率的图像而存储。而且，其可以被应用于下述应用，即当在回放设备上回放由NTSC方法记录的视频信号时，该信号能够被实时转换成具有与高清晰度电视的图像质量和分辨率相同的图像质量和分辨率的信号而输出至显示设备。而且，其还可以被应用于下述应用，即当在符合高清晰度标准的电视接收器上接收和显示NTSC方法的视频时，该视频能够被实时转换成具有与高清晰度电视的图像质量和分辨率相同的图像质量和分辨率的视频而显示。根据本发明，其可以被应用于这样下述应用，即当记录例如用NTSC方法的视频相机拍摄的动态图像时，该图像能够被实时转换成具有与高清晰度电视的图像质量和分辨率相同的图像质量和分辨率的图像而存储。而且，其可以被应用于下述应用，即当在回放设备上回放由NTSC方法记录的视频信号时，该信号能够被实时转换成具有与高清晰度电视的图像质量和分辨率相同的图像质量和分辨率的信号而输出至显示设备。而且，其还可以被应用于下述应用，即当在符合高清晰度标准的电视接收器上接收和显示NTSC方法的视频时，该视频能够被实时转换成具有与高清晰度电视的图像质量和分辨率相同的图像质量和分辨率的视频而显示。

Claims (2)

1.低分辨率转换成高分辨率的图像处理方法，包括：

计算表示被输入图像的当前帧相对于前一帧的几何变换的转换参数；

将在所述前一帧生成的高分辨率图像，变换成几何上符合所述当前帧的图像；以及

使用储存的输入图像和转换参数，以所述生成的变换图像作为初始值，生成所述当前帧的高分辨率图像，

其中，所述几何上符合是指在该高分辨率图像中的对象的位置、大小和姿势符合当前帧中对象的位置、大小和姿势的状态。

2.一种图像处理装置，包括：

转换参数计算单元，用于计算表示输入图像数据的当前帧相对于前一帧的几何变换的转换参数；

初始图像生成单元，用于使用所述计算的转换参数，将在前一帧生成的高分辨率图像变换成几何上符合所述当前帧的图像；以及

高分辨率图像生成单元，用于使用输入图像和所述转换参数，以在所述初始图像生成单元中生成的所述变换图像作为初始值，生成所述当前帧的高分辨率图像，

其中，所述几何上符合是指在该高分辨率图像中的对象的位置、大小和姿势符合当前帧中对象的位置、大小和姿势的状态。