CN102194212A - 图像处理方法、装置及系统 - Google Patents

Abstract

本发明涉及一种图像处理方法、装置及系统。该图像处理方法用于由多个子景图像合成变形校正后的高分辨率图像，该图像处理方法包括：获取步骤，获取文档对象的多个子景图像和全景图像，所述多个子景图像的组合能够覆盖所述文档对象；校正步骤，根据所述全景图像的变形模型校正各个所述子景图像中的变形；以及拼合步骤，将所述多个变形校正后的子景图像拼合为所述高分辨率图像。本发明中提出的方法即使在文档表面弯曲的情况下，也能够容易地由文档的多个图像创建变形得到校正且具有一定高分辨率的合成图像。

Description

图像处理方法、装置及系统

技术领域

本发明涉及一种用于合成变形校正后的高分辨率图像的方法、装置及系统。

背景技术

近年来，具有通信功能的摄像装置(例如数字照相机、具有照相功能的手机或个人数字助理(PDA)等)提供了方便的文档输入手段，其能够容易地拍摄文档对象的图像并将拍摄到的图像传输到诸如计算机或具有图像处理功能的多功能复合机等的图像处理装置，以进行图像处理。

然而，由于从倾斜方向拍摄，所以拍摄到的图像中不可避免地包含透视变形。并且在诸如打开的书、展开的报纸或画在弯曲墙壁上的壁画等文档表面弯曲的情况下，在拍摄到的图像中还会发生非线性变形。拍摄到的信息的可读性降低，因此期望校正这些变形。

此外，要求能够使用如数字照相机的可移动摄像装置以高分辨率拍摄大文档(例如打开的A4页大小的书、报纸或壁画等)的图像。利用普通的拍摄单元，所拍摄到的大文档的文本信息的分辨率太低以致不能舒适地阅读，并且对于OCR引擎来说不能得到高识别率。

当前，几乎不存在能够同时解决上述两方面问题的技术。美国专利第7268803号公开了一种图像处理技术，其中，通过将使用数字照相机拍摄的多个部分重叠的图像组合在一起来创建具有一定分辨率的合成图像。在假定文档表面为平面的情况下，该图像处理技术对多个部分重叠的图像的组合应用投影变换(projective transformation)，同时去除透视变形。然而，美国专利第7268803号所公开的技术要求文档表面为平面。其不能处理诸如弯曲页面、打开的书等的弯曲文档。在这种情况下，在拍摄到的图像中产生非线性变形，而仅使用投影变换不能校正非线性变形。

日本特开第2001-292304号公报公开了通过数字照相机拍摄多个图像并将拍摄到的图像组合为合成图像。然而，日本特开第2001-292304号公报中的技术没有公开以下内容：基于通过整体拍摄文档对象获得的图像，来校正通过部分拍摄文档对象获得的多个图像中的变形，以由多个图像创建变形得到校正且具有一定高分辨率的合成图像。

发明内容

为了解决上述问题，本发明的一个目的在于提供一种即使文档对象的表面是弯曲的，也能够容易地通过文档对象的多个子景图像创建变形得到校正且具有一定高分辨率的合成图像的图像处理方法、图像处理装置以及图像处理系统。

本发明的另一个目的在于提供一种即使在文档对象的表面是弯曲的、且该文档对象的子景图像包含极少用于识别变形的线索的情况下，也能够校正子景图像中的变形，并且能够容易地将变形校正后的子景图像拼合为变形得到校正且具有一定高分辨率的合成图像的图像处理方法、图像处理装置以及图像处理系统。

本发明的一个方面提供了一种用于由多个子景图像合成变形校正后的高分辨率图像的图像处理方法，该图像处理方法包括：获取步骤，获取文档对象的多个子景图像和全景图像，所述多个子景图像的组合能够覆盖所述文档对象；校正步骤，根据所述全景图像的变形模型校正各个所述子景图像中的变形；以及拼合步骤，将所述多个变形校正后的子景图像拼合为所述高分辨率图像。

本发明的另一方面提供了一种用于由多个子景图像合成变形校正后的高分辨率图像的图像处理方法，该图像处理方法包括：获取步骤，获取文档对象的多个子景图像，所述多个子景图像具有公共部分；校正步骤，校正各个所述子景图像中的变形；以及拼合步骤，将变形校正后的子景图像拼合为所述高分辨率图像，其中，所述拼合步骤包括：在所述子景图像或所述变形校正后的子景图像上确定属于所述公共部分的至少两对配准点的步骤；以及基于所述至少两对配准点将所述变形校正后的子景图像拼合为所述高分辨率图像的步骤。

本发明的又一方面提供了一种用于由多个子景图像合成变形校正后的高分辨率图像的图像处理装置，该图像处理装置与摄像装置进行通信，所述摄像装置从文档对象拍摄多个子景图像和全景图像，所述图像处理装置包括：获取部，用于从所述摄像装置获取所述文档对象的所述多个子景图像和所述全景图像，所述多个子景图像的组合能够覆盖所述文档对象；校正部，用于根据所述全景图像的变形模型校正各个所述子景图像中的变形；以及拼合部，用于将多个变形校正后的子景图像拼合为所述高分辨率图像。

本发明的又一方面提供了一种用于由多个子景图像合成变形校正后的高分辨率图像的图像处理装置，该图像处理装置与摄像装置进行通信，所述摄像装置从文档对象拍摄多个子景图像，所述图像处理装置包括：获取部，用于从所述摄像装置获取所述文档对象的多个子景图像，所述多个子景图像具有公共部分；校正部，用于校正各个所述子景图像中的变形；以及拼合部，用于将变形校正后的子景图像拼合为所述高分辨率图像，其中，所述拼合部包括：配准点确定部，用于在所述子景图像或所述变形校正后的子景图像上确定属于所述公共部分的至少两对配准点；以及子景图像拼合部，用于基于所述至少两对配准点将所述变形校正后的子景图像拼合为所述高分辨率图像。

本发明的又一方面提供了一种用于由多个子景图像合成变形校正后的高分辨率图像的图像处理系统，该图像处理系统包括如上所述根据本发明的任意一种图像处理装置以及用于从文档对象拍摄多个子景图像和全景图像的摄像装置。

根据本发明的图像处理方法及图像处理装置，即使文档对象的表面是弯曲的，也能够容易地由部分覆盖该文档对象的该文档对象的多个子景图像创建变形得到校正且具有一定高分辨率的合成图像。

通过以下结合附图的详细描述，本发明的特征和优点将变得更为清楚。

附图说明

并入到说明书中且构成说明书的一部分的附图，例示了本发明的示例性实施例、特征和方面，并与文字说明一起用于解释本发明的原理。

图1是例示根据本发明示例性实施例的图像处理系统的使用环境的图。

图2是例示根据本发明的图像处理装置的内部结构的示例的框图。

图3是根据本发明第一示例性实施例的图像处理装置的CPU执行的图像处理模块的功能框图。

图4A和图4B分别例示了根据本发明第一示例性实施例的图像处理装置的校正部和拼合部的功能框图。

图5是根据本发明第一示例性实施例的图像处理装置执行的用于校正拍摄到的图像中的变形并将校正后的图像拼合为合成图像的处理的流程图。

图6是例示作为根据本发明第一示例性实施例的摄像装置拍摄的作为处理对象的打开的书的两个子景图像的视图，其中一个子景图像覆盖左页，而另一个子景图像覆盖右页。

图7是例示根据本发明第一示例性实施例的被描述为曲面网格(warping mesh)的变形模型的示例的视图。

图8是根据本发明第一示例性实施例的图像处理装置的校正部的变形模型确定部的功能框图。

图9是根据本发明第一示例性实施例的用于自动识别文档图像中的变形并创建曲面网格的方法的示例的流程图。

图10A是例示根据本发明第一示例性实施例的与图6中的左页对应的变形文档图像的曲面网格的一个示例的视图。

图10B是例示根据本发明第一示例性实施例的与图10A的变形文档图像的曲面网格对应的变形校正后的图像的网格的视图。

图11是例示根据本发明第一示例性实施例的校正后的子景图像的示例的视图。

图12是例示根据本发明第一示例性实施例的由用户在原始子景图像上手动输入的两对配准点(registration point)的示例的视图。

图13是例示根据本发明第一示例性实施例的在校正后的子景图像上自动输入的两对配准点的示例的视图。

图14是例示根据本发明第一示例性实施例的图像处理装置通过拼合校正后的子景图像而形成的合成图像的示例的视图。

图15是根据本发明第二示例性实施例的图像处理装置的CPU实施的图像处理模块的功能框图。

图16是根据本发明第二示例性实施例的图像处理装置的校正部的功能框图。

图17是例示根据本发明第二示例性实施例的用于校正文档图像中的变形并且将校正后的图像拼合为合成图像的处理的示例的流程图。

图18是例示根据本发明第二示例性实施例的由摄像装置从打开的书拍摄的全景图像的示例的视图。

图19是例示根据本发明第二示例性实施例的由摄像装置从打开的书拍摄的多个子景图像的示例的视图。

图20是例示根据本发明第二示例性实施例的图18的全景图像的曲面网格的一个示例的视图。

图21是例示根据本发明第二示例性实施例的用于自动识别文档图像中的变形并创建曲面网格的处理的示例的流程图。

图22是根据本发明第二示例性实施例的图像处理装置的校正部的全景图像变形模型确定部的功能框图。

图23A是例示根据本发明第二示例性实施例的全景图像的变形模型的曲面网格的一个示例的视图。

图23B是例示根据本发明第二示例性实施例的与图23A的全景图像的曲面网格对应的变形校正后的图像的网格的视图。

图24A和图24B分别例示了根据本发明第二示例性实施例的图像处理装置的校正部确定的一组子景图像上的特征点和一组全景图像上的匹配点的示例。

图25是根据本发明第二示例性实施例的图像处理装置的校正部的子景图像变形模型确定部的功能框图。

图26是根据本发明第二示例性实施例的图像处理装置的校正部执行的用于创建子景图像的变形模型的处理的流程图。

图27是例示根据本发明第二示例性实施例的通过对全景图像的变形模型进行插值生成的具有多个单元的网格的一个示例的放大视图。

图28是例示根据本发明第二示例性实施例的通过拼合校正后的子景图像形成的合成图像的视图。

具体实施方式

下面，参照附图详细说明本发明的各种示例性实施例、特征和方面。在这些实施例中描述的部件的相对配置、数字表示和数值并不限制本发明的范围。

图1是例示根据本发明示例性实施例的图像处理系统10的使用环境的图。诸如照相机和具有照相功能的手机、个人数字助理(PDA)或扫描仪等的摄像装置11经由网络、线缆等以有线或无线的方式连接到诸如打印机、复印机、多功能机或计算机等的图像处理装置12。摄像装置11对诸如打开的书、展开的报纸或壁画等的文档对象进行拍摄，并且将拍摄到的图像发送给图像处理装置12以进行诸如图像校正和图像拼合的图像处理。

根据本发明的图像处理系统可以由分开设置且以有线或无线的方式相互连接的图像处理装置和摄像装置实现。此外，根据本发明的图像处理系统还可以由具有图像处理功能的摄像装置(例如照相机、手机或个人数字助理)实现，或者由具有照相功能的图像处理装置(例如多功能复印机)实现。下面，将以具有图像处理功能的多功能机1000作为示例详细描述根据本发明的第一实施例的图像处理装置。

[第一实施例]

图2是例示根据本发明示例性实施例的图像处理装置的内部结构的示例的框图。

如图2所示，由具有图像处理功能的多功能机1000实现根据本实施例的图像处理装置12。用作图像处理装置12的多功能机1000能够与诸如数字照相机(未示出)的摄像装置11进行通信，以从该摄像装置接收图像和信息。摄像装置11是例如由光学系统、诸如CCD传感器等的光电转换设备、驱动电路、AD转换器、执行各种图像处理的信号处理电路(未示出)以及帧缓存器等构成的图像感测设备。用作图像处理装置的多功能机1000包括用于执行各种图像处理操作的控制单元100，并且控制单元100由CPU101、RAM 103和ROM 104构成。

ROM 104可以存储实现多功能机1000(下文中还被称作图像处理装置1000)的功能所需的各种程序和数据。控制单元100读取并执行存储在ROM 104中的各种程序和数据，以使用CPU 101进行对多功能机的整体控制。RAM 103可以用作图像处理装置1000的操作所需的工作存储器。

此外，图像处理装置1000可以包括用户界面102。用户界面102包括用于接受来自操作者的指令或操作的输入单元(例如按钮开关、指示设备、触摸屏、操作屏或键盘等)，以及用于将信息输出给操作者的输出单元(例如显示器)。用户界面102可以显示从摄像装置接收的图像，并且将来自操作者的指令发送给控制单元100。

此外，图像处理装置1000可以包括通信接口106，用作图像处理装置1000的多功能机经由通信接口106与外部设备(例如数字照相机和具有照相功能的手机或个人数字助理(PDA)等)进行通信或者经由通信接口106连接到诸如因特网的网络，以与网络上的其他装置进行通信。通信接口106可以是例如USB接口、以太网接口、蓝牙或任何其他合适的有线或无线通信接口。

此外，图像处理装置1000可以包括扫描仪引擎107和打印机引擎108。打印机引擎108可以是例如激光束打印机或喷墨打印机、或者任何其他合适的打印机。通过如上配置，可以选择打印机引擎108作为输出设备来执行打印操作。类似地，可以选择扫描仪引擎107作为摄像装置11，以通过扫描文档对象执行图像获取操作。

此外，图像处理装置1000可以包括用于存储诸如经由系统总线105接收的图像数据等的数据的大容量存储设备109。大容量存储设备109是诸如硬盘、闪存等的大容量数据存储设备。例如，由摄像装置、扫描仪引擎107或外部设备(未示出)获取的图像数据以及用于实现各种图像处理功能的程序被存储在大容量存储设备109中。

图像处理装置1000中包含的所有部件经由系统总线105相互连接，以彼此进行通信。

在本实施例中，诸如数字照相机或具有照相功能的手机等的摄像装置11从表面弯曲的文档对象(例如打开的书或展开的报纸)拍摄图像。图像处理装置1000经由通信接口106从摄像装置11获得拍摄到的图像，然后执行用于校正拍摄到的图像中的变形并将校正后的图像拼合为变形得到校正且具有高分辨率的整个图像(完整图像)的处理。具体地说，由控制单元100的CPU 101执行用于校正拍摄到的图像中的变形并将校正后的图像拼合为合成图像的处理。

图3示出了根据本发明第一示例性实施例的图像处理装置1000的CPU 101执行的图像处理模块300的功能框图的一个示例。如图3所示，图像处理模块300包括用于从摄像装置获取图像和数据的获取部301、用于校正获取到的图像中的变形的校正部302以及用于将变形校正后的图像拼合为高分辨率图像的拼合部303。下面分别参照图4A和图4B详细描述校正部302和拼合部303的具体配置。

图4A和图4B分别示出了图像处理装置1000的校正部302和拼合部303的配置的功能框图的示例。如图4A所示，校正部302包括用于识别文档图像中的变形并确定文档图像的变形模型的变形模型确定部(例如，还被称作子景图像变形模型确定部)302-1以及用于通过参照由变形模型确定部确定的变形模型来校正文档图像中的变形的变形校正部(例如，还被称作子景图像变形校正部)302-2。如图4B所示，拼合部303包括配准点确定部303-1和子景图像拼合部303-2。配准点确定部303-1用于在通过摄像装置拍摄文档对象获得的子景图像上(或者变形校正后的子景图像上)确定(选择)属于公共部分的至少两对配准点，并且子景图像拼合部303-2能够基于所确定的配准点将校正后的子景图像拼合为高分辨率图像。

下面将参照图5详细描述用于校正拍摄到的图像中的变形并将校正后的图像拼合为合成图像的处理流程。

图5是由图像处理装置1000执行的用于校正拍摄到的图像中的变形并将校正后的图像拼合为完整图像的处理的流程图。

首先，在图5的步骤S501中，摄像装置11拍摄文档对象(诸如打开的书)的多个子景图像，并将拍摄到的子景图像经由通信接口106发送给图像处理装置1000。所述子景图像是通过对文档对象进行部分拍摄获得的。这些子景图像中的相邻的两个子景图像部分重叠并且共有公共部分。这些子景图像的组合能够覆盖文档对象的整个图像。作为由摄像装置拍摄的多个子景图像的一个示例，图6示出了打开的书的两个子景图像，其中一个子景图像覆盖打开的书的左页而另一个子景图像覆盖打开的书的右页，并且两个子景图像都覆盖装订部分(书脊)。可以将作为两个子景图像共有的公共部分的装订部分作为用于将子景图像拼合为完整图像的基准。

图像处理装置1000在用户界面102的显示屏上显示获得的子景图像。然后，在图5的步骤S502中，图像处理装置的校正部302识别各个子景图像中的变形并校正所识别的变形。

如图6所示，已知在各个子景图像上存在非线性变形。图像处理装置的校正部302首先创建文档图像的变形模型。在本发明中，将变形模型描述为曲面网格。图7示出了文档图像的子景图像的曲面网格的示例，该曲面网格由一组水平曲线和一组垂直曲线构成。在图7所示的示例中，各个子景图像的曲面网格由手动输入的两条水平曲线和两条垂直曲线构成。可以手动输入或自动确定曲面网格。在手动输入的情况下，用户可以经由图2中的用户界面102例如沿页边框、规格线(ruled line)或文本行输入多个点，以创建曲面网格中的曲线。在自动确定的情况下，校正部302的变形模型确定部302-1自动检测文档图像中的页边框、规格线或文本行。

现在，将参照图9详细描述用于实现自动识别图像中的变形的方法。图9例示了由图像处理装置的校正部302的变形模型确定部302-1自动识别文档图像中的变形的方法的流程图，作为图5的步骤S502中识别文档图像中的变形的一个示例性示例。下面将参照图8所示的功能框图描述用于自动识别文档图像中的变形的方法的流程，图8例示了校正部302的变形模型确定部302-1的配置的功能框图。

首先，在图9的步骤S901中，校正部302的变形模型确定部302-1的边缘图像检测部检测变形文档图像的边缘图像。边缘检测方法可以是Sobel算子、Canny算子等。然而，本发明中使用的边缘检测方法不限于此，能够实现边缘检测功能的任何其他方法均适用。

在检测到变形文档图像的边缘图像之后，在图9的步骤S902中校正部302的变形模型确定部302-1的变换部对在步骤S901中检测到的边缘图像执行霍夫变换(Hough transform)来检测垂直直线，然后从检测到的垂直直线中选择左边界、右边界以及书装订线。

接下来，在图9的步骤S903中，校正部302的变形模型确定部302-1的连通单元(connected component)搜索部执行连通单元搜索方法以在边缘图像上查找水平曲线。搜索方法的一个示例是从边缘图像的左侧选择开始点并向右侧搜索水平方向上的边缘像素。每次从黑色像素开始，在水平方向上4个像素且垂直方向上3个像素的范围内搜索水平方向上的下一个边缘像素，并且连接找到的边缘像素以形成水平曲线。然而在本发明中，搜索方法和搜索范围不限于如上所述，通过任何其他适用的方法在其他范围内搜索水平方向上的下一个边缘像素，也是有用的。

接下来，在图9的步骤S904中，校正部302的变形模型确定部302-1的连接部将找到的水平曲线连接以形成更长的水平曲线，然后选择最上端的曲线作为文档页的上边界，并选择最下端的曲线作为文档页的下边界。

在步骤S902和步骤S904中分别选择了垂直直线和水平曲线之后，在步骤S905中校正部302的变形模型确定部302-1的选择部分别从选择出的垂直直线和选择出的水平曲线中选择多个控制点以形成最终的曲面网格，由此确定变形文档图像的变形模型。

图10A例示了使用如上所述的方法获得的与图6的左页对应的变形文档图像的曲面网格的一个示例。

在图10A所示的示例中，变形文档图像的曲面网格由四条边界线Ci(i＝1，2，3，4)包围，在各水平边界线C1和C3上选择由数字0至7标示的8个控制点，在各垂直边界线C2和C4上选择6个控制点，以在曲面网格中形成多个单元(cell)。然而，本发明并不限制控制点的数量，任意数量的控制点均适用。

基于边界插值(Boundary Interpolation)方法，由曲面网格确定变形图像上的点与校正后的图像上的点之间的映射。在题为“Identification ofText-Only Areas in Mixed-type Documents”，C.Strouthopoulos，N.Papamarkos，and C.Chamzas，Engng Applic.Artif.Intell.，Elsevier Science Ltd，Great Britain，Vol.10，No.4，pp.387-401，1997的论文中描述了一种边界插值方法。然而，本发明中使用的边界插值方法不限于此，能够实现上述目的的任何其他已知方法均适用。

图10B例示了由校正部302的变形模型确定部302-1创建的与图10A的变形文档图像的曲面网格对应的变形校正后的图像的网格。如图10B所示，在参数空间u和v上定义校正后的图像的网格，其中u∈[0，2]且v∈[0，1]。曲面网格中的各边界曲线c_i映射到图10B中的直线图像中的对应边界线。在该情况下，例如，利用双线性混成昆式曲面(bi-linearly blended Coonspatch)来提供用于描述如何将变形图像的曲面网格内的点(x，y)映射到变形校正后的文档图像的网格中的二维函数如下：

$c(u,v)=[1-u,u]\left[\begin{array}{c}{c}_4\left(v\right)\\ c_2\left(v\right)\end{array}\right]$

$+[c_1\left(u\right),c_3\left(u\right)]\left[\begin{array}{c}1-v\\ v\end{array}\right]$

$-[1-u,u]\left[\begin{array}{cc}{c}_1\left(0\right)& c_2\left(0\right)\\ c_3\left(1\right)& c_4\left(1\right)\end{array}\right]\left[\begin{array}{c}1-v\\ v\end{array}\right]---\left(1\right)$

公式(1)由两条相对边界曲线的线性插值(公式中的第一和第二项)和基于边界的交点的校正函数(公式中的第三项)构成。例如，在图6的文档图像的左页的情况下，公式(1)中的c_i(i＝1，2，3，4)表示四条边界线的曲线方程，第三项中的

表示左页子景图像的四个顶点的坐标。

当参数u和v以相等的间隔取值(例如u＝1/10，2/10，3/10等，v＝1/8，2/8，3/8等)时，可以计算出网格中各个单元的四个顶点的坐标。由此获得变形校正后的图像。

公式(1)的详情可以从题为“Correcting document image warping basedon regression of curved text lines”Zheng Zhang，Chew Lim Tan，Proceedingsof the Seventh International Conference on Document Analysis andRecognition(ICDAR’03)的论文中获得。

作为一个示例，图11例示了图6中的两个子景图像中的变形分别得到校正的图像。如图11所示，两个校正后的子景图像没有互相匹配。在此，与变形文档图像的左页对应的校正后的图像比与变形文档图像的右页对应的校正后的图像高。因此，可以对校正后的图像进行处理而使它们互相匹配。下面将描述由图像处理装置的拼合部303执行的用于使校正后的图像匹配以将它们拼合为一个完整图像的拼合方法。

在步骤S502中图像处理装置的校正部302对子景图像中的变形进行了校正之后，在步骤S503中，图像处理装置的拼合部303在校正后的子景图像之间建立映射关系，并将它们拼合为完整图像。在一个示例性示例中，拼合部303的配准点确定部303-1确定两对配准点，以在所述校正后的子景图像之间建立映射关系，并且拼合部303的子景图像拼合部303-2使用配准点将校正后的子景图像拼合为完整图像。

可以从原始子景图像中提取配准点。然后，使用所述映射关系映射所提取的配准点的坐标，以使校正后的子景图像相匹配。也可以从校正后的子景图像中提取配准点。考虑到校正后的子景图像中不存在非线性变形，与在原始子景图像上确定配准点相比，更优选在校正后的子景图像上确定配准点。此外，配准点的数量不限于两对，所提取的配准点的数量还可以是三对或更多对。

配准点可以由用户手动输入或者由图像处理装置的拼合部303的配准点确定部303-1自动确定。如果用户经由用户界面102手动输入配准点，则可以选择任意点作为配准点。通常来说，用户可以从页边框、规格线、文本行、任意表格线或装订部分等中提取配准点。图12示出了用户经由用户界面102在原始子景图像上手动输入的两对配准点的一个示例。在图12所示的示例中，两对配准点是分别位于左页图像和右页图像的装订线上的最下端的一对点、和分别位于左页图像和右页图像的装订线上的最上端的一对点，并且两对配准点都属于作为公共部分的装订部分。

下面将详细描述由拼合部303执行的用于实现配准点的自动检测的方法的一个示例性示例。在示例性方法中，选择页边界与装订线的交叉点作为配准点，该方法包括以下步骤：

a)识别两个子景图像上的装订线、上边界以及下边界的步骤；

b)计算装订线与边界的交叉点的步骤，其中每个子景图像中存在两个交叉点；

c)将所述交叉点分组为两对配准点的步骤。

图13示出了由拼合部303的配准点确定部303-1在校正后的子景图像上自动输入的两对配准点的一个示例。在图13所示的示例中，在各个子景图像上只选择了两个角点。

在得到两对配准点之后，使用这些配准点建立两个子景图像之间的映射关系。可以通过简单平移和缩放变换来粗略地描述两个子景图像之间的坐标映射关系。下面将详细描述由图像处理装置的拼合部303的子景图像拼合部303-2执行的用于将校正后的子景图像拼合为完整图像的方法的示例性示例。

示例性拼合方法如下。首先，固定校正后的一个子景图像的坐标。例如，在图13中，固定校正后的左页的子景图像。其次，通过沿X轴(即，水平方向)和沿Y轴(即，垂直方向)平移校正后的右页的子景图像上的所有点，使两个子景图像中的一对配准点相互匹配。在图13所示的示例中，右边的子景图像上的所有点被平移到左边的子景图像的右侧，并且将最下端的一对配准点放在相同或相邻的点上。然后，通过参照已被放在相同点或相邻点上的当前的一对配准点和另一对配准点来计算缩放比率。在图13所示的示例中，根据校正后的两个子景图像的高度计算缩放比率。最后，通过计算出的缩放比率映射右边的子景图像的所有点的Y坐标，以使其与左边的子景图像相匹配。通过上述这些步骤，将两个校正后的子景图像拼合为完整图像，如图14所示。图14示出了由图像处理装置的拼合部303使用上述拼合方法创建的合成图像的一个示例。由此完成了用于校正文档图像中的变形并且将校正后的图像拼合为合成图像的图像处理。

在上文中，以文档材料的两个子景图像作为示例描述了本示例性实施例。这两个子景图像分别由摄像装置拍摄并且在文档对象上共有公共部分。并且子景图像的组合能够覆盖整个文档对象。与一次拍摄获取的图像相比，该合成图像具有更高的分辨率。然而，本发明不限于此，可以拍摄多个子景图像(两个或更多个子景图像)，并且根据需要将多个子景图像拼合为完整图像或完整图像的一部分。

在上述实施例中，摄像装置拍摄的两个子景图像部分重叠，使得通过拼合校正后的两个子景图像而形成的合成图像不产生空白，并且合成图像的拼合位置看起来均匀。然而，本发明中使用的拼合方法不限于此，其他能够实现上述目的的方法也适用。

在本实施例中，使用基于子景图像建立的变形模型来校正子景图像。在该情况下，用于识别(确定)并校正子景图像中的变形的操作相对简单。子景图像中的变形得到改善，校正后的合成图像看起来比文档对象图像更平坦，并且校正后的合成图像具有比文档对象图像更高的分辨率。然而，在子景图像中的变形不容易识别或者变形不是手动校正的情况下，使用基于子景图像自身的变形模型不容易校正子景图像中的变形。因此，本发明提供了另一种校正方法，该方法用于在很难识别由摄像装置部分拍摄变形文档(例如打开的书和打开的报纸捆)而获得的子景图像中的变形的情况下校正子景图像。例如，在一些子景图像中，没有可用于识别变形的文本、规格线或页边界信息。在这种情况下，必须依赖于摄像装置整体拍摄文档对象而获得的全景图像。因此，为了校正子景图像中的变形，摄像装置不仅需要拍摄变形文档的子景图像，还需要拍摄变形文档的全景图像。下面将参照第二实施例详细描述该方法。

第二示例性实施例

下面将详细描述对变形不易识别的文档图像进行的校正。

根据本发明第二示例性实施例的图像处理装置的内部结构与根据参照图2描述的第一示例性实施例的图像处理装置的内部结构相同。在此，省略关于图像处理装置的内部结构的描述。

图15示出了根据本发明第二示例性实施例的图像处理装置的CPU101实现的图像处理模块1500的功能框图的一个示例。如图15所示，图像处理模块1500包括用于从摄像装置获取图像和数据的获取部1501、用于校正获取到的图像中的变形的校正部1502以及用于将变形校正后的图像拼合为高分辨率图像的拼合部1503。参照图16详细描述校正部1502的具体配置。

图16示出了根据第二示例性实施例的图像处理装置的校正部1502的配置的功能框图的示例。从图16看出，根据本实施例的图像处理装置的校正部1502与根据第一示例性实施例的图像处理装置的校正部302不同。如图16所示，根据本实施例的图像处理装置的校正部1502包括全景图像变形模型确定部1502-1、特征点及匹配点确定部1502-2、子景图像变形模型确定部1502-3以及子景图像校正部1502-4。全景图像变形模型确定部1502-1用于识别(确定)文档图像的全景图像中的变形，并确定全景图像的变形模型。特征点及匹配点确定部1502-2确定一组子景图像上的特征点和与子景图像上的特征点分别对应的一组全景图像上的匹配点，子景图像变形模型确定部1502-3根据所确定的全景图像的变形模型、特征点以及匹配点确定子景图像的变形模型。此外，子景图像校正部1502-4通过参照由子景图像变形模型确定部1502-3确定的子景图像的变形模型，校正子景图像中的变形。

本实施例适用于很难识别由摄像装置拍摄诸如打开的书和打开的报纸捆等的变形文档而获得的子景图像中的变形的情况。例如，在一些子景图像中，没有可用于识别变形的文本、规格线或页边界信息。在这种情况下，必须依赖于文档对象的全景图像。因此，为了校正子景图像中的变形，摄像装置不仅需要拍摄变形文档的子景图像，还需要拍摄变形文档的全景图像。

下面将参照图17详细描述根据本示例性实施例的用于校正文档图像中的变形并将校正后的图像拼合为完整图像的处理。图17示出了根据本示例性实施例的用于校正文档图像中的变形并将校正后的图像拼合为合成图像的处理的流程图。

首先，在图17的步骤S1701中，通过将摄像装置移动到至少三个不同位置而使摄像装置拍摄变形文档的多个图像。多个图像包括变形文档的全景图像和该文档的至少两个子景图像。全景图像覆盖整个变形文档。各个子景图像仅覆盖变形文档的一部分，但是分辨率比全景图像高。并且所有子景图像的组合能够覆盖整个变形文档。

图18和图19分别例示了摄像装置从作为变形文档对象的打开的书拍摄的全景图像和四个子景图像。在图18和图19所示的示例中，为了在下面要描述的拼合处理中实现好的拼合效果，文档的左页中的两个子景图像具有公共部分，文档的右页的两个子景图像具有公共部分，并且左页的子景图像和右页的子景图像共有装订部分作为其公共部分。然而，在本实施例中，子景图像不是必须具有公共部分，只要所有子景图像的组合能够覆盖整个变形文档即可。

在拍摄了变形文档的全景图像和子景图像之后，图像处理装置1000经由通信接口106从摄像装置11接收拍摄到的图像。在本示例性实施例的图像处理中，全景图像用作将所有子景图像组合以创建合成图像的基准图像。

在步骤S1702中，校正部1502的全景图像变形模型确定部1502-1识别全景图像中的变形，并确定全景图像的变形模型。

与第一示例性实施例中描述的情形类似，将全景图像的变形模型描述为由一组水平曲线和一组垂直曲线构成的曲面网格。图20示出了图18中的全景图像的曲面网格的一个示例。如图20所示，曲面网格由作为最下端边界线和上端边界线的两条水平曲线以及作为左边界线、装订线和右边界线的三条垂直曲线构成。但是，在本发明中，构成曲面网格的线不限于上述曲线，诸如规格线、文本行等的其他线也适用。

曲面网格可以由用户手动输入，或者由校正部自动确定。在由用户手动输入的情况下，用户经由用户界面102沿页边框、规格线或文本行输入多个点以创建曲面网格中的曲线。在由校正部自动确定的情况下，图像处理装置的校正部1502的全景图像变形模型确定部1502-1自动检测页边框、规格线或文本行。可以使用与根据第一实施例的图9描述的方法相同的方法实现由校正部1502的全景图像变形模型确定部1502-1自动识别全景图像中的变形并创建曲面网格。校正部1502的全景图像变形模型确定部1502-1的配置可以与第一实施例的校正部302的子景图像变形模型确定部302-1的配置相同。

图21示出了由全景图像变形模型确定部1502-1执行的根据本示例性实施例的用于自动识别文档图像中的变形并创建曲面网格的处理的流程图。下面将参照图22所示的各功能块描述用于自动识别文档图像中的变形的方法的流程，图22例示了根据本实施例的图像处理装置的校正部1502的全景图像变形模型确定部1502-1的功能框图。

首先，在图21的步骤S2101中，校正部1502的全景图像变形模型确定部1502-1的边缘图像检测部检测变形文档的全景图像上的边缘图像。边缘检测方法可以是上述示例性实施例中描述的Sobel算子、Canny算子等。

在检测到全景图像的边缘图像之后，在步骤S2102中，校正部1502的全景图像变形模型确定部1502-1的变换部对检测到的边缘图像进行Hough变换以检测垂直直线，并从检测到的垂直直线中选择左边界、右边界和书装订线。

然后，在图21的步骤S2103中，校正部1502的全景图像变形模型确定部1502-1的连通单元搜索部执行连通单元搜索处理以在边缘图像上查找水平曲线。搜索方法与第一示例性实施例中描述的搜索方法类似。例如，从图像的左侧或右侧选择开始点，并向右侧或左侧搜索水平方向上的边缘像素。每次从黑色像素开始，在水平方向上4个像素且垂直方向上3个像素的范围内搜索水平方向上的下一个边缘像素，然后连接找到的边缘像素以形成水平曲线。然而本发明并不限制搜索方法，其他搜索方法也适用。此外，搜索范围不限于上述范围，诸如水平方向上3个像素且垂直方向上4个像素的搜索范围也适用。

之后，在图21的步骤S2104中，校正部1502的全景图像变形模型确定部1502-1的连接部连接找到的水平曲线以形成更长的曲线，并选择最上端的曲线作为文档页的上边界，选择最下端的曲线作为文档页的下边界。

在步骤S2102和步骤S2104中分别选择了垂直直线和水平曲线之后，在步骤S2105中，校正部1502的全景图像变形模型确定部1502-1的选择部分别从所选择的垂直直线和水平曲线中选择多个控制点，以形成最终的曲面网格。以这种方式，完成由根据本实施例的图像处理装置的校正部1502执行的识别文档对象的全景图像中的变形并创建全景图像的变形模型的曲面网格。

图23A示出了图18所示的全景图像的变形模型的曲面网格的一个示例。在图23A所示的示例中，全景图像的变形模型的曲面网格由四条边界线Ci(i＝1，2，3，4)包围，在各水平边界线C1和C3上选择由数字0至7标示的8个控制点，在各垂直边界线C2和C4上选择6个控制点，以在曲面网格中形成多个单元。然而，本发明并不限制控制点的数量，任意数量的控制点均适用。此外，随着控制点的数量增多，曲面网格中的单元的数量增大，并且曲面网格中的单元的数量越大，变形的校正质量越好。

可以根据边界插值方法通过曲面网格确定变形图像上的点与校正后的图像上的点之间的映射。本示例性实施例中使用的边界插值方法与第一示例性实施例中使用的方法相同。但是本发明中使用的边界插值方法不限于此，能够实现上述目的任何其他方法也是有用的。

图23B示出了与图23A中的全景图像的变形模型的曲面网格对应的变形校正后的图像的网格。如图23B所示，在参数空间u和v上定义变形校正后的图像的网格，其中u∈[0，1]且v∈[0，1]。图23A的曲面网格中的每条边界曲线c_i映射到图23B中的直线图像中的对应边界线。在这种情况下，例如，使用上述第一示例性实施例中给出的如公式(1)的二维函数来描述如何将变形文档图像的曲面网格内的点映射到变形校正后的文档图像的网格中。以这种方式，创建用于反映变形图像和校正后的图像之间的映射关系的全景图像的变形模型。

在图像处理装置的校正部1502创建了全景图像的变形模型之后，处理进入图17的步骤S1703。在步骤S1703中，针对各个子景图像，校正部1502的特征点及匹配点确定部1502-2在子景图像上确定一组特征点(图24A所示)并在全景图像上确定一组匹配点(图24B所示)。在图24A和图24B所示的示例中，子景图像上的特征点和全景图像上的匹配点由圆圈标示。关于特征点的检测和匹配的技术在计算机视觉领域得到了很好的研究，并且存在可以选择使用的很多方法。在题为“Handbook of MathematicalModels in Computer Vision”，Paragios，N.et al.，editors，pages 273-292，Springer，2005的手册的调查报告中，描述了一系列特征点检测及匹配技术(例如SIFT特征描述符)，并且它们都可以用于本发明。

在图像处理装置的校正部1502的特征点及匹配点确定部1502-2确定了子景图像上的一组特征点以及全景图像上的一组匹配点之后，处理进入图17的步骤S1704。在步骤S1704中，图像处理装置的校正部1502的子景图像变形模型确定部1502-3根据所创建的全景图像的变形模型、子景图像上的特征点以及全景图像上的匹配点，确定各个子景图像的变形模型。不直接识别子景图像中的变形的原因在于，一些子景图像可能含有极少用于识别变形的线索。例如，子景图像可能包含很少的文本，没有规格线并且没有页边框，使得难以识别子景图像中的变形。在这种情况下，很难直接创建子景图像的变形模型。

下面，将参照图26详细描述本发明中的由校正部1502的子景图像变形模型确定部1502-3执行的用于创建子景图像的变形模型的处理的一个示例。下面将参照图25所示的各功能块来描述用于创建子景图像的变形模型的处理的流程。图25是根据本发明第二示例性实施例的图像处理装置的校正部1502的子景图像变形模型确定部1502-3的功能框图。

图26示出了由图像处理装置的校正部1502的子景图像变形模型确定部1502-3执行的用于创建一个子景图像的变形模型的处理的流程图。

首先，在步骤S2601中，校正部1502的子景图像变形模型确定部1502-3的插值部对在步骤S1702中创建的全景图像的变形模型进行插值，以生成具有由多条水平曲线和多条垂直曲线构成的多个单元(小块)的网格，从而使得生成的网格的各个单元中的文档表面可以被视为平面的。换句话说，将图20中用黑线框起来的左侧和右侧的两个块分割为多个小块。可以预先指定小块的数量。例如，将全景图像的变形模型在水平方向上分割为20个区间，在垂直方向上分割为8个区间，从而形成160个小块(单元)。每个小块是近似平面的。也就是说，在各个小块中只有透视变形，而没有由于弯曲表面导致的变形。

图27示出了根据本发明的具有多个单元的网格的一个示例，所述多个单元通过校正部1502对全景图像的变形模型进行插值生成，其中仅示出了一部分网格。此处使用的插值方法是在步骤S502中使用上述公式(1)描述的边界插值。在该情况下，以图20的文档图像为例，公式(1)中的c_i(i＝1，2，3，4)表示四条边界线的曲线方程，第三项中的

表示全景图像的四个顶点的坐标。

当参数u和v以相等的间隔取值(例如u＝1/10，2/10，3/10等，且v＝1/8，2/8，3/8等)时，可以计算出网格中各个单元的四个顶点的坐标。

在图像处理装置的校正部1502对全景图像的变形模型执行了插值之后，处理进入步骤S2602。在步骤S2602中，校正部1502的子景图像变形模型确定部1502-3的搜索部查找所有包含全景图像上的对应匹配点的单元以及包含子景图像上的特征点的单元。可以通过例如直接将全景图像上的匹配点的坐标与各个单元的四个顶点的坐标进行比较来实现步骤S2602中的处理。这些找到的单元与子景图像和全景图像中均存在的公共文档部分对应，并且这些单元中的每一个都可以被视为平面的。

在已经找到子景图像上的对应特征点以及全景图像上的匹配点所在的单元之后，处理进入步骤S2603。在步骤S2603中，校正部1502的子景图像变形模型确定部1502-3的计算部针对找到的各个单元计算子景图像的像素与全景图像的像素之间的投影变换参数。由于找到的各个单元都可以被视为平面的，因此可以通过简单的透视投影来粗略地描述子景图像和全景图像之间的坐标映射关系。

假定子景图像的像素(由点(x_s，y_s)表示)与全景图像的对应像素(由点(x_r，y_r)表示)之间存在对应关系。子景图像的像素与全景图像的像素之间的透视投影由以下公式表示。

$\left\{\begin{array}{c}{x}_r=\frac{b_1{x}_s+b_2{y}_s+b_3}{b_7{x}_s+b_8{y}_s+1}\\ y_r=\frac{b_4{x}_s+b_5{y}_s+b_6}{b_7{x}_s+b_8{y}_s+1}\end{array}\right.---\left(2\right)$

为了计算上述公式(2)中的8个未知参数(b₁至b₈)，使用四个或更多个子景图像的特征点(x_si，y_si)和全景图像的匹配点(x_ri，y_ri)的组合(其中，i＝1，...，N，且N＞＝4)。将特征点(x_si，y_si)和匹配点(x_ri，y_ri)的值代入上述公式(2)中，使得能够获得未知参数b₁至b₈的值。然而，在实际应用中，由于误差或图像中的噪声，从严格意义上来说，不能保持使用上述公式(2)实现的相等性。为了消除该问题，使用以下公式(3)表示的最小二乘法获得未知参数b₁至b₈的近似解。

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}[{(\frac{b_1{x}_{\mathrm{si}}+b_2{y}_{\mathrm{si}}+b_3}{b_7{x}_{\mathrm{si}}+b_8{y}_{\mathrm{si}}+1}-x_{\mathrm{ri}})}^2+{(\frac{b_4{x}_{\mathrm{si}}+b_5{y}_{\mathrm{si}}+b_6}{b_7{x}_{\mathrm{si}}+b_8{y}_{\mathrm{si}}+1}-y_{\mathrm{ri}})}^2]\→\min ---\left(3\right)$

在步骤S2603中使用公式(3)计算出投影变换参数b₁至b₈的值之后，确定各个单元的透视投影变换。在图26的步骤S2604中，可以通过根据公式(2)对全景图像的插值后的变形模型执行逆变换来获得子景图像的变形模型。具体地说，在确定了投影变换参数b₁至b₈的值之后，使用投影变换公式(2)将全景图像上各个单元的四个顶点的坐标映射到子景图像。之后，连接子景图像上的顶点，以形成类似于图27的曲线。然后，利用自然样条曲线(natural cubic spine)拟合所形成的曲线，由此获得子景图像的变形模型。以这种方式，创建各个子景图像的变形模型，图26中的处理结束。

在确定了各个子景图像的变形模型之后，在步骤S1705中，图像处理装置的校正部1502的子景图像校正部1502-4使用上述公式(1)基于获得的各个子景图像的变形模型，来校正子景图像中的变形，由此获得变形校正后的子景图像。

然后，在步骤S1706中，拼合部1503使用子景图像与全景图像之间的映射关系(即，透视投影关系)将变形校正后的子景图像拼合为高分辨率合成图像。例如，拼合部1503以在步骤S2602中找到的单元为单位，使用子景图像与全景图像之间的映射关系将变形校正后的子景图像拼合为完整图像。对于子景图像之间的公共部分中的重叠单元，例如分别与图19中的左上方和右上方的子景图像对应的两个变形校正后的子景图像，在拼合时可以选择两个变形校正后的子景图像中的作为公共部分的装订部分中的任意单元。图28中示出了最终的合成图像。

另一方面，图像处理装置的拼合部1503可以使用与第一示例性实施例中类似的方法来将多个校正后的子景图像拼合为完整图像。在步骤S1706中的用于由多个校正后的子景图像形成合成图像的拼合处理中，以与图19所示的四个子景图像对应的四个校正后的子景图像为例，图像处理装置的拼合部1503首先将左页的两个校正后的子景图像拼合为一个完整的左页图像，然后将右页的两个校正后的子景图像拼合为一个完整的右页图像，并将左页图像和右页图像拼合为打开的书的一个完整的文档页。

在本示例性实施例中，所形成的合成图像具有比原始全景图像更高的分辨率。并且校正了由于倾斜拍摄和文档的弯曲表面引起的变形。此外，与第一示例性实施例相比，由于拍摄的子景图像更精细，因此校正后的文档图像具有更高的分辨率和更好的图像质量。

其他实施例

在上述实施例中，描述了摄像装置和图像处理装置分开设置的情形。然而，本发明不限于此，如果在一个装置中设置摄像装置和图像处理装置，也是有用的。例如，诸如数字照相机和数字摄影机的摄像装置被配置为具有根据第一或第二实施例的用于校正文档图像中的变形并且将变形校正后的图像拼合为合成图像的图像处理方法的功能，在这种情况下，如上配置的摄像装置实现了本发明的图像处理系统。

根据本发明的第一或第二实施例的图像处理方法适用于由多个设备(例如主计算机、接口设备、打印机控制器和打印机引擎)构成的系统或集成装置，或者适用于由一个设备构成的装置。

可以通过向系统或装置提供存储有实现上述示例性实施例的功能的控制程序的存储介质(或记录介质)来实现根据本发明的第一或第二实施例的图像处理方法。通过系统或装置的计算机(或CPU或微处理单元(MPU))读取并执行存储在存储介质中的程序代码，也可以实现本发明。

在这种情况下，从存储介质读取的程序代码本身实现了上述示例性实施例的功能，因此存储程序代码的存储介质构成了本发明。

本发明不仅包括通过计算机执行读取的代码而实现示例性实施例的情形，还包括计算机基于来自程序代码的指令执行运行于计算机上的操作系统(OS)执行的部分或全部实际处理的情形，其中，这些处理实现了上述示例性实施例的功能。

此外，将从存储介质读取的程序代码写入插入到计算机的功能扩展卡或设置在连接到计算机的功能扩展单元中的存储器中。之后，设置在计算机中的CPU基于来自程序代码的指令执行部分或全部处理。当然这些处理能够实现上述示例性实施例的功能。

虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以使其涵盖所有这种变型、等同结构及功能。

Claims (21)

1.一种用于由多个子景图像合成变形校正后的高分辨率图像的图像处理方法，该图像处理方法包括：

获取步骤，获取文档对象的多个子景图像和全景图像，所述多个子景图像的组合能够覆盖所述文档对象；

校正步骤，根据所述全景图像的变形模型校正各个所述子景图像中的变形；以及

拼合步骤，将多个变形校正后的子景图像拼合为所述高分辨率图像。

2.根据权利要求1所述的图像处理方法，其中，所述校正步骤还包括：

确定所述全景图像的所述变形模型的步骤；

针对各个所述子景图像，在所述子景图像上确定一组特征点以及在所述全景图像上确定一组与所述子景图像上的所述特征点分别对应的匹配点的步骤；

针对各个所述子景图像，根据所述全景图像的所述变形模型、所述特征点和所述匹配点来确定所述子景图像的变形模型的步骤；以及

通过参照基于所述全景图像的所述变形模型、所述特征点和所述匹配点确定的所述子景图像的所述变形模型，来校正各个所述子景图像中的变形的步骤。

3.根据权利要求2所述的图像处理方法，其中，在确定所述全景图像的所述变形模型的步骤中，通过检测所述全景图像中的页边框、规格线或文本行来确定所述全景图像的所述变形模型。

4.根据权利要求2所述的图像处理方法，其中，根据所述全景图像的所述变形模型、所述特征点和所述匹配点确定各个所述子景图像的所述变形模型的步骤还包括：

对所述全景图像的所述变形模型进行插值以生成具有多条水平曲线和多条垂直曲线的网格，使得所生成的网格的各个单元中的文档表面被视为平面的步骤；

查找所有包含所述子景图像的所述特征点的单元以及包含所述全景图像的对应匹配点的单元的步骤；

针对所找到的各个单元，基于所述单元中的所述特征点和所述对应匹配点计算用于投影变换的一组参数的步骤；以及

基于所计算出的用于投影变换的该组参数和所述全景图像的插值后的变形模型，确定所述子景图像的所述变形模型的步骤。

5.根据权利要求1所述的图像处理方法，其中，在所述拼合步骤中，使用所述子景图像与所述全景图像之间的透视投影关系，将所述多个变形校正后的子景图像拼合为所述高分辨率图像。

6.根据权利要求4所述的图像处理方法，其中，在所述拼合步骤中，以所述单元为单位，使用所述子景图像与所述全景图像之间的透视投影关系将所述多个变形校正后的子景图像拼合为所述高分辨率图像。

7.一种用于由多个子景图像合成变形校正后的高分辨率图像的图像处理方法，该图像处理方法包括：

获取步骤，获取文档对象的多个子景图像，所述多个子景图像具有公共部分；

校正步骤，校正各个所述子景图像中的变形；以及

拼合步骤，将变形校正后的子景图像拼合为所述高分辨率图像，

其中，所述拼合步骤包括：

在所述子景图像或所述变形校正后的子景图像上确定属于所述公共部分的至少两对配准点的步骤；以及

基于所述至少两对配准点将所述变形校正后的子景图像拼合为所述高分辨率图像的步骤。

8.根据权利要求7所述的图像处理方法，其中，在确定所述配准点的步骤中，使用所述至少两对配准点来建立用于使所述变形校正后的子景图像匹配的映射关系，并且

在拼合所述变形校正后的子景图像的步骤中，基于所建立的映射关系将所述变形校正后的子景图像拼合为所述高分辨率图像。

9.根据权利要求7所述的图像处理方法，其中，所述校正步骤还包括：

确定各个所述子景图像的变形模型的步骤；以及

通过参照所述子景图像的所述变形模型来校正各个所述子景图像中的变形的步骤。

10.根据权利要求9所述的图像处理方法，其中，在确定各个所述子景图像的变形模型的步骤中，通过检测所述子景图像中的页边框、规格线或文本行来确定所述子景图像的所述变形模型。

11.一种用于由多个子景图像合成变形校正后的高分辨率图像的图像处理装置，该图像处理装置与摄像装置进行通信，所述摄像装置从文档对象拍摄多个子景图像和全景图像，所述图像处理装置包括：

获取部，用于从所述摄像装置获取所述文档对象的所述多个子景图像和所述全景图像，所述多个子景图像的组合能够覆盖所述文档对象；

校正部，用于根据所述全景图像的变形模型校正各个所述子景图像中的变形；以及

拼合部，用于将多个变形校正后的子景图像拼合为所述高分辨率图像。

12.根据权利要求11所述的图像处理装置，其中，所述校正部还包括：

全景图像变形模型确定部，用于确定所述全景图像的所述变形模型；

特征点及匹配点确定部，用于针对各个所述子景图像，在所述子景图像上确定一组特征点以及在所述全景图像上确定一组与所述子景图像上的所述特征点分别对应的匹配点；

子景图像变形模型确定部，用于针对各个所述子景图像，根据所述全景图像的所述变形模型、所述特征点和所述匹配点来确定所述子景图像的变形模型；以及

子景图像校正部，用于通过参照基于所述全景图像的所述变形模型、所述特征点和所述匹配点确定的所述子景图像的所述变形模型，来校正各个所述子景图像中的变形。

13.根据权利要求12所示的图像处理装置，其中，所述全景图像变形模型确定部通过检测所述全景图像中的页边框、规格线或文本行来确定所述全景图像的所述变形模型。

14.根据权利要求12所述的图像处理装置，其中，所述子景图像变形模型确定部还包括：

插值部，用于对所述全景图像的所述变形模型进行插值以生成具有多条水平曲线和多条垂直曲线的网格，使得所生成的网格的各个单元中的文档表面被视为平面；

几何关系检测部，用于查找所有包含所述子景图像的所述特征点的单元以及包含所述全景图像的对应匹配点的单元；以及

计算部，用于针对所找到的各个单元，基于所述单元中的所述特征点和所述对应匹配点计算用于投影变换的一组参数，并且

所述子景图像变形模型确定部基于所计算出的用于投影变换的该组参数和所述全景图像的插值后的变形模型，确定所述子景图像的所述变形模型。

15.根据权利要求11所述的图像处理装置，其中，所述拼合部使用所述子景图像与所述全景图像之间的透视投影关系，将所述多个变形校正后的子景图像拼合为所述高分辨率图像。

16.根据权利要求14所述的图像处理装置，其中，所述拼合部以所述单元为单位，使用所述子景图像与所述全景图像之间的透视投影关系将所述多个变形校正后的子景图像拼合为所述高分辨率图像。

17.一种用于由多个子景图像合成变形校正后的高分辨率图像的图像处理装置，该图像处理装置与摄像装置进行通信，所述摄像装置从文档对象拍摄多个子景图像，所述图像处理装置包括：

获取部，用于从所述摄像装置获取所述文档对象的多个子景图像，所述多个子景图像具有公共部分；

校正部，用于校正各个所述子景图像中的变形；以及

拼合部，用于将变形校正后的子景图像拼合为所述高分辨率图像，

其中，所述拼合部包括：

配准点确定部，用于在所述子景图像或所述变形校正后的子景图像上确定属于所述公共部分的至少两对配准点；以及

子景图像拼合部，用于基于所述至少两对配准点将所述变形校正后的子景图像拼合为所述高分辨率图像。

18.根据权利要求17所述的图像处理装置，其中，所述配准点确定部使用所述至少两对配准点来建立用于使所述变形校正后的子景图像匹配的映射关系，并且

所述子景图像拼合部基于所建立的映射关系将所述变形校正后的子景图像拼合为所述高分辨率图像。

19.根据权利要求17所述的图像处理装置，其中，所述校正部还包括：

子景图像变形模型确定部，用于确定各个所述子景图像的变形模型；以及

子景图像变形校正部，用于通过参照所述子景图像的所述变形模型来校正各个所述子景图像中的变形。

20.根据权利要求19所述的图像处理装置，其中，所述子景图像变形模型确定部通过检测所述子景图像中的页边框、规格线或文本行来确定所述子景图像的所述变形模型。

21.一种用于由多个子景图像合成变形校正后的高分辨率图像的图像处理系统，该图像处理系统包括根据权利要求11或17所述的图像处理装置以及用于从文档对象拍摄多个子景图像和全景图像的摄像装置。

Images