Patents
Search within
Search within the title, abstract, claims, or full patent document: You can restrict your search to a specific field using field names.
Use TI= to search in the title, AB= for the abstract, CL= for the claims, or TAC= for all three. For example, TI=(safety belt).
Search by Cooperative Patent Classifications (CPCs): These are commonly used to represent ideas in place of keywords, and can also be entered in a search term box. If you're searching forseat belts, you could also search for B60R22/00 to retrieve documents that mention safety belts or body harnesses. CPC=B60R22 will match documents with exactly this CPC, CPC=B60R22/low matches documents with this CPC or a child classification of this CPC.
Learn More
Title
Abstract
Claims
Full Document
Find patents
Keywords and boolean syntax (USPTO or EPO format): seat belt searches these two words, or their plurals and close synonyms. "seat belt" searches this exact phrase, in order. -seat -belt searches for documents not containing either word.
For searches using boolean logic, the default operator is AND with left associativity. Note: this means safety OR seat belt is searched as (safety OR seat) AND belt. Each word automatically includes plurals and close synonyms. Adjacent words that are implicitly ANDed together, such as (safety belt), are treated as a phrase when generating synonyms.
Learn More
Search by
Chemistry searches match terms (trade names, IUPAC names, etc. extracted from the entire document, and processed from .MOL files.)
Substructure (use SSS=) and similarity (use ~) searches are limited to one per search at the top-level AND condition. Exact searches can be used multiple times throughout the search query.
Searching by SMILES or InChi key requires no special syntax. To search by SMARTS, use SMARTS=.
To search for multiple molecules, select "Batch" in the "Type" menu. Enter multiple molecules separated by whitespace or by comma.
Learn More
Patent numbers
Search specific patents by importing a CSV or list of patent publication or application numbers.
图像失真校正方法和设备
CN1270277C
China
Worldwide applications
Application CNB031457460A events
2003-07-02
2004-01-28
2006-08-16
Application granted
2006-08-16
2023-07-02
Anticipated expiration
Status
Expired - Fee Related
Description
translated from
技术领域
本发明一般地涉及用于校正与利用数码相机成像(摄像的)的文件或书籍有关的输入图像内的失真的图像失真校正方法和设备以及存储介质，更具体地说，本发明涉及通过估计相机的成像位置来校正输入图像中的失真的图像失真校正方法、利用这种图像失真校正方法校正输入图像中的失真的图像失真校正设备以及用于存储使计算机进行这种图像失真校正的计算机程序的计算机可读存储介质。
背景技术
最近，由于具有提高的分辨率和降低的成本，所以数码相机越来越流行。因此，数码相机被认为是将纸件文件信息输入到计算机内的一种适当工具。
与使用诸如图像扫描仪的传统接触型图像输入设备的情况相比，利用数码相机将纸件文件信息输入到计算内时，用户具有更多灵活性，因为在检查纸件或者在写到纸件上的同时，用户可以将纸件上的必要信息输入到计算机内。
另一方面，与利用扫描仪获得的扫描图像不同，利用数码相机获得的图像包括图像的三维失真。图1是示出利用数码相机从倾斜角度对平坦纸面进行成像所获得的图像200的示意图。在这种情况下，由于从上方以倾斜角度对纸面成像，所以在图像200内产生由透视变换引起的透视变换失真。
图2是示出利用数码相机从倾斜角度对打开的、诸如字典、百科全书以及手册的较厚书籍进行成像所获得的图像202的示意图。在这种情况下，由于从上方以倾斜角度对该书籍成像，所以在图像202内产生由透视变换引起的透视变换失真。此外，在图像202内还产生由打开的书籍的弯曲纸面引起的失真。在此说明书中，以下将由后一种失真和透视变换失真形成的复合失真称为“书籍失真”。
为了利用数码相机将纸件文件信息输入到计算机内，需要对诸如图1所示的透视变换失真和图2所示的书籍失真的图像失真进行校正，以产生图3所示没有失真的纸面图像204。图3是示出利用数码相机从倾斜角度对纸件文件进行成像获得的，但是没有失真的纸面图像204的示意图。因此，需要开发一种可以产生没有失真的纸面图像204的失真校正技术。
例如，可能在一个角部装订或钉住纸件文件。对于这种在一个位置装订或钉住的纸件文件，为了校正图像失真，第10-150532号日本未审查专利申请公开了一种图像读取设备。根据该建议的图像读取设备，利用轮廓线的三维形状来测量纸面的三维失真。根据一个通过利用CCD阵列的行传感器进行扫描成像的图像获得该三维形状。
此外，第10-150532号日本未审查专利申请公开了一种根据从上方成像的图像，对格式图表的三维失真进行校正的方法。
然而，根据第10-150532号日本未审查专利申请建议的图像读取设备，存在的问题是，需要昂贵的设备专用于估计图像内的纸面轮廓的三维形状。在将文件或者书籍放置在文件台上的情况下，通过利用机械方法，在副扫描方向移动设置在文件台上方的行传感器，在多个位置对纸面的线像(line image)成像，同时在垂直于副扫描方向的主扫描方向进行电扫描，该专用设备产生二维图像。
此外，第10-150532号日本未审查专利申请建议的失真校正方法的优点在于，可以根据单个图像校正失真。然而，将一个区域CCD成像单元用作架空阅读器(OHR)并固定到支柱上，以便成像位于下面的格式图表。因此，前提条件是，事先确定相机的中心。第10-150532号日本未审查专利申请建议的图像读取设备的情况也如此。
因此，第10-150532号日本未审查专利申请建议的图像读取设备以及第10-150532号日本未审查专利申请建议的失真校正方法存在的问题是，不能处理不知道成像位置的情况，例如用户利用数码相机等从任意位置获取纸件文件的图像的情况。
发明内容
因此，本发明的总体目的是提供一种可以克服以上描述的问题的、新颖、实用图像失真校正方法和设备以及存储介质。
本发明的另一个更具体目的是提供一种图像失真校正方法、图像失真校正设备以及计算机可读存储介质，即使不知道数码相机的成像位置，它们仍可以根据被成像的输入图像内的纸面，估计成像位置，并根据成像位置校正被成像的输入图像内的失真。
本发明的又一个目的是提供一种图像失真校正设备，该图像失真校正设备包括：图像输入部分，用于输入由成像部分成像的平坦矩形纸面的图像，作为输入图像；成像位置估计部分，用于根据输入图像内矩形纸面的四个顶点，估计成像部分对于纸面的相对成像位置；矩形纸面估计部分，用于根据成像位置，估计矩形纸面在一个三维空间内的四个顶点；以及图像校正部分，用于根据成像位置和三维空间内的四个顶点，校正输入图像内纸面中的透视变换失真，以输出一个输出图像。即使在不知道成像位置时，根据本发明的图像失真校正设备，通过根据输入图像估计成像位置(或相机位置)，仍可以校正输入图像内矩形纸面的透视变换失真。因此，可以不考虑成像位置，校正透视变换失真，从而使得用户可以在极灵活的环境下，对文件，格式图表等进行成像(摄像)。
本发明的另一个目的是提供一种图像失真校正设备，该图像失真校正设备包括：图像输入部分，用于输入由成像部分成像的打开的书籍的弯曲纸面的图像，作为输入图像；成像位置估计部分，用于根据输入图像内纸面的四个顶点，估计成像部分对于纸面的相对成像位置；曲面估计部分，用于根据成像位置和输入图像内纸面的轮廓信息，估计纸面的三维曲面模型；以及图像校正部分，用于根据成像位置和纸面的三维曲面模型，校正输入图像内纸面的书籍失真，以输出一个输出图像。即使在不知道成像位置时，根据本发明的图像失真校正设备，通过根据输入图像估计成像位置(或相机位置)，仍可以校正输入图像内打开的书籍的弯曲纸面等的书籍失真。因此，可以不考虑成像位置，校正书籍失真，从而使得用户可以在极灵活的环境下，对打开的书籍等的弯曲纸面成像(摄像)。
本发明的另一个目的是提供一种图像失真校正方法，该图像失真校正方法包括：图像输入步骤，用于输入成像步骤成像的平坦矩形纸面的图像，作为输入图像；成像位置估计步骤，用于根据输入图像内的矩形纸面的四个顶点，相对于纸面，估计成像步骤的相对成像位置；矩形纸面估计步骤，用于根据成像位置，估计矩形纸面在一个三维空间内的四个顶点；以及图像校正步骤，用于根据成像位置和三维空间内的四个顶点，校正输入图像内纸面的透视变换失真，以输出一个输出图像。即使在不知道成像位置时，根据本发明的图像失真校正方法，通过根据输入图像估计成像位置(或相机位置)，仍可以校正输入图像内矩形纸面的透视变换失真。因此，可以不考虑成像位置，校正透视变换失真，从而使得用户可以在极灵活的环境下，对文件，格式图表等进行成像(摄像)。
本发明的又一个目的是提供一种图像失真校正方法，该图像失真校正方法包括：图像输入步骤，用于输入由成像步骤成像的打开的书籍的弯曲纸面的图像，作为输入图像；成像位置估计步骤，用于根据输入图像内纸面的四个顶点，相对于纸面，估计成像步骤的相对成像位置；曲面估计步骤，用于根据成像位置和输入图像内纸面的轮廓信息，估计纸面的三维曲面模型；以及图像校正步骤，用于根据成像位置和纸面的三维曲面模型，校正输入图像内纸面的书籍失真，以输出一个输出图像。即使在不知道成像位置时，根据本发明的图像失真校正方法，通过根据输入图像估计成像位置(或相机位置)，仍可以校正输入图像内打开的书籍的弯曲纸面等的书籍失真。因此，可以不考虑成像位置地校正书籍失真，从而使得用户可以在极灵活的环境下，对打开的书籍等的弯曲纸面成像(摄像)。
本发明的又一个目的是提供一种计算机可读存储介质，该计算机可读存储介质存储用于使计算机执行图像失真校正过程的程序，该程序包括：图像输入过程，用于使计算机输入由成像过程成像的平坦矩形纸面的图像，作为输入图像；成像位置估计过程，用于使计算机根据输入图像内的矩形纸面的四个顶点，相对于纸面，估计成像过程的相对成像位置；矩形纸面估计过程，用于使计算机根据成像位置，估计三维空间内的矩形纸面的四个顶点；以及图像校正过程，用于使计算机根据成像位置和三维空间内的四个顶点，校正输入图像内纸面的透视变换失真，以输出一个输出图像。即使在不知道成像位置时，根据本发明的计算机可读存储介质，通过根据输入图像估计成像位置(或相机位置)，仍可以校正输入图像内矩形纸面的透视变换失真。因此，可以不考虑成像位置，校正透视变换失真，从而使得用户可以在极灵活的环境下，对文件，格式图表等成像(摄像)。
本发明的另一个目的是提供一种计算机可读存储介质，该计算机可读存储介质存储用于使计算机执行图像失真校正过程的程序，该程序包括：图像输入过程，用于使计算机输入由成像过程成像的一个打开的书籍的弯曲纸面的图像，作为输入图像；成像位置估计过程，用于使计算机根据输入图像内纸面的四个顶点，相对于纸面，估计成像过程的相对成像位置；曲面估计过程，用于使计算机根据成像位置和输入图像内纸面的轮廓信息，估计纸面的三维曲面模型；以及图像校正过程，用于使计算机根据成像位置和纸面的三维曲面模型，校正输入图像内纸面的书籍失真，以输出一个输出图像。即使在不知道成像位置时，根据本发明的计算机可读存储介质，通过根据输入图像估计成像位置(或相机位置)，仍可以校正输入图像内的打开的书籍等的弯曲纸面的书籍失真。因此，可以不考虑成像位置，校正书籍失真，从而使得用户可以在极灵活的环境下，对打开的书籍等的弯曲纸面成像(摄像)。
通过结合附图阅读以下详细说明，本发明的其他目的和进一步特征将变得更加明显。
附图说明
图1是示出利用数码相机从倾斜角度对平坦纸面进行成像获得的图像的示意图；
图2是示出利用数码相机从倾斜角度对打开的厚书籍进行成像获得的图像的示意图；
图3是示出利用数码相机从倾斜角度对纸件文件进行成像获得的，但是没有失真的纸面图像的示意图；
图4是用于说明在对平坦纸面成像时本发明第一方面的工作原理的示意图；
图5是用于说明在对打开的书籍的纸面成像时本发明第二方面的工作原理的示意图；
图6是示出构成图像失真校正设备的计算机的系统框图；
图7是用于说明图4所示图像失真校正设备的处理过程的流程图；
图8是用于说明在图4所示图像失真校正设备10内用于估计相机位置的透视变换失真机制的示意图；
图9是用于说明输入图像中的纸面上的像素与校正图像中的纸面上的像素之间的对应关系的示意图；
图10是用于说明图5所示图像失真校正设备的处理过程的流程图；
图11是用于说明在图5所示图像失真校正设备40内用于估计相机位置(成像位置)的透视变换失真机制的示意图；
图12是用于说明具有待利用图5所示三维曲面模型估计部分处理的书籍失真的纸面的三维曲面模型的示意图；
图13是用于说明图5所示纸面轮廓提取部分的处理过程的流程图；
图14是用于说明作为纸面轮廓提取处理的目标的书籍输入图像的示意图；
图15是用于说明由图14所示的输入图像获得的边缘图像的示意图；
图16是用于说明具有高空间频率的区域的二级图像(bi-levelimage)的示意图；
图17是用于说明消除了字符串区域的边缘图像的示意图；
图18是示出通过对图17所示的边缘图像消除纸面内的黑色像素连接分量获得的边缘图像的示意图；
图19是用于说明通过对图18所示的边缘图像转动半直线获得的纸面轮廓图像的示意图；以及
图20是用于说明通过对直线分量进行霍夫变换(Houghtransformation)获得的轮廓线提取结果的示意图。
具体实施方式
首先，将参考图4和5说明本发明的工作原理。
图4是用于说明在对平坦纸面成像时本发明第一方面的工作原理的示意图。图4所示的图像失真校正设备10包括：图像输入部分15、相机位置估计部分16、三维矩形纸面估计部分18、图像校正部分20、图形用户界面(GUI)22、显示部分24以及操作部分26。
诸如数码相机12的成像部分对平坦纸面14进行成像以获得输入图像，并将该输入图像输入到图像输入部分15。相机位置估计部分16作为成像位置估计装置，用于根据输入图像中纸面的四个顶点，估计数码相机12相对于输入图像中的纸面的相对位置(取向)，即成像位置。根据成像位置，三维矩形纸面估计部分18估计三维空间内的矩形纸面的四个顶点。
根据成像位置和三维空间内纸面四个顶点的位置，图像校正部分20校正输入图像中纸面的透视变换失真，并输出一个校正图像。利用把轮廓作为其坐标轴的平面坐标系，图像校正部分20获得校正图像的每个像素在输入图像内的对应位置。通过将输入图像内相应像素的值设置为校正图像的目标像素值，可以产生其宽度为上、下轮廓的长度，而其高度为左、右轮廓的长度的校正图像。
通过GUI 22，将输入图像等显示在显示部分24上。通过GUI 24，利用操作部分26输入包括输入图像内纸面的四个顶点在内的各种信息。
因此，仅需要利用数码相机12通过对纸面14成像获得的单个输入图像，而且根据输入图像内纸面的轮廓，利用四个顶点的位置估计数码相机12的成像位置。换句话说，利用该纸是矩形的(长方形的)这个限制，估计一个三维曲面模型，然后，根据估计的数码相机12的成像位置和估计的三维曲面模型，校正输入图像内纸面的透视变换失真。
换句话说，本发明的特征在于，(a1)利用输入图像内纸面的四个顶点，估计数码相机12的成像位置，以及(b1)利用单个纸面上的失真图像的四个顶点，估计三维矩形纸面的四个顶点。与成像位置被固定的传统方法相比，本发明可以处理不知道数码相机12的成像位置的情况，因此显著放松了进行成像的环境。
利用数码相机12等获得的输入图像以及从图像校正部分20输出的输出图像均可以是黑白二级图像、多级图像(multi-level image)(即灰度图像)或彩色图像。
相机位置估计部分15使用户利用GUI 22，通过操作部分26规定输入图像内纸面的四个顶点。
图5是用于说明在对打开的书籍的纸面成像时本发明第二方面的工作原理的示意图。图5所示的图像失真校正设备40包括：图像输入部分44、相机位置估计部分48、三维矩形曲面模型估计部分50、图像校正部分52、图形用户界面(GUI)54、显示部分56以及操作部分58。
诸如数码相机12的成像部分对打开的书籍的弯曲纸面42进行成像以获得输入图像，并将该输入图像输入到图像输入部分44。相机位置估计部分48作为成像位置估计装置，用于根据输入图像中纸面的四个顶点，估计数码相机12相对于输入图像中的纸面的相对位置(或取向)，即成像位置。根据成像位置和输入图像内纸面的轮廓信息，三维曲面模型估计部分50估计输入图像内纸面的三维曲面模型。
根据成像位置和三维曲面空间内四个顶点的位置，图像校正部分52校正输入图像中纸面的书籍失真，并输出校正图像。利用把轮廓作为其坐标轴的(曲)面坐标系，图像校正部分52获得校正图像的每个像素在输入图像内的对应位置。通过将输入图像内相应像素的值设置为校正图像的目标像素值，可以产生其宽度为上、下轮廓的长度，而其高度为左、右轮廓的长度的校正图像。
通过GUI 54，将输入图像等显示在显示部分56上。通过GUI 24，利用操作部分58输入包括输入图像内纸面四个顶点在内的各种信息。
因此，仅需要利用数码相机12通过对书籍的纸面42成像获得的单个输入图像，而且根据输入图像内纸面的轮廓，利用四个顶点的位置估计数码相机12的成像位置。换句话说，利用打开的书籍的(上部)纸面42是半柱面的这个限制，估计一个三维曲面模型，然后，根据估计的数码相机12的成像位置和估计的三维曲面模型，校正输入图像内纸面的书籍失真。
换句话说，本发明的特征在于，(a2)利用输入图像内纸面的四个顶点，估计数码相机12的成像位置，以及(b2)利用单个纸面上的失真图像的纸面轮廓的失真，估计三维曲面模型。与成像位置被固定的传统方法相比，本发明可以处理不知道数码相机12的成像位置的情况，因此显著放松了进行成像的环境。
利用数码相机12等获得的输入图像以及从图像校正部分52输出的输出图像均可以是黑白二级图像、多级图像或彩色图像。
相机位置估计部分48使用户利用GUI 54，通过操作部分58规定输入图像内纸面的四个顶点。
纸面轮廓提取部分46使用户利用GUI 54规定纸面轮廓的采样点。纸面轮廓提取部分46可以使用户利用GUI 54规定输入图像内纸面的四个顶点，因此利用图像处理过程，可以自动提取纸面轮廓信息。此外，利用图像处理过程，纸面轮廓提取部分46可以自动提取所有纸面轮廓信息。
纸面轮廓提取部分46提取具有包括样条曲线和贝齐尔曲线的参数的曲线模型，该曲线模型作为纸面轮廓信息。此外，纸面轮廓提取部分46还可以提取作为纸面轮廓信息的折线模型。在这两种情况下，通过进行近似，都可以容易地获得纸面的三维曲面模型，而且都可以容易地校正3 HYPERLINK mailto：D@维曲面模型。
利用预定能量函数，三维曲面模型估计部分50表示输入图像中纸面的三维曲面模型中，位于顶部和底部的一对三维轮廓的长度与位于右侧和左侧的一对三维轮廓的长度相同的限制，并估计具有使该能量函数最小的参数的三维曲面模型。对于不属于输入图像中纸面的三维曲面模型中，顶部和底部的三维轮廓对的长度与位于右侧和左侧的三维轮廓对的长度相同的限制范围内的情况，估计的三维曲面模型的四个顶点使得可以自动调节用于确定成像位置的各参数。结果，可以估计一个精确的三维曲面模型，因此可以以高精度校正书籍失真。
接着，将参考图4以及图6至图9，说明根据本发明的图像失真校正设备的第一实施例。图像失真校正设备的第一实施例采用根据本发明的图像失真校正方法的第一实施例以及根据本发明的计算机可读存储介质的第一实施例。在此实施例中，利用数码相机12对平坦矩形纸面14成像以获得输入图像，并通过校正输入图像的透视变换失真，输出纸面的输出图像。
利用诸如图6所示的计算机的硬件资源可以实现图4所示的图像失真校正设备10的各功能。
图6所示的计算机包括：CPU 110、1 RAM 112、硬盘控制器(软件)114、软盘驱动程序(软件)120、CD-ROM驱动程序(软件)124、鼠标控制器128、键盘控制器132、显示控制器136以及通信板140，它们通过总线111连接在一起。
硬盘控制器114连接到硬盘驱动器(HDD，硬件)116，并将用于实现根据本发明的图像失真校正方法的应用程序装载到HDD 116的一个或者多个硬盘。在起动计算机时，从HDD 116调用必要程序、在RAM 112内展开，而在CPU 110内执行该程序。
软盘驱动程序120连接到软盘驱动器(FDD、硬件)122，并且可以对软盘进行读写。CD-ROM驱动程序124连接到CD-ROM驱动器(硬件)126，并读取存储在CD-ROM驱动器126的CD内数据和程序。
鼠标控制器128连接到鼠标130，并将用户对鼠标130执行输入操作输入的输入信息传送到CPU 110。键盘控制器132连接到键盘134，并将用户对键盘134执行输入操作输入的输入信息传送到CPU 110。显示控制器136连接到显示单元138，并将信息显示到显示单元138上。通信板140利用包括无线链路的通信线路142，通过一个或者多个诸如因特网的网络与其他计算机和服务器通信。
现在，回头说明图4，图像失真校正设备10的图像输入部分15输入利用数码相机12成像的平坦纸面14的输入图像。数码相机12产生的输入图像可以是黑白二级图像、多级图像或彩色图像。同样，根据数码相机12产生的输入图像，图像校正部分20的输出图像，即校正图像可以是黑白二级图像、多级图像或彩色图像。
根据输入到图像输入部分15的输入图像内纸面的四个顶点的位置信息，相机位置估计部分16估计数码相机12的位置(取向)。更具体地说，相机位置估计部分16估计数码相机12的相机中心位置(成像中心位置)相对于纸面14的相对坐标位置。
例如，通过利用GUI 22将输入图像显示在显示部分24上，用户规定输入图像内矩形纸面的四个顶点，使得用户可以利用操作部分26在所显示的输入图像上规定四个顶点。如下所述，还可以利用与输入图像内的纸面有关的轮廓信息提取结果，规定输入图像内矩形纸面的四个顶点。
根据输入图像内矩形纸面的四个顶点和估计的相机位置，三维矩形纸面估计部分18估计三维空间内矩形纸面四个顶点的位置。
根据估计的数码相机12的位置以及在三维空间内估计的矩形纸面的四个顶点，图像校正部分20校正透视变换失真，并输出校正了透视变换失真的输出图像。
图7是用于说明图4所示图像失真校正设备10的处理过程的流程图。图7所示的流程图示出在利用图6所示的硬件资源实现图4所示图像失真校正设备10的功能时，将由CPU 110执行的程序的处理过程。
在图7中，通过利用数码相机12对纸面14进行成像，获得输入到图像输入部分15的输入图像，图像输入部分15在步骤S1执行输入过程。根据输入图像内纸面的四个顶点，相机位置估计部分16在步骤S2估计相机位置(成像位置)，即相对相机中心坐标。
然后，根据估计的成像位置和输入图像内纸面的四个顶点，三维矩形纸面估计部分18在步骤S3执行三维矩形纸面估计过程，以估计三维空间内矩形纸面的四个顶点。最后，根据估计的成像位置和在三维空间内估计的纸面的四个顶点，图像校正部分20在步骤S4执行透视变换失真校正过程，以输出对在数码相机12对纸面14进行成像时在输入图像内的纸面上产生的透视变换失真进行了校正的输出图像。
接着，将更详细说明图4所示的图像失真校正设备10的相机位置估计部分16、三维矩形纸面估计部分18以及图像校正部分20执行的处理过程。
图8是用于说明在图4所示图像失真校正设备10内用于估计相机位置(成像位置)的透视变换失真机制的示意图。
在图8中，相机中心30位于输入图像内矩形纸面28(以下简称图像纸面28)的上方。相机中心30具有坐标xc，而图像纸面28具有四个顶点坐标X1、X2、X3和X4。利用光轴32将相机中心30与图像纸面28连接在一起。光轴32垂直于图像纸面28，并通过图像纸面28的中心0。
设置一个三维坐标系，以便xy平面覆盖图像纸面28，而且z轴对应于光轴32。在这种三维坐标系中，事实上可以假定在顶点x1、x2、x3和x4构成一个矩形(长方形)的限制下，三维矩形纸面34存在于图8所示的位置。
相机中心30的各坐标、三维矩形纸面34的四个顶点以及图像纸面28的四个顶点为：
相机位置：xc＝(xc，yc，zc)
纸面顶点：xi＝(xi，yi，zi)
图像内的顶点：Xi＝(Xi，Yi，0)
三维矩形纸面34的顶点x1、x2、x3和x4的高度对相机中心30的高度的内分比(division ratio)分别被表示为t1、t2、t3和t4。获得这些内分比t1、t2、t3和t4相当于估计相机位置。
根据内分关系，下式(1)成立。
ti＝(Xc-xi)/(Xc-Xi) …(1)
因此，下式(2)成立，其中i＝1至4。
xi＝(1-ti)xc+tiXi …(2)
此外，下式(3)成立，因为三维矩形纸面34具有矩形(长方形)形状。
x1-x2＝x3-x4，(x1-x2)·(x1-x3)＝0 …(3)
根据以上说明的等式(2)和(3)的条件，可以获得下式(4)至(6)。
k1＝{(X2-X4)(Y3-Y4)-(Y2-Y4)(X3-X4)}/{(X1-X2)(Y3-Y4)-(Y1-Y2)(X3-X4)}
k3＝{(X2-X4)(Y1-Y2)-(Y2-Y4)(X1-X2)}/{(X1-X2)(Y3-Y4)-(Y1-Y2)(X3-X4)}
…(4)
H/W＝[{(k1X1-k3X3)2+(k1Y1-k3Y3)2+(k3-k1)2(zc)2}/{(k1X1-(k1+1)X2)2+(k1Y1-(k1+1)y2)2+(zc)2}]1/2
…(5)
(zc)2＝{1/(k1-k3)}[{k1X1-(k1+1)X2}(k1X2-k3X3)+{k1Y1-(k1+1)Y2}(k1Y1-k3Y3)]
…(6)
在等式(4)中，k1和k3代表根据图像纸面28的顶点坐标获得的常数。在等式(5)中，H代表图像纸面28的高度，而W代表图像纸面28的水平宽度。因此，在给出图像纸面28的四个顶点坐标X1、X2、X3和X4时，可以使用根据等式(4)计算的常数k1和k3，并利用等式(5)获得三维矩形纸面34的高宽比H/W。此外，利用等式(6)可以获得图像纸面28与相机中心30之间的距离zc。
在常数k1和k3与内部分段比(internally segmenting ratio)t1、t2、t3和t4之间，下式(7)描述的关系成立。
t1＝k1Δt
t2＝(k1+1)Δt
t3＝k3Δt
t4＝(k3+1)Δt …(7)
通过将内分比t1、t2、t3和t4中的最大一个设置为“1”，获得三维矩形纸面34的四个顶点之一被设置在图像纸面28上的唯一状态。因此，可以唯一地将每个内分比t1、t2、t3和t4确定为一个值。
例如，如果在等式(7)内，最大内分比是t1，即，t1＝1，则根据等式(7)获得Δt＝1/k1，并确定等式(7)中的剩余内分比t2、t3和t4的值。此外，根据相机中心30与图像纸面28之间的距离zc，获得相机中心30的坐标xc＝(xc，yc，zc)。
根据等式(4)至(6)，利用内分比t1、t2、t3和t4，图4所示的相机位置估计部分16获得相机中心30的坐标xc＝(xc，yc，zc)，并估计数码相机的位置。
接着，根据因为图8所示的内分关系而成立的下式(8)，通过将内分比t1、t2、t3和t4和图像纸面28的顶点坐标X1、X2、X3和X4代入等式(8)，图4所示的三维矩形纸面估计部分18获得三维矩形纸面34的四个顶点x1、x2、x3和x4的坐标。因此，根据三维矩形纸面34的四个顶点的坐标x1、x2、x3和x4，三维矩形纸面估计部分18估计三维空间内的三维矩形纸面34的位置。
xi＝(1-ti)xc+tiXi …(8)
图9是用于说明输入图像内的纸面上的像素与校正图像内的纸面上的像素之间的对应关系的示意图。如图9所示，失真校正之后，在图像纸面36内由内分比p和q确定的点y的像素色调与失真校正之前，图像纸面28上的相应点Y的像素色调一致。可以利用下式(9)和(10)描述图像纸面36与28上的对应像素的关系。
因此，利用等式(9)和(10)，图4所示的图像校正部分20可以立即从失真校正之前的图像纸面28获得校正了透视变换失真的图像纸面36。
根据传统的透视变换失真校正方法，通过变换为三维空间内的三维矩形纸面34，对二维图像纸面36进行色调变换，这是因为一条连接相机中心30和图5所示的失真校正之前的图像纸面28上的点Y的直线与三维矩形纸面34的交点是失真校正之后的图像纸面36上的相应点y。
但是，根据本发明，通过从失真校正之前的二维图像纸面28直接变换为失真校正之后的二维图像纸面36，进行透视变换失真校正，因为以上描述的等式(9)和(10)的关系成立。
接着，将参考图5以及图10至图20，说明根据本发明的图像失真校正设备的第二实施例。图像失真校正设备的第二实施例采用根据本发明的图像失真校正方法的第二实施例以及根据本发明的计算机可读存储介质的第二实施例。在此实施例中，利用数码相机12对打开的书籍的弯曲纸面42成像以获得输入图像，并通过校正输入图像的透视变换失真，输出该纸面的输出图像。例如，该书籍是较厚书籍，例如，字典、百科全书以及手册。
利用诸如图6所示的计算机的硬件资源也可以实现图5所示的图像失真校正设备40的各功能。
图像失真校正设备40的图像输入部分44输入利用数码相机12成像的打开的书籍的弯曲纸面42的输入图像。数码相机12产生的输入图像可以是黑白二级图像、多级图像或彩色图像。纸面轮廓提取部分46从半柱面形的成像弯曲纸面提取纸面轮廓信息。可以完全自动，或者利用用户规定的一部分信息，由操作部分58，对利用GUI 54显示在显示部分56上的图像进行提取纸面轮廓信息的过程。
根据由提取的纸面轮廓信息获得的纸面图像的四个顶点，相机位置估计部分48估计数码相机12的相对相机中心坐标作为相机位置(成像位置)。相机位置估计部分48执行的该过程与图4所示的相机位置估计部分16执行的该过程基本相同。
在被成像的打开的书籍的纸面42具有半柱面形的限制下，三维曲面模型估计部分50估计三维空间内的半柱面形作为三维曲面模型。
根据估计的数码相机12的位置以及估计的、半柱面形的三维曲面模型，图像校正部分52校正书籍失真，并输出校正了书籍失真的输出图像。根据数码相机12输出的输入图像，图像校正部分52输出的输出图像，即校正图像可以是黑白二级图像、多级图像或彩色图像。
图10是用于说明图5所示图像失真校正设备40的处理过程的流程图。图10所示的流程图示出在利用图6所示的硬件资源实现图5所示图像失真校正设备40的功能时，将由CPU 110执行的程序的处理过程。
在图10中，通过利用数码相机12对纸面42进行成像，获得输入到图像输入部分44的输入图像，图像输入部分44在步骤S11执行输入过程。针对输入图像内半柱面形的弯曲纸面，纸面轮廓提取部分46在步骤S12执行轮廓提取过程，以提取纸面轮廓信息。然后，根据由提取的纸面轮廓信息获得的四个顶点，相机位置估计部分48在步骤S13估计相机(成像)位置，即相对相机中心坐标。
接着，根据估计的数码相机12的成像位置和提取的弯曲纸面的轮廓信息，三维曲面模型估计部分50在步骤S14执行三维曲面模型估计过程，以估计三维空间内的半柱面形的书籍弯曲纸面，作为三维曲面模型。最后，根据估计的成像位置和估计的三维曲面模型，图像校正部分52在步骤S15执行书籍失真校正过程，以输出对在数码相机12对纸面42进行成像时在输入图像内的纸面上产生的书籍失真进行了校正的输出图像。
接着，将更详细说明图5所示的图像失真校正设备40的相机位置估计部分48、三维曲面模型估计部分50以及图像校正部分52执行的处理过程。
图11是用于说明在图5所示图像失真校正设备40内用于估计相机位置(成像位置)的透视变换失真机制的示意图。利用纸面轮廓提取部分46获得的轮廓信息内的图像纸面的顶点坐标，图5所示的相机位置估计部分48估计数码相机12的位置。
在图11中，相机中心62位于输入图像内矩形纸面60(以下简称图像纸面60)的上方。相机中心62具有坐标xc，而图像纸面60具有纸面轮廓的四个顶点坐标X1、X2、X3和X4。利用光轴64将相机中心62与图像纸面60连接在一起。光轴64垂直于图像纸面60，并通过图像纸面60的中心O。
设置一个三维坐标系，以便xy平面覆盖图像纸面60，而且z轴对应于光轴64。在这种三维坐标系中，事实上可以假定在半柱面形曲面的顶点x1、x2、x3和x4存在于三维空间内并形成矩形(长方形)的限制下，三维曲面模型66存在于图11所示的位置。
换句话说，如果由半柱面形的弯曲纸面的四个顶点构成的三维空间内的矩形的分辨率和大小被确定，则事实上可以假定三维曲面模型66存在于图11所示位置，该三维曲面模型66是具有图11所示顶点x1、x2、x3以及x4的矩形平面。
相机中心62的各坐标、三维曲面模型66的四个顶点以及图像纸面60的轮廓的四个顶点为：
相机位置：xc＝(xc，yc，zc)
纸面顶点：xi＝(xi，yi，zi)
图像内的轮廓顶点：Xi＝(Xi，Yi，O)
三维曲面模型66的顶点x1、x2、x3和x4的高度对相机中心62的高度的内分比分别被表示为t1、t2、t3和t4。所获得的这些内分比t1、t2、t3和t4用于估计相机位置。
根据内分关系，下式(11)成立。
ti＝(Xc-xi)/(Xc-Xi) …(11)
因此，下式(12)成立，其中i＝1至4。
xi＝(1-ti)xc+tiXi …(12)
此外，下式(13)成立，因为三维曲面模型66具有矩形(长方形)形状。
x1-x2＝x3-x4，(x1-x2)·(x1-x3)＝0 …(13)
根据以上说明的等式(12)和(13)的条件，可以获得下式(14)至(16)。
k1＝{(X2-X4)(Y3-Y4)-(Y2-Y4)(X3-X4)}/{(X1-X2)(Y3-Y4)-(Y1-Y2)(X3-X4)}
k3＝{(X2-X4)(Y1-Y2)-(Y2-Y4)(X1-X2)}/{(X1-X2)(Y3-Y4)-(Y1-Y2)(X3-X4)}
…(14)
H/W＝[{(k1X1-k3X3)2+(k1Y1-k3Y3)2+(k3-k1)2(zc)2}/{(k1X1-(k1+1)X2)2+(k1Y1-(k1+1)y2)2+(zc)2}]1/2
…(15)
(zc)2＝{1/(k1-k3)}[{k1X1-(k1+1)X2}(k1X2-k3X3)+{k1Y1-(k1+1)Y2}(k1Y1-k3Y3)]
…(16)
在等式(14)中，k1和k3代表根据图像纸面60的顶点坐标获得的常数。在等式(15)中，H代表图像纸面60的高度，而W代表图像纸面60的水平宽度。因此，在给出图像纸面60的四个顶点坐标X1、X2、X3和X4时，可以使用根据等式(14)计算的常数k1和k3，并利用等式(15)获得三维曲面模型66的高宽比H/W。此外，利用等式(16)可以获得图像纸面60与相机中心62之间的距离zc。
在常数k1和k3与内部分段比t1、t2、t3和t4之间，下式(7)描述的关系成立。
t1＝k1Δt
t2＝(k1+1)Δt
t3＝k3Δt
t4＝(k3+1)Δt …(17)
通过将内分比t1、t2、t3和t4中的最大一个设置为“1”，获得三维曲面模型66的四个顶点之一被设置在图像纸面60上的唯一状态。因此，可以唯一地将每个内分比t1、t2、t3和t4确定为一个值。此外，根据相机中心62与图像纸面62之间的距离zc，获得相机中心62的坐标xc＝(xc，yc，zc)。
利用内分比t1、t2、t3和t4，根据等式(14)至(16)，图5所示的相机位置估计部分48获得相机中心62的坐标xc＝(xc，yc，zc)，并估计数码相机12的位置。
根据估计的相机位置和图像纸面内的纸面轮廓信息，图5所示的三维曲面模型估计部分50估计具有半柱面形失真的失真纸面作为三维曲面模型。
图12是用于说明具有待利用图5所示三维曲面模型估计部分50处理的书籍失真的纸面的三维曲面模型的示意图。
在图12中，二维图像纸面68的轮廓线信息包括二维上部轮廓线70、二维下部轮廓线72、左侧轮廓线80以及右侧轮廓线82。二维图像纸面68上的左侧和右侧轮廓线80和82与三维曲面模型74的左侧和右侧轮廓线相同。
假定利用一组二维采样轮廓点描述包括图像纸面68的二维上部轮廓线70和二维下部轮廓线72的纸面轮廓信息，如下所述。
XUi＝(XUi，YUi)(i＝1，…，N)
XDj＝(XDj，YDj)(j＝1，…，M)
利用图像纸面68的上述纸面轮廓信息，获得包括书籍失真的半柱面形三维表面模型74的三维上部轮廓线76和三维下部轮廓线78内的三维采样轮廓点，以便估计半柱面形书籍的弯曲纸面的三维表面模型74。三维上部轮廓线76和三维下部轮廓线78内的三维采样轮廓点被描述为：
xUi＝(xUi，yUi)(i＝1，…，N)
xDj＝(xDj，yDj)(j＝1，…，M)
图12示出三维采样上部轮廓点xUi和三维采样下部轮廓点xDi存在于将每个二维采样上部轮廓点XUi和二维采样轮廓点XDi连接到相机中心62的线段上的情况。
将三维上部轮廓点xDi的高度对相机中心62的高度的内分比表示为si，而将三维下部轮廓点xDi的高度对相机中心62的高度的内分比表示为ti，其中i＝1至N。
通过获得这2N个参数，利用要满足的条件，即纸面是由一组将上部轮廓线和下部轮廓线的各采样点连接在一起的线构成的折线面，而且连接轮廓顶点获得的形状是矩形(长方形)，来估计三维表面模型74的形状。
首先，根据内分等式，下式(18)成立。
xUi＝XUi+(xc-XUi)si
xDi＝XDi+(xc-XDi)ti …(18)
因为书籍的失真曲面具有半柱面形状，所以其当然的前提条件是，通过三维空间内纸面的四个顶点x1、x2、x3和x4的平面垂直于包括三维采样上部轮廓点xUi和上部轮廓线顶点x1和x2的平面。因此，利用此前提条件可以获得下式(19)。
(xUi-x1)·(x1-x3)＝0 …(19)
根据等式(19)，利用下式(20)可以获得内分比si。
si＝[x1(x3-x1)+y1(y3-y1)+(z1-zc)(z3-z1)]/
[XUi(x3-x1)+YUi(y3-y1)-zc(z3-z1)] …(20)
根据利用等式(14)获得的内分比si，根据等式(18)，其当然条件是，包括三维上部轮廓点xUi的平面与包括下部轮廓线顶点x3和x4的平面互相垂直。因此，通过代入以上描述的前提条件，可以获得下式(21)。
(xDi-x3)·(x1-x3)＝0 …(21)
根据等式(21)，利用下式(22)可以获得内分比ti。
ti＝{x3(x1-x3)+y3(y1-y3)+(z3-zc)(z1-z3)}/
{XDi(x1-x3)+YDi(y1-y3)-zc(z1-z3)} …(22)
利用以上描述的等式(18)，根据利用等式(22)获得的内分比ti，可以确定三维下部轮廓点xDi的坐标值。
因此，三维曲面模型估计部分50将通过连接三维采样轮廓点获得的折线(polygonal lines)看作三维上部轮廓线76和三维下部轮廓线78，如图12所示，并进一步将针对这些轮廓线进行线性内插近似获得的曲面看作估计的、纸面的三维曲面模型74。
接着，将说明图5所示的图像校正部分52。利用把三维轮廓线作为其坐标轴的曲面坐标系，图像校正部分52获得输入图像内对应于校正后图像纸面中每个像素的位置。此外，图像校正部分52将输入图像中相应像素的值，即黑白二级值、多级值或彩色值，设置为校正后纸面图像的目标像素值，以获得其水平宽度W为上、下轮廓线的长度，而其高度H为左、右轮廓线的长度的校正图像。
此外，在包括书籍失真的纸面变成半柱面形的情况下，左侧轮廓线80和右侧轮廓线82分别为连接纸面的轮廓顶点x1和x3以及轮廓顶点x2和x3的线段，如图12所示。此外，三维上部轮廓线76和三维下部轮廓线78为通过估计三维曲面模型74获得的、用于连接三维采样轮廓点的折线。
将左、上部轮廓顶点x1设置为三维曲面坐标系的原点，将三维上部轮廓线76设置为X轴，将左侧轮廓线80设置为Y轴。此外，三维上部轮廓线76和三维下部轮廓线78的的长度的平均值用作校正后图像(校正图像)的水平宽度W。同样，将右侧轮廓线82和左侧轮廓线80的长度的平均值用作校正后图像(校正图像)的高度H。
此外，为了在三维上部轮廓线上设置X坐标的标度，通过使三维上部轮廓线76上的点U(X)所对应的X坐标值取大于或者等于0并小于或者等于宽度W的整数值，获得三维坐标。
为了获得点U(X)的三维坐标，从连接沿着三维上部轮廓线76的三维采样轮廓点的折线上的左上部轮廓顶点x1(即原点)出发划曲线。
同样，使三维下部轮廓线78上的点D(X)所对应的X坐标值取大于或者等于0并小于或者等于宽度W的整数值，以获得三维坐标。为了获得点D(X)的三维坐标，在连接沿着三维下部轮廓线78的三维采样轮廓点的折线上从左下部轮廓顶点x3(即原点)开始跟踪。可以认为，点U(X)和点D(X)描述了该曲面坐标系。
如果利用G(X，Y)表示书籍失真校正后图像上的二维坐标为(X，Y)的像素的色调，则以下关系成立。
0≤X≤W，0≤Y≤H
校正后二维坐标为(X，Y)的点是三维曲面模型74上的该曲面坐标系中具有二维坐标(X，Y)的点P。利用下式(23)描述点P的三维坐标xP。
xP＝(xP，yP，zP) …(23)
作为通过对三维上部轮廓线76上的点U(X)和三维下部轮廓线78上的点D(X)进行线性内插获得的点，根据下式(24)可以获得点P的三维坐标。
xP＝(xP，yP，zP)＝(1-Y/H)U(X)+(Y/H)D(X) …(24)
接着，在根据透视变换条件获得xy基准平面与从相机中心62引出的、通过三维曲面模型74上的点P的直线之间的交叉点P~的二维坐标(X~，Y~)时，下式(25)成立。
(X~，Y~)＝((xPzk-xKzP)/(zK-zP)，(yPzK-yKzP)/(zK-zP)) …(25)
因此，根据下式(26)，可以获得校正后图像内的色调G(X，Y)，其中G~(X~，Y~)代表校正前图像中二维坐标为(X~，Y~)的像素的色调值，而[x]代表不超过x的最大整数的高斯符号。
G(X，Y)＝G~([X~+1/2]，[Y~+1/2])
＝G~([(xpzk-xkzp)/(zk-zp)+1/2]，
[(ypzk-ykzp)/(zk-zp)+1/2])
…(26)
接着，将更详细说明图5所示纸面轮廓提取部分46。纸面轮廓提取部分46提取在相机位置估计部分48和三维曲面模型估计部分50内进行处理所需的、输入图像中书籍的半柱面形纸面的轮廓线信息。
图13是用于说明图5所示纸面轮廓提取部分46的处理过程的流程图。图13示出图10所示步骤S12的纸面轮廓提取过程的详细处理过程。
在图13所示的纸面轮廓提取过程中，在步骤S21，对书籍图像进行边缘提取过程，而在步骤S22，根据空间频率，消除边缘图像中的字符串区域。然后，在步骤S23，对消除了字符串区域的边缘图像进行噪声消除处理，以消除小黑色像素连接分量。
在步骤S24，从消除了噪声的边缘图像中提取在轮廓部分包括噪声和不清楚部分(淡薄部分)的纸面轮廓图像。此外，在步骤S25，执行右侧和左侧轮廓线段提取过程，以提取右侧和左侧轮廓线，并使提取的轮廓线形成直线。最后，在步骤S26，例如，根据折线、样条曲线、贝齐尔曲线等，执行上部和下部轮廓线提取过程，以内插轮廓线中的断开部分(break)。
以下将详细说明图13所示的纸面轮廓提取过程。例如，假定将利用数码相机12成像的、包括书籍失真的图14所示图像84输入到图像输入部分44。图14是用于说明作为纸面轮廓提取处理的目标的书籍的输入图像的示意图。
在图13所示的步骤S21，利用诸如Zobel边缘滤波器的边缘提取滤波器，针对图像84获得包括书籍纸面轮廓的边缘图像时，获得图15所示的边缘图像85。图15是用于说明由图14所示的输入图像获得的边缘图像的示意图。
根据空间频率，图13所示的步骤S23消除边缘图像85的字符串区域。通过将具有高空间频率的区域作为字符串区域进行检测，消除边缘图像85内的字符串区域。
例如，以目标像素为中心，在具有预定宽度(预定点数)的线性区域内，获得像素间距为1点至S点的各像素之间的色调差值绝对值的平均，并且进一步对于1点至S点的每个像素间距获得平均值的平均。对于1点至S点的每个像素间距获得的平均值的平均用作一个反映空间频率的量值。
图16和17分别是用于说明高空间频率区域的二级图像86和消除了字符串区域的边缘图像88的示意图。
以下说明获得图16所示的二级图像86的过程。对于图15所示的边缘图像85，首先对用于反映在预定宽度为65点而像素间距为8点的情况下获得的空间频率的色调差图像进行二值化。将二值化后的黑色像素加深10点，并将边缘图像变更为白色像素，以获得高空间频率区域，即二级图像86。
通过消除图15所示的边缘图像85中具有高空间频率的、图16所示二级图像86，获得消除了字符串区域的、图17所示边缘图像88。
接着，在图13所示的步骤24，通过消除边缘图像88内的小黑色像素连接分量，对消除了字符串区域的、图17所示边缘图像88进行噪声消除，以从事实上擦除纸面内的黑色像素，并获得图18所示的边缘图像90。图18是示出通过对图17所示的边缘图像消除纸面内的黑色像素连接分量获得的边缘图像90的示意图。
此外，在图13所示的步骤24，对图18所示的边缘图像90进行提取，以提取包括噪声和不清楚部分(淡薄部分)的纸面轮廓图像。也就是说，对于事实上消除了纸面内的黑色像素分量的、图18所示边缘图像90，沿图18中箭头所示方向转动以纸面中心92作为转轴92的半直线94，以提取首先被半直线94越过的黑色像素。因此，尽管如图19所示，存在弱噪声和不清楚部分，但是仍可以提取一个事实上其所有像素均是纸面轮廓像素的纸面轮廓图像96。图19是用于说明通过对图18所示的边缘图像90转动半直线94获得的纸面轮廓图像96的示意图。纸面轮廓图像96具有二维上部轮廓线70、二维下部轮廓线72、右侧轮廓线82以及左侧轮廓线80。
接着，在图13所示的步骤S25，利用霍夫变换，进行右侧轮廓线段和左侧轮廓线段的提取过程。换句话说，对于包括噪声和不清楚部分(淡薄部分)的、图19所示的纸面轮廓图像96，通过对直线线段进行霍夫变换，获得包括左侧轮廓线80和右侧轮廓线82的、图20所示的两个直线分量102和104。通过对直线线段102和104进行霍夫变换，获得纸面轮廓的四个顶点X1、X2、X3和X4。
此外，在图13所示的步骤26，进行上部轮廓线和下部轮廓线的提取过程，以内插该轮廓线内的断开部分。换句话说，在图20所示的纸面轮廓图像100上，例如，以10至50点的预定点间距提取二维采样上部轮廓点和二维采样下部轮廓点。图20是用于说明通过对直线分量进行霍夫变换获得的轮廓线提取结果的示意图。
XUi＝(XLi，YUi)(i＝1，…，N)
XDj＝(XDj，YDj)(j＝1，…，M)
二维采样上部轮廓点和二维采样下部轮廓点用作用于估计图12所示三维曲面模型74和用于根据三维曲面模型74校正书籍失真的轮廓线信息。
在图13所示的纸面轮廓提取过程中，用户可以利用图5所示的GUI54的功能，通过操作部分58，使用诸如鼠标的定位设备，对图14所示书籍的图像84规定半柱面形三维曲面模型的采样点。在这种情况下，规定的三维曲面模型的采样点可以用作轮廓信息。
此外，在图14所示的图像84中，用户可以规定纸面的四个顶点。在这种情况下，可以根据用户规定的纸面的四个顶点，自动进行图13所示的纸面轮廓提取过程。
在图5所示的三维曲面模型估计部分50，三维曲面模型估计过程采用的技术是，获得三维采样轮廓点，进行折线近似以连接各采样点。当然，还可以采用其他技术，例如，采用具有包括样条曲线和贝齐尔曲线等的参数的曲线模型。
此外，在图5所示的纸面轮廓提取过程获得的、图20所示的纸面轮廓图像100内，四个顶点X1、X2、X3和X4可能明显偏离被假定为三维曲面模型的半柱面形。在这种情况下，对于具有半柱面形纸面的三维曲面模型，利用预定能量函数E描述一个限制，该限制是指三维轮廓的长度在上部轮廓与下部轮廓对之间，以及在右侧轮廓与左侧轮廓对之间是相同的。此外，正确估计具有使能量函数E最小的参数(例如内分比常数k1和k3)的三维曲面模型。
可以将能量函数E定义为图12所示三维曲面模型74的三维上部轮廓线76与三维下部轮廓线78之间长度差值的平方与右侧轮廓线82与左侧轮廓线80之间长度差值的平方的线性和。该能量函数E是由内分比常数k1和k3唯一确定的。
利用最陡下降法，可以获得作为使能量函数E最小的模型参数的常数k1和k3。换句话说，通过适当设置常数k1和k3的初始值，并利用最陡下降法反复改变常数k1和k3，可以获得使能量函数E最小的常数k1和k3。
如果三维曲面模型74的四个顶点x1、x2、x3和x4偏离具有书籍的假定半柱面形的三维曲面模型74，则通过四个顶点x1、x2、x3和x4的平面可能不是预期的三维坐标的xy平面。因此，在估计的相机中心62本身中可能存在大的误差。如果使用错误的相机中心62和估计的三维曲面模型74，则不能正确校正书籍失真。但是通过自动获得使预定能量函数最小的常数k1和k3，可以准确估计具有书籍的假定半柱面形的三维曲面模型74，因此可以正确校正书籍失真。
计算机可读存储介质的第一实施例和第二实施例均存储计算机程序，该程序用于使计算机执行采用根据本发明的图像失真校正方法的图像失真校正过程。构成计算机可读存储介质的记录介质可以是能够存储一个或者多个计算机程序的任何一种介质，例如，磁性记录介质、光记录介质、磁光记录介质以及半导体存储装置。当然，可以通过诸如因特网那样的一个或者多个网络，从另一个计算机下载将由该计算机执行的计算机程序。
此外，本发明并不局限于这些实施例，而且在本发明范围内，可以对它们进行各种变更和修改。
Claims (32)
Hide Dependent
translated from
Claims (32)
Hide Dependent
translated from
1.一种图像失真校正设备，该图像失真校正设备包括：
图像输入部分，用于输入由成像部分成像的平坦矩形纸面的图像以作为输入图像；
成像位置估计部分，用于根据输入图像内的矩形纸面的四个顶点，估计成像部分对于纸面的相对成像位置；
矩形纸面估计部分，用于根据成像位置，估计矩形纸面在一个三维空间内的四个顶点；以及
图像校正部分，用于根据成像位置和三维空间内的四个顶点，校正输入图像内纸面的透视变换失真，以输出一个输出图像。
2.根据权利要求1所述的图像失真校正设备，其中从由黑白二级图像、灰度图像以及彩色图像构成的组中选择输入到图像输入部分的输入图像和从图像校正部分输出的输出图像。
3.根据权利要求1所述的图像失真校正设备，其中成像位置估计部分利用图形用户界面(GUI)提示用户进行输入以规定输入图像内纸面的四个顶点。
4.根据权利要求1所述的图像失真校正设备，其中图像校正部分利用一个把轮廓作为其坐标轴的平面坐标系，获得校正后输出图像内的每个像素在输入图像内的相应位置，并将输入图像内相应像素的值设置为输出图像的目标像素值，以输出具有由上部轮廓和下部轮廓的长度确定的宽度、由右侧轮廓和左侧轮廓的长度确定的高度的输出图像。
5.一种图像失真校正设备，该图像失真校正设备包括：
图像输入部分，用于输入由成像部分成像的一个打开的书籍的弯曲纸面的图像以作为输入图像；
成像位置估计部分，用于根据输入图像内纸面的四个顶点，估计成像部分对于纸面的相对成像位置；
曲面估计部分，用于根据成像位置和输入图像内纸面的轮廓信息，估计纸面的三维曲面模型；以及
图像校正部分，用于根据成像位置和纸面的三维曲面模型，校正输入图像内纸面的书籍失真，以输出一个输出图像。
6.根据权利要求5所述的图像失真校正设备，其中从由黑白二级图像、灰度图像以及彩色图像构成的组中选择输入到图像输入部分的输入图像和从图像校正部分输出的输出图像。
7.根据权利要求5所述的图像失真校正设备，其中成像位置估计部分利用图形用户界面(GUI)提示用户进行输入以规定输入图像内纸面的四个顶点。
8.根据权利要求5所述的图像失真校正设备，其中根据成像位置和输入图像内纸面轮廓的失真，曲面估计部分估计一个三维空间内的半柱面形，该半柱面形具有作为纸面的上表面。
9.根据权利要求5所述的图像失真校正设备，该图像失真校正设备进一步包括：
纸面轮廓提取部分，用于提取表示输入图像内的纸面轮廓的纸面轮廓信息。
10.根据权利要求9所述的图像失真校正设备，其中纸面轮廓提取部分利用图形用户界面(GUI)提示用户进行输入以规定纸面轮廓的采样点。
11.根据权利要求9所述的图像失真校正设备，其中纸面轮廓提取部分利用图形用户界面(GUI)提示用户进行输入以规定输入图像内纸面的四个顶点，以通过图像处理自动地提取纸面轮廓信息。
12.根据权利要求9所述的图像失真校正设备，其中纸面轮廓提取部分通过图像处理自动地提取所有纸面轮廓信息。
13.根据权利要求9所述的图像失真校正设备，其中纸面轮廓提取部分将具有包括样条曲线和贝齐尔曲线的参数的曲线模型用作要提取的纸面轮廓信息。
14.根据权利要求9所述的图像失真校正设备，其中纸面轮廓提取部分将折线模型用作要提取的纸面轮廓信息。
15.根据权利要求5所述的图像失真校正设备，其中对于纸面的三维曲面模型，曲面估计部分利用预定能量函数描述一个限制，并估计具有使该预定能量函数最小的参数的三维曲面模型，其中该限制是指三维轮廓的长度在三维曲面模型的上部轮廓与下部轮廓对之间，以及在右侧轮廓与左侧轮廓对之间是相同的。
16.根据权利要求5所述的图像失真校正设备，其中图像校正部分利用一个把轮廓作为其坐标轴的曲面坐标系，获得校正后输出图像内的每个像素在输入图像内的相应位置，并将输入图像内相应像素的值设置为输出图像的目标像素值，以输出具有由上部轮廓和下部轮廓的长度确定的宽度，和由右侧轮廓和左侧轮廓的长度确定的高度的输出图像。
17.一种图像失真校正方法，该图像失真校正方法包括：
图像输入步骤，用于输入由成像步骤成像的平坦矩形纸面的图像以作为输入图像；
成像位置估计步骤，用于根据输入图像内的矩形纸面的四个顶点，相对于纸面，估计成像步骤的相对成像位置；
矩形纸面估计步骤，用于根据成像位置，估计矩形纸面在一个三维空间内的四个顶点；以及
图像校正步骤，用于根据成像位置和三维空间内的四个顶点，校正输入图像内纸面的透视变换失真，以输出一个输出图像。
18.根据权利要求17所述的图像失真校正方法，其中从由黑白二级图像、灰度图像以及彩色图像构成的组中选择输入到图像输入步骤的输入图像和由图像校正步骤输出的输出图像。
19.根据权利要求17所述的图像失真校正方法，其中成像位置估计步骤利用图形用户界面(GUI)提示用户进行输入以规定输入图像内纸面的四个顶点。
20.根据权利要求17所述的图像失真校正方法，其中图像校正步骤利用一个把轮廓作为其坐标轴的平面坐标系，获得校正后输出图像内的每个像素在输入图像内的相应位置，并将输入图像内相应像素的值设置为输出图像的目标像素值，以输出具有由上部轮廓和下部轮廓的长度确定的宽度，和由右侧轮廓和左侧轮廓的长度确定的高度的输出图像。
21.一种图像失真校正方法，该图像失真校正方法包括：
图像输入步骤，用于输入由成像步骤成像的一个打开的书籍的弯曲纸面的图像以作为输入图像；
成像位置估计步骤，用于根据输入图像内纸面的四个顶点，相对于纸面，估计成像步骤的相对成像位置；
曲面估计步骤，用于根据成像位置和输入图像内纸面的轮廓信息，估计纸面的三维曲面模型；以及
图像校正步骤，用于根据成像位置和纸面的三维曲面模型，校正输入图像内纸面的书籍失真，以输出一个输出图像。
22.根据权利要求21所述的图像失真校正方法，其中从由黑白二级图像、灰度图像以及彩色图像构成的组中选择输入到图像输入步骤的输入图像和由图像校正步骤输出的输出图像。
23.根据权利要求21所述的图像失真校正方法，其中成像位置估计步骤利用图形用户界面(GUI)提示用户进行输入以规定输入图像内纸面的四个顶点。
24.根据权利要求21所述的图像失真校正方法，其中曲面估计步骤根据成像位置和输入图像内纸面轮廓的失真，估计一个三维空间内的半柱面形，该半柱面形具有作为纸面的上表面。
25.根据权利要求21所述的图像失真校正方法，该图像失真校正方法进一步包括：
纸面轮廓提取步骤，用于提取表示输入图像内的纸面轮廓的纸面轮廓信息。
26.根据权利要求25所述的图像失真校正方法，其中纸面轮廓提取步骤利用图形用户界面(GUI)提示用户进行输入以规定纸面轮廓的采样点。
27.根据权利要求25所述的图像失真校正方法，其中纸面轮廓提取步骤利用图形用户界面(GUI)提示用户进行输入以规定输入图像内纸面的四个顶点，以通过图像处理自动地提取纸面轮廓信息。
28.根据权利要求25所述的图像失真校正方法，其中纸面轮廓提取步骤通过图像处理自动地提取所有纸面轮廓信息。
29.根据权利要求25所述的图像失真校正方法，其中纸面轮廓提取步骤将具有包括样条曲线和贝齐尔曲线的参数的曲线模型用作要提取的纸面轮廓信息。
30.根据权利要求25所述的图像失真校正方法，其中纸面轮廓提取步骤将折线模型用作要提取的纸面轮廓信息。
31.根据权利要求21所述的图像失真校正方法，其中对于纸面的三维曲面模型，曲面估计步骤利用预定能量函数描述一个限制，并估计具有使预定能量函数最小的参数的三维曲面模型，其中该限制是指三维轮廓的长度在三维曲面模型的上部轮廓与下部轮廓对之间，以及在右侧轮廓与左侧轮廓对之间是相同的。
32.根据权利要求21所述的图像失真校正方法，其中图像校正步骤利用一个把轮廓作为其坐标轴的曲面坐标系，获得校正后输出图像内的每个像素在输入图像内的相应位置，并将输入图像内相应像素的值设置为输出图像的目标像素值，以输出具有由上部轮廓和下部轮廓的长度确定的宽度，和由右侧轮廓和左侧轮廓的长度确定的高度的输出图像。