CN1867940A - 成像装置及其图像处理方法 - Google Patents

Abstract

数字照相机(1)具有CPU(30)和图像处理装置(25)。该图像处理装置(25)通过使用罗伯茨滤波器从通过对作为拍摄目标的白板(2)进行拍摄所获取的图像中获取轮廓。图像处理装置(25)从所述获取的轮廓中检测构成白板(2)的图像的候选直线，并获取白板(2)的矩形形状。图像处理装置(25)从四边形的顶点位置获取指示白板(2)的图像和真实白板(2)之间的关系的投影参数，并且执行白板(2)的图像的投影变换。

Description

成像装置及其图像处理方法

技术领域

本发明涉及成像装置，以及图像处理方法和用于该成像装置的程序。

背景技术

利用数字照相机的发展以及存储类型存储器的成本降低，已经进行了关于以下应用的研究：其中数字照相机不仅仅用于拍摄风景和人物，还用于拍摄诸如纸张和名片之类的文档、或者如会议中写在黑板上的东西等，并且数字地将这些图像保存在个人计算机等中以用于管理。

在拍摄文档或者黑板时，期望从前方且垂直地对将要拍摄的对象(下文中称为“拍摄目标”)进行成像。在拍摄黑板时，可能难以从前方对黑板进行成像，这取决于摄影者的位置。即使能够对黑板进行摄影，也可能存在由于光的反射而最好避免从前方拍摄的情况。当倾斜地对诸如文档的拍摄目标进行拍摄时，字符等被倾斜地或者以梯形形状失真。当然，那些字符可能是可读的。即使字符是可读的，实际上读取它们时也非常令人厌烦。由于图像失真，很难重新使用那些图像。

提出了几种解决方案来克服这个缺点。

第一种解决方案是通过使用具有视差的两个图像来校正已失真的图像的系统(例如，参见日本专利特许公开公布No.2001-134751)。

第二种解决方案是一种系统，其将输入图像放在一个假定的已知固定形状中；检查该固定形状被怎样失真，以找到变换参数，从而将该形状重新存储到平面上的原始形状中；以及校正由照相机的倾斜而引起的输入图像失真(例如，参见日本专利特许公开公布No.H3-94383)。

第三种解决方案是一种系统，其将正交栅格(orthogonal grating)施加到要被摄影的对象的表面，对该对象成像，获取所拾取的图像中的各个格点的空间坐标，并且将正交变换之后的图像投影到拍摄表面上提供的坐标系统，从而校正图像失真(例如，参见日本专利特许公开公布No.H5-101221)。

第四种解决方案是一种系统，其具有：角度设置单元，输入由照相机的拍摄表面和对象的表面所定义的倾角；以及范围寻找单元，其测量到对象的距离，并在与使用该角度设置单元输入的倾角对应的状态中对对象表面进行成像，从而基于所输入的倾角和到对象表面的距离来以与从前方观看的对象图像相匹配的方式来校正所拾取的图像(例如，参见日本专利特许公开公布No.H9-289600)。

第五种解决方案是一种系统，其以正确地复制拍摄目标的几何形状的方式、基于在固定到旋转轴的照相机方向上的信息，对由照相机的斜置而导致的图像失真进行校正(例如，参见日本专利特许公开公布No.H11-98485)。

第六种解决方案是一种系统，其生成输入图像的四个(右上、左上、右下、以及左下)局部图像，基于局部图像的倾斜形成不规则四边形，以不规则四边形的两个相对的水平边变为彼此平行的方式来执行斜置和旋转变换，从而获取水平斜置角α，然后获取跨越两个平行边的直线和垂直方向之间定义的角度作为斜交旋转角β。通过使不规则四边形的剩余两个相对边变为彼此平行的方式通过在垂直方向上执行斜置和旋转变换来获取垂直斜置角γ。然后，通过使用水平斜置角α、斜交旋转角β以及垂直斜置角γ来对输入图像执行几何变换，从而校正已失真的图像(例如，参见日本专利特许公开公布No.2000-341501)。

在如日本专利特许公开公布No.2001-134751中所述的系统中实现对具有视差的两个图像的准备非常麻烦，因为要用包括单镜头的照相机从两个位置来拍取图片。

由于在日本专利特许公开公布No.H3-94383中所述的系统需要将拍摄目标放在已知形状的固定图上，所以需要一些麻烦的工作，例如摄影薄片的表面作为拍摄目标。

由于在日本专利特许公开公布No.H5-101221中描述的系统需要将正交栅格覆盖到对象表面上并手动地输入各个格点的二维坐标，因此使得难以以简单操作来摄影对象表面。

在日本专利特许公开公布No.H9-289600中描述的系统中，通过操纵角度设置单元来手动且准确地输入在拍摄表面和对象表面之间定义的倾角是非常困难的。这使得难以高度准确地校正由于斜置而产生的失真。

在日本专利特许公开公布No.H11-98485中描述的系统中，通过照相机的机械结构和布局来确定原物的表面和拍摄表面之间的距离和倾角，并且应该将照相机固定在给定的高度并以能够围绕旋转轴旋转的方式来设置。这不可避免地扩大了系统尺寸并增加了制造成本。

如日本专利特许公开公布No.2000-341501中描述的系统应该执行多个旋转变换，增加了算术操作的数目，而这需要昂贵的计算设备。此外，该系统需要更长的处理时间。

已经作出本发明来克服传统的问题，并旨在提供能够容易地校正拍摄目标的图像的成像装置，以及图像处理方法和用于成像装置的程序。

发明内容

根据本发明的第一方面，提供了一种对拍摄目标进行成像的成像装置，包括：

成像单元(21，22)，其对拍摄目标(2)进行拍摄；以及

图像处理单元(25，30)，其对通过由成像单元进行拍摄所获取的拍摄目标的图像执行图像处理以校正拍摄目标的图像失真。

图像处理单元(25，30)包括：形状获取单元，其从该图像中获取拍摄目标的图像的轮廓，并从所获取的轮廓中获取图像的形状；投影参数获取单元，其通过将形状获取单元所获取的图像形状与真实拍摄目标的形状相关联来从拍摄目标的图像的顶点位置上获取指示在拍摄目标的图像和真实拍摄目标之间的关系的投影参数；以及图像变换单元，其通过使用由投影参数获取单元所获取的投影参数来执行拍摄目标图像的图像变换。

根据本发明的第二方面，提供了一种校正通过拍摄所获取的原物图像的失真的图像处理装置，包括：

形状获取单元(25，30)，其从原物图像中获取原物图像的轮廓，并从所获取的轮廓中获取原物图像的形状；

投影参数获取单元(25，30)，其从由形状获取单元所获取的原物图像的形状中获取指示原物图像的形状和真实原物的形状之间的关系的投影参数；以及

图像处理单元(25，30)，其通过使用由投影参数获取单元所获取的投影参数来执行原物图像的图像变换。

根据本发明的第三方面，提供了一种对通过对拍摄目标进行拍摄所获取的拍摄目标的图像执行图像处理以校正拍摄目标的图像的失真的图像处理方法，包括：

步骤(S19，S31)，在该步骤中，从拍摄目标的图像中获取拍摄目标图像的轮廓，并从所获取的轮廓中获取图像的形状；

步骤(S19，S37)，在该步骤中，通过将所获取的图像的形状与真实的拍摄目标的形状相关联来从拍摄目标的图像的顶点位置上获取指示拍摄目标的图像和真实拍摄目标之间的关系的投影参数；以及

步骤(S21)，在该步骤中，通过使用所获取的投影参数来对图像执行图像变换。

根据本发明的第四方面，提供了一种存储有用于使计算机执行以下操作的程序的记录介质：

从通过对拍摄目标进行拍摄所获取的拍摄目标的图像中获取拍摄目标的图像的轮廓，以及从所获取的轮廓中获取拍摄目标的图像的形状的进程；

通过将所获取的图像形状与真实拍摄目标的形状相关联来从拍摄目标的图像的顶点位置上获取指示拍摄目标的图像和真实拍摄目标之间的关系的投影参数的进程；以及

通过使用所获取的投影参数来执行图像的图像变换以校正拍摄目标的图像失真的进程。

本发明可以轻易地校正拍摄目标的图像。

附图说明

通过读取下面的详细描述以及附图，本发明的这些目的和其它目的以及优点将变得更加显而易见，其中：

图1是示出根据本发明的一个实施例的由数字照相机所拍摄的白板的状态的说明图；

图2是示出图1所示的数字照相机的结构的方框图；

图3A至3D是图2所示的图像处理装置的功能的说明图；

图4是操作单元的各个键的说明图；

图5是图解由数字照相机执行的拍摄处理的内容的流程图；

图6是示出由图2所示的图像处理装置提取的四边形的说明图；

图7是用于解释投影参数和仿射变换的基本概念的图；

图8是图解由图2所示的图像处理装置执行的投影参数提取处理的内容的流程图；

图9是图解由图2所示的图像处理装置执行的四边形轮廓提取处理的内容的流程图；

图10A是亮度降低的图像的说明图；

图10B是边缘图像的说明图；

图11A和11B是罗伯茨滤波器(Roberts filter)的功能的说明图；

图12A和12B是用于说明瑞顿(Radon)变换的原理的图像图；

图13A和13B是用于说明通过在X、Y坐标系统的直线上执行瑞顿变换来获取极坐标系统的数据的操作的图；

图14是图解从极坐标系统的数据检测峰的处理的内容的流程图，其是由图2所示的图像处理装置来执行的；

图15A至15C是用于说明从通过峰的检测所提取的直线中检测四边形的思想的图；

图16是图解由图2所示的图像处理装置执行的已检测的四边形选择处理的内容的流程图；

图17是图解获取仿射参数的处理的内容的流程图，其是由图2所示的图像处理装置来执行的；

图18A和18B是示出当不能提取四边形时的告警的内容的说明图；

图19是图解由图2所示的CPU执行的告警处理的内容的流程图；

图20是用于从投影变换之后的图像获取原始图像的仿射变换的说明图；

图21是图解基于仿射变换的图像变换处理的内容的流程图，其是由图2所示的图像处理装置来执行的；

图22A和22B是示出不能通过投影变换来校正图像的失真的例子的图；

图23是用于说明在原始图像、已投影变换的图像以及放大的投影变换图像中的关系的图；

图24是图解校正调整和图像变换的内容的流程图，其是由图2所示的图像处理装置来执行的；

图25是示出亮度直方图的一个例子的说明图；

图26是图解针对图像效果校正参数的提取处理的内容的流程图，其是由图2所示的图像处理装置来执行的；

图27A是示出当背景颜色是白色时的图像效果处理的说明图；

图27B是示出当背景颜色是黑色时的图像效果处理的说明图；

图27C是示出当背景颜色是除了白色和黑色之外的其它颜色时的图像效果处理的说明图；

图28是图解由图2所示的图像处理装置来执行的图像效果处理的内容的流程图；

图29是图解由图2所示的CPU和图像处理装置所执行的重放处理的内容的流程图；

图30是示出标头信息的内容的说明图；

图31是图解由图2所示的CPU和图像处理装置所执行的校正图像重新编辑处理的内容的流程图；

图32是示出当仅保存原始图像时的标头信息的内容的说明图；

图33是图解拍摄处理(2)的内容的流程图，其是当仅保存原始图像时由图2所示的CPU和图像处理装置来执行的；以及

图34是图解校正图像重新编辑处理的内容的流程图，其是当仅保存原始图像时由图2所示的CPU和图像处理装置来执行的。

具体实施方式

下面将结合附图来描述根据本发明的一个实施例的成像装置。

在下面的实施例的描述中，将把成像装置描述为数字照相机。

图1示出根据本实施例的数字照相机1的结构。

根据本实施例的数字照相机1对白板2等上的字符、图形、图片等作为拍摄目标进行拍摄，从通过拍摄所获取的图像中检测图像失真，并校正该失真，从而生成看起来像从前方摄影的图像。数字照相机1具有成像镜头部分11、液晶监视器12和快门按钮13。

成像镜头部分11具有用于会聚光的镜头等，并会聚来自白板2等上的字符、图形、图片等。

液晶监视器12显示经由成像镜头部分11在内部拍取的图像。

当对拍摄目标进行拍摄时，按下快门按钮13。

如图2所示，数字照相机1还包括光镜头单元21、图像传感器22、存储器23、显示单元24、图像处理装置25、操作单元26、计算机接口单元27、外部存储器IO单元28以及程序代码存储单元29。

光镜头单元21具有成像镜头部分11以及用于该成像镜头部分11的驱动单元，并通过会聚来自白板2等上的字符、图形、图片等而在图像传感器22上形成图像。

图像传感器22获取所形成的图像作为数字图像数据，并且图像传感器22由CCD等构成。通过CPU 30来控制图像传感器22。当未按下快门按钮13时，图像传感器22生成用于预览的具有低分辨率的数字图像数据，并以大约30秒的时间间隔有规律地将该图像数据发送到存储器23。当按下快门按钮13时，图像传感器22生成具有高分辨率的数字图像数据，并将该图像数据发送到存储器23。

存储器23暂时地存储低分辨率预览图像、高分辨率图像数据、或者将要经历图像处理装置25的原始图像的数据或者图像处理之后的图像数据。存储器23发送暂时存储的图像数据到显示单元24或者图像处理装置25。

显示单元24具有液晶监视器12，并在该液晶监视器12上显示图像。显示单元24在液晶监视器12上显示被暂时存储在存储器23中的低分辨率预览图像或者高分辨率图像。

图像处理装置25对暂时存储在存储器23中的图像数据执行图像处理，诸如图像数据的压缩、图像失真的校正以及图像效果处理。

当数字照相机1如图3A所示从左方向或右方向对白板2上的字符、图形、图片等进行成像时，在液晶监视器12上失真显示了白板2上的字符等的图像，如图3B和3C所示。图像处理装置25对如图3B和图3C所示的图像执行图像处理，以生成如图3D所示的如同从前方进行摄影的图像。

为了校正图像失真，图像处理装置25从失真的图像中提取四边形，并对提取的四边形执行所拾取图像的投影变换。

更具体而言，图像处理装置25在CPU 30的控制下主要执行以下处理。

(1)从拾取的图像中提取仿射参数(affine parameters)

(2)使用提取的仿射参数进行图像变换

(3)图像变换的调整

(4)提取关于亮度或视差等的图像效果校正参数以及图像效果处理

后面将讨论这些处理。

操作单元26具有用于控制文档投影的功能的开关和键。当用户按下这些键和开关中任一个时，操作单元26响应于该按下而发送与所按下的键和开关相关联的操作信息到CPU 30。

图像处理装置25具有如图4所示的上减少键111、下减少键112、右减少键113、左减少键114、右向旋转键115以及左向旋转键116。

上减少键111、下减少键112、右减少键113和左减少键114是用于执行投影变换的投影变换键。当图像的上部关于X轴大于下部时，按下上减少键111以朝薄片表面向下旋转图像的上部。

当图像的下部关于X轴大于上部时，按下下减少键112以朝薄片表面向下旋转图像的下部。

按下右减少键113和左减少键114以关于Y轴调整右和左失真。具体而言，当右手侧大于左手侧时，按下右减少键113，而当左手侧大于右手侧时，按下左减少键114。

右向旋转键115和左向旋转键116是被按下以调整图像的旋转的旋转校正键。具体而言，按下右向旋转键115以向右旋转图像，而按下左向旋转键116以向左旋转图像。

除前述的键之外，操作单元26还具有拍摄键、重放键、光标键、控制键等(没有示出)。拍摄键用于在对拍摄目标进行拍摄时选择拍摄模式。重放键用于在再现拍摄目标的已拾取图像时选择重放模式。控制键具有各种键的功能，包括用于决定操作的YES键、用于取消操作的NO键、以及用于进行编辑的编辑键。

当将数字照相机1连接到计算机(没有示出)时，计算机接口单元27操作为USB存储类驱动器。因此，当连接到数字照相机1时，计算机使用存储卡31作为计算机的外部存储设备。

外部存储器IO单元28输入图像数据等到存储卡31，并从存储卡31输出图像数据等。存储卡31存储从外部存储器IO单元28供应的图像数据等。

程序代码存储单元29存储由CPU 30运行的程序，并包括ROM等。

CPU 30根据存储在程序代码存储单元29中的程序来控制整个系统。存储器23还用作CPU 30的工作存储器。

当作为按下任一个开关或键的结果而把操作信息从操作单元26发送到CPU 30时，CPU 30基于操作信息来控制图像传感器22、存储器23、显示单元24、图像处理装置25等。

具体而言，当从操作单元26发送指示拍摄键的按下的操作信息时，CPU 30将各个单元设置到拍摄模式。在所设置的拍摄模式下，当未按下快门按钮13时，CPU 30将图像传感器22设置到预览模式，并且当按下快门按钮13时，CPU 30将图像传感器22设置到高分辨率模式以读取拍摄目标的高分辨率图像。当将指示重放键的按下的操作信息发送到CPU 30时，CPU 30将各个单元设置到重放模式。

当从操作单元26发送指示投影变换键的任一个或者旋转校正键的任一个的按下的操作信息时，CPU 30发送该操作信息到图像处理装置25并控制该图像处理装置25。

CPU 30在存储器31中写入预览图像和高分辨率图像的数据，并经由外部存储器IO单元28从存储卡31读取已写入的图像数据。CPU30将例如以JPEG格式压缩的图像数据写入到存储卡31中。

在将图像数据暂时存储在存储器23中时，CPU 30将预览图像和高分辨率图像的数据写在不同的存储区中。CPU 30将图像数据写在存储卡31中的图像文件中，并在写入图像数据时，将关于图像数据的标头信息写入相关联的图像文件中的标头信息存储区中。

下面将描述根据本实施例的数字照相机1的操作。

当用户接通数字照相机1的电源时，CPU 30获取存储在程序代码存储单元29中的程序的数据。当用户按下拍摄键时，操作单元26发送其操作信息到CPU 30。CPU 30接收该操作信息，并且CPU 30、图像处理装置25等根据图5图解的流程图来执行拍摄处理。

CPU 30将图像传感器22设置到预览模式(步骤S11)。

基于从图像处理装置25发送的操作信息，CPU 30确定是否按下了快门按钮13(步骤S12)。

当确定按下了快门按钮13时(步骤S12：YES)，CPU 30将图像传感器22的预览模式改变到高分辨率模式并相应地控制图像传感器22(步骤S13)。

CPU 30将图像传感器22所产生的拍摄目标的高分辨率图像的数据写入到不同于用于预览图像的存储区的存储器23中的存储区中(步骤S14)。

CPU 30确定是否已经完成图像数据的读取(步骤S15)。

当确定还没有完成读取时(步骤S15：NO)，CPU 30控制图像传感器22以继续读取图像数据。

当确定已经读取每个图像数据并且图像传输已经结束时(步骤S15：YES)，CPU 30从已拾取的图像(高分辨率图像)中产生低分辨率预览图像，并且将预览图像的数据写入到存储器23的预览图像存储区中(步骤S16)。

CPU 30以这样一种方式控制图像处理装置25以产生压缩数据，并且图像处理装置25产生压缩数据(步骤S17)。

CPU 30经由外部存储器IO单元28将图像处理装置25所生成的压缩数据写入并保存到存储卡31中(步骤S18)。

接下来，操作单元26在CPU 30的控制下从已拾取的图像中提取投影参数以形成前方图像(步骤S19)。

CPU 30确定图像处理装置25是否能够提取投影参数(步骤S20)。

当CPU 30已经判决能够进行提取时(步骤S20：YES)，图像处理装置25基于提取的投影参数来创建投影变换图像(步骤S21)。

当按下了操作单元26的投影变换键和旋转校正键中的任一个时，操作单元26将它们的操作信息发送到CPU 30。CPU 30将来自操作单元26的操作信息发送到图像处理装置25，而图像处理装置25又根据所发送的操作信息执行图像变换的调整(步骤S22)。

图像处理装置25提取图像效果校正参数(步骤S23)并执行图像效果处理(步骤S24)。

图像处理装置25对经过了图像效果处理的图像数据进行压缩，从而产生压缩数据(步骤S25)。

图像处理装置25将生成的压缩数据写入到存储卡31(步骤S26)。

另一方面，当确定不能进行提取时(步骤S20：NO)，CPU 30执行告警处理(步骤S27)。

CPU 30等以上面的方式结束拍摄处理。只要用户操作某些键，则CPU 30等分别执行拍摄处理。

接下来，将描述图像处理装置25执行的拍摄处理。

首先，将说明要使用在图像处理装置25的图像处理中的仿射变换的基本概念(实现仿射变换的方法)。

仿射变换广泛用于图像的空间变换中。在本实施例中，使用二维的仿射变换而不是使用三维照相机参数来执行投影变换。因此，通过诸如移动、尺寸扩大或减少、或者根据下面的方程1的旋转之类的变换，将变换之前的坐标点(u，v)与变换后的坐标(x，y)相关联。可以通过仿射变换来执行投影变换。

方程1

$(x^{\′},y^{\′},z^{\′},)=(u,v,l)\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right)$

从下面的方程2计算最终坐标(x，y)。

方程2

$x=\frac{x^{\′}}{z^{\′}}=\frac{a_{11}u+a_{21}v+a_{31}}{a_{13}u+a_{23}v+a_{33}}$

$y=\frac{y^{\′}}{z^{\′}}=\frac{a_{12}u+a_{22}v+a_{32}}{a_{13}u+a_{23}v+a_{33}}$

方程2用于投影变换，并且根据z′的值将坐标(x，y)朝O减少。也就是说，包括在z′中的参数影响投影。参数是a₁₃、a₂₃和a₃₃。由于可以利用参数a₃₃将其它参数归一化，所以可以将a₃₃设置到1。

图6示出了矩形拾取图像的各个顶点的坐标。将参照图7描述数字照相机1所感测的四边形和拍摄目标(白板2)之间的关系。

在图7中，U-V-W坐标系统是数字照相机1所感测的图像的三维坐标系统。矢量A(Au，Av，Aw)和矢量B(Bu，Bv，Bw)用矢量表示三维坐标系统U-V-W中的拍摄目标。

矢量S(Su，Sv，Sw)指示三维坐标系统U-V-W的原点和拍摄目标之间的距离。

将拍摄目标的图像投影到图7所示的投影屏幕上。

假定x，y是投影屏幕上的坐标系统，可以将要被投影到投影屏幕上的图像看作是将要由数字照相机1感测的图像。投影屏幕位于垂直远离W轴距离f的地方。假定存在这样的点，连接拍摄目标的任意点(u，v，w)和原点的直线在该点上与投影屏幕相交，则使p(x，y)为该交叉点的X-Y坐标。此时，通过投影变换用下面的方程3给出坐标p。

方程3

$\left\{\begin{array}{c}x=u\frac{f}{w}\\ y=v\frac{f}{w}\end{array}\right.$

从方程3和点P₀、P₁、P₂以及如图7所示的投影屏幕上的投影点p₀、p₁、p₂和p₃之间的关系获取用下面的方程4给出的关系。

方程4

$\left\{\begin{array}{c}\mathrm{Au}=k1\·\{x1-x0+\mathrm{\α}\·x1\}\\ \mathrm{Av}=k1\·\{y1-y0+\mathrm{\α}\·y1\}\\ \mathrm{Aw}=k1\·\mathrm{\α}\·f\end{array}\right.$

$\left\{\begin{array}{c}\mathrm{Bu}=k1\·\{x3-x0+\mathrm{\β}\·x3\}\\ \mathrm{Bv}=k1\·\{y3-y0+\mathrm{\β}\·y3\}\\ \mathrm{Bw}=k1\·\mathrm{\β}\·f\end{array}\right.$

其中k1＝Sw/f

用下面的方程5给出投影系数α和β。

方程5

$\mathrm{\α}=\frac{(x0-x1+x2-x3)\·(y3-y2)-(x3-x2)\·(y0-y1+y2-y3)}{(x1-x2)\·(y3-y2)-(x3-x2)(y1-y2)}$

$\mathrm{\β}=\frac{(x1-x2)\·(y0-y1-y2-y3)-(x0-x1+x2-x3)\·(y1-y2)}{(xx1-x2)\·(y3-y2)-(x3-x2)(y1-y2)}$

接下来，将讨论投影变换。

使用矢量S、A和B用下面的方程6表示拍摄目标上的任意点P。

方程6

P＝S+m·A+n·B

其中，m：矢量A的系数(0≤m≤1)，以及

n：矢量B的系数(0≤n≤1)，

将方程4的关系表达式代入方程6，用下面的方程7表示坐标x和y。

方程7

$\left\{\begin{array}{c}x=\frac{m\·(x1-x0+\mathrm{\α}\·x1)+n(x3-x0+\mathrm{\β}\·x3)+x0}{1+m\·\mathrm{\β}+n\·\mathrm{\α}}\\ y=\frac{m\·(y1-y0+\mathrm{\α}\·y1)+n(y3-y-+\mathrm{\β}\·y3)+y0}{1+m\·\mathrm{\α}+n\·\mathrm{\β}}\end{array}\right.$

根据仿射变换的方程表示这个关系，则用下面的方程8给出坐标(x’，y’，z’)。

方程8

$(x^{\′},y^{\′},z^{\′})=(m,n,l)\left(\begin{array}{ccc}x1-x0+\mathrm{\α}\·x1& y1-y0+\mathrm{\α}\·y1& \mathrm{\α}\\ x3-x0+\mathrm{\β}\·x3& y3-y0+\mathrm{\β}\·x3& \mathrm{\β}\\ x0& y0& 1\end{array}\right)$

将m和n代入到方程8中产生了拾取的图像的对应点(x，y)。由于对应点(x，y)不一定为整数，则应该使用图像插值等获取像素值。

可能有先前给出图像尺寸(0≤u≤umax，0≤v≤vmax)的方案，其中输出已校正的图像p(u，v)并根据该图像尺寸调整图像。根据该方案，用下面的方程9给出m和n。

方程9

$m=\frac{u}{u\max }$

$n=\frac{v}{v\max }$

然而，将要生成的校正图像的纵横比与拍摄目标的纵横比并不匹配。已校正的图像p(u，v)和值m和n之间的关系由来自方程3的下面的方程10表示。

方程10

$k=\frac{\left|B\right|}{\left|A\right|}=\frac{\sqrt{{(x3-x0+\mathrm{\β}\·x3)}^2+{(y3-y0+\mathrm{\β}\·y3)}^2+{\left(\mathrm{\βf}\right)}^2}}{\sqrt{{(x1-x0+\mathrm{\α}\·x1)}^2+{(y1-y0+\mathrm{\α}\·y1)}^2+{\left(\mathrm{\αf}\right)}^2}}$

如果已知镜头的焦距f，其是照相机参数，则可以获取纵横比k。假定已校正图像p(u，v)的图像尺寸是(0≤u≤umax，0≤v≤vmax)，则通过根据下面的方程11获取的m和n可以获取与拍摄目标的纵横比相同的纵横比。

方程11

(1)当vmax/umax≤k时

$\begin{array}{cc}m=\frac{u}{v\max }& (0\≤u\≤u\max )\end{array}$

$n=\frac{v}{v\max }$

(2)当vmax/umax＞k时

$m=\frac{u}{u\max }$

$\begin{array}{cc}n=\frac{v}{u\max }& (0\≤v\≤v\max )\end{array}$

当照相机具有固定的焦点时，可以事先获取镜头的焦距f的值。当有变焦镜头等时，镜头的焦距f的值根据镜头的变焦放大而改变，因此假定事先创建并存储了示出变焦放大和镜头的焦距f之间的关系的表格，就可以通过读取基于变焦放大的焦距f并根据方程10和11来执行投影变换。

为了执行这样的仿射变换，首先，图像处理装置25从已拾取的拍摄目标的图像中提取投影参数(图5中的步骤S19)。

下面将参考图8所示的流程图来讨论通过图像处理装置25来执行的投影参数提取处理。

图像处理装置25从拍摄目标的已拾取图像中提取拍摄目标图像的四个角的坐标(四边形轮廓)(步骤S31)。图像处理装置25如图9所示的流程图来提取四边形的轮廓。

也就是说，图像处理装置25从输入图像生成亮度降低的图像，以便减少图像处理的算术操作的数目(步骤S41)。

图像处理装置25从生成的亮度降低的图像中产生拍摄目标的边缘图像(步骤S42)。

图像处理装置25从边缘图像中检测包括在拍摄目标的边缘图像中的直线参数(步骤S43)。

图像处理装置25从已检测到的直线参数创建用于构成拍摄目标的轮廓的候选四边形(步骤S44)。

图像处理装置25生成候选四边形并向生成的四边形赋予优先级顺序(图8中的步骤S32)。

图像处理装置25根据优先级顺序选择四边形，并确定是否可以提取所选择的四边形(步骤S33)。

当确定不能提取所选择的四边形时(步骤S33：NO)，CPU 30终止投影参数提取处理。

另一方面，当确定能够提取所述四边形时(步骤S33：YES)，CPU30获取来自图像处理装置25的已提取四边形，并且发送该四边形到显示单元24，以在液晶监视器12上显示矩形预览图像(步骤S34)。

CPU 30基于从操作单元26发送的操作信息来确定按下了YES键和NO键中的哪一个(步骤S35)。

当CPU 30判决按下了NO键时(步骤S35：NO)，图像处理装置25指定下一个四边形候选(步骤S36)。

另一方面，当CPU 30判决按下了YES键时(步骤S35：YES)，CPU 30从已提取的四边形的顶点中计算仿射参数(步骤S37)。

接下来，将更具体地描述投影参数提取处理。

图10A示出了图像处理装置25在步骤S41生成的亮度降低的图像的一个例子。图像处理装置25通过使用称为罗伯茨滤波器的边缘检测滤波器而从这样的亮度降低的图像中生成图10B所示的边缘图像(步骤S42)。罗伯茨滤波器通过加权两个4-邻域像素来检测图像边缘，以获取两个滤波器Δ1和Δ2并对这些滤波器进行平均。

图11A示出了滤波器Δ1的系数，图11B示出了滤波器Δ2的系数。将两个滤波器Δ1和Δ2的系数应用到希望的坐标(x，y)的像素值f(x，y)，用下面的方程12给出变换之后的像素值g(x，y)。

方程12

Δ1＝1·f(x，y)+0·f(x+1，y)+0·f(x，y-1)+1·f(x+1，y-1)＝f(x，y)-f(x+1，y-1)

Δ2＝0·f(x，y)+1·f(x+1，y)-1·f(x，y-1)+0·f(x+1，y-1)＝f(x+1，y)-f(x，y-1)

其中，g(x，y)：坐标(x，y)的像素值(变换之后)，以及f(x，y)：坐标(x，y)的像素值(变换之前)。

图10B所示的边缘图像包括直线参数。图像处理装置25执行瑞顿变换，以从边缘图像检测直线参数(步骤S43的处理)。

瑞顿变换是积分变换，将第n阶数据与第(n-1)阶投影数据相关联。具体而言，我们考虑从x-y坐标系统旋转角度θ的r-θ坐标系统，其具有如图12B所示的为f(x，y)的图像数据。用下面的方程13定义在方向θ上的图像投影数据p(r，θ)。

方程13

$p(r,\mathrm{\θ})={\∫}_{\∞}^{\∞}f(r\cos \mathrm{\θ}-s\sin \mathrm{\θ},r\sin \mathrm{\θ}+s\cos \mathrm{\θ})\mathrm{ds}$

$={\∫}_{\∞}^{\∞}{\∫}_{\∞}^{\∞}f(x,y)\mathrm{\δ}(x\cos \mathrm{\θ}+y\sin \mathrm{\θ}-r)\mathrm{dxdy}$

其中，δ()：单位脉冲函数。

将用方程13表示的变换称为“瑞顿变换”。

通过瑞顿变换将图12A所示的图像数据f(x，y)变换为图12B所示的图像投影数据p(r，θ)。

在这样的瑞顿变换中，如图13A所示的x-y坐标系统的直线L在极坐标系统中用p＝xcosα+ysinα表示。由于直线L完全投影到点p(P，α)，所以可以通过检测p(r，θ)的峰来检测直线。使用这一原理，图像处理装置25通过瑞顿变换从边缘图像中生成数据p(r，θ)。

接下来，图像处理装置25从生成的数据p(r，θ)中提取峰。为了这个目的，图像处理装置25根据图14所示的流程图来执行提取峰的处理。

图像处理装置25搜索p(r，θ)的最大值(步骤S51)。

图像处理装置25获取阈值pth＝pmax*k(k为大于等于0至1的常数值)(步骤S52)。

图像处理装置25从具有阈值pth的p(r，θ)生成二进制图像B(r，θ)(步骤S53)。

图像处理装置25执行B(r，θ)的图像标记。然后设定N1为获取的标记号(步骤S54)。

当p(r，θ)是最大值时，图像处理装置25检查每一个标记区域中的r、θ。然后，图像处理装置25获取值ri、θi(i＝1至N)(步骤S55)。它们成为直线参数。

接下来，在图像处理装置25使用已检测到的直线参数生成四边形候选的情况下(图9中的步骤S44的处理)，如果四条直线形成图15A所示的四边形，则例如，相对的直线a1和a3与除了直线a1和a3之外的两条直线a2和a4具有相交点p1、p4、p2和p3。在这种情况下，CPU 30判决能够提取四边形(图8中的步骤S33：YES)。

当如图15B和15C所示没有四个相交点时，CPU 30判决不能提取四边形(步骤S33：NO)。

接下来，图像处理装置25从已提取的四边形候选中选择最适当的四边形，来表示拍摄目标的边。

有几种方案来完成这种选择。在本实施例中，从已拍摄的四边形中选择最外面的四边形。“最外面的四边形”是如图6所示在通过利用X轴和Y轴的平行线围绕四边形候选而形成的四边形中具有最大面积的一个。

假定四边形Ri的四个顶点的坐标分别为(x0，y0)、(x1，y1)、(x2，y2)和(x3，y3)，则用下面的方程14给出四边形的面积Si。

方程14

Si＝{max(x0，x1，x2，x3)-min(x0，x1，x2，x3)}*

                         {max(y0，y1，y2，y3)-min(y0，y1，y2，y3)}

图像处理装置25根据图16所示的流程图选择这个四边形。

图像处理装置25选择数目为Nr的四边形候选中的一个(步骤S61)。

图像处理装置25根据方程14获取所选择的四边形的面积Si(步骤S62)。

图像处理装置25减少候选数目Nr(步骤S63)。

图像处理装置25确定候选数目Nr是否变为0(步骤S64)。

当判决候选数目Nr还没有变为0时(步骤S64：NO)，图像处理装置25再次执行步骤S61至S63的处理。

当判决通过重复执行该处理候选数目Nr已经变为0时(步骤S64：Yes)，图像处理装置25以已获取的面积Si从较小面积到较大面积的下降顺序对四边形候选的数据进行排序(步骤S65)。

然后，图像处理装置25以最高优先级处理作为四边形轮廓的第一四边形。即使当有多个四边形候选时，总是根据优先级选择最外面的四边形。根据优先级选择最外面的四边形的原因是因为：通常以拍摄目标在观看角度有意变为最大的方式来调整缩放和拍摄位置，使得将最外面的四边形看作是拍摄目标的轮廓。

因此，期望几乎自动地提取拍摄目标的轮廓。即使提取了错误的四边形，用户也通常从最外面的一个来依次检查四边形。如果提取了指示拍摄目标的轮廓的直线，则通过依次按下NO键来选择真实拍摄目标的四边形。

因此，有可能通过使用拍摄目标的所选择的四边形的四个顶点的坐标(x0，y0)、(x1，y1)、(x2，y2)和(x3，y3)，根据方程5和8来获取方程8中所示的矩阵中的各个元素的仿射参数。

(1)从拍摄目标的图像中提取仿射参数

基于这个观点，图像处理装置25从四边形的顶点获取仿射参数。将基于图17所示的流程图来描述这个处理。

图像处理装置25根据方程5从四边形的四个顶点的坐标(x0，y0)、(x1，y1)、(x2，y2)和(x3，y3)来计算投影系数α和β(步骤S71)。

图像处理装置25根据方程10计算拍摄目标的纵横比k(步骤S72)。

图像处理装置25指定图像的中心点(uc，vc)(步骤S73)。

图像处理装置25比较最大图像尺寸vmax/umax和方程10所表示的纵横比k(步骤S74)。

当vmax/umax≤k时(步骤S74：NO)，假定纵横比k不改变，图像处理装置25判决U轴(水平)侧上的最大图像尺寸umax大于拍摄目标的图像尺寸。然后，图像处理装置25以使V轴侧上的最大图像尺寸与拍摄目标的图像尺寸相匹配的方式、根据方程11中的本发明条件(1)，来获取m和n的值(步骤S75)。

当vmax/umax＞k时(步骤S74：YES)，假定纵横比k不改变，图像处理装置25判决V轴(垂直)侧上的最大图像尺寸vmax大于拍摄目标的图像尺寸。然后，图像处理装置25以使U轴侧上的最大图像尺寸与拍摄目标的图像尺寸相匹配的方式、根据方程11中的本发明条件(2)，来获取m和n的值(步骤S76)。

图像处理装置25根据方程8从已计算的m和n以及四边形的四个顶点坐标(x0，y0)、(x1，y1)、(x2，y2)和(x3，y3)来获取仿射变换矩阵Af(步骤S77)。

将仿射变换矩阵Af中的每个元素当作仿射参数A，图像处理装置25获取这个仿射参数A(步骤S78)。

存在拍摄条件等不适当从而不能识别四边形的情况(图8中的步骤S33：NO)。在这种情况下，优选地应该将图18A所示的告警声明显示在液晶监视器12上，以很好地警告摄影者不能检测该区域，允许摄影者将模式设置到图18B所示的照相机拍摄设置模式，以改变拍摄条件，并提示摄影者再次进行拍摄。还可能有另一种情况优选地警告拍摄者以再次改变拍摄条件。

当不能获取这样的适当的投影参数时，CPU 30根据图19所示的流程图来执行告警处理(图5中的步骤S27)。

CPU 30控制显示单元24，以在液晶监视器12上显示如图18A所示的告警声明(步骤S81)。

CPU 30基于从操作单元26发送的操作信息来确定按下了YES键和NO键中的哪一个(步骤S82)。

当CPU 30判决按下了NO键时(步骤S82：NO)，CPU 30终止这个告警处理。

另一方面，当CPU 30判决按下了YES键时(步骤S82：YES)，CPU 30将模式改变到拍摄模式(步骤S83)，并终止这个告警处理。(2)使用已提取的仿射参数的图像变换

现在，下面将描述通过使用已获取的仿射参数来准备校正的图像的图像处理方法。

首先，在使用仿射参数执行投影变换或者某些其它仿射变换时，假设原始图像的点p(x，y)对应于使用如图20所示的变换矩阵Ap、通过诸如投影变换之类的变换所获取的图像的点P(u，v)。然后，最好比确定对应于原始图像的点p(x，y)的变换图像的点P(u，v)更优先地确定对应于变换图像的点P(u，v)的原始图像的点p(x，y)。

这里使用从双线性方法推导出的插值方法来确定变换图像的点(P)的坐标。从双线性方法推导出的插值方法是一种这样的方法：检测与另一个图像(原始图像)的点的坐标相对应的图像(变换图像)的点的坐标，并从其它图像的点(用坐标表示)的四个外围点的(像素)值中确定变换图像的点P(u，v)的(像素)值。利用这个方法，用下面的方程15计算变换图像的点P的像素值P。

方程15

Si＝{max(x0，x1，x2，x3)-min(x0，x1，x2，x3)}

                    *{max(y0，y1，y2，y3)-min(y0，y1，y2，y3)

P(u，v)＝(1-kx)*(1-ky)*p(X，Y)+kx*(1-ky)*p(X+1，Y)

               +(1-kx)*ky*p(X，Y+1)+kx*ky*p(X+1，Y+1)

其中，假定将其它图像的点p的坐标表示为p(x，y)，则

ky：x的十进制值；

ky：y的十进制值；

X：整数部分(x)以及

Y：整数部分(y)。

图像处理装置25执行图21的流程图的处理，以确定与变换图像的点P(u，v)相对应的原始图像的点p(x，y)。

首先，图像处理装置25将变换图像的像素位置u初始化到0(步骤S91)。

然后，图像处理装置25将变换图像的像素位置v初始化到0(步骤S92)。

然后，图像处理装置25使用从方程5和8获取的仿射参数A替换变换图像的像素位置(u，v)，并使用方程12确定原始图像的像素位置(x，y)(步骤S93)。

此后，图像处理装置25使用方程15通过双线性方法从已确定的像素位置(x，y)来确定像素值P(u，v)(步骤S94)。

然后，图像处理装置25将已校正图像的坐标v增加1(步骤S95)。

然后，图像处理装置25比较已校正图像的坐标v和坐标v的最大值vmax，以确定已校正图像的坐标v是否等于或大于最大值vmax(步骤S96)。

当确定坐标v小于最大值vmax时(步骤S96：NO)，图像处理装置25重复步骤S93至S95的处理序列。

当确定重复步骤S93至S95的处理序列的结果是坐标v到达最大值vmax时(步骤S96：YES)，图像处理装置25将已校正图像的坐标u增加1(步骤S97)。

然后，图像处理装置25比较已校正图像的坐标u和坐标u的最大值umax，并确定已校正图像的坐标u是否等于或大于最大值umax(步骤S98)。

当确定坐标u小于最大值umax时(步骤98：NO)，图像处理装置25重复步骤S92至S97的处理序列。

当确定重复步骤S92至S97的处理序列的结果是坐标u达到最大值umax时(步骤S98：YES)，图像处理装置25终止图像变换处理。

(3)图像变换的调整

现在将给出对已经经过一次图像变换的图像进行调整的描述(图5中的步骤S22)。

当已提取的四边形的顶点的坐标包括细小误差等时，可能有图22A所示的不希望的使用获取的仿射参数的投影结果。在这个方面，如此配置根据本实施例的数字照相机1，使得其能够调整已经经历一次图像变换的图像，并允许用户调整投影变换，以获取如图22B所示的图像。

当用户操作操作单元26上的投影变换键和旋转校正键中的任一个时，操作单元26响应用户的操作而发送其操作信息到CPU 30。CPU30识别该操作信息并根据判决结果来控制图像处理装置25。

如图23所示，在获取已校正图像的插值像素Q(u′，v′)时，对插值像素Q(u′，v′)执行反变换Ai，以获取对应于插值像素Q(u′，v′)的校正图像P(u，v)，进一步对校正图像P(u，v)执行反变换，以获取原始图像的p(x，y)，并且对图像p(x，y)执行像素插值。当执行诸如投影变换和放大变换等的双重图像变换时，应该提前获取来自两个变换的变换矩阵，使得可以在单个变换中变换原始图像。这可以用比执行两个变换更少的图像降级(image degration)来更快地获取图像。

用下面给出的方程16来表示当从已变换的图像获取变换之前的图像时的旋转反变换矩阵Ar，其中已变换的图像是通过将变换之前的图像关于X轴和Y轴旋转角度θ而获取的。

方程16：

$\mathrm{Ar}=\left[\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ -\mathrm{Xc}\cos \mathrm{\θ}-\mathrm{Yc}\sin \mathrm{\θ}+\mathrm{Xc}& \mathrm{Xc}\sin \mathrm{\θ}-\mathrm{Yc}\cos \mathrm{\θ}+\mathrm{Yc}& 1\end{array}\right]$

用下面给出的方程17来表示当从已变换的图像获取变换之前的图像时的缩放矩阵Asc，其中已变换的图像是通过将变换之前的图像关于X轴和Y轴扩大Sc而获取的。

方程17

$\mathrm{Asc}=\left[\begin{array}{ccc}1/\mathrm{Sc}& 0& 0\\ 0& 1/\mathrm{Sc}& 0\\ \mathrm{Xc}(1-\frac{1}{\mathrm{Sc}})& \mathrm{Yc}\left(\frac{1}{\mathrm{Sc}}\right)& 1\end{array}\right]$

一旦放大了图像，则可以在仿射参数的调整和计算中执行舍入误差处理等。为了放大图像，因此，有必要在放大之前为等扩大的这些图像设置仿射参数。

用下面给出的方程18来表示当从已变换的图像获取变换之前的图像时的移位矩阵As，其中已变换的图像是通过将变换之前的图像在X方向和Y方向分别移动Tx和Ty而获取的。

方程18

$\mathrm{As}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ -\mathrm{Tx}& -\mathrm{Ty}& 1\end{array}\right]$

用下面给出的方程19来表示当从已变换的图像获取变换之前的图像时的投影效果矩阵Ap，其中已变换的图像是通过将校正之前的图像在X方向和Y方向分别倾斜α和β而获取的。

方程19

$\mathrm{Ap}=\left[\begin{array}{ccc}1& 0& \mathrm{\α}\\ 0& 1& \mathrm{\β}\\ 0& 0& 1\end{array}\right]$

在执行双重反变换时，用下面的方程20表示反变换矩阵A。

方程20

A＝Ai(2)*Ai(1)

在本实施例中，用0.1的步长设置投影效果系数矩阵α和β，而用1度的角度设置角度校正参数θ。然而，要注意可以在检查校正的实际效果的同时确定各个参数的调整宽度。

将参考图24所示的流程图来描述基于这样的思想执行的图像变换调整处理。

CPU 30设置图像的中心坐标Xc和Yc(步骤S101)。

基于从操作单元26发送的操作信息，CPU 30确定是否已经按下了投影变换键中的任一个(步骤S102)。

当确定已经按下了某个投影变换键时(步骤S102：YES)，CPU 30在上减少键111、下减少键112、右减少键113和左减少键114中识别所按下的投影变换键的类型(步骤S103至S106)。

当确定所按下的投影变换键是上减少键111时，CPU 30将α＝0.1和β＝0代入方程19中给出的投影效果矩阵Ap，产生反变换Ai＝Ap(步骤S103)。

当确定所按下的投影变换键是下减少键112时，CPU 30将α＝-0.1和β＝0代入方程19中给出的投影效果矩阵Ap，产生反变换Ai＝Ap(步骤S104)。

当确定所按下的投影变换键是右减少键113时，CPU 30将α＝0和β＝0.1代入方程19中给出的投影效果矩阵Ap，产生反变换Ai＝Ap(步骤S105)。

当确定所按下的投影变换键是左减少键114时，CPU 30将α＝0和β＝-0.1代入方程19中给出的投影效果矩阵Ap，产生反变换Ai＝Ap(步骤S106)。

当确定没有按下投影变换键时(步骤S102：NO)，CPU 30确定是否按下了旋转校正键中的任一个(步骤S107)。

当确定已经按下了某个旋转校正键时(步骤S107：YES)，CPU 30识别所按下的旋转校正键的类型(步骤S108和S109)。

当确定所按下的旋转校正键是右向旋转键115时，CPU 30将θ＝-1代入方程16中给出的旋转反变换矩阵Ar，产生反变换Ai＝Ar(步骤S108)。

当确定所按下的旋转校正键是左向旋转键116时，CPU 30将θ＝1代入方程16中给出的旋转反变换矩阵Ar，产生反变换Ai＝Ar(步骤S109)。

当确定已经按下了投影变换键之一或者旋转校正键之一并且将反变换Ai设置为后项(consequent)时(步骤S103至S106、S108和S109)，CPU 30根据方程20获取反变换矩阵A(步骤S110)。

CPU 30将获取的反变换A提供到图像处理装置25，并控制图像处理装置25使得基于反变换A来执行图像变换。基于所提供的反变换A，图像处理装置25通过仿射变换执行图像变换(步骤S111)，然后终止图像变换调整处理。

当确定没有按下旋转校正键时(步骤S107：NO)，CPU 30立即终止图像变换调整处理。

还可以使用以上面的方式获取的仿射参数用上述方法通过执行图像变换来手动地调整已校正图像。

如图22所示调整图像的情况下，例如，由于图像左向失真，所以首先按下右向旋转键115。结果是，图像处理装置25向右旋转图像。当持续按下右向旋转键115并且在正确地显示了字符序列时停止右向旋转键115的按下时，图像处理装置25停止向右旋转该图像。

当下一图像的左手侧大于右手侧而按下左减少键114时，图像处理装置25调整图像的左和右部分。当持续按下左减少键114并且在右和左部分平衡时停止左减少键114的按下时，图像处理装置25停止左部分的减少。

由于这个方法可以通过仅对原始图像执行单个图像变换来获取图像，所以该方法与对已经经历了一次投影校正的图像再次执行旋转和投影变换的方法相比，能够提供更好质量的图像。

(3)与亮度和色差等有关的图像效果校正参数的提取以及图像效果处理

现在，下面将描述用于从以上述方式获取的图像中提取图像效果校正参数的处理，以及使用该参数的图像效果处理。该图像效果处理是用于获取更清楚的图像的操作。

以这种方式获取的图像是所提取的白板2或者文档等的图像。当执行诸如直方图校正之类的图像效果时，期望通过从将要提取的图像中获取参数而不是通过使用从原始图像中获取的校正参数来执行校正，以获取更有效的参数。

在本实施例中，从校正图像数据准备亮度(Y)直方图，并根据该直方图执行图像效果处理。

进行图像效果处理所需要的图像效果校正参数是可变的，诸如亮度直方图的最大值、最小值和峰值。

亮度直方图示出存在于图像中的亮度值(Y)的分布，并通过对每个亮度值的像素数目进行计数而产生。图25是示范的亮度直方图的示意说明。在图25中，水平轴表示亮度值(Y)，而垂直轴表示像素数目。为了校正图像效果，有必要确定最大值(Ymax)、最小值(Ymin)和峰值(Ypeak)作为图像效果校正参数。

最大值是示出在其计数数目大于通过对每个亮度值的像素数目进行计数所获取的预设数目的亮度值中的最高亮度值的值，而最小值是示出在其计数数目大于通过对每个亮度值的像素数目进行计数所获取的预设数目的亮度值中的最低亮度值的值。峰值是计数数目变为最大的亮度值。假设峰值表示拍摄目标的背景颜色的亮度值。

为了通过校正图像效果来获取视觉上极好的图像，有必要通过拍摄目标的背景颜色来改变图像效果校正方法，因为校正效果取决于拍摄目标的背景颜色而变化。因此，有必要确定拍摄目标的背景颜色。拍摄目标的背景颜色是从亮度直方图和色差直方图的峰值来确定的。

拍摄目标的背景颜色是三类中的一种。第一类是用例如白板、笔记本等提供的白背景。第二类是用例如黑板等提供的黑背景。第三类是用例如杂志或小册子提供的不同于白色和黑色的背景颜色。

具体而言，拍摄目标的背景颜色是通过下面给出的确定方程的方式来确定的。

(2-a)对白背景颜色的要求

用下面的方程21表示对白背景颜色的要求。当满足方程21的要求时，将背景颜色或者拍摄目标确定为白色(W)。

方程21

对白色的要求＝(|Upeak|＜颜色阈值)

              &(|Vpeak|＜颜色阈值)

              &(Ypeak＞白确定值)

(2-b)对黑背景颜色的要求

用下面的方程22表示对黑背景颜色的要求。当满足方程22的要求时，将拍摄目标的背景颜色确定为黑色(b)。

方程22

对黑色的要求＝(|Upeak|＜颜色阈值)

              &(|Vpeak|＜颜色阈值)

              &(Ypeak＜黑确定值)

当不满足方程21和22的要求时，将拍摄目标的背景颜色确定为不同于白色和黑色的颜色(C)。例如，选择50作为颜色域值，选择128作为白确定域值，并且选择50作为黑确定域值。

基于上述思想，图像处理装置25提取图像效果校正参数，接下来在图26中图解流程图。

图像处理装置25对真实原物部分中的每个亮度(Y)值的像素数目进行计数，并产生如图25所示的亮度直方图。

然后，图像处理装置25从所产生的亮度直方图中获取亮度最大值(Ymax)、亮度最小值(Ymin)和亮度峰值(Ypeak)(S122)。

然后，图像处理装置25使用背景颜色确定要求方程21和22从亮度直方图的峰值(Ypeak、Upeak、Vpeak)确定拍摄目标的背景颜色(步骤S123)。

然后，图像处理装置25将图像效果校正参数和关于拍摄目标的背景颜色的数据存储在存储器23中(步骤S124)。

随后，图像处理装置25使用以上述方式提取的图像效果校正参数来执行图像效果处理(图5中的步骤S24)。

如上面指出的，应该根据背景颜色来改变处理的内容，以有效地执行图像效果处理。

当背景颜色是白色时，如白板或笔记本的情况下，执行如图27A所示的亮度变换。当背景颜色是黑色时，如黑板的情况下，执行如图27B所示的亮度变换。当背景颜色是除白色和黑色之外的颜色时，如杂志或小册子的情况下，执行如图27C所示的亮度变换。在图27A、27B以及27C中，水平轴表示输入像素值而垂直轴表示像素输出值。

当背景颜色是白色时，如图27A所示在峰值之前和之后改变亮度变换线的倾角。例如，选择230作为预定的亮度值，并且将输入的亮度峰值增加到230的亮度级别。然后，将最大值提升到最大亮度值。因此，如图27A所示用两个直线段表示亮度变换线。

当背景颜色是黑色时，如图27B所示执行亮度变换以将峰值带到预定的亮度级别(20)。再次在这种情况下，如图27B所示用两个直线段表示亮度变换线。

当背景颜色是除白色和黑色之外的颜色时，如图27C所示的一般扩展情况下，截断低于最小值的部分和高于最大值的部分，以定义用单个直线段表示的亮度变换线。

可以提前准备背景的亮度(Y)和输出(Y’)的变换表并将其存储在存储卡31中。然后，将通过参考准备好的变换表从输入像素值中确定每个像素的输出值，并将执行图像效果处理。在通过这样的变换处理所获取的图像中，亮像素变得更亮，而暗像素变得更暗，以扩展亮度分布并使该图像具有更好的可视性。

基于上述思想，图像处理装置25根据图28的流程图执行图像效果处理。

然后，图像处理装置25从存储器23中读出所存储的图像效果校正参数(步骤S131)。

图像处理装置25确定背景颜色是否是白色的(步骤S132)。

当确定背景颜色是白色时(步骤S132：YES)，图像处理装置25操作亮度变换，以通过参考图27A而以上述方式来调整亮度直方图，从而使背景更白且更可视(步骤S133)。

当确定背景颜色不是白色时(步骤S132：NO)，图像处理装置25确定背景颜色是否是黑色的(步骤S134)。

当确定背景颜色是黑色时(步骤S134：YES)，图像处理装置25执行亮度变换，以通过参考图27B而以上述方式来调整亮度直方图(步骤S135)。

当确定背景颜色不是色黑时(步骤S134：NO)，图像处理装置25执行亮度变换，以通过参考图27C而以上述方式来调整与拍摄目标的背景颜色相对应的亮度直方图(步骤S136)。

根据本实施例的数字照相机1可以将模式设置到预览模式以及拍摄模式。

当按下操作单元26上的重放键时，操作单元26发送其操作信息到CPU 30。

当CPU 30基于操作信息判决模式被设置到重放模式时，CPU 30根据图29所示的流程图来执行重放处理。

CPU 30从记录在存储卡31中的图像文件中选择由用户选择的单个图像(步骤S141)。

CPU 30从存储卡31中读取所选择的图像文件，并将其写入到存储器23中(步骤S142)。

CPU 30从读取的图像中准备减小的图像(步骤S143)。

CPU 30将减小的图像写入到存储器23中的预览图像存储区中(步骤S144)。因此，通过显示单元24将减小的图像显示为如同在拍摄模式中所显示的预览图像。看到这个显示，用户可以确认该再现的图像。

当用户看到该显示并按下NO键以观看另一图像时，操作单元26发送其操作信息到CPU 30。

根据该操作信息，CPU 30确定是否已经指定下一图像(步骤S145)。

当确定已经指定了下一图像时(步骤S145：YES)，CPU 30选择下一图像(步骤S146)，然后再次执行步骤S142至S144的处理序列。

当确定未指定下一图像时(步骤S145：NO)，CPU 30确定重放模式是否已经结束(步骤S147)。

如果未按下拍摄键，则CPU 30判决重放模式还未结束(步骤S147：NO)并返回到步骤S145(判决是否已经指定下一图像)。

另一方面，当按下拍摄键时，CPU 30从操作单元26接收其操作信息，并判决重放模式已经结束(步骤S147：YES)，然后终止重放处理。

下面将描述文件标头中的参数写入。

在将原始图像和已校正图像二者写为JPEG格式的图像时，在图像文件的标头(可选数据)区中写入原始图像的文件名。当想要再次修改已校正的图像时，当想要再次修改校正图像时，如果其是从原始图像中产生而不是通过校正已修改的图像文件而产生的话，则可以生成具有更少的降级的图像。可以在数字照相机1中执行这个图像编辑。也可以在计算机中执行这个图像编辑。期望使用计算机的图像编辑能够确保更高准确度的图像校正。

此外，由于在执行图像处理时所获取的参数被写入到标头中，所以计算机能够使用原始图像上的参数轻易地再次生成已校正的图像。这可以允许用户轻易地迅速改变先前校正的图像。

标头信息包括数据类型(数据名)、每一块数据的字节数目以及数据内容。

CPU 30随后在记录标头信息的标头信息存储区中存储用于准备直方图图表的原始图像数据的图像文件名、校正图像的图像尺寸、仿射参数以及输入/输出数据组。

该输入/输出数据组是指示输入数据和输出数据之间的关系的数据组，并且对于指示输入-输出关系的直线的斜率发生改变的每个转折点，具有以输入数据从较小的输入数据到较大的输入数据的上升顺序进行分类的输入数据和输出数据组。

假定转折点的输入数据的块是按顺序x1、x2、……、xm从较小一个开始的，并且对应的输出数据块是y1、y2、……、ym，用m组数据(x1，y1)、(x2，y2)、……、(xm，ym)表示这些数据组。在这种情况下，如果输入数据x是xi＜x＜xi+1，则用下面的方程23表示输出数据y。

方程23

y＝y_i·(1-k)+y_i+1·k

其中 $k=\frac{x-x_i}{x_{i+1}-x_i}$

当输入数据和输出数据具有如图27A所示的关系时，例如，CPU30在存储卡31中存储五个数据组(0，0)、(最小值，0)、(峰值、给定亮度值(＝230))、(最大值，255)以及(255，255)。

当输入数据和输出数据具有如图27B所示的关系时，同样，CPU30在存储卡31中存储五个数据组(0，0)、(最小值，0)、(峰值、给定亮度值(＝20))、(最大值，255)以及(255，255)。

当输入数据和输出数据具有如图27C所示的关系时，CPU 30在存储卡31中存储四个数据组(0，0)、(最小值，0)、(峰值，255)、以及(255，255)。

由于记录了这些亮度值的数据组，所以可以描述各种直方图。CPU 30在记录校正图像数据的同时将这样的数据写入到存储卡31中(图5中步骤S26)。

接下来，将描述校正图像的编辑处理。

可能存在这样的情况：在暂时保存图像数据之后，想要再次校正该图像数据。在这种情况下，优选地在上述时间对原始图像数据进行校正，以获取更少图像降级的处理结果。

当用户操作控制键来指定编辑模式时，CPU 30根据图31所示的流程图来执行图像编辑处理。

CPU 30根据从操作单元26发送的操作信息来选择校正图像(步骤S151)。

然后，CPU 30从存储卡31的标头信息存储区中读取标头信息(步骤S152)。

然后，CPU 30读取原始图像(步骤S153)。

CPU 30发送读出的校正图像、标头信息以及原始图像到图像处理装置25，并控制图像处理装置25以便于再次执行图像校正(步骤S154)。

图像处理装置25从CPU 30获取校正图像、标头信息和原始图像，并准备投影变换图像(步骤S155)。图像处理装置25发送所准备的投影变换图像到显示单元24，而该显示单元24又在液晶监视器12上显示该图像。

图像处理装置25对所准备的投影变换图像执行图像效果处理，根据图28所示的流程图(步骤S156)。

当用户操作投影变换键和旋转校正键中的任一个时，操作单元26发送其操作信息到CPU 30。CPU 30获取操作信息并控制图像处理装置25以便于执行手动投影校正处理。

图像处理装置25根据图24所示的流程图执行手动投影校正处理(步骤S157)。

图像处理装置25将经历手动投影校正处理的校正图像以及标头信息写入到存储卡31中(步骤S158)，然后终止该编辑处理。

根据本实施例，如上所示，图像处理装置25获取拍摄目标(白板2)的图像轮廓从而获取拍摄目标的形状，从拍摄目标的四边形的顶点位置获取投影参数，然后执行拍摄目标的原始图像的投影变换。

如果拍摄目标是四边形，因此，可以自动地且轻易地校正图像失真。结果是，能够获取与拍摄目标的原始图像相同的高度可识别图像。

即使当拍摄目标是纵横比不清楚的四边形并且以任意的视点和姿势对任意的拍摄目标进行拍摄时，也能够通过使用数字照相机1的焦距来校正图像失真。

当使用被用作预览图像的具有低分辨率的降级图像来获取投影参数时，可以减少算术操作的数目，使得可以有效地执行该算术操作，并且能够高速执行图像处理。

因为本实施例以这样一种方式来配置：当从拾取图像中提取多个四边形时，优先选择最外面的四边形，并且通过操作NO键、光标键等来以从较大四边形到较小四边形的下降顺序来选择四边形，所以，即使有拍摄目标的多个轮廓候选，也能够迅速获取拍摄目标的轮廓，这使得能够使用简单方案获取高度可识别的图像。

从经历失真校正的图像获取图像处理校正参数，能够更好地执行图像效果校正。

各种模式可以用于执行作出本发明，并且本实施例不是限制性的。

例如，虽然用于准备校正图像的参数保存在实施例中的校正图像的文件中，但是也可以将投影参数保存在原始图像的文件中。将参数保存在原始图像文件中，可以轻易地从原始图像生成校正图像，而不需要保存校正图像。

这种情况下的标头信息仅包括如图32所示的图像尺寸、投影参数和图像效果校正参数。在执行拍摄的时候，数字照相机1立即执行提取投影参数的处理，而不保存变换图像。

图33所示的流程图中图解了这个拍摄处理(2)的内容。

图像处理装置25准备投影变换的图像(步骤S161至S169)，并执行图像调整、变换图像的图像效果处理以及标头的校正数据的生成(步骤S170至S172)。

CPU 30准备如图32所示的标头信息(步骤S173)。

图像处理装置25压缩原始图像数据，并且CPU 30将所准备的标头信息以及压缩的原始图像数据一起写入到存储卡31中(步骤S174)。

重新编辑处理的内容不同于图31所示的那些内容。也就是说，对原始图像而不是对校正图像执行重新编辑处理。图34所示的流程图中图解了重新编辑处理的内容。

CPU 30选择原始图像并从原始图像的文件中读取标头信息(步骤S181和S182)。

图像处理装置25立即准备投影校正图像(步骤S183)，然后执行图像效果处理(步骤S184)。

CPU 30和图像处理装置25执行手动投影校正处理，在结束校正之后基于已改变的投影校正参数来生成标头信息，并将所生成的标头信息再次写入到原始图像的文件中(步骤S185至S187)。

在本实施例中，通过数字照相机1执行图像校正。然而，可以通过计算机来执行图像校正。在这种情况下，计算机与计算机接口单元27相连，并且计算机根据图31所示的流程图来执行图像编辑处理。当计算机执行这样的图像编辑处理时，由于计算机具有鼠标等并使得操作信息的输入比数字照相机1更容易，所以提高了可操作性。由于计算机的显示单元通常大于数字照相机1的液晶监视器12，所以用户可以更详细地观看图像，并可以以更高的准确度执行图像校正。

在本实施例中，当不能获取四边形时，生成告警。可以以下面的方式变形本实施例：显示所拾取的图像并且通过使用控制键等允许用户指定四边形的四个点，而不是生成告警。可以使用该四个指定的点来获取仿射参数。

在实施例的前述描述中，提前将程序存储在存储器中。然而，用于促使计算机作为装置的所有或部分进行操作或者执行上述处理的程序被存储在生产或安装在计算机中的计算机可读记录介质，诸如软盘、CD-ROM(压缩盘只读存储器)、DVD(数字通用盘)或者MO(磁光盘)中，以便计算机可以以如上所述的各种方式操作或者执行上述步骤。

可以将程序存储在因特网上的服务器的磁盘装置等中，以便可以通过在其上对其进行多路复用的载波来将该程序下载到计算机中。

在不脱离本发明的广阔精神和范围内可以对实施例做出各种实施例和改变。上述实施例是用于说明本发明的，而不限制本发明的范围。由所附权利要求而不是实施例来表示本发明的范围。在本发明的权利要求的等价含义内以及在权利要求内进行的各种变形都被认为是在本发明的范围内。

Claims (12)

1、一种对拍摄目标进行拍摄的成像装置，包括：

成像单元(21，22)，其对所述拍摄目标(2)进行拍摄；以及

图像处理单元(25，30)，其对通过由所述成像单元进行拍摄所获取的所述拍摄目标的图像执行图像处理，以校正所述拍摄目标的所述图像的失真，并且所述图像处理单元(25，30)包括：

形状获取单元，其从该图像中获取所述拍摄目标的所述图像的轮廓，并从所述获取的轮廓中获取所述图像的形状，

投影参数获取单元，其通过将所述形状获取单元所获取的所述图像的形状与真实拍摄目标的形状相关联，来从所述拍摄目标的所述图像的顶点位置上获取指示所述拍摄目标的所述图像和所述真实拍摄目标之间的关系的投影参数；以及

图像变换单元，其通过使用由所述投影参数获取单元所获取的所述投影参数来执行所述拍摄目标的所述图像的图像变换。

2、根据权利要求1所述的成像装置，其中所述投影参数获取单元在存在所述拍摄目标的空间中设置三维(U，V，W)坐标系统，规定将所述拍摄目标投影到所述空间中的投影表面，在所述投影表面上设置(X，Y，Z)坐标系统，并且通过将方程26中给出的关系表达式和方程27中给出的投影变换方程相关联来获取由方程28中给出的投影参数所构成的投影变换方程，其中所述方程26由方程24和25中给出的关系表达式推出，所述拍摄目标是矩形的，以及

所述图像变换单元基于方程28中给出的所述投影变换方程来执行所述拍摄目标的所述图像的图像变换：

方程24

P＝S+m·A+n·B

其中，P：所述拍摄目标的预定点的坐标(矢量)，

S：(U，V，W)坐标系统的原点和所述拍摄目标之间的距离(矢量)，

A和B：所述拍摄目标的边的长度(矢量)；

m：所述矢量A的系数(0≤m≤1)，以及

n：所述矢量B的系数(0≤n≤1)，

方程25

$\left\{\begin{array}{c}\mathrm{Su}=k1\·x0\\ \mathrm{Sv}=k1\·y0\\ \mathrm{Sw}=k1\·f\end{array}\right.$

$\left\{\begin{array}{c}\mathrm{Au}=k1\·\{x1-x0+\mathrm{\α}\·x1\}\\ \mathrm{Av}=k1\·\{k1-y0+\mathrm{\α}\·y1\}\\ \mathrm{Aw}=k1\·\mathrm{\α}\·f\end{array}\right.$

$\left\{\begin{array}{c}\mathrm{Bu}=k1\·\{x3-x0+\mathrm{\β}\·x3\}\\ \mathrm{Bv}=k1\·\{y3-y0+\mathrm{\β}\·y3\}\\ \mathrm{Bw}=k1\·\mathrm{\β}\·f\end{array}\right.$

k1＝Sw/t

其中Su、Sv和Sw：所述三维(U，V，W)坐标系统中的所述矢量S的长度，

Au、Av和Aw：所述矢量A的长度，

f：所述成像单元的镜头的焦距，以及

α和β：对应于所述矢量A和B的系数，

方程26

$\left\{\begin{array}{c}x=\frac{m\·(x1-x0+\mathrm{\α}\·x1)+n\·(x3-x0+\mathrm{\β}\·x3)+x0}{1+m\·\mathrm{\β}+n\·\mathrm{\α}}\\ y=\frac{m\·(y1-y0+\mathrm{\α}\·y1)+n\·(y3-y0+\mathrm{\β}\·y3)+y0}{1+m\·\mathrm{\α}+n\·\mathrm{\β}}\end{array}\right.$

$\mathrm{\α}=\frac{(x0-x1+x2-x3)\·(y3-y2)-(x3-x2)\·(y0-y1+y2-y3)}{(x1-x2)\·(y3-y2)-(x3-x2)(y1-y2)}$

$\mathrm{\β}=\frac{(x1-x2)\·(y0-y1+y2-y3)-(x0-x1+x2-x3)\·(y1-y2)}{(x1-x2)\·(y3-y2)-(x3-x2)(y1-y2)}$

其中，x和y：所述拍摄目标的所述图像的各个点在所述投影表面上的坐标，以及

x0、x1、x2、x3、y0、y1、y2和y3：指示被投影在所述投影表面上的所述拍摄目标的所述图像的顶点位置(x0，y0)、(x1，y1)、(x2，y2)和(x3，y3)的坐标值，

方程27

$(x^{\′},y^{\′},x^{\′})=(u,v,1)\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right)$

其中，x′、y′和z′：被投影到所述投影表面上的所述拍摄目标的所述图像的各个点的坐标，以及

x0、x1、x2、x3、y0、y1、y2和y3：指示被投影在所述投影表面上的所述拍摄目标的所述图像的顶点位置(x0，y0)、(x1，y1)、(x2，y2)和(x3，y3)的坐标值，

方程28

$(x^{\′},y^{\′},z^{\′})=(m,n,1)\left(\begin{array}{ccc}x1-x0+\mathrm{\α}\·x1& y1-y0+\mathrm{\α}\·y1& \mathrm{\α}\\ x3-x0+\mathrm{\β}\·x3& y3-y0+\mathrm{\β}\·y3& \mathrm{\β}\\ x0& y0& 1\end{array}\right)$

3、根据权利要求1所述的成像装置，其中所述图像处理单元(25，30)基于所述成像单元的镜头的焦距和所述拍摄目标的所述图像的所述顶点位置来获取所述拍摄目标的所述图像的尺寸，并且基于通过所述投影参数获取单元所获取的所述投影参数来调整所述获取的图像的尺寸。

4、根据权利要求1所述的成像装置，其中所述形状获取单元通过减小所述拍摄目标的所述图像的分辨率来生成尺寸减小的图像。

5、根据权利要求1所述的成像装置，还包括存储单元(31)，其存储所述拍摄目标的图像数据。

6、根据权利要求5所述的成像装置，其中所述存储单元(31)存储通过由所述成像单元(21，22)所拍摄获取的图像处理之前的图像数据，作为所述拍摄目标的所述图像数据。

7、根据权利要求5所述的成像装置，其中所述存储单元(31)存储经历所述图像处理单元(25，30)中的图像处理的图像数据作为所述拍摄目标的所述图像数据。

8、根据权利要求1所述的成像装置，还包括显示单元(24)，其显示所述拍摄目标的所述图像。

9、根据权利要求8所述的成像装置，其中所述图像处理单元(25，30)在所述显示单元(24)上显示所述拍摄目标的所述图像，作为预览图像，该预览图像具有比要经历图像处理的图像更低的分辨率。

10、一种对通过拍摄所获取的原物的图像的失真进行校正的图像处理装置，包括：

形状获取单元(25，30)，其从所述原物的图像获取所述原物的图像的轮廓，并从所获取的轮廓获取所述原物的图像的形状；

投影参数获取单元(25，30)，其从通过所述形状获取单元所获取的所述原物的图像的形状中获取指示所述原物的图像的形状与真实原物的形状之间的关系的投影参数；以及

图像变换单元(25，30)，其通过使用由所述投影参数获取单元所获取的所述投影参数来执行所述原物的图像的图像变换。

11、一种对通过对拍摄目标进行拍摄而获取的所述拍摄目标的图像执行图像处理以校正所述拍摄目标的所述图像的失真的图像处理方法，包括：

步骤(S19，S31)，其中从所述拍摄目标的所述图像中获取所述拍摄目标的所述图像的轮廓，并且从所述获取的轮廓中获取所述图像的形状；

步骤(S19，S37)，其中通过将所述获取的图像形状与真实拍摄目标的形状相关联来从所述拍摄目标的所述图像的顶点位置获取指示所述拍摄目标的所述图像和所述真实拍摄目标之间的关系的投影参数；以及

步骤(S21)，其中通过使用所述获取的投影参数来对所述图像执行图像变换。

12、一种记录介质，存储有用于使计算机执行以下操作的程序：

从通过对拍摄目标进行拍摄所获取的所述拍摄目标的图像中获取所述拍摄目标的所述图像的轮廓，并且从所述获取的轮廓中获取所述拍摄目标的所述图像的形状的进程；

通过将所述获取的图像形状与真实拍摄目标的形状相关联来从所述拍摄目标的所述图像的顶点位置获取指示所述拍摄目标的所述图像和所述真实拍摄目标之间的关系的投影参数的进程；以及

通过使用所述获取的投影参数来以执行所述图像的图像变换以校正所述拍摄目标的所述图像的失真的进程。

Images