CN101287066A - 摄像装置 - Google Patents

Abstract

本发明提供一种具有失真校正单元的摄像装置，能够在摄像后在摄像装置内立即校正摄像图像，用于校正的计算公式也容易，且计算量也少，不会给摄像装置和摄像者增加负担。本发明的摄像装置包括摄像单元、显示单元、主控制单元、失真校正单元(10)、主存储单元和辅助存储单元。失真校正单元(10)包括轮廓检索单元(11)、图像校正单元(15)和校正控制单元(16)。轮廓检索单元(11)包括像素数变换单元(21)、色彩空间变换单元(22)、分割单元(23)、直线检索单元(24)和轮廓直线选择单元(25)。图像校正单元(15)包括交点计算单元(31)、几何投影变换公式计算单元(32)、修整单元(33)和尺寸调整单元(34)、整数化单元(35)、坐标变换单元(36)和像素内插单元(37)。

Description

摄像装置

技术领域

本发明涉及具有失真校正单元的摄像装置。

背景技术

近年来，摄像装置变为小型化，使很多人能够愉快地享受它。另外，摄像装置的利用方法也在多样化。可以设想出各种各样的摄像环境，例如，对如在会议等中使用的白板或时刻表那样轮廓为矩形且为平面的被摄像体进行摄像的情况，和对如大厦、建筑物那样立体的被摄像体进行摄像的情况等。

通常，在从倾斜的角度对被摄像体进行摄像的情况下，由于距摄像的场所近的地方拍摄的影像大，而离被摄像体越远拍摄的影像就越小，所以在摄像图像中产生失真，摄像图像变得不清楚。因此，有关具有校正这种失真的功能的摄像装置的提案和销售很多。

例如，在特开平10-210359号公报中，公开有下述发明：在摄像装置中具有测量部。该测量部对距被摄像体的距离和相对于基准面的倾斜角进行测量。使用该测量部所测量的测量值对摄像图像的失真进行校正。

但是，在如上所述的现有摄像装置中，由于必须设置测量部，所以存在摄像装置的框体大型化的问题。由于在近年来的小型化的摄像装置中难以设置测量部，所以能够使用设置测量部进行图像校正的图像校正方法的摄像装置受到限制。另外，为了正确进行校正，使用复杂的校正方式的情况也有很多，给摄像装置施加负荷的情况也存在。

发明内容

本发明是鉴于上述的现有技术存在的问题而提出的，其目的在于提供一种具有失真校正单元的摄像装置，该装置能够在摄像后在摄像装置内立即校正摄像图像，用于校正的计算公式也容易，且计算量也少，不会给摄像装置增加负担，也不会给摄像者增加负担。

本发明的摄像装置的特征在于包括：摄像单元，对被拍摄体进行摄像；显示单元，显示所拍摄的摄像图像；主控制单元，对各种处理操作进行控制；失真校正单元，对摄像图像的失真进行校正；主存储单元，对由所述摄像装置拍摄的图像数据和所述校正控制单元的处理操作的处理数据进行保存；可拆卸的辅助存储单元，保存摄像图像和校正图像。所述失真校正单元包括轮廓检索单元、图像校正单元、和对所述轮廓检索单元和图像校正单元进行控制的校正控制单元。所述轮廓检索单元包括：像素数变换单元，对摄像图像的像素数进行变换；色彩空间变换单元，对色彩空间进行变换；分割单元，在纵向或者横向上对图像进行等分分割；直线检索单元，对轮廓直线进行检索；轮廓直线选择单元，从由所述直线检索单元检索的多个轮廓直线的候选中选择最优的候选以使所述显示单元进行显示。所述图像校正单元包括：交点计算单元，对轮廓直线的交点进行计算；几何投影变换公式计算单元，计算几何投影变换公式；修整图像的修整单元和调整尺寸的尺寸调整单元；整数化单元，对由所述几何投影计算单元计算的数值进行整数化；坐标变换单元，通过坐标变换进行图像校正；像素内插单元，进行像素内插。

另外，其特征在于，所述轮廓检索单元执行在由所述像素数变换单元缩小像素数的图像中检索轮廓直线、和获得所检索的轮廓直线中的端点信息的处理。

另外，其特征在于，所述失真校正单元执行：矩形部提取校正模式的处理，由所述轮廓检索单元检索由四边形成的矩形的轮廓直线以进行校正；以及直线部提取校正模式的处理，由所述轮廓检索单元检索少于四边的直线以进行校正。

另外，其特征在于，所述像素数变换单元进行将所述摄像图像的像素数缩小变换为320*240像素的处理。

另外，其特征在于，所述轮廓直线选择单元通过摄像者的操作将显示在所述显示单元上的轮廓直线的预定的候选替换为其它的轮廓直线的候选，将其显示在显示单元上。

另外，其特征在于，所述轮廓直线选择单元将纵向的直线和横向的直线以不同颜色的直线显示在所述显示单元上。

根据上述的发明，本发明能够提供一种具有失真校正单元的摄像装置，该装置可以在摄像后在摄像装置内立即校正摄像图像，用于校正的计算公式也容易且计算量也少，而且不会给摄像装置增加负担，也不会给摄像者增加负担。

附图说明

图1为摄像装置的简略框图；

图2为失真校正单元的功能框图；

图3为表示摄像装置的失真校正处理中的处理整体流程的流程图；

图4为说明矩形部提取校正模式中的直线显示切换处理的补充图；

图5为表示保存方式选择画面显示处理中的显示画面的具体例子的图；

图6为说明直线部提取校正模式的双向校正模式中的直线显示切换处理的补充图；

图7为说明直线部提取校正模式的纵向校正模式中的直线显示切换处理的补充图；

图8为说明直线部提取校正模式的横向校正模式中的直线显示切换处理的补充图；

图9为矩形部提取校正模式中的轮廓直线识别判断处理的流程图；

图10为直线部提取校正模式的双向校正模式中的轮廓直线识别判断处理的流程图；

图11为直线部提取校正模式的纵向校正模式中的轮廓直线识别判断处理的流程图；

图12为直线部提取校正模式的横向校正模式中的轮廓直线识别判断处理的流程图；

图13为缩小像素图像校正显示处理的流程图；

图14为原图像校正保存处理的流程图；

图15为说明交点计算处理的补充图；

图16为表示几何投影变换公式计算处理中的被摄像体和图像的关系的补充图；

图17为说明几何投影变换公式计算处理中的矩形部校正的补充图；

图18为说明尺寸调整处理的补充图；

图19为说明直线部提取校正模式中的修整处理和尺寸调整处理的补充图；

图20为计算整数化处理中的条件的流程图；

图21为坐标变换处理中用于对全部像素进行坐标变换的流程图；

图22为说明像素内插处理的流程图；

图23为根据矩形部提取校正模式的失真校正后的图像；

图24为根据直线部提取校正模式的双向校正模式的失真校正后的图像；

图25为根据直线部提取校正模式的纵向校正模式的失真校正后的图像；

图26为对根据矩形部提取校正模式的校正进行说明的摄像图像和失真校正后的图像。

具体实施方式

下面，根据附图详细说明用于实施本发明的优选方式的摄像装置。如图1所示，本实施方式的摄像装置1包括：摄像单元2，包括调焦透镜、变倍率透镜和摄像传感器(CCD或CMOS)等各种光学系统；操作单元3，包括上下/左右按钮、OK按钮和快门按钮等；显示单元4，用来显示摄像图像和菜单画面等，由显示器(LCD等)形成。

另外，本实施方式的摄像装置1包括：主控制单元5，对由摄像单元2进行摄像的处理、对保存摄像图像的处理，以及对图像校正的处理进行控制；主存储单元6，对由摄像单元2拍摄的图像数据、和在主控制单元5进行预定处理时产生的各种处理数据进行存储；辅助存储单元7，其可拆卸，且为在个人电脑等外部机器中也可使用的存储卡等。

另外，通常在摄像装置1从倾斜的位置对被摄像体进行摄像的情况下，由于距摄像装置近的位置拍摄得大，远的位置拍摄得小，所以摄像图像产生梯形失真。摄像装置1包括对这种梯形失真进行校正的失真校正单元10，摄像者能够在摄像装置1中对所摄像的图像进行校正。

下面，对本实施方式的摄像装置1中的失真校正单元进行描述。如图2所示，本实施方式的失真校正单元10包括检索摄像图像的被摄像体的轮廓直线的轮廓检索单元11、图像校正单元15、和对这些单元进行控制的校正控制单元16。

该轮廓检索单元11包括：像素变换单元21，执行将摄像图像的像素数缩小变换为320*240像素(76,800像素)的处理；色彩空间变换单元22，将RGB形式的色彩空间变换为YUV形式的色彩空间或者进行相反的变换；分割单元23，将摄像图像纵向或者横向分割；直线检索单元24，执行轮廓直线的检索；轮廓直线选择单元25，从检索的轮廓直线的候选中选择最优的轮廓直线的候选。

在此，YUV形式的色彩空间是指，由作为亮度信号的Y信号、作为亮度信号与蓝色成分之差的U信号、和作为亮度信号与红色成分之差的V信号的三个信号表示颜色的形式，也被称为Ycbcr。该形式利用人眼对彩度不敏感的特性，重点地再现明亮，对于颜色，是一种使用与黄色的色差的形式，由于与RGB形式相比，数据量少，校正时的计算也简单，所以在该校正时使用。

另外，图像校正单元15包括：交点计算单元31，计算从摄像图像中提取的轮廓直线的交点；几何投影变换公式计算单元32，根据光学成像原理计算几何投影变换公式；修整单元33；尺寸调整单元34；整数化单元35，将投影变换后的数值整数化；坐标变换单元36，通过坐标变换，对图像进行校正；以及像素内插单元37。

下面，使用图3的流程图对本实施方式中的失真校正单元10的处理流程进行描述。如果摄像者对被拍摄体进行摄像(步骤S101)、切换到摄像图像显示模式，则校正控制单元16执行使存储在主存储单元6或辅助存储单元7的摄像图像显示在显示单元4上的图像显示处理(步骤S105)，摄像者从显示单元4显示的摄像图像中选择进行失真校正的照片(步骤S110)。

如果摄像者选择了进行失真校正的照片(步骤S110)，则校正控制单元16执行校正模式选择画面显示处理，将用来选择在矩形部提取校正模式和直线部提取校正模式中以哪一种模式进行校正的选择画面显示在显示单元4上(步骤S115)。摄像者按照进行校正的摄像图像的被拍摄体的形状来选择校正模式。

另外，矩形部提取校正模式是一种对如白板和名片那样被拍摄体为矩形、且矩形轮廓可被提取的摄像图像进行校正的模式；且校正之后的图像为只有上面的轮廓之内的图像，而轮廓之外的图像则全部被删除。直线部提取校正模式中的双向校正模式也是一种对如大厦等那样矩形部的轮廓可被提取的摄像图像进行校正的模式。另一方面，直线部提取校正模式中的纵向校正模式和横向校正模式是一种对如大厦等那样的被拍摄体为非矩形、需要提取直线部作为轮廓来进行校正的摄像图像，或者由于图像只发生了单方向失真而只需要单方向校正，或者为了保持图像的立体感而由摄像者自己决定只需要单方向校正进行校正的模式；另外，直线部提取校正模式与矩形部提取校正模式不同的是，通过本模式校正后的图像为，尽量保留原来图像中的所有信息如除了建筑之外的风景或人像等；所以，矩形部校正模式主要用在白板或者名片等文字信息的摄影场合，而直线部提取校正模式则用在建筑等风景的摄影场合。

在校正模式选择画面显示处理(步骤S115)中，在矩形部提取校正模式被摄像者选择的情况下(步骤S120)，校正控制单元16使轮廓检索单元11执行从变换为缩小像素数的校正对象图像中检索轮廓直线的轮廓直线检索处理，并执行轮廓直线识别判断处理，判断从校正对象图像中能否识别由构成矩形的四边组成的轮廓直线(步骤S200)。在该轮廓直线识别判断处理(步骤S200)中，在轮廓检索单元11能够识别轮廓直线的情况下，校正控制单元16执行端点信息保存处理，将被检索的多个轮廓直线的端点作为端点信息保存在主存储单元6中(步骤S510)。另外，在轮廓直线识别判断处理(步骤S200)中，在轮廓检索单元11不能识别轮廓直线的情况下，校正控制单元16使显示单元4显示不能进行校正的显示，执行出错处理，结束校正(步骤S150)。

在端点信息保存处理(步骤S510)之后，如图4(a)所示，轮廓直线选择单元25使显示单元4以点来显示形成轮廓直线候选的多条直线的端点信息，同时在这些多个端点信息中选择端点间隔最长的端点信息，将该选择的端点信息的端点间隔作为轮廓直线的最优候选来描绘直线而显示。另外，如图4(b)所示，轮廓直线选择单元25执行下述的显示切换处理(步骤S515)以使摄像者选择形成被拍摄体轮廓的直线，即，如果上下按钮被摄像者操作，则执行显示切换处理(步骤S515)：在横向上将当前描绘的连接预定端点间隔的红色直线切换为描绘连接其它端点间隔的红色直线的显示，将其显示在显示单元4中；如果左右按钮被摄像者操作，则执行显示切换处理(步骤S515)：在纵向上将当前描绘的连接预定端点间隔的绿色直线切换为描绘连接其它端点间隔的绿色直线的显示，将其显示在显示单元4中。

在直线显示切换处理之后(步骤S515)，校正控制单元16执行OK按钮判断处理，判断OK按钮是否被摄像者按压(步骤S550)，如果判断为OK按钮被按压，则执行缩小像素数图像校正显示处理，在缩小像素数为320*240的像素的图像中进行失真校正，将失真校正后的图像以缩小像素数原样显示在显示单元4的整个画面上(步骤S600)。

在缩小像素数图像校正显示处理(步骤S600)之后，校正控制单元16执行OK按钮判断处理(步骤S710)，在判断为OK按钮被按压的情况下，如图5所示，执行保存方式选择画面显示处理，将“覆盖保存”、“另存”、“取消”的图标作为保存方式选择画面显示在显示单元4中(步骤S720)。

另外，在OK按钮判断处理(步骤S550，步骤S710)中，在OK按钮未被按压的情况下，如果菜单按钮被按压或者在什么都没有做的状态下经过1分钟(步骤S555)，则校正控制单元16返回校正模式选择画面显示处理(步骤S115)。

在保存方式选择画面显示处理(步骤S720)之后，校正控制单元16执行对摄像者选择哪个图标进行判断的选择图标判断处理(步骤S730)。另外，在校正了摄像时的像素数的图像后，根据在选择图标判断处理(步骤S730)中判断的保存方式，执行原图像校正保存处理，将校正后的图像保存到辅助存储单元7(步骤S800)，返回图像显示处理(步骤S105)。另外，在选择图标判断处理(步骤S730)中，在“取消”图标被摄像者选择的情况下，校正控制单元16执行校正模式选择画面显示处理(步骤S115)。

在校正模式选择画面显示处理(步骤S115)中，在直线部提取校正模式被摄像者选择的情况下(步骤S125)，为了从双向校正模式、纵向校正模式、横向校正模式中选择校正方式，校正控制单元16执行校正方式选择画面显示处理，将校正方式选择画面显示在显示单元4上(步骤S130)。

在校正方式选择画面显示处理(步骤S130)中，在双向校正被摄像者选择的情况下(步骤S135)，校正控制单元16使轮廓检索单元11执行从变换为缩小像素数的校正对象图像中检索轮廓直线的轮廓直线检索处理，并执行轮廓直线识别判断处理，对从校正对象图像中能否识别纵向和横向的轮廓直线进行判断(步骤S300)。在该轮廓直线识别判断处理(步骤S300)中，在轮廓检索单元11能够识别轮廓直线的情况下，校正控制单元16执行端点信息保存处理，将检索的多个轮廓直线的端点作为端点信息保存在主存储单元6中(步骤S520)。另外，在轮廓直线识别判断处理(步骤S300)中，在轮廓检索单元11不能识别轮廓直线的情况下，校正控制单元16执行出错处理(步骤S150)。

在端点信息保存处理(步骤S520)之后，如图6(a)所示，轮廓直线选择单元25使显示单元4以点来显示成为候选的轮廓直线的多条直线的端点信息，同时从这些端点信息中选择端点间距最长的端点信息，将该选择的端点信息的端点间隔作为轮廓直线的一个候选来描绘直线而显示。另外，如图6(b)所示，轮廓直线选择单元25执行下述的显示切换处理(步骤S525)以使摄像者选择作为校正基准的直线，即，如果上下按钮被摄像者操作，则执行显示切换处理(步骤S525)：在横向上将当前描绘的连接预定端点间隔的红色直线切换到描绘连接其它端点间隔的红色直线的显示，将其显示在显示单元4中；如果左右按钮被摄像者操作，则执行显示切换处理(步骤S525)：在纵向上将当前被描绘的连接预定端点间隔的绿色直线切换到描绘连接其它端点间隔的绿色直线的显示，将其显示在显示单元4中。

直线显示切换处理之后(步骤S525)，与矩形部提取校正模式相同，校正控制单元16按照OK按钮判断处理(步骤S550)、缩小像素数图像校正显示处理(步骤S600)、OK按钮判断处理(步骤S710)、保存方式选择画面显示处理(步骤S720)、选择图标判断处理(步骤S730)、原图像校正保存处理(步骤S800)的顺序执行各处理。

另外，在校正方式选择画面显示处理(步骤S130)中，在纵向校正模式被摄像者选择的情况下(步骤S140)，校正控制单元16使轮廓检索单元11执行从变换为缩小像素数的校正对象图像中检索纵向的轮廓直线的轮廓直线检索处理，并执行轮廓直线识别判断处理，判断从校正对象图像中能否识别纵向的轮廓直线(步骤S400)。在该轮廓直线识别判断处理(步骤S400)中，在轮廓检索单元11能够识别纵向的轮廓直线的情况下，校正控制单元16执行端点信息保存处理，将检索的多个轮廓直线的端点作为端点信息保存在主存储单元6中(步骤S530)。另外，在轮廓直线识别判断处理(步骤S400)中，在轮廓检索单元11不能识别轮廓直线的情况下，校正控制单元16执行出错处理(步骤S150)。

在端点信息保存处理(步骤S530)之后，如图7(a)所示，轮廓直线选择单元25使显示单元4以点来显示成为候选的轮廓直线的纵向直线的端点信息，同时从这些端点信息中选择端点间距最长的端点信息，将该选择的端点信息的端点间隔作为轮廓直线的一个候选来描绘并显示。另外，如图7(b)所示，如果左右按钮被摄像者操作，则轮廓直线选择单元25执行显示切换处理(步骤S535)：从当前被描绘的连接预定的端点间隔的绿色直线切换到描绘连接其它端点间隔的绿色直线的显示，将其显示在显示单元4中，使摄像者选择作为校正基准的直线。

在直线显示切换处理之后(步骤S535)，与上述各校正模式相同，校正控制单元16按照OK按钮判断处理(步骤S550)、缩小像素数图像校正显示处理(步骤S600)、OK按钮判断处理(步骤S710)、保存方式选择画面显示处理(步骤S720)、选择图标判断处理(步骤S730)、原图像校正保存处理(步骤S800)的顺序执行各处理。

而且，在校正方式选择画面显示处理(步骤S130)中，在横向校正模式被摄像者选择的情况下(步骤S145)，校正控制单元16使轮廓检索单元11执行从变换为缩小像素数的校正对象图像中检索横向的轮廓直线的轮廓直线检索处理，并执行轮廓直线识别判断处理，对从校正对象图像中能否识别横向的轮廓直线进行判断(步骤S450)。在该轮廓直线识别判断处理(步骤S450)中，在轮廓检索单元11能够识别横向的轮廓直线的情况下，校正控制单元16执行将检索的多个轮廓直线的端点作为端点信息保存在主存储单元6中的端点信息保存处理(步骤S540)。另外，在轮廓直线识别判断处理(步骤S450)中，在轮廓检索单元11不能识别轮廓直线的情况下，校正控制单元16执行出错处理(步骤S150)。

在端点信息保存处理(步骤S540)之后，如图8(a)所示，轮廓直线选择单元25使显示单元4以点来显示成为候选的轮廓直线的横向直线的端点信息，同时从这些端点信息中选择端点间距最长的端点信息，将该选择的端点信息的端点间隔作为轮廓直线的一个候选来描绘直线而显示。另外，如图8(b)所示，如果上下按钮被摄像者操作，则轮廓直线选择单元25执行显示切换处理(步骤S545)：从当前被显示的连接预定端点间隔的红色直线切换到描绘连接其它端点间隔的红色直线的显示，将其显示在显示单元4中，使摄像者选择作为校正基准的直线。

在直线显示切换处理之后(步骤S545)，与上述各校正模式相同，校正控制单元16按照OK按钮判断处理(步骤S550)、缩小像素数图像校正显示处理(步骤S600)、OK按钮判断处理(步骤S710)、保存方式选择画面显示处理(步骤S720)、选择图标判断处理(步骤S730)、原图像校正保存处理(步骤S800)的顺序执行各处理。

下面，使用图9的流程图对图3中的矩形部提取校正模式时的轮廓直线识别判断处理(步骤S200)进行描述。校正控制单元16执行如下处理：像素数缩小处理，使像素数变换单元21将作为校正对象的摄像图像变换为320*240像素的缩小像素数图像(步骤S201)；色彩空间变更处理，使色彩空间变换单元22将缩小像素数的图像的色彩空间变换为YUV形式(步骤S204)；和横向分割处理，使分割单元23在横向上三等分分割该图像(步骤S206)。

在横向分割处理(步骤S206)之后，校正控制单元16首先设置Flag＝0，使直线检索单元24检索在校正对象图像的左侧1/3区域内长度为图像高度的1/3以上的直线，执行左区域直线识别判断处理，判断能否识别成为对象的直线(步骤S208)。在该左区域直线识别判断处理(步骤S208)中判断为能够识别成为对象的直线的情况下，校正控制单元16执行左区域直线保存处理，将识别的一条或多条直线作为轮廓直线的候选，并将该直线的端点信息保存在主存储单元6中(步骤S210)。

另外，在左区域直线识别判断处理(步骤S208)中判断为不能识别成为对象的直线的情况下，校正控制单元16执行Flag加1的Flag加法处理(步骤S214)，采用图像的左框作为轮廓直线，并执行左区域直线保存处理，将端点信息保存在主存储单元6中(步骤S210)。

另外，校正控制单元16使直线检索单元24检索在校正对象图像的右侧1/3区域内长度为图像高度的1/3以上的直线，执行右区域直线识别判断处理，判断能否识别成为对象的直线(步骤S212)。在该右区域直线识别判断处理(步骤S212)中判断为能够识别成为对象的直线的情况下，校正控制单元16执行右区域直线保存处理，将识别的一条或多条直线作为候选的轮廓直线，并将该直线的端点信息保存在主存储单元6中(步骤S216)。然后，校正控制单元16执行纵向分割处理，使分割单元23在纵向上三等分分割该图像(步骤S218)。

另外，在右区域直线识别判断处理(步骤S212)中判断为不能识别成为对象的直线的情况下，校正控制单元16执行Flag加1的Flag加法处理(步骤S220)，并执行Flag判断处理，判断Flag的总和是否未超过2(步骤S222)。在该Flag判断处理(步骤S222)中Flag的总和超过2的情况下，校正控制单元16执行出错处理(步骤S224)，在Flag的总和为1以下的情况下，采用图像的右框作为轮廓直线，并执行右区域直线保存处理，将端点信息保存在主存储单元6中(步骤S216)。

在纵向分割处理(步骤S218)之后，校正控制单元16使直线检索单元24检索能否识别在上侧1/3区域内长度为图像宽度的1/3以上的直线，执行上区域直线识别判断处理，判断能否识别成为对象的直线(步骤S226)。在该上区域直线识别判断处理中判断为能够识别成为对象的直线的情况下，校正控制单元16执行上区域直线保存处理，将识别的一条或多条直线作为轮廓直线的候选，并将该直线的端点信息保存在主存储单元6中(步骤S228)。

另外，在上区域直线识别判断处理(步骤S226)中判断为不能识别成为对象的直线的情况下，校正控制单元16执行Flag加1的Flag加法处理(步骤S232)，并执行判断Flag的总和是否未超过2的Flag判断处理(步骤S234)。在该Flag判断处理(步骤S234)中Flag的总和超过2的情况下，校正控制单元16执行出错处理(步骤S224)，在Flag的总和为1以下的情况下，采用图像的上框作为轮廓直线，并执行上区域直线保存处理，将端点信息保存在主存储单元6中(步骤S228)。

另外，在上区域直线保存处理(步骤S228)之后，校正控制单元16使直线检索单元24检索能否识别在下侧1/3区域内长度为图像宽度的1/3以上的直线，执行下区域直线识别判断处理，判断能否识别成为对象的直线(步骤S230)。在该下区域直线识别判断处理中判断为能够识别成为对象的直线的情况下，校正控制单元16执行下区域直线保存处理，将识别的一条或多条直线作为轮廓直线的候选，并将该直线的端点信息保存在主存储单元6中(步骤S236)。

另外，在下区域直线识别判断处理(步骤S230)中判断为不能识别成为对象的直线的情况下，校正控制单元16执行Flag加1的Flag加法处理(步骤S238)，并执行判断Flag的总和是否未超过2的Flag判断处理(步骤S240)。在该Flag判断处理(步骤S240)中Flag的总和超过2的情况下，校正控制单元16执行错误处理(步骤S224)，在Flag的总和为1以下的情况下，采用图像的下框作为轮廓直线，并执行下区域直线保存处理，将端点信息保存在主存储单元6中(步骤S236)。

也就是说，矩形部提取校正模式中的轮廓直线识别判断处理是一种下述的处理：在由上下端部的1/3的区域和左右端部的1/3区域形成的各四个区域中，在三个以上的区域内能够识别具有预定长度以上的长度的直线的情况下可以进行校正。但是，在四个区域内，在两个以上的区域内不能识别具有预定长度以上的长度的直线的情况下，不能进行校正，从而选择其他的校正模式。

该矩形部提取校正模式在被拍摄体在摄像图像整体中所占的比例大的情况下，也就是说，在对如名片和白板这样的被拍摄体的图像进行校正的情况下是一种优秀的模式，而对于被拍摄体在摄像图像整体中所占的比例小的情况下的校正是一种不适合的模式。

另外，在结束了轮廓直线识别判断处理(步骤S200)后，校正控制单元16将识别的多条直线的端点信息保存在主存储单元6中(步骤S510)，使显示单元4以点来显示所识别的多条直线的端点信息，轮廓直线选择单元25在四个区域的各区域中自动地选择所识别的直线中长度最长的直线，以直线描绘和显示所选择的端点间隔(步骤S515)。

使用图10的流程图对图3所示的双向校正模式时的轮廓直线识别判断处理(步骤S300)进行描述。校正控制单元16执行像素数缩小处理，在像素数变换单元21中将校正对象的摄像图像变换为320*240像素的缩小像素数图像(步骤S301)，执行色彩空间变更处理，使色彩空间变换单元22将缩小像素数的图像的色彩空间变换为YUV形式(步骤S304)，和执行横向分割处理，使分割单元23在横向上二等分分割该图像(步骤S306)。

在横向分割处理(步骤S306)之后，校正控制单元16首先设置Flag＝0，使直线检索单元24检索在校正对象图像的左半部分的区域内长度为图像高度的1/4以上的直线，执行左区域直线识别判断处理，判断能否识别成为对象的直线(步骤S308)。在该左区域直线识别判断处理(步骤S308)中判断为能够识别成为对象的直线的情况下，校正控制单元16执行左区域直线保存处理，将识别的一条或多条直线作为轮廓直线的候选，并将该直线的端点信息保存在主存储单元6中(步骤S310)。

另外，在左区域直线识别判断处理(步骤S308)中判断为不能识别成为对象的直线的情况下，校正控制单元16执行Flag加1的Flag加法处理(步骤S314)，采用图像的左框作为轮廓直线，并执行左区域直线保存处理，将端点信息保存在主存储单元6中(步骤S310)。

另外，在左区域直线保存处理(步骤S310)之后，校正控制单元16使直线检索单元24检索在校正对象图像的右半部分的区域内长度为图像高度的1/4以上的直线，执行右区域直线识别判断处理，判断能否识别成为对象的直线(步骤S312)。在该右区域直线识别判断处理中判断为能够识别成为对象的直线的情况下，校正控制单元16执行右区域直线保存处理，将识别的一条或多条直线作为轮廓直线的候选并将该直线的端点信息保存在主存储单元6中(步骤S316)。然后，校正控制单元16执行使分割单元23在纵向上二等分分割该图像的纵向分割处理(步骤S318)。

另外，在右区域直线识别判断处理(步骤S312)中判断为不能识别成为对象的直线的情况下，校正控制单元16执行Flag加1的Flag加法处理(步骤S320)，并执行判断Flag的总和是否未超过2的Flag判断处理(步骤S322)。在该Flag判断处理(步骤S322)中Flag的总和超过2的情况下，校正控制单元16执行出错处理(步骤S324)，在Flag的总和为1以下的情况下，采用图像的右框作为轮廓直线，并执行右区域直线保存处理，将端点信息保存在主存储单元6中(步骤S316)。

在纵向分割处理(步骤S318)之后，校正控制单元16使直线检索单元24检索能否识别在上半部分区域内长度为图像宽度的1/6以上的直线，执行上区域直线识别判断处理，判断能否识别成为对象的直线(步骤S326)。在该上区域直线识别判断处理(步骤S326)中判断为能够识别成为对象的直线的情况下，校正控制单元16执行上区域直线保存处理，将识别的一条或多条直线作为轮廓直线的候选并将该直线的端点信息保存在主存储单元6中(步骤S328)。

另外，在上区域直线识别判断处理(步骤S326)中判断为不能识别成为对象的直线的情况下，校正控制单元16执行Flag加1的Flag加法处理(步骤S332)，并执行判断Flag的总和是否未超过2的Flag判断处理(步骤S334)。在该Flag判断处理(步骤S334)中Flag的总和超过2的情况下，校正控制单元16执行错误处理(步骤S324)，在Flag的总和为1以下的情况下，采用图像的上框作为轮廓直线，并执行上区域直线保存处理，将端点信息保存在主存储单元6中(步骤S328)。

另外，在上区域直线保存处理(步骤S328)之后，校正控制单元16使直线检索单元24检索能否识别在下半部分区域内长度为图像宽度的1/6以上的直线，执行能否识别成为对象的直线的下区域直线识别判断处理(步骤S330)。在该下区域直线识别判断处理(步骤S330)中判断为能够识别成为对象的直线的情况下，校正控制单元16执行下区域直线保存处理，将识别的一条或多条直线作为轮廓直线的候选并将该直线的端点信息保存在主存储单元6中(步骤S336)。

另外，在下区域直线识别判断处理(步骤S330)中判断为不能识别成为对象的直线的情况下，校正控制单元16执行Flag加1的Flag加法处理(步骤S338)，并执行判断Flag的总和是否未超过2的Flag判断处理(步骤S340)。在该Flag判断处理(步骤S340)中Flag的总和超过2的情况下，校正控制单元16执行错误处理(步骤S324)，在Flag的总和为1以下的情况下，采用图像的下框作为轮廓直线，并执行下区域直线保存处理，将端点信息保存在主存储单元6中(步骤S336)。

也就是说，直线部提取校正模式的双向校正模式中的轮廓直线识别判断处理是一种下述的处理：在由图像的上下半部分的区域和图像的左右半部分的区域形成的四个区域中，在三个以上的区域内能够识别预定长度以上的直线的情况下可以进行校正，但是，在四个区域内，在两个以上的区域内不能识别预定长度以上的直线的情况下，不能进行校正，从而选择其他的校正模式。

如果对该矩形部提取校正模式和直线部提取校正模式的双向校正模式进行比较，则在直线部提取校正模式的双向校正模式中，由于如果在图像的上下半部分和左右半部分的区域内能够识别预定长度以上的直线就可以进行校正，所以即使在摄像图像整体中被拍摄体所占的比例小的情况下也可以进行校正，在被拍摄体为大厦等的情况下这种模式具有优势。

另外，在结束了轮廓直线识别判断处理(步骤S300)后，校正控制单元16将识别的多条直线的端点信息保存在主存储单元6中(步骤S520)，使显示单元4以点来显示所识别的多条直线的端点信息，轮廓直线选择单元25在四个区域的各区域中自动地选择所识别的直线中长度最长的直线作为轮廓直线的最优的候选，以直线描绘并显示端点间隔(步骤S525)。

下面，使用图11的流程图对图3所示的纵向校正模式中的轮廓直线识别判断处理(步骤S400)进行描述。校正控制单元16执行如下处理：像素数缩小处理，使像素数变换单元21将校正对象的摄像图像变换为320*240像素的缩小像素数图像(步骤S401)；色彩空间变更处理，使色彩空间变换单元22将缩小像素数的图像的色彩空间变换为YUV形式(步骤S404)；和横向分割处理，使分割单元23在横向上二等分分割该图像(步骤S406)。

在横向分割处理(步骤S406)之后，校正控制单元16首先设置Flag＝0，使直线检索单元24检索在校正对象图像的左半部分的区域内长度为图像高度的1/4以上的直线，并执行左区域直线识别判断处理，判断能否识别成为对象的直线(步骤S408)。在该左区域直线识别判断处理(步骤S408)中判断为能够识别成为对象的直线的情况下，校正控制单元16执行左区域直线保存处理，将识别的一条或多条直线作为轮廓直线的候选并将该直线的端点信息保存在主存储单元6中(步骤S410)。

另外，在左区域直线识别判断处理(步骤S408)中判断为不能识别成为对象的直线的情况下，校正控制单元16执行Flag加1的Flag加法处理(步骤S414)，采用图像的左框作为轮廓直线，并执行左区域直线保存处理，将端点信息保存在主存储单元6中(步骤S410)。

另外，在左区域直线保存处理(步骤S410)中，校正控制单元16使直线检索单元24检索在校正对象图像的右半部分的区域内长度为图像高度的1/4以上的直线，执行右区域直线识别判断处理，判断能否识别成为对象的直线(步骤S412)。在该右区域直线识别判断处理(步骤S412)中判断为能够识别成为对象的直线的情况下，校正控制单元16执行右区域直线保存处理，将识别的一条或多条直线作为轮廓直线的候选，并将该直线的端点信息保存在主存储单元6中(步骤S416)，结束轮廓直线识别判断处理。

另外，在右区域直线识别判断处理(步骤S412)中判断为不能识别成为对象的直线的情况下，校正控制单元16执行Flag加1的Flag加法处理(步骤S418)，并执行判断Flag的总和是否未超过2的Flag判断处理(步骤S420)。在该Flag判断处理(步骤S420)中Flag的总和超过2的情况下，校正控制单元16执行出错处理(步骤S422)，在Flag的总和为1以下的情况下，采用图像的右框作为轮廓直线，并执行右区域直线保存处理，将端点信息保存在主存储单元6中(步骤S416)，结束轮廓直线识别判断处理。

也就是说，直线部提取校正模式的纵向校正模式中的直线检索单元的处理是一种下述的处理：在左右半部分的区域中，在能够识别即使一条在预定长度以上的直线的情况下，也能够进行校正，如果对双向校正模式和纵向校正模式进行比较，则在以双向校正模式进行校正的情况下，至少在三个区域内需要预定长度以上的直线。但是，在纵向校正模式中，由于如果在一个区域内能够识别预定长度以上的直线就可以进行校正，所以是一种适于对风景图像等进行校正的优秀模式。

另外，在结束轮廓直线识别判断处理(步骤S400)后，校正控制单元16将识别的多条直线的端点信息保存在主存储单元6中(步骤S530)，使显示单元4以点来显示所识别的多条直线的端点信息，轮廓直线选择单元25在两个区域的各区域中自动地选择所识别的直线中长度最长的直线作为轮廓直线的最优的候选，以直线描绘和显示端点间隔(步骤S535)。

下面，使用图12的流程图对图3所示的横向校正模式中的轮廓直线识别判断处理(步骤S450)进行描述。校正控制单元16执行像素数缩小处理，使像素数变换单元21将校正对象的摄像图像变换为320*240像素的缩小像素数图像(步骤S451)；执行色彩空间变换处理，使色彩空间变换单元22将缩小像素数的图像的色彩空间变换为YUV形式(步骤S454)；和执行纵向分割处理，使分割单元23在纵向上二等分分割该图像(步骤S456)。

在纵向分割处理(步骤S456)之后，校正控制单元16首先设置Flag＝0，使直线检索单元24检索能否识别在上半部分的区域内长度为图像宽度的1/6以上的直线，执行上区域直线识别判断处理，以判断能否识别成为对象的直线(步骤S458)。在上区域直线识别判断处理(步骤S458)中判断为能够识别成为对象的直线的情况下，校正控制单元16执行上区域直线保存处理，将识别的一条或多条直线作为轮廓直线的候选并将该直线的端点信息保存在主存储单元6中(步骤S460)。

在上区域直线识别判断处理(步骤S458)中判断为不能识别成为对象的直线的情况下，校正控制单元16执行Flag加1的Flag加法处理(步骤S464)，采用图像的上框作为轮廓直线，并执行上区域直线保存处理，将端点信息保存在主存储单元6中(步骤S460)。

另外，上区域直线保存处理(步骤S460)之后，校正控制单元16使直线检索单元24检索能否识别在下半部分的区域内长度为图像宽度的1/6以上的直线，执行能否识别成为对象的直线的下区域直线识别判断处理(步骤S462)。在下区域直线识别判断处理(步骤S462)中判断为能够识别成为对象的直线的情况下，校正控制单元16执行下区域直线保存处理，将识别的一条或多条直线作为轮廓直线的候选而将该直线的端点信息保存在主存储单元6中(步骤S466)。

另外，在下区域直线识别判断处理(步骤S462)中判断为不能识别成为对象的直线的情况下，校正控制单元16执行Flag加1的Flag加法处理(步骤S468)，并执行判断Flag的总和是否未超过2的Flag判断处理(步骤S470)。在该Flag判断处理(步骤S470)中Flag的总和超过2的情况下，校正控制单元16执行错误处理(步骤S472)。在Flag的总和为1以下的情况下，采用图像的下框作为轮廓直线，并执行下区域直线保存处理，将端点信息保存在主存储单元6中(步骤S466)，在Flag的总和为1以下的情况下，结束轮廓直线识别判断处理。

也就是说，直线部提取校正模式的横向校正模式中的直线检索单元的处理是一种下述的处理：在上下半部分的区域中，在能够识别即使一条在预定长度以上的直线的情况下，也能够进行校正，与纵向校正模式相同，是一种适于对将风景等作为被拍摄体的摄像图像进行校正的优秀模式。

另外，在结束轮廓直线识别判断处理(步骤S450)后，校正控制单元16将识别的多条直线的端点信息保存在主存储单元6中(步骤S540)，使显示单元4以点来显示所识别的多条直线的端点信息，轮廓直线选择单元25在两个区域的各区域中自动地选择所识别的直线中长度最长的直线作为轮廓直线的最好的候选，以直线描绘和显示端点间隔(步骤S545)。

使用图13的流程图对图3所示的缩小像素数图像校正显示处理(步骤S600)进行描述。校正控制单元16执行缩小像素数图像交点计算处理，使交点计算单元31在320*240像素的缩小像素数的图像中计算识别的轮廓直线的交点(步骤S601)，并执行几何投影变换公式计算处理，使几何投影变换公式计算单元32计算遵循光学成像原理的几何投影变换公式(步骤S605)。

另外，在所有的校正模式中，即使是在一个区域中不能识别轮廓直线的情况下也可以进行校正，但是在缩小像素数图像交点计算处理(步骤S601)中，为了计算出交点，即使在不能识别的区域中也必须确定预定的直线。因此，在本实施方式中，对于不能识别的区域，采用相应区域中的图像的外框作为轮廓直线，来计算与其它识别直线的交点。

另外，在直线部提取校正模式的纵向校正模式中，由于不存在与纵向直线交叉的横向的直线，所以校正控制单元16将图像的上下框作为轮廓直线，通过交点计算单元31计算出与所识别的纵向直线的交点。

另外，在直线部提取校正模式的横向校正模式中，由于不存在与横向直线交叉的纵向的直线，所以校正控制单元16将图像的左右框作为轮廓直线，通过交点计算单元31计算出与所识别的横向直线的交点。

另外，校正控制单元16执行修整处理，使修整单元33修整作为图像中的校正对象的被拍摄体，并执行通过尺寸调整单元34对修整处理后的图像进行尺寸调整的尺寸调整处理(步骤S610)。而且，校正控制单元16执行如下处理：整数化处理，使整数化单元35对通过几何投影变换公式导出的数值进行整数化(步骤S620)；坐标变换处理，通过使坐标变换单元36进行坐标变换来校正图像失真(步骤S630)；像素内插处理，使像素内插单元37内插像素(步骤S640)；和校正后缩小像素数图像显示处理，使校正后的图像显示在显示单元4上(步骤S690)。

使用图14的流程图对图3所示的原图像校正保存处理(步骤S800)进行描述。校正控制单元16执行原图像交点计算处理，使交点计算单元31计算作为摄像时像素数图像的原图像中的轮廓直线的交点(步骤S801)，并执行几何投影变换公式计算处理，使几何投影变换公式计算单元32计算遵循光学成像原理的几何投影变换公式几何投影(步骤S805)。

另外，校正控制单元16执行修整处理，使修整单元33对作为图像中的校正对象的被拍摄体进行修整，并执行尺寸调整处理，通过尺寸调整单元34对修整处理后的图像进行尺寸调整(步骤S810)。另外，校正控制单元16执行使整数化单元35对通过几何投影变换公式导出的数值进行整数化的整数化处理(步骤S820)、执行通过使坐标变换单元36进行坐标变换来校正图像失真的坐标变换处理(步骤S830)、执行使像素内插单元37内插像素的像素内插处理(步骤S840)、执行将校正后的图像保存在辅助存储单元7中的校正后原图像保存处理(步骤S890)。

下面，描述图13所示的缩小像素数图像交点计算处理(步骤S601)。通常，通过任意的点(X1，Y1)和(X2，Y2)的直线以算式(1)求解，

$\frac{x-X1}{y-Y1}=\frac{x-X2}{y-Y2}\·\·\·\left(1\right)$

所以通过(X1，Y1)和(X2，Y2)的算式和通过(X3，Y3)和(X4，Y4)的算式为算式(2)，

$\left\{\begin{array}{c}\frac{x-X1}{y-Y1}=\frac{x-X2}{y-Y2}\\ \frac{x-X3}{y-Y3}=\frac{x-X4}{y-Y4}\end{array}\right.\·\·\·\left(2\right)$

如果通过该算式(2)求解两条直线的交点，则为算式(3)，

$\left\{\begin{array}{c}x=\frac{(X3-X4)(X2Y1-X1Y2)-(X1-X2)(X4Y3-X3Y4)}{(X3-X4)(Y1-Y2)-(X1-X2)(Y3-Y4)}\\ y=\frac{(Y3-Y4)(X2Y1-X1Y2)-(Y1-Y2)(X4Y3-X3Y4)}{(X3-X4)(Y1-Y2)-(X1-X2)(Y3-Y4)}\end{array}\right.\·\·\·\left(3\right)$

利用该算式(3)，求解图15(a)所示的四条轮廓直线D1D2、L1L2、R1R2、U1U2的交点。如图15(b)所示，如果将D1D2和R1R2的交点设为(x1，y1)、将D1D2和L1L2的交点设为(x2，y2)、将L1L2和U1U2的交点设为(x3，y3)、将U1U2和R1R2的交点设为(x4，y4)，并设定D1(D1X，D1Y)、D2(D2X，D2Y)、L1(L1X，L1Y)、L2(L2X，L2Y)、R1(R1X，R1Y)、R2(R2X，R2Y)、U1(U1X，U1Y)、U2(U2X，U2Y)，则

$x1=\frac{(R1X-R2X)(D2X*D1Y-D1X*D2Y)-(D1X-D2X)(R2X*R1Y-R1X*R2Y)}{(R1X-R2X)(D1Y-D2Y)-(D1X-D2X)(R1Y-R2Y)}$

$y1=\frac{(R1Y-R2Y)(D2X*D1Y-D1X*D2Y)-(D1Y-D2Y)(R2X*R1Y-R1X*R2Y)}{(R1X-R2X)(D1Y-D2Y)-(D1X-D2X)(R1Y-R2Y)}$

$x2=\frac{(L1X-L2X)(D2X*D1Y-D1X*D2Y)-(D1X-D2X)(L2X*L1Y-L1X*L2Y)}{(L1X-L2X)(D1Y-D2Y)-(D1X-D2X)(L1Y-L2Y)}$

$y2=\frac{(L1Y-L2Y)(D2X*D1Y-D1X*D2Y)-(D1Y-D2Y)(L2X*L1Y-L1X*L2Y)}{(L1X-L2X)(D1Y-D2Y)-(D1X-D2X)(L1Y-L2Y)}$

$x3=\frac{(L1X-L2X)(U2X*U1Y-U1X*U2Y)-(U1X-U2X)(L2X*L1Y-L1X*L2Y)}{(L1X-L2X)(U1Y-U2Y)-(U1X-U2X)(L1Y-L2Y)}$

$y3=\frac{(L1Y-L2Y)(U2X*U1Y-U1X*U2Y)-(U1Y-U2Y)(L2X*L1Y-L1X*L2Y)}{(L1X-L2X)(U1Y-U2Y)-(U1X-U2X)(L1Y-L2Y)}$

$x4=\frac{(R1X-R2X)(U2X*U1Y-U1X*U2Y)-(U1X-U2X)(R2X*R1Y-R1X*R2Y)}{(R1X-R2X)(U1Y-U2Y)-(U1X-U2X)(R1Y-R2Y)}$

$y4=\frac{(R1Y-R2Y)(U2X*U1Y-U1X*U2Y)-(U1Y-U2Y)(R2X*R1Y-R1X*R2Y)}{(R1X-R2X)(U1Y-U2Y)-(U1X-U2X)(R1Y-R2Y)}$

由此，可计算出各交点的坐标。

另外，通过图14所示的原图像交点计算处理(步骤S801)求解的原图像的交点坐标，若将摄像时摄像图像的像素数设为a*b，将原图像与320*240像素的缩小像素数图像之间的系数设为K，则K＝a/320。因此，与在上述图13的缩小像素数的图像的交点计算处理(步骤S601)中求解的轮廓直线的交点相对应的原图像的轮廓直线的交点为：

X1＝K*x1

Y1＝K*y1

X2＝K*x2

Y2＝K*y2

X3＝K*x3

Y3＝K*y3

X4＝K*x4

Y4＝K*y4

下面，对由图13和图14的几何投影变换公式计算单元32进行的几何投影变换公式计算处理(步骤S605、步骤805)中的、几何投影变换公式的计算方法进行描述。如图16所示，在将矩形的被拍摄体中的四个顶点坐标设为B1(U1，V1，W1)、B2(U2，V2，W2)、B3(U3，V3，W3)、B4(U4，V4，W4)，将显示单元4的画面中显示的实际上成像在摄像传感器上的图像中与该B1，B2，B3，B4相对应的顶点坐标分别设为IN1(X1，Y1，Z1)、IN2(X2，Y2，Z2)、IN3(X3，Y3，Z3)、IN4(X4，Y4，Z4)时，因为为平面，所以Z1＝Z2＝Z3＝Z4＝-f，而且，算式(4)～算式(8)成立。

$\frac{X1}{U1}=\frac{-f}{W1},\frac{Y1}{V1}=\frac{-f}{W1}\·\·\·\left(4\right)$

$\frac{X2}{U2}=\frac{-f}{W2},\frac{Y1}{V2}=\frac{-f}{W2}\·\·\·\left(5\right)$

$\frac{X3}{U3}=\frac{-f}{W3},\frac{Y3}{V3}=\frac{-f}{W3}\·\·\·\left(6\right)$

$\frac{X4}{U4}=\frac{-f}{W4},\frac{Y4}{V4}=\frac{-f}{W4}\·\·\·\left(7\right)$

$\left\{\begin{array}{c}U4-U3=U1-U2\\ V4-V3=V1-V2\\ W4-W3=W1-W2\end{array}\right.\·\·\·\left(8\right)$

假设 $K1=\frac{W1}{-f},$ $K2=\frac{W2}{-f},$ $K3=\frac{W3}{-f},$ 将其代入算式(4)～算式(8)进行整理，则算式(9)成立。

$\left\{\begin{array}{c}(K1-K2+K3)X4=K1X1-K2X2+K3X3\\ (K1-K2+K3)Y4=K1Y1-K2Y2+K3Y3\end{array}\right.\·\·\·\left(9\right)$

在此情况下，设 $a=\frac{K2}{K1},b=\frac{K3}{K1},$ 将其代入算式(9)，求出a和b，则为算式(10)。

$\left\{\begin{array}{c}a=\frac{(Y3-Y4)(X1-X4)-(X3-X4)(Y1-Y4)}{(Y3-Y4)(X2-X4)-(X3-X4)(Y2-Y4)}\\ b=\frac{(Y2-Y4)(X1-X4)-(X2-X4)(Y1-Y4)}{(Y3-Y4)(X2-X4)-(X3-X4)(Y2-Y4)}\end{array}\right.\·\·\·\left(10\right)$

由于拍摄的摄像图像为平面，所以可设矩形的被拍摄体的图像被校正后显示为如图17所示的矩形B1B2B3B4，设立以直线B1B2作为x轴、直线B2B3作为y轴的坐标，在该平面上取任意一点OT(U，V)(U，V也可以为负数)，将矩形部B1B2B3B4的高度作为L，宽度作为H， $S=\frac{U}{H},$ $T=\frac{V}{L},$ 将其应用于图16所示的被拍摄体的矩形部B1B2B3B4，考虑点OT时，可获得算式(11)。

$\left\{\begin{array}{c}U=U2+(U1-U2)S+(U3-U2)T\\ V=V2+(V1-V2)S+(V3-V2)T\\ W=W2+(W1-W2)S+(W3-W2)T\end{array}\right.\·\·\·\left(11\right)$

另外，在将与图16中的被拍摄体的矩形部B1B2B3B4上的一点OT(U，V，W)相对应的摄像图像上的点设为IN(X，Y，Z)，即设为IN(X，Y，-f)时，根据算式(4)可获得算式(12)。

$\frac{X}{U}=\frac{-f}{W},\frac{Y}{V}=\frac{-f}{W}\·\·\·\left(12\right)$

根据算式(11)和算式(12)可获得算式(13)，

$\left\{\begin{array}{c}\frac{U2+(U1-U2)S+(U3-U2)T}{X}=\frac{W2+(W1-W2)S+(W3-W2)T}{-f}\\ \frac{V2+(V1-V2)S+(V3-V2)T}{Y}=\frac{W2+(W1-W2)S+(W3-W2)T}{-f}\end{array}\right.\·\·\·\left(13\right)$

而且，在算式(4)～算式(6)、算式(13)中，若设 $K1=\frac{W1}{-f},K2=\frac{W2}{-f},K3=\frac{W3}{-f},$ 则可获得算式(14)。

$\left\{\begin{array}{c}\frac{K2X2+(K1X1-K2X2)S+(K3X3-K2X2)T}{X}=K2+(K1-K2)S+(K3-K2)T\\ \frac{K2Y2+(K1Y1-K2Y2)S+(K3Y3-K2Y2)T}{Y}=K2+(K1-K2)S+(K3-K2)T\end{array}\right.\·\·\·\left(14\right)$

在算式(14)中，若设 $a=\frac{K2}{K1},b=\frac{K3}{K1},$ 对S和T进行求解，则可获得算式(15)。

$\left\{\begin{array}{c}S=\frac{a(X-X2)(\mathrm{aY}2-\mathrm{aY}+\mathrm{bY}-\mathrm{bY}3)-a(Y-Y2)(\mathrm{aX}2-\mathrm{aX}+\mathrm{bX}-\mathrm{bX}3)}{(X1-X+\mathrm{aX}-\mathrm{aX}2)(\mathrm{aY}2-\mathrm{aY}-\mathrm{bY}-\mathrm{bY}3)-(Y1-Y+\mathrm{aY}-\mathrm{aY}2)(\mathrm{aX}2-\mathrm{aX}+\mathrm{bX}-\mathrm{bX}3)}\\ T=\frac{a(X-X2)(Y1-Y+\mathrm{aY}-\mathrm{aY}2)-a(Y-Y2)(X1-X+\mathrm{aX}-\mathrm{aX}2)}{(X1-X+\mathrm{aX}-\mathrm{aX}2)(\mathrm{aY}2-\mathrm{aY}+\mathrm{bY}-\mathrm{bY}3)-(Y1-Y+\mathrm{aY}-\mathrm{aY}2)(\mathrm{aX}2-\mathrm{aX}+\mathrm{bX}-\mathrm{bX}3)}\end{array}\right.\·\·\·\left(15\right)$

另外，若对X和Y进行求解，则可获得算式(16)。

$\left\{\begin{array}{c}X=\frac{\mathrm{aX}2+(X1-\mathrm{aX}2)S+(\mathrm{bX}3-\mathrm{aX}2)T}{a+(1-a)S+(b-a)T}\\ Y=\frac{\mathrm{aY}2+(Y1-\mathrm{aY}2)S+(\mathrm{bY}3-\mathrm{aY}2)T}{a+(1-a)S+(b-a)T}\end{array}\right.\·\·\·\left(16\right)$

另外，根据以上的计算可知，矩形被拍摄体的纵横比为算式(17)。

$\frac{L}{H}=\frac{B2B3}{B2B1}=\sqrt{\frac{{(U3-U2)}^2+{(V3-V2)}^2+{(W3-W2)}^2}{{(U1-U2)}^2+{(V1-V2)}^2+{(W1-W2)}^2}}$

$=\sqrt{\frac{{(K3X3-K2X2)}^2+{(K3Y3-K2Y2)}^2+{(K3f-K2f)}^2}{{(K1X1-K2X2)}^2+{(K1Y1-K2Y2)}^2+{(K1f-K2f)}^2}}$

$=\sqrt{\frac{{(\mathrm{bX}3-\mathrm{aX}2)}^2+{(\mathrm{bY}3-\mathrm{aY}2)}^2+{(\mathrm{bf}-\mathrm{af})}^2}{{(X1-\mathrm{aX}2)}^2+{(Y1-\mathrm{aY}2)}^2+{(f-\mathrm{af})}^2}}\·\·\·\left(17\right)$

下面，对图13和图14所示的由修整单元33和尺寸调整单元34进行的修整处理和尺寸调整处理(步骤S610、步骤S810)进行描述。此外，由于该处理因矩形部提取校正模式和直线部提取校正模式的不同而不同，所以各自分别进行描述。

在矩形部提取校正模式中，在对将白板和名片作为被拍摄体的摄像图像进行校正时，校正控制单元16使修整单元33在摄像图像中修整白板或名片的部分，并删除其它图像。然后，校正控制单元16使尺寸调整单元34将修整后的图像调整为与修整前的像素数相同的像素数的图像。

另外，由于标准的显示单元4的显示画面的纵横比为3∶4，所以在对图像进行尺寸调整时，对通过算式(17)求解的矩形被拍摄体的纵横比L/H和标准的显示画面的纵横比3/4进行比较，在比较的结果为矩形被拍摄体的纵横比L/H比标准的显示画面的纵横比3/4小的情况下，如图18(a)所示，进行尺寸调整以使矩形被拍摄体的横向长度H与显示画面的横向长度相同，并在图像的上下端部插入预定的背景色。

另外，相反地，在矩形被拍摄体的纵横比L/H比标准的显示画面的纵横比3/4大的情况下，如图18(b)所示，进行尺寸调整以使矩形被拍摄体的纵向长度L与显示画面的纵向长度相同，并在图像的左右端部插入预定的背景色。

在直线部提取校正模式中，在对以大厦和风景作为被拍摄体的摄像图像进行校正时，与将名片等作为被拍摄体的情况不同，由于被拍摄体是一种不仅利用检索识别的直线确定的轮廓内部是重要的、而且轮廓外部也是重要的被拍摄体，所以必须确定如何取得作为修整标准的四个顶点，根据所确定的预定的四个顶点使修整单元33进行修整，使尺寸调整单元34进行尺寸调整。

也就是说，如图19(a)所示，校正控制单元16根据算式(15)计算出与图像的四个顶点I1，I2，I3，I4相对应的S，T值，根据计算出的S，T值计算出Max(S2，S3)、Min(S1，S4)、Max(T1，T2)、Min(T3，T4)，由此获得与顶点I1，I2，I3，I4相对应的校正后的如图19(b)所示的顶点O1，O2，O3，O4。然后，获得由该校正后的顶点O1，O2，O3，O4包围的区域内的最大矩形区域的顶点No1，No2，No3，No4。

而且，校正控制单元16根据算式(16)计算出与该校正后的顶点No1，No2，No3，No4相对应的图19(a)所示的原图像的四点Nin1，Nin2，Nin3，Nin4，将此四点Nin1，Nin2，Nin3，Nin4作为校正后的图像的顶点，进行与上述的轮廓部提取校正模式的修整处理和尺寸调整处理相同的处理。

下面，对由如图13和图14所示的整数化单元35进行的整数化处理(步骤S620、步骤820)进行描述。该处理是利用算式(16)的计算，但是，为了使摄像装置计算用的算式(16)简洁，提高运算速度，设定C1＝aX2、C2＝(X1-aX2)、C3＝(bX3-aX2)、C4＝(1-a)、C5＝(b-a)、C6＝aY2、C7＝(Y1-aY2)、C8＝(bY3-aY2)而将算式(16)变换为算式(18)。

$\left\{\begin{array}{c}X=\frac{C1+C2S+C3T}{a+C4S+C5T}\\ Y=\frac{C6+C7S+C8T}{a+C4S+C5T}\end{array}\right.\·\·\·\left(18\right)$

在实际处理图像的情况下，由于必须对每个像素进行处理，所以在用于算式(18)中的数值存在小数点的情况下将给摄像装置的运算单元带来负担。因此，对主要的数值进行C语言中的int32型的整数化处理。然后，通过几何投影变换将校正的图像的纵横长度设为L，H，在图像中取任意像素P(i，j)，将S，T的值设为i/H，j/L(0≤i≤H，0≤j≤L)，来进行C1～C8的整数化处理的计算。

在此，由于C2和C8在C1～C8中是较大的数值，所以校正控制单元16以f1＝C2*L*10/k、f2＝C8*H*10/k来执行图20的流程图所示的处理以计算k的值。也就是说，校正控制单元16以k＝10来执行是否为f1＞2³¹或f2＞2³¹的判断处理(步骤S622)，在为f1＞2³¹或f2＞2³¹的情况下，执行k每次加1的处理(步骤S624)，直到f1＞2³¹且f2＞2³¹不成立为止，通过循环进行这些处理来计算k的值。然后，使用f1＞2³¹和f2＞2³¹变为不成立时的k值，使整数化单元35执行整数化处理(步骤S626)。

然后，通过上述的整数化处理计算出下述的值：

N_C1＝C1*H*L*10/k

N_C2＝C2*L*10/k

N_C3＝C3*H*10/k

N_C4＝C4*L*10/k

N_C5＝C5*H*10/k

N_C6＝C6*H*L*10/k

N_C7＝C7*L*10/k

N_C8＝C8*H*10/k

另外，然后以i，j代替S，T。

下面，对由如图13和图14所示的坐标变换单元36进行的坐标变换处理(步骤S630、步骤830)进行描述。由于通过当前为止的计算可计算出与校正的图像上的任意一点OT(i，j)相对应的原图像上的点IN(X，Y)的坐标，所以对于所有的像素，可进行计算与OT(i，j)相对应的原图像上的点IN(X，Y)的坐标的校正。

在对该所有的像素进行校正时，如图21的流程图所示，首先执行从i＝0，j＝0的原点开始起将i每次加1的处理(步骤S632)，并执行判断i值是否达到H的数值的i值判断处理(步骤S634)，在i值判断处理(步骤S634)中i值达到H的情况下，执行j加1而再次使i＝0的处理(步骤S636)，并执行判断j值是否达到L的j值判断处理(步骤S638)。然后，通过循环进行上述处理直到j值达到L为止，来对全部像素进行校正。

另外，由于当前CCD和CMOS的制造技术发达，存在即使是相同的显示画面像素数也不同的摄像装置，因此以下的变换也是必须的。假设像素数为A*B、CCD或CMOS的尺寸为L*H(mm)、焦距为f(mm)，则在计算中坐标必须乘以L/A或H/B。

下面，对由如图13和图14所示的像素内插单元37进行的像素内插处理(步骤S640、步骤840)进行描述。在图像中像素单位的坐标为整数，但是由于以算式(18)计算的数值通常带有小数点，所以在单纯地对该带有小数点的数值进行整数化处理来进行图像变换的情况下将引起画质变坏。

因此，将[x]作为x的整数部、将{x}作为x的小数部分、将[y]作为y的整数部、将{y}作为y的小数部分，来进行图22的流程图所示的处理。像素内插单元37执行计算与OT(i，j)相对应的原图像上的点IN(x，y)的坐标的处理(步骤S642)，在{x}为0以上且小于1/3的情况下(步骤S644)，使用[x]作为相应的原图像上的点的横坐标(步骤S646)，在{x}为1/3以上且小于2/3的情况下(步骤S648)，同时使用[x]和[x+1]作为相应的原图像上的点的横坐标(步骤S650)，在{x}为2/3以上且小于1的情况下(步骤S652)，使用[x+1]作为相应的原图像上的点的横坐标(步骤S654)。

另外，与x坐标相同，在y坐标中像素内插单元37也执行下述步骤：在{y}为0以上且小于1/3的情况下(步骤S656)，使用[y]作为相应的原图像上的点的纵坐标(步骤S658)，在{y}为1/3以上且未超过2/3的情况下(步骤S660)，同时使用[y]和[y+1]作为相应的原图像上的点的纵坐标(步骤S662)，在{y}为2/3以上且小于1的情况下(步骤S664)，使用[y+1]作为相应的原图像上的点的纵坐标(步骤S666)。

由上面的横坐标与纵坐标可以组合成一点、两点或者四点的三种情况；例如，x＝1.5，y＝1.5，则横坐标为1和2，纵坐标为1和2，这样便组合成四个点(1，1)，(1，2)，(2，1)，(2，2)。(也就是说，假设x＝1.5，y＝1.5，则由于同时使用[x]和[x+1]的两个点作为x值，则x＝1，2，由于同时使用[y]和[y+1]的两个点也作为y值，则y＝1，2，对应的坐标将为(x，y)＝(1，1)，(1，2)，(2，1)，(2，2)的四个点，从而与OT(i，j)相对应的IN(x，y)将被表示为一点、两点或者四点的三种点。)

像素内插单元37在满足由这些处理所确定的横坐标或纵坐标的数值的原图像中的一点或者两点或者四点中计算YUV平均值(步骤S668)。该步骤S668中的计算YUV色彩空间的YUV平均值的算式为算式(19)～算式(21)，

$\stackrel{\‾}{Y}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}Y(\mathrm{xi},\mathrm{yi})}{n}\·\·\·\left(19\right)$

$\stackrel{\‾}{U}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}U(\mathrm{xi},\mathrm{yi})}{n}\·\·\·\left(20\right)$

$\stackrel{\‾}{V}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}V(\mathrm{xi},\mathrm{yi})}{n}\·\·\·\left(21\right)$

在这些算式中，n表示与OT(i，j)相对应的原图像上的IN(x，y)点的个数。另外，使用从与OT(i，j)相对应的IN(x，y)的坐标计算的该Y，U，V作为与OT(i，j)相对应的校正图像上的点的信息。

通过上述的失真校正处理，在以矩形部提取校正模式进行校正的情况下，如图4所示的失真的挂历的图像如图23所示，失真基本消失。而且，由于进行了修整，所以挂历部分成为被强调的图像。

另外，在图6所示的被拍摄体为横长的建筑物、且以直线部提取校正模式的双向校正模式对失真的摄像图像进行校正的情况下，如图24所示，对被拍摄体的图像依据计算的纵横比进行修整和尺寸调整，以使其与图像框的宽度相同，从而变成失真被校正的图像。

而且，在以直线部提取校正模式的纵向校正模式进行校正的情况下，对于如图7所示的失真的大厦的图像，如图25所示，对被拍摄体的图像依据计算的纵横比进行修整和尺寸调整以使其与摄像框的高度相同，从而变成失真被校正的图像。而且，如图26(a)所示的失真的名片的图像也可以如图26(b)所示地对失真进行校正，名片部分被修整而变成被强调的图像，同时被拍摄体圆的失真的图像也变回圆形。

根据本实施方式的摄像装置，由于轮廓直线选择单元25从检索自图像中的多条直线之中选择轮廓直线最优的候选，所以能够进行不需要摄像者操作的失真的校正。另一方面，在摄像者对轮廓直线的候选进行变更的情况下，能够分别在纵向和横向上选择轮廓直线的候选，例如在选择纵向的轮廓直线后选择横向的轮廓直线，所以即使在存在多个轮廓直线的候选的情况下，与从多个矩形的轮廓中选择候选的情况相比也能够减少操作的数量。

例如，在纵向上有四条轮廓直线的候选，横向上也有四条轮廓直线的候选的情况下，在从多个矩形的轮廓中选择候选的情况下由于存在16种矩形轮廓，所以最多需要进行16次操作，但是通过如本实施例那样分别选择纵向和横向，那么以纵向4次、横向4次最多8次操作就可以完成选择轮廓直线候选。

另外，由于分颜色显示纵向的轮廓直线候选和横向的轮廓直线候选，所以即使在摄像装置1具有的小的液晶显示画面中也可以容易辨别轮廓直线的候选。

由于以320*240像素的缩小像素数的图像校正摄像图像，所以在摄像者一边观察显示在显示单元4上的图像一边操作图标时，数据的计算量变小，计算所需的像素数减少，处理上不花费时间。因此，校正过程中的计算时的待机时间几乎不存在，摄像者能够舒适地使用摄像装置1。

另外，在以缩小像素数的图像进行校正后，由于对原图像中相对应的坐标进行计算来进行校正，所以与从起初在原图像中进行校正相比，计算变得简单。而且，由于根据光学成像原理计算几何投影变换公式来进行校正，所以计算也变得容易。进一步地，在进行几何投影变换单元的数值的整数化处理后通过坐标变换进行图像的校正，所以不需要进行小数点以下的计算，运算单元承担的负担小，即使以内置于小型摄像装置中的运算单元也可以容易地进行计算。

而且，由于最后进行像素内插处理，所以校正后的图像的画质良好，而且，由于对被拍摄体进行修整来校正，所以被拍摄体较大地显示在显示画面上，能够提供容易看见的摄像图像。

另外，本发明并不限于上述的实施方式，例如，在将摄像图像变换为320*240像素的变换单元中缩小图像的像素数不限于320*240，根据DSP(Digital Signal Processor：数字信号处理器)的计算能力也可以为小的像素数，也可以为大的像素数。另外，由图像分割单元进行的图像分割处理虽然在本实施例中是进行二等分或者三等分，但是并不限于此。另外，检索轮廓直线时的条件虽然在本实施例中是使用图像的纵横长度的1/2或者1/3等，但是该条件并不限于此。

Claims (6)

1. 摄像装置，其特征在于，包括：

摄像单元，对被拍摄体进行摄像；

显示单元，显示所摄像的摄像图像；

主控制单元，对各种处理操作进行控制；

失真校正单元，对摄像图像的失真进行校正；

主存储单元，保存由所述摄像单元拍摄的图像数据和所述校正控制单元的处理操作的处理数据；

可拆卸的辅助存储单元，保存摄像图像和校正图像，

所述失真校正单元包括：轮廓检索单元、图像校正单元、和对所述轮廓检索单元和图像校正单元进行控制的校正控制单元，

所述轮廓检索单元包括：

像素数变换单元，对摄像图像的像素数进行变换；

色彩空间变换单元，对色彩空间进行变换；

分割单元，在纵向或者横向上等分分割图像；

直线检索单元，检索轮廓直线；

轮廓直线选择单元，从由所述直线检索单元检索的多个轮廓直线的候选中选择最优的候选，并使其显示在所述显示单元上，

所述图像校正单元包括：

交点计算单元，计算轮廓直线的交点；

几何投影变换公式计算单元，计算几何投影变换公式；

修整图像的修整单元和调整尺寸的尺寸调整单元；

整数化单元，将由所述几何投影计算单元计算的数值整数化；

坐标变换单元，通过坐标变换进行图像校正；

像素内插单元，进行像素的内插。

2. 根据权利要求1所述的摄像装置，其特征在于，所述轮廓检索单元执行在由所述像素数变换单元缩小像素数的图像中检索轮廓直线、获取所检索的轮廓直线中的端点信息的处理。

3. 根据权利要求2所述的摄像装置，其特征在于，所述失真校正单元执行：

矩形部提取校正模式的处理，由所述轮廓检索单元检索由四边组成的矩形的轮廓直线以进行校正；以及

直线部提取校正模式的处理，由所述轮廓检索单元检索少于四边的直线以进行校正。

4. 根据权利要求3所述的摄像装置，其特征在于，所述像素数变换单元执行将所述摄像图像的像素数缩小变换为320*240像素的处理。

5. 根据权利要求4所述的摄像装置，其特征在于，所述轮廓直线选择单元通过摄像者的操作，将显示在所述显示单元上的轮廓直线的预定的候选替换为其它轮廓直线的候选，并将其显示在显示单元上。

6. 根据权利要求5所述的摄像装置，其特征在于，所述轮廓直线选择单元以不同颜色的直线将纵向的直线和横向的直线显示在所述显示单元上。

Images