CN104067605B - 拍摄装置以及拍摄图像处理系统 - Google Patents

Abstract

本发明涉及拍摄装置、拍摄图像处理系统、程序以及记录介质。便携终端装置具备几何学配置检测部(111)，其在由拍摄部拍摄到的图像中，检测连接成线段状的边缘像素组；和显示处理部(112)，在由显示部显示的拍摄图像中，该显示处理部(112)使表示矩形的拍摄对象物的轮廓的轮廓线重叠地显示在由几何学配置检测部(111)检测到的边缘像素组上。

Description

拍摄装置以及拍摄图像处理系统

技术领域

本发明涉及通过图像输出装置来输出由拍摄装置拍摄到的图像的拍摄图像处理系统。

背景技术

伴随因特网技术的发展，使用手机等便携终端装置来保存拍摄到的图像的机会逐渐增加。此外，不仅单纯地将风景、人物等作为被摄体，对各种展览等中展示的说明图、说明文、或者学会等中的幻灯片进行摄影的机会也逐渐增大。在保存由这种便携终端装置摄影的图像时，通常是使用以摄影日等信息为基础自动地附加的文件名或者由自己作成文件名来进行保存。

此外，专利文献1公开了一种根据通过拍摄而放入存储部的图像数据来求出图像的轮廓，根据求出的轮廓来求出拍摄对象物的形状的技术。而且，求出所求出的拍摄对象物的形状与实际的摄影对象物的射影参数，并使用该射影参数进行图像转换。

专利文献1:日本国公开专利公报“日本特开2005-122320号公报(2005年5月12日公开)”

发明内容

然而，上述专利文献1所示的技术是根据通过拍摄而放入存储部的图像数据来求出拍摄对象物的形状的，在不能够提取希望的形状的情况下需要进行再次拍摄。此外，即使能够提取希望的形状，在拍摄范围外存在拍摄对象物的一部分的情况下，也无法对对象物的一部分进行拍摄。

本发明正是为了解决上述技术问题而进行的，其目的在于，提供能够在容易地确认了对象物在拍摄范围内处于哪个位置的基础上将图像数据放入到存储部的拍摄装置、拍摄图像处理系统、程序以及记录介质。

为了解决上述的技术问题，本发明的一个方式所涉及的拍摄装置具备：拍摄部，其拍摄对象物；显示单元，其显示由上述拍摄部拍摄到的图像亦即拍摄图像；以及输出对象图像决定部，其在指定的定时将正显示在上述显示单元中的图像决定为输出对象图像，在该拍摄装置中，上述对象物为矩形，并具备：检测部，其在由上述拍摄部拍摄到的图像中，检测连接成线段状的边缘像素组；和显示处理部，在由上述显示单元显示的拍摄图像中，该显示处理部使表示上述对象物的轮廓的轮廓线重叠地显示在由上述检测部检测到的边缘像素组上。

此外，本发明的一个方式所涉及的拍摄图像处理系统是具备上述的拍摄装置和图像输出装置的拍摄图像处理系统，上述图像输出装置获取表示由上述输出对象图像决定部决定的输出对象图像的图像数据，并输出该图像数据、或者对该图像数据实施了图像处理的处理完的图像数据。

本发明取得可实现能够在用户容易地确认了对象物在拍摄范围内处于哪个位置之后将图像数据放入到存储部的拍摄装置这一效果。

附图说明

图1是表示本发明的一实施方式所涉及的拍摄图像处理系统的整体构成的图。

图2是表示本发明的一实施方式所涉及的便携终端装置的构成的框图。

图3是表示便携终端装置具备的拍摄范围判定部的构成的框图。

图4是表示拍摄范围判定部的处理的一例的流程图。

图5是表示边缘图像的生成例的图。

图6是表示连结边缘区域的标记的方法的图。

图7是表示成为拍摄对象物与背景的边界的连结边缘区域的候选即特征区域的提取处理的一例的流程图。

图8是表示从包含多个连结边缘区域的边缘图像提取特征区域的情况的图。

图9是表示对成为矩形的拍摄对象物与背景的边界的上边的边缘像素组的近似直线进行确定的直线提取处理的一例的流程图。

图10是表示对成为矩形的拍摄对象物与背景的边界的左边的边缘像素组的近似直线进行确定的直线提取处理的一例的流程图。

图11是表示从特征区域中，提取构成成为矩形的拍摄对象物与背景的边界的四角形的上边、左边、右边、下边的、并连接成线段状的边缘像素组的例子的图。

图12是表示求出边缘像素组的近似直线的交点的例子的图。

图13是表示显示处理部的处理例的流程图。

图14是表示显示了表示拍摄对象物在拍摄范围内的信息的画面例的图。

图15是表示显示了第1欠缺信息的画面例的图。

图16是表示显示了第2欠缺信息的画面例的图。

图17是表示由几何学的配置检测部进行的图像的几何学的畸变的检测例的图。

图18是表示图像中的拍摄对象物的边缘检测处理例的图。

图19是表示图像的光栅方向的边缘检测例的图。

图20是表示本发明的一实施方式所涉及的图像形成装置的构成的框图。

图21是表示图像形成装置具有的图像处理部的构成的框图。

图22是表示在图像的色彩平衡调整时作成的查找表的一例的图。

图23是表示图像的透镜畸变的校正例的图。

图24是表示图像的几何学的畸变和倾斜的校正例的图。

图25是表示高分辨率校正的处理的一例的流程图。

图26表示高分辨率图像数据中的基准像素和内插像素。

图27是表示1阶微分滤波器例的图。

图28是表示内插像素的像素值的决定方法的图。

图29是表示图像形成装置的处理流程的整体的流程图。

图30是表示第1欠缺信息的显示例的图。

图31是表示第2欠缺信息的显示例的图。

图32是表示自动快门功能为有效的情况下的画面例的图。

图33是表示变形方式所涉及的便携终端装置的构成的框图。

图34是表示图像的倾斜检测例的图。

图35是表示图34的倾斜检测例中的倾斜角度θ和其正切值的图。

图36是表示图像的再构成像素值的决定例的图。

图37是表示特征区域提取处理(S3)的变形例的流程图。

图38是表示通过图37所示的特征区域提取处理从拍摄图像提取特征区域的情况的图。

图39是表示应用于拍摄图像的检测方法的决定处理的流程图。

图40是表示通过图39的流程图来决定检测方法的例子的图。

图41是表示在图13所示的S611中进行的处理例的流程图。

图42是表示在图13的S612中为否、在S614中为否、或者在S615中为否的情况下进行的处理例的流程图。

图43是表示按照图41和图42的处理使显示处理部动作了时的显示部的画面例的图。

图44是表示拍摄范围判定部的变形例的框图。

图45是表示包含文档校正模式的开启/停止切换用的复选框的画面例的图。

图46表示显示了校正处理后图像的画面例。

具体实施方式

以下，对本发明的实施方式详细地进行说明。

(1)拍摄图像处理系统的整体构成

图1是表示本发明所涉及的拍摄图像处理系统的整体构成的图。如图1所示，拍摄图像处理系统具备：附带相机的手机、数码相机等具备拍摄单元的便携终端装置(拍摄装置)100、复合机、打印机等图像形成装置(图像输出装置)200、以及信息显示器、电子黑板等图像显示装置(图像输出装置)300。

便携终端装置100是被用户便携的装置。用户能够在各种场合下利用便携终端装置100来拍摄对象物。

在本实施方式中，便携终端装置100具有文件拍摄模式的功能，该功能用于对打印了文件图像的纸张、海报、显示有文件图像的显示画面(例如，显示器画面或由投影仪投影的画面)这样的矩形状的拍摄对象物进行拍摄，将通过该拍摄得到的图像从图像形成装置200或者图像显示装置300输出。即，便携终端装置100将由文件拍摄模式下的拍摄得到的、成为通过图像形成装置200或者图像显示装置300输出的对象的图像数据(以下，称为输出对象图像数据)发送至图像形成装置200或者图像显示装置300。

并且，图像形成装置200对接收到的输出对象图像数据实施规定的图像处理，并输出图像处理后的输出对象图像数据(以下，称为已校正图像数据)，或者校正完的图像数据所示的图像。此外，图像显示装置300进行输出对象图像数据的显示处理。

这里，用户未必总是能够从正面对作为矩形状的拍摄对象物的、打印了文件图像的纸张、海报、显示有文件图像的显示画面等进行拍摄。即，存在用户在拍摄对象物中的形成了文件图像的平面的法线方向与拍摄单元的拍摄方向不一致的状态下，从倾斜方向对拍摄对象物进行拍摄的情况。该情况下，有时在拍摄对象物的一部分从拍摄单元的拍摄范围超出的状态下，即拍摄对象物的一部分缺失的状态下进行拍摄。在这样的情况下，是在用户希望的信息的一部分缺失的状态下被拍摄。在本实施方式中，便携终端装置100具有在选择了上述文件拍摄模式的情况下，防止这样的拍摄对象物的一部分从拍摄范围超出的状态下被拍摄的功能。

另外，作为由图像形成装置200执行的输出处理，具有：对由已校正图像数据表示的图像进行打印并输出的打印处理、向服务器、USB存储器等存储装置存放输出对象图像数据的归档处理、向电子邮件添加已校正图像数据并进行发送的邮件发送处理等。由图像显示装置300执行的输出处理是输出对象图像数据的显示处理。

便携终端装置100和图像形成装置200能够进行通信，如上述那样，便携终端装置100将输出对象图像数据发送至图像形成装置200。作为便携终端装置100和图像形成装置200的通信方式，具有如图1中以符号A或者B所示那样的方式。以符号A表示的方式是基于IrSimple等红外线通信标准的任意一种的无线通信方式。以符号B表示的方式是利用Felica(注册商标)这样的非接触无线通信，暂时将输出对象图像数据从便携终端装置100发送至图像显示装置300，然后，使用例如Bluetooth(注册商标)这样的无线通信，将该数据从该图像显示装置300传送给图像形成装置200的方式。在本实施方式中，假设用户在来到图像形成装置200前之后操作便携终端装置100，使用红外线通信这样的近距离无线通信方式，从便携终端装置100向图像形成装置200进行数据发送。

这里，图像显示装置300例如是由液晶显示器、等离子显示器，有机电致发光显示器等组成的信息显示器、电子黑板等。这样的图像显示装置300进行使由输出对象图像数据表示的图像显示的显示处理。该显示处理是输出对象图像数据的输出处理的1种。即，图像显示装置300可以说是进行输出对象图像数据的输出处理的图像输出装置。在由图像显示装置300进行了显示后，由图像形成装置200进行打印，或者，向其他地址进行e-mail发送，或者，也能够存放于计算机、或在网络中连接的服务器等。

另外，关于便携终端装置100和图像形成装置200以及图像显示装置300之间的通信方式，并不局限于此，能够应用使用了公知的通信方法的方式。例如，也可以将输出对象图像数据添加到电子邮件并发送至图像形成装置200、图像显示装置300。

(2)便携终端装置的构成

首先，基于图2，对本实施方式所涉及的便携终端装置100进行说明。图2是表示便携终端装置100的构成的框图。如图2所示，便携终端装置100具备：拍摄部101、拍摄范围判定部110、图像处理部103、通信部(发送部)104、显示部105、输入部106、记录介质访问部107、存储部108、以及控制部109。

拍摄部101使用CCD传感器、CMOS传感器，进行拍摄对象物的拍摄，并使通过拍摄得到的拍摄图像显示于显示部105。另外，拍摄部101以预先设定的分辨率进行拍摄对象物的拍摄。另外，由拍摄部101拍摄的范围(以下，称为拍摄范围)按照预先设定的放大缩小率而决定。这里，假设拍摄范围是宽度为Xmax，高度为Ymax的矩形。

拍摄范围判定部110在由用户选择了文件拍摄模式的情况下，基于由拍摄部101拍摄且显示在显示部105中的拍摄图像，来判定矩形状的拍摄对象物是否被收入在拍摄范围内。此外，拍摄范围判定部110在指定的定时将表示正显示在显示部105中的拍摄图像的图像数据作为输出对象图像数据而存放于存储部108。之后对拍摄范围判定部110详细地进行叙述。

图像处理部103针对由拍摄部101存放于存储部108的输出对象图像数据，至少进行A/D转换处理。

通信部104具有基于USB(Universal Serial Bus：通用串行总线)1.1或者USB2.0的标准进行串行传输/并行传输的无线数据通信功能。通信部104按照用户输入的发送指示，将输出对象图像数据发送至图像形成装置200或者图像显示装置300。

显示部105例如由液晶显示器等构成。此外，输入部106具有多个按钮，用于用户进行数据的输入等。

记录介质访问部107从记录了用于进行便携终端装置100的各处理的程序的记录介质读出程序。

此外，存储部108存放用于进行便携终端装置100的各处理的程序、便携终端装置100的机种信息、用户信息、进行处理时所需的数据。另外，所谓用户信息是指识别便携终端装置100的用户的信息，例如是用户ID和密码等。此外，存储部108存储通过在文件拍摄模式下进行拍摄而得到的输出对象图像数据及其付属信息(后述的输出处理信息、文件名等)。

控制部109进行便携终端装置100的各部的控制。在向输入部106输入了选择文件拍摄模式这一意思的指示的情况下，控制部109将图像形成装置200中的输出处理的种类(打印处理、归档处理、邮件发送处理等)的选择指示、以及促使用于执行所选择的输出处理的设定条件(打印张数等的打印条件、归档目的地的服务器的地址、邮件的发送目的地地址等)的输入的画面显示于显示部105。然后，控制部109从输入部106获取表示输出处理的种类和输出处理的设定条件的输出处理信息。

控制部109对存放在存储部108中的输出对象图像数据附加文件名和输出处理信息。

此外，若向输入部106输入发送指示，则控制部109使通信部104执行将存放在存储部108中的输出对象图像数据发送至图像形成装置200或者图像显示装置300的发送处理。这时，通信部104将与输出对象图像数据建立对应的文件名以及输出处理信息、以及存放在存储部108中的机种信息以及用户信息合起来与该输出对象图像数据一起发送至图像形成装置200或者图像显示装置300。

(3)关于拍摄范围判定部

(3-1)拍摄范围判定部的构成

接着，对便携终端装置100的拍摄范围判定部110的详细构成进行说明。图3是表示拍摄范围判定部110的内部构成的框图。如图3所示，拍摄范围判定部110具备：几何学配置检测部111、显示处理部112、以及输出对象图像决定部113。

几何学配置检测部111通过假定为拍摄对象物是矩形状，并提取成为该拍摄对象物和背景的边界的边缘像素组，从而检测拍摄对象物的几何学配置(几何学畸变)。

显示处理部112在显示于显示部105的拍摄图像中，使表示拍摄对象物的轮廓的轮廓线重叠显示在由几何学配置检测部111检测到的边缘像素组上。由此，用户通过确认轮廓线，能够容易地确认拍摄对象物是否被收入在拍摄范围内。

此外，显示处理部112基于拍摄对象物的几何学配置，判定拍摄对象物是否被收入在拍摄范围内，并将该判定结果显示于显示部105。由此，用户通过确认判定结果，能够更加容易地确认拍摄对象物是否被收入在拍摄范围内。并且，在未被收入的情况下，用户通过变更便携终端装置100的方向、位置，能够将拍摄对象物收入在拍摄范围内。

输出对象图像决定部113在指定的定时将表示正显示在显示部105中的拍摄图像的图像数据决定为输出对象图像数据，并将该输出对象图像数据存放于存储部108。

(3-2)拍摄范围判定部的处理

接着，对拍摄范围判定部110的具体处理的一例进行说明。图4是表示拍摄范围判定部110的处理的一例的流程图。

(步骤1(S1))

首先，几何学配置检测部111从由拍摄部101拍摄且显示于显示部105的拍摄图像中，进行边缘像素的提取。而且，几何学配置检测部111生成将边缘像素设为“1”，将非边缘像素设为“0”的边缘图像。

对于边缘像素的提取，例如，针对由拍摄部101拍摄的亮度图像应用Canny滤波器来进行提取。所谓Canny滤波器，是使用高斯滤波器和索贝尔滤波器，来检测被细线化的边缘的滤波器。另外，此时，为了处理高速化，也可以缩小图像尺寸。此外，为了提高边缘像素的检测精度，例如，也可以在进行滤波器处理前平滑化，在滤波器处理后，进行膨胀收缩等的形态转换。

图5是表示从亮度图像提取出的边缘图像的图。在图5中，上段表示亮度图像，下段表示提取出的边缘图像。

(步骤2(S2))

接着，几何学配置检测部111进行按照连结的边缘像素的区域(连结边缘区域)赋予不同的标签的标记处理。

几何学配置检测部111例如如图6所示那样使用以下的方法来进行标记。

(I)在关注像素是边缘像素的情况下，若关注像素的上邻的像素是边缘像素且已被赋予标签，则对关注像素也赋予相同的标签(图6的(a))。(II)在左邻的像素也是边缘像素且被赋予与上邻的像素不同的标签的情况下，赋予与上邻相同的标签(图6的(b))。

(III)在上邻的像素是非边缘像素且左邻是边缘像素的情况下，对关注像素赋予与左邻相同的标签(图6的(c))。

(IV)在上邻和左邻均是非边缘像素的情况下，对关注像素赋予新的标签(图6的(d))。

(V)对全部的边缘像素进行标签赋予。

(VI)在赋予多个标签的情况下，基于上述的规则来统一标签。

(步骤3(S3))

接着，几何学配置检测部111从赋予了标签的连结边缘区域中，提取包含拍摄对象物和背景的边界的区域的候选(以下，称为特征区域)(S3)。

通常以将拍摄对象物的中心作为拍摄范围的中心附近，并占据拍摄范围中的大部分的方式来对拍摄对象物进行拍摄。因此，对于拍摄对象物与背景的边界而言，其中心位于拍摄范围的中心附近，并且，拍摄范围的横向(宽度方向)的长度以及纵向(高度方向)的长度变长。于是，几何学配置检测部111将满足以下的条件A的连结边缘区域提取为特征候选。

条件A：在拍摄范围内，将左上角设为原点，将右方向(宽度方向)设为x轴，将下方向(高度方向)设为y轴，将拍摄范围的右端的x坐标设为Xmax，将拍摄范围的下端的y坐标设为Ymax。这时，连结边缘区域的宽度方向的长度在拍摄范围的宽度(即Xmax)的1/4以上，并且，高度方向的长度在拍摄范围的高度(即Ymax)的1/4以上，并且，连结边缘区域的中心x坐标在Xmax/4以上且3×Xmax/4以下，区域的中心y坐标在Ymax/4以上且3×Ymax/4以下。

图7是表示特征区域提取处理(S3)的详细处理例的流程图。如图7所示那样，首先，几何学配置检测部111选择S2中赋予了标签的一个连结边缘区域(S301)。然后，几何学配置检测部111针对所选择的连结边缘区域，确定宽度方向的长度、高度方向的长度、中心x坐标、中心y坐标。具体而言，通过从构成连结边缘区域的边缘像素中的最大的x坐标减去最小的x坐标来求出宽度方向的长度，通过从最大的y坐标减去最小的y坐标来求出高度方向的长度，求出最大的x坐标和最小的x坐标的平均值来作为中心x坐标，求出最大的y坐标和最小的y坐标的平均值来作为中心y坐标。

接着，几何学配置检测部111判定中心x坐标是否在Xmax/4以上且3×Xmax/4以下(S302)。

在S302中为“是”的情况下，几何学配置检测部111判定中心y坐标是否在Ymax/4以上且3×Ymax/4以下(S303)。

在S303中为“是”的情况下，几何学配置检测部111判定连结边缘区域的宽度方向的长度是否在Xmax/4以上(S304)。

在S304为是的情况下，几何学配置检测部111判定连结边缘区域的高度方向的长度是否在Ymax/4以上(S305)。

在S305为是的情况下，将选择的连结边缘区域提取为特征区域(S306)。然后，几何学配置检测部111确认是否存在未选择的连结边缘区域，在存在的情况下，对未选择的一个连结边缘区域进行选择(S308)。

另一方面，在S302～S305的任意一步中为否的情况下，不将选择的连结边缘区域提取为特征区域，而移至S308的处理。

然后，对通过S308选择的连结边缘区域，执行S302以后的处理。由此，能够将满足上述的条件A的连结边缘区域提取为特征区域。然后，几何学配置检测部111生成仅将属于提取的特征区域的像素设为边缘像素，将残余的像素设为非边缘像素的特征区域图像数据。

图8是表示从包含多数的连结边缘区域的边缘图像提取特征区域的情况的图。在图8中，左列是边缘图像。此外，中列是表示通过S302和S303的处理，除去了中心坐标位于拍摄范围的端部侧的连结边缘区域的状态的图像。右列是通过S304和S305的处理，从中列进一步除去了宽度方向的长度或者高度方向的长度较短的连结边缘区域，仅表示所提取的特征区域的图像。即，右列是由特征区域图像数据表示的图像。

如图8所示，通过S3的处理，提取成为矩形的拍摄对象物和背景的边界的边缘像素的候选，即特征区域。但是，如图8所示，根据图像的不同，也存在将拍摄对象物和背景的边界以外的边缘像素提取为特征区域的情况。

(步骤4(S4))

于是，几何学配置检测部111进行从特征区域中，提取构成成为矩形的拍摄对象物和背景的边界的四边形的上边、左边、右边、下边、且连接成线段状的边缘像素组，并确定该边缘像素组的近似直线的处理(直线提取处理)(S4)。

这里，上边位于拍摄图像中的上半部(即，y坐标从0到Ymax/2的范围)，与拍摄范围的宽度方向平行的概率较高。此外，左边位于拍摄图像的左半部(即，x坐标从0到Xmax/2的范围)，与拍摄范围的高度方向平行的概率较高。右边位于拍摄图像的右半部(即，x坐标从Xmax/2到Xmax的范围)，与拍摄范围的高度方向平行的概率较高。下边位于拍摄图像的下半部(即，y坐标从Ymax/2到Ymax的范围)，与拍摄范围的宽度方向平行的概率较高。

于是，在存在的概率较高的范围内，从特征区域图像数据中提取在特定的方向上连接的边缘像素的个数为最大的、规定长度以上的线段状的边缘像素组，来作为成为矩形的拍摄对象物和背景的边界的连接成线段状的边缘像素组。然后，确定提取到的边缘像素组的近似直线。

图9是表示在图4所示的S4的处理中，确定构成上边的边缘像素组的近似直线的处理的流程的流程图。

首先，几何学配置检测部111设定变量x＝0、变量count＝0、变量pre_y＝-1(S401)。接着，几何学配置检测部111设定变量y＝0(S402)。

然后，几何学配置检测部111确认在特征区域图像数据中，由坐标(x、y)表示的像素是否是边缘像素(S403)。在S403中为否的情况下，将变量y变更为y+1(S404)。接着，确认变更后的变量y是否比拍摄范围的高度(即Ymax)的1/2大(S405)。在S405中为否的情况下，返回至S403的处理。

通过重复S403～S405的处理，在特征区域图像数据中，从(0、0)坐标到拍摄范围的高度的1/2的坐标为止，向y轴下方向搜索，在最初找到边缘像素的时刻，S403中成为是。若在S403中成为是，则几何学配置检测部111确认是否满足pre_y-1≦y≦pre_y+1(S407)。

在不满足S407的情况下，几何学配置检测部111将变量count的值存放于上次设定的坐标组(S408)。然后，几何学配置检测部111设定新的坐标组[x]，并且将变量count设定成0(S409)。另一方面，在满足S407的情况下，几何学配置检测部111将变量count加1(S410)，并将坐标(x、y)存放于最新设定的坐标组(S411)。然后，在S409或者S411后，几何学配置检测部111将变量pre_y设定成y(S412)。

另一方面，在向y轴下方向搜索，未找到边缘像素时(S405中为否)，几何学配置检测部111设定变量count＝0、变量pre_y＝-1(S406)。

在S406或者S412之后，几何学配置检测部111对变量x加1(S413)。接着，确认变更后的变量x是否比拍摄范围的宽度(即Xmax)大(S414)。在S414中为否的情况下，返回至S402的处理。

例如，在x＝0中，向y轴下方向搜索，并记录最初找到的边缘像素的坐标(0、y0)。接着，从(1、0)坐标向y轴下方向搜索，并记录最初找到边缘像素的时刻的坐标(1、y1)。此时，若y0-1≦y1≦y0+1，则判断为该2点沿着特定方向连接，在S409中将变量count增加1，并且将坐标(1、y1)存放于坐标组[0]。满足y0-1≦y1≦y0+1，是指在距拍摄范围的宽度方向的规定角度的范围内的特定方向上2点连续。

通过这种方式，假设在到坐标(k、yk)为止存放于坐标组[0]之后，从(k+1、0)坐标向y轴下方向搜索，最初找到的边缘像素的坐标(k+1、y(k+1))不满足yk-1≦y(k+1)≦yk+1。该情况下，在S408中，将变量count的值k存放于坐标组[0]。此外，在S409中设定新的坐标组[k+1]，并将变量count重置成0。

到x变成拍摄范围的宽度(即Xmax)为止重复上述的处理。然后，几何学配置检测部111选择坐标数最大的坐标组，即，count的值最大的坐标组(S415)。然后，几何学配置检测部111确认选择的坐标组所包含的坐标数(即count值)是否在Xmax/4以上(S416)。在S416中为否的情况下，由于作为成为拍摄对象物和背景的边界线的上边较短，所以几何学配置检测部111生成无法提取构成上边的直线这一意思的信息(不可提取信息)(S417)。

另一方面，在S416中为是的情况下，几何学配置检测部111基于选择的坐标组所包含的多个坐标，使用最小二乘法，来求出近似直线式(S418)。在S416为是的情况下，坐标数最大的坐标组是在距拍摄范围的宽度方向的预先决定的角度范围内的方向，连接成Xmax/4以上的长度的线段状的边缘像素组。因此，该边缘像素组表示拍摄对象物和背景的边界的上边的概率变得非常高。

例如，若在坐标数最大的坐标组存放有(6、120)、(7、120)、(8、121)、(9、122)、(10、121)，则几何学配置检测部111能够通过最小二乘法，求出y＝0.4x+117.6这样的式。

通过在下边、右边、左边也进行相同的处理，来提取四边的直线。

另外，在下边的情况下，在图9的S402中设定变量y＝Ymax。此外，在S404中由变量y减去1，在S405中，确认变更后的变量y是否比拍摄范围的高度(即Ymax)的1/2小。

此外，在左边的情况下，进行图10的处理即可。图10为在图9中更改了x和y的处理。这是由于左边位于拍摄范围的左半部，与拍摄范围的高度方向平行的概率较高。根据图10，在S418中，基于在距拍摄范围的高度方向的预先决定的角度范围内的方向，连接成Ymax/4以上的长度的线段状的边缘像素组，来求出直线式。该边缘像素组表示拍摄对象物和背景的边界的左边的概率变得非常高。

此外，在右边的情况下，在图10的S402’中设定变量x＝Xmax。此外，在S404’中由变量x减去1，在S405’中，确认变更后的变量x是否比拍摄范围的宽度(即Xmax)的1/2小。

图11是表示从特征区域中，提取(检测)构成成为矩形的拍摄对象物和背景的边界的四角形的上边、左边、右边、下边、且连接成线段状的边缘像素组的例子的图。图11的(a)是表示全部的特征区域的图像。(b)以实线表示作为成为矩形的拍摄对象物和背景的边界的四角形的上边而提取的边缘像素组。(c)是以实线表示作为成为矩形的拍摄对象物和背景的边界的四角形的左边而提取的边缘像素组。(d)是以实线表示作为成为矩形的拍摄对象物和背景的边界的四角形的下边而提取的边缘像素组。(e)是以实线表示作为成为矩形的拍摄对象物和背景的边界的四角形的右边而提取的边缘像素组。

通过这种方式，几何学配置检测部111将作为上边而提取的边缘像素组的近似直线设为上边直线，将作为左边而提取的边缘像素组的近似直线设为左边直线，将作为右边而提取的边缘像素组的近似直线设为右边直线，将作为下边而提取的边缘像素组的近似直线设为下边直线，生成各直线式。

(步骤5(S5))

若在S4中进行的四边的直线提取处理结束，则几何学配置检测部111基于在S4中求出的直线式，来求出交点坐标(S5)。

在S4中求出了与四边对应的直线式的情况下，几何学配置检测部111能够容易地求出2条直线的交点坐标。即，几何学配置检测部111将左边直线与上边直线的交点坐标作为左上顶点坐标、将上边直线与右边直线的交点坐标作为右上顶点坐标、将右边直线与下边直线的交点坐标作为右下顶点坐标、将下边直线与左边直线的交点坐标作为左下顶点坐标来求出。然后，几何学配置检测部111将包含这4个顶点坐标的提取结果信息输出至显示处理部112。

图12是表示求出4个顶点坐标的例子的图。在图12中，求出左上顶点坐标(X1、Y1)、右上顶点坐标(X2、Y2)、右下顶点坐标(X3、Y3)、左下顶点坐标(X4、Y4)。

此外，在S4中求出了仅与三边对应的直线式的情况下，几何学配置检测部111将与剩余的一边对应的直线作为拍摄范围端的直线，来求出该直线式。即，在无法提取左边的情况下将x＝0作为与剩余的一边对应的直线式，在无法提取右边的情况下将x＝Xmax作为与剩余的一边对应的直线式，在无法提取上边的情况下将y＝0作为与剩余的一边对应的直线式，在无法提取下边的情况下将y＝Ymax作为与剩余的一边对应的直线式。然后，几何学配置检测部111使用该直线式，求出4个顶点坐标。

其中，针对与拍摄范围端的直线的交点，作为假顶点坐标而求出。例如，在无法提取右边的情况下，右上顶点坐标和右下顶点坐标作为假顶点坐标而求出。

然后，几何学配置检测部111生成包含4个顶点坐标、表示仅提取了三边的信息、表示无法提取的边的不可提取信息的提取结果信息，并将其输出至显示处理部112。另外，对假顶点坐标赋予表示是假顶点坐标的信息。

此外，在S4中，在未求出与三边或者四边对应的直线式的情况下，几何学配置检测部111生成表示无法适当地提取拍摄对象物和背景的边界这一意思的提取结果信息，并将其输出至显示处理部112。

(步骤6(S6))

接着，显示处理部112进行基于提取结果信息的显示处理。具体而言，按照以下进行处理。

显示处理部112将连结提取结果信息中表示的4个顶点坐标的四边形的线作为拍摄对象物的轮廓线，而与拍摄图像重叠地显示。

此外，在提取结果信息包含4个顶点坐标，未包含不可提取信息的情况下，显示处理部112判断4个顶点坐标是否在拍摄范围内。若全部的顶点坐标在拍摄范围内，则显示处理部112使表示拍摄对象物在拍摄范围内的信息(例如，“OK”)显示于显示部105。

此外，在3个顶点坐标在拍摄范围内，1个顶点坐标在拍摄范围外的情况下，显示处理部112使表示拍摄对象物的一部分(一角)无法拍摄的第1欠缺信息显示于显示部105。

另外，在提取结果信息包含4个顶点坐标，且包含不可提取信息的情况下，显示处理部112判断4个顶点坐标是否在拍摄范围内。若全部的顶点坐标在拍摄范围内，则显示处理部112使表示拍摄对象物的一部分(一边)无法拍摄的第2欠缺信息显示于显示部105。

在上述以外的情况下，显示处理部112可以使显示部105的画面保持不变地显示，也可以使促使拍摄部101的方向的变更的信息(例如，“请调整相机的方向，以使得将拍摄对象物收入在拍摄范围内”等)显示于显示部105。

图13是表示S6的详细处理的流程图。

首先，显示处理部112判断成为矩形的拍摄对象物和背景的边界的四边是否全部被提取(S601)。这里，显示处理部112在提取结果信息包含4个顶点坐标，不包含不可提取信息的情况下，判断为四边全部被提取。

在四边全部被提取的情况下(S601中为是)，显示处理部112判断提取结果信息中表示的左上顶点坐标(X1、Y1)是否在拍摄范围内(S602)。具体而言，显示处理部112判断是否满足0≦X1≦Xmax以及0≦Y1≦Ymax的双方，在双方都满足的情况下，判断为左上顶点坐标在拍摄范围内。

当左上顶点坐标在拍摄范围内的情况下，显示处理部112生成表示左上顶点坐标(X1、Y1)在拍摄范围内的标示，并进行存储(S603)。另一方面，当左上顶点坐标在拍摄范围外的情况下，移至下一个处理。

显示处理部112对右上顶点坐标(X2、Y2)、右下顶点坐标(X3、Y3)、左下顶点坐标(X4、Y4)也进行与S602和S603相同的处理(S604～S609)。

然后，显示处理部112确认是否对全部的顶点坐标存储有标示(S610)。在对全部的顶点坐标存储有标示的情况下(S610中为是)，显示处理部112判断为拍摄对象物没有欠缺地收入在拍摄范围内。然后，显示处理部112将连结提取结果信息中表示的4个顶点坐标的四边形的线作为拍摄对象物的轮廓线，而与拍摄图像重叠地显示。这里，顶点坐标是针对由几何学配置检测部111检测到的线段状的边缘像素组的近似直线的交点。因此，在边缘像素组上重叠地显示轮廓线。此外，显示处理部112使表示拍摄对象物在拍摄范围内的信息(例如，“OK”)显示于显示部105(S611)。此外，这时，显示处理部112也使用于决定输出对象图像的快门按钮一起显示于显示部105。

图14是表示在S611中显示于显示部105的画面的一例的图。如图14所示，作为连结顶点坐标的四边形的线的轮廓线L被显示于矩形的拍摄对象物和背景的边界上。因此，用户能够容易地确认拍摄对象物在拍摄范围内。

另外，在图14中，符号10是快门按钮，符号20是自动对焦设定按钮，符号30是曝光调整杆，符号40是图像读入按钮，符号50是条件设定按钮。快门按钮10是用于将显示在显示部105中的拍摄图像决定为输出对象图像的按钮。自动对焦按钮20是用于自动地对准焦点的按钮。曝光调整杆30是用于调整光的曝光的杆。图像读入按钮40是用于将预先保存的图像作为被拍摄的图像来处理的按钮。若按下图像读入按钮40，则显示所保存的图像一览画面，若由用户选择其中的一个，则将其作为由拍摄部101拍摄的图像，而进行下一个处理(按下快门后的处理)。条件设定按钮50是用于设定各种拍摄条件的按钮。

另一方面，在未对全部的顶点坐标存储标示的情况下(S610中为否)，显示处理部112确认是否对3个顶点坐标存储有标示(S612)。

在S612中为否的情况下，即，当仅2个以下的顶点坐标在拍摄范围内的情况下，显示处理部112不将表示拍摄对象物在拍摄范围内的信息(例如，“OK”)显示于显示部105。因此，用户识别拍摄对象物不在拍摄范围内，从而使拍摄部101的方向变更。在变更了拍摄部101的方向后(S617)，再次返回至S1的处理。即，基于变更了拍摄部101的方向后的图像数据，再次实施S1以后的处理。

在S612为是的情况下，即，当3个顶点坐标在拍摄范围内的情况下，显示处理部112将连结4个顶点坐标的四边形的线作为拍摄对象物的轮廓线，与拍摄图像重叠地显示。另外，显示处理部112使表示拍摄对象物的一部分(一角)无法拍摄的第1欠缺信息显示于显示部105(S613)。

图15的(a)(b)是表示在S613中显示于显示部105的画面的一例的图。如图15所示，作为连结顶点坐标的四边形的线的轮廓线L显示在矩形的拍摄对象物和背景的边界上。因此，用户能够容易地确认拍摄对象物在拍摄范围内。

此外，作为第1欠缺信息，在位于拍摄范围外的顶点坐标的附近，显示有表示角欠缺的第1图标B。这里，显示处理部112基于拍摄范围外的顶点坐标，从拍摄范围中确定离该顶点坐标最近的点，并根据确定的点，将第1图标B显示在预先设定的距离的范围内。这时显示处理部112以第1图标B和轮廓线L不重叠的方式来显示。由此，确认了第1图标B的用户能够容易地识别该第1图标B的附近的角脱离拍摄范围。而且，用户能够容易地变更拍摄部101的方向，以使得将拍摄对象物收入在拍摄范围内。在变更了拍摄部101的方向后(S617)，再次返回至S1的处理。即，基于变更了拍摄部101的方向后的图像数据，再次实施S1以后的处理。

此外，在S601中为否的情况下，显示处理部112判断是否仅提取了成为矩形的拍摄对象物和背景的边界的四边中的三边(S614)。这里，显示处理部112在提取结果信息包含4个顶点坐标，且包含不可提取信息的情况下，判断为仅提取了三边。

在S614中为是的情况下，显示处理部112判断提取结果信息中表示的、除去假顶点坐标的2个顶点坐标是否在拍摄范围内(S615)。这里，所谓除去假顶点坐标的2个顶点坐标，在提取的三边是上边、左边、右边的情况下，是指作为上边和左边的交点的左上顶点坐标、以及作为上边和右边的交点的右上顶点坐标。此外，在提取的三边是上边、左边、下边的情况下，是指作为上边和左边的交点的左上顶点坐标、以及作为左边和下边的交点的左下顶点坐标。此外，在提取的三边是左边、下边、右边的情况下，是指作为下边和左边的交点的左下顶点坐标、以及作为下边和右边的交点的右下顶点坐标。此外，在提取的三边是上边、右边、下边的情况下，是指作为上边和右边的交点的右上顶点坐标、以及作为下边和右边的交点的右下顶点坐标。S615的处理为与S602～S609同样的处理。

在S614或者S615中为否的情况下，显示处理部112不将表示拍摄对象物在拍摄范围内的信息(例如，“OK”)显示于显示部105。因此，用户识别拍摄对象物不在拍摄范围内，从而使拍摄部101的方向变更。在变更了拍摄部101的方向后(S617)，再次返回至S1的处理。

另一方面，在S615为是的情况下，显示处理部112将连结4个顶点坐标的四边形的线中的除去2个假顶点坐标间的边的线作为拍摄对象物的轮廓线，与拍摄图像重叠地显示。然后，显示处理部112使表示拍摄对象物的一部分(一边)无法拍摄的第2欠缺信息显示于显示部105(S616)。

图16是表示在S616中显示于显示部105的画面的一例的图。如图16所示，轮廓线L被显示在矩形的拍摄对象物和背景的边界上。因此，用户能够容易地确认拍摄对象物在拍摄范围内。

此外，作为第2欠缺信息，在位于拍摄范围外的边的附近，显示有表示拍摄对象物的外框的一边欠缺的第2图标C。另外，显示处理部112将第2图标C显示在从与不可提取信息所表示的边对应的拍摄范围的框的边开始预先决定的范围内。例如，当不可提取信息为右边的情况下，在拍摄范围的外框的右边(即，x＝Xmax所示的线)的附近显示第2图标C。由此，确认了第2图标C的用户能够容易地识别第2图标C的附近的边脱离拍摄范围。由此，用户能够容易地变更拍摄部101的方向，以使得将拍摄对象物收入在拍摄范围内。然后，在变更了拍摄部101的方向后(S617)，再次返回至S1的处理。即，基于在变更了拍摄部101的方向后的图像数据，再度实施S1以后的处理。

另外，显示处理部112优选显示与轮廓线L不同的颜色的第1欠缺信息和第2欠缺信息。由此，用户容易确认第1欠缺信息和第2欠缺信息。

(步骤7(S7))

最后，输出对象图像决定部113决定成为输出处理的对象的图像数据，即输出对象图像数据。具体而言，如图14所示，输出对象图像决定部113在表示拍摄对象物在拍摄范围内的信息(例如，“OK”)和快门按钮10被显示于显示部105的状态下，检测操作了快门按钮10的定时。然后，输出对象图像决定部113将操作了快门按钮10的定时作为指定的定时，在该定时将表示正显示于显示部105的拍摄图像的图像数据决定为输出对象图像数据。

另外，输出对象图像决定部113仅在显示有表示拍摄对象物在拍摄范围内的信息时，能够受理快门按钮10的操作。

(3-3)几何学配置检测部的其他的处理例(其1)

几何学配置检测部111也可以通过省略上述的S2的处理，并在上述的S3中进行如图37所示那样的处理，来提取包含拍摄对象物和背景的边界的区域的候选(特征区域)。另外，图37是表示本变形例中的特征区域提取处理(S3)的流程图。此外，图38是表示通过本变形例中的特征区域提取处理来提取特征区域的情况的图。

首先，如图38所示，几何学配置检测部111从(1)的拍摄图像获取在S1中提取的(2)的边缘图像。然后，几何学配置检测部111对提取的边缘图像进行一级的膨胀处理(S311)。所谓一级的膨胀处理是指，在关注像素是边缘的情况下，将关注像素的4个周边附近(位于关注像素的上、左、下、右的像素)的像素设为边缘的处理。图38的(3)表示膨胀处理后的边缘图像，可知边缘部分膨胀。

接着，几何学配置检测部111使边缘图像反转(S312)。即，在边缘图像中将边缘像素置换成非边缘像素，将非边缘像素置换成边缘像素。图38的(4)表示反转处理后的边缘图像。如图38的(3)(4)所示，在通过膨胀使边缘区域彼此的连接数增加后进行了反转处理的图像中，能够将毗连图像端(拍摄范围端)的区域看作是背景。

接着，几何学配置检测部111对反转处理后的边缘图像，进行按照各连结的边缘像素的区域(连结区域)赋予不同的标签的标记处理(S313)。该标记处理进行与上述的S2相同的处理即可。

几何学配置检测部111选择在S313中赋予了标签的连结区域的1个，并确定中心x坐标、中心y坐标(S314)。具体而言，求出最大的x坐标和最小的x坐标的平均值来作为中心x坐标，求出最大的y坐标和最小的y坐标的平均值来作为中心y坐标。

接着，几何学配置检测部111判定中心x坐标是否在Xmax/4以上且在3×Xmax/4以下(S315)。

在S315中为是的情况下，几何学配置检测部111判定中心y坐标是否在Ymax/4以上且在3×Ymax/4以下(S316)。

在S316中为是的情况下，几何学配置检测部111判定连结区域是否离开图像端(S317)。具体而言，判定所选择的连结区域的最大的x坐标是否与图像右端的x坐标(图像宽度-1)一致，最小的x坐标是否与图像左端的x坐标(0)一致，最大的y坐标是否与图像下端的y坐标(图像高度-1)一致，最小的y坐标是否与图像上端的y坐标(0)一致。并且，若至少一个为是，则判定为连结区域毗连图像端(未离开图像端)，若全部为否，则判定为离开图像端。

在S317中为是的情况下，几何学配置检测部111将选择的连结区域提取为特征区域(S318)。然后，确认是否存在未选择的连结区域(S319)。另一方面，在S315、S316、S317的任意一步中为否的情况下，不将选择的连结区域提取为特征区域，而是确认是否存在未选择的连结区域(S319)。

然后，几何学配置检测部111在存在未选择的连结区域的情况下，选择未选择的一个连结区域(S320)。另一方面，在不存在未选择的连结区域的情况下，几何学配置检测部111结束特征区域提取处理并进行图4的S4的处理，检测表示拍摄对象物和背景的边界的概率较高的、连接成线段状的边缘像素组。

图38的(5)表示在S315或者S316中判定为否的连结区域。图38的(5)所示的连结区域是中心坐标靠近图像端的区域，作为矩形状的拍摄对象物以外的背景部分、或者描绘于拍摄对象物的端部的小区域的可能性较高。因此，不将图38的(5)所示的连结区域提取为特征区域。

此外，图38的(6)表示在S317中判定为否的连结区域。图38的(6)所示的连结区域是毗连图像端的区域，作为拍摄对象物以外的背景部分的可能性较高。因此，不将图38的(6)所示的连结区域提取为特征区域。

图38的(7)是从(4)所示的图像除去了(5)和(6)的区域的区域，表示提取为特征区域的区域。如图示，可知包含拍摄对象物和背景的边界区域被提取为特征区域。

(3-4)几何学配置检测部的其他的处理例(其2)

几何学配置检测部111也可以通过与S2～S4的处理独立地进行以下那样的处理，来求出与成为拍摄对象物和背景的边界的连接成线段状的边缘像素组对应的直线式。

即，几何学配置检测部111从拍摄图像数据中检测连接成线段状的边缘像素的组(进行直线识别)，并将检测到的边缘像素的组看作拍摄对象物和背景的边界。

首先，几何学配置检测部111对由拍摄部101拍摄的、显示在显示部105中的图像数据进行光栅扫描。这里，如图17所示，将光栅扫描的顺方向设为X方向，将与X方向垂直的方向设为Y方向。此外，将拍摄图像中左上角设为原点。

进行1行的扫描，若不存在边缘，则几何学配置检测部111对向Y方向偏移了规定量的下一行进行扫描。另外，行间的间隔固定即可，无需是1个像素。

然后，几何学配置检测部111将光栅扫描中最初检测到边缘的行设为L₁(第1行)，如图18所示，将在顺方向上判定为最初的边缘的点的坐标存放于第1组(第1边缘像素组)，将在相同的行上判定为第2个边缘的点的坐标分类在第2组(第2边缘像素组)。继续进行下一行的扫描，检测边缘。然后，针对各行L_i，求出在顺方向上第一个判定为拍摄对象物的边缘的点与第2个判定为拍摄对象物的边缘的点的X坐标值的差分(X坐标的距离d_i)，并如下述那样进行判定。

另外，将行L_i中的最初的边缘的X坐标设为X_i1(分类在第1组X坐标)，将第2个边缘的X坐标设为X_i2(分类在第2组的X坐标)。检测方法如以下。

(a)不变更第1行(L₁)的坐标X₁₁和X₁₂。

(b)针对第2行以后的第i行，计算坐标间的距离d_i1(＝X_i1-X_(i-1)1)和d_i2(相同)。以下，为了对d_i1叙述而省略下标1，d_i2也相同。

(c)第3行以后的第i行计算dd_i＝abs{(d_i)-d_i-1}。若dd_i≦th₁(接近0的小的数值)，则坐标X_i分类在相同的组。若不是这种情况(dd_i＞th₁)，则分类在其他组(第3组(第3边缘像素组)或者第4组(第4边缘像素组))。

(d)作为初始处理仅在i＝4时，进行用于确定X₂的组的处理。按照以下进行。

i)dd₃≦th₁且dd₄≦th₁→X₂：同组

ii)dd₃＞th₁且dd₄≦th₁→X₂：其他组

iii)dd₃≦th₁且dd₄＞th₁→X₂：同组

iv)dd₃＞th₁且dd₄＞th₁→X₂：同组

在一旦迁移到其他组(第3组或者第4组)的情况下，无需进行增减的确认。

在图像整体中进行这样的处理，提取属于各组的边缘像素。然后，按照各边缘像素组，利用最小2乘法等对属于该边缘像素组的边缘像素的坐标进行直线近似，求出与属于该边缘像素组的边缘像素近似的直线。这里，当针对各边缘像素组而求出的近似直线与该边缘像素组所包含的边缘像素的距离的平方和的平均在规定阈值以下的情况下，几何学配置检测部111能够判断为边缘像素组排列成线段状，并继续进行以下的处理。由此，几何学配置检测部111能够检测被推断为拍摄对象物和背景的边界且连接成线段状的边缘像素组。而且，几何学配置检测部111将针对检测到的各边缘像素组而求出的近似直线作为与成为拍摄对象物和背景的边界的四边对应的直线即可。

图19是通过上述那样的处理，利用光栅扫描提取边缘点，并分类在4个边缘像素组时的图。在图中，圆符号表示属于第1组的边缘像素，四边符号表示属于第2组的边缘像素，三角符号表示属于第3组的边缘像素，星符号表示属于第4组的边缘像素，以虚线表示利用最小2乘法而求出的、属于各边缘像素组的边缘像素的近似直线。

另外，也可以对旋转了90度的图像进行上述的分类处理。通过这种方式，理想上也能够提取平行于图像内的水平方向、垂直方向而配置的这样的原稿的边缘像素组。即，通过进行光栅扫描，能够在旋转前的图像中检测垂直方向的边缘。另一方面，能够在旋转后的图像中检测旋转前呈水平方向的边缘像素组(旋转后呈垂直方向的边缘)。由此，也能够提取与垂直方向、水平方向平行的边缘。若在旋转前具有足够的信息量(在各组例如有3点以上的交点)，则仅使用旋转前的信息即可，在任意一组的交点小于1点的情况下，当然求不出直线式，所以使用旋转后的交点即可。

或者也可以仅对求出的交点坐标再次进行坐标转换后返回到原来，并根据各组分布的区域求出对应的组，将交点信息统一，来求出直线式。即，根据从旋转前的图像求出的交点坐标和对从旋转后的图像求出的交点进行逆旋转而得到的交点坐标，对属于相同组的复原坐标进行统一来求出直线方程式即可。

另外，作为边缘像素的提取方法，对在至少1个以上的像素宽度的小窗口内的像素值直接地比较(在2个以上的宽度的情况下比较和、平均值)，当邻接的值的差分在一定以上的情况下，判断为是边缘像素即可。另外，为了防止误检测背景、拍摄对象物内的文本边缘等，也可以仅将规定长度以上的边缘像素组检测为拍摄对象物的边缘。该情况下，所谓规定长度，例如设定拍摄范围的外框边的长度的80％左右的长度即可。作为这种检测方法，例如，能够使用日本国公开专利公报“日本特开2006-237757”中记载的技术。或者，即使进行各坐标组的评价，或进行用于线段检测的处理(霍夫转换等)也能够防止。另外，通过进行使用了缩小图像的处理来作为预处理，能够防止误检测文本、细微纹理的边缘。

(3-5)几何学配置检测部的其他处理例(其3)

在上述的(3-2)(3-3)(3-4)中所示的、表示拍摄对象物和背景的边界的概率较高的连接成线段状的边缘像素组的检测方法中，分别具有特征。例如，在(3-2)所示的检测方法中，作为拍摄对象物，几何学配置检测部111不仅能够检测字符原稿，还能够检测插图原稿、照片等，但是针对在拍摄对象物的周边具有图案、物体的拍摄图像(通过Canny滤波器，拍摄对象物和背景的边缘连系的拍摄图像)，难于准确地检测表示拍摄对象物和背景的边界的边缘像素组。此外，在(3-3)所示的检测方法中，即使是在拍摄对象物的周边具有图案、物体的拍摄图像，几何学配置检测部111也能够检测原稿，但是针对插图原稿、写真这样的拍摄图像(Canny滤波器中边缘中断的拍摄图像)，有时无法检测表示拍摄对象物和背景的边界的边缘像素组。

于是，由于根据上述的(3-2)(3-3)(3-4)的提取方法，存在这样的特征差异，所以几何学配置检测部111也可以对一个拍摄图像应用多个检测方法。例如，对一个拍摄图像，按照(3-2)、(3-3)、(3-4)的顺序执行处理，采用在最初提取出了成为拍摄对象物和背景的边界的三边或者四边的处理中生成的提取结果信息。

此外，若拍摄对象物和便携终端装置100分别是静止状态，则在由拍摄部101连续拍摄的拍摄图像(预览用的帧)中几乎没有差异。因此，几何学配置检测部111也可以对各个连续拍摄的拍摄图像应用从(3-2)(3-3)(3-4)的多个检测方法选择出的一个。

图39是表示对拍摄图像应用的检测方法的决定处理的流程图。对多个检测方法预先赋予表示选择顺序的选择标号。首先，几何学配置检测部111选择选择标号是第1个的检测方法，使用选择的检测方法来生成提取结果信息(S390)。例如，选择(3-2)所示的检测方法。

接着，几何学配置检测部111确认针对目前的拍摄图像(帧)的提取结果信息，并判断对拍摄对象物和背景的边界的检测是否成功(S391)。几何学配置检测部111在提取结果信息表示无法适当地提取拍摄对象物和背景的边界这一意思的情况下判断为检测失败，在不是这样的情况下，判断为检测成功即可。

在检测成功的情况下(S391中为是)，几何学配置检测部111将上次检测成功标示变成开(S392)。然后，移至S398的处理。

另一方面，在检测失败的情况下(S391中为否)，几何学配置检测部111确认上次检测成功标示是否为开(S393)。在上次检测成功标示为开的情况下(S393中为是)，几何学配置检测部111将上次检测成功标示变更成关(S394)。另一方面，在上次检测成功标示为关的情况下(S393中为否)，几何学配置检测部111确认是否存在选择标号为下一个的检测方法(S395)。在存在下一个检测方法的情况下(S395中为是)，选择该检测方法(S396)，在不存在下一个检测方法的情况下(S395中为否)，选择第一个检测方法(S397)。然后，移至S398的处理。

接着，在S398中，几何学配置检测部111确认是否需要继续进行拍摄图像的显示。例如，在未输入文件拍摄模式的结束指示等的情况下，判断为需要继续进行拍摄图像的显示即可。

在S398为是的情况下，几何学配置检测部111利用所选择的检测方法，对下一个拍摄图像(帧)进行检测处理(S399)。然后，返回至S391的处理。

图40是表示根据图39的流程图来决定检测方法的例子的图。如图示那样，几何学配置检测部111使用选择标号为第一个的检测方法，针对最初的拍摄图像(第1帧)生成提取结果信息。另外，上次检测成功标示设定为在开始了文件拍摄模式的定时变成关。因此，在检测失败的情况下，通过S396，选择第2个检测方法，来作为对下一个拍摄图像(第2帧)使用的检测方法。

然后，几何学配置检测部111对第2个拍摄图像(第2帧)使用第2个检测方法，来生成提取结果信息。这里，若检测成功，则通过S392，将上次检测成功标示设定成开。

然后，在使用第2个检测方法对第3个拍摄图像(第3帧)检测成功了的情况下，由于检测成功，所以第2个检测方法保持被选择，对第4个拍摄图像(第4帧)也使用第2个检测方法执行检测处理。即使对第4个拍摄图像检测失败，由于上次检测成功标示为开(S393中为是)，所以也不进行检测方法的变更。因此，对第5个拍摄图像(第5帧)也使用第2个检测方法执行检测处理。但是，由于检测失败，所以上次检测成功标示被切换成关。

然后，若对第5个拍摄图像检测失败，则由于上次检测成功标示为关，所以通过S396，选择下一个检测方法(即第3个检测方法)，来作为对下一个拍摄图像(第6帧)使用的检测方法。

这样，在通过第1个检测方法对第1帧提取失败的情况下，通过第2个检测方法对下一个第2帧执行检测处理。此外，在通过第2个检测方法对第5帧检测失败的情况下，通过第3个检测方法对下一个第6帧执行检测处理。即，在对处理对象的拍摄图像的之前的拍摄图像的检测处理为失败的情况下，使用与对该之前的拍摄图像使用的检测方法不同的检测方法，来对处理对象的拍摄图像进行检测处理。由此，能够选择与拍摄图像的类型对应的最合适的检测方法。

但是，如图39、40所示，在一旦检测成功的情况下，即使检测失败一次，也不变更检测方法，在检测连续地失败两次的情况下，变更检测方法。由此，即使在因手抖等某种理由导致偶尔检测失败的情况下，也不变更检测方法。

(3-6)显示处理部的其他处理例

在上述的(3-2)的S6中，显示处理部112按照各拍摄图像，将连接根据该拍摄图像生成的提取结果信息所表示的4个顶点坐标的四边形的线作为拍摄对象物的轮廓线，与该拍摄图像重叠地显示。

但是，在按照各连续拍摄的拍摄图像而显示了拍摄对象物的轮廓线的情况下，由于拍摄对象物和背景的配置、对比度、照明状态、手抖等原因，提取结果信息中表示的4个顶点坐标有可能按照各拍摄图像而变化较大。该情况下，由于导致轮廓线闪动较大，所以显示处理部112也可以进行以下那样的处理。

显示处理部112具有：存储显示用4顶点坐标的功能、以及对上次的拍摄图像(帧)设定表示4个顶点坐标的检测是否成功的帧跳跃标示的功能。另外，在起动了文件拍摄模式的定时，显示处理部112将帧跳跃标示设定成关。此外，在结束了文件拍摄模式的定时，显示处理部112消除显示用4顶点坐标。因此，在起动了文件拍摄模式时，显示处理部112存储被设定成关的帧跳跃标示，未存储显示用4顶点坐标。

在图13所示的S611中，显示处理部112也可以进行图41所示的轮廓线显示处理。图41表示在本变形例中通过S611进行的轮廓线显示处理例的流程图。另外，S611是在4个顶点坐标全部在拍摄范围内的情况下(设置了全部顶点坐标的标示的情况下(在图13的S610中为是的情况))实施的处理。

首先，显示处理部112确认是否存储有显示用4顶点坐标(S621)。在未存储显示用4顶点坐标的情况下(S621中为否)，显示处理部112将提取结果信息中表示的4个顶点坐标决定为显示用4顶点坐标(S622)。另一方面，在存储有显示用4顶点坐标的情况下(S621中为是)，显示处理部112针对左上、右上、左下、右下的各顶点，求出存储的显示用4顶点坐标与提取结果信息中表示的各顶点坐标的中点坐标，并将该4个中点坐标决定为新的显示用4顶点坐标(S623)。

然后，显示处理部112存储新决定的显示用4顶点坐标(保存)(S624)，并将帧跳跃标示设定成开(S625)。然后，显示处理部112基于通过S624存储的显示用4顶点坐标，来显示拍摄对象物的轮廓线(S626)。

根据图41所示的处理，存储基于针对上次的帧的拍摄图像生成的提取结果信息而生成的显示用4顶点坐标。然后，将针对此次的帧的拍摄图像而生成的提取结果信息中表示的4顶点坐标与该显示4顶点坐标的中点坐标更新为新的显示用4顶点坐标，并基于此来显示轮廓线。因此，在连续显示的多个拍摄图像(帧)中，即使因某种原因导致提取结果信息中表示的4个顶点坐标按照各拍摄图像变化较大，也能够防止轮廓线的闪动。

此外，在图13的S612中为否、在S614中为否、或者在S615中为否的情况下(在提取结果信息中表示的4顶点坐标不处于图像范围内的情况下)，显示处理部112进行图42所示的处理。

首先，显示处理部112确认帧跳跃标示是否为开(S631)。在帧跳跃标示为开的情况下(S631中为是)，显示处理部112确认存储有显示用4顶点坐标(S632)。在存储有显示用4顶点坐标的情况下(S632中为是)，显示处理部112维持显示用4顶点坐标地(S633)移至S635。另一方面，在未存储有显示用4顶点坐标的情况下(S632中为否)，移至S635。然后，在S635中，将帧跳跃标示设定成关。

另一方面，在帧跳跃标示为关的情况下(S631中为否)，显示处理部112消除存储的显示用4顶点坐标(S634)。

然后，在S636中，显示处理部112基于显示用4顶点坐标而使轮廓线显示。但是，在未存储显示用4顶点坐标的情况下，不显示轮廓线。然后，返回至图13的S617的处理。

图43是表示根据图41和图42的处理，显示处理部112进行了动作时的显示部105的画面例的图。S1到S6的处理是针对连续拍摄的各拍摄图像(帧)而执行的。图43表示从第1个帧(第1帧)到第6个帧(第6帧)的拍摄图像的显示例。

在图43的例子中，由于针对刚起动了文件拍摄模式后的第1帧的提取结果信息中表示的4个顶点坐标在拍摄范围内，所以按照图41的S622，将该4个顶点坐标存储为显示用4顶点坐标。因此，显示使用了该4个顶点坐标的轮廓线。

此外，由于针对第2帧的提取结果信息中表示的4个顶点坐标也在拍摄范围内，所以按照图41的S623，将第1帧时存储的显示用4顶点坐标和该4个顶点坐标的中点存储为新的显示用4顶点坐标。然后，显示使用了该中点的轮廓线。

接着，假设在针对第3帧的提取结果信息中示出无法正常地提取4个各顶点坐标。该情况下，执行图42的处理。这里，在第2帧中帧跳跃标示被设定成开，并保存有显示用4顶点坐标。因此，通过S636，基于该显示用4顶点坐标来显示轮廓线。此时，将帧跳跃标示变更成关。

这样，即使在连续显示的拍摄图像的中途的1个帧中4顶点坐标的提取处理失败，在画面上也显示与上次的帧相同的轮廓线，从而能够抑制看上去的闪动。

由于拍摄图像是连续拍摄的图像，所以通常拍摄对象物的位置没有较大的变化。但是，存在因照明状态仅使某个帧的拍摄图像的边缘没有顺利地连接，作为结果判断为4顶点坐标均不处于拍摄范围内，或者因手抖等使位置偏移，而判断为4顶点坐标均不处于拍摄范围内的情况。即使是这样的情况，通过直接地显示在前一个帧的拍摄图像中显示的显示用4顶点坐标(无视仅1帧的提取失败)，能够减轻闪动。

接着，若针对第4帧的提取结果信息中表示的4个顶点坐标在拍摄范围内，则移至图41的流程，通过S623，将第2帧时存储的显示用4顶点坐标与该4个顶点坐标的中点存储为新的显示用4顶点坐标。然后，显示使用了该中点的轮廓线。这时，将帧跳跃标示变更成开。

接着，假设在针对第5帧的提取结果信息中示出无法正常地提取4个各顶点坐标。该情况下，执行与第3帧相同的显示处理。

接着，假设在针对第6帧的提取结果信息中也示出无法正常地提取4个各顶点坐标。该情况下，执行图42的处理，由于在第5帧中帧跳跃标示被变更成关，所以通过S634，消除所保存的显示用4顶点坐标。因此，显示处理部112不进行轮廓线的显示。这样，在从显示有轮廓线的状态(第4帧的阶段)开始4顶点坐标的提取处理2帧以上连续地失败的情况下，不再显示轮廓线，所以能够掌握无法识别拍摄对象物的情况。

另外，在图42和图43所示的例子中，无视针对1帧的拍摄图像的4顶点坐标的提取失败，但是也可以设置计数器来对失败的帧数进行计数，并无视多个帧的提取失败。

(4)关于输出对象图像数据向图像形成装置的传输

用户把持便携终端装置100来到图像形成装置200或者图像显示装置300的附近，操作便携终端装置100，并使用红外线通信这样的近距离无线通信方式来使输出对象图像数据发送至图像形成装置200或者图像显示装置300。具体而言，用户向便携终端装置100的输入部106输入输出对象图像数据的发送指示。

若输入了输出对象图像数据的发送指示，则控制部109确定存放在存储部108中的输出对象图像数据。然后，控制部109使通信部104执行将输出对象图像数据发送给图像形成装置200或者图像显示装置300的发送处理。另外，通信部104一同发送输出对象图像数据、与输出对象图像数据建立对应的文件名、输出处理信息、以及存放在存储部108中的机种信息和用户信息。

(5)图像形成装置的构成

接着，对本实施方式所涉及的图像形成装置200的构成进行说明。在本实施方式中，图像形成装置200是具备扫描仪、打印机、复写机等的功能的复合机。

图20是表示图像形成装置200的构成的框图。图像形成装置200具备图像读取部201、图像处理部202、认证部203、图像形成部204、显示部205、输入部206、第1通信部207、第2通信部208、记录介质访问部209、存储部210以及控制部212。

图像读取部201读取原稿，其具有具备CCD(Charge Coupled Device)的扫描部，将从原稿反射来的光转换成被色分解成RGB的电信号(模拟的图像信号)，并将该电信号输出。

图像处理部202对图像数据进行规定的图像处理。在本实施方式中，图像处理部202对从便携终端装置100或者图像显示装置300接收到的输出对象图像数据进行规定的图像处理，生成已校正图像数据。之后对图像处理部202中的图像处理详细地进行叙述。

在进行从便携终端装置100或者图像显示装置300接收到的输出对象图像数据的输出处理时，认证部203进行用户认证。具体而言，认证部203对照从便携终端装置100接收到的用户信息和输入至输入部206的用户信息(用户ID和密码)来进行用户认证。认证部203将认证结果发送至控制部212。

图像形成部204使用例如电子照相方式或喷墨方式，在纸等记录纸张上形成图像。即，图像形成部204执行将已校正图像数据中表示的图像打印到记录纸张或OHP纸张等记录纸上的打印处理，来作为输出处理之一。

显示部205例如由液晶显示器等构成。此外，输入部206用于通过按下例如液晶显示器的触摸面板、按钮等，来进行数据的输入。

第1通信部207具有进行基于USB1.1或者USB2.0的标准的串行传输、并行传输的无线数据通信功能。第1通信部207从便携终端装置100或者图像显示装置300接收被附加了文件名、便携终端装置100的机种信息、用户信息以及输出处理信息的输出对象图像数据。

第2通信部208具有以下功能，即、(a)利用了作为无线LAN的标准的、基于IEEE802.11a、IEEE802.11b以及IEEE802.11g的任意一种的无线技术的数据通信；(b)具有利用了以太网(注册商标)的通信用接口的功能、且与经由LAN电缆的网络的数据通信；(c)利用了作为无线通信标准的、基于IEEE802.15.1(所谓的Bluetooth(注册商标))、IrSimple等红外线通信标准、Felica(注册商标)等通信方式的任意一种的无线技术的数据通信。

第2通信部208执行将由图像处理部202实施了规定的图像处理的已校正图像数据存放到服务器的归档处理、或者发送添加有实施了该规定的图像处理的已校正图像数据的邮件的邮件发送处理，来作为输出处理。

记录介质访问部209从记录了程序的记录介质中读出程序。存储部210用于存储用于上述各部执行处理的程序。

控制部212进行图像形成装置200的各部的控制。具体而言，若第1通信部207从便携终端装置100或者图像显示装置300接收到输出对象图像数据，则控制部212将该输出对象图像数据输出至图像处理部202，使其执行图像处理。此外，控制部212将附加于输出对象图像数据的用户信息输出至认证部203，使认证部203执行认证处理。控制部212若从认证部203接受到认证成功的认证结果，则按照赋给输出对象图像数据的输出处理信息执行处理。即，在输出处理信息表示打印处理的情况下，控制部212使图像形成部204执行基于由图像处理部202生成的已校正图像数据的打印。此外，在输出处理信息表示归档处理或者邮件发送处理的情况下，控制部212使第2通信部208执行基于由图像处理部202生成的已校正图像数据的归档处理或者邮件发送处理。

(6)关于图像处理部中的图像处理

接着，对图像处理部202执行的图像处理详细地进行说明。另外，图像处理部202针对图像读取部201读取的图像数据也进行图像处理，这里，对针对从便携终端装置100或者图像显示装置300接收到的输出对象图像数据的图像处理的内容进行说明。

图21是表示图像处理部202的内部构成的框图。如图12所示，图像处理部202具备：画质调整部221，几何学校正部(映射生成部)222、透镜畸变校正部223、高分辨率校正部225以及输出图像处理部224。以下，按照顺序对各部的具体处理内容进行说明。

(6-1)画质调整部

画质调整部221进行输出对象图像数据的色彩平衡、对比度的校正。画质调整部221针对接收到的输出对象图像数据，求出各颜色通道的最大值、最小值，作成将它们集中那样的查找表，并应用于各颜色通道。具体而言，如图22所示，画质调整部221作成在某个通道的最大值为MX，最小值为MN，且数据为8bit时，从MN开始通过(MX-MN)/255的步骤而增加那样的表格，来作为查找表即可。然后，画质调整部221按照作成的表格，来转换各像素值。由此，校正色彩平衡。

此外，画质调整部221也以相同的方法执行对比度的校正。另外，若无需改变色彩平衡，则将应用于各颜色通道的查找表设为同样即可。

另外，关于色彩平衡、对比度的校正方法，也可以应用其他公知的技术。

(6-2)透镜畸变校正部

透镜畸变校正部223针对输出对象图像数据，执行透镜畸变的校正。

透镜畸变校正部223针对输出对象图像数据，通过与上述的(3-3)中记载的处理相同的处理，利用光栅扫描来依次检测拍摄图像中的拍摄对象物的边缘像素。然后，透镜畸变校正部223对检测到的边缘像素进行曲线近似，根据该曲线式来进行透镜畸变校正。

具体而言，透镜畸变校正部223对检测到的拍摄对象物的边缘像素进行检测，并与上述的(3-3)中记载处理相同地将各边缘像素分类在与拍摄对象物和背景的边界的4边对应的4个边缘像素组。然后，如图23的实线所示，对属于各组的边缘点进行2次曲线近似。通过这种方式针对4个组求出的2次曲线与拍摄对象物的4边对应。此外，透镜畸变校正部223求出与由4条2次曲线包围的区域的角部相当的、4条2次曲线的交点。接着，透镜畸变校正部223求出与针对各边求出的2次曲线外接、且与连结4个交点的四边形(在图23中用虚线表示)相似的外接四边形(在图23中用单点划线表示)。然后，透镜畸变校正部223对拍摄图像中的拍摄对象物的区域内的像素位置进行转换，以使得通过这种方式求出的外接四边形成为校正后的对象物的边缘像素的位置。该转换基于从基准点(例如拍摄对象物的区域的重心点)开始的向量进行计算即可。由此，能够校正基于便携终端装置100的拍摄部101的透镜畸变。

作为透镜畸变的校正的方法，并不局限于上述的方法，能够使用公知的技术。

(6-3)几何学校正部

几何学校正部222针对海报、原稿纸张这样的矩形状的拍摄对象物，校正因从与形成了文件图像的平面的法线方向不同的方向拍摄而引起的拍摄对象物的畸变(即，形成了文件图像的矩形状的平面的畸变)，并且校正图像数据中的拍摄对象物的倾斜。

具体而言，几何学校正部222与几何学配置检测部111相同地，基于输出对象图像数据，求出与成为矩形的拍摄对象物和背景的边界的4个边缘像素组对应的直线式。然后，几何学校正部222确定由该4条直线围成的四边形的区域(校正前区域)，并切出所确定的校正前区域。

接着，如图24那样，几何学校正部222求出用于将确定的四边形的校正前区域(在图24中用单点划线表示)转换成上下2边在水平方向上大致平行且具有规定的纵横比和大小的矩形状的标准区域(例如，若是用于商务文件出的A判B判，则是7：10等。在图24中用实线表示)的映射。另外，标准区域的上下2边也可以不与水平方向完全平行，可以相对于水平方向具有规定范围内的一点角度(可以大致平行)。这里，所谓映射，是指用于从校正前区域的各像素的坐标(x1，y1)向与标准区域对应的像素的坐标(x2，y2)进行映射转换(坐标转换处理)的标准fx、fy，以x2＝fx(x1、y1)、y2＝fy(x1、y1)表示。作为该映射转换能够使用公知的技术。另外，几何学校正部222可以以与预先存储在存储部210中的纵横比一致的方式进行转换，也可以以与输入到输入部206的纵横比一致的方式进行转换。此外，作为标准区域的大小，可以设定输入到输入部206的大小，也可以设定成为与校正前区域相同的面积这样的大小。

接着，几何学校正部222按照求出的映射，对从输出对象图像数据切出的校正前区域进行坐标转换。由此，能够进行几何学畸变和倾斜的校正(以下，存在称为几何学校正的情况)。

作为几何学校正的方法，并不局限于上述的方法，能够使用公知的技术。

(6-4)高分辨率校正部

高分辨率校正部225进行针对输出对象图像数据的高分辨率校正。在本实施方式中，高分辨率校正部225基于一个输出对象图像数据来进行高分辨率校正。

关于根据1个图像数据的高分辨率图像作成方法，介绍了映像信息媒介学会刊Vol.62，No.2，pp.181～189(2008)中若干的方法。

一般而言，通过检测图像图案的边缘方向性，进行与该方向一致的内插，并且进行以除去因内插引起的畸变、存在于输入图像中的噪声成分的影响等为目的的噪声除去处理，能够执行高分辨率校正。以下，具体地进行说明。

图25是表示本实施方式中的高分辨率校正的处理的流程的流程图。这里，对分别针对横向、纵向进行2倍的分辨率转换的例子进行说明。在进行2倍的分辨率转换的情况下，当将为校正对象的输出对象图像数据的像素数设为n×m时，校正后的高分辨率图像数据的像素数成为2n×2m。通过将输出对象图像数据中的各像素作为基准像素，在该基准像素间的中央生成新的像素来作为内插像素，并生成具备该基准像素和内插像素的双方的图像数据来作为高分辨率图像数据，来执行这种高分辨率校正(2倍的分辨率转换)。图26表示基准像素和内插像素的关系，像素a表示基准像素，像素b表示内插像素。

首先，高分辨率校正部225针对输出对象图像数据进行边缘提取。例如，高分辨率校正部225使用如图27所示那样的1阶微分滤波器来进行边缘提取，并进行2值化处理，生成2值化图像数据(S40)。另外，若在2值化图像数据中像素值为1，则表示是为边缘的可能性较高的像素。

接着，高分辨率校正部225基于在S40中生成的2值化图像数据，判定拍摄图像数据中的关注像素是否是边缘(S41)。具体而言，若与2值化图像数据中的关注像素对应的像素的值为1，则高分辨率校正部225判定为该关注像素是边缘。

另外，所谓关注像素，是指按照任意的顺序关注拍摄图像数据中的各像素时的关注的像素。

在关注像素是边缘的情况下(S41中为是)，高分辨率校正部225使用包含关注像素的N×N(N＞1)的部分图像来检测边缘方向(S42)。具体而言，针对N×N的部分图像所包含的全部的基准像素，判定是否是边缘像素。然后，在关注像素的左上的基准像素和右下的基准像素是边缘像素的情况下，高分辨率校正部225判定为部分图像中的边缘方向是左上-右下方向。相同地，在关注像素的左边的基准像素和右边的基准像素是边缘像素的情况下，判定为边缘方向是左-右方向，在关注像素的上边的基准像素和下边的基准像素是边缘像素的情况下，判定为边缘方向是上-下方向，在关注像素的右上的基准像素和左下的基准像素是边缘像素的情况下，判定为边缘方向是右上-左下方向。

在图28中，虚线表示检测到的边缘方向。另外，在图28中，像素(1)～(9)是基准像素，其中的像素(5)是关注像素。而且，像素A、B、C分别是基准像素(1)与(5)之间的内插像素、基准像素(2)与(5)之间的内插像素、基准像素(4)与(5)之间的内插像素。

接着，高分辨率校正部225根据在S42中检测到的边缘方向，利用内插求出关注像素的左上的内插像素A、关注像素的上边的内插像素B、关注像素的左边的内插像素C的像素值。此时，使用沿着边缘方向的基准像素来求出内插像素的像素值。

在边缘方向是左上-右下方向的情况下，如图28的(a)所示，基准像素(1)、(5)、(9)是边缘像素，连结这些像素的线成为边缘线。然后，针对边缘线上的内插像素A的像素值VA(图中省略“V”的表记。以下相同)，使用与内插像素A相邻的边缘线上的基准像素(1)(像素值V(1))和基准像素(5)(像素值V(5))的像素值，通过以下的式VA＝(V(1)+V(5))/2来求出。

另一方面，针对不在边缘线上的内插像素B、C，使用在包含除去边缘线上的基准像素的基准像素中的、与该内插像素最近的基准像素(最接近基准像素)，且与边缘方向平行的线上的基准像素，来进行内插。例如，在图28的(a)中，针对内插像素B，包含作为最接近基准像素的基准像素(2)，且与边缘方向平行的线是连结基准像素(2)和(6)的线。而且，从内插像素B向该线垂直地作出的点将连结基准像素(2)和(6)的线段内分。因此，内插像素B的像素值VB使用以下的式VB＝(9×V(2)+4×V(6))/13来求出。

同样地，内插像素C的像素值VC使用作为最接近基准像素的基准像素(4)、和在包含该基准像素(4)且与边缘方向平行的线上的基准像素(8)的像素值，通过以下的式VC＝(9×V(4)+4×V(8))/13来求出。

此外，在边缘方向是左-右方向的情况下，如图28的(b)所示，基准像素(4)、(5)、(6)是边缘像素，连结这些像素的线成为边缘线。而且，针对边缘线上的内插像素C的像素值VC，使用与内插像素C相邻的边缘线上的基准像素(4)(像素值V(4))和基准像素(5)(像素值V(5))的像素值，通过以下的式VC＝(V(4)+V(5))/2来求出。

另一方面，针对不在边缘线上的内插像素A、B，使用在包含除去边缘线上的基准像素的基准像素中的、与该内插像素最近的基准像素(最接近基准像素)，且与边缘方向平行的线上的基准像素，来进行内插。例如，在图28的(b)中，针对内插像素A，包含作为最接近基准像素的基准像素(1)或者(2)，且与边缘方向平行的线是连结基准像素(1)和(2)的线。而且，从内插像素A向该线垂直地作出的点存在于基准像素(1)和(2)的中央。因此，内插像素A的像素值VA使用以下的式VA＝(V(1)+V(2))/2来求出。

针对内插像素B，包含作为最接近基准像素的基准像素(2)，且与边缘方向平行的线是连结基准像素(1)、(2)以及(3)的线。而且，从内插像素B向该线垂直地作出的点与基准像素(2)一致。因此，内插像素B的像素值VB成为与基准像素(2)的像素值V(2)相同的值。

此外，在边缘方向是右上-左下方向的情况下，如图28的(c)所示，基准像素(3)、(5)、(7)是边缘像素，连结这些像素的线成为边缘线。而且，内插像素A、B、C全部不存在于边缘线上。

针对内插像素A，最接近基准像素成为基准像素(1)、(2)、(4)。这里，基准像素(2)、(4)位于与边缘方向平行的相同的线上，但是基准像素(1)不位于该线上。于是，针对内插像素A的像素值VA，使用作为最接近基准像素的基准像素(1)、(2)、(4)的像素值，通过以下的式VA＝(V(1)+V(2)+V(4))/3来求出。

另一方面，针对内插像素B、C，使用在包含除去边缘线上的基准像素的基准像素中的、与该内插像素最近的基准像素(最接近基准像素)、且与边缘方向平行的线上的基准像素来进行内插。例如，在图28的(c)中，针对内插像素B，包含作为最接近基准像素的基准像素(2)，且与边缘方向平行的线是连结基准像素(2)和(4)的线。而且，从内插像素B向该线垂直地作出的点将连结基准像素(2)和(4)的线段内分。因此，内插像素B的像素值VB使用以下的式VB＝(9×V(2)+4×V(4))/13来求出。

相同地，内插像素C的像素值VC使用作为最接近基准像素的基准像素(4)、和在包含该基准像素(4)且与边缘方向平行的线上的基准像素(2)的的像素值，通过以下的式VC＝(4×V(2)+9×V(4))/13来求出。

此外，在边缘方向是上-下方向的情况下，如图28的(d)所示，基准像素(2)、(5)、(8)是边缘像素，连结这些像素的线成为边缘线。而且，针对边缘线上的内插像素B的像素值VB，使用与内插像素B相邻的边缘线上的基准像素(2)和基准像素(5)的像素值，通过以下的式VC＝(V(2)+V(5))/2来求出。

另一方面，针对不在边缘线上的内插像素A、C，使用在包含除去边缘线上的基准像素的基准像素中的、与该内插像素最近的基准像素(最接近基准像素)，且与边缘方向平行的线上的基准像素，来进行内插。例如，在图28的(d)中，针对内插像素A，包含作为最接近基准像素的基准像素(1)或者(4)且与边缘方向平行的线是连结基准像素(1)和(4)的线。而且，从内插像素A向该线垂直地作出的点存在于基准像素(1)和(4)的中央。因此，内插像素A的像素值VA通过以下的式VA＝(V(1)+V(4))/2来求出。

针对内插像素C，包含作为最接近基准像素的基准像素(4)，且与边缘方向平行的线是连结基准像素(1)、(4)以及(7)的线。而且，从内插像素C向该线垂直地作出的点与基准像素(4)一致。因此，内插像素C的像素值VC成为与基准像素(4)的像素值V(4)相同的值。

另外，存储部210预先存储有将边缘方向和用于求出内插像素A、B、C的像素值的运算式建立了对应的信息。然后，高分辨率校正部225从存储部210读出与在S42中检测到的边缘方向对应的运算式，并基于读出的运算式，求出内插像素A、B、C的像素值即可。

另外，在图28中，仅示出边缘方向为直线状的情况。然而，也存在边缘在N×N的部分图像内弯曲的情况。例如是边缘如基准像素(2)-(5)-(4)那样弯曲的情况、边缘如基准像素(1)-(5)-(7)那样弯曲的情况等。针对这种情况，也预先存储有与用于求出内插像素A、B、C的像素值的运算式建立了对应的信息。例如，在边缘如基准像素(2)-(5)-(4)那样弯曲的情况下合，针对内插像素A，存储有与图28的(c)相同的运算式，针对内插像素B，存储有与图28的(b)相同的运算式，针对内插像素C，存储有与图28的(d)相同的运算式。此外，在边缘如基准像素(1)-(5)-(7)那样弯曲的情况下，针对内插像素A，存储有与图28的(a)相同的运算式，针对内插像素B，存储有与图28的(a)相同的运算式，针对内插像素C，存储有与图28的(d)相同的运算式。针对其他边缘方向的图案，也同样地进行存储。

通过这种方式，高分辨率校正部225求出位于被判定为边缘像素的基准像素的周围的内插像素的像素值。

另一方面，在关注像素不是边缘的情况下(S41中为否)，高分辨率校正部225利用一般的内插运算法(双线性、双三次等)来求出与该关注像素的左上邻接的内插像素A、与该关注像素的上边邻接的内插像素B、与该关注像素的左边的内插像素C的像素值(S43)。

高分辨率校正部225通过针对一个图像数据所包含的全部的基准像素执行上述的S41～S43的处理，来生成具备基准像素和内插像素的双方的内插图像数据(S44)。

然后，高分辨率校正部225对生成的内插图像数据进行高画质化处理。例如，高分辨率校正部225将噪声除去滤波器、锐化滤波器等应用于内插图像数据，来生成高分辨率图像数据。以往存在的锐化掩膜或将图27的中央的系数设为5的滤波器为锐化滤波器。此外，作为噪声除去，广泛已知有中值滤波器等。作为更高度的方法，作为同时具有上述边缘保存性和高画质化的方法，也可以使用双边滤波器[Proceedings of the1998IEEEInternational Conference on Computer Vision，]等。

另外，高分辨率校正部225并不局限于上述的方法，也可以使用映像信息媒介学会刊Vol.62，No.2，pp.181～189(2008)中记载那样的各种方法，根据1个拍摄图像数据来生成高分辨率图像数据。

(6-5)输出图像处理部

输出图像处理部224执行将输出对象图像数据输出时的区域分离处理、颜色校正、黑色生成底色除去处理、空间滤波器处理、半色调处理。另外，作为这些处理，能够使用公知的技术。

(7)图像形成装置的处理的流程

以下，对本实施方式所涉及的图像形成装置200的处理流程进行说明。图29表示图像形成装置200的处理流程。

图像形成装置200的第1通信部207从便携终端装置100接收输出对象图像数据、机种信息、用户信息以及输出处理信息(S30)。

图像处理部202的画质调整部221针对接收到的输出对象图像数据，按照例如上述(6-1)所说明那样，进行色彩平衡、对比度的校正(S31)。接着，透镜畸变校正部223针对接收到的输出对象图像数据，如上述(6-2)所说明那样，进行透镜畸变的校正。

另外，几何学校正部222针对输出对象图像数据，进行几何学畸变的校正和倾斜的校正(S32)。具体而言，几何学校正部222确定由分别与对应于拍摄对象物和背景的边界的四边对应的直线围成的四边形的区域(校正前区域)并将其切出。接着，几何学校正部222求出与用于将切出的四边形的校正前区域转换成上下2边在水平方向上大致平行，且具有规定的纵横比和大小的矩形状的标准区域的坐标相关的映射。然后，几何学校正部222使用该映射，针对切出的校正前区域的图像数据进行映射转换处理。由此，能够输出无几何学畸变的图像。

接着，高分辨率校正部225针对进行了S32的处理的图像数据进行高分辨率校正(S33)。另外，高分辨率校正的具体方法按照(6-4)中说明的方法。

接着，输出图像处理部224针对通过高分辨率校正部225中的高分辨率校正而得到的高分辨率图像数据，执行区域分离处理、颜色校正、黑色生成底色除去处理、空间滤波器处理、半色调处理等各种图像处理。另外，输出图像处理部224根据输出处理信息中表示的输出方法的种别，适当地切换该各种图像处理的内容。然后，输出图像处理部224将校正完的图像数据(已校正图像数据)存放于存储部210(S34)。另外，此时，输出图像处理部224在存放成为已校正图像数据的源的输出对象图像数据的同时，与接收到的用户信息和输出处理信息建立对应地存放该已校正图像数据。

然后，控制部212判定输出对象图像数据的输出指示是否被输入部206输入(S35)。在不存在输出指示的输入的情况下(S35中为否)，到输出指示被输入为止待机。

另一方面，在存在输出指示的情况下(S35中为是)，认证部203使促使用户信息(例如用户ID以及密码)的输入的画面显示于显示部205，并从输入部206获取用户信息。然后，认证部203进行用户认证(S36)。另外，认证部203也可以使用设置于图像形成装置200的非接触IC卡的读/写器，从用户所持的非接触IC卡获取用户信息。

在进行用户认证时，认证部203对照输入的用户信息和从便携终端装置100接收到的用户信息，来判定是否存在一致的用户信息(S37)。然后，在从便携终端装置100接收到与输入的用户信息一致的用户信息的情况下(S37中为是)，控制部212按照从便携终端装置100接收到的输出处理信息，执行在S34中存放于存储部210、且与该用户信息对应的已校正图像数据的输出处理(S38)。

例如，在输出处理信息表示打印处理的情况下，控制部212使图像形成部204执行由已校正图像数据表示的图像的打印。此外，在输出处理信息表示归档处理或者邮件发送处理的情况下，控制部212使第2通信部208执行基于已校正图像数据的归档处理或者邮件发送处理。然后，结束处理。

另一方面，在输入的用户信息与从便携终端装置100接收到的用户信息不一致的情况下(S37中为否)，认证部203判定认证次数是否在规定次数以上(S39)。然后，当认证次数不在规定次数以上的情况下(S39中为否)，重复进行S36、S37的处理。当认证次数在规定次数以上的情况下(S39中为是)，以不输出的方式结束流程。

(8)变形例

本发明的拍摄图像处理系统并不局限于上述的实施方式，能够进行各种各样的变更。以下，对变形方式的具体例进行说明。

(8-1)关于第1欠缺信息的显示

在上述的说明中，显示处理部112基于拍摄范围外的顶点坐标，确定从拍摄范围中离该顶点坐标最近的点，并在从确定的点开始预先决定的范围内显示第1欠缺信息。但并不局限于此，显示处理部112在拍摄范围外的顶点的附近显示第1欠缺信息即可。

例如，如图30所示，在由通过几何学配置检测部111检测到的4条直线围成的四边形的顶点中，将在拍摄范围外的顶点设为第1顶点T1，将与第1顶点T1相邻的2个顶点设为第2顶点T2和第3顶点T3，将处于与第1顶点T1对角的位置的顶点设为第4顶点T4。此外，将连结第1顶点T1和第2顶点T2的线与拍摄范围的框的交点设为第1交点S1，将连结第1顶点T1和第3顶点T3的线与拍摄范围的框的交点设为第2交点S2。这时，显示处理部112也可以使第1欠缺信息显示在距连结第1交点S1和第2交点S2的线段的预先决定的范围内。

(8-2)关于第2欠缺信息的显示

在上述的说明中，显示处理部112在距与提取结果信息中的不可提取信息所表示的边对应的拍摄范围的框的边的预先决定的范围内显示第2欠缺信息。并不局限于此，显示处理部112在拍摄范围外的边的附近显示第2欠缺信息即可。

例如，如图31所示，将分别与由几何学配置检测部111检测到的3个边缘像素组所表示的3条线段对应的直线设为第1直线L1、第2直线L2、第3直线L3，设作为第1直线L1和第2直线L2的交点的第1交点T5、和作为第2直线L2和第3直线L3的交点的第2交点T6在拍摄范围内，另外，将第1直线L1与拍摄范围的框的交点中离上述第1交点T5较远的交点设为第3交点S3，将第3直线L3与拍摄范围的框的交点中离上述第2交点T6较远的交点设为第4交点S4。此时，显示处理部112也可以使第2欠缺信息显示在距连结第3交点S3和第4交点S4的线段的预先决定的范围内。

(8-3)关于输出对象图像数据的发送

(8-3-1)其1

在上述的说明中，将表示由拍摄部101拍摄到的图像整体的图像数据设成了输出对象图像数据。此时，通信部104也可以在发送输出对象图像数据的同时，发送分别与由几何学配置检测部111检测到的4个边缘像素组对应的直线式。

该情况下，图像形成装置的几何学校正部使用附加在输出对象图像数据中的4个直线式，从输出对象图像数据中切出由该直线围成的区域。然后，几何学校正部求出用于将切出的图像转换成上下2边在水平方向上大致平行，且具有预先决定的纵横比以及大小的矩形状的标准区域(例如，若是用于商务文件出的A判B判，这是7：10等。在图15中以实线表示)的映射。然后，几何学校正部针对切出的图像，按照求出的映射，进行几何学校正即可。

或者，通信部104也可以在发送输出对象图像数据的同时，发送由分别与通过几何学配置检测部111检测到的4个边缘像素组对应的直线围成的四边形的4个顶点坐标。

该情况下，图像形成装置200的几何学校正部222也从输出对象图像数据中切出将附加在输出对象图像数据中的4个顶点坐标的点作为顶点的四边形的区域。然后，几何学校正部求出用于将切出的图像转换成矩形状的标准区域的映射。然后，几何学校正部按照求出的映射，进行几何学校正即可。

此外，在由分别与通过几何学配置检测部111检测到的4个边缘像素组对应的直线围成的四边形是矩形的情况下，通信部104也可以在发送输出对象图像数据的同时，发送由该四边形的下边与拍摄范围的框的下边形成的角度(倾斜)。

该情况下，图像形成装置的几何学校正部从输出对象图像数据中切出将附加在输出对象图像数据中的4个顶点坐标的点作为顶点的四边形的区域。然后，几何学校正部通过使切出的图像旋转附加在输出对象图像数据中的角度，从而能够校正倾斜。

(8-3-2)其2

此外，输出对象图像决定部113也可以从由拍摄部101拍摄到的图像整体中，切出由分别与通过几何学配置检测部111检测到的4个边缘像素组对应的直线围成的四边形的区域，并将表示切出的图像的图像数据作为输出对象图像数据。然后，通信部104将决定的输出对象图像数据发送至图像形成装置。

该情况下，图像形成装置的几何学校正部求出用于将输出对象图像数据所表示的图像转换成上下2边在水平方向上大致平行，且具有预先决定的纵横比和大小的矩形状的标准区域(例如，若是用于商务文件出的A判B判，则是7：10等。在图15中以实线表示)的映射。然后，几何学校正部按照求出的映射，进行几何学校正即可。

(8-3-3)其3

如上述(8-3-2)所记载那样，输出对象图像决定部113从由拍摄部101拍摄到的图像整体中，切出由分别与通过几何学配置检测部111检测到的4个边缘像素组对应的直线围成的四边形的区域，并将表示切出的图像的图像数据作为输出对象图像数据。

然后，通信部104也可以在发送决定的输出对象图像数据的同时，发送分别与由几何学配置检测部111检测到的4个边缘像素组对应的直线式。

在该情况下，图像形成装置的几何学校正部使用附加在输出对象图像数据中的4个直线式，求出用于将由该直线围成的区域转换成矩形状的标准区域的映射。然后，几何学校正部针对输出对象图像数据，按照求出的映射进行几何学校正即可。

或者，通信部104也可以在发送决定的输出对象图像数据的同时，发送由分别与通过几何学配置检测部111检测到的4个边缘像素组对应的直线围成的四边形的4个顶点坐标。

即使在该情况下，图像形成装置的几何学校正部也求出用于将以附加在输出对象图像数据中的4个顶点坐标的点作为顶点的四边形的区域转换成矩形状的标准区域的映射。然后，几何学校正部针对输出对象图像数据，按照求出的映射进行几何学校正即可。

此外，在由分别与通过几何学配置检测部111检测到的4个边缘像素组对应的直线围成的四边形是矩形的情况下，通信部104也可以在发送输出对象图像数据的同时，发送该四边形的下边与拍摄范围的框的下边形成的角度(倾斜)。

该情况下，图像形成装置的几何学校正部针对输出对象图像数据，通过旋转附加在输出对象图像数据中的角度，从而能够校正倾斜。

(8-4)关于输出对象图像决定部的决定方法

在上述的说明中，在通过显示处理部112显示有表示拍摄对象物被收入在拍摄范围内的信息(例如“OK”)时操作了快门按钮(图14的符号10)的定时，输出对象图像决定部113将表示显示在显示部105中的拍摄图像的图像数据决定为输出对象图像数据。

然而，输出对象图像决定部113也可以具有不进行快门按钮10的操作而自动地决定输出对象图像数据的自动快门功能。

即，在自动快门功能为有效的情况下，输出对象图像决定部113在针对由拍摄部101连续地拍摄到的规定数的拍摄图像(帧图像)，通过显示处理部112显示有表示拍摄对象物被收入在拍摄范围内的信息的情况下，将表示一个该规定数的拍摄图像(例如，最后拍摄到的拍摄图像)的图像数据决定为输出对象图像数据。

更具体而言，输出对象图像决定部113针对由拍摄部101连续拍摄到的规定数(例如30)的拍摄图像(帧图像)，存储从几何学配置检测部111输出的提取结果信息中表示的4个顶点坐标(除去假顶点坐标)。然后，对于各顶点，在根据规定数的拍摄图像得到的顶点坐标的差的平方小于预先决定的阈值的情况下，输出对象图像决定部113将表示显示在显示部105中的拍摄图像的图像数据决定为输出对象图像数据即可。

这里，预先决定的阈值例如被设定为(拍摄范围的高度Ymax×1/16)²+(拍摄范围的宽度Xmax×1/16)²。

由此，用户不操作快门按钮也能够决定输出对象图像数据，所以能够防止因操作快门按钮而导致拍摄对象物的抖动、或拍摄对象物从拍摄范围超出。

另外，用户能够切换自动快门功能的有效/无效。该切换通过操作图14所示的条件设定按钮50来设定。另外，当自动快门功能为有效，且通过自动快门功能决定了输出对象图像数据时，输出对象图像决定部113如图32所示那样使表示这一意思的第3图标D显示于显示部105。

(8-5)轮廓线的显示功能的开/关切换

图44是表示拍摄范围判定部的变形例的框图。如图44所示，本变形例所涉及的拍摄范围判定部110a在具备切换部115这一点，与上述拍摄范围判定部110不同。

切换部115按照用户输入，切换基于几何学配置检测部111和显示处理部112的轮廓线的显示功能(文档校正模式)的开/关。

如图45所示，切换部115使文档校正模式的开/关切换用的复选框451显示于显示部105。在输入了将文档校正模式切换成开的指示的情况下，切换部115使几何学配置检测部111和显示处理部112动作，执行图4的S1～S6的处理。由此，拍摄对象物的轮廓线与拍摄图像重叠地被显示，从而能够容易地确认拍摄对象物是否被收入在拍摄范围内。

另一方面，在输入了将文档校正模式切换成关的指示的情况下，切换部115不使几何学配置检测部111和显示处理部112动作，仅使拍摄图像显示。

另外，切换部115也可以在开始拍摄前受理文档校正模式的开/关的切换指示，还可以在拍摄中受理。

此外，也可以使本变形例和(8-4)所记载的变形例组合。该情况下，仅在将文档校正模式设定成开的情况下，能够将自动快门功能设定成有效。即，在图45所示的例子中，只有用户对文档校正模式用的复选框451输入了选中的情况下(文档校正模式为开的情况)，能够对自动快门功能用的复选框452输入选中。

(8-6)关于编辑视图功能

便携终端装置100的显示处理部112也可以具有如下功能，即，针对由输出对象图像决定部113决定的输出对象图像数据，基于轮廓线，使进行了几何学校正和高画质化校正的图像校正处理后的图像(校正处理后图像)预览显示的功能(校正图像预览功能)。

在本变形例中，显示处理部112具有上述的画质调整部221、几何学校正部222以及高分辨率校正部225的功能。而且，显示处理部112若收到校正图像预览功能的执行指示，则读出指定的输出对象图像数据。显示处理部112使几何学配置检测部111针对该输出对象图像数据所表示的拍摄图像执行S1～S5的处理(图4)。显示处理部112通过对由连结S5中计算的4个顶点坐标的轮廓线围成的区域的图像进行画质调整、几何学校正以及高分辨率校正，来生成校正处理后图像，并使显示部105预览显示。

图46表示显示了校正处理后图像的画面例。如图46所示，显示处理部112将输出对象图像数据所表示的拍摄图像与轮廓线重叠地显示于区域A，使校正处理后图像显示于区域B。

另外，显示处理部112即使在按下快门按钮前的状态下也可以显示校正处理后图像。

此外，显示处理部112也可以仅进行画质调整和几何学校正，来生成校正处理后图像。

另外，显示处理部112也可以受理对由几何学配置检测部111计算出的4个顶点坐标进行编辑的指示，并以由连结编辑后的4个顶点坐标的轮廓线围成的区域的图像作为基础来生成校正处理后图像。例如，如图46所示，显示处理部112在区域A中使分别与4个顶点对应的编辑图标461～464显示。然后，显示处理部112受理各编辑图标461～464的位置变更指示的输入，根据变更后的各编辑图标461～464的位置来编辑4个顶点坐标，并决定轮廓线的位置即可。

该情况下，与(8-3-1)所记载的相同，通信部104在发送输出对象图像数据的同时，发送编辑后的4个顶点坐标。由此，用户能够使由希望的轮廓线围成的区域从图像形成装置200输出。

此外，如图46所示，显示处理部112也可以使用于切换是否使区域B显示校正处理后图像的复选框465显示于显示部105。然后，显示处理部112根据对复选框465的输入，来切换对区域B的校正处理后图像的显示的有无。

另外，如图46所示，显示处理部112也可以使变更画质校正的程度的栏466显示于显示部105。然后，显示处理部112根据对栏466的输入，来变更画质调整(对比度校正)的程度。例如，能够通过栏466，变更成“无”、“弱”、“中”、“强”这4阶段的任意一个，来作为画质调整。

另外，如图46所示，显示处理部112也可以使登记按钮467显示于显示部105。若按下登记按钮467，则将在按下的定时设定的输出对象图像数据与4个顶点坐标和画质调整等级彼此建立对应地存放于存储部108。然后，通信部104在将输出对象图像数据发送至图像形成装置200时，同时也发送将与该输出对象图像数据建立对应的4个顶点坐标和画质调整等级。该情况下，图像形成装置200的几何学校正部222从输出对象图像数据中切出将附加在输出对象图像数据中的4个顶点坐标的点作为顶点的四边形的区域，对切出的图像进行矩形状的标准区域几何学校正即可。此外，图像形成装置200的画质调整部221根据附加在输出对象图像数据中的画质调整等级来进行画质调整即可。由此，用户能够一边观察便携终端装置100的显示部105的画面，一边设定从图像形成装置200输出的图像的区域、画质。

另外，也可以使本变形例和(8-5)中记载的变形例组合。该情况下，在文档校正模式被设定成开的情况下，校正图像预览功能自动地成为开。即，若在图45中，通过按下快门按钮453或者自动快门功能而决定输出对象图像数据，则显示处理部112自动地识别为输入了校正图像预览功能的执行指示。然后，显示处理部112也可以执行校正图像预览功能，将图46那样的画面显示于显示部105。

(8-7)关于图像显示装置

图像显示装置300也可以具备图像形成装置200所具备的图像处理部202。而且，图像显示装置300也可以针对输出对象图像数据，进行使进行了几何学校正、高分辨率校正的已校正图像数据所表示的图像显示的显示处理，来作为输出处理。

(8-8)关于便携终端装置

在拍摄对象物的拍摄条件恶劣的情况下，即使在图像形成装置中进行了图像处理，有时也难以确认图像。例如，在几何学畸变比较大的状态下进行了拍摄的情况下，即使进行几何学校正，也难以视认。

于是，在便携终端装置100中，也可以判定输出对象图像数据是否是在图像形成装置中的图像处理产生效果的条件下拍摄而得，并根据该判定结果促使用户再拍摄。

图33是表示本变形例所涉及的便携终端装置100的构成的框图。如图33所示，本变形例所涉及的便携终端装置100在具备输出图像判定部114这一点上，与图2所示的便携终端装置不同。

输出图像判定部114在选择了文件拍摄模式的情况下，判定由拍摄范围判定部110决定的输出对象图像数据是否是在图像形成装置中的图像处理产生效果的条件下拍摄而得。作为输出图像判定部114中的判定项目，列举出以下项目。

(8-8-1)倾斜的判定

输出图像判定部114从输出对象图像数据中选择拍摄对象物与背景的边缘上的2点。例如，如图34所示，分别在左右横向上选择离开辅助拍摄图像数据的中心w/2的2点11、12。接着，分别求出选择出的2点11、12与拍摄图像数据的端边的距离d₁、d₂，从而能够求出拍摄图像中的拍摄对象物的倾斜。在图34那样的情况下，若将倾斜角度设为θ，则成为tanθ＝(d₂-d₁)/w。于是，输出图像判定部114计算(d₂-d₁)/w的值，从预先已作成的表格(参照图35)等读取与该值相当的角度θ。

然后，输出图像判定部114判定检测到的角度θ是否在规定范围内(例如，-30°～+30°)，并将该判定结果输出至控制部109。这里，角度θ在规定范围内成为一个处理执行条件。

(8-8-2)几何学畸变的判定

输出图像判定部114确定由与通过几何学配置检测部111检测到的4个边缘像素组对应的直线围成的四边形。然后，输出图像判定部114计算确定的四边形的对边的长度比。另外，由于对边有2组，所以输出图像判定部114分别针对该2组求出长度比。

这里，由于在从正面拍摄了矩形状的拍摄对象物的情况下拍摄图像中的拍摄对象物也是矩形状，所以对边的长度比为1。另一方面，在从倾斜方向拍摄的情况下，拍摄图像中的拍摄对象物的形状为歪斜的四边形，所以成为与1不同的值。而且，拍摄方向与拍摄对象物的形成了文件图像的平面的法线方向组成的角度越大，该比的值与1的差变得越大。因此，对边的长度比可以说是一个表示几何学畸变的程度的特征量。

然后，输出图像判定部114判定求出的二个比的双方是否在规定范围内(例如，0.5～2)，并将该判定结果输出至控制部109。这里，规定范围被预先设定为能够在图像形成装置200中校正的范围，并存放在存储部108中。

另外，作为表示几何学畸变的程度的其他特征量，输出图像判定部114也可以使用包括通过上述方式检测到的4个交点的2条直线组成的角度等。

(8-8-3)其他

除了上述的判定项目之外，输出图像判定部114例如也可以判定亮度、对比度、色彩平衡、抖动(剧烈的手抖)等。

针对亮度，考虑例如在曝光过度(过亮)或不足(过暗)的情况下需要再次拍摄的情况。于是，输出图像判定部114求出例如输出对象图像数据的像素值中的最大的值和最小的值，将若最大值在某个阈值(例如8位为100等)以下则为露出不足，若最小值在某个阈值(例如8位为150等)上则为曝光过度的判定结果输出至控制部109。

针对对比度，输出图像判定部114在输出对象图像数据的像素值中的最大、最小的差分值在规定阈值以下的情况下，判定为对比度不足。

另外，在亮度、对比度的判定中，输出图像判定部114可以针对各颜色通道进行判定，也可以使用平均值(R+G+B/3)、明度值(0.299×R+0.587×G+0.114×B：NTSC标准)。

针对色彩平衡，通过进行各颜色通道(RGB)的平均值或最大、最小值的比较，能够掌握在某一个通道发生过度的偏离的情况。于是，输出图像判定部114求出例如具有输出对象图像数据中的最大明度值附近的值(最大明度～最大明度-5程度)的像素值的各颜色通道的值的平均值(Ra、Ga、Ba)，在该各颜色通道的最大值与最小值的差分在与值相应的固定值以上[Max(Ra、Ga、Ba)-Min(Ra、Ga、Ba)＞0.1×Max(Ra、Ga、Ba)]的情况下，判定为是色彩平衡不良。

针对抖动(剧烈的手抖：所谓的运动模糊)，由于在发生时边缘的尖锐性降低，所以输出图像判定部114使用如图27中举出的边缘提取滤波器，作成边缘强度图像并得到柱状图，求出其标准偏差值(上述分散的平方根)。然后，当该标准偏差值在规定阈值(例如5)以下的情况下，判定为发生抖动。

(8-8-4)关于向用户的通知

从输出图像判定部114收到判定结果的控制部109根据该判定结果，使促使再拍摄的消息显示于显示部105。

例如，在从输出图像判定部114收到倾斜角度θ不在规定范围内这一意思的判定结果的情况下，控制部109使显示部105显示促使以拍摄对象物不倾斜的方式再次拍摄的消息。

此外，当收到表示几何学畸变程度的特征量(这里，拍摄图像中的拍摄对象物的对边的长度比)不在规定范围内这一意思的判定结果的情况下，控制部109使显示部105显示促使从拍摄对象物中的形成了文件图像的平面的法线方向再次拍摄的消息。

(8-9)关于高分辨率校正

在上述的说明中，高分辨率校正部225使用1个输出对象图像数据来进行高分辨率校正。然而，高分辨率校正部也可以使用多个输出对象图像数据来进行高分辨率校正。作为该高分辨率校正的方法，能够使用映像信息媒介学会刊Vol.62，No.3，pp.337～342(2008)中记载的方法。

该情况下，输出对象图像决定部113在指定的定时，将通过连续地拍摄规定次数(例如，2～15)而得到的规定数的输出对象图像数据作为数据集来存放于存储部108。通常，连续拍摄的图像是大致相同的图像，但是因手抖等而引起了微量偏移。

此外，为了使用多个输出对象图像数据来执行高分辨率校正，需要与分辨率转换的倍率对应的规定数的图像数据偏移规定量。于是，在本变形例中，图33所示的便携终端装置100的输出图像判定部114判定在数据集所包含的输出对象图像数据中，是否包含为了由图像形成装置200执行高分辨率校正而需要的偏移了规定量的规定数的辅助拍摄图像数据。

(8-9-1)多张图像的偏移量的判定

所谓为了进行如提高字符的辨认性那样的高分辨率校正而需要的偏移，是指为对象的图像数据的小于1像素(小数点)的偏移。即，小数点以下(小于1像素)的值例如0.3～0.7等的偏移是重要的。对于高分辨率校正，不考虑整数部分的偏移。例如，在1.3像素、2.3像素等的包含小于1像素的偏移这样的情况下，能够执行基于多个图像的高分辨率校正，但是在1像素、2像素等的不包含小于1像素的偏移的情况下，无法执行高分辨率校正。

例如，在转换倍率为2倍的情况下，高分辨率校正所需要的图像数据的个数为2，作为2个图像数据的偏移量，以像素为单位，优选小数点以下是0.3～0.7。因此，在存储部108中，预先存放有将分辨率转换的倍率“2倍”、和拍摄次数“2”以及处理执行条件“需要图像数据数：2，偏移量：0.3～0.7”建立对应的信息。

此外，在转换倍率为4倍的情况下，高分辨率校正所需要的图像数据的个数为4，在将其内一个图像数据作为基准图像数据时，该基准图像数据和剩下的3个图像数据的偏移量以像素为单位，分别优选小数点以下是0.2～0.3，0.4～0.6，0.7～0.8。因此，存储部108存储有将分辨率转换的倍率“4倍”、和拍摄次数“4”以及处理执行条件“需要图像数据数：4，偏移量：0.2～0.3，0.4～0.6，0.7～0.8”建立对应的信息。

控制部109促使用户进行分辨率转换的倍率的选择输入，并设定与输入的倍率对应的处理执行条件。然后，输出图像判定部114判定在数据集中，是否包含有满足所设定的处理执行条件的输出对象图像数据。

另外，在以下，为了使说明简单化，对选择了2倍来作为分辨率转换的倍率的情况进行叙述。

首先，输出图像判定部114选择输出对象图像数据的任意一个，并针对该输出对象图像数据(以下，称为第1拍摄图像)，选择偏移检测用部分区域。这里，偏移检测用部分区域用于求出第1拍摄图像和剩余的输出对象图像数据(以下，称为第2拍摄图像)之间的偏移量，所以优选在该偏移检测用部分区域内，像素值的变化较大的区域(存在明确的图案的区域)。于是，输出图像判定部114通过以下那样的方法来提取偏移检测用部分区域。

输出图像判定部114确定存在于拍摄对象物的区域的重心位置的像素，将该像素作为关注像素。然后，选定包含关注像素的n×n像素的区域。针对选定的区域，判断是否满足以下的选定要件，在满足的情况下，将该区域设为偏移检测用部分区域。另一方面，在不满足的情况下，基于规定的偏置量使区域移动，并对移动后的区域进行相同的判断。通过这种方式，来提取偏移检测用部分区域。

这里，作为选定要件，例如，举出以下两个。

作为一个，使用依照区域内的分散的值。若针对关注像素附近的n×n像素的区域，将像素值设为P(i)，则部分区域的分散值Variance(x)以下述式(1)来表示。将该分散值Variance(x)的值在规定阈值以上作为选定要件。此外为了简单化，也可以仅考虑本式的分子。

[数1]

......式(1)

作为另一个，针对关注像素附近的n×n像素的区域，使用图27所示的1阶微分滤波器这样的边缘提取滤波器，进行2值化，来观察总和。将总和在某一规定阈值以上(例如，部分区域像素数的5％以上等)作为选定要件即可。

接着，相对于通过这种方式求出的第1拍摄图像的偏移检测用部分图像a(n×n)，从第2拍摄图像中切出来作为中心在大致相同的位置的偏移检测用部分图像b(m×m)(m＞n)。作为该切出的方法，以第1拍摄图像中的偏移检测用部分图像a的中心像素的坐标与第2拍摄图像中的偏移检测用部分图像b的中心像素的坐标一致的方式切出。

然后，以亚像素精度求出在切出的偏移检测用部分图像b中最适合于偏移检测用部分图像a的区域。作为该方法，举出将偏移检测用部分图像a设为模板的正规化相关图案匹配。

作为正规化相关图案匹配的例子，使用为已知的正规化相关式来计算相关。一般而言，由N像素构成的2个图案Input(I)和Target(T)的相关式能够表示为下述式(2)。这里，如下述那样分别表示α、β、γ。

[数2]

......式(2)

[数3]

α＝NΣ(I×T)-(ΣI)×(ΣT)

β＝NΣ(I×I)-(ΣI)×(ΣI)

γ＝NΣ(T×T)-(ΣT)×(ΣT)

例如，在n＝5、m＝7的情况下，若按照偏移检测用部分图像b(m×m)内的与偏移检测用部分图像a相同尺寸的区域(n×n)来运算上述相关式，则作为结果，生成3×3的相关值Map。使用该相关值Map，求出合适的2次曲面。作为2次曲面的求出方法，例如，作为S(x、y)＝a*x*x+b*x*y+c*y*y+d*x+e*y+f，选择9点中的相关值较高的6点，对方程组进行求解来求出各系数。若该函数的极值(＝最大值)的坐标值(x，y的双方)的小数点以下的值在规定范围(这里为0.3～0.7)，则判定为满足处理执行条件“需要图像数据数：2，偏移量：0.3～0.7”。

另外，作为极值的求出方法，对上述2次式进行偏微分，并求出分别为0的点的坐标即可。这时，实际上无需求出各系数(a～f)，所以直接使用相关值(S₁～S₆)较有效。以下为应求出的式(3)。这里，原点为关注的窗口基准。

[数4]

......式(3)

另外，在至少一处进行这种亚像素精度的位置偏移确认，但是优选在多处进行。

然后，输出图像判定部114将是否满足处理执行条件的判定结果输出至控制部109。

(8-9-2)使用了多张输出对象图像数据的高分辨率校正

接着，对图像形成装置200中的高分辨率校正部225的处理进行说明。高分辨率校正部225基于从便携终端装置100接收到的数据集所包含的多个输出对象图像数据来进行高分辨率校正。

关于根据多个图像数据的高分辨率图像作成方法，在映像信息媒介学会刊Vol.62，No.3，pp.337～342(2008)中介绍有若干方法。一般而言，高分辨率校正通过多个图像的对位处理和再构成处理来实现。在本实施方式中，作为对位处理的例子，应用上述(8-9-1)记载的正规化相关图案匹配的方法。即，能够通过将上述S(x、y)移动表示极大值的偏移量，来进行多个图像的对位。

接着，高分辨率校正部225进行再构成处理。即，高分辨率校正部225作成具有与分辨率转换后的倍率对应的像素数的再构成图像数据。其中，图像尺寸与拍摄图像的尺寸相同。而且，高分辨率校正部225通过以下方式来决定再构成图像数据的各像素的像素值。即，高分辨率校正部225针对再构成图像数据中的各像素(再构成像素)，从多个拍摄图像中决定成为该再构成像素的附近的拍摄图像的像素(拍摄像素)，并利用一般的内插方法(线形内插、双三次内插等)进行内插。

具体而言，如图36所示，分别在横向、纵向上选择关注的再构成像素附近的拍摄像素，例如连结拍摄像素的格子的线(图的虚线)为最近距离的2点。这里，假设作为在横向上的最近距离的2点为第1个输出对象图像数据的拍摄像素1-2(像素值：V_i1-2：以下相同)和拍摄像素1-4，作为在纵向上的最近距离的2点为第2个输出对象图像数据的拍摄像素2-1和拍摄像素2-2。另外，在选择再构成像素附近的拍摄像素时，从执行了上述几何学畸变的校正、透镜畸变的校正的多个输出对象图像数据中选择。由此，能够在进行了几何学畸变、透镜畸变的校正的状态下进行高分辨率校正。

另外，在计算校正后的坐标的值时，也可以基于考虑了成为基础的多个拍摄图像相应的几何学校正、透镜畸变的校正的坐标的值来求出。即，可以在仅计算几何学校正、透镜畸变的校正值，进行再构成处理后，根据该校正值进行坐标转换。

然后，求出与连结分别针对横向和纵向而选择的2点的线段垂直、且包含关注的再构成像素的点的直线与该线段的交点。如图36所示，在该交点分别针对2条线段以t：1-t，u：1-u内分的情况下，高分辨率校正部基于下述式4求出关注的再构成像素的像素值Vs即可。该情况下，进行了线形内插。然后，针对全部的再构成像素以相同的方式求出像素值，从而能够将被高分辨率化的再构成图像数据生成为高分辨率图像数据。

[数5]

V_S＝{(1-t)V_i1-2+tV_i1-4+(1-u)V_i2-1 +uV_i2-2}/2......式(4)

另外，作为内插方法也可以使用其他方法。此外，也可以使用映像信息媒介学会刊Vol.62，No.3，pp.337～342(2008)中介绍的其他方法。例如，也可以使用MAP(Maximum APosteriori：最大后验概率)法这样的通过将与基于事先推断的事后概率对应的评价函数最小化来求出的方法。

(8-9-3)关于拍摄部

在上述的说明中，为利用由于拍摄部101连续拍摄多次时的手抖而使多个拍摄图像产生偏移的方式。然而，并不局限于此，拍摄部101在连续拍摄多次时，也可以对拍摄元件(CCD·CMOS)或者透镜进行微小地移动。由此，在多个拍摄图像间可靠地产生偏移。

(8-10)关于从便携终端装置向图像形成装置的图像数据的发送定时

在上述的说明中，在便携终端装置100中储存利用文件拍摄模式而储存的输出对象图像数据，在输入了发送指示的定时，将至此为止储存的输出对象图像数据汇集在一起发送。然而，从便携终端装置100向图像形成装置200发送输出对象图像数据的定时并不局限于此。

例如，也可以在每次利用文件拍摄模式将输出对象图像数据存放于存储部108时，将输出对象图像数据发送至图像形成装置200。该情况下，大部分是用户不在图像形成装置200的附近的情况。因此，便携终端装置100的通信部104经由便携电话网和因特网，将输出对象图像数据发送至图像形成装置200即可。

(8-11)关于输出处理信息

在上述的说明中，便携终端装置100获取输出处理信息，并将其发送至图像形成装置200。然而，并不局限于此，图像形成装置200也可以在为了进行用户认证而获取用户信息时，获取输出处理信息(表示输出处理的种类、用于输出处理的设定条件的信息)。

(8-12)关于输出处理

在图像形成装置200中，控制部212在进行归档处理、邮件发送处理前，也可以将由图像处理部202生成的高分辨率图像数据转换成高压缩PDF。另外，所谓高压缩PDF数据，是指将图像数据中的背景部分和字符部分分离，并对每个部分进行了最合适的压缩处理得到的PDF数据。由此，能够使字符辨认性良好，且也使图像文件尺寸降低。

此外，控制部212在进行归档处理、邮件发送处理前，也可以对由图像处理部202生成的高分辨率图像数据执行OCR处理，生成文本数据。而且，控制部212也可以将高分辨率图像数据转换成PDF，并附加生成的文本数据来作为透明文本。另外，所谓透明文本，是指用于将所识别的字符作为文本信息，以表面上看不到的形态与图像数据重合(或者嵌入)的数据。例如，在PDF文件中，一般使用对图像数据附加了透明文本的图像文件。而且，控制部212也可以使附加了生成的透明文本的PDF数据输出。由此，能够输出如能够进行文本检索的文件那样易于活用的电子化文件。

(8-13)关于图像形成装置具备的图像处理部

在上述的说明中，对图像形成装置200具备的图像处理部202作为进行高分辨率校正等的部件进行了说明。然而，图像形成装置200也可以使具备上述图像处理部202的服务器执行对高分辨率输出用数据集的高分辨率校正或其他的图像处理(几何学畸变的校正、透镜畸变的校正、对比度校正、色彩平衡校正等)。另外，该情况下，该服务器可以说是对从便携终端装置100接收到的高分辨率输出用数据集进行高分辨率校正，并输出校正后的高分辨率图像数据的图像形成装置。

(9)程序和记录介质

本发明也能够在记录了用于使计算机执行的程序的计算机可读取记录介质，记录将由上述的便携终端装置100拍摄到的图像发送至图像形成装置200并由图像形成装置200输出的方法。

该结果，能够可搬运地提供记录了进行上述处理的程序代码(执行形式程序、中间代码程序、源程序)的记录介质。

另外，在本实施方式中，作为该记录介质，也可以为用于由微型计算机进行处理的未图示的存储器，例如如ROM这样的其本身是程序介质，此外，也可以是虽然未图示但作为外部存储装置而设置程序读取装置，并通过向其插入记录介质而能够读取的程序介质。

在哪一种情况下，也可以是微处理器访问存放的程序并使其执行的构成，或者，在哪一种情况下也可以是读出程序代码，将读出的程序代码下载到微型计算机的未图示的程序存储区域，来执行该程序的方式。该下载用的程序被预先存放于主体装置。

这里，上述程序介质是构成为可与主体分离的非暂时的有形介质(non-transitory tangible medium)，也可以是磁带、盒式带等的带系、软盘、硬盘等磁盘、CD-ROM/MO/MD/DVD等的光盘的盘系、IC卡(包括存储卡)/光卡等的卡系、或者掩膜ROM、EPROM(Erasable Programmable Read Only Memory：可擦可编程只读存储器)、EEPROM(注册商标)(Electrically Erasable Programmable Read Only Memory：电可擦可编程只读存储器)、闪存ROM等的包含半导体存储器的固定保持程序代码的介质。

此外，在本实施方式中，由于是能够连接包含因特网的通信网络的系统构成，所以也可以是以从通信网络下载程序代码的方式流动地保持程序代码的介质。另外，在这种从通信网络下载程序的情况下，可以将该下载用的程序预先存放于主体装置，或者被从其他记录介质安装。另外，本发明也能够通过以电子传输使上述程序代码具体化，并嵌入至输送波的计算机数据信号的方式来实现。

通过便携终端装置100、图像形成装置200所具备的程序读取装置读取上述记录介质，来执行上述的图像处理方法。

如以上那样，本发明的一方式所涉及的拍摄装置具备：拍摄部，其拍摄对象物；显示单元，其显示作为由上述拍摄部拍摄到的图像的拍摄图像；以及输出对象图像决定部，其在指定的定时将正显示在上述显示单元中的图像决定为输出对象图像，在该拍摄装置中，上述对象物为矩形，并具备：检测部，其在由上述拍摄部拍摄到的图像中检测连接成线段状的边缘像素组；和显示处理部，在由上述显示单元显示的拍摄图像中，该显示处理部使表示上述对象物的轮廓的轮廓线重叠地显示在由上述检测部检测到的边缘像素组上。

根据上述的构成，将表示对象物的轮廓的轮廓线重叠地显示在由检测部检测到的边缘像素组上。这里，由检测部检测到的边缘像素组连接成线段状，其表示矩形的对象物和背景的边界的概率非常高。因此，通过将表示对象物的轮廓的轮廓线重叠地显示在边缘像素组上，用户能够容易地确认在拍摄图像中，对象物处于何处位置。其结果，用户能够在容易地确认了对象物在拍摄范围内处于何处位置后，将图像数据放入到存储部。

另外，优选本发明的一方式所涉及的拍摄装置具备切换部，该切换部将基于上述显示处理部的轮廓线的显示功能切换成有效或者无效。

根据上述的构成，用户能够在对象物为原稿这样的矩形的情况下将轮廓线的显示功能切换成有效，在无需使轮廓线显示的对象物的情况下将轮廓线的显示功能切换成无效。

另外，优选在本发明的一方式所涉及的拍摄装置中，上述显示处理部在上述切换部将上述轮廓线的显示功能设定成有效的情况下，使上述显示单元显示对上述拍摄图像中的由上述轮廓线围成的区域以规定的矩形状进行了几何学校正而得的图像。

根据上述的构成，通过操作切换部，能够显示对拍摄图像进行了几何学校正时的图像。

另外，优选在本发明的一方式所涉及的拍摄装置中，上述检测部检测4个边缘像素组，当由分别与通过上述检测部检测到的4个边缘像素组所示的4条线段对应的直线围成的四边形的顶点中3个在上述拍摄部的拍摄范围内而剩余的1个在该拍摄范围外的情况下，上述显示处理部使表示对象物的一角未收入在拍摄范围内的第1欠缺信息显示于显示单元。

根据上述的构成，通过确认第1欠缺信息，用户能够容易地识别对象物的一角未收入在拍摄范围内的情况。

另外，优选在本发明的一方式所涉及的拍摄装置中，上述检测部检测3个边缘像素组，当分别与由上述检测部检测到的3个边缘像素组所示的3条线段对应的直线的交点中仅2个在上述拍摄部的拍摄范围内的情况下，上述显示处理部使表示对象物的外框的一边未收入在拍摄范围内的第2欠缺信息显示于显示单元。

根据上述的构成，通过确认第2欠缺信息，用户能够容易地识别对象物的外框的一边未收入在拍摄范围内的情况。

另外，优选在本发明的拍摄装置中，当将上述四边形的顶点中的在拍摄范围外的顶点设为第1顶点时，上述显示处理部使上述第1欠缺信息显示在第1顶点的附近。

或者，优选在本发明的一方式所涉及的拍摄装置中，当将上述四边形的顶点中的在拍摄范围外的顶点设为第1顶点，将与第1顶点相邻的2个顶点设为第2顶点和第3顶点，将处于与第1顶点对角的位置的顶点设为第4顶点，将连结第1顶点和第2顶点的线与拍摄范围的框的交点设为第1交点，将连结第1顶点和第3顶点的线与拍摄范围的框的交点设为第2交点时，上述显示处理部使上述第1欠缺信息显示在距连结第1交点和第2交点的线段上的预先决定的范围内。

根据上述的构成，用户能够容易地识别在第1欠缺信息附近，对象物的一角未收入在拍摄范围内。

另外，优选在本发明的一方式所涉及的拍摄装置中，在将分别与由上述检测部检测到的3个边缘像素组所示的3个线段对应的直线设为第1直线、第2直线、第3直线，并设作为第1直线和第2直线的交点的第1交点、以及作为第2直线和第3直线的交点的第2交点在上述拍摄范围内，并且，将第1直线和拍摄范围的框的交点中的离上述第1交点较远的交点设为第3交点，将第3直线与拍摄范围的框的交点中的离上述第2交点较远的交点设为第4交点时，上述显示处理部使上述第2欠缺信息显示在距连结第3交点和第4交点的线段上的预先决定的范围内。

或者，优选在本发明的一方式所涉及的拍摄装置中，上述检测部将上述拍摄部的拍摄范围分割成上半部分和下半部分，检测在上半部分中在距拍摄范围的宽度方向的预先决定的角度范围内的方向上连接成线段状的边缘像素组，来作为上边边缘像素组，检测在下半部分中在距拍摄范围的宽度方向的预先决定的角度范围内的方向上连接成线段状的边缘像素组，来作为下边边缘像素组，将上述拍摄部的拍摄范围分割成左半部分和右半部分，检测在左半部分中在距拍摄范围的高度方向的预先决定的角度范围内的方向上连接成线段状的边缘像素组，来作为左边边缘像素组，检测在右半部分中在距拍摄范围的高度方向的预先决定的角度范围内的方向上连接成线段状的边缘像素组，来作为右边边缘像素组，上述显示处理部在由上述检测部检测到除了上边边缘像素组之外的3个边缘像素组的情况下，使上述第2欠缺信息显示在距拍摄范围的框的上边的预先决定的范围内，在由上述检测部检测到除了左边边缘像素组之外的3个边缘像素组的情况下，使上述第2欠缺信息显示在距拍摄范围的框的左边的预先决定的范围内，在由上述检测部检测到除了右边边缘像素组之外的3个边缘像素组的情况下，使上述第2欠缺信息显示在距拍摄范围的框的右边的预先决定的范围内，在由上述检测部检测到除了下边边缘像素组之外的3个边缘像素组的情况下，使上述第2欠缺信息显示在距拍摄范围的框的下边的预先决定的范围内。

根据上述的构成，用户能够容易地识别在第2欠缺信息的附近对象物的外框的一边未收入在拍摄范围内。

另外，优选在本发明的一方式所涉及的拍摄装置中，上述显示处理部以不同的颜色显示上述轮廓线和上述第1欠缺信息。

另外，优选在本发明的一方式所涉及的拍摄装置中，上述显示处理部以不同的颜色显示上述轮廓线和上述第2欠缺信息。

根据上述的构成，用户易于视认第1欠缺信息或者第2欠缺信息。

另外，优选在本发明的一方式所涉及的拍摄装置中，上述检测部使用从用于检测连接成上述线段状的边缘像素组的多个检测方法选择出的1个检测方法，来进行针对拍摄图像检测连接成线段状的边缘像素组的检测处理，在针对成为处理对象的拍摄图像未检测到成为线段状的边缘像素组的情况下，针对下一个成为处理对象的拍摄图像，使用与之前的拍摄图像中使用的检测方法不同的检测方法来进行上述检测处理，在针对成为处理对象的拍摄图像检测到连接成线段状的边缘像素组的情况下，针对下一个成为处理对象的拍摄图像，也使用相同的检测方法来进行上述检测处理。

根据上述的构成，能够应用与拍摄图像的背景、照明状态对应的最合适的检测方法。

另外，优选在本发明的一方式所涉及的拍摄装置中，输出对象图像决定部将在预先决定的时间由上述检测部检测到4个边缘像素组，并且，由分别与该4个边缘像素组所示的4条线段对应的直线围成的四边形的4个顶点全部在上述拍摄部的拍摄范围内，并且，该顶点的变动量在预先决定的阈值以下的情况判断为是上述指定的定时。

根据上述的构成，输出对象图像决定部能够自动地决定输出对象图像数据。因此，用户不操作快门按钮也能够决定输出对象图像数据，所以能够防止因操作快门按钮而引起的对象物的抖动或者对象物从拍摄范围超出。

此外，本发明的一方式所涉及的拍摄图像处理系统是具备上述的拍摄装置和图像输出装置的拍摄图像处理系统，其特征在于，上述图像输出装置获取表示由上述输出对象图像决定部决定的输出对象图像的图像数据，并输出该图像数据，或者对该图像数据实施了图像处理的已处理图像数据。

根据上述的构成，用户也能够在容易地确认了对象物在拍摄范围内处于何处位置后，将从图像输出装置输出的图像数据放入到存储部。

另外，上述拍摄装置也可以由计算机来实现，该情况下，通过使计算机作为上述各部动作而通过计算机实现拍摄装置的程序、以及记录了该程序的计算机可读取的记录介质也进入本发明的范畴内。

本发明并不局限于上述的实施方式，能够在权利要求所示的范围内进行各种变更。即，针对使在权利要求所示的范围内适当变更后的技术单元组合而得到的实施方式，也包含在本发明的技术范围内。

产业上的可利用性

本发明能够应用于在便携终端装置与图像形成装置或图像显示装置之间进行数据通信的拍摄图像处理系统。

图中符号说明：

10：快门按钮；100：便携终端装置(拍摄装置)；101：拍摄部；105：显示部；108：存储部；109：控制部；110：拍摄范围判定部；111：几何学配置检测部(检测部)；112：显示处理部；113：输出对象图像决定部；115：切换部；200：图像形成装置(图像输出装置)；300：图像显示装置。

Claims (19)

1.一种拍摄装置，具备：

拍摄部，其拍摄对象物；

显示单元，其显示由所述拍摄部拍摄到的图像亦即拍摄图像；以及

输出对象图像决定部，其在指定的定时将正显示于所述显示单元的图像决定为输出对象图像，

所述拍摄装置的特征在于，

所述对象物为矩形，

所述拍摄装置具备：

检测部，其在由所述拍摄部拍摄到的图像中，检测连接成线段状的边缘像素组；和

显示处理部，在由所述显示单元显示的拍摄图像中，该显示处理部使表示所述对象物的轮廓的轮廓线重叠地显示在由所述检测部检测到的边缘像素组上，

所述检测部检测4个边缘像素组，

当由分别与通过所述检测部检测到的4个边缘像素组所示的4条线段对应的直线围成的四边形的顶点中3个在所述拍摄部的拍摄范围内而剩余的1个在该拍摄范围外的情况下，所述显示处理部使表示对象物的一角未收入在拍摄范围内这一情况的第1警告显示于显示单元。

2.根据权利要求1所述的拍摄装置，其特征在于，

在将所述四边形的顶点中的在拍摄范围外的顶点设为第1顶点时，

所述显示处理部使所述第1警告显示于第1顶点的附近。

3.根据权利要求1所述的拍摄装置，其特征在于，

在将所述四边形的顶点中的在拍摄范围外的顶点设为第1顶点，将与第1顶点相邻的2个顶点设为第2顶点和第3顶点，将处于与第1顶点对角的位置的顶点设为第4顶点，并且将连结第1顶点和第2顶点的线与拍摄范围的框的交点设为第1交点，将连结第1顶点和第3顶点的线与拍摄范围的框的交点设为第2交点时，

所述显示处理部使所述第1警告显示于距连结第1交点和第2交点的线段上的预先决定的范围内。

4.根据权利要求1所述的拍摄装置，其特征在于，

所述显示处理部以不同的颜色显示所述轮廓线和所述第1警告。

5.根据权利要求1所述的拍摄装置，其特征在于，

输出对象图像决定部将在预先决定的时间由所述检测部检测到4个边缘像素组，并且由分别与该4个边缘像素组所示的4条线段对应的直线围成的四边形的4个顶点全部在所述拍摄部的拍摄范围内，并且该顶点的变动量在预先决定的阈值以下的情况判定为是所述指定的定时。

6.根据权利要求1至3中任意一项所述的拍摄装置，其特征在于，

具备切换部，该切换部将基于所述显示处理部的轮廓线的显示功能切换成有效或者无效。

7.根据权利要求6所述的拍摄装置，其特征在于，

在所述切换部将所述轮廓线的显示功能设定成有效的情况下，所述显示处理部使所述显示单元显示对所述拍摄图像中的由所述轮廓线围成的区域以规定的矩形状进行了几何学校正而得的图像。

8.一种拍摄装置，具备：

拍摄部，其拍摄对象物；

显示单元，其显示由所述拍摄部拍摄到的图像亦即拍摄图像；以及

输出对象图像决定部，其在指定的定时将正显示于所述显示单元的图像决定为输出对象图像，

所述拍摄装置的特征在于，

所述对象物为矩形，

所述拍摄装置具备：

检测部，其在由所述拍摄部拍摄到的图像中，检测连接成线段状的边缘像素组；和

显示处理部，在由所述显示单元显示的拍摄图像中，该显示处理部使表示所述对象物的轮廓的轮廓线重叠地显示在由所述检测部检测到的边缘像素组上，

所述检测部检测3个边缘像素组，

当分别与由所述检测部检测到的3个边缘像素组所示的3条线段对应的直线的交点中仅2个在所述拍摄部的拍摄范围内的情况下，所述显示处理部使表示对象物的外框的一边未收入在拍摄范围内这一情况的第2警告显示于显示单元。

9.根据权利要求8所述的拍摄装置，其特征在于，

在将分别与由所述检测部检测到的3个边缘像素组所示的3条线段对应的直线设为第1直线、第2直线、第3直线，设作为第1直线和第2直线的交点的第1交点以及作为第2直线和第3直线的交点的第2交点在所述拍摄范围内，并且将第1直线和拍摄范围的框的交点中的离所述第1交点较远的交点设为第3交点，将第3直线和拍摄范围的框的交点中的离所述第2交点较远的交点设为第4交点时，

所述显示处理部使所述第2警告显示于距连结第3交点和第4交点的线段上的预先决定的范围内。

10.根据权利要求8所述的拍摄装置，其特征在于，

所述检测部将所述拍摄部的拍摄范围分割成上半部分和下半部分，检测在上半部分中在距拍摄范围的宽度方向的预先决定的角度范围内的方向上连接成线段状的边缘像素组来作为上边边缘像素组，检测在下半部分中在距拍摄范围的宽度方向的预先决定的角度范围内的方向上连接成线段状的边缘像素组来作为下边边缘像素组，并将所述拍摄部的拍摄范围分割成左半部分和右半部分，检测在左半部分中在距拍摄范围的高度方向的预先决定的角度范围内的方向上连接成线段状的边缘像素组来作为左边边缘像素组，检测在右半部分中在距拍摄范围的高度方向的预先决定的角度范围内的方向上连接成线段状的边缘像素组来作为右边边缘像素组，

所述显示处理部在由所述检测部检测到除了上边边缘像素组之外的3个边缘像素组的情况下，使所述第2警告显示于距拍摄范围的框的上边的预先决定的范围内，在由所述检测部检测到除了左边边缘像素组之外的3个边缘像素组的情况下，使所述第2警告显示于距拍摄范围的框的左边的预先决定的范围内，在由所述检测部检测到除了右边边缘像素组之外的3个边缘像素组的情况下，使所述第2警告显示于距拍摄范围的框的右边的预先决定的范围内，在由所述检测部检测到除了下边边缘像素组之外的3个边缘像素组的情况下，使所述第2警告显示于距拍摄范围的框的下边的预先决定的范围内。

11.根据权利要求8所述的拍摄装置，其特征在于，

所述显示处理部以不同的颜色显示所述轮廓线和所述第2警告。

12.根据权利要求8所述的拍摄装置，其特征在于，

输出对象图像决定部将在预先决定的时间由所述检测部检测到4个边缘像素组，并且由分别与该4个边缘像素组所示的4条线段对应的直线围成的四边形的4个顶点全部在所述拍摄部的拍摄范围内，并且该顶点的变动量在预先决定的阈值以下的情况判定为是所述指定的定时。

13.根据权利要求8至10中任意一项所述的拍摄装置，其特征在于，

具备切换部，该切换部将基于所述显示处理部的轮廓线的显示功能切换成有效或者无效。

14.根据权利要求13所述的拍摄装置，其特征在于，

在所述切换部将所述轮廓线的显示功能设定成有效的情况下，所述显示处理部使所述显示单元显示对所述拍摄图像中的由所述轮廓线围成的区域以规定的矩形状进行了几何学校正而得的图像。

15.一种拍摄装置，具备：

拍摄部，其拍摄对象物；

显示单元，其显示由所述拍摄部拍摄到的图像亦即拍摄图像；以及

输出对象图像决定部，其在指定的定时将正显示于所述显示单元的图像决定为输出对象图像，

所述拍摄装置的特征在于，

所述对象物为矩形，

所述拍摄装置具备：

检测部，其在由所述拍摄部拍摄到的图像中，检测连接成线段状的边缘像素组；和

显示处理部，在由所述显示单元显示的拍摄图像中，该显示处理部使表示所述对象物的轮廓的轮廓线重叠地显示在由所述检测部检测到的边缘像素组上，

所述检测部使用从用于检测连接成所述线段状的边缘像素组的多个检测方法中选择出的1个检测方法，针对拍摄图像进行检测连接成线段状的边缘像素组的检测处理，在针对成为处理对象的拍摄图像未检测到连接成线段状的边缘像素组的情况下，针对下一个成为处理对象的拍摄图像，使用与之前的拍摄图像所使用的检测方法不同的检测方法来进行所述检测处理，在针对成为处理对象的拍摄图像检测到连接成线段状的边缘像素组的情况下，针对下一个成为处理对象的拍摄图像，也使用相同的检测方法来进行所述检测处理。

16.根据权利要求15所述的拍摄装置，其特征在于，

输出对象图像决定部将在预先决定的时间由所述检测部检测到4个边缘像素组，并且由分别与该4个边缘像素组所示的4条线段对应的直线围成的四边形的4个顶点全部在所述拍摄部的拍摄范围内，并且该顶点的变动量在预先决定的阈值以下的情况判定为是所述指定的定时。

17.根据权利要求15所述的拍摄装置，其特征在于，

具备切换部，该切换部将基于所述显示处理部的轮廓线的显示功能切换成有效或者无效。

18.根据权利要求17所述的拍摄装置，其特征在于，

在所述切换部将所述轮廓线的显示功能设定成有效的情况下，所述显示处理部使所述显示单元显示对所述拍摄图像中的由所述轮廓线围成的区域以规定的矩形状进行了几何学校正而得的图像。

19.一种拍摄图像处理系统，具备权利要求1至18中任意一项所述的拍摄装置和图像输出装置，其特征在于，

所述图像输出装置获取表示由所述输出对象图像决定部决定的输出对象图像的图像数据，并输出该图像数据或者对该图像数据实施了图像处理而得的已处理图像数据。