CN101989349B - 图像输出装置及方法、拍摄图像处理系统 - Google Patents

Abstract

本发明提供一种图像输出装置及方法、便携终端装置、拍摄图像处理系统。图像输出装置的对象抽取部将由以边缘信息所示的四个线段状的边缘像素组为边，且全部的内角不足180°的四边形所包围的区域即四边形区域，或者由以边缘信息所示的至少一个线段状的边缘像素组以及上述拍摄图像的端部上的至少一个线段为边，且全部的内角不足180°的多边形所包围的区域即多边形区域决定为抽取区域，并执行从拍摄图像数据中分割出抽取区域的图像数据来作为输出对象图像数据的处理。由此，能够高精度且容易地从拍摄到的图像中抽取用户所希望的矩形的拍摄对象物的区域。

Description

图像输出装置及方法、拍摄图像处理系统

技术领域

本发明涉及一种通过图像输出装置输出由便携终端装置拍摄的图像的拍摄图像处理系统。 

背景技术

与互联网技术一起，手机及有线、无线通信技术得到发展并被广泛普及。使用该技术，在外出目的地从手机等便携终端装置向连接于互联网上的图像输出装置发送图像来进行印刷。 

例如，在专利文献1中，通过网络将数码相机、及带相机的PDA/便携电脑等移动信息器件收集的数字图像数据发送到服务器。在服务器中，对于接收到的数字图像数据，进行亮度及颜色、尺寸的调整等的图像处理，并嵌入到多个保存了文档合成用的模块的图像区域中来进行文档的制作。 

专利文献1：日本国公开特许公报“特开2002-41502号公报(2002年2月8日公开)” 

然而，在上述的专利文献1所述的文档制作系统中，在拍摄到的图像中存在用户所希望的拍摄对象物以外的周围的人或物、背景等文档制作中不需要的部分的情况下，不具有仅将所希望的拍摄对象物从拍摄图像中抽取的功能。 

因此，在上述的文档制作系统中，想从拍摄图像中抽取一部分区域时，存在需要用户自身从拍摄图像中抽取该区域并编辑后，粘贴到文档中的作业的问题。 

发明内容

本发明是鉴于上述问题点而进行的，其目的在于提供一种能够将用户所希望的矩形的拍摄对象物的区域从拍摄到的图像中高精度且容易地抽取的图像输出装置、便携终端装置、拍摄图像处理系统、图像输出方法以及记录介质。 

为解决上述课题，本发明涉及的图像输出装置包括：从具有拍摄部的便携终端装置接收通过上述拍摄部的拍摄获得的拍摄图像数据的接收部；取得表示边缘像素组在拍摄图像上的位置的边缘信息的边缘信息取得部，该边缘像素组是指从上述拍摄图像数据所示的拍摄图像中检测到的、线段状地连接的边缘像素的组；将由以上述边缘信息所示的四个线段状的边缘像素组为边，且全部的内角不足180°的四边形所包围的区域即四边形区域，或者由以上述边缘信息所示的至少一个线段状的边缘像素组以及上述拍摄图像的端部上的至少一个线段为边，且全部的内角不足180°的多边形所包 围的区域即多边形区域定为抽取区域，并从上述拍摄图像数据中分割出抽取区域的图像数据来作为输出对象图像数据的边缘抽取处理部；指定信息取得部，其取得由用户指定的浓度值即指定浓度值；浓度值抽取处理部，其从上述拍摄图像数据中确定具有含上述指定浓度值的规定范围内的浓度值的像素，将含有确定的像素连接而成的连结成分的区域决定为抽取区域，并从上述拍摄图像数据中分割出抽取区域的图像数据来作为输出对象图像数据；切换部，其对使上述边缘抽取处理部动作，而不使上述浓度值抽取处理部动作的边缘抽取模式，和不使上述边缘抽取处理部动作，而使上述浓度值抽取处理部动作的浓度值抽取模式进行切换；输出上述输出对象图像数据或该输出对象图像数据所示的图像的输出部，上述输出部在上述切换部切换为边缘抽取模式的情况下，输出由上述边缘抽取处理部生成的输出对象图像数据或该输出对象图像数据所示的图像，在上述切换部切换为浓度值抽取模式的情况下，上述输出部输出由上述浓度值抽取处理部生成的输出对象图像数据或该输出对象图像数据所示的图像。 

并且，本发明涉及的图像输出方法包括：从具有拍摄部的便携终端装置接收通过上述拍摄部的拍摄获得的拍摄图像数据的接收步骤；对边缘抽取模式和浓度值抽取模式进行切换的切换骤；在经上述切换步骤而被切换为边缘抽取模式的情况下，取得表示边缘像素组在拍摄图像上的位置的边缘信息的边缘信息取得步骤，该边缘像素组是指从上述拍摄图像数据所示的拍摄图像中检测到的、线段状地连接的边缘像素的组；在经上述切换步骤而被切换为边缘抽取模式的情况下，将由以上述边缘信息所示的四个线段状的边缘像素组为边，且全部内角不足180°的四边形包围的区域即四边形区域，或者由以上述边缘信息所示的至少一个线段状的边缘像素组以及上述拍摄图像的端部上的至少一个线段为边，且全部内角不足180°的多边形包围的区域即多边形区域定为抽取区域，并从上述拍摄图像数据中分割出抽取区域的图像数据来作为输出对象图像数据的边缘抽取处理步骤；在经上述切换步骤而被切换为浓度值抽取模式的情况下，取得由用户指定的浓度值即指定浓度值的指定信息取得步骤；在经上述切换步骤而被切换为浓度值抽取模式的情况下，从上述拍摄图像数据中确定具有含上述指定浓度值的规定范围内的浓度值的像素，将含有确定的像素连接而成的连结成分的区域决定为抽取区域，并从上述拍摄图像数据中分割出抽取区域的图像数据来作为输出对象图像数据的浓度值抽取处理步骤；在经上述切换步骤而被切换为边缘抽取模式的情况下，输出由上述边缘抽取处理步骤生成的输出对象图像数据或该输出对象图像数据所示的图像，在经上述切换步骤而被切换为浓度值抽取模式的情况下，输出由上述浓度值抽取处理步骤生成的输出对象图像数据或该输出对象图像数据所示的图像的输出步骤。 

根据本发明，起到可以实现能够将用户所希望的矩形的拍摄对象物的区域从拍摄到的图像中高精度且容易地抽取的图像输出装置的效果。 

附图说明

图1是表示本发明的拍摄图像处理系统的拍摄图像处理方法的流程图，是表示便携终端装置的流程的图。 

图2是表示本发明的拍摄图像处理系统的拍摄图像处理方法的流程图，是表示图像输出装置的流程的图。 

图3是表示本发明的拍摄图像处理系统的构成的图。 

图4是表示本发明的便携终端装置的构成的框图。 

图5表示本发明的拍摄图像处理方法中图像的倾斜度检测例。 

图6表示图5的倾斜度检测例中的倾斜角度θ和其正切值。 

图7表示图像的几何变形的检测例。 

图8表示图像的对象物的边缘检测处理例。 

图9表示图像的光栅方向的边缘检测例。 

图10表示图像的偏移程度检测例的一阶微分滤波器的例子。 

图11是表示用户在图像上指定点时的例子的图。 

图12是表示用户在图像上选择了对象物时的例子的图。 

图13是表示本发明的图像输出装置的构成的框图。 

图14是表示本发明的图像处理部的构成的框图。 

图15表示图像的彩色平衡检测时的一览表的一个例子。 

图16表示图像的透镜变形的补偿例。 

图17表示图像的几何变形的补偿例。 

图18表示图像的重构像素值的决定例。 

图19是表示高析像度补偿的处理的流程的流程图。 

图20(a)是表示边缘方向为左上-右下方向时的插补像素的像素值的计算方法的图。 

图20(b)是表示边缘方向为左-右方向时的插补像素的像素值的计算方法的图。 

图20(c)是表示边缘方向为右上-左下方向时的插补像素的像素值的计算方法的图。 

图20(d)是表示边缘方向为上-下方向时的插补像素的像素值的计算方法的图。 

图21是表示对象物的局部未被拍摄的图像的图。 

图22是表示从图像中抽取了对象物的状态的图。 

图23是表示根据图像的颜色抽取的处理的例子的图。 

图24是表示根据图像的颜色抽取的处理的其他例子的图。 

图25是表示本发明的变形例涉及的拍摄图像处理系统的拍摄图像处理方法的流程图，是表示便携终端装置的流程的图。 

图26是表示本发明的变形例涉及的拍摄图像处理系统的拍摄图像处理方法的流程图，是表示便携终端装置的流程的图。 

图27是表示本发明的变形例涉及的拍摄图像处理系统的拍摄图像处理方法的流程图，是表示图像输出装置的流程的图。 

图28是表示本发明的变形例涉及的拍摄图像处理系统的拍摄图像处理方法的流程图，是表示便携终端装置的流程的图。 

其中附图标记说明如下： 

100便携终端装置，200图像输出装置，101拍摄部，102拍摄图像判断部(边缘检测部、边缘信息生成部)，103图像处理部，104通信部(发送部)，105显示部(通知部、指定位置信息生成部)，106输入部，109控制部(发送部、通知部)，110指定区域抽取部(位置信息生成部)，202图像处理部，204图像形成部(输出部)，205显示部，206输入部，207第一通信部(接收部、边缘信息取得部、指定信息取得部)，208第二通信部(输出部)，212控制部(输出部、切换部)，305对象抽取部(边缘抽取处理部、浓度值抽取处理部)。 

具体实施方式

以下，参照附图对本发明的实施方式进行详细说明。 

(1)拍摄图像处理系统的整体构成 

图3是表示本发明涉及的拍摄图像处理系统的整体构成的图。如图3所示，拍摄图像处理系统具有：带相机的手机、数码相机等具有拍摄元件的便携终端装置100、以及复合机、打印机(图像形成装置)等图像输出装置200。 

便携终端装置100和图像输出装置200之间可进行通信，便携终端装置100能够将拍摄到的图像数据(以下，称为拍摄图像数据)发送到图像输出装置200。 

便携终端装置100由用户携带。用户能够在各种场合通过便携终端装置100来拍摄对象物。 

在本实施方式中，便携终端装置100具有文档拍摄模式的功能，即用于拍摄印刷有文档图像的纸张及海报、显示有文档图像的显示画面(例如，通过显示器画面及投影仪投影的画面)之类的矩形的拍摄对象物，并将通过该拍摄所获得的拍摄图像从图像输出装置200输出。 

然而，也可以考虑到在拍摄到的图像中含有用户所希望的拍摄对象物以外的周围的人或物、背景等文档制作中不需要的部分的情况。在本实施方式中，即使是这种情况下，也能够仅将所希望的拍摄对象物从拍摄图像中容易地抽取。 

在本实施方式中，便携终端装置100具有对象抽取模式，即在选择了文档拍摄模式时，能够从图像输出装置200获得从拍摄图像中抽取的局部区域的图像。即，在本实施方式中，当希望对文档图像具有矩形面的拍摄对象物进行拍摄，并从通过该拍摄获得的拍摄图像中仅输出局部区域的图像时，用户选择文档拍摄模式的同时，选择对象抽取模式。 

并且，在本实施方式中，作为对象抽取模式，具有以下三种模式。即：(A)无需用户指定应抽取区域内的任意点即可决定自动抽取的区域的自动抽取模式；(B)用户指定应抽取区域内的任意点，并基于该指定的点和从拍摄图像检测出的边缘像素组的位置，来决定抽取的区域的边 缘抽取模式；(C)用户指定应抽取区域内的任意点，并基于该指定的点的颜色，来决定抽取的区域的颜色抽取模式(浓度值抽取模式)。在用户选择对象抽取模式的情况下，可以适宜地选择自动抽取模式、边缘抽取模式以及颜色抽取模式中的一个。 

并且，在本实施方式中，在便携终端装置100中选择了对象抽取模式的情况下，图像输出装置200从拍摄图像中抽取被推定为拍摄对象物区域的局部区域的图像，并输出该抽取图像。 

并且，便携终端装置100拍摄到的图像析像度较低，存在即使以该析像度通过图像输出装置200进行了图像输出(例如印刷)，也不能识别到细节的情况。例如，可以考虑到在拍摄印刷有文档图像(文字等)的纸张及海报、显示有文档图像等的显示画面的情况下，也不能辨别文字的情况。 

于是，在本实施方式中，图像输出装置200具有对从便携终端装置100接收到的拍摄图像数据进行提高析像度的高析像度补偿的功能(高析像度化功能)。作为该高析像度补偿的方法，有映像信息媒体学会志Vol.62、No.3、pp.337～342(2008)所述的使用了多个拍摄图像数据的方法、及映像信息媒体学会志Vol.62、No.2、pp.181～189(2008)所述的使用了一个拍摄图像数据的方法等，可以使用这些方法。并且，在本实施方式中，说明使用通过对同一对象物进行多次的连续拍摄而获得的输出对象图像数据来进行高析像度补偿的情况。但是，本发明并不局限于图像输出装置200具有该高析像度化功能的情况。 

并且，用户并不一定总能够从正面拍摄矩形的拍摄对象物、即印刷有文档图像的纸张及海报、显示有文档图像的显示画面等。即，用户有时在拍摄对象物中形成有文档图像的平面的法线方向与拍摄元件的拍摄方向不一致的状态下，从斜向对拍摄对象物进行拍摄。此时，这种情况下，在拍摄到的图像中，拍摄对象物产生变形(以下，称几何变形)。在本实施方式中构成为，在选择了上述文档拍摄模式的情况下，以这种几何变形也被补偿的状态图像输出装置200进行图像输出。但是，本发明并不局限于图像输出装置200具有该几何变形的补偿功能的情况。 

并且，作为由图像输出装置200执行的输出处理，有基于拍摄图像数据的图像或其局部区域的图像的印刷处理、将拍摄图像数据或其局部 区域的图像数据储存于服务器及USB存储器等存储装置中的归档处理、向电子邮件添加拍摄图像数据或其局部区域的图像数据并发送的邮件发送处理等。 

并且，作为便携终端装置100与图像输出装置200之间的通信方式，有如图3中符号A所示，基于IrSimple等红外线通信协议中任意一个的无线通信方式，以及如符号B所示，通过Felica(注册商标)这样的非接触式无线通信，暂时将拍摄图像数据从便携终端装置100发送到中继装置300，其后，使用例如Bluetooth(注册商标)这种无线通信，从该中继装置300向图像输出装置200转送数据的方式。并且，关于便携终端装置100与图像输出装置200之间的通信方式，并不局限于此，也可以适用使用了公知的通信方法的通信方式。例如，也可以向电子邮件添加输出对象图像数据，并发送到图像输出装置200。 

(2)便携终端装置的构成 

首先，基于图4～图12，对本实施方式涉及的便携终端装置100进行说明。 

图4是表示便携终端装置100的构成的框图。如图4所示，便携终端装置100具有：拍摄部101、拍摄图像判断部102、图像处理部103、通信部(发送部)104、显示部(通知部、选择部、指定区域抽取部)105、输入部106、记录介质访问部107、存储部108、控制部(发送部、通知部)109、指定区域抽取部110。 

拍摄部101使用CCD传感器、CMOS传感器，并进行拍摄对象物的拍摄。拍摄部101以预先设定的析像度来进行拍摄对象物的拍摄。并且，拍摄部101在用户选择了文档拍摄模式的情况下，通过按下一次快门即可对拍摄对象物进行多次(例如，2～15)连续拍摄。通常，连续拍摄得到的图像为几乎相同的图像，但由于手晃等会有微小量的偏移。 

拍摄图像判断部102具有判断部，其在选择了文档拍摄模式时，判断由拍摄部101拍摄到的多个拍摄图像是否满足含有用于在图像输出装置200中执行高析像度补偿的条件的处理执行条件。拍摄图像判断部102将其判断结果输出到控制部109。 

并且，拍摄图像判断部102还具有从拍摄图像检测出线段状地连接 的边缘像素的组，并生成表示检测到的边缘像素的组的位置的边缘信息的功能。并且，在检测到多个边缘像素的组的情况下，生成与各边缘像素的组相对应的多个边缘信息。关于拍摄图像判断部102中的具体处理将在后面叙述。 

图像处理部103对于由拍摄部101拍摄到的图像的数据(拍摄图像数据)，至少进行A/D转换处理。 

通信部104具有基于USB(Universal Serial Bus：通用串行总线)1.1或USB2.0的规格的串行传输/并行传输、无线数据通信功能。通信部104将通过拍摄部101拍摄且在图像处理部103中实施了A/D转换处理的一张或多个拍摄图像数据发送到图像输出装置200。但是，通信部104仅发送由拍摄图像判断部102判断为满足处理执行条件的拍摄图像数据。 

显示部105由触摸面板方式的液晶显示器等构成。并且，用户可以进行触摸显示于液晶显示器的拍摄图像而使其自由地移动、放大、缩小的操作，或者以用户指定的点为中心，使图像沿手指的动作方向移动。 

输入部106具有多个按钮，并用于用户进行数据的输入。并且，记录介质访问部107从记录有用于进行便携终端装置100的各处理的程序的记录介质中读出程序。 

并且，存储部108储存有用于进行便携终端装置100的各处理的程序、便携终端装置的机型信息、用户信息以及进行处理时所需要的数据。另外，所谓用户信息是指识别便携终端装置的用户的信息，例如，用户ID及密码等。 

指定区域抽取部110在显示于显示部105的拍摄图像中，抽取用户用手指或手写笔指定的点的坐标信息。并且，该坐标信息在由拍摄图像数据表示的拍摄图像中，设规定位置的点(例如，左上角的点)为原点，设横向为X轴，设垂直于X轴的方向为Y轴，并由X坐标及Y坐标来表示。关于指定区域抽取部110的具体处理将在后面叙述。 

控制部109进行便携终端装置100的各部的控制。具体而言，控制部109在输入部106中输入了选择文档拍摄模式的内容的指示的情况下，使催促输入析像度变换的倍率的画面显示于显示部105。 

并且，控制部109与输入到输入部106的倍率(例如，2倍、4倍)相对应地，决定拍摄部101连续拍摄的次数、以及、拍摄图像判断部102所使用的部分处理执行条件。并且，控制部109基于将预先储存于存储部108的倍率与拍摄次数以及部分处理执行条件相对应起来的信息来进行决定。 

并且，控制部109在输入部106中输入了选择文档拍摄模式的内容的指示的情况下，将催促输入图像输出装置200的输出处理的种类(印刷处理、归档处理、邮件发送处理等)的选择指示、以及、用于执行选择的输出处理的设定条件(印刷张数等的印刷条件、归档目的地的服务器的地址、邮件的接收方地址等)的画面显示于显示部105。并且，控制部109从输入部106获得表示输出处理的种类及输出处理的设定条件的输出处理信息。 

并且，控制部109在输入部106中输入有将通过文档拍摄模式的拍摄而获得的拍摄图像数据向图像输出装置200发送的指示的情况下，使催促输入表示是否选择对象抽取模式的指示的画面显示于显示部105。并且，控制部109在选择了对象抽取模式的情况下，使催促输入表示自动抽取模式、边缘抽取模式以及颜色抽取模式中任意一个模式的指示的画面显示于显示部105。并且，控制部109基于所输入的指示、以及、由拍摄图像判断部102生成的边缘信息的数量，来决定执行的模式。 

并且，控制部109控制通信部104，以使将拍摄图像数据和对应于各个模式的相关信息发送到图像输出装置200。 

关于控制部109中的模式的决定处理以及相关信息的特定处理的详细内容将在后面叙述。 

(3)关于拍摄图像判断部的处理 

其次，对便携终端装置100的拍摄图像判断部102中的具体判断处理进行说明。 

(3-1)倾斜度的判断 

如上所述，在拍摄纸张及海报、显示画面这样的矩形的拍摄对象物，并希望将拍摄图像从图像输出装置200输出的情况下，用户选择文档拍 摄模式。 

因此，拍摄图像判断部102假设拍摄对象物为矩形，并在拍摄图像数据中，检测出拍摄对象物的边缘，从而检测出拍摄图像数据中的拍摄对象物的倾斜度。 

具体而言，拍摄图像判断部102从拍摄图像数据中检测出线段状地连接的边缘像素的组(进行直线识别)。这里，所谓边缘像素是指构成浓度变化剧烈的部分的像素。在拍摄了矩形的拍摄对象物的情况下，该拍摄对象物的轮廓线(即，拍摄对象物与背景之间的边界线)浓度变化剧烈的部分呈线段状地连接。即，拍摄图像中的拍摄对象物与背景之间的边界线由线段状地连接的边缘像素的组来表示。于是，如上所述，通过从拍摄图像数据中检测出线段状地连接的边缘像素的组，由此能够推定拍摄对象物与背景之间的边界线的位置。如此，拍摄图像判断部102作为检测线段状地连接的边缘像素的组的边缘检测部来发挥作用。 

并且，作为从拍摄图像数据中检测出线段状地连接的边缘像素的组的方法，可以使用例如日本国公开特许公报“特开2006-237757”所述方法等以往公知的方法。 

并且，为了防止将背景中的边缘错误地判断为拍摄对象物的轮廓线的边缘，也可以仅将规定长度以上的线段状的边缘像素的组作为拍摄对象物的边缘来检测。这种情况下，所谓规定长度，例如适宜地设定为由拍摄图像数据所示的图像端部的边长的80％左右的长度等即可。或者，也可以让用户从这样检测到的边缘中选择拍摄对象物的边缘。作为这种检测方法，例如可以使用特开2006-237757所述的技术。 

并且，拍摄图像判断部102选择检测出的拍摄对象物的边缘上的两点。例如，如图5所示，选择从拍摄图像数据的中心左右分别沿横向离开w/2的两点11、12。其次，求出所选择的两点11、12各自与拍摄图像数据的端边的距离d₁、d₂，从而能够求出拍摄图像中拍摄对象物的倾斜度。如图5的情况下，将倾斜角度设为θ时，tanθ＝(d₂-d₁)/w。于是，拍摄图像判断部102计算出(d₂-d₁)/w的值，并从已预先制作的一览表(参照图6)中读取相当于该值的角度θ。 

并且，拍摄图像判断部102判断检测到的角度θ是否在规定范围内 (例如，-30°～+30°)，并将其判断结果输出到控制部109。这里，角度θ是规定范围内是处理执行条件之一。 

并且，拍摄图像判断部102生成通过倾斜度的判断处理检测到的表示线段状地连接的边缘像素的组的位置的边缘信息，并输出到控制部109。在检测到n组线段状地连接的边缘像素的组(例如，如图22所示为4组)的情况下，输出n个与各组相对应的边缘信息。并且，在本实施方式中，边缘信息是表示位于线段状地连接的边缘像素的组的两端的边缘像素在拍摄图像中的坐标的信息。但是，在本发明中，边缘信息表示线段状地连接的边缘像素的组的位置即可，且并不局限于此。例如，也可以是该组中所含有的所有边缘像素的拍摄图像上的坐标。如此，拍摄图像判断部102还作为生成表示线段状地连接的边缘像素的组的位置的边缘信息的边缘信息生成部来发挥作用。 

并且，拍摄图像判断部102将所生成的所有边缘信息输出到控制部109。并且，根据拍摄图像，有时不能检测出线段状地连接的边缘像素的组。这种情况下，拍摄图像判断部102将边缘信息不能生成的内容的通知输出到控制部109。并且，拍摄图像判断部102也可以生成在后述的几何变形的判断时检测到的表示线段状地连接的边缘像素的组的位置的边缘信息，并输出到控制部109。 

(3-2)几何变形的判断 

所谓几何变形是指，如上所述，在从与拍摄对象物中形成有文档图像的平面的法线方向不同的斜向对拍摄对象物进行了拍摄的情况下，拍摄图像中拍摄对象物具有由矩形变形后的形状。例如，在相对于纸张的法线方向从纸张的左下方斜向进行拍摄的情况下，如图7所示，拍摄对象物为变形了的四边形。 

在本实施方式中，如后述所示，图像输出装置200具有补偿这种几何变形的功能。但是，几何变形的程度较大的情况下，即使进行了补偿，识读性也不会提高很多。于是，在本实施方式中，拍摄图像判断部102检测出表示几何变形的程度的特征量，并判断该特征量是否在规定范围内。 

在本实施方式中，由于在视角的中心附近未必存在拍摄对象物的各 边的边缘，因此以一定间隔抽取从所有的边开始的边缘像素，求出表示各边缘的边缘，进而计算出它们的交点，并设为拍摄对象物的区域即可。 

首先，拍摄图像判断部102对于拍摄图像数据进行光栅扫描。这里，如图7所示，设光栅扫描的正向为X方向、垂直于X方向的方向为Y方向。并且，在拍摄图像中，设左上角为原点。 

进行一行扫描，如果不存在边缘像素，则拍摄图像判断部102对沿Y方向错开规定量的下一行进行扫描。并且，行间的间隔只要固定即可，没必要一定是1个像素。 

并且，拍摄图像判断部102在光栅扫描中，将最初检测到边缘像素的行设为L₁(第一行)，如图8所示，将在正向上被判断为最初的边缘像素的像素的坐标储存于第一组中，将在同一行上被判断为第二个边缘像素的像素的坐标分类到第二组中。继续进行下一行的扫描，并进行边缘检测。并且，关于各个行L_i，求出在正向上第一个被判断为拍摄对象物的边缘像素的点、与第二个被判断为拍摄对象物的边缘像素的点之间的X坐标值的差(X坐标的距离d_i)，并进行如下判断。 

并且，将行L_i中最初的边缘像素的X坐标设为X_i1(被分类为第一组的X坐标)，将第二个边缘像素的X坐标设为X_i2(被分类为第二组的X坐标)。检测方法如下。 

(a)关于第一行(L₁)的坐标X_i1以及X_i2，不进行变更。 

(b)关于第二行以后的第i行，计算出坐标之间的距离d_i1(＝X_i1-X_(i-1)1)以及d_i2(同样)。以下，为了对d_i1进行说明而省略下标1，但d_i2也同样。 

(c)关于第三行以后的第i行，计算出dd_i＝abs{(d_i)-d_i-1}。如果dd_i≤th₁(接近 

的较小数值)，则坐标X_i被分类为同一组。非这种情况(dd_i＞th₁)下，则分类为其他组(第三组或第四组)。 

(d)作为初始处理，仅在i＝4时，进行用于确定X₂的组的处理。如下所示。 

i)dd₃≤th₁且dd₄≤th₁→X₂：同一组 

ii)dd₃＞th₁且dd₄≤th₁→X₂：其他组 

iii)dd₃≤th₁且dd₄＞th₁→X₂：同一组 

iv)dd₃＞th₁且dd₄＞th₁→X₂：同一组 

一旦转移到其他组(第三组或第四组)的情况下，没必要进行增减的确认。 

对图像整体进行这种处理，并抽取出属于各组的边缘像素。并且，按每个组，利用最小二乘法等对属于该组的边缘像素的坐标进行直线逼近，而求出逼近属于该组的边缘点的直线。这里，在针对各组求出的逼近直线与该组所含有的边缘像素之间的距离的平方和的平均为规定阈值以下的情况下，拍摄图像判断部102判断为边缘像素线段状地排列，可以继续执行以下的处理。由此，拍摄图像判断部102能够检测出被推定为拍摄对象物与背景之间的边界线的、线段状地连接的边缘像素的组。并且，在针对各组求出的逼近直线与该组所含有的边缘像素之间的距离的平方和的平均大于规定阈值的情况下，拍摄图像判断部102判断为边缘像素没有按线段状地排列的可能性较高，可以让用户从检测到的边缘中选择拍摄对象物的边缘的像素。 

图9是通过如上述的处理，并通过光栅扫描来抽取边缘像素，分类为四个组时的图。在图中，圆形记号表示属于第一组的边缘点，四边形记号表示属于第二组的边缘点，三角形记号表示属于第三组的边缘点，星形记号表示属于第四组的边缘点，并用虚线表示通过最小二乘法求出的属于各组的边缘像素的逼近直线。 

并且，求出针对四个组求出的直线的交点(图中为交点1～4)，从而可以将由四条直线包围的区域特定为拍摄对象物的区域。 

并且，也可以对旋转了90度的图像进行上述的分类处理。这样，还可以理想地抽取与图像内的水平方向/垂直方向平行地被配置的原稿的边缘。即，通过进行光栅扫描，能够在旋转前的图像中检测出垂直方向的边缘。另一方面，能够在旋转后的图像中检测出旋转前为水平方向的边缘(旋转后为垂直方向的边缘)。由此，也可以抽取平行于水平方向/垂直方向的边缘。如果旋转前有充分的信息量(在各组中例如3个点以上的交点)，则仅使用旋转前的信息即可，任意一个组的交点少于1个 点的情况下，当然不能求出直线的式子，因此使用旋转后的交点即可。 

或者，也可以仅将求出的交点坐标再次进行坐标变换而还原，并从各个组的分布区域求出对应的组，综合交点信息，求出直线的式子。即，由从旋转前的图像求出的交点坐标、和将从旋转后的图像求出的交点逆旋转获得的交点坐标，综合属于同一组的交点坐标，并求出直线的方程式即可。 

并且，作为边缘像素的抽取方法，对于至少为1以上的像素宽度的小窗内的像素值按原样进行比较(2以上的宽度的情况下，比较和/平均值)，在邻接的值的差为规定以上的情况下，判断为边缘像素即可。在这里，所谓像素值是指像素中各颜色成分(例如R、G，B)的浓度值。并且，为了防止错误地检测背景及拍摄对象物内的文本的边缘等，也可以仅将如上所示地检测出的、线段状地连接的边缘像素的组的两端间的长度为规定长度以上的边缘，作为拍摄对象物的边缘来检测出。这种情况下，所谓规定长度，例如，可以设定为由拍摄图像数据所示的图像端部边长的80％左右的长度。或者，也可以让用户从这样检测出的边缘中选择拍摄对象物的边缘的像素。作为这种检测方法，例如，可以使用特开2006-237757所述的技术。或者，也可以通过进行各个坐标组的评价、或进行用于边缘检测的处理(霍夫变换等)来防止。并且，作为预处理进行使用了缩小图像的处理，由此能够防止错误地检测出文本及细小纹理的边缘。 

并且，拍摄图像判断部102，如上所示地检测出线段状地连接的四个边缘像素的组，并在求出从各组求出的四条逼近直线及其交点时，计算由该四条逼近直线形成的四边形的对边的长度比。该长度比从上述交点的坐标容易地求出。并且，由于对边有两组，因此拍摄图像判断部102针对于该两组分别求出长度比。 

这里，由于从正面拍摄矩形的拍摄对象物的情况下，拍摄图像中的拍摄对象物也为矩形，因此对边的长度比为1。另一方面，从斜向拍摄的情况下，由于拍摄图像中的拍摄对象物的形状为变形的四边形，因此为不同于1的值。并且，拍摄方向、与拍摄对象物的文档图像所形成的平面的法线方向所成的角度越大，该比的值与1的差越大。因此，可以说对边的长度比是表示几何变形的程度的特征量之一。 

其后，拍摄图像判断部102判断所求出的两个比的双方是否在规定范围内(例如，0.5～2)，并将该判断结果输出到控制部109。这里，规定范围是在图像输出装置200中作为可补偿的范围预先设定的，并储存于存储部108中。并且，两个比的双方均在规定范围内(例如，0.5～2)是处理执行条件之一。并且，拍摄图像判断部102也可以选择两条通过如上所述地检测出的四个交点中的任意两个交点的直线来作为表示几何变形的程度的其他特征量，并使用所选择的两条直线所成的角度等。 

并且，拍摄图像判断部102在线段状地连接的边缘像素的组的检测数为3个以下的情况下，不能计算表示几何变形的程度的特征量。这种情况下，拍摄图像判断部102将表示几何变形的程度的特征量在规定范围内的内容的判断结果输出到控制部109。 

(3-3)多张图像的偏移量的判断 

如上所述，图像输出装置200也可以基于同一拍摄对象物的多个拍摄图像数据，来执行高析像度补偿。为了执行该高析像度补偿，需要与析像度变换的倍率相对应的规定数量的图像数据偏移规定量。 

于是，在本实施方式中，拍摄图像判断部102判断在通过拍摄部101连续拍摄获得的多个拍摄图像数据中，是否含有为了在图像输出装置200执行该高析像度补偿所需要的、错开规定量的规定数量的拍摄图像数据。 

并且，所谓提高文字的识读性的为了高析像度补偿所需的偏移是指，作为对象的图像数据的不足1个像素(小数点)的偏移。即，小数点以下(不足1个像素)的值，例如，0.3～0.7等的偏移很重要。关于整数部分的偏移在高析像度补偿中不考虑。例如，在1.3个像素、2.3个像素等含有不足1个像素的偏移的情况下，可以执行基于多个图像的高析像度补偿，但是1个像素、2个像素等不含有不足1个像素的偏移的情况下，不能执行高析像度补偿。 

例如，变换倍率为2倍的情况下，高析像度补偿所需的图像数据的数量为2，作为两个图像数据的偏移量以像素为单位优选为小数点以下0.3～0.7。因此，在存储部108中预先储存有将析像度变换的倍率“2倍”、与拍摄次数“2”以及处理执行条件“必要图像数据数量：2、偏 移量：0.3～0.7”进行关联的信息，控制部109基于该信息，使拍摄部101进行两次连续拍摄，并使拍摄图像判断部102执行按照处理执行条件“必要图像数据数量：2、偏移量：0.3～0.7”的判断。 

并且，变换倍率为4倍的情况下，高析像度补偿所需的图像数据的数量为2，设其中一个图像数据为基准图像数据时，该基准图像数据与剩余的三个图像数据之间的偏移量分别以像素为单位优选为小数点以下0.2～0.3、0.4～0.6、0.7～0.8。因此，存储部108存储有将析像度变换的倍率“4倍”、与拍摄次数“4”以及处理执行条件“必要图像数据数量：4、偏移量：0.2～0.3、0.4～0.6、0.7～0.8”进行关联的信息。 

并且，以下为了简化说明，对作为析像度变换的倍率选择了2倍的情况进行说明。 

首先，拍摄图像判断部102选择拍摄图像的任意一个，并关于该拍摄图像(以下，称第一拍摄图像)，从在上述几何变形的判断时求出的拍摄对象物的区域中选择偏移检测用部分区域。这里，由于偏移检测用部分区域用于求出第一拍摄图像与剩余的拍摄图像(以下，称第二拍摄图像)之间的偏移量，因此优选在该偏移检测用部分区域内像素值的变化较大的图像(存在明确的图形)。于是，拍摄图像判断部102通过以下所示方法来抽取偏移检测用部分区域。 

拍摄图像判断部102确定拍摄对象物的区域的重心位置上存在的像素，并将该像素设为关注像素。并且，选定含有关注像素的n×n像素的区域。关于选定区域，判断是否满足以下的选定条件，满足的情况下，将该区域设为偏移检测用部分区域。另一方面，不满足的情况下，基于规定的偏置量使区域移动，并对移动后的区域进行相同的判断。如此，抽取偏移检测用部分区域。 

这里，作为选定条件，例如可举出以下两个。 

第一个是使用了根据区域内的方差的值的选定条件。对于关注像素附近的n×n像素的区域，设像素值为P(i)时，部分区域的方差值Variance(x)由下式(1)表示。将该方差值Variance(x)的值为规定阈值以上设为选定条件。并且，为了简化可以仅考虑本式的分子。 

$\mathrm{Varience}\left(x\right)=\frac{n\×\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}{\left[P\left(i\right)\right]}^2-{\left[\underset{i=1}{\overset{n-1}{\mathrm{\Σ}}}P\left(i\right)\right]}^2}{n\×n}$ ......式(1) 

并且，第二个是对于关注像素附近的n×n像素的区域，使用如一阶微分滤波那样的边缘抽取滤波进行处理，进行二值化，并使用该总和的选定条件。图10表示一阶微分滤波的例子，这种情况下，也可以将总和为规定阈值以上(例如，部分区域像素数的5％以上等)设为选定条件。 

其次，对于如此求出的第一拍摄图像的偏移检测用部分图像A(n×n)，从第二拍摄图像中分割出中心几乎在同一位置上的偏移检测用部分图像B(m×n)(m＞n)。该分割方法中以使第一拍摄图像中偏移检测用部分图像A的中心像素的坐标、与第二拍摄图像中偏移检测用部分图像B的中心像素的坐标一致的方式分割出。 

其后，以子像素(sub pixel)精度求出分割出的偏移检测用部分图像B中最适合偏移检测用部分图像A的区域。作为该方法，可举出以偏移检测用部分图像A为模板的归一化相关模式匹配。 

作为归一化相关模式匹配的例子，使用已知的归一化相关式来计算相关。一般由N像素构成的两个模式Input(I)和Target(T)的相关式，可以表示为下式(2)。这里，α、β、γ分别如下所示。 

$S=\{\mathrm{\α}/\sqrt{\mathrm{\β}\×\mathrm{\γ}}\}$ ......式(2) 

α＝N∑(I×T)-(∑I)×(∑T) 

β＝N∑(I×I)-(∑I)×(∑T) 

γ＝N∑(T×T)-(∑T)×(∑T) 

例如，n＝5、m＝7的情况下，对于每个与偏移检测用部分图像B(m×m)中的偏移检测用部分图像A相同大小的区域(n×n)运算上述相关式，作为结果生成3×3的相关值Map。使用该相关值Map，求出合适的二次曲面。作为二次曲面的求出方法，例如，设S(x，y)＝a＊x＊x+b＊x＊y+c＊y＊y+d＊x+e＊y+f，选择9个点中相关值较高的6个点，解联立方程式而求出各系数。如果该函数的极值(＝最大值)的坐标值(x、y双方)的小数点 以下的值为规定范围(这里为0.3～0.7)内，则判断为满足处理执行条件“需要图像数据数：2、偏移量：0.3～0.7”。 

并且，极值的求出方法是对上述二次式进行偏微分，求出分别为0的点的坐标即可。此时，实际上没有必要求出各系数(a～f)，因此直接使用相关值(S₁～S₆)则效率较高。应求出的式(3)如下所示。这里，原点为关注的窗框标准。 

$x=\frac{2\×S_3\×S_4-S_5\×S_2}{S_2^2-4\×S_1\×S_3}$

......式(3) 

$y=\frac{2\×S_1\×S_5-S_2\×S_4}{S_2^2-4\×S_1\×S_3}$

并且，虽然至少在一处进行这种子像素精度的位置偏移确认，但希望在多处进行。并且，拍摄图像判断部102将是否满足处理执行条件的判断结果输出到控制部109。 

(3-4)亮度、对比度、彩色平衡、晃动的判断 

并且，拍摄图像判断部102对于拍摄图像的亮度、对比度、彩色平衡、晃动(剧烈的手晃动)的各项目进行判断。 

关于亮度，可考虑到例如在曝光过度(过亮)或不足(过暗)时需要再次拍摄的情况。此时，拍摄图像判断部102例如求出拍摄图像数据的像素值中最大的像素值和最小的像素值，在最大值为某阈值(例如，8色位100等)以下时，设为曝光不足，在最小值为某阈值(例如，8色位150等)以上时，将曝光过度的判断结果输出到控制部109。 

并且，当控制部109接收曝光不足或曝光过度的判断结果时，将其内容以及催促再拍摄的指示显示于显示部105。或者，控制部109在曝光不足的情况下，变更设定以使拍摄部101的曝光时间变长，在曝光过度的情况下，变更设定以使曝光时间缩短。其后，控制部109也可以将催促再拍摄的指示通知用户。 

关于对比度，拍摄图像判断部102在拍摄图像数据的像素值中最大/最小的差值为规定阈值以下的情况下，判断为对比度不足。并且，控制部109当接收对比度不足的判断结果时，将其内容以及催促再拍摄的指 示显示于显示部105。 

并且，亮度/对比度的判断中，拍摄图像判断部102既可以对各颜色通道进行判断，也可以使用平均值(R+G+B/3)及亮度值(依据0.299×R+0.587×G+0.114×B：NTSC)。 

关于彩色平衡，通过进行各颜色通道(RGB)的平均值及最大/最小值的比较，可以掌握某一通道中发生了过度的偏光。此时，拍摄图像判断部102在例如求出拍摄图像中具有最大亮度值附近的值(最大亮度～最大亮度-5左右)的像素值的各颜色通道的值的平均值(Ra，Ga，Ba)，并在各颜色通道的最大值与最小值的差为与值对应的一定值以上[Max(Ra，Ga，Ba)-Min(Ra，Ga，Ba)＞0.1×Max(Ra，Ga，Ba)]的情况下，判断为彩色平衡不良。并且，控制部109当接收到彩色平衡不良的判断结果时，将其内容以及催促再拍摄的指示显示于显示部105。 

关于晃动(剧烈的手晃动：所谓运动模糊)，由于发生时边缘的清晰度降低，拍摄图像判断部102使用图10中举出的边缘抽取滤波，来制作边缘强度图像并取柱状图，求出其标准偏差值(上述方差的平方根)。并且，在该标准偏差值为规定阈值(例如5)以下的情况下，判断为发生了晃动。并且，控制部109当接收到发生了晃动的判断结果时，将其内容以及催促再拍摄的指示显示于显示部105。 

(4)关于对用户的通知 

从拍摄图像判断部102接收到判断结果的控制部109，根据该判断结果，将催促再拍摄的信息显示于显示部105。 

例如，在从拍摄图像判断部102接收到倾斜角度θ不在规定范围内的内容的判断结果的情况下，控制部109将催促在使拍摄对象物不倾斜的状态下进行再次拍摄的信息显示于显示部105。 

并且，在接收到表示几何变形的程度的特征量(在这里为拍摄图像中拍摄对象物的对边的长度比)不在规定范围内的内容的判断结果的情况下，控制部109将催促从拍摄对象物中形成有文档图像的平面的法线方向进行再次拍摄的信息显示于显示部105。 

进而，在接收到根据拍摄图像判断部102的倾斜度的判断或几何变形的判断，用户所希望的拍摄对象物的边缘未检测出1组以上的内容的判断的情况下，控制部109将催促以在拍摄的图像内收纳有用户所希望的拍摄对象物的形态进行再次拍摄的信息显示于显示部105。 

并且，在接收到错开规定量的拍摄图像不是规定数量的内容的判断结果的情况下，控制部109将例如“该图像有不能处理的可能。请再次重新拍摄”等的、催促进行再次拍摄的信息显示于显示部105，从而重新获得图像。其后，关于重新拍摄的多个拍摄图像，拍摄图像判断部102进行再次判断处理，在判断为满足全部处理执行条件时，将该拍摄图像用于后续的处理。或者，也可以对于前面拍摄到的拍摄图像以及再次拍摄到的拍摄图像的组合，拍摄图像判断部102进行再次判断处理，将满足全部处理执行条件的拍摄图像用于后续的处理。 

(5)关于指定区域抽取部110的处理 

其次，对指定区域抽取部110的处理进行说明。 

如图11所示，在显示于显示部105的显示器上的拍摄图像中，用户用手指或手写笔指定了希望输出的区域内(在图11中为拍摄对象物的区域)的任意一个点时，指定区域抽取部110抽取被触摸的点的坐标(指定区域的坐标)。 

并且，由于由用户按压的点为具有一定程度大小的区域，因此指定区域抽取部110抽取被指定的区域的x，y坐标的范围或者被指定的区域的中心坐标。 

进而，如图12所示，在拍摄图像也含有邻接的海报及布告栏的情况下，通过在显示有拍摄图像的显示部105上用户指定点，来能够只选择所希望的拍摄对象物。由指定区域抽取部110抽取的坐标，作为用户指定的指定坐标被输出到控制部109。 

如此，可以说指定区域抽取部110是生成表示由用户指定的拍摄图像上的位置的坐标信息的位置信息生成部。 

(6)关于控制部109中模式的决定处理以及相关信息的确定处理 

其次，对控制部109中模式的决定处理以及发送到图像输出装置200 的相关信息的确定处理进行说明。 

如上所述，控制部109在输入部106中输入有拍摄图像数据向图像输出装置200的发送指示的情况下，将催促输入表示是否选择对象抽取模式的指示的画面显示于显示部105。并且，在储存于存储部108的拍摄图像数据存在多个的情况下，对于每个拍摄图像数据，将由该拍摄图像数据表示的拍摄图像显示于显示部105，并催促输入表示对于各个拍摄图像是否选择对象抽取模式的指示。例如，对于每个各拍摄图像显示用于选择对象抽取模式的按钮以及用于进入下一个处理的按钮。并且，在用于选择该对象抽取模式的按钮被按下的情况下，判断为对与被按下的按钮相对应的拍摄图像输入了选择对象抽取模式的指示。另一方面，在用于选择该对象抽取模式的按钮未被按下，且用于进入下一个处理的按钮被按下的情况下，判断为对拍摄图像未选择对象抽取模式。 

在输入了对拍摄图像未选择对象抽取模式的内容的指示的情况下，控制部109决定为输出该拍摄图像整体的非抽取模式。 

另一方面，在输入了选择对象抽取模式的内容的指示的情况下，控制部109将催促输入表示是否选择颜色抽取模式的指示的画面显示于显示部105。具体而言，对于每个拍摄图像显示选择按钮以及用于进入下一个处理的按钮，在该选择按钮被按下时，可以选择是否执行颜色抽取模式。例如，显示“颜色选择”的按钮。 

在“颜色选择”的按钮被按下的情况下，控制部109决定执行颜色抽取模式。并且，控制部109与对应于被按下的按钮的拍摄图像一起，将催促指定应抽取区域内的任意一个点的通知显示于显示部105。并且，控制部109使指定区域抽取部110抽取被指定的点的坐标信息。 

并且，在“颜色选择”按钮未被按下而用于进入下一个处理的按钮被按下的情况下，控制部109判断由拍摄图像判断部102生成的边缘信息是否为一个以上。在通过拍摄图像判断部102连一个边缘信息都没有生成的情况下，控制部109通知用户不能执行对象抽取模式，并决定为将拍摄图像的整体输出的非抽取模式。 

在通过拍摄图像判断部102边缘信息生成有一个以上的情况下，控制部109将催促输入是否指定应抽取区域内的任意一个点的指示的画面 显示于显示部105。在输入了指定该点的内容的指示的情况下，控制部109决定执行边缘抽取模式，并与拍摄图像一起，将催促指定应抽取区域内的任意一个点的通知显示于显示部105。并且，控制部109使指定区域抽取部110抽取被指定的点的坐标信息。 

另一方面，在输入了未指定该点的内容的指示的情况下，控制部109决定执行自动抽取模式。 

并且，控制部109根据执行的模式，如下确定发送到图像输出装置200的信息(发送信息)。 

在非抽取模式的情况下，控制部109将拍摄图像数据、输出处理信息、边缘检测信号(后述)、颜色抽取选择信号(后述)、储存于存储部108中的便携终端装置100的机型信息以及用户信息作为发送信息。 

在自动抽取模式的情况下，控制部109将拍摄图像数据、输出处理信息、边缘检测信号、颜色抽取选择信号、拍摄图像判断部102生成的边缘信息、储存于存储部108中的便携终端装置100的机型信息以及用户信息作为发送信息。 

在边缘抽取模式的情况下，控制部109将拍摄图像数据、输出处理信息、边缘检测信号、颜色抽取选择信号、拍摄图像判断部102生成的边缘信息、指定区域抽取部110生成的坐标信息、储存于存储部108中的便携终端装置100的机型信息以及用户信息作为发送信息。 

在颜色抽取模式的情况下，控制部109将拍摄图像数据、输出处理信息、边缘检测信号、颜色抽取选择信号、指定区域抽取部110生成的坐标信息、储存于存储部108中的便携终端装置100的机型信息以及用户信息作为发送信息。 

在这里，所谓边缘检测信号是指表示有无边缘检测的信号，且是控制部109按照通过拍摄图像判断部102所生成的边缘信息的个数来生成的。例如，也可以生成如下边缘检测信号，即：在通过拍摄图像判断部102未检测到线段状地连接的边缘像素的组的情况下，也就是拍摄图像判断部未生成边缘信息的情况下为“0”，而在通过拍摄图像判断部102检测到了线段状地连接的边缘像素的组的情况下，也就是拍摄图像判断部102生成了边缘信息的情况下为“1”。或者，根据通过拍摄图像判断 部102生成的边缘信息的个数，也可以使用000：“无边缘信息”、001：“检测到一个边缘信息”、010：“检测到两个边缘信息”、011：“检测到三个边缘信息”、100：“检测到四个边缘信息”的边缘检测信号。以下，对使用“0”“1”的边缘检测信号的例子进行说明。 

其中，控制部109在执行的模式为非抽取模式或颜色抽取模式时，不进行使用边缘的抽取，因此不论通过拍摄图像判断部102生成的边缘信息的个数如何，都生成“0”的边缘检测信号。如此，也可以说边缘检测信号是表示是否进行使用边缘的抽取的信号。 

并且，所谓颜色抽取选择信号是表示是否执行颜色抽取模式的信号，并由控制部109生成。具体而言，控制部109在执行的模式为颜色抽取模式的情况下，生成颜色抽取选择信号“1”，在除此之外的情况下，生成颜色抽取选择信号“0”。 

(7)图像输出装置的构成 

其次，基于图13～图24，对本实施方式涉及的图像输出装置200的构成进行说明。在本实施方式中，图像输出装置200是具备扫描仪、打印机、复印机等功能的复合机。 

图13是表示图像输出装置200的构成的框图。图像输出装置200具有：图像读取部201、图像处理部202、认证部203、图像形成部(输出部)204、显示部205、输入部206、第一通信部(接收部、边缘信息取得部、指定信息取得部)207、第二通信部(输出部)208、记录介质访问部209、存储部210、以及控制部(输出部、切换部)212。 

图像读取部201读取原稿，且具有含有CCD(Charge CoupledDevice：电荷耦合器件)的扫描部，并将从原稿反射来的光转换为被RGB分色的电信号(模拟的图像信号)，而输出该电信号。 

图像处理部202对拍摄图像数据进行规定的图像处理。在本实施方式中，如图14所示，图像处理部202具有：对于从便携终端装置发送来的拍摄图像数据，进行拍摄对象物的抽取的对象抽取部(边缘抽取处理部、浓度值抽取处理部)305；进行拍摄图像数据的补偿处理的画质调整部301/几何补偿部302/透镜变形补偿部303/超分辨率处理部304。关于图像处理部202对拍摄图像数据进行的处理的详细将在后面叙述。 

认证部203在进行从便携终端装置100接收到的拍摄图像数据的输出处理时，进行用户认证。具体而言，认证部203核对从便携终端装置100接收到的用户信息和由输入部206输入的用户信息(用户ID以及密码)，并进行用户认证。认证部203将认证结果发送到控制部212。 

图像形成部204例如使用电子照片方式或喷墨方式，在纸等的记录纸张上形成图像。即，图像形成部204作为输出处理之一，执行基于由图像处理部202执行了规定处理的拍摄图像数据的印刷处理。 

显示部205例如由液晶显示器等构成。并且，输入部206用于例如通过按下液晶显示器的触摸面板或按钮等，进行数据的输入。 

第一通信部207具有基于USB1.1或USB2.0的规格的串行传输/并行传输、无线数据通信功能。第一通信部207从便携终端装置100接收文件名、便携终端装置100的机型信息、用户信息及附加了输出处理信息等的相关信息的拍摄图像数据。即，第一通信部207作为接收(取得)边缘信息的边缘信息取得部、接收(取得)坐标信息(指定位置信息)的指定信息取得部来发挥作用。 

第二通信部208具有如下功能，即，(a)使用了基于无线LAN的规格的IEEE802.11a，IEEE802.11b，IEEE802.11g的任意一个的无线技术的数据通信功能；(b)具有使用了Ethernet(注册商标)的通信用接口的功能，通过LAN电缆的与网络的数据通信功能；(c)使用了基于无线通信协议的IEEE802.15.1(所谓Bluetooth(注册商标))及IrSimple等的红外线通信协议、Felica(注册商标)等的通信方式的任意一个的无线技术的数据通信的功能。 

第二通信部208作为输出处理执行将由图像处理部202执行了规定处理的拍摄图像数据储存于服务器中的归档处理，或者，发送添加有由图像处理部202执行了规定处理的拍摄图像数据的邮件的邮件发送处理。 

记录介质访问部209从记录有程序的记录介质读出程序。存储部210用于存储上述各部执行处理用的程序。 

控制部212进行图像输出装置200的各部的控制。具体而言，控制部212在第一通信部207从便携终端装置100接收到拍摄图像数据的情 况，将该图像数据输出到图像处理部202的各图像补偿处理部301～304，并使其进行图像处理。 

其次，控制部212在接收到的拍摄图像数据中未附加有坐标信息但附加有边缘检测信号“1”的情况下，使图像处理部202的对象抽取部305，执行后述(8-4-1)所述的对象抽取处理。 

并且，控制部212在接收到的拍摄图像数据中附加有坐标信息以及边缘检测信号“1”的情况下，使图像处理部202的对象抽取部305执行后述(8-4-2)所述的对象抽取处理。 

进而，控制部212在接收到的拍摄图像数据中附加有颜色抽取选择信号“1”的情况下，使图像处理部202的对象抽取部305执行后述(8-4-3)所述的对象抽取处理。 

如此，控制部212作为切换执行(8-4-1)(8-4-2)(8-4-3)的任意一个抽取处理的切换部来发挥作用。 

并且，控制部212在接收到的拍摄图像数据中所附有的边缘检测信号以及颜色抽取选择信号两者均为“0”的情况下，不对对象抽取部305输出处理执行指示。 

并且，控制部212将附加于拍摄图像数据的用户信息输出到认证部203，并使认证部203执行认证处理。控制部212当从认证部203收到认证成功的认证结果时，按照拍摄图像数据中所附有的输出处理信息，使其执行处理。 

即，在输出处理信息显示印刷处理的情况下，控制部212使图像形成部204执行基于由图像处理部202实施了图像处理的拍摄图像数据的印刷。并且，在输出处理信息显示归档处理或者邮件发送处理的情况下，控制部212使第二通信部208执行基于由图像处理部202实施了图像处理的拍摄图像数据的归档处理或者邮件发送处理。 

(8)关于图像处理部中的图像处理 

其次，对图像处理部202执行的图像处理的详细进行说明。并且，虽然图像处理部202对于图像读取部201读取到的图像数据也进行图像处理，但在这里，对从便携终端装置100接收到的拍摄图像数据的图像 处理的内容进行说明。 

在本实施方式中，图像处理部202对于从便携终端装置100发送来的拍摄图像数据，进行通过画质调整部301的彩色平衡/对比度的补偿、通过几何补偿部302的几何变形的补偿、通过透镜变形补偿部303的透镜变形的补偿、通过超分辨率处理部304的高析像度补偿、以及通过对象抽取部305的对象抽取处理。以下，对各个补偿、抽取的处理进行说明。 

(8-1)彩色平衡/对比度的补偿 

作为彩色平衡的补偿方法，画质调整部301关于接收到的拍摄图像数据，求出各颜色通道的最大值/最小值，并制作包括这些的一览表，适用于各颜色通道。作为一览表的一个例子，如图15所示，某个通道的最大值为MX、最小值为MN的情况，数据为8bit时，制作从MN以(MX-MN)/255的间隔增加的表即可。 

画质调整部301关于对比度的补偿也可以以同样的方法执行。并且，如果没有特别改变彩色平衡的需要的话，则将适用于各颜色通道的一览表设为同一个表即可。 

并且，关于彩色平衡/对比度的补偿方法，也可以适用其他公知的技术。 

(8-2)几何变形的补偿/透镜变形的补偿 

几何补偿部302与拍摄图像判断部102中的处理一样，通过光栅扫描依次检测出拍摄图像中拍摄对象物的边缘上的点。并且，图像处理部202曲线逼近检测到的边缘上的点，并从该曲线的式子进行透镜变形补偿。 

具体而言，如图16的实线所示，透镜变形补偿部303检测也检测到的拍摄对象物的边缘点，与拍摄图像判断部102一样，将各边缘点分类为与拍摄对象物的四边对应的四个组。并且，对属于各组的边缘点进行二次曲线逼近。这样，对于四个组求出的二次曲线对应于拍摄对象物的四边。 

并且，透镜变形补偿部303求出相当于由四条二次曲线包围的区域的角部的、四条二次曲线的交点。其次，透镜变形补偿部303求出与对于各边求出的二次曲线外切、且与连接四个交点的四边形(图16中由 虚线所示)相似的外切四边形(图16中由点划线所示)。 

并且，透镜变形补偿部303以这样求出的外切四边形成为补偿后的对象物的边缘像素的位置的方式，变换拍摄图像中拍摄对象物的区域内的像素位置。该变换基于自基准点(例如拍摄对象物的区域的重心点)的矢量进行计算即可。由此，可以补偿便携终端装置100的拍摄部101引起的透镜变形。 

并且，几何补偿部302如下地执行几何变形的补偿。几何补偿部302例如，如图17所示，将如上所述地求出的外切四边形对照对象物的纵横比(例如，商务文件所使用的A型B型的话为7∶10等)来同样地进行映像变换即可。作为该映像变换可以使用公知的技术。并且，几何补偿部302既可以以符合预先存储于存储部210中的纵横比的方式进行变换，也可以以符合输入于输入部206的纵横比的方式进行变换。 

并且，作为几何变形的补偿以及透镜变形的补偿的方法，不局限于上述方法，可以使用公知的技术。 

(8-3)使用了多个图像数据的高析像度补偿 

如上所述，图像输出装置200从便携终端装置100接收对同一拍摄对象物拍摄而得的多个拍摄图像数据。并且，超分辨率处理部304基于该多个拍摄图像数据进行高析像度补偿。 

关于从多个图像数据的高析像度图像制作方法，在映像信息媒体学会志Vol.62、No.3、pp.337～342(2008)中介绍有几种方法。一般而言，高析像度补偿由多个图像的对位处理和重构处理而成立。在本实施方式中，作为对位处理的例子，适用上述(3-3)所述的归一化相关模式匹配的方法。即，通过上述S(x，y)错开表示极大值的偏移量，可以进行多个图像的对位。 

其次，超分辨率处理部304进行重构处理。即，超分辨率处理部304制作具有与析像度变换后的倍率相对应的像素数的重构图像数据。但是，图像尺寸与拍摄图像的尺寸相同。并且，超分辨率处理部304如下所示地决定重构图像数据的各像素的像素值。即，超分辨率处理部304关于重构图像数据中的各像素(重构像素)，从多个拍摄图像中决定该重构像素附近的拍摄图像的像素(拍摄像素)，并通过一般的插补方法 (线性插补及双立方插补等)进行插补。 

具体而言，如图18所示，以横向/纵向分别选择关注的重构像素附近的拍摄像素、例如连接拍摄像素的点阵的线(图中虚线)为最短距离的2点。在这里，设横向最短距离的2点是第一张拍摄图像的拍摄像素1-2(像素值：V_i1-2：以下相同)以及拍摄像素1-4，纵向最短距离的2点是第二张拍摄图像的拍摄像素2-1以及拍摄像素2-2。并且，选择重构像素附近的拍摄像素时，从执行了上述几何变形的补偿/透镜变形的补偿的多个拍摄图像数据中进行选择。由此，可以在进行了几何变形的补偿/透镜变形的补偿的状态下进行高析像度补偿。或者，在计算补偿后的坐标的值时，也可以基于考虑了原先的多个拍摄图像所该当的几何变形的补偿/透镜变形的补偿的坐标值来求出。即，仅计算几何补偿/透镜变形的补偿值，进行了重构处理后，通过该补偿值进行坐标变换即可。 

并且，求出垂直于连接横向及纵向分别选择的2点的边缘、且含有关注的重构像素的点的直线与该边缘的交点。如图18所示，在该交点对于两个边缘分别以t：1-t、u：1-u进行内分的情况下，超分辨率处理部304基于下式4求出关注的重构像素的像素值V_s即可。这种情况下，成为进行了线性插补。并且，可以对于全部的重构像素同样地求出像素值，并生成被高分辨率化的重构图像数据。 

V_S＝{(1-t)V_i1-2+tV_i1-4+(1-u)V_i2-1+uV_i2-2}/2......式(4) 

并且，作为插补方法也可以使用其他的方法。并且，也可以使用映像信息媒体学会志Vol.62、No.3、pp.337～342(2008)中介绍的其他方法。例如，也可以使用MAP(Maximum A Posteriori：最大后验概率)法的、通过先将基于推定的后验概率所对应的性能评价函数最小化来求出的方法。 

(8-4)对象抽取处理 

对象抽取部305基于第一通信部207接收到的拍摄图像数据、边缘信息、坐标信息、以及颜色抽取选择信号等，进行从拍摄图像数据抽取局部区域的处理。并且，对象抽取部305根据从控制部212输入的信息，进行以下的(8-4-1)根据自动抽取模式的抽取处理、(8-4-2)根据边缘抽取模式的抽取处理、(8-4-3)根据颜色抽取模式的抽取处理(像素抽 取处理)。 

并且，如上所述，对象抽取部305执行以下处理，即：(A)对于边缘检测信息为“1”，且未从便携终端装置接收坐标信息的拍摄图像数据执行根据自动抽取模式的抽取处理；(B)对于边缘检测信息为“1”，且从便携终端装置接收了坐标信息的拍摄图像数据执行根据边缘抽取模式的抽取处理；(C)对于颜色抽取选择信号为“1”的拍摄图像数据执行根据颜色抽取模式的抽取处理。即，对象抽取部305既作为基于边缘信息进行抽取处理的边缘抽取处理部来发挥作用(以下的(8-4-1)以及(8-4-2))，又作为基于颜色(像素值(浓度值))进行抽取处理的浓度值抽取处理部来发挥作用(以下的(8-4-3))。 

(8-4-1)根据自动抽取模式的抽取处理(仅基于边缘信息的抽取处理) 

对象抽取部305基于边缘信息进行从拍摄图像中抽取局部区域的处理。具体的处理如下所示。 

首先，对象抽取部305关于各拍摄图像确定接收到的全部边缘信息所示的线段的位置。并且，判断各线段的端部的位置与其他线段的端部的位置是否一致。具体而言，端部彼此的坐标相同的话，判断为一致即可。并且，在检测出以两端均与其他线段的端部一致的多个线段为边，且全部的内角不足180°的四边形的情况下，对象抽取部305将由该四边形包围的区域决定为抽取区域。 

并且，在检测出多个以两端均与其他线段的端部一致的多个线段为边，且全部的内角不足180°的四边形的情况下，对象抽取部305将由面积最大的四边形包围的区域决定为抽取区域即可。或者，也可以将检测到的多个四边形显示于显示部，将由用户选择的四边形包围的区域决定为抽取区域。 

另一方面，在未检测到以两端均与其他线段的端部一致的多个线段为边，且全部的内角不足180°的四边形的情况(例如，如图21所示的拍摄对象物的一部分未被拍摄的图像的情况)下，对象抽取部305关于各线段，将与其他线段的端部不一致的端部确定为非连接端部。并且，对象抽取部305判断非连接端部是否在拍摄图像的边上。这里，所谓拍 摄图像的边是指矩形的拍摄图像的端部即上边、下边、左边、右边。或者，所谓拍摄图像的边是指构成矩形的拍摄图像的外周(框)的线段。 

其次，对象抽取部305将符合(a)两端均与其他线段的端部一致的线段；(b)一侧端部与其他线段的端部一致、且另一侧端部位于拍摄图像的边上的非连接端部的线段；以及(c)两端均位于拍摄图像的边上的线段中的任意一个线段作为候补线段来抽取。并且，对象抽取部305检测出以候补线段和拍摄图像的边上的线段为边、且全部内角不足180°的多边形。在检测到该多边形的情况下，将由该多边形包围的区域决定为抽取区域。并且，在检测到多个该多边形的情况下，对象抽取部305将由面积最大的多边形包围的区域决定为抽取区域即可。或者，也可以将检测到的多个多边形显示于显示部205，将由用户选择的多边形包围的区域决定为抽取区域。 

在连一个该多边形都未检测到的情况下，对象抽取部305判断为仅基于边缘信息不可能抽取局部区域，并将全部拍摄图像决定为输出对象区域。 

并且，对象抽取部305从拍摄图像中分割出决定的抽取区域，并生成输出对象图像数据。并且，在将全部拍摄图像决定为输出对象区域的情况下，将全部拍摄图像数据设为输出对象图像数据即可。 

例如，在图22所示的拍摄图像中，由边缘信息所示的线段a、b、c、d所包围的区域被决定为抽取区域。 

(8-4-2)根据边缘抽取模式的抽取处理(基于边缘信息以及坐标信息的抽取处理) 

对象抽取部305基于边缘信息以及坐标信息进行从拍摄图像中抽取局部区域的处理。具体的处理如下所示。 

首先，对象抽取部305关于各拍摄图像确定接收到的全部边缘信息所示的线段的位置。并且，判断各线段的端部的位置与其他线段的端部的位置是否一致。具体而言，端部彼此的坐标相同的话，判断为一致即可。并且，在检测到以两端均与其他线段的端部一致的多个线段为边，且全部的内角不足180°的四边形的情况下，对象抽取部305将由该四边形包围的区域决定为抽取区域。 

对象抽取部关于各线段，将与其他线段的端部不一致的端部确定为非连接端部。并且，对象抽取部305判断非连接端部是否在拍摄图像的边上。 

并且，对象抽取部305将符合(a)两端均与其他线段的端部一致的线段；(b)一侧端部与其他线段的端部一致、且另一侧端部位于拍摄图像的边上的非连接端部的线段；以及(c)两端均位于拍摄图像的边上的线段中的任意一个线段作为候补线段来抽取。并且，对象抽取部305检测出以候补线段和拍摄图像的边上的线段为边、且全部内角不足180°的多边形。在检测到该多边形的情况下，将由该多边形包围的区域设为抽取区域候补。 

对象抽取部305从如上所述地求出的抽取区域候补中，选择内部含有坐标信息所示坐标的一个抽取区域候补，并将所选择的抽取区域候补决定为抽取区域。 

并且，在内部含有坐标信息所示坐标的抽取区域候补存在多个的情况下，将面积最大的候补决定为抽取区域即可。或者，也可以将全部内部含有坐标信息所示坐标的抽取区域候补显示于显示部，将由用户选择的候补决定为抽取区域。 

并且，在上述的抽取区域候补一个都不存在的情况下，或者内部含有坐标信息所示坐标的抽取区域候补不存在的情况下，对象抽取部305判断抽取局部区域不可能，并将全部拍摄图像决定为输出对象区域。 

并且，对象抽取部305从拍摄图像中分割出决定的抽取区域，并生成输出对象图像数据。并且，在将全部拍摄图像决定为输出对象区域的情况下，将全部拍摄图像数据设为输出对象图像数据即可。 

(8-4-3)根据颜色抽取模式的抽取处理(基于坐标信息所示的位置的像素值的处理) 

对象抽取部305求出含有坐标信息所示的位置的规定范围(例如，5mm方形)内的代表色。例如，对象抽取部305将属于规定范围内的多个像素中以最高频度分布的颜色(像素值)作为代表色来求出。或者，对象抽取部305也可以将属于规定范围内的多个像素中以规定阈值以上的频度分布的颜色(像素值)作为代表色来求出。或者，对象抽取部305 也可以将属于规定范围内的多个像素的像素值的平均值作为代表色来求出。 

其次，对象抽取部305从拍摄图像整体，以代表色的像素值为中心，抽取具有例如±5范围内的像素值的像素。并且，对于抽取到的多个像素的水平轴(X轴)坐标以及垂直轴(Y轴)坐标分别制作柱状图，在各柱状图中，抽取具有规定阈值以上的频度的分区连续存在的分区组。上述规定阈值使用多个图像样本，以对象的图像区域被适当的抽取的方式进行设定。 

其次，对象抽取部305将含有由坐标信息所示的坐标属于的分区的分区组确定为候补分区组。并且，求出候补分区组与该候补分区组相邻的分区组之间的距离，如果该距离例如在50像素以上的话，则判断为相邻的分区组不含在该候补分区组内，并将该候补分区组设为抽取对象的分区组。另一方面，如果候补分区组与该候补分区组相邻的分区组之间的距离小于50像素的话，则判断为相邻的分区组包含在该候补区组内，并将自该两个分区组中最小坐标的分区至最大坐标的分区的分区组设为新的候补分区组。 

并且，求出新的候补分区组与该候补分区组相邻的分区组之间的距离，进行与上述相同的处理。通过反复该处理，关于各柱状图决定抽取对象的分区组。判断是否是抽取对象的分区组的距离，也依赖于所读入的图像数据的析像度，因此使用各种图像样本，按每个读取析像度决定适当的值即可。 

并且，对象抽取部305关于X轴及Y轴的各个轴，求出由与该轴对应的柱状图决定的抽取对象的分区组中所含有的最小值的坐标以及最大值的坐标。这里，设对于X轴求出的最小值的坐标为Xmin，最大值的坐标为Xmax，设对于Y轴求出的最小值的坐标为Ymin，最大值的坐标为Ymax时，对象抽取部305将以(Xmin、Ymin)、(Xmin、Ymax)、(Xmax、Ymin)、(Xmax、Ymax)这四个点为顶点的矩形区域决定为抽取区域。 

对上述处理换言之，可以说如图23所示，对象抽取部305将含有由坐标信息所示的一个点，且具有与该点的代表色类似的颜色(即，含有代表色的像素值的规定范围内的像素值)的像素的连结成分的区域的外 切矩形区域决定为抽取区域。 

最后，对象抽取部305从拍摄图像中分割出决定的抽取区域，并生成输出对象图像数据。并且，对象抽取部305将相对于上述所示求出的矩形区域宽10％左右的区域决定为抽取区域。 

(9)拍摄图像处理系统的图像处理方法 

以下，基于图1、图2，对拍摄图像处理系统的处理的流程进行说明。并且，图1表示便携终端装置100的处理流程，图2表示图像输出装置200的处理流程。 

首先，便携终端装置100进行拍摄模式的选择受理。即，便携终端装置100的控制部109判断是否输入有文档拍摄模式(S101)。在这里，用户拍摄含有文档图像的纸张及显示画面等矩形的对象物，并在希望将拍摄图像从图像输出装置200输出的情况下，选择文档拍摄模式。 

在用户选择了文档拍摄模式的情况下(在S101为是)，控制部109将催促输入高析像度补偿时的析像度变换的倍率的画面显示于显示部105，并从输入部106取得该倍率。控制部109根据所取得的倍率，决定在拍摄部101中的拍摄次数、拍摄图像判断部102中的部分处理执行条件。并且，控制部109将催促输入输出处理的种类以及用于输出处理的设定条件的画面显示于显示部105，并从输入部106取得输出处理信息。 

并且，拍摄部101连续拍摄在控制部109设定的拍摄次数(S102)。 

拍摄结束后，图像处理部103对于拍摄到的图像的数据至少进行A/D转换处理。其后，控制部109使拍摄图像判断部102执行判断被A/D转换处理后的多个拍摄图像数据是否满足处理执行条件的处理(S103)。并且，详细的判断方法、判断项目等，例如如上述(3-1)～(3-3)中的说明所示。 

其次，在拍摄图像判断部102判断为满足处理执行条件的情况下(在S103为是)，控制部109将被判断为满足处理执行条件的拍摄图像数据存储于存储部108中(S105)。并且，转移至S106的处理。 

另一方面，在拍摄图像判断部102判断为不满足处理执行条件的情 况下(在S103为否)，控制部109在显示部105显示表示再拍摄内容的信息等，并通知用户(S104)。即使再拍摄的图像也不满足上述的判断项目等的情况下，便携终端装置100反复进行步骤S102～S104。 

其次，在S106中，控制部109判断是否输入了用户将拍摄图像数据向图像输出装置的发送指示。在没有发送指示的输入的情况下(在S106为否)，控制部109返回到S101的处理。 

另一方面，在输入了发送指示的情况下(在S106为是)，控制部109受理用户对对象抽取模式的选择有无的输入(S107)。 

然而，控制部109在拍摄模式的选择受理时，即使在用户未选择文档拍摄模式的情况下(在S101为否)，也判断是否有用户对拍摄图像数据的发送指示(S106)。并且，即使在未选择文档拍摄模式的情况下，也有用户对拍摄图像数据的发送指示的情况下(在S106为是)，控制部109受理用户对对象抽取模式的选择有无的输入(S107)。 

这里，在用户从拍摄图像中抽取局部区域，并希望将抽取的区域图像输出的情况下，可以将选择对象抽取模式的指示输入到便携终端装置100。另一方面，在希望拍摄图像整体的输出的情况下，输入不选择对象抽取模式的内容的指示即可。 

然后，控制部109通过将边缘检测信号和颜色抽取选择信号设定为“0”，而对边缘检测信号和颜色抽取选择信号进行初始化(S108)。 

其次，控制部109判断对于输入了发送指示的拍摄图像数据，拍摄图像判断部102是否生成了一个以上边缘信息。即，判断是否从该拍摄图像数据检测到一组以上的线段状地连接的边缘像素的组(S109)。 

在生成了一个以上的边缘像素的情况下(在S109为是)，控制部109将边缘检测信号设定为“1”(S110)。并且，控制部109判断是否由用户选择了对象抽取模式(S111)。 

另一方面，在判断为未检测到拍摄对象物的边缘的情况下(在S109为否)，控制部109不变更边缘检测信号，并判断是否由用户选择了对象抽取模式(S111)。 

在用户选择了对象抽取模式的情况下(在S111为是)，控制部109 转移至S112的处理。另一方面，在用户未选择对象抽取模式的情况下(在S111为否)，控制部109判断为执行输出拍摄图像整体的非抽取模式，在边缘检测信号为“1”的情况下变更为“0”(S113)，并转移至S112的处理。 

其次，在S112中，控制部109基于是否由用户选择了颜色抽取模式，来判断是否执行颜色抽取模式。 

具体而言，在S109为是、在S111为是、且选择了颜色抽取模式的情况下，控制部109优先使用了边缘的对象抽取模式，判断为不执行颜色抽取模式。此时，控制部109将优先使用了边缘的对象抽取模式，判断为不执行颜色抽取模式的内容的通知显示于显示部105。 

并且，在S109为是、在S111为是、且选择了颜色抽取模式的情况下，控制部109也可以将催促输入是否优先使用了边缘的对象抽取模式，或者是否执行颜色抽取模式的画面显示于显示部105，来催促用户选择优先哪个模式。并且，在输入了选择颜色抽取模式的内容时，控制部109决定执行颜色抽取模式即可。 

并且，在S109为是、在S111为是、且未选择颜色抽取模式的情况下，控制部109判断不执行颜色抽取模式。 

进而，在S109为否、在S111为是、且选择了颜色抽取模式的情况下，控制部109判断执行颜色抽取模式。 

这样决定是否执行颜色抽取模式。并且，在决定了执行颜色抽取模式的情况下(在S112为是)，控制部109将颜色抽取选择信号设定为“1”(S114)。其后，转移至S115的处理。另一方面，在决定了不执行颜色抽取模式的情况下(在S112为否)，将颜色抽取选择信号设为“0”不变，转移至S115的处理。 

并且，在S109为否、在S111为是、且未选择颜色抽取模式的情况下，控制部109判断为虽然选择了对象抽取模式但不能进行抽取处理，并决定执行输出拍摄图像整体的非抽取模式。此时，控制部109也可以将不能执行使用了边缘的对象抽取模式的内容显示于显示部105。 

其次，在S115中，控制部109与拍摄图像一起，将催促指定应抽取 区域内的任意一个点的通知显示于显示部105。并且，控制部109判断是否输入了应抽取区域内的任意一个点的指定。 

但是，在判断为S114中执行颜色抽取模式的情况下，控制部109待机直至输入应抽取区域内的任意一个点的指定。这是因为为了执行颜色抽取模式，需要指定应抽取区域内的任意一个点。即，在判断为S114中执行颜色抽取模式的情况下，在S115待机至变为是，并不受理应抽取区域内的任意一个点的指定输入以外的处理。其结果，在判断为S114中执行颜色抽取模式的情况下，S115的处理后必须转移至S116。另一方面，在S112为否的情况下，控制部109将催促输入是否指定应抽取区域内的任意一个点的指示的画面显示于显示部105，并在输入了指定点的内容的指示时，将催促点的指定的通知显示于显示部105。因此，在S112为否的情况下，在S115中，有可能为是及否的任一种情况。 

在输入了应抽取区域内的任意一个点的指定的情况下(在S115为是)，控制部109以生成表示该点的坐标(x，y)的坐标信息的方式控制指定区域抽取部110(S116)。并且，在S112为否，且在S115为是的情况下，控制部109决定执行边缘抽取模式。其后，控制部109对满足处理执行条件的多个拍摄图像数据起文件名(S117)。 

另一方面，在没有应抽取区域内的任意一个点的指定的输入的情况下(在S115为否)，控制部109对满足处理执行条件的多个拍摄图像数据起文件名(S117)。并且，在S112为否，且在S115为否的情况下，控制部109决定执行自动抽取模式。 

并且，在S117的处理中，控制部109既可以例如根据拍摄日期的连续编号等自动地对各拍摄图像数据起不同的文件名，也可以起输入于输入部106的文件名。 

其后，控制部109判断颜色抽取选择信号是否为“1”(S118)。在控制部109判断颜色抽取选择信号为“1”的情况下(在S118为是)，控制部109将拍摄图像数据与输出处理信息、边缘检测信号、颜色抽取选择信号、坐标信息、以及、储存于存储部108中的便携终端装置100的机型信息及用户信息一起，转送至通信部104。并且，通信部104将这些信息发送到图像输出装置200(S119)。 

另一方面，在控制部109判断颜色抽取选择信号为“0”的情况下(在S118为否)，控制部109将拍摄图像数据与输出处理信息、边缘信息、边缘检测信号、颜色抽取选择信号、坐标信息、以及、储存于存储部108中的便携终端装置100的机型信息及用户信息一起，转送至通信部104。其中，在决定了执行自动抽取模式的情况下(在S112为否，且在S115为否的情况)，由于不生成坐标信息，因此将坐标信息以外的信息输出到通信部104。并且，通信部104将该信息发送到图像输出装置200(S120)。 

并且，将由通过按下一次快门的连续拍摄获得的多个拍摄图像数据的组作为拍摄图像数据组时，在储存于存储部108中，而未发送到图像输出装置200的拍摄图像数据组存在多个的情况下，对每个拍摄图像数据组反复进行S106～S120的处理。 

其次，参照图2对图像输出装置200的处理进行说明。首先，图像输出装置200的第一通信部207接收来自便携终端装置100的多个拍摄图像数据、机型信息、用户信息以及输出处理信息等(S211)。该接收按每个拍摄图像数据组进行。并且，S212以后的处理按每个拍摄图像数据组执行。 

在接收拍摄图像数据组及其相关信息后，图像处理部202的画质调整部301例如如上述的(8-1)所示，进行彩色平衡/对比度的补偿(S212)。并且，图像处理部202的几何补偿部302及透镜变形补偿部303例如如上述(8-2)中说明所示，进行几何变形的补偿/透镜变形的补偿(S213)。其中，在不能检测以四个边缘信息所示位置的线段为边的四边形的情况下，省略S213的处理。并且，图像处理部202的超分辨率处理部304例如如上述(8-3)中说明所示，基于多个拍摄图像数据进行高析像度补偿(S214)。 

其后，控制部212判断从便携终端装置100接收到的边缘检测信号是否为“1”(S215)。在判断边缘检测信号为“1”的情况下(在S215为是)，控制部212对对象抽取部305指示执行处理。具体而言，在第一通信部207未接收到坐标信息的情况下，控制部212将在第一通信部207中接收到的拍摄图像数据和边缘信息输出到对象抽取部305，并通过执行上述(8-4-1)的抽取处理，生成表示抽取区域的输出对象图像数据(S216)。并且，在第一通信部207接收了坐标信息的情况下，控制 部212将拍摄图像数据和边缘信息输出到对象抽取部305，并通过执行上述(8-4-2)的抽取处理，生成表示抽取区域的输出对象图像数据(S216)。并且，在通过S213的处理拍摄图像数据被映像变换的情况下，对边缘信息所示位置以及坐标信息所示坐标同样地进行映像变换，并使用变换后的位置及坐标来执行S216的处理即可。并且，控制部212对对象抽取部305生成的输出对象图像数据附加用户信息、输出处理信息等的信息，并储存于存储部210中(S219)。 

另一方面，控制部212在判断为从便携终端装置100接收到的边缘检测信号是“0”的情况下(在S215为否)，判断颜色抽取选择信号是否为“1”(S217)。控制部212在判断为颜色抽取选择信号为“1”的情况下(在S217为是)，将拍摄图像数据和坐标信息输出到对象抽取部305，并通过使其执行上述的(8-4-3)的抽取处理，而生成表示抽取区域的输出对象图像数据(S218)。并且，控制部212对对象抽取部305生成的输出对象图像数据附加用户信息、输出处理信息等的信息，并储存于存储部210中(S219)。 

另一方面，控制部212在判断为颜色抽取选择信号为“0”的情况下(在S217为否)，不将拍摄图像数据输出到对象抽取部305，而将仅进行了S212～S214的补偿处理的拍摄图像数据作为输出对象图像数据储存于存储部210中(S219)。 

其次，控制部212判断输出对象图像数据的输出指示是否被输入到输入部206(S220)。在没有输出指示的输入的情况下(在S220为否)，待机至输出指示被输入。 

另一方面，在有输出指示的情况下(在S220为是)，认证部203将催促输入用户信息(例如，用户ID及密码)的画面显示于显示部205，并从输入部206取得用户信息。并且，认证部203进行用户认证(S221)。并且，认证部203也可以使用设置于图像输出装置200的非接触IC卡的读出器/写入器，从用户所持有的非接触IC卡取得用户信息。 

在进行用户认证时，认证部203对照所输入的用户信息和从便携终端装置100接收到的用户信息，并判断是否存在一致的信息(S222)。并且，在从便携终端装置100接收了与所输入的用户信息一致的用户信息的情况下(在S222为是)，控制部212按照从便携终端装置100接收 到的输出处理信息，执行输出处理(S223)。例如，在输出处理信息表示印刷处理的情况下，控制部212对图像形成部204输出处理执行指示。其后，结束处理。 

另一方面，在所输入的用户信息与从便携终端装置100接收到的用户信息不一致的情况下(在S222为否)，认证部203判断认证次数是否是规定次数以上(S224)。并且，在认证次数不是规定次数以上的情况下(在S224为否)，反复进行S221、S222的处理。在认证次数是规定次数以上的情况下(在S224为是)，不输出而结束流程。 

如上所示，根据本实施方式，图像输出装置200具有从便携终端装置100接收通过拍摄部101的拍摄获得的拍摄图像数据的第一通信部(接收部)。并且，图像输出装置200的第一通信部(边缘信息取得部)取得边缘像素组在拍摄图像上的位置的边缘信息，该边缘像素组是从由拍摄图像数据所示的拍摄图像中检测到的、表示线段状地连接的边缘像素的组。并且，图像输出装置200的对象抽取部(边缘抽取处理部)305，将以边缘信息所示的四个线段状的边缘像素组为边，且由全部的内角不足180°的四边形包围的区域即四边形区域，或者，以上述边缘信息所示的至少一个线段状的边缘像素组以及上述拍摄图像的端部(边)上的至少一个线段为边，且由全部的内角不足180°的多边形包围的区域即多边形区域决定为抽取区域，并从上述拍摄图像数据中切割出抽取区域的图像数据来作为输出对象图像数据。并且，图像形成部(输出部)204或第二通信部(输出部)208输出输出对象图像数据或由该输出对象图像数据所示的图像。 

控制部109设定表示从所输入的边缘信息中抽取出几个边缘的内容的边缘检测信息，并使通信部104执行将检测出边缘的拍摄图像数据、边缘信息、以及边缘检测信号发送到图像输出装置200的发送处理。 

另一方面，图像输出装置200的控制部212基于在通信部207接收到的边缘检测信号，判断是否检测到边缘，并将检测到边缘的拍摄图像数据和边缘信息输出到图像处理部202的对象抽取部305。对象抽取部305基于检测到边缘的拍摄图像数据和边缘信息，从拍摄图像数据中将拍摄对象物作为选择区域来抽取。 

并且，对象抽取部305将抽取到的选择区域的拍摄图像数据输出到 控制部212，控制部212对抽取到的选择区域的拍摄图像数据附加输出处理信息等，并储存于存储部210中。其后，在有用户的输出指示的情况下，控制部212对图像形成部204输出处理执行指示。 

由此，用户从由便携终端装置100拍摄到的拍摄图像中抽取所希望的拍摄对象物，并能够从图像输出装置200容易地获得抽取到的图像。 

(10)变形例 

本发明的拍摄图像处理系统不局限于上述实施方式，可以进行各种变形。以下，对变形形态的一个例子进行说明。 

(10-1)关于抽取模式 

在上述的说明中，拍摄图像处理系统作为对象抽取模式，具有自动抽取模式、边缘抽取模式、颜色抽取模式这三个模式。 

然而，本发明不局限于具有这三个模式。例如，也可以是仅可以执行通过自动抽取模式、边缘抽取模式、颜色抽取模式中至少一个模式的抽取处理的拍摄图像处理系统。 

(10-1-1)仅具有自动抽取模式的形态 

例如，也可以是作为对象抽取模式仅具有自动抽取模式的拍摄图像处理系统。图25是表示作为对象抽取模式仅具有自动抽取模式的拍摄图像处理系统中的便携终端装置100的处理的流程的流程图。并且，在图25中，S225～S230的处理与图1的S101～S106的处理相同，因此省略说明。如图25所示，在输入部106输入有发送指示时，在便携终端装置100中，控制部109受理用户对对象抽取模式的选择有无的输入(S231)。图25表示用户输入了对象抽取模式的选择指示的情况下(S232)的处理。然后，控制部109通过将边缘检测信号和颜色抽取选择信号设定为“0”，来对边缘检测信号和颜色抽取选择信号进行初始化(S233)。 

其后，控制部109判断对于输入了发送指示的拍摄图像数据，拍摄图像判断部102是否生成了一个以上的边缘信息(S234)。在生成了一个以上边缘信息的情况下(在S234为是)，控制部109决定执行自动抽取模式，并将边缘检测信号设定为“1”(S235)。 

另一方面，在判断为未检测到拍摄对象物的边缘的情况下(在S234为否)，控制部109判断虽然选择了对象抽取模式但不能进行抽取处理，并决定执行输出拍摄图像整体的非抽取模式。并且，不变更边缘检测信号而转移至S236的处理。 

其后，与图1的S117相同，对拍摄图像数据起文件名(S236)，并将拍摄图像数据与相关信息发送到图像输出装置200(S237)。并且，发送的相关信息是上述(6)所述信息中，除颜色抽取选择信号以外的信息。 

并且，在图25中，虽然表示了如S232所示选择了对象抽取模式的情况，但在S231中未受理对象抽取模式的选择指示的情况下，省略S234及S235的处理即可。 

图27是表示本拍摄图像处理系统中的图像输出装置200的处理的流程的流程图。如图27所示，在图像输出装置200中，执行省略了图2所示处理中S217及S218的处理。即，图27的S260～S265是与图2的S211～S216相同的处理，图2的S219～S224是与图27的S266～S271相同的处理。 

在本系统中，图像输出装置200进行判断边缘检测信号是否为“1”的步骤(S264)，作为抽取处理，在边缘检测信号为“1”的情况下(在S264为是)，仅进行基于边缘信息从拍摄图像抽取局部区域的处理(S265)。其中，在本系统中，由于仅执行自动抽取模式，因此在S265中，只进行(8-4-1)所述的处理。并且，在S264为否的情况下，不将拍摄图像数据输出到对象抽取部305，而将只进行了S260～S263的补偿处理的拍摄图像数据作为输出对象图像数据储存于存储部210中即可(S266)。 

(10-1-2)仅具有自动抽取模式以及边缘抽取模式的形态 

并且，例如，也可以是作为对象抽取模式仅具有自动抽取模式以及边缘抽取模式的拍摄图像处理系统。图28是表示作为对象抽取模式仅具有自动抽取模式以及边缘抽取模式的拍摄图像处理系统中便携终端装置100的处理的流程的流程图。如图28所示，本系统的便携终端装置100执行省略了图1所述处理中的S112及S114的处理。即，图28 的S272～S282、S284是与图1的S101～S111、S113相同的处理，图28的S283、S285～S287是与图1的S115～S120相同的处理。 

如图28所示，在本系统中，在便携终端装置100中，控制部109判断是否检测到一组以上拍摄对象物的边缘(S280)，并将边缘检测信号变更为“1”后(S281)，判断是否选择了对象抽取模式(S282)，其后，进行抽取用户指定的指定坐标的处理(S285)，并将拍摄图像数据及边缘信息、指定坐标等发送到图像输出装置200(S287)，在图像输出装置200中基于边缘信息和指定坐标进行抽取拍摄对象物的处理。并且，发送的相关信息是上述(6)所述信息中，除颜色抽取选择信号以外的信息。 

并且，本系统中的图像输出装置200的处理的流程，执行省略了图2的处理中S217及S218的处理的处理即可。 

(10-1-3)仅具有颜色抽取模式的形态 

并且，例如，也可以是仅具有颜色抽取模式的拍摄图像处理系统。这种情况下，在便携终端装置100中，不生成边缘信息而生成坐标信息，并将坐标信息和拍摄图像数据发送到图像输出装置200即可。并且，图像输出装置200的对象抽取部305基于坐标信息，执行上述(8-4-3)的处理即可。 

(10-2)关于处理执行条件 

并且，在上述的说明中，便携终端装置100在拍摄图像后、受理了拍摄图像数据的发送指示的输入后，进行对象抽取模式的选择有无的输入受理。然而，对象抽取模式的选择有无的输入受理不局限于这个时机。 

例如，也可以输入文档拍摄模式后，立即进行对象抽取模式的选择有无的输入受理。由此，在不能执行根据对象抽取模式的抽取处理的拍摄图像数据的情况下，可以通知用户进行再次拍摄。 

这种变形形态也可以适用于图1、图25、图28所示的任意一种形态。这里，对适用于图25的例子进行说明。 

图26是表示输入文档拍摄模式后，立即进行对象抽取模式的选择有无的输入受理的情况下的便携终端装置100的处理流程的流程图。 

如图26所示，控制部109在由用户选择了文档拍摄模式的情况下(在S241为是)，受理用户对对象抽取模式的选择有无的输入(S242)。其后，拍摄部101对应于快门按下，进行多次连续拍摄(S243)。 

其次，控制部109判断是否选择了对象抽取模式(S244)。在用户选择了对象抽取模式的情况下(在S244为是)，控制部109将关于使用了边缘的对象抽取的处理执行条件追加为拍摄图像判断部102判断的处理执行条件(S245)。 

这里，所谓使用了边缘的对象抽取的处理执行条件，例如可以考虑下述的条件A及条件B、条件C。 

条件A：在拍摄图像中，存在一个以上线段状地连接的边缘像素的组。 

条件B：在拍摄图像中，存在一个以上规定长度以上的线段状地连接的边缘像素的组。 

条件C：在拍摄图像中，存在一个以上线段状地连接的边缘像素的组，存在一个以上以由该组所示的线段为边，且全部的内角不足180°的四边形，或者，存在一个以上以由该组所示的线段及拍摄图像的边上的线段为边，且全部的内角不足180°的多边形。 

并且，条件A可以通过拍摄图像判断部102生成的边缘信息的数量来判断。并且，条件B可以通过拍摄图像判断部102生成的边缘信息的数量、以及求出该边缘信息所示线段的长度来判断。并且，条件C可以通过进行与图像输出装置200的对象抽取部305相同的处理来判断。 

并且，拍摄图像判断部102判断拍摄图像数据是否满足处理执行条件(S246)。并且，在判断为不满足处理执行条件的情况下(在S246为否)，控制部109将指示再次拍摄的内容的通知显示于显示部105(S247)。例如，在判断为不满足关于使用了边缘的对象抽取的处理执行条件的情况下，控制部109将催促以使拍摄对象物的轮廓在拍摄画面内变得明确的方式进行再次拍摄的信息显示于显示部105。 

由此，可以抑制通过图像输出装置200执行使用了边缘的抽取处理时发生的错误。 

并且，在图26中，S248～S254的处理与图25的S229、S230、S233～S237的处理相同。 

并且，将本形态适用于图1所示形态的情况下，在S242的处理中，在选择了对象抽取模式时，也受理颜色抽取模式的选择有无的输入。并且，在选择了颜色抽取模式的情况下，也可以省略S245的处理。这是因为在颜色抽取模式中不使用边缘。 

(10-3)颜色抽取模式的处理的变形例 

在上述说明中，在颜色抽取模式的抽取处理中，将含有坐标信息所示的一个点，且具有与该点颜色类似的颜色的区域的外切矩形区域决定为抽取区域。然而，如图24所示，有时用户希望抽取集中了不同颜色区域的区域。这种情况下，在上述的颜色抽取模式中，由于不能通过一个代表色来指定希望抽取的区域整体，因此不能抽取该区域整体。 

于是，用户可以指定多个点，并可以将与各个点的代表色类似的区域的外切矩形区域决定为抽取区域。具体而言，使用了各代表色的颜色抽取处理与上述的根据一个代表色的颜色抽取处理相同，将通过各代表色抽取到的区域的外切矩形区域作为抽取区域来抽取即可。 

并且，在上述说明中，是从拍摄图像中的坐标信息所示位置决定代表色。然而，代表色的决定方法不局限于此。例如，也可以将用户从与拍摄图像不同的彩色地图图像中指定的颜色(例如，显示x-rite(Macbeth)ColorChecker(http://www.nationalphoto.co.jp/2F/cms_chart.htm))并催促选择，且由用户选择的颜色)决定为代表色。这种情况下，对象抽取部305将含有具有与代表色类似的颜色的区域的区域(例如，外切矩形区域)决定为抽取区域即可。 

(10-4)关于坐标信息 

在上述说明中，在边缘抽取模式时，便携终端装置100的指定区域抽取部110受理一个点的指定，并生成表示所受理的点的位置的坐标信息。 

然而，也可以受理多个点。并且，指定区域抽取部生成与各点对应的坐标信息。并且，对象抽取部在上述(8-4-2)所述的处理中，将含有 任意一个坐标信息所示坐标的全部抽取区域候补设为抽取区域。并且，对象抽取部305在抽取了多个抽取区域的情况下，生成以抽取区域以外的区域为空白区域的输出对象图像数据。或者，对象抽取部305在抽取了多个抽取区域的情况下，也可以按每个抽取区域生成仅表示该抽取区域的输出对象图像数据。这种情况下输出多个输出对象图像数据。 

(10-5)关于边缘信息、坐标信息的生成 

在上述说明中，在便携终端装置100中生成边缘信息。然而，也可以是图像输出装置200具有边缘信息生成部，该边缘信息生成部从拍摄图像数据中检测出线段状地连接的边缘像素的组，并生成表示该边缘像素的组的位置的边缘信息，对象抽取部305使用该边缘信息执行根据自动抽取模式的抽取处理。这种情况下，便携终端装置100变为仅将拍摄图像数据发送到图像输出装置200即可。 

并且，在上述说明中，便携终端装置100生成坐标信息。然而，图像输出装置200也可以具有指定信息生成部，该指定信息生成部将拍摄图像显示于图像输出装置200的显示部205，并基于用户指定的位置来生成坐标信息。并且，对象抽取部305也可以使用该坐标信息来执行根据边缘抽取模式或颜色抽取模式的抽取处理。 

(10-6)关于图像输出装置的处理项目 

在上述说明中，图像输出装置200的图像处理部202对于从便携终端装置100接收到的多个拍摄图像数据，进行彩色平衡/对比度/亮度的补偿、几何变形的补偿、透镜变形的补偿、高析像度补偿。然而，图像处理部202中的处理内容不局限于此。例如，图像处理部202除上述的补偿外，还可以进行倾斜度补偿。 

即，图像处理部202也可以通过(3-1)所述方法来检测拍摄对象物的倾斜度，并以该倾斜度成为0度的方式实施拍摄图像数据的旋转处理。或者，便携终端装置100也可以与拍摄图像数据一起，将(3-1)中检测到的倾斜角度发送到图像输出装置200。并且，图像处理部202基于从便携终端装置100接收到的倾斜角度，以拍摄对象物的倾斜度成为0度的方式实施拍摄图像数据的旋转处理即可。 

(10-7)关于拍摄部 

在上述说明中，是利用了由于拍摄部101连续多次拍摄时的手晃动，在多个拍摄图像中产生偏移的形态。然而，不局限于此，拍摄部101在连续多次拍摄时，也可以将拍摄元件(CCD/CMOS)或者透镜微小地错开。由此，在多个拍摄图像间可靠地产生偏移。 

(10-8)高析像度补偿的其他例子 

在上述说明中，从多个拍摄图像数据生成高析像度的重构图像数据。然而，也可以不是多个图像数据，而基于一个图像数据进行高析像度补偿。或者，也可以具有通过多个图像数据进行高析像度化的连拍模式、和通过一个图像数据进行高析像度化的通常模式，用户可以适宜地进行选择。 

关于通过一个图像数据的高析像度图像制作方法，在映像信息媒体学会志Vol.62、No.2、pp.181～189(2008)中介绍有几种方法。 

一般而言，检测图像模式的边缘方向性，并进行对照其方向的补偿的同时，进行以去除补偿引起的变形以及存在于输入图像的噪声成分的影响等为目的的噪声去除处理，由此可以执行高析像度补偿。以下，具体进行说明。 

图19是表示本实施方式中高析像度补偿的处理的流程的流程图。 

这里，对横向/纵向分别进行2倍的析像度变换的例子进行说明。进行2倍的析像度变换的情况下，将作为补偿对象的拍摄图像数据的像素数设为n×m时，补偿后的高析像度图像数据的像素数为2n×2m。这种高析像度补偿(2倍的析像度变换)是通过将拍摄图像数据中的各像素设为基准像素，并在该基准像素之间的中央作为插补像素生成新的像素，将具有该基准像素和插补像素双方的图像数据生成为高析像度图像数据来执行的。图20表示基准像素与插补像素之间的关系，像素a表示基准像素，像素b表示插补像素。 

首先，超分辨率处理部304对于第一通信部207接收到的拍摄图像数据进行边缘抽取。例如，超分辨率处理部304使用图10所示的一阶微分滤波器进行边缘抽取，进行二值化处理，并生成二值化图像数据(S1)。并且，在二值化图像数据中，如果像素值为1的话，则表示是边缘的可能性较高的像素。 

其次，超分辨率处理部304基于S1中生成的二值化图像数据，判断拍摄图像数据中的关注像素是否是边缘(S2)。具体而言，如果与二值化图像数据中的关注像素对应的像素的值为1的话，超分辨率处理部304判断为该关注像素是边缘。 

并且，所谓关注像素是指以任意的顺序关注拍摄图像数据中的各像素时所关注的像素。 

在关注像素为边缘的情况下(在S2为是)，超分辨率处理部304使用含有关注像素的N×N(N＞1)的部分图像来检测边缘方向(S3)。具体而言，对于N×N的部分图像所含有的全部基准像素，来判断是否是边缘像素。 

并且，在关注像素的左上的基准像素和右下的基准像素为边缘像素的情况下，超分辨率处理部304判断部分图像中的边缘方向为左上-右下方向。同样，关注像素的左侧的基准像素和右侧的基准像素为边缘像素的情况下，则判断为边缘方向为左-右方向。在关注像素的上侧的基准像素和下侧的基准像素为边缘像素的情况下，则判断边缘方向为上-下方向。在关注像素的右上的基准像素和左下的基准像素为边缘像素的情况下，则判断为边缘方向为右上-左下方向。 

在图20中，虚线表示检测到的边缘方向。并且，在图20中，像素(1)～(9)是基准像素，其中的像素(5)是关注像素。并且，像素A、B、C分别是基准像素(1)和(5)之间的插补像素、基准像素(2)和(5)之间的插补像素、基准像素(4)和(5)之间的插补像素。 

其次，超分辨率处理部304根据由S3检测到的边缘方向，通过插补来求出关注像素的左上的插补像素A、关注像素的上侧的插补像素B、关注像素的左侧的插补像素C的像素值。此时，使用沿边缘方向的基准像素，来求出插补像素的像素值。 

在边缘方向为左上-右下方向的情况下，如图20(a)所示，基准像素(1)、(5)、(9)是边缘像素，连接这些像素的线为边缘线。并且，关于边缘线上的插补像素A的像素值VA(在图中省略“V”的标记。以下相同。)，使用邻接于插补像素A的边缘线上的基准像素(1)(像素值V(1))以及基准像素(5)(像素值V(5))的像素值，并使用下式 来求出。 

VA＝(V(1)+V(5))/2 

另一方面，关于不在边缘线上的插补像素B、C，使用含有除边缘线上的基准像素以外的基准像素中最接近该插补像素的基准像素(最邻近基准像素)，且在平行于边缘方向的线上的基准像素来进行插补。例如，在图20(a)中，关于插补像素B，含有最邻近基准像素的基准像素(2)，且平行于边缘方向的线是连接基准像素(2)和(6)的线。并且，从插补像素B垂直落于该线上的点，将连接基准像素(2)和(6)的边缘进行内分。因此，插补像素B的像素值VB可以使用下式来求出。 

VB＝(9×V(2)+4×V(6))/13 

同样，关于插补像素C的像素值VC，使用最邻近基准像素的基准像素(4)，和含有该基准像素(4)且在平行于边缘方向的线上的基准像素(8)的像素值，并通过下式来求出。 

VC＝(9×V(4)+4×V(8))/13 

并且，在边缘方向为左-右方向的情况下，如图20(b)所示，基准像素(4)、(5)、(6)是边缘像素，连接这些像素的线为边缘线。并且，关于边缘线上的插补像素C的像素值VC，使用邻设于插补像素C的边缘线上的基准像素(4)(像素值V(4))以及基准像素(5)(像素值V(5))的像素值，并通过下式来求出。 

VC＝(V(4)+V(5))/2 

另一方面，关于不在边缘线上的插补像素A、B，使用含有除边缘线上的基准像素以外的基准像素中最接近该插补像素的基准像素(最邻近基准像素)，且在平行于边缘方向的线上的基准像素来进行插补。例如，在图20(b)中，关于插补像素A，含有最邻近基准像素即基准像素(1)或(2)，且平行于边缘方向的线是连接基准像素(1)和(2)的线。并且，从插补像素A垂直落于该线上的点，存在于基准像素(1)和(2)的中央。因此，插补像素A的像素值VA使用下式来求出。 

VA＝(V(1)+V(2))/2 

关于插补像素B，含有最邻近基准像素的基准像素(2)，且平行于边缘方向的线是连接基准像素(1)和(2)和(3)的线。并且，从插补像素B垂直落于该线上的点与基准像素(2)一致。因此，插补像素B的像素值VB为与基准像素(2)的像素值V(2)相同的值。 

并且，在边缘方向为右上-左下方向的情况下，如图20(c)所示，基准像素(3)、(5)、(7)是边缘像素，连接这些像素的线为边缘线。并且，插补像素A、B、C全部不在边缘线上。 

关于插补像素A，最邻近基准像素为基准像素(1)、(2)、(4)。在这里，虽然基准像素(2)、(4)位于平行于边缘方向的同一线上，但基准像素(1)不位于该线上。于是，关于插补像素A的像素值VA，使用最邻近基准像素即基准像素(1)、(2)、(4)的像素值，并通过下式来求出。 

VA＝(V(1)+V(2)+V(4))/3 

另一方面，关于插补像素B、C，使用含有除边缘线上的基准像素以外的基准像素中最接近该插补像素的基准像素(最邻近基准像素)，且在平行于边缘方向的线上的基准像素，来进行插补。例如，在图20(c)中，关于插补像素B，含有最邻近基准像素即基准像素(2)，且平行于边缘方向的线是连接基准像素(2)和(4)的线。并且，从插补像素B垂直落于该线上的点，将连接基准像素(2)和(4)的边缘进行内分。因此，插补像素B的像素值VB使用下式来求出。 

VB＝(9×V(2)+4×V(4))/13 

同样，关于插补像素C的像素值VC，使用最邻近基准像素即基准像素(4)，和含有该基准像素(4)且在平行于边缘方向的线上的基准像素(2)的像素值，并通过下式来求出。 

VC＝(4×V(2)+9×V(4))/13 

并且，在边缘方向为上-下方向的情况下，如图20(d)所示，基准像素(2)、(5)、(8)是边缘像素，连接这些像素的线为边缘线。并且，关于边缘线上的插补像素B的像素值VB，使用邻设于插补像素B的边缘线上的基准像素(2)以及基准像素(5)的像素值，并通过下式 来求出。 

VC＝(V(2)+V(5))/2 

另一方面，关于不在边缘线上的插补像素A、C，使用含有除边缘线上的基准像素以外的基准像素中最接近该插补像素的基准像素(最邻近基准像素)，且在平行于边缘方向的线上的基准像素，来进行插补。例如，在图20(d)中，关于插补像素A，含有最邻近基准像素即基准像素(2)或(4)，且平行于边缘方向的线是连接基准像素(1)和(4)的线。并且，从插补像素A垂直落于该线上的点，存在于基准像素(1)和(4)的中央。因此，插补像素A的像素值VA使用下式来求出。 

VA＝(V(1)+V(4))/2 

关于插补像素C，含有最邻近基准像素即基准像素(4)，且平行于边缘方向的线是连接基准像素(1)和(4)和(7)的线。并且，从插补像素C垂直落于该线上的点与基准像素(4)一致。因此，插补像素C的像素值VC为与基准像素(4)的像素值V(4)相同的值。 

并且，存储部210预先存储有将边缘方向与用于求出插补像素A、B、C的像素值的运算式相对应的信息。并且，超分辨率处理部304从存储部210读出与S3中检测到的边缘方向相对应的运算式，并基于所读出的运算式，来求出插补像素A、B、C的像素值即可。 

并且，在图20(a)～图20(b)中，仅表示了边缘方向为直线的情况。然而，边缘在N×N的部分图像内有时弯曲。例如，有边缘如基准像素(2)-(5)-(4)所示地弯曲的情况，以及边缘如基准像素(1)-(5)-(7)所示地弯曲的情况等。 

关于这种情况，也预先存储有将与用于求出插补像素A、B、C的像素值的运算式相对应的信息。例如，在边缘如基准像素(2)-(5)-(4)所示地弯曲的情况下，关于插补像素A存储有与图20(c)相同的运算式，关于插补像素B存储有与图20(b)相同的运算式，关于插补像素C存储有与图20(d)相同的运算式。并且，在边缘如基准像素(1)-(5)-(7)所示地弯曲的情况下，关于插补像素A存储有与图20(a)相同的运算式，关于插补像素B存储有与图20(a)相同的运算式，关于插补像素C存储有与图20(d)相同的运算式。关于其 他边缘方向的模式也同样地进行存储。 

如此，超分辨率处理部304求出位于被判断为边缘像素的基准像素周围的插补像素的像素值。 

另一方面，在关注像素不是边缘的情况下(在S2为否)，超分辨率处理部304通过一般的插补算法(双线性·双立方等)来求出与该关注像素的左上邻接的插补像素A、与该关注像素的上侧邻接的插补像素B、与该关注像素的左侧邻接的插补像素C的像素值(S4)。 

超分辨率处理部304通过对拍摄图像数据中所包含的全部基准像素执行上述S1～S4的处理，而生成具有基准像素和插补像素双方的插补图像数据(S5)。 

其后，超分辨率处理部304对所生成的插补图像数据进行高画质化处理。例如，超分辨率处理部304将噪声去除滤波器及清晰化滤波器等适用于插补图像数据，并生成高析像度图像数据。以往，非锐化掩模(unsharp mask)以及将图10中央的系数设为5的滤波器成为清晰化滤波器。并且，作为噪声去除滤波器，广泛公知有中值滤波器(MedianFilter)等。作为更高度的方法，作为同时具有上述边缘保存性和高画质化的方法，也可以使用双边滤波器(Bilateral Filter)[Proceedings ofthe 1998 IEEE International Conference on Computer Vision，]等。 

并且，超分辨率处理部304不局限于上述方法，也可以使用映像信息媒体学会志Vol.62、No.2、pp.181～189(2008)中所述的各种方法，从一个拍摄图像数据生成高析像度图像数据。 

(10-9)关于输出处理信息 

在上述说明中，便携终端装置100取得输出处理信息，并发送到图像输出装置200。然而，不局限于此，图像输出装置200在为了用户认证取得用户信息时，也可以取得输出处理信息(表示输出处理的种类、用于输出处理的设定条件的信息)。 

(10-10)关于输出处理 

关于图像输出装置200，控制部212也可以在进行归档处理及邮件发送处理前，将通过图像处理部202处理的拍摄图像数据变换为高压缩 PDF。并且，所谓高压缩PDF是指将图像数据中的背景和文字分离，并对各部分分别进行了最佳的压缩处理的PDF数据。由此，文字识读性较好，并能够减小图像文件大小。 

并且，控制部212也可以在进行归档处理及邮件发送处理前，对通过图像处理部202处理的拍摄图像数据执行OCR处理，并生成文本数据。并且，控制部212也可以将拍摄图像数据变换为PDF，并将生成的文本数据附加为透明文本。并且，所谓透明文本是指用于将所识别的文字以作为文本信息外观上看不见的形式与图像数据重合(或者嵌入)的数据。例如，在PDF文件中，一般使用在图像数据中附加了透明文本的图像文件。并且，控制部212也可以使其输出生成的带透明文本的PDF数据。由此，能够输出如可以文本检索的文件那样的易于活用的电子化文件。 

(10-11)关于具有图像输出装置的图像处理部 

在上述说明中，说明了图像输出装置200所具有的图像处理部202进行高析像度补偿等的情况。然而，图像输出装置200也可以使具有上述图像处理部202的服务器执行对于拍摄图像数据的高析像度补偿及其他图像处理(几何变形的补偿、透镜变形的补偿、对比度补偿、彩色平衡补偿等)。并且，这种情况下，可以说该服务器是对从便携终端装置100接收到的拍摄图像数据进行高析像度补偿，并输出补偿后的拍摄图像数据的图像输出装置。 

(11)程序及记录介质 

本发明也可以在记录了用于使计算机执行的程序的计算机可读取的记录介质中，记录将由上述便携终端装置100拍摄到的图像发送到图示输出装置200并由图示输出装置200输出的方法。 

其结果，可以提供一种自由携带的记录有进行上述处理的程序代码(执行形式程序、中间代码程序、源程序)的记录介质。 

并且，在本实施方式中，作为该记录介质，既可以是用于微型计算机进行处理的未图示的存储器、例如如ROM那样的、其本身为程序介质，或者，也可以是虽然未图示但作为外部存储装置设置有程序读取装置，通过将记录介质插入其中可进行读取的程序介质。 

不论在哪种情况下，既可以是被储存的程序由微处理器访问并执行的构成，或者，也可以是任意一种情况下均读出程序代码，所读出的程序代码被下载至微型计算机的未图示的程序存储区域，并执行该程序的方式。该下载用的程序被预先储存于本体装置中。 

在这里，上述程序介质是可与本体分离地构成的记录介质，也可以是磁带及盒带等的磁带类，软盘及硬盘等的磁盘以及CD-ROM/MO/MD/DVD等的光盘的盘类，IC卡(含存储卡)/光卡等的卡类，或者掩膜ROM、EPROM(Erasable Programmable Read OnlyMemory)、EEPROM(Electrically Erasable Programmable Read OnlyMemory)、闪速存储器等含有半导体存储器的固定载有程序代码的介质。 

并且，在本实施方式中，由于是可连接含互联网的通信网络的系统构成，因此也可以是以从通信网络下载程序代码的方式流动地载有程序代码的介质。并且，在如此地从通信网络下载程序的情况下，该下载用的程序可以预先储存于本体装置中，或被从其他记录介质安装。并且，本发明也可以在上述程序代码通过电子传输被具体化的、埋入于载波中的计算机数据信号的形式来实现。 

上述记录介质可以通过由便携终端装置100及图像输出装置200所具有的程序读取装置进行读取，来执行上述的图像处理方法。 

如上所示，本发明涉及的图像输出装置具有：从具有拍摄部的便携终端装置接收通过上述拍摄部的拍摄获得的拍摄图像数据的接收部；取得表示边缘像素组在拍摄图像上的位置的边缘信息的边缘信息取得部，该边缘像素组是指从上述拍摄图像数据所示的拍摄图像中检测到的、线段状地连接的边缘像素的组；将由以上述边缘信息所示的四个线段状的边缘像素组为边，且全部的内角不足180°的四边形所包围的区域即四边形区域，或者由以上述边缘信息所示的至少一个线段状的边缘像素组以及上述拍摄图像的端部上的至少一个线段为边，且全部的内角不足180°的多边形所包围的区域即多边形区域决定为抽取区域，并从上述拍摄图像数据中分割出抽取区域的图像数据来作为输出对象图像数据的边缘抽取处理部；输出上述输出对象图像数据或该输出对象图像数据所示的图像的输出部。 

并且，本发明涉及的图像输出方法包括：从具有拍摄部的便携终端装置接收通过上述拍摄部的拍摄获得的拍摄图像数据的接收步骤；取得表示边缘像素组在拍摄图像上的位置的边缘信息的边缘信息取得步骤，该边缘像素组是指从上述拍摄图像数据所示的拍摄图像中检测到的、线段状地连接的边缘像素的组；将由以上述边缘信息所示的四个线段状的边缘像素组为边，且全部内角不足180°的四边形包围的区域即四边形区域，或者由以上述边缘信息所示的至少一个线段状的边缘像素组以及上述拍摄图像的端部上的至少一个线段为边，且全部内角不足180°的多边形包围的区域即多边形区域决定为抽取区域，并从上述拍摄图像数据中分割出抽取区域的图像数据来作为输出对象图像数据的边缘抽取处理步骤；输出上述输出对象图像数据或该输出对象图像数据所示的图像的输出步骤。 

根据上述构成，基于从便携终端装置接收的拍摄图像数据中，表示线段状地连接的边缘像素组的位置的边缘信息，将以由边缘信息所示的四个线段状的边缘像素组为边，且由全部内角不足180°的四边形包围的区域即四边形区域，或者，以边缘信息所示的至少一个线段状的边缘像素组以及上述拍摄图像的端部上的至少一个线段为边，且由全部内角不足180°的多边形包围的区域即多边形区域决定为抽取区域。 

在这里，在拍摄了原稿及海报等矩形的拍摄对象物的情况下，在拍摄图像中，拍摄对象物与背景之间的边界线(拍摄对象物的轮廓线)，构成为线段状地连接的边缘像素组。因此，边缘信息所示位置的边缘像素组是拍摄对象物与背景之间的边界线的可能性较高。 

并且，在拍摄图像的范围内含有全部矩形的拍摄对象物的情况下(即，拍摄对象物的局部未超出拍摄图像的端部而缺少的情况)，拍摄对象物与背景之间的边界线为四边形。并且，在拍摄对象物的局部超出拍摄图像的端部而缺少的情况下，由拍摄对象物与背景之间的边界线以及拍摄图像端部上的线段形成多边形。 

因此，根据上述构成，可以以高概率将矩形的拍摄对象物的区域作为抽取区域来抽取。其结果，可以实现一种能够将用户所希望的矩形的拍摄对象物的区域从拍摄到的图像中高精度且容易地抽取的图像输出装置。 

即，在用户例如想从拍摄图像中抽取矩形的拍摄对象物的区域的图像的情况下，由于无需从拍摄图像中抽取所希望的拍摄对象物的操作，因此可以减轻用户的操作负担。 

并且，本发明的图像输出装置具有取得表示上述拍摄图像上的用户指定的位置的指定位置信息的指定信息取得部，上述抽取处理部也可以将含有上述指定位置信息所示的位置的上述四边形区域或多边形区域决定为抽取区域。 

根据所取得的边缘信息，有时检测出多个四边形区域及/或多边形区域。然而，根据上述构成，由于将含有用户指定位置的四边形区域或多边形区域决定为抽取区域，因此用户只要通过指定希望抽取的区域内的任意位置，即可输出该区域的图像。 

并且，本发明的图像输出装置也可以具有：取得由用户指定的浓度值即指定浓度值的指定信息取得部；从上述拍摄图像数据中确定具有含上述指定浓度值的规定范围内的浓度值的像素，将与确定的像素连结的连结成分外切的矩形区域决定为抽取区域，并从上述拍摄图像数据中分割出抽取区域的图像数据来作为输出对象图像数据的浓度值抽取处理部；对使上述边缘抽取处理部动作而不使上述浓度值抽取处理部动作的边缘抽取模式，和不使上述边缘抽取处理部动作，而使上述浓度值抽取处理部动作的浓度值抽取模式进行切换的切换部，上述输出部在上述切换部切换为边缘抽取模式的情况下，输出由上述边缘抽取处理部生成的输出对象图像数据或该输出对象图像数据所示的图像，在上述切换部切换为浓度值抽取模式的情况下，上述输出部输出由上述浓度值抽取处理部生成的输出对象图像数据或该输出对象图像数据所示的图像。 

根据上述构成，从拍摄图像数据中确定具有含指定浓度值的规定范围内的浓度值的像素，将含有确定的像素连接的连结成分的区域决定为抽取区域。因此，可以抽取具有与指定浓度值所示颜色类似的颜色的区域。其结果，在拍摄作为拍摄对象物具有特定颜色的对象物的情况下，通过选择浓度值抽取模式，可以高精度地抽取拍摄对象物。 

并且，根据上述构成，可以适宜地切换浓度值抽取模式和边缘抽取模式。 

并且，在本发明的图像输出装置中，上述指定信息取得部也可以取得表示上述拍摄图像上的用户指定位置的指定位置信息，从该指定位置信息所示的位置的浓度值求出上述指定浓度值，上述浓度值抽取处理部将含有包括上述指定位置信息所示的位置的上述连结部分的区域决定为抽取区域。 

根据上述构成，用户只要通过指定希望抽取的区域且该区域内的具有代表色的位置，即可容易地输出具有与该代表色类似的颜色的区域的图像。 

并且，上述指定信息取得部在上述指定位置信息所示位置中含有多个像素的情况，例如将该多个像素的浓度值的平均值、或者、该多个像素的浓度值中频度最高的浓度值、或者、该多个像素的浓度值中频度为规定阈值以上的浓度值设为上述指定浓度值即可。 

并且，在本发明的图像输出装置中，上述边缘信息取得部也可以取得仅对应于规定长度以上的线段状地连接的边缘像素组的边缘信息。 

通常，用户使拍摄对象物占居拍摄图像的大部分来进行拍摄。因此，根据上述构成，由边缘信息所示的边缘像素组是拍摄对象物与背景之间的边界线的概率较高。其结果，可以高精度地抽取拍摄对象物的区域。 

并且，本发明的便携终端装置是具有拍摄部和将通过上述拍摄部的拍摄获得的拍摄图像数据发送到上述的图像输出装置的发送部，该便携终端装置的特征在于，具有：从上述拍摄图像数据所示的拍摄图像中检测出线段状地连接的边缘像素的组即边缘像素组的边缘检测部；基于由上述边缘检测部检测到的边缘像素组的位置，来生成上述边缘信息的边缘信息生成部，上述发送部将由上述边缘信息生成部生成的边缘信息发送到上述图像输出装置。 

并且，本发明的拍摄图像处理系统是包括上述图像输出装置、和具有拍摄部及将通过上述拍摄部的拍摄获得的拍摄图像数据发送到上述图像输出装置的发送部的便携终端装置，该拍摄图像处理系统的特征在于，上述便携终端装置具有：从上述拍摄图像数据所示的拍摄图像中检测出线段状地连接的边缘像素的组即边缘像素组的边缘检测部；基于由上述边缘检测部检测到的边缘像素组的位置，来生成上述边缘信息的边 缘信息生成部，上述边缘信息取得部从上述便携终端装置取得上述边缘信息。 

根据上述构成，由于便携终端装置生成边缘信息，因此图像输出装置可以容易地取得边缘信息。并且，无需在图像输出装置中生成边缘信息，就可以减轻图像输出装置的负荷。 

并且，本发明的便携终端装置也可以具有在上述边缘检测部连一个边缘像素组都没有检测到的情况下，向用户通知催促进行再拍摄的通知部。 

并且，在本发明的拍摄图像处理系统中，上述便携终端装置也可以具有通知部，该通知部在上述边缘检测部连一个边缘像素组都没有检测到的情况下，向用户通知催促其进行再拍摄。 

根据上述构成，用户从拍摄图像抽取拍摄对象物，并可以容易地掌握为了从图像输出装置获得抽取的拍摄对象物需要再拍摄。其结果，可以立即进行再拍摄的应对。 

并且，本发明的便携终端装置具有拍摄部和将通过上述拍摄部的拍摄获得的拍摄图像数据发送到上述图像输出装置的发送部，该便携终端装置的特征在于，具有指定位置信息生成部，其催促用户进行输入以从上述拍摄图像数据所示拍摄图像中指定希望输出的区域内的位置，并生成表示所输入的位置的信息来作为上述指定位置信息，上述发送部将由上述指定位置信息生成部生成的上述指定位置信息发送到上述图像输出装置。 

并且，本发明的拍摄图像处理系统包括上述图像输出装置和具有拍摄部及将通过上述拍摄部的拍摄获得的拍摄图像数据发送到上述图像输出装置的发送部的便携终端装置，该拍摄图像处理系统的特征在于，上述便携终端装置具有指定位置信息生成部，其催促用户进行输入以从上述拍摄图像数据所示拍摄图像中指定希望输出的区域内的位置，并生成表示所输入的位置的信息来作为上述指定位置信息，上述指定信息取得部从上述便携终端装置取得上述指定位置信息。 

根据上述构成，用户可以在便携终端装置中输入希望从拍摄图像中输出的区域内的位置。并且，仅通过该输入操作，即可容易地从图像输 出装置仅获得所希望区域的图像。 

并且，上述图像输出装置也可以通过计算机来实现，这种情况下，通过使计算机作为上述各部动作，使图像输出装置在计算机中得以实现的程序、以及将其记录的计算机可读取记录介质也纳入本发明的范围。 

本发明不局限于上述实施方式，在技术方案所示范围内可以进行各种变形，关于对不同的实施方式所分别公开的技术方案进行适宜的组合而获得的实施方式，也包含于本发明的技术范围内。 

本发明可以适用于在便携终端装置和图像输出装置之间进行数据通信的拍摄图像处理系统。 

Claims (9)

1.一种图像输出装置，其特征在于，包括：

接收部，其从具有拍摄部的便携终端装置接收通过上述拍摄部的拍摄获得的拍摄图像数据；

边缘信息取得部，其取得表示边缘像素组在拍摄图像上的位置的边缘信息，该边缘像素组是指从上述拍摄图像数据所示的拍摄图像中检测到的、线段状地连接的边缘像素的组；

边缘抽取处理部，其将由以上述边缘信息所示的四个线段状的边缘像素组为边，且全部的内角不足180°的四边形所包围的区域即四边形区域，或者由以上述边缘信息所示的至少一个线段状的边缘像素组以及上述拍摄图像的端部上的至少一个线段为边，且全部的内角不足180°的多边形所包围的区域即多边形区域决定为抽取区域，并从上述拍摄图像数据中分割出抽取区域的图像数据来作为输出对象图像数据；

指定信息取得部，其取得由用户指定的浓度值即指定浓度值；

浓度值抽取处理部，其从上述拍摄图像数据中确定具有含上述指定浓度值的规定范围内的浓度值的像素，将含有确定的像素连接而成的连结成分的区域决定为抽取区域，并从上述拍摄图像数据中分割出抽取区域的图像数据来作为输出对象图像数据；

切换部，其对使上述边缘抽取处理部动作，而不使上述浓度值抽取处理部动作的边缘抽取模式，和不使上述边缘抽取处理部动作，而使上述浓度值抽取处理部动作的浓度值抽取模式进行切换；

输出部，其输出上述输出对象图像数据或该输出对象图像数据所示的图像，

上述输出部在上述切换部切换为边缘抽取模式的情况下，输出由上述边缘抽取处理部生成的输出对象图像数据或该输出对象图像数据所示的图像，在上述切换部切换为浓度值抽取模式的情况下，上述输出部输出由上述浓度值抽取处理部生成的输出对象图像数据或该输出对象图像数据所示的图像。

2.根据权利要求1所述的图像输出装置，其特征在于，

上述指定信息取得部，取得表示上述拍摄图像上的用户指定的位置的指定位置信息，

上述边缘抽取处理部将含有上述指定位置信息所示的位置的上述四边形区域或多边形区域决定为抽取区域。

3.根据权利要求1所述的图像输出装置，其特征在于，

上述指定信息取得部取得表示上述拍摄图像上的用户指定的位置的指定位置信息，并从该指定位置信息所示位置的浓度值求出上述指定浓度值，

上述浓度值抽取处理部将包括含有上述指定位置信息所示的位置的上述连结成分的区域决定为抽取区域。

4.根据权利要求3所述的图像输出装置，其特征在于，上述指定信息取得部在上述指定位置信息所示的位置中含有多个像素的情况下，将该多个像素的浓度值的平均值、或者该多个像素的浓度值中频度最高的浓度值、或者该多个像素的浓度值中频度为规定阈值以上的浓度值设为上述指定浓度值。

5.根据权利要求1所述的图像输出装置，其特征在于，上述边缘信息取得部取得仅与规定长度以上的线段状地连接的边缘像素组相对应的边缘信息。

6.一种拍摄图像处理系统，包括：权利要求1～5中任一项所述的图像输出装置；具有拍摄部和将通过上述拍摄部的拍摄获得的拍摄图像数据发送到上述图像输出装置的发送部的便携终端装置，该拍摄图像处理系统的特征在于，

上述便携终端装置具有：从上述拍摄图像数据所示的拍摄图像中检测出线段状地连接的边缘像素的组即边缘像素组的边缘检测部；基于上述边缘检测部检测到的边缘像素组的位置来生成上述边缘信息的边缘信息生成部，

上述边缘信息取得部从上述便携终端装置取得上述边缘信息。

7.根据权利要求6所述的拍摄图像处理系统，其特征在于，上述便携终端装置具有通知部，该通知部在上述边缘检测部连一个边缘像素组也没有检测到的情况下，向用户发出通知催促其再进行拍摄。

8.一种拍摄图像处理系统，具有：权利要求2或3所述的图像输出装置；具有拍摄部和将通过上述拍摄部的拍摄获得的拍摄图像数据发送到上述图像输出装置的发送部的便携终端装置，该拍摄图像处理系统的特征在于，

上述便携终端装置具有指定位置信息生成部，其催促用户进行输入以从上述拍摄图像数据所示拍摄图像中指定希望输出的区域内的位置，并生成表示所输入的位置的信息来作为上述指定位置信息，

上述指定信息取得部从上述便携终端装置取得上述指定位置信息。

9.一种图像输出方法，其特征在于，包括：

从具有拍摄部的便携终端装置接收通过上述拍摄部的拍摄获得的拍摄图像数据的接收步骤；

对边缘抽取模式和浓度值抽取模式进行切换的切换步骤；

在经上述切换步骤而被切换为边缘抽取模式的情况下，取得表示边缘像素组在拍摄图像上的位置的边缘信息的边缘信息取得步骤，该边缘像素组是指从上述拍摄图像数据所示的拍摄图像中检测到的、线段状地连接的边缘像素的组；

在经上述切换步骤而被切换为边缘抽取模式的情况下，将由以上述边缘信息所示的四个线段状的边缘像素组为边，且全部内角不足180°的四边形所包围的区域即四边形区域，或者由以上述边缘信息所示的至少一个线段状的边缘像素组以及上述拍摄图像的端部上的至少一个线段为边，且全部内角不足180°的多边形所包围的区域即多边形区域决定为抽取区域，并从上述拍摄图像数据中分割出抽取区域的图像数据来作为输出对象图像数据的边缘抽取处理步骤；

在经上述切换步骤而被切换为浓度值抽取模式的情况下，取得由用户指定的浓度值即指定浓度值的指定信息取得步骤；

在经上述切换步骤而被切换为浓度值抽取模式的情况下，从上述拍摄图像数据中确定具有含上述指定浓度值的规定范围内的浓度值的像素，将含有确定的像素连接而成的连结成分的区域决定为抽取区域，并从上述拍摄图像数据中分割出抽取区域的图像数据来作为输出对象图像数据的浓度值抽取处理步骤；

在经上述切换步骤而被切换为边缘抽取模式的情况下，输出由上述边缘抽取处理步骤生成的输出对象图像数据或该输出对象图像数据所示的图像，在经上述切换步骤而被切换为浓度值抽取模式的情况下，输出由上述浓度值抽取处理步骤生成的输出对象图像数据或该输出对象图像数据所示的图像的输出步骤。

Images