CN102164214A - 拍摄图像处理系统、便携终端装置以及图像输出装置 - Google Patents

Abstract

本发明的拍摄图像处理系统具备便携终端装置和图像输出装置。便携终端装置一边检测拍摄时的便携终端装置的位置变化一边连续进行多次拍摄(S10)，将多个拍摄图像数据以及与针对该多个拍摄图像数据的各个所检测到的位置变化相关的移动信息发送给图像输出装置(S15)。另外，图像输出装置接收从便携终端装置发送的多个拍摄图像数据以及移动信息(S20)，并基于移动信息执行使多个拍摄图像数据的位置进行对合的对位处理(S21)，使用经过位置对合的多个拍摄图像数据生成高分辨率图像数据(S22)，并输出所生成的高分辨率图像数据、或者由该高分辨率图像数据表示的图像(S29)。

Description

拍摄图像处理系统、便携终端装置以及图像输出装置

技术领域

本发明涉及将利用便携终端装置拍摄到的图像通过图像输出装置进行输出的拍摄图像处理系统。

背景技术

近年来，随着因特网技术的进展，利用便携电话等带拍摄头的移动设备来拍摄图像的机会不断增加。另外，与此同时不仅单纯地将风景或人物等作为被摄体，而且在各种活动等中所展出的说明图及说明文、或者在学会等中所用的幻灯拍摄上利用带拍摄头移动设备的机会亦不断增加。

然而，在利用通常的带拍摄头移动设备来拍摄A4左右的纸面整体时所获得的图像的分辨率，与利用平板扫描仪读取的图像分辨率相比却显著降低。因此，正在研究对利用带拍摄头移动设备拍摄的图像实施超分辨率处理以获得高清晰的图像这一技术。

这里，超分辨率处理是指从存在位置偏移的多个低分辨率图像生成高分辨率图像这一处理，已提出有ML(Maximum-likelihood)法、MAP(Maximum A Posterior)法等各种超分辨率处理方法。

ML法是将从高分辨率图像矢量h所推定的低分辨率图像的像素值、和实际所观测的低分辨率图像的像素值f之二乘误差作为评价函数，并推定诸如使该评价函数最小化这样的高分辨率图像的方法。若设从高分辨率图像矢量h推定低分辨率图像的像素值的变换矩阵为A，则评价函数可由下述式(1)来表示。

【数学式1】

在上述式(1)中，M表示观测点总数，f_i表示第i个观测点上的低分辨率图像的像素值，A_i表示从高分辨率图像矢量h推定第i个观测点上的低分辨率图像的像素值的变换矩阵。

另外，MAP法是推定诸如使在ML法所采用的评价函数上附加了高分辨率图像的概率信息的评价函数最小化这样的高分辨率图像的方法。

在这些超分辨率处理中，需要一边以比像素间隔还要细的间隔使拍摄元件进行变位一边拍摄多个图像。因此，大多情况都需要能够正确地控制拍摄装置的复杂机构，这样就有难以廉价地构成这种机构之类的问题。

相对于此，在专利文献1中公开了如下技术：不需要以比像素间隔还要细的间隔使拍摄元件正确地进行变位这一控制，使像素错位地进行拍摄并利用多个低分辨率图像来生成高分辨率图像。在专利文献1所述的拍摄系统中，具备检测拍摄装置的状态变位的状态变位检测部件，可以在拍摄装置本身的移动速度低于一定值的定时下进行拍摄。据此，利用手抖动等随机活动、或者弹簧等移动部件使像素错位地进行拍摄，并通过超分辨率处理从多个低分辨率图像生成高分辨率图像。

[专利文献1]日本国公开专利公报“特开2006-140885号公报(2006年6月1日公开)”

这里，在超分辨率处理中，首先假定高分辨率图像，并基于从位置偏移信息以及拍摄特性所获得的点扩散函数(Point Spread Function)来探索从假设的高分辨率图像推定出的低分辨率图像、和实际所观测的低分辨率图像之差较小这样的高分辨率图像。因此，为了使超分辨率处理的速度以及精度得以提高，需要得知多个观测图像间的正确的位置偏移量。

但是，由于图像间的位置偏移不限于单纯的平行移动，还包含拍摄装置的旋转及比例变化等，所以仅仅推定平行移动分量对于大多情况都不充分。因此，在如专利文献1所述，利用图像数据间的相关性进行位置对准(对位)的情况下，处理变得复杂，而存在需要处理时间之类的问题。

发明内容

本发明鉴于上述现有问题而完成，其目的在于使从多个拍摄图像数据生成高分辨率图像数据的处理速度以及处理精度得到提高的拍摄图像处理系统。

为了解决上述课题，本发明提供一种具备便携式终端装置和图像输出装置的拍摄图像处理系统，上述便携式终端装置将所拍摄的多个拍摄图像数据发送给上述图像输出装置，上述图像输出装置输出从接收到的该多个拍摄图像数据生成的高分辨率图像数据、或者由该高分辨率图像数据表示的图像，所述拍摄图像处理系统的特征在于，上述便携式终端装置具备：对同一拍摄对象物连续进行多次拍摄的拍摄部；对拍摄时的上述便携式终端装置相对于上述拍摄对象物的位置变化进行检测的移动检测部；将通过上述拍摄部的连续多次拍摄所获得的多个拍摄图像数据、以及与针对该多个拍摄图像数据的各个由上述移动检测部检测到的位置变化相关的移动信息发送给上述图像输出装置的发送部，上述图像输出装置具备：接收从上述便携式终端装置发送的上述多个拍摄图像数据以及上述移动信息的接收部；基于上述接收部接收到的移动信息来执行对位处理的对位处理部，其中该对位处理是指以使上述接收部接收到的多个拍摄图像数据各个中的拍摄对象物的位置进行对合的方式进行该拍摄图像数据的坐标变换；使用由上述对位处理部进行了坐标变换的多个拍摄图像数据，生成高于该拍摄图像数据的分辨率的高分辨率图像数据的超分辨率处理部；输出由上述超分辨率处理部生成的高分辨率图像数据、或者由该高分辨率图像数据表示的图像的输出部。

根据上述发明，便携式终端装置通过发送部向图像输出装置发送由拍摄部拍摄的多个拍摄图像数据、以及与由上述移动检测部检测到的该多个拍摄图像数据的各个在拍摄时的便携式终端装置的位置变化相关的移动信息。

另外，图像输出装置通过接收部接收从便携式终端装置发送的多个拍摄图像数据以及移动信息。然后，基于接收到的移动信息推定仿射变换系数并通过对位处理部来执行对位处理，其中该对位处理是指以使多个拍摄图像数据各个中的拍摄对象物的位置进行对合的方式进行该拍摄图像数据的坐标变换。进而，使用由该对位处理部进行了坐标变换的多个拍摄图像数据，通过超分辨率处理部生成高于该拍摄图像数据的分辨率的高分辨率图像数据。这样所生成的高分辨率图像数据、或者由该高分辨率图像数据表示的图像通过输出部而输出。

如以上那样，在上述发明中，基于与由移动检测部检测到的位置变化相关的移动信息，对位处理部使用仿射变换系数来执行对位处理，其中该对位处理是指以使多个拍摄图像数据各自中的拍摄对象物的位置进行对合的方式进行该拍摄图像数据的坐标变换。因此，与以往那样使用拍摄图像数据间的相关性来进行位置对合这一处理相比，能够缩短处理时间，并且还能够使处理精度得到提高。

由此，能够实现使从多个拍摄图像数据生成高分辨率图像数据的处理速度以及处理精度得到提高的拍摄图像处理系统。

如以上那样，本发明的拍摄图像处理系统的构成是具备便携式终端装置和图像输出装置，上述便携终端装置具备：对同一拍摄对象物连续进行多次拍摄的拍摄部；对拍摄时的上述便携式终端装置相对于上述拍摄对象物的位置变化进行检测的移动检部；将通过上述拍摄部的连续多次拍摄所获得的多个拍摄图像数据、以及与针对该多个拍摄图像数据的各个由上述移动检测部检测到的位置变化相关的移动信息发送给上述图像输出装置的发送部，上述图像输出装置具备：接收从上述便携式终端装置发送的上述多个拍摄图像数据、以及上述移动信息的接收部；基于上述接收部接收到的移动信息来执行对位处理的对位处理部，其中该对位处理是指以使上述接收部接收到的多个拍摄图像数据各自中的拍摄对象物的位置进行对合的方式进行该拍摄图像数据的坐标变换；使用由上述对位处理部进行了坐标变换的多个拍摄图像数据，生成高于该拍摄图像数据的分辨率的高分辨率图像数据的超分辨率处理部；输出由上述超分辨率处理部生成的高分辨率图像数据、或者由该高分辨率图像数据表示的图像的输出部。

因此，起到能够提供使从多个拍摄图像数据生成高分辨率图像数据的处理速度以及处理精度得到提高的拍摄图像处理系统的效果。

附图说明

图1是表示本发明的拍摄图像处理系统的拍摄图像处理方法的流程图，图1(a)表示便携终端装置的流程，图1(b)表示图像输出装置的流程。

图2是表示本发明的拍摄图像处理系统之构成的图。

图3是表示本实施方式的便携式终端装置之构成的框图。

图4(a)是表示图3所示的便携式终端装置之移动的示意图，表示由移动检测部具备的三维位置传感器检测到的移动。

图4(b)是表示图3所示的便携式终端装置之移动的示意图，表示由移动检测部具备的角速度传感器检测到的移动。

图5(a)是用于说明针对图4(b)所示三轴的拍摄图像数据的几何学变化的示意图，表示绕X轴进行了旋转时的状态。

图5(b)是用于说明针对图4(b)所示三轴的拍摄图像数据的几何学变化的示意图，表示绕Y轴进行了旋转时的状态。

图5(c)是用于说明针对图4(b)所示三轴的拍摄图像数据的几何学变化的示意图，表示绕Z轴进行了旋转时的状态。

图6是表示本实施方式的拍摄图像处理方法中的图像的倾斜度检测例的示意图。

图7是表示图6所示的倾斜度检测例中的正切值与其倾斜角度θ之关系的表。

图8是表示图3所示的拍摄图像判断部进行的、拍摄图像数据的几何学变形之检测例的示意图。

图9是表示图3所示的拍摄图像判断部进行的、拍摄图像数据的拍摄对象物之边缘检测处理例的示意图。

图10是表示图3所示的拍摄图像判断部进行的、拍摄图像数据的光栅方向之边缘检测例的示意图。

图11是表示图3所示的控制部进行的、拍摄图像数据之选择例的意图。

图12是表示图2所示的图像输出装置之构成的框图。

图13是表示图12所示的图像处理部之构成的框图。

图14是表示图3所示的便携式终端装置的焦距和被摄体距离之关系的示意图，图14(a)表示基准图像拍摄时的焦距和被摄体距离之关系，图14(b)表示在拍摄对象方向移动时的焦距和被摄体距离之关系。

图15是表示用于计算出本实施方式的对位处理中所用的焦距的格子图案的示意图。

图16是表示X轴方向移动时的焦距和被摄体距离之关系的示意图。

图17表示图像的色彩平衡检测时的查找表之一例。

图18是表示图13所示的透镜变形补偿部进行的拍摄图像数据的透镜变形补偿例的示意图。

图19是表示图13所示的几何学补偿部进行的拍摄图像数据的几何学补偿例的示意图。

图20是表示本实施方式的便携式终端装置的拍摄图像处理方法之变形例的流程图。

其中附图标记说明如下：

100便携终端装置，101移动检测部，102拍摄部，103拍摄图像判断部，104图像处理部，105通信部(发送部)，106显示部，107输入部，108存储介质访问部，109存储部，110控制部(图像选择部、移动判断部)，200图像输出装置，202图像处理部，202e对位处理部，202d超分辨率处理部，204图像形成部(输出部)，205显示部，206输入部，207第一通信部(接收部)，208第二通信部(输出部)，212控制部。

具体实施方式

以下，若基于图1到图20对本发明的实施方式进行说明，则如下所述那样。

(1)拍摄图像处理系统之整体构成

图2是表示本发明的拍摄图像处理系统之整体构成的图。如图2所示那样，拍摄图像处理系统具备：带摄像头的便携电话、具备数字静态照相机等拍摄部件的便携式终端装置100；以及具有传真、复印、打印、扫描等多种功能的MFP(Multi Function Printer)等图像输出装置200。

便携终端装置100由用户携带。用户能够在各种场合下借助便携终端装置100来拍摄对象物。但是，有时由便携终端装置100拍摄到的图像如上述那样分辨率较低，尽管由图像输出装置200按该分辨率进行了图像输出(例如印刷)，也无法识别至细部。例如，可以考虑在拍摄印刷有文档图像(字符等)的纸张或海报、显示有文档图像等的显示画面的情况下则字符无法辨别的情况。本实施方式是即便在这种情况下亦能够获得具有比由便携终端装置100拍摄到的图像的分辨率还高的分辨率的图像。

在本实施方式中，便携终端装置100具有文档拍摄模式的功能，该文档拍摄模式是能够从图像输出装置200获得具有比所拍摄到的图像的分辨率还高的分辨率的图像的拍摄模式。

此外，在本实施方式中，设拍摄印刷有文档图像的纸张或海报、显示有文档图像的显示画面(例如，由显示器画面或由投影仪投影的画面)这样的矩形状的拍摄对象物，并在希望获得分辨率高于拍摄图像的图像时，用户选择文档拍摄模式。

另外，对于矩形状的拍摄对象物、即印刷有文档图像的纸张或海报、显示有文档图像的显示画面等，用户并非始终能够从正面进行拍摄。即，用户有时是在拍摄对象物上形成有文档图像的平面的法线方向和便携终端装置100的拍摄方向不一致的状态下，从斜方向对拍摄对象物进行拍摄。在该情况下，在拍摄到的图像中，在拍摄对象物上产生变形(以下，称之为几何学变形)。在本实施方式中，构成为在选择了上述文档拍摄模式时，图像输出装置200在这种几何学变形亦经过补偿后的状态下进行图像输出。

便携终端装置100和图像输出装置200能够进行通信，便携终端装置100将拍摄到的图像数据(以下，称之为拍摄图像数据)发送给图像输出装置200。

图像输出装置200基于从便携终端装置100接收到的针对同一拍摄对象物的多个拍摄图像数据、以及对每个拍摄图像数据关联起来的便携终端装置100的移动信息，进行提高分辨率的高分辨率补偿并进行经过高分辨率化后的图像的输出处理。此外，作为利用多个拍摄图像数据进行高分辨率补偿的方法，能够采用在映像信息媒体学会杂志Vol.62、No.3、pp.337～342(2008)中所列举的方法。

作为由图像输出装置200执行的输出处理，已知有基于经过高分辨率化后的拍摄图像数据的图像印刷处理、将经过高分辨率化后的拍摄图像数据保存至服务器或USB存储器等存储装置中的文件归档处理、将经过高分辨率化后的拍摄图像数据附加在电子邮件中进行发送的邮件发送处理等。

此外，作为便携终端装置100和图像输出装置200的通信方式，已知有如图2中符号A所示基于IrSimple等红外线通信标准的无线通信方式；如符号B所示通过Felica(注册商标)这样的非接触无线通信，暂且将拍摄图像数据从便携终端装置100发送给中继装置300，之后，采用例如Bluetooth(注册商标)这样的无线通信将数据从该中继装置300转送至图像输出装置200的方式。此外，关于便携终端装置100和图像输出装置200之间的通信方式，并不限定于这些，还能够应用采用了公知的通信方法的方式。

(2)便携终端装置之构成

首先，基于图3～11对本实施方式涉及的便携终端装置100进行说明。

图3是表示便携终端装置100之构成的框图。如图3所示，便携终端装置100具备：移动检测部101、拍摄部102、拍摄图像判断部103、图像处理部104、通信部(发送部)105、显示部106、输入部107、存储介质访问部108、存储部109以及控制部(图像选择部、移动判断部)110。

移动检测部101对便携终端装置100三维方向的移动(位置变化)进行检测。移动检测部101具备移动检测传感器(图示省略)，作为便携终端装置100的移动，检测各拍摄图像数据的拍摄时的便携终端装置100的移动速度、角速度。另外，移动检测部101将检测到的移动作为检测信息输出到控制部110。此外，移动检测部101还可以检测便携终端装置100的加速度、角加速度作为便携终端装置100的移动。在此情况下，能够根据加速度的方向以及大小的历史记录计算出其速度。关于移动检测部101中的具体处理将在后面叙述。

拍摄部102使用CCD传感器、CMOS传感器来进行拍摄对象物的拍摄。即，拍摄部102具备用于接受来自外部的光的受光元件被排列成面状的受光部。然后，通过对入射到受光部的受光面的光量进行检测而能够拍摄图像。拍摄部102按预先所设定的分辨率进行拍摄对象物的拍摄。另外，在由用户选择了文档拍摄模式的情况下，拍摄部102通过一次快门按下，对拍摄对象物进行连续多次(例如2～15)拍摄。通常，连续拍摄的图像是大致相同的图像，但因手抖动等而相应地偏移微少量。

在选择文档拍摄模式时，拍摄图像判断部103判断由拍摄部102拍摄到的多个拍摄图像数据是否满足包含用于在图像输出装置200中执行高分辨率补偿的条件在内的处理执行条件。拍摄图像判断部103将其判断结果输出到控制部110。此外，关于拍摄图像判断部103中的具体处理将在后面叙述。

图像处理部104对由拍摄部102拍摄到的拍摄图像数据至少进行A/D变换处理。

通信部105具有基于USB(Universal Serial Bus)1.1或者USB2.0之标准的串行传输/并行传输、无线数据通信功能。通信部105向图像输出装置200发送由拍摄部102拍摄并在图像处理部104中实施了A/D变换处理后的多个拍摄图像数据，以及与由移动检测部101检测到的移动有关的移动信息(与位置变化有关的信息)等。此外，如后所述，在本实施方式中，设定成通信部105发送由控制部110选择的拍摄图像数据以及移动信息。

显示部106例如由液晶显示器等构成。

输入部107具有多个按钮，并用于用户进行数据输入。

存储介质访问部108从记录有用于进行便携终端装置100的各处理的程序的存储介质中读出程序。

另外，存储部109保存用于进行便携终端装置100的各处理的程序、便携终端装置100的机型信息、用户信息及进行处理之际所需要的数据。此外，用户信息是指识别便携终端装置100的用户的信息，例如用户ID以及密码等。

控制部110进行便携终端装置100各部的控制。具体而言，在输入部107上输入了表示选择文档拍摄模式的意思的指示时，控制部110在显示部106上显示用于催促输入分辨率变换倍率的画面。然后，控制部110依照输入部107上所输入的倍率(例如2倍、4倍)决定拍摄部102进行连续拍摄的次数以及在拍摄图像判断部103所用的处理执行条件的一部分，并且使移动检测部101起动。此外，控制部110基于预先保存在存储部109中的、将倍率和拍摄次数以及处理执行条件的一部分对应起来的信息来进行决定。

另外，在输入部107上输入了表示选择文档拍摄模式的意思的指示时，控制部110在显示部106上显示用于催促输入图像输出装置200中的输出处理之种类(印刷处理、文件归档处理、邮件发送处理等)的选择指示、以及用于执行所选择的输出处理的设定条件(印刷张数等印刷条件、文件归档对象的服务器地址、邮件的发送对象地址等)的画面。然后，控制部110从输入部107取得表示输出处理之种类以及输出处理的设定条件的输出处理信息。

进而，控制部110按与输入部107上所输入的倍率相应的张数来选择发送给图像输出装置200的拍摄图像数据，并在所选择的拍摄图像数据上附加文件名、存储部109中所保存的便携终端装置100的机型信息以及用户信息和输出处理信息，使通信部105执行向图像输出装置200的发送处理。此外，关于控制部110中的具体处理将在后面叙述。

(3)移动检测部之处理

接着，对便携终端装置100具备的移动检测部101中的具体处理进行说明。移动检测部101具备三维位置传感器以及角速度传感器作为移动检测传感器。

图4(a)是表示便携终端装置100之移动的示意图，表示由三维位置传感器检测到的移动，图4(b)是表示便携终端装置100之移动的示意图，表示由角速度传感器检测到的移动。三维位置传感器测定便携终端装置100向X轴、Y轴、Z轴方向的移动速度V_X、V_Y、V_Z。如图4(a)所示，分别是X轴对应于便携终端装置100针对拍摄对象物的水平移动，Y轴对应于便携终端装置100针对拍摄对象物的垂直移动，Z轴对应于便携终端装置100针对拍摄对象物的放大/缩小倍率变化。即，X轴是平行于拍摄部102的受光面，沿规定方向(例如便携终端装置100的左右方向)延伸的轴，Y轴是平行于拍摄部102的受光面，且沿垂直于X轴的方向延伸的轴，Z轴是沿垂直于拍摄部102的受光面的方向延伸的轴。从而，三维位置传感器能够分别检测便携终端装置100针对拍摄对象物的三维方向的移动速度。

另外，移动检测部101具备运算部(图示省略)，在运算部利用三维位置传感器检测到的移动速度以及计测时间(连拍间隔)来计算便携终端装置100的移动距离。移动距离通过对移动速度V_X、V_Y、V_Z进行积分而计算出，例如从时刻t₀到t_n的移动距离用下式(2)来表示。

【数学式2】

这样，通过借助三维位置传感器来检测便携终端装置100的X轴方向的移动速度，由此能够计算出拍摄图像数据之间的沿水平方向的移动距离。另外，通过检测便携终端装置100的Y轴方向的移动速度，能够计算出拍摄图像数据之间的沿垂直方向的移动距离。进而，通过检测便携终端装置100的Z轴方向的移动速度，能够计算出便携终端装置100与拍摄对象物之间的距离变位、即放大/缩小倍率的变化。这样，通过借助三维位置传感器来检测将拍摄对象物固定时的便携终端装置100在X轴、Y轴、Z轴上的移动速度V_X、V_Y、V_Z，能够分别计算出便携终端装置100在X轴、Y轴、Z轴上的移动距离。

另外，角速度传感器如图4(b)所示，检测便携终端装置100在X轴、Y轴、Z轴上的角速度ωX、ωY、ωZ。

图5(a)～图5(c)是用于说明针对图4(b)所示三轴的拍摄图像数据的几何学变化的示意图，图5(a)表示绕X轴进行了旋转时的状态，图5(b)表示绕Y轴进行了旋转时的状态，图5(c)表示绕Z轴进行了旋转时的状态。这里，在本实施方式中设定成角速度传感器仅仅检测Z轴方向的角速度ωZ。这是因为，对于因ωX、ωY产生的几何学变化，通过在后叙述的图像输出装置200中的几何学补偿来进行补偿的缘故。因此，角速度传感器仅仅检测随着图5(c)所示的几何学变化的、便携终端装置100在Z轴上的角速度ωZ。然后，运算部使用从角速度传感器输出的角速度ωZ以及计测时间来计算出Z轴上的旋转角度。旋转角度通过对角速度ωZ进行积分而计算。例如，从时刻t₀到t_n的旋转角度用下述式(3)来表示。

【数学式3】

这样，通过借助角速度传感器来检测角速度ωZ，能够计算出所拍摄到的多张图像之间的旋转角度。

此外，时刻t₀设定拍摄部102开始连拍时的时刻、也就是说拍摄第1张图像时的时刻，时刻t_n设定拍摄第n-1张图像时的时刻。因而，移动检测部101能够求得从拍摄第1张图像时算起的移动距离以及旋转角度。

如以上所述，通过在便携终端装置100具备移动检测部101，能够计算出对每个拍摄图像数据所关联的便携终端装置100的移动距离以及旋转角度。移动检测部101将拍摄时的便携终端装置100的移动速度、角速度、移动距离、旋转角度作为检测信息输出到控制部110。

此外，虽然在本实施方式中，表示了借助三维位置传感器来检测三维方向的移动速度V_X、V_Y、V_Z，并借助角速度传感器来检测角速度ωZ的情况，但还可以如上述所述，检测加速度以及角加速度而不是检测移动速度V_X、V_Y、V_Z及角速度ωZ，并通过进行重积分来求得移动距离以及旋转角度。这里，在三维位置传感器测定加速度a_X、a_Y、a_Z以取代移动速度V_X、V_Y、V_Z的情况下，通过在时间轴上对加速度a_X、a_Y、a_Z进行积分能够计算出移动速度V_X、V_Y、V_Z。另外，在借助角速度传感器来检测角加速度的情况下亦同样如此。

另外，虽然在本实施方式中采取移动检测部101具备运算部的构成，但并不限定于此。例如，还可以采取移动检测部101不具备运算部，而是在控制部110中进行各种参数(移动速度、角速度、移动距离、旋转角度等)的计算的构成。据此，能够简化移动检测部101之构成，以谋求小型化以及轻量化。

(4)拍摄图像判断部之处理

接着，对便携终端装置100具备的拍摄图像判断部103中的具体判断处理进行说明。

(4-1)关于倾斜度的判断

如上所述，在拍摄纸张或海报、显示画面这样的矩形状的拍摄对象物，并希望获得较高分辨率的图像时，用户选择文档拍摄模式。因此，拍摄图像判断部103假定拍摄对象物是矩形状，并在拍摄图像数据中，通过检测拍摄对象物的边缘来检测拍摄图像数据中拍摄对象物的倾斜度。此外，作为检测拍摄图像数据中的矩形状拍摄对象物的边缘上的像素的方法，能够采用以往所知的方法。另外，为了防止将背景中的边缘误判断为拍摄对象物的边缘，还可以仅仅将规定长度以上的边缘检测为拍摄对象物的边缘。在此情况下，规定长度例如被设定为由拍摄图像数据所示的图像的端边之长度的80％左右的长度即可。或者，还可以让用户从这样检测出的边缘之中选择拍摄对象物的边缘。作为这种检测方法，例如能够采用日本国公开专利公报“特开2006-237757”所述的技术。

图6是表示本实施方式的拍摄图像处理方法中图像的倾斜度检测例的示意图。如图6所示，拍摄图像判断部103选择在包含倾斜的原稿图像的拍摄图像数据中所检测出的拍摄对象物的边缘上的2点、例如从拍摄图像数据之中心分别在左右横方向上离开w/2的点11、12。

接着，通过求得所选择的2点11、12各自与拍摄图像数据的端边之间的距离d1、d2而求得拍摄图像数据中拍摄对象物的倾斜度。在图6这种情况下，若设倾斜角度为θ，则tanθ＝(d₂-d₁)/w。因而，拍摄图像判断部103计算出(d₂-d₁)/w的值，并从预先创建好的表(参照图7)等读取与该值相当的倾斜角度θ。

然后，拍摄图像判断部103判断检测出的倾斜角度θ是否在规定范围内(例如-30°以上、+30°以下)，并将其判断结果输出到控制部110。这里，倾斜角度θ在规定范围内是处理执行条件之一。

(4-2)关于几何学变形的判断

几何学变形是指如上所述，在从与拍摄对象物上形成有文档图像的平面的法线方向不同的倾斜方向对拍摄对象物进行了拍摄时，在拍摄图像数据之中拍摄对象物具有从矩形状变形了的形状。例如，在相对于纸张的法线方向从纸张的左下方向倾斜地进行了拍摄时，如图8所示，拍摄对象物成为变形了的四边形。

在本实施方式中，如后所述，图像输出装置200具有对这种几何学变形进行补偿的功能。但是，在几何学变形之程度较大的情况下，即便经过补偿，识读性亦不会得到多大提高。因而，在本实施方式中，拍摄图像判断部103检测表示几何学变形之程度的特征量，并判断该特征量是否在规定范围内。

在本实施方式中，由于未必限于拍摄对象物各边的边缘存在于视场角的中心附近，所以按某一定间隔抽取所有边的边缘，并求得表示各边缘的线段，进而计算出它们的交点并设为拍摄对象物的区域即可。

首先，拍摄图像判断部103对拍摄图像数据进行光栅扫描。这里，如图8所示，设光栅扫描的正向为X方向，与X方向垂直的方向为Y方向。另外，在拍摄图像数据中，设左上角为原点。

进行1条线的扫描，若边缘不存在，则拍摄图像判断部103对在Y方向错开了规定量的下一条线进行扫描。此外，线间的间隔恒定即可，不需要是1个像素。

然后，拍摄图像判断部103在光栅扫描中将最初检测出边缘的行设为L₁(第1条线)，如图9所示，将在正向上被判断为最初边缘的点的坐标保存于第1组，并将在同一条线上被判断为第2边缘的点的坐标分类到第2组。接下来进行下一条线的扫描并进行边缘检测。然后，对各个线L_i求得在正向上第1个被判断为拍摄对象物的边缘的点与第2个被判断为拍摄对象物的边缘的点的X坐标值之差分(X坐标的距离d_i)并如下地进行判断。

此外，将线L_i上最初边缘的X坐标设为X_i1(被分类为第一组的X坐标)、将第二个边缘的X坐标设为X_i2(分类成第二组的X坐标)。检测方法如下。

(a)关于第一行(L₁)的坐标X_i1以及X_i2，不进行变更。

(b)关于第二行以后的第i行，计算出坐标之间的距离d_i1(＝X_i1-X_(i-1)1)以及d_i2(＝X_i1-X_(i-1)2)。以下，为了对d_i1进行说明而省略下标1，但d_i2也同样。

(c)关于第三行以后的第i行，计算出dd_i＝abs{(d_i)-d_i-1}。如果dd_i≤th₁(

的较小数值)，则坐标X_i被分类为同一组。非这种情况(dd_i＞th₁)下，则分类为其他组(第三组或第四组)。

(d)作为初始处理，仅在i＝4时，进行用于确定X₂的组的处理。如下所示。

i)dd₃≤th₁且dd₄≤th₁→X₂：同一组

ii)dd₃＞th₁且dd₄≤th₁→X₂：其他组

iii)dd₃≤th₁且dd₄＞th₁→X₂：同一组

iv)dd₃＞th₁且dd₄＞th₁→X₂：同一组

一旦转移到其他组(第三组或第四组)的情况下，没必要进行增减的确认。

对图像整体进行这种处理，并抽取出属于各组的边缘点。并且，按每个组，利用最小二乘法等对属于该组的边缘点的坐标进行直线逼近，而求出逼近属于该组的边缘点的直线。该直线相当于拍摄对象物的边。

图9是通过如上述的处理，并通过光栅扫描来抽取边缘像素，分类为四个组时的图。在图中，圆形记号表示属于第一组的边缘点，四边形记号表示属于第二组的边缘点，三角形记号表示属于第三组的边缘点，星形记号表示属于第四组的边缘点，并用虚线表示通过最小二乘法求出的属于各组的边缘像素的逼近直线。

并且，求出针对四个组求出的直线的交点(图中为交点1～4)，从而可以将由四条直线包围的区域特定为拍摄对象物的区域。

并且，也可以对旋转了90度的拍摄图像数据进行上述的分类处理。这样，还可以理想地抽取与拍摄图像数据内的水平方向/垂直方向平行地被配置的原稿的边缘。即，通过进行光栅扫描，能够在旋转前的拍摄图像数据中检测出垂直方向的边缘。另一方面，能够在旋转后的拍摄图像数据中检测出旋转前为水平方向的边缘(旋转后为垂直方向的边缘)。由此，也可以抽取平行于水平方向/垂直方向的边缘。如果旋转前有充分的信息量(在各组中例如3个点以上的交点)，则仅使用旋转前的信息即可，任意一个组的交点少于1个点的情况下，当然不能求出直线的式子，因此使用旋转后的交点即可。

或者，也可以仅将求出的交点坐标再次进行坐标变换而还原，并从各个组的分布区域求出对应的组，综合交点信息，求出直线的式子。即，由从旋转前的拍摄图像数据求出的交点坐标、和将从旋转后的拍摄图像数据求出的交点逆旋转获得的交点坐标，综合属于同一组的交点坐标，并求出直线的方程式即可。

并且，作为边缘像素的抽取方法，对于至少为1以上的像素宽度的小窗内的像素值按原样进行比较(2以上的宽度的情况下，比较和/平均值)，在邻接的值的差为规定以上的情况下，判断为边缘像素即可。此外，为了防止错误地检测出背景或拍摄对象物内的文本的边缘等，也可以只将规定长度以上的边缘检测为拍摄对象物的边缘。在该情况下，所谓规定长度例如设定为由拍摄图像数据表示的图像的一端的边长的80％左后的长度即可。或者，也可以让用户从这样检测出的边缘中选择拍摄对象物的边缘的像素。作为这种检测方法，例如，可以使用日本国特许公开公报“特开2006-237757”所述的技术。或者，也可以通过进行各个坐标组的评价、或进行用于边缘检测的处理(霍夫变换等)来防止。并且，作为预处理进行使用了缩小图像的处理，由此能够防止错误地检测出文本及细小纹理的边缘。

并且，拍摄图像判断部102，如上所示地求出四条直线及其交点时，计算由该四条直线形成的四边形的对边的长度比。该长度比从上述交点的坐标容易地求出。并且，由于对边有两组，因此拍摄图像判断部130针对于该两组分别求出长度比。

在此，在从正面拍摄矩形的拍摄对象物的情况下，由于拍摄图像数据中的拍摄对象物也为矩形，因此，对边长度比为1。另一方面，从斜向拍摄的情况下，由于拍摄图像数据中的拍摄对象物的形状为变形的四边形，因此为不同于1的值。并且，拍摄方向、与拍摄对象物的记载有文档图像的平面的法线方向所成的角度越大，该比的值与1的差越大。因此，可以说对边的长度比是表示几何变形的程度的特征量之一。

其后，拍摄图像判断部130判断所求出的两个比的双方是否在规定范围内(例如，0.5～2)，并将该判断结果输出到控制部110。这里，规定范围是在图像输出装置200中作为可补偿的范围预先设定的，并储存于存储部109中。并且，两个比的双方均在规定范围内(例如，0.5～2)是处理执行条件之一。

此外，拍摄图像判断部103可以使用包含由如上所述方式检测出的四个交点的两条直线所形成的角度等，作为表示几何变形程度的另一个特征量。

(4-3)关于亮度的判断

关于亮度，例如考虑在曝光过度(过亮)或曝光不足(过暗)时需要进行再次拍摄的情形。因而，拍摄图像判断部103例如在拍摄图像数据的像素值之中求出最大的值和最小的值，并将若最大值为某阈值(例如8位为100等)以下则作为曝光不足，若最小值为某阈值(例如8位为150等)以上则作为曝光过度的判断结果输出到控制部110。或者，控制部110在曝光不足的情况下，以加长拍摄部102中的曝光时间这一方式进行设定变更，而在曝光过度的情况下，以缩短曝光时间这一方式进行设定变更。

(4-4)关于对比度的判断

关于对比度，拍摄图像判断部103在拍摄图像数据的像素值之中的最大/最小的差分值为规定阈值以下的情况下，判断为对比度不足。

此外，在亮度/对比度的判断中，拍摄图像判断部103可以对各色彩信道进行判断，并且可以采用平均值(R+G+B/3)或明亮度值(0.299×R+0.587×G+0.114×B：NTSC标准)。

(4-5)关于色彩平衡的判断

关于色彩平衡，通过进行各色彩信道(RGB)的平均值或最大/最小值的比较，能够掌握在某一信道上发生过度的偏差。因而，拍摄图像判断部103例如求出拍摄图像数据中持有最大明亮度值附近的值(最大明亮度～最大明亮度-5程度)的像素值的各色彩信道的值之平均值(Ra，Ga，Ba)，在该各色彩信道的最大值和最小值之差分为与值相应的恒定值[Max(Ra，Ga，Ba)-Min(Ra，Ga，Ba)＞0.1×Max(Ra，Ga，Ba)]以上时，判断为色彩平衡不良。

(5)控制部的处理

接着，对便携终端装置100具备的控制部110中的具体判断处理进行说明。

(5-1)关于拍摄图像数据的选择

控制部110基于从移动检测部101输出的检测信息(移动速度、角速度、移动距离、旋转角度等)，选择规定张数适合用于后述的对位处理的拍摄图像数据。控制部110基于检测信息从拍摄时的移动速度V_X、V_Y、V_Z以及角速度ωZ的总和速度V_t较低的拍摄图像数据中优先地进行选择。

总和速度V_t例如能够利用下述式(4)计算出来。

【数学式4】

$\mathrm{vt}=t\×\mathrm{\ωZ}+\sqrt{V_X^2+V_Y^2+V_Z^2}$ ......式(4)

在上述式(4)中，α表示规定权重系数，基于以实验方式获得的移动速度和旋转速度对图像模糊的影响力，将影响力的比率设定成α。

以下，对利用控制部110选择拍摄图像数据具体地进行示例。在这里，对采用从移动检测部101输出的检测信息，控制部110选择8张拍摄图像数据之中的4张拍摄图像数据这一情况进行说明，另外，为了便于说明，省略Z轴并基于X轴以及Y轴上的移动速度和拍摄时刻之关系进行说明。

图11是表示控制部110进行的拍摄图像数据之选择例的示意图。在图11中，t₀～t₇表示从移动检测部101输出到控制部110的8张拍摄图像数据被拍摄的时刻。另外，X轴以及Y轴表示时刻t₀～t₇下便携终端装置100向X轴以及Y轴方向的移动速度。如图11所示，处于最接近X轴与Y轴之交点的位置的是时刻t₀的拍摄图像数据，可以说拍摄时的总和速度V_t最低。因此，控制部110选择时刻t₀的拍摄图像数据作为基准图像。接下来，控制部110选择时刻t₀之后拍摄时的总和速度V_t较低的时刻t₃、t₅、t₆的拍摄图像数据。这样，控制部110通过拍摄时的总和速度V_t较低的拍摄图像数据中优先地进行选择，能够将图像偏移较少的拍摄图像数据用于对位处理。据此，能够使超分辨率处理的精度得到提高。

另外，控制部110分别计算所选择的拍摄图像数据的、自基准图像的移动距离。例如，在时刻t₃所拍摄的拍摄图像数据的自基准图像的X轴方向移动距离用下述式(5)来表示。

【数学式5】

同样地，控制部110分别计算出Y轴、Z轴上的自基准图像的移动距离。控制部110将所选择的拍摄图像数据、以及针对该拍摄图像数据的包含自基准图像的移动距离的移动信息输出到通信部105，通信部105发送到图像输出装置200。

此外，控制部110选择的规定张数依赖于分辨率变换的倍率，例如，若分辨率变换的倍率为4倍则为4张，若分辨率变换的倍率为2倍则为2张。

(5-2)关于对用户的通知

另外，控制部110还可以依照从移动检测部101输出的检测信息，使催促重新拍摄的消息显示在显示部106上。

例如，若移动速度较高则图像抖动较大，所以最好是获得必要张数的拍摄时的移动速度低于规定阈值的拍摄图像数据。因此，控制部110基于移动信息来判断是否已获得必要张数的总和速度V_t低于规定阈值的拍摄图像数据。在未获得必要张数的拍摄时的总和速度V_t低于规定阈值的拍摄图像数据的情况下，控制部110使催促再次拍摄的消息显示在显示部106上。此外，用于判断的阈值能够根据便携终端装置100的移动速度和此时的拍摄图像数据的模糊程度以实验方式求得。

另外，控制部110依照从拍摄图像判断部103所接受的判断结果，使催促重新拍摄的消息显示在显示部106上。

例如，在从拍摄图像判断部103接受到意思是倾斜角度θ不在规定范围内的判断结果时，控制部110使催促不让拍摄对象物发生倾斜地进行再次拍摄的消息显示在显示部106上。

另外，在接受到意思是表示几何学变形程度的特征量(在这里是拍摄图像中拍摄对象物对边的长度之比)不在规定范围内的判断结果时，控制部110使催促从拍摄对象物上形成有文档图像的平面的法线方向进行再次拍摄的消息显示在显示部106上。

(6)图像输出装置的构成

接着，基于图12～20，对本实施方式涉及的图像输出装置200的构成进行说明。在本实施方式中，图像输出装置200是具有传真、复印、打印、扫描等多种功能的MFP(多功能复合机)。

图12是表示图像输出装置200的构成的框图。另外，图13是表示图12所示的图像处理部202的构成的框图。如图12所示，图像输出装置200具备：图像读取部201、图像处理部202、认证部203、图像形成部(输出部)204、显示部205、输入部206、第一通信部(接收部)207、第二通信部(输出部)208、存储介质访问部209、存储部210以及控制部(输出部)212。

图像读取部201读取原稿，且具有具备CCD(Charge CoupledDevice)的扫描部，将从原稿反射过来的光变换成按RGB经过色彩分解的电信号(模拟图像信号)，并输出该电信号。

图像处理部202对图像数据进行规定的图像处理。在本实施方式中，图像处理部202对从便携终端装置100发送的拍摄图像数据进行各种图像处理。具体而言，图像处理部202进行对位处理/超分辨率补偿、色彩平衡补偿、对比度补偿、亮度补偿、透镜变形补偿、几何学补偿等。因此，图像处理部202如图13所示，具备：进行对位处理的对位处理部202e；进行超分辨率补偿的超分辨率处理部202d；进行色彩平衡补偿、对比度补偿、亮度补偿的图像质量调整部202a；进行透镜变形补偿的透镜变形补偿部202c；进行几何学补偿的几何学补偿部202b。此外，关于图像处理部202对拍摄图像数据进行的图像处理的细节将在后面叙述。

认证部203在进行从便携终端装置100接收到的拍摄图像数据的输出处理时，进行用户认证。具体而言，认证部203核对从便携终端装置100接收到的用户信息和被输入到输入部206上的用户信息(用户ID以及密码)来进行用户认证。认证部203将认证结果发送到控制部212。

图像形成部204例如采用电子照相方式或喷墨方式在纸等记录纸张上形成图像。即，图像形成部204执行作为输出处理之一的印刷处理。

显示部205例如由液晶显示器等构成。另外，输入部206用于例如通过按下液晶显示器的触摸面板或按钮等来进行数据输入。

第一通信部207具有基于USB1.1或者USB2.0标准的串行传输或并行传输、无线数据通信功能。第一通信部207从便携终端装置100接收附加了文件名、便携终端装置100的机型信息、用户信息以及输出处理信息的拍摄图像数据以及移动信息。

第二通信部208具有如下功能：(a)利用了基于无线LAN标准即IEEE802.11a、IEEE802.11b以及IEEE802.11g中任一无线技术的数据通信；(b)具有利用了以太网(注册商标)的通信用接口之功能，经由LAN电缆与网络的数据通信；(c)利用了基于无线通信标准即IEEE802.15.1(所谓Bluetooth(注册商标))或IrSimple等红外线通信标准、Felica(注册商标)等通信方式中任一无线技术的数据通信。

第二通信部208，作为输出处理，执行将已实施超分辨率补偿等的拍摄图像数据保存在服务器中的文件归档处理、或者发送附加了已实施超分辨率补偿等的拍摄图像数据的邮件的邮件发送处理。

存储介质访问部209从记录有程序的存储介质读出程序。存储部210用于存储上述各部执行处理所用的程序。

控制部212进行图像输出装置200各部的控制。具体而言，控制部212当第一通信部207从便携终端装置100接收多个拍摄图像数据时，将该多个拍摄图像数据输出到图像处理部202，并执行图像处理。另外，控制部212将拍摄图像数据中所附带的用户信息输出到认证部203，使认证部203执行认证处理。当从认证部203接受到认证成功的认证结果时，控制部212按照拍摄图像数据中所附带的输出处理信息使处理得以执行。即，在输出处理信息表示印刷处理时，控制部212使图像形成部204执行基于由图像处理部202实施了图像处理的拍摄图像数据的印刷。另外，在输出处理信息表示文件归档处理或者邮件发送处理时，控制部212使第二通信部208执行基于由图像处理部202实施了图像处理的拍摄图像数据的文件归档处理或者邮件发送处理。

(7)图像处理部中的图像处理

接着，对图像处理部202执行的图像处理的细节进行说明。此外，图像处理部202对图像读取部201读取到的图像数据也进行图像处理，在这里，对针对从便携终端装置100接收到的多个拍摄图像数据的图像处理的内容进行说明。

(7-1)关于对位处理

图像处理部202在对位处理部202e中基于从通信部105发送的多个拍摄图像数据以及移动信息，推定仿射变换系数并进行对位处理。此外，拍摄时的位置偏移既可以因摄影者有意识地移动而发生，也可以是利用了便携终端装置100自身发生的振动。

若设自基准图像的X轴方向移动距离为Mx、Y轴方向移动距离为My、Z轴方向移动距离为Mz、Z轴上的旋转角度为θ，则用于补偿位置偏移的仿射变换系数如下述式(6)进行推定。

【数学式6】

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right)=\left(\begin{array}{ccc}f\left(\mathrm{Mz}\right)& 0& 0\\ 0& f\left(\mathrm{Mz}\right)& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}1& 0& g\left(\mathrm{Mx}\right)\\ 0& 1& g\left(\mathrm{My}\right)\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)$ ...(式6)

在上述式(6)中，x、y表示仿射变换前的坐标，x’、y’表示仿射变换后的坐标。另外，f代表表示放大/缩小倍率的Z轴方向移动距离Mz的函数，g代表表示移动距离的X轴方向移动距离Mx、或者Y轴方向移动距离My的函数。

上述仿射变换矩阵之中、左侧的矩阵对应于比例变化，能够依照Mz来推定Z轴方向的移动距离。中央的矩阵对应于旋转，能够依照θ来推定旋转角度。右侧的矩阵对应于平行移动，能够依照Mx来推定X轴方向移动距离并依照My来推定Y轴方向移动距离。

图14是表示便携终端装置100的焦距和被摄体距离的关系的示意图，图14(a)表示基准图像拍摄时的焦距和被摄体距离的关系，图14(b)表示在拍摄对象物(Z轴)的方向上移动了距离Mz时的焦距和被摄体距离的关系。如图14(a)所示，设基准图像拍摄时的从CCD的受光面到透镜中心的距离为焦距F，设从透镜中心到拍摄对象物的距离为被摄体距离L，并假定便携终端装置100从基准图像拍摄时的状态起在拍摄对象物方向(Z轴方向)上移动了距离Mz。此时，因焦距F恒定故被摄体距离变化成L-Mz。如果使用处于这种关系的焦距和被摄体距离之值，函数f能够按下述式(7)来确定。

【数学式7】

$f\left(\mathrm{Mz}\right)=\frac{\frac{F}{L-\mathrm{Mz}}}{\frac{F}{L}}=\frac{L}{L-\mathrm{Mz}}$ ...(式7)

在上述式(7)中，L是被摄体距离。被摄体距离是在自动对焦处理时进行红外线或超声波等照射，利用直到反射波返回为止的时间来测定被摄体距离，并与拍摄图像数据关联起来从便携终端装置100作为移动信息被发送。

另一方面，在不具备上述功能的便携终端装置100的情况下，能够使用依照拍摄部102的光学倍率和焦距(透镜位置)，预先以实验方式所求得的被摄体距离(表示与对焦时的透镜位置相对的输出值和被摄体距离的关系的表格)。例如，固定光学倍率和被摄体距离，并求出拍摄如图15所示的格子图案时的对比度最高的焦距(对焦条件)，预先计算出对比度最高时的被摄体距离和焦距的关系，由此能够依照被自动对焦时的焦距来推定被摄体距离。

此外，虽然在上述式(7)中，F是便携终端装置100所固有的值，但因最终通过分子分母相抵消，故不需要特别指定F。另外，虽然在本实施方式中，Z轴方向的移动亦包含在内作为移动信息，但在移动信息中不含Z轴方向的移动时，设f(Mz)为1即可。

图16是表示X轴方向移动时的焦距和被摄体距离的关系的示意图。通过预先准备好确定移动距离和此时的拍摄图像数据中移动像素数之间的关系的规定系数β，能够根据下述式(8)来确定函数g。

【数学式8】

g(Mx)＝β×Mx      ...(式8)

在上述式(8)中，β是便携终端装置100所固有的值，依照便携终端装置100的像素数来进行设定(预先确定好每个像素数的β)。另外，在不检测X轴方向的移动时，设g(Mx)为0，在不检测Y轴方向的移动时，设g(My)为0。进而，在不检测Z轴上的角速度ωZ时，设旋转角度θ为0。

通过以上处理，能够基于从便携终端装置100发送的多个拍摄图像数据以及移动信息，计算出用于补偿位置偏移的仿射变换系数并进行对位处理。

(7-2)关于色彩平衡补偿、对比度补偿、亮度补偿

图像处理部202在图像质量调整部202a中进行色彩平衡补偿、对比度补偿、亮度补偿。

作为色彩平衡补偿的方法，对于接收到的拍摄图像数据，求出各色彩信道的最大值/最小值，创建备齐它们这样的查找表，并应用于各色彩信道即可。作为查找表的一例，如图17所示，在某信道的最大值为MX、最小值为MN的情况下，当数据为8bit时，创建从MN起以(MX-MN)/255的步骤使其增加这种表即可。

图像质量调整部202a对于对比度补偿以及亮度补偿也能够以同样的方法执行。此外，若不需要特别地改变色彩平衡，则使应用于各色彩信道的查找表相同即可。此外，关于色彩平衡补偿、对比度补偿、亮度补偿的方法还可以应用其他的公知技术。

(7-3)关于透镜变形补偿、几何学补偿

图像处理部202在透镜变形补偿部202c中进行透镜变形补偿，在几何学补偿部202b中进行几何学补偿。

透镜变形补偿部202c与拍摄图像判断部103中的处理同样地，通过光栅扫描依次检测出拍摄图像数据中拍摄对象物的边缘上的点。然后，透镜变形补偿部202c对所检测出的边缘上的点进行曲线近似，并根据该曲线方程式来进行透镜变形补偿。

图18是表示拍摄图像数据的透镜变形补偿例的示意图。如图18的实线所示，透镜变形补偿部202c对已检测出的拍摄对象物的边缘点进行检测，并与拍摄图像判断部103同样地，将各边缘点分类成与拍摄对象物的4边相对应的4个组。然后，对于属于各组的边缘点进行2次曲线近似。这样对4个组所求出的2次曲线对应于拍摄对象物的4边。另外，透镜变形补偿部202c求出与4条2次曲线所包围区域的角部相当的、4条2次曲线的交点。接着，透镜变形补偿部202c求出外切于对各边所求出的2次曲线、且与将4个交点连结起来的四边形(在图18中虚线所示)相似的外切四边形(在图18中点划线所示)。然后，透镜变形补偿部202c变换拍摄图像数据中拍摄对象物区域内的像素位置，以使这样所求出的外切四边形成为补偿后对象物的边缘像素的位置。该变换根据自基准点(例如拍摄对象物区域的重心点)的矢量进行计算即可。由此，能够补偿便携终端装置100的拍摄部102所造成的透镜变形。

图19是表示拍摄图像数据的几何学补偿例的示意图。几何学补偿部202b如以下所述地执行几何学补偿。几何学补偿部202b例如如图19所示，使如上所述地求出的外切四边形配合于对象物的长宽比(例如若是在商务文档中所用的A开数B开数则为7∶10等)同样地进行映射变换。作为这种映射变换，能够采用公知的技术。另外，几何学补偿部202b既可以进行变换以配合于预先存储在存储部210中的长宽比，还可以进行变换以配合于输入部206上所输入的长宽比。

此外，作为透镜变形补偿以及几何学补偿的方法，能够采用公知的技术并不限定于上述方法。另外，透镜变形补偿以及几何学补偿既可以个别地进行，又可以同时进行。进而，还可以与后述的超分辨率处理一并进行。

另外，图像处理部202还可以基于从便携终端装置100接受到的倾斜角度进行实施拍摄图像数据的旋转处理的倾斜度补偿，以使拍摄对象物的斜度成为0度。

(7-4)关于超分辨率补偿

图像处理部202在超分辨率处理部202d中对多个拍摄图像数据进行超分辨率补偿，生成1张高分辨率图像。作为超分辨率处理，例如能够采用ML(Maximum-likelihood)法。ML法是将从高分辨率图像矢量h所推定的观测低分辨率图像和实际所观测的低分辨率图像的像素值f的二乘误差作为评价函数，以搜索使该评价函数最小化这样的高分辨率图像矢量h。若采取从高分辨率图像矢量h来推定观测低分辨率图像的像素值的点扩散函数核心矢量PSF(Point Spread Function)，则评价函数用下述式来表示。

【数学式9】

在上述式(9)中，width、height分别表示低分辨率图像的横向尺寸、纵向尺寸，N表示所拍摄的低分辨率图像的张数。另外，运算表示卷积运算。这里，点扩散函数核心矢量PSF优选是从便携终端装置100所固有的拍摄特性(摄影模型)所获得并基于点扩散函数。此外，关于从多个拍摄图像数据生成高分辨率图像的方法，在映像信息媒体学会杂志Vol.62、No.3、pp.337～342(2008)中介绍有若干个方法。

(8)拍摄图像处理系统的图像处理方法

以下，基于图1对拍摄图像处理系统的处理的流程进行说明。图1是表示拍摄图像处理系统的拍摄图像处理方法的流程图，图1中(a)表示便携终端装置100的流程，图1中(b)表示图像输出装置200的流程。

首先，便携终端装置100进行拍摄模式的选择受理。这里，用户拍摄包含文档图像的纸张或显示画面等矩形状的拍摄对象物，并在希望将拍摄图像数据通过图像输出装置200高分辨率化并进行输出时，选择文档拍摄模式。

在受理文档拍摄模式的选择输入的便携终端装置100中，控制部110在显示部106上显示催促输入进行超分辨率补偿时的分辨率变换倍率的画面，并从输入部107取得该倍率。控制部110依照所取得的倍率，决定拍摄部102中的拍摄次数、拍摄图像判断部103中的一部分处理执行条件，并且使移动检测部101起动。另外，控制部110在显示部106上显示催促输入输出处理的种类以及用于输出处理的设定条件的画面，并从输入部107取得输出处理信息。

然后，当检测到快门被按下时，拍摄部102对按控制部110所设定的拍摄次数连续进行拍摄(S10)。

接着，图像处理部104对所拍摄图像的数据至少进行A/D变换处理。之后，对于经过A/D变换处理的多个拍摄图像数据，拍摄图像判断部103判断是否满足处理执行条件(S11)。此外，详细的判断方法、判断项目等例如如在上述(4)中所说明。

另外，控制部110基于从移动检测部101输出的便携终端装置100的移动信息来计算各拍摄图像数据在拍摄时的总和速度V_t，并判断是否已获得必要张数的总和速度V_t低于规定阈值的拍摄图像数据。此外，详细的判断方法例如如在上述(5-2)中所说明。

在拍摄图像判断部103或者控制部110判断为不满足条件的情况下(在S11为否)，控制部110在显示部106上显示表示重新拍摄这一意思的消息等并通知给用户(S12)。即便是经过重新拍摄的图像，在不满足上述的判断项目等时，便携终端装置100反复进行步骤S10～S12。

另一方面，在拍摄图像判断部103或者控制部110判断为满足处理执行条件的情况下(在S11为是)，控制部110如在上述(5-1)中所说明，从拍摄时的总和速度V_t较低一方优先地选择规定张数的将要发送给图像输出装置200的拍摄图像数据(S13)。另外，控制部110以拍摄时的总和速度V_t最低的拍摄图像作为基准图像，分别计算所选择的拍摄图像数据的自基准图像的移动距离并包含在移动信息中。

接着，控制部110在所选择的多个拍摄图像数据上附加文件名(S14)。此外，控制部110既可以自动地附加例如按照拍摄日期时间的连续编号等对各拍摄图像数据不同的文件名，也可以附加输入部107上所输入的文件名。之后，控制部110将所选择的多个拍摄图像数据以及移动信息与存储部109中所保存的便携终端装置100的机型信息、用户信息以及输出处理信息一起输出到通信部105。然后，通信部105将这些信息发送到图像输出装置200(S15)。

此外，控制部110还可以将附带文件名的拍摄图像数据暂时保存在存储部109或者存储卡中，并根据用户的要求与上述便携终端装置100的机型信息、用户信息以及输出处理信息一起输出到通信部105，进而发送到图像输出装置200。

接着，图像输出装置200的第一通信部207接收来自便携终端装置100的多个拍摄图像数据、移动信息、机型信息、用户信息以及输出处理信息(S20)。

接收后，图像处理部202如在上述(7-1)中所说明，基于移动信息推定仿射变换系数，并使用该仿射变换系数进行对位处理(S21)。另外，图像处理部202如在上述(7-2)中所说明，对已实施对位处理的多个拍摄图像数据进行色彩平衡补偿、对比度补偿、亮度补偿(S22)，进而，如在上述(7-3)中所说明，进行透镜变形补偿、几何学补偿(S23)。然后，图像处理部202如在上述(7-4)中所说明，对多个拍摄图像数据进行超分辨率处理以生成高分辨率的图像数据(S24)，并输出到控制部212。

此外，透镜变形补偿以及几何学补偿如上所述，检测出拍摄图像数据中拍摄对象物的边缘点来进行补偿。因此，最好是在透镜变形补偿以及几何学补偿之前，预先对拍摄图像数据进行色彩平衡补偿、对比度补偿、亮度补偿。由此，能够在透镜变形补偿、几何学补偿中正确地检测拍摄对象物的边缘点。

控制部212将在图像处理部202经过处理的图像数据保存到存储部210(S25)。

接着，控制部212判断是否在输入部206上输入了图像数据的输出指示(S26)。在没有输出指示的输入时(在S26为否)进行待机直到输出指示被输入为止。

另一方面，在有输出指示时(在S26为是)，认证部203使催促输入用户信息(例如，用户ID以及密码)的画面显示在显示部205上，从输入部206取得用户信息。然后，认证部203进行用户认证(S27)。此外，认证部203还可以使用设置于图像输出装置200的非接触IC卡的读写器，从用户所持的非接触IC卡取得用户信息。

在进行用户认证时，认证部203对照所输入的用户信息和从便携终端装置100接收到的用户信息，并判断是否存在一致的用户信息(S28)。然后，在从便携终端装置100接收到与所输入的用户信息相一致的用户信息时(在S28为是)，控制部212按照从便携终端装置100接收到的输出处理信息使输出处理得以执行(S29)。例如，在输出处理信息表示印刷处理时，控制部212对图像形成部204输出处理执行指示。之后，结束处理。

另一方面，在所输入的用户信息与从便携终端装置100接收到的用户信息不一致时(在S28为否)，认证部203判断认证次数是否为规定次数以上(S30)。然后，在认证次数未超过规定次数时(在S30为否)反复进行S27、S28的处理。在认证次数为规定次数以上时(在S30为是)，不进行输出而结束流程。

如上所述，根据本实施方式，基于从借助移动检测部101检测到的拍摄时的便携终端装置100的三维方向的移动所获得的移动信息，选择规定张数的图像抖动较少的拍摄图像数据，并且推定仿射变换系数并进行对位处理。因此，与以往那样仅推定平行移动分量的对位处理相比，能够缩短处理时间。其结果，能够实现使从多个拍摄图像数据生成高分辨率图像数据的处理速度及精度得到提高的拍摄图像处理系统。

(9)变形例

本发明的拍摄图像处理系统并不限定于上述实施方式，可以进行各种各样的变更。以下，对变形方式的一例进行说明。

(9-1)关于对用户的通知

在上述说明中，虽然如上述(5-2)所说明，对在便携终端装置100中判断拍摄图像数据是否恰当这一构成进行了说明，但本发明并不限定于此。例如，还可以是不判断拍摄图像数据是否恰当的构成。

图20是表示本实施方式的便携终端装置100的拍摄图像处理方法的变形例的流程图。如图20所示，还可以采取省略判断拍摄图像数据是否恰当这一步骤，并不进行催促重新拍摄的对用户通知这一构成。此外，即便在此情况下，控制部110也是从拍摄时的总和速度Vt较低一方优先地选择规定张数的拍摄图像数据(S113)。

(9-2)关于拍摄图像数据的选择

在本实施方式中，虽然对在便携终端装置100中，对图像输出装置设定基准图像，并将从拍摄时的总和速度Vt较低一方优先地选择的像图像数据发送到图像输出装置200这一构成进行了说明，但本发明并不限定于此。例如，还可以采取将所有拍摄图像数据、移动检测传感器检测到的移动速度、角速度等移动信息发送到图像输出装置200，并在图像输出装置200中选择用于对位处理的拍摄图像数据这一构成。在此情况下，因便携终端装置100的功能简化而使处理负荷得以减轻，故能够实现便携终端装置100的小型化以及轻量化。

(9-3)关于输出处理信息

在上述说明中，设便携终端装置100取得输出处理信息并发送给图像输出装置200。但是，并不限于此，还可以在图像输出装置200为了用户认证而取得用户信息时，取得输出处理信息(表示输出处理的种类、用于输出处理的设定条件的信息)。

(9-4)关于输出处理

在图像输出装置200中，控制部212还可以在进行文件归档处理或邮件发送处理之前，将由图像处理部202经过处理的拍摄图像数据变换成高压缩PDF。此外，高压缩PDF数据是指将图像数据之中的背景部分和字符部分进行分离，并对各个部分进行了最佳压缩处理的PDF数据。由此，字符识读性良好，还能够使图像文件大小减小。

另外，控制部212还可以在进行文件归档处理或邮件发送处理之前，对由图像处理部202经过处理的拍摄图像数据执行OCR处理以生成文本数据。然后，控制部212还可以将拍摄图像数据变换成PDF，并将所生成的文本数据作为透明文本进行附加。此外，透明文本是指用于将所识别的字符作为文本信息以在外观上看不见的形式使之重合于(或者嵌入)图像数据的数据。例如，在PDF文件中一般是使用在图像数据附加了透明文本的图像文件。然后，控制部212还可以输出带有所生成的透明文本的PDF数据。由此，能够输出诸如可进行文本检索那样易于活用的电子化文档。

(9-5)关于图像输出装置具备的图像处理部

在上述说明中，说明的是图像输出装置200具备的图像处理部202进行超分辨率处理等。但是，图像输出装置200还可以使具备上述图像处理部202的服务器执行针对拍摄图像数据的超分辨率处理及其他图像处理(几何学变形的补偿、透镜变形的补偿、对比度补偿、色彩平衡补偿等)。此外，在此情况下，可以说该服务器就是对从便携终端装置100接收到的拍摄图像数据进行超分辨率处理，并输出补偿后的拍摄图像数据的图像输出装置。

(9-6)关于移动信息的内容

在上述说明中，虽然对计算移动距离、旋转角度、自基准图像的移动距离等并作为移动信息这一情况进行了说明。但是，还可以采取可选择作为移动信息加以利用的信息的内容的构成。由此，能够根据便携终端装置100的处理能力及拍摄图像数据的容量等来选择适合的处理方法。

(10)程序以及记录介质

本发明还可以是在记录了用于使计算机执行的程序的计算机可读取的记录介质上，记录将上述便携终端装置100所拍摄的图像发送给图像输出装置200并由图像输出装置200进行输出这一方法。

其结果，能够可自由移动地提供记录了进行上述处理的程序代码(执行形式程序、中间代码程序、源程序)的记录介质。此外，在本实施方式中，作为该记录介质，既可以是为了在微型计算机中进行处理而未图示的存储器、例如ROM那样的介质其本身就是程序介质，另外虽然未图示但还可以设置程序读取装置作为外部存储装置，并通过在其中插入记录介质可进行读取的程序介质。

也可以是在任一情况下，微处理器访问所保存的程序并使其执行这一构成，或者可以是在任一情况下，读出程序代码，且所读出的程序代码被下载到微型计算机的未图示的程序存储区，并执行该程序这一方式。设该下载用的程序被预先保存在主体装置中。这里，上述程序介质是与主体可分离地构成的记录介质，还可以是磁带或盒式带等的带系列、软盘或硬盘等磁盘或CD-ROM/MO/MD/DVD等光盘的盘系列、IC卡(包含存储卡)/光卡等卡系列、或者包含利用掩模ROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、闪存ROM等的半导体存储器的固定地载置程序代码的介质。

另外，因在本实施方式中是可连接包含因特网的通信网络的系统构成，故还可以是从通信网络下载程序代码这样流动地载置程序代码的介质。此外，在这样从通信网络下载程序的情况下，该下载用的程序既可以预先保存在主体装置中，或者还可以从别的记录介质进行安装。此外，本发明还可以是上述程序代码通过电子传输而得以体现的、嵌入于载波中的计算机数据信号这一形态而得以实现。

上述记录介质通过由便携终端装置100或图像输出装置200所具备的程序读取装置进行读取而执行上述图像处理方法。

(11)(实施方式的总括)

如上所述，本实施方式的拍摄图像处理系统具备便携终端装置和图像输出装置，上述便携终端装置将所拍摄的多个拍摄图像数据发送给上述图像输出装置，上述图像输出装置输出从接收到的该多个拍摄图像数据生成的高分辨率图像数据、或者由该高分辨率图像数据表示的图像，该拍摄图像处理系统的特征在于，上述便携终端装置具备：对同一拍摄对象物连续进行多次拍摄的拍摄部；对拍摄时的上述便携终端装置相对于上述拍摄对象物的位置变化进行检测的移动检测部；将通过上述拍摄部的连续多次拍摄所获得的多个拍摄图像数据、以及与针对该多个拍摄图像数据的各个由上述移动检测部所检测到的位置变化相关的移动信息发送给上述图像输出装置的发送部，上述图像输出装置具备：接收从上述便携终端装置发送的上述多个拍摄图像数据、以及上述移动信息的接收部；基于上述接收部接收到的移动信息来执行对位处理的对位处理部，该对位处理是指以使上述接收部接收到的多个拍摄图像数据各个中的拍摄对象物的位置进行对合的方式进行该拍摄图像数据的坐标变换；使用由上述对位处理部进行了坐标变换的多个拍摄图像数据，生成高于该拍摄图像数据的分辨率的高分辨率图像数据的超分辨率处理部；输出由上述超分辨率处理部生成的高分辨率图像数据、或者由该高分辨率图像数据表示的图像的输出部。

另外，本实施方式的拍摄图像处理系统的控制方法，其中，上述拍摄图像处理系统具备便携终端装置和图像输出装置，上述便携终端装置将所拍摄的多个拍摄图像数据发送给上述图像输出装置，上述图像输出装置输出从接收到的该多个拍摄图像数据生成的高分辨率图像数据、或者由该高分辨率图像数据表示的图像，所述拍摄图像处理系统的控制方法的特征在于，上述便携终端装置执行：对同一拍摄对象物连续进行多次拍摄的拍摄步骤；对拍摄时的上述便携终端装置相对于上述拍摄对象物的位置变化进行检测的移动检测步骤；将通过在上述拍摄步骤连续多次拍摄所获得的多个拍摄图像数据、以及与针对该多个拍摄图像数据的各个在上述移动检测步骤中检测到的位置变化相关的移动信息发送给上述图像输出装置的发送步骤，上述图像输出装置执行：接收从上述便携终端装置发送的上述多个拍摄图像数据、以及上述移动信息的接收步骤；基于上述接收步骤中接收到的移动信息来执行对位处理的对位处理步骤，其中该对位处理是指以使上述接收步骤中接收到的多个拍摄图像数据各个中的拍摄对象物的位置进行对合的方式进行该拍摄图像数据的坐标变换；使用在上述对位处理步骤进行了坐标变换的多个拍摄图像数据，生成高于该拍摄图像数据的分辨率的高分辨率图像数据的超分辨率处理步骤；输出在上述超分辨率处理步骤中生成的高分辨率图像数据、或者由该高分辨率图像数据表示的图像的输出步骤。

根据上述实施方式，便携终端装置通过发送部向图像输出装置发送由拍摄部拍摄的多个拍摄图像数据、以及与由上述移动检测部检测到的该多个拍摄图像数据各个在拍摄时的便携终端装置的位置变化相关的移动信息。

另外，图像输出装置通过接收部接收从便携终端装置发送的多个拍摄图像数据以及移动信息。然后，基于接收到的移动信息推定仿射变换系数并通过对位处理部来执行对位处理，其中该对位处理是指以使多个拍摄图像数据各个中的拍摄对象物的位置对合的方式进行该拍摄图像数据的坐标变换。进而，使用由该对位处理部进行了坐标变换的多个拍摄图像数据，通过超分辨率处理部生成高于该拍摄图像数据的分辨率的高分辨率图像数据。这样所生成的高分辨率图像数据、或者由该高分辨率图像数据表示的图像通过输出部而输出。

如上所述，根据上述实施方式，基于与由移动检测部检测到的位置变化相关的移动信息，对位处理部使用仿射变换系数来执行对位处理，其中该对位处理是指以使多个拍摄图像数据各个中的拍摄对象物的位置对合的方式进行该拍摄图像数据的坐标变换。因此，与以往那样使用拍摄图像数据间的相关性来进行位置对合这一处理相比，能够缩短处理时间，并且还能够使处理精度得到提高。

由此，能够实现使从多个拍摄图像数据生成高分辨率图像数据的处理速度以及处理精度得到提高的拍摄图像处理系统。

另外，在本实施方式的拍摄图像处理系统中，最好是上述移动检测部检测与上述拍摄部上的受光面相平行的两个第一轴方向以及第二轴方向的位置变化、和与该受光面相垂直的第三轴方向的位置变化，作为上述便携终端装置的位置变化。

根据上述实施方式，其构成是移动检测部检测与拍摄部上的受光面相平行的两个第一轴方向以及第二轴方向的位置变化和与该受光面相垂直的第三轴方向的位置变化、亦即便携终端装置的三维方向的位置变化，作为便携终端装置的位置变化。

由此，由于基于与便携终端装置的三维方向的位置变化相关的移动信息并从多个拍摄图像数据生成高分辨率的图像数据，所以能够使处理精度得到提高。

另外，在本实施方式的拍摄图像处理系统中，最好是上述移动检测部检上述第一到第三轴方向的移动速度、以上述第三轴方向为中心的旋转角速度、上述第一到第三轴方向的加速度、以及以上述第三轴方向为中心的旋转角加速度的至少之一，作为上述便携终端装置的位置变化。

根据上述实施方式，由于其构成是移动检测部检测第一到第三轴方向的移动速度、以第三轴方向为中心的旋转角速度、第一到第三轴方向的加速度、以及以上述第三轴方向为中心的旋转角加速度的至少之一，作为便携终端装置的位置变化，所以能够容易地检测拍摄时的便携终端装置的位置变化。

由此，能够使从多个拍摄图像数据生成高分辨率图像数据的处理速度得到提高。

另外，在本实施方式的拍摄图像处理系统中，最好是上述便携终端装置还具备图像选择部，该图像选择部基于上述移动检测部检测到的位置变化，从通过上述拍摄部的连续拍摄所获得的多个拍摄图像数据之中，选择包含拍摄时的移动速度最小的拍摄图像数据在内的2个以上规定数量的拍摄图像数据，上述发送部将由上述图像选择部选择的规定数量的拍摄图像数据、以及与该规定数量的拍摄图像数据的各个相对应的上述移动信息发送给上述图像输出装置。

根据上述实施方式，其构成是便携终端装置具备图像选择部，该图像选择部基于移动检测部检测的位置变化，从通过拍摄部的连续拍摄所获得的多个拍摄图像数据之中，选择包含拍摄时的移动速度最小的拍摄图像数据在内的2个以上规定数量的拍摄图像数据。然后，便携终端装置将由图像选择部选择的规定数量(2个以上)的拍摄图像数据发送给图像输出装置。

由此，能够使图像输出装置中的处理负担得以减轻，并且还能够缩短利用发送部的拍摄图像数据的发送时间。

另外，在本实施方式的拍摄图像处理系统中，最好是上述图像输出装置还具备图像选择部，该图像选择部基于上述接收部接收到的移动信息，从上述接收部接收到的多个拍摄图像数据之中，选择包含拍摄时的上述便携终端装置的移动速度最小的拍摄图像数据在内的2个以上规定数量的拍摄图像数据，上述对位处理部对由上述图像选择部选择的规定数量的拍摄图像数据执行上述对位处理，上述超分辨率处理部使用执行了上述对位处理的上述规定数量的拍摄图像数据，生成上述高分辨率图像数据。

根据上述实施方式，其构成是图像输出装置还具备图像选择部，该图像选择部基于移动检测部检测到的位置变化，从通过拍摄部的连续拍摄所获得的多个拍摄图像数据之中，选择包含拍摄时的移动速度最小的拍摄图像数据在内的2个以上规定数量的拍摄图像数据。

由此，由于能够使便携终端装置之功能得以简化，所以能够实现便携终端装置的小型化以及轻量化。

另外，在本实施方式的拍摄图像处理系统中，最好是上述图像选择部选择拍摄时的移动速度较小的上述规定数量的拍摄图像数据。

根据上述实施方式，由于其构成是通过图像选择部来选择拍摄时的移动速度较小的规定数量的拍摄图像数据，所以图像抖动相对较少的拍摄图像数据优先被选择。然后，对位处理部以及超分辨率处理部对图像抖动相对较少的拍摄图像数据执行规定的处理。

由此，能够使从多个拍摄图像数据生成高分辨率图像数据的处理精度得到提高。

另外，在本实施方式的拍摄图像处理系统中，最好是上述发送部将由上述图像选择部选择的上述规定数量的拍摄图像数据之中拍摄时的上述便携终端装置的移动速度最小的拍摄图像数据作为基准图像，并针对各拍摄图像数据，将从上述基准图像拍摄时到该拍摄图像数据拍摄时这一期间的上述便携终端装置的移动距离包含在上述移动信息中。

根据上述实施方式，其构成是发送部将由图像选择部选择的规定数量的拍摄图像数据之中拍摄时的便携终端装置的移动速度最小的拍摄图像数据作为基准图像，并针对各拍摄图像数据，将从基准图像拍摄时到该拍摄图像数据拍摄时这一期间的便携终端装置的移动距离包含在内发送给图像输出装置。因此，对位处理部能够针对各拍摄图像数据，基于从基准图像拍摄时到该拍摄图像数据拍摄时这一期间的便携终端装置的移动距离来执行对位处理。

由此，能够缩短各拍摄图像数据间的对位处理的时间。

另外，在本实施方式的拍摄图像处理系统中，最好是上述移动检测部检测与上述拍摄部上的受光面相平行的两个第一轴方向以及第二轴方向的上述便携终端装置的移动速度、与该受光面相垂直的第三轴方向的上述便携终端装置的移动速度、从规定的基准时间算起的经过时间，作为上述便携终端装置的位置变化，上述发送部包含表示上述移动检测部检测到的移动速度以及经过时间的信息，作为上述移动信息。

根据上述实施方式，其构成是移动检测部检测与拍摄部上的受光面相平行的两个第一轴方向以及第二轴方向的便携终端装置的移动速度、与该受光面相垂直的第三轴方向的便携终端装置的移动速度、从规定的基准时间算起的经过时间，作为便携终端装置的位置变化。另外，发送部将便携终端装置的位置变化原封不动作为移动信息发送给图像输出装置。因此，便携终端装置仅仅将移动检测部的检测结果和拍摄图像数据关联起来发送给图像输出装置即可。

由此，能够简化便携终端装置的功能，以实现便携终端装置的小型化、轻量化。

另外，在本实施方式的拍摄图像处理系统中，最好是上述移动检测部还进一步检测以上述第三轴方向为中心的旋转角速度，发送部在上述移动信息中包含表示上述移动检测部检测到的角速度的信息。

根据上述实施方式，其构成是移动检测部还进一步检测以第三轴方向为中心的旋转角速度，发送部将包含角速度在内的移动信息发送给图像输出装置。

由此，能够简化便携终端装置的功能以实现便携终端装置的小型化、轻量化，并且还能够使从多个拍摄图像数据生成高分辨率图像数据的处理精度得到提高。

另外，在本实施方式的拍摄图像处理系统中，最好是上述发送部按照用户输入选择第一信息和第二信息中任一个，并将所选择的信息作为上述移动信息，其中(1)第一信息表示与上述拍摄部上的受光面相平行的两个第一轴方向以及第二轴方向的上述便携终端装置的移动速度、与该受光面相垂直的第三轴方向的上述便携终端装置的移动速度、从规定的基准时间算起的经过时间；(2)第二信息表示从规定的基准时间算起的上述便携终端装置的上述第一到第三轴方向的移动距离。

根据上述实施方式，其构成是用户可适宜选择(1)第一信息，其表示与拍摄部上的受光面相平行的两个第一轴方向以及第二轴方向的便携终端装置的移动速度、与该受光面相垂直的第三轴方向的上述便携终端装置的移动速度、从规定的基准时间算起的经过时间；(2)第二信息，其表示从规定的基准时间算起的便携终端装置的第一到第三轴方向的移动距离。

由此，能够根据依照便携终端装置的处理能力及拍摄图像数据的容量等，使拍摄图像处理系统执行恰当的处理。

另外，在本实施方式的拍摄图像处理系统中，最好是发送部在第一信息中包含表示以第三轴方向为中心的旋转角速度的信息，在第二信息中包含表示从基准时间算起的便携终端装置的以上述第三轴方向为中心的旋转角度的信息。

根据上述实施方式，由于其构成是在第一信息中包含表示以第三轴方向为中心的旋转角速度的信息，另外，在第二信息之中包含表示从基准时间算起的便携终端装置的以第三轴方向为中心的旋转角度的信息，所以检测便携终端装置的以第三轴方向为中心的旋转所引起的位置变化并作为移动信息。

由此，能够根据便携终端装置的处理能力及拍摄图像数据的容量等，使拍摄图像处理系统执行更恰当的处理，并且还能够使从多个拍摄图像数据生成高分辨率图像数据的处理精度得到提高。能够实现拍摄图像处理系统。

另外，还可以用计算机来实现本实施方式的控制装置中所含的各部分，在此情况下，使计算机作为上述控制装置中所包含的各部分而发挥作用的控制程序、记录了该控制程序的计算机可读取的记录介质亦属于本实施方式的范畴。

本发明并非限定于上述实施方式，在权利要求书所示的范围内可进行各种各样的变更，关于将在不同的实施方式中分别披露的技术手段适宜组合起来所获得的实施方式亦包含在本发明的技术范围中。

【产业上的可利用性】

本发明能够应用于在便携终端装置和图像输出装置之间进行数据通信的拍摄图像处理系统。

Claims (14)

1.一种拍摄图像处理系统，具备便携终端装置和图像输出装置，

上述便携终端装置将所拍摄的多个拍摄图像数据发送给上述图像输出装置，

上述图像输出装置输出从接收到的该多个拍摄图像数据生成的高分辨率图像数据、或者由该高分辨率图像数据表示的图像，该拍摄图像处理系统的特征在于，

上述便携终端装置具备：

拍摄部，其对同一拍摄对象物连续进行多次拍摄；

移动检测部，其对拍摄时的上述便携终端装置相对于上述拍摄对象物的位置变化进行检测；

发送部，其将通过上述拍摄部的连续多次拍摄所获得的多个拍摄图像数据、以及与针对该多个拍摄图像数据的各个由上述移动检测部检测到的位置变化相关的移动信息发送给上述图像输出装置，

上述图像输出装置具备：

接收部，其接收从上述便携终端装置发送的上述多个拍摄图像数据、以及上述移动信息；

对位处理部，其基于上述接收部接收到的移动信息来执行对位处理，该对位处理是指以使上述接收部接收到的多个拍摄图像数据各个中的拍摄对象物的位置进行对合的方式进行该拍摄图像数据的坐标变换；

超分辨率处理部，其使用由上述对位处理部进行了坐标变换的多个拍摄图像数据，生成高于该拍摄图像数据的分辨率的高分辨率图像数据；

输出部，其输出由上述超分辨率处理部生成的高分辨率图像数据、或者由该高分辨率图像数据表示的图像。

2.根据权利要求1所述的拍摄图像处理系统，其特征在于：上述移动检测部检测与上述拍摄部上的受光面相平行的两个第一轴方向以及第二轴方向的位置变化、和与该受光面相垂直的第三轴方向的位置变化，作为上述便携终端装置的位置变化。

3.根据权利要求2所述的拍摄图像处理系统，其特征在于：上述移动检测部检测上述第一到第三轴方向的移动速度、以上述第三轴方向为中心的旋转角速度、上述第一到第三轴方向的加速度、以及以上述第三轴方向为中心的旋转角加速度的至少之一，作为上述便携终端装置的位置变化。

4.根据权利要求1～3中任意一项所述的拍摄图像处理系统，其特征在于：

上述便携终端装置还具备图像选择部，该图像选择部基于上述移动检测部检测到的位置变化，从通过上述拍摄部的连续拍摄所获得的多个拍摄图像数据之中，选择包含拍摄时的移动速度最小的拍摄图像数据在内的2个以上规定数量的拍摄图像数据，

上述发送部将由上述图像选择部选择的规定数量的拍摄图像数据、以及与该规定数量的拍摄图像数据的各个相对应的上述移动信息发送给上述图像输出装置。

5.根据权利要求1～3中任意一项所述的拍摄图像处理系统，其特征在于：

上述图像输出装置还具备图像选择部，该图像选择部基于上述接收部接收到的移动信息，从上述接收部接收到的多个拍摄图像数据之中，选择包含拍摄时的上述便携终端装置的移动速度最小的拍摄图像数据在内的2个以上规定数量的拍摄图像数据，

上述对位处理部对由上述图像选择部选择的规定数量的拍摄图像数据执行上述对位处理，

上述超分辨率处理部使用执行了上述对位处理的上述规定数量的拍摄图像数据，生成上述高分辨率图像数据。

6.根据权利要求4所述的拍摄图像处理系统，其特征在于：上述图像选择部选择拍摄时的移动速度较小的上述规定数量的拍摄图像数据。

7.根据权利要求4所述的拍摄图像处理系统，其特征在于：上述发送部将由上述图像选择部选择的上述规定数量的拍摄图像数据之中拍摄时的上述便携终端装置的移动速度最小的拍摄图像数据作为基准图像，并针对各拍摄图像数据，将从上述基准图像拍摄时到该拍摄图像数据拍摄时这一期间的上述便携终端装置的移动距离包含在上述移动信息中。

8.根据权利要求1所述的拍摄图像处理系统，其特征在于：

上述移动检测部检测与上述拍摄部上的受光面相平行的两个第一轴方向以及第二轴方向的上述便携终端装置的移动速度、与该受光面相垂直的第三轴方向的上述便携终端装置的移动速度、从规定的基准时间算起的经过时间，作为上述便携终端装置的位置变化，

上述发送部包含表示上述移动检测部检测到的移动速度以及经过时间的信息，作为上述移动信息。

9.根据权利要求8所述的拍摄图像处理系统，其特征在于：

上述移动检测部还进一步检测以上述第三轴方向为中心的旋转角速度，

上述发送部在上述移动信息中包含表示上述移动检测部检测到的角速度的信息。

10.根据权利要求1所述的拍摄图像处理系统，其特征在于：上述发送部按照用户输入选择第一信息和第二信息中的任一个，并将所选择的信息作为上述移动信息，其中，该第一信息表示与上述拍摄部上的受光面相平行的两个第一轴方向以及第二轴方向的上述便携终端装置的移动速度、与该受光面相垂直的第三轴方向的上述便携终端装置的移动速度、从规定的基准时算起的经过时间，该第二信息表示从规定的基准时间算起的上述便携终端装置的上述第一到第三轴方向的移动距离。

11.根据权利要求10所述的拍摄图像处理系统，其特征在于：上述发送部在上述第一信息之中包含表示以上述第三轴方向为中心的旋转角速度的信息，在上述第二信息之中包含表示从上述基准时间算起的便携终端装置的以上述第三轴方向为中心的旋转角度的信息。

12.一种拍摄图像处理系统的控制方法，该拍摄图像处理系统具备便携终端装置和图像输出装置，

上述便携终端装置将所拍摄的多个拍摄图像数据发送给上述图像输出装置，

上述图像输出装置输出从接收到的该多个拍摄图像数据生成的高分辨率图像数据、或者由该高分辨率图像数据表示的图像，该拍摄图像处理系统的控制方法的特征在于，

上述便携终端装置执行：

拍摄步骤，对同一拍摄对象物连续进行多次拍摄；

移动检测步骤，检测拍摄时的上述便携终端装置相对于上述拍摄对象物的位置变化；

发送步骤，将通过在上述拍摄步骤连续多次拍摄所获得的多个拍摄图像数据、以及与针对该多个拍摄图像数据的各个在上述移动检测步骤中检测到的位置变化相关的移动信息发送给上述图像输出装置，

上述图像输出装置执行：

接收步骤，接收从上述便携终端装置发送的上述多个拍摄图像数据、以及上述移动信息；

对位处理步骤，基于在上述接收步骤中接收到的移动信息来执行对位处理，该对位处理是指以使在上述接收步骤中接收到的多个拍摄图像数据各个中的拍摄对象物的位置进行对合的方式进行该拍摄图像数据的坐标变换；

超分辨率处理步骤，使用在上述对位处理步骤进行了坐标变换的多个拍摄图像数据，生成高于该拍摄图像数据的分辨率的高分辨率图像数据；

输出步骤，输出在上述超分辨率处理步骤中生成的高分辨率图像数据、或者由该高分辨率图像数据表示的图像。

13.一种便携终端装置，能够与图像输出装置进行通信，该图像输出装置输出从接收到的多个拍摄图像数据生成的高分辨率图像数据、或者由该高分辨率图像数据表示的图像，该便携终端装置的特征在于，具备：

拍摄部，其对同一拍摄对象物连续进行多次拍摄；

移动检测部，其对拍摄时的相对于上述拍摄对象物的位置变化进行检测；

发送部，其将通过上述拍摄部的连续多次拍摄所获得的多个拍摄图像数据、以及与针对该多个拍摄图像数据的各个由上述移动检测部检测到的位置变化相关的移动信息发送给上述图像输出装置，

上述移动检测部，检测与上述拍摄部上的受光面相平行的两个第一轴方向以及第二轴方向的位置变化、和与该受光面相垂直的第三轴方向的位置变化，作为位置变化。

14.一种图像输出装置，输出根据从便携终端装置发送的多个拍摄图像数据生成的高分辨率图像数据、或者由该高分辨率图像数据表示的图像，该图像输出装置的特征在于，

接收部，其接收从上述便携终端装置发送的上述多个拍摄图像数据、以及与拍摄时的上述便携终端装置相对于拍摄对象物的位置变化相关的移动信息；

对位处理部，其基于上述接收部接收到的移动信息来执行对位处理，该对位处理是指以使上述接收部接收到的多个拍摄图像数据各个中的拍摄对象物的位置进行对合的方式进行该拍摄图像数据的坐标变换；

超分辨率处理部，其使用由上述对位处理部进行了坐标变换的多个拍摄图像数据，生成高于该拍摄图像数据的分辨率的高分辨率图像数据；

输出部，其输出由上述超分辨率处理部生成的高分辨率图像数据、或者由该高分辨率图像数据表示的图像。

Images