CN102025809B - 便携终端装置及其控制方法、图像输出装置和方法 - Google Patents

便携终端装置及其控制方法、图像输出装置和方法 Download PDF

Info

Publication number
CN102025809B
CN102025809B CN201010287143.7A CN201010287143A CN102025809B CN 102025809 B CN102025809 B CN 102025809B CN 201010287143 A CN201010287143 A CN 201010287143A CN 102025809 B CN102025809 B CN 102025809B
Authority
CN
China
Prior art keywords
mentioned
pixel
captured image
image data
photographic images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010287143.7A
Other languages
English (en)
Other versions
CN102025809A (zh
Inventor
大西英树
早崎真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN102025809A publication Critical patent/CN102025809A/zh
Application granted granted Critical
Publication of CN102025809B publication Critical patent/CN102025809B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00347—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with another still picture apparatus, e.g. hybrid still picture apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0082—Image hardcopy reproducer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明提供一种便携终端装置、图像输出装置、拍摄图像处理系统、便携终端装置的控制方法以及图像输出方法。根据本发明，能够实现用户比以往更容易地获得遍及整个图像没有发白、发黑的拍摄图像的图像数据。便携终端装置(100)具备：拍摄部(120)，其能够对同一拍摄对象物连续拍摄多次；拍摄图像判断部(130)，其判断通过拍摄得到的拍摄图像数据表示的图像中是否包含发白、发黑，在拍摄图像判断部(130)判断为存在发白、发黑的情况下，拍摄部(120)以与为了得到拍摄图像数据而进行的拍摄中的曝光条件不同的多种曝光条件来连续拍摄上述拍摄对象物，通信部(150)向图像输出装置(500)发送所得到的拍摄图像数据。

Description

便携终端装置及其控制方法、图像输出装置和方法
技术领域
本发明涉及自动调节拍摄条件来进行拍摄的便携终端装置、图像输出装置、便携终端装置的控制方法以及图像输出方法。
背景技术
随着因特网技术的发展、便携电话等的移动设备的多功能化，利用带摄像头的便携电话等移动设备来进行拍摄的机会逐渐增多。另外，不仅单纯以风景、人物等作为被摄体，而且拍摄在各种展示会等上所展示的记载有说明图、说明书的展板，或者在学会等中拍摄幻灯片的机会逐渐增多。
为了便于到场者观看，在各种展示会等上所展示的、记载有说明图、说明文的展板等，有时会照射聚光灯等的光。在用光照射被摄体的情况下，拍摄者通常没有特别感觉到暗或亮，判断为可以没有问题地拍摄并进行拍摄。但是，通过包括专利文献1记载的数码相机在内的一般的照相机来观看拍摄到的图像时，存在局部照射到聚光灯等的光的、亮处的亮度和没有照射到光的、暗处的亮度的差异非常大的情况。
在该情况下，如果以暗处的可见性得到改善的方式匹配曝光条件(增益、光圈等)，则存在导致亮处发白的情况增多。相反，以亮处的可见性得到改善的方式匹配曝光条件，则存在导致暗处发黑的情况增多。因此，除非具有高度的照相机性能和知识，则难以拍摄成遍及一张拍摄图像的整个区域上具有良好的可见性、判别性。
为了改善拍摄图像的质量而进行过各种研究，作为其中之一有专利文献2中公开的拍摄装置。该拍摄装置的特征在于，通过比较闪光灯不进行测试发光就进行拍摄而获得的静止图像数据、和进行测试发光后进行拍摄而获得的静止图像来抽取被摄体的位置信息，并对表示该位置信息的区域以适当的发光量使散光灯发光并进行拍摄，由此获得最终的拍摄图像。
[专利文献1]日本国公开特许公报[特开2002-41502号公报](2002年2月8日公开)
[专利文献2]日本国公开特许公报[特开2007-336011号公报](2007年12月27日公开)
然而，即使是上述以往的结构，也依然没有解决如下问题，即在对聚光灯等的光照射到局部的被摄体进行拍摄的情况下，拍摄图像上产生发白、发黑的任一种的可能性较高，难以确保拍摄图像整体的良好的可见性。
发明内容
本发明是鉴于上述问题点而做出的，其主要目的在于实现一种用户能够比以往更容易地获得遍及图像整体上不存在发白、发黑的拍摄图像的图像数据的便携终端装置。
为了解决上述问题，本发明的便携终端装置具备发送部，该发送部对输出图像数据的图像输出装置发送多个图像数据，该便携终端装置具备：拍摄部，其能够对同一拍摄对象物连续拍摄多次；以及拍摄图像判断部，其判断通过由上述拍摄部进行拍摄而得到的拍摄图像数据是否满足规定条件，在通过上述拍摄图像判断部被判断为满足上述规定条件的情况下，上述拍摄部以与为了得到上述拍摄图像数据而进行的拍摄中的曝光条件不同的多种曝光条件来连续拍摄上述拍摄对象物，上述发送部将以上述不同的多种曝光条件拍摄上述拍摄对象物所得到的拍摄图像数据向上述图像输出装置发送。其中，上述规定条件至少包括以下条件A。
条件A：在上述拍摄图像数据表示的拍摄图像中，在由表示亮度的特征量在第一阈值以上的白色像素构成的白色像素组区域周围的规定范围区域中，包含小于上述第一阈值的第二阈值以上的白色像素，或者，在由上述特征量在第三阈值以下的黑色像素构成的黑色像素组区域周围的规定范围区域中，包含大于上述第三阈值的第四阈值以下的黑色像素。
根据上述结构，在拍摄图像中、由第一阈值以上的白色像素构成的白色像素组区域周围的规定范围区域中包含小于上述第一阈值的第二阈值以上的白色像素或者在由第三阈值以下的黑色像素构成的黑色像素组区域周围的规定范围区域中包含大于上述第三阈值的第四阈值以下的黑色像素的情况下，便携终端装置以不同的多种曝光条件来拍摄同一拍摄对象物。例如，在拍摄图像中、在从由像素值250以上的白色像素构成的白色像素组区域的边界横竖加起来五个点(像素)以内的区域中包含像素值为240以上小于250的像素的情况下，便携终端装置以不同的多种曝光条件来拍摄同一拍摄对象物。
即，在拍摄图像中可能包含发白、发黑的情况下，以不同的多种曝光条件来拍摄同一拍摄对象物。
在此，清楚的是，不管用户的摄影技术的好坏，只要以不同的多个曝光条件进行拍摄的话，则所得到的多个拍摄图像中包含遍及整个图像不存在发白、发黑的拍摄图像的可能性较高。
因此，便携终端装置起到使用户比以往更容易地得到遍及整个图像不存在发白、发黑的拍摄图像的图像数据的效果。
为了解决上述问题，本发明的控制方法是便携终端装置的控制方法，其中，该便携终端装置具备：向输出图像数据的图像输出装置发送多个图像数据的发送部；以及拍摄部，其能够对同一拍摄对象物连续拍摄多次，该控制方法的特征在于，包括：拍摄图像判断步骤，在该拍摄图像判断步骤中，拍摄图像判断部判断通过由上述拍摄部进行拍摄而得到的拍摄图像数据是否满足规定条件；拍摄步骤，在该拍摄步骤中，在通过上述拍摄图像判断部被判断为满足上述规定条件的情况下，上述拍摄部以与为了得到上述拍摄图像数据而进行的拍摄中的曝光条件不同的多种曝光条件来连续拍摄上述拍摄对象物；发送步骤，在该发送步骤中，上述发送部将以上述不同的多种曝光条件拍摄上述拍摄对象物而得到的拍摄图像数据向上述图像输出装置发送。其中，上述规定条件至少包括以下条件A。
条件A：在上述拍摄图像数据表示的拍摄图像中，在由表示亮度的特征量在第一阈值以上的白色像素构成的白色像素组区域周围的规定范围区域中，包含小于上述第一阈值的第二阈值以上的白色像素，或者，在由上述特征量在第三阈值以下的黑色像素构成的黑色像素组区域周围的规定范围区域中，包含大于上述第三阈值的第四阈值以下的黑色像素。
通过上述结构，起到与本发明的便携终端装置相同的作用效果。
关于本发明的其他的目的、特征以及优点，可以通过以下的记载能够充分理解。另外，关于本发明的优点，通过参照附图进行的以下说明将变得更明白。
本发明的便携终端装置达到用户比以往能够更容易地获得遍及图像整体不存在发白、发黑的拍摄图像的图像数据的效果。
附图说明
图1是表示构成本发明的拍摄图像处理系统的便携终端装置的结构的框图；
图2是表示本发明的一个实施方式涉及的拍摄图像处理系统的整体结构的图；
图3是表示本发明的便携终端装置的拍摄图像处理的一例的流程图；
图4是表示在本发明的便携终端装置的拍摄图像处理中进行的发白发黑判断处理的流程图；
图5表示本发明的拍摄图像处理方法中的图像倾斜度检测例；
图6表示图5的倾斜度检测例中的倾斜角度θ和其正切值；
图7表示图像的几何变形的检测例；
图8表示图像对象物的边缘检测处理例；
图9表示图像的光栅方向的边缘检测例；
图10是表示本发明的图像处理装置中进行的图像的偏离度检测中使用的一阶微分滤波器的例子；
图11是表示本发明的便携终端装置的图像处理的另一例的流程图；
图12是表示本发明的图像输出装置的结构的框图；
图13是表示本发明的图像输出装置的拍摄图像处理的流程图；
图14是表示图像的重构像素值的决定例；
图15是表示图像的透镜变形的补偿例；
图16是表示图像的几何变形的补偿例；
图17是表示检测图像的色彩平衡时的查找表的一例；
图18(a)是表示边缘方向为左上-右下方向时的插补像素的像素值的计算方法的图；
图18(b)是表示边缘方向为左-右方向时的插补像素的像素值的计算方法的图；
图18(c)是表示边缘方向为右上-左下方向时的插补像素的像素值的计算方法的图；
图18(d)是表示边缘方向为上-下方向时的插补像素的像素值的计算方法的图；
图19是表示本发明的图像输出装置的拍摄图像处理中进行的超分辨率处理的一例的流程图；
图20是表示本发明的图像输出装置的图像处理部的详细的框图；
图21是表示拍摄图像和便携终端装置的拍摄图像判断部为了判断拍摄图像是否为恰当的图像而生成的二值图像的图。其中，(a)以及(b)表示拍摄图像，(c)～(h)表示二值图像。
其中附图标记说明如下：
100便携终端装置，110控制部(显示控制部、指示受理控制部、记录控制部)，120拍摄部，130拍摄图像判断部，140图像处理部，150通信部(发送部)，160存储部，170显示部，180输入部，190存储介质访问部，500图像输出装置，510控制部，520图像读取部，530图像处理部，531画质调节部，532几何补偿部，533透镜变形补偿部，534超分辨率处理部(补偿处理部)，535图像补偿部，540认证部，550图像形成部，560显示部，570存储部，580输入部，590第一通信部(通信部)，600第二通信部(输出部)，610存储介质访问部。
具体实施方式
(1)拍摄图像处理系统的整体结构
本发明的一个实施方式涉及的拍摄图像处理系统具备：带摄像头的便携电话、具备数字静态照相机(digital still camera)等具备拍摄装置的便携终端装置100、以及复合机、打印机(图像形成装置)等的图像输出装置(MFP)500。
便携终端装置100是被用户携带的装置。用户在各种场合能够通过便携终端装置100来拍摄(以下，所谓“拍摄”是指将以对象物作为被摄体来捕捉并进行读入的图像数据保存到存储介质中，或者经由通信部发送到外部等，设为用户能够获取图像数据的状态)对象物。对于通过便携终端装置100读入的图像实施图像判断处理，该图像判断处理为判断是否为未产生发白、发黑的适当的图像的处理。然后，在被判断为不适当的情况下，便携终端装置100以各自不同的曝光条件对对象物进行多次拍摄。
便携终端装置100与图像输出装置500能够进行通信，便携终端装置100对于通过上述多次拍摄而得到的拍摄图像的各个，将图像数据(以下，称为拍摄图像数据)发送给图像输出装置500。
图像输出装置500，对于从便携终端装置100接收的各拍摄图像数据，进行提高分辨率的超分辨率补偿，其结果，从所生成的多个图像数据中选择曝光过度或者曝光不足的区域较少的图像数据。
此外，在本实施方式中，便携终端装置100具有文档拍摄模式的功能，该文档拍摄模式是从图像输出装置500能够得到具有高于通过拍摄所得到的图像数据的分辨率的较高分辨率的图像数据的拍摄模式。而且，便携终端装置100具备当按下一次未图示的快门按钮时能够拍摄多张(2张至15张左右：依赖于图像分辨率)的模式(多张拍摄模式)，当选择文档拍摄模式时，多张拍摄模式自动地变成有效。
在本实施方式中设为：在拍摄如原稿、幻灯片等矩形的拍摄对象物并希望得到比拍摄图像高的分辨率的图像的情况下，用户选择文档拍摄模式。
另外，用户不一定总是能够从正面拍摄作为矩形拍摄对象物的、原稿、展板、幻灯片等。即，存在用户在拍摄对象物的记载有文章的矩形平面的法线方向和拍摄装置的拍摄方向不一致的状态下，从斜方向拍摄拍摄对象物的情况。在该情况下，在所拍摄到的图像中，在拍摄对象物上产生变形(以下，称为几何变形)。在本实施方式中，构成为：在选择了上述文档拍摄模式的情况下，图像输出装置500在这种几何变形也得到了补偿的状态下进行图像输出。
作为在图像输出装置500中执行的输出处理，存在图像印刷处理、归档处理、邮件发送处理等，其中，该图像印刷处理是基于进行了高分辨率化的拍摄图像数据进行的处理，该归档处理是将进行了高分辨率化的拍摄图像数据存储到服务器、USB存储器等存储装置中的处理，该邮件发送处理是将进行了高分辨率化的拍摄图像数据附加到电子邮件中并进行发送的处理。
此外，作为便携终端装置100和图像输出装置500的通信方式存在如下方式，即：基于IrSimple等的红外线通信标准的某一种的无线通信方式、通过如Felica(注册商标)这样的非接触无线通信，从便携终端装置100向中继装置300暂时发送拍摄图像数据，之后，例如使用像Bluetooth(注册商标)这样的无线通信，从中继装置300向图像输出装置500转送数据的方式。此外，关于便携终端装置100和图像输出装置500之间的通信方式，并不限定于此，可以适用使用公知的通信方法的通信方式。
(2)便携终端装置的结构
首先，根据图1至图10、图21，说明本实施方式涉及的便携终端装置100。
图1是表示便携终端装置100的结构的框图。如图1所示，便携终端装置100具备控制部110、拍摄部120、拍摄图像判断部130、图像处理部140、通信部150、存储部160、显示部170、输入部180、存储介质访问部190。
拍摄部120是使用CCD传感器、CMOS传感器读入拍摄对象物的图像的装置。拍摄部120以预先设定的分辨率读入拍摄对象物的图像。此外，拍摄部120当按下一次快门按钮时进行多次拍摄。此外，按下快门按钮后所得到的多个拍摄图像数据成为向图像输出装置500发送的对象。
拍摄图像判断部130是在选择了文档拍摄模式时如果检测出快门按钮的按下，则判断通过拍摄所得到的一个或多个拍摄图像数据是否为未产生发白、发黑的适当的图像数据的装置。或者，拍摄图像判定部130也可以将判断是否为未产生发白、发黑的适当的图像数据的对象的图像数据设为已经由拍摄部120取入的一个或者多个浏览图像的图像数据。拍摄图像判断部130将判断据结果输出给控制部110。关于拍摄图像判断部130中的具体处理，将在后面叙述。
图像处理部140是对由拍摄部120取入的图像数据至少进行A/D转换处理的装置。
通信部150是具有基于USB(Universal Serial Bus：通用串行总线)1.1或者USB2.0的标准的、串行传输/并行传输、无线数据通信功能的装置。通信部150将在图像处理部140中实施了A/D转换处理的拍摄图像数据向图像输出装置500发送。
存储部160是存储用于进行便携终端装置100的各处理的程序、便携终端装置的机种信息、用户信息、进行处理时所需的数据的装置。此外，所谓用户信息是指识别便携终端装置的用户的信息，例如，用户ID以及密码等。
显示部170是例如由液晶显示器等构成的装置。另外，输入部180具有多个按钮，并用于用户进行数据输入的装置。
另外，存储介质访问部190是从存储有用于进行便携终端装置100的各处理的程序的存储介质1000读出程序的装置。
控制部100是进行便携终端装置100的各部的控制的装置。控制部110对通过按下快门按钮之后的拍摄所得到的拍摄图像数据附加文件名、存储在存储部160中的便携终端装置100的机种信息和用户信息以及输出处理信息，使通信部150执行向图像输出装置500的发送处理。
(3)关于拍摄图像判断部的处理
接着，说明便携终端装置100的拍摄图像判断部130中的具体的处理执行条件的判断处理。
(3-1)倾斜度判断
如上所述，在希望拍摄像如原稿这样的矩形的拍摄对象物而得到高分辨率的图像的情况下，用户选择文档拍摄模式。因此，假设拍摄对象为矩形，则拍摄图像判断部130通过检测出拍摄图像数据中的拍摄对象物(以下，称为拍摄对象像)的边缘，来检测出相对拍摄图像的拍摄对象像的倾斜度。此外，作为检测拍摄图像数据表示的拍摄图像中的拍摄对象像的边缘上的像素的方法，可以使用以往所公开的方法。另外，为了防止将背景中的边缘误判断为拍摄对象像的边缘，也可以只检测规定长度以上的边缘作为拍摄对象像的边缘。在该情况下，所谓规定长度，例如可以设定为表示拍摄图像数据的拍摄图像的一端的边长度的80％左右的长度。另外，也可以让用户从通过这种方法检测出的边缘中选择拍摄对象像的边缘。作为这种检测方法，例如可以使用记载在日本国特许公开公报[特开2006-237757号公报]中的技术。
然后，拍摄图像判断部130选择所检测出的拍摄对象像的边缘上的两点。例如，如图5所示，选择从将表示拍摄图像数据的拍摄图像进行左右二等分的垂直线向左右横向分别仅离开w/2的、原稿图像的边缘上的两点11、12。接着，对所选择的两点11、12的各个，求出与表示拍摄图像数据的拍摄图像的端边之间的距离d1、d2，而能够求出在拍摄图像中的原稿图像的倾斜度。在如图5的情况下，如果设倾斜角度为θ，则tanθ＝(d2-d1)/w。因此，拍摄图像判断部130计算出(d2-d1)/w的值，从预先制作的表(参照图6)等读取与该值相当的角度θ。
然后，拍摄图像判断部130判断所检测出的角度θ是否在规定范围内(例如，-30°至+30°)，并将其判断结果向控制部110输出。在此，角度θ在规定范围内成为处理执行条件之一。
(3-2)几何变形的判断
几何变形是指，在从与在拍摄对象物中记载有文字的矩形平面的法线方向不同的斜方向拍摄拍摄对象物的情况下，在拍摄图像中拍摄对象像具有从矩形产生变形的形状。例如，在相对于原稿的法线方向从纸张的左下方向向斜方向拍摄的情况下，如图7所示，原稿图像成为产生变形的四边形。
如后所述，在本实施方式中，图像输出装置500具有补偿这种几何变形的功能。但是，在几何变形程度较大的情况下，即使进行了补偿，识读性也不会提高很多。因此，在本实施方式中，拍摄图像判断部130检测出表示几何变形程度的特征量，判断该特征量是否在规定范围内。
在本实施方式中，由于不一定在视角中心附近存在拍摄对象像的各边的边缘，因此以某规定间隔抽取从所有边开始的边缘，并求出表示各边缘的线段，再计算出这些的交叉点而作为拍摄对象像的区域即可。
首先，拍摄图像判断部102对于拍摄图像数据进行光栅扫描。这里，如图7所示，设光栅扫描的正向为X方向、垂直于X方向的方向为Y方向。并且，在拍摄图像中，设左上角为原点。
进行一行扫描，如果不存在边缘，则拍摄图像判断部130对沿Y方向错开规定量的下一行进行扫描。并且，行间的间隔只要固定即可，没必要一定是1个像素。
并且，拍摄图像判断部130在光栅扫描中，将最初检测到边缘像素的行设为L1(第一行)，如图8所示，将在正向上被判断为最初的边缘的点的坐标储存于第一组中，将在同一行上被判断为第二个边缘的点的坐标分类到第二组中。继续进行下一行的扫描，并进行边缘检测。并且，关于各个行Li，求出在正向上第一个被判断为拍摄对象物的边缘像素的点、与第二个被判断为拍摄对象物的边缘像素的点之间的X坐标值的差(X坐标的距离di)，并进行如下判断。
并且，将行Li中最初的边缘的X坐标设为Xi1(被分类为第一组的X坐标)，将第二个边缘的X坐标设为Xi2(被分类为第二组的X坐标)。检测方法如下。
(a)关于第一行(L1)的坐标Xi1以及Xi2，不进行变更。
(b)关于第二行以后的第i行，计算出坐标之间的距离di1(＝Xi1-X(i-1)1)以及di2(同样)。以下，为了对di1进行说明而省略下标1，但di2也同样。
(c)关于第三行以后的第i行，计算出ddi＝abs{(di)-di-1}。如果ddi≤th1(接近的较小数值)，则坐标Xi被分类为同一组。非这种情况(ddi＞th1)下，则分类为其他组(第三组或第四组)。
(d)作为初始处理，仅在i＝4时，进行用于确定X2的组的处理。如下所示。
i)dd3≤th1且dd4≤th1→X2：同一组
ii)dd3＞th1且dd4≤th1→X2：其他组
iii)dd3≤th1且dd4＞th1→X2：同一组
iv)dd3＞th1且dd4＞th1→X2：同一组
一旦转移到其他组(第三组或第四组)的情况下，没必要进行增减的确认。
对图像整体进行这种处理，并抽取出属于各组的边缘点。并且，按每个组，利用最小二乘法等对属于该组的边缘点的坐标进行直线逼近，而求出逼近属于该组的边缘点的直线。该直线相当于拍摄对象像的边。
图9是通过如上述的处理，并通过光栅扫描来抽取边缘像素，分类为四个组时的图。在图中，圆形记号表示属于第一组的边缘点，四边形记号表示属于第二组的边缘点，三角形记号表示属于第三组的边缘点，星形记号表示属于第四组的边缘点，并用虚线表示通过最小二乘法求出的属于各组的边缘像素的逼近直线。
并且，求出针对四个组求出的直线的交点(图中为交点1～4)，从而可以将由四条直线包围的区域特定为拍摄对象物的区域。
并且，也可以对旋转了90度的图像进行上述的分类处理。这样，还可以理想地抽取与图像内的水平方向/垂直方向平行地被配置的原稿的边缘。即，通过进行光栅扫描，能够在旋转前的图像中检测出垂直方向的边缘。另一方面，能够在旋转后的图像中检测出旋转前为水平方向的边缘(旋转后为垂直方向的边缘)。由此，也可以抽取平行于水平方向/垂直方向的边缘。如果旋转前有充分的信息量(在各组中例如3个点以上的交点)，则仅使用旋转前的信息即可，任意一个组的交点少于1个点的情况下，当然不能求出直线的式子，因此使用旋转后的交点即可。
或者，也可以仅将求出的交点坐标再次进行坐标变换而还原，并从各个组的分布区域求出对应的组，综合交点信息，求出直线的式子。即，由从旋转前的图像求出的交点坐标、和将从旋转后的图像求出的交点逆旋转获得的交点坐标，综合属于同一组的交点坐标，并求出直线的方程式即可。
并且，作为边缘像素的抽取方法，对于至少为1以上的像素宽度的小窗内的像素值按原样进行比较(2以上的宽度的情况下，比较和/平均值)，在邻接的值的差为规定以上的情况下，判断为边缘像素即可。此外，为了防止错误地检测出背景或拍摄对象像内的文本的边缘等，也可以只将规定长度以上的边缘检测为拍摄对象像的边缘。在该情况下，所谓规定长度例如设定为由拍摄图像数据表示的拍摄图像的一端的边长的80％左后的长度即可。或者，也可以让用户从这样检测出的边缘中选择适合作为拍摄对象像的边缘的像素。作为这种检测方法，例如，可以使用日本国特许公开公报“特开2006-237757”所述的技术。或者，也可以通过进行各个坐标组的评价、或进行用于边缘检测的处理(霍夫变换等)来防止。并且，作为预处理进行使用了缩小图像的处理，由此能够防止错误地检测出文本及细小纹理的边缘。
并且，拍摄图像判断部102，如上所示地求出四条直线及其交点时，计算由该四条直线形成的四边形的对边的长度比。该长度比从上述交点的坐标容易地求出。并且，由于对边有两组，因此拍摄图像判断部130针对于该两组分别求出长度比。
在此，在从正面拍摄拍摄对象物的记载有文档的矩形平面的情况下，由于拍摄图像中的拍摄对象像也为矩形，因此，对边长度比为1。另一方面，从斜向拍摄的情况下，由于拍摄图像中的拍摄对象像的形状为变形的四边形，因此为不同于1的值。并且，拍摄方向、与拍摄对象物的记载有文档图像的平面的法线方向所成的角度越大，该比的值与1的差越大。因此，可以说对边的长度比是表示几何变形的程度的特征量之一。
其后，拍摄图像判断部130判断所求出的两个比的双方是否在规定范围内(例如，0.5～2)，并将该判断结果输出到控制部110。这里，规定范围是在图像输出装置500中作为可补偿的范围预先设定的，并储存于存储部160中。并且，两个比的双方均在规定范围内(例如，0.5～2)是处理执行条件之一。
此外，拍摄图像判断部130可以使用包含由如上所述方式检测出的四个交点的两条直线所形成的角度等，作为表示几何变形程度的另一个特征量。
(3-3)多张图像偏移量的判断
图像输出装置500基于拍摄同一拍摄对象物而获得的多个拍摄图像数据，来执行超分辨率补偿。为了执行该超分辨率补偿，需要与分辨率变换的倍率相对应的规定数量的图像数据偏移规定量。于是，在本实施方式中，拍摄图像判断部130判断在通过拍摄部120的拍摄而获得的多个拍摄图像数据中，是否含有为了在图像输出装置500执行该超析像度补偿所需要的、错开规定量的规定数量的拍摄图像数据。
并且，所谓提高文字的识读性的为了超分辨率补偿所需的偏移是指，作为对象的图像数据的不足1个像素(小数点)的偏移。即，小数点以下(不足1个像素)的值，例如，0.3～0.7等的偏移很重要。关于整数部分的偏移在超分辨率补偿中不考虑。例如，在1.3个像素、2.3个像素等含有不足1个像素的偏移的情况下，可以执行基于多个图像的超分辨率补偿，但是1个像素、2个像素等不含有不足1个像素的偏移的情况下，不能执行超分辨率补偿。
例如，变换倍率为2倍的情况下，超分辨率补偿所需的图像数据的数量为2，作为两个图像数据的偏移量以像素为单位优选为小数点以下0.3～0.7。因此，在存储部160中预先储存有将分辨率变换的倍率“2倍”、与拍摄次数“2”以及处理执行条件“必要图像数据数量：2、偏移量：0.3～0.7”进行关联的信息，控制部110基于该信息，使拍摄部120进行两次连续拍摄，并使拍摄图像判断部130执行按照处理执行条件“必要图像数据数量：2、偏移量：0.3～0.7”的判断。
并且，变换倍率为4倍的情况下，超分辨率补偿所需的图像数据的数量为2，设其中一个图像数据为基准图像数据时，该基准图像数据与剩余的三个图像数据之间的偏移量分别以像素为单位优选为小数点以下0.2～0.3、0.4～0.6、0.7～0.8。因此，存储部160存储有将分辨率变换的倍率“4倍”、与拍摄次数“4”以及处理执行条件“必要图像数据数量：4、偏移量：0.2～0.3、0.4～0.6、0.7～0.8”进行关联的信息。
并且，以下为了简化说明，对作为分辨率变换的倍率选择了2倍的情况进行说明。
首先，拍摄图像判断部130选择拍摄图像的任意一个，并关于该拍摄图像(以下，称第一拍摄图像)，从在上述几何变形的判断时求出的拍摄对象物的区域中选择偏移检测用部分区域。这里，由于偏移检测用部分区域用于求出第一拍摄图像与剩余的拍摄图像(以下，称第二拍摄图像)之间的偏移量，因此优选在该偏移检测用部分区域内像素值的变化较大的图像(存在明确的图形)。于是，拍摄图像判断部130通过以下所示方法来抽取偏移检测用部分区域。
拍摄图像判断部130确定拍摄对象物的区域的重心位置上存在的像素，并将该像素设为关注像素。并且，选定含有关注像素的n×n像素的区域。关于选定区域，判断是否满足以下的选定条件，满足的情况下，将该区域设为偏移检测用部分区域。另一方面，不满足的情况下，基于规定的偏置量使区域移动，并对移动后的区域进行相同的判断。如此，抽取偏移检测用部分区域。
这里，作为选定条件，例如可举出以下两个。第一个是使用了根据区域内的方差的值的选定条件。对于关注像素附近的n×n像素的区域，设像素值为P(i)时，部分区域的方差值Variance(x)由下式(1)表示。将该方差值Variance(x)的值为规定阈值以上设为选定条件。并且，为了简化可以仅考虑本式的分子。
Varience ( x ) = n × Σ i = 0 n - 1 [ P ( i ) ] 2 - [ Σ i = 0 n - 1 P ( i ) ] 2 n × n …式(1)
并且，第二个是对于关注像素附近的n×n像素的区域，使用如一阶微分滤波那样的边缘抽取滤波进行处理，进行二值化，并参照该总和的方法。图10表示一阶微分滤波的例子，这种情况下，也可以将总和为规定阈值以上(例如，部分区域像素数的5％以上等)设为选定条件。
其次，对于如此求出的第一拍摄图像的偏移检测用部分图像A(n×n)，从第二拍摄图像中分割出中心几乎在同一位置上的偏移检测用部分图像B(m×n)(m＞n)。该分割方法中以使第一拍摄图像中偏移检测用部分图像A的中心像素的坐标、与第二拍摄图像中偏移检测用部分图像B的中心像素的坐标一致的方式分割出。
其后，以子像素(sub pixel)精度求出分割出的偏移检测用部分图像B中最适合偏移检测用部分图像A的区域。作为该方法，可举出以偏移检测用部分图像A为模板的归一化相关模式匹配。
作为归一化相关模式匹配的例子，使用已知的归一化相关式来计算相关。一般由N像素构成的两个模式Input(I)和Target(T)的相关式，可以表示为下式(2)。这里，α、β、γ分别如下所示。
S = { α / β × γ } ……式(2)
α = NΣ ( I × T ) - ( ΣI ) × ( ΣT ) β = NΣ ( I × I ) - ( ΣI ) × ( ΣI ) γ = NΣ ( T × T ) - ( ΣT ) × ( ΣT )
例如，n＝5、m＝7的情况下，对于每个与偏移检测用部分图像B(m×m)中的偏移检测用部分图像A相同大小的区域(n×n)运算上述相关式，作为结果生成3×3的相关值Map。使用该相关值Map，求出合适的二次曲面。作为二次曲面的求出方法，例如，设S(x，y)＝a＊x＊x+b＊x＊y+c＊y＊y+d＊x+e＊y+f，选择9个点中相关值较高的6个点，解联立方程式而求出各系数。如果该函数的极值(＝最大值)的坐标值(x、y双方)的小数点以下的值为规定范围(这里为0.3～0.7)内，则判断为满足处理执行条件“需要图像数据数：2、偏移量：0.3～0.7”。
并且，极值的求出方法是对上述二次式进行偏微分，求出分别为0的点的坐标即可。此时，实际上没有必要求出各系数(a～f)，因此直接使用相关值(S1～S6)则效率较高。应求出的式(3)如下所示。这里，原点为关注的窗框标准。
x = 2 × S 3 × S 4 - S 5 × S 2 S 2 2 - 4 × S 1 × S 3
…·式(3)
y = 2 × S 1 × S 5 - S 2 × S 4 S 2 2 - 4 × S 1 × S 3
并且，虽然至少在一处进行这种子像素精度的位置偏移确认，但希望在多处进行。
并且，拍摄图像判断部130将是否满足处理执行条件的判断结果输出到控制部110。
(3-4)拍摄图像的发白、发黑的判断
在数字图像数据中，表示各像素的浓淡程度的浓度值即像素值所能取的范围在8位(0～255)的情况较多。通常，在彩色数字图像数据中的各像素具有各颜色成分(例如R、G、B)的像素值。并且，表示明暗程度的特征量即亮度可以使用以往已知的计算式(例如，Yi＝0.30Ri+0.59Gi+0.11Bi、Yi：像素i的亮度信号、Ri，Gi，Bi：像素i的各颜色成分(R、G、B)的值)，从各颜色成分的像素值中计算出。在此，在本实施方式中，这样计算出的亮度可由对被摄体100％反射率的颜色(白)所能取的范围的最大值即“255”来表示，完全的黑色是由最小值即“0”来表示。便携终端装置100生成像素值由8位表示的拍摄图像数据。
在便携终端装置100中，在以曝光过度来拍摄的情况下，发生拍摄图像的高亮度部分饱和而在拍摄图像数据中用适当的曝光拍摄时以不同的像素值表现的部分的亮度全部变成接近“255”的值的发白现象。同样，在以曝光不足来拍摄的情况下，发生拍摄图像的暗的部分变黑而在拍摄图像数据中用适当的曝光拍摄时以不同的像素值表现的部分的亮度全部变成例如“30”以下的发黑现象。
在拍摄图像判断部130中，进行发白判断、发黑判断，从而判断是否为没有发生发白、发黑的最佳图像。下面，参照图21说明发白判断。图21的(a)是表示发生发白的图像，图21的(b)是表示原先显示白色物体的图像。另外，图21的(c)、图21的(e)表示将图21的(a)的图像如后所述地进行了二值化的二值化图像，图21的(d)、图21的(f)表示将图21的(b)的图像如后所述地进行了二值化的二值化图像。再有，图21的(g)、图21的(h)表示为了判断是否发生了发白而最终生成的二值图像。
最初，拍摄图像判断部130利用下述式(4)将拍摄图像数据的各像素值转换成亮度值。
Yj＝0.30Rj+0.59Gj+0.11Bj  ……式(4)
在此，Yj为各像素的亮度值，Rj、Gj、Bj为表示各像素的颜色成分。
接着，拍摄图像判断部130制作二值化图像A(图21的(c)、图21的(d)的图像)，该二值化图像A是将由第一阈值(例如，亮度值250)以上的亮度构成的高亮度区域设为表示白的“1”，将除此之外的区域设为表示黑的“0”。再有，拍摄图像判断部130制作二值化图像B(图21的(e)、图21的(f)的图像)，该二值化图像B是将由小于第一阈值的第二阈值(例如，亮度值240)以上的亮度构成的高亮度区域设为表示白的“1”，将除此之外的区域设为表示黑的“0”。
然后，拍摄图像判断部130制作表示二值化图像A和二值化图像B的XOR(逻辑异或)的二值图像(以下，称为XOR图像)。拍摄图像判断部130在所制作的XOR图像为如图21的(g)所示的图像的情况下，即XOR图像中包含“1”的情况下，判断为由“1”的像素包围的中心部分发生发白。另一方面，拍摄图像判断部130在所制作的XOR图像为如图21的(h)所示的图像的情况下，即XOR图像中不包含“1”的情况下，判断为未发生发白。
下面，说明用这种方法判断发白为妥当的理由。
可以认为在高亮度区域中存在发生发白的地方和不发生发白而原先显示白色物体的地方这两种。
在发生发白的地方的特征在于，随着离开聚光灯最强地照射到的地方，亮度值逐渐变小。即，关于发生发白的地方，可以认为二值化图像B的高亮度区域是包含二值化图像A的高亮度区域的、比二值化图像A的高亮度区域宽的区域。因此，在二值化图像A和二值化图像B的XOR图像中，虽然是二值化图像B的高亮度区域但不是二值化图像A的高亮度区域的区域(发生发白的区域的附近)上容易出现“1”。
另一方面，与原先显示白色物体的地方相邻的区域的颜色通常成为“白”之外的颜色，不属于高亮度区域。即，不管是二值化图像A还是二值化图像B，关于显示白色物体的地方，只有该地方成为高亮度区域，与显示白色物体的地方相邻的区域，通常不管是二值化图像A还是二值化图像B都不会成为高亮度区域。因此，二值化图像A的高亮度区域和二值化图像B的高亮度区域一致，而在二值化图像A和二值化图像B的XOR图像中不容易出现“1”。
以上，说明了发白判断方法妥当的理由，以与发白判断相同的方法可以进行发黑判断。
即，拍摄图像判断部130制作将由第三阈值(例如，亮度值10)以下的亮度构成的低亮度区域设为表示黑的“0”且将除此之外的区域设为表示白的“1”的二值化图像C。再有，拍摄图像判断部130制作将由大于第三阈值的第四阈值(例如，亮度值30)以下的亮度构成的低亮度区域设为表示黑的“0”且将除此之外的区域设为表示白的“1”的二值化图像D。
然后，拍摄图像判断部130生成表示二值化图像C和二值化图像D的XOR的XOR图像，并且，如果在该XOR图像中含有“1”，则判断为在其近旁发生了发黑，如果不包含“1”，则判断为未发生发黑。
此外，发白判断处理、发黑判断处理优先对用户按下快门按钮之前取入的浏览图像的图像数据进行。但是，也可以对按下快门按钮时拍摄而得到的拍摄图像数据进行。
另外，说明了在XOR图像中包含“1”的情况下，判断为发生了发白、发黑，在XOR图像中不包含“1”的情况下，判断为未发生发白、发黑，但是，也可以在XOR图像中含有规定数量以上的“1”的情况下，判断为发生了发白、发黑，在XOR图像中不包含“1”的情况下，判断为未发生发白、发黑。
(4)拍摄部120中的处理
在从控制部110接收到由拍摄图像判定部130判断为发生了发白的意思的通知时，拍摄部120在显示部170显示改变曝光条件(光圈、快门速度、增益等)的意思。然后，自动改变曝光条件并进行多张的拍摄。具体而言，当检测到快门按钮的按下时，拍摄部120对不同的多种曝光条件，按每个曝光条件拍摄一张以上的图像。
(5)关于向图像输出装置500发送的发送数据
如上所述，由拍摄图像判断部130进行拍摄图像的判断之后，拍摄部120以不同的多种曝光条件，按每种曝光条件拍摄一张以上的相同对象物。控制部110按每种曝光条件将文件名赋予给各拍摄图像数据，以便所拍摄到的多个拍摄图像数据能够相互关联。作为文件名的赋予方法，例如如“ABC_1.jpg”、“ABC_2.jpg”...那样，只有编号部分互相不同而其他部分相同即可(按每种曝光条件改变文件名，对所拍摄到的多张拍摄图像数据赋予编号。例如，只要设为区别与拍摄对象有关的文件名_曝光条件的、文件名(例如，条件1)_编号即可)。然后，控制部110将便携终端装置100的机种信息、用户信息以及输出处理信息与所拍摄到的多张拍摄图像数据相关联并向图像输出装置500发送。
此外，控制部110为了使所拍摄到的多个拍摄图像数据相互关联而按每种曝光条件生成用于识别这些拍摄图像数据与其他拍摄图像数据的标签信息。在该情况下，控制部110将所拍摄到的多个拍摄图像数据与其标签信息、机种信息、用户信息以及输出处理信息关联起来并向图像输出装置500发送。
(6)图像输出装置的结构
接着，基于图10、图12至图20，说明本实施方式涉及的图像输出装置500的结构。在本实施方式中，图像输出装置500为具备扫描、打印、复印机等功能的复合机。
图12是表示图像输出装置500的结构的框图。图像输出装置500具备：控制部510、图像读取部520、图像处理部530、认证部540、图像形成部550、显示部560、存储部570、输入部580、第一通信部590、第二通信部600以及存储介质访问部610。
图像读取部520是读取原稿的装置，且具有具备CCD(ChargeCoupled Device)的扫描部，将从原告反射过来的光转换成被分解为RGB颜色的电信号(模拟图像信号)，并输出该电信号的装置。
图像处理部530是对图像数据进行规定的图像处理的装置。在本实施方式中，图像处理部530对从便携终端装置发送来的拍摄图像数据进行包括超分辨率补偿等的图像处理。如图20所示，图像处理部530具备画质调节部531、几何补偿部532、透镜变形补偿部533、超分辨率处理部534、图像补偿部535。此外，在后面详细叙述图像处理部530对拍摄图像数据进行的图像处理。
认证部540是在进行从便携终端装置100接收到的拍摄图像数据的输出处理时，进行用户认证的装置。具体而言，认证部540对照从便携终端装置100接收到的用户信息和被输入到输入部580的用户信息(用户ID以及密码)并进行用户认证。认证部540将认证结果发送给控制部510。
图像形成部550是例如使用电子照片方式、喷墨方式，在纸等的记录纸张上形成图像的装置。即，图像形成部550是执行输出处理的一种的印刷处理的装置。
显示部560，例如由液晶显示器等构成。另外，输入部580是用于例如通过按下液晶显示器的触摸面板、按钮等来进行数据输入的装置。
第一通信部590是具有基于USB1.1或USB2.0的标准的、串行传输、并行传输、无线数据通信功能的装置。第一通信部590从便携终端装置100接收附加了标签信息、文件名、便携终端装置100的机种信息、用户信息以及输出处理信息的多个拍摄图像数据。
第二通信部具有(a)利用基于无线LAN的标准、即1EEE802.11a、IEEE802.11b以及IEEE802.11g的任一种的无线技术的数据通信；(b)具有利用以太网(注册商标)的通信用接口功能，经由LAN电缆与网络的数据通信；(c)利用基于作为无线通信标准、即IEEE802.15.1(所谓的Bluetooth(注册商标))、IrSimple等的红外线通信标准、Felica(注册商标)等通信方式中的任一种的无线技术的数据通信功能。
第二通信部600作为输出处理执行归档处理或者邮件发送处理，其中，该归档处理是将实施了超分辨率补偿的拍摄图像数据存储到服务器的处理，该邮件发送处理是发送附加有实施了超分辨率补偿的拍摄图像数据的邮件的处理。
存储介质访问部610是从记录有程序的存储介质中读出程序的装置。存储部570是用于存储上述各部执行处理用的程序的装置。
控制部510是进行图像输出装置500的各部的控制的装置。具体而言，当通信部590从便携终端装置100接收到与标签信息相关联的多个拍摄图像数据时，控制部510将该多个拍摄图像数据向图像处理部530输出并使其执行图像处理。另外，控制部510将附加在图像数据上的用户信息向认证部540输出，使认证部540执行认证处理。当从认证部540接收到认证成功的认证结果时，控制部510按照附加在拍摄图像数据上的输出处理信息来执行处理。即，在输出处理信息表示印刷处理的情况下，控制部510通过图像处理部530实施图像处理，并使图像形成部550执行基于作为无发白、发黑的最佳图像而选择的、拍摄图像数据的印刷。另外，在输出处理信息表示归档处理或邮件发送处理的情况下，控制部510使第二通信部600执行基于由图像处理部530实施了图像处理的拍摄图像数据的、归档处理或者邮件发送处理。
(6)关于图像处理部中的图像处理
接着，详细说明图像处理部530执行的图像处理。
此外，图像处理部530对图像读取部520读取到的图像数据也进行图像处理，但在此，说明对从便携终端装置100接收到的多个拍摄图像数据进行的图像处理的内容。
在本实施方式中，图像处理部530对从便携终端装置100发送过来的拍摄图像数据进行色彩平衡等的补偿、几何变形的补偿、透镜变形的补偿以及超分辨率补偿。下面，说明各处理。
(6-1)色彩平衡、对比度、亮度的补偿
图像处理部530的画质调节部530进行色彩平衡、对比度的补偿。
作为色彩平衡的补偿方法，画质调节部531可以对所接收到的拍摄图像数据求出各颜色通道的最大值、最小值，并制作具备这些的查找表，适用于各颜色通道。作为查找表的一例，如图17所示，可以制作在某个频道的最大值为MX且最小值为MN的情况下，在数据8位时，从MN以(MX-MN)/255的间距增加的表。
画质调节部531可以对对比度补偿以相同方法执行。此外，如果没有特别需要改变色彩平衡，则适用于各颜色通道的查找表也设为相同的表。
此外，对于色彩平衡、对比度的补偿方法，可以适用其他公知技术。(6-2)几何变形的补偿、透镜变形的补偿
图像处理部530的透镜变形补偿部533是与拍摄图像判断部130中处理相同地，通过光栅扫描而依次检测出拍摄图像中的拍摄对象物的边缘上的点。然后，透镜变形补偿部533对所检测出的边缘上的点进行曲线近似，根据该曲线式进行透镜变形补偿。
具体而言，如图15的实线所示，透镜变形补偿部533检测出所检测出的拍摄对象像的边缘点，并与拍摄图像判断部130相同地，将各边缘点分类为与拍摄对象像的四个边对应的四个组。然后，对属于各组的边缘点进行二次曲线近似。这样对四组求出的二次曲线是对应于拍摄对象像的四个边。另外，透镜变形补偿部533求出相当于由四条二次曲线包围的区域的角部的、四条二次曲线的交点。接着，透镜变形补偿部533求出外切于对各边求出的二次曲线且共同外切于连接四个交点的四边形(在图5中用虚线表示)的四边形(在图15中用点划线表示)。然后，透镜变形补偿部533以如上求出的外切四边形成为补偿后的拍摄对象像的边缘像素的位置的方式变换拍摄图像中的拍摄对象像的区域内的像素位置。该变换可以基于自基准点(例如拍摄对象像的区域的重心点)的矢量来计算。由此，能够补偿因便携终端装置100的拍摄部120而产生的透镜变形。
另外，图像处理部530的几何补偿部532如下地执行几何变形补偿。几何补偿部532，例如如图16所示，将如上所述地求出的外接四边形对照对象物的纵横比(例如，商务文件所使用的A型B型纸张的话7∶10等)来同样地进行映像变换即可。作为该映像变换可以使用公知的技术。此外，几何补偿部532既可以以符合预先存储在存储部570中的纵横比的方式进行变换，也可以以符合被输入到输入部580中的纵横比的方式进行变换。
此外，作为几何变形的补偿以及透镜变形的补偿方法，不限定于上述方法，也可以使用公知技术。
(6-3)使用多个图像数据的超分辨率补偿
超分辨率处理部534是进行从便携终端装置100接收到的拍摄图像数据的超分辨率补偿的装置。在本实施方式中，超分辨率处理部534从便携终端装置100接收到的多个拍摄图像数据中，对由图像补偿部535选择了的发白、发黑较少的最佳的拍摄图像数据进行超分辨率补偿。
关于从多个图像数据制作高分辨率图像的方法，在影像信息媒体学会杂志Vo1.62、No.3、pp.337～342(2008)中介绍了几种方法。通常，高分辨率补偿是通过多个图像的位置对齐处理和重构处理而成立的。在本实施方式中，作为位置对齐处理的例子，适用上述(3-3)记载的归一化相关图案匹配的方法。即，通过只偏移上述S(x，y)表示极大值的偏移量，能够进行多个图像的位置对齐。
接着，图像处理部530的超分辨率处理部534进行重构处理。即，超分辨率处理部534制作具有与分辨率变换后的倍率对应的像素数量的重构图像数据。其中，图像大小设为与拍摄图像的大小相同。然后，超分辨率处理部534如下地决定重构图像数据的各像素的像素值。即，超分辨率处理部534对于重构图像数据中的各像素(重构像素)，从多个拍摄图像中决定成为该重构像素附近的拍摄图像的像素(拍摄像素)，并通过一般的插补方法(线形插补、双三次插补法)进行插补。
具体而言，如图14所示，在横方向、纵方向的各自上选择关注的重构像素附近的拍摄像素，例如连接拍摄像素的点阵的线(图中的虚线)为最近距离的两点。在此，设为在横方向上的最近距离的两点为第一张的拍摄图像的拍摄像素1-2(像素值：Vi1-2：以下相同)以及拍摄像素1-4，在纵方向上的最近距离的两点为第二张的拍摄图像的拍摄像素2-1以及拍摄像素2-2。此外，设为在选择重构像素附近的拍摄像素时，从执行了上述几何变形的补偿、透镜变形的补偿的多个拍摄图像数据中选择。由此，能够在进行了几何变形、透镜变形的补偿的状态下进行超分辨率补偿。或者，在计算补偿后的坐标值时，可以将考虑了作为基础的多个拍摄图像的相应的几何补偿、透镜变形补偿的、坐标值为基础求出。即，可以只计算出几何补偿、透镜变形的补偿值，进行重构处理之后，通过该补偿值进行坐标变换。
然后，求出垂直于连接对横方向以及纵方向的各自所选择的两点的线段且包含关注的重构像素点的直线和该线段的交点。如图14所示，在该交点对两条线段的各自以t：1-t、u：1-u进行内分的情况下，超分辨率处理部534根据下述式5来求出关注的重构像素的像素值Vs即可。在该情况下，进行了线性插补。然后，对于所有的重构像素，同样地求出像素值，而能够生成高分辨率化的重构图像数据。
VS＝{(1-t)Vi1-2+tVi1-4+(1-u)Vi2-1+uVi2-2}/2    ……式(5)
此外，作为插补方法也可以利用别的方法。另外，也可以利用在影像信息媒体学会杂志Vo1.62、No.3、pp.337～342(2008)中介绍的别的方法。例如，也可以利用如MAP(Maximum A Posteriori：最大后验概率)方法那样的、先使与基于推定的事后概率对应的评价函数最小化来求出的方法。
(6-4)使用一个图像数据的超分辨率补偿
如上所述，在从便携终端装置100接收到多个拍摄图像数据的情况下，图像输出装置500基于该多个拍摄图像数据进行超分辨率补偿，但在接收到一个拍摄图像数据的情况下，也可以基于一个拍摄图像数据进行超分辨率补偿。
关于来自一个图像数据的高分辨率图像制作方法，在影像信息媒体学会杂志Vol.62、No.2、pp.181～189(2008)中介绍了几种方法。
通常，检测图像图案的边缘方向性，根据其方向进行插补的同时，可以通过进行以去除因插补而产生的变形、输入图像中存在的噪声成分的影响等为目的的噪声去除处理来执行超分辨率补偿。下面，详细说明。
图19是表示本实施方式中的超分辨率补偿的处理的流程的流程图。
在此，说明对横方向、纵方向的各自进行两倍的分辨率变换的例子。在进行两倍的分辨率变换的情况下，在将成为补偿对象的拍摄图像数据的像素量设为n×m时，补偿后的高分辨率图像数据的像素数量为2n×2m。这种超分辨率补偿(两倍的分辨率变换)是通过以下方式来执行，即，将拍摄图像数据中的各像素设为基准像素，在该基准像素之间的中央生成新的像素作为插补像素，生成具备该基准像素和插补像素两者的图像数据作为高分辨率图像数据。
首先，图像处理部530对第一通信部590接收到的拍摄图像数据进行边缘抽取。例如，图像处理部530使用如图10所示的一阶微分滤波器进行边缘抽取，进行二值化处理而生成二值化图像数据(S41)。此外，如果在二值化图像数据中像素值为1，则表示其是边缘的可能性高的像素。
接着，图像处理部530基于在S1中生成的二值化图像数据，判断拍摄图像数据中的关注像素是否为边缘(S42)。具体而言，如果二值化图像数据中的与关注像素对应的像素值为1，则图像处理部530判断为该关注像素为边缘。
此外，所谓关注像素是将拍摄图像数据中的各像素按照任意顺序关注时所关注的像素。
在关注像素为边缘的情况(S42中为“是”)下，图像处理部530使用含有关注像素的N×N(N＞1)部分图像来检测边缘方向(S43)。具体而言，对包含在N×N部分图像中的所有的基准像素，判断是否为边缘像素。然后，在关注像素的左上的基准像素和右下的基准像素为边缘像素的情况下，图像处理部530判断为部分图像中的边缘方向为左上-右下方向。同样，在关注像素的左边的基准像素和右边的基准像素为边缘像素的情况下，判断为边缘方向是左-右方向，在关注像素的上边的基准像素和下边的基准像素为边缘像素的情况下，判断为边缘方向是上-下方向，在关注像素的右上的基准像素和左下的基准像素为边缘像素的情况下，判断为边缘方向是右上-左下方向。
在图18(a)～图18(d)中，虚线表示所检测出的边缘方向。此外，在图18(a)～图18(d)中，像素(1)至(9)为基准像素，其中的像素(5)为关注像素。然后，像素A、B、C分别是基准像素(1)和(5)之间的插补像素、基准像素(2)和(5)之间的插补像素、基准像素4和5之间的插补像素。
接着，图像处理部530根据S43中检测出的边缘方向，通过插补求出关注像素的左上的插补像素A、关注像素的上边的插补像素B、关注像素的左边的插补像素C的像素值。此时，使用沿着边缘方向的基准像素来求出插补像素的像素值。
在边缘方向为左上-右下方向的情况下，如图18(a)所示，基准像素(1)、(5)、(9)为边缘像素，连接这些像素的线成为边缘线。并且，关于边缘线上的插补像素A的像素值VA(在图中省略了“V”的标记。以下相同)，使用邻接于插补像素A的边缘线上的基准像素(1)(像素值V(1)以及基准像素(5)(像素值V(5))的像素值，并通过以下式来求出。
VA＝(V(1)+V(5))/2
另一方面，关于不在边缘线上的插补像素B、C，使用除去边缘线上的基准像素的基准像素中的、包含最接近于该插补像素的基准像素(最接近基准像素)且在平行于边缘方向的线上的基准像素，来进行插补。例如，在图18(a)中，关于插补像素B，包括作为最接近基准像素的基准像素(2)且平行于边缘方向的线是连接基准像素(2)和(6)的线。并且，从插补像素B垂直于该线上的点是内分连接基准像素(2)和(6)的线段。因此，插补像素B的像素值VB是使用以下式来求出。
VB＝(9×V(2)+4×V(6))/13
同样，插补像素C的像素值VC是使用最接近的基准像素即基准像素(4)和包含该基准像素(4)且平行于边缘方向的线上的基准像素(8)的像素值，并通过以下式来求出。
VC＝(9×V(4)+4×V(8))/13
另外，在边缘方向为左-右方向的情况下，如图18(b)所示，基准像素(4)、(5)、(6)为边缘像素，连接这些像素的线成为边缘线。并且，关于边缘线上的插补像素C的像素值VC，使用邻接于插补像素C的边缘线上的基准像素(4)(像素值V(4)以及基准像素(5)(像素值V(5))的像素值，并通过以下式来求出。
VC＝(V(4)+V(5))/2
另一方面，关于不在边缘线上的插补像素A、B，使用除去边缘线上的基准像素的基准像素中的、包含最接近于该插补像素的基准像素(最接近基准像素)且平行于边缘方向的线上的基准像素，来进行插补。例如，在图18(b)中，关于插补像素A，包含最接近的基准像素即基准像素(1)或(2)且平行于边缘方向的线是连接基准像素(1)和(2)的线。并且，从插补像素A垂直于该线的点存在于基准像素(1)和(2)的中央。因此，插补像素A的像素值VA是使用以下式来求出。
VA＝(V(1)+V(2))/2
关于插补像素B，包含最接近的基准像素即基准像素(2)，平行于边缘方向的线是连接基准像素(1)和(2)和(3)的线。并且，从插补像素B垂直于该线的点与基准像素(2)一致。因此，插补像素B的像素值VB为与基准像素(2)的像素值V(2)相同的值。
另外，在边缘方向为右上-左下的情况下，如图18(c)所示，基准像素(3)、(5)、(7)为边缘像素，连接这些像素的线成为边缘线。并且，插补像素A、B、C均不存在于边缘线上。
关于插补像素A，最接近基准像素成为基准像素(1)、(2)、(4)。在此，基准像素(2)、(4)虽然位于平行于边缘方向的同一线上，但基准像素(1)不位于该线上。在此，关于插补像素A的像素值VA，使用最接近基准像素即基准像素(1)、(2)、(4)的像素值，并通过以下式来求出。
VA＝(V(1)+V(2)+V(4))/3
另一方面，关于插补像素B、C，使用除了边缘线上的基准像素之外的基准像素中的、包含最接近于该插补像素的基准像素(最接近基准像素)且在平行于边缘方向的线上的基准像素，来进行插补。例如，在图18(c)中，关于插补像素B，包含最接近基准像素即基准像素(2)且平行于边缘方向的线是连接基准像素(2)和(6)的线。并且，从插补像素B垂直于该线上的点内分连接基准像素(2)和(4)的线段。因此，插补像素B的像素值VB是使用以下式来求出。
VB＝(9×V(2)+4×V(4))/13
同样地，插补像素C的像素值VC是使用最接近基准像素即基准像素(4)和包含该基准像素(4)且在平行于边缘方向的线上的基准像素(2)的像素值，并通过以下式来求出。
VC＝(4×V(2)+9×V(4))/13
另外，在边缘方向为上-下方向的情况下，如图18(d)所示，基准像素(2)、(5)、(8)为边缘像素，连接这些像素的线成为边缘线。并且，关于边缘线上的插补像素B的像素值VB，使用邻接于插补像素B的边缘线上的基准像素(2)以及基准像素(5)的像素值，并通过以下式来求出。
VC＝(V(2)+V(5))/2
另一方面，关于不在边缘线上的插补像素A、C，使用除了边缘线上的基准像素的基准像素中的、包含最接近于该插补像素的基准像素(最接近基准像素)且在平行于边缘方向的线上的基准像素，来进行插补。例如，在图18(d)中，关于插补像素A，包含最接近基准像素即基准像素(1)或(4)且平行于边缘方向的线是连接基准像素(1)和(4)的线。并且，从插补像素A垂直于该线的点是存在于基准像素(1)和(4)的中央。为此，插补像素A的像素值VA是通过以下式来求出。
VA＝(V(1)+V(4))/2
关于插补像素C，包含最接近基准像素即基准像素(4)且平行于边缘方向的线是连接基准像素(1)和(2)和(3)的线。并且，从插补像素C垂直于该线的点是与基准像素(4)一致。为此，插补像素C的像素值VC是与基准像素(4)的像素值V(4)相同的值。
此外，存储部570预先存储有将边缘方向和用于求出插补像素A、B、C的像素值的运算式相对应起来的信息。并且，图像处理部530从存储部570读出与在S43中检测出的边缘方向对应的运算式，基于所读出的运算式来求出插补像素A、B、C的像素值即可。
此外，在图18(a)～图18(d)中只表示边缘方向为直线状的情况。但是，也存在边缘在N×N的部分图像内弯曲的情况。例如，有边缘如基准像素(2)-(5)-(4)地弯曲的情况，或边缘基准像素(1)-(5)-(7)地弯曲的情况等。关于这种情况，也预先存储有与用于求出插补像素A、B、C的像素值的运算式相对应起来的信息。例如，在边缘如基准像素(2)-(5)-(4)地弯曲的情况下，关于插补像素A存储与图18(c)相同的运算式，关于插补像素B存储与图18(b)相同的运算式，关于插补像素C存储与图18的(d)相同的运算式。另外，在边缘如基准像素(1)-(5)-(7)地弯曲的情况下，关于插补像素A储存与图18(a)相同的运算式，关于插补像素B存储与图18(a)相同的运算式，关于插补像素C存储与图18(d)相同的运算式。关于其他边缘方向的模式，也同样地存储。
这样，图像处理部530求出位于被判断为边缘像素的基准像素周围的插补像素的像素值。
另一方面，在关注像素不是边缘的情况(在S42中为“是”)下，图像处理部530通过一般的插补运算法(双线性(Bi-linear)、双立方(Bicubic)等)求出与该关注像素的左上邻接的插补像素A、在该关注像素的上边邻接的插补像素B、该关注像素的左边的插补像素C的像素值(S44)。
图像处理部530通过对包含在拍摄图像数据中的所有的基准像素执行上述的S42～S44的处理，而生成具备基准像素和插补像素两者的插补图像数据(S45)。
之后，图像处理部530对所生成的插补图像数据进行高画质化处理。例如，图像处理部530将去除噪声的滤波器、清晰化(sharpen)滤波器等适用于插补图像数据而生成高分辨率图像数据。现有的非锐化掩模(unsharp mask)、图10的中央系数为5的图像数据成为清晰化滤波器。另外，作为去除噪声的中值滤波器(Median Filter)等已广为人知。作为更高明的方法，也可以是用兼具上述边缘保持性和高画质化的方法Bilateral滤波器[Proceedings of the 1998IEEE InternationalConference on Computer Vision]等。
此外，图像处理部530不限定于上述的方法，也可以使用影像信息媒体学会杂志Vol.62、No.2、pp.181～189(2008)所述的各种方法，从一个拍摄图像数据生成高分辨率图像数据。
7)拍摄图像处理系统的图像处理方法
下面，基于图2以及图13，说明拍摄图像处理系统的处理的流程。此外，图2是表示便携终端装置100的处理流程，图13是图像处理装置500的处理流程。
首先，便携终端装置100进行拍摄模式的选择受理。在此，在用户希望拍摄包含文档图像的纸张或显示画面等矩形的拍摄对象物，并通过图像输出装置500将拍摄图像进行高分辨率化而输出的情况下，选择文档拍摄模式。
在接收了文档拍摄模式的选择输入的便携终端装置100中，控制部110在显示部170显示催促输入进行超分辨率补偿时的分辨率变换的倍率的画面，并从输入部180获得该倍率。控制部110根据所获得的倍率来决定拍摄部120中的拍摄次数、拍摄图像判断部130中的处理执行条件的一部分。另外，控制部110在显示部170显示催促输入输出处理的种类以及用于输出处理的设定条件的画面，并从输入部180获得输出处理信息。
然后，如果控制部110从输入部180获得输出处理信息，则拍摄部120开始取入拍摄对象物的图像(S1)。然后，控制部110将通过图像处理部140实施A/D转换处理而得到的图像显示于显示部170。此外，在下面，将虽然显示于显示部170但未固定地记录在存储部160中的图像称为“浏览图像”。
如果检测到快门按钮被按下，则拍摄图像判断部130对于表示拍摄图像(或者浏览图像)的图像数据进行发白、发黑判断(S2)。在此，关于发白、发黑判断处理，参照图4详细说明。图4是表示发白、发黑判断处理中的拍摄图像判断部130进行的动作的流程图。
拍摄图像判断部130通过(3-4)记载的方法，从所判断的拍摄图像生成将亮度值250以上的像素设为白(像素值1)且将亮度值不到250的像素设为黑(像素值0)的二值化图像A(S71)。
同样，拍摄图像判断部130从所判断的拍摄图像生成将亮度值240以上的像素设为白(像素值1)且将亮度值不到240的像素设为黑(像素值0)的二值化图像B(S72)。
然后，拍摄图像判断部130生成通过取二值化图像A以及二值化图像B的XOR而得到的二值图像(XOR图像)(S73)。
拍摄图像判断部130判断在XOR图像中是否存在像素值“1”的像素且其像素的坐标是否存在于二值化图像A的像素值“1”的区域周围的规定范围内(S74)，在“1”存在于上述规定的范围内的情况(在S74中为“是”)下，判断为发白图像(S75)，并返回到图3的S3的处理。另一方面，在“1”不在上述规定范围内的情况(在S74中为“否”)下，判断为不是发白图像(S76)，并进入到S77的处理。
接着，拍摄图像判断部130通过(3-4)记载的方法，从所判断的拍摄图像生成将亮度值10以下的像素设为黑(像素值0)且亮度值大于10的像素设为白(像素值1)的二值化图像C(S77)。
同样，拍摄图像判断部130，从所判断的拍摄图像生成将亮度值30以下的像素设为黑(像素值0)且将亮度值大于30的像素设为白(像素值1)的二值化图像D(S78)。
然后，拍摄图像判断部130生成取二值化图像C以及二值化图像D的XOR而得到的二值化图像(XOR图像)(S79)。
拍摄图像判断部130判断在XOR图像中是否存在像素值“1”的像素且其像素的坐标是否在二值化图像C的像素值“0”的区域周围的规定范围内(S80)，在“1”存在于上述规定的范围内的情况(在S80中为“是”)下，判断为发黑图像(S81)，并返回到图3的S3的处理。另一方面，在“1”不在上述规定范围内的情况(在S80中为“否”)下，判断为不是发黑图像(S82)，并返回到图3的S3的处理。
拍摄图像判断部130判断在拍摄图像中是否不存在发白以及发黑，即图像是否为适当(S3)，在判断为不适当的图像的情况(在S3中为“否”)下，控制部110在显示部170显示催促再拍摄的意思的信息等，并通知用户(S5)。然后，拍摄部130以多个不同的曝光条件，按每个曝光条件进行一张以上的拍摄(S6)。然后，生成标签信息(S7)，并进入S8的处理。
另一方面，在拍摄图像判断部130判断为适当图像的情况(在S3中为“是”)下，控制部110不改变曝光条件而进行多张拍摄(S4)，并进入S8的处理。此外，所拍摄的张数为在控制部110中设定的拍摄张数。另外，关于改变曝光条件进行拍摄的次数(进行改变的曝光条件)，也可以在上述控制部110中设定。或者，也可以由用户任意决定。
然后，控制部110对通过拍摄得到的多个拍摄图像数据附加文件名(S8)。此外，控制部110赋予的文件名，如上所述，只要是多个拍摄图像数据相互关联起来的名称即可。
之后，控制部110将多个拍摄图像数据与标签信息、存储在存储部160中的便携终端装置100的机种信息、用户信息以及输出处理信息一起转送到通信部150。然后，通信部150将这些信息向图像输出装置500发送(S9)。
此外，控制部110也可以将附加有文件名的图像数据暂时保存在存储部160或者存储卡中，并根据用户的要求与标签信息、上述便携终端装置100的机种信息、用户信息以及输出处理信息一起转送到通信部150，然后再向图像输出装置500发送。
接着，图像输出装置500的第一通信部590接收来自便携终端装置100的多个拍摄图像数据、机种信息、用户信息以及输出处理信息(S21)。接收之后，图像处理部530的画质调节部531，例如如上述(6-1)所说明的那样，进行色彩平衡、对比度、亮度的补偿(S22)。然后，图像处理部530的几何补偿部532，例如如上述(6-2)所说明的那样，进行几何变形的补偿、透镜变形的补偿(S23)。
在S24中，图像补偿部535从通过S22以及S23执行了各种补偿的多个拍摄图像数据中选择没有发白、发黑或者发白、发黑较少的拍摄图像数据(发白、发黑较少的曝光条件的拍摄图像数据)。具体而言，图像补偿部535与拍摄图像判断部130相同地进行在(3-4)中记载的发白、发黑判断，选择被判断为没有发白、发黑的拍摄图像作为最佳的拍摄图像数据。
然后，在S25中，超分辨率处理部534对在S24中选择的拍摄图像数据进行超分辨率补偿。此外，超分辨率补偿的具体方法是如(6-3)、(6-4)所说明。
之后，控制部510将由图像补偿部535选择的拍摄图像数据储存到存储部570中(S26)。
接着，控制部510判断拍摄图像数据的输出指示是否被输入到输入部580中(S27)。在没有输出指示的输入的情况(在S27中为“否”)下，待机到输出指示被输入为止。
另一方面，在有输出指示的情况(在S27中为“是”)下，认证部540在显示部560显示催促输入用户信息(例如用户ID以及密码)的画面，并从输入部580获得用户信息。然后，认证部540进行用户认证(S28)。此外，认证部540也可以使用在图像输出装置500上设置的非接触IC卡的读写器，从用户所持有的非接触IC获得用户信息。
在进行用户认证时，认证部540对照所输入的用户信息和从便携终端装置100接收到的用户信息，判断是否存在一致的用户信息(S29)。然后，在从便携终端装置100接收到与所输入的用户信息一致的用户信息的情况(在S29中为“是”)下，控制部510按照从便携终端装置100接收到的输出处理信息来执行输出处理(S32)。例如，在输出处理信息表示印刷处理的情况下，控制部510对图像形成部550输出处理执行指示。之后，结束处理。
另一方面，在所输入的用户信息与从便携终端装置100接收到的用户信息不一致的情况(在S29中为“否”)下，认证部540判断认证次数是否为规定次数以上(S30)。然后，在认证次数不是规定次数以上的情况(在S30中为“否”)下，重复进行S28、S29的处理。在认证次数为规定次数以上的情况(在S30中为“是”)下，不进行输出而结束流程。
(拍摄图像处理系统的优点)
如上所述，根据本实施方式，拍摄图像处理系统的便携终端装置100以不同的多种曝光条件，按每种曝光条件拍摄一张以上。拍摄图像处理系统的图像输出装置500从按每种曝光条件所获得的拍摄图像中选择发白、发黑较少的最佳的拍摄图像。再有，图像输出装置500能够对所选择的最佳的拍摄图像实施超分辨率处理并进行输出。因此，拍摄图像处理系统能够输出没有发黑、发白的图像，因此能够提高输出图像中的文字的识读性。
8)变形例
本发明的拍摄图像处理系统不限定于上述实施方式，可以进行各种变更。下面，对变形方式的一例进行说明。
(8-1)关于便携终端装置100的处理流程
在上述实施方式中，说明了在通过便携终端装置100的拍摄图像判定部130拍摄图像未被判断为适当图像的情况下，以不同的多种曝光条件自动拍摄的情况，但便携终端装置100也可以在通过拍摄图像判定部130拍摄图像未被判断为适当图像的情况下，催促用户重新拍摄。
参照图11说明该情况下的便携终端装置100的处理流程。
便携终端装置100与上述实施方式情况相同地接收拍摄模式的选择受理、分辨率变换的倍率输入、输出处理的种类以及用于输出处理的设定条件的输入。
然后，拍摄部120与上述的实施方式的情况相同地，开始表示拍摄对象物的浏览图像的取入(S11)，如果检测到快门按钮被按下，则拍摄图像判断部130判断拍摄图像(或者浏览图像)是否为不存在发白、发黑的适当图像(S12)。
在拍摄图像判断部130判断为不是适当图像的情况(在S12中为“否”)下，拍摄部120改变曝光条件(S13)，控制部110在显示部170显示催促再拍摄的消息等，并通知用户(S14)。
下面，对通知用户的显示在显示部170上的内容进行详细说明。
在从拍摄图像判断部130接收到倾斜角度θ不在规定范围内的意思的判断结果的情况下，控制部110在显示部170显示催促以拍摄对象物不倾斜的状态再次拍摄的消息。
另外，在接收到表示几何变形程度的特征量(再次，拍摄图像中的拍摄对象物的对边的长度比)不在规定范围内的意思的判断结果的情况下，控制部110在显示部170显示催促从拍摄对象物中的记载有文字的矩形平面的法线方向重新拍摄的消息。
再有，在接收到不包含只偏移规定量的规定数量的拍摄图像的意思的判断结果的情况下，控制部110在显示部170显示例如“该图像有可能无法处理。请重新拍摄一次。”等催促重新拍摄的消息，由此重新获得图像。之后，对重新拍摄的多个拍摄图像，拍摄图像判断部130重新进行判断处理，在被判断为满足所有的处理执行条件时，将该拍摄图像用于后续的处理中。或者，也可以对先拍摄的拍摄图像以及重新拍摄的拍摄图像的组合，拍摄图像判断部130重新进行判断处理，将满足所有的处理执行条件的拍摄图像用于后续的处理中。
另外，在接收到存在曝光过度地方、曝光不足地方的判断结果的情况下，也可以在显示部170显示该意思。
另外，在拍摄图像判断部130判断为发生了发白的情况下，通过来自控制部110的发生发白的通知，拍摄部120自动将设定变更为不同的多种曝光条件(光圈、增益等)来拍摄多张拍摄对象物。
在S14中进行通知用户的处理之后，返回到S11的处理。
另一方面，在拍摄图像判断部130判断为是适当图像的情况下(在S12中为“是”)，进入到S15的处理。
然后，控制部110对检测快门按钮的按下而拍摄的多张拍摄图像数据附加文件名(S15)。作为文件名的附加方法，例如可以如“ABC_1.jpg”、“ABC_2.jpg”这样，只有编号部分不同，其他部分相同地进行附加。
最后，控制部110生成标签信息，将一个以上的图像数据与标签信息，储存在存储部160中的便携终端装置100的机种信息、用户信息以及输出信息一起向通信部150转送。然后，通信部150将这些信息向图像输出装置500发送(S16)。
(8-2)关于图像输出装置的图像处理部530记录在存储部570的最佳图像
在上述实施方式中，说明了图像处理部530的图像补偿部535从由便携终端装置100接收到的多个拍摄图像中选择发白、发黑区域较少的最佳图像，图像处理部530的超分辨率处理部534对所选择的图像进行超分辨率补偿并记录到存储部570中的情况。在本实施方式中，将存在发白、发黑的拍摄图像中的发白、发黑的区域的各要素置换成与其像素对应的其他拍摄图像的像素，由此生成发白、发黑的区域较少的图像。在该情况下，例如，预先确定以改变曝光之前的最初的曝光条件拍摄而得到的拍摄图像等、成为基准的拍摄图像。然后，将在成为基准点的拍摄图像中产生发白、发黑的区域的邻接区域的亮度和以与最初的曝光条件不同的曝光条件拍摄而得到的拍摄图像中的与邻接区域对应的区域(进行置换的区域的周围区域)的亮度的差在一定范围内的图像，作为置换用的拍摄图像来选择。
此外，在成为基准的拍摄图像中存在多个进行置换的区域的情况下，图像补偿部535，对于从便携终端装置100接收到的多个拍摄图像的所有，以块为单位求出RGB信号的平均值或者亮度值的平均值。然后，图像补偿部535按照进行置换的每个区域，选择成为基准的拍摄图像的该区域块中的平均值和对应的块中的平均值最接近的其他拍摄图像，作为置换用拍摄图像。
然后，图像处理部530的画质调节部531对于将成为基准的拍摄图像数据表示的产生图像的发白、发黑的区域进行置换而得到的图像，进行色彩平衡、对比度、亮度补偿、色调补偿、抖动补偿。最后，图像补偿部535将进行了这些补偿之后的图像作为最佳图像而存储到存储部570中。
此外，将色彩平衡等补偿之前的图像和补偿之后的图像显示在显示部560中，让用户进行选择，将用户所选择的图像作为最佳图像存储到存储部570中。
(8-3)关于最佳图像的其他生成方法
在(8-2)中说明了：在拍摄图像处理系统中，为了输出不存在发白、发黑的最佳图像，便携终端装置100改变曝光条件而进行多次拍摄，图像输出装置500在从便携终端装置100接收到的多个拍摄图像中选择成为基准的拍摄图像，将所选择的拍摄图像中的发白、发黑的区域置换为其他拍摄图像中的对应的区域的图像而生成最佳图像。但是，最佳图像的生成方法并不限定于此。
即，也可以通过便携终端装置100以如不产生发白那样的曝光条件且不改变曝光条件而拍摄多张，且图像输出装置500的图像处理部530生成重叠从便携终端装置100接收到的多个拍摄图像的图像，而生成不存在发白、发黑的最佳图像。再次，所谓重叠多张拍摄图像的图像是指，假设拍摄图像为N张，则图像中的各坐标(X，Y)的像素的亮度值成为对N张的各拍摄图像加上坐标(X，Y)的像素的亮度值而得到的值的图像。
在重叠多张拍摄图像而生成最佳图像的情况下，根据拍摄图像的亮度(亮度值)来改变重叠的拍摄图像的张数。即，例如，取拍摄图像的各像素的亮度的平均值，在亮度的平均值较小的情况下，增加重叠的图像的张数，在亮度的平均值较大的情况下，减小重叠的图像的张数。
此外，在重叠拍摄图像的情况下，如果单纯地加上亮度值，则存在最大值超过255的情况，因此，需要使亮度值不超过255。即，在重叠的拍摄图像中含有亮度值较大的像素的情况下，将不到1的小的加权系数乘到亮度值的加算值上而得到的值设为生成的图像中的对应的像素的亮度值。同样，在重叠的拍摄图像中含有亮度值较小的像素的情况下，将1以上的较大的加权系数乘到亮度值的加算值上而得到的值设为生成的图像中的对应的像素的亮度值。由此，以相同条件拍摄的图像的各像素的亮度值进行加权加算而生成图像，从而能够抑制所生成的图像中产生随机噪声。此外，重叠的张数、加权系数是预先利用各种图像样本并根据亮度来确定的。
另外，也可以使每个块(64×64、128×128等)重叠的拍摄图像的张数不同。即，取每个块的亮度的平均值，在该块的亮度的平均值较小的情况下，增加该块的重叠的图像张数，在亮度的平均值较大的情况下，减少该块的重叠的图像张数。或者，进行区域分离处理并将拍摄图像分离成文本区域和背景(基底)区域，只有在基底区域进行拍摄图像的重叠也可以。此外，作为区域分离处理方法，例如可以使用在日本国特许公开公报“特开2002-232708号公报”中记载的以下方法。
即，在拍摄图像中，首先，计算出包含关注像素的n×m(例如，7×15)块中的最小浓度值以及最大浓度值。接着，使用所计算出的最小浓度值以及最大浓度值来计算出最大浓度差。然后，计算出邻接的像素的浓度差的绝对值的总和即总和浓度繁杂度(例如，对主扫描方向和副扫描方向计算出的值的和)。
之后，进行所计算出的最大浓度差和最大浓度差阈值之间的比较以及所计算出的总和浓度繁杂度和总和浓度繁杂度阈值之间的比较，在最大浓度差＜最大浓度差阈值以及总和浓度繁杂度＜总和浓度繁杂度阈值的情况下，判断为关注像素属于基底、印画纸照片区域(照片区域、连续等级区域)，在最大浓度差≥最大浓度差阈值以及总和浓度繁杂度≥总和浓度繁杂度阈值的情况下，判断为关注像素属于文字、网点区域。
再有，对于被判断为属于基底、印画纸照片区域的像素，在关注像素满足最大浓度差＜基底、印画纸照片判断阈值的情况下，判断为是基底像素，在最大浓度差≥基底、印画纸照片判断阈值的情况下，判断为是印画纸照片像素。另一方面，对于被判断为属于文字、网点区域的像素，在关注像素满足总和浓度繁杂度＜最大浓度差乘以文字、网点判断阈值的值的条件的情况下，判断为是文字像素，在不满足上述条件的情况下，判断为是网点像素。
以上，对于在日本国特许公开公报“特开2002-232708号公报”中记载的区域分离处理方法进行了说明，但可适用于本发明的区域分离处理方法并不限定于此。
另外，不是直接使用重叠的张数、加权系数，而是预先使用图像样本来求出亮度分布之后，调节重叠的张数、加权系数，以此能够生成更加良好的图像。即，对于重叠的拍摄图像，以块为单位求出亮度分布并储存每个块的亮度的大小关系。然后，调节重叠的张数、加权系数，使得所生成的图像中的每个块的亮度大小关系与重叠的拍摄图像中的每个块的亮度大小关系一致。另外，即使在相互邻接的多个块以遍及对象物的图像的方式包含在拍摄图像中的情况下，优选进行块的边界部分的亮度值的调节，以便在所生成的图像中块的边界部分变得自然。
此外，在加算亮度值时，如果不仅只考虑使用式(4)计算出的亮度值的整数部分，而且还考虑小数部分，则能够生成更自然的平滑的图像。
(程序，记录介质)
本发明也可以在记录了用于使计算机执行的程序的计算机可读取的记录介质中，记录将由上述便携终端装置100拍摄到的图像发送到图像形成装置并由图示形成装置输出的方法。
其结果，可以提供一种自由携带的记录有进行上述处理的程序代码(执行形式程序、中间代码程序、源程序)的记录介质。并且，在本实施方式中，作为该记录介质，既可以是用于微型计算机进行处理的未图示的存储器、例如如ROM那样的、其本身为程序介质，或者，也可以是虽然未图示但作为外部存储装置设置有程序读取装置，通过将记录介质插入其中可进行读取的程序介质。
不论在哪种情况下，既可以是被储存的程序由微处理器访问并执行的构成，或者，也可以是任意一种情况下均读出程序代码，所读出的程序代码被下载至微型计算机的未图示的程序存储区域，并执行该程序的方式。该下载用的程序被预先储存于本体装置中。在这里，上述程序介质是可与本体分离地构成的记录介质，也可以是磁带及盒带等的磁带类，软盘及硬盘等的磁盘以及CD-ROM/MO/MD/DVD等的光盘的盘类，IC卡(含存储卡)/光卡等的卡类，或者掩膜ROM、EPROM(ErasableProgrammable Read Only Memory)、EEPROM(Electrically ErasableProgrammable Read Only Memory)、闪速存储器等含有半导体存储器的固定载有程序代码的介质。
并且，在本实施方式中，由于是可连接含互联网的通信网络的系统构成，因此也可以是以从通信网络下载程序代码的方式流动地载有程序代码的介质。并且，在如此地从通信网络下载程序的情况下，该下载用的程序可以预先储存于本体装置中，或被从其他记录介质安装。并且，本发明也可以在上述程序代码通过电子传输被具体化的、埋入于载波中的计算机数据信号的形式来实现。
上述记录介质可以通过由便携终端装置及图像输出装置所具有的程序读取装置进行读取，来执行上述的图像处理方法。
本发明的便携终端装置，上述拍摄部可以在拍摄之前预先取入表示上述拍摄对象物的图像，上述拍摄图像判断部判断表示上述拍摄部拍摄之前预先取入的图像的图像数据是否满足上述规定条件，来代替通过由上述拍摄部进行拍摄而得到的拍摄图像数据。
优选为，上述便携终端装置还具备控制显示部的显示的显示控制部、和经由输入部接收来自用户的指示的指示受理控制部，在上述拍摄图像判断部判断为满足上述规定条件的情况下，上述显示控制部将其意思显示于显示部，并且上述指示受理控制部受理再拍摄的指示，上述拍摄图像判断部对于上述拍摄部根据上述再拍摄指示以与被判断为满足上述规定条件的拍摄时不同的曝光条件进行拍摄而得到的拍摄图像数据也判断是否满足上述规定条件，上述发送部只将上述拍摄图像判断部判断为不满足上述规定条件的拍摄图像数据向上述图像输出装置发送。
根据上述结构，起到如下效果，即：便携终端装置不在图像输出装置中进行选择没有发白、发黑的拍摄图像数据的处理，能够输出拍摄图像数据。
优选为，上述便携终端装置还具备记录控制部，该记录控制部将上述拍摄部以上述不同的多种曝光条件来连续拍摄拍摄对象物而得到的、上述多个拍摄图像数据相互关联起来记录到存储部中，上述发送部将记录在上述存储部中的相互关联的多个拍摄图像数据向上述图像输出装置发送。
根据上述结构，上述图像输出装置以相互关联的状态接收通过连续拍摄上述拍摄对象物而得到的多个拍摄图像数据。因此，上述便携终端装置起到如下效果，即：例如在上述图像输出装置进行从上述多个拍摄图像数据中选择应该输出的拍摄图像数据的处理的情况等下，能够容易确定成为选择应该向上述图像输出装置输出的拍摄图像数据的候补的多个拍摄图像数据。
为了解决上述问题，本发明的图像输出装置的特征在于，具备：通信部，其从上述便携终端装置接收拍摄图像数据；图像处理部，其在上述通信部接收到的上述拍摄图像数据中包含分别以不同的曝光条件拍摄的多个拍摄图像数据的情况下，从该多个拍摄图像数据中选择不满足上述规定条件的任一拍摄图像数据；输出部，其执行输出上述图像处理部选择了的上述拍摄图像数据的输出处理。
根据上述结构，图像输出装置执行输出不满足规定条件的任一拍摄图像数据的输出处理。因此，图像输出装置起到使用户容易得到没有发白、发黑的拍摄图像数据的效果。
另外，为了解决上述问题，本发明的图像输出方法是具备通信部、图像处理部、输出部的图像处理装置的图像输出方法，其中，该通信部从上述便携终端装置接收拍摄图像数据，该图像处理部对拍摄图像数据实施图像处理，该输出部输出拍摄图像数据，该图像输出方法的特征在于，包括：选择工序，在该工序中，在上述通信部接收到的上述拍摄图像数据中包含分别以不同的曝光条件拍摄的多个拍摄图像数据的情况下，上述图像处理部从该多个拍摄图像数据中选择不满足上述规定条件的任一拍摄图像数据；输出工序，在该输出工序中执行输出上述图像处理部选择了的上述拍摄图像数据的输出处理。
根据上述结构，起到与图像输出装置相同的作用效果。
优选为，上述图像输出装置还具备补偿处理部，该补偿处理部进行高分辨率补偿，该高分辨率补偿为生成分辨率高于上述图像处理部选择了的上述拍摄图像数据的分辨率的高分辨率图像数据，
上述输出部输出的拍摄图像数据是由上述补偿处理部生成的上述高分辨率图像数据。
根据上述结构，图像输出装置还起到如下效果，即：能够输出分辨率高于便携终端装置进行拍摄而得到的拍摄图像数据的分辨率且没有发白、发黑的拍摄图像数据。
另外，本发明的拍摄图像处理系统的特征在于，具备上述便携终端装置和从该便携终端装置接收多个图像数据的上述图像输出装置。
根据上述结构，用户能够容易从图像输出装置得到在便携终端装置中通过多种不同的曝光条件进行拍摄而得到的多个拍摄图像数据中的、没有发白、发黑的拍摄图像数据。
此外，上述便携终端装置以及图像输出装置也可以通过计算机来实现，在该情况下，通过使计算机作为上述各部进行动作而在计算机上实现便携终端装置以及图像输出装置的各程序以及记录该程序的计算机可读取的记录介质也都属于本发明的范围。
在发明的具体实施方式中实施的具体的实施方式或者实施例只不过是用于使本发明的技术内容变得清楚，不应该狭义地解释为只限定于这种具体例，可以在本发明的精神和下面记载的权利要求书的范围内进行各种变更来实施。
产业上的可利用性
本发明能够适用于在便携终端装置和图像输出装置之间进行数据通信的拍摄图像处理系统。

Claims (9)

1.一种便携终端装置，具备发送部，该发送部对输出图像数据的图像输出装置发送多个图像数据，该便携终端装置的特征在于，
具备：拍摄部，其能够对同一拍摄对象物连续拍摄多次；以及拍摄图像判断部，其判断通过由上述拍摄部进行拍摄而得到的拍摄图像数据是否满足规定条件，
上述规定条件至少包括以下条件A，
条件A：根据上述拍摄图像数据表示的拍摄图像的各像素是否是作为表示像素的亮度的特征量而具有在第一阈值以上的特征量的白色像素来对上述拍摄图像进行2值化之后的第一2值化图像、和根据各像素是否是作为上述特征量而具有在小于上述第一阈值的第二阈值以上的特征量的白色像素来对上述拍摄图像进行2值化之后的第二2值化图像之间的逻辑异或为真，或者，根据各像素是否是作为上述特征量而具有在第三阈值以下的特征量的黑色像素来对上述拍摄图像进行2值化之后的第三2值化图像、和根据各像素是否是作为上述特征量而具有大于上述第三阈值的第四阈值以下的特征量的黑色像素来对上述拍摄图像进行2值化之后的第四2值化图像之间的逻辑异或为真，
在通过上述拍摄图像判断部被判断为满足上述规定条件的情况下，上述拍摄部以与为了得到上述拍摄图像数据而进行的拍摄中的曝光条件不同的多种曝光条件来连续拍摄上述拍摄对象物，
上述发送部将以上述不同的多种曝光条件拍摄上述拍摄对象物而得到的拍摄图像数据向上述图像输出装置发送。
2.根据权利要求1所述的便携终端装置，其特征在于，
上述拍摄部能够在拍摄之前事先取入表示上述拍摄对象物的图像，
上述拍摄图像判断部判断表示上述拍摄部在拍摄之前事先取入的图像的图像数据是否满足上述规定条件，来代替通过由上述拍摄部进行拍摄而得到的拍摄图像数据。
3.根据权利要求1或2所述的便携终端装置，其特征在于，
还具备对显示部的显示进行控制的显示控制部、和经由输入部对来自用户的指示进行受理的指示受理控制部，
在上述拍摄图像判断部判断为满足上述规定条件的情况下，上述显示控制部在显示部显示上述拍摄图像判断部的判断结果，并且上述指示受理控制部受理再拍摄的指示，
上述拍摄图像判断部对于上述拍摄部根据上述再拍摄指示以与被判断为满足上述规定条件的拍摄时不同的曝光条件进行拍摄而得到的拍摄图像数据，也判断是否满足上述规定条件，
上述发送部只将上述拍摄图像判断部判断为不满足上述规定条件的拍摄图像数据向上述图像输出装置发送。
4.根据权利要求1或2所述的便携终端装置，其特征在于，
还具备记录控制部，该记录控制部将上述拍摄部以上述不同的多种曝光条件来连续拍摄上述拍摄对象物而得到的、上述多个拍摄图像数据相互关联起来记录到存储部中，
上述发送部将记录在上述存储部中的相互关联的多个拍摄图像数据向上述图像输出装置发送。
5.一种图像输出装置，其特征在于，具备：
通信部，其从权利要求1或2中所述的便携终端装置接收拍摄图像数据；
图像处理部，其在上述通信部接收到的上述拍摄图像数据中包含分别以不同的曝光条件拍摄的多个拍摄图像数据的情况下，从该多个拍摄图像数据中选择不满足上述规定条件的任一拍摄图像数据；以及
输出部，其执行输出上述图像处理部选择了的上述拍摄图像数据的输出处理。
6.根据权利要求5所述的图像输出装置，其特征在于，
还具备补偿处理部，该补偿处理部进行高分辨率补偿，该高分辨率补偿为生成分辨率高于上述图像处理部选择了的上述拍摄图像数据的分辨率的高分辨率图像数据，
上述输出部输出的拍摄图像数据是由上述补偿处理部生成的上述高分辨率图像数据。
7.一种拍摄图像处理系统，包括：便携终端装置，其具备向输出图像数据的图像输出装置发送多个图像数据的发送部；图像输出装置，其从上述便携终端装置接收上述多个图像数据，该拍摄图像处理系统的特征在于，
上述便携终端装置具备：
拍摄部，其能够对同一拍摄对象物连续拍摄多次；以及
拍摄图像判断部，其判断通过由上述拍摄部进行拍摄而得到的拍摄图像数据是否满足规定条件，
上述规定条件至少包括以下条件A，
条件A：根据上述拍摄图像数据表示的拍摄图像的各像素是否是作为表示像素的亮度的特征量而具有在第一阈值以上的特征量的白色像素来对上述拍摄图像进行2值化之后的第一2值化图像、和根据各像素是否是作为上述特征量而具有在小于上述第一阈值的第二阈值以上的特征量的白色像素来对上述拍摄图像进行2值化之后的第二2值化图像之间的逻辑异或为真，或者，根据各像素是否是作为上述特征量而具有在第三阈值以下的特征量的黑色像素来对上述拍摄图像进行2值化之后的第三2值化图像、和根据各像素是否是作为上述特征量而具有大于上述第三阈值的第四阈值以下的特征量的黑色像素来对上述拍摄图像进行2值化之后的第四2值化图像之间的逻辑异或为真，
在通过上述拍摄图像判断部被判断为满足上述规定条件的情况下，上述拍摄部以与为了得到上述拍摄图像数据而进行的拍摄中的曝光条件不同的多种曝光条件来连续拍摄上述拍摄对象物，
上述发送部将以上述不同的多种曝光条件拍摄上述拍摄对象物而得到的拍摄图像数据向上述图像输出装置发送，
上述图像输出装置具备：
通信部，其从上述便携终端装置接收上述拍摄图像数据；
图像处理部，其在上述通信部接收到的上述拍摄图像数据中包含分别以不同的曝光条件拍摄的多个拍摄图像数据的情况下，从该多个拍摄图像数据中选择不满足上述规定条件的任一拍摄图像数据；以及
输出部，其执行输出上述图像处理部选择了的上述拍摄图像数据的输出处理。
8.一种便携终端装置的控制方法，该便携终端装置具备：向输出图像数据的图像输出装置发送多个图像数据的发送部；以及拍摄部，其能够对同一拍摄对象物连续拍摄多次，该控制方法的特征在于，包括：
拍摄图像判断步骤，在该拍摄图像判断步骤中，拍摄图像判断部判断通过由上述拍摄部进行拍摄而得到的拍摄图像数据是否满足规定条件，
拍摄步骤，在该拍摄步骤中，在通过上述拍摄图像判断部被判断为满足上述规定条件的情况下，上述拍摄部以与为了得到上述拍摄图像数据而进行的拍摄中的曝光条件不同的多种曝光条件来连续拍摄上述拍摄对象物，
发送步骤，在该发送步骤中，上述发送部将以上述不同的多种曝光条件拍摄上述拍摄对象物而得到的拍摄图像数据向上述图像输出装置发送，
上述规定条件至少包括以下条件A，
条件A：根据上述拍摄图像数据表示的拍摄图像的各像素是否是作为表示像素的亮度的特征量而具有在第一阈值以上的特征量的白色像素来对上述拍摄图像进行2值化之后的第一2值化图像、和根据各像素是否是作为上述特征量而具有在小于上述第一阈值的第二阈值以上的特征量的白色像素来对上述拍摄图像进行2值化之后的第二2值化图像之间的逻辑异或为真，或者，根据各像素是否是作为上述特征量而具有在第三阈值以下的特征量的黑色像素来对上述拍摄图像进行2值化之后的第三2值化图像、和根据各像素是否是作为上述特征量而具有大于上述第三阈值的第四阈值以下的特征量的黑色像素来对上述拍摄图像进行2值化之后的第四2值化图像之间的逻辑异或为真。
9.一种图像输出装置的图像输出方法，该图像输出装置具备：通信部，其从权利要求1或2中所述的便携终端装置接收拍摄图像数据；图像处理部，其对拍摄图像数据实施图像处理；以及输出部，其输出拍摄图像数据，该图像输出方法的特征在于，具备：
选择工序，其在上述通信部接收到的上述拍摄图像数据中包含分别以不同的曝光条件拍摄的多个拍摄图像数据的情况下，上述图像处理部从该多个拍摄图像数据中选择不满足上述规定条件的任一拍摄图像数据，
输出工序，其执行输出上述图像处理部选择了的上述拍摄图像数据的输出处理。
CN201010287143.7A 2009-09-17 2010-09-16 便携终端装置及其控制方法、图像输出装置和方法 Expired - Fee Related CN102025809B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-215702 2009-09-17
JP2009215702A JP5026484B2 (ja) 2009-09-17 2009-09-17 携帯端末装置、画像出力装置、撮像画像処理システム、携帯端末装置の制御方法、画像出力方法、プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
CN102025809A CN102025809A (zh) 2011-04-20
CN102025809B true CN102025809B (zh) 2014-06-25

Family

ID=43730162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010287143.7A Expired - Fee Related CN102025809B (zh) 2009-09-17 2010-09-16 便携终端装置及其控制方法、图像输出装置和方法

Country Status (3)

Country Link
US (1) US8300141B2 (zh)
JP (1) JP5026484B2 (zh)
CN (1) CN102025809B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5791336B2 (ja) * 2011-04-01 2015-10-07 キヤノン株式会社 画像処理装置及びその制御方法
JP2012235194A (ja) * 2011-04-28 2012-11-29 Canon Inc 撮像装置及びその制御方法、並びにプログラム
JP5716723B2 (ja) * 2012-09-20 2015-05-13 コニカミノルタ株式会社 画像処理システム、携帯情報装置、遠隔操作方法および連携プログラム
US9626740B2 (en) * 2013-03-29 2017-04-18 Konica Minolta, Inc. Image processing apparatus and image processing method
WO2014203403A1 (ja) * 2013-06-17 2014-12-24 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN104378540A (zh) * 2013-08-12 2015-02-25 联想(北京)有限公司 图像采集方法、装置及电子设备
US10063844B2 (en) * 2013-10-17 2018-08-28 Microsoft Technology Licensing, Llc. Determining distances by probabilistic time of flight imaging
CN103747177A (zh) * 2013-12-31 2014-04-23 华为技术有限公司 视频拍摄的处理方法及装置
CN104135610B (zh) * 2014-07-02 2019-05-31 联想(北京)有限公司 一种信息处理方法及电子设备
JP6365379B2 (ja) 2015-03-31 2018-08-01 ブラザー工業株式会社 画像処理プログラム、画像処理装置、及び、画像処理方法
US9978123B2 (en) 2015-03-31 2018-05-22 Brother Kogyo Kabushiki Kaisha Computer-readable storage medium storing image processing program, image processing device, and image processing method
JP6380209B2 (ja) * 2015-03-31 2018-08-29 ブラザー工業株式会社 画像処理プログラム、画像処理装置、及び、画像処理方法
US9692929B2 (en) * 2015-08-31 2017-06-27 I.R.I.S. Method and system for correction of an image from a hand-held scanning device
WO2017126056A1 (ja) 2016-01-20 2017-07-27 株式会社Pfu モバイル端末、画像処理方法、および、プログラム
JP6686697B2 (ja) * 2016-05-24 2020-04-22 富士通株式会社 送信制御プログラム、送信制御方法および送信制御システム
CN110414517B (zh) * 2019-04-18 2023-04-07 河北神玥软件科技股份有限公司 一种用于配合拍照场景的快速高精度身份证文本识别算法
WO2022075994A1 (en) * 2020-10-09 2022-04-14 Hewlett-Packard Development Company, L.P. Correcting scanned documents based on determined corrective functions

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007143054A (ja) * 2005-11-22 2007-06-07 Olympus Imaging Corp 電子カメラおよびブラケット撮影方法
JP2009053428A (ja) * 2007-08-27 2009-03-12 Sanyo Electric Co Ltd 電子カメラ
US7566851B2 (en) * 2006-03-24 2009-07-28 Mobileye Technologies Ltd. Headlight, taillight and streetlight detection

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3526248B2 (ja) * 1999-08-27 2004-05-10 キヤノン株式会社 画像処理装置、画像処理方法及び記憶媒体
JP2002041502A (ja) 2000-07-28 2002-02-08 Olympus Optical Co Ltd ドキュメント作成システム及びドキュメント作成方法
JP3784649B2 (ja) 2001-02-06 2006-06-14 シャープ株式会社 画像処理装置及びそれを備えた画像形成装置並びに画像処理方法
JP4328125B2 (ja) * 2003-04-25 2009-09-09 オリンパス株式会社 カプセル型内視鏡装置およびカプセル型内視鏡システム
JP3882793B2 (ja) 2003-07-14 2007-02-21 セイコーエプソン株式会社 画像データの出力画像調整
JP2005217898A (ja) * 2004-01-30 2005-08-11 Konica Minolta Photo Imaging Inc 撮像装置及び撮像方法
US7782384B2 (en) * 2004-11-05 2010-08-24 Kelly Douglas J Digital camera having system for digital image composition and related method
JP4548144B2 (ja) 2005-02-23 2010-09-22 カシオ計算機株式会社 デジタルカメラ装置、及びスルー画像表示方法
WO2007017835A2 (en) * 2005-08-08 2007-02-15 Joseph Rubner Adaptive exposure control
WO2007018008A1 (ja) * 2005-08-08 2007-02-15 Matsushita Electric Industrial Co., Ltd. 画像合成装置および画像合成方法
JP4829691B2 (ja) 2006-06-12 2011-12-07 キヤノン株式会社 画像処理システム、記録装置及びその制御方法、プログラム、及び記録媒体
JP2008104009A (ja) 2006-10-19 2008-05-01 Sony Corp 撮像装置および撮像方法
TWI324326B (en) * 2006-11-03 2010-05-01 Univ Nat Taipei Technology A mura defect detection algorithm for flat panel displays
US8237850B2 (en) 2007-08-27 2012-08-07 Sanyo Electric Co., Ltd. Electronic camera that adjusts the distance from an optical lens to an imaging surface
US8891955B2 (en) * 2008-04-04 2014-11-18 Whitham Holdings, Llc Digital camera with high dynamic range mode of operation
US8493446B2 (en) * 2009-04-17 2013-07-23 International Business Machines Corporation Intelligent headlight control using camera sensors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007143054A (ja) * 2005-11-22 2007-06-07 Olympus Imaging Corp 電子カメラおよびブラケット撮影方法
US7566851B2 (en) * 2006-03-24 2009-07-28 Mobileye Technologies Ltd. Headlight, taillight and streetlight detection
JP2009053428A (ja) * 2007-08-27 2009-03-12 Sanyo Electric Co Ltd 電子カメラ

Also Published As

Publication number Publication date
CN102025809A (zh) 2011-04-20
JP5026484B2 (ja) 2012-09-12
US8300141B2 (en) 2012-10-30
JP2011066690A (ja) 2011-03-31
US20110063456A1 (en) 2011-03-17

Similar Documents

Publication Publication Date Title
CN102025809B (zh) 便携终端装置及其控制方法、图像输出装置和方法
CN101996392B (zh) 摄像图像处理系统以及图像输出方法
JP6250014B2 (ja) モバイル画像キャプチャおよび処理のためのシステムならびに方法
JP5951367B2 (ja) 撮像装置、撮像画像処理システム、プログラムおよび記録媒体
CN102164214B (zh) 拍摄图像处理系统、便携终端装置以及图像输出装置
CN101860708B (zh) 便携式终端装置及其控制方法、以及拍摄图像处理系统
CN102045471B (zh) 摄像图像处理系统及图像输出方法
JP2016538783A (ja) モバイル映像データを用いて長尺文書の合成画像を生成するためのシステムおよび方法
US8441537B2 (en) Portable terminal apparatus for capturing only one image, and captured image processing system for obtaining high resolution image data based on the captured only one image and outputting high resolution image
JP6426815B2 (ja) 画像処理装置および画像処理方法
CN105830091A (zh) 使用移动视频数据生成长文档的合成图像的系统和方法
JP2010273218A (ja) 画像出力装置、撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
JP2006251986A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140625

CF01 Termination of patent right due to non-payment of annual fee