CN101138008A

CN101138008A - 图像处理设备和图像处理方法

Info

Publication number: CN101138008A
Application number: CNA200680007247XA
Authority: CN
Inventors: 牧野哲司; 手岛义裕
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2005-09-08
Filing date: 2006-09-07
Publication date: 2008-03-05
Anticipated expiration: 2026-09-07
Also published as: US8023743B2; WO2007029877A2; CN101138008B; JP2007074579A; KR100916867B1; US20070052818A1; KR20070102734A; TW200727194A; WO2007029877A3; TWI332638B; JP4556813B2; EP1844442A2

Abstract

当用户通过操作操作单元(302)指示进行拍摄时，将通过图像传感器(102)所捕获的图像作为所拍摄图像存储在存储器(201)中。当设定了用于执行褪色校正的模式时，CPU(204)指示图像处理装置(203)从所拍摄图像中提取多个区域，在所述区域中存在假设发生了褪色的摄影相片图像。图像处理装置(203)通过检测所拍摄图像的边缘来生成二进制图像，擦除与所拍摄图像的最外面边缘相接触的边缘，并基于从其中擦除了一些边缘的该二进制图像来提取所述多个区域。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及图像处理设备和图像处理方法，其从所拍摄图像中提取预定区域(摄影相片(photographic print)等)。

背景技术

近年来，数码相机作为摄影装置被普及，相片的数字化在不断的发展。

相片数字化具有许多优点。例如，相片能够被压缩存储，易于复制相片，且能够以多种方式浏览相片，例如以连续的或随机的顺序。从这些优点的观点来看，对于使用银盐胶片获得的传统相片进行的数字化会被广泛的使用。由于近来数码相机的普及，许多人有这种传统相片。传统相片包括相纸(printing paper)上的相片和显影胶片。在下文中，这些被通称为“摄影相片”。

摄影相片能够被数字化，例如通过使平板扫描仪扫描摄影相片。众所周知，由于随时间流逝而发生化学变化，摄影相片的原始色彩变色(褪色)。因此，一些扫描器上安装了图像处理装置，其执行褪色校正，用于校正变色。

在日本专利申请公开No.2002-101313中说明了一种执行褪色校正的传统图像处理装置的实例。在该专利文献中所述的传统图像处理装置检测所获取的图像的褪色程度，并根据检测结果执行褪色校正。程度检测使得仅借助于获取图像就能够适当的执行褪色校正。

只将程度检测应用到作为褪色校正对象的图像是有必要的。否则，就不能准确确定图像上发生的褪色处于何种情况。众所周知，采用平板扫描器扫描直接置于扫描台上的或设置在供给器上的扫描对象。因此，可以易于仅扫描要应用褪色校正的摄影相片。

此外，摄影相片通常贴到相册等上(在此，包括一种方法，用于将摄影相片放进至少一面是透明的文件夹中)。粘贴在相册上的摄影相片是不能被放置在供给器上的。而且，难以将它们适当地放置在扫描台上。一般也不可能只扫描粘贴在相册上的目标摄影相片。因此，当扫描粘贴在相册上的摄影相片时，通常将其从相册中取下。因此，当用扫描器扫描摄影相片时，必须为每个摄影相片执行以下繁重的工作。即，从相册中取下摄影相片，并将其放置在扫描台上，且在扫描完成之后，将在扫描台上的摄影相片再次粘贴到相册。

在从相册取下摄影相片时可能会损坏它。例如，当摄影相片被粘贴到在相册中覆盖摄影相片的透明片材时，就极有可能损坏它们。因此，就希望在不必从相册中取下摄影相片的情况下扫描它们。

使用在日本专利申请公开No.2002-354331中所述的发明，可以在不从相册中取下摄影相片的情况下扫描它们。然而，对于用户而言更方便的和优选的是能够使用便携式摄影装置，例如数码相机。使用便携式摄影装置，可以拍摄在任意位置关系中的物体。另一方面，能够拍摄在任意位置关系中的物体的这一优势意味着难以知道摄影相片是在什么摄影条件下(摄影装置与物体的位置关系、物体与另一个物体的位置关系、等等)被实际拍摄的。这使得难以辨认某个特定的摄影相片。

而且，相册通常储存许多摄影相片。这就难以从这么多相片中确定地识别出褪色校正的目标。

发明内容

本发明的一个目的是提供一种图像处理设备和图像处理方法，其从所拍摄图像中提取出预定图像区域。

根据本发明的实施例，图像处理设备包括：

图像捕获单元，其捕获包含相片的物体的图像；

边缘检测单元，其检测在由图像捕获单元所捕获的物体图像中存在的边缘；

加权单元，其根据由边缘检测单元所检测的边缘是否接触了物体图像的最外面边缘，来对所述边缘执行加权；以及

区域提取单元，其基于经加权单元加权的边缘，从物体图像中提取出相片所在的区域。

根据本发明的另一个实施例，一种图像处理方法包括：

捕获包含相片的物体的图像的步骤；

检测在所捕获物体图像中存在的边缘的步骤；

根据由所述检测边缘步骤所检测的边缘是否接触了物体图像的最外面边缘，来对所述边缘执行加权的步骤；以及

基于经所述执行加权步骤加权的边缘，从物体图像中提取相片出所在的区域的步骤。

根据本发明的另一个实施例，一种计算机程序产品存储在计算机可用介质中，该计算机程序产品被配置为存储程序指令，所述程序指令用于在计算机系统上的执行，使得该计算机系统执行：

捕获包含相片的物体的图像；

检测在所捕获的物体图像中存在的边缘；

根据所检测的边缘是否接触了物体图像的最外面边缘，来对所述边缘执行加权；以及

基于经过加权的边缘，从物体图像中提取出相片所在的区域。

附图说明

图1是用于解释包括根据第一实施例的图像处理设备的摄影装置的示意图；

图2是用于解释包括根据第一实施例的图像处理设备的摄影装置的结构的示意图；

图3A，3B，3C，3D，3E，3F和3G是用于解释边缘检测方法的示意图；

图4是用于解释借助于加标记方法的标记分配的示意图；

图5A，5B，5C，5D，5E和5F是用于解释当拍摄物体时，在液晶显示器单元上显示的各种图像的示意图；

图6A和6B是用于解释霍夫(Hough)变换的示意图；

图7是用于解释在一个摄影相片与该摄影相片的投影图像之间关系的示意图；

图8A和8B是用于解释起因于褪色的变色的示意图；

图9是相机基本处理的流程图；

图10是边缘检测处理的流程图；

图11是借助加标记的外围边缘擦除处理的流程图；

图12是褪色程度检测处理的流程图；

图13是褪色校正向导显示处理的流程图；

图14是褪色校正处理的流程图；

图15是修改的褪色校正向导显示处理的流程图；以及

图16是根据第二实施例的借助于加标记的外围边缘擦除处理的流程图。

具体实施方式

在下文中，将参考附图来详细说明本发明的各个实施例。

<第一实施例>

图1是用于解释包括根据第一实施例的图像处理设备的摄影装置的示意图。假定摄影装置1是便携式的，例如数码相机或具有相机功能的蜂窝电话。物体2是相册，用于储存摄影相片3，如上所述，其是显影胶片或在相纸上的相片。在下文中，参考数字2仅指示相册是一个物体。

图2是用于解释摄影装置1的结构的示意图。如图2所示，摄影装置1包括图像数据生成单元21，用于生成图像数据，该图像数据是通过将对摄影目标物体进行拍摄而获得的图像数字化来得到的；数据处理单元22，用于对图像数据执行图像处理；以及用户接口单元23，用于与用户交换信息。

图像数据生成单元21包括光学透镜装置101和图像传感器102。光学透镜装置101组成光学系统，其在图像传感器102上形成物体图像，并能够调节与拍摄有关的设置参数，例如焦点、曝光和白平衡。图像传感器102将由光学透镜装置101所聚焦/成像的物体图像变换为数字化的图像数据。图像传感器102由CCD等组成。

图像数据生成单元21执行高分辨率图像拍摄和低分辨率图像拍摄(预览拍摄)。在低分辨率图像拍摄中，图像分辨率例如约为相对较低的XGA(扩展图形阵列：1024×768像素点)。然而，其可以以约30fps(帧/秒)的速度执行视频记录或图像读取。另一方面，在高分辨率图像拍摄中，例如，以可拍摄的最大数量的像素(点)执行拍摄。由于以最大数量的像素执行拍摄，因此与在低分辨率图像拍摄的情况下相比较，拍摄速度和图像读取速度较慢。

数据处理单元22包括存储器201，其存储从图像传感器102输出的图像数据；视频输出装置202，用于显示存储在存储器201中的图像数据；图像处理单元203，用于对图像数据执行图像处理；CPU204，其控制整个摄影装置1；以及程序代码存储装置(在下文中，简称为“代码存储装置”)205，其存储由CPU204执行的程序(程序代码)。存储设备205例如是ROM或快闪存储器。根据本实施例的图像处理设备被实现为图像处理装置203。

用户接口单元23包括液晶显示器单元301；包含各种可操作部分的操作单元302；PC接口装置303，用于执行与诸如个人计算机(PC)的外部设备之间的数据输入/输出；以及外部存储装置304。

操作单元302包括例如作为可操作部分的电源键、模式转换开关、快门键、菜单键、箭头键、聚焦键和缩放键，其未被示出。模式转换开关包括用于切换记录(拍摄)/回放模式的开关，和用于切换正常/褪色校正中的子模式的开关(在下文中，后者改写为“子模式转换开关”来加以区分)。尽管未示出，但还提供了子CPU，其检测开关状态的变化，并将与该变化相对应的检测信号传输到CPU204。外部存储装置304是，例如，能够连接到设备1并与其分离的便携式存储介质(例如，快闪存储器)，或者是硬盘装置。

CPU204通过加载并执行存储在代码存储装置205中的程序，来控制整个摄影装置1。CPU204根据从操作单元302输入的命令信号，按照需要控制图像数据生成单元21的光学透镜装置101或图像传感器102，从而调节焦点、白平衡等，或改变曝光时间。

当设定了记录模式时，CPU204使得图像传感器102即使在拍摄之前也输出图像数据。视频输出设备202从存储在存储器201中的图像数据中生成要显示的RGB信号，并向液晶显示器单元301输出所生成的信号。以这种方式，液晶显示器单元301能够显示拍摄对象的图像或所拍摄图像。来自视频输出设备202的RGB信号能够经由终端(未示出)输出到外部装置，以便通过电视机、PC、投影机等显示该RGB信号。

存储在存储器201中的图像数据以这样的方式来保存：CPU204将图像数据以文件的格式存储到外部存储装置304中。存储在外部存储装置304中的图像数据能够经由PC接口装置303输出。PC接口设备303符合例如USB标准。

CPU204指示图像处理装置203执行图像处理，以按需要用于图像数据。当图像数据被保存在外部存储装置304中时，CPU204使图像处理装置203执行压缩处理。当设定回放模式时，按照对操作单元302进行的操作，CPU204将通过压缩处理编码而保存到外部存储装置304中的图像数据加载到存储器201。随后，CPU204使图像处理装置203执行解压缩处理，以在液晶显示器单元301上显示图像数据。

如上所述，在记录模式中，正常模式或褪色校正模式能够被设定为子模式。正常模式是用于按照原样加载拍摄图像的模式。褪色校正模式是用于通过自动提取具有物体的图像区域来执行褪色校正的模式，其中假定该图像区域的原始色彩已经消退脱色(褪色)。准备了褪色校正模式，以便在摄影相片3被粘贴在相册2等(即，不必将它们从相册2等等上取下)的状态下适当地执行数字化。当设定了褪色校正模式时，CPU204使图像处理装置203执行以下的图像处理。该图像处理的对象是通过拍摄而获得的图像数据。“通过拍摄而获得的图像数据”在下文中被称为“所拍摄图像数据”或“原始图像数据”，以便将它们与在拍摄之前存储在存储器201中的图像数据相区别。由该数据所表示的图像被称为“所拍摄图像”或“原始图像”。

图像处理主要包括(1)边缘检测，(2)倾斜拍摄校正(obliquephotographing correction)，(3)对于所述边缘检测获得区域的褪色程度检测，以及(4)褪色校正。边缘检测处理用于检测在物体2的所拍摄图像中所包含的摄影相片3的图像(摄影相片图像)的边缘(边框线)。由于摄影相片3的状态或者其相对于相机的位置关系，摄影相片图像通常或多或少存在失真。即使摄影相片3是完全平坦的，除非其表面处于与由光学透镜装置101组成的光学系统的光轴相垂直的位置关系(在下文中称为“理想位置关系”)，否则摄影相片图像就会失真，即当从倾斜方向拍摄摄影相片3时摄影相片图像就会失真。倾斜拍摄校正处理用于校正失真。

根据保存条件，即湿度、温度、紫外线等，在摄影相片3中发生了化学变化，摄影相片3变色，以致于其原始颜色消退，导致了褪色。对于该边缘检测获得区域的褪色程度检测处理，用于检测在经过倾斜拍摄校正处理的摄影相片图像(边缘检测获得区域)上褪色的程度(褪色程度)。褪色校正处理用于根据由该褪色程度检测处理所确定的褪色程度，执行对摄影相片图像的褪色校正，以使得由褪色所改变的颜色接近原始色彩。

接下来，将详细说明由图像处理装置203执行的上述各种图像处理。图像处理装置203将存储所拍摄图像数据的存储器201用作工作区，以执行各种图像处理。用于执行图像处理的程序被存储在图像处理装置203中所包含的非易失性存储器中，或者存储在由CPU204访问的代码存储装置205中。在此，假定为后者的情况。在此情况下，CPU204从代码存储装置205中加载用于各种图像处理的程序，并且如有必要，将该程序传递到图像处理装置203。

图3A到3G是用于解释在边缘检测处理中的边缘检测方法的示意图。

图3A中所示的预览图像是所拍摄图像，其图像数据通过拍摄在相册2中的摄影相片3而存储在存储器201中。通过对该预览图像执行边缘检测来创建如图3B所示的二进制边缘图像。例如，通过使用用于边缘检测的滤波器来实现该创建过程，该滤波器被称为罗伯茨滤波器(Roberts filter)。

在该罗伯茨滤波器中，通过对由一个目标像素和与其相邻的三个像素所组成的四个相邻像素执行两种加权，来确定两个差值Δ1和Δ2，对这些差值进行平均来计算目标像素的像素值，以便突出增强边缘。假设目标像素所在的坐标是(x，y)，且像素值是f(x，y)，则在通过罗伯茨滤波器滤波处理之后(变换之后)的像素值g(x，y)表达如下。

g (x, y) = \sqrt{{(Δ 1)}^{2} + {(Δ 2)}^{2}}

Δ1＝1·f(x，y)+0·f(x+1，y)+0·f(x，y-1)-1·f(x+1，y-1) …(1)

＝f(x，y)-f(x+l，y-1)

Δ2＝0·f(x，y)+1·f(x+l，y)＝1·f(x，y-1)+0·f(x+1，y-1)

按照预定阈值TH来对通过公式(1)获得的像素值g(x，y)进行二值化。阈值TH可以被确定为固定值。然而，也可以通过一种方法来按照需要确定它，例如可变阈值方法或判别分析方法(discriminationanalysis method)。通过以下公式，用阈值TH将像素值g(x，y)变换为二进制像素值h(x，y)。通过该变换来创建(生成)二值化图像(二进制边缘图像)h，如图3B所示，其表示在所拍摄图像上提取的边缘。

(2)

存在放置摄影相片3的位置的颜色(背景)与摄影相片3外围的颜色近似的可能性。尤其是在这样一种情况下，例如，其中具有蓝天背景的摄影相片3被粘贴到蓝色纸张上。即使在这种情况下，在图像数据格式是YUV时，就可以突出增强在摄影相片3和蓝色纸张之间的差别，例如采用以下公式。如在以下公式中，不仅是亮度值Y的差值，还有每个颜色分量的U和V差值都可以分别被确定并平均。于是，将一个平均值乘以系数n，并加到相对于亮度值Y而确定的平均值上。

g (x, y) = \sqrt{{(ΔY 1)}^{2} + {(ΔY 2)}^{2}} + \sqrt{{(ΔU 1)}^{2} + {(ΔU 2)}^{2}} \sqrt{{(ΔV 1)}^{2} + {(ΔV 2)}^{2} \cdot} n

ΔY1＝1·fy(x，y)+0·fy(x+1，y)+0·fy(x，y-1)-1·fy(x+1，y-1)

＝fy(x，y)-fy(x+1，y-1)

ΔY2＝0·fy(x，y)+1·fy(x+1，y)-1·fy(x，y-1)+0·fy(x+1，y-1)

＝fy(x+1，y)-fy(x，y-1)

ΔU1＝1·fu(x，y)+0·fu(x+1，y)+0·fu(x，y-1)-1·fu(x+1，y-1)

＝fu(x，y)-fu(x+l，y-1) …(3)

ΔU2＝0·fu(x，y)+1·fu(x+1，y)-1·fu(x，y-1)+0·fu(x+l，y-1)

＝fu(x+1，y)-fu(x，y-1)

ΔV1＝1·fv(x，y)+0·fv(x+l，y)+0·fv(x，y-1)-1·fv(x+1，y-1)

＝fv(x，y)-fv(x+1，y-1)

ΔV2＝0·fv(x，y)+1·fv(x+1，y)-1·fv(x，y-1)+0·fv(x+1，y-1)

＝fv(x+1，y)-fv(x，y-1)

在公式(3)中，三种分量的平方和如下。为了边缘提取执行一种采用罗伯茨滤波器的变换。由于其对于提取边缘是足够的，因此可以借助于仅使用三种分量的平方和中最大的一个来计算像素值g(x，y)。

\{\begin{matrix} {(ΔY 1)}^{2} + {(ΔY 2)}^{2} \\ {(ΔU 1)}^{2} + {(ΔU 2)}^{2} \\ {(ΔV 1)}^{2} + {(ΔV 2)}^{2} \end{matrix}

即使图像数据采用另一种格式，也能够执行上述的增强。当图像数据采用以RGB表示颜色的格式时，对于每个RGB分量，通过公式(1)分别确定像素值g(x，y)，并且使用其中最大的一个，其能够实现该增强。这与图像数据采用以CMY或CMYK表示颜色的格式的情况是相同的。

为了拍摄粘贴到相册2的摄影相片3，如图3B所示，当在该摄影相片3附近存在其它摄影相片3时，该摄影相片3可能与其它摄影相片一起被拍摄。然而，用户希望拍摄想要数字化的摄影相片3(在下文中，当存在要进行区分的其它摄影相片时，为方便起见，它被称为“想要得到的摄影相片”，其图像被称为“想要得到的摄影相片图像”)，试图使得想要得到的摄影相片3显示得更大，同时试图不生成没有被显示的部分，以便更好的实现数字化。由此，如图3B所示，整个想要得到的摄影相片3被显示在所拍摄图像的中心附近，并且即使其它摄影相片3被显示，在大多数情况下，其也只有一部分被显示在外围。

如图3B所示，边缘也可以存在于想要得到的摄影相片图像内部。为了不错误地检测在想要得到的摄影相片图像内的边缘，就希望以更高的优先级来检测外边缘。它被称为“外边缘优先级”。

然而，如果有其它摄影相片图像包含在所拍摄图像的外围中，则使用外边缘优先级会导致这样的事实：其它摄影相片图像的边缘被错误地检测为想要得到的摄影相片图像的边缘，如图3C所示。为了避免这种错误的检测，在本实施例中执行加权，以便根据该边缘是否接触所拍摄图像的边缘(在下文中它被称为“最外面边缘”)，来对边缘进行操作。更具体而言，将接触最外面边缘的边缘从二进制边缘图像中擦除。通过最外面边缘擦除，将图3B所示的边缘图像更新为如图3D所示。以这种方式，即使存在其它摄影相片图像，也能够擦除其它摄影相片图像的边缘，使得可以确定地检测到一个区域，如图3F所示，想要得到的摄影相片图像存在于该区域中。

可以通过使用加标记的方法来执行对与最外面边缘相接触的边缘的擦除。彼此相互连通并具有至少一个接触最外面边缘的像素的多个像素被擦除。

在诸如二进制边缘图像之类的二进制图像的情况下，如图4所示，以这种方式来执行加标记：当目标像素F(x，y)在边缘上时，则检查与目标像素相连的周围8个像素，并将与目标像素F(x，y)相同的标记分配给与目标像素F(x，y)相连通的像素。通过以这种方式分配标记，能够将相同的标记分配给彼此连通以构成边缘的所有像素。由此，通过对构成与最外面边缘相接触的边缘的多个像素取消标记分配，来擦除与最外面边缘相接触的边缘。此外，使得被取消了标记分配的像素的值变为0。

对于通过上述擦除处理而更新的二进制边缘图像(在下文中简称为“边缘图像”)，对于构成想要得到的摄影相片图像的边缘的直线进行检测。通过使用霍夫变换来执行该检测。

如图6A和6B所示，霍夫变换是一种变换技术，其中，组成在X-Y平面上的一条直线的点的数量在由以下公式所表示的ρ-θ平面上被“投票”，并被变换为ρ-θ平面上的得票数。

ρ＝x·cosθ+y·sinθ …(4)

当角度θ在各个点的坐标(x，y)上从0°变为360°时，相同的直线由ρ-θ平面上相同的点来表示。这是因为当有直线通过与原点的距离为ρ的坐标点时，构成该直线的各点的投票被执行到在ρ-θ平面上的相同点上。因此，可以基于得到较大得票数的ρ-θ坐标来确定该直线(其位置)。得到的票数等于在直线上的像素数，其可以被认为是直线的长度。从而，具有大量得票数的ρ-θ坐标被认为是短直线或曲线，并且将其从代表该摄影相片图像最外面边缘的多个候选中清点出来。

在充当检查对象的边缘图像中，将图像中心认为是坐标系原点，在公式(4)右侧的两个项取正值和负值。因此，距离ρ的值在角度θ是0°≤θ<180°的范围内是正的，在角度是180°≤θ<0°(360°)的范围中是负的。

如上所述，假定将褪色校正模式用于已有的摄影相片3的数字化。如上所述，按照这个假设，存在许多种情况，其中在这样的条件下拍摄摄影相片3：图像在所拍摄图像的中心附近更明显的显现。在以这种方式进行拍摄的情况下，摄影相片图像的中心(矩形图像区域)位于所拍摄图像的中心(原点)附近，各个边框(边)位于原点的上、下、左和右。因此，与将检测范围分割为0°≤θ<180°和180°≤θ<0°(360°)的范围相比，通过将检测范围相对于角度θ分割为如下的范围，可以更有效地检测在ρ-θ平面上得到的投票数。

上下边框(边)

45°<θ<135°(或225°≤θ<3 15°) …(5)

左右边框(边)

135°<θ<225°(或315°<θ<405°) …(6)

按照对角度θ范围和距离ρ的正值或负值的限定，能够确定上下或左右边框，并能够计算交点而成为摄影相片图像的顶点。由按照上述假定的拍摄条件，摄影相片图像的边框可以不靠近原点。因此，在对于具有大量得票数的直线的多个候选中确定与边框相对应的候选时，要考虑到距离ρ。

通过确定四个边框，将存在摄影相片图像的图像区域确定为边缘检测获得区域。在确定了所述边缘检测获得区域之后，对该区域应用倾斜拍摄校正处理。在该校正处理中，从所拍摄图像中提取出(剪裁出)该确定区域(摄影相片图像)，以校正失真。采用射影变换来执行该校正。在本实施例中，通过使用二维仿射变换来执行该变换，而无需使用三维相机参数。如众所周知的，仿射变换被广泛用于图像的空间变换。

在仿射变换中，根据以下公式来对变换前的坐标(u，v)执行移位、缩放、旋转等操作，并确定变换后的坐标(x，y)。

(x', y', z') = (u, v, 1) (\begin{matrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{matrix})

如下来计算最后的坐标(x，y)。

X = \frac{X'}{Z'} = \frac{a_{11} u + a_{21} v + a_{31}}{a_{13} u + a_{23} v + a_{33}}

…(8)

y = \frac{y'}{z'} = \frac{a_{12} u + a_{22} v + a_{32}}{a_{13} u + a_{23} v + a_{33}}

公式(8)是用于执行射影变换的公式，坐标(x，y)根据z’值向0衰减。即，包括在z’中的参数对射影具有影响。这些参数是a13、a23、和a33。此外，因为其它参数能够采用参数a33来规格化，因此参数a33的值可以为1。在公式(7)右侧的3×3矩阵的各个参数能够基于边缘检测获得区域的边缘(四个顶点)和拍摄时的焦距来计算。

图7是用于解释在所拍摄图像中的摄影相片图像与该摄影相片的图像之间关系的示意图。

在图7中，U-V-W坐标系统是通过由图像数据生成单元21拍摄获得的所拍摄图像(原始图像)的三维坐标系统。A(A_u，A_v，A_w)向量和B(B_u，B_v，B_w)是表示在三维U-V-W坐标系统上的摄影相片3的向量。此外，S(S_u，S_v，S_w)是表示在U-V-W坐标系统的原点与摄影相片3之间距离的向量。

图7中所示的所拍摄图像的虚拟投影屏幕(在下文中的“虚拟屏幕”)实际上表示由摄影装置1所投影的图像。这是为了执行摄影相片图像的投影。假设虚拟屏幕是X-Y坐标系统，投影在虚拟屏幕上的摄影相片3的图像对应于要拍摄的摄影相片图像。在此，假设虚拟屏幕被布置为与通过W＝0的平面的距离为d，并与其垂直。

假定在摄影相片3上的任意点P(u，v，w)和原点通过直线相连，且直线与虚拟屏幕相交的交点的X-Y坐标是p(x，y)。在此情况下，坐标p通过以下公式以射影变换来表示。

{\begin{matrix} x = u \frac{d}{w} \\ y = v \frac{d}{w} \end{matrix}

根据公式(9)，如图7所示，能够从在四个顶点P0、P1、P2和P3与投射到其虚拟屏幕上的投影点p0、p1、p2和p3之间的关系中获得以下所示的关系表达式。

{\begin{matrix} Su = k_{1} \cdot x_{0} \\ Sv = K_{1} \cdot X_{0} \\ Sw = K_{1 \cdot d} \end{matrix}

{\begin{matrix} Au = K_{1} \cdot {X_{1} - X_{0} + α \cdot X_{1}} \\ Av = K_{1} \cdot {y_{1} - y_{0} + α \cdot y_{1}} \\ Aw = K_{1} \cdot α \cdot d \end{matrix}

{\begin{matrix} Bu = K_{1} \cdot {X_{3} - X_{0} + β \cdot X_{3}} \\ Bv = K 1 \cdot {y_{3} - y_{0} + β \cdot y_{3}} \\ Bw = K_{1} \cdot β \cdot d \end{matrix}

在这个时候，投影系数α和β由以下公式来表示。

α = \frac{(x_{0} - x_{1} - x_{2} - x_{3}) \cdot (y_{3} - y_{2}) - (x_{3} - x_{2}) \cdot (y_{0} - y_{1} + y_{2} - y_{3})}{(x_{1} - x_{2}) \cdot (y_{3} - y_{2}) - (x_{3} - x_{2}) \cdot (y_{1} - y_{2})}

…(11)

β = \frac{(x_{1} - x_{2}) \cdot (y_{0} - y_{1} + y_{2} - y_{3}) - (x_{0} - x_{1} + x_{2} - x_{3}) \cdot (y_{1} - y_{2})}{(x_{1} - x_{2}) \cdot (y_{3} - y_{2}) - (x_{3} - x_{2}) \cdot (y_{1} - y_{2})}

接下来，说明射影变换。在摄影相片3上的任意点P(x，y)能够用向量S、A和B如下来表示：

P＝S+m.A+n.B …(12)

在此m：向量A的系数(0≤m≤1)

n：向量B的系数(0≤n≤1)。

当将公式(10)代入该公式(12)时，坐标值x和y由以下公式来表示。

x = \frac{m \cdot (x_{1} - x_{0} + α \cdot x_{1}) + n \cdot (x_{3} - x_{0} + β \cdot x_{3}) + x_{0}}{1 + m \cdot α + n \cdot β}

…(13)

y = \frac{m \cdot (y_{1} - y_{0} + α \cdot y_{1}) + n \cdot (y_{3} - y_{0} + β \cdot y_{3}) + y_{0}}{1 + m \cdot α + n \cdot β}

当将在公式(13)中所示的关系用于公式(7)时，坐标(x’，y’，z’)能够按如下来表示。

(x', y', z') = (m, n, l) (\begin{matrix} x_{1} - x_{0} + α \cdot x_{1} & y_{1} - y_{0} + α \cdot y_{1} & α \\ x_{3} - x_{0} + β \cdot x_{3} & x_{3} - y_{0} + β \cdot y_{3} & β \\ x_{0} & y_{0} & 1 \end{matrix}) . . . (14)

坐标(x’，y’，z’)通过为公式(14)代入m和n的值来确定，在所拍摄图像上的相应坐标(x，y)用与公式(8)相似的公式来获得。因为相应的坐标(x，y)不是必须为整数值，因此可以通过使用图像内插技术等来确定像素值。

能够通过为输出校正图像p(u，v)设定图像尺寸(0≤u<umax，0<v<vmax)，并调节摄影相片图像的尺寸，以便适合于图像尺寸，来确定系数m和n。当使用该方法时，能够通过以下公式来计算系数m和n。

m = \frac{u}{u \max}

…(15)

n = \frac{v}{v \max}

然而，在拍摄等等的时候出现的失真的影响下，所创建的校正图像p的屏幕高宽比与摄影相片3的屏幕高宽比不一定彼此相匹配。在此，在校正图像p与系数m和n之间的关系由公式(9)和(10)按以下来表示。

k = \frac{| B |}{| A |} \frac{\sqrt{{(x_{3} - x_{0} + β \cdot x_{3})}^{2} + {(y_{3} - y_{0} + β \cdot y_{3})}^{2} + {(β \cdot f)}^{2}}}{\sqrt{{(x_{1} \cdot x_{0} + α \cdot x_{1})}^{2} + {(y_{1} - y_{0} + α \cdot y_{1})}^{2} + {(α \cdot f)}^{2}}} . . . (16)

当作为相机参数之一的透镜焦距f已知时，能够通过公式(16)来获得屏幕高宽比k。因此，如果校正图像p的图像尺寸是(0≤u<umav，0≤v<vmax)，则通过使用以下公式确定系数m和n，可以获得与摄影相片3的屏幕高宽比相同屏幕高宽比k。

(1)在vmax/umax≤k的时候

m = \frac{u}{v \max}

n = \frac{v}{v \max} (0 \leq u < u \max)

(2)在vmax/umax>k的时候 …(17)

m = \frac{u}{u \max}

n = \frac{v}{u \max} (0 \leq v < v \max)

当摄影装置1具有固定焦距时，能够预置透镜的焦距值。当摄影装置1不具有固定焦距时，即是变焦透镜等等时，焦距值根据变焦放大率而改变。因此，在此情况下，预先准备显示在变焦放大率与焦距之间关系的表，从而根据这个表来确定与拍摄时的变焦放大率相对应的焦距。

图7中所示的顶点p0、p1、p2和p3各自的坐标通过边缘检测处理来确定。确定这些坐标，以便能够通过使用公式(11)来计算投影系数α和β，并且能够根据公式(16)和(17)来确定系数m和n。因此，能够确定公式(14)，并可以通过使用公式(14)来生成校正图像(校正后的摄影相片图像；在下文中也称为“校正的摄影相片图像”)p。校正图像p的图像尺寸与umax、vmax和屏幕高宽比k相对应。图像尺寸确定了其形状和位置。因为是以图像尺寸的假设来执行射影变换(仿射变换)的，因此校正图像p是以这样的方式来获得的：除了用于校正失真的变形操作和缩放操作之外，还将旋转操作和移位操作应用于原始图像(摄影相片图像)。不言而喻，这些各种操作是按需要来执行的。

要考虑的是，通过便携式射影装置1以适当方式来只拍摄想要得到的摄影相片3是极其困难的。要考虑的是，试图将想要得到的摄影相片图像3数字化的许多用户都注意不留下不应被包含的部分。在此情况下，在为数字化想要得到的摄影相片3而进行拍摄的大多数情况下，将会包含有除了摄影相片3之外的项目(相册、其它摄影相片3、等等)。

根据这个假设，在本实施例中，通过自动提取在所拍摄图像中的想要得到的摄影相片图像，来只将想要得到的摄影相片图像3数字化。如上所述，难以知道拍摄是如何执行的。拍摄不一定以适当的方式来执行。因此，要从实际的摄影相片图像中自动获得理想的摄影相片(校正图像p)。通过对所拍摄图像执行这种操作，使得为了适当的数字化摄影相片3而进行拍摄的所需的条件是极其宽松的。因此，对于摄影装置1的用户来说，可以更加容易地拍摄摄影相片3以进行数字化。

摄影相片图像(边缘检测获得区域)通过检测其边缘(边框线)来提取。在所拍摄图像中，可能存在通过检测边缘而确定的多个边缘检测获得区域。例如，考虑这样的情况：其中有多个摄影相片图像，且其中有一个或多个摄影相片图像和一个或多个矩形项的图像与想要得到的摄影相片不同。因此，在本实施例中，显示了检测的边缘(边缘检测获得区域)(图5B和5C)，提示用户选择一个边缘检测获得区域，并在该区域中生成校正图像p。

因为在摄影相片3(对象)上出现了褪色，因此仅仅对通过倾斜拍摄校正处理生成的校正的摄影相片图像应用褪色校正。

通过对想要得到的摄影相片图像应用失真校正等，来获得校正的摄影相片图像。因此，在褪色程度检测处理中，对想要得到的摄影相片图像(边缘检测获得区域)检测褪色程度。在本实施例中，例如，通过为在组成想要得到的摄影相片图像的各个像素的每个RGB分量准备直方图，来执行该检测。该检测可以应用于校正的摄影相片图像。通过对于每个f(x，y)进行递增，来获得直方图HT[f(x，y)]。在此，f(x，y)表示在坐标(x，y)上的每个像素值。

直方图(R分量)：

HTr[fr(x，y)]←HTr[fr(x，y)]+1

直方图(G分量)：

HTg[fg(x，y)]←HTg[fg(x，y)]+1

直方图(B分量)：

HTb[fb(x，y)]←HTb[fb(x，y)]+1

(outAreaX<x<maxX-outAreaX，

outAreaY≤y<maxY-outAreaY)

一些摄影相片3具有空白边缘。因为在空白边缘上没有图像，因此在本实施例中将空白边缘从检查对象中排除。假定具有摄影相片图像的边缘检测获得区域的垂直和水平方向上的像素数分别是maxY和maxX，在垂直和水平方向上用于忽略空白边缘的像素数分别是outAreaY和outAreaX。在X-轴方向上，检查范围是outAreaX<x<maxX-outAreaX，在Y-轴方向上，检查范围是outAreaY≤y<maxY-outAreaY。可以从所述边缘检测获得区域中获得各个像素数maxY、maxX、outAreaY和outAreaX。这些像素数是根据这样的假设而获得的：其中，所述边缘检测获得区域是没有变形的矩形，其四条边框线平行或垂直于X-轴(即图像没有旋转)。实际的检查范围根据是否存在变形或旋转，及其程度而变化。

图8A和8B是用于解释起因于褪色的变色的示意图。图8A示出了在没有褪色的图像中各分量的直方图的实例。图8B示出了在有褪色的图像中各分量的直方图的实例。在各直方图中，横坐标轴表示RGB值，纵坐标轴表示像素数。

如图8A和8B所示，因为褪色，RGB值的范围变得更窄。这样，根据本实施例，当像素数超过某个阈值时，参考各直方图HTr[j]，HTg[j]，和HTb[j]来指定在最大端和最小端的RGB值。在此，假定为各个RGB分量指定的在最大值端的值分别称为上限maxR、maxG和maxB，在最小值端的值分别被称为下限minR、minG和minB。各个分量的上限和下限如下来确定。即，例如当以8比特表示i值时，即当j值在0到255的范围内时，在j值从0顺序递增时，一个接一个地确定相应的像素数是否超过该阈值。该阈值可以是任意确定的值。然而，该阈值也可以是通过将总像素数乘以一个任意确定的比值而获得的值。上限和下限在下文中通称为褪色参数。

因为由于褪色造成分量值所在的范围变得更窄，因此执行褪色校正以便扩展该范围。为此，为各个RGB分量准备了如下所示的校正表。

补偿表(R分量)：

STr [j] = \frac{255 \cdot (j - \min R)}{\max R - \min R}

补偿表(G分量)：

STg [j] = \frac{255 \cdot (j - \min G)}{\max G - \min G}

补偿表(B分量)：

STb [j] = \frac{255 \cdot (j - \min B)}{\max B - \min B}

在此，minR≤j≤maxR

minG≤j≤maxG

minB≤j≤maxB

在各个校正表STr[j]，STg[j]和STb[j]中，校正的分量值存储在由分量值i所指定的记录中。因此，执行褪色校正以便将分量值j变为存储在由该值j所指定的记录中的分量值。当在坐标(x，y)上的各个RGB像素值分别由fr(x，y)，fg(x，y)和fb(x，y)表示时，通过褪色校正将它们进行如下改变。在此，fr(x，y)，fg(x，y)和fb(x，y)分别表示校正的像素的RGB分量。通过该变化，将图8B所示的各个分量的直方图变为如图8A所示的。

补偿的像素值(R分量)：

fr(x，y)＝STr[fr(x，y)]

补偿的像素值(G分量)：

fg(x，y)＝STg[fg(x，y)]

补偿的像素值(B分量)：

fb(x，y)＝STb[fb(x，y)] …(19)

褪色通常出现在摄影相片上，然而，褪色不一定出现在要实际拍摄的摄影相片3上。因此，在本实施例中，根据为各个分量所检测的上限和下限(褪色参数)来判断是否出现褪色。通过以下的公式，计算褪色比，作为表示褪色程度的信息，并根据计算得到的褪色比是否小于或等于预定阈值来执行该判断。因此，当褪色比小于或等于该阈值时，就判定出现了褪色。

褪色比：

((maxR-minR)+(maxG-minG)+(maxB-minB))/(256×3) …(20)

应指出，可以对每一个分量执行对于是否出现褪色的判断。例如如下所示，可以根据在上限和下限之间的差值是否小于阈值THRange，来执行该判断。在此情况下，根据每个分量的判断结果，可以判定是否执行褪色校正。

(\begin{matrix} (\max R - \min R) < THRange \\ (\max G - \min G) < THRange \\ (\max B - \min B) < THRange \end{matrix}) - - - (21)

即使是在拍摄的摄影相片3上已经出现了褪色，也能够通过按照需要对校正的摄影相片图像执行褪色校正，将校正的摄影相片图像上的颜色自动校正为原始色彩(在褪色出现之前的颜色)或相接近的颜色。经过这种按照需要的褪色校正的校正的摄影相片图像被认为是作为摄影相片3数字化结果而进行保存的对象。因此，用户可以通过用摄影装置1拍摄摄影相片3，以最佳形式来数字化摄影相片3，用于仅仅对摄影相片3按照原样进行保存。由于只须由摄影装置1来拍摄摄影相片3，即，由于无需对拍摄并存储的图像执行额外的图像处理，因此可以极其容易地执行摄影相片3的最佳数字化。

当设定褪色校正模式时，CPU204使图像处理装置203对通过拍摄存储在存储器201中的所拍摄图像数据执行上述的各种图像处理。在下文中，将参照图9到13所示的多个流程图来详细说明摄影装置1在CPU204控制下的操作。

图9是相机基本处理的流程图。图9示出了当设定褪色校正模式时，由CPU204执行的基本处理的流程，直到该模式被取消为止。首先，将参照图9来详细说明该基本处理。该基本处理是这样实现的：CPU204加载并执行存储在程序代码存储装置205中的程序。

首先，在步骤S11，外围电路被初始化，在随后的步骤S12，执行用于显示预览图像的数据和设定的初始化。在此时，从代码存储装置205加载用于图像处理的程序，并将其传递到图像处理装置203。因此，图像处理装置203被设定为能够执行各种图像处理。

在接着步骤S12的步骤S13，当更新预览图像时，等待快门键的操作。当从操作单元302给出快门键操作的通知时，流程前进到步骤S14。当从操作单元302给出模式转换开关或子模式转换开关操作的通知时，设定由被操作的开关指定的模式。在用于该模式的处理启动后，该流程结束。

在步骤S14，控制光学透镜装置101和图像传感器102，以在此时设定的条件下执行拍摄。所述条件包括相机参数f。在随后的步骤S15中，指示图像处理装置203将边缘检测处理应用于通过拍摄而存储在存储器201中的所拍摄图像数据。

在接着步骤S15的步骤S16中，指示视频输出设备202基于所拍摄图像数据，在如图5A所示的液晶显示器单元301上显示预览图像。在随后的步骤S17中，显示通过使图像处理装置203执行边缘检测处理而检测到的边缘，以便叠加到该预览图像上。以这样的方式来显示边缘：CPU204改变在拍摄的图像数据中被检测为边缘的部分的图像数据。

图5B示出了在边缘检测中失败的情况，即检测失败的情况下的显示实例。图5C示出了边缘检测成功的情况，即检测成功的情况下的显示实例。分别在图5B和5C中所示的失败和成功的两种情况是当拍摄被粘贴到相册2以便彼此相邻的多个摄影相片3时出现的情况。在图5B所示的失败情况下，检测失败是以这样的方式进行的：相邻摄影相片的边缘被检测为完整显露出来的、想要得到的摄影相片3的边缘线。在图5C所示的成功情况下，检测成功是以这样的方式进行的：其它摄影相片3的边缘被准确的辨别出来。

如上所述，对边缘图像(图3D)执行边缘检测，该边缘图像的与最外面边缘接触的边缘已经被擦除。如上所述，在大多数情况下，将与想要得到的摄影相片3相邻的其他摄影相片3拍摄为，即使是它们被显露出来，也是仅显露其某些部分。因此，只有当不能检测到在其他摄影相片3与相册背景(衬底)之间的边框时，才出现图5B所示的失败。因为边缘图像被生成为加重突出包含边框的边缘，因此图5B所示的失败几乎不会出现。

在显示边缘之后执行的步骤S18中，等待用户通过操作操作单元302选择边缘(边缘检测获得区域)。例如，该选择是通过箭头键的操作来执行的。如果选择了边缘，就通过从操作单元302给出由用户所引发的操作的通知，使流程前进到随后的步骤S19。尽管省略了详细说明，由于存在对于边缘检测获得区域的提取失败的可能性，在该步骤中可以指示放弃所拍摄图像。当用户指示放弃时，程序返回到步骤S13。

在步骤S19，询问用户是否对已经发生的褪色进行校正，并判断用户是否根据该询问指示校正褪色。当用户通过操作操作单元302指示执行校正时，该判断结果为“是”，流程前进到步骤S22。反之，该判断结果为“否”，流程前进到步骤S20。

在步骤S20，最终获得的图像数据(所拍摄图像数据，没有经过褪色校正的校正图像p，或者经过褪色校正的校正图像p)以文件格式存储到外部存储装置304中。在步骤S20之后执行的步骤S21中，将所保存的图像显示在液晶显示器单元301上并持续一个指定的时间长度。此后，流程返回到步骤S13，并为以后的拍摄做准备。

另一方面，在步骤S22，指示图像处理装置203对由用户所选择的边缘检测获得区域(摄影相片图像)执行倾斜拍摄校正处理。在该校正处理中，通过使用公式(11)来计算投影系数α和β，根据公式(16)和(17)来计算系数m和n。根据这些结果，计算公式(14)，通过使用公式(14)来生成校正图像p。在生成校正图像p(校正的摄影相片图像)之后，流程前进到步骤S23。所生成的校正图像p被存储到存储器201的预定区域中。

在步骤S23，指示图像处理装置203执行褪色程度检测处理，用于检测所述边缘检测获得区域上的褪色程度。在随后的步骤S24，使图像处理装置203根据检测结果执行褪色校正处理，然后流程前进到步骤S20。

如上所述，当由公式(20)所计算的褪色比小于或等于某个阈值时，就视为出现褪色。因此，在褪色校正处理中，当视为没有出现褪色时，就不执行用于对校正图像p进行褪色校正的操作。因此，当流程前进到步骤S20时，保存没有经过褪色校正的校正图像p或者经过褪色校正的校正图像p。

在步骤S23，指示图像处理装置203执行褪色程度检测处理，用于检测所述边缘检测获得区域上的褪色程度。在随后的步骤S24，执行褪色校正向导显示处理，用于向用户提供检测结果的通知。如稍后将说明的，在向导显示处理中，提示用户最后选择是否执行褪色校正。因此，在步骤S25，判断用户是否指示执行褪色校正。当用户指示执行褪色校正时，该判断结果为“是”。在使图像处理装置203在步骤S26执行褪色校正处理之后，流程前进到步骤S20。反之，该判断结果为“否”，流程直接前进到步骤S20。

在褪色校正向导显示处理中，作为检测褪色程度的结果，将由公式(20)所计算的褪色比例显示为如图5D所示的。因此，提示用户确定执行褪色校正的必要性。当用户指示执行褪色校正时，在步骤S21中显示经过褪色校正的校正图像p，例如显示为如图5E所示。作为检测褪色程度的结果，可以显示对每个RGB分量所检测的上限和下限(褪色参数；公式(21))，例如可以显示为如图5F所示的。

在下文中，将详细说明在相机基本处理中由图像处理装置203所执行的图像处理。

图10是在步骤S15中由图像处理装置203执行的边缘检测处理的流程图。接下来，将参照图10来详细说明边缘检测处理。图像处理装置203的各种图像处理实现为，使得图像处理装置203执行用于图像处理的程序，该程序由CPU204从代码存储装置205加载并传递。

首先在步骤S30，通过用公式(1)和阈值，从所拍摄的图像中创建二进制边缘图像h。在随后的步骤S31，执行借助于加标记的外围边缘擦除处理，用于从边缘图像中擦除与最外面边缘相接触的外围边缘。通过执行该擦除处理，将如图3B所示的边缘图像更新为如图3D所示的。

在步骤S32，执行霍夫变换，其中如图6A所示的在X-Y平面上构成直线(边缘线)的点的数量通过公式(4)在如图6B所示的p-θ平面上被“投票”，并变换为p-θ平面上的得票数。在随后的步骤33，获取(确定)相对于距离ρ的各个正负值的、具有大量得票数的多个坐标，作为指示在45°<θ<225°范围内边缘线候选的信息，更确切的，是分别在公式(5)和公式(6)中所示的范围内。通过以这种方式来指定，将位于原点上下左右的多个边缘线(边框线)分别确定为候选。此后，流程前进到步骤S34。

在步骤S34，准备了候选表，其中所确定的候选从最大得票数开始以降序排列。在随后的步骤S35，从与中心的距离ρ的最大量值(绝对值)开始对坐标的顺序进行排序。在步骤S36，根据该候选表，一个接一个地选择分别位于上下左右的坐标(候选)，分别计算两个候选彼此相交的交点的坐标，作为来自四个候选中的顶点的坐标。当在两个候选的端点与交点之间的距离不在某个预定范围内时，就判定那些候选彼此不相交，并将其从构成顶点的组合对象中排除。在计算了总共四个顶点的坐标之后，流程前进到步骤S37，判断所有计算得到的顶点坐标是否都在所拍摄图像内。当至少一个顶点不在所拍摄图像内时，该判断结果为“否”，流程前进到步骤S40。在用于计算不在所拍摄图像中的顶点坐标的坐标被分别变为位于从原点看过去在同一方向上的其它候选之后，流程返回到步骤S36。因此，不被认为是构成所述边缘检测获得区域的候选的候选被擦除。反之，该判断结果是“是”，程序前进到步骤S38。

全部四个顶点都位于所拍摄图像内是有条件的。因此，在本实施例中，如图3G所示，拍摄不能完全显现的摄影相片3被确定为是禁止的事情，并且要求用户不要执行这种拍摄。确定该禁止事情的原因是，要求用户适当地拍摄想要得到的摄影相片3。

在步骤S38，判断是否完成了对于存储在候选表中的所有坐标(候选)计算四个顶点坐标。当在候选表中没有要考虑的坐标时，该判断结果是“是”，流程前进到步骤S39。在全部位于所拍摄图像内的四个顶点的坐标被保存并输出到CPU204之后，这一系列处理结束。反之，该判断结果是“否”，程序前进到步骤S40。在根据候选表将四个候选之一改变为另一个候选之后，流程返回到步骤S36。

如上所述，为了进一步适当的数字化，在许多情况下要考虑用户将拍摄想要数字化的摄影相片3，以便显著的进行显现，同时试图避免生成不被显现的部分。因此，使用了最外面边缘的优先级。这是为何按步骤S34来准备候选表，并按步骤S35来对坐标进行排序的原因。

可能存在全部位于所拍摄图像内的多个四个顶点的组合。例如，当拍摄具有白边的摄影相片3时，在二进制边缘图像中，白边的外侧和内侧都表示为边缘。因此，将本实施例配置为：当在步骤S39中有多个四个顶点的组合时，距原点最远的四个顶点的组合被认为是所述边缘检测获得区域(图3F和5C)，并将这些坐标的通知提供给CPU204。CPU204将存储在例如存储器201中的所拍摄图像复制到另一个区域，在所复制的所拍摄图像上重写一个图像，该图像用于显示根据所通知的4个顶点的坐标所指定的边缘，并在该重写之后，在视频输出设备202上显示所拍摄图像。结果，CPU204在液晶显示器单元301上显示如图5B或图5C所示的图像。

在步骤S39，对在由这四个顶点所指定的边缘检测获得区域的垂直或水平方向上的像素数maxY和maxX进行例如计数或计算，并进行保存用于褪色校正。此外，判断是否存在另一个组合，其全部四个顶点位于在由所述四个顶点所指定的区域之内，并且都位于这四个顶点的附近。当确认了这种组合时，就确定存在白边，并且对在纵向和横向上的各像素数outAreaY和outAreaX进行计数或计算，以将其保存。因此，当存在白边时，能够仅仅对其内部区域执行褪色校正。

图11是在步骤S31中执行的、借助于加标记的外围边缘擦除处理的流程。接下来，将参照图11所示的流程图来详细说明该擦除处理。

首先，在步骤S60，例如在存储器201中，设置用于存储标记的标记信息区域，这些标记被分配给边缘图像(图3B)的各个像素，并且初始化该区域。在随后的步骤S61，对边缘图像的所有像素，检查构成边缘的像素之间的连通状态，并将相同的标记分配给所有连通的像素，即组成同一边缘线的所有像素。当该分配完成时，即要存储到标记信息区域中的所有标记都被存储时，流程前进到步骤S62。

在步骤S62，查询标记信息区域，来获得(确定)分配给构成与最外面边缘相接触的边缘的像素的标记。在步骤S63，将所有被分配了该获得的标记的像素擦除。通过从标记信息区域中擦除该标记，并通过将被分配了该擦除的标记的像素的值设定为0，来执行该擦除。以这种方式，在如图3D通过擦除作为边缘无效的所有像素来更新边缘图像之后，流程结束。

图12是褪色程度检测处理的流程图，由图像处理装置203在图9所示的相机基本处理中的步骤S23中执行该处理。接下来，将参照图12来详细说明该检测处理。

首先，在步骤S45，为在所述边缘检测获得区域(想要得到的摄影相片图像)上的每个RGB分量生成直方图HTr、HTg和HTb，所述边缘检测获得区域是通过执行边缘检测处理而确定的，并由用户来选择(公式(15))。通过使用像素数maxY、maxX、outAreaY和outAreaX来执行该生成，像素数maxY、maxX、outAreaY和outAreaX基于执行边缘检测处理的结果来确定。在该生成之后，流程前进到步骤S46。

在步骤S46，根据所生成的直方图HTr、HTg和HTb，分别为每个RGB分量确定(指定)取值的上限(最大值)和下限(最小值)。在随后的步骤S47，通过使用为每个RGB分量确定的上限(最大值)和下限(最小值)，由公式(20)计算褪色比，并且将计算得到的褪色比与为每个RGB分量确定的上限(最大值)和下限(最小值)一起进行保存(褪色参数)。此后流程结束。

图13是褪色校正向导显示处理的流程图，按图9所示的相机基本处理中的步骤S73来执行该处理。显示处理是在图像处理装置203给出褪色比等的通知之后，由CPU204执行的子程序处理。

在本实施例中，不仅提示用户选择是否执行褪色校正，而且用户还可以任意指定执行褪色校正的程度。当需要通过操作操作单元302来改变该程度时，这样执行该指定：如图7F所示，使得为每个RGB分量显示上限和下限，并且上限和下限被改变。

首先，在步骤S80，通过将所通知的褪色比与阈值相比较，来判断是否出现褪色。如上所述，当褪色比小于或等于该阈值时，判定出现褪色，因此该判断结果为“是”，流程前进到步骤S81。反之，该判断结果为“否”，并且在步骤S88将褪色校正标志变为OFF之后，流程结束。褪色校正标志是用于确定是否需要褪色校正的变量，OFF对应于将其替换为一个表示无需校正的值。当判定无需校正时，在图9所示的步骤S25的判断结果为“否”。

在步骤S81，褪色校正标志变为ON。在随后的步骤S82，对由图像处理装置203给出其通知的上限和下限进行设定，作为用于每个RGB分量的褪色参数。此后，流程前进到步骤S83，仅仅显示校正图像p(校正的摄影相片图像)作为预览图像。在随后的步骤S84，以叠加的方式显示一个表示褪色比的图像。因此，在液晶显示器单元301上显示如图5D所示的图像。如上所述，校正图像p被存储在设置于存储器201中的区域中。因此，例如通过将校正图像p复制到另一个区域并指示视频输出设备202显示它，来执行该显示。例如通过将所述图像重写到所复制的校正图像p上，来显示表示褪色比的条形图。

在步骤S84之后的步骤S85，判断用户是否指示执行褪色校正。当用户通过操作操作单元302指示执行褪色校正时，该判断结果为“是”，在此流程结束。在此情况下，由于褪色校正标志是ON，因此在图9所示的步骤S25的判断结果为“是”。否则，该判断结果为“否”，流程前进到步骤S86。

在步骤S86，判断用户是否指示取消褪色校正。当用户通过操作操作单元302指示取消褪色校正时，该判断结果为“是”。在褪色校正标志在步骤S88变为OFF之后，流程结束。在此情况下，由于褪色校正标志是OFF，因此在图9所示的步骤S25的判断结果是“否”。反之，该判断结果为“否”，流程前进到步骤S87。

在步骤S87，根据操作单元302的操作，执行用于改变褪色参数的处理，即，改变用于每个RGB分量的上限和下限。通过操作显示在液晶显示器单元302上的图像来执行该改变。当用户指示应用所改变的内容时，将当前为每个RGB分量显示的上限和下限设定为改变的褪色参数，随后流程返回到步骤S84，在此，从改变的褪色参数中所计算得到的褪色比被重新显示。因此，可以通过褪色比来确认改变的褪色参数。

图14是褪色校正处理的流程图，由图像处理装置203在图9所示的相机基本处理中的步骤S24中执行该处理。将参照图14来详细说明校正处理。

如上所述，在褪色校正处理中，当褪色比大于某个阈值时，即当认为没有出现褪色时，不执行对于校正图像p的褪色校正操作。在图14中，省略了与是否执行褪色校正的判断有关的处理，只选择性地显示了在确定执行褪色校正之后所执行的处理。

首先，在步骤S50，通过使用褪色参数，根据公式(18)为每个RGB分量准备校正表STr、STg和STb。在随后的步骤S51，如公式(19)所示，用由每个RGB分量所指定的、存储在校正表STr、STg和STb的记录中的值来代替组成校正图像p的各个像素的RGB分量的分量值。在以这种方式对所有像素执行褪色校正之后，流程结束。

应指出，在本实施例中，提示用户在所提取的边缘检测获得区域中选择进行褪色校正的对象，并选择是否执行褪色校正。然而，其中的至少一个步骤可以被省略。即可以自动执行选择进行褪色校正的对象的边缘检测获得区域和选择是否执行褪色校正中的至少一个步骤。尽管用户可以任意改变褪色参数，但是也可以使其不能执行该改变。

所述边缘检测获得区域是基于这样的假设来提取的：摄影相片3的边缘形状是线性的。印刷在报纸和书(包括杂志等)上的许多相片(例如影印版)具有这种线性边缘。报纸和书的空白和页面通常具有相同的特征。假定是这种情况，摄影相片3可以是这样印刷的相片、报纸空白或页面。当将这种对象拍摄为摄影相片3时，它们可以被数字化以保存到数据库中。即使是随着时间流逝出现褪色，也可以通过对其执行校正，以更适当状态对其进行保存。因此，本发明对于保存数字化后的各种印刷品是极其有效的。

经过褪色校正的校正图像p要被保存。然而，难以根据褪色参数的内容来估计褪色校正的结果是如何变化的。假如这样的话，即使能够任意改变褪色参数，也可能不能对所保存的校正图像p执行对于用户而言最佳的褪色校正。因此，为了保存已经应用了被认为是最佳褪色校正的校正图像p，可以重复执行对摄影相片3的拍摄。同一摄影相片3的重复拍摄是非常麻烦的，并且应该避免。例如，通过将图13所示的褪色校正向导显示处理改变为图15所示的，能够避免重复拍摄。

在图15中，在步骤S90到S92中的处理和在步骤S95到S97中的处理与在步骤S80到S82中的处理和在步骤S85到S87中的处理相同。因此，将只说明与图13中不同的部分。

在图15中，在步骤S93，对校正图像p执行根据当前褪色参数的褪色校正。在随后的步骤S94，将褪色校正之后的校正图像p作为预览图像显示在液晶显示器单元301上。在用户在步骤S97中改变了褪色参数之后，流程返回到步骤S93，由此重新显示经过了根据改变的褪色参数的褪色校正的校正图像p。结果，用户可以根据显示为预览图像的校正图像p，判断是否能够适当地执行褪色校正。这使得用户可以保存经过最佳褪色校正的校正图像p，而无需摄影相片3的重复拍摄。

<第二实施例>

在第一实施例中，执行加权以使得与最外面边缘相接触的所有边缘被擦除。然而，当擦除了所有这些边缘时，如图3E所示的，当想要得到的摄影相片图像的边缘接触从最外面边缘延伸而来的另一个摄影相片图像的边缘时，就会擦除想要得到的摄影相片图像的边缘，其是不可以被擦除的。如果想要得到的摄影相片的边缘被擦除，就不能准确的检测相片图像所在的边缘检测获得区域。如果如图3E所示，多个摄影相片3被粘贴到相册2，这是不希望见到的。第二实施例的目的在于，避免由于不可以被擦除的边缘接触到了要被擦除的边缘而可能生成的错误。根据第二实施例，可以准确地检测所述边缘检测获得区域。

包括根据第二实施例的图像处理设备的摄影装置的结构基本上与第一实施例中的相同。其操作也大部分相同，或基本上相同。因此，将通过使用在第一实施例标明的参考数字标记，来仅对与第一实施例中不同的部分进行说明。

在第二实施例中，为了避免上述的错误，根据构成边缘的像素的x-y坐标值来擦除与最外面边缘相接触的边缘，例如如同拜耳模式(Bayer pattern)。即，预先确定要成为擦除对象的坐标，并且擦除具有该预定坐标且构成与最外面边缘相接触的边缘的像素。以这种方式，通过部分地擦除与最外面边缘相接触的边缘来执行加权。可以借助于使用另一种方法来执行该部分擦除。

通过部分地擦除与最外面边缘相接触的边缘线，减少了被部分擦除的边缘线的得票数。结果，降低了作为想要得到的摄影相片图像的边缘线的候选的重要等级。然而，想要得到的摄影相片图像的边缘线是考虑到四个顶点坐标来确定的，即，考虑到其它三条边缘线。即使是想要得到的摄影相片图像的一条或多条边缘线被部分地擦除，通过与其它边缘线的组合而确定的、作为表示想要得到的摄影相片图像的图像区域的坐标的四个顶点坐标也比其它更为适合。因此，即使是想要得到的摄影相片图像的全部边缘线都被部分地擦除，全部边缘线被确定为想要得到的摄影相片图像的边缘线的可能性也保持为很高。结果，即使执行了该部分擦除，与第一实施例相比较，也可以更确定地检测到想要得到的摄影相片图像的边缘线。即使是从图3E所示的边缘图像中，也可以如图3F所示的确定地及准确地检测到想要得到摄影相片图像。

在第二实施例中，借助于图11所示的加标记的外围边缘擦除处理与第一实施例中的不同。因此，将参照图16所示的流程图，来详细说明第二实施例中的擦除处理。

在图16中的步骤S70到S72中的处理与图11的步骤S60到S62中的处理基本上相同。因此，将只说明步骤S73到S77。

在步骤S73，根据例如标记信息区域，来获取被分配了在步骤S72中获得的一个标记的像素坐标。在随后的步骤S74，判断这些坐标是否是要成为删除(消除)对象的坐标。要成为删除对象的坐标是这样的坐标：其中，例如x坐标是偶数，而y坐标是奇数。当坐标是要成为删除对象的坐标时，该判断结果为“是”，在这些像素在步骤S76中被擦除之后，流程前进到步骤S75。反之，该判断结果为“否”。流程前进到步骤75。

在步骤S75，判断对被分配了在步骤S72中获得的一个标记的像素的部分擦除是否完成。接下来，当没有要成为对象的像素时，该判断结果为“是”，在此流程结束。反之，该判断结果为“否”，以与在步骤S73中相同的方式，在步骤S77中获得要成为下一个对象的像素的坐标，随后流程返回到步骤S74。

应指出，在第二实施例中，在检测到边缘的候选之前执行对与最外面边缘相接触的边缘的部分擦除。然而，在检测到候选之后，可以对其检测结果加以考虑，来执行擦除。

在一些情况下，在边缘图像上，在想要得到的摄影相片图像的上下左右的四条边框线的全部或部分彼此相。当彼此相连的一些边框线接触到从最外面边缘延伸而来的边缘时，所有边框线都被部分地移除。然而，考虑到检测候选的结果，可以执行限于与从最外面边缘延伸而来的边缘相接触的边框线的部分擦除。以这种方式，通过限制要成为擦除对象的边框线，可以避免在其它边缘中得票数的减少。这使得可以更为确定地及更为准确地检测到想要得到的摄影相片图像的边缘。

根据上述各个实施例的图像处理设备被用于安装在便携式摄影装置1上的图像处理装置203。这是由于可以以较少的设备，更迅速地对摄影相片3进行适当的数字化，因为摄影装置1具有安装在其上的这种图像处理装置203。然而，可以在数据处理装置上实现该图像处理设备，例如个人计算机，其与摄影装置不同。为了实现这种图像处理设备，存储在代码存储装置205中的、用于图像处理的全部或部分程序可以被存储在存储介质上来发布。或者，可以通过组成网络的传播介质来发布它们。为了实现包含根据本发明的图像处理设备的摄影装置，可以连同由CPU204所执行的程序一起来发布它们。

Claims

1.一种图像处理设备，包括：

图像捕获单元(21)，其捕获包含相片的物体的图像；

边缘检测单元(203)，其检测存在于由所述图像捕获单元所捕获的物体图像中的边缘；

加权单元(203)，其根据所述边缘是否接触了所述物体图像的最外面边缘，对由所述边缘检测单元所检测的边缘执行加权；以及

区域提取单元(203)，其基于经所述加权单元加权的边缘，从所述物体图像中提取所述相片所在的区域。

2.根据权利要求1所述的图像处理设备，其中，所述加权单元以这样的方式来执行所述加权：使得构成与所述图像的最外面边缘相接触的边缘的像素中的至少一些像素不构成所述边缘。

3.根据权利要求1所述的图像处理设备，其中，所述区域提取单元对所述提取的区域的图像，执行旋转操作和变换操作中的至少一种。

4.根据权利要求1所述的图像处理设备，其中，所述区域提取单元(203)提取多个区域，并且所述区域提取单元(203)包括区域选择单元(303)，用于使用户选择所述提取的区域之一。

5.根据权利要求1所述的图像处理设备，还包括褪色校正单元(203)，其执行褪色校正，用于为所述所提取的区域的图像校正褪色。

6.一种图像处理方法，包括：

捕获包含相片的物体的图像的步骤(S14)；

检测存在于所捕获的物体图像中的边缘的步骤(S30)；

根据所述边缘是否接触了所述物体图像的最外面边缘，对由所述检测边缘步骤所检测的边缘执行加权的步骤(S31)；以及

基于经执行所述加权步骤加权的边缘，从所述物体图像中提取所述相片所在的区域的步骤(S36)。

7.根据权利要求6所述的图像处理方法，其中，所述执行加权的步骤以这样的方式来执行加权：使得构成与所述图像的最外面边缘相接触的边缘的像素中的至少一些像素不构成所述边缘(S63)。

8.根据权利要求6所述的图像处理方法，其中，所述提取区域的步骤对所述提取的区域的图像，执行旋转操作和变换操作中的至少一种。

9.根据权利要求6所述的图像处理方法，其中，所述区域提取步骤提取多个区域，并且所述区域提取步骤包括使用户选择所述提取的区域之一的步骤(S18)。

10.根据权利要求6所述的图像处理方法，还包括对所述提取的区域的图像校正褪色的步骤(S26)。

11.一种计算机程序产品，存储在计算机可用介质中，所述计算机程序产品被配置为存储程序指令，用于在计算机系统上执行，使得所述计算机系统执行：

捕获包含相片的物体的图像；

检测存在于所捕获的物体图像中的边缘；

根据所述边缘是否接触了所述物体图像的最外面边缘，对所检测的边缘执行加权；以及

基于所述经过加权的边缘，从所述物体图像中提取所述相片所在的区域。

12.根据权利要求11所述的计算机程序产品，其中，所述执行加权步骤以这样的方式来执行加权：使得构成与所述图像的最外面边缘相接触的边缘的像素中的至少一些像素不构成所述边缘(S63)。

13.根据权利要求11所述的计算机程序产品，其中，所述提取区域步骤对所述提取的区域的图像，执行旋转操作和变换操作中的至少一种。

14.根据权利要求11所述的计算机程序产品，其中，所述提取区域步骤提取多个区域，并且使得用户选择所述提取的区域之一。

15.根据权利要求11所述的计算机程序产品，还包括：对所述提取的区域的图像校正褪色。