CN1645241A

CN1645241A - 摄影装置、图像处理装置、摄影装置的图像处理方法

Info

Publication number: CN1645241A
Application number: CNA2004100997219A
Authority: CN
Inventors: 樱井敬一; 长坂明彦; 牧野哲司; 手岛义裕
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2003-10-14
Filing date: 2004-10-12
Publication date: 2005-07-27
Anticipated expiration: 2024-10-12
Also published as: EP1524624A2; US7607783B2; KR100610569B1; KR20050036741A; JP2005122323A; CN1645241B; EP1524624A3; US20050078879A1

Abstract

书画照相机(1)具备图像处理装置(203)，图像处理装置(203)从原稿(4)的图像，采用Robrets滤波器取得轮廓。图像处理装置(203)从所取得的轮廓，检测成为形成原稿(4)的图像的候补的直线，取得原稿(4)的四边形的形状。图像处理装置(203)从四边形的顶点位置，求得表示原稿(4)的图像的形状和实际的原稿(4)的形状之间的关系的投射参数，投射变换原稿(4)的图像。书画照相机(1)将该图像数据输出到投影仪(2)上，投影仪(2)根据该图像数据将原稿(4)的图像投影到屏幕(3)上。

Description

摄影装置、图像处理装置、摄影装置的图像处理方法

技术领域

本发明涉及摄影装置、图像处理装置、摄影装置的图像处理方法和程序。

背景技术

在读取纸的文书或OHP用纸等进行投影的OHP中，伴随数码相机的发展，从由现有的行扫描仪(line scanner)读取的方式，正在开发出使用数码相机的称之为书画照相机方式的书画照相机。

该书画照相机是下述的设备：用户由照相机摄影载置到原稿台上的原稿，将由照相机摄影的原稿的图像数据存储到计算机的存储装置中进行图像处理，使用投影仪将原稿的图像放大投影到屏幕上(例如，参照专利文献1)。

这样的书画照相机，在现有的OHP中不能对3维的摄影对象进行摄影，能够投影该图像，因此正在对现有的OHP进行改进。

专利文献1：特开2002-354331(第2-3页，图1)

但是，在现有的书画照相机中，如果由照相机从歪斜方向摄影原稿后，那么由于接近照相机的原稿的边从照相机的画角(摄影范围)外移，不得不使照相机的缩放倍率减小。

作为结果为了减少原稿占有的面积，即使进行梯形补正，相对图像减少原稿占有的比率，减小所投影的原稿的图像，投影在屏幕上的图像也变得不可见。该倾向特别在仰拍角变大时变地明显。

此外，如果原稿图像歪斜，那么由于歪斜也包含原稿以外其它部分的图像。在这种情况下，如果对包含其它部分图像的图像进行涉及亮度、色差的图像效果的处理，那么不能进行适当的图像处理效果，同样地，投影到屏幕上的图像变地不可见。

发明内容

本发明正是为了解决上述问题的发明，其目的在于提供一种能够取得容易看见的图像的摄影装置、图像处理装置、摄影装置的图像处理方法以及程序。

为了达到该目的，有关本发明的第一方案的摄影装置的特征在于，在摄影原稿的摄影装置中具备：形状取得部，其根据由所述原稿的摄影所得到的原稿图像，取得所述原稿图像的轮廓，根据所取得的所述轮廓取得所述原稿图像的形状；补正用参数取得部，其从所述形状取得部所取得的形状的所述原稿图像，取得用于补正图像效果的图像效果补正用参数；投射参数取得部，其根据所述形状取得部所取得的所述原稿图像的形状，求得表示所述原稿图像的形状和实际的原稿的形状之间的关系的投射参数；和图像变换部，其在采用所述补正用参数取得部所取得的图像效果补正用参数，对所述形状取得部所取得的形状的所述原稿图像进行图像效果处理同时，采用所述投射参数取得部所求得的投射参数，进行所述原稿图像的图像变换。

此外，有关本发明的第2方案的摄影装置的特征在于，在摄影原稿的摄影装置中具备：形状取得部，其从由所述原稿的摄影所得到的原稿图像，取得所述原稿图像的轮廓，根据所取得的所述轮廓取得所述原稿图像的形状；图像剪切部，其根据所述形状取得部所取得的所述原稿图像的形状，判别表示原稿内容的实原稿部，剪切出所判别的实原稿部的图像；补正用参数取得部，其从所述图像剪切部所剪切的实原稿部的图像，取得用于补正图像效果的图像效果补正用参数；和图像效果处理部，其采用所述补正用参数取得部所取得的图像效果补正用参数，进行所述原稿图像的图像效果处理。

有关本发明的第3方案的图像处理装置的特征在于，在补正由摄影得到的原稿图像歪斜的图像处理装置中，具备：形状取得部，其从所述原稿图像取得所述原稿图像的轮廓，从所取得的所述轮廓取得所述原稿图像的形状；投射参数取得部，其根据所述形状取得部所取得的所述原稿图像的形状，求得表示所述原稿图像的形状和实际原稿的形状之间的关系的投射参数；补正用参数取得部，其根据所述形状取得部所取得的形状的所述原稿图像，取得用于补正图像效果的图像效果补正用参数；和图像变换部，其在采用所述补正用参数取得部所取得的图像效果补正用参数，对所述形状取得部所取得的形状的所述原稿图像进行图像效果处理的同时，采用所述投射参数取得部所求得的投射参数，进行所述原稿图像的图像变换。

有关本发明的第4方案的摄影装置的图像处理方法是摄影原稿的摄影装置的图像处理方法，其特征在于，具备：从所摄影的原稿的原稿图像取得所述原稿图像的轮廓，从所取得的所述轮廓取得所述原稿图像形状的步骤；根据所述已取得的所述原稿图像的形状，求得表示所述原稿图像的形状和实际的原稿的形状之间的关系的步骤；从所述形状取得部所取得的形状的所述原稿图像，取得用于补正图像效果的图像效果补正用参数的步骤；和在采用已取得的图像效果补正用参数，对所述已取得的形状的所述原稿图像进行图像效果处理的同时，进行所述原稿图像的图像变换的步骤。

存储有关本发明的第5方案的程序的存储介质是将使下述次序执行的程序存储在计算机中的介质：从所摄影的原稿的原稿图像取得所述原稿图像的轮廓，从所取得的所述轮廓取得所述原稿图像形状的次序；从所述已取得的所述原稿图像的形状，求得表示所述原稿图像的形状和实际的原稿的形状之间的关系的投射参数的次序；从所述形状取得部所取得的形状的所述原稿图像，取得用于补正图像效果的图像效果补正用参数的次序；采用所取得的图像效果补正用参数，在对所述已取得的形状的所述原稿图像进行图像效果处理同时，采用所述求得的投射参数，进行所述原稿图像的图像变换的次序。

根据本发明，可得到容易看见的图像。

附图说明：

图1是表示有关本发明第1实施方式的摄影图像投射装置的构成的模块图。

图2是表示图1中所示的书画照相机的构成的模块图。

图3是图2中所示的图像处理装置的功能的说明图。

图4是图2中所示的操作部具备的各键的说明图。

图5是表示图1中所示的摄影图像投影装置执行的基本投影处理的内容的流程图。

图6是图2中所示的图像处理装置的剪切处理的内容的说明图。

图7是投射参数的提取和仿射(affine)变换的基本思路的说明图。

图8是表示图2中所示的图像处理装置执行的投射参数提取处理的内容的流程图。

图9是表示图2中所示的图像处理装置执行的四边形轮廓提取处理的内容的流程图。

图10是缩小亮度图像和边缘图像的说明图。

图11是Roberts过滤功能的说明图。

图12是用于说明Radon变换的原理的图像(image)的图。

图13是将X、Y坐标系的直线进行Radon变换，取得极坐标系的数据的动作说明图。

图14是表示来自图2所示图像处理装置执行的极坐标系数据中的峰值点检测处理的内容的流程图。

图15是表示根据检测峰值点并提取的直线，检测四边形的思路的说明图。

图16是表示图12中所示的图像处理装置执行的四边形检测处理的内容的流程图。

图17是表示图2中所示的图像处理装置执行的已检测出的四边形的选择处理的内容的流程图。

图18是表示从图2所示图像处理装置执行的四边形的顶点求得仿射参数处理的内容的流程图。

图19是用于从投射变换后的图像求得源图像的逆变换的说明图。

图20是表示图2中所示的图像处理装置执行的仿射变换的图像变换处理的内容的流程图。

图21是表示图2中所示的图像处理装置已剪切的图像例的说明图。

图22是表示直方图(histogram)的一例的说明图；图22(a)表示亮度直方图，图22(b)表示色差直方图。

图23是表示图2中所示的图像处理装置执行的图像效果补正用参数的提取处理的内容的流程图。

图24是表示图像效果处理的说明图；图24(a)表示背景色为白色时的图像效果处理；图24(b)表示背景为黑色时的图像效果处理；图24(c)表示背景为白色或黑色以外时的图像效果处理。

图25是表示用于进行颜色调整的亮度变换图形的一例的说明图。

图26是用于说明背景的白色化的图。

图27是表示图2中所示的图像处理装置执行的图像效果处理的内容的流程图。

图28是表示图2中所示的图像处理装置执行的背景白色化处理的内容的流程图。

图29是表示不能够补正由投射变换产生的图像歪斜的例子的说明图。

图30是用于说明源图像、投影变换图像、放大的投影变换图像之间的对应关系的图。

图31是表示图2中所示的图像处理装置执行的补正调整和图像变换处理的内容的流程图(其1)。

图32是表示图2中所示的图像处理装置执行的补正调整和图像变换处理的内容的流程图(其2)。

图33是表示有关本发明的实施方式2的摄影图像投影装置的构成图。

图34是表示图33中所示的书画照相机的构成模块图。

图35是表示图34中所示的书画照相机执行的基本处理内容的流程图。

图36是表示图33中所示的计算机执行的书画基本处理的内容的流程图(其1) 。

图37是表示图33中所示的计算机执行的书画基本处理的内容的流程图(其2)。

具体实施方式

以下，参照附图说明有关本发明的实施方式的摄影装置。

还有，在以下的实施方式中，将摄影装置作为将与摄影原稿而取得的原稿图像相对应的图像投影到屏幕的摄影图像投影装置进行说明。

(实施方式1)

在图1中表示有关实施方式1的摄影图像投影装置的构成。

摄影图像投影装置由书画照相机1和投影仪2构成。

书画照相机1为用于摄影投影对象的原稿4的照相机系统，具备照相机部11、支柱12、台座13和操作台14。照相机部11用于摄影原稿4。在照相机11中可以使用数码相机。支柱12用于安装照相机11。台座13用于支撑支柱12。

此外，书画照相机1如图2所示，由图像数据生成部21、数据处理部22构成。图像数据生成部21用于摄影原稿4并取入原稿4的图像数据。

数据处理部22是从图像数据生成部21取得所取入的原稿4的图像数据，进行图像处理，并将实施图像处理的图像数据输出到投影仪2中的部分。

还有，在如图1所示的照相机部11中也可以具备图像数据生成部21和数据处理部22，在照相机部11、操作台14中也可以分别具备图像数据生成部21、数据处理部22。

图像数据生成部21由光学透镜装置101和成像传感器(image sensor)102构成。

光学透镜101由用于摄影原稿4、汇聚光的透镜等构成。

成像传感器102是用于将通过光学透镜汇聚光而成像的图像作为数字化的图像数据取入的装置，由CCD等构成。

数据处理部22由存储器201、显示装置202、图像处理装置203、操作部204、程序代码(program code)存储装置205、CPU206构成。

存储器201是用于暂时存储来自成像传感器102的图像、用于发送到显示装置202的图像数据等的装置。

显示装置202是用于显示发送到投影仪2的图像的装置。

图像处理装置203是用于对暂时被存储在存储器201中的图像数据进行图像歪斜的补正或图像效果等的图像处理的装置。

图像处理装置203，通过对在如图3(a)所示的照相机部11的摄影面为倾斜的状态、或为旋转的状态下摄影的原稿4的图像进行歪斜补正(梯形补正)，从图3(b)所示的正面生成摄影的原稿4的图像。

图像处理装置203为了进行歪斜补正，从歪斜的原稿4的图像剪切四边形，将原稿4的图像投影变换在剪切的四边形上，进行逆变换。

进一步具体地说，图像处理装置203由CPU206控制，进行以下的处理。

(1)从原稿4的图像的仿射参数提取

(2)已提取的仿射参数的图像变换

(3)涉及亮度或色差等的图像效果补正用参数的提取和图像效果处理

(4)图像变换的调整

还有，关于这些处理内容如下所述。

操作部204具有用于控制书画投影功能的开关、按键。操作部204向CPU206输出用户在操作这些键、开关时的操作信息。

操作部204如图4所示，具备：作为图像调整键的上放大键211、下放大键212、左放大键213、右放大键214、右旋转键215、左旋转键216、放大键217、缩小键218以及摄影/解除键219。

上放大键211、下放大键212、左放大键213、右放大键214是在进行投影变换时进行操作的投影变换键。

上放大键211是以通过图像中心的横线为轴，将横线以上的图像上部和横线以下的图像下部相比较，使画面的上部向可见端旋转时进行操作的键，下放大键212是使画面的下部向可见端旋转时进行操作的键。

左放大键213、右放大键214是以通过图像中心的纵线为轴，通过使图像旋转调整图像左右变形的键，左放大键213是在左边图像较小时进行操作的键，右放大键214是在右边图像较小时进行操作的键。

右旋转键215、左旋转键216分别是用于调整图像的旋转的旋转补正键，右旋转键215是在进行图像的右旋转时进行操作的键，左旋转键216是在进行图像的左旋转时进行操作的键。

放大键217、缩小键218分别是在进行图像放大、缩小等的图像变换时进行操作的键。

还有，存储器201存储作为放大或缩小比率而预先设定的Ratio。如果将Ratio设定为2，那么通过用户一次按下放大键217，图像处理装置203将图像放大为2倍。还有，通过再次按下放大键217，操作部204、CPU206进行响应，控制图像处理装置203，图像处理装置203进一步将图像放大为2倍，作为结果将源图像放大为4倍图像。在将放大的图像返回到1/2时，按下缩小键218。操作部204、CPU206进行响应，图像处理装置203缩小已放大的图像。

此外，上放大键211、下放大键212、左放大键213、右放大键214还发挥作为放大键217进行操作时的光标(cursor)键的功能。即上放大键211是在放大键217被操作时，变为用于使显示在显示装置202中的原稿4的图像向上移动的上移动键。下放大键212是在放大键217被操作时，变为用于使原稿4的图像向下移动的下移动键。左放大键213是在放大键217被操作时，变为用于使原稿4的图像向左移动的左移动键。右放大键214是在放大键217被操作时，变为用于使原稿4的图像向右移动的右移动键。

摄影/解除键219是在摄影原稿4时进行操作的按键。

程序代码存储装置205是用于存储CPU206执行的程序的装置，由ROM等构成。

CPU206根据存储在程序代码存储装置205中的程序，控制各部分。还有存储器201也可以作为CPU206的工作存储器使用。

此外，CPU206根据下述的流程，判定在作为摄影对象物的原稿4的图像上是否有动态，根据判定结果，切换摄影模式。

摄影模式为动画模式和静止图像模式两种。动画模式是用户在台座13上载置要投影的原稿4等的情况下所设定的模式，将由照相机部11所映出的图像直接投影到投影仪2上的模式。

在动画模式中，CPU206是例如将图像分辨率为VGA(600×480点)左右的图像以30fps(帧/秒)的速度进行动画投影，控制各部分的装置。这样，动画模式是虽然分辨率低，但重视实时性的模式。

静止图像模式是在用户放置原稿4后所设定的模式，由照相机部11进行高分辨率的图像摄影，进行高分辨率的静止图像投影的模式。在照相机部11为摄像分辨率300万像素照相机的情况下，剪切的投影图像变为XGA(1024×768)的静止图像。

CPU206为了进行摄影模式的切换，判定在原稿4的图像上是否有动态。CPU206为了进行这样的判定，求得与上次摄影图像的图像变化量MD。图像变化量MD是表示摄影图像与上述图像比较有多少变化的量。计算该量的方法可考虑多个。作为一例，CPU206根据上次已摄影的图像的数据，将各像素的差分量的绝对值的总和作为图像变化量MD求出。

即如果将上次的像素数据作为Pn-1(x，y)，将这次的像素数据作为Pn(x，y)(1≤x≤640、1≤y≤480)，那么图像变化量MD由下式11表示。

[式11]

MD = Σ_{x = 1}^{640} Σ_{y = 1}^{480} | p_{n} (x, y) - p_{n - 1} (x, y) |

但是，在求全部像素的总和时，由于计算量大，因此作为求得图像变化量MD的方法还可以是抽出几个像素来实现的方法。

此外，预先设定作为用于与该图像变化量MD相比较判定动态有无的阈值的阈值Thresh1和阈值Thresh2。阈值Thresh1是用于判定是否没有动态的阈值，如果图像变化量MD没有达到阈值Thresh1，那么CPU206判定为没有动态。

阈值Thresh2是下述的阈值：在静止图像模式中，用于即使是象例如阴影移动的情况、放置笔的情况那样的动态，也判定该动态是否只是不需要切换为动画模式的程度的动态。

如果图像变化量MD没有达到阈值Thresh2，那么CPU206判定为只是不需要切换为动画模式程度的动态。还有，将阈值Thresh2设定为比阈值Thresh1高(Thresh1＜Thresh2)。存储器201预先存储该阈值Thres1和阈值Thresh2。

此外，CPU206在从动画模式切换为静止图像模式的情况下，判定在图像中没有动态，经过规定时间后，将摄影模式切换为静止图像模式。因此，CPU206由于判定在图像上没有动态，因此计测静止时间Ptime，存储器201存储用于与该静止时间Ptime进行比较而预先设定的规定时间HoldTime。

投影仪2是将投影光照射到屏幕，使原稿4的图像成像的设备。书画照相机1和投影仪2介由RGB等的电缆15连接。书画照相机1介由电缆15将照相机部11摄影的原稿4的图像数据输出到投影仪2中。

接着，说明有关实施方式1的摄影图像投影装置的动作。

如果用户打开摄影图像投影装置的电源，那么书画照相机1的CPU206从程序代码存储装置205读出程序码，执行基本投影处理。

根据图5中所示的流程说明该基本投影处理的内容。

首先，CPU206进行书画照相机1的照相机部11的调焦、曝光、白平衡等的照相机设定参数的初始化(S11)。

CPU206将摄影模式初始化为动画模式(步骤S12)。CPU206由于将摄影模式初始化为动画模式，因此在存储器201上的指定范围中设定动画模式(Motion)。还有CPU206按照将从照相机部11的成像传感器102读出的图像数据设定为VGA的图像数据的方式进行设定。

由此，照相机部11捕捉的景色介由光学透镜装置101聚光在成像传感器102上，成像传感器102根据被聚光的图像生成动画摄影用的分辨率低的数字图像。并且，成像传感器102将已生成的数字图像定期地，例如以每秒30张发送到存储器201中。

接着，CPU206进行静止时间Ptime的重新设置(步骤S13)。

接着，CPU206按照从成像传感器102将低分辨率的图像数据传送到存储器201的方式，控制成像传感器102和存储器201(步骤S14)。还有，这里成像传感器102的图像数据只被传送到存储器201中，显示装置202并不显示图像。显示装置202不显示图像是由于将进行显示装置202的显示的图像数据存储在由存储器201上的不同地址表示的区域中。

接着，CPU206根据式11求得与上次已摄影的图像之间的变化量MD(步骤S15)。

CPU206判定摄影模式是动画模式还是静止模式(步骤S16)。

在初始状态中，将摄影模式设定为动画模式。CPU206由此在初始状态中为了判定动画模式，投影已摄影的动画，将位于存储器201内的动画的图像数据复制到存储器201的规定区域中(步骤S17)。由此，显示装置202从存储器201读出已摄影的图像数据，将RGB信号输出到投影仪2。投影仪2根据该信号投影图像。

CPU206比较预先设定的上述阈值Thresh1和在步骤S15中求得的图像变化量MD，根据比较结果判定在图像中是否有动态(步骤S18)。

此时，在用户还继续放置用纸等操作的情况下，图像变化量MD变为阈值Thresh1以上。在这种情况下，CPU206判定在图像中存在动态(在步骤18中“是”)，再次设置静止时间Ptime，进行低分辨率的图像数据的读入，求得图像变化量MD，进行向图像存储器201的投影图像范围的写入(步骤S13～S17)。由此在用户进行操作期间，摄影图像投影装置继续维持动画模式的状态，将低分辨率的动画图像投影到屏幕3上。

此后，用户结束用纸的设置，如果在图像中没有动态，那么图像变化量MD没有达到阈值。在这种情况下，CPU206判定在图像上没有动态(在步骤S18中“否”)，将静止时间Ptime加1(步骤S19)。

并且，CPU206判定静止时间Ptime是否达到规定时间HoldTime(步骤S20)。

在判定静止时间Ptime没有达到规定时间HoldTime的情况下(在步骤S20中否)，CPU206在判定在图像上没有动态之前，再次读入低分辨率的图像数据，求得图像变化量MD，如果没有动态，在静止时间Ptime上加1(步骤S14～S19)。在这种情况下，由于没有重新设置静止时间Ptime，因此静止时间Ptime由CPU206在每次读入动画时被增加计数值(count up)。

在判定静止时间Ptime已达到规定时间HoldTime的情况下(在步骤S20中“是”)，CPU206判定用户使图像静止，将摄影模式设定为静止图像模式(步骤S21)。

CPU206按照摄影高分辨率静止图像的方式，控制成像传感器102(步骤S22)。并且，CPU206将成像传感器102取得的图像数据写入到存储器201。还有，CPU206在将图像数据写入到存储器201后，再次将照相机部11的分辨率返回到低分辨率的读入状态。

CPU206控制图像处理装置203，图像处理装置203对读入的高分辨率的静止图像，进行用于进行歪斜补正的投影参数的提取(步骤S23)。该投射参数是表示原稿4的图像形状和实际的原稿4的形状之间关系的参数。

图像处理装置203进一步根据该被提取的投射参数，进行摄影对象的剪切和向正面图像的投射变换(步骤S24)。

图像处理装置203为了从已生成的补正图像向对比度补正鲜明、容易识别的图像变换，进行图像效果补正用参数的提取(步骤S25)。

图像处理装置203使用被提取的图像效果补正用参数，进行图像效果处理(步骤S26)。

CPU206为了进行图像效果处理过的图像数据的投影，按照与动画图像时相同的方式在存储器201内的特定范围中进行补正图像数据的写入。并且，CPU206从显示装置202由RGB信号将图像数据输出到投影仪2(步骤S27)。

如果一旦变为静止图像模式，那么CPU206再次重新设置静止时间Ptime，读入低分辨率的图像，求得图像变化量MD(步骤S13～S15)。

在此，在摄影模式已判定为静止图像模式的情况下(在步骤S16中“否”)，CPU206将已求得的图像变化量MD和另一个规定阈值Thresh2(Thresh1＜Thresh2)进行比较，判定在图像上是否有动态(步骤S28)。

如果图像变化量没有达到阈值Thresh2，那么CPU206判定在图像上没有动态(在步骤S28中“否”)。在这种情况下，CPU206继续进行图像变化量MD和阈值Thresh1之间的比较，判定在图像中是否有动态(步骤S30)。

并且，如果图像变化量MD在阈值Thresh2以上，那么CPU206判定在图像上有动态(在步骤S30中“是”)，将摄影模式设定为动画模式(步骤S40)。并且，CPU206重新设置静止时间Ptime(步骤S12)。

另一方面，即使图像变化量MD没有达到阈值Thresh2，但在阈值Thresh1以上，那么CPU206判定在图像中有动态(在步骤S30中“是”)。在这种情况下，由于图像变化量MD位于阈值Thresh1和阈值Thresh2之间，因此CPU206不将摄影模式切换为动画模式，而再次由高分辨率摄影静止图像，图像处理装置203进行已取得的高分辨率的静止图像数据的图像处理(步骤S22～S27)。

此外，如果图像变化量MD没有达到阈值Thresh2，并且也没有达到阈值Thresh1，那么CPU206判定为继续静止状态(在步骤S30中“否”)。在这种情况下，CPU206将从操作部204所输出的操作信息作为进行图像效果调整的指示信息，并根据该信息判定是否操作图像调整键(步骤S31)。

在判定不操作图像调整键的情况下(在步骤S31中“否”)，CPU206返回到步骤S13，重新设置静止时间Ptime。

在判定操作图像调整键的情况下(在步骤S31中“是”)，CPU206进行图像放大或旋转等的图像变换的调整(步骤32)。

CPU206判定图像变换是投射变换、旋转等，还是图像的放大缩小、移动(步骤S33)。

在CPU206判定图像变换是投射变换、旋转等的情况下，图像处理装置203被CPU206控制，再次进行图像效果补正用参数的提取(步骤S25)，进行图像效果处理(步骤S26)。另一方面，在CPU206判定图像变换为图像的放大缩小、移动的情况下，图像处理装置203使用上次从图像提取的图像效果补正用参数，进行图像效果处理(步骤S26)。

如上所述，CPU206边进行动画模式和静止图像模式之间的切换，边进行投影控制。由此，在用户进行操作期间，进行帧频率优先的图像的投影，如果图像静止，那么进行摄影对象的原稿4的剪切以及图像效果处理，并进行高分辨率图像的投影。

接着，对图像处理装置203进行的图像处理进行说明。

首先，说明关于图像处理装置203在图像处理中使用的仿射变换的基本思路(实现方法)。

在图像的空间变换中广泛采用仿射变换。在本实施方式中，不使用3维照相机参数而使用2维仿射变换进行投射变换。这是变换前的坐标(u，v)的点通过移动、放大缩小、旋转等变换成为由下式12对变换后的坐标(x，y)建立关系。

投影变换也可通过该仿射变换进行。

[式12]

(x^{'}, y^{'}, z^{'},) = (u, v, 1) (\begin{matrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{matrix})

最终的坐标(x，y)通过下式13计算。

[式13]

x = \frac{x^{'}}{z^{'}} = \frac{a_{11} u + a_{21} v + a_{31}}{a_{13} u + a_{23} v + a_{33}}

y = \frac{y^{'}}{z^{'}} = \frac{a_{12} u + a_{22} v + a_{32}}{a_{13} u + a_{23} v + a_{33}}

式13是用于进行投影变换的式子，坐标x、y根据z’的值向0缩退。即在z’中包含的参数在投影中带来影响。该参数为a13、a23、a33。并且，其它参数由于能够由参数a33被正规化，因此也可将a33作为1。

图6是表示在图3(a)中所示的四边形的原稿4的各顶点的坐标的图。根据图7对由照相机部11所摄影的四边形与实际的原稿4的图像之间的关系进行说明。

在该图7中，U-V-W坐标系是由照相机部11摄影取得的图像的3维坐标系。A(Au，Av，Aw)向量和B(Bu，Bv，Bw)向量在3维坐标系U-V-W中，由向量表示原稿4的用纸。

此外，S(Su，Sv，Sw)向量表示3维坐标系U-V-W的原点和原稿4之间的距离。

在图7中所示的投影屏幕是用于进行原稿4的图像投射的装置(对应屏幕3)。

如果将投影屏幕的坐标系作为x、y，那么也可将投影在该投影屏幕上的图像认为是由照相机部11所摄影的图像。投影屏幕变为从W轴仅间隔距离f并垂直设置的装置。原稿4的用纸上的任意点P(u，v，w)和直线以直线连接，作为具有该直线和投影屏幕交叉点的装置，将该交点的X-Y坐标作为p(x，y)。此时，坐标p通过投影变换由下式14表示。

[式14]

\{\begin{matrix} x = u \frac{f}{w} \\ y = v \frac{f}{w} \end{matrix}

由式14，根据如图7所示的点P0、P1、P2、P3和向投影屏幕的投影点p0、P1、p2、p3之间的关系求得在下式15中所示的关系。

[式15]

\{\begin{matrix} Su = k 1 \cdot x 0 \\ Sv = k 1 \cdot y 0 \\ Sw = k 1 \cdot f \end{matrix}

\{\begin{matrix} Au = k 1 \cdot {x 1 - x 0 + α \cdot x 1} \\ Av = k 1 \cdot {y 1 - y 0 + α \cdot y 1} \\ Aw = k 1 \cdot α \cdot f \end{matrix}

\{\begin{matrix} Bu = k 1 \cdot {x 3 - x 0 + β \cdot x^{3}} \\ Bv = k 1 \cdot {y 3 - y 0 + β \cdot y 3} \\ Bw = k 1 \cdot β \cdot f \end{matrix}

式中，k1＝Sw/f

此时，投射系数αβ由下式16表示。

[式16]

α = \frac{(x 0 - x 1 + x 2 - x 3) \cdot (y 3 - y 2) - (x 3 - x 2) \cdot (y 0 - y 1 + y 2 - y 3)}{(x 1 - x 2) \cdot (y 3 - y 2) - (x 3 - x 2) \cdot (y 1 - y 2)}

β = \frac{(x 1 - x 2) \cdot (y 0 - y 1 + y 2 - y 3) - (x 0 - x 1 + x 2 - x 3) \cdot (y 1 - y 2)}{(x 1 - x 2) \cdot (y 3 - y 2) - (x 3 - x 2) \cdot (y 1 - y 2)}

下面，对投射变换进行说明。

原稿4上的任意点P使用S、A、B向量，由下式17表示。

[式17]

P＝S+m·A+n·B

其中，m：A向量的系数(0≤m≤1)

n：B向量的系数(0≤n≤1)

在该式17中，如果代入式15的关系式，那么坐标x和y由下式18表示。

[式18]

\{\begin{matrix} x = \frac{m \cdot (x 1 - x 0 + α \cdot x 1) + n (x 3 - x 0 + β \cdot x 3) + x 0}{1 + m \cdot β + n \cdot α} \\ y = \frac{m \cdot (y 1 - y 0 + α \cdot y 1) + n \cdot (y 3 - y 0 + β \cdot y 3) + y 0}{1 + m \cdot α + n \cdot β} \end{matrix}

将该关系套用到仿射变换式后，坐标(x’，y’，z’)通过下式19表示。

[式19]

(x^{'}, y^{'}, z^{'}) = (m, n, 1) (\begin{matrix} x 1 - x 0 + α \cdot x 1 & y 1 - y 0 + α \cdot y 1 & α \\ x 3 - x 0 + β \cdot x 3 & y 3 - y 0 + β \cdot y 3 & β \\ x 0 & y 0 & 1 \end{matrix})

通过将m，n代入该式19，可求得摄影图像的对应点(x，y)。由于对应点(x，y)并不仅限于整数值，因此也可以使用图像插入法等求得像素的值。

图像处理装置203为了进行这样的仿射变换，首先从已摄影的原稿4的图像提取投影参数(图5的步骤S23)。

根据图8所示的流程说明图像处理装置203执行的投射参数的提取处理。

图像处理装置203从已摄影的原稿4的图像，提取该原稿4的图像的四角的坐标点(四边形的轮廓)(步骤S41)。图像处理装置203提取如图9所示流程所示的四边形轮廓。

即，图像处理装置203为了减少图像处理的演算数，根据输入图像生成缩小亮度图像(步骤S51)。

图像处理装置203根据已生成的缩小亮度图像，生成原稿4的边缘(edge)图像(步骤S52)。

图像处理装置203根据原稿4的边缘图像，检测在该边缘图像中所包括的直线参数(步骤S53)。

图像处理装置203根据已检测的直线参数，生成作为形成原稿4的轮廓的候补的四边形(步骤S54)。

图像处理装置203生成如上所述的候补的四边形，在已生成的各四边形中付与优先顺序(图8的步骤S42)。

图像处理装置203根据优先顺序选择四边形，判定是否可提取已选择的四边形(步骤S43)。

在判定可抽出四边形的情况下(在步骤S43中“是”)，图像处理装置203取得作为原稿4的图像的形状的四边形，根据已取得的四边形的顶点算出仿射参数(步骤S44)。

另一方面，在判定不能提取的情况下(在步骤S43中“否”)，图像处理装置203将具有最大面积的四边形作为原稿4的图像取得(步骤S45)，根据该已取得的四边形的顶点计算仿射参数(步骤S44)。

接着，更加具体地说明该投影参数的提取处理。

在图10(a)中表示图像处理装置203在步骤S51中生成的缩小亮度图像的一例。图像处理装置203根据这种缩小亮度图像，使用称之为Roberts滤波器的边缘检测用滤波器，生成如图10(b)所示的边缘图像(步骤S52)。该Roberts滤波器是通过进行2个4邻近像素加权，取得两个滤波器Δ1、Δ2并进行平均化，检测图像边缘的滤波器。

图11(a)表示滤波器Δ1的系数，图11(b)表示滤波器Δ2的系数。如果将该两个滤波器Δ1、Δ2的系数适用于某个已观测的坐标(x，y)的像素值f(x，y)，那么变换后的像素值g(x，y)由下式20表示。

[式20]

g (x, y) = \sqrt{{(Δ 1)}^{2} + {(Δ 2)}^{2}}

Δ1＝1·f（x，y)+0·f(x+1，y)+0·f(x，y-1)+1·f(x+1，y-1)

＝f(x，y)-f(x+1，y-1)

Δ2＝0·f(x，y)+1·f(x+1，y)-1·f(x，y-1)+0·f(x+1，y-1)

＝f(x+1，y)-f(x，y-1)

式中，g(x，y)：坐标(x，y)的像素值(变换后)

f(x，y)：坐标(x，y)的像素值(变换前)

在如图10(b)中所示的边缘图像中，包含直线参数。图像处理装置203根据该边缘图像进行Radon变化，检测直线参数(步骤S53的处理)。

Radon变换是使n维数据对应(n-1)维投影数据的积分变换。具体地说，如图12(a)、(b)所示，将图像数据作为f(x，y)，考虑从x-y坐标系仅旋转角度θ的r-θ坐标系。θ方向的图像投影数据p(r，θ)由下式21被定义。

[式21]

p (r, θ) = {&Integral;}_{- \infty}^{\infty} f (r \cos θ - s \sin θ, r \sin θ + s \cos θ) ds

= {&Integral;}_{- \infty}^{\infty} {&Integral;}_{- \infty}^{\infty} f (x, y) δ (x \cos θ + y \sin θ - r) dxdy

式中，δ()：Dirac的delta函数

将该式21的变换称之为Radon变换。

如图12(a)所示的图像数据f(x，y)通过Radon变换，被变换为如图12(b)所示的图像投影数据p(r，θ)。

根据这种Radon变换，在图13(a)中所示的x-y坐标系的直线L在极坐标系中表示为p＝xcosα+ysinα。由于该直线L将全部p(p，α)的点进行投影，因此通过检测p(r，θ)的峰值，可进行直线的检测。图像处理装置203应用该原理，根据边缘图像通过Radon变换生成数据p(r，θ)。

接着，图像处理装置203从已生成的数据p(r，θ)提取该峰值点。由此，图像处理装置203根据如图14所示的流程，执行该峰值点的提取处理。

图像处理装置203搜索在p(r，θ)中的最大值pmax(步骤S61)。

图像处理装置203求得阈值pth＝pmax*k(k为0到1的常值)(步骤S62)。

图像处理装置203将pth作为阈值，根据p(r，θ)生成2值图像B(r，θ)(步骤S63)。

图像处理装置203进行B(r，θ)的图像标记(labeling)。将此时取得的标记值作为N1(步骤S64)。

图像处理装置203在各标记范围内查找p(r，θ)的最大值处的r、θ。并且，图像处理装置203将该值分别作为ri、θi(i＝1～N1)取得(步骤S65)。将其作为直线的参数。

接着，图像处理装置203由于使用已检测的直线参数生成四边形候补(步骤S54的处理)，因此将明显歪斜的四边形从候补除去。这是由于书画照相机1没有摄影与台座13间隔很大的原稿4，因此明显歪斜的四边形被推测为不表示原稿4的轮廓的形状。

即如图15(a)所示，在由照相机部11进行摄影时的显示装置202的LCD的显示区域中，在4条直线a1～a4被显示，4条直线a11～a14的交点p1～p4被显示的情况下，直线a1～a4成为形成四边形的直线的候补。

另一方面，在显示区域中所显示的直线没有达到4条的情况下，或者在如图15(b)、(c)所示即使在显示区域中显示4条直线，但交点没有达到4个的情况下，该直线组不是形成四边形的直线组的候补。

如图15(a)所示，如果分别将对直线a1～a4的显示区域的下面的角度作为θ11、θ12、θ21、θ22，那么由于最接近直线a1的角度θ11的角度变为直线a3的角度θ12，因此直线a1和直线a3被判别为相互正对的直线。

并且，如图15(d)所示，如果相互正对的直线a5和a6的角度差值大，那么由于在离开台座13的位置由书画照相机1不对原稿4进行摄影，因此直线a5～a8的组不在形成四边形的直线组的候补中。还有，如果在台座13上载置原稿4，测量直线的角度，那么由于根据原稿4的边可判别是否为直线，因此将相互正对的直线的角度差作为dθ1、dθ2，在角度差dθ1、dθ2中预先设置阈值dθ1th、dθ2th，将该阈值dθ1th、dθ2th存储在存储器201中。

根据以上的方案，图像处理装置203从多条直线取得四边形的候补，具体地说，图像处理装置203根据如图16所示的流程，执行该四边形的检测处理。

图像处理装置203将四边形的候补数Nr初始化为0(步骤S71)。

图像处理装置203取得在显示区域中所显示的直线数目N1(步骤S72)。

图像处理装置203判定所获取的直线数N1是否为4个以上(步骤73)。

在判定已取得的直线的数目N1没有达到4个的情况下(在步骤S73中“否”)，图像处理装置203使该处理结束。在这种情况下，四边形的候补数目Nr变为0。

在判定已取得的直线的数目N1为4个以上的情况下(在步骤S73中“是”)，图像处理装置203判定是否具有形成四边形的直线组(步骤S74)。

即使具有直线组，但如果没有成为组的直线的4个交点，那么图像处理装置203判定没有形成四边形的直线组(在步骤S74中“否”)，使该处理结束。

在判定具有形成四边形的直线组的情况(在步骤S74中“是”)，图像处理装置203取得对应的直线组的角度差dθ1、dθ2(步骤S75)。

图像处理装置203判定角度差dθ1是否没有达到预定阈值dθ1th(步骤S76)。

在已判定角度差dθ1为阈值dθ1th以上的情况下(在步骤S76中“否”)，图像处理装置203重复有关形成四边形的直线组的下个候补的处理(步骤S74～75)。

另一方面，在已判定角度差dθ1没有达到阈值dθ1th的情况下(在步骤S76中“是”)，图像处理装置203判定角度差dθ2是否没有达到阈值dθ2th(步骤S77)。

在判定角度差dθ2在阈值dθ2th以上的情况下(在步骤S77中“否”)，图像处理装置203重复有关形成四边形的直线组的下个候补的处理(步骤S74～76)。

另一方面，在判定角度差dθ2没有达到阈值dθ2th的情况下(在步骤S77中“是”)，图像处理装置203将具有已得到的4个交点的四边形作为候补，将四边形的候补数目Nr仅增加1(步骤S78)，将该四边形的候补数目Nr存储在存储器201中。

图像处理装置203将形成四边形的直线组存储在存储器201中(步骤S79)。

图像处理装置203顺次执行如上所述的步骤S74～79的处理，如果已判定没有形成下个四边形的直线组的候补(在步骤S74中“否”)，使该四边形的检测处理结束。

接着，图像处理装置203从四边形的候补之中，选择作为表示原稿4的边的最相称的四边形。

该方法可考虑多个，在本实施方式中，从所摄影的四边形之中，选择最外围的四边形。最外围的四边形是如图6所示由X、Y轴的平行线包围作为候补的四边形，形成长方形，其中面积最大的四边形。

如果分别将长方形Ri的4个顶点的坐标作为(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)，那么四边形的面积由下式22表示。

[式22]

Si＝{max(x0，x1，x2，x3)-min(x0，x1，x2，x3)}

*{max(y0，y1，y2，y3)-min(y0，y1，y2，y3)}

图像处理装置203根据如图17所示的流程选择该四边形。

图像处理装置203从候补数Nr个的四边形中，选择任意一个四边形(步骤S81)。

图像处理装置203根据式22求得已选择的四边形的面积Si(步骤S82)。

图像处理装置203减小候补数Nr(步骤S83)。

图像处理装置203判定候补数目Nr是否为0(步骤S84)。

在已判定候补数目Nr不为0的情况下(在步骤S84中“否”)，图像处理装置203再次执行步骤S81～S83的处理。

通过反复进行这种处理，在已判定候补数Nr为0的情况下(在步骤84中“是”)，图像处理装置203按照求得面积Si的大小的顺序，排列作为候补的四边形的数据(步骤S85)。

并且，图像处理装置203将第一个四边形作为最优先的四边形的轮廓。由此即使具有多个四边形的候补，也通常优先选择最大外轮廓的四边形。这样在书画的情况下，即使在原稿4中包含四边形的图形，在其外侧也找不到四边形的图形。此外在摄影四边表格的情况下，为了用户可容易地进行缩放调整或摄影位置的调整，期望用户的摄影对象的轮廓的提取。

(1)从原稿4的图像的仿射参数提取

接着，对从所选择的四边形求得投射参数(仿射参数)的方法进行说明。

使用所选择的四边形的4个顶点坐标(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)，根据式16、式18可求得作为式19中所示的矩阵要素的仿射参数。

此时，由于m、n的区间在0≤m≤1、0≤n≤1的范围，由此进行坐标单位的修正。不改变图像的中心，分别由usc、vsc将U轴侧、V轴侧的图像尺寸变为按比例缩放的尺寸。如果将此时的图像中心作为uc、vc，那么由下式23表示图像的区间变换。

[式23]

u＝m/usc+0.5-uc/usc

v＝n/vsc+0.5-vc/vsc

如果在u、v区间中改写该式23，那么由下式24表示变换后的四边形的坐标(x’，y’，z’)。

[式24]

(x’，y’，z’)＝(u，v，1)·Af

式中，Af为仿射变换矩阵，仿射变换矩阵Af由下式25表示。

[式25]

Af = (\begin{matrix} 1 / u_{sc} & 0 & 0 \\ 0 & 1 / v_{sc} & 0 \\ 0.5 - \frac{u_{c}}{u_{sc}} & 0.5 - \frac{v_{c}}{v_{sc}} & 1 \end{matrix}) \cdot (\begin{matrix} x_{1} - x_{0} + α \cdot x_{1} & y_{1} - y_{0} + α \cdot y_{1} & α \\ x_{3} - x_{0} + β \cdot x_{3} & y_{3} - y_{0} + β \cdot y_{3} & β \\ x_{0} & y_{0} & 1 \end{matrix})

还有，仿射变换矩阵Af的各要素是仿射参数。`

根据式24、25，由下式26表示u轴和v轴之间的关系的四边形的纵横比k。

[式26]

k = \frac{| B |}{| A |} = \frac{\sqrt{{(x 3 - x 0 + β \cdot x 3)}^{2} + {(y 3 - y 0 + β \cdot y 3)}^{2} + {(βf)}^{2}}}{\sqrt{{(x 1 - x 0 + α \cdot x 1)}^{2} + {(y 1 - y 0 + α \cdot y 1)}^{2} + {(αf)}^{2}}}

式中，f：照相机参数

还有，在书画照相机1的情况下，通常照相机部11的焦点距离按照变为透镜和载置原稿4的台座13的上面之间的距离的方式被设计。因此，也可将照相机部11的焦点距离作为照相机部11和原稿4之间的距离。不管那一种，在书画照相机1的情况下，焦点距离或照相机部11和原稿4之间距离也是已知的值。

但是，在光学透镜装置101的透镜是缩放透镜的情况下，由于通过缩放位置改变焦点距离，因此通过将对应该缩放位置的焦点距离f预先存储在表格等中，可计算出纵横比k＝B/A(绝对值)。

在由(umax，vmax)付与可输出到屏幕3的最大图像(画面)的情况下，由下式27表示uc、vc。

[式27]

uc＝umax/2

vc＝vmax/2

此外，在vmax/umax＞k时、vmax/umax≤k时分别根据下式28、29进行图像的按比例缩放，取得期望的纵横比k的图像。

[式28]

usc＝umax

vsc＝k*umax

[式29]

usc＝vmax/k

vsc＝vmax

根据该思路，图像处理装置203根据四边形的顶点取得仿射参数。根据图18所示的流程说明该处理。

图像处理装置203根据四边形的4个顶点坐标(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)由式16计算投射系数α、β(步骤S91)。

图像处理装置203根据式26计算原稿4的纵横比k(步骤S92)。

图像处理装置203根据式27指定图像的中心点(uc，vc)(步骤S93)。

图像处理装置203比较最大图像尺寸vmax/umax和由式26所表示的纵横比k(步骤S94)。

在vmax/umax＞k的情况下(在步骤S94中“是”)，作为不改变纵横比的情况，图像处理装置203判定V轴侧(纵)的最大图像尺寸vmax方比原稿4的图像尺寸还大。并且，图像处理装置203按照U轴侧的最大图像尺寸和原稿4的图像尺寸一致的方式，根据式28求得usc、vsc，决定V轴侧的原稿4的图像的区间(步骤S95)。

在vmax/umax≤k的情况下(在步骤S94中“否”)，作为不改变纵横比的情况，图像处理装置203判定U轴侧(横)的最大图像尺寸umax方比原稿4的图像尺寸还大。并且，图像处理装置203按照V轴侧的最大图像尺寸和原稿4的图像尺寸一致的方式，根据式29求得usc、vsc，决定U轴侧的原稿4的图像的区间(步骤S96)。

图像处理装置203根据已算出的usc、vsc、uc、vc和四边形的4个顶点坐标(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)，由式25求得仿射变换矩阵Af(步骤S97)。

图像处理装置203将该仿射变换矩阵Af的各要素作为仿射参数A，取得该仿射参数A(步骤S98)。

(2)已提取的仿射参数进行图像变换

下面，对使用已取得的仿射参数作成补正图像的图像处理方法进行说明。

首先，在应用仿射参数进行投影变换或其它仿射变换的情况下，如图19所示，源图像的点p(x，y)是通过变换矩阵Ap的投影变换等与变换(后)图像的点P(u，v)相对应的点。在这种情况下，与求得对应源图像的点p的变换图像的点P相比，优选求得对应变换图像的点P(u，v)的源图像的点p(x，y)。

另外，在求得变换图像的点P的坐标时，使用双线性法的插值方法。双线性的插值方法是查出一方的图像(源图像)的坐标点和对应另一图像(变换图像)的坐标点，根据一方图像的坐标点的周边4点的(像素)值求得变换图像的点P(u，v)的(像素)值的方法。根据该方法，变换图像的点P的像素值P由下式30计算

[式30]

p(u，v)＝(1-kx)*(1-ky)*p(x，y)+kx*(1-ky)*p(x+1，Y)

+(1-kx)*ky*p(X，Y+1)+kx*ky*p(X+1，Y+1)

式中，将一方图像的点p的坐标作为p(x，y)，

kx：x的小数点以下的值

ky：y的小数点以下的值

X：整数部分(x)

Y：整数部分(y)

为了求得对应变换图像的点P(u，v)的源图像的点p(x，y)，图像处理装置203执行如图20所示的流程的处理。

图像处理装置203将变换图像的像素位置u初始化为0(步骤S101)。

图像处理装置203将变换图像的像素位置v初始化为0(步骤S102)。

图像处理装置203使用由式25得到的仿射参数A，代入变换图像的像素位置(u，v)，并且根据式13求得源图像的像素位置(x，y)(步骤S103)。

图像处理装置203根据已求出的像素位置(x，y)，由式30通过双线性法求得像素值P(u，v)(步骤S104)。

图像处理装置203将补正后图像的坐标v只增加1(步骤S105)。

图像处理装置203比较补正后图像的坐标v和坐标v的最大值vmax，判定补正后图像的坐标v是否在最大值vmax以上(步骤S106)。

在判定坐标v没有达到最大值vmax的情况下(在步骤S106中“否”)，图像处理装置203再次执行步骤S103～S105。

通过反复执行步骤S103～S105的处理，在判定坐标v已达到最大值vmax的情况下(在步骤S106中“是”)，图像处理装置203使补正后的图像坐标u只增加1(步骤S107)。

图像处理装置203比较坐标u和坐标u的最大值umax，判定补正后图像的坐标u是否在最大值umax以上(步骤S108)。

在判定坐标u没有达到最大值umax的情况下(在步骤S108中“否”)，图像处理装置203再次执行步骤S102～S107的处理。

通过重复进行步骤S102～S107的处理，在已判定坐标u达到了最大值umax的情况下(在步骤S108中“是”)，图像处理装置203使该图像变换处理结束。

接着，根据如上所述得到的图像对提取图像效果补正用参数的处理和使用该参数进行的图像效果处理进行说明。图像效果处理是用于取得更鲜明的图像的处理。

图像效果补正用参数是在亮度直方图的最大值、最小值、峰值、色差直方图的峰值、平均值的图像效果处理中所必需的变量。

在提取图像效果补正用参数时，需要进一步从(3-a)整体的图像除去轮廓，剪切原稿部的图像，生成(3-b)亮度、色差的直方图。首先，对在图像效果补正用参数的提取中所必需的处理进行说明。

(3-a)图像的剪切

如图21所示，在原稿4的图像中不仅仅写入照片、图形、文字等实体的图像，也可写入象台座13或原稿4的纸面的影子那样与原稿4内容没有关系的图像。在该整体图像中设定内框和外框，将具有原稿4的实体的图像的内框内作为实原稿部，将写入台座13或原稿4的纸面的影子等的内框和外框之间的间隔作为周边部。写入到周边部的原稿4的轮廓大体多为黑色。在图像数据中也优选具有这种周边部的数据方。

但是，如果也含有原稿4的周边部并生成直方图，那么存在直方图的放大等不能有效发挥功能的情况。

由此，只在取出图像效果补正用参数时，剪切实原稿部的图像生成亮度、色差的直方图，使用从该直方图取出的图像效果补正用参数，对图像全部区域进行图像效果处理。该方法可取得更好效果的参数。

具体地说，如果包含周边部的图像数据为M行N列，X、Y方向同样与外框和内框之间的点数为K点，在X轴侧取得从作为实原稿部的像素数据K到M-K行的图像数据，在Y轴侧取得从作为实原稿部的像素数据的K到N-K的列的像素数据。实原稿部的像素数据变为(M-2*K)行、(N-2*K)列的数据。

(3-b)亮度、色差的直方图的生成

对由上所述剪切的实原稿部的图像，生成亮度直方图、色差直方图。

亮度直方图是表示存在于实原稿部中的亮度值(Y)的分布的图，其通过对每个亮度值计数像素的数目而生成。在图22(a)中表示亮度直方图的一例。在图22(a)中，横轴表示亮度值(Y)，纵轴表示像素数。在补正图像效果时，作为图像效果补正用参数，需要求得最大值(Ymax)、最小值(Ymin)、峰值(Ypeak)。

最大值是对每个亮度值计数像素数目，表示具有预先设定的规定数目以上的计数值的亮度值中的最大亮度的值，最小值是表示具有所设定的规定数目以上的计数值的亮度值中的最小亮度的值。峰值是计数值为最大的亮度值。峰值被认为是表示作为摄影对象的原稿4的背景色的亮度值的数值。

此外，色差直方图是表示存在于实原稿部中的色差(U，V)的分布的图，其通过对每个色差计数实原稿部的像素的数目而生成。在图22(b)中表示色差直方图的一例。在图22(b)中，横轴表示色差，纵轴表示像素的数目。在色差直方图的情况下也表现像素的计数值成为最大的色差的峰值(Upeak，Vpeak)。该峰值也被认为是表示原稿4的背景色的色差的数值。在补正图像效果时，需要求出作为图像效果补正用参数的色差直方图的峰值和平均值(Umean，Vmean)。还有，平均值是具有平均计数值的色差的值。

还有，在补正图像效果取得目视性优良的图像时，由于通过原稿4的背景色补正效果不同，因此需要通过原稿4的背景色改变图像效果的补正方法。由此，需要进行原稿4的背景色的判别。原稿4的背景色根据亮度直方图、色差直方图的各峰值进行判别。

在此，将原稿4的背景色分为3类。第1是象白板、笔记本等那样的背景色为白色的情况。第2是象黑板等那样背景色为黑色的情况。第3是象杂志、小册子那样背景色为白色或黑色以外的情况。

具体地说，原稿4的背景色根据以下判别式进行判别。

(2-a)白色的判定条件

白色判定条件由下式31表示，在满足式31中所示的条件时，判定原稿4的背景色为白色(W)。

[式31]

白色判定条件＝(|Upeak|＜颜色阈值)

&(|Vpeak|＜颜色阈值)

&(Ypeak＞白色判定值)

(2-b)黑色的判定条件

黑色判定条件由下式32表示，在满足式32中所示的条件时，判定原稿4的背景色为黑色(b)。

[式32]

黑色判定条件＝(|Upeak|＜颜色阈值)

&(|Vpeak|＜颜色阈值)

&(Ypeak＜黑判定值)

此外，在不满足式31、32中所示的条件的情况下，判定原稿4的背景色为彩色(C)。还有，彩色阈值例如被设定为50和128，白色判定阈值例如被设定为128，黑色判定阈值例如被设定为50。

根据这种思路，图像处理装置203根据在图23中所示的流程执行图像效果补正用参数的提取处理。

图像处理装置203在实原稿部中，计数具有各亮度(Y)值的像素的数目，生成如图22(a)中所示的亮度直方图(步骤S111)。

图像处理装置203根据已生成的亮度直方图，取得亮度的最大值(Ymax)、最小值(Ymin)、峰值(Ypeak)(步骤S112)。

图像处理装置203生成如图22(b)所示的色差(U，V)的直方图(步骤S113)。

图像处理装置203求得作为图像效果补正参数的色差(U，V)的峰值(Upeak，Vpeak)(步骤S114)。

图像处理装置203求得作为图像效果补正用参数的色差平均值(Umean，Vmean)(步骤S115)。

图像处理装置203根据图像直方图的这些峰值(Ypeak，Upeak，Vpeak)，通过式31、32所示的判定条件式判别原稿4的背景色(步骤S116)。

图像处理装置203将图像效果补正用参数和原稿4的背景色数据存储在存储器201中(步骤S117)。

接着，图像处理装置203使用如上所述提取的图像效果补正用参数，进行图像效果处理(在图5中的步骤S26)。

如上所述，在高效进行图像效果处理时，需要由背景色代替处理内容。

在象白板、笔记本等那样背景色为白色的情况下，进行如图24(a)所示的亮度变换。在象黑板等那样背景色为黑色的情况下，进行如图24(b)所示的亮度变换。在象杂志、小册子等那样背景色为白色或黑色以外的情况下，进行如图24(c)所示的变换。另外，在图24(a)、(b)、(c)中，横轴表示像素值的输入值，纵轴表示像素值的输出值。

在背景色为白色的情况下，如图24(a)所示以峰值为边界，改变亮度变换线的倾斜角度。例如将规定亮度值作为230，将输入的亮度的峰值增加到亮度值230。并且，将最大值增大到最大亮度。从而，亮度变换线如图24(a)所示由2条线表示。

在背景色为黑色的情况下，如图24(b)所示，按照变为具有峰值的规定的亮度值(20)那样进行亮度变换。在这种情况下，也如图24(b)所示，亮度变换线由2条线表示。

在背景色为白色或黑色以外的情况下，如图24(c)所示，与通常的放大处理相同，切割最小值以下和最大值以上，按照一条线表示的方式设定亮度变换线。

还有，也可预先设定如上所述的背景的亮度(Y)和输出(Y’)之间的变换列表，存储在存储器201中。根据所生成的变换列表，根据所输入的各像素的值求得各自的输出值，实施图像效果处理。如上所述被变换后的图像由于比亮的像素变地更亮，比暗的像素变地更暗，因此亮度分布更广，成为目视性出色的图像。

此外，通过所摄影的图像不对数码相机的白平衡进行适应调整，例如具有整体颜色变换为黄色等的情况。该颜色的变化，在只进行亮度直方图的图像效果处理中，不能进行修正。

在这种情况下，为了取得优选的图像，进行颜色调整。在图25中表示用于进行颜色调整的亮度变换图表的一例。

在图25中，横轴表示色差的输入值，纵值表示色差的输出值。颜色调整按照如图22(b)所示的色差(U，V)的各个平均值(Umean，Vmean)成为灰色的方式，根据如图25所示的亮度变换图进行亮度变换。

在色差U和V的值均为0的情况下，由于颜色变为无彩色，因此按照峰值(Upeak，Vpeak)为0的方式进行颜色调整。即颜色的变换线由2条线来表示。对输入值U的输出值U’由下式33给出。

[式33]

U^{'} = \frac{128}{(Umean + 128)} * (U - Umean) (U < Umean)

U^{'} = \frac{127}{(Umean + 127)} * (U - Umean) (U &GreaterEqual; Umean)

对于色差V也相同。

接着，在作为图像效果处理只进行上述的亮度放大中，在背景没有充分白色化的情况下，进行背景的白色化，将图像内的背景和所期望部分的颜色变换为白色(Y：255，U：0，V：0)或与其相近的颜色。

图26(a)是表示将某像素的亮度值作为基准(0)，对该像素的亮度值的亮度值的放大率的图。横轴表示亮度值，纵值表示亮度值的放大率。此外，图26(b)是表示色差和色差的变化率的图。横轴表示色差，纵轴表示色差的变化率。

图中C0表示从0开始100％放大亮度和色差的范围，C1表示根据亮度值可改变放大率的范围。如图26(a)、 (b)所示，亮度(Y)值为规定值以上(Y w)，色差(U，V)将规定范围内(C0)的像素的颜色作为白色化范围，放大亮度值，将色差变为0。如果进行这种背景的白色化，只在亮度放大中，在背景没有充分白色化的情况下，图像效果处理变地非常有效。

根据这种思路，图像处理装置203根据图27中所示的流程，执行图像效果处理。

图像处理装置203从存储器201读出已保存的图像效果补正用参数(步骤S121)。

图像处理装置203判定背景是否为白色(步骤S122)。

在已判定背景为白色的情况下(在步骤S122中“是”)，图像处理装置203按照将背景变得更白，目视性变好的方式，进行如图24(a)所示的亮度变换，进行亮度直方图的调整(步骤S123)。

在已判定背景不是白色的情况下(在步骤S122中“否”)，图像处理装置203判定背景是否为黑色(步骤S124)。

在已判定背景为黑色的情况下(在步骤S124中“是”)，图像处理装置203在背景为黑色的情况下，进行如图24(b)所示的亮度变换，调整亮度直方图(步骤S125)。

在判定背景不是黑色的情况下(在步骤S124中“否”)，图像处理装置203进行如图24(c)所示的亮度变换，进行对应原稿4的背景色的直方图调整(步骤S126)。

图像处理装置203对如上所述调整后的图像，进行如图25所示变换，进行颜色调整(S127)。

图像处理装置203根据图28中所示的流程进行背景的白色化处理(S128)。还有，图中的imax、jmax是输入图像的x、y轴的尺寸。

即图像处理装置203将计数值j初始化为0(步骤S131)。

图像处理装置203将计数值i初始化为0(步骤S132)。

图像处理装置203判定输入图像的像素(i，j)的亮度(Y)是否在规定值以上(Yw)(步骤S133)。

在已判定亮度(Y)在规定值以上(Yw)的情况下(在步骤S133中“是”)，图像处理装置203判定色差U、V的绝对值是否没有达到规定值C0(步骤S134)。

在已判定色差U、V的绝对值没有达到规定值C0的情况(在步骤S134中“是”)，图像处理装置203将亮度值(Y)设定为255，将色差(u，v)变为0，重新写像素(i，j)的值，增加计数值(步骤S136)。

另一方面，在已判定色差U、V的绝对值达到规定值C0的情况(在步骤S134中“否”)，图像处理装置203判定输入图像的像素(i，j)的色差U、V的绝对值是否没有达到规定值C1(步骤S137)。

在已判定色差U、V的绝对值没有达到规定值C1的情况下(在步骤S137中“是”)，图像处理装置203将亮度值作为Y＝Y+a*(255-Y)(步骤S138)，重写像素值(i，j)的值，增加计数值i(步骤S136)。

在已判定色差U、V的绝对值达到规定值C1的情况下(在步骤S137中“否”)，图像处理装置203不改变亮度值，而增加计数值(步骤S136)。

图像处理装置203将计数值与其最大值imax相比较，判定计数值i是否达到最大值imax(步骤S139)。

在已判定计数值i没有达到最大值imax的情况下(在步骤S139中“否”)，图像处理装置203再次执行步骤S133～S138的处理。

通过反复执行步骤S133～S138的处理，在已判定计数值i达到最大值imax的情况下(在步骤S139中“是”)，图像处理装置203增加计数值j(步骤S140)。

图像处理装置203将计数值j与其最大值jmax相比较，判定计数值j是否达到最大值jmax(步骤S141)。

在判定计数值j没有达到最大值jmax的情况下(在步骤S141中“否”)，图像处理装置203再次执行步骤S132～S140的处理。

通过反复执行步骤S132～S140的处理，在已判定计数值j达到最大值jmax的情况下(在步骤S141中“是”)，图像处理装置203使该背景的白色化处理结束。

(4)图像变换的调整

接着，对进行一次图像变换的图像所进行的调整(图5的步骤S33)进行说明。

在所提取的四边形的顶点的坐标中包含少许误差等的情况下，如图29(a)、(b)所示，存在由所取得的仿射参数进行投射的结果不是优选结果的情况。因此，本实施方式的摄影图像投影装置按照由用户进行投射变换的调整那样构成。

如果用户操作操作部204的各按键，那么操作部204对用户的操作进行响应，将该操作信息作为指示信息发送到CPU206。CPU206判别该操作信息，根据判别结果控制图像处理装置203。

还有，如图30所示，在求得补正图像的插入像素Q(u’，v’)时，对插入像素Q(u’，v’)进行逆变换Ai，求得对应插入像素Q(u’，v’)的补正图像P(u，v)，还有对补正图像P(u，v)进行逆变换，求得源图像p(x，y)，对图像p(x，y)进行像素插值是通常的事情。在将投影变换和放大变换等、图像变换进行2级变换的情况下，求得合成2个变换的变换矩阵，对源图像进行一次变换。该方法可比进行2次变换高速求得图像，并且比进行上述的2次的逆变换生成图像的方法减少了图像劣化。

从以X、Y轴为中心将变换前的图像只旋转角度θ而取得的变换后的图像，取得变换前的图像的时的旋转逆变换矩阵Ar由下式34表示。

[式34]

Ar = [\begin{matrix} \cos θ & - \sin θ & 0 \\ \sin θ & \cos θ & 0 \\ - Xc \cos θ - Yc \sin θ + Xc & Xc \sin θ - Yc \cos θ + Yc & 1 \end{matrix}]

从以X、Y轴为中心将变换前的图像放大Sc倍而得到的变换后图像，取得变换前的图像时的放大矩阵Asc由下式35表示。

[式35]

Asc = [\begin{matrix} 1 / Sc & 0 & 0 \\ 0 & 1 / Sc & 0 \\ Xc (1 - \frac{1}{Sc}) & Yc (1 - \frac{1}{Sc}) & 1 \end{matrix}]

还有，如果一次放大图像，那么具有通过仿射参数的调整或计算进行舍入误差的处理等的情况。由此在放大图像的情况下，需要在此之前恢复到与原来等倍的仿射参数。

从通过使变换前的图像分别在X、Y方向只移动Tx、Ty而得到的变换后的图像，取得变换前的图像的时的移动矩阵As由下式36表示。

[式36]

As = [\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ - Tx & - Ty & 1 \end{matrix}]

从通过使变换前的图像分别在X、Y方向上只倾斜α、β而得到的变换后的图像，取得变换前的图像的时的移动矩阵Ap由下式37表示。

[式37]

Ap = [\begin{matrix} 1 & 0 & α \\ 0 & 1 & β \\ 0 & 0 & 1 \end{matrix}]

从而，在执行2级逆变换的情况下，该逆变换矩阵A由下式38表示。

[式38]

A＝Ai(2)*Ai(1)

根据图31所示的流程说明基于这样的思路所执行的图像变换的调整处理。

CPU206判定放大率Zoom是否为1(步骤151)。还有，由于放大率Zoom被预先初始化为1，因此CPU206最初判定放大率Zoom为1(在步骤S151中“是”)。如果判定放大率Zoom为1，那么CPU206判定是否按下作为投射变换键的上放大键211、下放大键212、左放大键213、右放大键214的任一个(步骤S152)。

在已判定按下投射变换键的情况下(在步骤S152中“是”)，CPU206判别所操作的投射变换键的种类。

在判别所按下的投射变换键为右放大键214的情况下，CPU206将α＝0.1、β＝0分别代入到在式37中所示的投射效果矩阵Ap中，取得逆变换矩阵Ai＝Ap(步骤S153)。

在判别所按下的投射变换键为左放大键213的情况下，CPU206将α＝-0.1、β＝0分别代入到式37中所示的投射效果矩阵Ap中，取得逆变换矩阵Ai＝Ap(步骤S154)。

在判别所按下的投射变换键为上放大键211的情况下，CPU206将α＝0、β＝0.1分别代入到式37中所示的投射效果矩阵Ap中，取得逆变换矩阵Ai＝Ap(步骤S155)。

在判别所按下的投射变换键为下放大键212的情况下，CPU206将α＝0、β＝-0.1分别代入到式37中所示的投射效果矩阵Ap中，取得逆变换矩阵Ai＝Ap(步骤S156)。

在判定投射变换键没有被按下的情况下(在步骤152中“否”)，CPU206判定旋转键是否被按下(步骤S157)。

在已判定按下旋转键的情况下(在步骤S157中“是”)，CPU206判别所按下旋转键的种类。

在已判别所按下的旋转键为右旋转键215的情况下，CPU206将θ＝-1代入到式34中所示的旋转逆变换矩阵Ar中，取得逆变换矩阵Ai＝Ar(步骤158)。

在已判别所按下的旋转键为左旋转键216的情况下，CPU206将θ＝1代入到图34中所示的旋转逆变换矩阵Ar中，取得逆变换矩阵Ai＝Ar(步骤159)。

在已判定旋转补正键没有被按下的情况下(在步骤S157中“否”)，CPU206在进行放大处理之前，按照可复原到与原来等倍的仿射参数的方式，使现在的仿射参数返回到矩阵Af(步骤S160)。

另一方面，在判定放大率Zoom不为1的情况下(在步骤S151中“否”)，CPU206判定是否按下光标键(步骤S161)。

在已判定按下光标键的情况下(在步骤S161中“是”)，CPU206判别所按下的光标键的种类。

在已判别光标键为右移动键(放大键217和右放大键214)的情况下，CPU206将X轴、Y轴的各自移动量Tx＝64、Ty＝0代入到式36中所示的移动矩阵As中，取得逆变换矩阵Ai＝As(步骤S162)。

在判别光标键为左移动键(放大键217和左放大键213)的情况下，CPU206将X轴、Y轴的各自移动量Tx＝-64、Ty＝0代入到式36中所示的移动矩阵As中，取得逆变换矩阵Ai＝As(步骤S163)。

在判别光标键为上移动键(放大键217和上放大键211)的情况下，CPU206将X轴、Y轴的各自的移动量Tx＝0、Ty＝64代入到式36中所示的移动矩阵As中，取得逆变换矩阵Ai＝As(步骤S164)。

在判别光标键为下移动键(放大键217和下放大键212)的情况下，CPU206将X轴、Y轴的各自的移动量Tx＝0、Ty＝-64代入到式36中所示的移动矩阵As中，取得逆变换矩阵Ai＝As(步骤S165)。

另一方面，在判定光标键没有被按下的情况下(在步骤S161中“否”)，或判定旋转补正键没有被按下，使现在的仿射参数返回到矩阵Af的情况下(步骤S160)，CPU206判定放大键217或缩小键218是否被按下(步骤S166)。

在已判定放大键217或缩小键218没有被按下的情况下(在步骤S166中“否”)，CPU206使该图像变换的调整处理结束。

另一方面，在判定放大键217或缩小键218被按下的情况下(在步骤S166中“是”)，CPU206判别所按下键的种类。

在判别所按下的键为放大键217的情况下，CPU206放大率Zoom＝Zoom*Ratio(Ratio例如为2倍)，取得新的放大率Zoom(步骤S167)，将Sc＝Ratio代入式35中所示的放大矩阵Asc的Sc，取得逆变换矩阵Ai＝Ap(步骤S168)。

在已判别所按下的键为放大键218的情况下，CPU206放大率Zoom＝Zoom/Ratio，取得新的放大率Zoom(步骤S169)。

在缩小键218的情况下，CPU206判定放大率Zoom是否超过1(步骤S170)。

在已判定放大率Zoom超过1(Zoom＞1)的情况下(在步骤S170中“是”)，CPU206将Sc＝1/Ratio代入到式35中所示的放大矩阵Asc的Sc中，取得逆变换矩阵Ai＝Ap(步骤S171)。

接着，在设定逆变换矩阵Ai的情况下(步骤S153～S156、S158、S159、S162～165、S168、S171)，CPU206根据式38求得逆变换矩阵A(步骤S172)。

CPU206将求得的变换矩阵A供给到图像处理装置203中，按照根据逆变换矩阵A进行图像变换的方式控制图像处理装置203。图像处理装置203根据所供给的逆变换矩阵A，进行仿射变换的图像变换(步骤S173)。

另一方面，在已判定放大率Zoom没有超过1(Zoom≤1)的情况下(在步骤S170中“否”)，CPU206放大率Zoom＝1(步骤S174)。

CPU206作为A＝Af(在步骤S160中保存的放大前的仿射参数)返回到源逆变换矩阵A(步骤S175)。

并且，CPU206同样地按照将求得的逆变换矩阵A供给到图像处理装置203中，进行图像变换的方式，控制图像处理装置203，图像处理装置203根据所供给的逆变换矩阵A，进行仿射变换的图像变换(步骤S173)。

还有，进行放大等而生成的图像是原稿4的一部分。由此进行放大并说明的原稿4多是图、表、照片等的情况，如果只使用被放大的部分进行对比度放大等的图像效果处理，那么具有得不到期望的图像品质的情况。这是由于原稿4在图或照片的情况下，背景色的比率小。

因此，在使图像放大、缩小、移动的情况下，优选直接使用进行这种图像变换前的图像效果补正用参数。根据这种理由，在图5的步骤S33中(图像变换)中，在图像变换是图像的放大、缩小、移动等的情况下，CPU206跳过图像效果补正用参数的提取，图像处理装置203由进行图像变换前的图像效果补正用参数进行图像效果处理。

另一方面，在图像变换是投射变换、旋转的情况下，由于即使不能正确进行摄影对象(原稿4)的剪切也可进行操作，因此优选采用重新调整的图像，进行新图像补正用参数的提取。因此，在图像变换是投射变换、旋转的情况下，使CPU206转移到图像效果补正用参数的提取处理(图5的步骤S25)。

如上所述，根据本实施方式，图像处理装置203按照从原稿4的图像取得轮廓，取得原稿4的四边形的形状，从四边形的顶点位置求得投射参数，将原稿4的图像进行投射变换的方式进行处理。

因此，如果作为被照物对象的原稿4是四边形，那么由于自动地只对原稿4的图像进行剪切，变换为从正面可见的图像，因此未必需要对摄影被照物从正上方进行摄影，此外与放置原稿4时的方向无关，可由正确的方向将原稿4的图像投影在屏幕3上。

此外，由于对剪切的图像进行最适合的图像效果处理，因此即使不照明原稿4，也可得到识读性非常高的图像。

此外，在对一次剪切出的图像进行图像的旋转或投射效果处理的补正的情况下，由于使用由最初的剪切所求得的图像效果补正用参数而进行，因此可进一步简单地生成容易看到的图像，即使在原稿4上具有翘曲、弯曲，也可通过简单的操作调整图像处理。

此外，在对已剪切出的图像进行放大、缩小等的同时，为了得到该图像，不根据剪切的图像生成，而是一次进行剪切和放大的图像变换，因此可生成劣化少的图像。

在剪切出的图像的放大图像中进行图像效果处理时，存储放大前的图像效果补正用参数，采用该已存储的参数进行图像效果处理，因此能够取得稳定的高品质的图像。

(实施方式2)

有关实施方式2的摄影图像投影装置是具有计算机，按照计算机进行图像处理的方式构成的装置。

在图33中表示有关实施方式2的摄影图像投影装置的结构。

有关实施方式2的摄影图像投影装置除了书画照相机1和投影仪2，还具备计算机5。

书画照相机1和计算机5介由USB(Universal Serial Bus)等通信电缆31被连接，计算机5和投影仪2介由RGB电缆等的视频映像电缆32被连接。

实施方式2的书画照相机1如图34所示，在数据处理部22具有代替实施方式1的图像处理装置203的图像压缩装置207、接口装置208。

图像压缩装置207是为了减少发送到计算机5的数据量而压缩图像数据的装置。图像压缩装置207使用JPEG(Joint Photographic Expetr Group)规格等的技术压缩静止图像。

接口装置208是用于将已压缩的图像数据发送到计算机5，或接收来自计算机5的摄影命令的装置。

此外，CPU206具有将光学透镜装置101的调焦、曝光、白平衡等照相机设定参数初始化为动画模式的功能。由此，照相机部11捕捉的景色介由光学透镜装置101聚光在成像传感器102上，成像传感器102根据已聚光的图像生成动画摄影用的分辨率低的图像数据，例如以每秒30张左右发送到存储器201中。

计算机5是将摄影命令发送到书画照相机1，控制书画照相机1，接收图像数据，将进行图像处理的图像数据发送到投影仪2中的装置。

计算机5具有接口装置231、显示装置232、图像处理装置233、操作部234、HDD(Hard Disk Drive)235、CPU236、ROM(Read Only Memory)237和RAM(Random Access Memory)238。

接口装置231是用于在接收所压缩的图像数据的同时，发送摄影命令等的装置。

显示装置232是与显示装置202相同，用于将送出的图像显示在投影仪2中的装置。

图像处理装置233是用于对已接收的图像数据，进行图像歪斜补正或图像效果等的图像处理的装置，具有与实施方式1的图像处理装置203相同的功能。此外，图像处理装置233对已被压缩的图像进行压缩解码，生成非压缩数据。

图像处理装置233可由硬件构成，也可由软件构成。如果是软件，那么由于可通过版版本升级(version up)更新功能，因此图像处理装置233优选由软件构成。

还有，由于计算机5具备书画照相机1的图像处理装置203的功能，因此在照相机部11中不需要实装图像处理用的硬件，也可使用市场出售的标准的数码相机。

操作部234是用于用户输入数据、命令的开关、按键的部分。

HDD235是用于存储数据等的装置。HDD235也存储预先安装的书画处理用的软件的数据。

CPU236是在控制计算机5的各部分的同时，将指示高分辨率静止图像的摄影的摄影命令等发送到书画照相机1中，控制书画照相机1的装置。

ROM237是存储CPU236执行的基本的程序代码等的装置。

RAM238是存储CPU236执行时的必需的数据的装置。

接着，根据图35的流程说明有关实施方式2的摄影图像投影装置的操作。

书画照相机1的CPU206进行接口装置208、图像压缩装置207或存储器201内的工作存储器的初始化(步骤S201)。

CPU206将光学透镜装置101的调焦、曝光、白平衡等的照相机设定参数初始化为动画模式(步骤S202)。

CPU206检测接口装置208，判定是否接收来自计算机5的摄影命令(步骤S203)。

在已判定没有接收摄影命令的情况下(在步骤S203中“否”)，CPU206根据来自操作部204的操作信息判定操作部204的图像调整键是否被按下(步骤S204)。

在已判定图像调整键已被按下的情况下(在步骤S204中“是”)，CPU206介由接口装置208将被按下的图像调整键的种类信息发送到计算机5中(步骤S205)，从成像传感器102读入低分辨率图像(步骤S206)。

另一方面，在判定图像调整键没有被按下的情况下(在步骤S204中“否”)，CPU206不发送种类信息，从传感器102读入低分辨率图像(步骤S206)。

图像压缩装置207在CPU206的控制下，压缩CPU206所读入的图像数据(步骤S207)。

CPU206例如以30帧左右的速度，介由接口装置208将图像压缩装置207压缩的低分辨率图像数据发送到计算机5中(步骤S208)。

并且，CPU206、图像压缩装置207执行步骤S203～S208的处理。由此，书画照相机1限于不接收摄影命令，将低分辨率图像定期发送到计算机5中。

在已判定接收摄影命令的情况下(在步骤S203中“是”)，CPU206将成像传感器102、光学透镜装置101的摄影模式设定为高分辨率的静止图像模式(步骤S209)。

CPU206按照进行高分辨率静止图像的摄影的方式，控制照相机部11(步骤S210)。

CPU206将由照相机部11摄影的图像数据发送到图像压缩装置207中，图像压缩装置207压缩所接收的图像数据(步骤S211)。

图像压缩装置207介由接口装置208将已压缩的高分辨率静止图像的数据发送到计算机5中(步骤S212)。

CPU206再次设定为低分辨率的动画模式(步骤S213)，在接收摄影命令之前执行步骤S203～S208的处理，介由接口装置208将已取得的低分辨率图像发送到计算机5中。

如果计算机5起动安装在HDD235中的书画处理软件，那么根据图35、36中所示流程，执行书画照相机功能的处理。

CPU236进行通信等的初始化(步骤S221)。

CPU236判定是否接收数据，判别已接收的数据的内容(步骤S222)。

在已判别已接收的数据为低分辨率图像的情况下，图像处理装置233通过对压缩的图像进行压缩解码，将压缩数据变换为非压缩数据(步骤S223)。

CPU236与实施方式1相同，根据式11计算图像变化量MD(步骤S224)。

CPU236判定摄影模式是动画模式还是静止模式(步骤S225)。

在初始状态中，由于摄影模式被设定为动画模式，因此CPU236判定摄影模式为动画模式(在步骤S225中“是”)。在这种情况下，CPU236进行已接收的低分辨率图像的描绘(步骤S226)。图像处理装置233将所描绘的低分辨率图像的数据输出到投影仪中，投影仪2将该图像数据投影在屏幕3上。

CPU236根据式11求得与上次摄影的图像的图像变化量MD，将求得的图像变化量MD和预先设定的阈值Thresh1进行比较，根据比较结果判定在图像中是否有动态(步骤S227)。

在已判定图像中具有动态(MD≥Thresh1)的情况下(在步骤S227中“是”)，CPU236清除静止时间Ptime(步骤S235)，继续动画模式。

另一方面，在已判定在图像中没有动态(Thresh1＞MD)的情况下(在步骤S227中“否”)，CPU236在静止时间Ptime上加1(步骤S228)。

CPU236停止动态，判定是否已经过预先设定的规定时间HoldTime(步骤S229)。

在已判定没有经过规定时间HoldTime(Ptime＜HoldTime)的情况下(在步骤S229中“否”)，CPU236继续动画模式，在接收下一个数据之前待机(步骤S222)。

在已判定经过规定时间HoldTime(Ptime≥HoldTime)的情况下(在步骤S229中“是”)，CPU236将摄影模式设定为静止图像模式(步骤S230)。

CPU236发送指示高分辨率静止图像的摄影的摄影命令(步骤S231)，在从书画照相机1接收静止图像数据之前待机(步骤222)。

并且，接收数据，在已判别所接收的数据为低分辨率的图像的情况下(步骤S222)，CPU236解码低分辨率图像(步骤S223)，计算图像变化量MD(步骤S224)，判定摄影模式是否为动画模式(步骤S224)。

在已判定为静止图像模式的情况下(步骤225为否)，CPU236与实施方式1相同，将图像变化量MD和2个阈值Thresh2进行比较，判定在图像中是否具有动态(步骤S232、S233)。

如果MD＜Thresh1(在步骤S232中“否”，在步骤S233中“是”)，CPU236发送摄影命令(步骤S231)。

如果Thresh1≤MD≤Thresh2(在步骤S232中“否”，在步骤S233中“否”)，CPU236原样保持现在显示的静止画面图像，摄影模式还是动画模式(步骤S234)。并且，CPU236将静止时间Ptime设置为0(步骤S235)。并且，CPU236在接收下一数据之前待机(步骤S222)。

如果Thresh2＜MD(在步骤S232中“是”)，CPU236保持静止模式，在接收下一数据之前待机(步骤S222)。

在已判别所接收的数据为高分辨率图像的情况下(步骤S222)，CPU236进行高分辨率静止图像的解码(图37的步骤S236)。

图像处理装置S233与实施方式1相同，提取投射参数进行图像效果处理(步骤S237～240)。

图像处理装置233描绘图像并输出到投影仪中(步骤S241)，CPU236在接收下一数据之前待机(步骤S222)。

如果判别所接收的数据是与按键操作信息相关的数据，那么CPU236判定摄影模式是否为静止图像模式，如果不是静止图像模式(在步骤S242中“否”)，在接收下一数据之前待机(步骤S222)。

在已判定为静止图像模式的情况下(在步骤S242中“是”)，CPU236与实施方式1相同进行调整和图像变换(步骤S243)，根据图像变换的内容进行图像效果处理(步骤S244、S239、S240)。并且，图像处理装置233描绘图像并输出到投影仪2中(步骤S241)，CPU236在接收下一数据之前待机(步骤S222)。

如上所述，根据本实施方式2，具备计算机5，计算机5执行图像处理。从而，由于不需要在照相机11中安装图像处理用硬件，因此可使用市场出售的标准的数码相机，可构成摄影图像投影装置。因此，可构成廉价的系统。

还有，在实施本发明时，考虑各种方案，并不限于上述实施方式。

例如，在实施方式1中，在提取图像效果补正用参数时，对原稿4的图像通过投射参数进行变换，对已变换的图像进行图像的剪切处理。但是即使原稿4的图像歪斜，不进行投影变换，也可从实原稿部提取图像效果补正用参数。

在上述实施方式中，将原稿4的形状作为四边形，从原稿4的轮廓取得四边形进行各种处理。但是，虽然不现实的，但原稿4的形态并不限于四边形，也可以五边形等。

在上述实施方式中，将摄影装置作为摄影图像投影装置进行说明。但是，摄影装置并不限于这种构成。例如也可不具备投影仪2，即使由数码相机摄影原稿4的构成，也可适用上述实施方式。

还有，在上述实施方式中，将程序作为预先存储到各个存储器等中程序的进行说明。但是，也可将用于使计算机作为装置的全部或一部分动作，或使上述处理执行的程序存储分配到软盘、CD-ROM(Compact Disk Read-Only Memory)、DVD(Digktal Versatile Disk)、MO(Magneto Oprical disk)等的计算机可读取的存储介质中，将该程序安装到其它计算机中，使作为上述的机构动作，或者使上述的工序执行。

还有，也可将程序存储在因特网上的服务器装置所具有的磁盘装置等中，例如使叠加到载波上，在计算机中进行下载等。

Claims

1、一种摄影原稿的摄影装置，其特征在于，在摄影原稿的摄影装置(1)中，包括：

形状取得部(203)，其从由所述原稿的摄影所得到的原稿图像，取得所述原稿图像的轮廓，根据所取得的所述轮廓取得所述原稿图像的形状；

补正用参数取得部(203)，其从所述形状取得部所取得的形状的所述原稿图像，取得用于补正图像效果的图像效果补正用参数；

投射参数取得部(203)，其根据所述形状取得部所取得的所述原稿图像的形状，求得表示所述原稿图像的形状和实际的原稿的形状之间的关系的投射参数；和

图像变换部(203)，其在采用所述补正用参数取得部(203)所取得的图像效果补正用参数，对所述形状取得部所取得的形状的所述原稿图像进行图像效果处理的同时，采用所述投射参数取得部所求得的投射参数，进行所述原稿图像的图像变换。

2、一种摄影原稿的摄影装置，其特征在于，在摄影原稿的摄影装置(1)中，包括：

图像剪切部(203)，其根据所述形状取得部所取得的所述原稿图像的形状，判别表示原稿内容的实原稿部，剪切所判别的实原稿部的图像；

补正用参数取得部(203)，其从所述图像剪切部所剪切出的实原稿部的图像，取得用于补正图像效果的图像效果补正用参数；和

图像效果处理部(203)，其采用所述补正用参数取得部所取得的图像效果补正用参数，进行所述原稿图像的图像效果处理。

3、根据权利要求2中所述的摄影原稿的摄影装置，其特征在于，

所述图像剪切部(203)具备投射参数取得部(203)，其根据所述形状取得部所取得的所述原稿图像的形状，求得表示所述原稿图像的形状和实际的原稿的形状之间的关系的投射参数；

根据采用所述投射参数取得部(203)所求得的投射参数已进行投射变换的投射变换图像，判别所述实原稿部，剪切出所判别的实原稿部的图像。

4、根据权利要求1或3中所述的摄影原稿的摄影装置，其特征在于：

所述投射参数取得部(203)是下述的部分：

在所述摄影对象物存在的空间中，设定3维的(U，V，W)坐标系，将投射所述摄影对象物的投影面配置在所述空间中，在所述投影面上设定(X，Y，Z)坐标系，将所述摄影对象物作为矩形，取得使与根据式1以及式2中所示的关系式而求得的式3中所示的关系式和式4中所示的投射变换式相对应，由在式5中所示的投射参数构成的投射变换式；

所述图像变换部根据式5中所示的投射变换式，进行所述摄影对象物的图像的图像变换；

[式1]

P＝S+m·A+n·B

式中，

P：摄影对象物的规定点的坐标(向量)

S：(U，V，W)坐标系的原点和摄影对象物之间的距离(向量)

A、B：摄影对象物的边长(向量)

m：A向量的系数(0≤m≤1)

n：B向量的系数(0≤n≤1)

[式2]

\{\begin{matrix} Su = k 1 \cdot x 0 \\ Sv = k 1 \cdot y 0 \\ Sw = k 1 \cdot f \end{matrix}

\{\begin{matrix} Au = k 1 \cdot {x 1 - x 0 + α \cdot x 1} \\ Av = k 1 \cdot {y 1 - y 0 + α \cdot y 1} \\ Aw = k 1 \cdot α \cdot f \end{matrix}

\{\begin{matrix} Bu = k 1 \cdot {x 3 - x 0 + β \cdot x 3} \\ Bv = k 1 \cdot {y 3 - y 0 + β \cdot y 3} \\ Bw = k 1 \cdot β \cdot f \end{matrix}

k1＝Sw/f

式中，

Su、Sv、Sw：3维坐标系(U，V，W)中的S向量的长度

Au、Av、Aw：A向量的长度

Bu、Bv、Bw：B向量的长度

f：摄影部所具有的透镜的焦点距离

α、β：对应A、B向量的系数

[式3]

\{\begin{matrix} x = \frac{m \cdot (x 1 - x 0 + α \cdot x 1) + n (x 3 - x 0 + β \cdot x 3) + x 0}{1 + m \cdot β + n \cdot α} \\ y = \frac{m \cdot (y 1 - y 0 + α \cdot y 1) + n \cdot (y 3 - y 0 + β \cdot y 3) + y 0}{1 + m \cdot α + n \cdot β} \end{matrix}

α = \frac{(x 0 - x 1 + x 2 - x 3) \cdot (y 3 - y 2) - (x 3 - x 2) \cdot (y 0 - y 1 + y 2 - y 3)}{(x 1 - x 2) \cdot (y 3 - y 2) - (x 3 - x 2) \cdot (y 1 - y 2)}

β = \frac{(x 1 - x 2) \cdot (y 0 - y 1 + y 2 - y 3) - (x 0 - x 1 + x 2 - x 3) \cdot (y 1 - y 2)}{(x 1 - x 2) \cdot (y 3 - y 2) - (x 3 - x 2) \cdot (y 1 - y 2)}

式中，

x，y：分别为投影面上的摄影对象物的图像的各点的坐标

x0、x1、x2、x3、y0、y1、y2、y3：表示投影在所述投影面上的摄影对象物的图像的顶点位置(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)的坐标值

[式4]

(x', y', z') = (u, v, 1) (\begin{matrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{matrix})

式中，

x’、y’、z’：投影在所述投影面上的摄影对象物的图像的各点的坐标

[式5]

(x', y', z') = (m, n, 1) (\begin{matrix} x 1 - x 0 + α \cdot y 1 & y 1 - y 0 + α \cdot y 1 & α \\ x 3 - x 0 + β \cdot x 3 & y 3 - y 0 + β \cdot y 3 & β \\ x 0 & y 0 & 1 \end{matrix})

5、根据权利要求1到4中任意一项所述的摄影装置，其特征在于，

所述形状取得部(203)具备：边缘图像检测部(203)，其检测所述原稿图像的边缘图像；和直线检测部(203)，其从所述边缘图像检测部所检测的边缘图像检测成为所述原稿的轮廓的候补的直线，

组合所述直线检测部(203)所检测的直线，取得所述原稿的轮廓。

6、根据权利要求5中所述的摄影原稿的摄影装置，其特征在于：

所述形状取得部(203)将在组合所述直线检测部(203)所检测的直线而形成的形状中，具有最大面积的部分作为所述原稿图像的形状取得。

7、根据权利要求2或3中所述的摄影原稿的摄影装置，其特征在于，

所述补正用参数取得部(203)生成表示所述图像剪切出的实原稿部的图像的亮度值和具有该亮度值的像素数之间的关系的亮度直方图，根据所生成的亮度直方图将补正该亮度直方图的参数作为图像效果补正用参数取得。

8、根据权利要求2、3、7的任意一项中所述的摄影原稿的摄影装置，其特征在于，

所述补正用参数取得部(203)生成表示所述图像剪切出的实原稿部的图像的色差和具有该色差的像素数之间的关系的色差直方图，根据所生成的色差直方图将补正该色差直方图的参数作为图像效果补正用参数取得。

9、根据权利要求8中所述的摄影原稿的摄影装置，其特征在于，

所述图像效果处理部(203)从所述已生成的色差直方图，取得作为所述图像效果补正用参数的像素数成为最大的色差，进行作为所述原稿图像的图像效果处理的所述原稿图像的颜色调整。

10、根据权利要求2、3、7、8、9的任意一项中所述的摄影原稿的摄影装置，其特征在于，

所述图像效果处理部(203)取得图像效果处理的指示信息，根据所取得的指示信息执行图像效果处理。

11、根据权利要求1至10中任意一项所述的摄影原稿的摄影装置，其特征在于，

具备摄影部(11)，其由支柱支撑，摄影所述原稿。

12、根据权利要求1到11中任意一项所述的摄影原稿的摄影装置，其特征在于，

具备投影部(2)，其将所述图像变换部(203)所进行图像变换的图像投影到屏幕上。

13、一种补正原稿图像的歪斜的图像处理装置，其特征在于，包括：

形状取得部(203)，其从所述原稿图像取得所述原稿图像的轮廓，从所取得的所述轮廓取得所述原稿图像的形状；

投射参数取得部(203)，其从所述形状取得部(203)所取得的所述原稿图像的形状，求得表示所述原稿图像的形状和实际原稿的形状之间的关系的投射参数；

补正用参数取得部(203)，其从所述形状取得部(203)所取得的形状的所述原稿图像，取得用于补正图像效果的图像效果补正用参数；和

图像变换部(203)，其在采用所述补正用参数取得部(203)所取得的图像效果补正用参数，对所述形状取得部(203)所取得的形状的所述原稿图像进行图像效果处理的同时，采用所述投射参数取得部所求得的投射参数，进行所述原稿图像的图像变换。

14、一种摄影原稿的摄影装置的图像处理方法，其特征在于，具有以下步骤：

从所摄影的原稿的原稿图像取得所述原稿图像的轮廓，从所取得的所述轮廓取得所述原稿图像的形状的步骤(S23)；

根据所述已取得的所述原稿图像的形状，求得表示所述原稿图像的形状和实际的原稿的形状之间的关系的步骤(S23)；

从所述形状取得部所取得的形状的所述原稿图像，取得用于补正图像效果的图像效果补正用参数的步骤(S25)；和

在采用已取得的图像效果补正用参数，对所述已取得的形状的所述原稿图像进行图像效果处理的同时，进行所述原稿图像的图像变换的步骤(S26)。

15、一种用于使计算机执行以下次序的程序，其特征在于：

从所摄影的原稿的原稿图像取得所述原稿图像的轮廓，从所取得的所述轮廓取得所述原稿图像的形状的次序(S23)；

根据所述已取得的所述原稿图像的形状，求得表示所述原稿图像的形状和实际的原稿的形状之间的关系的投射参数的次序(S23)；

从所述形状取得部所取得的形状的所述原稿图像，取得用于补正图像效果的图像效果补正用参数的次序(S23)；和

在采用所取得的图像效果补正用参数，对所述已取得的形状的所述原稿图像进行图像效果处理的同时，采用所述已求出的投射参数，进行所述原稿图像的图像变换的次序(S26)。