CN1684491A - 图像处理装置、图像投影装置、图像处理方法和程序 - Google Patents

Abstract

本发明涉及一种图像处理装置、图像投影装置、图像处理方法和程序。投影图像投影装置若图像没有运动，则在开始拍摄高分辨率静止图像之前，以与执行高分辨率静止图像的拍摄的任务不同的任务，从以低分辨率拍摄的动态图像中，取得射影参数与图像效果校正用参数。接着，将取得的射影参数的比例从低分辨率图像的比例变更为高分辨率图像的比例。另外，使用在拍摄前取得的射影参数与图像效果校正用参数，对拍摄的高分辨率的静止图像实施图像变换处理与图像效果处理。由此，摄影图像投影装置可缩短从图像拍摄到投影所需时间。

Description

图像处理装置、图像投影装置、图像处理方法和程序

技术领域

本发明涉及一种图像处理装置、图像投影装置、图像处理方法和程序，尤其涉及一种可缩短从图像拍摄到投影所需时间的图像处理装置、图像投影装置、图像处理方法和程序。

背景技术

已知一种摄影图像投影装置，用数码摄像机(デジタルカメラ)拍摄装载在原稿台上的原稿，对通过拍摄得到的数字图像数据实施规定的图像处理等之后，进行模拟变换后输出，从而在屏幕上投影原稿的放大图像(例如参照专利文献1)。

专利文献1：特开2002-354331号公报(第2-3页，图1)。

但是，以前的摄影图像投影装置以相同的分辩率来拍摄静止图像与动态图像。因此，若分辩率低，则投影到屏幕上的图像、尤其是静止图像的图像质量会下降，相反，若提高分辩率，则会增大摄影图像、尤其是动态图像所需的CPU等的处理负担。

为了解决这种问题，发明人设计出以低分辩率来拍摄动态图像、并以高分辩率来拍摄静止图像的摄影图像投影装置。由此，静止图像的图像质量不会下降，降低拍摄所需的CPU等的处理负担。

但是，所设计的摄影图像投影装置在开始高分辩率投影后，抽取仿射参数等图像校正用参数，并对作为拍摄对象的静止图像实施规定的校正处理，所以存在从拍摄静止图像起到投影的时间变长的问题。

发明内容

本发明为了解决上述问题而作出，其目的在于提供一种可缩短从图像拍摄到投影所需时间的图像处理装置、图像投影装置、图像处理方法和程序。

本发明一最佳方式的图像处理装置具备：

运动判断单元，判断摄像机以规定分辩率摄影的图像是否运动；

分辩率设定单元，在利用所述运动判断单元判断为运动的情况下，对所述摄像机设定第1分辩率，作为所述规定分辩率，在判断为没有运动的情况下，对该摄像机设定比该第1分辩率高的第2分辩率；

校正用参数抽取单元，从由所述摄像机以第1分辩率摄影的图像中，抽取用于校正该图像的参数；和

图像校正单元，使用由所述校正用参数抽取单元抽取的参数，校正由所述摄像机以第2分辩率摄影的图像。

本发明另一最佳方式的图像投影装置具备：

以规定分辩率摄影图像的摄影单元；

运动判断单元，判断由所述摄影单元摄影的图像是否运动；

分辩率设定单元，在利用所述运动判断单元判断为运动的情况下，对所述摄像单元设定第1分辩率，作为所述规定分辩率，在判断为没有运动的情况下，对该摄像单元设定比该第1分辩率高的第2分辩率；

校正用参数抽取单元，从由所述摄像单元以第1分辩率摄影的图像中，抽取用于校正该图像的参数；

图像校正单元，使用由所述校正用参数抽取单元抽取出的参数，校正由所述摄像单元以第2分辩率摄影的图像；和

投影单元，将由所述图像校正单元校正过的图像投影到屏幕上。

另外，本发明再一最佳方式的图像处理方法具备：

运动判断步骤，判断由摄像机以规定分辩率拍摄的图像是否运动；

分辩率设定步骤，在由所述运动判断步骤判断为运动的情况下，对所述摄像机设定第1分辩率，作为所述规定分辩率，在判断为没有运动的情况下，对该摄像机设定比该第1分辩率高的第2分辩率；

校正用参数抽取步骤，从所述摄像机以第1分辩率摄影的图像中，抽取用于校正该图像的参数；和

图像校正步骤，使用由所述校正用参数抽取步骤抽取出的参数，校正由所述摄像机以第2分辩率摄影的图像。

另外，一种存储介质，存储用于使计算机执行以下步骤的程序，所述步骤包括：

运动判断步骤(步骤S7)，判断由摄像机以规定分辩率拍摄的图像是否运动；

分辩率设定步骤(步骤S2-S12)，在由所述运动判断步骤判断为运动的情况下，对所述摄像机设定第1分辩率，作为所述规定分辩率，在判断为没有运动的情况下，对该摄像机设定比该第1分辩率高的第2分辩率；

校正用参数抽取步骤(步骤S37)，从由所述摄像机以第1分辩率拍摄的图像中，抽取用于校正该图像的参数；和

图像校正步骤(步骤S17)，使用由所述校正用参数抽取步骤抽取出的参数，校正由所述摄像机以第2分辩率摄影的图像。

根据本发明，图像投影装置可缩短从图像摄影到投影所需时间。

附图说明

图1是表示本发明实施方式1的摄影图像投影装置的构成图。

图2是表示图1所示书画摄像机的构成的框图。

图3A～B是说明图2所示的图像处理装置功能的图。

图4是说明图2所示的操作部中配备的各键功能的图。

图5～图7是表示基本投影处理的流程图。

图8是表示预图像处理的流程图。

图9A～图9B是说明图2所示的图像处理装置的切除处理的图。

图10是射影参数的抽取与仿射变换的基本方式的说明图。

图11是表示图8所示的射影参数抽取处理的细节的流程图。

图12A～图12B是说明缩小亮度图像与边缘图像的图。

图13A～图13B是说明Roberts滤波器功能的图。

图14是说明拉登(radon)变换原理的图。

图15是说明对X、Y坐标系的直线进行拉登变换来取得极坐标系数据的动作的图。

图16是表示峰值点抽取处理的流程图。

图17A～图17D是说明从检测峰值点后抽取的直线中、检测四边形的动作的图。

图18是表示四边形检测处理的流程图。

图19是表示四边形选择处理的流程图。

图20是表示图11所示仿射参数抽取处理的细节的流程图。

图21是说明根据射影变换后的图像取得原始图像用的逆变换的图。

图22是表示图6所示图像变换处理的细节的流程图。

图23是表示图2所示的图像处理装置切出的图像例的图。

图24A是表示亮度频谱的图。

图24B是表示色差频谱的图。

图25是表示图8所示的图像效果校正用参数抽取处理的细节的流程图。

图26A是表示背景色为白色时的图像效果处理的图。

图26B是表示背景色为黑色时的图像效果处理的图。

图26C是表示背景色为白色或黑色时的图像效果处理的图。

图27是表示用于执行彩色调整的亮度变换曲线一例的图。

图28A～图28B是说明背景白色化的图。

图29是表示图6所示的图像效果处理的细节的流程图。

图30是表示图29所示的背景白色化处理的细节的流程图。

图31A和图31B是表示不能利用射影变换来校正图像变形的实例的图。

图32是说明原始的图像、射影变换图像、放大的射影变换图像的对应关系的图。

图33～图35是表示图7所示的图像变换调整处理的细节的流程图。

图36是表示本发明实施方式2的摄影图像投影装置的构成图。

图37是表示图36所示的书画摄像机的构成的框图。

图38是表示书画摄像机基本处理的流程图。

图39～图41是表示PC书画基本处理的流程图。

具体实施方式

图1是表示本发明实施方式1的摄影图像投影装置的构成图。摄影图像投影装置如图1所示，由书画摄像机(書画カメラ)1和投影仪2构成。书画摄像机1是用于拍摄投影对象的原稿4的摄像机系统。书画摄像机1具备摄像机部11、支柱12、台座13、与操作台14。摄像机部11用于摄影原稿4，由数码摄像机构成。支柱12用于装配摄像机部11。台座13用于支撑该支柱12。

图2是表示图1所示的书画摄像机1的构成的框图。书画摄像机1如图2所示，由图像数据生成部21和数据处理部22构成。该图像数据生成部21与数据处理部22也可设置在图1所示的摄像机部11中。另外，图像数据生成部21与数据处理部22也可分别设置在摄像机部11与操作台14中。

图像数据生成部21拍摄原稿4，获取原稿4的图像数据。图像数据生成部21由光学镜头装置101与图像传感器102构成。光学镜头装置101为了拍摄原稿4，由聚光的透镜等构成。图像传感器102获取由光学镜头装置101聚光而成像的图像，作为数字化的图像数据。图像传感器102由CCD(Charge Coupled Device)等构成。

数据处理部22取得从图像数据生成部21获取的原稿4的图像数据，进行图像处理，将实施图像处理后的图像数据输出到投影仪2。数据处理部22由存储器201、显示装置202、图像处理装置203、操作部204、程序代码存储装置205和CPU(Central Processing Unit)206构成。

存储器201暂时存储来自图像传感器102的图像、用于传送到显示装置202的图像数据等。显示装置202显示传送到投影仪2的图像。

图像处理装置203对暂时存储在存储器201中的图像数据进行图像的变形校正或图像效果等图像处理。例如如图3A所示，图像处理装置203根据在相对于摄像机部11的摄影面倾斜的状态或旋转状态下拍摄的原稿4的图像，通过进行变形校正(梯形校正)，生成图3B所示的从正面拍摄的原稿4的图像。图像处理装置203为了进行变形校正，从变形的原稿4的图像中切取四边形，将原稿4的图像射影变换到切取的四边形上后再进行逆变换。

具体而言，图像处理装置203由CPU206控制，执行(1)从原稿4的图像中抽取仿射参数的处理、(2)基于抽取的仿射参数的图像变换处理、(3)涉及亮度或色差等的图像效果校正用参数抽取处理和图像效果处理、和(4)图像变换调整处理。另外，这些处理内容如后所述。

操作部204具备用于控制书画投影功能的开关、键。操作部204将用户操作这些键、开关时的操作信息输出到CPU206。

图4是表示图2所示操作部204的键构成的图。如图4所示，操作部204作为图像调整键，具备上放大键211、下放大键212、左放大键213、右放大键214、右旋转键215、左旋转键216、放大键217、缩小键218、与拍摄/解除键219。

上放大键211、下放大键212、左放大键213与右放大键214是执行射影变换时操作的射影变换键。

上放大键211是以通过图像中心的横线为轴，比较在横线之上的画面上部与在横线之下的画面下部，使画面上部向观察侧旋转时操作的键。下放大键212是使画面下部向观察侧旋转时操作的键。

左放大键213和右放大键214是将通过图像中心的纵线为轴，通过使图像旋转来调整图像左右变形的键。左放大键213是在左侧图像小时操作的键。右放大键214是右侧小时操作的键。

右旋转键215与左旋转键216分别是用于调整图像旋转的旋转校正键。右旋转键215是执行图像右旋转时操作的键。左旋转键216是执行图像左旋转时操作的键。

放大键217与缩小键218分别是执行图像的放大或缩小等的图像变换时操作的键。

另外，若将表示通过1次按下来放大或缩小的比率的Ratio设定为2，则通过用户按下一次放大键217，图像处理装置203将图像放大2倍。并且，通过再次按下放大键217，图像处理装置203又将图像放大2倍，结果将原图像放大成4倍的图像。在将放大后的图像恢复成1/2的情况下，按下缩小键218。操作部204与CPU206响应，图像处理装置203缩小所放大的图像。

另外，上放大键211、下放大键212、左放大键213与右放大键214也用作操作放大键217时的游标键。即，当操作放大键217时，上放大键211构成用于使显示于显示装置202上的原稿4的图像向上移动的上移动键。当操作放大键217时，下放大键212构成用于使原稿4的图像向下移动的下移动键。当操作放大键217时，左放大键213构成用于使原稿4的图像向左移动的左移动键。当操作放大键217时，右放大键214构成用于使原稿4的图像向右移动的右移动键。

并且，放大键217与缩小键218通过同时被按下，用作进入格式纸设定模式的键。在该格式纸设定模式下，右旋转键215与左旋转键216分别构成用于选择期望的格式纸尺寸的游标键。另外，该格式纸设定模式的说明如后所述。

拍摄/解除键219是拍摄原稿4时操作的键。另外，在后述的格式纸设定模式下，拍摄/解除键219作为确定所选择的格式纸尺寸的确定键。

图2所示的程序代码存储装置205用于存储CPU206执行的程序，由ROM(Read Only Memory)等构成。CPU206根据存储在程序代码存储装置205中的程序，控制各部。另外，存储器201也用作CPU206的任务(task)存储器。

另外，CPU206根据后述的流程图，判定作为拍摄对象物的原稿4的图像是否运动，并根据判定结果，切换摄影模式。

摄影模式设为动态图像模式与静止图像模式两个。动态图像模式是用户将想投影的原稿4等装载于台座13上的情况下设定的模式。是将由摄像机部11放映的图像原样投影到投影仪2上的模式。

在动态图像模式下，CPU206控制各部，例如以30fps(帧/秒)的速度对图像分辩率为VGA(Video Graphics Array：600×480点)程度的图像进行动态图像投影。这样，动态图像模式是尽管分辩率低、但重视实时性的模式。

静止图像模式是用户在放置原稿4后设定的模式。在静止图像模式下，由摄像机部11拍摄高分辩率的图像，投影高分辩率的静止图像。在摄像机部11是拍摄分辩率为300万象素的摄像机的情况下，切出的投影图像变为XGA(Extended Grahpics Array：1024×768点)的静止图像。

CPU206为了进行摄影模式的切换，判定原稿4的图像是否运动。CPU206为了进行这种判定，求出与上次拍摄的图像的图像变化量MD。图像变化量MD是表示拍摄的图像与上次的图像相比变化多少的量。考虑几个计算该量的方法。作为一例，CPU206根据上次拍摄的图像数据，求出各象素的差分绝对值的总和，作为图像变化量MD。

即，若将上次的象素数据设为Pn-1(x，y)，这次的象素数据设为Pn(x，y)(1≤x≤640，1≤y≤480)，则图像变化量MD由下式1表示。

式1

$\mathrm{MD}=\underset{x=1}{\overset{640}{\mathrm{\Σ}}}\underset{y=1}{\overset{480}{\mathrm{\Σ}}}|P_n(x,y)-P_{n-1}(x,y)|$

其中，为了求出全部象素的总和，由于计算量多，所以作为求出图像变化量MD的方法，还有抽出几个象素来实现的方法。

另外，作为用于与该图像变化量MD相比来判定有无运动的阈值，预先设定阈值Thresh1与阈值Thresh2。阈值Thresh1是用于判定是否没有运动的阈值。CPU206在图像变化量MD不足阈值Thresh1时，判定为没有运动。

阈值Thresh2用于：在静止图像模式下，例如影像移动的情况下，即使发生放置笔等的情况那样的运动，该运动是否是不必切换成动态图像模式程度的轻微的运动的阈值。

CPU206在图像变化量MD不足阈值Thresh2时，判定为是不必切换成动态图像模式程度的轻微的运动。另外，将阈值Thresh2设定得比阈值Thresh1高(Thresh1＜Thresh2)。存储器201预存储该阈值Thresh1与阈值Thresh2。

另外，CPU206在从动态图像模式切换到静止图像模式的情况下，判定为图像没有运动，在经过规定时间后，将摄影模式切换成静止图像模式。因此，CPU206在判定为图像没有运动后，测量静止时间Ptime。存储器201为了与该静止时间Ptime进行比较，存储预设定的规定时间HoldTime。

图1所示的投影仪2向屏幕3照射投影光，使原稿4的图像成像。书画摄像机1与投影仪2经RGB等电缆5连接。书画摄像机1经电缆15将摄像机部11拍摄的原稿4的图像数据输出给投影仪2。

下面，说明实施方式1的摄影图像投影装置的动作。当用户接通摄影图像投影装置的电源时，书画摄像机1的CPU206从程序代码存储装置205中读出程序代码，执行基本投影处理。

根据图5、图6和图7所示的流程图来说明该基本投影处理的内容。首先，CPU206执行书画摄像机1的摄像机部11的焦点、曝光、白平衡等摄像机设定参数的初始化(步骤S1)。

CPU206在将摄影模式初始化为动态图像模式，并初始化静止时间Ptime(步骤S2)。CPU206由于将摄影模式初始化为动态图像模式，所以在存储器201上指定的区域中设置动态图像模式(Motion)。另外，CPU206为了初始化静止时间Ptime，进行静止时间Ptime的复位。并且，CPU206设定成将从摄像机部11的图像传感器102读出的图像数据变为基于VGA的图像数据。

由此，摄像机部11捕捉的场景经由光学镜头装置101聚光到图像传感器102。图像传感器102根据聚光的图像，制作动态图像拍摄用分辩率低的数字图像。另外，图像传感器102定期地以例如每秒30个向存储器201送出制作的数字图像。

接着，CPU206控制图像存储器102与存储器201，以将低分辩率的图像数据从图像存储器102传输到存储器201(步骤S3)。另外，这里，仅将图像存储器102的图像数据传输给存储器201，显示装置202不显示图像。显示装置202不显示图像是由于进行显示装置202的显示的图像数据被存储在存储器201上的不同地址所示的区域中。

接着，CPU206根据式1求出与上次拍摄的图像的图像变化量MD(步骤S4)。CPU206判定摄影模式是动态图像模式还是静止图像模式(步骤S5)。在初始状态下，将摄影模式设定为动态图像模式。为此，CPU206在初始状态下判定为动态图像模式，为了投影所拍摄到的动态图像，将位于存储器201内的动态图像的图像数据拷贝到存储器201的规定区域中(步骤S6)。由此，显示装置202从存储器201中读出拍摄的图像数据，并将RGB信号输出到投影仪2。投影仪2根据该信号投影图像。

CPU206比较预设定的所述阈值Thresh1与在步骤S4求出的图像变化量MD，并根据比较结果判定图像是否运动(步骤S7)。

此时，在用户仍继续放置格式纸等动作的情况下，图像变化量MD变为大于等于阈值Thresh1。此时，CPU206判定为图像运动(步骤S7；是)，复位静止时间Ptime(步骤S21)，返回步骤S3。由此，在用户进行动作期间，摄影图像投影装置持续维持动态图像模式状态，将低分辩率的动态图像投影到屏幕3上。

之后，当用户结束格式纸放置后图像没有运动时，图像变化量MD变为不足阈值。此时，CPU206判定为图像没有运动(步骤S7；否)。接着，CPU206判断静止时间Ptime是否为0(步骤S8)。在判断为静止时间Ptime为0的情况下(步骤S8；是)，CPU206设置预图像处理请求(步骤S9)。若设置预图像处理请求信号，则以与执行基本投影处理的任务任务不同的任务任务来开始预图像处理。另一方面，在判断为静止时间Ptime不是0的情况下(步骤S8；否)，跳过步骤S9的处理，不开始预图像处理。

接着，CPU206将静止时间Ptime增加1(步骤S10)，判定静止时间Ptime是否达到规定时间HoldTime(步骤S11)。在判定为静止时间Ptime未达到规定时间HoldTime的情况下(步骤S11；否)，返回步骤S3。即，CPU206在图像没有运动时，仅设置一次预图像处理请求信号。

另一方面，在判定为静止时间Ptime达到规定时间HoldTime的情况下(步骤S11；是)，CPU206判定为用户使图像静止，将摄影模式设定成静止图像模式(图6的步骤S12)。

CPU206控制图像传感器102，以拍摄高分辩率的静止图像(步骤S13)。另外，CPU206将图像传感器102取得的图像数据写入存储器201中。之后，CPU206将摄像机部1的分辩率再次恢复成低分辩率的读入状态(步骤S14)。其间，CPU206以不同的任务任务执行预图像处理，循环执行基本投影处理来等待，直至该预图像处理结束为止(步骤S15；否)。

这里，参照图8所示的流程图来说明以不同任务任务执行的预图像处理的内容。CPU206循环执行预图像处理来等待，直至通过基本投影处理设置预图像处理请求信号为止(步骤S31；否)。当设置预图像处理请求信号时(步骤S31；是)，CPU206判定为图像没有运动，在清除该设置的预图像处理请求信号的同时，清除表示预图像处理结束的预图像处理完成信号(步骤S32)。

接着，CPU206执行射影参数抽取处理(步骤S33)。在该射影参数抽取处理中，CPU206控制图像处理装置203，对低分辩率图像，抽取用于进行倾斜校正的射影参数。该射影参数表示原稿4的图像形状与实际原稿4的形状的关系。

接着，CPU206再次检查是否由基本投影处理设置预图像处理请求信号(步骤S34)。在设置预图像处理请求信号的情况下(步骤S34；是)，CPU206将处理返回步骤S31。由此，CPU206在图像再次开始运动的情况下，可放弃后续的处理，迅速移动到下一预图像处理。

另一方面，CPU206在未设置预图像处理请求信号的情况下(步骤S34；否)，执行图像变换处理(步骤S35)。在该图像变换处理中，CPU206根据在步骤S33抽取的射影参数，进行拍摄对象的切除与向正面图像的射影变换。

另外，CPU206再次检查是否设置了预图像处理请求信号(步骤S36)。在未设置预图像处理请求信号的情况下(步骤S36；是)，CPU206执行图像效果校正用参数抽取处理。在该图像效果校正用参数抽取处理中，CPU206从在步骤S35制作的校正图像中抽取图像效果校正用参数，该图像效果校正用参数用于变换为对比度校正等鲜明且易识别的图像。

接着，CPU206再次检查是否设置了预图像处理请求信号(步骤S38)。在未设置预图像处理请求信号的情况下(步骤S38；否)，CPU206将由步骤S33抽取的图像效果校正用参数的比例从低分辩率图像的比例变更为高分辩率图像的比例(步骤S39)。之后，CPU206设置预图像处理完成信号(步骤S40)，结束预图像处理。

这样，CPU206在开始高分辩率图像的拍摄之前的期间中，可使用低分辩率图像来抽取射影参数与图像效果校正用参数。

另外，当通过预图像处理来设置预图像处理完成信号时，在图6的流程图所示的基本投影处理中，CPU206判断为预图像处理结束(步骤S15；否)，并执行图像变换处理(S16)。在该图像变换处理中，CPU206根据步骤S33抽取的射影参数，进行四边形的拍摄对象的切除与向正面图像的射影变换。

另外，CPU206使用在步骤S37抽取的图像效果校正用参数，执行图像效果处理(步骤S17)。

这样，CPU206可使用为了对低分辩率图像实施图像变换处理和图像效果处理而抽取的射影参数和图像效果校正用参数，执行对高分辩率图像的图像变换处理和图像效果处理。

接着，CPU206为了进行执行图像效果处理的图像数据的投影，与动态图像时一样，向存储器201内的规定区域中写入校正图像数据。另外，CPU206以RGB信号使图像数据从显示装置202输出到投影仪2(步骤S18)。之后，CPU206返回图5的步骤S3。

一旦变为静止图像模式，则CPU206再次读入低分辩率图像(步骤S3)，求出图像变化量MD(步骤S4)。

这里，在判定为摄影模式是静止图像模式的情况下(步骤S5；否)，CPU206比较求出的图像变化量MD与另一个规定阈值Thresh2(Thresh1＜Thresh2)，判定图像是否运动(图7的步骤S19)。

另外，若图像变化量MD大于等于阈值Thresh2，则CPU206判定为图像有运动(步骤S19；是)，将摄影模式设定成动态图像模式(步骤S20)。另外，CPU206复位静止时间Ptime(步骤S21)，之后，返回图5的步骤S3。

另一方面，若图像变化量不足阈值Thresh2，则CPU206判定为图像没有运动(图7的步骤S19；否)。此时，CPU206根据作为进行图像效果调整的指示信息的、从操作部204输出的操作信息，判定是否操作图像调整键。

在判定为未操作图像调整键的情况下(步骤S22；否)，CPU206返回图5的步骤S3。

另一方面，在判定为操作图像调整键的情况下(图7的步骤S22；是)，CPU206执行图像变换调整处理(步骤S23)。在该图像变换调整处理中，CPU206执行图像放大或旋转等图像变换的调整。

CPU206判定图像变换是射影变换、旋转等，还是图像放大缩小、移动。在CPU206判定为图像变换是射影变换、旋转等的情况下，CPU206控制图像变换装置203，再次抽取图像效果校正用参数，并执行图像效果处理(图6的步骤S17)。另一方面，在CPU206判定为图像变换是图像的放大缩小、移动的情况下，CPU206使用上次在步骤S37从图像中抽取的图像效果校正用参数，执行图像效果处理(步骤S17)。另外，CPU206以RGB信号使图像数据从显示装置202输出到投影仪2(步骤S18)。

这样，CPU206一边执行动态图像模式与静止图像模式的切换边进行投影控制。由此，在用户进行操作期间，执行帧频率优先的图像投影，若图像静止，则在进行拍摄对象的原稿4的切除和图像效果处理后，执行高分辩率图像的投影。

接着，说明图像处理装置203执行的图像处理。首先，说明对图像处理装置203的图像处理中使用的仿射变换的基本方式(实现方法)。

在图像的空间变换中广泛应用仿射变换。在本实施方式中，不使用三维摄像机参数而使用二维仿射变换来进行射影变换。仿射变换通过表示移动、放大缩小、旋转等变换的下一式2来联系变换前的坐标(u，v)的点与变换后的坐标(x，y)。射影变换也可通过该仿射变换来进行。

式2

$(x^{\′},y^{\′},z^{\′})=(u,v,1)\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right)$

利用下式3来算出最终的坐标(x，y)。

式3

$x=\frac{x^{\′}}{z^{\′}}=\frac{a_{11}u+a_{21}v+a_{31}}{a_{13}u+a_{23}v+a_{33}}$

$x=\frac{y^{\′}}{z^{\′}}=\frac{a_{12}u+a_{22}v+a_{32}}{a_{13}u+a_{23}v+a_{33}}$

式3是用于射影变换的公式。坐标(x，y)根据z’值，向0退缩。即，z’中包含的参数对射影造成影响。该z’中包含的参数是a13、a23、a33。另外，将a33设为1，用参数a33来标准化其它参数。

图9A是表示图3A所示的四边形原稿4的各顶点坐标的图，图9B是表示图3B所示的四边形原稿4的各顶点坐标的图。图10是说明摄像机部11拍摄的四边形与实际原稿4的图像的关系的图。

图10中，u-v-W坐标系是摄像机部11拍摄得到的图像的三维坐标系。A(Au、Av、Aw)矢量与B(Bu、Bv、Bw)矢量是在三维坐标系u-v-W中用矢量来表示原稿4的坐标。另外，S(Su、Sv、Sw)矢量表示三维坐标系u-v-w的原点与原稿4的距离。

图10所示的投影屏幕用于执行原稿4的图像的射影(对应于屏蔽3)。若设投影屏幕上的坐标系为(x，y)，则认为投影到该投影屏幕上的图像是被摄像机部11拍摄的图像。设投影屏幕沿W轴的正方向距原点距离f，并垂直于W轴。用直线连结原稿4的格式纸上的任意点P(u，v，w)与原点，设该直线与投影屏幕的交点的X-Y坐标为p(x，y)。此时，坐标p利用射影变换由下式4表示。

式4

$\left\{\begin{array}{c}x=u\frac{f}{w}\\ y=v\frac{f}{w}\end{array}\right.$

根据式4，如图10所示，根据点P0、P1、P2、P3与投影到投影屏幕的投影点p0、p1、p2、p3的关系，求出下式5所示的关系。

式5

$\left\{\begin{array}{c}\mathrm{Su}=k_1\·x_0\\ \mathrm{Sv}=k_1\·y_0\\ \mathrm{Sw}=k_1\·f\end{array}\right.$

$\left\{\begin{array}{c}\mathrm{Au}=k_1\·{\{x}_0-x_0+\mathrm{\α}\·x_1\}\\ \mathrm{Av}=k_1\·{\{y}_1-y_0+\mathrm{\α}\·y_1\}\\ \mathrm{Aw}=k_1\·\mathrm{\α}\·f\end{array}\right.$

$\left\{\begin{array}{c}\mathrm{Bu}=k_1\·{\{x}_3-x_0+\mathrm{\β}\·x_3\}\\ \mathrm{Bv}=k_1\·{\{y}_3-y_0+\mathrm{\β}\·y_3\}\\ \mathrm{Bw}=k_1\·\mathrm{\β}\·f\end{array}\right.$

其中，k₁＝Sw/f

此时，由下式6表示射影系数α、β。

式6

$\mathrm{\α}=\frac{(x_0-x_1+x_2-x_3)\·(y_3-y_2)-(x_3-x_2)\·(y_0-y_1+y_2-y_3)}{(x_1-x_2)\·(y_3-y_2)-(x_3-x_2)\·(y_1-y_2)}$

$\mathrm{\β}=\frac{(x_1-x_2)\·(y_0-y_1+y_2-y_3)-(x_0-x_1+x_2-x_3)\·(y_1-y_2)}{(x_1-x_2)\·(y_3-y_2)-(x_3-x_2)\·(y_1-y_2)}$

接着，说明射影变换。

用S、A、B矢量，由下式7表示原稿4上的任意点P。

式7

P＝S+m·A+n·B

其中，m：A矢量的系数n：B矢量的系数。

在式7中，若代入式5的关系式，则坐标x与y由下式8表示。

式8

$x=\frac{m\·(x_1-x_0+a\·x_1)+n\·(x_3-x_0+\mathrm{\β}\·x_3)+x_0}{1+m\·\mathrm{\β}+n\·\mathrm{\α}}$

$y=\frac{m\·(y_1-y_0+\mathrm{\α}\·y_1)+n\·(y_3-y_0+\mathrm{\β}\·y_3)+y_0}{1+m\·\mathrm{\β}+n\·\mathrm{\α}}$

若将该关系代入仿射变换式，则由下式9来表示坐标(x’，y’，z’)。

式9

$(x^{\′},y^{\′},z^{\′})=(m,n,1)\left(\begin{array}{ccc}{x}_1-x_0+\mathrm{\α}\·x_1& y_1-y_0+\mathrm{\α}\·y_1& \mathrm{\α}\\ x_3-x_0+\mathrm{\β}\·x_3& y_3-y_0+\mathrm{\β}\·y_3& \mathrm{\β}\\ x_0& y_0& 1\end{array}\right)$

通过向式9中代入m、n，求出拍摄图像的对应点(x、y)。由于对应点(x、y)不限于整数值，所以只要使用图像内插法等求出象素值即可。

CPU206为了执行这种仿射变换，首先，从拍摄的原稿4的图像中抽取射影参数(图8的步骤S33)。图11是表示在步骤S33执行的射影参数抽取处理的细节的流程图。

在该射影参数抽取处理中，CPU206控制图像处理装置，为了减少图像处理的运算数量，根据输入图像生成缩小亮度图像(步骤S101)。接着，CPU206根据生成的缩小亮度图像，生成原稿4的边缘图像(步骤S102)。拉登变换生成的边缘图像(步骤S103)。

之后，CPU206通过从拉登变换得到的数据中检测出峰值，从原稿4的边缘图像中抽取包含于该边缘图像中的直线参数(步骤S104)。接着，CPU206根据抽取的直线参数，生成构成形成原稿4的轮廓的候补的四边形(步骤S105)。

CPU206如此生成构成候补的四边形，并向生成的各四边形附加优先顺序(步骤S106)。CPU206根据优先顺序选择四边形，并在能抽取选择到的四边形的情况下，取得该抽取的四边形，作为原稿4的图像形状。另一方面，在不能抽取的情况下，CPU206取得具有最大面积的四边形的图像，作为原稿4的图像形状。

另外，CPU206执行仿射参数抽取处理(步骤S107)。在该仿射参数抽取处理中，CPU206根据在步骤S106取得的四边形的顶点，算出仿射参数。

下面，进一步具体说明该射影参数抽取处理。图12A示出CPU206使用图像处理装置203生成的缩小亮度图像的一例。图像处理装置203根据这种缩小亮度图像，使用称为Roberts滤波器的边缘检测用滤波器，生成图12B所示的边缘图像(步骤S102)。该Roberts滤波器通过对两个4附近象素进行加权，取得两个滤波器Δ1、Δ2并平均化，由此检测图像边缘。

图13A示出滤波器Δ1的系数，图13B示出滤波器Δ2的系数。当将这两个滤波器Δ1、Δ2的系数适用于某一关注的坐标(x、y)的象素值f(x、y)时，变换后的象素值g(x、y)由下式10表示。

式10

$g(x,y)=\sqrt{{\left(\mathrm{\Δ}1\right)}^2+{\left(\mathrm{\Δ}2\right)}^2}$

Δ1＝1·f(x，y)+0·f(x+1，y)+0·f(x，y-1)-1·f(x+1，y-1)

   ＝f(x，y)-f(x+1，y-1)

Δ2＝0·f(x，y)+1·f(x+1，y)-1·f(x，y-1)+0·f(x+1，y-1)

   ＝f(x+1，y)-f(x，y-1)

其中，g(x，y)：坐标(x，y)的象素值(变换后)；

f(x，y)：坐标(x，y)的象素值(变换前)。

图12B所示的边缘图像包含直线参数。图像处理装置203根据该边缘图像，进行拉登变换，检测出直线参数(步骤S103和S104)。

拉登(radon)变换是使n维的数据对应于(n-1)维投影数据的积分变换。具体而言，如图14(a)、(b)所示，考虑将图像数据作为f(x、y)，从x-y坐标系旋转角度θ的r-θ坐标系。θ方向的图像投影数据p(r、θ)由下式11定义。

式11

$p(r,\mathrm{\θ})={\∫}_{-\∞}^{\∞}f(r\cos \mathrm{\θ}-s\sin \mathrm{\θ},r\sin \mathrm{\θ}+s\cos \mathrm{\θ})\mathrm{ds}$

$={\∫}_{-\∞}^{\∞}{\∫}_{-\∞}^{\∞}f(x,y)\mathrm{\δ}(x\cos \mathrm{\θ}+y\sin \mathrm{\θ}-r)\mathrm{ds}$

其中，δ()：Dirac的δ函数。

将式11的变换称为拉登变换。图14A所示的图像数据f(x、y)通过拉登变换，被变换成14B所示的图像投影数据p(r、θ)。

根据这种拉登变换，图15(a)所示的x-y坐标系的直线L在极坐标系下表示为ρ＝xcosα+ysinα。由于该直线L全部投影到P(ρ、α)点，所以通过检测p(r、θ)的峰值，可检测直线。CPU206利用该原理，根据边缘图像，通过拉登变换生成数据p(r、θ)。

接着，CPU206从生成的数据p(r、θ)中抽取该峰值点。图16是表示该峰值点抽取处理细节的流程图。

在该峰值点抽取处理中，CPU206首先如图16所示，搜索p(r、θ)中的最大值pmax(步骤S210)。之后，CPU206使用所搜索到的最大值pmax，求出阈值pth＝pmax×k(k为0以上至1的常数值)(步骤S202)。

接着，CPU206以pth为阈值，根据p(r、θ)生成二进制图像B(r、θ)(步骤S203)。接着，CPU206对B(r、θ)的图像进行标示(labelling)。所谓标示是抽取p(r、θ)中对应于大于等于阈值pth的象素的象素块，作为标记区域，并向各标记区域分配标记的处理。将此时得到的标记数量设为N1(步骤S204)。

CPU206在各标记区域内查找p(r、θ)的最大值中的r、θ。之后，CPU206取得该值，分别作为ri、θi(i＝1～N1)(步骤S205)。这构成直线的参数。

接着，CPU206为了使用检测到的直线参数生成四边形候补(步骤S105)，从候补中取出明显变形的四边形。书画摄像机1由于未拍摄远离台座13的原稿4，所以推测明显变形的四边形不是表示原稿4的轮廓的四边形。

即，如图17A所示，在用摄像机部11拍摄时的显示装置202的LCD显示区域中，显示4个直线a1～a4，在显示4个直线a11～a14的交点p1～p4的情况下，直线a1～a4构成形成四边形的直线的候补。

另一方面，在显示于显示区域中的直线不足4个的情况下，或如图17B、图17C所示，即便在显示区域中显示4个直线，但交点不到4个的情况下，该直线的组不构成形成四边形的直线组的候补。

如图17A所示，分别将直线a1～a4与显示区域下边的角度设为θ11、θ12、θ21、θ22时，由于与直线a1的角度θ11最接近的角度变为直线a3的角度θ12，所以判断为直线a1与直线a3为彼此方向一致的直线。

另外，如图17D所示，若彼此方向一致的直线a5与a6的角度差大，则由于在离开台座3的位置，上书画摄像机1不拍摄原稿4，所以直线a5～a8的组不构成形成四边形的直线组的候补。另外，若将原稿4装载在台座3上后测量直线的角度，则可根据原稿4的边来判断是否为直线。将彼此方向一致的直线的角度差设为dθ1、dθ2，对角度差dθ1、dθ2预设置阈值dθ1th、dθ2th，作为构成用于判定是否构成四边形候补的基准的角度差。将该阈值dθ1th、dθ2th存储在存储器201中。

根据这种观点，CPU206从多个直线中取得四边形的候补。图18是表示该四边形检测处理的细节的流程图。

在该四边形检测处理中，CPU206如图18所示，首先将四边形的候补数量Nr初始化为0(步骤S211)。接着，CPU206取得显示于显示区域中的直线数量N1(步骤S212)，并判定取得的直线数量N1是否为4个以上(步骤S213)。

在判定为取得的直线数量N1不足4个的情况下(步骤S213；否)，CPU206使该处理结束。此时，四边形的候补数量Nr变为0。

另一方面，在判定为取得的直线数量N1为4个以上的情况下(步骤S213；是)，CPU206判定是否有形成四边形的直线组(步骤S214)。

即便有直线组，若没有构成组的直线形成的4个交点，则图像处理装置203判定为没有形成四边形的直线组(步骤S214；否)，并结束该处理。

另一方面，在判定为有形成四边形的直线组的情况下(步骤S214；是)，CPU206取得对应直线组的角度差dθ1、dθ2(步骤S215)，判定取得的角度差dθ1是否不足预设定的阈值dθ1th(步骤S216)。

在判定为角度差dθ1为阈值dθ1th以上的情况下(步骤S216；否)，CPU206返回步骤S214，重复对形成四边形的直线组的下一候补的处理。

另一方面，在判定为角度差dθ1不足阈值dθ1th的情况下(步骤S216；是)，CPU206判定角度差dθ2是否不足阈值dθ2th(步骤S217)。

在判定为角度差dθ2大于等于阈值dθ2th的情况下(步骤S217；否)，CPU206返回步骤S214，重复对形成四边形的直线组的下一候补的处理。

另一方面，在判定为角度差dθ2不足阈值dθ2th的情况下(步骤S217；是)，CPU206将具有得到的4个交点的四边形作为候补，将四边形的候补数量Nr增加1(步骤S218)，将该四边形的候补数量Nr存储在存储器201中。

另外，CPU206将形成四边形的直线组存储在存储器201中(步骤S219)。

CPU206依次执行步骤S214～S219的处理，并当判定为没有形成下一四边形的直线组的候补时(步骤S214；否)，结束该四边形检测处理。

接着，CPU206从四边形的候补中，选择最适合的四边形，作为表示原稿4的边的四边形。考虑几个该方法。在本实施方式中，设定为选择拍摄的四边形中最外围的四边形。所谓最外围的四边形是指如图9A所示，用x、y轴的平行线来包围构成候补的四边形，形成长方形，其中面积最大的四边形。

将长方形Ri的4个顶点坐标分别设为(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)，四边形的面积由下式12表示。

式12

Si＝{max(x0，x1，x2，x3)-min(x0，x1，x2，x3)}

   *{(max(y0，y1，y2，y3)-min(y0，y1，y2，y3)}

图19是表示四边形选择处理细节的流程图。在该四边形选择处理中，CPU206如图19所示，首先从候补数量Nr的四边形中选择任一四边形(步骤S221)，并根据式12求出选择到的四边形的面积Si(步骤S222)。

接着，CPU206在减少候补数量Nr的同时(步骤S223)，判定候补数量Nr是否变为0(步骤S224)。

在判定为候补数量Nr未变为0的情况下(步骤S224；否)，CPU206返回步骤S221。

通过重复执行这种处理，在判定为候补数量Nr变为0的情况下(步骤S224；是)，CPU206按照求出的面积Si的大小顺序，重新排列构成候补的四边形的数据(步骤S225)。

另外，CPU206将第1个四边形设为最优先的四边形轮廓。这样，即便有多个四边形的候补，也总是优先选择最大轮廓的四边形。这在书画的情况下，即便原稿4中包含四边形的图形，也不会在原稿4的外侧看到四边形的图形。另外，在拍摄四方的桌子等的情况下，由于用户容易进行变焦调整或拍摄位置的调整，所以期待用户抽取拍摄对象的轮廓。

下面，说明根据选择的四边形来求出射影参数(仿射参数)的方法。用选择的四边形的4点顶点坐标(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)，根据式6、式8求出作为式9所示矩阵的要素的仿射参数。

此时，因为m、n的比例为0≤m≤1、0≤n≤1的范围，所以进行坐标单位的修正。不改变图像的中心，而分别按usc、vsc来测量u轴侧、v轴侧的图像尺寸。此时，若设图像的中心为uc、vc，则图像的比例变换由下式13表示。

式13

u＝m/usc+0.5-uc/usc

v＝n/vsc+0.5-vc/vsc

若将该式13改写成u、v比例，则变换后的四边形的坐标(x’，y’，z’)由下式14表示。

式14

(x′，y′，z′)＝(u，v，1)Af

这里，Af是仿射变换矩阵。仿射变换矩阵Af由下式15表示。

式15

$\mathrm{Af}=\left(\begin{array}{ccc}1/\mathrm{usc}& 0& 0\\ 0& 1/\mathrm{vsc}& 0\\ 0.5-\frac{\mathrm{uc}}{\mathrm{usc}}& 0.5-\frac{\mathrm{vc}}{\mathrm{vsc}}& 1\end{array}\right)\·\left(\begin{array}{ccc}{x}_1-x_0-\mathrm{\α}\·x_1& y_1-y_0-\mathrm{\α}\·y_1& \mathrm{\α}\\ x_3-x_0-\mathrm{\β}\·x_3& y_3-y_0-\mathrm{\β}\·y_3& \mathrm{\β}\\ x_0& y_0& 1\end{array}\right)$

另外，仿射变换矩阵Af的各要素是仿射参数。根据式14、式15，表示u轴与v轴关系的四边形的纵横比k由下式16表示。

式16

$k=\frac{\left|B\right|}{\left|A\right|}=\frac{\sqrt{{(x_3-x_0+\mathrm{\β}\·x_3)}^2+{(y_3-y_0+\mathrm{\β}\·y_3)}^2+{(\mathrm{\β}\·f)}^2}}{\sqrt{{(x_1-x_0+\mathrm{\α}\·x_1)}^2+{(y_1-y_0+\mathrm{\α}\·y_1)}^2+{(\mathrm{\α}\·f)}^2}}$

其中，f：摄像机参数

另外，在书画摄像机1的情况下，通常将摄像机部11的焦距设计成镜头与装载原稿4的台座13上的距离。因此，也可将摄像机部11的焦距设为摄像机部11与原稿4的距离。无论如何，书画摄像机1的情况下，焦距或摄像机部11与原稿4的距离都是已知值。

但是，在光学镜头装置101的镜头为变焦镜头的情况下，焦距随变焦位置的变化而变化。此时，通过将对应于该变焦位置的焦距f预存储到表格等中，可计算纵横比k＝B/A(绝对值)。

在以(umax，vmax)提供可输出给屏幕3的最大图像(画面)尺寸的情况下，uc、vc由下式17表示。

式17

uc＝umax/2

vc＝vmax/2

另外，在vmax/umax＞k时和vmax/umax≤k时，若分别按照下式18、式19进行图像的缩放，则得到所期望的纵横比k的图像。

式18

usc＝umax

vsc＝k*umax

式19

usc＝vmax/k

vsc＝vmax

基于这种方式，CPU206根据四边形的顶点算出仿射参数。图20是表示该仿射参数取得处理的细节的流程图。

CPU206根据四边形的4点顶点坐标(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)，按照式6，算出射影系数α、β(步骤S231)。接着，CPU206算出原稿4的纵横比k(步骤S232)。

接着，CPU206根据式17，指定图像的中心点(uc，vc)(步骤S233)，比较最大图像尺寸vmax/umax与由式16表示的纵横比k(步骤S234)。

在vmax/umax＞k时(步骤S234；是)，作为未改变纵横比k，CPU206判定为v轴侧(纵向)的最大图像尺寸vmax比原稿4的图像尺寸大。另外，CPU206按照式18，求出usc、vsc，确定v轴侧的原稿4的图像比例，使u轴侧的最大图像尺寸与原稿4的图像尺寸一致(步骤S235)。

在vmax/umax≤k的情况下(步骤S234；否)，作为未改变纵横比k，CPU206判定为u轴侧(横向)的最大图像尺寸umax比原稿4的图像尺寸大。另外，CPU206按照式19，求出usc、vsc，确定u轴侧的原稿4的图像比例，使v轴侧的最大图像尺寸与原稿4的图像尺寸一致(步骤S236)。

接着，CPU206根据算出的usc、vsc、uc、vc与四边形的4点顶点坐标(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)，按照式15，求出仿射变换矩阵Af(步骤S237)。CPU206取得该仿射变换矩阵Af的各要素，作为仿射参数A(步骤S238)。

接着，说明在步骤S39执行的修正射影参数的比例的方法。将低分辩率图像与高分辩率图像的图像尺寸比设为g。例如，在低分辩率图像为640×480点、高分辩率图像为1280×960点的情况下，该图像尺寸比g为“2”。

另外，从低分辩率图像抽取的四边形的4点顶点坐标(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)在步骤S39的射影参数的比例修正处理中，被变更为(x0*g，y0*g)、(x1*g，y1*g)、(x2*g，y2*g)、(x3*g，y3*g)。这样，CPU206将射影参数的比例从低分辩率图像的比例变更为高分辩率图像的比例。

CPU206使用根据该变更后的四边形的4点顶点坐标(x0*g，y0*g)、(x1*g，y1*g)、(x2*g，y2*g)、(x3*g，y3*g)得到的射影参数，对高分辩率图像执行步骤S35的图像变换处理。

接着，说明使用得到的仿射参数来制作校正图像的图像处理方法。首先，在使用仿射参数来进行射影变换或其它仿射变换的情况下，如图21所示，设原始图像的点p(x，y)与基于变换矩阵Ap的变换后的图像的点P(u，v)相对应。此时，最好通过求出对应于原始图像的点p的变换图像的点P，求出与变换图像的点P(u，v)对应的最初图像的点p(x，y)。

另外，在求出变换图像的点P的坐标时，设使用基于双线性(bilinear)的内插方法。基于双线性的内插方法中，搜索与一个图像(最初图像)的坐标点对应的另一图像(变换图像)的坐标点后，根据一个图像的坐标点周围的4点的(象素)值来求出变换图像的点P(u，v)的(象素)值。根据该方法，变换图像的点P的象素值根据下式20算出。

式20

P(u，v)＝(1-kx)*(1-ky)*p(X，Y)+kx*(1-ky)*p(X+1Y)

        +(1-kx)*ky*p(X，Y+1)+kx*ky*p(X+1，Y+1)

其中，将一个图像的点p的坐标设为p(x，y)，

Kx：x的小数点以下的值；

Ky：y的小数点以下的值；

X：整数部(x)；Y：整数部(y)。

为了求出对应于变换图像的点P(u，v)的最初图像的点p(x，y)，CPU206执行图像变换处理。图22是说明该图像变换处理的细节的流程图。

CPU206在将变换图像的象素位置u初始化为0的同时(步骤S111)，将变换图像的象素位置v初始化为0(步骤S112)。

接着，CPU206使用由式15得到的仿射参数A，代入变换图像的象素位置(u，v)，根据式3，求出最初图像的象素位置(x，y)(步骤S113)。接着，CPU206根据求出的象素位置(x，y)，按照式20，利用双线性法求出象素值P(u，v)(步骤S114)。

另外，CPU206将校正后图像的坐标v增加1(步骤S115)。

接着，CPU206比较校正后图像的坐标v与坐标v的最大值vmax，判定校正后图像的坐标v是否大于等于最大值vmax(步骤S116)，在判定为坐标v不足最大值vmax的情况下(步骤S116；否)，返回步骤S113。

之后，CPU206重复步骤S113～S115的处理，并在判定为坐标v到达最大值vmax的情况下(步骤S116；是)，将校正后图像的坐标u增加1(步骤S117)。

接着，CPU206比较坐标u与坐标u的最大值umax，判定坐标u是否大于等于最大值umax(步骤S118)，在判定为坐标u不足最大值umax的情况下(步骤S118；否)，返回步骤S112。

之后，CPU206重复步骤S112～S117的处理，并在判定为坐标u到达最大值umax的情况下(步骤S118；是)，结束该图像变换处理。

下面，说明从如此得到的图像中抽取图像效果校正用参数的处理、和使用该参数进行的图像效果处理。图像效果处理是用于得到更鲜明的图像的处理。

图像效果校正用参数是亮度频谱(histgram)的最大值、最小值、峰值、色差频谱的峰值、平均值等图像效果处理必需的变量。

为了抽取图像效果校正用参数，还需要从整体图像中切下除轮廓的实原稿部的图像，生成亮度、色差频谱。首先，说明抽取图像效果校正用参数所需的处理。

如图23所示，在原稿4的图像中，不仅照片、图形、文字等实体图像，有时还写入台座13、或原稿4的格式纸面影子等与原稿4的内容无关的图像。对该整体图像设定内框和外框。将原稿4的实体图像所在的内框内设为实原稿部。另外，将映入台座13、或原稿4的格式纸面影子的内框与外框之间设为周边部。映入周边部中的原稿4的轮廓多数基本为黑色。有时图像数据中最好有这种周边部的数据。

但是，若也包含原稿4的周边部的图像来生成频谱，则有时不能有效进行频谱拉伸等。

因此，仅在取出图像效果校正用参数时，才切下实原稿部的图像，生成亮度、色差频谱，并用从该频谱中取出的图像效果校正用参数，对图像整个区域进行图像效果处理。这可取得更有效的参数。

具体而言，当包含周边部的图像数据是M行N列，X、Y方向上外框与内框之间的点数量均为K点时，在X轴侧，从作为实原稿部的象素数据的K中取得M～K行之前的象素数据，在Y轴侧，从作为实原稿部的象素数据的K中取得N-K列为止的象素数据。实原稿部的象素数据变为(M-2*K)行、(N-2*K)列的数据。

CPU206控制图像处理装置203，对如此切下的实原稿部的图像，生成亮度频谱、色差频谱。

亮度频谱表示存在于实原稿部中的亮度值(Y)的分布，通过对每个亮度值计数实原稿部的象素数量来生成。图24A表示亮度频谱的一例。图24A中，横轴表示亮度值(Y)，纵轴表示象素数量。为了校正图像效果，需要求出最大值(Ymax)、最小值(Ymin)、峰值(Ypeak)，作为图像效果校正用参数。

最大值是表示对每个亮度值计数象素数量、并具有大于等于预定的规定数量的计数值的亮度值中的最大亮度的值，最小值是表示具有大于等于设定的规定数量的计数值的亮度值中的最小亮度的值。峰值是计数值最大的亮度值。峰值被认为表示作为拍摄对象的原稿4的背景色的亮度值。

另外，色差频谱表示存在于实原稿部中的色差(u，v)的分布，通过对每个色差计数实原稿部的象素数量来生成。图24B表示色差频谱的一例。图24B中，横轴表示色差，纵轴表示象素数量。在色差频谱的情况下，也呈现象素的计数数量为最大的色差的峰值(upeak，vpeak)。该峰值也被认为表示原稿4的背景色的色差。为了校正图像效果，需要求出色差频谱的峰值与平均值(umean，vmean)，作为图像效果校正用参数。另外，平均值是具有平均计数值的色差的值。

另外，为了校正图像效果得到识别性优良的图像，由于校正效果因原稿4的背景色不同而不同，所以需要根据原稿4的背景色不同而改变图像效果的校正方法。因此，需要判断原稿4的背景色。原稿4的背景色根据亮度频谱、色差频谱的各峰值来判断。

这里，设将原稿4的背景色分成3类。第1为白板、笔记本等背景色为白色的情况。第2为黑板等背景色为黑色的情况。第3为杂志、小册子等背景色为白色或黑色以外的情况。具体而言，原稿4的背景色按照以下的判断式来判断。

白色判定条件如下式21表示，当满足式21所示的条件时，判定为原稿4的背景色为白色(W)。

式21

白色判定条件＝(|Upeak|＜彩色阈值)

            &(|Vpeak|＜彩色阈值)

            &(Ypeak＞白色判定值)

黑色判定条件如下式22表示，当满足式22所示的条件时，判定为原稿4的背景色为黑色(B)。

式22

黑色判定条件＝(|Upeak|＜彩色阈值)

            &(|Vpeak|＜彩色阈值)

            &(Ypeak＞黑色判定值)

另外，在不满足式21、式22所示的条件的情况下，判定为原稿4的背景色为彩色(C)。另外，例如将彩色阈值设定为50，将白色判定阈值设定为128，将黑色判定阈值设定为50。

根据这种方式，CPU206执行图像效果校正用参数抽取处理。图25是表示该图像效果校正用参数抽取处理的细节的流程图。

CPU206计数实原稿部中具有各亮度(Y)值的象素数量，生成图24A所示的亮度频谱(步骤S121)，根据生成的亮度频谱，取得亮度的最大值(Ymax)、最小值(Ymin)、峰值(Ypeak)(步骤S122)。

接着，CPU206制作图24B所示的色差(u，v)的频谱(步骤S123)。接着，CPU206在求出色差(u，v)的峰值(upeak，vpeak)(步骤S124)，作为图像效果校正用参数，并求出色差的平均值(umean，vmean)(步骤S125)，。

另外，CPU206根据图像频谱的这些峰值(Ypeak，upeak，vpeak)，按照式21、式22所示的判定条件式，判断原稿4的背景色(步骤S126)。接着，CPU206将图像效果校正用参数与原稿4的背景色的数据存储在存储器201中(步骤S127)。

接着，CPU206使用如此抽取的图像效果校正用参数，进行图像效果处理。如上所述，为了有效进行图像效果处理，需要随着背景色的不同来改变处理内容。

在白板、笔记本等背景色为白色的情况下，CPU206执行图26A所示的亮度变换。在黑板等背景色为黑色的情况下，CPU206执行图26B所示的亮度变换。在杂志、小册子等背景色为白色或黑色以外的情况下，CPU206执行图26C所示的变换。另外，图26A、图26B、图26C中，横轴表示象素值的输入值，纵轴表示象素值的输出值。

在背景色为白色的情况下，如图26A所示，以峰值为界，改变亮度变换线的倾斜角度。例如将规定高精度值设为230，CPU206将输入的亮度峰值提高到亮度值230。另外，CPU206将最大值提高到最大亮度。因此，亮度变换线如图26A所示，由两个线段表示。

在背景色为黑色的情况下，如图26B所示，CPU206进行亮度变换，使峰值变为一定的亮度值(例如20)。此时，亮度变换线如图26B所示，也由两个线段表示。

在背景色为白色或黑色以外的情况下，CPU206如图26C所示，与通常的拉伸处理一样设定亮度变换线，截去小于等于最小值的和大于等于最大值的值，作为一个线段表示。

另外，CPU206也可如此预设定背景的亮度(Y)与输出(Y’)的变换表格，存储在存储器201中。CPU206根据制作的变换表格，根据输入的各象素值，求出各自的输出值，实施图像效果处理。如此变换后的图像中由于亮的象素更亮，暗的象素更暗，所以亮度分布宽，成为识别性好的图像。

另外，有时利用拍摄到的图像不能适当进行数码摄像机的白平衡调整，例如整体颜色会变为黄色等。该颜色变化不能仅通过进行亮度频谱的图像效果处理来修正。

此时，为了得到好的图像，进行彩色调整。图27是表示用于执行彩色调整的亮度变换曲线一例的图。图27中，横轴表示色差的输入值，纵轴表示色差的输出值。彩色调整按照图27所示的亮度变换曲线进行亮度变换，使图24B所示的色差(u，v)各自的平均值(umean，vmean)变为灰色。

在色差u与v的值均为0的情况下，由于颜色变为无彩色，所以进行彩色调整，使峰值(upeak，vpeak)变为0。即，彩色的变换线由两个线段表示。相对输入值u的输出值u’由下式23提供。

式23

$U^{\&prime;}=\frac{128}{(\mathrm{Umean}+128)}*(U-\mathrm{Umean}),(U<\mathrm{Umean})$

$U^{\&prime;}=\frac{127}{(\mathrm{Umean}+127)}*(U-\mathrm{Umean}),(U\&GreaterEqual;\mathrm{Umean})$

色差V也一样。

下面，作为图像效果处理，仅通过上述亮度延伸，背景未充分白色化的情况下，进行背景的白色化，将认为是图像内背景的部分的颜色变为白色(Y：255，u：0，v：0)或接近其的颜色。

图28A是表示以某个象素的亮度值为基准(0)、亮度值相对该象素的亮度值的上升率的图。横轴表示亮度值，纵轴表示亮度值的上升率。另外，图28B是表示色差与色差的变化率的图。横轴表示色差，纵轴表示色差的变化率。

图中，C0表示将亮度与色差从0上升到100％的范围，C1表示按照亮度值来改变上升率的范围。如图28A、图28B所示，将亮度(Y)值大于等于一定值(Yw)、色差(u，v)在一定范围内(C0)的象素的颜色作为白色化范围，提高亮度值，色差变为0。若进行这种背景的白色化，则在仅通过亮度延伸、背景不能充分白色化的情况下，图像效果处理是非常有效的。

根据这种方式，CPU206执行图像效果处理。图29是表示该图像效果处理的细节的流程图。

CPU206从存储器201中读出保存的图像效果校正用参数(步骤S131)。

接着，CPU206进行亮度频谱的调整(步骤S132)。具体而言，CPU206判定背景是否为白色，并在判定为背景是白色的情况下，进行图26A所示的亮度变换，进行亮度频谱的调整，以使背景更白，识别性变好。另一方面，在判定为背景不是白色的情况下，CPU206判定背景是否为黑色，并在判定为背景为黑色的情况下，进行图26B所示的亮度变换，调整亮度频谱。另一方面，在判定为背景不是黑色的情况下，CPU206执行图26C所示的亮度变换，进行对应于原稿4的背景色的频谱调整。

接着，CPU206对如此调整后的图像，进行图27所示的变换，进行彩色调整(步骤S133)，之后，执行背景的白色化处理(步骤S134)。

图30是表示CPU206执行的背景白色化处理的细节的流程图。另外，图中imax、jmax是输入图像的x、y轴的尺寸。

在该背景白色化处理中，CPU206首先将计数值j初始化为0(步骤S241)，同时，将计数值i初始化为0(步骤S242)。接着，CPU206判定输入图像的象素(i、j)的亮度(Y)是否大于等于规定值(Yw)(步骤S243)。

在判定为亮度(Y)大于等于规定值(Yw)的情况下(步骤S243；是)，CPU206判定色差U、V的绝对值是否不足规定值C0(步骤S244)。

在判定为色差U、V的绝对值不足规定值C0的情况下(步骤S244；是)，CPU206将亮度值(Y)设定成255，将色差(U、V)设为0，重新写入象素(i、j)的值(步骤S245)，进入步骤S248。

另一方面，在判定为色差U、V的绝对值不是不足规定值C0的情况下(步骤S244；否)，CPU206判定输入图像的象素(i、j)的色差U、V的绝对值是否不足规定值C1(步骤S246)。

在判定为色差U、V的绝对值不足规定值C1的情况下(步骤S246；是)，CPU206重新写入象素(i、j)的值，作为亮度值Y＝Y+a*(255-Y)(步骤S247)，进入步骤S248。

在判定为色差U、V的绝对值不是不足规定值C1的情况下(步骤S246；否)，CPU206不变更亮度值，进入步骤S248。

另外，CPU206将计数值i增加1(步骤S248)。接着，CPU206比较计数值i与最大值Imax，判定计数值i是否达到最大值Imax(步骤S249)。

在判定为计数值i未达到最大值imax的情况下(步骤S249；否)，CPU206返回步骤S243。

之后，重复执行步骤S243～S248的处理，在判定为计数值i达到最大值imax的情况下(步骤S249；是)，CPU206将计数值j增加1(步骤S250)。

接着，CPU206比较计数值j与最大值jmax，判定计数值j是否达到最大值jmax(步骤S251)。

在判定为计数值j未达到最大值jmax的情况下(步骤S251；否)，CPU206返回步骤S242。

之后，重复执行步骤S242～S250的处理，在判定为计数值j达到最大值jmax的情况下(步骤S251；是)，CPU206结束该背景的白色化处理。

下面，说明对执行一次图像变换的图像进行的图像变换调整处理。在抽取的四边形的顶点坐标中包含若干误差等的情况下，如图31A、图31B所示，有时所得到的仿射参数射影的结果不好。因此，本实施方式的摄影图像投影装置构成为由用户来进行射影变换的调整。

若用户操作操作部204的各键，则操作部204响应于用户的操作，将该操作信息作为指示信息发送给CPU206。CPU206判断该操作信息，根据判断结果来控制图像处理装置203。

如图32所示，为了求出校正图像的内插象素Q(u’，v’)，通常执行如下步骤。即，首先，对内插象素Q(u’，v’)进行逆变换Ai，求出对应于内插象素Q(u’，v’)的校正图像P(u，v)。接着，对校正图像P(u，v)进行逆变换Af，求出最初图像的p(x，y)。在进行射影变换与放大变换等两级变换的图像变换的情况下，CPU206为了求出合成两个变换的变换矩阵，对原始图像进行一次变换。该方法与进行两次变换相比，可高速求出图像，并且，与进行上述两次逆变换来制作图像的方法相比，图像恶化少。

从以规定的坐标(X_C、Y_C)为中心将变换前的图像旋转角度θ后得到的变换后的图像中取得变换前图像时的旋转逆变换矩阵Ar由下式24表示。规定的坐标(X_C、Y_C)可设定成例如图像中心的坐标，也可设定成图像的特定顶点的坐标。

式24

$\mathrm{Ar}=\left[\begin{array}{ccc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}& 0\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& 0\\ -\mathrm{Xc}\cos \mathrm{\&theta;}-\mathrm{Yc}\sin \mathrm{\&theta;}+\mathrm{Xc}& \mathrm{Xc}\sin \mathrm{\&theta;}-\mathrm{Yc}\cos \mathrm{\&theta;}+\mathrm{Yc}& 1\end{array}\right]$

从以规定的坐标(X_C、Y_C)为中心将变换前的图像放大Sc倍而得到的变换后的图像中取得变换前图像时的放大矩阵Asc由下式25表示。规定的坐标(X_C、Y_C)可设定成例如图像中心的坐标，也可设定成图像的特定顶点的坐标。

式25

$\mathrm{Asc}=\left[\begin{array}{ccc}1/\mathrm{Sc}& 0& 0\\ 0& 1/\mathrm{Sc}& 0\\ \mathrm{Xc}(1-\frac{1}{\mathrm{Sc}})& \mathrm{Yc}(1-\frac{1}{\mathrm{Sc}})& 1\end{array}\right]$

另外，若放大一次图像，则有时通过仿射参数的调整或计算来进行化整误差的处理等。因此，在放大图像的情况下，需要在放大前将图像恢复成最初的等倍仿射参数。

从分别沿X、Y方向使变换前图像移动Tx、Ty得到的变换后的图像中，取得变换前图像时的移动矩阵As由下式26表示。

式26

$\mathrm{As}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ -\mathrm{Tx}& -\mathrm{Ty}& 1\end{array}\right]$

从分别沿X、Y方向倾斜变换前图像α、β得到的变换后的图像中，取得变换前图像时的射影效果矩阵Ap由下式27表示。

式27

$\mathrm{Ap}=\left[\begin{array}{ccc}1& 0& \mathrm{\&alpha;}\\ 0& 1& \mathrm{\&beta;}\\ 0& 0& 1\end{array}\right]$

另外，在执行2级逆变换的情况下，该逆变换矩阵A由下式28表示。

式28

A＝Ai(2)*Ai(1)

说明根据该方式执行的图像变换调整处理。图33、图34和图35是说明该图像变换调整处理的细节的流程图。

CPU206判定放大率Zoom是否为1(步骤S141)。另外，由于放大率Zoom预先被初始化为1，所以CPU206最初判定放大率Zoom为1。当判定放大率Zoom为1时(步骤S141；是)，CPU206判定是否按下了上放大键211、下放大键212、左放大键213、右放大键214之一作为射影变换键(步骤S142)。

在判定为按下了射影变换键的情况下(步骤S142；是)，CPU206判断操作的射影变换键的种类。

在判断为被按下的射影变换键为右放大键214的情况下，CPU206分别将α＝0.1、β＝0代入式27所示的射影效果矩阵Ap，取得逆变换矩阵Ai＝Ap(图34的步骤S143)。

在判断为被按下的射影变换键为左放大键213的情况下，CPU206分别将α＝-0.1、β＝0代入式27所示的射影效果矩阵Ap，取得逆变换矩阵Ai＝Ap(步骤S144)。

在判断为被按下的射影变换键是上放大键211的情况下，CPU206分别将α＝0、β＝0.1代入式27所示的射影效果矩阵Ap，取得逆变换矩阵Ai＝Ap(步骤S145)。

在判断为被按下的射影变换键是下放大键212的情况下，CPU206分别将α＝0、β＝-0.1代入式27所示的射影效果矩阵Ap，取得逆变换矩阵Ai＝Ap(步骤S146)。

在判定为未按下射影变换键的情况下(步骤S142；否)，CPU206判定是否按下了旋转键(图33的步骤S147)。在判定为按下了旋转键的情况下(步骤S147；是)，CPU206判断被按下的旋转键的种类。

在判断为被按下的旋转键是右旋转键215的情况下，CPU206将θ＝-1代入式24所示的旋转逆变换矩阵Ar，取得逆变换矩阵Ai＝Ar(步骤S148)。

在判断为被按下的旋转键是左旋转键216的情况下，CPU206将θ＝1代入式24所示的旋转逆变换矩阵Ar，取得逆变换矩阵Ai＝Ar(步骤S149)。

在判定为未按下旋转校正键的情况下(步骤S147；否)，CPU206在执行放大处理之前，为了能恢复成最初的等倍仿射参数，使当前的仿射参数退回到矩阵Af(步骤S150)。

另一方面，在判定为放大率Zoom不是1的情况下(步骤S141；否)，CPU206判定是否按下了游标键(步骤S151)。

在判定为按下了游标键的情况下(步骤S151；是)，CPU206判断被按下的游标键的种类。

在判断为游标键是右移动键(放大键217与右放大键214)的情况下，CPU206将X轴、Y轴各自的移动量Tx＝64、Ty＝0代入式26所示的移动矩阵As，取得逆变换矩阵Ai＝As(图34的步骤S152)。

在判断为游标键是左移动键(放大键217与左放大键213)的情况下，CPU206将X轴、Y轴各自的移动量Tx＝-64、Ty＝0代入式26所示的移动矩阵As，取得逆变换矩阵Ai＝As(图34的步骤S153)。

在判断为游标键是上移动键(放大键217与上放大键211)的情况下，CPU206将X轴、Y轴各自的移动量Tx＝0、Ty＝64代入式26所示的移动矩阵As，取得逆变换矩阵Ai＝As(图34的步骤S154)。

在判断为游标键是下移动键(放大键217与下放大键212)的情况下，CPU206将X轴、Y轴各自的移动量Tx＝0、Ty＝-64代入式26所示的移动矩阵As，取得逆变换矩阵Ai＝As(图34的步骤S155)。

另一方面，当判定为未按下游标键的情况下(步骤S151；否)，或在判定为未按下旋转校正键而使当前的仿射参数退回到矩阵Af的情况下(步骤S150)，CPU206判定是否按下了放大键217或缩小键218(步骤S156)。

在判定为未按下放大键217或缩小键218的情况下(步骤S156；否)，CPU206结束该图像变换的调整处理。另一方面，在判定为按下了放大键217或缩小键218的情况下(步骤S156；是)，CPU206判断被按下的键的种类。

在判断为被按下的键是放大键217的情况下，CPU206取得新的放大率Zoom，作为放大率Zoom＝Zoom*Ratio(Ratio例如为2倍)(图35的步骤S157)，将Sc＝Ratio代入式25所示的放大矩阵Asc的Sc，取得逆变换矩阵Ai＝Ap(步骤S158)。

在判断为被按下的键是缩小键218的情况下，CPU206取得新的放大率Zoom，作为放大率Zoom＝Zoom/Ratio(步骤S159)。在缩小键218的情况下，CPU206判定放大率Zoom是否超过1(步骤S160)。

在判定为Zoom超过1(Zoom＞1)的情况下(步骤S160；是)，CPU206将Sc＝1/Ratio代入式25所示的放大矩阵Asc的Sc，取得逆变换矩阵Ai＝Ap(步骤S161)。

接着，在设定逆变换矩阵Ai的情况下(步骤S143～S146，S148，S149，S152～S155，S158和S161)，CPU206根据式28，求出逆变换矩阵A(步骤S162)，进入步骤S165。

另一方面，在判定为Zoom未超过1(Zoom≤1)的情况下(步骤S160；否)，CPU206设放大率Zoom＝1(步骤S163)。CPU206恢复到最初的逆变换矩阵A，作为A＝Af(步骤S150中保存的放大前的仿射参数)(步骤S164)。

另外，CPU206控制图像处理装置203，以向图像处理装置203提供所求出的逆变换矩阵A，进行图像变换，并根据提供的逆变换矩阵A，进行基于仿射变换的图像变换(步骤S165)，结束该图像变换调整处理。

如上所述，根据实施方式1，摄影图像投影装置当图像没有运动时，在开始高分辩率图像的拍摄之前，从以与进行高分辩率静止图像的拍摄任务任务之外的任务任务按低分辩率拍摄的动态图像中，取得射影参数与图像效果校正用参数。

接着，摄影图像投影装置将取得的射影参数的比例从低分辩率图像的比例变更为高分辩率图像的比例。之后，摄影图像投影装置使用拍摄前取得的射影参数与图像效果校正用参数，对拍摄的高分辩率的静止图像实施图像变换处理与图像效果处理。

这样，通过使用预先以其它任务任务从低分辩率的动态图像中取得的射影参数与图像效果校正用参数，执行对高分辩率图像的图像变换处理和图像效果处理，从而，摄影图像投影装置可缩短从图像拍摄到投影所需时间。

另外，通过以低分辩率拍摄动态图像，以高分辩率拍摄静止图像，摄影图像投影装置可不降低投影到屏幕3上的静止图像的图像质量，而降低投影所需的CPU等的处理负担。

[实施方式2]

图36是表示本发明实施方式2的摄影图像投影装置的构成图。另外，本实施方式中，对于与实施方式1相同的构成标注相同标记，必要时省略其说明。

摄影图像投影装置如图36所示，具备书画摄像机1、投影仪2与计算机5。书画摄像机1与计算机5经USB(Univeral Serial Bus)等通信电缆31连接。另外，计算机5与投影仪2经RGB电缆等视频映像电缆32连接。

图37是表示图36所示的书画摄像机1和计算机5的构成的框图。书画摄像机1如图37所示，由图像数据生成部21和数据处理部22构成。另外，数据处理部22由存储器201、显示装置202、操作部204、程序代码存储装置205、CPU(Central Processing Unit)206、图像压缩装置207和界面装置208构成。

图像压缩装置207为了降低发送到计算机5的数据量，使用JPEG(Joint Photographic Expert Group)标准等技术，压缩图像数据。界面装置208将压缩后的图像数据发送给计算机5，或接收来自计算机5的拍摄指令。

另外，CPU206具有将光学镜头装置101的焦点、曝光、白平衡等摄像机设定参数初始化为动态图像模式的功能。由此，摄像机部11捕捉的场景经由光学镜头装置101聚光到图像传感器102。图像传感器102根据聚光的图像，制作动态图像拍摄用的分辩率低的数字图像数据，并以例如每秒30个送到存储器201。

计算机5向书画摄像机1发送拍摄指令来控制书画摄像机1，并将接收图像数据后进行图像处理的图像数据发送给投影仪2。计算机5由界面装置231、显示装置232、图像处理装置233、操作部234、HDD(Hard DiskDrive)235、CPU236、ROM(Read Only Memory)237和RAM(RandomAccess Memory)238构成。

界面装置231接收压缩后的图像数据，并发送拍摄指令等。显示装置232与显示装置202一样，显示送出到投影仪2的图像。

图像处理装置233与图像处理装置203一样，对接收到的图像数据进行图像的变形校正或图像效果等图像处理。另外，图像处理装置对压缩后的图像进行压缩解码，生成非压缩数据。

图像处理装置233即可由软件构成，也可由硬件构成。若为软件，则可利用应用程序更新功能，所以图像处理装置233最好由软件构成。

另外，计算机5通过具备书画摄像机1的图像处理装置203的功能，不必在摄像机部11中安装图像处理用硬件，所以也可在摄像机部11中使用市场出售的标准数码摄像机。

操作部234具备用户用于输入数据、指令的开关、键。HDD235存储预先安装的书画处理用软件等的数据。

CPU236在控制计算机5的各部的同时，向书画摄像机1发送指示拍摄高分辩率静止图像的拍摄指令等，控制书画摄像机1。ROM237存储CPU236执行的基本代码等。RAM238存储CPU236执行所需的数据。

下面，根据图38所示的流程图来说明实施方式2的书画摄像机1的基本动作(书画摄像机的基本动作)。书画摄像机1的CPU206执行界面装置208、图像压缩装置207或存储器201内的任务存储器的初始化(步骤S301)。接着，CPU206将光学镜头装置101的焦点、曝光、白平衡等摄像机设定参数初始化为动态图像模式(步骤S302)。

之后，CPU206检查界面装置208，判定是否接收来自计算机5的拍摄指令(步骤S303)。在判定为未接收拍摄指令的情况下(步骤S303；否)，CPU206根据来自操作部204的操作信息，判定是否按下了操作部204的图像调整键(步骤S304)。

在判定为按下了图像调整键的情况下(步骤S304；是)，CPU206经界面装置208向计算机5发送被按下的图像调整键的种类信息(步骤S305)，从图像传感器102读入低分辩率图像(步骤S306)。另一方面，在判定为未按下图像调整键的情况下(步骤S304；否)，CPU206跳过步骤S305。

接着，CPU206控制图像压缩装置207，并压缩读入的图像数据(步骤S307)。CPU206经界面装置208，例如以30帧左右的速度，向计算机5发送压缩后的低分辩率图像的数据(步骤S308)，之后，返回步骤S302。

这样，书画摄像机1只要未接收拍摄指令，则定期向计算机5发送低分辩率图像。

另一方面，在判定为接收了拍摄指令的情况下(步骤S303；是)，CPU206将图像传感器102、光学镜头装置101的摄影模式设定成高分辩率的静止图像模式(步骤S309)，控制摄像机部11，以进行高分辩率静止图像的拍摄(步骤S310)。

CPU206将由摄像机部11拍摄的图像数据送给图像压缩装置207，由图像压缩装置207来压缩接收到的图像数据(步骤S311)。

CPU206经界面装置208将由图像压缩装置207压缩的高分辩率静止图像数据发送给计算机5(步骤S312)。另外，CPU206再次设定成低分辩率的动态图像模式(步骤S313)，之后，返回步骤S302。

计算机5使安装在HDD235中的书画处理用软件启动，执行图39、和图41所示的流程图所示的PC书画基本处理。CPU236如图39所示，首先进行通信等的初始化(步骤S321)。接着，CPU236在判定是否接收了数据的同时，判断接收到的数据的内容(步骤S322)。

在判断为接收到的数据是低分辩率动态图像的情况下，CPU236对压缩后的图像进行压缩解码，将压缩数据变换成非压缩数据(步骤S323)。之后，CPU236按照式1算出图像变化量MD(步骤8324)。

之后，CPU236判定摄影模式是动态图像模式还是静止图像模式(步骤S325)。在初始状态下，将摄影模式设定成动态图像模式，所以CPU236将摄影模式判定为动态图像模式(步骤S325；是)。此时，CPU236执行接收到的低分辩率图像的描绘(步骤S326)，将描绘的低分辩率图像的数据输出到投影仪2，从而将图像投影到屏幕3上。

CPU236按照式1求出与上次拍摄的图像之间的图像变化量MD。之后，CPU236比较求出的图像变化量MD与预定的阈值Thresh1，根据比较结果，判定图像是否运动(步骤S327)。

在判定为图像运动(MD≥Thresh1)的情况下(步骤S327；是)，CPU236清除静止时间Ptime(图40的步骤S336)，返回步骤S322。

另一方面，在判定为图像没有运动(Thresh1＞MD)的情况下(步骤S327；否)，CPU236判断静止时间Ptime是否为0(步骤S328)。在判断静止时间Ptime为0的情况下(步骤S328；是)，CPU236设置预图像处理请求(步骤S329)。若设置预图像处理请求信号，则以执行PC书画基本处理的任务之外的任务，来开始图8的流程图所示的预图像处理。另外，在判断为静止时间Ptime不是0的情况下(步骤S328；否)，CPU236跳过步骤S329的处理，不开始预图像处理。

接着，CPU236将静止时间Ptime增加1(步骤S330)。另外，CPU236判定静止时间Ptime是否达到预定的规定时间HoldTime(步骤S331)。在判定为未达到规定时间HoldTime(Ptime＜HoldTime)的情况下(步骤S331；否)，CPU236返回步骤S322，持续动态图像模式来待机，直至接收下一数据。

另一方面，在判定为达到规定时间HoldTime(Ptime≥HoldTime)的情况下(步骤S331；是)，CPU236将摄影模式设定成静止图像模式(步骤S332)，发送指示拍摄高分辩率静止图像的拍摄指令(步骤S333)。之后，CPU236返回步骤S322并待机，直至从书画摄像机1接收静止图像数据。

另外，若拍摄图像变为静止图像模式(步骤S325；否)，则CPU236比较图像变化量MD与阈值Thresh2，判定图像是否运动(图40的步骤S334)。

在图像变化量MD为阈值Thresh2以上的情况下(步骤S334；是)，CPU236将摄影模式设定成动态图像模式(步骤S335)，并复位静止时间Ptime(步骤S336)。之后，CPU236返回图39的步骤S322并待机，直至接收下一数据。

另一方面，在图像变化量不足阈值Thresh2的情况下(步骤S334；否)，CPU236返回图39的步骤S322，保持静止图像模式不变的状态下待机，直至接收下一数据。

在判断为接收到的数据是高分辩率图像的情况下，CPU236进行高分辩率静止图像的解码(图41的步骤S337)。接着，CPU236判定图8的流程图所示的预图像处理是否结束(步骤S338)，在判定为未结束的情况下(步骤S38；否)，循环PC书画基本处理的执行来等待，直至该预图像处理结束。

另外，在判定为预图像处理结束的情况下(步骤S338；是)，CPU236执行图像变换处理(步骤S339)。在该图像变换处理中，CPU236根据在步骤S33抽取的射影参数，进行四边形的拍摄对象的切除与向正面图像的射影变换。

另外，CPU236使用步骤S37抽取的图像效果校正用参数，执行图像效果处理(步骤S340)。

另外，CPU236描绘图像后输出到投影仪2(步骤S341)。之后，CPU236返回图39的步骤S322并待机，直至接收下一数据。

若判断接收到的数据涉及键的操作信息，则CPU236判断摄影模式是否是静止图像模式(图41的步骤S342)。在判定为不是静止图像模式的情况下(步骤S342；否)，CPU236返回图39的步骤S322并待机，直至接收下一数据。

另一方面，在判定为静止图像模式的情况下(图41的步骤S342；是)，CPU236执行图像变换调整处理(步骤S343)，之后，执行步骤S339的图像变换处理。另外，CPU236根据图像变换的内容，执行步骤S340的图像效果处理，并在由图像处理装置233描绘图像之后，输出到投影仪2。之后，CPU236返回图39的步骤S322并待机，直至接收下一数据。

如上所述，根据实施方式2，由于计算机5执行图像处理，所以不必在摄像机部11中安装图像处理用硬件，可使用市场出售的标准的数码摄像机来构成摄影图像投影装置。结果，可廉价地构成摄影图像投影装置。

另外，本发明不限于上述实施方式，可进行各种变形、应用。下面，说明可适用于本发明的上述实施方式的变形方式。

在上述实施方式中，原稿4的形状为四边形。但是，本发明不限于此，原稿的形状可以是任意的，例如可以是五边形。此时，摄影图像投影装置根据原稿4的轮廓取得五边形，并从五边形的各顶点坐标中抽取射影参数。

另外，在上述实施方式中，图像处理适用于摄影图像投影装置，但本发明不限于此，也可适用于数码摄像机等其它摄影装置。

并且，在上述实施方式中，CPU236等执行的程序预先存储在ROM等中。但是，本发明不限于此，也可将使计算机作为装置的全部或局部动作、或执行上述处理的程序存储并分配在软盘、CD-ROM(Compact DiskRead-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto Opticaldisk)等计算机可读取的存储介质中，将之安装在其它计算机中，作为上述单元动作，或者执行上述步骤。

并且，存储程序的存储介质不限于上述形式，例如也可使用Blue-Ray-Disc(R)或AOD(Advanced Optical Disc)等使用蓝色激光的下一代光盘存储介质、使用红色激光的HD-DVD9、使用蓝紫色激光的Blue-Laser-DVD等今后开发的各种大容量存储介质来实施本发明。

另外，也可将程序存储在因特网上的服务器装置持有的盘装置等中，例如使之重叠于载波上，下载到计算机等中。

Claims (12)

1、一种图像处理装置，具备：

运动判断单元(206)，判断由摄像机以规定分辩率拍摄的图像是否运动；

分辩率设定单元(206)，在利用所述运动判断单元判断为运动的情况下，对所述摄像机设定第1分辩率，作为所述规定分辩率，在判断为没有运动的情况下，对该摄像机设定比该第1分辩率高的第2分辩率；

校正用参数抽取单元(206)，从由所述摄像机以第1分辩率拍摄的图像中，抽取用于校正该图像的参数；和

图像校正单元(203)，使用由所述校正用参数抽取单元抽取的参数，校正由所述摄像机以第2分辩率拍摄的图像。

2、根据权利要求1所述的图像处理装置，其特征在于，

所述校正用参数抽取单元(206)包含：多边形检测单元，从由所述摄像机以第1分辩率拍摄的图像中，检测出形成该图像的轮廓的多边形；仿射参数取得单元，根据由所述多边形检测单元检测到的多边形的顶点坐标，取得仿射参数，

所述图像校正单元(203)包含倾斜校正单元，通过使用由所述仿射参数取得单元取得的仿射参数，对由所述摄像机以第2分辩率拍摄的图像中包含的各象素的坐标，进行仿射变换，校正该图像的倾斜。

3、根据权利要求2所述的图像处理装置，其特征在于：

还具备比例变换单元(206)，通过将由所述仿射参数取得单元取得的仿射参数的各要素变为规定倍数，将该仿射参数的比例从以所述第1分辩率拍摄的图像的比例变更为以所述第2分辩率拍摄的图像的比例。

4、根据权利要求1～3之一所述的图像处理装置，其特征在于，

所述校正用参数抽取单元(206)包含：

亮度频谱生成单元，对每个亮度计数包含于由所述摄像机以第1分辩率拍摄的图像中的象素数量，生成表示该图像的亮度分布的亮度频谱；

色差频谱生成单元，对每个色差计数包含于由所述摄像机以第1分辩率拍摄的图像中的象素数量，生成表示该图像的色差分布的色差频谱；和

图像效果校正用参数取得单元，根据由所述亮度频谱生成单元生成的亮度频谱，求出亮度的最大值、最小值和峰值，并根据由所述色差频谱生成单元生成的色差频谱，求出色差的峰值和平均值，取得由该亮度的最大值、最小值及峰值和该色差的峰值及平均值构成的图像效果校正用参数，

所述图像校正单元(203)包含亮度色差校正单元，使用由所述图像效果校正用参数取得单元取得的图像效果校正用参数，调整由所述摄像机以第2分辩率拍摄的图像中包含的各象素的亮度和色差，从而校正该图像的亮度和色差。

5、根据权利要求1～4之一所述的图像处理装置，其特征在于：

还具备校正用参数抽取请求单元，在由所述运动判断单元(206)判断为图像运动的情况下，请求所述校正用参数抽取单元从所述图像中抽取所述参数。

6、根据权利要求1～5之一所述的图像处理装置，其特征在于：

所述校正用参数抽取单元(206)包含校正用参数抽取通知单元，通知所述图像校正单元从所述图像中抽取所述参数。

7、根据权利要求1～6之一所述的图像处理装置，其特征在于：

所述校正用参数抽取单元(206)利用与所述运动判断单元的运动判断处理、所述分辩率设定单元的分辩率设定处理、和所述图像校正单元的图像校正处理所执行的任务不同的任务，执行所述参数的抽取处理。

8、根据权利要求1～7之一所述的图像处理装置，其特征在于：

所述运动判断单元(206)包含图像变化量算出单元，算出由所述摄像机拍摄的图像的变化量，

在由所述图像变化量算出单元算出的图像的变化量大于等于规定的阈值的情况下，判断为该图像运动，并在该图像的变化量不足规定的阈值的情况下，判断为该图像没有运动。

9、根据权利要求8所述的图像处理装置，其特征在于：

所述图像变化量算出单元算出前次拍摄的图像与这次拍摄的图像的各象素值差分的绝对值总和，作为所述图像的变化量。

10、一种图像投影装置，具备：

以规定分辩率拍摄图像的摄影单元(21)；

运动判断单元(206)，判断由所述摄影单元拍摄的图像是否运动；

分辩率设定单元(206)，在由所述运动判断单元判断为运动的情况下，对所述摄像单元设定第1分辩率，作为所述规定分辩率，在判断为没有运动的情况下，对该摄像单元设定比该第1分辩率高的第2分辩率；

校正用参数抽取单元(206)，从由所述摄像单元以第1分辩率拍摄的图像中，抽取用于校正该图像的参数；

图像校正单元(203)，使用由所述校正用参数抽取单元抽取出的参数，校正由所述摄像单元以第2分辩率拍摄的图像；和

投影单元(2)，将由所述图像校正单元校正过的图像投影到屏幕上。

11、一种图像处理方法，具备如下步骤：

运动判断步骤(步骤S7)，判断由摄像机以规定分辩率拍摄的图像是否运动；

分辩率设定步骤(步骤S2～S12)，在由所述运动判断步骤判断为运动的情况下，对所述摄像机设定第1分辩率，作为所述规定分辩率，在判断为没有运动的情况下，对该摄像机设定比该第1分辩率高的第2分辩率；

校正用参数抽取步骤(步骤S37)，从由所述摄像机以第1分辩率拍摄的图像中，抽取用于校正该图像的参数；和

图像校正步骤(步骤S17)，使用由所述校正用参数抽取步骤抽取的参数，校正由所述摄像机以第2分辩率拍摄的图像。

12、一种存储介质，存储用于使计算机执行以下步骤的程序，所述步骤包括：

运动判断步骤(步骤S7)，判断由摄像机以规定分辩率拍摄的图像是否运动；

分辩率设定步骤(步骤S2～S12)，在由所述运动判断步骤判断为运动的情况下，对所述摄像机设定第1分辩率，作为所述规定分辩率，在判断为没有运动的情况下，对该摄像机设定比该第1分辩率高的第2分辩率；

校正用参数抽取步骤(步骤S37)，从由所述摄像机以第1分辩率拍摄的图像中，抽取用于校正该图像的参数；和

图像校正步骤(步骤S17)，使用由所述校正用参数抽取步骤抽取的参数，校正由所述摄像机以第2分辩率拍摄的图像。

Images