CN100414958C - 采集图像投影装置以及采集图像校正方法 - Google Patents

Abstract

书法/图画相机(3)图像采集文档并发送得到的采集图像到个人电脑(S101)。该个人电脑施加各种图像处理到采集图像，该图像处理诸如基于从采集图像获得的图像信息来校正包括梯形变形的各种变形，旋转处理，剪切处理等(S102到S104)。个人电脑发送处理的图像到投影仪(S105)。投影仪投影处理的图像到屏幕(S106)。由于是基于从采集图像获得的图像信息校正采集图像，可以在采集图像上不仅进行梯形变形的校正，而且可以进行各种其他校正。

Description

采集图像投影装置以及采集图像校正方法

发明领域

本发明涉及采集图像投影装置以及采集图像的校正方法。

技术背景

最近，在展示，会议等中使用投影仪以在屏幕上扩大地投影存储在个人电脑中的文档(字符以及图等)。投影仪通常具有使用诸如液晶、微反射镜阵列等的图像转换元件，用于将从个人电脑等获得的文档的图像信息转换为投影光的结构。

在投影仪用于会议等的时候，除了在个人电脑中的文档，人们手头的书面材料(报纸、杂志上的文章、展示文件、书面文档等)也可能需要投影。在此情况下，由于需要数字化书面材料(需要转换为图像数据)，通过使用所谓的书法/图画相机(calligraphy/drawing camera)进行书面材料的图像采集。作为书法/图画相机，例如是使用了具有CCD以及MOS型图像采集元件的数字相机的结构。

在使用用于数字化的书法/图画相机图像采集书面材料的时候，就需要匹配文件的朝向以及书法/图画相机的朝向。例如，在图像采集之中，如果照相机倾斜，即，如果透镜的中心轴并不垂直于书面材料，得到的采集图像就具有梯形变形并不可能是矩形图像。解决这个问题的方法在例如未审查的日本专利申请公开出版物No.2002-354331(图6)中披露。依照这种方法，在其中相机单元由文档托板的支撑柱支撑的一种图像采集装置中，设置有角度探测传感器，用于探测相机单元相对于文档托板的倾斜角。通过使用角度探测传感器探测的倾斜角度，校正采集图像中的梯形变形。

然而，依照这种仅基于相机单元倾斜角度校正采集图像的方法，在投影之前采集图像的校正仅限于梯形变形的校正。例如，在图像采集书面材料以投影该材料到屏幕的时候，就很难与相机的成像范围准确地匹配拍摄对象(书面材料)的尺寸，朝向等。如果在此情况下需要除了梯形变形校正之外的校正，上述方法就不能校正采集图像。

此外，依照上述方法，在没有将书面材料安装在文档托板上，并通过调整相机单元的朝向而完成了大尺寸书面材料的图像采集的情况下，如果书面材料倾斜，就很难获得相机单元准确的倾斜角度，即，相对于书面材料的准确图像采集角度。因此，在此情况下，就有这样一种问题，其中不能正确地校正采集图像的梯形变形。

发明内容

考虑上述情形作出本发明，并且本发明涉及采集图像投影装置以及采集图像校正方法，其可以处理投影之前调整采集图像必须的各种校正，以及可以执行准确的校正。

根据本发明第一方面的一种采集图像投影装置包括：投影部分(1)其投影通过图像采集书面材料获得的采集图像到屏幕上；获得部分(2)其从采集的图像获得预定的图像信息；以及校正部分(2)其基于获得部分(2)获得的预定图像信息校正采集的图像。

依照本发明第二方面的采集图像投影装置包括：投影部分(1)，其投影预定图像采集装置获得的书面材料的采集图像到荧光屏上；图像采集角度获得部分(2)，其通过使用同样的图像采集装置在图像采集装置图像采集书面材料之前，基于图像采集相对于该书面材料的另一拍摄对象所获得的采集图像，获得与对该另一拍摄对象图像采集的角度一样的图像采集角度；以及校正部分(2)，其基于图像采集角度获得部分(2)获得的图像采集角度，校正书面材料的采集图像的倾斜。

依照本发明第三方面的采集图像投影装置是用于通过相机托板支持的相机进行书面材料的图像采集，并将图像采集获得的采集图像投影到屏幕上，还包括：第一倾斜角度探测部分(3)，其探测相机的倾斜角度，该倾斜角度是相机的图像采集方向以及垂直线所产生的；第二倾斜角度探测部分(3)，其探测相机托板的倾斜角度，该倾斜角度是向相机托板画的竖直线以及该垂直线所产生的；计算部分(2)，其基于第一和第二倾斜角度探测部分(3)探测的相机倾斜角度以及相机托板倾斜角度，计算相机对于书面材料的图像采集角度；以及校正部分(2)，其基于计算部分(2)计算的图像采集角度，校正采集图像的倾斜。

依照本发明第四方面的采集图像校正方法，用于投影图像采集书面材料获得的采集图像到屏幕上的采集图像投影装置，并包括：从采集图像获得包括在采集图像中的预定图像信息的步骤；以及基于获得的预定图像信息校正采集图像的步骤。

依照本发明第五方面的程序，用于控制计算机，其包括在用于投影图像采集书面材料获得的采集图像到屏幕上的采集图像投影装置中，用作：获得部分(2)，其从采集图像获得预定图像信息；以及校正部分(2)，其基于获得部分(2)获得的图像信息校正采集的图像。

依照本发明第六方面的采集图像校正方法，用于由相机图像采集书面材料以及投影图像采集获得的采集图像到屏幕上的采集图像投影装置，并包括：以同样的图像采集角度，在对书面材料图像采集之前由相机对另一拍摄对象图像采集的步骤；基于由对另一拍摄对象的图像采集获得的采集图像，预先获得图像采集角度的步骤；以及基于预先获得的图像采集角度，对书面材料图像采集获得的采集图像校正倾斜的步骤。

依照本发明第七方面的程序产品，用于控制计算机，其包括在投影由相机获得的书面材料的采集图像到屏幕上的采集图像投影装置中，用作：图像采集角度获得部分(2)，其通过使用同一相机，在对书面材料进行图像采集之前，基于通过对书面材料之外的另一拍摄对象进行图像采集获得的采集图像，获得与对该另一拍摄对象的图像采集角度一样的图像采集角度；以及校正部分(2)，其基于图像采集角度获得部分(2)获得的图像采集角度，校正书面材料采集图像的倾斜。

依照本发明第八方面的采集图像校正方法，用于由相机托板支持的相机对书面材料图像采集，并投影图像采集获得的采集图像到屏幕上的采集图像投影装置，并包括：探测相机倾斜角的步骤，该倾斜角度是相机的图像采集方向以及垂直线所产生的，以及探测相机托板的倾斜角，该倾斜角是从相机向相机托板画的竖直线与垂直线所产生的；计算步骤，其基于探测的相机倾斜角度以及相机托板倾斜角度，计算相机对于书面材料的图像采集角度；以及校正步骤，其依照计算的图像采集角度，校正通过相机由书面材料的图像采集获得的采集图像的倾斜角。

依照本发明第九方面的程序产品，用于控制计算机，其包括在由相机托板支持的相机对书面材料图像采集并投影图像采集获得的采集图像到屏幕上的采集图像投影装置中，用作：计算部分(2)，其基于相机的图像采集方向以及垂直线所产生的相机倾斜角度，以及从相机向相机托板画的竖直线与垂直线所产生的相机托板倾斜角度，计算相机对于书面材料的图像采集角度；以及校正部分(2)，其基于计算部分(2)计算的图像采集角度，校正采集图像的倾斜。

附图简述

本发明的这些和其他目的以及优势在阅读附图和后面的详细描述的基础上将变得更加显而易见，其中：

图1是本发明每个实施例中共同的采集图像投影装置的结构图；

图2是示出图1采集图像投影装置的示意性电结构的框图；

图3是示出本发明第一到第十实施例书法/图画相机的示意性电结构的框图；

图4是示出每个实施例共同的采集图像投影装置基本操作的流程图；

图5是第一实施例的PC进行的矩形转换处理过程的流程图；

图6A至6C是PC进行的矩形转换处理的示例性图；

图7A至7E是PC进行的矩形转换处理中形状转换内容的示例性图；

图8是PC进行的纵横比转换处理的过程的示例性图；

图9A至9D是示出PC进行的纵横比转换处理的内容的示例性图；

图10是示出PC进行的纵横比转换处理完成之后的操作的流程图；

图11A至11D是示出PC执行的剪裁处理内容的示例性图；

图12是是示出第二实施例中PC执行的方向探测处理的内容的流程图；

图13A至13C是示出在采集图像中产生的变形的原因，以及变形产生的状态的示例性图；

图14是示出依照第三实施例获得图像采集角度过程的流程图；

图15A至15B是示出获得图像采集角度的时候书法/图画相机状态的示例性图；

图16是示出第四实施例获得图像采集角度的过程的流程图；

图17A至17B是示出获得图像采集角度的时候书法/图画相机状态的示例性图；

图18是示出第五实施例用PC进行的旋转校正处理的过程的流程图；

图19是示出采集图像扫描方向顺序的示例性图；

图20A和20B是示出文档、扫描方向以及边缘分布之间的关系的示例性图；

图21A和21B是示出在边缘分布不正常的情况下，文档、扫描方向以及边缘分布之间的关系的示例性图；

图22是示出第六实施例的PC进行的旋转校正处理过程的流程图；

图23A到23C是示出第六实施例的PC进行的旋转校正处理的示例性图；

图24是示出第七实施例的PC进行的旋转校正处理过程的流程图；

图25A到25C是示出第七实施例的PC进行的旋转校正处理的示例性图；

图26是示出第八实施例的PC的操作流程图；

图27A到27B是示出第八实施例的PC进行的操作示例性图；

图28是示出第九实施例的PC的操作流程图；

图29A到29B是示出第九实施例的PC进行的操作示例性图；

图30是示出第十实施例的PC的操作流程图；

图31A到31B是示出第十实施例的PC进行的操作示例性图；

图32是示出本发明第十一实施例书法/图画相机示意性电结构的框图；

图33是示出依照第十一实施例的PC执行的图像采集角度获得处理的内容的流程图；以及

图34示出获得图像采集角度的时候书法/图画相机的状态的示例性图。

发明详述

参照附图描述本发明一个实施例。

(第一实施例)

采集图像投影装置包括投影仪1、便携式个人计算机(此后称作PC)2、书法/图画相机3，如图1所示的结构图一样。投影仪1和PC 2通过RGB电缆4连接。PC 2和书法/图画相机3通过USB电缆5连接。

将投影仪1构成为使得其中存储有诸如投影透镜等光学系统的投影单元1A设置在投影仪机身的前表面上。诸如投影透镜等的光学系统，存放在投影单元1A中。通过从投影单元1A照射光线，投影仪1投影文档和图像到屏幕S上(或白板等上)。

书法/图画相机3包括相机托板3A，支撑柱3B，其设置为站在相机托板3A之上，以及相机3C，设置在支撑柱3B的顶端。相机3C设置为使得可以向上和向下以及向左和向右旋转。在使用书法/图画相机3的时候，诸如报纸、杂志的文章、展示文件，书面文档等的书面材料A安装在所示的相机托板3A上，并由相机3C进行图像采集(成像，拾取)。

投影仪1主要包括CPU 11，ROM 12，RAM 13，显示单元14，按键输入单元15，其示意电结构如图2所示。此外，投影仪具有用于RGB信号的输入终端16，且RGB电缆4连接到输入终端16。

显示单元14是依照本发明的投影部分。显示单元14包括诸如氪灯等的光源，诸如液晶、微反射镜阵列等的图像转换元件，驱动电路，以及诸如投影透镜等的光学系统。显示单元14将文档以及从PC 2发送的采集图像投影到屏幕S上。图像转换元件用于转换来自光源的光成为投影光，且驱动电路用于依照输入终端16输入的RGB信号驱动图像转换元件。按键输入单元15包括多个操作按钮，用于接收用户对投影仪1的操作。

CPU 11依照存储在ROM 12中的程序而操作，并且通过使用RAM 13作为工作存储器而控制上述每个部件。输入终端16设置在未示出的与CPU 11连接的输入图像处理电路中。

PC 2主要包括CPU 21，RAM 22，存储设备23，诸如多个设置在PC 2机身上的按键以及连接到机身的鼠标等的输入设备24，以及显示设备25，其包括LCD以及驱动电路等。此外，PC 2具有连接RGB电缆4的RGB输出终端26，以及连接有USB电缆5的USB连接终端27。

存储设备23包括具有相对较大存储容量的硬盘等。图像处理程序以及图像显示程序存储在存储设备23中。图像处理程序是用于在采集的图像上执行随后描述的各种图像处理的程序。图像显示程序是用于基于在显示设备25上的图像数据显示图像或使得投影仪1投影图像的程序。RGB输出终端26设置在未示出的图像信号处理电路中，该电路连接到CPU 21。USB连接终端27设置在未示出的USB输入/输出接口电路中，该接口电路连接到CPU 21。

图3是示出书法/绘图相机3电结构的框图(本实施例中主要是相机3C)。书法/绘图相机3(本实施例中主要是相机3C)包括CCD 31以及信号处理单元32，如图3所示的电结构一样。CCD 31是通过未示出的透镜对书面材料A成像的成像元件。信号处理单元32施加各种信号处理到CCD 31输出的模拟成像信号上，随后输出信号作为数字图像信号。信号处理单元32输出的图像信号发送到LCD 33，并在书法/绘图相机3在图像采集待机状态的时候，于其上显示拍摄对象图像。在书法/绘图相机3在图像采集状态的时候，由CPU 34依照诸如JPEG的预定格式压缩图像信号并存储在图像存储器35中。此外，图像信号经过USB电缆5从USB接口36输出到PC 2。

如果出现需要，由CPU 34读取存储在图像存储器35中的压缩图像数据。读取的图像数据被扩展并随后再现，并在LCD上显示为静止图像，或输出到PC 2上。图像存储器35是非易失性存储器，诸如闪存存储器等，其建在相机3C内或可以从相机3C上拆卸。此外，书法/绘图相机3包括ROM 37，RAM 38，以及按键输入单元39。CPU34执行图像数据压缩以及扩展或控制整个设备所需要的各种控制程序存储在ROM 37中。RAM 38是CPU 34的工作存储器。按键输入单元39包括快门键以及很多其他操作键。

具有上述结构的采集图像投影装置的操作概述将在下面参照图4所示流程图描述。

在采集图像投影装置中，书法/图画相机3图像采集任意文档等(书面材料A)，并输出采集文档的图像数据到PC 2(步骤S101)。PC 2通过在输入图像数据上执行诸如变形校正处理、旋转处理、剪裁处理等的各种图像处理，校正采集图像(步骤S102到S104)。随后，依照显示程序，PC 2输出处理的图像数据到投影仪1(步骤S105)。PC 2依照需要执行部分或全部图像处理。基于从PC 2输入的图像数据，投影仪1投影文档等的采集图像到屏幕S上(步骤S106)。

下面，将要描述依照本实施例，通过调整书法/绘图相机3采集的书面材料A的采集图像，用于投影该图像到屏幕S上的操作。

在采集图像投影装置中，在从书法/绘图相机3输出采集图像到PC 2的时候，PC 2执行矩形转换处理。矩形转换处理是校正采集图像变形的处理，并将图像的形状转换成矩形。将参照示出处理过程流程图的图5描述矩形转换处理，并且图6A至6C示出说明该过程的图。

PC 2依照颜色和亮度的变化识别采集图像G1的边缘(步骤S111，图6A)。PC 2从识别的边缘寻找靠近采集图像G1外边缘的四边L1到L4的直线M1到M4(步骤S112，图6B)。PC 2进一步寻找直线M1到M4的交点，即四个顶点(步骤S113)。如图7A到7E所示，PC2将四个顶点形成的四边形作为采集图像G1中的书面材料区域GA。随后，PC 2以这样一种方式转换书面材料区域GA的形状，使得区域GA的四个顶点移动到围绕书面材料区域GA的最小矩形B的四个顶点上(步骤S114，图6C)。因此，在书面材料区域GA中获得的图像G2是相对于矩形校正变形形状的结果(此后此变形将称作矩形变形)。不必说，在书面材料区域GA的矩形变形是梯形变形的情况下，通过上述处理校正变形。

随后，PC 2执行纵横比转换处理，与在图8的流程图中所示的处理一样。在此处理中，接收到用户选择纸张的操作的时候，PC 2执行纸张设定(步骤S121)。如果用户没有在这个步骤选择常规纸张，就结束纵横比转换处理。在选择常规纸张并且纸张按长度方向设置的时候(步骤S122以及步骤S123：都为是)，PC 2设置纵横比为“1.41∶1”(步骤S124)。相反，如果纸张按照宽度方向设置(步骤S123：否，步骤S125：是)，PC 2设置纵横比为“1∶1.41”(步骤S126)。

此后，通过设置任一个纵横比，PC 2转换经过矩形变形校正的书面材料区域GA(步骤S127)。在此处理中，在上述矩形转换处理中，PC 2基于转换中使用的最小矩形B的四个顶点的坐标数据，执行转换。例如，在指定了常规纸张按宽度方向放置的时候，通过在竖直方向扩展区域GA，PC 2转换书面材料区域GA，使得区域GA的纵横比为“1∶1.41”，如图9所示。在指定了常规纸张按长度方向放置的时候，通过在水平方向扩展区域GA，PC 2转换书面材料区域GA，使得区域GA的纵横比为“1.41∶1”。结果，PC 2获得图像G3，其中书面材料区域GA具有常规纸张的纵横比。

此后，如图10的流程图所示，PC 2从图像G3剪切对应于纸张的区域(步骤S131)，其中该区域已经经受了基于图11所示矩形转换中的转换所使用的最小矩形B的四个顶点的坐标数据的上述转换(步骤S114)。随后，PC 2将调整之后获得的、仅包括剪切图像的图像G4，即，书面材料区域GA发送到显示软件(步骤S132)，使得在显示设备25上显示图像G4。

由于这样，在由书法/图画相机3图像采集书面材料A并投影到屏幕S上的时候，就可以在屏幕S上投影不具有矩形变形且没有不需要的边框图像的很好的采集图像。

(第二实施例)

下面，将描述本发明的第二实施例。在本实施例中，与第一实施例不同，具有与图1至图3所示同样结构的采集图像投影装置探测：在调整书面材料A的采集图像的时候，采集图像中的书面材料A是按长度方向放置或是按宽度方向放置。

在本实施例中，PC 2具有获得书法/图画相机3的透镜的角度(此角度随后称作视角)的功能，其中图像采集在书面材料A的时候，书面材料A完全落在相机3的成像范围内，并具有获得从书法/图画相机3输出的图像的分辨率的功能。在PC 2的存储设备23中，存储有将在下面描述的控制PC 2执行方向探测处理的程序。

PC 2进行的方向探测处理将参照图12所示流程图说明。PC 2首先获得书法/图画相机3的视角(步骤S141)。随后，PC 2获得图像数据的分辨率(步骤S142)。随后，PC 2从采集图像获得对应于纸张(书面材料区域GA)的四边形的四个顶点(步骤S143)。此处理和第一实施例中描述的矩形转换处理一样(参见图5)。

下面，通过使用先前获得的视角和分辨率，PC 2基于获得的四个顶点的坐标计算图像中的变形量(步骤S144)。此处理的计算方法将在下面描述。通常，如图13A所示，从右上侧看纸张的时候，如果在书法/图画相机3的相机3C处于离开该纸张的位置的状态下，倾斜地对纸张(书面材料A)图像采集，就产生了图像的变形。采集图像中，对应于纸张的区域(书面材料区域GA)看上去象是图13B中所示的梯形。图13C中示出此时从该侧观看的书法/图画相机3。

如图13A到13C所示，其中：

相机的视角表示为α，

图像的分辨率表示为H(像素值)，

纸张区域上侧的长度表示为L(像素值)，

纸张区域下侧的长度表示为M(像素值)，以及

纸张区域的高度表示为HT(像素值)，

对应于纸张区域的视角内的角度β表示为β＝α×HT/H，以及相机的倾斜表示为Δ。

在此情况下建立了下面的[表达式1]。

[表达式1]

$\frac{L}{M}=\frac{\cos (\mathrm{\β}+\mathrm{\Δ})}{\cos (\mathrm{\β}-\mathrm{\Δ})}$

Δ从[表达式1]得到。

得到Δ之后，相对于下侧长度M的纸张高度N从下面所示的[表达式2]得到。

[表达式2]

$N=\mathrm{HT}*\frac{\tan (\mathrm{\β}+\mathrm{\Δ})+\tan (\mathrm{\β}-\mathrm{\Δ})}{\tan \left(\mathrm{\β}\right)*2}$

随后，PC 2将上述方式计算的变形量分别加到纸张区域高度的长度以及宽度的长度之上(步骤S145)。在此相加之后，如果高度的长度大于宽度的长度(步骤S146：是)，PC 2确定书面材料A是按长度方向放置的(步骤S147)。相反的，如果高度的长度不大于宽度的长度(步骤S146：否)，PC 2确定书面材料A是按宽度方向放置的(步骤S148)。

如上所述，依照本实施例，可以自动探测书面材料A是按长度方向设置的或是按宽度方向放置的。因此，可以执行上述采集图像的调整而不必用户指定书面材料A的朝向。

(第三实施例)

下面将描述本发明的第三实施例。本实施例涉及具有与图1至图3所示一样结构的采集图像投影装置使用的方法，用于自动获得用于调整上述书面材料A的采集图像的图像采集角度。在本实施例中，PC 2具有获得在图像采集书面材料A的时候书法/图画相机3的视角，以及从书法/图画相机3输出的图像的分辨率的功能。此外，控制PC2执行随后描述的倾斜测量处理的程序存储在PC 2的存储设备23中。

下面，参照图14的流程图描述采集图像投影装置获得图像采集角度的过程。注意到，步骤S151到S153由用户的操作执行，步骤S154到S156由PC 2执行(自动)。首先，作为预备步骤，用户在从书法/图画相机3的相机3C到相机托板3A绘制的竖直线VL所到达的点上，放置特定标志M(步骤S151)，如图15A和15B所示。图15A是示出放置标志M的书法/图画相机3状态的前视图，并且图15B是在同样状态的书法/图画相机3的左侧视图。下面，用户以这样一种方式设置相机3C的朝向，其中标志M出现在相机3C的成像范围之内(步骤S152)，且在此状态图像采集相机托板3A(步骤S153)。随后，用户操作PC 2开始倾斜测量处理。PC 2在采集图像G1上执行边缘识别，并获得标志M的位置(步骤S154)。注意到所获得的位置数据表示按像素顺序的坐标值。随后，PC 2计算标志M和采集图像G1中心的坐标之间的距离(像素数目)(步骤S155)。此后，基于书法/绘图相机3的视角，PC 2计算相机3C的倾斜，即，相对于相机托板3A上表面的图像采集角度(步骤S156)。

在此时执行的角度计算以下面所述方式进行。在图15B所示的情况下：

相机的视角表示为α，

圆弧AB的长度表示为L，以及

圆弧CD的长度表示为M，

将待计算的相机3C的倾斜(图像采集角度Δ)表示为(Δ)＝α×M/L。

此外，圆弧AB的长度(L)以及圆弧CD的长度(M)分别对应于采集图像G1的线段EF和线段GH。因此，相机3C的倾斜(Δ)通过下式得出：

倾斜(Δ)＝α×线段EF/线段GH。

因此，在本实施例中，采集图像投影装置可以通过使用以上述方法获得的图像采集角度(Δ)调节采集图像。即，采集图像投影装置通过使用图像采集角度(Δ)，在放置在相机托板3A上的书面材料A的采集图像的垂直方向和水平方向上执行梯形校正。由于这样，可以与在垂直图像采集书面材料A的时候，获得同样的图像。

(第四实施例)

下面，描述本发明的第四实施例。本实施例涉及具有与图1至图3所示一样结构的采集图像投影装置使用的方法，用于以不同于第三实施例的方式，自动获得用于调整书面材料A的采集图像的图像采集角度。在本实施例的采集图像投影装置中，书法/绘图相机3可以使得相机3C的高度相对于相机托板3A任意调节，并且PC 2可以获得关于高度的信息。此外，在PC 2的存储设备23中存储控制PC 2执行随后描述的倾斜测量处理的程序。

将参照图16的流程图描述本实施例的采集图像投影装置获得图像采集角度的过程。注意到步骤S161到S163是通过用户操作执行的，且步骤S164到S166是通过PC 2执行的(自动)。首先，作为预备步骤，如图17A和17B所示，用户准备纸张(基准纸张)T，其上印有表示X-Y坐标系的方块。用户将纸张放置在书法/图画相机3的相机托板3A上，并调整纸张的位置，使得从相机3C绘制的垂直线VL到达的点为原点O(0，0)(步骤S161)。图17A是正视图，示出纸张放置在正确位置上的时候，书法/图画相机3的状态，以及图17B是在同一状态下书法/图画相机3的左侧视图。用户任意设置相机3C的朝向(步骤S162)，且在此状态下图像采集纸张T(步骤S163)。随后，用户操作PC 2开始倾斜测量处理。PC 2首先在采集图像G1上执行边缘识别，并获得方块上边缘的坐标(步骤S164)。随后，PC 2通过像素数目获得采集图像G1中心坐标以及直角坐标原点O之间的距离(步骤S165)。随后，PC 2基于相机3C的距离和高度计算图像采集角度(步骤S166)。

角度的计算以下面所述的方式执行。在图17B中，其中：

相机的高度表示为H，以及

偏移量(采集图像G1中心的坐标以及直角坐标的原点O之间的距离)表示为W，

相机3C的倾斜(图像采集角度)Δ从倾斜Δ＝arctan(W/H)得到。

因此，依照本实施例，采集图像可以使用上述方式获得的图像采集角度(Δ)进行调整。即，通过使用图像采集角度(Δ)，采集图像投影装置对相机托板3A上放置的书面材料A的采集图像在垂直方向和水平方向执行梯形校正。由于这样，可以获得跟在垂直地图像采集书面材料A的时候所获得一样的图像。

(第五实施例)

将描述本发明的第五实施例。本实施例涉及具有与图1至图3所示一样结构的采集图像投影装置使用的方法，用于校正书面材料A的采集图像的朝向，其中该朝向由于书面材料A和相机3C之间的朝向差异而造成(旋转方向的倾斜)。控制PC 2执行随后描述的旋转校正处理的程序存储在PC 2的存储设备23中。

将参照图18的流程图描述PC 2执行的旋转校正处理的过程。例如依照第一实施例中描述的方法，PC 2校正从书法/图画相机3输入的采集图像中的矩形变形(步骤S181)。随后，以图19所示的预定顺序，PC 2在不同扫描方向检查校正的采集图像中字符串的边缘分布(marginal distribution)(步骤S182)。随后，PC 2检查在每次获得不同扫描方向之一的时候，获得的边缘分布是不是正常分布。在书面材料A中文档(字符串)是图20A所示的时候，如果采集的图像没有相对于扫描方向旋转，就可以获得如图20B所示的正常边缘分布E1。在采集图像相对于扫描方向旋转的时候，获得如图21A所示的不正常边缘分布E2。

在任何扫描线中获得正常边缘分布E的时候(步骤S183：是，图21B)，PC 2确定在此时的扫描方向角度作为校正角度(步骤S184)。此后，通过以校正角度旋转采集图像，PC 2校正采集图像的朝向(步骤S185)。因为这样，采集图像投影装置可以调整采集图像，使得文档D变为如图20A所示在水平方向上没有倾斜。通常，以大约两种不同方式写入文档，即，垂直写入方式以及水平写入方式(附图中所示方式)。例如，如果垂直写入文档，采集图像可以以这样一种方式调整，其中使得字符串变得垂直。

(第六实施例)

下面描述本发明第六实施例。本实施例涉及具有与图1至图3所示一样结构的采集图像投影装置使用的方法，用于以不同于第五实施例的方式，校正书面材料A的采集图像的朝向，其中该朝向由于书面材料A和相机3C之间的朝向差异而造成(旋转方向的倾斜)。控制PC 2执行随后描述的旋转校正处理的程序存储在PC 2的存储设备23中。

将参照图22的流程图描述PC 2执行的旋转校正处理的过程。例如依照第一实施例中描述的方法，PC 2首先校正从书法/图画相机3输入的采集图像G1中的矩形变形(步骤S191，图23A)。随后，依照颜色和亮度的变化，PC 2识别在校正的采集图像中的任何边缘(步骤S192)。随后，PC 2从识别的边缘中找出至少一条对应外边缘的线L(步骤S193，图23B)。随后，基于线L，PC 2获得图像的倾斜(步骤S194)。在此步骤获得的倾斜包括线L到垂直线的角度以及线L到水平线的角度之中较小的一个，以及角度的旋转方向。通过基于获得的倾斜值(角度和旋转方向)旋转采集图像G1，PC 2调整采集图像G1为垂直或水平的(步骤S195，图23C)。

因此，即使在书面材料不是文档的时候，并且此外是不包括字符的图片或照片的时候，通过以这样一种方式图像采集书面材料A，使得该材料的一个侧边包括在该采集图像之中，采集图像投影装置就可以自动获得调整的采集图像G2。

(第七实施例)

下面描述本发明第七实施例。本实施例涉及具有与图1至图3所示一样结构的采集图像投影装置使用的方法，用于以不同于第五和第六实施例的方式，校正书面材料A的采集图像的朝向，其中该朝向由于书面材料A和相机3C之间朝向的差异而造成(旋转方向的倾斜)。控制PC 2执行随后描述的旋转校正处理的程序存储在PC 2的存储设备23中。此外，包括使用OCR(光学字符识别)等的预定字符识别程序，用于从存储设备23中存储的图像中提取并识别字符。

将参照图24的流程图描述PC 2执行的旋转校正处理的过程。PC2从经受依照例如第一实施例描述的方法的矩形变形校正之后的采集图像G1中，提取具有字符的图像区域Ga(步骤S201，图25A)。通过将整个采集图像G1作为其中有字符的区域，可以忽略这个步骤。随后，通过将提取的区域Ga分四次每次逐步旋转90°，PC 2执行字符识别(步骤S202)，并获得可以正确识别字符的角度(步骤S203，图25B)。图像区域Ga的提取以及字符的识别通过从存储设备23读取上述字符识别程序而执行。PC 2以获得角度旋转整个采集图像G1(步骤S204，图25C)。因此，依照本实施例，采集图像投影装置可以获得其中字符的朝向正确的调整过的采集图像G2。

(第八实施例)

下面描述本发明第八实施例。依照本实施例，以具有与图1至图3所示一样结构的采集图像投影装置执行图26的流程图所示的处理，以调节书面材料A的采集图像。执行该处理的程序存储在PC 2的存储设备23中。

在本实施例中，PC 2首先依照颜色和亮度的变化识别采集图像G1中的任意边缘(步骤S211)，并确定在识别的边缘中是否有周围的四边。如果确定可以找到这四边(步骤S212：是)，PC 2依照第一实施例中描述的方法从识别的边缘获得周围的四条线以及四个顶点。此后，PC 2依照在前面实施例中描述的处理，获得采集图像G1中仅包括书面材料区域(纸张区域)的图像G2(步骤S213，图27A)。

在不能找到四边的情况下，即不能在识别边缘中识别周围的四边的时候(步骤S212：否)，PC 2执行下述处理。首先，如图27B所示，用户通过鼠标的操作等直接指定采集图像G1中纸张区域的四个顶点，以使得PC 2获得四个顶点的位置(步骤S214)。此后，PC 2转换具有该四个顶点的四边形(纸张区域)成为环绕该四边形的最小矩形(步骤S215)。

因此，依照本实施例，甚至在书面材料区域和周围区域的颜色和亮度之间的区别较小，且不能从识别出的边缘识别出周围四边的时候，采集图像投影装置可以通过简单的处理获得调整的采集图像G1。

(第九实施例)

将描述本发明的第九实施例。本实施例涉及例如上述第三到第七实施例的采集图像投影装置中PC 2的处理，用于以上述方法对此采集图像执行矩形变形校正或倾斜校正之后，从没有完全落在相机3C成像区域之内的书面材料A的采集图像中剪切所需要的区域。

在本实施例中，如图28的流程图所示，依照用户的操作，PC 2接收在校正(变形)之后用户指定对应于图像G2中所需要区域的矩形区域(步骤S221)。需要区域的指定由用户使用鼠标操作在矩形区域同一对角线上指定两个顶点而完成，其中该矩形区域是用户希望投影的区域。随后，PC 2从图像G2剪切指定的区域(步骤S222)。随后，PC2发送表示剪切区域的图像GB到显示软件(步骤S223，图29B)，使得在显示设备25上显示图像GB。

因此，可以对通过没有完全落在成像范围内的书面材料A进行的图像采集所获得采集图像进行最终调整。

(第十实施例)

将描述本发明的第十实施例。本实施例也涉及例如上述第三到第七实施例的采集图像投影装置中PC 2的处理，用于以上述方法对此采集图像执行矩形变形校正或倾斜校正之后，从没有完全落在相机3C成像区域之内的书面材料A的采集图像中剪切所需要的区域。

在本实施例中，如图30的流程图所示，依照用户的操作，PC 2接收在校正(变形)之后用户指定对应于图像G2中所需要区域的多边形区域(步骤S231)。需要区域的指定由用户使用鼠标操作指定多边形区域的每个顶点而完成，其中该多边形区域是用户希望投影的区域。随后，PC 2从图像G2剪切环绕该指定多边形区域的最小矩形(步骤S232)。随后，PC 2删除(或使得其变成白色)对应于在剪切区域中用户没有指定的部分的区域GC(步骤S233)，并发送表示步骤S232剪切的区域的图像GB到显示软件(步骤S234，图31B)，使得在显示设备25上显示图像GB。

因此，可以对通过没有完全落在成像范围内的书面材料A进行的图像采集所获得采集图像进行最终调整。此外，采集图像投影装置可以处理这样一种情况，其中用户需要的区域不是矩形的。

(第十一实施例)

将描述第十一实施例。本实施例涉及自动获得图像采集角度的方法，用于准确并实时调整书面材料A的采集图像。在本实施例中，采集图像投影装置具有与图1至图3所示一样的结构，还包括固定到相机3C上的第一重力传感器40，以及固定到相机托板3A上的第二重力传感器41，如图32所示。控制PC 2执行下面描述的图像采集角度获得处理的程序存储在PC 2的存储设备23中。

将参照图33的流程图描述本实施例中PC 2进行的图像采集角度获得处理的内容。PC 2从添加到相机3C的第一重力传感器40获得垂直方向L1(步骤S251)，并获得相机3C相对于垂直方向L1的角度α(步骤S252)。随后，PC 2从添加到相机托板3A的第二重力传感器41获得垂直方向L2(步骤S253)，并获得相机托板3A相对于垂直方向L2的角度β(步骤S254)。此后，通过从相机3C的倾斜角度α减去相机托板3A的倾斜角度β，PC 2获得相机3C真正的倾斜角度Δ(图像采集角度)(步骤S255)。

因此，依照本实施例，采集图像投影装置可以通过使用上述方式获得的图像采集角度(Δ)调整采集图像。即，通过使用图像采集角度(Δ)，对于在相机托板3A上放置的书面材料的采集图像，在水平方向和垂直方向执行梯形校正。由于这样，可以获得与垂直地图像采集书面材料A所获得一样的图像。

此外，采集图像投影装置可以自动准确并实时地获得图像采集角度(Δ)，而没有第三或第四实施例所述的对用户不便的预备步骤。

在上述步骤中，已经说明了采集图像投影装置，其中本发明的投影部分通过使得投影仪1实现，且本发明的校正部分由PC 2实现。在此描述中，各种涉及采集图像的校正由PC 2执行。然而，本发明并不限于此，而是上述各种图像处理可以由投影仪1和书法/图画相机3执行。在此情况下，可以不使用PC 2。此外，投影仪1和书法/图画相机3可以是一体的。

每个上述实施例可以不必分开实现，而是可以结合实现。

如上所述，依照本发明，由于基于从采集图像获得的图像信息校正采集图像，因此不仅可以对采集图像执行梯形变形校正，还可以执行各种校正。由于这样，可以在投影之前处理采集图像调整所需的各种校正。

此外，依照本发明，可以基于直接从采集图像获得的正确图像采集角度而校正采集图像的倾斜。因为这样，就可以在投影之前在采集图像上准确执行校正。

此外，依照本发明，甚至在书面材料没有放置在相机托板上且相机托板倾斜的情况下，获得采集图像的时候，可以获得正确的图像采集角度。由于这样，投影之前，可以对相机托板支持的相机所获得采集图像准确地执行校正。

不脱离本发明的精神和范围，可以作出各种实施例和变化。上述实施例意图说明本发明，而不是限定本发明的范围。本发明的范围由所附权利要求而不是实施例表示。本发明权利要求所等同的、以及权利要求范围内的含义之中的各种变化应该认为在本发明范围之内。

本申请基于2003年6月2日提交的日本专利申请No.2003-157384的说明书，权利要求，附图以及摘要。在此一并包含上述日本专利申请公开的全部内容作为参考。

Claims (14)

1. 一种采集图像投影装置，包括：

投影部分(1)，其将对书面材料图像采集获得的采集图像投影到屏幕上；

获得部分(2)，其从该采集图像获得预定图像信息；以及

校正部分(2)，其基于所述获得部分(2)获得的该预定图像信息，校正该采集图像的倾斜。

2. 根据权利要求1的采集图像投影装置，其中所述校正部分(2)校正表示该采集图像内书面材料的图像区域的变形，并且将该图像区域转换为矩形。

3. 根据权利要求1的采集图像投影装置，其中该校正部分(2)通过改变该图像区域的纵横比，校正表示该采集图像内书面材料的图像区域的变形。

4. 根据权利要求1的采集图像投影装置，其中该预定图像信息是关于该采集图像中边缘的信息。

5. 根据权利要求1的采集图像投影装置，其中该校正部分(2)包括确定部分(2)，其基于该预定图像信息，确定被图像采集的该书面材料的朝向。

6. 根据权利要求5的采集图像投影装置，其中：

该预定图像信息是字符识别信息；以及

所述确定部分(2)确定在至少该图像区域旋转若干角度的时候，是否可以在表示该采集图像内书面材料的图像区域中识别字符，并基于此确定，确定该图像采集的书面材料的朝向。

7. 根据权利要求1的采集图像投影装置，其中：

该预定图像信息是表示该采集图像内书面材料的图像区域的边缘分布；以及

所述校正部分(2)包括倾斜角度获得部分(2)，其基于通过改变扫描方向获得的若干边缘分布，获得该采集图像的倾斜角度，并且基于所述倾斜角度获得部分(2)所获得的该倾斜角度，校正该采集图像的倾斜。

8. 根据权利要求1的采集图像投影装置，还包括

剪切部分(2)，其剪切经过所述校正部分(2)校正后的该采集图像中的该书面材料对应的图像区域。

9. 根据权利要求1的采集图像投影装置，还包括：

指定接收部分(2)，其在所述校正部分(2)校正之后的该采集图像被剪切的时候，从用户接收被剪切区域的指定；以及

剪切部分(2)，其从校正后的该采集图像中，剪切所述指定接收部分(2)接收的所指定的待剪切区域。

10. 一种采集图像投影装置，包括：

投影部分(1)，其将预定图像采集装置所获得的书面材料的采集图像投影到屏幕上；

图像采集角度获得部分(2)，在X-Y坐标的原点位于从所述图像采集装置引出的垂直线上的状态下，基于在所述图像采集装置图像采集该书面材料之前使用同一图像采集装置图像采集该书面材料之外的、其X-Y坐标图像可以识别的另一拍摄对象而获得的采集图像，获得与图像采集该另一拍摄对象的角度一样的图像采集角度；以及

校正部分(2)，其基于所述图像采集角度获得部分(2)获得的该图像采集角度，校正该书面材料的采集图像的倾斜。

11. 一种采集图像投影装置，用于由相机托板支撑的相机图像采集书面材料，并投影该图像采集获得的采集图像到屏幕上，所述装置包括：

第一倾斜角度探测部分(3)，其探测所述相机的倾斜角度，其中该倾斜角度是由所述相机的图像采集方向与垂直线所产生的；

第二倾斜角度探测部分(3)，其探测所述相机托板的倾斜角度，其中该倾斜角度是由向所述相机托板绘制的竖直线与该垂直线所产生的；

计算部分(2)，其基于所述第一和第二倾斜角度探测部分(2)探测的所述相机的倾斜角度和所述相机托板的倾斜角度，计算所述相机到该书面材料的图像采集角度；以及

校正部分(2)，其基于所述计算部分(2)计算的该图像采集角度，校正该采集图像的倾斜。

12. 一种用于采集图像投影装置的采集图像校正方法，该采集图像投影装置投影图像采集书面材料获得的采集图像到屏幕上，所述方法包括：

从该采集图像获得该采集图像中包括的预定图像信息的步骤；以及

基于该获得的预定图像信息，校正该采集图像的倾斜的步骤。

13. 一种用于采集图像投影装置的采集图像校正方法，该采集图像投影装置由相机图像采集书面材料并投影该图像采集获得的采集图像到屏幕上，所述方法包括：

在图像采集该书面材料之前，由所述相机以相同的图像采集角度图像采集其X-Y坐标图像可以识别的另一拍摄对象的步骤；

在X-Y坐标的原点位于从所述图像采集装置引下的垂直线上的状态下，基于图像采集其X-Y坐标图像可以识别的另一拍摄对象而获得的采集图像，预先获得该图像采集角度的步骤；以及

基于该预先获得的图像采集角度，校正通过图像采集该书面材料获得的采集图像中的倾斜的步骤。

14. 一种用于采集图像投影装置的采集图像校正方法，该采集图像投影装置由相机托板支撑的相机图像采集书面材料并投影该图像采集获得的采集图像到屏幕上，所述方法包括：

探测步骤，探测所述相机的图像采集方向和垂直线产生的所述相机的倾斜角，以及由所述相机向所述相机托板绘制的竖直线与垂直线所产生的所述相机托板的倾斜角度；

计算步骤，基于探测到的所述相机倾斜角度以及所述相机托板倾斜角度，计算所述相机到该书面材料的图像采集角度；以及

校正步骤，依照该计算的图像采集角度，校正由所述相机图像采集该书面材料获得的该采集图像的倾斜。

Images