CN101335832A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明公开了一种图像处理装置，其包括：连接单元，其连接投影装置和摄影装置，所述投影装置和所述摄影装置中至少一个的位置可调整；取得单元，其取得所述摄影装置的拍摄图像，所述摄影装置拍摄由所述投影装置投影的、指示所述投影装置的有效投影范围的标准图案；颜色转换单元，其从所述拍摄图像中提取所述标准图案，并对所提取的标准图案执行颜色转换；放大/缩小单元，其根据所述摄影装置的最大有效拍摄范围与所述投影装置的有效投影范围之间的比率放大或缩小所述颜色转换后的标准图案；叠加单元，其将所述放大或缩小后的标准图案叠加到投影前的标准图案上；以及输出单元，其将由所述叠加单元叠加后的标准图案输出到所述投影装置。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及图像处理装置和图像处理方法。

背景技术

已知有这样的图像输入/输出装置，其确定写在拍摄对象上的信息是否与预定的参考信息相同，并且用投影单元投影出指示确定结果的信息(例如，见日本专利申请公开No.2006-4010)。

还已知有这样的投影仪系统，其可以根据投影面的状态生成正确的图像(例如，见日本专利申请公开No.2004-109246)。

所述图像输入/输出装置和投影仪系统中都包括摄影装置和投影装置。

然而，在日本专利申请公开No.2006-4010中公开的结构中，所述摄影装置和投影装置被包括在一个壳体中。在日本专利申请公开No.2004-109246公开的结构中，摄影装置被固定在投影装置的一侧，并且所述摄影装置和投影装置不能相互分离和自由移动。

在所述摄影装置和投影装置中至少一个可以自由移动的情况中，操作者很难掌握所述摄影装置和投影装置的空间位置之间的关系。因此，很难使投影装置投影的整幅图像与摄影装置的最大拍摄范围匹配。

发明内容

本发明的目标是提供一种图像处理装置，所述图像处理装置可以使操作者利用投影装置投影的图像来识别摄影装置和投影装置的位置之间的关系。本发明还提供记录有图像处理程序的计算机可读记录介质。

根据本发明的第一方面，提供了一种图像处理装置，该图像处理装置包括：连接单元，所述连接单元连接投影装置和摄影装置，所述投影装置和所述摄影装置中的至少一个具有可调整的位置；取得单元，所述取得单元取得所述摄影装置的拍摄图像，所述摄影装置拍摄由所述投影装置投影的、指示所述投影装置的有效投影范围的标准图案；颜色转换单元，所述颜色转换单元从所述拍摄图像中提取所述标准图案，并对所提取的标准图案执行颜色转换；放大/缩小单元，所述放大/缩小单元根据所述摄影装置的最大有效拍摄范围和所述投影装置的有效投影范围之间的比率放大或缩小所述颜色转换后的标准图案；叠加单元，所述叠加单元将所述放大或缩小后的标准图案叠加到投影前的标准图案上；以及输出单元，所述输出单元将由所述叠加单元叠加后的所述标准图案输出到所述投影装置。

根据本发明的第二方面，所述图像处理装置还包括删除单元，当所述投影装置和所述摄影装置中至少一个的位置被调整时，所述删除单元从由所述叠加单元叠加后的所述标准图案中删除所述颜色转换且放大或缩小后的标准图案。

根据本发明的第三方面，所述图像处理装置可以配置成所述摄影装置包括删除单元，当所述投影装置和所述摄影装置中至少一个的位置被调整时，所述删除单元从由所述叠加单元叠加后的所述标准图案中删除所述颜色转换且放大或缩小后的标准图案。

根据本发明的第四方面，所述图像处理装置可以配置成在所述标准图案中形成狭缝部分。

根据本发明的第五方面，所述图像处理装置可以配置成在所述狭缝部分中形成多个狭缝。

根据本发明的第六方面，所述图像处理装置可以配置成以向外变宽或变窄的间隔或者以不规则的间隔形成所述多个狭缝，所述狭缝的中心位于所述标准图案的至少一边的中心。

根据本发明的第七方面，所述图像处理装置还包括控制器，所述控制器控制所述摄影装置的朝向、缩放系数、焦距中的至少一项。

根据本发明的第八方面，所述图像处理装置可以配置成这样：所述标准图案指示由所述摄影装置拍摄的预定最小拍摄范围；所述图像处理装置还包括确定单元，所述确定单元基于由所述叠加单元叠加后的所述标准图案确定在所述放大或缩小后的标准图案中指示的所述摄影装置的所述最大有效拍摄范围是否处于投影前的所述标准图案中指示的所述最大有效拍摄范围和所述预定最小拍摄范围之间；并且当在所述放大或缩小后的标准图案中指示的所述摄影装置的所述最大有效拍摄范围不处于投影前的所述标准图案中指示的所述最大有效拍摄范围和所述预定最小拍摄范围之间时，所述控制器控制所述摄影装置的朝向或缩放系数，使得所述放大或缩小后的标准图案中指示的所述摄影装置的所述最大有效拍摄范围落入投影前的所述标准图案中指示的所述最大有效拍摄范围和所述预定最小拍摄范围之间。

根据本发明的第九方面，所述图像处理装置可以配置成这样：在相当于所述标准图案中指示的所述最大有效拍摄范围或所述预定最小拍摄范围的框架中形成狭缝部分；所述摄影装置用多个焦距值拍摄由所述投影装置投影的所述标准图案的多个图像；并且所述控制器将所述摄影装置的所述焦距调整为这样的焦距值，在该焦距值下，在所述标准图案的多个拍摄图像中，相当于所述摄影装置的最大有效拍摄范围或预定最小拍摄范围的所述框架中的狭缝部分的亮度与非狭缝部分的亮度之差最大。

根据本发明的第十方面，所述图像处理装置可以配置成这样：所述连接单元被连接到移动所述摄影装置的移动单元；并且所述控制器控制被所述移动单元移动的所述摄影装置的位置。

根据本发明的第十一方面，提供了一种图像处理方法，所述图像处理方法包括：连接投影装置和摄影装置，所述投影装置和所述摄影装置中的至少一个具有可调整的位置；取得所述摄影装置的拍摄图像，所述摄影装置拍摄由所述投影装置投影的、指示所述投影装置的有效投影范围的标准图案；对从所述拍摄到的图像中提取的标准图案执行颜色转换；根据所述摄影装置的最大有效拍摄范围和所述投影装置的所述有效投影范围之间的比率放大或缩小所述颜色转换后的标准图案；将所述放大或缩小后的标准图案叠加到投影前的标准图案上；以及将由叠加单元叠加后的所述标准图案输出到所述投影装置。

根据本发明的第一和第十一方面，利用由所述投影装置投影的图像，操作者可以掌握所述摄影装置和所述投影装置的位置之间的关系。

根据本发明的第二方面，所述颜色转换且放大或缩小后的标准图案不能再次进行颜色转换和放大/缩小，并且不能被叠加到新的标准图案上。

根据本发明的第三方面，所述颜色转换且放大或缩小后的标准图案不能再次进行颜色转换和放大/缩小，并且不能被叠加到新的标准图案上。

根据本发明的第四方面，所述摄影装置或所述投影装置的操作者可以在观察由所述投影装置投影的所述狭缝部分的同时调整所述摄影装置或所述投影装置的焦距。

根据本发明的第五方面，可以更精确地调整所述摄影装置或所述投影装置的所述焦距。

根据本发明的第六方面，相对于以规则的间隔形成狭缝的情况，可以更精确地调整所述摄影装置或所述投影装置的所述焦距。

根据本发明的第七方面，可以精确地拍摄由所述投影装置投影的标准图案的图像。

根据本发明的第八方面，可以执行预备操作，以确定从拍摄图像到投影图像的坐标变换方程。

根据本发明的第九方面，可以自动地把所述摄影装置的焦距调整为能够清楚地投影所述标准图案中的所述狭缝部分的焦距值。

根据本发明的第十方面，可以在调整所述摄影装置的位置的过程中实现更高的自由度。

附图说明

将基于附图详细描述本发明的示例性实施例，其中：

图1是示出根据本发明第一示例性实施例的、包括拍摄图像转换装置的远程指示系统的结构的框图；

图2是示出个人计算机PC 1和2的功能结构的框图；

图3是示出个人计算机PC 1和2的硬件结构的框图；

图4A示出摄像机的最大有效拍摄范围和最小拍摄容许范围之间的关系；

图4B示出投影仪的最大有效投影范围的例子；

图5是示出要被执行来确定坐标变换计算公式的处理的流程图；

图6是示出要在图5的步骤S1和S2中实行的更具体的处理的流程图；

图7A示出标准图案的例子；

图7B示出这样的标准图案的例子，在该标准图案上叠加了相当于最大有效拍摄范围和最小拍摄容许范围的蓝色框架；

图8是示出要在图5的步骤S3中实行的更具体处理的流程图；

图9A示出标准图案生成单元生成的格子图案的例子；

图9B示出格子图案的拍摄图像的例子；

图10示出根据第二示例性实施例的、图7A所示标准图案的变型例；

图11是示出根据第三示例性实施例的、图6所示流程图的变型例的流程图；

图12是示出要添加到图11所示流程图中的处理的示例的流程图；

图13A是示出PTZ摄像机被对焦到投影图像上时狭缝部分的亮度的图；

图13B是示出PTZ摄像机未被对焦到投影图像上时狭缝部分的亮度的图；

图13C示出PTZ摄像机的焦距值和对比度值之间的关系；以及

图14是示出根据第四示例性实施例的、包括拍摄图像转换装置的远程指示系统的结构的框图。

具体实施方式

下面是参照附图对本发明的示例性实施例的描述。

[第一示例性实施例]

图1是示出根据本发明的第一示例性实施例的、包括拍摄图像转换装置的远程指示系统的结构的框图。

图1的远程指示系统包括用作服务器的个人计算机(PC)1和用作客户端的PC 2。PC 1和2通过网络3相互连接。投影仪4(投影装置)和摄像机5(摄影装置)被连接到PC 1。

根据来自PC 1的控制命令，投影仪4将注释图像投影到屏幕6上。注释图像可以是由各种颜色和字体的线、字符、符号或图形构成的图像。操作者可以随意移动投影仪4。

摄像机5可以是视频摄像机或PTZ(云台，Pan tilt Zoom)摄像机。摄像机5拍摄屏幕6的图像，并将拍摄到的图像输出到PC 1。操作者可以随意移动摄像机5。

PC 1通过网络3将摄像机5拍摄的图像输出到PC 2。PC 2被连接到显示器205。显示器205显示所拍摄的图像的显示区12和用户界面(UI)14。PC 2可以是集成有显示器205的个人计算机。

UI 14包括“画笔”按钮、“文本”按钮以及“擦除”按钮等的按钮和表示线型与颜色类型的图标。在图1中，被摄像机5拍摄到的屏幕6的图像被显示在显示区12中。例如，当通过按下UI 14的“画笔”按钮、将图形等写入显示区12中时，关于该图形的信息从PC 2经由PC 1输出到投影仪4。基于关于该图形的信息，投影仪4在屏幕6上画出该图形。

尽管在图1中仅有PC 2被示出为客户端，但是该远程指示系统可以包括多于一个的客户端(PC)。

图2是示出PC 1和PC 2的功能结构的框图。

PC 1包括：控制器101(控制器、确定单元)，其控制整个装置和投影仪4与摄像机5的操作；发送接收单元102，其通过网络3将信息和数据发送到PC 2或者从PC 2接收信息和数据；图像处理单元103(取得单元、颜色转换单元、放大/缩小单元、叠加单元、输出单元、删除单元)，其对要由投影仪4投影的图像和由摄像机5拍摄的图像进行图像处理；标准图案生成单元104，其生成要由投影仪4投影的标准图案；接口(IF)单元105(连接单元)，其连接投影仪4和摄像机5；以及操作单元106，其由鼠标、键盘等形成。控制器101被连接到发送接收单元102、图像处理单元103、标准图案生成单元104、IF单元105以及操作单元106。控制器101还通过IF单元105被连接到投影仪4和摄像机5。

PC 2包括：控制器201，其控制整个装置；发送接收单元202，其通过网络3将信息和数据发送到PC 1或者从PC 1接收信息和数据；存储器203，其存储控制程序、数据、信息等；操作单元204，其由鼠标、键盘等形成；以及显示器205。控制器201被连接到发送接收单元202、存储器203、操作单元204以及显示器205。

图3是示出PC 1的硬件结构的框图。

PC 1包括：CPU 21，其控制整个装置；ROM 22，其存储控制程序；RAM 23，其用作工作区；硬盘驱动器(HDD)24，其存储各种信息和程序；网络接口25，其建立与其他计算机的连接；USB(通用串行总线)接口26，其建立与USB设备(未示出)的连接；以及鼠标和键盘27。CPU 21被连接到ROM 22、RAM 23、硬盘驱动器(HDD)24、网络接口25、USB接口26以及鼠标和键盘27。

控制器101、图像处理单元103以及标准图案生成单元104相当于根据控制程序执行各种操作的CPU 21。发送和接收单元102相当于网络接口25。IF单元105相当于网络接口25。

PC 2具有添加到与PC 1的结构相同的结构上的鼠标、键盘以及显示器。

现在描述将摄像机5拍摄到的图像的坐标变换成由投影仪4投影的图像的坐标的方法。

利用摄像机5拍摄从投影仪4投影的图案，并确定该投影图案中的每个点与拍摄图像图案中的每个对应点之间的关系，来执行从拍摄图像到投影图像的坐标变换。并且，为了高精确地执行这种计算，投影图案需要在拍摄图像中占据较大的面积并且具有相对较高的分辨率。更具体地，摄像机5拍摄投影图案，使得投影图案落入最大有效拍摄范围内，所述最大有效拍摄范围不受在拍摄图像的外围中观察到的失真等的影响，并且使所述投影图案大于最小拍摄容许范围，所述最小拍摄容许范围为预定的由摄像机5拍摄的最小拍摄范围，并且是防止坐标变换中的计算精度降低的下限。图4A示出摄像机5的最大有效拍摄范围和最小拍摄容许范围之间的关系。最大有效拍摄范围和最小拍摄容许范围由摄像机的类型预先确定。然而，用户可以通过操作单元106改变这些范围的设置。当摄像机5被连接到PC 1时，关于最大有效拍摄范围和最小拍摄容许范围的信息被存储在HDD 24中。

图4B示出投影仪4的最大有效投影范围。用户通过操作单元106设置该最大有效投影范围。

PC 2的位于远程位置处的用户可以通过操作单元204设置最大有效拍摄范围、最小拍摄容许范围以及最大有效投影范围。

图5是示出要被执行来确定坐标变换计算公式的处理的流程图。

首先，PC 1执行前处理，使得操作者可以调整投影仪4和摄像机5的位置(步骤S1)。

之后，基于通过前处理获得的信息，操作者调整投影仪4和摄像机5的位置(步骤S2)。

最后，PC 1计算坐标变换计算公式，以确定投影仪4投影的图像中的每个点的位置与拍摄投影在屏幕6上的图像的摄像机5所获得的图像中的每个对应点的位置之间的关系(步骤S3)。然后，PC 1结束该处理。

图6是更详细示出图5的步骤S1和S2的处理的流程图。

首先，标准图案生成单元104计算放大/缩小和平移的方程(仿射方程)，使得相当于摄像机5的最大有效拍摄范围的框架在尺寸和位置上与投影仪4的最大有效投影范围的框架一致(步骤S11)。通过公知的计算方法执行该计算。

标准图案生成单元104准备具有与投影仪4投影的图像相同尺寸的黑色图像。然后，标准图案生成单元104将仿射方程应用于相当于摄像机5的最大有效拍摄范围和最小拍摄容许范围的框架。标准图案生成单元104用红色在该黑色图像上画出相当于转换后的最大有效拍摄范围和最小拍摄容许范围的框架(步骤S12)。此后，在步骤S12中获得的图像将被称作标准图案。图7A示出标准图案的例子。

然后，标准图案生成单元104将标准图案输出到投影仪4(步骤S13)。

然后，投影仪4将标准图案投影到屏幕6上(步骤S14)。摄像机5拍摄投影在屏幕6上的标准图案的图像，并将拍摄到的标准图案输出到图像处理单元103(步骤S15)。

图像处理单元103取得拍摄到的标准图案，并提取出标准图案的红色框架(该框架相当于最大有效拍摄范围和最小拍摄容许范围)。然后，图像处理单元103执行颜色转换，将红色框架转换成蓝色，并且将仿射方程(放大/缩小和平移)应用于颜色转换后的相当于最大有效拍摄范围和最小拍摄容许范围的框架(步骤S16)。

之后，图像处理单元103将相当于仿射变换后的最大有效拍摄范围和最小拍摄容许范围的蓝色框架叠加到投影前的标准图案上。然后，图像处理单元103将叠加后的标准图案输出到投影仪4(步骤S17)。投影仪4将叠加后的标准图案投影到屏幕6上(步骤S18)。图7B示出这样的标准图案的例子，在该标准图案上叠加了相当于最大有效拍摄范围和最小拍摄容许范围的蓝色框架。步骤S11到S18的处理相当于图5的步骤S1，而下面描述的步骤S19的处理相当于图5的步骤S2。

投影仪4和摄像机5的操作者观察被投影到屏幕6上并且叠加了最大有效拍摄范围和最小拍摄容许范围的蓝色框架的标准图案，调整投影仪4的位置，使得标准图案的相当于最大有效拍摄范围和最小拍摄容许范围的红色框架看起来具有矩形形状，并且还调整摄像机5的位置，使得相当于最大有效拍摄范围的蓝色框架落在相当于最大拍摄有效范围的红色框架和相当于最小拍摄容许范围的红色框架之间(步骤S19)。然后，此操作结束。此时，在相当于最大有效拍摄范围的蓝色框架落在相当于最大拍摄有效范围的红色框架和相当于最小拍摄容许范围的红色框架之间的条件下，应该执行调整，使得相当于最大有效拍摄范围的蓝色框架变得尽可能的大。这样，可以高精确地确定拍摄图像中的每个点与投影图像中的每个对应点之间的关系。

在步骤S19中，摄像机5的操作者可以进一步调整摄像机5的景角。在投影仪4具有纠正投影图像失真的功能的情况下，投影仪4的操作者可以进一步纠正投影图像的失真。在屏幕6上有一个执行投影和图像拍摄的期望范围的情况下，投影仪4的操作者4调整投影仪4的位置，使得投影的相当于最大有效拍摄范围的红色框架环绕该期望范围。

如果在步骤S21中正在调整投影仪4或摄像机5，则重复步骤S14到S18的处理。因此，如果正在调整投影仪4或摄像机5，则叠加有相当于最大有效拍摄范围和最小拍摄容许范围的蓝色框架的标准图案可能会被再次转换成蓝色框架并且被叠加到新的标准图案上。

为了防止这种情形，如果正在调整投影仪4或摄像机5，则图像处理单元103执行过滤，使得只从具有相当于最大有效拍摄范围和最小拍摄容许范围的蓝色框架的标准图案中提取出红色部分，或者执行过滤，使得删除相当于最大有效拍摄范围和最小拍摄容许范围的蓝色框架。这样，相当于最大有效拍摄范围和最小拍摄容许范围的红色框架被转换成蓝色框架并且被叠加到新的标准图案上。还可以附接滤镜，用于在投影仪4和摄像机5正被调整时仅将红色部分透过到摄像机5。

图8是更详细地示出图5的步骤S3的处理的流程图。

首先，标准图案生成单元104将存储在HDD 24中的每个黑色图像和每个白色图像分成八个部分，产生图9A中示出的格子图案。然后，标准图案生成单元104将所述格子图案输出到投影仪4和图像处理单元103(步骤S21)。所述格子图案的尺寸相当于投影仪4的最大有效投影范围。

投影仪4将所述格子图案投影到屏幕6上(步骤S22)。摄像机5拍摄投影在屏幕6上的格子图案的图像，并将拍摄到的图像输出到图像处理单元103(步骤S23)。图9B示出拍摄到的格子图案的图像的例子。

基于拍摄到的格子图案中的四个或更多个格子点的位置与从标准图案生成单元104获得的格子图案中的四个或更多个格子点的位置之间的关系，图像处理单元103计算从拍摄图像到投影图像的坐标变换计算公式(步骤S24)。然后，此操作结束。从拍摄图像到投影图像的坐标变换计算公式存储在HDD 24中。当拍摄图像被投影到屏幕6上时，控制器101从HDD 24读取从拍摄图像到投影图像的坐标变换计算公式，并使用该计算公式。

如上详述，根据本示例性实施例，图像处理单元103获得由摄像机5(摄像机5拍摄由投影仪4所投影的标准图案的图像)拍摄的图像，并且指示投影仪4的有效投影范围和摄像机5的最大有效拍摄范围。图像处理单元103对拍摄图像中的标准图案执行颜色转换。根据摄像机5的最大有效拍摄范围和投影仪4的有效投影范围之间的比率，图像处理单元103放大或缩小颜色转换后的标准图案。然后，图像处理单元103将放大或缩小后的标准图案叠加到投影前的标准图案上，并将叠加后的标准图案输出到投影仪4。因此，摄像机5和投影仪4的操作者可以基于投影仪4投影的图像识别摄像机5和投影仪4之间的位置关系。

在正在调整摄像机5和投影仪4中的至少其中之一时，图像处理单元103执行过滤，使得从叠加后的标准图案中删除颜色转换且放大/缩小后的标准图案。这样，颜色转换且放大/缩小后的标准图案不会被再次颜色转换和放大/缩小并且叠加到新的标准图案上。如果摄像机5装配有用于从叠加后的标准图案中删除颜色转换且放大/缩小后的标准图案的滤镜，则可以起到与上面相同的效果。

[第二示例性实施例]

图10示出图7A中示出的标准图案的变型例。

如图10中所示出的，在相当于最大有效拍摄范围和最小拍摄容许范围的红色框架中以一像素间隔、两像素间隔以及四像素间隔形成黑线狭缝。

通过与图6的步骤S14到S18的处理相同的处理，该标准图案被叠加到颜色转换且仿射变换后的标准图案上，然后被投影仪4投影到屏幕6上。

因此，摄像机5的操作者可以观察在用蓝色投影的框架中形成的黑线狭缝，调整摄像机5的焦距。如果黑线狭缝被清晰地投影到屏幕上，则摄像机5的操作者可以知道摄像机5对焦到了投影图像上。如果黑线狭缝未被清晰地投影到屏幕上，则摄像机5的操作者可以知道摄像机5未对焦到投影图像上。摄像机5的操作者调整摄像机5的焦距，使得具有不同宽度的所有狭缝都被清晰地投影到屏幕上。这样，摄像机5可以高精确地聚焦到投影图像上。通过这种标准图案，诸如监视器的用于监视摄像机5的拍摄条件的装备变得没有必要。

投影仪4的操作者可以观察在用红色投影的框架中形成的黑线狭缝，调整投影仪4的焦距。投影仪4的操作者调整投影仪4的焦距，使得具有不同宽度的所有狭缝被清晰地投影到屏幕上。这样，投影仪4可以高精确地对焦到投影图像上。

相当于最大有效拍摄范围和最小拍摄容许范围的红色框架的形状都不限于矩形。例如，各个红色框架可以为具有四个圆角的矩形。可以在相当于最大有效拍摄范围和最小拍摄容许范围的框架各自的至少一边形成黑线狭缝。狭缝数可以是一个或者更多。

在图10中，以向外变宽的间隔形成黑线狭缝，最窄的间隔位于相当于最大有效拍摄范围和最小拍摄容许范围的框架各自的至少一边的中央处。然而，可以以向外变窄的间隔形成黑线狭缝，最宽的间隔位于相当于最大有效拍摄范围和最小拍摄容许范围的框架各自的至少一边的中央处。相对于以规则的间隔形成狭缝的情况，在这种情况中，摄像机5可以更精确地对焦到投影图像上。

并且，可以以不规则的间隔形成黑线狭缝，间隔的中点可以位于相当于最大有效拍摄范围和最小拍摄容许范围的框架各自的至少一边的中央处。相对于以规则的间隔形成狭缝的情况，在这种情况中，摄像机5也可以更精确地对焦到投影图像上。

如上所述，根据本示例性实施例，可以在标准图案中形成狭缝。因此，投影仪4和摄像机5的操作者可以调整投影仪4和摄像机5各自的焦距，观察由投影仪4投影到屏幕上的狭缝。

在标准图案中形成两个或更多个狭缝的情况下，可以更精确地调整投影仪4的焦距和摄像机5的焦距。

在以向外变宽或变窄或者以不规则间隔形成两个或更多个狭缝(间隔的中点可以位于标准图案的至少一边的中央处)的情况中，相对于以规则的间隔形成狭缝的情况，可以更精确地调整投影仪4的焦距和摄像机5的焦距。

[第三示例性实施例]

在本示例性实施例中，上面描述的在步骤S19中由摄像机5的操作者执行的摄像机5的调整操作由PC 1来实现。

在本示例性实施例中，摄像机5使用PTZ(云台，Pan Tilt Zoom)摄像机。PTZ摄像机可以在垂直和水平方向上改变摄像机的朝向，并且可以调整摄像机的缩放系数。根据来自控制器101的控制信号来执行PTZ摄像机的朝向和缩放系数的调整。

图11是图6所示流程图的变型例的流程图。用与图6相同的标号表示与图6相同的处理，并且这里省略这些处理的解释。

在执行步骤S12的处理后，PTZ摄像机在控制器101控制下拍摄屏幕6的图像，并将拍摄图像输出到图像处理单元103(步骤S31)。然后，操作移到步骤S13。

在执行步骤S14的处理后，PTZ摄像机在控制器101的控制下拍摄投影了标准图案的屏幕6的图像。然后，PTZ摄像机将拍摄图像输出到图像处理单元103(步骤S32)。

尽管在步骤S31和S32中拍摄屏幕6的图像，但是PTZ摄像机可以不拍摄环绕屏幕6的空间的图像。然而，需要拍摄屏幕6的比PTZ摄像机的最小拍摄容许范围更大的图像。

图像处理单元103从步骤S31中拍摄的图像与步骤S32中拍摄的图像之间的差提取标准图案的红色框架(该框架相当于最大有效拍摄范围和最小拍摄容许范围)。然后，图像处理单元103执行颜色转换以将红色框架转换成蓝色框架，并将上面描述的仿射方程(放大/缩小和平移)应用于颜色转换后的相当于最大有效拍摄范围和最小拍摄容许范围的框架(步骤S33)。

之后，图像处理单元103将仿射变换后的相当于最大有效拍摄范围和最小拍摄容许范围的蓝色框架叠加到标准图案上(步骤S34)。

然后，控制器101确定相当于最大有效拍摄范围的蓝色框架是否落入相当于最大有效拍摄范围的红色框架和相当于最小拍摄容许范围的红色框架之间(步骤S35)。

如果在步骤S35中“是”，则结束该操作。如果在步骤S35中为“否”，则控制器101向PTZ摄像机输出信号(步骤S36)。该信号指示PTZ摄像机的朝向和缩放系数，该朝向和缩放系数使得相当于最大有效拍摄范围的蓝色框架落入相当于最大有效拍摄范围的红色框架和相当于最小拍摄容许范围的红色框架之间。然后，操作移到步骤S32。

通过此操作，可以自动调整PTZ摄像机的朝向和缩放系数，使得相当于拍摄到的标准图案的最大有效拍摄范围的框架落入相当于原始标准图案的最大有效拍摄范围的框架和相当于原始标准图案的最小拍摄容许范围的红色框架之间。

在PTZ摄像机具有焦距调整功能的情况下，利用形成有图10所示狭缝的标准图案，以调整PTZ摄像机的朝向、焦距以及缩放系数。在这种情况下，图12中示出的处理被添加到图11的流程图中。

更具体地，在执行步骤S36的处理后，控制器101测量相当于最大有效拍摄范围和最小拍摄容许范围的红色框架的亮度(最大亮度Imax和最小亮度Imin)(步骤S37)。

图13A和13B是示出狭缝部分的亮度的图。图13A示出了PTZ摄像机对焦到投影图像上的情况。图13B示出了PTZ摄像机未对焦到投影图像上的情况。在PTZ摄像机对焦到投影图像上的情况(如图13A中示出的情况)中，各个黑线狭缝处的亮度为最小亮度Imin，而红色框架的亮度为最大亮度Imax。另一方面，在PTZ摄像机未被对焦到投影图像上的情况(如图13B中示出的情况)中，黑线狭缝为模糊的，并且相对于图13A中示出的情况，各个黑线狭缝的最小亮度Imin呈现更高的值。

基于测量的最大亮度Imax和最小亮度Imin，控制器101计算对比度值(＝(Imax-Imin)/(Imax+Imin))(步骤S38)。尽管在本示例性实施例中控制器101计算最大亮度Imax和最小亮度Imin的归一化值，但是对比度值可以是测量最大亮度Imax与测量最小亮度Imin之差。

在PTZ摄像机对焦到投影图像上时对比度值更高。控制器101切换表示PTZ摄像机的焦距的值。然后，控制器101拍摄投影图像，并重复步骤S37和S38的处理(步骤S39)。

控制器101将PTZ摄像机切换到这样的焦距值，在该焦距值下对比度值变为最大(步骤S40)，并移到步骤S32。图13C示出了PTZ摄像机的焦距值与对比度值之间的关系。在图13C中，控制器101将PTZ摄像机的焦距值设置为3m。

通过步骤S37到S40的处理，可以自动调整PTZ摄像机的焦距。

如上详述，根据本示例性实施例，控制器101控制PTZ摄像机的朝向、缩放以及焦距中的至少一项。因此，PTZ摄像机可以精确地拍摄所投影的标准图案。

并且，基于图像处理单元103叠加后的标准图案，控制器101确定在放大/缩小后的标准图案中指示的摄影装置的最大有效拍摄范围是否落入在投影前的标准图案中指示的最大有效拍摄范围和最小拍摄容许范围之间(步骤S35)。如果在步骤S35中为“否”，则控制器101控制摄影装置的朝向或缩放系数，使得在放大/缩小后的标准图案中指示的摄影装置的最大有效拍摄范围落入在投影前的标准图案中指示的摄影装置的最大有效拍摄范围和最小拍摄容许范围之间。因此，控制器101可以执行预备操作(前处理)以确定将拍摄图像坐标变换成投影图像的公式。换言之，控制器101可以执行预备操作，以确定投影图像中的各个点与拍摄图像中的各个对应点之间的关系。

此外，控制器101将PTZ摄像机的焦距调整为这样的焦距值，在该焦距值下，在具有两个或更多个焦距值的PTZ摄像机所投影的标准图案中，相当于PTZ摄像机的最大有效拍摄范围或最小拍摄容许范围的框架中的狭缝部分的亮度与其他部分的亮度之差变为最大。因此，可以自动地把摄影装置的焦距调整为使狭缝部分清晰地投影到投影图像上的焦距值。

[第四示例性实施例]

在本示例性实施例中，如图14所示，用于移动摄像机5的机械臂7(移动单元)被连接到摄像机5。机械臂7的移动受控制器101的控制。摄像机5可以是视频摄像机或PTZ摄像机。

在本示例性实施例中，除了步骤S36的处理外，还执行与图11所示流程图中相同的处理。

在相当于最大有效拍摄范围的蓝色框架未落入相当于最大有效拍摄范围的红色框架和相当于最小拍摄容许范围的红色框架之间的情况下(或者在步骤S35中为“否”的情况下)，控制器101向机械臂7输出信号。通过该信号，机械臂7以这样的方式移动：使得相当于最大有效拍摄范围的蓝色框架落入相当于最大有效拍摄范围的红色框架和相当于最小拍摄容许范围的红色框架之间。然后，操作移到步骤S32。

根据本示例性实施例，控制器101控制由机械臂7移动的摄像机5的位置。因此，相对于第三示例性实施例，可以以更高的自由度调整摄像机5的位置。

在第一到第四示例性实施例中，摄像机5拍摄包含投影仪4的投影图像的图像。因此，当拍摄图像被显示在PC 2的显示器205上时，关于投影仪4的最大有效投影范围的信息可以由PC 2的显示器205叠加到拍摄图像上。如果关于投影仪4的最大有效投影范围的信息被保持在PC 1中，则该信息被传输到PC 2的控制器201。这样，PC 2的用户可以知道在显示器205上显示的最大有效投影范围中写入的注释图像被传输到投影仪4侧的用户。

并且，图像处理单元103可以将关于摄像机5的最大有效拍摄范围(或外部红色框架)的信息叠加到要由投影仪4投影的图像上，并将该叠加后的图像输出到投影仪4。这样，投影了关于摄像机5的最大有效拍摄范围的信息，投影仪4侧的用户可以知道在摄像机5的最大有效拍摄范围中写入的信息被传输到PC 2的用户。

可以向PC 1提供记录有用于实现PC 1的各功能的软件程序的记录介质。然后，PC 1的CPU读取并执行记录在记录介质上的程序，以实现与第一到第四示例性实施例相同的效果。用于提供程序的记录介质可以为CD-ROM、DVD、SD卡等。

并且，PC 1的CPU可以执行软件程序，以实现与第一到第四示例性实施例相同的效果。

应该理解，本发明并不限于上面描述的第一到第四示例性实施例，可以在不脱离本发明的范围的情况下对它们作出各种变型。

Claims (11)

1.一种图像处理装置，该图像处理装置包括：

连接单元，其连接投影装置和摄影装置，所述投影装置和所述摄影装置中的至少一个的位置可调整；

取得单元，其取得所述摄影装置的拍摄图像，所述摄影装置拍摄由所述投影装置投影的、指示所述投影装置的有效投影范围的标准图案；

颜色转换单元，其从所述拍摄图像中提取所述标准图案，并对所提取的标准图案执行颜色转换；

放大/缩小单元，其根据所述摄影装置的最大有效拍摄范围和所述投影装置的所述有效投影范围之间的比率放大或缩小颜色转换后的标准图案；

叠加单元，其将所述放大或缩小后的标准图案叠加到投影前的标准图案上；以及

输出单元，其将由所述叠加单元叠加后的所述标准图案输出到所述投影装置。

2.根据权利要求1所述的图像处理装置，所述图像处理装置还包括删除单元，当所述投影装置和所述摄影装置中至少一个的位置被调整时，所述删除单元从被所述叠加单元叠加后的所述标准图案中删除颜色转换且放大或缩小后的标准图案。

3.根据权利要求1所述的图像处理装置，其中所述摄影装置包括删除单元，当所述投影装置和所述摄影装置中至少一个的位置被调整时，所述删除单元从被所述叠加单元叠加后的所述标准图案中删除颜色转换且放大或缩小后的标准图案。

4.根据权利要求1或2所述的图像处理装置，其中在所述标准图案中形成有狭缝部分。

5.根据权利要求4所述的图像处理装置，其中在所述狭缝部分中形成有多个狭缝。

6.根据权利要求5所述的图像处理装置，其中以向外变宽或变窄的间隔或者以不规则的间隔形成所述多个狭缝，所述狭缝的中心位于所述标准图案的至少一边的中央处。

7.根据权利要求1到3中的任意一项所述的图像处理装置，所述图像处理装置还包括控制器，所述控制器控制所述摄影装置的朝向、缩放系数、焦距中的至少一项。

8.根据权利要求7所述的图像处理装置，其中：

所述标准图案指示由所述摄影装置拍摄的预定最小拍摄范围；

所述图像处理装置还包括确定单元，所述确定单元基于由所述叠加单元叠加后的标准图案，确定在放大或缩小后的标准图案中指示的所述摄影装置的最大有效拍摄范围是否位于所述投影前的标准图案中指示的最大有效拍摄范围和预定最小拍摄范围之间；并且

当所述放大或缩小后的标准图案中指示的所述摄影装置的最大有效拍摄范围不在所述投影前的标准图案中指示的最大有效拍摄范围和预定最小拍摄范围之间时，所述控制器控制所述摄影装置的朝向或缩放系数，使得所述放大或缩小后的标准图案中指示的所述摄影装置的最大有效拍摄范围落入所述投影前的标准图案中指示的最大有效拍摄范围和预定最小拍摄范围之间。

9.根据权利要求7所述的图像处理装置，其中：

在相当于所述标准图案中指示的最大有效拍摄范围或预定最小拍摄范围的框架中形成狭缝部分；

所述摄影装置用多个焦距值拍摄由所述投影装置投影的所述标准图案的多个图像；并且

所述控制器将所述摄影装置的焦距调整为这样的焦距值，在该焦距值下，在所述标准图案的多个拍摄图像中，相当于所述摄影装置的最大有效拍摄范围或预定最小拍摄范围的框架中的狭缝部分的亮度与非狭缝部分的亮度之差最大。

10.根据权利要求7所述的图像处理装置，其中：

所述连接单元被连接到移动所述摄影装置的移动单元；并且

所述控制器控制由所述移动单元移动的所述摄影装置的位置。

11.一种图像处理方法，所述图像处理方法包括：

连接投影装置和摄影装置，所述投影装置和所述摄影装置中至少一个的位置可调整；

取得所述摄影装置的拍摄图像，所述摄影装置拍摄由所述投影装置投影的、指示所述投影装置的有效投影范围的标准图案；

对从所述拍摄图像中提取的所述标准图案执行颜色转换；

根据所述摄影装置的最大有效拍摄范围和所述投影装置的有效投影范围之间的比率放大或缩小所述颜色转换后的标准图案；

将所述放大或缩小后的标准图案叠加到投影前的标准图案上；以及

将由所述叠加单元叠加后的标准图案输出到所述投影装置。

Images