CN109644249A - 图像处理设备和图像处理方法 - Google Patents

Abstract

本公开内容涉及一种能够实现以较低的成本掌握投影图像的状态的图像处理设备和方法。通过卷帘式快门方式以比投影图像的帧速率高的速率通过依次投影作为正图案图像和负图案图像的符号相反的预定图案图像来获得投影图像，通过捕获该投影图像来获得被配置有多个帧的捕获图像，计算该捕获图像的非连续帧之间的差异。本公开内容可以应用于例如图像处理设备、投影设备、成像设备、投影成像设备、控制器或投影成像系统等。

Description

图像处理设备和图像处理方法

技术领域

本公开内容涉及图像处理设备和图像处理方法，并且具体地，涉及能够以较低成本实现对投影图像的状态的掌握的图像处理设备和图像处理方法。

背景技术

已知一种使用相机捕获由投影仪投影的投影图像，使用所捕获的图像估计投影仪的位置和姿态、投影平面形状等，并根据估计来几何校正投影图像以减少投影图像中的失真等的方法。例如，在屏幕没有面向投影仪的情况下，投影到屏幕上的投影图像被相机捕获。另外，在投影图像变形为梯形形状等的情况下，执行诸如用于将图像校正成被投影成倒梯形形状的过程，使得图像可以被正确地投影到屏幕上。

在这样的方法的情况下，需要获得投影图像与捕获图像之间的对应点。另外，作为获得对应点的方法，已经提出了用于在观看/收听内容期间执行感测的ISL(ImperceptibleStructured Light，不可见结构光)(例如，参考NPL 1)。根据ISL方案，作为预定图案的图像的图案图像在使用集成效果对人不可见的同时时被嵌入到内容的图像中并且被投影。另外，使用图案图像检测对应点。

[引用清单]

[非专利文献]

[NPL 1]

Imperceptible Structured Light Ramesh Raskar，SIGGRAPH 98

发明内容

[技术问题]

然而，在使用廉价的卷帘快门照相机执行该方法的情况下，多帧的投影图像被反映在一帧的捕获图像中，这使得难以从捕获图像中提取图案图像。因此，需要使用昂贵的全局式快门相机来掌握投影图像的状态，这可能导致成本增加。

鉴于这样的情况实现了本公开内容，并且本公开内容的目的是使得能够以较低的成本实现对投影图像的状态的掌握。

[解决问题的方法]

根据本技术的一个方面的图像处理设备是包括差异计算部的图像处理设备，差异计算部计算由多个帧构成的捕获图像的不连续帧之间的差异，其中通过用以卷帘式快门方式驱动的成像部以比投影图像的帧速率高的帧速率捕获投影图像来获得捕获图像，投影图像是通过由投影部依次投影符号相反的预定图案图像而获得的，符号相反的预定图案图像为正图案图像和负图案图像。

差异计算部可以以根据投影图像的帧速率与捕获图像的帧速率的比率的间隔计算帧之间的差异。

捕获图像的帧速率是投影图像的帧速率的两倍，并且可以配置成使得差异计算部以2N帧的间隔计算帧之间的差异。

该图像处理设备还包括：提取部，其根据由差异计算部计算的帧之间的差异来提取可检测图案图像的区域；以及接合部，其将由提取部根据多个差异中的每个差异提取的区域接合在一起，以生成与一帧对应的图案图像。

图像处理设备还包括对应点检测部，其使用由接合部生成的图案图像来检测投影部与成像部之间的对应点。

该图像处理设备还包括图像校正部，该图像校正部使用由对应点检测部检测的对应点来校正由投影部投影的图像。

图案图像各自包括可用于检测投影部与成像部之间的对应点的图案和可用于识别投影图像的像素行的图案，并且提取部可以被配置成基于可用于识别投影图像的像素行的图案来提取可检测图案图像的区域。

图案图像各自还包括可用于识别投影图像的像素列的图案。

可以在投影图像的左端、右端、上端和下端附近形成图案图像中的每个中的可用于识别投影图像的像素行的图案和可用于识别投影图像的像素列的图案。

可以以网格形式将图案图像中的可用于识别投影图像的像素行的图案和可用于识别投影图像的像素列的图案形成在整个投影图像上。

图案图像各自包括可用于检测投影部与成像部之间的对应点的图案和可用于识别投影图像的像素行的图案二者，并且提取部可以被配置成基于可用于检测投影部与成像部之间的对应点的图案和可用于识别投影图像的像素行的图案二者来提取可检测图案图像的区域。

图像处理设备还包括同步处理部，该同步处理部使投影部的投影定时与成像部的成像定时同步。

捕获图像的帧速率是投影图像的帧速率的2N倍(其中N是自然数)，并且差异计算部可以被配置成以2N帧的间隔计算帧之间的差异。

图像处理设备还包括图像选择部，其从多个帧的捕获图像中选择差异计算部计算差异的帧。

图像选择部可以选择捕获图像中的帧，其中在所选择的帧中的每个帧中投影图像的多个帧被混合。

图像选择部可以选择捕获图像中的帧，其中在所选择的帧中的每个帧中仅包括投影图像的单个帧。

可以通过将叠加有正图案图像的叠加图像和叠加有负图案图像的叠加图像依次投影到运动图像的预定帧上而获得投影图像。

图像处理设备还包括成像部。

图像处理设备还包括投影部。

根据本技术的一个方面的图像处理方法是包括如下的图像处理方法：其计算由多个帧构成的捕获图像的不连续帧之间的差异，捕获图像通过卷帘式快门方案以比投影图像的帧速率较高的帧速率捕获投影图像而获得，投影图像通过依次投影符号相反的预定图案图像而获得，预定图案图像为正图案图像和负图案图像。

在根据本技术的一个方面的图像处理设备和图像处理方法中，计算由多个帧构成的捕获图像的不连续帧之间的差异，其中通过用卷帘式快门方式以比投影图像的帧速率较高的帧速率捕获投影图像来获得捕获图像，投影图像是通过依次投影符号相反的预定图案图像而获得的，符号相反的预定图案图像为正图案图像和负图案图像。

[发明的有益效果]

根据本公开内容，可以对图像进行处理。特别地，可以以较低的成本实现对投影图像的状态的掌握。

附图说明

[图.1]

图1是示出投影成像系统的主要部分的配置的示例的图。

[图.2]

图2是示出控制器的主要部分的配置的示例的框图。

[图.3]

图3是示出由控制器实现的功能的示例的功能框图。

[图.4]

图4示出了图案图像和要投影的图像的示例。

[图.5]

图5是示出投影和成像之间的关系的示例的定时图。

[图.6]

图6是提取图案图像的方式的示例的示意图。

[图.7]

图7是示出投影控制过程的流程的示例的流程图。

[图.8]

图8是示出由控制器实现的功能的示例的功能框图。

[图.9]

图9是示出投影控制过程的流程的示例的流程图。

[图.10]

图10是示出图案图像的示例的图。

[图.11]

图11是提取差异图像的区域的方式的示例的示意图。

[图.12]

图12是示出投影控制过程的流程的示例的流程图。

[图.13]

图13是示出投影与成像之间的关系的示例的定时图。

[图.14]

图14是示出由控制器实现的功能的示例的功能框图。

[图.15]

图15是示出投影控制过程的流程的示例的流程图。

[图.16]

图16是示出由控制器实现的功能的示例的功能框图。

[图.17]

图17是示出投影控制过程的流程的示例的流程图。

[图.18]

图18是示出投影成像系统与投影成像设备的主要部分的配置的示例的框图。

具体实施方式

在下文中将描述用于执行本公开内容的模式(下文中，称为“实施方式”)。注意，将按以下顺序给出描述。

1.第一实施方式(投影成像系统)

2.第二实施方式(投影成像系统：同步)

3.第三实施方式(投影成像系统：定位图案)

4.第四实施方式(投影成像系统：快速成像)

5.第五实施方式(投影成像系统/投影成像设备：其他配置)

6.其他

<1.第一实施方式>

<投影图像的几何校正>

取决于投影仪相对于投影平面(屏幕、墙壁等)的姿态(位置、取向等)，投影的图像(也称为“投影图像”)经常变形并且难以观看。在这种情况下，可以通过对投影仪投影的图像执行诸如失真校正的几何校正来减少投影图像中的失真并使投影图像易于观看。

在本说明书中，用于改变投影平面上的投影图像中的每个像素的位置的诸如投影图像的变形、移动、放大或缩小的校正将被称为“几何校正”。换句话说，假设“几何校正”不仅包括通过图像处理进行校正，还包括通过诸如移位和变焦的光学控制、对投影部的姿态控制等进行校正等。另外，在本说明书中，假设投影部、成像部等的“姿态”不仅包括这些部分的“取向”(投影的取向和成像的取向)，还包括这些部分的“位置”(执行投影和成像的位置)。

虽然上述几何校正可以由操作投影仪的操作员等手动执行，但这可能需要复杂的工作。因此，已经提出了一种使用相机捕获由投影仪投影的投影图像并使用捕获图像设置几何校正的方法。在这种情况下，根据捕获图像中包含的投影图像估计相机和投影仪的姿态、屏幕形状等，并且根据该估计设置适当的几何校正。

<在线感测>

不仅在投影内容(运动图像)之前，而且在投影内容期间进行这样的几何校正的设置通常是必要的。例如，在投影内容期间改变投影仪的姿态导致投影图像的失真。在这种情况下，需要重新估计该投影仪的姿态以适当地设置几何校正。然而，中断内容的投影以重新估计不利地阻止正在观看/收听内容的用户观看/收听内容。因此，为了解决该问题，已经提出了一种用于在继续投影内容的同时检测对应点的方法(在线感测)。

在线感测技术的示例被认为包括诸如使用不可见光的红外线的方案、诸如使用图像特征量的SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)的方案、以及ISL(不可见结构光)方案。在诸如使用不可见光的红外线的方案的情况下，另外需要使用投射不可见光的投影仪(例如，红外线投影仪)，这可能增加成本。另外，在诸如使用图像特征量的SIFT的方案的情况下，对应点的检测准确度和密度取决于要投影的图像内容；因此，难以以稳定的准确度执行对应点检测。

相比之下，在使用不可见光的ISL方案的情况下，可以抑制系统构成元件的数量的增加(即，成本增加)。此外，利用ISL方案，可以以稳定的准确度执行对应点检测，而不取决于要投影的图像。

<ISL方案>

在ISL方案中，使用集成效果将作为预定图案的图像的图案图像以对人不可见的方式嵌入内容的图像中并进行投影。另外，使用图案图像检测对应点。更具体地，作为预定图案图像(结构光)的正图像和负图像被叠加在输入图像(内容的图像)上，并且生成两个帧——即，正帧(Pos帧)和负帧(Neg帧)。这两个帧由投影仪依次投影。图案图像中的正图像(也称为“正图案图像”)和图案图像中的负图像(也称为“负图案图像”)在图案亮度值变化方向上相反(例如，白色和黑色)；因此，从投影仪连续投影这两个帧使得用户难以通过集成效果感知图案图像(正图像和负图像)。

相比之下，通过全局式快门方式驱动的相机与投影仪的投影同步操作并捕获两帧的投影图像。捕获的图像各自包含作为图案图像的正图像和负图像。因此，通过获得这些捕获图像之间的差异，内容的图像被消除，并且图案图像被提取。可以使用图案图像检测投影仪与相机之间的像素的对应点。换句话说，可以以较低的成本实现对投影图像的状态的掌握。

然而，在使用廉价的卷帘式快门相机执行该方法的情况下，多帧的投影图像被反映在一帧的捕获图像中，这使得难以从捕获图像中提取图案图像。因此，需要使用昂贵的全局式快门相机来掌握投影图像的状态，这可能导致成本增加。

这样的相机具有不直接参与图像投影的配置，而是具有用于校正投影图像的辅助配置。因此，即使在该相机配备有例如昂贵功能的情况下，这些功能也无助于直接改善图像质量，例如提高投影图像的分辨率。在许多情况下，需要以尽可能低的成本实现具有这样的辅助配置而不用特别实现过多性能改善的相机。因此，期望以比全局式快门相机更低的成本使用卷帘式快门相机实现这样的相机；然而，难以实现如上所述的相机。

为了解决该困难，使用卷帘式快门方式以比投影图像的帧速率更高的帧速率捕获其上彼此相反的预定图案图像(即正图案图像和负图案图像)被依次投影的投影图像，并且计算通过捕获获得的配置有多个帧的捕获图像的不连续帧之间的差异。由此可以使用通过卷帘式快门方式驱动的相机基于ISL方案实现在线感测。换句话说，可以以较低的成本实现对投影图像的状态的掌握。

<投影成像系统>

图1是示出应用本技术的投影成像系统的一个实施方式的主要部分的配置的示例的框图。在图1中，投影成像系统100是能够使用应用本技术的方法通过ISL方案投影图像、捕获投影图像并且检测对应点的系统。

如图1所示，投影成像系统100具有控制器101、投影设备102和成像设备103。投影设备102和成像设备103可通信地连接至控制器101。

实现该连接的通信和用于通信的通信介质是任意设置的。例如，投影设备102和成像设备103可以经由专用线缆连接至控制器101，经由诸如HDMI(注册商标)(High-DefinitionMultimedia Interface，高清晰度多媒体接口)或者USB(Universal Serial Bus，通用串行总线)的预定标准的线缆连接至控制器101，或者可以经由诸如LAN(Local Area Network，局域网)或因特网的预定网络(通信网络)连接至控制器101。另外，投影设备102和成像设备103可以通过任意无线通信连接至控制器101，任意无线通信是例如蓝牙(注册商标)通信、诸如NFC(Near Field Communication，近场通信)的短距离无线通信、红外通信、或符合IEEE(Institute of Electrical and Electronic Engineers，电气和电子工程师协会)802.11的无线LAN。此外，投影设备102和成像设备103可以经由多种类型的通信介质，例如，经由无线LAN和因特网连接至控制器101。

控制器101是应用本技术的图像处理设备或控制部的实施方式，并控制投影设备102和成像设备103进行操作。另外，控制器101使用由成像设备103获得的捕获图像执行与由投影设备102投影的图像的校正等相关联的处理。

投影设备102是应用本技术的图像处理设备或投影部的实施方式，并且配置有例如投影仪。投影设备102将由控制器101提供的图像投影到屏幕10上。成像设备103是应用本技术的图像处理设备或成像部的实施方式，并且配置有例如相机。成像设备103对投影图像被投影在其上的屏幕10进行成像。此时，如图1所示，投影设备102将图像投影到屏幕10上的从PL到PR的范围。另外，成像设备103对屏幕10上的从CL到CR的范围进行成像。换句话说，成像设备103对处于包含整个投影图像的成像范围内的屏幕10进行成像。虽然在图1中描绘了投影图像的横向方向，但是这同样适用于纵向方向。注意，通过卷帘式快门方式驱动成像设备103。成像设备103将获得的投影图像的捕获图像提供至控制器101。

<控制器>

图2是示出作为应用本技术的图像处理设备的一个实施方式的控制器101的主要部分的配置的示例的框图。

如图2所示，控制器101具有CPU(Central Processing Unit，中央处理单元)111、ROM(Read Only Memory，只读存储器)112、RAM(Random Access Memory，随机存取存储器)113、总线114、输入/输出接口120、输入部121、输出部122、存储部123、通信部124和驱动器125。

CPU(中央处理单元)111、ROM(只读存储器)112和RAM(随机存取存储器)113经由总线114相互连接。输入/输出接口120也连接至总线114。输入部121、输出部122、存储部123、通信部124和驱动器125连接至输入/输出接口120。

CPU 111通过例如将存储在ROM 112和存储部123中的程序等加载到RAM 113以执行程序等来执行各种处理。CPU 111执行各种处理所需的数据等也适当地存储在RAM 113中。

例如，CPU 111可以通过执行如上所述的程序等来执行与掌握图像投影的情况相关联的处理。

输入部121包括接收例如诸如用户输入的外部任意信息的输入装置。可以使用任意类型的装置作为该输入装置。例如，输入装置可以是键盘、鼠标、操作按钮、触摸板、相机、麦克风和条形码读取器。可替代地，输入装置可以是各种传感器，诸如加速度传感器、光学传感器和温度传感器。作为另一选择，输入装置可以是作为数据(信号)的接收外部任意信息的输入终端。输出部122包括输出存储在控制器101中的任意信息例如图像和声音的输出装置。可以使用任意类型的装置作为该输出装置。例如，输出装置可以是显示器和扬声器。另外地，输出装置可以是将作为数据(信号)的任意信息输出至外部的输出终端。

存储部123包括存储诸如程序和数据的信息的存储介质。可以使用任意类型的介质作为该存储介质。例如，存储介质可以是硬盘、RAM盘或非易失性存储器。通信部124包括通信装置，该通信装置执行用于经由预定通信介质(例如，诸如因特网的任意网络)向外部设备发送和从外部设备接收诸如程序和数据之类的信息的通信。可以使用任意类型的装置作为该通信装置。例如，通信装置可以是网络接口。由该通信部124执行的通信的通信方法和通信标准是任意的。例如，通信部124能够执行有线通信、无线通信或有线通信和无线通信两者。

驱动器125执行与从附接至驱动器125的可移动介质131读取和写入信息(程序、数据等)相关联的处理。可以使用任意记录介质作为该可移动介质131。例如，可移动介质131可以是磁盘、光盘、磁光盘或半导体存储器。例如，驱动器125读取存储在附接至驱动器125的可移动介质131中的信息(程序、数据等)，并将该信息提供至CPU 111、RAM 113等。另外，例如，驱动器125获取从CPU 111、RAM 113等提供的信息(程序、数据等)，并将信息写入附接至驱动器125的可移动介质131。

<控制器的功能块>

图3是示出通过控制器101执行程序等而实现的功能的示例的功能框图。如图3所示，通过执行程序，控制器101具有例如图案合并部141、投影控制部142、成像控制部143、差异计算部144、切割部145、接合部146、对应点检测部147和图像校正部148的功能。

图案合并部141执行与将图案图像与内容(运动图像)合并相关联的处理。投影控制部142执行与对投影设备102的控制相关联的处理。成像控制部143执行与对成像设备103的控制相关联的处理。差异计算部144执行与计算捕获图像的帧之间的差异相关联的处理。切割部145执行与从差异图像中提取期望区域相关联的处理。接合部146执行与区域的接合相关联的处理。对应点检测部147执行与检测投影设备102与成像设备103之间的像素的对应点相关联的处理。图像校正部148执行与图像校正相关联的处理。

注意，功能块可以根据需要相互发送和接收信息(例如，指令和数据)。另外，控制器101可以具有除这些功能之外的功能。

<图案图像的组合>

图案合并部141执行合并，使得图案图像叠加在内容的帧图像上。图4的A中描绘的帧图像161是要投影的内容的帧图像。注意，该帧图像的设计是任意的，并且不限于图4的A的示例。图案合并部141将图4的B中所示的图案图像170-1和170-2叠加在该帧图像161上，并生成两个叠加图像。

图案图像170-1是包含可用于检测投影设备102与成像设备103之间的像素的对应点的图案171-1的图像。虽然在图4的B中描绘了图案171-1配置有圆形图案，但是图案171-1可以配置有任何图案设计，只要能够检测到对应点即可。注意，与除了图案之外的外周部相比，图案171-1的亮度值在正方向上改变。换句话说，图案图像170-1是正图案图像。

类似于图案图像170-1，图案图像170-2是包含可用于检测投影设备102与成像设备103之间的像素的对应点的图案171-2的图像。该图案171-2配置有与图案171-1在设计上相同的图案，并且与除图案之外的外周部相比，其亮度值在负方向上改变。换句话说，图案171-2被配置有与图案171-1在设计上相同并且在亮度值变化方向上与图案171-1相反的图案。换句话说，图案图像170-2是负图案图像。

在以下描述中，在不需要以区别方式描述图案图像170-1和170-2的情况下，图案图像170-1和170-2将被称为“图案图像170”。另外，在不需要以区别方式描述图案171-1和171-2的情况下，图案171-1和171-2将被称为“图案171”。

<叠加图像的投影和成像>

投影控制部142将如上所述由图案合并部141生成的叠加图像依次提供至投影设备102，以使投影设备102投影叠加图像。在图5的上段描绘了投影方式。例如，投影控制部142以30Hz的帧速率将叠加图像投影到屏幕10上。将上述叠加图像中的每个叠加图像投影为一帧；因此，通过将正图案图像170-1叠加在内容的帧图像161上而获得的叠加图像181被投影大约1/30秒，并且通过将负图案图像170-2叠加在内容的帧图像161上而获得的叠加图像182在接下来大约1/30秒中被投影。

如果通过全局式快门方式驱动成像设备103，则成像设备103可以通过以30Hz的帧速率与叠加图像的投影同步地捕获帧来捕获叠加图像181的帧和叠加图像182的帧。此外，获得捕获图像的连续帧之间的差异，从而使得可以移除内容的帧图像161并提取图案图像170。换句话说，在内容的投影期间，可以以使得图案图像170不能被观看者视觉识别的方式投影图案图像170，并且检测图案图像170。因此，可以检测对应点并且还可以在内容的投影期间更新图像校正的设置。

然而，在成像设备103是卷帘式快门成像设备的情况下，曝光定时和读出定时在像素行之间不同(较低的像素行在定时上被延迟)；因此，捕获图像的帧中的每个变成其中投影图像的多个帧混合的图像。由于这个原因，即使获得捕获图像的连续帧之间的差异，也存在如下担心：消失的图案图像170的部分或者保留的内容的图像的部分被生成，因此，不能适当地提取图案图像170。

因此，成像的帧速率被设置为投影的帧速率的两倍。更具体地，如图5的下段所示，捕获图像的帧速率被设置为60Hz。在图5的下段描绘的每个菱形表示捕获图像的每帧的曝光时间。图5中该菱形的横向方向表示时间，而其中的纵向方向表示像素行。由于成像设备103通过卷帘式快门方式驱动，因此曝光定时和读出定时在像素行之间不同(较低的像素行在定时上被延迟)。这就是通过如图5所示的菱形表示曝光时间的原因。

因此，在这种情况下，在捕获图像的每个帧中，投影图像的多个帧可能被混合。例如，在帧D中，在预定的像素行A上方的双箭头B所示的范围内的区域D1中，不仅叠加图像181的帧被曝光而且叠加图像181的帧之前的帧也被曝光。另外，在下一帧E中，在预定的像素行A下方的双箭头C指示的范围内的区域E2中，不仅叠加图像181的帧被曝光而且叠加图像181的帧的下一帧也被曝光。同样地，在帧F中，在预定的像素行A上方的双箭头B指示的范围内的区域F1中，不仅叠加图像182的帧被曝光而且叠加图像182的帧之前的叠加图像181的帧也被曝光。另外，在下一帧G中，在预定的像素行A下方的双箭头C指示范围内的区域G2中，不仅叠加图像182的帧被曝光而且叠加图像182的帧的下一帧也被曝光。

因此，类似于成像设备103是全局式快门成像设备的情况，如果获得捕获图像的连续帧之间的差异，则图案图像170消失，或者内容图像保留，并且因此，存在不能适当地提取图案图像170的担心。

为了解决该问题，差异计算部144还计算捕获图像的每隔一帧(两帧间隔处的帧)之间的差异。例如，如图6中所示，假设成像设备103获得帧D的捕获图像191、帧E的捕获图像192、帧F的捕获图像193和帧G的捕获图像194。差异计算部144计算帧D的捕获图像191与帧F的捕获图像193之间的差异，并计算帧E的捕获图像192与帧G的捕获图像194之间的差异。

如上所述，在捕获图像191中的像素行A上方的区域D1中，不仅叠加图像181的帧的图像被混合而且恰好在叠加图像181的帧之前的帧的图像被混合。另外，在捕获图像193中的像素行A上方的区域F1中，不仅叠加图像182的帧的图像被混合而且叠加图像181被混合。因此，在捕获图像191与193之间的差异图像195中的像素行A上方的区域中，图案图像170消失或者内容的图像161保留。因此，切割部145切割并提取差异图像195中像素行A下方的区域。

同样地，在捕获图像192中的像素行A下方的区域E2中，不仅叠加图像181的帧的图像被混合而且叠加图像182的图像被混合。同样地，在捕获图像194中的像素行A下方的区域G2中，不仅叠加图像182的帧的图像被混合而且恰好在叠加图像182之后的帧的图像被混合。因此，在捕获图像192与194之间的差异图像196中的像素行A下方的区域中，图案图像170消失或者内容图像161保留。因此，切割部145切割并提取差异图像196中像素行A上方的区域。

此外，接合部146将从差异图像195提取的区域与从差异图像196提取的区域接合，并生成与一帧相对应的图案图像197。对应点检测部147使用该图案图像197检测对应点。另外，图像校正部148使用检测到的对应点校正要投影的图像。

通过这样做，即使通过卷帘式快门方式驱动成像设备103，控制器101也可以进行控制来投影图案图像170使得在投影内容期间观看者不能视觉识别图案图像170，并且进行控制以检测图案图像170。因此，可以检测对应点并且还可以在内容的投影期间更新图像校正的设置。换句话说，可以以较低的成本实现对投影图像的状态的掌握。

<投影控制过程的流程>

接下来，将描述由如上所述配置的投影成像系统100执行的处理。如上所述，投影成像系统100中的控制器101控制投影设备102来投影内容(运动图像)。将参考图7的流程图描述由控制器101执行以投影这样的内容的投影控制过程的流程的示例。

当开始投影控制过程时，在步骤S101中控制器101中的图案合并部141将正图案图像和负图案图像叠加在要被投影的内容(运动图像)的帧图像上。

在步骤S102中，投影控制部142将在步骤S101中获得的叠加图像依次提供至投影设备102，并且控制投影设备102以两倍于内容(运动图像)的帧速率的帧速率(投影帧速率)将叠加图像投影到屏幕10上。

在步骤S103中，成像控制部143控制通过卷帘式快门方式驱动的成像设备103以两倍于投影帧速率的帧速率(成像帧速率)捕获通过步骤S102的过程投影到屏幕10上的投影图像。

在步骤S104中，差异计算部144计算通过步骤S103的过程获得的捕获图像的并且与内容(运动图像)的相同帧对应的四个帧(图5的帧D到G)中的奇数帧之间的差异和偶数帧之间的差异。

在步骤S105中，切割部145从通过步骤S104的过程获得的差异图像中的每个中提取图案可检测区域。

在步骤S106中，接合部146将通过步骤S105的过程从各个差异图像中提取的区域接合，并且生成与一帧相对应的图案图像。

在步骤S107中，对应点检测部147基于对应于一帧的并且通过步骤S106的过程获得的图案图像来检测投影设备102与成像设备103之间的像素的对应点。

在步骤S108中，图像校正部148基于通过步骤S107的过程获得的对应点来对投影到屏幕10上的叠加图像进行几何校正。

当步骤S108的过程结束时，投影控制过程结束。以此方式，通过执行投影控制过程，投影成像系统100可以以较低的成本实现对投影图像的状态的掌握。

<2.第二实施方式>

<同步>

第一实施方式中描述的投影成像系统100可以使投影定时与成像定时同步。图8是示出在该情况下由控制器101实现的功能的示例的功能框图。如图8所示，在这种情况下，除了第一实施方式中描述的功能(图3)之外，控制器101还具有例如同步处理部241的功能。

同步处理部241执行与操作定时的同步相关联的处理。例如，同步处理部241使投影设备102的投影定时与成像设备103的成像定时同步。通过以此方式的同步，图5的像素行A的位置已知；因此，切割部145基于已知像素行A来切割区域，从而使得可以更准确地切割和提取图案可检测区域。

<投影控制过程的流程>

将参考图9的流程图描述在这种情况下的投影控制过程的流程的示例。

当开始投影控制过程时，在步骤S201中控制器101中的图案合并部141将正图案图像和负图案图像叠加在要被投影的内容(运动图像)的帧图像上。

在步骤S202中，同步处理部241控制投影控制部142和成像控制部143，以使投影设备102的投影定时与成像设备103的成像定时同步。

在步骤S203中，投影控制部142将在步骤S201中获得的叠加图像依次提供至投影设备102，并且根据通过步骤S202的过程设置的同步定时控制投影设备102以两倍于内容(运动图像)的帧速率的帧速率(投影帧速率)将叠加图像投影到屏幕10上。

在步骤S204中，成像控制部143根据通过步骤S202的过程设置的同步定时控制通过卷帘式快门方式驱动的成像设备103以两倍于投影帧速率的帧速率(成像帧速率)捕获通过步骤S203的过程投影到屏幕10上的投影图像。

在步骤S205中，差异计算部144计算通过步骤S103的过程获得的捕获图像中的并且与内容(运动图像)的相同帧对应的四个帧(图5的帧D到G)中的奇数帧之间的差异和偶数帧之间的差异。

在步骤S206中，切割部145根据通过步骤S202的过程设置的同步定时从通过步骤S104的过程获得的差异图像中的每个中提取预定区域。换句话说，切割部145根据同步定时提取已知像素行A上方或下方的区域，即图案可检测区域。

与步骤S106至S108的过程类似地执行步骤S207至S209的过程。

当步骤S209的过程结束时，投影控制过程结束。以此方式，通过执行投影控制过程，投影成像系统100可以更准确地切割和提取图案可检测区域。同样在这种情况下，投影成像系统100可以以较低的成本实现对投影图像的状态的掌握。

<3.第三实施方式>

<定位图案>

如上所述在捕获图像中投影图像的多个帧被混合的区域的情况下，可以通过提取不包含这样的区域的图案可检测区域来更准确地掌握投影图像的状态。换句话说，更准确地识别用作投影图像的多个帧被混合的区域与图案可检测区域之间的边界的像素行(例如，像素行A)使得可以更准确地掌握投影图像的状态。

因此，为了获得上述边界(像素行)，可以在图案图像中包含可用于识别投影图像的像素行的图案。例如，如图10的A所示，可以在每个图案图像中设置定位图案310。该定位图案310是(通过多达例如若干个像素)形成在投影图像的左端、右端、上端和下端附近的图案，并且设计和标记可以是任意的。例如，定位图案310具有均匀的亮度，或者可以具有某种设计或标记。

换句话说，在这种情况下，图案图像如图10的B所示。在图10的B中，图案图像320-1是正图案图像，并且具有定位图案310-1和第一实施方式中描述的图案171-1。注意，与除了图案之外的外周部相比，定位图案310-1的亮度值在正方向上改变。另外，图案图像320-2是负图案图像并且具有定位图案310-2和在第一实施方式中描述的图案171-2。注意，与除了图案之外的外周部相比，定位图案310-2的亮度值在负方向上改变。

在以下描述中，在不需要以区别方式描述定位图案310-1和310-2的情况下，定位图案310-1和310-2将被称为“定位图案310”。在以下描述中，在不需要以区别方式描述图案图像320-1和320-2的情况下，图案图像320-1和320-2将被称为“图案图像320”。

在使用这样的图案图像320执行第一实施方式中描述的过程的情况下，差异计算部144计算帧D与F之间的差异，并且生成图11的A中的差异图像331。另外，差异计算部144计算帧E与G之间的差异，并生成图11的B中的差异图像332。

如图11的A所示，在差异图像331中，定位图案310在用作投影图像的多个帧被混合的区域与图案可检测区域之间的边界的像素行(例如，像素行A)中断开。换句话说，可以更容易且更准确地基于该定位图案310识别用作该边界的像素行。同样地，在差异图像332的情况下，由于定位图案310在用作投影图像的多个帧被混合的区域与图案可检测区域之间的边界的像素行(例如，像素行A)中断开，因此可以更容易且更准确地识别用作该边界的像素行。

换句话说，通过使切割部145根据定位图案310断开的像素行切割区域，投影成像系统100可以更准确地切割和提取图案可检测区域。在这种情况下，由于不需要如第二实施方式中所述使投影与成像同步，因此可以更容易地实现切割和提取，并且本技术可以应用于各种系统。同样在这种情况下，投影成像系统100可以以较低的成本实现对投影图像的状态的掌握。

<投影控制过程的流程>

将参考图12的流程图描述在这种情况下的投影控制过程的流程的示例。

当开始投影控制过程时，在步骤S301中控制器101中的图案合并部141将正图案图像和负图案图像叠加在要投影的内容(运动图像)的帧图像上。注意，这些图案图像中的每个图案图像包括可用于检测投影设备102与成像设备103之间的每个对应点的图案(例如，图案171)和可用于识别投影图像的像素行的图案(例如，定位图案310)二者。

与第一实施方式中描述的步骤S102到S104的过程(图7)类似地执行步骤S302到S304的过程。

在步骤S305中，切割部145根据定位图案310从通过步骤S304的过程获得的每个差异图像中提取区域。

与步骤S106至S108的过程类似地执行步骤S306至S308的过程。

当步骤S308的过程结束时，投影控制过程结束。以此方式，通过执行投影控制过程，投影成像系统100可以更容易且更准确地切割和提取图案可检测区域。同样在这种情况下，投影成像系统100可以以较低的成本实现对投影图像的状态的掌握。

<定位图案的配置>

注意，图10的A中描绘的定位图案310不仅包括可用于识别投影图像的像素行的定位图案，还包括可用于识别投影图像的像素列的定位图案。例如，在定位图案310中，在投影图像的左端和右端中的每个附近形成的纵向图案是可用于识别投影图像的像素行的定位图案，并且在投影图像的上端和下端中的每个附近形成的横向图案是可用于识别投影图像的像素列的定位图案。

以此方式，包括可用于识别图案图像中的投影图像的像素列的定位图案使得可以将该定位图案用于投影图像的几何校正等。

注意，定位图案310可以仅配置有可用于识别投影图像的像素行的定位图案，或者可以仅配置有可用于识别投影图像的像素列的定位图案。

另外，定位图案310的设计、标记、形状、位置等是任意的，并且不限于图10的示例。例如，可用于识别投影图像的像素行的定位图案可以仅形成在投影图像的左端附近或右端附近，或者可以形成在除了端部之外的部分中。另外，例如，可用于识别投影图像的像素列的定位图案可以仅形成在投影图像的上端附近或下端附近，或者可以形成在除了端部之外的部分中。

例如，可以以网格形式将定位图案310形成在整个投影图像中。

此外，例如，图案图像可以包括既可用于检测投影设备102与成像设备103之间的对应点也可用于识别投影图像的像素行的图案。在图10的情况下，例如，图案图像320可以包括用作图案171和定位图案310二者的图案。

<4.第四实施方式>

<快速成像>

虽然到目前为止已经描述了捕获图像的帧速率是投影图像的帧速率的两倍，但是本公开内容不限于这种情况，并且捕获图像的帧速率可以任意设置，只要捕获图像的帧速率高于投影图像的帧速率即可。差异计算部144计算配置有多个帧的捕获图像的不连续帧之间的差异，通过由卷帘式快门方式驱动的成像部以比投影图像的帧速率较高的帧速率捕获投影图像而获得该捕获图像，通过由投影部依次投影符号相反的预定图案图像而获得该投影图像，预定图案图像为正图案图像和负图案图像。由此可以使用通过卷帘式快门方式驱动的相机基于ISL方案实现在线感测。换句话说，可以以较低的成本实现对投影图像的状态的掌握。

例如，差异计算部144可以根据投影图像的帧速率与捕获图像的帧速率的比率以一定间隔计算帧之间的差异。例如，捕获图像的帧速率可以是投影图像的帧速率的2N倍(其中，N是自然数)。在这种情况下，差异计算部144可以以2N帧的间隔计算帧之间的差异。

例如，在图13中描绘了在将捕获图像的帧速率设置为投影图像的帧速率的四倍的情况下的定时图的示例。如图13的下段所示，使捕获图像的帧速率越高导致每帧的曝光时间缩短，从而增加所获得的帧的数量；因此，不必使用所有帧来检测图案图像。

<图像选择>

因此，控制器101可以从捕获图像的帧中选择各自用于检测图案图像的帧。此时，控制器101可以选择投影图像的多个帧被混合的帧，例如图13的帧D、G、H和L。

<控制器的功能块>

图14是示出在这种情况下由控制器101实现的功能的示例的功能框图。如图14所示，在这种情况下，除了第一实施方式中描述的功能(图3)之外，控制器101还具有例如图像选择部441的功能。

图像选择部441从捕获图像的帧中选择用于检测图案图像的帧。此时，图像选择部441选择投影图像的多个帧被混合的帧(例如，帧D、G、H和L)。

当图像处理部441选择帧时，差异计算部144至接合部146使用所选择的帧执行与第一实施方式中描述的过程类似的过程以检测对应于一帧的图案图像。

以此方式，类似于第一实施方式的情况，投影成像系统100可以以较低的成本实现对投影图像的状态的掌握。

<投影控制过程的流程>

将参考图15的流程图描述在这种情况下的投影控制过程的流程的示例。

当开始投影控制过程时，与步骤S101和S102的过程(图7)类似地执行步骤S401和S402的过程。

在步骤S403中，成像控制部143控制通过卷帘式快门方式驱动的成像设备103以高于投影帧速率的成像帧速率捕获通过步骤S402的过程投影到屏幕10上的投影图像。

在步骤S404中，图像选择部441在与运动图像中彼此相同的帧对应的帧组中选择捕获图像的一对帧，在该对帧中的每个帧中正图案图像和负图案图像在彼此相同的部分区域中混合，并且正图案图像或负图案图像被包含在另一区域中。

在步骤S405中，差异计算部144获得通过步骤S404的过程选择的一对帧之间的差异。

与步骤S105至S108的过程(图7)类似地执行步骤S406至S409的过程。

当步骤S409的过程结束时，投影控制过程结束。以此方式，通过执行投影控制过程，投影成像系统100也可以在这种情况下以较低的成本实现对投影图像的状态的掌握。

<图像选择>

在从捕获图像的帧中选择用于检测图案图像的帧时，控制器101可以选择投影图像的多个帧不被混合的帧(即，各自仅包括投影图像的单个帧的帧)，例如，图13的帧E或F和帧J或K。

<控制器的功能块>

图16是示出在这种情况下由控制器101实现的功能的示例的功能框图。如图16所示，在这种情况下，类似于参考图14描述的情况，控制器101具有图像选择部441的功能。另外，可以省略切割部145和接合部146。

图像选择部441从捕获图像的帧中选择用于检测图案图像的帧。此时，图像选择部441选择各自仅包含投影图像的单个帧的帧(例如，帧E或F和帧J或K)。

当图像选择部441选择帧时，差异计算部144生成所选择的帧之间的差异图像。在这种情况下，由于投影图像的多个帧在每个所选择的帧中没有混合，因此可以通过使差异计算部144生成差异图像来检测与一帧相对应的图案图像。因此，在这种情况下，可以省略切割部145和接合部146。

以此方式，类似于第一实施方式的情况，投影成像系统100可以以较低的成本实现对投影图像的状态的掌握。

<投影控制过程的流程>

将参考图17的流程图描述在这种情况下的投影控制过程的流程的示例。

当开始投影控制过程时，与步骤S401到S403的过程(图15)类似地执行步骤S501到S503的过程。

在步骤S504中，图像选择部441在与运动图像中彼此相同的帧对应的帧组中选择正图案图像和负图案图像没有被混合的捕获图像的一对帧。

在步骤S505中，差异计算部144获得通过步骤S504的过程选择的一对帧之间的差异。

与步骤S408和S409的过程(图15)类似地执行步骤S506和S507的过程。

当步骤S507的过程结束时，投影控制过程结束。以此方式，通过执行投影控制过程，投影成像系统100也可以在这种情况下以较低的成本实现对投影图像的状态的掌握。

<5.第五实施方式>

<配置的其他示例>

注意，应用本技术的投影成像系统100的配置是任意的，并且不限于上述示例。例如，如图18的A所示，控制器101可以与成像设备103集成在一起。在图18的A的示例的情况下，投影成像系统100配置有投影设备102和成像设备603。投影设备102和成像设备603以任意配置的方式彼此可通信地连接。另外，成像设备603包括控制部601，其具有与上述控制器101类似的功能，并且具有上述控制器101和成像设备103的功能。因此，在这种情况下，也可以以较低的成本实现对投影图像的状态的掌握。

另外，如例如图18的B所示，控制器101可以与投影设备102集成在一起。在图18的B的示例的情况下，投影成像系统100配置有投影设备612和成像设备103。投影设备612和成像设备103以任意配置的方式彼此可通信地连接。另外，投影设备612包括控制部611，其具有与上述控制器101类似的功能，并且具有上述控制器101和投影设备102的功能。因此，在这种情况下，也可以以较低的成本实现对投影图像的状态的掌握。

注意，投影成像系统100可以实现为如图18的C中所示的设备。在图18的C的情况下，投影成像设备620具有与投影成像系统100类似的功能。换句话说，投影成像设备620具有控制部621、投影部622和成像部623。控制部621具有类似于上述控制器101的功能，投影部622具有类似于上述投影设备102的功能，并且成像部623具有类似于上述成像设备103的功能。因此，在这种情况下，也可以以较低的成本实现对投影图像的状态的掌握。

虽然未示出，但是投影设备102可以与成像设备103集成在一起。换句话说，投影成像系统100可以配置有投影成像设备，该投影成像设备具有投影设备102和成像设备103两者的功能。

虽然上面已经描述了诸如控制器、投影设备和投影成像设备的各种设备中的每种设备的数量是一个，但是这些各种设备的数量是任意的。例如，投影成像系统100可以具有多个这些各种设备中的每个。另外，设备的数量不一定是均匀的。此外，投影成像系统100可以具有除这些设备之外的设备。

<6.其他>

<本技术的应用示例>

根据上述实施方式的系统或设备可以应用于任意系统或任意电子设备。另外，本技术可应用于任意领域的图像处理系统或图像处理设备，例如，运输、医药、犯罪预防、农业、畜牧业、采矿、美容、工厂、消费电子产品、天气或自然监测领域。

例如，本技术也可以应用于投影和捕获用于欣赏的图像的系统。可替代地，本技术也可以应用于例如用于运输的系统。另外，本技术也可以应用于例如用于安全的系统。作为又一另外选择，本技术也可以应用于例如用于运动的系统。作为又一另外选择，本技术也可以应用于例如用于农业的系统。作为又一另外选择，本技术可以应用于例如用于畜牧业的系统。此外，本技术还可以应用于监视自然状态例如火山、森林或海洋的系统，以及应用于观察例如天气、温度、湿度、风速和/或日照时间的气象观测系统，或应用于观察野生动物例如鸟类、鱼类、爬行动物、两栖动物、哺乳动物、昆虫和/或植物的生态的系统等。

<软件>

上述一系列过程也可以由硬件或软件执行。在通过软件执行上述一系列过程的情况下，从网络或记录介质安装配置软件的程序。

在例如图2的控制器101的情况下，通过被分配以向用户传送程序并与控制器主体分开记录程序的可移动介质131配置该记录介质。在这种情况下，通过将可移动介质131附接至例如驱动器125，可以读出存储在可移动介质131中的该程序并将其安装在存储部123中。

此外，还可以通过诸如局域网、因特网或数字卫星广播的有线或无线传输介质提供该程序。在图2的控制器101的情况下，例如，程序可以由通信部124接收并被安装在存储部123中。

此外，该程序也可以预先安装在存储部、ROM等中。在图2的控制器101的情况下，例如，程序也可以预先安装在存储部123、ROM 112等中。

注意，由计算机执行的程序可以被配置成使得描述程序的步骤的过程以按照本说明书中描述的顺序的时间序列执行，或者使得过程各自并行地执行或者在必要的定时例如呼叫定时处执行。此外，描述该程序的步骤的过程可以与其他程序的过程并行执行，或者可以与其他程序的过程组合执行。

此外，上述步骤的过程可以由上述每个设备或除了上述设备之外的任意设备执行。在这种情况下，执行过程的设备可以具有执行过程所需的功能(例如功能块)。另外，可以适当地将该过程所需的信息发送到设备。

<其它>

本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的精神的范围内进行各种改变。

此外，本技术不仅作为设备或系统执行而且作为安装在设备或配置系统的设备——例如，用作系统LSI(Large Scale Integration，大规模集成)的处理器、使用多个处理器等的模块、使用多个模块等的单元、进一步向该单元添加其他功能的组(即，该设备的一部分的配置)上的任何配置——来执行。

注意，在本说明书中，系统指多个组成元件(设备、模块(部件)等)的集合，而不管所有组成元件是否设置在同一壳体中。因此，容纳在不同壳体中并经由网络彼此连接的多个设备，以及其中多个模块容纳在一个壳体中的一个设备可以各自称为“系统”。

此外，描述为一个设备(或一个处理部)的配置例如可以被划分并配置为多个设备(或处理部)。相反，上面描述为多个设备(或处理部)的配置可以被集成并配置为一个设备(或一个处理部)。此外，不用说，可以将除了上述每个设备(或每个处理部)之外的配置添加到每个设备(或每个处理部)的配置中。此外，如果配置或操作与整个系统基本相同，则某个设备(或某个处理部)的配置的一部分可以包括在其他设备(或其他处理部)的配置中。

例如，本技术可以具有云计算配置，用于使多个设备以共享或协作方式经由网络对一个功能进行处理。

此外，上述程序可以由例如任意设备执行。在这种情况下，该设备可以被配置成具有必要的功能(功能块等)，以能够获得必要的信息。

此外，上述流程图中描述的每个步骤不仅可以由一个设备执行，而且可以由多个设备以共享方式执行。此外，在一个步骤包括多个过程的情况下，一个步骤中包括的多个过程不仅可以由一个设备执行，而且可以由多个设备以共享方式执行。换句话说，包括在一个步骤中的多个过程可以作为多个步骤的过程来执行。相反，描述为多个步骤的过程可以集成到一个步骤中并共同执行。

本说明书中描述的多种技术可以仅在没有不一致的情况下独立地并且单独地执行。不用说，可以一起使用并执行多种任意的本技术。例如，在任何实施方式中描述的本技术的一部分或全部可以与另一实施方式中描述的要执行的本技术的一部分或全部组合使用。此外，上述任意的本技术的一部分或全部可以与上面未描述要执行的其他技术一起使用。

注意，本技术也可以配置如下。

(1)一种图像处理设备，包括：

差异计算部，其计算由多个帧构成的捕获图像的不连续帧之间的差异，其中通过用以卷帘式快门方式驱动的成像部以比投影图像的帧速率高的帧速率捕获所述投影图像来获得所述捕获图像，所述投影图像是通过由投影部依次投影符号相反的预定图案图像而获得的，所述符号相反的预定图案图像为正图案图像和负图案图像。

(2)根据(1)的图像处理设备，其中

所述差异计算部被配置成以根据所述投影图像的帧速率与所述捕获图像的帧速率的比率的间隔计算所述帧之间的差异。

(3)根据(1)或(2)的图像处理设备，其中，

所述捕获图像的帧速率是所述投影图像的帧速率的两倍，并且

所述差异计算部以两帧的间隔计算所述帧之间的差异。

(4)根据(1)至(3)中任一项的图像处理设备，还包括：

提取部，其根据由所述差异计算部计算的所述帧之间的差异来提取能够检测所述图案图像的区域；以及

接合部，其将由所述提取部根据多个差异中的每个差异提取的区域接合在一起，以生成与一帧对应的图案图像。。

(5)根据(1)至(4)中任一项的图像处理设备，还包括：

对应点检测部，其使用由所述接合部生成的所述图案图像检测所述投影部与所述成像部之间的对应点。

(6)根据(1)至(5)中任一项的图像处理设备，还包括：

图像校正部，其使用由所述对应点检测部检测的所述对应点来校正由所述投影部投影的图像。

(7)根据(1)至(6)中任一项的图像处理设备，其中，

所述图案图像各自包括能够用于检测所述投影部与所述成像部之间的对应点的图案和能够用于识别所述投影图像的像素行的图案，以及

所述提取部被配置成基于能够用于识别所述投影图像的像素行的图案来提取所述能够检测所述图案图像的区域。

(8)根据(1)至(7)中任一项的图像处理设备，其中，

所述图案图像各自还包括能够用于识别所述投影图像的像素列的图案。

(9)根据(1)至(8)中任一项的图像处理设备，其中，

在所述投影图像的左端、右端、上端和下端附近形成所述图案图像中的每个图案图像中的能够用于识别所述投影图像的像素行的图案和能够用于识别所述投影图像的像素列的图案。

(10)根据(1)至(9)中任一项的图像处理设备，其中，

以网格形式将所述图案图像中的能够用于识别所述投影图像的像素行的图案和能够用于识别所述投影图像的像素列的图案形成在整个所述投影图像上。

(11)根据(1)至(10)中任一项的图像处理设备，其中

所述图案图像各自包括能够用于检测所述投影部与所述成像部之间的对应点以及识别所述投影图像的像素行二者的图案，以及

所述提取部被配置成基于能够用于检测所述投影部与所述成像部之间的对应点以及识别所述投影图像的像素行二者的所述图案来提取能够检测所述图案图像的区域。

(12)根据(1)至(11)中任一项的图像处理设备，还包括：

使所述投影部的投影定时与所述成像部的成像定时同步的同步处理部。

(13)根据(1)至(12)中任一项的图像处理设备，其中

所述捕获图像的帧速率是所述投影图像的帧速率的2N倍(其中N是自然数)，以及

所述差异计算部被配置成以2N帧的间隔计算所述帧之间的差异。

(14)根据(1)至(13)中任一项的图像处理设备，还包括：

图像选择部，其从所述多个帧的所述捕获图像中选择所述差异计算部计算差异的帧。

(15)根据(1)至(14)中任一项的图像处理设备，其中，

所述图像选择部选择所述捕获图像中的帧，其中在所选择的帧中的每个帧中所述投影图像的多个帧被混合。

(16)根据(1)至(15)中任一项的图像处理设备，其中，

所述图像选择部选择所述捕获图像中的帧，其中在所选择的帧中的每个帧中仅包括所述投影图像的单个帧。

(17)根据(1)至(16)中任一项的图像处理设备，其中

通过将叠加有正图案图像的叠加图像和叠加有负图案图像的叠加图像依次投影到运动图像的预定帧上而获得所述投影图像。

(18)根据(1)至(17)中任一项的图像处理设备，还包括成像部。

(19)根据(1)至(18)中任一项的图像处理设备，还包括投影部。

(20)一种图像处理方法，包括：

计算由多个帧构成的捕获图像的不连续帧之间的差异，其中通过用卷帘式快门方式以比投影图像的帧速率较高的帧速率捕获投影图像来获得所述捕获图像，所述投影图像是通过依次投影符号相反的预定图案图像而获得的，所述符号相反的预定图案图像为正图案图像和负图案图像。

[附图标记清单]

100：投影成像系统

101：控制器

102：投影设备

103：成像设备

111：CPU

112：ROM

113：RAM

114：总线

120：输入/输出接口

121：输入部

122：输出部

123：存储部

124：通信部

125：驱动器

131：可移动介质

141：图案合并部

142：投影控制部

143：成像控制部

144：差异计算部

145：切割部

146：接合部

147：对应点检测部

148：图像校正部

241：同步处理部

441：图像选择部

601：控制部

603：成像设备

611：控制部

612：投影设备

620：投影成像设备

621：控制部

622：投影部

623：成像部

Claims (20)

1.一种图像处理设备，包括：

差异计算部，其计算由多个帧构成的捕获图像的不连续帧之间的差异，其中通过用以卷帘式快门方式驱动的成像部以比投影图像的帧速率高的帧速率捕获所述投影图像来获得所述捕获图像，所述投影图像是通过由投影部依次投影符号相反的预定图案图像而获得的，所述符号相反的预定图案图像为正图案图像和负图案图像。

2.根据权利要求1所述的图像处理设备，其中

所述差异计算部被配置成以根据所述投影图像的帧速率与所述捕获图像的帧速率的比率的间隔计算所述帧之间的差异。

3.根据权利要求2所述的图像处理设备，其中

所述捕获图像的帧速率是所述投影图像的帧速率的两倍，并且

所述差异计算部以两帧的间隔计算所述帧之间的差异。

4.根据权利要求3所述的图像处理设备，还包括：

提取部，其根据由所述差异计算部计算的所述帧之间的差异来提取能够检测所述图案图像的区域；以及

接合部，其将由所述提取部根据多个差异中的每个差异提取的区域接合在一起，以生成与一帧对应的图案图像。

5.根据权利要求4所述的图像处理设备，还包括：

对应点检测部，其使用由所述接合部生成的所述图案图像检测所述投影部与所述成像部之间的对应点。

6.根据权利要求5所述的图像处理设备，还包括：

图像校正部，其使用由所述对应点检测部检测的所述对应点来校正由所述投影部投影的图像。

7.根据权利要求4所述的图像处理设备，其中

所述图案图像各自包括能够用于检测所述投影部与所述成像部之间的对应点的图案和能够用于识别所述投影图像的像素行的图案，以及

所述提取部被配置成基于能够用于识别所述投影图像的像素行的图案来提取所述能够检测所述图案图像的区域。

8.根据权利要求7所述的图像处理设备，其中

所述图案图像各自还包括能够用于识别所述投影图像的像素列的图案。

9.根据权利要求8所述的图像处理设备，其中

在所述投影图像的左端、右端、上端和下端附近形成所述图案图像中的每个图案图像中的能够用于识别所述投影图像的像素行的图案和能够用于识别所述投影图像的像素列的图案。

10.根据权利要求8所述的图像处理设备，其中

以网格形式将所述图案图像中的能够用于识别所述投影图像的像素行的图案和能够用于识别所述投影图像的像素列的图案形成在整个所述投影图像上。

11.根据权利要求4所述的图像处理设备，其中

所述图案图像各自包括能够用于检测所述投影部与所述成像部之间的对应点以及识别所述投影图像的像素行二者的图案，以及

所述提取部被配置成基于能够用于检测所述投影部与所述成像部之间的对应点以及识别所述投影图像的像素行二者的所述图案来提取能够检测所述图案图像的区域。

12.根据权利要求2所述的图像处理设备，还包括：

使所述投影部的投影定时与所述成像部的成像定时同步的同步处理部。

13.根据权利要求2所述的图像处理设备，其中

所述捕获图像的帧速率是所述投影图像的帧速率的2N倍(其中N是自然数)，以及

所述差异计算部被配置成以2N帧的间隔计算所述帧之间的差异。

14.根据权利要求13所述的图像处理设备，还包括：

图像选择部，其从所述多个帧的所述捕获图像中选择所述差异计算部计算差异的帧。

15.根据权利要求14所述的图像处理设备，其中，

所述图像选择部选择所述捕获图像中的帧，其中在所选择的帧中的每个帧中所述投影图像的多个帧被混合。

16.根据权利要求14所述的图像处理设备，其中，

所述图像选择部选择所述捕获图像中的帧，其中在所选择的帧中的每个帧中仅包括所述投影图像的单个帧。

17.根据权利要求2所述的图像处理设备，其中

通过将叠加有正图案图像的叠加图像和叠加有负图案图像的叠加图像依次投影到运动图像的预定帧上而获得所述投影图像。

18.根据权利要求1所述的图像处理设备，还包括：

所述成像部。

19.根据权利要求1所述的图像处理设备，还包括：

所述投影部。

20.一种图像处理方法，包括：

计算由多个帧构成的捕获图像的不连续帧之间的差异，其中通过用卷帘式快门方式以比投影图像的帧速率较高的帧速率捕获投影图像来获得所述捕获图像，所述投影图像是通过依次投影符号相反的预定图案图像而获得的，所述符号相反的预定图案图像为正图案图像和负图案图像。