CN109558033A - 交互投影装置及其定位方法 - Google Patents

Abstract

本发明提供一种交互投影装置，包括主控模块、投影模块和图像捕捉模块。本发明的交互投影装置在启动后能够进行自动对焦、自动定位、可见摄像光模式与红外摄像模式切换等步骤，从而实现自动的对焦与定位。此外，本发明还设有姿态感应模块，以便在投影区域发生变化时，自动的再次进行对焦与定位。本发明提供的交互投影装置能够自动的使得投影出的图像和摄像所捕捉的图像相互对应。

Description

交互投影装置及其定位方法

技术领域

本发明涉及一种交互投影装置及其定位方法，尤其能够自动的使得投影出的图像和对进行交互的目标对象所捕捉的图像相互对应的交互投影装置及其定位方法。

背景技术

随着信息技术的进步，人们越来越多的需要在不同的场合使用交互设备进行工作或者娱乐。无论是传统的采用背光和液晶层的诸如TFT、IPS之类的液晶显示屏，还是使用有机发光二极管的诸如AMOLED显示屏，都是采用直接向用户的眼睛发射光的原理进行显示。这样的显示原理，使得用户事实上在使用过程中一直看着光源，比较容易造成用户眼部的疲劳。因此投影显示设备越来越受到人们的青睐。然而，由于投影设备并不是在自身上进行投影，而是将画面投射到与自身不相关的平面(例如桌面或者墙面)上，这就导致了难以直接地对画面进行控制。为了解决这一问题，交互投影装置被发明出来。这样的交互投影装置装备有光源。光源能够照射显示区，并在用户的手等操作部进入显示区域时，使得操作部表面发生散射。交互投影装置通过捕捉散射光来判定用户操作的位置。虽然这样的方式成功的实现了在一个平面内同时进行投影和操作捕捉的功能，但是当前的交互投影装置仍然具有缺陷。

一个最主要的缺陷就是，由于投影使用的投影设备和捕捉用户操作的摄像设备是相互独立的，因此投影的图像和捕捉到的用户的操作在位置上会发生偏移。这样的偏移通常是由多种原因构成的(例如制造公差，平面情况等)因此难以简单的通过在出厂前调试的方法消除。

因此，有必要提出一种自动的使得投影出的图像和摄像设备所捕捉的图像相互对应的交互投影装置及投影摄像设备的定位方法。

发明内容

本发明的目的是提供一种能够自动的使得投影出的图像和摄像所捕捉的图像相互对应的交互投影装置及其定位方法。

本发明提供一种交互投影装置，包括主控模块、投影模块、图像捕捉模块和姿态感应模块。该主控模块中存有第一图片，该图像捕捉模块适于在不改变图像捕捉区域的情况下，在适于捕捉该投影模块的投影的第一模式和不适于捕捉该投影模块的投影的第二模式之间切换，该姿态感应模块适于感应该投影模块和/或该图像捕捉模块的位置变化；

该主控模块控制该投影模块和图像捕捉模块并执行以下步骤：

步骤1，自动对焦；

步骤2，向预定区域投影该第一图片；

步骤3，该图像捕捉模块在该第一模式下捕捉该第一图片获得第一捕捉结果；

步骤4，根据该捕捉结果和该第一图片的相关信息，生成投影误差信息；

步骤5，该图像捕捉模块在该第二模式下捕捉向预定区域的光线，获得第二捕捉结果；

步骤6，根据所述误差信息，修正所述第二捕捉结果；

步骤7，判断为该投影模块和/或该图像捕捉模块的位置发生变化时，跳转至步骤1。

根据本发明的至少一个实施例，该投影模块适于向该预定区域发射可见光；

该第一模式为可见光摄像模式，该第二模式是红外摄像模式。

根据本发明的至少一个实施例，该图像捕捉模块包括图像捕捉单元和IR-CUT双滤光片切换器。

根据本发明的至少一个实施例，该图像捕捉模块是具有RGB低透光栅的图像捕捉单元，该图像捕捉单元通过改变曝光时长，在该光摄像模式和该红外摄像模式之间切换。

根据本发明的至少一个实施例，该第一图片为边缘具有多个该特征图案的纯色图片；

相邻两个该特征图案之间的间隔的上限是150像素、130像素或110像素；

相邻两个该特征图案之间的间隔的下限是50像素、70像素或90像素。

根据本发明的至少一个实施例，该特征图案是多个同心圆；

该第一图片具有第一颜色，该特征图案具有与该第一颜色相反的第二颜色。

根据本发明的至少一个实施例，主控模块中包括图像识别单元，该图像识别单元适于识别该第一捕捉结果中的特征图案的位置，生成识别结果；

在步骤4中，根据该识别结果和该第一图片的相关信息生成该投影误差信息。

根据本发明的至少一个实施例，该第一图片的相关信息是包括该第一图片上的各特征图案的位置的第一投影位置列表，该识别结果是包括该第一捕捉结果中的各特征图案的位置的第一识别位置列表；

在步骤4中，根据该第一投影位置列表和该第一识别位置列表，生成该投影误差信息。

根据本发明的至少一个实施例，该投影误差信息是根投影坐标系与捕捉坐标系的位置对应函数。

根据本发明的至少一个实施例，本发明提供的交互投影装置还包括壳体和光源；该主控模块设置在该壳体内，该壳体的底部适于被放置在平面上，该主控模块与该光源、该投影模块和该图像捕捉模块分别连接；

该光源设置在该壳体靠近底部的侧壁上，适于向该壳体的外侧发出光膜，该光膜覆盖该壳体外侧的该预定区域，当该壳体被放置于平面上时，该光膜靠近该平面；

该投影模块设置在该壳体的上部且适于向该预定区域投影，该图像捕捉模块设置在该壳体的上部且适于捕捉来自该预定区的光线。

本发明提供的交互投影装置能够自动的使得投影出的图像和摄像所捕捉的图像相互对应。

应当理解，本发明以上的一般性描述和以下的详细描述都是示例性和说明性的，而非限制性的。这些详细描述旨在为如权利要求该的本发明提供进一步的解释。

附图说明

包括附图是为提供对本发明进一步的理解，它们被收录并构成本申请的一部分，附图示出了本发明的实施例，并与本说明书一起起到解释本发明原理的作用。附图中：

图1示出了本发明的一个实施例的投影摄像设备的模块结构图；

图2示出了本发明的一个实施例的投影摄像设备的定位方法的流程图；

图3示出了运用本发明投影摄像设备的定位方法的投影触控设备的一个实施例的剖面结构。

具体实施方式

现在将详细参考附图描述本发明的实施例。现在将详细参考本发明的优选实施例，其示例在附图中示出。在任何可能的情况下，在所有附图中将使用相同的标记来表示相同或相似的部分。此外，尽管本发明中所使用的术语是从公知公用的术语中选择的，但是本发明说明书中所提及的一些术语可能是申请人按他或她的判断来选择的，其详细含义在本文的描述的相关部分中说明。此外，要求不仅仅通过所使用的实际术语，而是还要通过每个术语所蕴含的意义来理解本发明。

首先参考图1来说明本发明的一个可选的实施例的结构。如图1所示，根据一个非限制性的例子，本发明提供的交互投影装置，包括主控模块1、图像捕捉模块2、投影模块3和姿态感应模块4。图像捕捉模块2、投影模块3和姿态感应模块4分别和主控模块1连接。主控模块1可以是一个单独的元件也可以是由多个元件组成的组件。例如，在当前的非限制性例子中，主控模块1进一步包括控制器11、存储器12和图像识别单元13，存储器12中存有预设的第一图片。

投影模块3能够向一预定区域投影，而图像捕捉模块2则能够适于在不改变其图像捕捉区域的情况下，在适于捕捉投影模块的投影的第一模式和不适于捕捉投影模块的投影的第二模式之间切换，并捕捉来自该预定区域的光线。在两个模式之间切换具体的实现方式可以是多样的。例如，在当前的非限制性例子中，图像捕捉模块2包括图像捕捉单元21和切换装置22。通过切换装置22的运转改变图像捕捉单元21的捕捉特性，就能够使得图像捕捉模块2能够在两种模式间来回切换。姿态感应模块能够感应投影模块3和/或图像捕捉模块2的位置变化，并将这一变化信息提供给主控模块1。

参考图2，主控模块1能够控制图像捕捉模块2、投影模块3并执行以下步骤：

步骤1001，自动对焦。

步骤1002，控制投影模块3向一预定区域投影第一图片，以便给为自动定位步骤产生一个定位的初始值。

步骤1003，图像捕捉模块在第一模式下捕捉被投影至预定区域的第一图片，获得的数据(通常是一个数字矩阵)被称为第一捕捉结果。

步骤1004，主控模块1可以根据该捕捉结果和存储器中储存的第一图片的相关信息生成投影误差信息。在这一步骤中，可以获得投影模块3投影的结果与图像捕捉模块捕捉的结构之间的误差，这一误差可以在后续的步骤中被用于修正位置信息。值得注意的是，第一图片的相关信息既可以是第一图片本身，也可以是与第一图片的内容相关的其他信息。这些信息既可以是与第一图片封装在同一个文件中的，也可以与第一图片相互独立的存储在存储器或者其他地方的。

步骤1005，由于误差信息已经获得，此时图像捕捉模块2可以切换到第二模式，以便减少投影模块3发出的光线的干扰。图像捕捉模块2捕捉来自预定区域的光线，获得第二捕捉结果。来自预定区域的光线可以是，例如用户的输入。

步骤1006，使用步骤1004中获得的误差信息修正步骤1005中获得的第二捕捉结果。

步骤1007，判断投影模块3和/或该图像捕捉2模块的位置是否发生了变化。若判断为是，则认为投影情况发生变化，需要重新进行对焦和定位。在这种情况下，跳转到步骤1001。反之，若投影模块3和/或该图像捕捉2模块的位置没有发生变化，则无需重新对焦和定位。此时可以继续以当前状态运行。例如，可以跳转至步骤1005

值得注意的是，以上的例子只是对本发明所提出的交互投影装置的一个可选的例子的说明。本发明所提出的投影交互投影装置的许多部分都可以具有多种多样的设置方式。例如，主控模块1既可以以任意合乎逻辑的顺序执行上述步骤，也可以将上述步骤中的任意一部分并行的执行。下面以一些例子对本发明的至少一部分变化进行进一步的说明。

根据一个非限制性的例子，投影模块能够向一预定区域发射可见光。此时图像捕捉模块2的第一模式为能够拍可见光摄像模式，第二模式则是，不适于拍摄可见光，但适于拍摄红外光的红外摄像模式。这样的设置方式使得在第二模式下，投影模块3发出的可见光不会影响图像捕捉模块2捕捉红外光。并且，将可见光滤除，保留红外光的滤波装置较容易获得，本发明的交互投影装置的成本较低。

在当前的非限制性例子中，图像捕捉模块2在第一模式于第二模式间的切换可以以硬件的方式进行，也可以以软件的方式进行。例如，若希望该切换以硬件的方式进行，如图1所示的，可以将图像捕捉模块2设置为包括图像捕捉单元21和IR-CUT双滤光片切换器22。通过IR-CUT双滤光片切换器22的运行，就能使得图像捕捉单元21在见光摄像模式和红外摄像模式之间切换。这样设置的好处是多方面的。一方面，使用可见光摄像(RGB)模式进行校准可以使得投影模块3无需额外的变动。直接以正常模式投影预设的图片就能够进行校准。另一方面，使用IR-CUT双滤光片切换器，配合现有的图像捕捉单元21就能够实现在第二模式下对红外线进行探测。在进行例如捕捉用户操作之类的任务，时不会受到投影模块3发出的光线的干扰。

又例如，若希望该切换以软件的方式进行，则可以将图像捕捉模块2设置为具有RGB低透光栅的图像捕捉单元。此时由于可见光仍然能少量的被图像捕捉单元捕捉，因此当图像捕捉模块2需要以第一模式运行时，可以增加图像捕捉模块2的曝光时长，且保证此时预定区域没有强烈的红外光。反之，若图像捕捉模块2需要以第二模式运行时，可以将图像捕捉模块2的曝光时长恢复，此时由于可见光难以穿透RGB低透光栅，所以投影模块3发出的可见光对图像捕捉模块2捕捉红外光的影响也较小。这样设置的好处是，可以使得本发明的交互投影装置具有较少的可动结构，较为坚固耐用且成本较低。

第一图片的具体图案可以是多样的，例如，可以利用开机时显示的开机图片作为第一图片，(例如让图像识别单元13识别公司标志、版权归属等信息等内容的位置以便控制器计算位置对应函数)。根据一个非限制性的例子，第一图片是为边缘具有多个特征图案的纯色图片。例如，可以是边缘均匀的分布有多个白色特征图案的黑色图片。这样的设置使得特征图案在整个图案上最为明显，从而使得在步骤1004中，主控模块1可以较为容易的根据该捕捉结果和第一图片生成投影误差信息。

值得注意的是，在设置特征图案时，相邻的特征图案之间间隔过宽可能会导致难以反映图片在投影过程中发生的变形的真实情况，因此一般将相邻两个特征图案之间的间隔设置为150像素以下。反之，特征图案过密则会导致识别难度加大、计算量上升，错误率增加。因此，一般将相邻两个特征图案之间的间隔设置为50像素以上。根据实际情况可以在上述范围内对相邻两个特征图案之间的间隔进行调整。例如，对于制造精度较高的交互投影装置，或者对于定位精度要求较低的交互投影装置，，可以选择较大的110像素或者130像素的特征图案之间间隔。与之相对的，对于定位精度要求较高，数据处理能力较强的交互投影装置，则可以设置70像素或90像素的相邻特征图案间隔。

此外，虽然公司logo之类图案可以被作为特征图案。但是将特征图案设置为具有实心点或者不具有实心点的多个同心圆能够进一步提高识别效率。根据一个非限制性的例子，可以将第一图片与第二图片设置为的具有相同的第一颜色，并且将特征图案设置为具有与之相反的第二颜色的同心圆。例如，可以将第一图片的底色设置为黑色，并且设置为边缘具有多个白色的特征图案的图片，其中每个特征图案都是具有白色实心点三个白色的同心圆。同时，将第二图片的底色设置为黑色，并且设置为整个图片均匀分布有多个白色的特征图案的图片，其中每个特征图案也是具有白色实心点三个白色的同心圆。

获得投影模块3投影的结果与图像捕捉模块捕捉的结构之间的投影误差信息并以此修正第二捕捉结果的具体方法可以是多样的。例如可以使用将捕捉到的画面与原始图片进行图像差异识别的办法，根据识别出的差异信息作为投影误差信息，在此种情况下，所述第一图片的相关信息是第一图片本身。然而这种方法只适用于畸变较小的情形。根据一个非限制性的例子，主控模块1中还包括图像识别单元13。识别单元识别第一捕捉结果中特征图像的位置，并将识别结果与第一图片的相关信息比较，从而生成投影误差信息。

可选的，所述第一图片的相关信息是包括该第一图片上的各特征图案的位置的第一投影位置列表。相应的，识别结果是第一识别位置列表。该第一识别位置列表种包括图像识别单元13所识别出的第一捕捉结果中的各特征图案的位置。在此种设置下。主控模块1就能够根据第一投影位置列表和第一识别位置列表，生成所述投影误差信息。这样的设置使得误差信息的生成过程没有模糊运算的步骤，计算负荷较低速度较快。

可选的，上述投影误差信息是根据该第一投影位置列表与第一识别位置列表产生的投影坐标系与捕捉坐标系的位置对应函数。具体的，第一图片的坐标系为投影坐标系，第一捕捉结果的坐标系为捕捉坐标系。例如，在投影坐标系下，第一图片在其[x,y]位置有一特征图案。当该第一图片被投影为第一画面，并被捕捉为第一捕捉结果时，该特征图案位于捕捉坐标系的[a,b]位置。该[a,b]就是该特征图像在图像捕捉单元对应的捕捉坐标系上的位置。[a,b]不同于[x,y]的原因是多样的。这些原因可以包括：拍摄范围大于投影范围，投影时图像发生了畸变等。根据第一投影位置列表与第一识别位置列表，主控单元可以获得多个点在第一图片上的位置和在第一捕捉结果中的位置。根据这些位置数据，就能够得出投影坐标系与捕捉坐标系的位置对应函数。

值得注意的是上述例子在多个方面还可以具有多样的变化。例如，图像识别单元13根据第一捕捉结果识别第一画面生成第一识别结果的具体方法既可以采用模板匹配(template matching)算法，也可以是采取颜色识别(color detection)算法。因此上述例子只是对本发明的说明，而不应当被理解为对本发明保护范围的限制。

参考图3，根据一个非限制性的例子，投影交互设备还包括壳体101、主控模块102、光源103、投影模块141及图像捕捉模块142。在当前的例子中，投影模块141及图像捕捉模块142集成在交互投影装置104上。在其他的例子中，投影模块141和图像捕捉模块142也可以是分开设置的。主控模块102设置在壳体101的内部，并且壳体101的底部具有适于被放置在任何适于投影的平面106上的形状。主控模块102与光源103、投影模块141和图像捕捉模块142分别连接。

103光源设置在壳体靠近底部的侧壁上，并且能够向壳体101的外侧发出光膜131。该光膜131覆盖该壳体101外侧的预定区域(图中AB之间的区域)。当壳体101被放置于平面106上时，该光膜131靠近平面106。投影模块141设置在壳体101的上方，并且能够向预定区域(图中AB之间的区域)投影出画面。图像捕捉模块142也设置在壳体101的上部，并且能够捕捉预定区的画面。图像捕捉模块142具有两个模式。在第一模式下，图像捕捉模块142能够捕捉来自投影模块141的光(例如可见光)。在第二模式下，图像捕捉模块142适于捕捉来自光源103的光(例如红外光)。

在这样的设置下，当完成自动对焦和自动定位，并将图像捕捉模块142切换为第二模式(例如红外捕捉模式)后，用户手指能够反射的来自光源103的光(红外光)。图像捕捉模块142能够捕捉这些来自用户手指的漫发射光线(红外光)，从而使得主控模块102获知用户的手指在捕捉坐标系中的位置。主控模块102运用投影坐标系与捕捉坐标系的位置对应函数。就能计算出用户的手指在投影坐标系下的位置，即用户的手指正位于显示的画面的何种位置。

这样的设置的好处在于，用户能够获得“点击显示画面的任何部位，投影触控设备都能准确识别并正确反馈”的用户体验。不会出现诸如，点击某处时，投影触控设备识别为用户点击了另一处的情况。

虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可做出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (10)

1.一种交互投影装置，包括主控模块、投影模块、图像捕捉模块和姿态感应模块，其特征在于：所述主控模块中存有第一图片，所述图像捕捉模块适于在不改变图像捕捉区域的情况下，在适于捕捉所述投影模块的投影的第一模式和不适于捕捉所述投影模块的投影的第二模式之间切换，所述姿态感应模块适于感应所述投影模块和/或所述图像捕捉模块的位置变化；

所述主控模块控制所述投影模块和所述图像捕捉模块，执行以下步骤：

步骤1，自动对焦；

步骤2，向预定区域投影所述第一图片；

步骤3，所述图像捕捉模块在所述第一模式下捕捉所述第一图片获得第一捕捉结果；

步骤4，根据所述捕捉结果和所述第一图片的相关信息，生成投影误差信息；

步骤5，所述图像捕捉模块在所述第二模式下捕捉向预定区域的光线，获得第二捕捉结果；

步骤6，根据所述误差信息，修正所述第二捕捉结果；

步骤7，判断为所述投影模块和/或所述图像捕捉模块的位置发生变化时，跳转至步骤1。

2.根据权利要求1所述的交互投影装置，其特征在于：所述投影模块适于向所述预定区域发射可见光；

所述第一模式为可见光摄像模式，所述第二模式是红外摄像模式。

3.根据权利要求2所述的交互投影装置，其特征在于：所述图像捕捉模块包括图像捕捉单元和IR-CUT双滤光片切换器。

4.根据权利要求2所述的交互投影装置，其特征在于：所述图像捕捉模块是具有RGB低透光栅的图像捕捉单元，所述图像捕捉单元通过改变曝光时长，在所述光摄像模式和所述红外摄像模式之间切换。

5.根据权利要求1所述的交互投影装置，其特征在于：所述第一图片为边缘具有多个所述特征图案的纯色图片；

相邻两个所述特征图案之间的间隔的上限是150像素、130像素或110像素；

相邻两个所述特征图案之间的间隔的下限是50像素、70像素或90像素。

6.根据权利要求5所述的交互投影装置，其特征在于：所述特征图案是多个同心圆；

所述第一图片具有第一颜色，所述特征图案具有与所述第一颜色相反的第二颜色。

7.根据权利要求5所述的交互投影装置，其特征在于：主控模块中包括图像识别单元，所述图像识别单元适于识别所述第一捕捉结果中的特征图案的位置，生成识别结果；

在步骤4中，根据所述识别结果和所述第一图片的相关信息生成所述投影误差信息。

8.根据权利要求7所述的交互投影装置，其特征在于：所述第一图片的相关信息是包括所述第一图片上的各特征图案的位置的第一投影位置列表，所述识别结果是包括所述第一捕捉结果中的各特征图案的位置的第一识别位置列表；

在步骤4中，根据所述第一投影位置列表和所述第一识别位置列表，生成所述投影误差信息。

9.根据权利要求7所述的交互投影装置，其特征在于：所述投影误差信息是根投影坐标系与捕捉坐标系的位置对应函数。

10.根据权利要求1所述的交互投影装置，其特征在于：还包括壳体和光源；所述主控模块设置在所述壳体内，所述壳体的底部适于被放置在平面上，所述主控模块与所述光源、所述投影模块和所述图像捕捉模块分别连接；

所述光源设置在所述壳体靠近底部的侧壁上，适于向所述壳体的外侧发出光膜，所述光膜覆盖所述壳体外侧的所述预定区域，当所述壳体被放置于平面上时，所述光膜靠近所述平面；

所述投影模块设置在所述壳体的上部且适于向所述预定区域投影，所述图像捕捉模块设置在所述壳体的上部且适于捕捉来自所述预定区的光线。