CN102193651B - 用于识别激光点的设备、方法和系统 - Google Patents

Abstract

用于识别激光点并在投影屏幕上定位该激光点的坐标的设备，包括：前景计算单元，用于从照相装置所拍摄的图像中计算所述图像的前景图像；阈值估计单元，用于在所述设备的初始化阶段，基于前景计算单元计算的所述前景图像自动估计所述前景图像中的像素的亮度、饱和度以及色调的阈值；激光点检测单元，用于基于所述前景图像以及所述像素的亮度、饱和度以及色调的阈值检测激光点；和定位单元，用于基于所述激光点检测单元检测到的激光点来计算所述激光点在所拍摄的图像中的坐标。

Description

用于识别激光点的设备、方法和系统

技术领域

本发明涉及图像处理领域，更具体地，本发明涉及用于自动地识别激光点并定位该激光点在图像中的坐标的设备、方法和系统。

背景技术

随着用户的需要以及技术的发展，已经开发出了将图像投影到屏幕上，并且采用激光指针(laser pointer)作为输入装置的虚拟白板系统或讲演系统。

例如，在美国专利申请20060284832A1(专利文献1)中公开了一种用于定位激光点的设备，其中在屏幕和照相装置之间设置散射光学元件以便在图像中将激光点转换为容易识别的散射图案，然后计算机从照相装置接收图像，并且基于图像中的散射图案在显示器上显示对应的光标。

此外，在美国专利申请20030132912A1(专利文献2)中公开一种使用激光指针(其中该激光指针包括红外线发射部件和激光束发射部件)的讲演系统，其中由红外线传感器检测被投影到屏幕上的红外线的投影图像，然后将投影图像的移动方向和移动距离转换为计算机可使用的鼠标数据。

此外，在Dan R.OlsenJr.，Travis Nielsen等人的“Laser Pointer Interaction”中公开了一种使用激光指针和照相装置实现交互的技术，其中使用校准技术(Calibration techniques)来实现显示和照相装置坐标的同步。

然而，在现有技术中用于自动地识别激光点并定位该激光点的技术仍然存在各种问题。

例如，专利文献1中的技术需要额外的硬件(即，散射光学元件)来定位激光指针，这增加的系统的复杂程度，并且导致系统成本的增加。

此外，专利文献2中的技术不能检测可见光(激光束)，并且需要额外的硬件支持(如，红外线发射部件和红外线传感器)，这同样地增加的系统的复杂程度以及成本。

另外，在Dan R.Olsen Jr.，Travis Nielsen等人的“Laser Pointer Interaction”中描述的技术仅关注激光点的最亮部分，而这可能降低检测结果的精度，并且要求照相装置的特定曝光条件，也就是，必须关闭照相装置的自动亮度调节功能。

因此，希望提供一种不需要额外的硬件支持也能够精确地识别激光点并定位激光点在图像中的位置的技术。

发明内容

为了解决现有技术中存在的各种技术问题，本发明提供一种在不依赖于诸如特定的散射部件或特定的照相装置之类的特定的硬件，并且降低对曝光条件的要求的同时，精确地识别激光点或区域的设备、方法以及系统。

根据本发明的一个方面，提供一种用于识别激光点并在定位该激光点的坐标的设备，包括：前景计算单元，用于从照相装置所拍摄的图像中计算图像的前景图像；阈值估计单元，用于在设备的初始化阶段，基于前景计算单元计算的前景图像自动估计用于前景图像的像素的亮度、饱和度以及色调的阈值；激光点检测单元，用于基于前景图像以及像素的亮度、饱和度以及色调的阈值检测激光点；和定位单元，用于基于激光点检测单元检测到的激光点来计算激光点在所拍摄的图像中的坐标。

其中，根据本发明的一个实施例，前景计算单元首先计算所拍摄的图像的背景图像，并且通过从所拍摄的图像中减去背景图像来计算前景图像。

其中，根据本发明的一个实施例，阈值估计单元针对前景图像进行分析，通过统计前景图像中的像素的亮度、饱和度以及色调值来估计前景图像中的像素亮度、饱和度以及色调的阈值。

其中，根据本发明的一个实施例，激光点检测单元根据所拍摄的图像中的像素的亮度、饱和度以及色调值对像素进行分类，并且基于分类的结果来检测激光点，其中，如果像素满足以下关系

$\begin{array}{c}B\left(p\right)>T1\left(b\right)\\ S\left(p\right)<T1\left(s\right)\end{array}$

则将其划分为第一类像素，其中p为像素，B(p)为像素的亮度值，T1(p)为像素的亮度的第一阈值，S(p)为像素的饱和度值，而T1(s)为像素的饱和度的第一阈值，而如果像素满足以下关系

$\begin{array}{c}H\left(p\right)\&Element;T\left(h\right)\\ B\left(p\right)>T2\left(b\right)\\ S\left(p\right)>T2\left(s\right)\end{array}$

则将其划分为第二类像素，其中H(p)为像素的色调值，T2(b)为像素的亮度的第二阈值，而T2(s)为像素的饱和度的第二阈值，和将剩余的像素分类为第三类像素。

其中，根据本发明的一个实施例，激光点检测单元分别计算包括第一类像素以及第二类像素的连通区域RA和RB，并且排除所有的第三类像素，排除具有像素数大于预定像素数的第一类像素区域RA，合并距离小于预定阈值的剩余第一类像素区域RA以产生像素区域MA，排除与第二类像素区域RB不相邻的所有像素区域MA，合并与统一像素区域MA相邻的第二类像素区域RB以产生像素区域MB，判断像素区域MA和像素区域MB的重合程度并排除重合程度小于预定重合阈值的像素区域MA和像素区域MB，并且判断剩余的像素区域MA轮廓，和如果剩余的像素区域MA的轮廓趋近于圆形，则激光点检测单元将像素区域MA判断为激光点。

其中，根据本发明的一个实施例，定位单元计算激光点的中心的坐标来产生所述激光点的坐标。

此外，根据本发明的另一方面，提供一种用于识别激光点并定位该激光点的坐标的方法，包括步骤：从照相装置所拍摄的图像中计算所述图像的前景图像；在初始化阶段，基于前景计算单元计算的所述前景图像自动估计用于前景图像的像素的亮度、饱和度以及色调的阈值；基于所述前景图像以及所述像素的亮度、饱和度以及色调的阈值检测激光点；和基于所述激光点检测单元检测到的激光点来计算所述激光点在所拍摄的图像中的坐标。

其中，根据本发明的一个实施例，首先计算所拍摄的图像的背景图像，并且通过从所拍摄的图像中减去背景图像来计算前景图像。

其中，根据本发明的一个实施例，针对前景图像进行分析，通过统计前景图像中的像素的亮度、饱和度以及色调值来估计前景图像中的像素亮度、饱和度以及色调的阈值。

其中，根据本发明的一个实施例，根据所拍摄的图像中的像素的亮度、饱和度以及色调值对像素进行分类，并且基于分类的结果来检测激光点，其中，如果像素满足以下关系

$\begin{array}{c}B\left(p\right)>T1\left(b\right)\\ S\left(p\right)<T1\left(s\right)\end{array}$

则将其划分为第一类像素，其中p为像素，B(p)为像素的亮度值，T1(p)为像素的亮度的第一阈值，S(p)为像素的饱和度值，而T1(s)为像素的饱和度的第一阈值，而如果像素满足以下关系

$\begin{array}{c}H\left(p\right)\&Element;T\left(h\right)\\ B\left(p\right)>T2\left(b\right)\\ S\left(p\right)>T2\left(s\right)\end{array}$

则将其划分为第二类像素，其中H(p)为像素的色调值，T2(b)为像素的亮度的第二阈值，而T2(s)为像素的饱和度的第二阈值，和将剩余的像素分类为第三类像素。

其中，根据本发明的一个实施例，分别计算包括第一类像素以及第二类像素的连通区域RA和RB，并且排除所有的第三类像素，排除具有像素数大于预定像素数的第一类像素区域RA，合并距离小于预定阈值的剩余第一类像素区域RA以产生像素区域MA，排除与第二类像素区域RB不相邻的所有像素区域MA，合并与统一像素区域MA相邻的第二类像素区域RB以产生像素区域MB，判断像素区域MA和像素区域MB的重合程度并排除重合程度小于预定重合阈值的像素区域MA和像素区域MB，并且判断剩余的像素区域MA轮廓，和如果剩余的像素区域MA的轮廓趋近于圆形，则激光点检测单元将像素区域MA判断为激光点。

其中，根据本发明的一个实施例，计算激光点的中心的坐标来产生所述激光点的坐标。

此外，根据本发明的另一方面，提供一种虚拟白板系统，包括：投影装置，用于在屏幕上投影可视图像；激光指针，用于将激光束投射到所述屏幕上；照相装置，用于拍摄在屏幕上投影的图像；和用于识别激光点并定位该激光点的坐标的设备，包括：前景计算单元，用于从照相装置所拍摄的图像中计算所述图像的前景图像；阈值估计单元，用于在所述设备的初始化阶段，基于前景计算单元计算的所述前景图像自动估计用于前景图像的像素的亮度、饱和度以及色调的阈值；激光点检测单元，用于在所述设备的处理阶段，基于前景计算单元计算的所述前景图像以及所述像素的亮度、饱和度以及色调的阈值检测激光点；和定位单元，用于基于所述激光点检测单元检测到的激光点来计算所述激光点在所拍摄的图像中的坐标。

根据本发明的用于一种用于识别激光点并定位该激光点的坐标的设备、方法以及系统，可以不借助于特殊的硬件精确地识别激光点的位置以提高虚拟白板系统或讲演系统的性能，同时可以降低系统的成本。

附图说明

图1是图解根据本发明实施例的虚拟白板系统的结构的方框图；

图2是图解根据本发明实施例的激光点识别设备的结构的方框图；

图3是简要说明根据本发明实施例的激光点识别设备执行的处理的流程图；

图4(a)到(4c)为图解前景图像计算的示例的图示；

图5(a)到5(d)为图解像素分类处理的的示例的图示；和

图6(a)和6(b)为图解环境中的干扰的示例的图示；

具体实施方式

在这里，将参照附图详细描述根据本发明的实施例，其中在全部附图中，使用相同的附图标记来指示相同或相似的组成部分，并且省略其不必要的重复描述。

下面，将描述根据本发明实施例的虚拟白板系统。图1图解虚拟白板系统1的结构。

如图1所示，根据本发明实施例的虚拟白板系统1包括投影装置10、诸如激光笔之类的激光指针20、照相装置30(诸如照相机、摄像机或摄像头)、激光点识别设备40和信息处理设备50等。投影装置10接收由诸如计算机、服务器、移动终端设备之类的信息处理设备50产生的可视图像，并且将所接收到的可视图像投影到屏幕(例如，墙面、帆布)上。激光指针20由用户操作，以将激光束投射到屏幕上。例如，用户可以利用该激光指针20执行诸如写入、选择、画图之类的各种操作。照相装置30拍摄投影在屏幕上的图像，并且向激光点识别设备40发送所拍摄的图像作为输入图像。激光点识别设备40与照相装置30连接，并且接收来自照相装置30的输入图像来识别激光点并计算该激光点在输入图像中的坐标(位置)，并且将所产生的关于激光点的坐标的信息发送到信息处理设备50以基于预定的程序以及激光点的位置来执行与鼠标的功能类似的、诸如写入、选择、画图之类的各种操作。

这里，需要注意的是，照相装置30可以以有线方式或无线方式连接到激光点识别设备40。此外，激光点识别设备40可以由诸如计算机、服务器、移动终端之类的设备构成，并且可以例如，通过向诸如计算机之类的终端设备安装软件的方式与信息处理设备50合并为一个部件。此外，信息处理设备50还可以通过诸如局域网或因特网之类的网络与其它的信息处理设备50连接来将关于激光点的位置的信息发送到在网络上的其他信息处理设备50以组成诸如远程讲演系统或远程虚拟白板系统之类的系统。

现在，将根据图2简要描述根据本发明实施例的激光点识别设备40的结构。如图2所示，激光点识别设备40包括前景计算单元401、阈值估计单元402、激光点检测单元403和定位单元404。前景计算单元401接收照相装置30发送的输入图像，并且计算该图像的前景图像。在激光点识别设备40的初始化阶段时，阈值估计单元402接收来自前景计算单元401的前景图像，对前景计算单元计算的前景图像进行分析，以产生用于前景图像的像素的亮度、饱和度以及色调的阈值。在产生了关于像素的亮度、饱和度以及色调的阈值之后，在处理阶段，激光点检测单元403基于前景图像中的各个像素的像素值以及像素的上述阈值识别激光点(将在下面具体描述)，并且将识别结果(即，进行检测操作检测到的激光点)发送到定位单元404。然后，定位单元404基于识别结果来计算所述激光点在照相装置30所拍摄的输入图像中的坐标。

接下来，将参照图3详细描述根据本发明实施例的激光点识别设备40执行的处理的流程。

在包括激光点识别设备40的虚拟白板系统1的初始化阶段，在步骤S301，虚拟白板系统1中的投影装置10启动，并且将预设的画面(如，开机画面或待机画面)投影到屏幕上。此时，启动照相装置30来拍摄由投影装置10投影的图像，并且将照相装置30拍摄的图像发送的激光点识别设备40。在这里，例如，根据本发明的一个实施例，在虚拟白板系统1的初始化阶段，可以在信息处理设备50或激光点识别设备40上设置的显示装置(未示出)上显示由投影装置10投影的图像，以便用户能够调整照相装置30的位置以容纳投影装置10所投影的全部图像。

然后，开始执行设置阈值并识别激光点的处理。

在虚拟白板系统1的初始化阶段中，用户可以在预定时间段(例如，10秒)内使用激光指针20将激光点投射在屏幕上，并且可以在此屏幕的范围内随意挥动。在此期间，在步骤S302，激光点识别设备40的前景计算单元401从照相装置30接收其拍摄的每一帧图像，并且从当前接收到的图像中产生背景图像，以通过从当前接收到的图像中产生该图像的前景图像。

具体地，根据本发明的一个实施例，采用高斯背景模型来计算背景图像。基于高斯背景模型，如果对于给定的图像中的任意像素p(x，y)点满足下面的公式(1)，则将该像素p(x，y)认为是背景像素：

$\frac{1}{d\sqrt{2\mathrm{\&pi;}}}\exp (-\frac{{(B\left(p\right)-u)}^{^}2}{2\&times;d^{^}2})>T---\left(1\right)$

其中，B(p)为该像素的亮度值，u为输入图像的像素的亮度平均值，而d为方差。此外，可以根据具体情况任意地设置T的范围，并且通常采取经验值。

如上所述，通过利用高斯模型，计算出每一帧图像中的所有背景像素以形成背景图像。由于上述从输入图像产生背景图像的操作对于本领域技术人员来说是熟知的，因此这里省略了其进一步的具体描述。此外，需要注意的是，本发明不限于此，可以采用任何能够产生背景图像的任何技术。

然后，前景计算单元401通过将照相装置30拍摄的当前图像减去针对该当前图像计算出的背景图像来产生前景图像。具体地，根据本发明的一个实施例，图像的减法操作被定义为两幅图像(如，照相装置30拍摄的当前图像以及当前图像的背景图像)中对应位置的像素p1(x，y)和p2(x，y)(其表示两幅图像的相同位置((x，y)处的像素)的各个通道(R、G、B)分别进行减法操作。可以通过下面的公式(2)进行两个图像M1以及M2(如，当前图像与当前图像的背景图像)的减法操作：

$M1-M2=\left\{\begin{array}{c}R\left(p1\right)-R\left(P2\right)\\ G\left(p1\right)-G\left(P2\right)\\ B\left(p1\right)-B\left(P2\right)\end{array}\right\}---\left(2\right)$

其中R(p1)，G(p1)，B(p1)以及R(p2)，G(p2)，B(p2)分别表示对应的像素p1(x，y)和p2(x，y)的红色，绿色和蓝色通道。

通过上述减法操作产生前景图像。在前景图像中，绝大多数属于背景(由于其亮度相对较低)的物体将会被消除掉，而所要识别的激光点及其周围区域(由于其相对亮度较高)会被保留在前景图像中。图4a到4c图解前景图像计算的示例。图4a图解照相装置30拍摄的图像的示例，图4b图解所计算出的背景图像的示例，而图4c图解通过减法操作产生的前景图像的示例。如图4a到4c所示，通过前景计算单元401基于照相装置30拍摄的当前图像产生背景图像，并且从照相装置30拍摄的当前图像中减去其背景图像，大部分背景物体被消除，而诸如激光点之类的高亮区域被保留在前景图像中。

然后，在步骤S303，阈值估计单元402在虚拟白板系统1的初始化期间从前景计算单元401接收其基于每一帧图像计算的前景图像，对这些前景图像进行分析，以估计用于前景图像的像素的各种阈值。具体地，根据本发明的一个实施例，采用亮度、饱和度以及色调阈值作为前景图像中的像素的各种阈值。在这里，由于照相装置30拍摄的图像的格式通常为RGB格式，所以如果所拍摄的图像的格式为RGB格式，则基于下面的公式(3)将其转化为HSV格式。

$\begin{array}{cc}S=1-\frac{3\min (R,G,B)}{R+G+B}& \\ V=\frac{1}{\sqrt{3}}(R+G+B)& \\ H=\left\{\begin{array}{cc}\mathrm{\&theta;}& G>B\\ 2\mathrm{\&pi;}-\mathrm{\&theta;}& G\&le;B\end{array}\right.& \mathrm{\&theta;}={\cos }^{-1}\left[\frac{\frac{1}{2}[(R-G)+(R-B)]}{\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right]\end{array}---\left(3\right)$

其中S为像素的饱和度，V为像素的亮度，而H为像素的色调。

由于上述格式转换对于本领域技术人员来说是熟知的，因此在这里省略了将RGB格式转换为HSV格式的进一步详细描述。

根据本发明的一个实施例，可以基于具体情况任意地设置亮度的阈值，在这里该亮度阈值可以直接依据经验值设置。例如，由于激光点中心区域的亮度值通常在[230，255]范围内，而激光点的外围区域的亮度值通常在[160，230]之间，因此，在这里，阈值估计单元402可以在[230，255]的范围内设置第一亮度阈值T1(b)，并且在[160，230]的范围内设置第二亮度阈值T2(b)。

此外，例如，阈值估计单元402统计当前前景图像中亮度值在[230，255]范围内的像素的饱和度的均值，并且统计亮度值在[160，230]范围内的像素的饱和度均值。在计算完每一帧前景图像中的上述两个亮度范围内的像素的饱和度均值之后，阈值估计单元402进一步统计预定时间段(如，10秒)内的所有前景图像的上述亮度范围内的像素的饱和度均值。例如，假设照相装置30的平均帧率为20fps，则在该时间段总共可以获得200帧左右的图像。在这种情况下，可以计算所有200帧图像的前景图像的上述两个亮度范围内(如，[230，255]和[160，230])像素饱和度阈值的均值作为最终的第一和第二饱和度阈值T1(S)和T2(s)。

此外，对于色调的阈值，由于在HSV模型中每种颜色都有相应的范围，因此所有色调阈值是已知的，而没有必要特意设置。在这种情况下，例如，如果需要检测红色激光点，则阈值估计单元402可以基于所检测到的激光的颜色或用户的输入(如，红色等)设置相应的红色色调的范围作为色调阈值，而需要检测绿色激光点时，可以设置绿色色调的范围作为色调阈值。

这里，描述了阈值估计单元402基于HSV模型针对多帧的前景图像执行阈值估计的情况，但是需要注意的是，本发明不限于此，本发明的实施例可以采用能够获得亮度、饱和度(S)以及色调(H)阈值的任意模型。此外，阈值估计单元402还可以使用基于特定帧的前景图像计算的亮度、饱和度(S)以及色调(H)阈值，并且，例如，阈值估计单元402还可以配置存储模块(未示出)来存储历次使用的阈值信息，从而允许用户能够在类似的环境下直接调用历史阈值信息以进一步简化操作。

在阈值估计单元402进行估计前景图像中的像素的各种阈值的操作之后，处理前进到步骤S304。

在步骤S304，虚拟白板系统1进入系统处理阶段，也就是，用户使用激光笔在虚拟白板系统1中进行各种操作，并且激光点识别设备40开始激光点的检测(识别)操作。

在激光点识别设备40在步骤S304开始激光点的检测(识别)操作之后，处理前进到步骤S305。在步骤S305，激光点识别设备40检测从照相装置30是否接收到由照相装置30拍摄的新的图像帧。如果激光点识别设备40检测来自照相装置30的新的图像帧，则处理前进到步骤S306。如果激光点识别设备40未检测新的图像帧输入，则终止处理。

在激光点识别设备40检测新的图像帧的情况下，处理前进到步骤S306。在步骤S306，激光点识别设备40中的前景计算单元401针对由照相装置30拍摄到的每一帧图像计算其背景图像，从当前的图像中减去其背景图像以产生前景图像。由于上述过程已经在针对步骤S302中的描述中进行了详细说明，因此，这里省略了产生前景图像的详细描述。

在前景计算单元401针对由照相装置30拍摄到的当前图像计算出其前景图像之后，处理前进到步骤S307来进行像素分类操作。在步骤S307，激光点检测单元403接收前景计算单元401计算出的当前图像的前景图像，并且基于所接收到前景图像以及阈值估计单元产生的阈值对该前景图像中的像素进行分类。

这里，在详细描述像素的分类处理之前，首先简单描述激光投射到屏幕上的激光点的特性。通常，投射到屏幕上的激光点的亮度和饱和度值的分布是呈规律变化的。例如，激光点中心最亮，然后向四周逐步衰减。通常，激光点的核心部分(中心)具有最强的能量(亮度)，并且由于其过高的亮度而导致颜色信息的缺失(即，看上去像白点)。相对地，由于亮度的衰减，导致激光点的周围区域的亮度比激光点的亮度低，但是在激光点的周围区域上，保留的激光的颜色(如，红色，绿色)，并且激光点的周围区域具有较高的饱和度。

下面将具体描述激光点检测单元403执行的像素分类的操作。

例如，激光点检测单元403基于阈值估计单元计算的像素的各个阈值将前景图像中的各个像素分为三类像素。

具体地，如果前景图像中的像素满足以下公式(4)，则激光点检测单元403将该像素划分为A类像素：

$\begin{array}{c}B\left(p\right)>T1\left(b\right)\\ S\left(p\right)<T1\left(s\right)\end{array}---\left(4\right)$

其中p是前景图像中的任意像素，B(p)为该像素的亮度值，S(p)为所述像素的饱和度值，T1(b)为在上述阈值估计步骤中计算的第一亮度阈值T1(b)，而T1(s)上述阈值估计步骤中计算的第一饱和度阈值T1(s)。

基于上述公式(4)划分的A类像素表示前景图像中最亮且饱和度较低的像素。由于如上所述，激光点的亮度非常高(在图像中几乎为白色区域)，并且通常丢失色差信息导致其饱和度较低，因此，通过公式(4)划分的A类像素通常是激光点的中心部分。

此外，如果前景图像中的像素满足以下公式(5)，则激光点检测单元403将其划分为B类像素：

$\begin{array}{c}H\left(p\right)\&Element;T\left(h\right)\\ B\left(p\right)>T2\left(b\right)\\ S\left(p\right)>T2\left(s\right)\end{array}---\left(5\right)$

其中T(h)为像素的色调阈值，H(p)为所述像素的色调值，T2(b)为在上述阈值估计步骤中计算的第二亮度阈值T2(b)，而T2(s)上述阈值估计步骤中计算的第二饱和度阈值T2(s)。在本发明的一个实施例中，像素的色调阈值T(h)基于要检测哪种激光束(如，红色激光束或绿色激光束)而设置。例如，在HSV模型中，如果需要检测红色的激光点，则该色调阈值在0～30和330-360之间。这里，需要注意的是，由于HSV模型中的色调阈值是确定的，因此仅需要在阈值确定处理中选择与特定颜色对应的色调阈值。

基于上述公式(5)划分的B类像素通常表示前景图像中相对不是最明亮的像素，但是该像素的颜色属于特定的颜色，并且该像素的饱和度较高。由于如上所述，由于亮度的衰减，激光点的周围区域的像素亮度不是最高，但是在这些像素上激光的颜色仍然保留，并且饱和度通常很高。因此，通过公式(5)划分的B类像素通常是激光点的周围区域。

如果像素既不满足公式(4)，也不满足公式(5)的条件，则激光点检测单元403将剩余的像素分类为C类像素。C类像素通常表示与激光点及其周围区域无关的像素，因此在进行检测激光点的操作时，需要排除这些C类像素，以便降低不必要的干扰。

在图5中例示了像素分类处理的结果，其中图5a图解照相装置30拍摄的图像(包含激光点)的示例；图5b图解A类像素的示例；图5c图解B类像素的示例；和图5d图解A类和B类像素组合的示例。如图5所示，基于上述的像素分类的结果，基本上可以精确地识别出激光点。

虽然通过激光点检测单元403进行像素分类基本上可以识别出激光点，但是在大部分情况下，照相装置30所拍摄的图像中经常存在干扰，例如，图6a图解照相装置30拍摄的图像的干扰。如图6a所示，在照相机所拍摄的图像中存在多个干扰(如，该图像中的较亮的文字部分以及手部反光)，而在这种情况下仅通过像素分类获得的像素点识别结果不是最佳的。因此，在激光点检测单元403完成了前景图像的像素分类的处理之后，处理前进到步骤S308来进一步基于像素分类结果识别激光点。

在步骤S308，激光点检测单元403执行检测激光点的操作。具体地，激光点检测单元403分别针对所有A类像素和B类像素，计算A类像素和B类像素连通区域RA和RB，同时去除所有的C类像素。例如，计算连通区域RA和RB的算法如下：对于图像中的任意像素p和q，如果q在像素p的8-邻域集合N8(p)中，则这两个像素是邻接的，其中p(x，y)的8-邻域集合N8(p)被定义为集合{p(x-1，y-1)，p(x，y-1)，p(x+1，y-1)，p(x-1，y)，p(x+1，y)，p(x-1，y+1)，p(x，y+1)，p(x+1，y+1)}。通过找出所有满足8-邻接关系的像素组成的区域即为连通区域。由于上述计算连通区域的方法对于本领域技术人员来说是熟知的，因此，在这里省略了其进一步的描述。

在激光点检测单元403计算出连通区域RA和RB之后，由于激光点本身的尺寸很小，因此激光点检测单元403可以通过预定的像素数阈值来排除含有像素数量过多的连通区域RA(其表示前景图像中的其它较亮的干扰区域(如，亮斑))。在这里，预定的像素数阈值可以基于特定情况(如，采用的激光笔的大小)而不同地设置。例如，在本发明的一个实施例中，将激光点的像素数量阈值设置为10，并且将包含像素数量高过10个的连通区域RA排除。

在激光点检测单元403排除过大的连通区域RA之后，激光点检测单元403将相互之间距离较小的剩余连通区域RA区域合并以产生新的区域MA，其中连通区域RA之间的距离为两个连通区域RA内部任意两点的最小距离(如，1～2个像素的距离)。通过上述合并处理，即使在激光点的区域内存在干扰，也能精确地合成激光点的区域。然后，激光点检测单元403判断该区域MA是否与任何连通区域RB连通。如果区域MA不与任何连通区域RB连通，则表示该M(A)区域是孤立的亮斑，因此可以排除掉该区域MA。

然后，与产生区域MA的处理类似，激光点检测单元403合并与剩余的区域MA连通的连通区域RB以产生区域MB，通过产生区域MB，可以产生包含位于激光点的外围部分(带有颜色信息)的区域。

然后，激光点检测单元403分别计算区域MA和区域MB的轮廓，然后通过预定的重合阈值(可基于具体情况任意地设置，在本实施例中取经验值)计算区域MA以及区域MB的轮廓的重合程度来精确地识别激光点。需要注意的是，由于轮廓的计算以及两个区域重合的计算对于本领域技术人员来说是熟知的，因此，可以采用任何轮廓计算和区域重合度的计算方法，并且在这里省略了关于轮廓计算以及区域重合程度计算的详细描述。在这种情况下，如果确定区域MA的轮廓基本上为圆形，并且区域MA和区域MB的轮廓重合程度大于预定的重合阈值，则激光点检测单元403判断该区域MA为激光点，同时排除其它所有不满足上述条件的MA区域和MB区域。图6b显示了检测激光点的结果的示例。如图6b所示，图中左上部分中的MA区域和MB区域不重合，因而被排除掉，而图中部的两个MB区域由于与任何MA区域不重合，因而也被排除，从而能够精确地识别出图中的右上部分的MA区域是激光点。因此，即使照相装置30拍摄的图像中存在多处干扰，根据本发明实施例的激光点识别设备40也可以精确地识别(检测)激光点。

在激光点检测单元403通过上述激光点检测处理检测(识别)激光点之后，处理前进到步骤S309来计算激光点的坐标。在步骤S309，定位单元404基于在上述步骤中检测到的激光点计算激光点的位置坐标。由于在上述步骤中得到的检测结果是一个区域(如，MA)，而且区域MA通常包含多个像素。因此，根据本发明的一个实施例，定位单元404计算这些像素的中心坐标来作为所检测到的激光点的坐标。具体地，在所检测到的激光点的区域中，假设其中心点为c(x₀，y₀)，则例如通过下面的公式(6)来计算激光点的区域的中心点：

$\begin{array}{c}x0=\frac{\underset{\&ForAll;p(x,y)\&Element;A}{\mathrm{\&Sigma;}}N\left(x\right)\&times;x}{\underset{\&ForAll;p(x,y)\&Element;A}{\mathrm{\&Sigma;}}N\left(x\right)}\\ y0=\frac{\underset{\&ForAll;p(x,y)\&Element;A}{\mathrm{\&Sigma;}}N\left(y\right)\&times;y}{\underset{\&ForAll;p(x,y)\&Element;A}{\mathrm{\&Sigma;}}N\left(y\right)}\end{array}---\left(6\right)$

其中对于该区域中的任意像素点p(x，y)，函数N(x)为区域A内所有x轴坐标等于x的像素点个数，函数N(y)为该区域内所有Y轴坐标等于y的像素点个数，而x和y是该区域中的任意像素点的x轴和y坐标。如上所述，定位单元404通过利用公式(6)来计算c(x₀，y₀)的坐标作为所检测到的激光点坐标。

然后，在定位单元404计算出所检测到的激光点的坐标之后，处理返回到步骤S305来检测是否从照相装置30接收到新的所拍摄的图像。如果存在新的所拍摄的图像，则重复步骤S306到步骤S309的操作，否则终止处理。

如上所述，通过上述激光点检测处理，即使存在照相装置20拍摄的图像中干扰，也可以精确地识别激光点，并且计算出该激光点的位置，从而使得信息处理设备50可以基于该激光点的位置和预定的程序执行预定的操作(如，类似于鼠标或键盘输入的操作)。因此，在根据本发明实施例的虚拟白板系统1中，可以精确地定位激光点，从而增加虚拟白板系统1的易用性以及稳定性。

在这里，已经描述了本发明的多个实施例，然而，需要注意的是，本发明的实施例可以采用整体硬件实施、整体软件实施或包含硬件和软件组成部分的实施的方式。在一些实施例中，可以通过将软件安装在诸如通用目的个人计算机、服务器、数字终端之类的信息处理装置上来实现本发明的实施例，其包含(但不限于)固件、内置软件、微码等。

此外，本发明采用可以由计算机或任何命令执行系统使用来执行根据本发明实施例的处理方法的计算机程序产品的形式，所述计算机程序产品存储在计算机可读介质中。计算机可读介质的实例包括半导体或固态存储器、磁带、可拆卸计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光盘和磁光盘等。

如上所述，已经在上面具体地描述了本发明的各个实施例，但是本发明不限于此。本领域的技术人员应该理解，可以根据设计要求或其它因素进行各种修改、组合、子组合或者替换，而它们在所附权利要求及其等效物的范围内。

Claims (10)

1.一种用于识别激光点并定位该激光点的坐标的设备，包括：

前景计算单元，用于从照相装置所拍摄的图像中计算所述图像的前景图像；

阈值估计单元，用于在所述设备的初始化阶段，基于前景计算单元计算的所述前景图像自动估计用于前景图像的像素的亮度、饱和度以及色调的阈值；

激光点检测单元，用于在所述设备的处理阶段，基于前景计算单元计算的所述前景图像以及所述像素的亮度、饱和度以及色调的阈值检测激光点，

其中，激光点检测单元根据所拍摄的图像中的像素的亮度、饱和度以及色调值对所述像素进行分类，并且基于分类的结果来检测激光点，

其中，

如果像素满足以下关系

B(p)＞T1(b)

S(p)＜T1(s)

则将其划分为第一类像素，其中p为所述像素，B(p)为所述像素的亮度值，T1(b)为像素的亮度的第一阈值，S(p)为所述像素的饱和度值，而T1(s)为像素的饱和度的第一阈值，

如果像素满足以下关系

H(p)∈T(h)

B(p)＞T2(b)，其中，T1(b)＞T2(b)

S(p)＞T2(s)

则将其划分为第二类像素，其中，T(h)为所述像素的色调阈值，H(p)为所述像素的色调值，T2(b)为像素的亮度的第二阈值，而T2(s)为像素的饱和度的第二阈值，和

将剩余的像素分类为第三类像素；和

定位单元，用于基于所述激光点检测单元检测到的激光点来计算所述激光点在所拍摄的图像中的坐标。

2.如权利要求1所述的设备，其中

所述前景计算单元首先计算所拍摄的图像的背景图像，并且通过从所拍摄的图像中减去所述背景图像来计算所述前景图像。

3.如权利要求1所述的设备，其中

阈值估计单元针对所述前景图像进行分析，通过统计所述前景图像中的像素的亮度、饱和度以及色调值来估计所述前景图像中的像素亮度、饱和度以及色调的阈值。

4.如权利要求1所述的设备，其中

激光点检测单元还分别计算包括第一类像素以及第二类像素的连通区域RA和RB，并且排除所有的第三类像素，排除具有像素数大于预定像素数的第一类像素区域RA，合并距离小于预定阈值的剩余第一类像素区域RA以产生像素区域MA，排除与第二类像素区域RB不相邻的所有像素区域MA，合并与统一像素区域MA相邻的第二类像素区域RB以产生像素区域MB，判断像素区域MA和像素区域MB的重合程度并排除重合程度小于预定重合阈值的像素区域MA和像素区域MB，并且判断剩余的像素区域MA轮廓，和

如果剩余的像素区域MA的轮廓趋近于圆形，则激光点检测单元将所述像素区域MA判断为激光点。

5.如权利要求1所述的设备，其中定位单元计算激光点的中心的坐标来产生所述激光点的坐标。

6.一种用于识别激光点并定位该激光点的坐标的方法，包括步骤：

从照相装置所拍摄的图像中计算所述图像的前景图像；

在初始化阶段，所述前景图像自动估计用于前景图像的像素的亮度、饱和度以及色调的阈值；

在处理阶段，基于所述前景图像以及所述像素的亮度、饱和度以及色调的阈值检测激光点，包括：

根据所拍摄的图像中的像素的亮度、饱和度以及色调值对所述像素进行分类，并且基于分类的结果来检测激光点，

其中

如果像素满足以下关系

B(p)＞T1(b)

S(p)＜T1(s)

则将所述像素划分为第一类像素，其中p为所述像素，B(p)为所述像素的亮度值，T1(b)为像素的亮度的第一阈值，S(p)为所述像素的饱和度值，而T1(s)为像素的饱和度的第一阈值，

如果像素满足以下关系

H(p)∈T(h)

B(p)＞T2(b)，其中，T1(b)＞T2(b)

S(p)＞T2(s)

则将所述像素划分为第二类像素，其中，T(h)为所述像素的色调阈值，H(p)为所述像素的色调值，T2(b)为像素的亮度的第二阈值，而T2(s)为像素的饱和度的第二阈值，和

将剩余的像素分类为第三类像素；和

基于所述激光点来计算所述激光点在所拍摄的图像中的坐标。

7.如权利要求6所述的方法，其中，所述从照相装置所拍摄的图像中计算所述图像的前景图像的步骤包括：首先计算所拍摄的图像的背景图像，并且通过从所拍摄的图像中减去所述背景图像来计算所述前景图像。

8.如权利要求6所述的方法，其中，所述在初始化阶段基于前景计算单元计算的所述前景图像自动估计用于前景图像的像素的亮度、饱和度以及色调的阈值的步骤包括：针对所述前景图像进行分析，通过统计所述前景图像中的像素的亮度、饱和度以及色调值来估计所述前景图像中的像素亮度、饱和度以及色调的阈值。

9.如权利要求6所述的方法，其中，在处理阶段基于所述前景图像以及所述像素的亮度、饱和度以及色调的阈值检测激光点的步骤还包括：

分别计算包括第一类像素以及第二类像素的连通区域RA和RB，并且排除所有的第三类像素；

排除具有像素数大于预定像素数的第一类像素区域RA；

合并距离小于预定距离阈值的剩余第一类像素区域RA以产生像素区域MA；

排除与第二类像素区域RB不相邻的所有像素区域MA；

合并与统一像素区域MA相邻的第二类像素区域RB以产生像素区域MB；

判断像素区域MA和像素区域MB的重合程度并排除重合程度小于预定阈值的像素区域MA和像素区域MB；

判断剩余的像素区域MA轮廓，和

如果剩余的像素区域MA的轮廓趋近于圆形，则将所述像素区域MA判断为激光点。

10.如权利要求6所述的方法，其中，所述基于所述激光点检测单元检测到的激光点来计算所述激光点在所拍摄的图像中的坐标的步骤包括：计算激光点的中心的坐标来产生所述激光点的坐标。