CN102937851B - 基于图像传感器的电子白板影像区域自动选择方法及装置 - Google Patents

Abstract

本发明提供了一种基于图像传感器的电子白板影像区域自动选择方法及装置，该方法包括：驱动显示设备全屏显示第一颜色，拍摄显示平面的画面，并将其保存为第一图片；驱动显示设备全屏显示第二颜色，拍摄显示平面的画面，将其保存为第二图片，第二颜色与第一颜色具有不同的亮度；将第一图片和第二图片转换为灰度图片，分别生成第一图片和第二灰度图片；对第一灰度图片和第二灰度图片进行差分运算，得到差分图片；将差分图片中像素值大于等于预设门限的像素设定为目标像素，有连续的目标像素存在的区域确定为目标区域。本发明能够在图像传感器的拍摄画面中剔除环境背景，精确确定出显示设备的影像区域，去除影像区域以外的光点对电子白板的影响。

Description

基于图像传感器的电子白板影像区域自动选择方法及装置

技术领域

本发明涉及基于摄像头的电子白板技术，尤其涉及一种基于图像传感器的电子白板影像区域自动选择方法及装置。

背景技术

基于图像传感器的电子白板是一种新的触控技术，该技术将传统的显示设备改造成了具有类似于触摸功能的可交互显示设备。

图1示出了现有技术中的一种基于图像传感器的电子白板，包括：投影仪101、图像传感器102、投影平面103、主机104，其中投影仪101将主机104发送的显示画面投影在投影平面103上，图像传感器102对投影平面103进行拍摄，将投影平面103上的显示画面以及投射在投影片面103上的光笔光点的拍摄画面传输至主机104，主机104提取拍摄画面中的光点，并相应地控制调节投影仪101的显示画面，对用户手指的动作做出反馈，实现类似触摸屏的功能。

关于基于图像传感器的电子白板的进一步信息，可以参考2012年3月14日公布的公布号为CN102375622A的中国专利申请文献。

仍然参考图1，主机104中的定位模块实时分析图像传感器102中光点的位置，并将该位置映射成投影仪101显示画面的鼠标位置，通过光笔光点的亮灭来实现代替计算机鼠标操控主机104的功能。但是，在图像传感器102拍摄到的画面105中，投影仪101投影的影像区域106只占据其中一部分，另外还有很多区域是环境背景。在复杂环境背景中，如果也出现了较亮的光点，则会严重地影响光笔的手动定位功能和正常使用，而且不剔除复杂背景，自动定位功能几乎是不可能完成的。

因此在图像传感器的拍摄画面中剔除环境背景，只保留显示设备显示的影像区域是非常重要的。

发明内容

本发明要解决的技术问题是提供一种基于图像传感器的电子白板影像区域自动选择方法及装置，能够在图像传感器的拍摄画面中剔除环境背景，精确确定出显示设备的影像区域，避免影像区域以外的光点对电子白板的干扰。

为解决上述技术问题，本发明提供了一种基于图像传感器的电子白板影像区域自动选择方法，所述电子白板配置为与显示设备配合使用，所述显示设备用于在显示平面上呈现显示图像，所述电子白板包括：

用于拍摄所述显示平面的图像传感器；

与所述显示设备和图像传感器相连的控制部件，用于定位所述图像传感器拍摄到的控制光斑；

所述影像区域自动选择方法包括：

驱动所述显示设备在所述显示平面上全屏显示第一颜色，所述光学传感器拍摄所述显示平面的画面，并将其保存为第一图片；

驱动所述显示设备在所述显示平面上全屏显示第二颜色，所述光学传感器拍摄所述显示平面的画面，并将其保存为第二图片，所述第二颜色与第一颜色具有不同的亮度；

将所述第一图片和第二图片转换为灰度图片，分别生成第一图片和第二灰度图片；

对所述第一灰度图片和第二灰度图片进行差分运算，得到差分图片；

将所述差分图片中像素值大于等于预设门限的像素设定为目标像素，有连续的目标像素存在的区域确定为目标区域。

根据本发明的一个实施例，所述方法还包括：

所述目标区域的数量为多个，将面积小于预设面积的目标区域消除；

在剩余的目标区域中选择保留面积最大的一个确定为影像区域。

根据本发明的一个实施例，所述影像区域内部包括空洞，所述空洞指的是所述影像区域范围内的非目标像素，在确定所述影像区域之后还包括：填补所述影像区域内部的空洞。

根据本发明的一个实施例，所述第一颜色和第二颜色分别为所述图像传感器可感应到的亮度最暗的颜色和亮度最亮的颜色。

根据本发明的一个实施例，所述预设门限采用如下方式确定：

统计所述差分图片的直方图；

将所述直方图中两个峰值之间的谷底对应的像素值作为所述预设门限。

本发明还提供了一种基于图像传感器的电子白板影像区域自动选择装置，所述电子白板配置为与显示设备配合使用，所述显示设备用于在显示平面上呈现显示图像，所述电子白板包括：

用于拍摄所述显示平面的图像传感器；

与所述显示设备和图像传感器相连的控制部件，用于定位所述图像传感器拍摄到的控制光斑；

所述影像区域自动选择装置包括：

第一驱动模块，驱动所述显示设备在所述显示平面上全屏显示第一颜色，并驱动所述光学传感器拍摄所述显示平面的画面，并将其保存为第一图片；

第二驱动模块，驱动所述显示设备在所述显示平面上全屏显示第二颜色，所述光学传感器拍摄所述显示平面的画面，并将其保存为第二图片，所述第二颜色与第一颜色具有不同的亮度；

图片转换模块，将所述第一图片和第二图片转换为灰度图片，分别生成第一灰度图片和第二灰度图片；

差分运算模块，对所述第一灰度图片和第二灰度图片进行差分运算，得到差分图片；

目标区域确定模块，将所述差分图片中像素值大于等于预设门限的像素设定为目标像素，有连续的目标像素存在的区域确定为目标区域。

根据本发明的一个实施例，所述装置还包括：

噪声消除模块，将面积小于预设面积的目标区域消除；

影像区域确定模块，在剩余的目标区域中选择保留面积最大的一个确定为影像区域。

根据本发明的一个实施例，所述影像区域内部包括空洞，所述空洞指的是所述影像区域范围内的非目标像素，所述自动选择装置还包括：

填补模块，填补所述影像区域内部的空洞。

根据本发明的一个实施例，所述第一颜色和第二颜色分别为所述图像传感器可感应到的亮度最暗的颜色和亮度最亮的颜色。

根据本发明的一个实施例，所述装置还包括用于确定所述预设门限的门限确定模块，所述门限确定模块包括：

直方图生成子模块，统计所述差分图片的直方图；

门限生成子模块，将所述直方图中两个峰值之间的谷底对应的像素值作为所述预设门限。

与现有技术相比，本发明具有以下优点：

本发明实施例影像区域自动选择方法及装置中，依次在显示平面上显示具有不同亮度的全屏色彩，并经过差分运算得到差分图片，将差分图片中的像素与预设门限进行比较，像素值大于等于预设门限的像素设定为目标像素，连续目标像素存在的区域就被设定为目标区域，在较为理想的条件下，该目标区域即可确定为显示设备在显示平面上的影像区域。采用该方案能够快速确定出影像区域，消除背景环境的影响。

进一步地，本发明实施例还可以将面积小于预设面积的目标区域消除，在剩余的目标区域中选择面积最大的一个作为影像区域，从而消除噪声的干扰。

另外，在确定的影像区域之后，还可以填补其中的空洞，从而进一步提高确定出的影像区域的精度，避免对出现在空洞中的亮点出现漏判断。

附图说明

图1是现有技术中一种基于图像传感器的电子白板的结构示意图；

图2是本发明实施例的基于图像传感器的电子白板影像区域自动选择方法的流程示意图；

图3示出了本发明实施例的影像区域自动选择方法中预设门限的确定方法；

图4示出了本发明实施例的影像区域自动选择方法的详细流程图；

图5是本发明实施例的基于图像传感器的电子白板影像区域自动选择装置的结构框图。

具体实施方式

下面结合具体实施例和附图对本发明作进一步说明，但不应以此限制本发明的保护范围。

本实施例中，基于图像传感器的电子白板通常可以配置为与显示设备配合使用，该显示设备在显示平面上呈现显示图像，该电子白板可以包括用于拍摄所述显示平面的图像传感器以及与显示设备和图像传感器相连的控制部件，用于定位图像传感器拍摄到的控制光斑。其中，显示设备可以是各种液晶(LCD)屏、发光二极管(LED)屏、等离子显示器或者投影仪等；图像传感器可以采用各种常规的摄像头来实现，具体可以是CCD、CMOS等各种类型的图像传感器，其分辨率例如可以是640*480，但并不限于此。控制部件可以是个人计算机(电脑)、专用的控制器或者采用可编程硬件或专用集成电路等实现。另外，该电子白板还可以包括红外光笔、光膜或用于产生光膜的部件等设备。

例如，该电子白板可以是背景技术中所描述的电子白板，或者是背景技术中所引用的专利文献中的电子白板。

参考图2，本实施例基于图像传感器的电子白板影像区域自动选择方法包括以下步骤：

步骤S21，驱动所述显示设备在所述显示平面上全屏显示第一颜色，所述光学传感器拍摄所述显示平面的画面，并将其保存为第一图片；

步骤S22，驱动所述显示设备在所述显示平面上全屏显示第二颜色，所述光学传感器拍摄所述显示平面的画面，并将其保存为第二图片，所述第二颜色与第一颜色具有不同的亮度；

步骤S23，将所述第一图片和第二图片转换为灰度图片，分别生成第一图片和第二灰度图片；

步骤S24，对所述第一灰度图片和第二灰度图片进行差分运算，得到差分图片；

步骤S25，将所述差分图片中像素值大于等于预设门限的像素设定为目标像素，有连续的目标像素存在的区域确定为目标区域。

在步骤S21和S22中，该第一颜色和第二颜色可以是各种亮度不同的颜色。优选地，第一颜色是图像传感器可感应到的亮度最暗的颜色；第二颜色是图像传感器可感应到的亮度最亮的颜色。

在步骤S23中，如果拍摄到的图片已经是灰度图片，则可以不需要进行转换，直接进行步骤S24。

在步骤S25中，预设门限可以是本领域技术人员根据实际使用环境所设定的经验值，也可以采用如下方式确定：统计差分图片的直方图；将直方图中两个峰值之间的谷底所对应的像素值作为最优的预设门限T，具体请参考图3。

在步骤S25之后，还可以对确定的目标区域进行降噪，将面积小于预设面积的目标区域消除，在剩余的目标区域中选择保留面积最大的一个确定为影像区域。其中，预设面积可以是预设的一个像素数值。

在降噪之后，还可以填补影像区域内部的空洞，以进一步改善获得的影像区域的质量。

参考图1和图4，下面采用图1所述的实例对本实施例的自动选择方法进行详细说明。

在步骤S401处开始。

在步骤S402处，驱动显示设备101在显示平面103上显示全屏最暗，例如全屏黑色，但并不限于黑色。

执行步骤S403，提取图像传感器102所拍摄到的全屏最暗的清晰画面，将其保存为图片Ia，例如可以保存在主机104的内存中。

之后执行步骤S404，驱动显示设备101在显示平面103上显示全屏最亮，例如全屏白色，但并不限于白色。

执行步骤S405，提取图像传感器102所拍摄到的全屏最亮的清晰画面，将其保存为图片Ib，例如也可以保存在主机104的内存中。

之后执行步骤S406，将图片Ia和Ib分别转化为灰度图片Ga和Gb，例如，可以将YUV格式的图片Ia转化为灰度图片Ga，将YUV格式的图片Ib转化为灰度图片Gb。当然，如果图片已经是灰度图片，在不需要转化，可以直接执行步骤S407。

之后执行步骤S407，对灰度图片Ga和Gb进行差分运算，计算得到差分图片Gd，Gd＝Ga-Gb。由于影像区域106先后显示的是全屏最暗和全屏最亮，因此在差分图片Gd中，影像区域106对比强烈，差分值较大；而背景区域由于变化反差相对较小，差分值较小。

之后执行步骤S408，统计得到差分图片Gd的直方图之后在直方图中查找最优的门限T。

步骤S408可以进一步参考图3，由于差分图片Gd亮暗对比强烈的特点，直方图中会有两个峰值，分别代表背景区域数目最多的像素值的个数以及目标区域数目最多的像素值个数。需要说明的是，在本实施例中像素值指的是像素的亮度分量，例如YUV格式图片中的Y分量。之后，选取两个峰值之间的谷底对应的像素值作为最优的门限T。

之后执行步骤S409，根据得到的门限T对差分图片Gd做二值化处理。进一步而言，将差分图片Gd中像素值大于等于门限T的像素设定为目标像素，将像素值低于门限T的像素设定为背景像素。例如，作为一个非限制性的例子，如果每个像素的像素值位数为8位，则可以将目标像素的像素值设定为255，将背景像素的像素值设定为0。

对差分图片Gd做二值化处理之后，将有连续的目标像素存在的区域确定为目标区域。在较为理想的条件下，例如各种噪声干扰较小的情况下，确定的目标区域即为影像区域106。

但是，在大多数情况下，差分图片Gd中包含大量的噪声，所确定的目标区域数量通常是多个，而且内部往往会有多个空洞，无法直接作为屏蔽图片使用，该屏蔽图片即是用于屏蔽影像区域106外的其他区域的图片。该空洞指的是目标区域范围内的非目标像素，即一个或多个背景像素，或者换言之，该空洞是目标区域的外部轮廓范围内所包含的并非是目标像素的像素。

因此，执行步骤S410，对二值化所得的图片进行去噪。进一步而言，将面积小于预设面积S_min的那些目标区域消除，例如可以利用腐蚀运算来消除作为噪声的目标区域。

之后执行步骤S411，在剩余的目标区域中，选取面积最大的一个作为影像区域。进一步而言，将影像区域外的全部像素的像素值设置为0，即将其认定为背景像素。

在大多数情况下，确定的影像区域中存在空洞，因此需要执行步骤S412，填补影像区域中的空洞，得到最优化的屏蔽图片。该屏蔽图片可以用于屏蔽画面105中影像区域106以外的其他区域(参考图3)。

之后执行步骤S413，将得到的屏蔽图片输出，结束处理过程。

仍然参考图1，在确定屏蔽图片之后，主机104可以利用该屏蔽图片将影像区域以外的背景区域屏蔽，从而能够专注地处理影像区域内部的内容。

参考图5，本实施例的基于图像传感器的电子白板影像区域自动选择装置包括：第一驱动模块51、第二驱动模块52、图片转换模块53、差分运算模块54、目标区域模块55、噪声消除模块56、影像区域确定模块58、门限确定模块59。

其中，第一驱动模块51驱动电子白板中的恶显示设备在显示平面上全屏显示第一颜色，并驱动电子白板中的光学传感器拍摄显示平面的画面，并将其保存为第一图片。第二驱动模块52驱动显示设备在显示平面上全屏显示第二颜色，驱动光学传感器拍摄显示平面的画面，并将其保存为第二图片，第二颜色与第一颜色具有不同的亮度。

第三图片转换模块53将所述第一图片和第二图片转换为灰度图片，分别生成第一灰度图片和第二灰度图片。差分运算模块54对所述第一灰度图片和第二灰度图片进行差分运算，得到差分图片。

目标区域确定模块55将差分图片中像素值大于等于预设门限的像素设定为目标像素，有连续的目标像素存在的区域确定为目标区域。

噪声消除模块56将面积小于预设面积的目标区域消除；影像区域确定模块57在剩余的目标区域中选择保留面积最大的一个确定为影像区域。填补模块58填补所述影像区域内部的空洞。

门限模块59用于确定门限，具体包括：直方图生成子模块，统计所述差分图片的直方图；门限生成子模块，将所述直方图中两个峰值之间的谷底对应的像素值作为所述预设门限。当然，该门限也可以是外部直接输入至目标区域确定模块55的，或者是预先存储在目标区域确定模块55中的。

关于图5所示的影像区域自动选择装置的更详细的工作过程可以参见前述图2至图4及相关描述，这里不再赘述。

图5所示的装置可以采用软件程序的方式实现，或者也可以采用可编程硬件或者专用集成电路(ASIC)的方式来实现。该装置可以集成在显示设备内，例如采用专用集成电路的方式集成在投影仪中；也可以采用软件程序的方式集成在电子白板中的主机104内(图1)。

本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。

Claims (10)

1.一种基于图像传感器的电子白板影像区域自动选择方法，所述电子白板配置为与显示设备配合使用，所述显示设备用于在显示平面上呈现显示图像，所述电子白板包括：

用于拍摄所述显示平面的图像传感器；

与所述显示设备和图像传感器相连的控制部件，用于定位所述图像传感器拍摄到的控制光斑；

其特征在于，所述影像区域自动选择方法包括：

驱动所述显示设备在所述显示平面上全屏显示第一颜色，光学传感器拍摄所述显示平面的画面，并将其保存为第一图片；

驱动所述显示设备在所述显示平面上全屏显示第二颜色，所述光学传感器拍摄所述显示平面的画面，并将其保存为第二图片，所述第二颜色与第一颜色具有不同的亮度；

将所述第一图片和第二图片转换为灰度图片，分别生成第一灰度图片和第二灰度图片；

对所述第一灰度图片和第二灰度图片进行差分运算，得到差分图片；

将所述差分图片中像素值大于等于预设门限的像素设定为目标像素，有连续的目标像素存在的区域确定为目标区域。

2.根据权利要求1所述的影像区域自动选择方法，其特征在于，还包括：

所述目标区域的数量为多个，将面积小于预设面积的目标区域消除；

在剩余的目标区域中选择保留面积最大的一个确定为影像区域。

3.根据权利要求2所述的影像区域自动选择方法，其特征在于，所述影像区域内部包括空洞，所述空洞指的是所述影像区域范围内的非目标像素，在确定所述影像区域之后还包括：填补所述影像区域内部的空洞。

4.根据权利要求1至3中任一项所述的影像区域自动选择方法，其特征在于，所述第一颜色和第二颜色分别为所述图像传感器可感应到的亮度最暗的颜色和亮度最亮的颜色。

5.根据权利要求1至3中任一项所述的影像区域自动选择方法，其特征在于，所述预设门限采用如下方式确定：

统计所述差分图片的直方图；

将所述直方图中两个峰值之间的谷底对应的像素值作为所述预设门限。

6.一种基于图像传感器的电子白板影像区域自动选择装置，所述电子白板配置为与显示设备配合使用，所述显示设备用于在显示平面上呈现显示图像，所述电子白板包括：

用于拍摄所述显示平面的图像传感器；

与所述显示设备和图像传感器相连的控制部件，用于定位所述图像传感器拍摄到的控制光斑；

其特征在于，所述影像区域自动选择装置包括：

第一驱动模块，驱动所述显示设备在所述显示平面上全屏显示第一颜色，并驱动光学传感器拍摄所述显示平面的画面，并将其保存为第一图片；

第二驱动模块，驱动所述显示设备在所述显示平面上全屏显示第二颜色，所述光学传感器拍摄所述显示平面的画面，并将其保存为第二图片，所述第二颜色与第一颜色具有不同的亮度；

图片转换模块，将所述第一图片和第二图片转换为灰度图片，分别生成第一灰度图片和第二灰度图片；

差分运算模块，对所述第一灰度图片和第二灰度图片进行差分运算，得到差分图片；

目标区域确定模块，将所述差分图片中像素值大于等于预设门限的像素设定为目标像素，有连续的目标像素存在的区域确定为目标区域。

7.根据权利要求6所述的影像区域自动选择装置，其特征在于，还包括：

噪声消除模块，将面积小于预设面积的目标区域消除；

影像区域确定模块，在剩余的目标区域中选择保留面积最大的一个确定为影像区域。

8.根据权利要求7所述的影像区域自动选择装置，其特征在于，所述影像区域内部包括空洞，所述空洞指的是所述影像区域范围内的非目标像素，所述自动选择装置还包括：

填补模块，填补所述影像区域内部的空洞。

9.根据权利要求6至8中的任一项所述的影像区域自动选择装置，其特征在于，所述第一颜色和第二颜色分别为所述图像传感器可感应到的亮度最暗的颜色和亮度最亮的颜色。

10.根据权利要求6至8中的任一项所述的影像区域自动选择装置，其特征在于，还包括用于确定所述预设门限的门限确定模块，所述门限确定模块包括：

直方图生成子模块，统计所述差分图片的直方图；

门限生成子模块，将所述直方图中两个峰值之间的谷底对应的像素值作为所述预设门限。