CN102523395B - 具有多点触控功能的电视系统、触控定位识别方法及系统 - Google Patents

Abstract

本发明涉及一种具有多点触控功能的电视系统、触控定位识别方法及系统。一种具有多点触控功能的电视系统，包括电视机、红外激光器、摄像机支架及摄像头，所述电视机具有操作系统和嵌入式处理单元，所述摄像头的视角覆盖整个的电视机的屏幕，所述摄像头用于捕捉接触电视机的屏幕阻挡所述红外激光器发射的红外光线形成的红外光斑，并将捕捉的红外光斑发送给所述嵌入式处理单元，所述摄像机支架一端安装于所述电视机上，另一端与所述摄像头相连。上述具有多点触控功能的电视系统、触控定位识别方法及系统，无需对现有电视机硬件做出改动，安装方便，成本低，适用范围广，适用于各种尺寸的电视机屏幕，而不显著增加硬件成本。

Description

具有多点触控功能的电视系统、触控定位识别方法及系统

【技术领域】

本发明涉及计算机视觉与人机交互领域，特别涉及一种具有多点触控功能的电视系统、触控定位识别方法及系统。

【背景技术】

随着智能电视的发展，电视已经从以前的终端设备发展到具有全开放式平台，并搭载了操作系统，可以由用户自行安装和卸载软件、游戏等第三方服务商提供的程序的智能电视。作为全新的家庭娱乐终端，传统的遥控式和菜单式的人机交互方法已经无法满足人们的操作需求，因此电视的人机交互方式急需改变。

多点触控已经广泛应用于智能手机，平板电脑等终端，已经成为人机交互的主流方式，但是在电视中的应用受制于成本较高，体积较大，安装较复杂等问题无法得到广泛推广。传统的触摸屏技术应用于电视机，主要是在电视机屏幕表面加装触摸屏，或者在电视机四周加装传感单元，如此需要安装尺寸较大的电容/电阻触摸屏幕，或者需要大量发射/接受二极管，容易损坏而且维修较为困难，成本较高，同时切割和安装也较为复杂，需要专门进行定制，无法应用于普通的电视上，且体积也较为庞大，会影响电视机显示效果。

而目前的光学多点触摸屏幕方法是通过手指压力阻碍触摸屏的全内反射来实现手指定位，需要安装多个LED发光体，无法对现有电视进行改造，成本较高，同时对手指压力要求较高，且不支持其他外设设备的输入。基于红外发射-接收技术的红外触摸屏，其需要在电视机外围加装一圈红外LED发射和接收电路，并需专门的硬件板卡对其进行控制，改装成本较高，且显著增加了电视机的体积，若有部分红外LED发生损坏时，需要整体更换，后期维护成本也较高。

【发明内容】

基于此，有必要提供一种成本较低的具有多点触控功能的电视系统。

一种具有多点触控功能的电视系统，其特征在于，包括电视机、红外激光器、摄像机支架及摄像头，所述电视机具有操作系统和嵌入式处理单元，所述摄像头的视角覆盖整个的电视机的屏幕，所述摄像头用于捕捉接触电视机的屏幕阻挡所述红外激光器发射的红外光线形成的红外光斑，并将捕捉的红外光斑发送给所述嵌入式处理单元，所述摄像机支架一端安装于所述电视机上，另一端与所述摄像头相连，所述嵌入式处理单元用于提取所述红外光斑的轮廓，计算得到轮廓中心的图像坐标，将所述轮廓中心的图像坐标作为触点的图像坐标，根据预先设定的触点的图像坐标与电视机的屏幕坐标的对应关系，将触点的图像坐标转换为触点的电视机的屏幕坐标，根据所述触点的电视机的屏幕坐标形成触控轨迹，将所述触控轨迹与所述预先定义的手势轨迹进行比较，返回匹配度最高的手势作为识别出的手势，并返回相应的手势控制信息及控制指令。

优选地，所述摄像机支架可拆卸或折叠。

优选地，所述电视机包括电视边框和电视屏幕，所述电视边框设于所述电视屏幕周边，所述红外激光器和摄像机支架安装在所述电视边框上。

此外，还提供一种触控定位识别方法。

一种触控定位识别方法，包括以下步骤：

捕捉接触电视机的屏幕阻挡红外光线形成的红外光斑；

提取所述红外光斑的轮廓，计算得到轮廓中心的图像坐标，将所述轮廓中心的图像坐标作为触点的图像坐标；

根据预先设定的触点的图像坐标与电视机的屏幕坐标的对应关系，将触点的图像坐标转换为触点的电视机的屏幕坐标；

根据所述触点的电视机的屏幕坐标形成触控轨迹；

将所述触控轨迹与所述预先定义的手势轨迹进行比较，返回匹配度最高的手势作为识别出的手势，并返回相应的手势控制信息及控制指令。

优选地，在所述捕捉接触电视机的屏幕阻挡红外光线形成的红外光斑的步骤之后，还包括步骤：对所述捕捉的红外光斑进行图像去噪、高通滤波和图像增强处理。

优选地，所述预先设定触点的图像坐标与电视机的屏幕坐标的对应关系的步骤具体为：

对摄像头畸变参数进行矫正；

在电视机的屏幕上选取多个标定点；

捕捉标定过程中用户依顺序触碰到标定点所形成的红外光斑，并提取每个红外光斑的图像坐标；

获取每个标定点的电视机的屏幕坐标，根据所述标定点的屏幕坐标和相应的红外光斑的图像坐标，计算得到图像坐标与屏幕坐标之间转换的转换矩阵。

优选地，所述根据所述触点的电视机的屏幕坐标形成触控轨迹的具体步骤为：在距离阈值范围内查找与所述触点的屏幕坐标的空间距离最近的存储的历史屏幕坐标，将所述历史屏幕坐标对应的触控点更新为所述触点对应的触控点，并根据触控点的屏幕坐标形成触控轨迹。

此外，还提供一种触控定位识别系统。

一种触控定位识别系统，包括：

捕捉模块，用于捕捉接触电视机的屏幕阻挡红外光线形成的红外光斑；

提取模块，用于提取所述红外光斑的轮廓，计算得到轮廓中心的图像坐标，将所述轮廓中心的图像坐标作为触点的图像坐标；

转换模块，用于根据预先设定的触点的图像坐标与电视机的屏幕坐标的对应关系，将触点的图像坐标转换为触点的电视机的屏幕坐标；

轨迹形成模块，用于根据所述触点的电视机的屏幕坐标形成触控轨迹；

识别模块，用于将所述触控轨迹与所述预先定义的手势轨迹进行比较，返回匹配度最高的手势作为识别出的手势，并返回相应的手势控制信息及控制指令。

优选地，还包括去噪处理模块，用于对所述捕捉的红外光斑进行图像去噪、高通滤波和图像增强处理。

优选地，还包括创建模块，所述创建模块用于预先设定的触点的图像坐标与电视机的屏幕坐标的对应关系，所述创建模块包括：

矫正单元，用于对摄像头畸变参数进行矫正；

选取单元，用于在电视机的屏幕上选取多个标定点；

提取单元，用于捕捉标定过程中用户依顺序触碰到标定点所形成的红外光斑，并提取每个红外光斑的图像坐标；

关系建立单元，用于获取每个标定点的电视机的屏幕坐标，根据所述标定点的屏幕坐标和相应的红外光斑的图像坐标，计算得到图像坐标与屏幕坐标之间转换的转换矩阵。

上述具有多点触控功能的电视系统、触控定位识别方法及系统，无需对现有电视机硬件做出改动，安装方便，成本低，适用范围广，适用于各种尺寸的电视机屏幕，而不显著增加硬件成本。

【附图说明】

图1为一个实施例中具有多点触控功能的电视系统的结构示意图；

图2为系统标定的示意图；

图3为手势识别过程示意图；

图4为另一个实施例中具有多点触控功能的电视系统的结构示意图；

图5为一种触控定位识别方法的流程图；

图6为预先设定的触点的图像坐标与电视机的屏幕坐标的对应关系的步骤具体流程图；

图7为一个实施例中一种触控定位识别系统的内部结构示意图；

图8为另一个实施例中一种触控定位识别系统的内部结构示意图；

图9为图8中创建模块的内部结构示意图。

【具体实施方式】

下面结合具体的实施例及附图对技术方案进行详细的描述，以使其更加清楚。

如图1所示，一种具有多点触控功能的电视系统，包括电视机10、红外激光器20、摄像机支架30及摄像头40。

其中，电视机10具有操作系统和嵌入式处理单元。电视机10安装有操作系统，如Windows，Linux，Android等，并且可安装第三方程序。

电视机10包括电视屏幕110和电视边框120。电视边框120设于电视屏幕110的周边，以保护电视屏幕110，防止其损伤。电视屏幕110供用户通过手指或其他任意不透明物体进行操作。

红外激光器20安装在电视边框120上，用于发射红外光线。红外光线波长可根据需要进行选择，本实施例中，选取近红外波段，如850纳米或940纳米。红外激光器20为一字线红外激光器，视角在90度以上。红外激光器20安装时确保激光光束严格平行于电视屏幕110，激光光线覆盖整个电视屏幕110区域，尽量靠近电视屏幕110而保持照射不到电视屏幕110。另外，根据电视屏幕110的大小，可选择不同功率的红外激光器20，确保有足够的光线强度。此外，采用2个红外激光器20，红外激光器20设置在电视边框120两端，可消除照射死角，确保整个区域可操作。

摄像头支架30的一端安装在电视边框120上，另一端与摄像头40相连。摄像头支架30可从电视边框120上拆卸，也可折叠到电视边框120后。摄像头支架30上设有定位螺孔，方便对其进行定位。

摄像头40的视角覆盖整个的电视屏幕110。摄像头40用于捕捉接触电视屏幕110阻挡红外激光器20发射的红外光线形成的红外光斑，并将捕捉的红外光斑发送给嵌入式处理单元。嵌入式处理单元对该红外光斑进行识别处理并返回相应的控制指令。

摄像头40采用USB接口与电视机10相接，进行数据传输。

嵌入式处理单元对红外光斑进行识别处理过程，包括：

(1)提取红外光斑的轮廓，计算得到轮廓中心的图像坐标，将轮廓中心的图像坐标作为触点的图像坐标。

采用阈值法将红外光斑与背景有效分离，提取红外光斑的轮廓，使用一阶矩计算出轮廓中心的图像坐标，将其作为触点的图像坐标。

在过程(1)之前，嵌入式处理单元还可对捕捉的红外光斑进行图像去噪、高通滤波和图像增强处理。

其中，图像去噪的过程是：对图像进行平滑去噪。首先需要对图像进行平滑去噪，去除摄像头40所带来的高斯噪声，具体平滑参数需要根据图像信噪比来确定，一般取3×3或者5×5的高斯模板进行平滑处理。

高通滤波的过程是：滤除图像中的非极大值点。去除非指尖触碰区域以及较大的移动物体。本实施例中，高通滤波采用原始图像与高斯平滑图像的差值来提取。

图像增强的过程是：对图像高通滤波后的整体像素值进行加权平方。在图像高通滤波后，整体图像信号强度有较大损失，为了有效区分背景与红外光斑的位置，需要对图像的像素值进行放大处理。

(2)根据预先设定的触点的图像坐标与电视机的屏幕坐标的对应关系，将触点的图像坐标转换为触点的电视机的屏幕坐标。

预先设定的触点的图像坐标与电视机的屏幕坐标的对应关系，即进行标定的具体过程为：

(a)对摄像头镜头畸变参数矫正。

采用常规的小孔成像相机畸变参数模型校正，计算公式如下：

x_u＝x_d+(x_d-x_c)(K₁r²+K₂r⁴+...)+(P₁(r²+2(x_d-x_c)²)+2P₂(x_d-x_c)(y_d-y_c))(1+P₃r²+...)

y_u＝y_d+(y_d-y_c)(K₁r²+K₂r⁴+...)+(P₂(r²+2(y_d-y_c)²)+2P₁(x_d-x_c)(y_d-y_c))(1+P₃r²+...)，

其中，(x_u，y_u)为校正畸变后坐标，(x_d，y_d)为校正前坐标，(x_c，y_c)为相机光心坐标，K_n为n阶径向畸变参数，P_n为n阶切向畸变系数。

在标定出摄像头畸变参数后，即可使用上述公式完成图像畸变坐标的校正，标定物采用普通棋盘图像，对于同种型号镜头，该过程只需离线进行一次标定即可。

(b)选取多个标定点，生成标定图案。

多个标定点应在4个点以上，优选地，为9-16个点，标定图案可以为圆形/同心圆/方形等任何形状。如图2所示，图中黑点为标定点，按照箭头所指依次点击标定点进行标定。

(c)捕捉标定过程中用户依顺序触碰到标定点所形成的红外光斑，并提取每个红外光斑的图像坐标。

(d)获取每个标定点的电视机的屏幕坐标，根据该标定点的屏幕坐标和相应的红外光斑的图像坐标，计算得到图像坐标与屏幕坐标之间转换的转换矩阵。

根据标定点的屏幕坐标和对应的光斑相机坐标完成整个标定过程，具体算法描述如下：设标定点的屏幕坐标为(x_a，y_a)，检测到的红外光斑的图像坐标为(x_b，y_b)，

有p_b＝H_abp_a，其中

即为需要计算的转换矩阵H，之后可以根据该转换矩阵计算出红外光斑所对应的屏幕坐标。

根据该计算得到的转换矩阵可将捕捉的触点的图像坐标转换为对应的屏幕坐标。计算摄像头40捕捉的每一帧图像中检测到的所有红外光斑，获取所有红外光斑图像坐标，通过该转换矩阵，转换得到电视机屏幕坐标。

(3)根据该触点的屏幕坐标形成触控轨迹。

在距离阈值范围内查找与该触点的屏幕坐标的空间距离最近的存储的历史屏幕坐标，将该历史屏幕坐标对应的触控点更新为该触点对应的触控点，并形成触控轨迹。另外依据当前活动触点列表，删除不活动的触控轨迹，并增加新触控点所构成的触控轨迹。删除不活动的触控轨迹可减小负荷，提高响应效率。

(4)将该触控轨迹与该预先定义的手势轨迹进行比较，返回匹配度最高的手势作为识别出的手势，并返回相应的手势控制信息及控制指令。

本实施例中，触控轨迹所形成的包围盒，并将包围盒进行旋转和尺度变换，然后与预先定义的手势轨迹比较，得到匹配度最高的手势，返回相应的手势控制信息及控制指令。手势控制信息可包括角度和控制点坐标等。控制指令有放大、缩小、增加、删除等。

图3为手势识别过程示意图，1为第一帧图像，2为第二帧图像，3为第三帧图像，黑色和白色圆圈即为检测到的触控点列表，4为检测到的触控轨迹以及触控轨迹对应的包围盒，5为手势识别错误匹配，6为手势识别正确匹配。

图4为另一个实施例中具有多点触控功能的电视系统的结构示意图，与图1中区别在于，2个红外激光器20靠近摄像机支架30，分别照亮电视屏幕110的左右区域。

如图5所示，一种触控定位识别方法，包括以下步骤：

步骤S10，捕捉接触电视机的屏幕阻挡红外光线形成的红外光斑。

通过摄像头捕捉用户通过手机或其他不透明物体接触电视机的屏幕阻挡红外激光器发射的红外光线形成的红外光斑。

步骤S20，提取该红外光斑的轮廓，计算得到轮廓中心的图像坐标，将该轮廓中心的图像坐标作为触点的图像坐标。

采用阈值法将红外光斑与背景有效分离，提取红外光斑的轮廓，使用一阶矩计算出轮廓中心的图像坐标，将其作为触点的图像坐标。

在步骤S20之前，还包括步骤：对该捕捉的红外光斑进行图像去噪、高通滤波和图像增强处理。

其中，图像去噪的步骤是：对图像进行平滑去噪。去除摄像头40所带来的高斯噪声，具体平滑参数需要根据图像信噪比来确定，一般取3×3或者5×5的高斯模板进行平滑处理。

高通滤波的步骤是：滤除图像中的非极大值点。去除非指尖触碰区域以及较大的移动物体。本实施例中，高通滤波采用原始图像与高斯平滑图像的差值来提取。

图像增强的步骤是：对图像高通滤波后的整体像素值进行加权平方。在图像高通滤波以后，整体图像信号强度有较大损失，为了有效区分背景与红外光斑的位置，需要对图像的像素值进行放大处理。

步骤S30，根据预先设定的触点的图像坐标与电视机的屏幕坐标的对应关系，将触点的图像坐标转换为触点的电视机的屏幕坐标。

如图6所示，预先设定的触点的图像坐标与电视机的屏幕坐标的对应关系，即进行标定的具体步骤为：

步骤S310，对摄像头镜头畸变参数矫正。

采用常规的小孔成像相机畸变参数模型校正，计算公式如下：

x_u＝x_d+(x_d-x_c)(K₁r²+K₂r⁴+...)+(P₁(r²+2(x_d-x_c)²)+2P₂(x_d-x_c)(y_d-y_c))(1+P₃r²+...)

y_u＝y_d+(y_d-y_c)(K₁r²+K₂r⁴+...)+(P₂(r²+2(y_d-y_c)²)+2P₁(x_d-x_c)(y_d-y_c))(1+P₃r²+...)，

其中，(x_u，y_u)为校正畸变后坐标，(x_d，y_d)为校正前坐标，(x_c，y_c)为相机光心坐标，K_n为n阶径向畸变参数，P_n为n阶切向畸变系数。

在标定出摄像头畸变参数后，即可使用上述公式完成图像畸变坐标的校正，标定物采用普通棋盘图像，对于同种型号镜头，该过程只需离线进行一次标定即可。

步骤S320，在电视机的屏幕上选取多个标定点。

多个标定点应在4个点以上，优选地，为9-16个点，标定图案可以为圆形/同心圆/方形等任何形状。如图2所示，图中黑点为标定点，按照箭头所指依次点击标定点进行标定。

步骤S330，捕捉标定过程中用户依顺序触碰到标定点所形成的红外光斑，并提取每个红外光斑的图像坐标。

步骤S340，获取每个标定点的电视机的屏幕坐标，根据该标定点的屏幕坐标和相应的红外光斑的图像坐标，计算得到图像坐标与屏幕坐标之间转换的转换矩阵。

根据标定点的屏幕坐标和对应的光斑相机坐标完成整个标定步骤，具体算法描述如下：设标定点的屏幕坐标为(x_a，y_a)，检测到的红外光斑的图像坐标为(x_b，y_b)，

有p_b＝H_abp_a，其中

即为需要计算的转换矩阵H，之后可以根据该转换矩阵计算出红外光斑所对应的屏幕坐标。

根据该计算得到的转换矩阵可将捕捉的触点的图像坐标转换为对应的屏幕坐标。此外，计算捕捉的每一帧图像中检测到的所有红外光斑，获取所有红外光斑图像坐标，通过该转换矩阵，转换得到对应的电视机的屏幕坐标。

步骤S40，根据该触点的电视机的屏幕坐标形成触控轨迹。

在一个实施例中，步骤S40具体为：在距离阈值范围内查找与该触点的屏幕坐标的空间距离最近的存储的历史屏幕坐标，将该历史屏幕坐标对应的触控点更新为该触点对应的触控点，并形成触控轨迹。另外依据当前活动触点列表，删除不活动的触控轨迹，并增加新触控点所构成的触控轨迹。

步骤S50，将该控轨迹与该预先定义的手势轨迹进行比较，返回匹配度最高的手势作为识别出的手势，并返回相应的手势控制信息及控制指令。

本实施例中，触控轨迹所形成的包围盒，并将包围盒进行旋转和尺度变换，然后与预先定义的手势轨迹比较，得到匹配度最高的手势，返回相应的手势控制信息及控制指令。手势控制信息可包括角度和控制点坐标等。控制指令有放大、缩小、增加、删除等。

如图7所示，一种触控定位识别系统，包括捕捉模块610、提取模块620、转换模块630、轨迹形成模块640和识别模块650。

捕捉模块610用于捕捉接触电视机的屏幕阻挡红外光线形成的红外光斑。捕捉用户通过手机或其他不透明物体接触电视机的屏幕阻挡红外激光器发射的红外光线形成的红外光斑。捕捉模块610为摄像头。

提取模块620用于提取该红外光斑的轮廓，计算得到轮廓中心，将该轮廓中心作为触点的图像坐标。采用阈值法将红外光斑与背景有效分离，提取红外光斑的轮廓，使用一阶矩计算出轮廓中心的图像坐标，将其作为触点的图像坐标。

转换模块630用于根据预先设定的触点的图像坐标与电视机的屏幕坐标的对应关系，将触点的图像坐标转换为触点的电视机的屏幕坐标。

轨迹形成模块640用于根据该触点的电视机的屏幕坐标形成触控轨迹。本实施例中，轨迹形成模块640计算在距离阈值范围内查找与所述触点的屏幕坐标的空间距离最近的存储的历史屏幕坐标，将该历史屏幕坐标对应的触控点更新为该触点对应的触控点，并根据触控点的屏幕坐标形成触控轨迹。另外依据当前活动触点列表，删除不活动的触控轨迹，并增加新触控点所构成的触控轨迹。将该触控点的状态作为触点的状态(增加、删除、更新)。因电视屏幕上设有触控点，得到触点的屏幕坐标后，查找与该触点最近的触控点，将该触控点的屏幕坐标替代该触点的屏幕坐标。

识别模块650用于将该触控轨迹与该预先定义的手势轨迹进行比较，返回匹配度最高的手势作为识别出的手势，并返回相应的手势控制信息及控制指令。本实施例中，识别模块650获取触控轨迹所形成的包围盒，并将包围盒进行旋转和尺度变换，然后与预先定义的手势轨迹比较，得到匹配度最高的手势，返回相应的手势控制信息及控制指令。手势控制信息可包括角度和控制点坐标等。控制指令有放大、缩小、增加、删除等。

如图8所示，上述触控定位识别系统，除了包括捕捉模块610、提取模块620、转换模块630、轨迹形成模块640和识别模块650，还包括去噪处理模块660和创建模块670。

去噪处理模块660用于对该捕捉的红外光斑进行图像去噪、高通滤波和图像增强处理。其中，去噪处理模块660图像去噪的过程是：对图像进行平滑去噪。首先需要对图像进行平滑去噪，去除摄像头40所带来的高斯噪声，具体平滑参数需要根据图像信噪比来确定，一般取3×3或者5×5的高斯模板进行平滑处理。

去噪处理模块660高通滤波的过程是：滤除图像中的非极大值点。去除非指尖触碰区域以及较大的移动物体。本实施例中，高通滤波采用原始图像与高斯平滑图像的差值来提取。

去噪处理模块660图像增强的过程是：对图像高通滤波后的整体像素值进行加权平方。在图像高通滤波后，整体图像信号强度有较大损失，为了有效区分背景与红外光斑的位置，需要对图像的像素值进行放大处理。

创建模块670用于预先设定的触点的图像坐标与电视机的屏幕坐标的对应关系。本实施例中，如图9所示，创建模块670包括矫正单元671、选取单元673、提取单元675和关系建立单元677。

矫正单元671用于对摄像头畸变参数进行矫正。采用常规的小孔成像相机畸变参数模型校正，计算公式如下：

x_u＝x_d+(x_d-x_c)(K₁r²+K₂r⁴+...)+(P₁(r²+2(x_d-x_c)²)+2P₂(x_d-x_c)(y_d-y_c))(1+P₃r²+...)

y_u＝y_d+(y_d-y_c)(K₁r²+K₂r⁴+...)+(P₂(r²+2(y_d-y_c)²)+2P₁(x_d-x_c)(y_d-y_c))(1+P₃r²+...)，

其中，(x_u，y_u)为校正畸变后坐标，(x_d，y_d)为校正前坐标，(x_c，y_c)为相机光心坐标，K_n为n阶径向畸变参数，P_n为n阶切向畸变系数。

在标定出摄像头畸变参数后，即可使用上述公式完成图像畸变坐标的校正，标定物采用普通棋盘图像，对于同种型号镜头，该过程只需离线进行一次标定即可。

选取单元673用于在电视机的屏幕上选取多个标定点。多个标定点应在4个点以上，优选地，为9-16个点，标定图案可以为圆形/同心圆/方形等任何形状。如图2所示，图中黑点为标定点，按照箭头所指依次点击标定点进行标定。

提取单元675用于捕捉标定过程中用户依顺序触碰到标定点所形成的红外光斑，并提取每个红外光斑的图像坐标。

关系建立单元677用于获取每个标定点的屏幕坐标，根据该标定点的屏幕坐标和相应的红外光斑的图像坐标，计算得到图像坐标与屏幕坐标之间转换的转换矩阵。根据标定点的屏幕坐标和对应的光斑相机坐标完成整个标定过程，具体算法描述如下：设标定点的屏幕坐标为(x_a，y_a)，检测到的红外光斑的图像坐标为(x_b，y_b)，

有p_b＝H_abp_a，其中

即为需要计算的转换矩阵H，之后可以根据该转换矩阵计算出红外光斑所对应的屏幕坐标。

转换模块630根据该计算得到的转换矩阵可将捕捉的触点的图像坐标转换为对应的屏幕坐标。转换模块630计算捕捉的每一帧图像中检测到的所有红外光斑，获取所有红外光斑图像坐标，通过该转换矩阵，转换得到电视机屏幕坐标。

在实验系统中，采用两个850nm一字型激光器，发射角120度，功率为50mW进行测试，采用46英寸TCL电视进行测试，采用150度广角短焦镜头配合普通摄像头进行测试。

测试结果证明：

(1)系统设备成本低，仅需采用廉价的半导体激光器以及普通摄像头和滤光片即可在电视上完成多点触摸功能，同时系统安装简单方便，无需对电视结构做修改即可使用；

(2)手指定位准确，鲁棒，适应性强，可以排除多种不同环境光影响以及非手指移动物体的干扰，速度也较快，能够在电视上流畅运行，帧率可达30FPS/s，无明显延迟和拖拽影响；

(3)手势识别成功率高，用户体验良好，不仅可以识别常用手势(放大，缩小，翻页，退出)，还支持用户自定义手势，且能自适应识别不同的手势方向和幅度。

上述具有多点触控功能的电视系统、触控定位识别方法及系统，无需对现有电视机硬件做出改动，安装方便，成本低，只需通过普通USB线与电视机连接，在电视机安装驱动软件后即可工作，适用范围广，适用于各种尺寸的电视机屏幕，而不显著增加硬件成本。

另外，克服了偏角标定方法中产生的鬼点问题，以及受抑全反射方法中只能使用手指来触控的问题，能够有效地实现多个手指或者其他触控设备的轨迹检测，同时鲁棒性强，可以适应多种环境光以及多种移动物体的干扰；可以完成识别常用手势和用户自定义手势，手势识别成功率高，交互体验较好。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种具有多点触控功能的电视系统，其特征在于，包括电视机、红外激光器、摄像机支架及摄像头，所述电视机具有操作系统和嵌入式处理单元，所述摄像头的视角覆盖整个的电视机的屏幕，所述摄像头用于捕捉接触电视机的屏幕阻挡所述红外激光器发射的红外光线形成的红外光斑，并将捕捉的红外光斑发送给所述嵌入式处理单元，所述摄像机支架一端安装于所述电视机上，另一端与所述摄像头相连，所述嵌入式处理单元用于提取所述红外光斑的轮廓，计算得到轮廓中心的图像坐标，将所述轮廓中心的图像坐标作为触点的图像坐标，根据预先设定的触点的图像坐标与电视机的屏幕坐标的对应关系，将触点的图像坐标转换为触点的电视机的屏幕坐标，根据所述触点的电视机的屏幕坐标形成触控轨迹，将所述触控轨迹与所述预先定义的手势轨迹进行比较，返回匹配度最高的手势作为识别出的手势，并返回相应的手势控制信息及控制指令；所述嵌入式处理单元还用于在距离阈值范围内查找与所述触点的屏幕坐标的空间距离最近的历史屏幕坐标，将所述历史屏幕坐标对应的触控点更新为所述触点对应的触控点，并形成触控轨迹。

2.根据权利要求1所述的具有多点触控功能的电视系统，其特征在于，所述摄像机支架可拆卸或折叠。

3.根据权利要求1所述的具有多点触控功能的电视系统，其特征在于，所述电视机包括电视边框和电视屏幕，所述电视边框设于所述电视屏幕周边，所述红外激光器和摄像机支架安装在所述电视边框上。

4.一种触控定位识别方法，包括以下步骤：

捕捉接触电视机的屏幕阻挡红外光线形成的红外光斑；

提取所述红外光斑的轮廓，计算得到轮廓中心的图像坐标，将所述轮廓中心的图像坐标作为触点的图像坐标；

根据预先设定的触点的图像坐标与电视机的屏幕坐标的对应关系，将触点的图像坐标转换为触点的电视机的屏幕坐标；

根据所述触点的电视机的屏幕坐标形成触控轨迹；

将所述触控轨迹与所述预先定义的手势轨迹进行比较，返回匹配度最高的手势作为识别出的手势，并返回相应的手势控制信息及控制指令；

所述根据所述触点的电视机的屏幕坐标形成触控轨迹的具体步骤为：在距离阈值范围内查找与所述触点的屏幕坐标的空间距离最近的存储的历史屏幕坐标，将所述历史屏幕坐标对应的触控点更新为所述触点对应的触控点，根据触控点的屏幕坐标形成触控轨迹。

5.根据权利要求4所述的触控定位识别方法，其特征在于，在所述捕捉接触电视机的屏幕阻挡红外光线形成的红外光斑的步骤之后，还包括步骤：对所述捕捉的红外光斑进行图像去噪、高通滤波和图像增强处理。

6.根据权利要求4所述的触控定位识别方法，其特征在于，所述预先设定触点的图像坐标与电视机的屏幕坐标的对应关系的步骤具体为：

对摄像头畸变参数进行矫正；

在电视机的屏幕上选取多个标定点；

捕捉标定过程中用户依顺序触碰到标定点所形成的红外光斑，并提取每个红外光斑的图像坐标；

获取每个标定点的电视机的屏幕坐标，根据所述标定点的屏幕坐标和相应的红外光斑的图像坐标，计算得到图像坐标与屏幕坐标之间转换的转换矩阵。

7.一种触控定位识别系统，其特征在于，包括：

捕捉模块，用于捕捉接触电视机的屏幕阻挡红外光线形成的红外光斑；

提取模块，用于提取所述红外光斑的轮廓，计算得到轮廓中心的图像坐标，将所述轮廓中心的图像坐标作为触点的图像坐标；

转换模块，用于根据预先设定的触点的图像坐标与电视机的屏幕坐标的对应关系，将触点的图像坐标转换为触点的电视机的屏幕坐标；

轨迹形成模块，用于根据所述触点的电视机的屏幕坐标形成触控轨迹；所述轨迹形成模块用于计算在距离阈值范围内查找与所述触点的屏幕坐标的空间距离最近的存储的历史屏幕坐标，将所述历史屏幕坐标对应的触控点更新为所述触点对应的触控点，根据触控点的屏幕坐标形成触控轨迹；

识别模块，用于将所述触控轨迹与所述预先定义的手势轨迹进行比较，返回匹配度最高的手势作为识别出的手势，并返回相应的手势控制信息及控制指令。

8.根据权利要求7所述的触控定位识别系统，其特征在于，还包括去噪处理模块，用于对所述捕捉的红外光斑进行图像去噪、高通滤波和图像增强处理。

9.根据权利要求7所述的触控定位识别系统，其特征在于，还包括创建模块，所述创建模块用于预先设定的触点的图像坐标与电视机的屏幕坐标的对应关系，所述创建模块包括：

矫正单元，用于对摄像头畸变参数进行矫正；

选取单元，用于在电视机的屏幕上选取多个标定点；

提取单元，用于捕捉标定过程中用户依顺序触碰到标定点所形成的红外光斑，并提取每个红外光斑的图像坐标；

关系建立单元，用于获取每个标定点的电视机的屏幕坐标，根据所述标定点的屏幕坐标和相应的红外光斑的图像坐标，计算得到图像坐标与屏幕坐标之间转换的转换矩阵。

Images