CN103019478B - 基于曲面显示的触控装置和触控检测方法 - Google Patents

Abstract

本发明公开一种基于曲面显示的触控装置，包括：曲面型投影幕，具有向外凸出的触控面和与所述触控面相对的投影面；触点检测组件，位于所述投影面一侧，通过向所述曲面型投影幕发射红外光，并接收触摸物在所述触控面一侧反射的红外光来检测触点位置数据；应力感应组件，用于生成所述曲面型投影幕被触摸时的应力数据；主控模块，获取所述触点位置数据和应力数据，判定触控是否发生。本发明还公开应用于上述装置的触控检测方法。上述装置及方法可以确保在触控确实发生的情况进行触控指令的执行，从而避免了非接触式的误操作。

Description

基于曲面显示的触控装置和触控检测方法

技术领域

本发明涉及触控技术，特别是涉及一种基于曲面显示的触控装置以及一种基于曲面显示的触控方法。

背景技术

随着科技的进步，触控技术得到快速的发展。目前的触控技术大多与平面显示相结合，使得用户通过触摸显示表面即可下达各种指令，进行各种操作。然而触控操作需求已经向着立体化的方向发展，单纯的平面操作已经不能满足需求，而传统的电阻屏或电容屏由于不能做成曲面形状也无法满足立体触控操作的需求。另一方面，目前出现了少量曲面触摸屏，其大多存在过灵敏现象，很容易引起误操作。。

发明内容

基于此，有必要提供一种基于曲面显示的触控装置，其能够提供曲面显示下的触控操作，并且避免非接触式的误操作。

一种基于曲面显示的触控装置，包括：曲面型投影幕，具有向外凸出的触控面和与所述触控面相对的投影面，所述曲面型投影幕支撑在基座上；触点检测组件，位于所述投影面一侧，通过向所述曲面型投影幕发射红外光，并接收触摸物在所述触控面一侧反射的红外光来检测触点位置数据；应力感应组件，用于生成所述曲面型投影幕被触摸时的应力数据，所述应力感应组件包括支撑于所述曲面型投影幕边缘的支架和贴附于所述支架上的应变片，所述支架包括顶部的卡槽、底部的底座以及连接所述卡槽和所述底座的支架梁，所述卡槽与所述曲面型投影幕的边缘卡接，所述底座与所述基座顶部相接，所述应变片为金属电阻应变片，贴附在所述支架梁的两侧；主控模块，获取所述触点位置数据和应力数据，判定触控是否发生；投影仪，位于所述投影面一侧，用于将投影图像投射在所述曲面型投影幕上；所述主控模块还在判定触控发生时控制所述投影仪输出相应的反馈图像；反射镜，用于增加投影距离，使得投影图像能够覆盖整个曲面型投影幕。

在其中一个实施例中，所述触点检测组件包括：红外光源，用于从所述投影面一侧向所述曲面型投影幕发射红外线；红外摄像头，用于从所述投影面一侧拍摄所述曲面型投影幕的红外图像；所述红外图像包括触控面一侧没有触摸物时得到的背景图像和触控检测过程中拍摄得到的实时图像；触点识别模块，与所述红外摄像头连接，获取所述背景图像和实时图像，并计算所述背景图像和实时图像的差异得到触点位置。

在其中一个实施例中，所述应力感应组件包括支撑于所述曲面型投影幕边缘的支架和贴附于所述支架上的应变片。

在其中一个实施例中，还包括感应操作者与所述曲面型投影幕的相对位置的位置传感器，所述主控模块还根据所述位置传感器提供的位置信息调整投影图像的显示方位。

在其中一个实施例中，所述曲面型投影幕采用亚克力材料制成，且投影面作磨砂处理。

一种基于曲面显示的触控检测方法，用于上述的触控装置，包括如下步骤：由投影面一侧向曲面型投影幕发射红外光；连续拍摄所述曲面型投影幕的实时图像；对所述实时图像进行处理，获取触点位置数据；检测所述曲面型投影幕被触摸时的应力数据；根据所述触点位置数据和应力数据判定触控是否发生。

在其中一个实施例中，还包括向所述曲面型投影幕投射投影图像的步骤，并且当所述触控发生时，所述投影图像为针对该触控所对应的触控指令的反馈图像。

在其中一个实施例中，所述投影图像为针对所述曲面型投影幕的曲面形状进行过几何预畸变处理的图像。

在其中一个实施例中，所述对实时图像进行处理，获取触点位置数据的步骤具体包括：灰度图像转换，将实时图像转换为灰度图像；背景去除，将实时图像减去背景图像；图像校正，将经过上述处理的图像进行二值化处理；平滑处理；特征提取，计算得到触点位置数据。

在其中一个实施例中，所述背景图像根据如下公式进行实时更新：P＝(1+α)P’+αP_n；其中P为更新后的背景图像中的像素点的值，P’为更新前的背景图像中的同一像素点的值，P_n为实时图像在同一像素点的值，α为更新速度。

上述触控装置及触控检测方法，在通过触控检测组件检测触点的同时也通过应力检测组件检测应力，可以确保在触控确实发生的情况进行触控指令的执行，从而避免了非接触式的误操作。

附图说明

图1为一实施例的基于曲面显示的触控装置模块图；

图2为一实施例的基于曲面显示的触控装置结构示意图；

图3为图2中应力感应组件的放大图；

图4为一实施例的基于曲面显示的触控检测方法流程图。

具体实施方式

如图1所示，为一实施例的基于曲面显示的触控装置模块图。该触控装置包括曲面型投影幕100、触点检测组件200、应力感应组件300以及主控模块400。触点检测组件200和应力感应组件300均与主控模块400连接。

曲面型投影幕100整体为曲面型且具有一定的硬度，该曲面可以是球面、椭球面、抛物面以及其他类似的规则或不规则的具有一定曲率的曲面。曲面型投影幕100具有向外凸出的触控面102和与触控面102相对的投影面104。触控面102也可以叫做外面，是接受外界的触控物900触摸的一面。投影面104也可以叫做内面，可用于投影。本实施例中，曲面型投影幕100采用亚克力透明材料制成，且投影面104作磨砂处理，使得该曲面型投影幕100具有较好的幕布功能。

结合图2，曲面型投影幕100支撑在基座500上。

触点检测组件200位于曲面型投影幕100的投影面102一侧，并且位于基座500内。触点检测组件200通过向曲面型投影幕100发射红外光，并接收触摸物900在触控面102一侧反射的红外光来生成触点位置数据。如图2所示，本实施例中，触点检测组件200包括红外光源202、红外摄像头204以及触点识别模块(图未示)。红外光源202从投影面104一侧向曲面型投影幕100发射红外线。本实施例中，红外光源202具体采用多个分布在基座500内壁的红外LED。红外摄像头204用于从投影面104一侧拍摄曲面型投影幕100的红外图像。通过调整红外摄像头204在基座500内的位置，可以使得红外摄像头204拍摄整个曲面型投影幕100的红外图像。红外图像包括在触控面102一侧没有触摸物时得到的背景图像和触控检测过程中拍摄得到的实时图像。触点识别模块则根据背景图像和实时图像计算二者差异，得到触点位置数据。由该触点位置数据又可以进一步生成触控轨迹等。

应力感应组件300用于生成曲面型投影幕100被触摸时的应力数据，支撑于曲面型投影幕100的边缘。图3为应力感应组件300的局部放大图。结合图2和图3，应力感应组件300包括支撑于曲面型投影幕100边缘的支架310和贴附于支架310上的应变片320。图3中，支架310包括顶部的卡槽312、底部的底座316以及连接卡槽312和底座316的支架梁314。卡槽312与曲面型投影幕100的边缘卡接，底座316与基座500顶部相接。应变片320为金属电阻应变片，贴附在支架梁314的两侧。两个金属电阻应变片采用等值电阻构成半桥差动电路，将曲面型投影幕100的微小位移转换为电压输出，从而得到应力数据。优选地，应力感应组件300为多个，且均匀地分布在曲面型投影幕100的边缘。

主控模块400获取所述触点位置数据和应力数据，判定触控是否发生。当得到触点位置数据，且应力发生改变时，即可判定发生了触控动作。否则即使有物体遮挡红外线产生反射而导致触点被检测到，例如遮挡物悬停在触控面102附近，但是由于没有接触甚至按压曲面型投影幕100，则不会产生应力变化，也不会判定发生触控动作，减少了误操作的可能。

进一步地，如图2所示，本实施例的触控装置还包括位于投影面104一侧的投影仪600。投影仪600也设于基座500中，用于将投影图像投射在曲面型投影幕100上，投影图像中可以包含可交互的内容，图像在曲面型投影幕100上占据的区域对应曲面型投影幕100上的坐标，主控模块400通过触点位置数据可以判断触控操作所针对的投影图像的区域。主控模块400根据触控操作生成相应的触控指令进行响应，必要时还控制投影仪600输出相应的反馈图像。优选地，还在基座500底部设置反射镜700。反射镜700可以增加投影距离，使得投影图像能够覆盖整个曲面型投影幕100。

进一步地，本实施例的触控装置还包括感应操作者与曲面型投影幕100的相对位置的位置传感器(图未示)。参考图2，该触控装置的曲面型投影幕100采用球面型，基座500优选为横截面为正八边形。因此操作者可以从任何一个方位接近并操控该触控装置。位置传感器通过感应操作者与触控装置的相对位置，能够得知操作者所处的方位。进而由主控模块400根据所述位置传感器提供的位置信息调整投影图像的显示方位，使得显示的图像始终以正确的方向面对操作者。具体的，该位置传感器可以采用环绕设置在基座500外侧的16个红外接近开关E18-D50NK。该红外开关的信号输出端在常态下输出高电平，当探测到有人体红外辐射存在时，输出低电平，有效探测距离为3-50cm。

如图4所示，为一实施例的基于曲面显示的触控检测方法流程图。该方法基于上述实施例的触控装置，包括如下步骤。

S101：由投影面一侧向曲面型投影幕发射红外光。红外光会从投影面104一侧穿透曲面型投影幕100，并在被触控面102一侧附近的物体遮挡时反射红外光。

S102：连续拍摄所述曲面型投影幕的实时图像。当红外光没有被遮挡并反射时，实时图像与背景图像不会有太大的区别。当红外光被遮挡并反射回来时，所拍摄的实时图像中，在反射区域相应的地方与其他区域则会产生差异，该差异即可以显示出触控位置。

S103：对所述实时图像进行处理，获取触点位置数据。本步骤具体包括灰度图像转换、背景去除、图像校正、平滑处理以及特征提取等步骤。其中灰度图像转换是将实时图像转换为灰度图像。背景去除是将实时图像减去背景图像；图像校正是将经过上述处理的图像进行二值化处理；平滑处理；特征提取是计算得到触点位置数据，获得触摸轨迹或者触点位置。上述过程可以采用基于openCV的开源软件CCV对实时图像帧进行处理。

传统的背景去除，是在触摸事件发生之前，将摄像头捕捉到的初始画面作为背景，但是由于环境光照的改变或者触控装置发生移动，背景可能会发生变化，从而导致去除背景时产生误差。本实施例中，采用一种背景更新方法对背景进行实时更新，以视频流作为输入，对背景中每个像素坐标点的值作如下变换：

P＝(1+α)P’+αPn；

其中P为更新后的背景图像中的像素点的值，P’为更新前的背景图像中的同一像素点的值，Pn为实时图像在同一像素点的值，α为更新速度。

另外，在图像校正过程中，需要对二值化的阈值进行相关设置，以避免引入干扰，将其视为触控产生。例如当用户用手触摸曲面型投影幕100时，悬停在触控面102上方的物体(如胳膊)也会反射红外光，红外摄像头204也可以捕捉到该类信息，但是悬停物体反射的红外光比直接触摸反射的红外光要弱，因此可以通过设置合理的二值化阈值将其滤掉。另一方面，由于红外光源202的设置方式的差异以及曲面型投影幕100的曲面，曲面型投影幕100上各处的红外光是不均匀的，在设置二值化阈值时也应考虑这一因素，使得对应于曲面型投影幕100上的各个位置(区域)对应不同的二值化阈值。

特征提取是从一系列连续的实时图像帧中获取触点位置数据，同一触点在这些图像帧中必须被指定一个不变的标识符，这就必须使用目标跟踪算法。由于人的手指在视频从上一帧过渡到下一帧时，只能移动一点有限的距离，因此使用全局最优算法。

S104：检测所述曲面型投影幕被触摸时的应力数据。采用前述实施例的触控装置中的应力感应组件300检测应力数据。两个金属电阻应变片采用等值电阻构成半桥差动电路，将曲面型投影幕100的微小位移转换为电压输出，从而得到应力数据。

S105：根据所述触点位置数据和应力数据判定触控是否发生。当同时产生触点位置数据以及应力时，可视为一次触控产生。否则即使有触点位置数据，而没有相应的应力变化，则可能是因为有遮挡物反射红外光，这样就可以避免误操作。

本实施例的触控检测方法，还包括向所述曲面型投影幕投射投影图像的步骤，并且当所述触控发生时，所述投影图像为针对该触控所对应的触控指令的反馈图像。基于投影图像，本实施例的方法能够实现与图像内容进行交互。

在将图像投影到曲面型投影幕100之前，需要对图像进行几何预畸变处理。也即投影图像是针对所述曲面型投影幕的曲面形状进行过处理的图像。经过几何预畸变处理可以抵消曲面形状所造成的图像畸变，使得用户看到的是无畸变的图像。

上述装置及方法，在检测触点的同时也检测应力，可以确保在触控确实发生的情况进行触控指令的执行，从而避免了非接触式的误操作。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于曲面显示的触控装置，其特征在于，包括：

曲面型投影幕，具有向外凸出的触控面和与所述触控面相对的投影面，所述曲面型投影幕支撑在基座上；

触点检测组件，位于所述投影面一侧，通过向所述曲面型投影幕发射红外光，并接收触摸物在所述触控面一侧反射的红外光来检测触点位置数据；

应力感应组件，用于生成所述曲面型投影幕被触摸时的应力数据，所述应力感应组件包括支撑于所述曲面型投影幕边缘的支架和贴附于所述支架上的应变片，所述支架包括顶部的卡槽、底部的底座以及连接所述卡槽和所述底座的支架梁，所述卡槽与所述曲面型投影幕的边缘卡接，所述底座与所述基座顶部相接，所述应变片为金属电阻应变片，贴附在所述支架梁的两侧；

主控模块，获取所述触点位置数据和应力数据，判定触控是否发生；

投影仪，位于所述投影面一侧，用于将投影图像投射在所述曲面型投影幕上；所述主控模块还在判定触控发生时控制所述投影仪输出相应的反馈图像；

反射镜，用于增加投影距离，使得投影图像能够覆盖整个曲面型投影幕。

2.根据权利要求1所述的基于曲面显示的触控装置，其特征在于，所述触点检测组件包括：

红外光源，用于从所述投影面一侧向所述曲面型投影幕发射红外线；

红外摄像头，用于从所述投影面一侧拍摄所述曲面型投影幕的红外图像；所述红外图像包括触控面一侧没有触摸物时得到的背景图像和触控检测过程中拍摄得到的实时图像；

触点识别模块，与所述红外摄像头连接，获取所述背景图像和实时图像，并计算所述背景图像和实时图像的差异得到触点位置。

3.根据权利要求1所述的基于曲面显示的触控装置，其特征在于，还包括感应操作者与所述曲面型投影幕的相对位置的位置传感器，所述主控模块还根据所述位置传感器提供的位置信息调整投影图像的显示方位。

4.根据权利要求1所述的基于曲面显示的触控装置，其特征在于，所述曲面型投影幕采用亚克力材料制成，且投影面作磨砂处理。

5.一种基于曲面显示的触控检测方法，用于如权利要求1所述的触控装置，包括如下步骤：

由投影面一侧向曲面型投影幕发射红外光；

连续拍摄所述曲面型投影幕的实时图像；

对所述实时图像进行处理，获取触点位置数据；

检测所述曲面型投影幕被触摸时的应力数据；

根据所述触点位置数据和应力数据判定触控是否发生。

6.根据权利要求5所述的触控装置的触控检测方法，其特征在于，还包括向所述曲面型投影幕投射投影图像的步骤，并且当所述触控发生时，所述投影图像为针对该触控所对应的触控指令的反馈图像。

7.根据权利要求6所述的触控装置的触控检测方法，其特征在于，所述投影图像为针对所述曲面型投影幕的曲面形状进行过几何预畸变处理的图像。

8.根据权利要求7所述的触控装置的触控检测方法，其特征在于，所述对实时图像进行处理，获取触点位置数据的步骤具体包括：

灰度图像转换，将实时图像转换为灰度图像；

背景去除，将实时图像减去背景图像；

图像校正，将经过上述处理的图像进行二值化处理；

平滑处理；

特征提取，计算得到触点位置数据。

9.根据权利要求8所述的触控装置的触控检测方法，其特征在于，所述背景图像根据如下公式进行实时更新：

P＝(1+α)P’+αP_n；

其中P为更新后的背景图像中的像素点的值，P’为更新前的背景图像中的同一像素点的值，P_n为实时图像在同一像素点的值，α为更新速度。