CN102147684B - 一种触摸屏屏幕扫描方法及其系统 - Google Patents

Abstract

本发明涉及屏幕扫描技术，特别是一种触摸屏屏幕扫描方法及其系统。所述方法包括：（1）通过多点触摸技术自动启动屏幕扫描功能或者手动启动屏幕扫描功能；（2）屏幕扫描功能开启后，启动物体形状确认程序，对物体形状进行确认；（3）启动拍摄程序，拍摄经过步骤（2）所确认的物体形状；（4）对拍摄到的图像进行图像数据处理。本发明提出了一种在带触摸屏的电子设备上，利用摄像头和多点触摸技术，实现对各种形状和大小的物体达到扫描效果的方法。

Description

一种触摸屏屏幕扫描方法及其系统

技术领域

本发明涉及屏幕扫描技术，特别是一种触摸屏屏幕扫描方法及其系统。

背景技术

带触摸屏的电子设备应用随着社会的发展，其应用范围不断地扩大，通过屏幕的集中显示、便捷的触摸操作、直观的屏幕手写标注、海量图像的快速处理、远程多方数据共享以及人性化的操作模式等核心功能，为用户提供一个划时代的辅助交流平台。可广泛应用于教育、培训室、会议室、展览、演示厅等多样化场所，还可与消防、交警、军队等行业的应急指挥、远程部署、应急联动、电子沙盘、预案演练、远程协同等业务流程紧密结合，形成针对行业具体业务需求的个性化解决方案。

在计算机和网络广泛普及的当今商业社会，市场需求在不断地升级及变化。在教育、培训室和会议室等应用场合，对能够快捷扫描书本、宣传册等资料并在屏幕上显示出来的功能需求越来越迫切。利用常规的扫描仪将资料进行扫描，通过移动存储设备将电子扫描资料拷贝到电子设备屏幕上虽然可以满足这个功能需求，但是其效率低，而且设备成本高，不是一个很好的解决办法；况且当前的扫描设备对于大面积的扫描和不规则形状物体的扫描有很大的局限性，不能很好地满足人们在培训室等特定应用场合的需求。时至今日，带触摸屏的电子产品解决方案虽然已广泛用于政府职能部门、公共事业单位、能源系统、通讯领域、金融系统、广电系统、军事领域、教育领域等，但是，其解决快速扫描并屏幕显示的方案尚未见到；在带触摸盘的电子设备上，该功能仍然是一片空白。

发明内容

本发明的第一个发明目的在于提供一种触摸屏屏幕扫描方法，以解决现有技术中使用触摸屏屏幕系统不能快速扫描并屏幕显示的技术问题。

为了实现本发明的第一个发明目的，采用的技术方案如下：

一种触摸屏屏幕扫描方法，所述方法包括：

(1)扫描装置接收到启动扫描的信息，对屏幕进行扫描；

(2)当扫描装置完成屏幕扫描后，启动物体形状确认程序，对物体形状进行确认；

(3)启动拍摄程序，进行拍摄；

(4)对拍摄到的图像进行图像数据处理；

(5)通过投影仪投影经过步骤(4)进行图像数据处理后的图像。

作为一种优选方案，所述步骤(1)还包括：

(21)在触摸屏四周设置有多个红外发射管或红外接收管，每个正对的红外发射管和红外接收管成对工作；

(22)在一个扫描周期内，所有的红外发射管都被点亮一次，而在同一个时刻内，只有一对红外发射接收管在工作，当红外接收管检测的信号值偏离基准值一定的幅度则记录当前触摸位置；

(23)当在一个扫描周期内检测到触摸位置的个数多于预先设定的自动检测阈值，则发出启动扫描的信息，执行步骤(24)，否则继续执行步骤(22)；

(24)接收到启动扫描的信息，则启动扫描装置，对触摸屏上的物体进行扫描。

作为进一步的优选方案，所述自动检测阈值为大于或等于5。

作为一种优选方案，所述步骤(2)的物体形状确认程序的具体步骤如下：

(41)当接收到端点确认开始消息，执行步骤(42)；

(42)当检测到触摸屏被点击时，记录点击位置，并记录为端点，执行步骤(43)；

(43)当接收到端点确认结束消息，则执行步骤(44)，否则执行步骤(42)；

(44)按照触摸屏被点击的顺序，将所有通过步骤(42)～(43)记录下的端点用直线连接起来，形成扫描物的外形。

作为进一步的优选方案，所述步骤(2)还包括：

当扫描装置完成屏幕扫描后，向用户提示输入扫描物的端点数目；

当接收到输入扫描物的端点数目后，发出端点确认开始消息；

当所述步骤(42)检测到的端点数目等于扫描物的端点数目后，发出端点确认结束消息。

作为再进一步的优选方案，所述步骤(2)还包括：

当执行完步骤(44)后，根据扫描物的外形绘制辅助扫描图片，并通过投影机在触摸屏上进行投影，所述辅助扫描图片包括扫描物部分和背景部分：

扫描物部分的形状为通过步骤(44)确定的扫描物外形；

背景部分为触摸屏上除扫描物部分以外的所有部分；

扫描物部分与背景部分的亮度相差大于50％。

作为更进一步的优选方案，所述扫描物部分的颜色为白色，所述背景部分的颜色为黑色。

作为一种优选方案，所述步骤(4)的图像数据处理包括对拍摄到的图像进行以下处理：

图像增强技术，通过增加图像对比度和/或去掉模糊噪声和/或修正几何畸变对图片质量进行修正；

图像增强技术，对图像进行二维傅里叶变换，通过低通滤波法去掉图像中的噪声，通过高通滤波法，增强边缘的高频信号。

本发明的第二个发明目的在于提供一种触摸屏屏幕扫描系统，以实现本发明的第一个发明目的。

为了实现本发明的第二个发明目的，采用的技术方案如下：

一种触摸屏屏幕扫描系统，包括触摸屏，与触摸屏连接的投影装置及扫描装置，以及与触摸屏连接的中央处理模块，在触摸屏四周设置有多个红外发射管或红外接收管，所述中央处理模块包括：自动扫描模块、物体形状确认模块、拍摄模块和图像数据处理模块，其中：

所述自动扫描模块，通过每个正对的红外发射管和红外接收管成对工作，用于在一个扫描周期内，如果检测到触摸位置的数目是否大于预先设定的自动检测阈值，则向扫描装置发送启动扫描的信息，启动扫描装置，对触摸屏上的物体进行扫描；

所述扫描装置用于对触摸屏上的物体进行扫描，当完成屏幕扫描后，通知中央处理模块的物体形状确认模块对物体形状进行确认；

所述物体形状确认模块，用于对物体形状进行确认，当确认完毕后通知拍摄模块；

所述拍摄模块用于拍摄整个触摸屏，并把拍摄后的图像发送到图像数据处理模块；

所述图像数据处理模块对拍摄到的图像进行图像数据处理。

作为一种优选方案，所述屏幕扫描系统包括背投机箱，所述触摸屏幕设置背投机箱外，所述扫描装置包括设置在背投机箱内的摄像装置，用于对设置在背投机箱外的整个触摸屏幕进行摄像。

本发明提出了一种在带触摸屏电子设备上，利用摄像头和多点触摸技术，实现对各种形状和大小的物体达到扫描效果的方法。该发明具体的实现方法是在触摸屏的机箱后部置一高清摄像头，用于拍摄扫描物体；在软件上可以设置手动或者自动进入物体扫描模式，利用多点触摸技术进行功能检测，确保可以自动进入物体扫描模式功能的实现；当物体靠近平面后，对物体形状进行定位，同时在确定物体形状后，有背投光机输出物体轮廓的白光辅助与高清的摄像机对物体进行拍摄；拍摄后的图像通过数据传输通道送电子设备系统内部；编写数字处理软件，结合物体的端点形状，抓取物体的整体形状，并在触摸屏屏幕上显示处理，达到扫描物体的效果；同时，对应扫描物体的后期图像处理，如文字识别、图像去噪、保存等功能，满足各方面应用的需求。

附图说明

图1为本发明实施例的整体结构框图；

图2为本发明实施例的系统功能框图；

图3为本发明实施例的多点触摸系统结构图；

图4为本发明实施例端点输入界面；

图5为本发明实施例投影机的投影信号；

图6为本发明实施例的处理流程图；

图7为本发明实施例启动时的设置流程。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细的说明。

该发明实施例实现的是将贴近触摸屏屏幕的物体进行扫描的功能。具体的结构框图见图1，我们可以在背投机箱内安装一个摄像头，摄像头的焦距恒定，拍摄范围为整个屏幕；当我们将物体如书本贴近触摸屏式时候，就开启了该设备的屏幕扫描功能；开启屏幕扫描功能后，用于投影的屏幕将自动往下缩，便于摄像机拍摄清晰的物体图片；采用多点触摸的方式根据贴近物体的形状(长方形)定下P1、P2、P3、P4点；将摄像头拍下的屏幕图象和触摸系统对物体进行分析的形状信息送图象处理软件进行处理，得到物体的图象，同时在屏幕上以各种方式显示出来。通过上面提供的方法，我们达到了对贴近屏幕的物体进行扫描的功能效果。

整个带扫描功能的触摸屏电子系统功能框图如图2所示。系统分为用户模特处理单元、内嵌媒体处理单元、触摸屏模块、键盘、红外遥控、RF、笔色识别、扫描用摄像头、视频处理模块、音频处理模块、逻辑控制模块、显示单元、音频输出单元和系统电源。媒体处理单元主要是将用户需要的媒体处理命令转化为特定的信号格式进入视频、音频处理模块，并且对这些处理信号进行统一管理和仲裁处理；扫描功能的用户接口也是放置在这一单元中，该单元负责启动扫描功能，协同其它模块共同完成。触摸屏模块支持系统的触摸屏操作，同时也采用了我公司的多点触摸技术来进行扫描模式的自动检测功能。键盘、红外遥控、RF、笔色识别、扫描用摄像头属于信号输入模块，用于各种控制信号的输入和扫描图片的数据输入。逻辑模块处理各种输入信号，并按照一定方式控制音频和视频模块。视频处理模块主要处理用户命令和逻辑控制模块过来的一些信号流，对视频相关的信号进行处理。显示单元为视频信号处理后的显示载体。音频处理模块主要处理用户命令和逻辑控制模块过来的控制信号，对音频数据进行出来。音频输出单元为音频信号处理后的输出载体。电源模块为各个模块的正常运行提供电源。

扫描模式启动

扫描模式的启动可以分为手动启动和自动启动两种方式。当扫描模式启动以后，投影屏幕将自动向下缩进。手动启动可以在设备的软件界面点击启动扫描的按钮，进入扫描模式。自动启动则设置了自动检测机制，当满足启动扫描模式的条件时候开始进入扫描工作状态。自动检测机制采用了判断接触点的方式，当多点触摸屏检测到有大面积的物体接近屏幕时候，对接触点进行判断，如果接触点大于5个点时候，此时就启动设备的扫描功能，屏幕进入扫描提示界面。此处利用了我们公司现有的多点触摸技术来实现触摸点个数的判断。

图3是多点触摸系统的结构示意图，触摸屏四周设置了若干对红外发散线路板和红外接收线路板，所有的线路板组成了红外扫描模块。每个线路板包含了若干个红外发射管或红外接收管.每个正对的红外发射管和红外接收管成对工作，在一个扫描周期内，所有的红外发射管都被点亮一次，而在同一个时刻内，只有一对红外发射接收管在工作，当红外接收管检测的信号值偏离基准值一定的幅度则记录当前触摸位置。最终检测出横向、纵向上所有触摸位置。当一物体放置在触摸平面上时候，如图2所示，利用多点触摸系统，至少可以检测出(X1，Y1)、(X1，Y2)、(X2，Y1)、(X3，Y2)、(X4，Y1)、(X4，Y2)六个触摸点。从理论上来说，只要检测分辩率非常小，应该可以检测到无穷多个触摸点。由上分析可知，当一个物体紧贴屏幕时候，可以自动开启设备的扫描模式。

扫描物体端点定位

利用摄像机拍摄下来的数字图片是整个屏幕的图片，为了便于后续软件的处理从中提取扫描物的图片，需要对扫描物体进行端点定位。在进入扫描模式后，系统会提示输入扫描物的端点数，输入以后，进入图4所示界面。系统会提示输入扫描物端点1，此时利用触摸屏定下扫描物端点1，确定后，系统提示下个端点输入，直至所有端点输入完毕。此时，系统会按照输入端点，将各个端点用直线连接起来，形成扫描物的外形，若不准确可以从新对扫描物的外线进行端点定位。定位好扫描物形状后，点击启动扫描按钮，此时进入拍摄模式。因为平时在DLP上投影的是各种各样的视频图象，这些图象对拍摄的效果会造成较大的影响，所以在设备进入拍摄模式后，内部的处理软件将按照物体的形状和位置快速绘制一幅黑白图片，并将此图片在屏幕上显示处理，如图5所示。投影机输出此投影信号的目的是为了照亮被扫描物体，使得摄像头能更好地拍摄该扫描物体；在扫描物体边缘其他地方都显示黑色，是为了在后期图像处理能更好地识别图像形状。拍摄完毕后，投影机正常投影。此时将拍摄的图象送入图象处理软件进行处理。

软件图象处理功能

软件处理的流程如图6所示，首先启动设备的扫描功能，然后确定扫描物体的形状，形状确定后由投影机输出投影信号照亮被扫描物体并启动摄像机进行拍摄，当图象拍摄完毕后将送入图象处理模块进行处理。图象数据数量主要是从拍摄照片中按照物体形状提取扫描图片，同时对扫描图片进行数字图象处理，使得扫描图片更为清晰。扫描完毕后，我们可以立刻通过屏幕将扫描得到的物体图片显示处理。在屏幕上，软件支持图片的放大、旋转等一般的图象特效功能。对于扫描图片，还支持保存、打印和文字识别等常规功能。

扫描启动的软件设置流程如图7所示，当进入系统后，有两种方式可以启动设备的扫描功能。可以通过手动点击扫描按钮，进入扫描模式。另外一种方法就是扫描模式自动检测，该扫描自动检测功能在固定时间周期运行一次，当其检测到在触摸屏上同时有5个触摸点或者大于5个触摸点时候，启动设备的扫描模式。当触摸屏上同时没有5个以上的触摸点时候，继续周期性进行扫描模式自动检测。

当启动图像扫描功能后，进入图像形状判别流程，同时对应比较粗的形状判别后，有投影机输出白光进行拍摄，将拍摄后的图像送系统进行图像处理。图像处理是为了对原始拍摄的图像进行增强和复原，图像增强的目标是改进图片的质量，例如增加对比度，去掉模糊和噪声，修正几何畸变等；图像复原是在假定已知模糊或噪声的模型时，试图估计原图像的一种技术。图像增加方面我们采用频率域法进行处理，把图像看成一种二维信号，对其进行基于二维傅里叶变换的信号增强。同时采用低通滤波法，去掉图中的噪声；采用高通滤波法，增强边缘等高频信号，通过这些基本的处理后使模糊的图片变得清晰。当我们得到一个经过处理后变得相对清晰的扫描图片后，进行边缘检测处理。因为在拍摄图像时候，对扫描物体的轮廓进行了比较粗描绘，在被扫描物体外输出的是黑色图像，同时结合输入端点，此时可以比较逼真地把物体形状在整个拍摄图片中裁剪出来。此时，可以将经过上述处理的扫描图片在屏幕上显示出来，达到了快速扫描显示的效果。

本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种触摸屏屏幕扫描方法，其特征在于，所述方法包括：

（1）通过多点触摸技术实现触摸点个数的判断来自动启动屏幕扫描功能或者手动启动屏幕扫描功能；

（2）屏幕扫描功能开启后，启动物体形状确认程序，对物体形状进行确认；

所述步骤（2）的物体形状确认程序的具体步骤如下：

（41）当接收到端点确认开始消息，执行步骤（42）；

（42）当检测到触摸屏被点击时，记录点击位置，并记录为端点，执行步骤（43）；

（43）当接收到端点确认结束消息，则执行步骤（44），否则执行步骤（42）；

（44）按照触摸屏被点击的顺序，将所有通过步骤（42）～（43）记录下的端点用直线连接起来，形成扫描物的外形;

所述步骤（2）还包括：

当执行完步骤（44）后，根据扫描物的外形绘制辅助扫描图片，并通过投影机在触摸屏上进行投影，所述辅助扫描图片包括扫描物部分和背景部分：

扫描物部分的形状为通过步骤（44）确定的扫描物外形；

背景部分为触摸屏上除扫描物部分以外的所有部分；

扫描物部分与背景部分的亮度相差大于50%;

（3）启动拍摄程序，进行拍摄；

（4）对拍摄到的图像进行图像数据处理；

（5）通过投影仪投影经过步骤（4）进行图像数据处理后的图像。

2.根据权利要求1所述的触摸屏屏幕扫描方法，其特征在于，所述步骤（1）还包括：

（21）在触摸屏四周设置有多个红外发射管或红外接收管，每个正对的红外发射管和红外接收管成对工作；

（22）在一个检测周期内，所有的红外发射管都被点亮一次，而在同一个时刻内，只有一对红外发射接收管在工作，当红外接收管检测的信号值偏离基准值一定的幅度则记录当前触摸位置；

（23）当在一个检测周期内检测到触摸位置的个数多于预先设定的自动检测阈值，则发出启动扫描的信息，执行步骤（24），否则继续执行步骤（22）；

（24）接收到启动扫描的信息，则启动扫描装置，对触摸屏上的物体进行扫描。

3.根据权利要求2所述的触摸屏屏幕扫描方法，其特征在于，所述自动检测阈值为大于或等于5。

4.根据权利要求1所述的扫描方法，其特征在于，所述步骤（2）还包括：

当扫描装置完成屏幕扫描后，向用户提示输入扫描物的端点数目；

当接收到输入扫描物的端点数目后，发出端点确认开始消息；

当所述步骤（42）检测到的端点数目等于扫描物的端点数目后，发出端点确认结束消息。

5.根据权利要求1所述的扫描方法，其特征在于，所述扫描物部分的颜色为白色，所述背景部分的颜色为黑色。

6.根据权利要求1所述的扫描方法，其特征在于，所述步骤（4）的图像数据处理包括对拍摄到的图像进行以下处理：

图像增强技术，通过增加图像对比度和/或去掉模糊噪声和/或修正几何畸变对图片质量进行修正；

图像增强技术，对图像进行二维傅里叶变换，通过低通滤波法去掉图像中的噪声，通过高通滤波法，增强边缘的高频信号。

7.一种触摸屏屏幕扫描系统，其特征在于，所述系统包括：

用于通过多点触摸技术实现触摸点个数的判断来自动启动屏幕扫描功能或者手动启动屏幕扫描功能的装置;

用于屏幕扫描功能开启后，启动物体形状确认程序，对物体形状进行确认的装置；

其中所述物体形状确认程序的具体步骤如下：

（41）当接收到端点确认开始消息，执行步骤（42）；

（42）当检测到触摸屏被点击时，记录点击位置，并记录为端点，执行步骤（43）；

（43）当接收到端点确认结束消息，则执行步骤（44），否则执行步骤（42）；

（44）按照触摸屏被点击的顺序，将所有通过步骤（42）～（43）记录下的端点用直线连接起来，形成扫描物的外形;

所述用于对物体形状进行确认的装置还包括：

用于当执行完步骤（44）后，根据扫描物的外形绘制辅助扫描图片，并通过投影机在触摸屏上进行投影的装置，所述辅助扫描图片包括扫描物部分和背景部分：

其中扫描物部分的形状为通过步骤（44）确定的扫描物外形；

背景部分为触摸屏上除扫描物部分以外的所有部分；

扫描物部分与背景部分的亮度相差大于50%;

用于启动拍摄程序，进行拍摄的装置；

用于对拍摄到的图像进行图像数据处理的装置；

用于通过投影仪投影经过对拍摄到图像进行数据处理的装置进行图像数据处理后的图像的装置。

Images