CN114327082A - 工业应用屏幕的操控方法、系统、终端设备以及存储介质 - Google Patents

Abstract

本发明公开了一种工业应用屏幕的操控方法、系统、终端设备以及计算机可读存储介质，该工业应用屏幕的操控方法的步骤包括：获取当前用户的眼部信息，并将所述眼部信息与预设的眼球数据库进行比对得到待检测眼球；针对所述待检测眼球进行实时位置追踪得到追踪结果；基于所述追踪结果判断所述待检测眼球的快速眨动次数是否满足预设的触发条件；若是，则基于所述快速眨动次数触发屏幕点击指令，以基于所述屏幕点击指令对工业应用屏幕进行点击。本发明能够提高操控工业应用屏幕时的速率。

Description

工业应用屏幕的操控方法、系统、终端设备以及存储介质

技术领域

本发明涉及人机交互领域，尤其是涉及一种工业应用屏幕的操控方法、系统、终端设备以及计算机可读存储介质。

背景技术

工业互联网和智能制造的推进和普及使得工业发展正式进入4.0时代。在智能制造领域中，通过可视化界面对工业流程进行控制和管理已经成为越来越多工业互联网企业提高生产效率的必要手段。

在实际工业操作中技术人员需要佩戴防护手套以保证人身安全，然而佩戴防护手套会使技术人员无法对工业应用屏幕进行点击，或者出现点击不准确和不流畅的问题，甚至企业需要专门聘请专人去操作工业应用屏幕，极大地降低操控工业应用屏幕的效率，进而降低了执行工业操作的效率。

发明内容

本发明的主要目的在于提供一种工业应用屏幕的操控方法、系统、终端设备以及计算机可读存储介质，旨在提升工业应用屏幕的操控效率。

为实现上述目的，本发明提供一种工业应用屏幕的操控方法，所述工业应用屏幕的操控方法包括：

获取当前用户的眼部信息，并根据预设的眼球数据库针对所述眼部信息进行比对得到待检测眼球；

针对所述待检测眼球进行实时位置追踪得到追踪结果；

基于所述追踪结果判断所述待检测眼球的快速眨动次数是否满足预设的触发条件；

若是，则针对工业应用屏幕触发控制指令，以基于所述控制指令对所述工业应用屏幕进行操控。

可选地，所述方法还包括：

将所述工业应用屏幕的多个用户的眼部信息进行数据录入得到所述眼球数据库。

可选地，所述眼部信息包括：眼球的水晶体、细丝、斑点、结构、凹点、射线、皱纹、条纹和虹膜的像冠；

所述根据预设的眼球数据库针对所述眼部信息进行比对得到待检测眼球的步骤，包括：

将所述当前用户的眼球的水晶体、细丝、斑点、结构、凹点、射线、皱纹、条纹和虹膜的像冠，与所述眼球数据库中记录的各用户的眼球的水晶体、细丝、斑点、结构、凹点、射线、皱纹、条纹和虹膜的像冠进行逐一比对得到待检测眼球。

可选地，所述针对所述待检测眼球进行实时位置追踪得到追踪结果的步骤，包括：

针对所述待检测眼球进行实时位置追踪，并判断所述待检测眼球在工业应用屏幕输出的预设功能选项上的停留时间是否超过预设的时间阈值；

若是，则得到第一追踪结果，其中，所述第一追踪结果中包含了所述预设功能选项的坐标参数。

可选地，在所述判断所述待检测眼球在工业应用屏幕输出的预设功能选项上的停留时间是否超过预设的时间阈值的步骤之后，还包括：

若否，则针对所述待检测眼球持续进行实时位置追踪，直至判断到所述待检测眼球在所述预设功能选项上的停留时间超过所述时间阈值，并得到第二追踪结果，其中，所述第二追踪结果中包含所述预设功能选项的坐标参数。

可选地，所述基于所述追踪结果判断所述待检测眼球的快速眨动次数是否满足预设的触发条件的步骤，包括：

解析所述第一追踪结果得到所述坐标参数；

获取所述待检测眼球针对所述坐标参数处的快速眨动次数，并判断所述快速眨动次数是否满足预设的触发条件。

可选地，所述针对工业应用屏幕触发控制指令，以基于所述控制指令对所述工业应用屏幕进行操控的步骤，包括：

基于所述快速眨动次数触发针对工业应用屏幕的控制指令，以根据所述控制指令点击所述预设功能选项执行对应的工业操作。

为实现上述目的，本发明还提供一种工业应用屏幕的操控系统，所述工业应用屏幕的操控包括：

获取模块，用于获取当前用户的眼部信息，并根据预设的眼球数据库针对所述眼部信息进行比对得到待检测眼球；

追踪模块，用于针对所述待检测眼球进行实时位置追踪得到追踪结果；

判断模块，用于基于所述追踪结果判断所述待检测眼球的快速眨动次数是否满足预设的触发条件；

触发模块，用于若是，则针对工业应用屏幕触发控制指令，以基于所述控制指令对所述工业应用屏幕进行操控。

其中，本发明工业应用屏幕的操控系统的各个功能模块各自在运行时均实现如上所述的工业应用屏幕的操控方法的步骤。

为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的工业应用屏幕的操控程序，所述工业应用屏幕的操控程序被所述处理器执行时实现如上所述的工业应用屏幕的操控方法的步骤。

此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有工业应用屏幕的操控程序，所述工业应用屏幕的操控程序被处理器执行时实现如上所述的工业应用屏幕的操控方法的步骤。

此外，为实现上述目的，本发明还提供计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上所述的工业应用屏幕的操控方法的步骤。

本发明提供一种工业应用屏幕的操控方法、系统、终端设备、计算机可读存储介质以及计算机程序产品，该工业应用屏幕的操控方法通过获取当前用户的眼部信息，并根据预设的眼球数据库针对所述眼部信息进行比对得到待检测眼球；针对所述待检测眼球进行实时位置追踪得到追踪结果；基于所述追踪结果判断所述待检测眼球的快速眨动次数是否满足预设的触发条件；若是，则针对工业应用屏幕触发控制指令，以基于所述控制指令对所述工业应用屏幕进行操控。

本发明中，终端设备获取到当前用户的眼部信息，并将该眼部信息与预先建立的眼球数据数据库进行比对，得到与眼球数据数据库信息一致的待检测眼球，并针对该待检测眼球进行实时的位置追踪得到追踪结果，该追踪结果中包含了用户实时浏览工业应用屏幕的某个具体位置，进一步，获取该待检测眼球的快速眨动次数，并基于该追踪结果判断该快速眨动次数是否能够预设的触发条件，当该快速眨动次数能够预设的触发条件时，将基于该快速眨动次数触发针对工业应用屏幕的控制指令，进而通过该控制指令对工业应用屏进行点击，以执行工业操作。本发明能够提高操控工业应用屏幕时的速率。

此外，基于本发明能够实现操控工业应用屏幕时的速率，本发明还能提升基于操控该工业应用屏幕执行对应工业操作的效率。

附图说明

图1为本发明实施例方案涉及的硬件运行环境的结构示意图；

图2为本发明工业应用屏幕的操控方法一实施例的流程示意图；

图3为本发明工业应用屏幕的操控方法一实施例涉及到的工业应用屏幕的操控第一流程示意图；

图4为本发明工业应用屏幕的操控方法一实施例涉及到的工业应用屏幕的操控第二流程示意图；

图5为本发明工业应用屏幕的操控系统一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。

需要说明的是，本发明实施例终端设备可以是用于实现多类型数据源的数据抽取的终端设备，该终端设备具体可以是智能手机、个人计算机和服务器等。

如图1所示，该设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及工业应用屏幕的操控程序。操作系统是管理和控制设备硬件和软件资源的程序，支持工业应用屏幕的操控程序以及其它软件或程序的运行。在图1所示的设备中，用户接口1003主要用于与客户端进行数据通信；网络接口1004主要用于与服务器建立通信连接；而处理器1001可以用于调用存储器1005中存储的工业应用屏幕的操控程序，并执行以下操作：

获取当前用户的眼部信息，并根据预设的眼球数据库针对所述眼部信息进行比对得到待检测眼球；

针对所述待检测眼球进行实时位置追踪得到追踪结果；

基于所述追踪结果判断所述待检测眼球的快速眨动次数是否满足预设的触发条件；

若是，则针对工业应用屏幕触发控制指令，以基于所述控制指令对所述工业应用屏幕进行操控。

进一步地，处理器1001还可以用于调用存储器1005中存储的工业应用屏幕的操控程序，还执行以下操作：

将所述工业应用屏幕的多个用户的眼部信息进行数据录入得到所述眼球数据库。

进一步地，所述眼部信息包括：眼球的水晶体、细丝、斑点、结构、凹点、射线、皱纹、条纹和虹膜的像冠，处理器1001还可以用于调用存储器1005中存储的工业应用屏幕的操控程序，还执行以下操作：

将所述当前用户的眼球的水晶体、细丝、斑点、结构、凹点、射线、皱纹、条纹和虹膜的像冠，与所述眼球数据库中记录的各用户的眼球的水晶体、细丝、斑点、结构、凹点、射线、皱纹、条纹和虹膜的像冠进行逐一比对得到待检测眼球。

进一步地，在所述在基于所述数据配置请求判断所述初始数据源的类型的步骤之后，处理器1001还可以用于调用存储器1005中存储的工业应用屏幕的操控程序，执行以下操作：

针对所述待检测眼球进行实时位置追踪，并判断所述待检测眼球在工业应用屏幕输出的预设功能选项上的停留时间是否超过预设的时间阈值；

若是，则得到第一追踪结果，其中，所述第一追踪结果中包含所述预设功能选项的坐标参数。

进一步地，在所述判断所述待检测眼球在工业应用屏幕输出的预设功能选项上的停留时间是否超过预设的时间阈值的步骤之后，处理器1001还可以用于调用存储器1005中存储的工业应用屏幕的操控程序，还执行以下操作：

若否，则针对所述待检测眼球持续进行实时位置追踪，直至判断到所述待检测眼球在所述预设功能选项上的停留时间超过所述时间阈值，并得到第二追踪结果，其中，所述第二追踪结果中包含所述预设功能选项的坐标参数。

进一步地，处理器1001还可以用于调用存储器1005中存储的工业应用屏幕的操控程序，还执行以下操作：

解析所述第一追踪结果得到所述坐标参数；

获取所述待检测眼球针对所述坐标参数的快速眨动次数，并判断所述快速眨动次数是否满足预设的触发条件。

进一步地，处理器1001还可以用于调用存储器1005中存储的工业应用屏幕的操控程序，还执行以下操作：

基于所述快速眨动次数触发针对工业应用屏幕的控制指令，以根据所述控制指令点击所述预设功能选项执行对应的工业操作。

参照图2，图2为本发明工业应用屏幕的操控方法第一实施例的流程示意图。

在本实施例中，提供了工业应用屏幕的操控方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

步骤S10，获取当前用户的眼部信息，并根据预设的眼球数据库针对所述眼部信息进行比对得到待检测眼球；

终端设备获取当前使用工业应用屏幕用户的眼部信息，并将该用户的眼部信息与预设的眼球数据库中的眼部信息进行对比，得到待检测眼球。

需要说明的是，在本实施例中，终端设备通过Tobii眼动仪器获取当前用户的眼部信息，并在获取到当前用户的眼部信息后，通过Processing（图形设计语言）将用户的眼部信息与眼球数据库中的眼部信息进分析和对比，以得到待检测眼球。

具体地，例如，在终端设备通过Tobii眼动仪器获取当前用户的眼部信息之前，需要将Tobii眼动仪器与工业应用屏幕进行连接，并将Tobii眼动仪器的引用库导入到Processing中。终端设备可通过Processing将工业应用屏幕打开，以在该工业应用屏幕进行点击操作和执行工业任务。

进一步地，本发明工业应用屏幕的操控方法，还包括：

步骤S50，将所述工业应用屏幕的多个用户的眼部信息进行数据录入得到所述眼球数据库。

终端设备将需要使用工业应用屏幕进行工业操作的所有用户的眼部信息进行数据录入，并将所有录入的眼部数据进行统一的组合分类得到眼球数据库。

需要说明的是，在本实施例中，终端设备对用户的眼部信息进行数据录入时，录入的眼部参数包括：用户眼部虹膜的像冠、水晶体、细丝、斑点、结构、凹点、射线、皱纹和条纹等特征等细节特征，同时也需要将每个用户的姓名ID进行录入，并且将每个用户的姓名ID和用户眼部信息进行绑定，即每个用户都拥有一组眼部细节特征信息，并且将所有用户的眼部细节特征信息信息都存储在眼球数据库中，同时将该眼球数据库的信息存储接口进行暴露，终端设备可通过该信息存储接口访问该眼球数据库中所用用户的详细的眼部信息。

具体地，例如，终端设备将信息库存储接口的接口参数调用到Processing中，以通过Processing将该用户的眼部信息与眼球数据库中的眼部信息进分析和对比得到待检测眼球。

进一步地，上述步骤S10中，“获取当前用户的眼部信息，并将所述眼部信息与预设的眼球数据库进行比对得到待检测眼球”，可以包括：

步骤S101，将所述当前用户的眼球的水晶体、细丝、斑点、结构、凹点、射线、皱纹、条纹和虹膜的像冠，与所述眼球数据库中记录的各用户的眼球的水晶体、细丝、斑点、结构、凹点、射线、皱纹、条纹和虹膜的像冠进行逐一比对得到待检测眼球。

终端设备获取用户眼部的水晶体、细丝、斑点、结构、凹点、射线、皱纹和条纹等细节特征，并将多个该细节特征与眼球数据库中的用户眼部虹膜的像冠、水晶体、细丝、斑点、结构、凹点、射线、皱纹、条纹和虹膜的像冠等细节特征进行逐一对比得到待检测眼球。

具体地，例如，终端设备通过Tobii眼动仪器获取某一用户A的眼部、水晶体、细丝、斑点、结构、凹点、射线、皱纹、条纹和虹膜的像冠等细节特征，并通过Processing将多个该细节特征与眼球数据库中的各用户的眼球的水晶体、细丝、斑点、结构、凹点、射线、皱纹、条纹和虹膜的像冠进行逐一对比，比将当前用户的眼部虹膜的像冠与球数据库中的虹膜的像冠进行比对。若一组眼部用户A的眼部细节特征参数与眼球数据库中的某一组眼部细节特征参数符合良好，则将该用户A的眼球设置为待检测眼球。

需要说明的是，在本实施例中，如图3所示的工业应用屏幕的操控流程示意图，若是用户A的眼部细节特征参数无法匹配到眼球数据库中所有的眼部细节特征参数，终端设备将不允许该用户A对工业应用屏幕进行任何操作，包括点击屏幕的操作，该用户A也无法通过该工业应用屏幕执行任何工业任务。

进一步地，本发明工业应用屏幕的操控方法，还可以包括：

步骤S20，针对所述待检测眼球进行实时位置追踪得到追踪结果；

终端设备在获取到待检测用户的待检测眼球后，将针对该待检测眼球的运动进行实时追踪，并得到追踪结果，以根据该追踪结果实时获取待检测眼球正在浏览工业应用屏幕中哪个功能选项。

需要说明的是，在本实施例中，终端设备通过Tobii眼动仪器去实时检测待检测眼球在坐标轴中的X轴参数和Y轴参数，以确定该待检测眼球的实时位置，并通过Processing将追踪结果通过工业应用屏幕输出给用户，直观地告知用户正在浏览该工业应用屏幕的哪个区域，通过Processing将追踪结果通过工业应用屏幕输出给用户能够对用户的眼球运动起到指导作用。

具体地，例如，如图4所示的工业应用屏幕的操控第二流程示意图，终端设备在通过Tobii眼动仪器去实时检测待检测眼球的在坐标轴中的X轴参数和Y轴参数，并将该待检测眼球的X轴参数和Y轴参数以半径为100px的半透明圆形方式展示到工业应用屏幕上。此时用户可通过工业应用屏幕上的半透明圆形确定自己正在浏览工业应用屏幕的具体位置。如，若用户想要选择工业应用屏幕中的“删除”功能选项，只需要将半透明圆形移动至工业应用屏幕中的“删除”功能选项处，实现的方式为用户只需要注视该“删除”功能选项，终端设备在检测到用户眼球的具体位置后，将该半透明圆形移动至工业应用屏幕中的“删除”功能选项处，即可实现选择“删除”功能选项的操作。

需要说明的是，在本实施例中，在通过Tobii眼动仪器对用户眼球进行实时追踪之前，终端设备需要将Tobii眼动仪器中的X轴和Y轴坐标与工业应用屏幕中的X轴和Y轴坐标进行校准，以避免将Tobii眼动仪器捕捉到的用户眼部图像反馈到工业应用屏幕中时出现不匹配的问题，保证Tobii眼动仪器捕捉到的眼球最终通过Processing以半径为100px的半透明圆形的方式反馈到工业应用屏幕时，半径为100px的半透明圆形在工业应用屏幕中尺寸匹配且显示清晰。另外，将Tobii眼动仪器捕捉到的眼球通过Processing反馈到工业应用屏幕时，不仅可以采用半径为100px的半透明圆形的方式进行待检测眼球的位置反馈，也可以采用的其它方式，只需要能够确保用户能够在工业应用屏幕中获取到自己眼球的实时位置。

进一步地，上述步骤S20中，“对所述待检测眼球进行实时位置追踪得到追踪结果”，可以包括：

步骤S201，针对所述待检测眼球进行实时位置追踪，并判断所述待检测眼球在工业应用屏幕输出的预设功能选项上的停留时间是否超过预设的时间阈值；

终端设备在获取到待检测眼球后，将针对该待检测眼球进行实时位置追踪，并将实时追踪结果反馈到工业应用屏幕中，并且判断该该待检测眼球在工业应用屏幕中预设的某个功能选项上的停留时间是否有超过预设的时间阈值。

需要说明的是，在本实施例中，终端设备需要在获取到待检测眼球后将该待检测眼球的X轴和Y轴坐标反馈给Processing，通过该Processing对该待检测眼球的X轴和Y轴坐标进行分析，并将分析结果以半径为100px的半透明圆形的方式反馈到工业应用屏幕中。另外，在通过Tobii眼动仪器对待检测眼球进行实时追踪时，需要将待检测眼球的X轴和Y轴坐标实时地反馈给Processing，并通过Processing进行实时分析，并将分析结果实时反馈给工业应用屏幕，使得用户可以实时获取眼球正处于工业应用屏幕的哪个位置。

具体地，例如，若是用户需要点击工业应用屏幕中的“保存”功能选项，需要注视该“保存”功能选项，当用户注视该保存”功能选项时，终端设备将通过Tobii眼动仪器对用户的眼球进行位置识别，并将识别结果返回给Processing，通过Processing对识别结果进行分析，并将分析结果以以半径为100px的半透明圆形的方式反馈到工业应用屏幕中，使得用户能够获知自己眼球的正在注视工业应用屏幕中的哪个功能选项和眼球在屏幕中的具体位置，此时，若是用户想要点击“保存”功能选项，只需要将眼睛长时间注视在该“保存”功能选项处，此时与用户眼球相对应的半透明圆形也处于工业应用屏幕中的“保存”功能选项处，终端设备需要判断用户的眼球，即半径为100px的半透明圆形在“保存”功能选项处的停留时间超过预设的时间阈值，以基于判断结果去决定是否需要对“保存”功能选项进行点击。

步骤S202，若是，则得到第一追踪结果，其中，所述第一追踪结果中包含所述预设功能选项的坐标参数。

终端设备在判断待检测眼球在预设的功能选项上的停留时间是否超过预设的时间阈值后，若是判断到待检测眼球在预设的功能选项上的停留时间超过预设的时间阈值，则得到第一追踪结果，并且该第一追踪结果中包含了工业应用屏幕中的功能选项的坐标参数，以基于该第一追踪结果去针对该功能选项执行屏幕点击指令。

需要说明的是，在本实施例中，当用户注视工业应用屏幕中的某个功能选项时，终端设备通过Tobii眼动仪器对用户的眼球进行位置识别，并将识别结果返回给Processing，通过Processing对识别结果进行分析，并将分析结果以半径为100px的半透明圆形的方式反馈到工业应用屏幕中，使得用户能够通过工业应用屏幕获取到半透明圆形的实时位置，即用户正在实时浏览工业应用屏幕的具体的功能选项，并且终端设备将通过Tobii眼动仪器以250HZ的频率实时检测眼球的位置，若是检测到待检测眼球的位置在预设的功能选项处停留时间超过预设的时间阈值，即半径为100px的半透明圆形在该预设的功能选项处停留时间超过预设的时间阈值，则可针对该待检测眼球进行进一步地检测。

进一步地，在上述步骤S201，“针对所述待检测眼球进行实时位置追踪，并判断所述待检测眼球在预设的功能选项上的停留时间是否超过预设的时间阈值”之后，还可以包括：

步骤S203，若是，则得到第一追踪结果，其中，所述第一追踪结果中包含所述预设功能选项的坐标参数。

终端设备在判断待检测眼球在预设的功能选项上的停留时间是否超过预设的时间阈值后，若是判断到待检测眼球在预设的功能选项上的停留时间不超过预设的时间阈值，则需要针对待检测眼球进行持续实时追踪，直到可以判断到待检测眼球在预设的功能选项上的停留时间超过预设的时间阈值，并得到第二追踪结果。

具体地，例如，由于用户可能随时会针对工业应用屏幕中的某个功能选项进行点击，为了保证能够随时响应屏幕点击指令，在终端设备未能判断到判断待检测眼球在预设的功能选项上的停留时间超过预设的时间阈值时，需要持续地对用户的待检测眼球进行追踪，一旦检测到待检测眼球在预设的功能选项上的停留时间超过预设阈值能够立即做出响应，提升了工业应用屏幕的点击效率，进而提升工业操作效率。

需要说明的是，在本实施例中，第二追踪结果也包含了工业应用屏幕中的某个功能选项的坐标参数，使得终端设备能够获取待检测眼球在该功能选项的坐标参数处的快速眨动次数，以基于该快速眨动次数去触发屏幕点击指令。

进一步地，本发明工业应用屏幕的操控方法，还包括：

步骤S30，基于所述追踪结果判断所述待检测眼球的快速眨动次数是否满足预设的触发条件；

终端设备在获取到所述待检测眼球在预设的功能选项上的停留时间超过预设的时间阈值后，需要进一步判断该待检测眼球在该功能选项处的快速眨动次数是否满足预设的触发条件，以根据该判断的结果去确定是否需要对工业应用屏幕进行点击，以执行工业操作指令。

具体地，例如，终端设备通过Tobii眼动仪器以250HZ的频率去实时检测用户眼球的位置，并得到追踪结果，该追踪结果中包括了用户的眼球实时停留在哪个功能选项处，将该解析追踪结果发送至Processing，通过Processing对该追踪结果进行分析，比如，终端设备通过Tobii眼动仪器获取了用户眼球实时停留在“删除”功能选项处，将进一步通过Processing判断用户的眼球停留在“删除”功能选项处时眼球的快速眨动次数，以进一步地判断眼球的快速眨动次数是否满足预设的触发条件，只有在眼球的快速眨动次数满足预设的触发条件时才能够触发屏幕点击指

需要说明的是，在本实施例中，终端设备在判断眼球的快速眨动次数是否满足预设的触发条件时，该触发条件可根据实际工业操作的具体要求去具体设定，如，若将该触发条件设置为：当眼球的快速眨动次数为2次时才能够触发屏幕点击指令，并且必须是快速眨眼，本实施例中也不对眨眼的频率做具体限定。

步骤S40，若是，则针对工业应用屏幕触发控制指令，以基于所述控制指令对所述工业应用屏幕进行操控。

终端设备在基于追踪结果判断到待检测眼球的快速眨动次数满足预设的触发条件后，将基于该待检测眼球的快速眨动次数触发屏幕控制指令，以实现对工业应用屏幕的点击。

需要说明是，在本实施例中，终端设备在基于该待检测眼球的快速眨动次数触发屏幕点击指令时，若此时的该触发条件为：当眼球的快速眨动次数为2次时触发屏幕点击指令，那么终端设备在检测到由Tobii眼动仪器捕获的待检测眼球的在一秒钟内连续眨动了两次后，将通过Processing触发屏幕控制指令，以基于该屏幕控制指令实现通过眼球的运动去点击工业应用屏幕。

在本实施例中，终端设备需要将需要使用工业应用屏幕进行工业操作的所有用户的眼部信息进行数据录入，并将所有录入的眼部数据进行统一的组合分类得到眼球数据库。终端设备获取当前使用工业应用屏幕用户的眼部信息，并将该用户的眼部信息与预设的眼球数据库进行对比，得到待检测眼球。终端设备在获取到待检测用户的待检测眼球后，将针对该待检测眼球的运动进行实时追踪，并得到追踪结果，以根据该追踪结果实时获取待检测眼球正在浏览工业应用屏幕的哪些功能选项。终端设备在获取到所述待检测眼球在预设的功能选项上的停留时间超过预设的时间阈值后，需要进一步判断该待检测眼球在该功能选项处的快速眨动次数是否满足预设的触发条件，以根据该判断的结果去确定是否需要对工业应用屏幕进行点击，以执行工业操作指令。终端设备在基于追踪结果判断到待检测眼球的快速眨动次数满足预设的触发条件后，将基于该待检测眼球的快速眨动次数触发屏幕点击指令，以实现对工业应用屏幕的点击。

进一步地，基于上述本发明工业应用屏幕的操控方法的第一实施例，提出本发明工业应用屏幕的操控方法的第二实施例。

本实施例与上述第一实施例之间的主要区别在于，在上述步骤S30中，“基于所述追踪结果判断所述待检测眼球的快速眨动次数是否满足预设的触发条件”，可以包括：

步骤S301，解析所述第一追踪结果得到所述坐标参数；

终端设备在获取到针对待检测眼球进行实时位置追踪得到的第一追踪结果后，解析该第一追踪结果，获取到该解析结果中的工业应用屏幕中的功能选项，并得到该功能选项的坐标参数。

具体地，例如，终端解析第一追踪结果得到用户的待检测眼球实时停留在“刷新”功能选项处，并且获取到该“刷新”功能选项的X轴坐标为2.4和Y轴坐标为3.6，以通过Processing实时检测用户的待检测眼球在坐标（2.4,3.6）处的快速眨动次数。

步骤S302，获取所述待检测眼球针对所述坐标参数的快速眨动次数，并判断所述快速眨动次数是否满足预设的触发条件。

终端设备在获取到用户的待检测眼球停留的具体的功能选项后，将获取该功能选项的坐标参数，以根据该坐标参数判断所述快速眨动次数是否满足预设的触发条件。

具体地，例如，终端设备获取到用户的待检测眼球停留的“更新”功能选项后，获取该“更新”功能选项的具体坐标为（2.4 3.6）,终端设备将获取待检测眼球在坐标（2.4 3.6）出的快速眨动次数是否为2次，只有判断到该检测眼球在坐标（2.4 3.6）出的快速眨动次数为2次时才能够触发屏幕点击指令。

进一步地，上述步骤S40中，“基于所述快速眨动次数触发屏幕点击指令，以基于所述屏幕点击指令对工业应用屏幕进行点击”，可以包括：

步骤S401，基于所述快速眨动次数触发针对工业应用屏幕的控制指令，以根据所述控制指令点击所述预设功能选项执行对应的工业操作。

终端设备在判断到待检测眼球地快速眨动次数满足预设的触发条件后，将基于快速眨动次数对工业应用屏幕中的功能选项进行点击操作，以基于该点击操作执行工业任务。

具体地，例如，终端设备在判断到用户的待检测眼球的快速眨动次数为2次，若此时的触发条件为在眼球的快速眨动次数为2次时触发屏幕点击指令，那么终端设备在判断到用户的待检测眼球的快速眨动次数为2时能够基于该快速眨动次数触发屏幕点击指令，通过该屏幕点击指令点击工业应用屏幕中的功能选项，如点击“保存”功能选项将会对当前界面进行的工业操作进行保存，以达到通过眼球信息和眼球运动对工业应用屏幕进行点击的目的。

在本实施例中，终端设备在获取到针对待检测眼球进行实时位置追踪得到的第一追踪结果后，解析该第一追踪结果，获取到该解析结果中的工业应用屏幕中的功能选项，并得到该功能选项的坐标参数。终端设备在获取到用户的待检测眼球停留的具体的功能选项后，将获取该功能选项的坐标参数，以根据该坐标参数判断所述快速眨动次数是否满足预设的触发条件。终端设备在判断到待检测眼球地快速眨动次数满足预设的触发条件后，将基于快速眨动次数对工业应用屏幕中的功能选项进行点击操作，以基于该点击操作执行工业任务。

此外，本发明实施例还提出一种工业应用屏幕的操控系统，参照图5，图5为本发明工业应用屏幕的操控系统一实施例的功能模块示意图。如图5所示，本发明工业应用屏幕的操控系统，包括：

获取模块，用于获取当前用户的眼部信息，并根据预设的眼球数据库针对所述眼部信息进行比对得到待检测眼球；

追踪模块，用于针对所述待检测眼球进行实时位置追踪得到追踪结果；

判断模块，用于基于所述追踪结果判断所述待检测眼球的快速眨动次数是否满足预设的触发条件；

触发模块，用于若是，则针对工业应用屏幕触发控制指令，以基于所述控制指令对所述工业应用屏幕进行操控。

进一步地，本发明工业应用屏幕的操控系统，包括：

录入模块，用于将所述工业应用屏幕的多个用户的眼部信息进行数据录入得到所述眼球数据库。

进一步地，所述眼部信息包括：眼球的水晶体、细丝、斑点、结构、凹点、射线、皱纹、条纹和虹膜的像冠，所述获取模块，包括：

对比单元，用于将所述当前用户的眼球的水晶体、细丝、斑点、结构、凹点、射线、皱纹、条纹和虹膜的像冠，与所述眼球数据库中记录的各用户的眼球的水晶体、细丝、斑点、结构、凹点、射线、皱纹、条纹和虹膜的像冠进行逐一比对得到待检测眼球。

进一步地，所述追踪模块，包括：

判断单元，用于针对所述待检测眼球进行实时位置追踪，并判断所述待检测眼球在工业应用屏幕输出的预设功能选项上的停留时间是否超过预设的时间阈值；

得到单元，用于若是，则得到第一追踪结果，其中，所述第一追踪结果中包含所述预设功能选项的坐标参数。

进一步地，所述追踪模块，还包括：

实时追踪单元，用于若否，则针对所述待检测眼球持续进行实时位置追踪，直至判断到所述待检测眼球在所述预设功能选项上的停留时间超过所述时间阈值，并得到第二追踪结果，其中，所述第二追踪结果中包含所述预设功能选项的坐标参数。

进一步，所述判断模块，包括：

解析单元，用于解析所述第一追踪结果得到所述坐标参数；

获取单元，用户获取所述待检测眼球针对所述坐标参数的快速眨动次数，并判断所述快速眨动次数是否满足预设的触发条件。

进一步地，所述触发模块，包括：

点击单元，用于基于所述快速眨动次数触发针对工业应用屏幕的控制指令，以根据所述控制指令点击所述预设功能选项执行对应的工业操作。

本发明工业应用屏幕的操控系统的各个功能模块的具体实施方式与上述工业应用屏幕的操控方法各实施例基本相同，在此不做赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有工业应用屏幕的操控程序，所述工业应用屏幕的操控程序被处理器执行时实现如上所述的工业应用屏幕的操控方法的步骤。

本发明数据抽取系统和计算机可读存储介质的各实施例，均可参照本发明工业应用屏幕的操控方法各个实施例，此处不再赘述。

此外，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如以上工业应用屏幕的操控方法的任一项实施例所述的工业应用屏幕的操控方法的步骤。

本发明计算机程序产品的具体实施例与上述工业应用屏幕的操控方法的各实施例基本相同，在此不作赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种工业应用屏幕的操控方法，其特征在于，所述工业应用屏幕的操控方法包括：

获取当前用户的眼部信息，并根据预设的眼球数据库针对所述眼部信息进行比对得到待检测眼球；

针对所述待检测眼球进行实时位置追踪得到追踪结果；

基于所述追踪结果判断所述待检测眼球的快速眨动次数是否满足预设的触发条件；

若是，则针对工业应用屏幕触发控制指令，以基于所述控制指令对所述工业应用屏幕进行操控。

2.如权利要求1所述的工业应用屏幕的操控方法，其特征在于，所述方法还包括：

将所述工业应用屏幕的多个用户的眼部信息进行数据录入得到所述眼球数据库。

3.如权利要求1或者2所述的工业应用屏幕的操控方法，其特征在于，所述眼部信息包括：眼球的水晶体、细丝、斑点、结构、凹点、射线、皱纹、条纹和虹膜的像冠；

所述根据预设的眼球数据库针对所述眼部信息进行比对得到待检测眼球的步骤，包括：

将所述当前用户的眼球的水晶体、细丝、斑点、结构、凹点、射线、皱纹、条纹和虹膜的像冠，与所述眼球数据库中记录的各用户的眼球的水晶体、细丝、斑点、结构、凹点、射线、皱纹、条纹和虹膜的像冠进行逐一比对得到待检测眼球。

4.如权利要求1所述的工业应用屏幕的操控方法，其特征在于，所述针对所述待检测眼球进行实时位置追踪得到追踪结果的步骤，包括：

针对所述待检测眼球进行实时位置追踪，并判断所述待检测眼球在工业应用屏幕输出的预设功能选项上的停留时间是否超过预设的时间阈值；

若是，则得到第一追踪结果，其中，所述第一追踪结果中包含所述预设功能选项的坐标参数。

5.如权利要求4所述的工业应用屏幕的操控方法，其特征在于，在所述判断所述待检测眼球在工业应用屏幕输出的预设功能选项上的停留时间是否超过预设的时间阈值的步骤之后，还包括：

若否，则针对所述待检测眼球持续进行实时位置追踪，直至判断到所述待检测眼球在所述预设功能选项上的停留时间超过所述时间阈值，并得到第二追踪结果，其中，所述第二追踪结果中包含所述预设功能选项的坐标参数。

6.如权利要求4所述的工业应用屏幕的操控方法，其特征在于，所述基于所述追踪结果判断所述待检测眼球的快速眨动次数是否满足预设的触发条件的步骤，包括：

解析所述第一追踪结果得到所述坐标参数；

获取所述待检测眼球针对所述坐标参数的快速眨动次数，并判断所述快速眨动次数是否满足预设的触发条件。

7.如权利要求4或者5所述的工业应用屏幕的操控方法，其特征在于，所述针对工业应用屏幕触发控制指令，以基于所述控制指令对所述工业应用屏幕进行操控的步骤，包括：

基于所述快速眨动次数触发针对工业应用屏幕的控制指令，以根据所述控制指令点击所述预设功能选项执行对应的工业操作。

8.一种工业应用屏幕的操控系统，其特征在于，所述工业应用屏幕的操控系统包括：

获取模块，用于获取当前用户的眼部信息，并根据预设的眼球数据库针对所述眼部信息进行比对得到待检测眼球；

追踪模块，用于针对所述待检测眼球进行实时位置追踪得到追踪结果；

判断模块，用于基于所述追踪结果判断所述待检测眼球的快速眨动次数是否满足预设的触发条件；

触发模块，用于若是，则针对工业应用屏幕触发控制指令，以基于所述控制指令对所述工业应用屏幕进行操控。

9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器和存储在所述存储器上并在所述处理器上运行的工业应用屏幕的操控程序，所述工业应用屏幕的操控程序被所述处理器执行时实现如权利要求1至7中任一项所述的工业应用屏幕的操控方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有工业应用屏幕的操控程序，所述工业应用屏幕的操控程序被处理器执行时实现如权利要求1至7中任一项所述的工业应用屏幕的操控方法的步骤。

Images