CN106325500A - 信息框选方法及装置 - Google Patents

Abstract

本发明适用于信息处理领域，提供了一种信息框选方法及装置。所述方法包括：检测用户的眼球，判断用户的眼球的焦点是否处于屏幕上；在用户的眼球的焦点处于屏幕上时，监测用户的眼球运动轨迹；根据监测的用户的眼球运动轨迹框选屏幕显示的信息。通过上述方法提高了操作灵活性。

Description

信息框选方法及装置

技术领域

本发明实施例属于信息处理领域，尤其涉及一种信息框选方法及装置。

背景技术

目前，智能终端能够对显示的信息进行多种控制，比如，复制、黏贴、删除等。

在对显示的信息执行操作之前，需要选取希望被执行操作的信息。现有的信息框选方法中，主要通过手动触摸或键盘、鼠标等框选希望被执行操作的信息，该方法由于都需要用户手动操作，因此操作繁琐，给用户带来不便。

发明内容

本发明实施例提供了一种信息框选方法及装置，旨在解决现有的信息框选方法都需要用户手动操作，从而导致操作繁琐的问题。

本发明实施例是这样实现的，一种信息框选方法，所述方法包括：

检测用户的眼球，判断用户的眼球的焦点是否处于屏幕上；

在用户的眼球的焦点处于屏幕上时，监测用户的眼球运动轨迹；

根据监测的用户的眼球运动轨迹框选屏幕显示的信息。

本发明实施例的另一目的在于提供一种信息框选装置，所述装置包括：

用户的眼球检测单元，用于检测用户的眼球，判断用户的眼球的焦点是否处于屏幕上；

眼球运动轨迹监测单元，用于在用户的眼球的焦点处于屏幕上时，监测用户的眼球运动轨迹；

信息框选单元，用于根据监测的用户的眼球运动轨迹框选屏幕显示的信息。

在本发明实施例中，由于根据监测的用户的眼球运动轨迹框选屏幕显示的信息，因此，无需用户手动操作也能实现对屏幕显示的信息的框选，从而提高了操作灵活性以及效率。

附图说明

图1是本发明第一实施例提供的一种信息框选方法的流程图；

图2是本发明第一实施例提供的对应眼角的示意图；

图3是本发明第二实施例提供的一种信息框选装置的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例中，检测用户的眼球，判断用户的眼球的焦点是否处于屏幕上，在用户的眼球的焦点处于屏幕上时，监测用户的眼球运动轨迹，根据监测的用户的眼球运动轨迹框选屏幕显示的信息。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图1示出了本发明第一实施例提供的一种信息框选方法的流程图，详述如下：

步骤S11，检测用户的眼球，判断用户的眼球的焦点是否处于屏幕上。

具体地，启动智能终端的前置摄像头，根据前置摄像头获取的图像，识别该图像中是否存在人脸，进而识别该人脸中是否包括用户的眼球。优选地，由于启动智能终端的摄像头需要较多的电量，因此，为了节省智能终端的电量，只有在用户打开“眼球检测开关”时才执行步骤S11，或者，只有在检测到用户的指定动作，如检测到用户的眨眼次数在预设的开关打开范围时，才执行步骤S11。

可选地，所述步骤S11包括：

A1、检测用户的两个眼球是否在智能终端的摄像头的拍摄范围内。当用户的两个眼球都在智能终端的摄像头的拍摄范围内时，表明用户的脸正对屏幕，或者偏离屏幕的正对方向不远。

A2、在用户的两个眼球在智能终端的摄像头的拍摄范围内时，判定用户的眼球的焦点处于屏幕上。

A3、在用户的两个眼球不在智能终端的摄像头的拍摄范围内时，判定用户的眼球的焦点不处于屏幕上。

上述A1～A3中，由于只有在用户的两个眼球在智能终端的摄像头的拍摄范围内时，才判定用户的眼球的焦点处于屏幕上，因此，为后续准确控制屏幕显示的信息提供了有力的依据。

可选地，由于智能终端的摄像头能够拍摄到用户的两个眼球时，用户仍可能是不看屏幕的，因此，为了提高判断的精确度，所述A2包括：

A21、在用户的两个眼球在智能终端的摄像头的拍摄范围内时，判断两个眼球的黑色部分与对应眼角的距离是否大于预设的距离阈值，所述对应眼角为与眼球处于同一个眼睛且远离屏幕的那端眼角。具体地，判断左眼球的黑色部分与左眼睛的对应眼角的距离是否大于预设的距离阈值，判断右眼球的黑色部分与右眼睛的对应眼角的距离是否大于预设的距离阈值。其中，对应眼角为远离屏幕的那端眼角。如图2所示，由于左眼睛右端的眼角与屏幕的最远距离大于左眼睛左端的眼角与屏幕的最远距离，因此，左眼睛右端的眼角为上述的“对应眼角”；同理，右眼睛右端的眼角为上述的“对应眼角”。

A22、在两个眼球的黑色部分与对应眼角的距离大于预设的距离阈值时，判定用户的眼球的焦点处于屏幕上。当两个眼球的黑色部分与对应眼角的距离大于预设的距离阈值时，表明用户的眼睛是往屏幕那端看的，此时才判定用户的眼球的焦点处于屏幕上能够提高判断结果的精确度。当然，在两个眼球的黑色部分与对应眼角的距离小于或等于预设的距离阈值时，判定用户的眼球的焦点不在屏幕上。

步骤S12，在用户的眼球的焦点处于屏幕上时，监测用户的眼球运动轨迹。

其中，用户的眼球的运动轨迹主要是指用户的眼球的黑色部分晶体对应的运动轨迹。具体地，通过选取用户的眼球的黑色部分中的某一点，并监测该某一点在一段时间内的位置信息，组合多个(至少3个)位置信息得到的运动轨迹作为用户的眼球的运动轨迹。

可选地，为了获得更多屏幕显示的信息的控制指令，在执行步骤S12时，所述方法包括：

B1、判断用户是否眨眼且眨眼的次数在预设的眨眼范围内。由于用户在使用智能终端的过程中，其可能会眨眼，因此，为了获得更准确的控制指令，需设置一个眨眼范围。可选地，预设的眨眼范围包括：眨眼的次数大于等于2且小于等于5。

B2、在用户眨眼且眨眼的次数在预设的眨眼范围内时，复制当前屏幕显示的信息。具体地，在判断出用户眨眼且眨眼的次数在预设的眨眼范围内时，表明用户发出了信息复制指令，智能终端根据该信息复制指令复制当前屏幕显示的信息。由于复制当前屏幕显示的信息时，无需用户手动发出复制指令，因此，减少了用户操作，提高了操作效率。

步骤S13，根据监测的用户的眼球运动轨迹框选屏幕显示的信息。

当然，为了提高区分度，被框选的信息与没有被框选的信息的显示方式不同，如，在显示被框选的信息时，颜色与没有被框选的信息的颜色不同。

可选地，所述步骤S13包括：

C1、获取用户的眼球在屏幕的投影，并确定用户的眼球在屏幕的投影所在的位置。需要指出的是，当检测到用户的两个眼球时，以两个眼球所在的最接近屏幕上方的行作为用户的眼球在屏幕的投影所在的位置。

C2、在用户的眼球的运动轨迹为从上到下或从下到上或从左到右或从右到左时，以用户的眼球在屏幕的投影所在的位置为起始位置，从上到下或从下到上或从左到右或从右到左框选屏幕显示的信息，并在接收到停止框选指令时，停止框选屏幕显示的信息。其中，停止框选指令可在用户执行以下任一动作发出：(1)手动触摸屏幕或按压屏幕的指定按键；(2)用户的眼球不再发生运动，且停止运动的时长大于预设的时长(如1秒或2秒)等。这样，用户无需手动框选屏幕的信息也能框选屏幕显示的信息，从而减少了用户的操作，提高操作屏幕显示的信息的便利性。

可选地，为了提高框选的信息的范围的精确度，当从上到下或从下到上或从左到右或从右到左框选屏幕显示的信息时，逐字或逐词地从上到下或从下到上或从左到右或从右到左框选屏幕显示的信息。

可选地，在所述步骤S11之前，包括：

拍摄图片，并将拍摄的图片显示在屏幕上。具体地，可通过前置摄像头或后置摄像头拍摄摄像头前方的信息。此时，步骤S11对应为，检测用户的眼球，判断用户的眼球的焦点是否处于屏幕的图片上；步骤S12对应为，在用户的眼球的焦点处于屏幕上的图片时，监测用户的眼球运动轨迹。由于在拍摄图片后才监测用户的眼球运动轨迹，因此后续能够根据监测的用户的眼球运动轨迹框选屏幕显示的图片的范围，从而不仅可以框选屏幕显示的文本信息的范围，也能框选屏幕显示的图片的范围，扩大了能够框选的信息的种类，提高了用户的良好体验。

可选地，为了能够搜索到与框选的信息对应的信息，在所述步骤S13之后，包括：

D1、识别框选的屏幕显示的信息的范围对应的信息。

D2、根据识别结果搜索对应的信息。

D3、输出搜索结果。

上述D1～D3中，在框选的信息为文本信息时，可直接识别该文本信息，再根据识别结果搜索出对应的信息；在框选的信息为图片信息时，可通过光学字符识别(OpticalCharacter Recognition，OCR)技术识别图片中的信息(如图片信息的文本信息)，再根据识别结果搜索对应的信息。

本发明第一实施例中，检测用户的眼球，判断用户的眼球的焦点是否处于屏幕上，在用户的眼球的焦点处于屏幕上时，监测用户的眼球运动轨迹，根据监测的用户的眼球运动轨迹框选屏幕显示的信息。由于根据监测的用户的眼球运动轨迹框选屏幕显示的信息，因此，无需用户手动操作也能实现对屏幕显示的信息的框选，从而提高了操作灵活性以及效率。

应理解，在本发明实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

实施例二：

图3示出了本发明第二实施例提供的一种信息框选装置的结构图，该信息框选装置可应用于各种智能终端中，该智能终端可以包括经无线接入网RAN与一个或多个核心网进行通信的用户设备，该用户设备可以是移动电话(或称为“蜂窝”电话)、具有移动设备的计算机等，例如，用户设备还可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语音和/或数据。又例如，该移动设备可以包括智能手机、平板电脑、个人数字助理PDA、销售终端POS或车载电脑等。为了便于说明，仅示出了与本发明实施例相关的部分。

该信息框选装置包括：用户的眼球检测单元31、眼球运动轨迹监测单元32、信息框选单元33。其中：

用户的眼球检测单元31，用于检测用户的眼球，判断用户的眼球的焦点是否处于屏幕上。

具体地，启动智能终端的前置摄像头，根据前置摄像头获取的图像，识别该图像中是否存在人脸，进而识别该人脸中是否包括用户的眼球。优选地，由于启动智能终端的摄像头需要较多的电量，因此，为了节省智能终端的电量，只有在用户打开“眼球检测开关”时才执行用户的眼球检测单元31，或者，只有在检测到用户的指定动作，如检测到用户的眨眼次数在预设的开关打开范围时，才执行用户的眼球检测单元31。

可选地，所述用户的眼球检测单元31包括：

拍摄范围检测模块，用于检测用户的两个眼球是否在智能终端的摄像头的拍摄范围内。当用户的两个眼球都在智能终端的摄像头的拍摄范围内时，表明用户的脸正对屏幕，或者偏离屏幕的正对方向不远。

处于屏幕上的眼球的焦点判定模块，用于在用户的两个眼球在智能终端的摄像头的拍摄范围内时，判定用户的眼球的焦点处于屏幕上。

不处于屏幕上的眼球的焦点判定模块，用于在用户的两个眼球不在智能终端的摄像头的拍摄范围内时，判定用户的眼球的焦点不处于屏幕上。

上述拍摄范围检测模块、处于屏幕上的眼球的焦点判定模块、不处于屏幕上的眼球的焦点判定模块中，由于只有在用户的两个眼球在智能终端的摄像头的拍摄范围内时，才判定用户的眼球的焦点处于屏幕上，因此，为后续准确控制屏幕显示的信息提供了有力的依据。

可选地，由于智能终端的摄像头能够拍摄到用户的两个眼球时，用户仍可能是不看屏幕的，因此，为了提高判断的精确度，所述处于屏幕上的眼球的焦点判定模块包括：

在用户的两个眼球在智能终端的摄像头的拍摄范围内时，判断两个眼球的黑色部分与对应眼角的距离是否大于预设的距离阈值，所述对应眼角为与眼球处于同一个眼睛且远离屏幕的那端眼角。具体地，判断左眼球的黑色部分与左眼睛的对应眼角的距离是否大于预设的距离阈值，判断右眼球的黑色部分与右眼睛的对应眼角的距离是否大于预设的距离阈值。其中，对应眼角为远离屏幕的那端眼角。

在两个眼球的黑色部分与对应眼角的距离大于预设的距离阈值时，判定用户的眼球的焦点处于屏幕上。当两个眼球的黑色部分与对应眼角的距离大于预设的距离阈值时，表明用户的眼睛是往屏幕那端看的，此时才判定用户的眼球的焦点处于屏幕上能够提高判断结果的精确度。当然，在两个眼球的黑色部分与对应眼角的距离小于或等于预设的距离阈值时，判定用户的眼球的焦点不在屏幕上。

眼球运动轨迹监测单元32，用于在用户的眼球的焦点处于屏幕上时，监测用户的眼球运动轨迹。

其中，用户的眼球的运动轨迹主要是指用户的眼球的黑色部分晶体对应的运动轨迹。具体地，通过选取用户的眼球的黑色部分中的某一点，并监测该某一点在一段时间内的位置信息，组合多个(至少3个)位置信息得到的运动轨迹作为用户的眼球的运动轨迹。

信息框选单元33，用于根据监测的用户的眼球运动轨迹框选屏幕显示的信息。

具体地，所述信息框选单元33包括：

眼球投影获取模块，用于获取用户的眼球在屏幕的投影，并确定用户的眼球在屏幕的投影所在的位置。需要指出的是，当检测到用户的两个眼球时，以两个眼球所在的最接近屏幕上方的行作为用户的眼球在屏幕的投影所在的位置。

框选的信息范围确定模块，用于在用户的眼球的运动轨迹为从上到下或从下到上或从左到右或从右到左时，以用户的眼球在屏幕的投影所在的位置为起始位置，从上到下或从下到上或从左到右或从右到左框选屏幕显示的信息，并在接收到停止框选指令时，停止框选屏幕显示的信息。其中，停止框选指令可在用户执行以下任一动作发出：(1)手动触摸屏幕或按压屏幕的指定按键；(2)用户的眼球不再发生运动，且停止运动的时长大于预设的时长(如1秒或2秒)等。这样，用户无需手动框选屏幕的信息也能框选屏幕显示的信息，从而减少了用户的操作，提高操作屏幕显示的信息的便利性。

可选地，为了提高框选的信息的范围的精确度，当从上到下或从下到上或从左到右或从右到左框选屏幕显示的信息时，逐字或逐词地从上到下或从下到上或从左到右或从右到左框选屏幕显示的信息。

可选地，所述信息框选装置包括：

图片拍摄单元，用于拍摄图片，并将拍摄的图片显示在屏幕上。由于在拍摄图片后才监测用户的眼球运动轨迹，因此后续能够根据监测的用户的眼球运动轨迹框选屏幕显示的图片的范围，从而不仅可以框选屏幕显示的文本信息的范围，也能框选屏幕显示的图片的范围，扩大了能够框选的信息的种类，提高了用户的良好体验。

可选地，为了能够搜索到与框选的信息对应的信息，所述信息框选装置包括：

信息识别单元，用于识别框选的屏幕显示的信息的范围对应的信息。

信息搜索单元，用于根据识别结果搜索对应的信息。

搜索结果输出单元，用于输出搜索结果。

上述信息识别单元、信息搜索单元、搜索结果输出单元中，在框选的信息为文本信息时，可直接识别该文本信息，再根据识别结果搜索出对应的信息；在框选的信息为图片信息时，可通过OCR技术识别图片中的信息(如图片信息的文本信息)，再根据识别结果搜索对应的信息。

本发明第二实施例中，由于根据监测的用户的眼球运动轨迹框选屏幕显示的信息，因此，无需用户手动操作也能实现对屏幕显示的信息的框选，从而提高了操作灵活性以及效率。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种信息框选方法，其特征在于，所述方法包括：

检测用户的眼球，判断用户的眼球的焦点是否处于屏幕上；

在用户的眼球的焦点处于屏幕上时，监测用户的眼球运动轨迹；

根据监测的用户的眼球运动轨迹框选屏幕显示的信息。

2.根据权利要求1所述的方法，其特征在于，所述根据监测的用户的眼球运动轨迹框选屏幕显示的信息，具体包括：

获取用户的眼球在屏幕的投影，并确定用户的眼球在屏幕的投影所在的位置；

在用户的眼球的运动轨迹为从上到下或从下到上或从左到右或从右到左时，以用户的眼球在屏幕的投影所在的位置为起始位置，从上到下或从下到上或从左到右或从右到左框选屏幕显示的信息，并在接收到停止框选指令时，停止框选屏幕显示的信息。

3.根据权利要求1所述的方法，其特征在于，在所述检测用户的眼球，判断用户的眼球的焦点是否处于屏幕上之前，包括：

拍摄图片，并将拍摄的图片显示在屏幕上。

4.根据权利要求1至3任一项所述的方法，其特征在于，在所述根据监测的用户的眼球运动轨迹框选屏幕显示的信息之后，包括：

识别框选的屏幕显示的信息的范围对应的信息；

根据识别结果搜索对应的信息；

输出搜索结果。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述检测用户的眼球，判断用户的眼球的焦点是否处于屏幕上，具体包括：

检测用户的两个眼球是否在智能终端的摄像头的拍摄范围内；

在用户的两个眼球在智能终端的摄像头的拍摄范围内时，判定用户的眼球的焦点处于屏幕上；

在用户的两个眼球不在智能终端的摄像头的拍摄范围内时，判定用户的眼球的焦点不处于屏幕上。

6.一种信息框选装置，其特征在于，所述装置包括：

用户的眼球检测单元，用于检测用户的眼球，判断用户的眼球的焦点是否处于屏幕上；

眼球运动轨迹监测单元，用于在用户的眼球的焦点处于屏幕上时，监测用户的眼球运动轨迹；

信息框选单元，用于根据监测的用户的眼球运动轨迹框选屏幕显示的信息。

7.根据权利要求6所述的装置，其特征在于，所述信息框选单元包括：

眼球投影获取模块，用于获取用户的眼球在屏幕的投影，并确定用户的眼球在屏幕的投影所在的位置；

框选的信息范围确定模块，用于在用户的眼球的运动轨迹为从上到下或从下到上或从左到右或从右到左时，以用户的眼球在屏幕的投影所在的位置为起始位置，从上到下或从下到上或从左到右或从右到左框选屏幕显示的信息，并在接收到停止框选指令时，停止框选屏幕显示的信息。

8.根据权利要求6所述的装置，其特征在于，所述装置包括：

图片拍摄单元，用于拍摄图片，并将拍摄的图片显示在屏幕上。

9.根据权利要求6至8任一项所述的装置，其特征在于，所述装置包括：

信息识别单元，用于识别框选的屏幕显示的信息的范围对应的信息；

信息搜索单元，用于根据识别结果搜索对应的信息；

搜索结果输出单元，用于输出搜索结果。

10.根据权利要求6至8任一项所述的装置，其特征在于，所述用户的眼球检测单元包括：

拍摄范围检测模块，用于检测用户的两个眼球是否在智能终端的摄像头的拍摄范围内；

处于屏幕上的眼球的焦点判定模块，用于在用户的两个眼球在智能终端的摄像头的拍摄范围内时，判定用户的眼球的焦点处于屏幕上；

不处于屏幕上的眼球的焦点判定模块，用于在用户的两个眼球不在智能终端的摄像头的拍摄范围内时，判定用户的眼球的焦点不处于屏幕上。