CN102866776B - 电网调度运行的眼控输入系统及其应用方法 - Google Patents

Abstract

本发明公开了电网调度运行的眼控输入系统及其应用方法。该系统包括：图像采集装置、激光测距仪、眼部图像处理计算装置以及电网运行显示屏幕；其中，所述图像采集装置包括与所述眼部图像处理计算装置相连的图像传输单元；所述激光测距仪与所述眼部图像处理计算装置通过有线或无线连接；该眼部图像处理计算装置还与所述电网运行显示屏幕相连。采用本发明，可以通过采集电网操作运行人员的眼睛瞳孔位置判断操作运行人员所注视的区域，并将此信息传送给电网调度系统，在电网调度系统的相应位置显示操作运行人员所注视区域的电网运行信息，实现电网调度系统对电网信息的快速获取。

Description

电网调度运行的眼控输入系统及其应用方法

技术领域

本发明涉及电网调度运行的输入技术，特别是涉及电网调度运行的眼控输入系统及其应用方法。

背景技术

随着图像处理技术以及实时图像采集技术的迅速发展，高像素密度的CCD图像采集设备配合相应的光学以及机械伺服系统已经能够获得指定区域内的高精度图像。同时图像处理算法在近年来也取得了巨大的突破并且被应用于数码相机这类大规模生产的民用电子产品中。其中数码相机的人脸识别算法已经普遍应用于各类数码照相机之中并且实现了较高的识别成功率。与此同时，利用图像处理技术识别人类动作并转换为相应的输入指令的技术也逐步成熟并开始初步应用。

另一方面，电网操作运行人员的工作负荷随着电网结构的不断扩展变得日益繁重。复杂的电网结构使得电网操作运行人员需要面对、处理更加复杂的情况，这要求电网操作运行人员能够更加快速地获取相应位置的电网运行信息。同时，电网各个节点的电气设备也变得日益复杂，电网调度运行人员在故障情况下无法根据外部情况的变化迅速做出反应，将会导致电网故障进一步发展扩大。

发明内容

基于此，有必要针对上述问题，提供一种电网调度运行的眼控输入系统及其应用方法，能够通过目光注视焦点的变化在第一时间获取所注视区域的电网调度运行信息，大幅缩短电网调度人员的反应时间。

一种电网调度运行的眼控输入系统，包括：

图像采集装置、激光测距仪、眼部图像处理计算装置以及电网运行显示屏幕；其中，所述图像采集装置包括与所述眼部图像处理计算装置相连的图像传输单元；所述激光测距仪与所述眼部图像处理计算装置通过有线或无线连接；该眼部图像处理计算装置还与所述电网运行显示屏幕相连。

相应地，一种电网调度运行的眼控输入系统的应用方法，包括：

利用所述图像采集装置获取操作运行人员的人脸图像，通过所述图像采集装置的图像传输单元将所述人脸图像实时传送回眼部图像处理计算装置；

所述眼部图像处理计算装置从所述人脸图像中提取眼睛部位图像，分析瞳孔的偏移距离，再结合所述激光测距仪获取的距离计算目光的指向位置；

将所述电网运行显示屏幕划分为预设数个显示区域，根据所述目光的指向位置判断选取的显示区域。

实施本发明，具有如下有益效果：

本发明通过安装在操作人员面前的高分辨率图像采集装置获取操作运行人员的人脸图像信息并进行定位，之后再根据人脸图像中操作运行人员的瞳孔的位置判断眼睛在水平和垂直方向上的两个夹角。安装于电网运行显示屏幕下方的激光测距仪能够获取操作运行人员与屏幕之间的距离信息。电网运行显示屏幕将会被划分为预设数个显示区域。综合上述信息可以通过几何公式计算出电网运行人员所关注的显示区域的位置。

附图说明

图1为本发明电网调度运行的眼控输入系统的示意图；

图2为本发明电网调度运行的眼控输入系统的实施例示意图；

图3为本发明电网调度运行的眼控输入系统的应用方法的实施例示意图之一；

图4为本发明电网调度运行的眼控输入系统的应用方法的实施例示意图之二；

图5为本发明电网调度运行的眼控输入系统的应用方法的实施例示意图之三；

图6为本发明电网调度运行的眼控输入系统的应用方法的实施例示意图之四。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

图1为本发明电网调度运行的眼控输入系统的示意图，包括：

图像采集装置、激光测距仪、眼部图像处理计算装置以及电网运行显示屏幕；其中，所述图像采集装置包括与所述眼部图像处理计算装置相连的图像传输单元；所述激光测距仪与所述眼部图像处理计算装置通过有线或无线连接；该眼部图像处理计算装置还与所述电网运行显示屏幕相连。

本发明能够让操作运行人员通过目光注视焦点的变化在第一时间获取所注视区域的电网调度运行信息，大幅缩短电网调度人员的反应时间。具体的方式是，通过带有光学变焦系统和机械伺服系统的图像采集设备获取操作运行人员的瞳孔位置变化，通过相应的图像处理算法获取操作运行人员所注视的电网运行显示屏幕的位置信息，位置信息是指能够定位电网调度运行人员的目光焦点于电网运行显示屏幕的预设数个等大小的区域内。优选地，可将电网运行显示屏幕划分为六个等大小的区域，所述图像采集设备可以采用CCD（Charge-coupledDevice，电荷耦合元件）图像采集装置。

CCD图像采集装置负责获取操作运行人员的双眼瞳孔部位图像。此装置通过采集电网操作运行人员的实时图像并传送回眼部图像处理计算装置中，眼部图像处理计算装置将会识别电网操作运行人员的人脸轮廓。

眼部图像处理计算装置是本发明的图像处理算法部件。根据获得的电网操作运行人员的人脸图像，首先提取操作人员的双眼局部图像，随后计算该人员的两个瞳孔相对中心位置的偏移距离。根据这个偏移距离可以计算出电网操作人员的视线与水平和垂直参考平面的夹角。随后根据激光测距仪测量得到的电网操作运行人员与电网运行显示屏幕之间的距离计算出该人员的目光在显示屏幕上面的具体位置。

根据电网操作运行人员的实际需要及保证较高的可靠性的需求，本发明将会根据计算得到的具体位置给出电网操作运行人员的注视焦点位于显示屏幕所被划分的6个区域中的某一个区域。

图2为本发明电网调度运行的眼控输入系统的实施例示意图。与图1相比，图2为本发明的优选实施例示意图。

如图2所示，所述图像采集装置还包括：与所述眼部图像处理计算装置相连的焦距调整单元，用于调整所述图像采集装置的镜头的焦距，放大或缩小采集的画面。焦距调整单元通过无线连接方式接收眼部图像处理计算装置发出的焦距调节指令，调整CCD图像采集装置的焦距数值，使CCD图像采集装置能够获得大小适中的电网操作运行人员的脸部图像。以便于为后续识别处理提供足够的图像精度。

所述图像采集装置还包括：与所述眼部图像处理计算装置相连的图像伺服单元，用于根据采集的画面中人脸图像的位置，调整图像采集装置的镜头的水平偏差角度和垂直偏差角度。图像伺服单元通过无线连接方式接收眼部图像处理计算装置发出的位置跟踪控制指令，调整CCD图像采集装置的水平和垂直角度，使CCD图像采集装置能够将操作运行人员的脸部信息固定于采集设备的画面中心处。以便于为后续识别处理提供足够的图像精度。

连接在所述激光测距仪与所述眼部图像处理计算装置之间的距离伺服单元，用于根据所述水平偏差角度调整所述激光测距仪的位置，校正所述激光测距仪获取的距离。激光测距仪能够测量操作运行人员距离电网运行显示屏幕的直线距离，根据眼部图像处理计算装置传送的CCD图像采集装置的伺服系统水平偏差角度调节激光测距系统的水平偏差角度，并将测量得到的操作运行人员距离屏幕距离传送给眼部图像处理计算装置。

相应的，本发明还提供了一种电网调度运行的眼控输入系统的应用方法，该应用方法包括：

利用所述图像采集装置获取操作运行人员的人脸图像，通过所述图像采集装置的图像传输单元将所述人脸图像实时传送回眼部图像处理计算装置；

所述眼部图像处理计算装置从所述人脸图像中提取眼睛部位图像，分析瞳孔的偏移距离，再结合所述激光测距仪获取的距离计算目光的指向位置；

将所述电网运行显示屏幕划分为预设数个显示区域，根据所述目光的指向位置判断选取的显示区域。

图3为本发明电网调度运行的眼控输入系统的应用方法的实施例示意图之一；

图4为本发明电网调度运行的眼控输入系统的应用方法的实施例示意图之二；

图5为本发明电网调度运行的眼控输入系统的应用方法的实施例示意图之三。以下结合图3至图5对本发明做进一步的详细说明。

假设电网的操作运行人员处于调度控制运行屏幕的正面中央位置。CCD图像采集装置获得该人员的人脸图像信息后传送给眼部图像处理计算装置。如图3所示，图像处理算法的程序首先根据得到的从人脸图像中提取眼部图像，计算左右眼的横轴宽度，记为R1、R2。根据R=（R1+R2）/2计算得到眼球的近似半径，再根据瞳孔的中心位置距眼部中心位置的水平和垂直距离L1、L2、H1、H2计算等效水平和垂直距离L=(L1+L2)/2；H=(H1+H2)/2。最后，通过三角公式计算水平夹角b=arcsin(L/R)；垂直夹角为a=arcsin(H/R)。由此得到该人员的目光与水平和垂直参考平面的夹角。之后如图4所示，激光测距仪可以测得该人员与操作屏幕间的距离为D，根据所得到的参数可以计算此时电网操作人员注视位置在垂直方向与参考点的距离为Y=D×tan(a)，在水平方向与参考点的距离为X=D×tan(b)。

最终如图5所示，电网运行显示屏幕被划分为A、B、C、D、E、F六个等面积区域，此时操作人员目光在调度大屏幕上的焦点位置为偏离中心位置水平位置X，垂直位置Y。据此可以判断出电网操作运行人员的目光位于上述六个区域中的哪个具体区域。

需要补充说明的是，除了上述计算眼球的近似半径、等效水平和垂直距离的图像处理算法之外，本发明不排除使用其他图像处理的方式。例如，可以仅通过对单眼的横轴宽度进行计算等等。

在一个具体实施例当中，调整所述图像采集装置的镜头的焦距，放大或缩小采集的画面。调整焦距数值，获得大小适中的电网操作运行人员的脸部图像。以便于为后续识别处理提供足够的图像精度。

在一个具体实施例当中，根据采集的画面中人脸图像的位置，调整图像采集装置的镜头的水平偏差角度和垂直偏差角度。能够将操作运行人员的脸部信息固定于采集设备的画面中心处。以便于为后续识别处理提供足够的图像精度。

在一个具体实施例当中，根据所述水平偏差角度调整所述激光测距仪的位置，校正所述激光测距仪获取的距离。如图5所示，可通过图像采集装置获取的水平偏差角度调整激光测距仪的位置，具体地，可以在水平轨槽上进行移动，以调整激光仪与人员之间的直线距离。

图6为本发明电网调度运行的眼控输入系统的应用方法的实施例示意图之四。与图2不同，图6的本实施例中，操作运行人员未处于调度控制大屏幕的正前方，而是存在一定的偏差，但是水平夹角小于预设角度，本例假设为5°。

此时CCD图像采集装置会采集到如图6中左部所示的电网操作运行人员脸部图像。首先眼部图像处理计算装置会识别提取眼部图像，随后眼部图像处理计算装置会将人脸部位中心位置F与所采集图像中心位置Z的水平位置偏差Fx，及垂直位置偏差Fy送给CCD图像采集装置中的图像伺服单元，图像伺服单元根据Fx数值的正负符号控制水平伺服设备进行调节，例如若Fx数值为正值，则说明操作人员位于CCD图像采集装置的右侧，此时图像伺服单元会将CCD图像采集装置的镜头进行逆时针旋转，使得操作运行人员的脸部图像位于图像中心，即将Fx数值调整到接近零，即+/-5个像素的距离以内。与此同时激光测距仪的距离伺服单元也按照上述方法同步进行位置调整。垂直方向的角度调整根据Fy的数值符号进行，当Fy为正数时，说明CCD图像采集设备拍摄角度过高，图像伺服单元将会降低垂直采集角度，使操作人员的脸部图像向画面上部进行偏移，直到Fy数值接近0，即+/-5个像素的距离以内。调整后的图像如图6的中部图像所示。此时电网操作人员的面部图像位于整幅图像的中心位置，并且激光测距仪同样会根据水平角度差异信号修正电网操作运行人员的测距，并得到电网操作人员的距离信息D。另外，CCD图像采集装置的焦距调整单元会调整光学变焦焦距，使得电网操作运行人员的脸部充满所采集的图像，提高识别精度。随后系统会按照前述的图像处理算法给出电网操作运行人员所关注的区域位置。

在一个实施例中，还包括：

采集目光注视所述电网运行显示屏幕的中心位置时的人脸图像，将该人脸图像中瞳孔的偏移距离作为误差调整距离；

在计算目光的指向位置的步骤中，利用所述误差调整距离校正当前的瞳孔的偏移距离。

在一个实施例中，还包括：

采集目光注视所述电网运行显示屏幕的边角位置时的人脸图像，将该人脸图像中瞳孔的偏移距离作为边界调整距离；

在计算目光的指向位置的步骤中，当当前的瞳孔的偏移距离超过所述边界调整距离时，以所述边界调整距离为限值进行计算。

本实施例主要说明本发明中如何修正系统各个部件的系统误差。当本系统被设定处于原始位置修正运行模式时，电网操作运行人员会在调度位置处注视电网运行显示屏幕的正中心位置。此时根据前述实施例提到的计算方法，系统会将此时该人员的瞳孔位置水平和垂直偏移位置记录下来当作O1、O2位置，作为误差调整距离，此后会按照O1、O2对当前的瞳孔的偏移距离进行校正。例如，接图3实施例所示，可以利用（L－O1）、（L－O2）作为校正后的水平和垂直距离代入后续计算。

此外，本系统还会根据电网操作运行人员注视屏幕的四个边角并记录相应情况下的水平、垂直偏移角度，在随后系统运行时，会以此数值作为计算的相应上下边界调整距离，当电网操作运行人员的眼部角度偏移超过此限值时按照该限值进行计算。

综上所述，本发明的眼控输入系统还具备校正功能。在系统准备就绪后，电网操作运行人员可以通过注视屏幕的中心位置为系统提供参考点信息进行校正。消除由于摄像头以及激光测距装置安装误差导致的计算误差。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种电网调度运行的眼控输入系统，其特征在于，包括：

图像采集装置、激光测距仪、眼部图像处理计算装置以及电网运行显示屏幕；其中，所述图像采集装置包括与所述眼部图像处理计算装置相连的图像传输单元；所述激光测距仪与所述眼部图像处理计算装置通过有线或无线连接；该眼部图像处理计算装置还与所述电网运行显示屏幕相连；

图像采集装置获取电网操作运行人员的人脸图像，并将所述人脸图像传送给眼部图像处理计算装置；

眼部图像处理计算装置根据所述人脸图像提取双眼局部图像，根据所述双眼局部图像计算两个瞳孔的中心位置相对对应的眼部中心位置的偏移距离，根据所述偏移距离得到电网操作运行人员的视线与水平和垂直参考平面的夹角，然后根据激光测距仪测量得到的电网操作运行人员与电网运行显示屏幕之间的距离计算出电网操作运行人员的目光在电网运行显示屏幕上的具体位置；

所述图像采集装置还包括：

与所述眼部图像处理计算装置相连的图像伺服单元，用于根据采集的画面中人脸图像的位置，调整图像采集装置的镜头的水平偏差角度和垂直偏差角度；

其中，图像伺服单元根据采集的画面中人脸图像的位置，调整图像采集装置的镜头的水平偏差角度和垂直偏差角度包括：

图像伺服单元接收所述眼部图像处理计算装置发送的人脸部位中心位置与所采集图像中心位置的水平位置偏差及垂直位置偏差；图像伺服单元通过调整镜头将水平位置偏差和垂直位置偏差的数值调整为0。

2.根据权利要求1所述的电网调度运行的眼控输入系统，其特征在于，所述图像采集装置还包括：

与所述眼部图像处理计算装置相连的焦距调整单元，用于调整所述图像采集装置的镜头的焦距，放大或缩小采集的画面。

3.根据权利要求1所述的电网调度运行的眼控输入系统，其特征在于，还包括：

连接在所述激光测距仪与所述眼部图像处理计算装置之间的距离伺服单元，用于根据所述水平偏差角度调整所述激光测距仪的位置，校正所述激光测距仪获取的距离。

4.一种电网调度运行的眼控输入系统的应用方法，所述电网调度运行的眼控输入系统包括图像采集装置、激光测距仪、眼部图像处理计算装置以及电网运行显示屏幕；该应用方法包括：

利用所述图像采集装置获取操作运行人员的人脸图像，通过所述图像采集装置的图像传输单元将所述人脸图像实时传送回眼部图像处理计算装置；

所述眼部图像处理计算装置从所述人脸图像中提取眼睛部位图像，分析瞳孔的中心位置相对对应的眼部中心位置的偏移距离，根据所述偏移距离得到电网操作运行人员的视线与水平和垂直参考平面的夹角，再结合所述激光测距仪获取的电网操作运行人员与电网运行显示屏幕之间距离计算目光的指向位置；

将所述电网运行显示屏幕划分为预设数个显示区域，根据所述目光的指向位置判断选取的显示区域；

利用所述图像采集装置获取操作运行人员的人脸图像的步骤，包括：

根据采集的画面中人脸图像的位置，调整图像采集装置的镜头的水平偏差角度和垂直偏差角度；

其中根据采集的画面中人脸图像的位置，调整图像采集装置的镜头的水平偏差角度和垂直偏差角度的步骤包括：

所述图像采集装置接收所述眼部图像处理计算装置发送的人脸部位中心位置与所采集图像中心位置的水平位置偏差及垂直位置偏差，通过调整镜头将水平位置偏差和垂直位置偏差的数值调整为0。

5.根据权利要求4所述的电网调度运行的眼控输入系统的应用方法，其特征在于，利用所述图像采集装置获取操作运行人员的人脸图像的步骤，包括：

调整所述图像采集装置的镜头的焦距，放大或缩小采集的画面。

6.根据权利要求4所述的电网调度运行的眼控输入系统的应用方法，其特征在于，结合所述激光测距仪获取的距离计算目光的指向位置的步骤，包括：

根据所述水平偏差角度调整所述激光测距仪的位置，校正所述激光测距仪获取的距离。

7.根据权利要求4至6任一项所述的电网调度运行的眼控输入系统的应用方法，其特征在于，还包括：

采集目光注视所述电网运行显示屏幕的中心位置时的人脸图像，将该人脸图像中瞳孔的偏移距离作为误差调整距离；

在计算目光的指向位置的步骤中，利用所述误差调整距离校正当前的瞳孔的偏移距离。

8.根据权利要求4至6任一项所述的电网调度运行的眼控输入系统的应用方法，其特征在于，还包括：

采集目光注视所述电网运行显示屏幕的边角位置时的人脸图像，将该人脸图像中瞳孔的偏移距离作为边界调整距离；

在计算目光的指向位置的步骤中，当当前的瞳孔的偏移距离超过所述边界调整距离时，以所述边界调整距离为限值进行计算。