CN201207703Y - 监控系统和视线跟踪设备 - Google Patents

Abstract

本实用新型公开了一种监控系统，包括监视屏、被控监视设备和控制模块，还包括视线跟踪设备，其包括参照点光源、人眼摄像单元及图像处理单元，参照点光源设置在监视屏附近，人眼摄像单元设置在可拍摄到监控者至少一只眼睛的位置，图像处理单元与人眼摄像单元及控制模块耦合，图像处理单元解析人眼摄像单元拍摄到的人眼图像中瞳孔中心点和参照点光源的反射点的初始校准位置和当前位置，计算当前位置下人眼在监视屏上的当前视线点并输出相应于当前视线点的目标确认指令，其中，初始校准位置对应于监视屏上预设的视线校准点。本实用新型还公开了用于该监控系统中的一种视线跟踪设备。通过视线跟踪在监视屏上选定目标，能简化监控操作，提高监控效率。

Description

监控系统和视线跟踪设备

【技术领域】

本实用新型涉及监控系统，具体涉及一种监控系统和视线跟踪设备。

【背景技术】

监控系统广泛存在于商场、大厦、公路、车站、机场等公共场所，作为大型监控系统的核心，监控指挥中心起着组织、指挥、协调和督导的作用。监控中心里，与人交互的设备通常是监视屏和操作台。如图1所示，现有的监控系统中，操作人员通过监视屏来观看远处摄像机拍摄、高速球机等返回来的视频，这些视频通过DVR(Digital Video Recorder，数字视频录像机或数字硬盘录像机)记录中转，DVR具有控制输入，可以用来远程控制球机及摄像头。现有系统使用操作台的摇杆、按钮等传统人机交互手段来进行视频的选择、缩放等监控操作，操作人员通过操作台发送指令，通过DVR来切换视频，并伸缩、转动摄像头或球机。然而，随着监控设备增多，操作人员要监视和控制的目标也越来越多，因此，需要随时面对大量的视频数据。有的时候，一名操作人员可能要循环观看近几百路的实时视频。传统的操作台式交互的监控系统的效率低下，已经越来越不能满足繁琐的操作要求。特别是面对监控中所发生各种突发事件，如果需要快速选中和控制某一摄像头的伸缩和转动、选择切换视频通道时，使用传统设备很难迅速有效地反应和处理。而且，面对数量庞大的视频数据，监控操作难免过于复杂而易导致监控人员忙中出错。

【实用新型内容】

本实用新型的主要目的就是解决现有技术中的问题，提供一种监控系统，方便监控人员选中监控目标，提高监控操作的效率。

本实用新型的另一目的提供一种使用在监控系统中能为其带来上述优点视线跟踪设备。

为实现上述目的，本实用新型提供一种监控系统，包括用于显示视频图像的监视屏、用于摄取并传输视频图像的被控监视设备以及用于根据操控指令控制被控监视设备的动作和记录视频图像并将视频图像提供给所述监视屏显示的控制模块，所述控制模块的输出端分别耦合到被控监视设备和监视屏，其特征在于，还包括视线跟踪设备，所述视线跟踪设备包括参照点光源、人眼摄像单元、图像处理单元，所述参照点光源设置在所述监视屏附近，所述人眼摄像单元设置在可以拍摄到监控者至少一只眼睛的位置，所述图像处理单元的输入端与所述人眼摄像单元的输出端耦合，所述图像处理单元的输出端耦合到所述控制模块的输入端，所述图像处理单元用于解析出所述人眼摄像单元拍摄到的人眼图像中瞳孔中心点和所述参照点光源的反射点的初始校准位置和当前位置，计算出当前位置下人眼在所述监视屏上的当前视线点并输出相应于当前视线点的目标确认指令，其中，所述初始校准位置对应于所述监视屏上预设的视线校准点。

优选地，所述视线跟踪设备还包括目标操作单元，所述目标操作单元的输入端与所述图像处理单元的输出端耦合，所述目标操作单元的输出端与所述控制模块的输入端耦合。

所述人眼摄像单元包括分别获取左、右眼图像的左眼摄像头和右眼摄像头。

所述视线跟踪设备还包括用于检测头部对所述监视屏的初始位置和当前位置的运动补偿摄像单元，所述运动补偿摄像单元的输出端与所述图像处理单元相连。

所述运动补偿摄像单元包括用于摄取所述参照点光源图像的光源摄像头，所述光源摄像头与头部联动设置。

所述参照点光源包括至少4个红外光源，所述红外光源以至少构成四边形的方式分布在所述监视屏下方或其四周。

为实现上述目的，本实用新型还提供一种视线跟踪设备，用于监控系统中人眼对监视屏的视线跟踪，其特征在于，包括参照点光源、人眼摄像单元、图像处理单元，所述参照点光源设置在所述监视屏附近，所述人眼摄像单元设置在可以拍摄到监控者至少一只眼睛的位置，所述图像处理单元的输入端与所述人眼摄像单元的输出端耦合，所述图像处理单元用于解析出所述人眼摄像单元拍摄到的人眼图像中瞳孔中心点和所述参照点光源的反射点的初始校准位置和当前位置，计算出当前位置下人眼在所述监视屏上的当前视线点并输出相应于当前视线点的目标确认指令，其中，所述初始校准位置对应于所述监视屏上预设的视线校准点。

优选地，还包括用于固定在头部的摄像支架，所述人眼摄像单元安装在所述摄像支架上能拍摄到至少一只人眼图像的部位。

所述摄像支架为眼镜架型结构，包括镜框和左右对称的用于戴在耳部的两个镜腿。

还包括用于套固在头部的固定带，所述固定带的两端分别与所述两个镜腿相连。

本实用新型的有益效果是：

本实用新型的监控系统中设置了视线跟踪设备，通过人眼摄像单元获取人眼图像，通过图像处理单元解析出人眼图像中瞳孔中心点和参照点光源的反射点对应于视线校准点的初始校准位置，并根据该初始校准位置建立起人眼与监视屏之间的位置关系矩阵，在实时监控过程中，图像处理单元对瞳孔中心点和反射点的当前位置进行解析，利用该位置关系矩阵，就可以计算出当前位置下人眼在监视屏上的当前视线点并确定其对准的监视目标。本实用新型完全改变了以往监控系统的操作方式，不依赖复杂的摇杆、按键控制板等操作台设备，而是采用视线跟踪设备分析操作员视线，根据视线点方便迅捷地选中目标——被控监视设备或视频内容，进而可完成对目标的操控动作。如从几十路视频中选中其中一个的目标锁定，放大视频中的某个位置或者控制球机转动以跟踪某个监视对象。本实用新型能够很好的辅助操作人员做出快速反应，简化复杂的监控操作，大大提高监控效率。

【附图说明】

图1为现有监控系统的结构框图；

图2为本实用新型监控系统一种实施例的结构框图；

图3为本实用新型视线跟踪设备一种实施例的结构框图；

图4为本实用新型一种实施例中的摄像支架立体示意图；

图5为图4中的摄像支架的俯视图；

图6为图4中的摄像支架的侧视图

图7为本实用新型监控系统工作原理的流程图；

图8为图7中瞳孔中心点及反射点位置检测进一步细化的流程图；

图9为图7中头部对监视屏位置检测进一步细化的流程图。

【具体实施方式】

本实用新型的特征及优点将通过实施例结合附图进行详细说明。

本实用新型的监控系统包括监视屏、操控模块、控制模块以及被控监视设备。操控模块包括视线跟踪设备，视线跟踪设备的输出端与控制模块的输入端耦合，控制模块的输出端分别耦合到被控监视设备和监视屏。监视屏用于显示视频图像，被控监视设备摄取并传输视频图像，控制模块根据来自视线跟踪设备的操控指令控制被控监视设备的动作、记录视频图像并将视频图像提供给监视屏显示。请参照图2，其中，监视屏既可以是监视器的屏幕，也可以是监控中心的大显示屏，操控模块优选还包括辅助设备(如按键、摇杆之类的传统操控设备)，被控监视设备包括摄像头和球机，控制模块采用DVR，DVR内具有控制单元，可以用来远程控制摄像头及球机。监控人员与系统的交互通过监视屏和视线跟踪设备进行。监控人员的操作指令通过视线跟踪设备输入系统，DVR根据操控指令控制被控监视设备的选择、动作以及视频图像的选择、记录和操作，并将记录的视频图像输出至监视屏。一种实施例中，监控系统包含多个DVR，监视视频由各DVR记录和中转，每个DVR均能够控制输出多路视频至监视屏。

请参照图3，视线跟踪设备包括参照点光源、人眼摄像单元及图像处理单元。参照点光源设置在监视屏附近，人眼摄像单元设置在可以拍摄到监控者至少一只眼睛的位置，图像处理单元的输入端与人眼摄像单元的输出端耦合，图像处理单元的输出端耦合到DVR的输入端(未示出)。参照点光源发出的光线由人眼捕获和反射。人眼摄像单元获取人眼图像并提供给图像处理单元，图像处理单元对人眼图像中瞳孔中心点和参照点光源在瞳孔中的反射点的位置进行解析，建立人眼与监视屏之间的位置关系矩阵，监控过程中，图像处理单元解析出瞳孔中心点和反射点的当前位置信息，并通过位置关系矩阵计算出当前位置下人眼在监视屏上的当前视线点，确定当前视线点对准的目标。优选的，视线跟踪设备还包括目标操作单元，当前视线点对准的目标确定后，可通过目标操作单元输出指令至DVR，激活目标并执行进一步的操作。

为确定人眼与监视屏的初始位置关系，首先要完成初始校准。预先在监视屏上设定好视线校准点，例如可将屏幕的左上点、右下点和中心点等规定为视线校准点，视线跟踪前，人眼先注视监视屏的这几个特定位置，通过人眼摄像单元获取人眼图像，再由图像处理单元解析出人眼图像中瞳孔中心点和参照点光源的反射点对应于各视线校准点的初始校准位置，然后，结合初始校准位置信息和已知的视线校准点的位置信息进行分析，即可建立人眼与监视屏(瞳孔中心点、反射点与监视屏视线校准点)的位置关系矩阵。完成了初始化之后，就可在监控过程中实施视线跟踪。人眼摄像单元实时捕捉人眼当前的各帧图像，由图像处理单元进行解析，测出人眼的瞳孔中心点和参照点光源在瞳孔中的反射点的当前位置。接下来根据位置关系矩阵和当前位置信息进行计算，最终确定该当前位置下的人眼在监视屏上停留的当前视线点。在具体的处理过程中，还可以根据过往图像帧(如前一帧)得到的位置关系作为参照，预测接下来瞳孔将要出现的位置，以提高准确度并减少计算量。

参照点光源优选采用红外光源如红外LED(发光二极管)，其功率根据监视屏到人眼的距离选定。将四个红外LED安装在监视屏下方或其四周，构成四边形。四个参照点是达到实现矩阵变换(包括缩放、平移及旋转)所需的最少参照点数。人眼摄像单元设置在眼睛的前下方，向斜上方拍摄，以免挡住视线，并且其焦距足够小以能清晰的拍摄出整个眼睛图像。人眼摄像单元优选采用红外摄像头，其上配有红外滤镜，过滤掉可见光，所获得的眼部图像为红外图像。由于瞳孔吸收红外波长，而巩膜和虹膜反射红外波长，故在红外光下瞳孔整体呈现为显著的深黑色。采用红外光源和红外摄像头，有利于对人眼图像中瞳孔的鉴别和定位。更优选的实施例中，人眼摄像单元包括左眼摄像头和右眼摄像头，分别获取左、右眼图像。综合双眼的图像进行分析和处理，有利于提高视线跟踪的精度。此外，各摄像头还具有数字校正的内置光源，能对周围亮度的变化进行数字补偿，以保证视线跟踪的稳定性。

作为改进，图像处理单元中设置有图像增强模块，所获取的人眼图像在进行解析之前，先由图像增强模块进行增强处理，包括提高瞳孔、眼球及参照点光源的反射点的识别精度及识别率，进而提高图像解析的精度。具体处理手段可以是亮度、对比度调整以及图像去噪等。又一种改进中，图像处理单元还包括虹膜解析模块，虹膜解析模块对人眼图像中的虹膜外边缘进行检测。虹膜外边缘检测主要是找出人眼图像中边缘变化最强烈的圆形，并返回该圆形的中心位置以及半径信息。结合对虹膜位置的分析来进行图像解析，能够更准确地对瞳孔中心点和参照点光源的反射点进行定位。

在更佳的实施例中，视线跟踪设备还包括运动补偿摄像单元，而图像处理单元还包括运动补偿模块。运动补偿摄像单元的输出端与运动补偿模块相连。运动补偿摄像单元检测头部对监视屏的初始位置(对应于人眼的初始校准位置)和当前位置(对应于人眼的当前位置)信息，运动补偿模块对该信息进行处理，计算出头部位置变化对参照点光源在人眼中的反射点所带来的偏移量，并根据该偏移量对当前视线点进行运动补偿。通过运动补偿，能够减小误差，进一步提高当前视线点跟踪的准确程度。优选地，运动补偿摄像单元包括与头部联动设置的光源摄像头，该光源摄像头获取参照点光源的图像。将光源摄像头与左、右眼摄像头的坐标系关联起来，通过分析参照点光源的图像前后变化，可测出头部对监视屏的位置变化，计算出要补偿的量，从而实现运动补偿。

本实用新型中，目标操作单元可结合采用眨眼控制模块与键控模块。眨眼控制模块根据人眼摄像单元拍摄到的眨眼信息来激活和操作当前视线点对准的目标，而键控模块则通过传统的手动方式，利用按钮、键盘等来激活和操作目标。激活和操作指令通过目标操作单元发送给DVR进行控制和处理。一般而言，手动的键控方式往往比诸如眨眼确认等自动确认方法更符合传统的操作习惯。又例如，目标操作单元可配置“图像放大”等视频处理按键，便于用户对选中的视频内容进行操作。

请参照图4至图6，视线跟踪设备还包括摄像支架2，摄像支架2包括可固定在头部的固定件21，人眼摄像单元1安装在摄像支架2上能拍摄到至少一只人眼图像的部位。优选的，固定件21为眼睛架型的金属或塑料头具，包括镜框和左右对称的用于戴在耳部的两个镜腿211，镜腿211的尾部可架在人耳上，摄像支架2还包括与其中一镜腿211相连的支承件22，支承件22具有延伸到人眼的前下方的支承端，人眼摄像单元1安装在支承端上，向斜上方拍摄眼睛，可避免挡住视线。为了提高检测精确度，人眼摄像单元1采用左眼和右眼两个摄像头，分别用于拍摄左、右眼图像，支承件22为与两个镜腿211相对应设置的两个，左眼摄像头和右眼摄像头分别固定在两个支承件22上。左、右眼摄像头要求体积尽量小，畸变尽量小，且其焦距以能够清晰地拍摄出整个眼睛的图像。作为改进，摄像装置还包括固定带，固定带的两端分别与两个镜腿211相连。固定带可以固套在头部，可进一步稳固摄像支架2。

更佳的实施例中，摄像装置还包括运动补偿摄像单元3，它用于检测头部对监视屏的初始位置和当前位置，优选的，运动补偿摄像单元3采用对参照点光源进行拍摄的光源摄像头3。光源摄像头3也安装在摄像支架2上，镜头朝向参照点光源，优选将光源摄像头3设置在镜腿211上靠人眼外侧的部位。更优选的，光源摄像头3以可调节方向的方式与镜腿211相连，从而可以灵活调整它的镜头朝向，使其能在头部位置变动时仍对准参照点光源。

摄像装置优选采用红外摄像头，各摄像头配有红外滤镜以过滤可见光，并可选用320×240的解析度。

下面进一步介绍监控系统一种实施例的工作原理。请参照图7，监控系统的工作按照如下步骤进行：

步骤S101、检测人眼图像中与视线校准点相应的瞳孔中心点和参照点光源的反射点的初始校准位置；

步骤S102、根据视线校准点的位置和瞳孔中心点、反射点的初始校准位置，建立起人眼与监视屏之间的位置关系矩阵；

步骤S103、监测过程中，检测瞳孔中心点和反射点的当前位置；

步骤S104、根据位置关系矩阵，计算出当前位置下人眼在监视屏上的当前视线点；

步骤S201、检测头部对监视屏的初始位置

步骤S202、检测头部对监视屏的当前位置；

步骤S203、计算头部运动对参照点光源的反射点带来的偏移量；

步骤S3、根据计算出的偏移量对当前视线跟踪点进行运动补偿；接下来执行下列可选步骤，

步骤S4、通过键控方式选定和操控目标，如视频内容本身的缩放、摄像头的运动控制等；或者

步骤S5、通过眨眼处理方式选定和操控目标；或者

步骤S6、对对准的目标的视频信号作进一步处理。

请参照图8，对于步骤S101和步骤S103，瞳孔中心点和参照点光源在人眼的反射点的位置检测又包括如下子步骤：

首先摄取眼部图像；

接下来对获得人眼图像进行增强，可包括亮度、对比度调整以及图像去噪等处理，以提高瞳孔、反射点的识别精度及识别率；

然后对图像进行分析，检测瞳孔中心点和反射点，同时检测人眼图像中的虹膜外边缘以对瞳孔中心点和反射点的定位进行辅助；

最后，解析出瞳孔中心点和反射点的位置。

请参照图9，对于步骤S201和步骤S202，头部对监视屏的位置检测又包括如下子步骤：

首先摄取参照点光源图像；

接下来对获得参照点光源图像进行增强；

然后对图像进行分析，检测参照点光源；

最后，解析出头部相对于监视屏的位置。

本实用新型的监控系统采用视线跟踪技术，完全改变了以往的监控操作方式，不使用复杂的摇杆、按键控制板等操作台设备，而是采用视线跟踪设备分析出人眼视线在监视屏上对准的目标，从而可以方便迅捷地选中被控监视设备或监视目标，通过目标操作单元可激活并完成对目标进一步的操控动作。如从几十路视频中选中其中一个的目标锁定，放大视频中的某个位置或者控制球机转动以跟踪某个监视目标。本实用新型能够很好的辅助操作人员做出快速反应，简化复杂的监控操作，大大提高监控效率。另外，由于本实用新型的视线跟踪设备采用对人眼反射向量进行分析来实现视线跟踪，因此，采用它的监控系统具有受外界因素(如肌肉震动、环境变化等)影响带来的误差小、对人无干扰和占用带宽小等优点。

以上内容是结合具体的优选实施方式对本实用新型所作的进一步详细说明，不能认定本实用新型的具体实施只局限于这些说明。对于本实用新型所属技术领域的普通技术人员来说，在不脱离本实用新型构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本实用新型的保护范围。

Claims (10)

1.一种监控系统，包括用于显示视频图像的监视屏、用于摄取并传输视频图像的被控监视设备以及用于根据操控指令控制被控监视设备的动作和记录视频图像并将视频图像提供给所述监视屏显示的控制模块，所述控制模块的输出端分别耦合到被控监视设备和监视屏，其特征在于，还包括视线跟踪设备，所述视线跟踪设备包括参照点光源、人眼摄像单元、图像处理单元，所述参照点光源设置在所述监视屏附近，所述人眼摄像单元设置在可以拍摄到监控者至少一只眼睛的位置，所述图像处理单元的输入端与所述人眼摄像单元的输出端耦合，所述图像处理单元的输出端耦合到所述控制模块的输入端，所述图像处理单元用于解析出所述人眼摄像单元拍摄到的人眼图像中瞳孔中心点和所述参照点光源的反射点的初始校准位置和当前位置，计算出当前位置下人眼在所述监视屏上的当前视线点并输出相应于当前视线点的目标确认指令，其中，所述初始校准位置对应于所述监视屏上预设的视线校准点。

2.如权利要求1所述的监控系统，其特征在于，所述视线跟踪设备还包括目标操作单元，所述目标操作单元的输入端与所述图像处理单元的输出端耦合，所述目标操作单元的输出端与所述控制模块的输入端耦合。

3.如权利要求1所述的监控系统，其特征在于，所述人眼摄像单元包括分别获取左、右眼图像的左眼摄像头和右眼摄像头。

4.如权利要求1至3中任一项所述的监控系统，其特征在于，所述视线跟踪设备还包括用于检测头部对所述监视屏的初始位置和当前位置的运动补偿摄像单元，所述运动补偿摄像单元的输出端与所述图像处理单元相连。

5.如权利要求4所述的监控系统，其特征在于，所述运动补偿摄像单元包括用于摄取所述参照点光源图像的光源摄像头，所述光源摄像头与头部联动设置。

6.如权利要求1至3中任一项所述的监控系统，其特征在于，所述参照点光源包括至少4个红外光源，所述红外光源以至少构成四边形的方式分布在所述监视屏下方或其四周。

7.一种视线跟踪设备，用于监控系统中人眼对监视屏的视线跟踪，其特征在于，包括参照点光源、人眼摄像单元、图像处理单元，所述参照点光源设置在所述监视屏附近，所述人眼摄像单元设置在可以拍摄到监控者至少一只眼睛的位置，所述图像处理单元的输入端与所述人眼摄像单元的输出端耦合，所述图像处理单元用于解析出所述人眼摄像单元拍摄到的人眼图像中瞳孔中心点和所述参照点光源的反射点的初始校准位置和当前位置，计算出当前位置下人眼在所述监视屏上的当前视线点并输出相应于当前视线点的目标确认指令，其中，所述初始校准位置对应于所述监视屏上预设的视线校准点。

8.如权利要求7所述的视线跟踪设备，其特征在于，还包括用于固定在头部的摄像支架，所述人眼摄像单元安装在所述摄像支架上能拍摄到至少一只人眼图像的部位。

9.如权利要求7或8所述的摄像装置，其特征在于，所述摄像支架为眼镜架型结构，包括镜框和左右对称的用于戴在耳部的两个镜腿。

10.如权利要求9所述的摄像装置，其特征在于，还包括用于套固在头部的固定带，所述固定带的两端分别与所述两个镜腿相连。

Images