CN115412706A - 基于眼球追踪和运动检测的监视器 - Google Patents

基于眼球追踪和运动检测的监视器 Download PDF

Info

Publication number
CN115412706A
CN115412706A CN202210983275.6A CN202210983275A CN115412706A CN 115412706 A CN115412706 A CN 115412706A CN 202210983275 A CN202210983275 A CN 202210983275A CN 115412706 A CN115412706 A CN 115412706A
Authority
CN
China
Prior art keywords
processing module
acquisition device
data processing
image acquisition
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210983275.6A
Other languages
English (en)
Other versions
CN115412706B (zh
Inventor
邬健伟
周玮
王思德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jingchuang Technology Electronics Co ltd
Original Assignee
Shenzhen Jingchuang Technology Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jingchuang Technology Electronics Co ltd filed Critical Shenzhen Jingchuang Technology Electronics Co ltd
Priority to CN202210983275.6A priority Critical patent/CN115412706B/zh
Publication of CN115412706A publication Critical patent/CN115412706A/zh
Application granted granted Critical
Publication of CN115412706B publication Critical patent/CN115412706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于眼球追踪和运动检测的监视器包括：第一图像采集装置、第二图像采集装置和数据处理模块，第一图像采集装置和第二图像采集装置分别与数据处理模块建立有通讯连接；第一图像采集装置在检测到有人员出现时，在第一监控区域针对人员进行眼球追踪，并将采集到的第一实时图像数据传递至数据处理模块；数据处理模块根据第一实时图像数据确定是否启动第二图像采集装置，并在确定启动第二图像采集装置时向第二图像采集装置传递启动指令；第二图像采集装置在接收到启动指令时启动运行以在第二监控区域针对人员进行运动检测，并将采集到的第二实时图像数据传递至数据处理模块；数据处理模块根据第二实时图像数据输出预设的安全报警提示。

Description

基于眼球追踪和运动检测的监视器
技术领域
本发明属于监视器技术领域，尤其涉及一种基于眼球追踪和运动检测的监视器。
背景技术
随着智能家居技术的飞速发展，在家庭环境中使用智能终端设备为人们提供家居服务与安全保障已经越来越广泛。例如，现今绝大多数家庭中均安装有监视器来针对家庭环境进行远程的监控和预警。然而，现有的监视器常常将家庭环境中一切运动的事物均判定为有可疑人员，导致频繁地触发对家庭环境中的错误报警，严重影响用户对于监视器的使用体验。
发明内容
本发明的主要目的在于提供一种基于眼球追踪和运动检测的监视器。旨在通过监视器针对被监视场景的监控过程当中，准确且智能的进行异常情况报警，避免错误报警情况的发生。
为了实现上述目的，本发明提供一种基于眼球追踪和运动检测的监视器，所述基于眼球追踪和运动检测的监视器包括：第一图像采集装置、第二图像采集装置和数据处理模块，所述第一图像采集装置和所述第二图像采集装置分别与所述数据处理模块建立有通讯连接；
所述第一图像采集装置在检测到第一监控区域有人员出现时，在所述第一监控区域针对人员进行眼球追踪，并将进行眼球追踪过程中采集到的第一实时图像数据通过所述通讯连接传递至所述数据处理模块；
所述数据处理模块根据所述第一实时图像数据确定是否启动所述第二图像采集装置，并在确定启动所述第二图像采集装置时通过所述通讯连接向所述第二图像采集装置传递启动指令；
所述第二图像采集装置在接收到所述启动指令时启动运行以在第二监控区域针对人员进行运动检测，并将进行运动检测过程中采集到的第二实时图像数据通过所述通讯连接传递至所述数据处理模块；
所述数据处理模块根据所述第二实时图像数据输出预设的安全报警提示。
可选地，所述第一图像采集装置安装于家庭入户位置，所述第一图像采集装置在所述第一监控区域采集的图像数据中至少包括家庭门户图像。
可选地，所述第一图像采集装置通过对所述家庭门户图像进行识别，以在所述家庭门户图像中识别到预设人像特征时，确定检测到所述第一监控区域有人员出现。
可选地，所述第一图像采集装置为事件相机，所述事件相机在所述第一监控区域采集到人员眼球数据时，根据所述人员眼球数据提取眼球位置特征，并根据所述眼球位置特征进行眼球追踪。
可选地，所述数据处理模块通过从所述第一实时图像数据中提取眼球位置信息，并根据所述眼球位置信息确定人员视线轨迹；
将所述人员视线轨迹输入预设的可疑人员分类模型以得到所述可以人员分类模型输出的分类结果，并根据所述分类结果确定是否启动所述第二图像采集装置，其中，所述可疑人员分类模型预先基于视线轨迹样本进行机器学习构建得到。
可选地，所述分类结果包括：可疑人员和非可疑人员；
所述数据处理模块在所述分类结果为所述非可疑人员时，确定启动所述第二图像采集装置并生成启动指令。
可选地，所述数据处理模块在所述分类结果为所述可疑人员时，输出预设的安全报警提示。
可选地，所述第二图像采集装置安装于家庭内部环境，所述第二监控区域为所述第二图像采集装置针对所述家庭内部环境进行监控的空间区域。
可选地，所述数据处理模块通过从所述第二实时图像数据中提取人员运动轨迹信息，并根据所述人员运动轨迹信息输出预设的安全报警提示。
可选地，所述数据处理模块通过检测所述人员运动轨迹信息是否为异常运动轨迹，并在检测到是时输出所述安全报警提示。
此外，为实现上述目的，本发明还提供一种监视器的控制设备，所述控制设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行以针对上述的基于眼球追踪和运动检测的监视器进行控制时，基于眼球追踪和运动检测的监视器实现如下操作步骤：
第一图像采集装置在检测到第一监控区域有人员出现时，在所述第一监控区域针对人员进行眼球追踪，并将进行眼球追踪过程中采集到的第一实时图像数据通过所述通讯连接传递至所述数据处理模块；
数据处理模块根据所述第一实时图像数据确定是否启动所述第二图像采集装置，并在确定启动所述第二图像采集装置时通过所述通讯连接向所述第二图像采集装置传递启动指令；
第二图像采集装置在接收到所述启动指令时启动运行以在第二监控区域针对人员进行运动检测，并将进行运动检测过程中采集到的第二实时图像数据通过所述通讯连接传递至所述数据处理模块；
数据处理模块根据所述第二实时图像数据输出预设的安全报警提示。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，上述的基于眼球追踪和运动检测的监视器实现如下操作步骤：
第一图像采集装置在检测到第一监控区域有人员出现时，在所述第一监控区域针对人员进行眼球追踪，并将进行眼球追踪过程中采集到的第一实时图像数据通过所述通讯连接传递至所述数据处理模块；
数据处理模块根据所述第一实时图像数据确定是否启动所述第二图像采集装置，并在确定启动所述第二图像采集装置时通过所述通讯连接向所述第二图像采集装置传递启动指令；
第二图像采集装置在接收到所述启动指令时启动运行以在第二监控区域针对人员进行运动检测，并将进行运动检测过程中采集到的第二实时图像数据通过所述通讯连接传递至所述数据处理模块；
数据处理模块根据所述第二实时图像数据输出预设的安全报警提示。
本发明实施例提出的一种基于眼球追踪和运动检测的监视器、监视器的控制设备以及计算机可读存储介质，通过第一图像采集装置在检测到第一监控区域有人员出现时，在所述第一监控区域针对人员进行眼球追踪，并将进行眼球追踪过程中采集到的第一实时图像数据通过所述通讯连接传递至所述数据处理模块；然后，所述数据处理模块根据所述第一实时图像数据确定是否启动所述第二图像采集装置，并在确定启动所述第二图像采集装置时通过所述通讯连接向所述第二图像采集装置传递启动指令；再然后，所述第二图像采集装置在接收到所述启动指令时启动运行以在第二监控区域针对人员进行运动检测，并将进行运动检测过程中采集到的第二实时图像数据通过所述通讯连接传递至所述数据处理模块；最后，所述数据处理模块根据所述第二实时图像数据输出预设的安全报警提示。
如此，相比于传统监视器，本发明实施例提供的技术方案能够通过监视器针对被监视场景的监控过程当中，准确且智能的进行异常情况报警，避免了错误报警情况的发生，从而有效地提升了用户使用监视器的使用体验。
附图说明
图1是本发明实施例方案涉及的商品的电子采购终端硬件运行环境的设备结构示意图；
图2为本发明基于眼球追踪和运动检测的监视器一实施例的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的监视器的控制设备硬件运行环境的设备结构示意图。
本发明实施例监视器的控制设备用于针对基于眼球追踪和运动检测的监视器进行控制，该基于眼球追踪和运动检测的监视器包括：第一图像采集装置、第二图像采集装置和数据处理模块，所述第一图像采集装置和所述第二图像采集装置分别与所述数据处理模块建立有通讯连接。
此外，本发明实施例监视器的控制设备包括智能手机、平板、PC(PersonalComputer，个人计算机)等终端设备。
如图1所示，该商品的电子采购终端可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对本发明监视器的控制设备的限定，本发明监视器的控制设备当然还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的计算机程序以针对上述的基于眼球追踪和运动检测的监视器进行控制时，所述第一图像采集装置在检测到第一监控区域有人员出现时，在所述第一监控区域针对人员进行眼球追踪，并将进行眼球追踪过程中采集到的第一实时图像数据通过所述通讯连接传递至所述数据处理模块；
所述数据处理模块根据所述第一实时图像数据确定是否启动所述第二图像采集装置，并在确定启动所述第二图像采集装置时通过所述通讯连接向所述第二图像采集装置传递启动指令；
所述第二图像采集装置在接收到所述启动指令时启动运行以在第二监控区域针对人员进行运动检测，并将进行运动检测过程中采集到的第二实时图像数据通过所述通讯连接传递至所述数据处理模块；
所述数据处理模块根据所述第二实时图像数据输出预设的安全报警提示。
可选地，所述第一图像采集装置安装于家庭入户位置，所述第一图像采集装置在所述第一监控区域采集的图像数据中至少包括家庭门户图像。
可选地，所述第一图像采集装置通过对所述家庭门户图像进行识别，以在所述家庭门户图像中识别到预设人像特征时，确定检测到所述第一监控区域有人员出现。
可选地，所述第一图像采集装置为事件相机，所述事件相机在所述第一监控区域采集到人员眼球数据时，根据所述人员眼球数据提取眼球位置特征，并根据所述眼球位置特征进行眼球追踪。
可选地，所述数据处理模块通过从所述第一实时图像数据中提取眼球位置信息，并根据所述眼球位置信息确定人员视线轨迹；
将所述人员视线轨迹输入预设的可疑人员分类模型以得到所述可以人员分类模型输出的分类结果，并根据所述分类结果确定是否启动所述第二图像采集装置，其中，所述可疑人员分类模型预先基于视线轨迹样本进行机器学习构建得到。
可选地，所述分类结果包括：可疑人员和非可疑人员；
所述数据处理模块在所述分类结果为所述非可疑人员时，确定启动所述第二图像采集装置并生成启动指令。
可选地，所述数据处理模块在所述分类结果为所述可疑人员时，输出预设的安全报警提示。
可选地，所述第二图像采集装置安装于家庭内部环境，所述第二监控区域为所述第二图像采集装置针对所述家庭内部环境进行监控的空间区域。
可选地，所述数据处理模块通过从所述第二实时图像数据中提取人员运动轨迹信息，并根据所述人员运动轨迹信息输出预设的安全报警提示。
可选地，所述数据处理模块通过检测所述人员运动轨迹信息是否为异常运动轨迹，并在检测到是时输出所述安全报警提示。
请参照图2，图2为本发明基于眼球追踪和运动检测的监视器一实施例的结构示意图。需要说明的是，图2中示出的结构并不构成对本发明基于眼球追踪和运动检测的监视器的限定，本发明基于眼球追踪和运动检测的监视器当然还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
在本实施例中，本发明基于眼球追踪和运动检测的监视器包括：第一图像采集装置、第二图像采集装置和数据处理模块，所述第一图像采集装置和所述第二图像采集装置分别与所述数据处理模块建立有通讯连接。
基于此，本发明基于眼球追踪和运动检测的监视器的第一图像采集装置，在检测到自身所监视的第一监控区域内有人员出现时，立即在该第一监控区域内针对出现的人员的进行眼球追踪，并且，将针对该人员进行眼球追踪过程当中采集到的第一实时图像数据，通过上述与数据处理模块之间的通讯连接，传递到该数据处理模块当中。
如此，该数据处理模块在接收到该第一实时图像数据之后，即可通过针对该第一实时图像数据进行图像处理，以确定在当前时刻是否需要进一步启动该基于眼球追踪和运动检测的监视器的第二图像采集装置，之后，在确定需要启动该第二图像采集装置时，即通过与该第二图像采集装置之间的通讯连接，向该第二图像采集装置下发启动指令。
从而，该第二图像采集装置在接收到数据处理模块传递的启动指令之后，即立即予以响应并开始在自身所监视的第二监控区域当中，针对从第一监控区域进入该第二监控区域的人员进行运动检测，并同样的在进行运动检测的过程中实时进行数据采集得到第二实时图像数据，且同样也将该第二实时图像数据通过与数据处理模块之间的通讯连接，传递给数据处理模块。
进而，数据处理模块在接收到该第二实时图像数据之后，即可通过针对该第二实时图像数据也进行图像处理来向用户输出预先设定好的安全报警提示。
进一步地，在一些可行的实施例中，用户在采用本发明基于眼球追踪和运动检测的监视器，针对家庭环境进行安全监控和预警时，可以选择将该基于眼球追踪和运动检测的监视器的第一图像采集装置安装于家庭入户位置，从而令该第一图像采集装置在自身能够监视到的第一监控区域中进行图像数据采集得到第一实时图像数据中至少包括家庭门户图像。
即，用户在装配本发明基于眼球追踪和运动检测的监视器来针对家庭环境进行安全监控和预警时，具体可以将将该基于眼球追踪和运动检测的监视器的第一图像采集装置安装于家庭入户位置，从而通过该第一图像采集装置将进入用户家庭环境的入户位置作为该第一图像采集装置的第一监控区域。
需要说明的是，在本实施例中，基于实际应用的不同设计需要，用户可以选择安装多个第一图像采集装置以分别针对进入用户家庭环境的多个入户位置进行监控，只要确保每一个第一图像采集装置均与数据处理模块建立有通讯连接，且每一个第一图像采集装置各自均能够针对人员进入所对应监控区域进行感知和能够针对人员进行眼球追踪即可。
进一步地，本发明基于眼球追踪和运动检测的监视器在运行过程中，首先由用户安装在家庭入户位置的第一图像采集装置在自身的第一监控区域持续不断的进行图像数据采集和识别处理，从而通过对实时采集到的家庭门户图像进行识别，以在从家庭门户图像中识别到预设人像特征时，立即确定在该第一监控区域当中检测到有人员出现。
需要说明的是，在本实施例中，预设人像特征具体可以为预先从人物图像数据当中提取得到能够标识图像数据当中存在人物的任意图像特征数据。应当理解的是，基于实际应用的不同设计需要，在任意可行的实施例中，第一图像采集装置从实时图像数据当中识别到的预设人像特征的种类和数量均可能是不相同的，因此，本发明基于眼球追踪和运动检测的监视器并不针对该预设人像特征的具体种类和数量进行限定。
此外，在本实施例中，第一图像采集装置具体可以采用时下市场上任意成熟的图像识别算法来针对自身所采集的实时图像数据进行识别处理。
进一步地，在一些可行的实施例中，上述本发明基于眼球追踪和运动检测的监视器的第一图像采集装置具体可以是事件相机。
需要说明的是，在本实施例中，事件相机是一种具有高帧率、低功耗低存储的采集设备，是一种神经启发式的传感器。当场景中有物体运动或光线改变造成一系列的像素发生变化时，会产生一系列的事件相机的输出和更新，相邻事件的更新速度可以小于1微秒。由于事件相机只会捕捉运动的目标，对运动的目标进行检测，减少背景所带来的干扰和所带来的运算。
如此，事件相机在作为本发明基于眼球追踪和运动检测的监视器的第一图像采集装置之后，即可通过自身所配置的眼部检测和追踪方法，在上述的第一监控区域对进入该第一监控区域的人员进行眼部数据的采集，从而在采集到人员眼球数据时，进一步根据采集到的人员眼球数据提取出眼球位置特征，并根据该眼球位置特征进行眼球追踪。
需要说明的是，在本实施例中，事件相机具体可以通过对运动目标和变化目标进行眼部数据的采集，从而将采集到的数据输入到一个经过训练的神经网络中，从而由该神经网络识别检测到眼球位置并提取该眼球位置特征，如此，事件相机通过持续快速的重复该过程即可利用眼球位置实现对运行的人员进行眼球追踪。
进一步地，在一些可行的实施例中，上述本发明基于眼球追踪和运动检测的监视器的第一图像采集装置，在探测到自身所监视的第一监控区域有人员出现，并针对该人员进行眼球追踪以采集到第一实时图像数据之后，该第一图像采集装置即通过与数据处理模块之间的通讯连接，将该第一实时图像数据传递到数据处理模块当中。如此，数据处理模块在接收到第一实时图像数据之后，即进一步从该第一实时图像数据中提取眼球位置信息，并根据该眼球位置信息确定出进入该第一监控区域的人员的人员视线轨迹。之后，数据处理模块在确定出人员视线轨迹之后，即可将该人员视线轨迹输入预设的可疑人员分类模型以得到该可以人员分类模型输出的分类结果，从而，数据处理模块即可根据该分类结果确定在当前是否进一步启动第二图像采集装置。
需要说明的是，在本实施例中，数据处理模块具体可以通过针对从第一实时图像数据中提取得到的眼球位置信息，先计算相邻时刻不同的眼球位置，然后案件时间顺序将该不同的眼球位置进行顺序拼接即可得到人员视线轨迹。
此外，上述预设的可疑人员分类模型为：预先基于已知标签结果视线轨迹样本，针对初始的分类模型进行机器学习训练的方式构建得到。
进一步地，在本实施例中，上述预设的可以人员分类模型针对输入的人员视线轨迹进行模型计算输出的分类结果可以包括：可疑人员——标识进入第一监控区域的人员可疑，和，非可疑人员——标识进入第一监控区域的人员不可疑。
如此，本发明基于眼球追踪和运动检测的监视器的数据处理模块在获取得到的上述可疑人员分类模型输出的分类结果为“非可疑人员”时，立即确定在当前需要启动装配在家庭内部环境的第二图像采集装置，以通过该第二图像采集装置继续针对由第一监控区域进入到该第二图像采集装置对应的第二监控区域的人员进行监视。如此，数据处理模块即在此时同步生成启动指令，并将该启动指令传递至第二图像采集装置。
进一步地，在另一种可行的实施例中，本发明基于眼球追踪和运动检测的监视器的数据处理模块在获取得到的上述可疑人员分类模型输出的分类结果为“可疑人员”时，还可以直接预先设定好的安全报警提示。
进一步地，在一些可行的实施例中，用户在采用本发明基于眼球追踪和运动检测的监视器，针对家庭环境进行安全监控和预警时，可以选择将该基于眼球追踪和运动检测的监视器的第二图像采集装置安装于家庭内部环境，如，客厅、餐厅、书房、卧室等位置，从而令该第二图像采集装置所对应的第二监控区域为第二图像采集装置针对客厅、餐厅、书房、卧室等家庭内部环境进行监控的空间区域。
需要说明的是，在本实施例中，第二图像采集装置在自身能够监视到的第二监控区域中进行图像数据采集得到第二实时图像数据中，至少包括自进入用户家庭环境内部的入户门，到客厅、餐厅、书房或者卧室等位置的家庭内部环境图像。
即，用户在装配本发明基于眼球追踪和运动检测的监视器来针对家庭环境进行安全监控和预警时，具体可以将将该基于眼球追踪和运动检测的监视器的第二图像采集装置安装于家庭内部环境，从而通过该第二图像采集装置将进入用户家庭环境的入户位置，到客厅、餐厅、书房或者卧室等家庭内部环境进行监控的空间区域，作为该第二图像采集装置的第一监控区域。
需要说明的是，在本实施例中，基于实际应用的不同设计需要，用户可以选择安装多个第二图像采集装置以分别针对客厅、餐厅、书房、卧室等家庭内部环境进行监控，同理，只要确保每一个第二图像采集装置均与数据处理模块建立有通讯连接，且每个第二图像采集装置各自均能够针对人员进入所对应监控区域进行感知和能够针对人员进行运动检测即可。
进一步地，在本实施例中，上述本发明基于眼球追踪和运动检测的监视器的第二图像采集装置，在探测到自身所监视的第二监控区域有人员出现，并针对该人员进行运行检测以采集到第二实时图像数据之后，该第二图像采集装置即通过与数据处理模块之间的通讯连接，将该第二实时图像数据也传递到数据处理模块当中。如此，数据处理模块在接收到该第二实时图像数据之后，即可进一步针对该第二实时图像数据也进行图像识别处理，以从该第二实时图像数据中提取出一个或者多个人员的人员运动轨迹信息，从而，数据处理模块即可根据该人员运动轨迹信息进行人员行为判定，从而在判定到人员行为异常时输出预设的安全报警提示。
需要说明的是，在本实施例中，第二图像采集装置具体可以采用时下任意成熟的图像处理技术来针对自身实时采集得到的实时图像数据进行人物特征识别和人员运动检测。同理，数据处理模块可以采用与该第二图像采集装置相同的方式来针对接收到的第二实时图像数据进行人物特征的识别和计算，从而提取得到该第二实时图像数据中的一个或者多个人员的人员运动轨迹信息。
此外，在本实施例中，第二图像采集装置在自身对应的第二监控区域采集到的实时图像数据中的人员，即为上述第一图像采集装置在第一监控区域进行眼球追踪的人员。即，首先进入第一监控区域的人员在第一图像采集装置进行眼球追踪并采集第一实时图像数据时，由于该人员可能实际并未产生异常的视线轨迹，或者该人员刻意对眼部进行了的特殊处理，则数据处理模块针对第一实时图像数据进行分析处理则可能不容易发现该人员为可疑人员，进而，该数据处理模块即需要控制安装于家庭内部环境的第二图像采集装置启动，以针对自该第一监控区域进入到第二监控区域的人员进行监视。
进一步地，在一些可行的实施例中，数据处理模块在根据从第二实时图像数据中提取的人员运动轨迹信息，判定当前处于第二监控区域中的人员的行为是否异常时，具体可以为：若检测到该人员的运动轨迹在短时间较短时间内覆盖了家庭内部环境的多个位置，则数据处理模块即可判定该人员的行为异常，进而确定当前正在检测的人员运动轨迹信息为异常运动轨迹，并立即输出上述的安全报警提示。
此外，数据处理模块判定当前处于第二监控区域中的人员的行为是否异常时，具体还可以为：若检测到该人员的运动轨迹与预先学习的人员跌落轨迹之间的重合度较高，则数据处理模块也可判定该人员的行为异常，进而确定当前正在检测的人员运动轨迹信息为异常运动轨迹，并立即输出上述的安全报警提示。
需要说明的是，在本实施例中，数据处理模块在输出上述的安全报警提示时，具体可以通过本发明基于眼球追踪和运动检测的监视器内置或者外接的扬声器、显示屏等多媒体设备，在上述的第一监控区域和/或者第二监控区域的现场，输出该安全报警提示的多媒体数据内容。或者，数据处理模块还可以通过预先与用户随身携带的移动智能终端之间的连接，将上述的安全报警提示封装为数据信息传递至用户的移动智能终端，从而由该移动智能终端针对该安全报警提示进行输出展示。
在本实施例中，本发明基于眼球追踪和运动检测的监视器的第一图像采集装置，在检测到自身所监视的第一监控区域内有人员出现时，立即在该第一监控区域内针对出现的人员的进行眼球追踪，并且，将针对该人员进行眼球追踪过程当中采集到的第一实时图像数据，通过上述与数据处理模块之间的通讯连接，传递到该数据处理模块当中。
如此，该数据处理模块在接收到该第一实时图像数据之后，即可通过针对该第一实时图像数据进行图像处理，以确定在当前时刻是否需要进一步启动该基于眼球追踪和运动检测的监视器的第二图像采集装置，之后，在确定需要启动该第二图像采集装置时，即通过与该第二图像采集装置之间的通讯连接，向该第二图像采集装置下发启动指令。
从而，该第二图像采集装置在接收到数据处理模块传递的启动指令之后，即立即予以响应并开始在自身所监视的第二监控区域当中，针对从第一监控区域进入该第二监控区域的人员进行运动检测，并同样的在进行运动检测的过程中实时进行数据采集得到第二实时图像数据，且同样也将该第二实时图像数据通过与数据处理模块之间的通讯连接，传递给数据处理模块。
进而，数据处理模块在接收到该第二实时图像数据之后，即可通过针对该第二实时图像数据也进行图像处理来向用户输出预先设定好的安全报警提示。
如此，相比于传统监视器，本发明实施例提供的技术方案能够通过监视器针对被监视场景的监控过程当中，准确且智能的进行异常情况报警，避免了错误报警情况的发生，从而有效地提升了用户使用监视器的使用体验。
本发明还提供一种计算机存储介质，该计算机存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如以上任一项实施例所述的本发明基于眼球追踪和运动检测的监视器运行的步骤。
本发明计算机存储介质的具体实施例与上述本发明计算机程序方法各实施例基本相同，在此不作赘述。
本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如以上任一项实施例所述的本发明基于眼球追踪和运动检测的监视器运行的步骤，在此不作赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台商品的电子采购终端(可以是TWS耳机等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于眼球追踪和运动检测的监视器，其特征在于，所述基于眼球追踪和运动检测的监视器包括：第一图像采集装置、第二图像采集装置和数据处理模块，所述第一图像采集装置和所述第二图像采集装置分别与所述数据处理模块建立有通讯连接；
所述第一图像采集装置在检测到第一监控区域有人员出现时，在所述第一监控区域针对人员进行眼球追踪，并将进行眼球追踪过程中采集到的第一实时图像数据通过所述通讯连接传递至所述数据处理模块；
所述数据处理模块根据所述第一实时图像数据确定是否启动所述第二图像采集装置，并在确定启动所述第二图像采集装置时通过所述通讯连接向所述第二图像采集装置传递启动指令；
所述第二图像采集装置在接收到所述启动指令时启动运行以在第二监控区域针对人员进行运动检测，并将进行运动检测过程中采集到的第二实时图像数据通过所述通讯连接传递至所述数据处理模块；
所述数据处理模块根据所述第二实时图像数据输出预设的安全报警提示。
2.如权利要求1所述的基于眼球追踪和运动检测的监视器，其特征在于，所述第一图像采集装置安装于家庭入户位置，所述第一图像采集装置在所述第一监控区域采集的图像数据中至少包括家庭门户图像。
3.如权利要求2所述的基于眼球追踪和运动检测的监视器，其特征在于，所述第一图像采集装置通过对所述家庭门户图像进行识别，以在所述家庭门户图像中识别到预设人像特征时，确定检测到所述第一监控区域有人员出现。
4.如权利要求3所述的基于眼球追踪和运动检测的监视器，其特征在于，所述第一图像采集装置为事件相机，所述事件相机在所述第一监控区域采集到人员眼球数据时，根据所述人员眼球数据提取眼球位置特征，并根据所述眼球位置特征进行眼球追踪。
5.如权利要求4所述的基于眼球追踪和运动检测的监视器，其特征在于，所述数据处理模块通过从所述第一实时图像数据中提取眼球位置信息，并根据所述眼球位置信息确定人员视线轨迹；
将所述人员视线轨迹输入预设的可疑人员分类模型以得到所述可以人员分类模型输出的分类结果，并根据所述分类结果确定是否启动所述第二图像采集装置，其中，所述可疑人员分类模型预先基于视线轨迹样本进行机器学习构建得到。
6.如权利要求5所述的基于眼球追踪和运动检测的监视器，其特征在于，所述分类结果包括：可疑人员和非可疑人员；
所述数据处理模块在所述分类结果为所述非可疑人员时，确定启动所述第二图像采集装置并生成启动指令。
7.如权利要求6所述的基于眼球追踪和运动检测的监视器，其特征在于，所述数据处理模块在所述分类结果为所述可疑人员时，输出预设的安全报警提示。
8.如权利要求7所述的基于眼球追踪和运动检测的监视器，其特征在于，所述第二图像采集装置安装于家庭内部环境，所述第二监控区域为所述第二图像采集装置针对所述家庭内部环境进行监控的空间区域。
9.如权利要求8所述的基于眼球追踪和运动检测的监视器，其特征在于，所述数据处理模块通过从所述第二实时图像数据中提取人员运动轨迹信息，并根据所述人员运动轨迹信息输出预设的安全报警提示。
10.如权利要求9所述的基于眼球追踪和运动检测的监视器，其特征在于，所述数据处理模块通过检测所述人员运动轨迹信息是否为异常运动轨迹，并在检测到是时输出所述安全报警提示。
CN202210983275.6A 2022-08-16 2022-08-16 基于眼球追踪和运动检测的监视器 Active CN115412706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210983275.6A CN115412706B (zh) 2022-08-16 2022-08-16 基于眼球追踪和运动检测的监视器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210983275.6A CN115412706B (zh) 2022-08-16 2022-08-16 基于眼球追踪和运动检测的监视器

Publications (2)

Publication Number Publication Date
CN115412706A true CN115412706A (zh) 2022-11-29
CN115412706B CN115412706B (zh) 2023-10-17

Family

ID=84159432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210983275.6A Active CN115412706B (zh) 2022-08-16 2022-08-16 基于眼球追踪和运动检测的监视器

Country Status (1)

Country Link
CN (1) CN115412706B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152328A (ja) * 2006-12-14 2008-07-03 Hitachi Information & Control Solutions Ltd 不審者監視システム
DE102008039130A1 (de) * 2008-08-21 2010-02-25 Billy Hou Durch ein neurales Netzwerk gesteuertes automatisches Verfolgungs- und Erkennungssystem und Verfahren
CN202617276U (zh) * 2011-12-23 2012-12-19 厦门市鼎朔信息技术有限公司 基于多个图像采集装置实现动态监视的系统
KR20130011223A (ko) * 2011-07-21 2013-01-30 인하대학교 산학협력단 비디오 감시 시스템 및 방법
US20160239723A1 (en) * 2015-02-12 2016-08-18 Bess Technologies International Limited Enhanced home security system
CN110738095A (zh) * 2019-08-23 2020-01-31 珠海格力电器股份有限公司 一种行为分析方法及装置
CN112232211A (zh) * 2020-10-16 2021-01-15 山东科技大学 一种基于深度学习的智能视频监控系统
CN114445990A (zh) * 2021-12-24 2022-05-06 珠海华发新科技投资控股有限公司 用于小区的监控视频访问系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152328A (ja) * 2006-12-14 2008-07-03 Hitachi Information & Control Solutions Ltd 不審者監視システム
DE102008039130A1 (de) * 2008-08-21 2010-02-25 Billy Hou Durch ein neurales Netzwerk gesteuertes automatisches Verfolgungs- und Erkennungssystem und Verfahren
KR20130011223A (ko) * 2011-07-21 2013-01-30 인하대학교 산학협력단 비디오 감시 시스템 및 방법
CN202617276U (zh) * 2011-12-23 2012-12-19 厦门市鼎朔信息技术有限公司 基于多个图像采集装置实现动态监视的系统
US20160239723A1 (en) * 2015-02-12 2016-08-18 Bess Technologies International Limited Enhanced home security system
CN110738095A (zh) * 2019-08-23 2020-01-31 珠海格力电器股份有限公司 一种行为分析方法及装置
CN112232211A (zh) * 2020-10-16 2021-01-15 山东科技大学 一种基于深度学习的智能视频监控系统
CN114445990A (zh) * 2021-12-24 2022-05-06 珠海华发新科技投资控股有限公司 用于小区的监控视频访问系统

Also Published As

Publication number Publication date
CN115412706B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
US11295139B2 (en) Human presence detection in edge devices
KR101644443B1 (ko) 시공적 상황데이터를 이용한 경고 방법 및 시스템
CN108734055B (zh) 一种异常人员检测方法、装置及系统
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
CN112364696B (zh) 一种利用家庭监控视频提高家庭安全的方法及系统
US20090195382A1 (en) Video sensor and alarm system and method with object and event classification
WO2019055709A1 (en) SYSTEM AND METHOD FOR DOOR MONITORING DURING THE DEPARTURE OR ARRIVAL OF AN AUTONOMOUS VEHICLE
US20070121999A1 (en) Detection of abnormal crowd behavior
CN104464144A (zh) 安装具有摄像机的pir传感器的方法
CN110297536A (zh) 一种控制方法及电子设备
CN104284143A (zh) 图像监控系统及其方法
CN110807405A (zh) 一种偷拍装置检测方法及电子设备
CN112634561A (zh) 基于图像识别的安全报警方法和系统
CN112188164A (zh) 一种基于ai视觉的违规行为实时监测系统及方法
EP2741265A1 (en) System and method of visual communication using touch screen
KR20180096038A (ko) 행위 예측을 위한 다중 모션 기반 옴니뷰 기법
KR101075550B1 (ko) 이미지 센싱 에이전트 및 ｕｓｎ 복합형 보안 시스템
CN203299946U (zh) 一种通过互联网实现的家庭防盗监测装置
KR102233679B1 (ko) Ess 침입자 및 화재 감지 장치 및 방법
JP2007264706A (ja) 画像処理装置、監視カメラ及び画像監視システム
CN110222216B (zh) 多功能智能防卫系统
CN114898443A (zh) 一种人脸数据获取方法及装置
KR20200059643A (ko) 영상 분석 기반의 금융자동화기기 보안 시스템 및 그 방법
CN111400415B (zh) 人员的管理方法及相关装置
CN115412706B (zh) 基于眼球追踪和运动检测的监视器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant