CN109830238B - 塔台管制员工作状态的检测方法、装置及系统 - Google Patents

塔台管制员工作状态的检测方法、装置及系统 Download PDF

Info

Publication number
CN109830238B
CN109830238B CN201811581277.2A CN201811581277A CN109830238B CN 109830238 B CN109830238 B CN 109830238B CN 201811581277 A CN201811581277 A CN 201811581277A CN 109830238 B CN109830238 B CN 109830238B
Authority
CN
China
Prior art keywords
tower controller
tower
controller
area
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811581277.2A
Other languages
English (en)
Other versions
CN109830238A (zh
Inventor
陆峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201811581277.2A priority Critical patent/CN109830238B/zh
Publication of CN109830238A publication Critical patent/CN109830238A/zh
Priority to US16/697,071 priority patent/US11211070B2/en
Application granted granted Critical
Publication of CN109830238B publication Critical patent/CN109830238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0043—Traffic management of multiple aircrafts from the ground
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0082—Surveillance aids for monitoring traffic from a ground station
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种塔台管制员工作状态的检测方法、装置及系统，该方法包括：采集塔台管制员的语音数据，并从所述语音数据中提取关键词；获取塔台管制员的视频图像，并从所述视频图像中获取所述塔台管制员的注视区域；根据所述塔台管制员的注视区域与所述关键词，分析检测所述塔台管制员是否正确完成观察动作。本发明实现了更加高效、精准和低成本的塔台管制员塔台管制员工作状态检测，可对不规范的工作流程进行有效预警，减少人为因素导致的工作失误，从而降低飞行器与其他障碍物相撞的风险，保障机场区域飞行器的安全性。

Description

塔台管制员工作状态的检测方法、装置及系统
技术领域
本发明涉及计算机识别技术领域，尤其涉及一种塔台管制员工作状态的检测方法、装置及系统。
背景技术
随着航空飞行器的快速发展，飞行器也随之越来越多，为保证安全和有序的飞行，空中交通管制员需要利用通信、导航技术和监控手段对飞行器飞行活动进行监视和控制，其中，塔台管制员主要负责飞机的起飞和降落。
近几年，机场频繁发生飞行器地面摩擦或相撞事故，除了机场已经或即将到达饱和、飞行器数量暴增等原因，塔台管制员的违规操作和人工失误也是导致跑道入侵、飞行器碰撞的重要原因。
然而，虽然随着空管新技术新设备的不断引进，塔台上可安置多种智能化设备进行塔台的辅助工作，但是最关键的管制工作，还是需要塔台管制员人工承担，尤其在飞机的起飞、降落、从跑道滑行到停机位、从停机位滑行到跑道的整个过程中，需要塔台管制员观察跑道的实施状况。所以一旦塔台管制员在空管指挥中出现错忘漏、超负荷工作或者疲劳工作等，导致不按照规定完成管制指令，会增加飞行器摩擦甚至相撞的风险，造成安全隐患。
发明内容
本发明提供一种塔台管制员工作状态的检测方法、装置及系统，以提高塔台管制员工作状态检测的精准度及效率，同时保障了机场区域飞行器的安全性，降低与其他障碍物的相撞风险。
第一方面，本发明实施例提供的一种塔台管制员工作状态的检测方法，包括：
采集塔台管制员的语音数据，并从所述语音数据中提取关键词；
获取塔台管制员的视频图像，并从所述视频图像中获取所述塔台管制员的注视区域；
根据所述塔台管制员的注视区域与所述关键词，分析检测所述塔台管制员是否正确完成观察动作。
在一种可能的设计中，从所述语音数据中提取关键词，包括：
提取所述塔台管制员连续语音数据中的字词信息，利用预设的关键字词表进行筛选匹配，提取出所述关键词。
在一种可能的设计中，从所述语音数据中提取关键词，包括：
将所述塔台管制员的语音数据输入语音模型，通过所述语音模型识别出所述关键词，其中所述语音模型是通过预设的语音数据训练或分析建模得到的。
在一种可能的设计中，从所述视频图像中获取所述塔台管制员的注视区域，包括：
通过预设的人脸模型提取所述视频图像的特征点，所述特征点用于表征所述塔台管制员的人脸信息；
将所述特征点与三维头部模型匹配，得到头部位置姿态数据；
根据所述特征点确定人眼区域，并根据所述人眼区域获取所述塔台管制员的视线方向；
根据所述塔台管制员的视线方向和所述头部位置姿态数据，获得所述塔台管制员的注视区域。
在一种可能的设计中，从所述视频图像中获取所述塔台管制员的注视区域，包括：
将所述塔台管制员的视频图像输入预设训练模型，直接学习获得所述塔台管制员的视线方向和头部位置姿态数据；
根据所述塔台管制员的视线方向和所述头部位置姿态数据，获得所述塔台管制员的注视区域。
在一种可能的设计中，根据所述塔台管制员的注视区域与所述关键词，分析检测所述塔台管制员是否正确完成观察动作，包括：
将所述塔台管制员的注视区域与所述关键词进行匹配，若所述塔台管制员的注视区域与所述关键词匹配，则确定所述塔台管制员正确完成观察动作；否则，则确定所述塔台管制员未正确完成观察动作。
在一种可能的设计中，在根据所述塔台管制员的注视区域与所述关键词，分析检测所述塔台管制员是否正确完成观察动作之后，还包括：
若确定所述塔台管制员未正确完成观察动作，则通过预设的方式进行提示或者预警；所述预设的方式包括：图像、文本、语音中的任一或任多组合。
第二方面，本发明实施例提供的一种塔台管制员工作状态的检测装置，包括：
采集模块，用于采集塔台管制员的语音数据，并从所述语音数据中提取关键词；
获取模块，用于获取塔台管制员的视频图像，并从所述视频图像中获取所述塔台管制员的注视区域；
检测模块，用于根据所述塔台管制员的注视区域与所述关键词，分析检测所述塔台管制员是否正确完成观察动作。
在一种可能的设计中，从所述语音数据中提取关键词，包括：
提取所述塔台管制员连续语音数据中的字词信息，利用预设的关键字词表进行筛选匹配，提取出所述关键词。
在一种可能的设计中，从所述语音数据中提取关键词，包括：
将所述塔台管制员的语音数据输入语音模型，通过所述语音模型识别出所述关键词，其中所述语音模型是通过预设的语音数据训练或分析建模得到的。
在一种可能的设计中，从所述视频图像中获取所述塔台管制员的注视区域，包括：
通过预设的人脸模型提取所述视频图像的特征点，所述特征点用于表征所述塔台管制员的人脸信息；
将所述特征点与三维头部模型匹配，得到头部位置姿态数据；
根据所述特征点确定人眼区域，并根据所述人眼区域获取所述塔台管制员的视线方向；
根据所述塔台管制员的视线方向和所述头部位置姿态数据，获得所述塔台管制员的注视区域。
在一种可能的设计中，从所述视频图像中获取所述塔台管制员的注视区域，包括：
将所述塔台管制员的视频图像输入预设训练模型，直接学习获得所述塔台管制员的视线方向和头部位置姿态数据；
根据所述塔台管制员的视线方向和所述头部位置姿态数据，获得所述塔台管制员的注视区域。
在一种可能的设计中，所述检测模块，具体用于：
将所述塔台管制员的注视区域与所述关键词进行匹配，若所述塔台管制员的注视区域与所述关键词匹配，则确定所述塔台管制员正确完成观察动作；否则，则确定所述塔台管制员未正确完成观察动作。
在一种可能的设计中，还包括：
预警模块，用于若确定所述塔台管制员未正确完成观察动作，则通过预设的方式进行提示或者预警；所述预设的方式包括：图像、文本、语音中的任一或任多组合。
第三方面，本发明实施例提供的一种塔台管制员工作状态的检测系统，包括存储器和处理器，存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的塔台管制员工作状态的检测方法。
第四方面，本发明实施例提供的一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述的塔台管制员工作状态的检测方法。
本发明提供一种塔台管制员工作状态的检测方法、装置及系统，该方法包括：采集塔台管制员的语音数据，并从所述语音数据中提取关键词获取塔台管制员的视频图像，并从所述视频图像中获取所述塔台管制员的注视区域；根据所述塔台管制员的注视区域与所述关键词，分析检测所述塔台管制员是否正确完成观察动作。本发明实现了更加高效、精准的检测塔台管制员工作状态，同时保障了机场区域飞行器的安全性，降低与其他障碍物的相撞风险。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一应用场景的示意图；
图2为本发明实施例一提供的塔台管制员工作状态的检测方法的流程图；
图3为本发明实施例二提供的塔台管制员工作状态的检测方法的流程图；
图4为本发明实施例三提供的塔台管制员工作状态的检测装置的结构示意图；
图5为本发明实施例四提供的塔台管制员工作状态的检测装置的结构示意图；
图6为本发明实施例五提供的塔台管制员工作状态的检测系统的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图1为本发明一应用场景的示意图，如图1所示，塔台管制员工作状态的检测系统可以包括麦克风11、摄像头12和预警装置13。塔台管制员通过塔台窗口14观察机场跑道区域15飞行器的起飞、降落、滑行等过程，并发出观察指令，以保证飞行器的安全运行，避免与其他障碍物相撞。具体的，塔台管制员工作状态的检测系统利用麦克风11采集塔台管制员的语音数据，并从该语音数据中提取关键词；利用摄像头12获取塔台管制员的视频图像，并从视频图像中获取塔台管制员的注视区域；根据塔台管制员的注视区域与关键词，分析检测塔台管制员是否正确完成观察动作。若确定塔台管制员未正确完成观察动作，则通过预设的方式利用预警装置13进行提示或者预警。本发明可以更加高效、精准的检测塔台管制员工作状态，同时保障了机场区域飞行器的安全性，降低与其他障碍物的相撞风险。
图2为本发明实施例一提供的塔台管制员工作状态的检测方法的流程图，如图2所示，本实施例中的方法可以包括：
S101、采集塔台管制员的语音数据，并从语音数据中提取关键词。
具体的，在一种可选的实施例中，塔台管制员工作状态的检测系统可以采用音频处理软件获取语音数据或者可以采用麦克风录制该塔台管制员的语音数据。在一种可选的实施例中，从语音数据中提取关键词可以包括：提取塔台管制员连续语音数据中的字词信息，利用预设的关键字词表进行筛选匹配，提取出关键词。其中关键词可以包括包含对应指示性的动词，还可以包括目标动作信息、目标地点、目标飞行器信息等等。
本实施例中，塔台管制员工作状态的检测系统采用麦克风采集塔台管制员的语音数据，在一种可能的实施例中，将该语音数据进行预处理，尽可能降低环境噪声、信道、说话人等因素造成的干扰影响，再从该连续语音流中分帧检测出字词信息，对这些字词信息进行分词处理，例如检测出的字词信息为“飞行器xx可以起飞”，分词处理为“飞行器/xx/可以起飞”，进一步利用预设的关键字词表进行筛选匹配，其中关键字词表可参考如下表1所示，塔台管制员工作状态的检测系统提取出关键词“可以起飞”。
表1
Figure BDA0001917923200000071
在一种可选的实施例中，塔台管制员工作状态的检测系统从语音数据中提取关键词可以包括将塔台管制员的语音数据输入语音模型，通过语音模型识别出关键词，其中语音模型是通过预设的语音数据训练或分析建模得到的。例如，语音模型基于大量的不同语言数据训练得到，且可以包括声学模型(Acoustic Model，AM)、传统模型CTC(Connectionist Temporal Classification，连接时序分类)模型、语言模型(LanguageModel，LM)和end-to-end模型等等。
S102、获取塔台管制员的视频图像，并从视频图像中获取塔台管制员的注视区域。
具体的，塔台管制员工作状态的检测系统可以采用单目或者双目摄像头采集塔台管制员的视频图像。在一种可选的实施例中，该系统从视频图像中获取塔台管制员的注视区域可以包括通过预设的人脸模型提取视频图像的特征点，特征点用于表征塔台管制员的人脸信息；将特征点与三维头部模型匹配，得到头部位置姿态数据；根据特征点确定人眼区域，并根据人眼区域获取塔台管制员的视线方向；根据塔台管制员的视线方向和头部位置姿态数据，获得塔台管制员的注视区域。
本实施例中，塔台管制员工作状态检测系统可以通过预设的人脸模型提取视频图像中的人脸特征点，这些特征点用于表征视频图像中塔台管制员的人脸信息。例如采用SIFT(Scale-invariant feature transform，尺度不变性特征变换)特征提取方法，通过找到视频图像在不同尺度下的关键特征点，并用方向直方图来描述作为视频图像中塔台管制员的人脸信息。并将特征点与三维头部模型匹配，该三维头部模型和视频图像之间建立起对应关系，通过几何或者其它方法获取头部位置姿态的估计，得到头部位置姿态数据。这里所使用的头部模型既可以是简单的几何形体，如圆柱，也可以是某种几何结构，或通用的三维头部模型，还可能是通过激光扫描或其它方法获得的三维头部模型。进而根据特征点确定视频图像中局部的人眼区域(例如包括眼角、眼轮廓、眼睑和瞳孔中心等等)，并根据人眼区域获取塔台管制员的视线方向，在一种可选的实施例中，采用几何关系计算视线方向向量的方法获取塔台管制员的视线方向。例如：从摄像相机原点发射一条射线通过像平面的瞳孔中心，计算摄像相机原点与眼球表面的交点，该交点为瞳孔在摄像相机坐标系下的三维坐标，从眼球中心到该交点的方向向量为视线方向向量。进而分别计算视线方向向量与水平方向、与垂直方向的夹角，依据夹角区分俯视、平视和仰视。最终根据塔台管制员的视线方向和头部位置姿态数据，获得塔台管制员的注视区域。
在一种可选的实施例中，塔台管制员工作状态的检测系统从视频图像中获取塔台管制员的注视区域可以包括将塔台管制员的视频图像输入预设训练模型，直接学习获得塔台管制员的视线方向和头部位置姿态数据；根据塔台管制员的视线方向和头部位置姿态数据，获得塔台管制员的注视区域。其中预设训练模型例如采用卷积、池化、非线性变化等手段提出的卷积神经网络模型，可以获取更本质的视频图像的视觉特征，以提高塔台管制员工作状态检测的精准度。在一种可选的实施例中，预设训练模型采用n点透视问题等其他头部姿态的方法，例如，通过脸部特征点位置来与三维模型进行匹配，最终得到姿态参数用于头部姿态估计，所得结果作为对该塔台管制员对应的姿态估计。具体将塔台管制员的视频图像通过提取全局特征点进行匹配分析，获得塔台管制员的视线方向和头部位置姿态数据；根据塔台管制员的视线方向和头部位置姿态数据，获得塔台管制员的注视区域。
需要说明的是，步骤S101和步骤S102的实施不具体限定先后顺序，可以在采集塔台管制员的语音数据的同时获取塔台管制员的视频图像；也可以在采集塔台管制员的语音数据，提取关键词时，获取塔台管制员的视频图像；还可以无论有无采集塔台管制员的语音数据，塔台管制员的视频图像实时获取等等。本领域的技术人员可以根据实际情况安排实施步骤S101和步骤S102以获得更好的效果。
在一种可选的实施例中，塔台管制员的检测系统还可以包括与摄像头配置的红外补光装置或者LED补光装置，在塔台环境光线不理想的情况下，利用上述补光装置配合摄像头采集塔台管制员的视频图像，使得图像清晰、信噪比高，以提高塔台管制员工作状态检测的效率。
S103、根据塔台管制员的注视区域与关键词，分析检测塔台管制员是否正确完成观察动作。
具体的，将塔台管制员的注视区域与关键词进行匹配，若塔台管制员的注视区域与关键词匹配，则确定塔台管制员正确完成观察动作；否则，则确定塔台管制员未正确完成观察动作。
本实施例中，将当前的塔台管制员的注视区域(参考图1)与关键词(例如，进跑道)进行匹配，若该塔台管制员的实时注视区域(例如进入跑到之前的相关区域)与关键词“进跑道”相匹配，则确定该塔台管制员正确完成观察动作；否则，则确定该塔台管制员未正确完成观察动作。在一种可选的实施例中，关键词与预设的塔台管制员的注视区域具有对应关系，当塔台管制员的实时注视区域与预设的塔台管制员的注视区域交叠区域大于或者等于阈值(例如0.8≥阈值0.5)时，输出该塔台管制员观察动作的判断值1，确定塔台管制员正确完成观察动作。在一种可选的实施例中，采用塔台管制员观察动作判断值的方式来确定塔台管制员是否正确完成观察动作，例如若塔台管制员正确完成观察动作的判断值为1，若未正确完成观察动作的判断值为0；或者采用0-1之间连续的判断值来体现塔台管制员是否正确完成观察动作，当该判断值大于等于阈值(例如0.5)时，确定塔台管制员正确完成观察动作；若该判断值小于阈值(例如0.5)时，则确定塔台管制员未正确完成观察动作。
图3为本发明实施例二提供的塔台管制员工作状态的检测方法的流程图，如图3所示，本实施例的塔台管制员工作状态的检测方法可以包括：
S201、采集塔台管制员的语音数据，并从语音数据中提取关键词。
S202、获取塔台管制员的视频图像，并从视频图像中获取塔台管制员的注视区域。
S203、根据塔台管制员的注视区域与关键词，分析检测塔台管制员是否正确完成观察动作。
本实施例中，步骤S201～步骤S203的具体实现过程和技术原理请参见图2所示的方法中步骤S101～步骤S103中的相关描述，此处不再赘述。
S204、若确定塔台管制员未正确完成观察动作，则通过预设的方式进行提示或者预警；预设的方式包括：图像、文本、语音中的任一或任多组合。
具体的，在根据塔台管制员的注视区域与关键词，分析检测塔台管制员是否正确完成观察动作之后，若确定塔台管制员未正确完成观察动作，则通过预设的方式进行提示或者预警；预设的方式包括：图像、文本、语音中的任一或任多组合。
本实施例中，塔台管制员工作状态的检测系统根据塔台管制员的注视区域与关键词，分析检测塔台管制员未正确完成观察动作。例如，关键词与预设的塔台管制员的注视区域具有对应关系，当塔台管制员的实时注视区域与预设的塔台管制员的注视区域交叠区域小于阈值(例如0.3≤阈值0.5)时，输出该塔台管制员观察动作的判断值0，确定塔台管制员未正确完成观察动作。则利用该系统中的预警装置按照预设的语音提醒(例如“请注意观察区域yx”)进行预警。其中预设的预警方式包括：图像、文本、语音中的任一或任多组合。
本实施例中自动检测塔台管制员是否正确完成观察动作后，利用图像、文本或者语音中的任一或者任多组合对塔台管制员进行提示或者预警，一定程度保障了机场区域中飞行器的安全，降低了与其他障碍物的相撞风险。
图4为本发明实施例三提供的塔台管制员工作状态的检测装置的结构示意图，如图4所示，本实施例的塔台管制员工作状态的检测装置可以包括：
采集模块21，用于采集塔台管制员的语音数据，并从语音数据中提取关键词；
获取模块22，用于获取塔台管制员的视频图像，并从视频图像中获取塔台管制员的注视区域；
检测模块23，用于根据塔台管制员的注视区域与关键词，分析检测塔台管制员是否正确完成观察动作。
在一种可能的设计中，从语音数据中提取关键词，包括：
提取塔台管制员连续语音数据中的字词信息，利用预设的关键字词表进行筛选匹配，提取出关键词。
在一种可能的设计中，从语音数据中提取关键词，包括：
将塔台管制员的语音数据输入语音模型，通过语音模型识别出关键词，其中语音模型是通过预设的语音数据训练或分析建模得到的。
在一种可能的设计中，从视频图像中获取塔台管制员的注视区域，包括：
通过预设的人脸模型提取视频图像的特征点，特征点用于表征塔台管制员的人脸信息；
将特征点与三维头部模型匹配，得到头部位置姿态数据；
根据特征点确定人眼区域，并根据人眼区域获取塔台管制员的视线方向；
根据塔台管制员的视线方向和头部位置姿态数据，获得塔台管制员的注视区域。
在一种可能的设计中，从视频图像中获取塔台管制员的注视区域，包括：
将塔台管制员的视频图像输入预设训练模型，直接学习获得塔台管制员的视线方向和头部位置姿态数据；
根据塔台管制员的视线方向和头部位置姿态数据，获得塔台管制员的注视区域。
在一种可能的设计中，检测模块23，具体用于：
将塔台管制员的注视区域与关键词进行匹配，若塔台管制员的注视区域与关键词匹配，则确定塔台管制员正确完成观察动作；否则，则确定塔台管制员未正确完成观察动作。
本实施例的塔台管制员工作状态的检测装置，可以执行图2所示方法中的技术方案，其具体实现过程和技术原理参见图2所示方法中的相关描述，此处不再赘述。
图5为本发明实施例四提供的塔台管制员工作状态的检测装置的结构示意图，如图5所示，本实施例的塔台管制员工作状态的检测装置在图4所示的装置的基础上还可以包括：预警模块24，具体用于若确定塔台管制员未正确完成观察动作，则通过预设的方式进行提示或者预警；预设的方式包括：图像、文本、语音中的任一或任多组合。
本实施例的塔台管制员工作状态的检测装置，可以执行图3所示方法中的技术方案，其具体实现过程和技术原理参见图3所示方法中的相关描述，此处不再赘述。
图6为本发明实施例五提供的塔台管制员工作状态的检测系统的结构示意图，如图6所示，本实施例的塔台管制员工作状态的检测系统30可以包括：处理器31和存储器32。
存储器32，用于存储计算机程序(如实现上述塔台管制员工作状态的检测方法的应用程序、功能模块等)、计算机指令等；
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器32中。并且上述的计算机程序、计算机指令、数据等可以被处理器31调用。
处理器31，用于执行存储器32存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器31和存储器32可以是独立结构，也可以是集成在一起的集成结构。当处理器31和存储器32是独立结构时，存储器32、处理器31可以通过总线33耦合连接。
本实施例的服务器可以执行图2、图3所示方法中的技术方案，其具体实现过程和技术原理参见图2、图3所示方法中的相关描述，此处不再赘述。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。
其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种塔台管制员工作状态的检测方法，其特征在于，包括：
采集塔台管制员的语音数据，并从所述语音数据中提取关键词；
获取塔台管制员的视频图像，并从所述视频图像中获取所述塔台管制员的注视区域；
确定与所述关键词对应的预设的塔台管制员的注视区域，若所述注视区域与所述预设的塔台管制员的注视区域的交叠区域大于或者等于阈值，则确定所述塔台管制员正确完成观察动作；
其中，从所述视频图像中获取所述塔台管制员的注视区域，包括：
通过预设的人脸模型提取所述视频图像的特征点，所述特征点用于表征所述塔台管制员的人脸信息；
将所述特征点与三维头部模型匹配，得到头部位置姿态数据；
根据所述特征点确定人眼区域，并根据所述人眼区域获取所述塔台管制员的视线方向；
根据所述塔台管制员的视线方向和所述头部位置姿态数据，获得所述塔台管制员的注视区域。
2.根据权利要求1所述的方法，其特征在于，从所述语音数据中提取关键词，包括：
提取所述塔台管制员连续语音数据中的字词信息，利用预设的关键字词表进行筛选匹配，提取出所述关键词。
3.根据权利要求1所述的方法，其特征在于，从所述语音数据中提取关键词，包括：
将所述塔台管制员的语音数据输入语音模型，通过所述语音模型识别出所述关键词，其中所述语音模型是通过预设的语音数据训练或分析建模得到的。
4.根据权利要求1所述的方法，其特征在于，从所述视频图像中获取所述塔台管制员的注视区域，包括：
将所述塔台管制员的视频图像输入预设训练模型，直接学习获得所述塔台管制员的视线方向和头部位置姿态数据；
根据所述塔台管制员的视线方向和所述头部位置姿态数据，获得所述塔台管制员的注视区域。
5.根据权利要求1所述的方法，其特征在于，在确定与所述关键词对应的预设的塔台管制员的注视区域，若所述注视区域与所述预设的塔台管制员的注视区域的交叠区域大于或者等于阈值，则确定所述塔台管制员正确完成观察动作之后，还包括：
若确定所述塔台管制员未正确完成观察动作，则通过预设的方式进行提示或者预警；所述预设的方式包括：图像、文本、语音中的任一或任多组合。
6.一种塔台管制员工作状态的检测装置，其特征在于，包括：
采集模块，用于采集塔台管制员的语音数据，并从所述语音数据中提取关键词；
获取模块，用于获取塔台管制员的视频图像，并从所述视频图像中获取所述塔台管制员的注视区域；
检测模块，用于确定与所述关键词对应的预设的塔台管制员的注视区域，若所述注视区域与所述预设的塔台管制员的注视区域的交叠区域大于或者等于阈值，则确定所述塔台管制员正确完成观察动作；
其中，从所述视频图像中获取所述塔台管制员的注视区域，包括：
通过预设的人脸模型提取所述视频图像的特征点，所述特征点用于表征所述塔台管制员的人脸信息；
将所述特征点与三维头部模型匹配，得到头部位置姿态数据；
根据所述特征点确定人眼区域，并根据所述人眼区域获取所述塔台管制员的视线方向；
根据所述塔台管制员的视线方向和所述头部位置姿态数据，获得所述塔台管制员的注视区域。
7.根据权利要求6所述的装置，其特征在于，从所述语音数据中提取关键词，包括：
提取所述塔台管制员连续语音数据中的字词信息，利用预设的关键字词表进行筛选匹配，提取出所述关键词。
8.根据权利要求6所述的装置，其特征在于，从所述语音数据中提取关键词，包括：
将所述塔台管制员的语音数据输入语音模型，通过所述语音模型识别出所述关键词，其中所述语音模型是通过预设的语音数据训练或分析建模得到的。
9.根据权利要求6所述的装置，其特征在于，从所述视频图像中获取所述塔台管制员的注视区域，包括：
将所述塔台管制员的视频图像输入预设训练模型，直接学习获得所述塔台管制员的视线方向和头部位置姿态数据；
根据所述塔台管制员的视线方向和所述头部位置姿态数据，获得所述塔台管制员的注视区域。
10.根据权利要求6所述的装置，其特征在于，还包括：
预警模块，用于若确定所述塔台管制员未正确完成观察动作，则通过预设的方式进行提示或者预警；所述预设的方式包括：图像、文本、语音中的任一或任多组合。
11.一种塔台管制员工作状态的检测系统，其特征在于，包括存储器和处理器，存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-5任一项所述的塔台管制员工作状态的检测方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5任一项所述的塔台管制员工作状态的检测方法。
CN201811581277.2A 2018-12-24 2018-12-24 塔台管制员工作状态的检测方法、装置及系统 Active CN109830238B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811581277.2A CN109830238B (zh) 2018-12-24 2018-12-24 塔台管制员工作状态的检测方法、装置及系统
US16/697,071 US11211070B2 (en) 2018-12-24 2019-11-26 Method, device and system for detecting working state of tower controller

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811581277.2A CN109830238B (zh) 2018-12-24 2018-12-24 塔台管制员工作状态的检测方法、装置及系统

Publications (2)

Publication Number Publication Date
CN109830238A CN109830238A (zh) 2019-05-31
CN109830238B true CN109830238B (zh) 2021-07-30

Family

ID=66860656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811581277.2A Active CN109830238B (zh) 2018-12-24 2018-12-24 塔台管制员工作状态的检测方法、装置及系统

Country Status (2)

Country Link
US (1) US11211070B2 (zh)
CN (1) CN109830238B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10949649B2 (en) * 2019-02-22 2021-03-16 Image Metrics, Ltd. Real-time tracking of facial features in unconstrained video
CN111681673B (zh) * 2020-05-27 2023-06-20 北京华夏电通科技股份有限公司 庭审过程中敲法槌的识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN107126224A (zh) * 2017-06-20 2017-09-05 中南大学 一种基于Kinect的轨道列车驾驶员状态的实时监测和预警方法与系统
CN108171152A (zh) * 2017-12-26 2018-06-15 深圳大学 深度学习人眼视线估计方法、设备、系统及可读存储介质
CN108549848A (zh) * 2018-03-27 2018-09-18 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717169B2 (en) * 2011-06-06 2014-05-06 Velocity Metrics, Llc Air traffic controller alerting system
FR3039643B1 (fr) * 2015-07-31 2018-07-13 Thales Interface homme-machine pour la gestion du vol d'un aeronef
FR3046226B1 (fr) * 2015-12-29 2020-02-14 Thales Affichage de donnees meteorologiques dans un aeronef
US9922569B2 (en) * 2016-02-03 2018-03-20 Honeywell International Inc. System and method for monitoring a communication channel and displaying information
US10124907B1 (en) * 2016-08-03 2018-11-13 Rockwell Collins, Inc. Autorotation guidance command system, device, and method
US10157616B2 (en) * 2016-12-19 2018-12-18 Honeywell International Inc. Methods and apparatus for post-processing speech recognition results of received radio voice messages onboard an aircraft
US10446039B2 (en) * 2017-02-15 2019-10-15 Honeywell International Inc. Display systems and methods for preventing runway incursions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN107126224A (zh) * 2017-06-20 2017-09-05 中南大学 一种基于Kinect的轨道列车驾驶员状态的实时监测和预警方法与系统
CN108171152A (zh) * 2017-12-26 2018-06-15 深圳大学 深度学习人眼视线估计方法、设备、系统及可读存储介质
CN108549848A (zh) * 2018-03-27 2018-09-18 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置

Also Published As

Publication number Publication date
US20200202854A1 (en) 2020-06-25
US11211070B2 (en) 2021-12-28
CN109830238A (zh) 2019-05-31

Similar Documents

Publication Publication Date Title
US20200143146A1 (en) Target object recognition method and apparatus, storage medium, and electronic device
US11120275B2 (en) Visual perception method, apparatus, device, and medium based on an autonomous vehicle
CN202257856U (zh) 驾驶员疲劳驾驶监控装置
García et al. Driver monitoring based on low-cost 3-D sensors
JP2019523943A (ja) 視覚的且つ動的な運転シーンの知覚的負荷を決定する制御装置、システム及び方法
Ragab et al. A visual-based driver distraction recognition and detection using random forest
CN110879973A (zh) 一种驾驶员疲劳状态面部特征识别检测方法
KR20190099537A (ko) 동작 학습 장치, 기능 판별 장치 및 기능 판별 시스템
CN109830238B (zh) 塔台管制员工作状态的检测方法、装置及系统
CN112163470A (zh) 基于深度学习的疲劳状态识别方法、系统、存储介质
Noman et al. Mobile-based eye-blink detection performance analysis on android platform
CN108108651B (zh) 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
CN112949457A (zh) 基于增强现实技术的维修方法、装置及系统
Lashkov et al. Driver dangerous state detection based on OpenCV & dlib libraries using mobile video processing
CN114005167A (zh) 基于人体骨骼关键点的远距离视线估计方法和装置
CN112926364B (zh) 头部姿态的识别方法及系统、行车记录仪和智能座舱
KR101847446B1 (ko) 인지 데이터 네트워크 기반 시선 추적 서버 및 방법
CN112149641A (zh) 监控驾驶状态的方法、装置、设备和存储介质
CN110781847A (zh) 一种基于神经网络动作行为识别的方法
Lee et al. UAV Pilot Status Identification Algorithm Using Image Recognition and Biosignals
CN114663796A (zh) 一种目标人物持续跟踪方法、装置及系统
Afroze et al. Talking vs non-talking: A vision based approach to detect human speaking mode
CN114494355A (zh) 基于人工智能的轨迹分析方法、装置、终端设备及介质
Zhou et al. Driver fatigue tracking and detection method based on OpenMV
CN111507192A (zh) 一种仪容仪表监测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant