CN110059526A - 使用身体语言对遇险状况的机器解译 - Google Patents

使用身体语言对遇险状况的机器解译 Download PDF

Info

Publication number
CN110059526A
CN110059526A CN201811316269.5A CN201811316269A CN110059526A CN 110059526 A CN110059526 A CN 110059526A CN 201811316269 A CN201811316269 A CN 201811316269A CN 110059526 A CN110059526 A CN 110059526A
Authority
CN
China
Prior art keywords
processor
response
communication
video feed
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811316269.5A
Other languages
English (en)
Other versions
CN110059526B (zh
Inventor
K.布鲁姆
B.霍姆
J.鲁普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carrier Corp
Original Assignee
Carrier Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carrier Corp filed Critical Carrier Corp
Publication of CN110059526A publication Critical patent/CN110059526A/zh
Application granted granted Critical
Publication of CN110059526B publication Critical patent/CN110059526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion

Abstract

一种用于远程身体通信的系统，所述系统包括处理器，所述处理器被配置成接收执行身体通信的人员的视频馈送。所述处理器被配置成确定所述身体通信是否指示紧急状况、将所述身体通信翻译成文本或音频通信，并且将所述视频馈送和所述文本或音频通信传输到接收监控站。所述处理器接着接收响应身体通信的响应视频馈送和指示与所述紧急状况相关的指令的响应文本或音频通信，并且经由操作性地连接的输出处理器输出所述响应身体通信的所述响应视频馈送和所述响应文本或音频通信。

Description

使用身体语言对遇险状况的机器解译
背景技术
示例性实施方案与身体语言解译的技术有关，并且更特别地，与使用身体语言对遇险状况的机器解译有关。
当有语言或听觉障碍的个人使用远程应急站(譬如一些停车库中通常所用的远程应急站)时，由于语言障碍，可能难以提供或接收来自遇险人员的信息。举例来说，如果个人使用手语进行通信，则仅有语音通信系统不会起作用。在一些状况中，遇险人员仅可以发信号求助，但可能无法提供紧急情况的细节或接收来自应急监控的指令或反馈。在其他方面，当人群遇险时，监控站无法基于人群运动或群组身体语言来检测紧急状况。
发明内容
公开了一种计算机实现的方法，所述方法包括经由处理器来接收执行身体通信的人员的视频馈送。所述处理器确定所述身体通信是否指示紧急状况、将所述身体通信翻译成文本或音频通信，并且将所述视频馈送和所述文本或音频通信传输到接收监控站。所述处理器接收响应身体通信的响应视频馈送和指示与所述紧急状况相关的指令的响应文本或音频通信，并且经由操作性地连接的输出处理器输出所述响应身体通信的所述响应视频馈送和所述响应文本或音频通信。
还公开了一种用于远程身体通信的系统。所述系统包括处理器，所述处理器被配置成接收执行身体通信的人员的视频馈送。所述处理器被配置成确定所述身体通信是否指示紧急状况、将所述身体通信翻译成文本或音频通信，并且将所述视频馈送和所述文本或音频通信传输到接收监控站。所述处理器接着接收响应身体通信的响应视频馈送和指示与所述紧急状况相关的指令的响应文本或音频通信，并且经由操作性地连接的输出处理器输出所述响应身体通信的所述响应视频馈送和所述响应文本或音频通信。
还公开了一种非暂时性计算机可读存储介质。所述存储介质包括计算机程序产品，所述计算机程序产品在由处理器执行时致使所述处理器执行计算机实现的方法。所述方法包括经由处理器来接收执行身体通信的人员的视频馈送。所述处理器确定所述身体通信是否指示紧急状况，将所述身体通信翻译成文本或音频通信，并且将所述视频馈送和所述文本或音频通信传输到接收监控站。所述处理器接收响应身体通信的响应视频馈送和指示与所述紧急状况相关的指令的响应文本或音频通信，并且经由操作性地连接的输出处理器输出所述响应身体通信的所述响应视频馈送和所述响应文本或音频通信。
附图说明
以下描述无论如何不应被视为限制性的。参考附图，相同的元件编号相同：
图1描绘了根据本文中的一个或多个实施方案的用于使用身体语言对遇险状况的机器解译的系统100；
图2描绘了根据一个实施方案的用于使用身体语言对遇险状况的机器解译的遇险通信模块102；
图3描绘了根据另一实施方案的遇险通信模块102；
图4是根据另一实施方案的用于使用身体语言对遇险状况的机器解译的方法的流程图；以及
图5描绘了用于实践本文中所描述的一个或多个实施方案的计算系统。
具体实施方式
将参考图式在本文中经由示例且非限制性的方式呈现公开的设备和方法的一个或多个实施方案的详细描述。
图1是用于实践一个或多个实施方案的系统100。系统100包括例如监控和通信模块(下文中为遇险通信模块102)和响应通信模块(下文中为响应通信模块104)。
遇险通信模块102可以安装在可能偶尔处于遇险或紧急状况的用户所占据的位置中。举例来说，遇险通信模块102可以安装在停车车库中。遇险通信模块102包括运行解译引擎106的处理器、用于接收和传输视频馈送的视频摄影机108和输出处理器110，所述输出处理器110操作性地连接到所述处理器并且配置成输出从响应通信模块104接收的响应视频馈送。遇险通信模块102经由网络118操作性地连接到响应通信模块104。
响应通信模块104可以安装在远离遇险通信模块102定位的响应中心中。举例来说，响应通信模块104可操作以监控一个或多个遇险通信模块，例如遇险通信模块102。响应通信模块104包括运行解译引擎116的处理器。解译引擎116被配置成接收来自操作性地连接的摄影机112的视频馈送，并且将所述视频馈送传输到遇险通信模块102，所述遇险通信模块102接着输出监控个人(例如，保安)的视频馈送以供遇险人员在遇险通信模块102查看。传输到遇险通信模块102的视频馈送可以包括对遇险信号的响应通信，和/或可以包括针对遇险个人的指令。所述响应通信可以是手语、言语通信、数目文本通信或其任何组合的形式。
图2描绘了根据一个实施方案的遇险通信模块102。如图2中所示，系统包括配置具有解译引擎106的处理器501，所述解译引擎操作性地连接到摄影机108。在一个实施方案中，摄影机108被配置成接收人员执行身体通信的视频馈送。举例来说，有语言障碍的人员206可以处在遇险状况下。人员206可以发信号求助(在图2中表示为手语204)。在另一方面，人员206可能正在执行身体通信，所述身体通信指示所述人员遇险或存在需要援助的某种紧急情况。摄影机108可以接收人员206的视频馈送，并且解译引擎106确定所述身体通信是否指示紧急状况。响应于确定存在紧急状况，解译引擎106将身体通信204翻译成文本通信202，所述文本通信在输出处理器110(例如，显示装置517)上输出，所述输出处理器操作性地连接到遇险通信模块102的显示处理器(例如，显示器适配器517A，如图5中所示)。在一个方面，当身体通信204是手语时，处理器501在显示装置110上同时显示对来自人员206的身体通信204(手语)的翻译。文本通信202向语言障碍人员206提供瞬时反馈，接收并且理解所述语言障碍人员的遇险通信。同时，处理器501输出视频会议的另一端处的监视器的响应视频馈送。所述响应身体通信的视频馈送208(例如，响应通信模块104处的监控保安)正在签署对给出指令的响应或抚慰遇险人员206救援正在赶来。
图3描绘用于使用身体语言对遇险状况的机器解译的系统的另一实施方案300。在一些方面，身体语言可能未必是手语304，反而可以是通过一群人305展现的身体语言。举例来说，拥挤到一个区域以便观察急救的一群人可以触发解译引擎106，以确定存在可能需要外部援助(例如，救护车)的进行中紧急情况。解译引擎106可以将消息传输到响应通信模块104，以引起执勤中的保安注意。在一个方面，监控守卫(或更特别地，守卫的视频馈送306)可以经由视频会议来询问旁观者，以获得关于响应于传输的信息而发生的情况的更多信息。在另一方面，向守卫提供信息的人员可能有语言障碍并且使用手语304作为身体通信。在这个实施方案中，解译引擎106翻译通信，所述通信接着在给出所述通信的同时在输出处理器110上输出。所述同时输出向说话者(例如，人群305中的一人)提供其通信被理解的肯定确认。响应通信在输出处理器110上输出以作为视频馈送和文本通信302两者。视频馈送可以包括交流者的所说语音的音频。
图4是根据另一实施方案的使用身体语言对遇险状况的机器解译的方法400的流程图。如图4中所示，在块402，处理器501接收执行身体通信的人员的视频馈送。
在块404，所述处理器确定所述身体通信是否指示紧急状况。在一些方面，处理器501通过观察指示紧急状况的一个或多个因素来进行确定、将所述因素的出现数目与对遇险信号的已知反应的数据库进行比较，并且输出指示特定状况实际上是否是紧急情况的概率确定评分。在一个方面，处理器501可以确定，当所述概率确定评分高于或低于预定阈值时，存在紧急情况。
在块406，处理器501将所述身体通信翻译成文本通信。在一个方面，翻译所述身体通信包括解析所述视频馈送的多个图像、识别至少一只运动的手以及将所述手运动关联到与所述手运动相关联的一个或多个词语。所述领域的技术人员了解，存在用于将手语翻译成文本信息的多个已知方法。
在其他方面，身体通信可以不是手语，而是可由视频馈送中的一个或多个人员展现的身体语言。举例来说，翻译所述身体通信可包括解析所述视频馈送的多个图像，和从所述经解析的视频馈送识别指示遇险的至少一个非手语身体运动。一个此类实例可以是在相同方向上逃跑的一群人。在另一实例中，所述视频馈送中的多个人的面部表情可以展现恐惧或害怕，这可以指示紧急状况。因此，处理器501可以确定所述非手语身体运动指示遇险的概率评分，并且基于所述概率评分来关联所述非手语身体运动与言语意义。
在块408，处理器501将所述视频馈送和所述文本通信传输到接收监控站。接收监控站可以包括例如响应通信模块104。
在块410，处理器501接收响应身体通信和指示与所述紧急状况相关的指令的响应文本通信。指令的实例可以是“在那里等待帮助”或“从左边快速离开”。在另一方面，所述响应身体通信还包括所述通信的音频输出，所述音频输出充当对可能攻击者的警报：救援正在赶来。这一警告可对攻击者一方的进一步动作有遏制作用。
在块412，处理器501经由操作性地连接的输出处理器(例如，视频显示器110)输出所述响应身体通信的所述响应视频馈送(例如，110、306)和所述文本通信(例如，203、303)。
图5图示了供实践本文中所描述的实施方案使用的示例性计算环境和计算机系统500的框图。本文中所描述的环境和系统能够用硬件、软件(例如，固件)或其他组合来实现。在一示例性实施方案中，硬件实现方式可包括专用或通用数字计算机的微处理器，例如个人计算机、工作站、小型计算机或主机计算机。计算机500因此能够实施通用计算机。在另一示例性实施方案中，实现方式能够是移动装置的部分，所述移动装置例如移动电话、个人数据助理(PDA)、平板计算机等。
如图5中所示，计算机500包括处理器501。计算机500还包括用通信方式联接到处理器501的存储器502，和能够经由系统总线505用通信方式联接的一个或多个输入/输出适配器503。存储器502能够经由存储接口508用通信方式联接到一个或多个内部或外部存储器装置。通信适配器516能够用通信方式将计算机500连接到一个或多个网络118。系统总线505能够经由输入/输出(I/O)适配器503用通信方式连接一个或多个用户接口。I/O适配器503能够将多个输入装置504连接到计算机500。输入装置可包括例如键盘、鼠标、传声器、传感器等。系统总线505还能够经由I/O适配器503用通信方式连接一个或多个输出装置507。输出装置507可包括例如显示器、扬声器、触摸屏等。
处理器501是用于执行存储在计算机可读存储器(例如，存储器502)中的程序指令(亦成为软件)的硬件装置。处理器501能够是任何定制或可购得的处理器、中央处理单元(CPU)、多个CPU、与计算机500相关联的几个其他处理器当中的辅助处理器、基于半导体的微处理器(呈微型芯片或芯片组的形式)，或通常用于执行指令的任何装置。处理器501可包括高速缓存存储器522，所述高速缓存存储器可包括，但不限于，用以加速可执行指令提取的指令高速缓存、用以加速数据提取和存储的数据高速缓存和用以加速可执行指令和数据两者的虚拟到物理地址变换的变换旁查缓冲器(TLB)。高速缓冲存储器522能够组织成具有更多高速缓存级(L1、L2等)的阶层。
处理器501能够经由存储接口508用与一个或多个存储器装置(例如，RAM 509、ROM510、一个或多个外部数据库521等)通信的方式设置。存储接口508还能够使用例如串行高级技术附件(SATA)、集成驱动电子(IDE)、IEEE-1394、通用串行总线(USB)、光纤信道、小型计算机系统接口(SCSI)等的连接协议而连接到一个或多个存储器装置，包括但不限于一个或多个数据库521，和/或一个或多个其他存储器驱动器(未图示)，包括例如可移动光碟驱动器等。存储器驱动器可为例如磁鼓、磁碟驱动器、磁光驱动器、光学驱动器、独立光碟冗余阵列(RAID)、固态存储器装置、固态驱动器等。存储器装置的变体能够用于实现例如来自其他图的所有数据库的清单。
存储器502可包括随机存取存储器(RAM)509和只读存储器(ROM)510。RAM 509能够是易失性存储器元件(例如，DRAM、SRAM、SDRAM等)的任一种或组合。ROM 510可包括任何一个或多个非易失性存储器元件(例如，可擦可编程只读存储器(EPROM)、闪速存储器、电可擦可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁带、光碟只读存储器(CD-ROM)、磁盘、盒式磁盘、卡式磁带或类似物等)。此外，存储器502可合并电子、磁性、光学和/或其他类型的非暂时性计算机可读存储介质。存储器502还可为分散式体系结构，其中各种部件彼此远离地定位，但是可由处理器501来存取。
存储器502中的指令可包括一个或多个单独程序，每个程序可包括用于实现逻辑功能的计算机可执行指令的有序列表。在图5的实例中，存储器502中的指令可包括操作系统511。操作系统511能够控制其他计算机程序的执行，并且提供调度、输入输出控制、档案和数据管理、存储器管理以及通信控制和相关服务。
存储在存储器502中的程序指令还可包括应用数据512和用户接口513。存储器502中的程序指令还可包括解译引擎514，所述解译引擎用于解译手语和/或身体语言和将所述解译转换成文本信息。
I/O适配器503能够是例如，但不限于，一个或多个总线或其他有线或无线连接。I/O适配器503能够具有额外元件(为简单起见，省略所述额外元件)，例如控制器、微处理器、缓冲器(高速缓冲)、驱动器、中继器以及接收器，额外元件能够协同工作以实现通信。此外，I/O适配器503能够促进地址、控制和/或数据连接，以实现前述部件当中的适当通信。
I/O适配器503还可包括联接到一个或多个显示器517的显示器适配器517A。I/O适配器503能够被配置成将一个或多个输入/输出(I/O)装置504和507连接到计算机500。举例来说，I/O 503可连接键盘和鼠标、触摸屏、扬声器、触觉输出装置或其他输出装置。输出装置507可包括但不限于打印机、扫描仪和/或类似物。尽管未示出，但还可包括其他输出装置。最后，可连接到I/O适配器503的I/O装置还可包括传达输入和输出的装置，所述装置例如但不限于网络接口卡(NIC)或调制器/解调器(用于存取其他档案、装置、系统或网络)、射频(RF)或其他收发器、电话接口、网桥、路由器以及类似物。
根据一些实施方案，计算机500可包括行动通信适配器523。行动通信适配器523可包括GPS、蜂窝、行动和/或用于无线通信的其他通信协议。
在一些实施方案中，计算机500还可包括用于联接到网络118的通信适配器516。
网络118可为基于IP的用于计算机500与任何外部装置之间的通信的网络。网络118在计算机500与计算机500外的装置和/或系统之间传输并且接收数据。在一示例性实施方案中，网络118可为由服务提供者管理的管理IP网络。网络118可为飞机内的网络，例如，航空电子网络等。网络118可用无线方式实现，例如，使用无线协议和技术，例如，WiFi、WiMax等。网络118还可为有线网络，例如，以太网网络、ARINC 429网络、控制器区域网络(CAN)等，所述网络具有包括例如RS232连接、R5422连接等的有线连接性。网络118还可为分组交换网络，例如区域网、广域网、城域网络、因特尔网络，或其他类似类型的网络环境。网络118可为固定无线网络、无线局域网(LAN)、无线广域网(WAN)、个人区域网络(PAN)、虚拟专用网(VPN)、内联网或其他合适的网络系统。
如果计算机500是PC、工作站、膝上计算机、平板计算机和/或类似物，则存储器502中的指令还可包括基本输入输出系统(BIOS)(为简单起见被省略)。BIOS是一组例程，所述例程初始化并且测试启动时的硬件、启动操作系统511，并且支持数据在操作性地连接的硬件装置当中的传送。BIOS通常存储在ROM 510中，使得BIOS可在计算机500启动时执行。当计算机500在操作中时，处理器501可被配置成执行存储在存储器502内的指令、传达数据至及子存储器502，并且通常根据所述指令来控制计算机500的操作。
本公开可为处在任何可能的技术细节集成度的系统、方法和/或计算程序产品。计算机程序产品可包括计算机可读存储介质(或多个介质)，所述存储介质上存储了用于致使处理器进行本公开的方面的计算机可读程序指令。
计算机可读存储介质可以是能够保持并且存储指令以供指令执行装置使用的有形装置。计算机可读存储介质可为例如但不限于电子存储装置、磁性存储装置、光学存储装置、电磁存储装置、半导体存储装置或前述存储装置的任何合适组合。计数器可读存储介质的更特定实例的非详尽清单包括以下各项：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪速存储器)、静态随机存取存储器(SRAM)、便携式光碟只读存储器(CD-ROM)、数字多功能光碟(DVD)、记忆棒、软盘、上面记录有指令的机械编码装置，例如穿孔卡片或凹槽中的升高结构，以及前述各项的任何合适组合。如本文中所使用，计算机可读存储介质不应被解释为瞬时信号本身，例如无线电波或其他自由传播的电磁波、经由波导或其他传输介质传播的电磁波(例如，经由光纤缆线传递的光脉冲)，或经由导线传输的电信号。
本文中所描述的计算机可读程序指令能够从计算机可读存储介质下载到各个计算/处理装置或经由例如因特网、局域网、广域网和/或无线网络的网络下载到外部计算机或外部存储装置。网络可包括铜传输线、传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理装置中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并且转送计算机可读程序指令以存储在处于各个计算/处理装置内的计算机可读存储介质中。
用于进行本公开的操作的计算机可读程序指令可以是汇编程序指令、指令集体系结构(ISA)指令、机器指令、机器相依指令、微码、固件指令、状态设定数据、集成电路的配置数据或用一种或多种编程语言的任何组合编写的源码或目标码，所述编程语言包括面向对象的编程语言，例如Smalltalk、C++或类似语言，及过程编码语言，例如″C″编程语言或类似编程语言。计算机可读程序指令可全部在用户的计算机上执行，部分地在用户的计算机上执行，作为独立软件包而部分地在用户的计算机上且部分地在远程计算机上或完全在远程计算机或服务器上执行。在后一情形中，远程计算机可经由任何类型的网络连接到用户的计算机，所述网络包括局域网(LAN)或广域网(WAN)，或可形成到外部计算机的连接(例如，经由因特网使用因特网服务提供者)。在一些实施方案中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可通过利用计算机可读程序指令的状态信息将电子电路个性化来执行计算机可读程序指令，以便执行本公开的方面。
参考根据本公开的实施方案的方法、设备(系统)和计算机程序产品的流程图图解和/或框图在本文中描述了本公开的多个方面。应理解，流程图图解和/或框图的每个块和流程图图解和/或框图中的块的组合可计算机可读程序指令来实现。
这些计算机可读程序指令可被提供到通用计算机、专用计算机的处理器或其他可编程数据处理设备以制造机器，以使得经由计算机的处理器或其他可编程数据处理设备执行的指令产生用于实现流程图和/或框图块或多个块中所规定的功能/动作的手段。此等计算机可读程序指令还可存储在计算机可读存储介质中，所述指令可引导计算机、可编程数据处理设备和/或其他装置以特定方式工作，以使得其中存储了指令的计算机可读存储介质包括包含指令的制品，所述指令实现流程图和/或框图块或多个块中所规定的功能/动作的方面。
计算机可读程序指令还可加载到计算机、其他可编程数据数据处理设备或其他装置上，以致使一系列操作步骤在计算机、其他可编程设备或其他装置上执行以产生计算机实现的过程，以使得在计算机、其他可编程设备或其他装置上执行的指令实现流程图和/或框图块或多个块中所规定的功能/动作。
术语“约”意图包括与基于在提交本申请时可用的设备对特定量的测量相关联的误差度。举例来说，“约”可包括给定值±8％或5％或2％的范围。
本文中所使用的术语仅用于描述特定实施方案的目的，不意图限制本公开。如本文中所使用，单数形式“一”和“所述”还意图包括复数形式，除非上下文另有清楚指示。应进一步理解，术语“包括(comprises)”和/或“包括(comprising)”在用于说明书中时规定所说明的特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件部件和/或其群组的存在或添加。
尽管已经参考一或多个示例性实施方案描述了本公开，但是所属领域的技术人员应了解，在不背离本公开的范围的情况下，可作出各种改变并且可用等同物取代其元件。另外，可以在不背离本公开的基本范围的情况下作出许多修改以使特定状况或材料适合本公开的教示内容。因此，本公开不意图限于公开为预期用于进行本公开的最佳模式的特定实施方案，但是本公开将包括在权利要求的范围内的所有实施方案。

Claims (20)

1.一种计算机实现的方法，所述方法包括：
经由处理器来接收执行身体通信的人员的视频馈送；
经由所述处理器来确定所述身体通信是否指示紧急状况；
经由所述处理器来将所述身体通信翻译成文本或音频通信；
经由所述处理器来将所述视频馈送和所述文本或音频通信传输到接收监控站；
经由所述处理器来接收响应身体通信的响应视频馈送和指示与所述紧急状况相关的指令的响应文本或音频通信；以及
经由所述处理器来借助操作性地连接的输出处理器输出所述响应身体通信的所述响应视频馈送和所述响应文本或音频通信。
2.如权利要求1所述的计算机实现的方法，其中所述身体通信和所述响应身体通信是手语。
3.如权利要求1所述的计算机实现的方法，其中所述身体通信包括非手语遇险信号。
4.如权利要求2所述的计算机实现的方法，其中翻译所述身体通信包括：
解析所述视频馈送的多个图像；
识别至少一只运动的手；以及
经由执行翻译引擎的所述处理器来将所述手运动关联到与所述手运动相关联的一个或多个词语。
5.如权利要求3所述的计算机实现的方法，其中翻译所述身体通信包括：
解析所述视频馈送的多个图像；
从所述经解析的视频馈送识别指示遇险的至少一个非手语身体运动；以及
经由所述处理器来确定所述非手语身体运动指示遇险的概率评分；以及
经由所述处理器来基于所述概率评分将所述非手语身体运动与言语意义关联。
6.如权利要求5所述的计算机实现的方法，其中所述非手语身体运动包括所述经解析的视频馈送中的多个个体的多个身体运动。
7.如权利要求1所述的计算机实现的方法，所述方法还包括经由操作性地连接的视频处理器输出指示与所述紧急状况相关的所述指令的所述响应文本或音频通信。
8.如权利要求7所述的计算机实现的方法，其中所述响应身体通信是手语，并且所述响应文本通信是所述响应身体通信的文本翻译，并且所述响应音频通信是所述响应身体通信的可听翻译。
9.如权利要求8所述的计算机实现的方法，其中所述响应文本或音频通信与所述响应身体通信同时输出到所述视频处理器。
10.一种用于远程身体通信的系统，所述系统包括：
处理器，所述处理器被配置成：
接收执行身体通信的人员的视频馈送；
确定所述身体通信是否指示紧急状况；
将所述身体通信翻译成文本或音频通信；
将所述视频馈送和所述文本或音频通信传输到接收监控站；
接收响应身体通信的响应视频馈送和指示与所述紧急状况相关的指令的响应文本或音频通信；以及
经由操作性地连接的输出处理器输出所述响应身体通信的所述响应视频馈送和所述响应文本或音频通信。
11.如权利要求10所述的计算机实现的方法，其中所述身体通信和所述响应身体通信是手语。
12.如权利要求10所述的计算机实现的方法，其中所述身体通信包括非手语遇险信号。
13.如权利要求11所述的计算机实现的方法，其中翻译所述身体通信包括：
解析所述视频馈送的多个图像；
识别至少一只运动的手；以及
经由执行翻译引擎的所述处理器来将所述手运动关联到与所述手运动相关联的一个或多个词语。
14.如权利要求12所述的计算机实现的方法，其中翻译所述身体通信包括：
解析所述视频馈送的多个图像；
从所述经解析的视频馈送识别指示遇险的至少一个非手语身体运动；以及
经由所述处理器来确定所述非手语身体运动指示遇险的概率评分；以及
经由所述处理器来基于所述概率评分将所述非手语身体运动与言语意义关联。
15.如权利要求14所述的计算机实现的方法，其中所述非手语身体运动包括所述被分析的视频馈送中的多个个体的多个身体运动。
16.如权利要求10所述的计算机实现的方法，所述方法还包括经由操作性地连接的视频处理器输出指示与所述紧急状况相关的所述指令的所述响应文本或音频通信。
17.如权利要求16所述的计算机实现的方法，其中所述响应身体通信是手语，并且所述响应文本通信是所述响应身体通信的文本翻译，并且所述响应音频通信是所述响应身体通信的可听翻译。
18.如权利要求17所述的计算机实现的方法，其中所述响应文本通信与所述响应身体通信同时输出到所述视频处理器。
19.一种包括计算机程序产品的非暂时性计算机可读存储介质，所述计算机程序产品在由处理器执行时致使所述处理器执行计算机实现的方法，所述方法包括：
经由处理器来接收执行身体通信的人员的视频馈送；
经由所述处理器来确定所述身体通信是否指示紧急状况；
经由所述处理器来将所述身体通信翻译成文本或音频通信；
经由所述处理器来将所述视频馈送和所述文本或音频通信传输到接收监控站；
经由所述处理器来接收响应身体通信的响应视频馈送和指示与所述紧急状况相关的指令的响应文本或音频通信；以及
经由所述处理器来借助操作性地连接的输出处理器输出所述响应身体通信的所述响应视频馈送和所述响应文本或音频通信。
20.如权利要求19所述的非暂时性计算机可读存储介质，其中所述身体通信和所述响应身体通信是手语。
CN201811316269.5A 2017-11-07 2018-11-06 使用身体语言对遇险状况的机器解译 Active CN110059526B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762582569P 2017-11-07 2017-11-07
US62/582569 2017-11-07

Publications (2)

Publication Number Publication Date
CN110059526A true CN110059526A (zh) 2019-07-26
CN110059526B CN110059526B (zh) 2023-11-28

Family

ID=64183923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811316269.5A Active CN110059526B (zh) 2017-11-07 2018-11-06 使用身体语言对遇险状况的机器解译

Country Status (4)

Country Link
US (1) US10909333B2 (zh)
EP (1) EP3480731B1 (zh)
CN (1) CN110059526B (zh)
ES (1) ES2822945T3 (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1682535A (zh) * 2002-09-17 2005-10-12 银河网路股份有限公司 手语翻译系统及手语翻译方法
CN101221621A (zh) * 2007-01-12 2008-07-16 国际商业机器公司 警告监督用户受监视用户的行为的方法和系统
CN201522767U (zh) * 2009-09-08 2010-07-07 北京英泰智软件技术发展有限公司 一种主动智能行为分析报警装置
US20100231714A1 (en) * 2009-03-12 2010-09-16 International Business Machines Corporation Video pattern recognition for automating emergency service incident awareness and response
US20110095862A1 (en) * 2009-10-23 2011-04-28 Hon Hai Precision Industry Co., Ltd. Alarm system and method for warning of emergencies
US20140266572A1 (en) * 2013-03-15 2014-09-18 Sorenson Communications, Inc. Methods and apparatuses for emergency notifications to the hearing impaired
CN104763471A (zh) * 2015-04-03 2015-07-08 宿迁学院 一种利用投影的虚拟操作屏应急通信装置及方法
US20150194034A1 (en) * 2014-01-03 2015-07-09 Nebulys Technologies, Inc. Systems and methods for detecting and/or responding to incapacitated person using video motion analytics
CN104902119A (zh) * 2015-04-30 2015-09-09 合肥林晨信息科技有限公司 一种聋哑人报警求助系统
US9374465B1 (en) * 2015-02-11 2016-06-21 Language Line Services, Inc. Multi-channel and multi-modal language interpretation system utilizing a gated or non-gated configuration
CN105993184A (zh) * 2013-10-22 2016-10-05 帕特罗希尼系统有限责任公司 交互式紧急信息和识别
CN106162073A (zh) * 2015-04-30 2016-11-23 小蚁科技（香港）有限公司 通信设备
CN106781273A (zh) * 2016-12-16 2017-05-31 合肥寰景信息技术有限公司 一种基于动作识别的人体异常行为检测与预警系统
CN107067677A (zh) * 2017-03-20 2017-08-18 广东翼卡车联网服务有限公司 一种可视化安全救援方法及系统
CN107198839A (zh) * 2017-07-27 2017-09-26 恒德数字舞美科技有限公司 一种智能消防救援指挥调度系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7287009B1 (en) * 2000-09-14 2007-10-23 Raanan Liebermann System and a method for carrying out personal and business transactions
US20050033578A1 (en) 2003-08-07 2005-02-10 Mara Zuckerman Text-to-video sign language translator
JP2007251756A (ja) 2006-03-17 2007-09-27 Oki Electric Ind Co Ltd 撮像装置
US8751215B2 (en) 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
US9432639B2 (en) 2010-11-19 2016-08-30 Honeywell International Inc. Security video detection of personal distress and gesture commands
US20120224040A1 (en) 2011-03-03 2012-09-06 Hand Held Products, Inc. Imager reader with hand gesture interface
US9336456B2 (en) 2012-01-25 2016-05-10 Bruno Delean Systems, methods and computer program products for identifying objects in video data
US9349366B2 (en) 2012-06-13 2016-05-24 Wearsafe Labs Llc Systems and methods for managing an emergency situation
US9728052B2 (en) * 2013-04-22 2017-08-08 Electronics And Telecommunications Research Institute Digital signage system and emergency alerting method using same
US9329597B2 (en) 2014-01-17 2016-05-03 Knightscope, Inc. Autonomous data machines and systems
US20150312739A1 (en) * 2014-04-25 2015-10-29 Shauncey J. Burt Computer program, method, and system for obtaining and providing emergency services
US20160078289A1 (en) 2014-09-16 2016-03-17 Foundation for Research and Technology - Hellas (FORTH) (acting through its Institute of Computer Gesture Recognition Apparatuses, Methods and Systems for Human-Machine Interaction
US10362469B2 (en) * 2014-09-30 2019-07-23 At&T Intellectual Property I, L.P. Access to wireless emergency alert information via the spectrum access system
US9269374B1 (en) * 2014-10-27 2016-02-23 Mattersight Corporation Predictive video analytics system and methods
US9338627B1 (en) 2015-01-28 2016-05-10 Arati P Singh Portable device for indicating emergency events
US9866507B2 (en) * 2015-04-27 2018-01-09 Agt International Gmbh Method of monitoring well-being of semi-independent persons and system thereof
WO2017048115A1 (en) 2015-09-18 2017-03-23 Kian Vui Lo A real-time intelligent video camera system
US9544656B1 (en) 2015-10-30 2017-01-10 Rovi Guides, Inc. Systems and methods for recognition of sign language for improved viewing experiences
CN106056840A (zh) 2016-05-23 2016-10-26 王宇栋 主动快速呼救和救助的方法及其应用
US10628664B2 (en) * 2016-06-04 2020-04-21 KinTrans, Inc. Automatic body movement recognition and association system

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1682535A (zh) * 2002-09-17 2005-10-12 银河网路股份有限公司 手语翻译系统及手语翻译方法
CN101221621A (zh) * 2007-01-12 2008-07-16 国际商业机器公司 警告监督用户受监视用户的行为的方法和系统
US20100231714A1 (en) * 2009-03-12 2010-09-16 International Business Machines Corporation Video pattern recognition for automating emergency service incident awareness and response
CN201522767U (zh) * 2009-09-08 2010-07-07 北京英泰智软件技术发展有限公司 一种主动智能行为分析报警装置
US20110095862A1 (en) * 2009-10-23 2011-04-28 Hon Hai Precision Industry Co., Ltd. Alarm system and method for warning of emergencies
US20140266572A1 (en) * 2013-03-15 2014-09-18 Sorenson Communications, Inc. Methods and apparatuses for emergency notifications to the hearing impaired
CN105993184A (zh) * 2013-10-22 2016-10-05 帕特罗希尼系统有限责任公司 交互式紧急信息和识别
US20150194034A1 (en) * 2014-01-03 2015-07-09 Nebulys Technologies, Inc. Systems and methods for detecting and/or responding to incapacitated person using video motion analytics
US9374465B1 (en) * 2015-02-11 2016-06-21 Language Line Services, Inc. Multi-channel and multi-modal language interpretation system utilizing a gated or non-gated configuration
CN104763471A (zh) * 2015-04-03 2015-07-08 宿迁学院 一种利用投影的虚拟操作屏应急通信装置及方法
CN104902119A (zh) * 2015-04-30 2015-09-09 合肥林晨信息科技有限公司 一种聋哑人报警求助系统
CN106162073A (zh) * 2015-04-30 2016-11-23 小蚁科技（香港）有限公司 通信设备
CN106781273A (zh) * 2016-12-16 2017-05-31 合肥寰景信息技术有限公司 一种基于动作识别的人体异常行为检测与预警系统
CN107067677A (zh) * 2017-03-20 2017-08-18 广东翼卡车联网服务有限公司 一种可视化安全救援方法及系统
CN107198839A (zh) * 2017-07-27 2017-09-26 恒德数字舞美科技有限公司 一种智能消防救援指挥调度系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DOUKAS C N 等: "Emergency fall incidents detection in assisted living environments utilizing motion, sound, and visual perceptual components", 《 IEEE TRANSACTIONS ON INFORMATION TECHNOLOGY IN BIOMEDICINE》, vol. 15, no. 2, pages 277 - 289, XP011373669, DOI: 10.1109/TITB.2010.2091140 *
刘琳 等: "手机助老助残技术的研究与进展", 《中国医疗器械信息》, no. 01, pages 6 - 15 *
刘琳等: "手机助老助残技术的研究与进展", 《中国医疗器械信息》, no. 01, 25 January 2011 (2011-01-25), pages 11 - 20 *
徐珠宝等: "Windows Mobile平台下的盲人导航软件系统开发", 《计算机与现代化》 *
徐珠宝等: "Windows Mobile平台下的盲人导航软件系统开发", 《计算机与现代化》, no. 10, 15 October 2010 (2010-10-15), pages 120 - 123 *

Also Published As

Publication number Publication date
ES2822945T3 (es) 2021-05-05
EP3480731B1 (en) 2020-09-23
CN110059526B (zh) 2023-11-28
US20190138604A1 (en) 2019-05-09
EP3480731A1 (en) 2019-05-08
US10909333B2 (en) 2021-02-02

Similar Documents

Publication Publication Date Title
JP6683234B2 (ja) 音声データ処理方法、装置、設備及びプログラム
US11218584B2 (en) Systems and methods for automated emergency response
US11049385B2 (en) Alert communication network, associated program products, and methods of using the same
EP3665563A1 (en) Automated clinical documentation system and method
US11139079B2 (en) Cognitive stroke detection and notification
US20190361437A1 (en) Autonomous vehicle coordination with medical facility
CN112204629B (zh) 在心搏停止情况下的自动智能手表辅助
US20200326669A1 (en) Auto-adjustable machine functionality using analytics of sensor data
US20200394935A1 (en) Augmented reality techniques for simultaneously learning multiple languages
US20200380404A1 (en) Medical support prediction for emergency situations
CN105027588B (zh) 自组织网络
US11431679B2 (en) Emergency communication manager for internet of things technologies
US10210469B2 (en) Support for requirements of people in a public site or venue
KR102251710B1 (ko) 글라스형 웨어러블 디바이스를 이용한 외부디바이스 내 콘텐츠 관리 시스템, 방법 및 컴퓨터로 독출 가능한 기록매체
US20200105120A1 (en) Emergency detection and notification system
CN110059526A (zh) 使用身体语言对遇险状况的机器解译
EP3762928A1 (en) Automated clinical documentation system and method
US20190355452A1 (en) Method and system to safeguard release of medical records
US10045143B1 (en) Sound detection and identification
Hoque et al. BLIND GUARD: Designing Android Apps for Visually Impaired Persons
US11783820B1 (en) System and method for highly efficient information flow using natural language processing and speech recognition
US11961402B2 (en) Anomaly detection for vehicle in motion using external views by established network and cascading techniques
US11392217B2 (en) Method and apparatus for remotely processing speech-to-text for entry onto a destination computing system
Prasad et al. Big Data and Visualization-Oriented Latency-Aware Smart Health Architecture
US20210109763A1 (en) Methods, apparatuses and systems for deploying connected devices for control systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant