CN117854147A - 具隐私保护的危安行为与语意的辨识系统与方法 - Google Patents

Abstract

本发明为一种具隐私保护的危安行为与语意的辨识系统与方法，该系统包含至少一监测主机及一监测后台，该监测主机通过红外线镜头拍摄需监测场所的被照护人员的热影像，且该监测主机通过收音麦克风收录该场所的人员声音或环境声音，并对各帧热影像进行分析，以判断该热影像中的人形动作，以及对收录的声音进行辨识，以识别人员声音或环境声音。当该人员的动作行为或人员声音或环境声音已符合发出警示讯息的条件时，该监测主机向监测后台发报警示讯息，令该监测后台的管理人员可即时发现被照护人员发生暴力对话、急难呼救、坠床、跌倒或长时间静止不动等可能的危安语意或动作的行为，并可即时处置。

Description

具隐私保护的危安行为与语意的辨识系统与方法

技术领域

本发明关于一种辨识系统与方法，特别是指一种基于红外线热影像及特定语意分析判断被照护人员、或被监护人员是否发生危及安全的动作行为、暴力对话或急难呼救等可能的危安行为辨识与语意的辨识系统与方法。

背景技术

随着老龄化社会的到来，未来利用科技辅助照护的需求只会更高，所开发的新科技不仅要能满足照护机构的需求，更期望也能够应用于一般民众家庭，守护家中成员的起居安全并应用于办公与作业场所的人身安全监护工作。

照护是相当劳力密集的工作，以中国台湾省为例，根据公开信息统计，台湾长照人力缺口约1.3万人，但各照护机构面临的经营压力不仅包含人员不足，也存在第一线照服人员频繁流动而影响照护品质的问题。因此，若能通过科技来减轻照服员的工作负担，有望提升每位照服员的照顾人数也同时提高受照护者的安全性。此外，中国台湾每年亦有500～700人在工作场所因职业伤害而死亡，其中因为不当动作、感电、被夹、被卷、以及接触高温、或低温等原因而致死的案例，即是可以通过现场装设的科技装置来对外呼救、或即时通报处置的情境。

传统的影像辨识技术，多是基于一般摄像单元所拍摄全彩或黑白画面作为数据输入并进行影像识别判断，常见的技术有人脸识别、瞳孔(虹膜)识别、人体骨架识别等。但对于要求高度要求隐私的场所，例如医院病室、长照机构住民房间、特定的厕所、或作业场所等场域，基于法规限制以及人权考量，前述影像辨识技术因为使用的影像数据能清楚呈现受拍人员的外观，有侵犯个人隐私的问题，故不适合导入于照护领域使用，以至于这些场域仍需大量依赖人力协助看顾。再者，目前亦普遍缺乏可以通过语音呼救或语意分析来即时辨识与通报的科技装置，多数仍依赖病室或厕所安装的紧急通报按钮，以及作业者进入作业场所时所配戴的无线电对讲机，一旦发生急难，例如跌倒不起或化学中毒时而致行动受阻时，将无法按下紧急通报按钮或开启无线电进行呼救，此时现场有无精准侦测语音呼救的装置将是救命关键。

发明内容

有鉴于目前照护机构/医疗机构或办公与作业场所中存在被照护者、或被监护者于床边、浴室、特定作业环境等场合可能发生跌倒、静止不动、以及自我呼救、或因争吵发生的暴力危安对话的危害人身安全的情境事件，目前尚无良好的科技辅助方案问世，本发明提出一种具隐私保护的危安行为与语意的辨识系统与方法，以侦测被照护人员、或被监护人员是否发生危及安全的动作、以及呼救、或对话等行为，包含但不限定于长照受照护者在床边、厕所跌倒、呻吟求救、或多人暴力对话的危险因子判定，以及特定作业场所的人身作业安全确保，例如长时间静止不动的行为侦测、或自我呼救的语意辨识等，必要时自动发出紧急警示、或救助信号至护理站、或当责救助人员的手机装置。

为达成上述目的，本发明在此提出一种具隐私保护的危安行为与语意的辨识系统与方法，该系统包含：

至少一个监测主机，供装设于一环境位置以监测该环境位置所在的人员状态，各监测主机包含有：

一控制单元，连接至少一红外线镜头及至少一收音麦克风；其中，该红外线镜头连续拍摄该环境位置而得到多帧热影像，该收音麦克风连续收录该环境位置的人员声音或环境声音；

一运算单元，连接该控制单元并通过该控制单元以接收该多帧热影像、该人员声音、或该环境声音，该运算单元采用一已训练完成的AI人形侦测模型对该连续接收的多帧热影像进行分析，以判断该多帧热影像中的一有效侦测区域内是否有人形存在以及在一监测范围内的人形其动作，并利用一已训练完成的AI语意分析模型对该人员声音或该环境声音进行辨识，以识别该人员声音或该环境声音；其中，当该人形的动作行为已符合发出警示讯息的条件时，该AI人型侦测模型发报警示讯息；其中，当该人员声音或该环境声音已符合发出该警示讯息的条件时，该AI语意分析模型发报该警示讯息；其中，该警示讯息包含久坐、跌倒、危险或长时间静止不动的该动作行为、或呻吟求救、暴力对话、急难紧急自我求救呼救的该人员声音或该环境声音中的至少一种；

一存储单元，连接该控制单元及该运算单元，用以储存数据与程序；

一输出/输入单元，连接该控制单元及该运算单元，该输出/输入单元包含至少一种传输接口，用以建立该监测主机与其它外部装置之间的连接及数据传输；

一监测后台，与各监测主机通讯连接，其中该监测后台包含：

一云端主机，与各监测主机通讯连接以接收各监测主机拍摄的该数帧热影像，接收各监测主机收录的该人员声音或该环境声音，及接收各监测主机发报的该警示讯息；

一定点主机，连接该云端主机并且显示该警示讯息；

其中，该AI人形侦测模型于辨识各帧热影像时，执行以下流程：

判断热影像中的人形是否位于该有效侦测区域内，若否，则舍弃该人形；

针对该有效侦测区域内的各个人形，分别指定一识别码(ID)，当人形离开该有效侦测区域时移除其识别码；

辨识该人形的动作，并将对应该动作的计数值加一；

其中，当该AI人形侦测模型判断热影像中的人形位于该有效侦测区域内时，该AI语意分析模型执行以下流程：

辨识该人员声音或该环境声音，且针对语料库中不同权重等级的关键字、或危安语意关联用字，对该人员声音或该环境声音给予一积分；

其中，当该人形的动作的计数值已经累加至一门槛值时，或当该人员声音或该环境声音的积分超过一设定门槛值，该运算单元发出警示讯息。

此外，本发明另提出一种具隐私保护的语意的辨识系统与方法，该系统包含：

至少一个监测主机，供装设于一环境位置以监测该环境位置所在的人员状态，各监测主机包含有：

一控制单元，连接至少一收音麦克风；其中，该收音麦克风连续收录该环境位置的人员声音或环境声音；

一运算单元，连接该控制单元并通过该控制单元以接收该人员声音、或该环境声音，该运算单元利用一已训练完成的AI语意分析模型对该人员声音或该环境声音进行辨识，以识别该人员声音或该环境声音；其中，当该人员声音或该环境声音已符合发出该警示讯息的条件时，该AI语意分析模型发报该警示讯息；其中，该警示讯息包含呻吟求救、暴力对话、急难紧急自我求救呼救的该人员声音或该环境声音，当中的至少一种；

一存储单元，连接该控制单元及该运算单元，用以储存数据与程序；

一输出/输入单元，连接该控制单元及该运算单元，该输出/输入单元包含至少一种传输接口，用以建立该监测主机与其它外部装置之间的连接及数据传输；

一监测后台，与各监测主机通讯连接，其中，该监测后台包含：

一云端主机，与各监测主机通讯连接以接收各监测主机收录的该人员声音或该环境声音，及接收各监测主机发报的该警示讯息；

一定点主机，连接该云端主机并且显示该警示讯息；

其中，该AI语意分析模型执行以下流程：

辨识该人员声音或该环境声音，且针对语料库中不同权重等级的关键字、或危安语意关联用字，对该人员声音或该环境声音给予一积分；

其中，当该人员声音或该环境声音的积分超过一设定门槛值，该运算单元发出警示讯息。

较佳地，前述的监测主机可以是一独立装置或系统，亦可以是利用现有具相似功能的移动装置达成其目的，例如：智能手机，内建麦克风等控制单元以及相关的存储单元、运算单元与输出/输入单元等。

本发明以深度学习方法建构人工智能(AI)人形侦测模型(类神经网络模型)，并建立以普通话(中文)及闽南语为主，且包含无意义的呻吟声的关键词句语料库，且经关联训练及人为修正补充进行训练，以建构AI语意分析模型。通过训练完成的AI人形侦测模型对热影像中的人形进行多人追踪与动作识别，并通过训练完成的AI语意分析模型对人员声音或环境声音进行识别。而AI语意分析模型能通过关键词句的数据库建置可作为ASR自动语音辨识的辨识来源，直接辨识特定语句关键字，以及从关键词句进行的AI关联训练，可借由NLP自然语言处理的AI语意分析模型进行对话分析，判断整句语意，确认人员声音中的人员语言。当被照护人员、或被监护人员的人形动作、行为、或人员言语、环境声音等，符合发出紧急通报的预设规则时，可自动发出警示讯息供看护人员、或监护人员确认，确保被照护人员、或被监护人员的安全。本发明可侦测的热影像动作样态以及声音包括但不限于：在浴厕马桶久坐、厕所跌倒状态、办公场所或作业场所的长时间静止不动的动作行为，以及呻吟求救、两人或多人暴力对话、与人员作业意外而发出的急难呼救的人员声音或环境声音等等，常发生危安事件的状态，且本发明能即时侦测通报处置。

再者，本发明是基于红外线的热影像数据进行人形动作识别，该热影像不会清楚呈现人脸与肢体细节动作，故确保当事者的个人隐私，在提供安全照护监看的情况下，兼顾人权保障。

附图说明

图1A：本发明当中的AI人形侦测模型的建构流程图。

图1B：本发明当中的AI语意分析模型的建构流程图。

图2：本发明具隐私保护的危安行为与语意的辨识系统的系统方块图。

图3A：本发明监测主机架设于马桶上方示意图。

图3B：本发明监测主机架设于马桶侧边示意图。

图4A：本发明针对语意的追踪辨识监护方法流程图。

图4B：本发明针对危安行为与语意的追踪辨识监护方法流程图。

图5A～图5D：本发明卫浴厕所监测的热影像图片。

图6：本发明暴力对话示意的热影像图片。

符号说明

10：监测主机

11：控制单元

12：运算单元

13：存储单元

14：输出/输入单元

15：红外线镜头

16：收音麦克风

20：监测后台

21：云端主机

22：定点主机

23：移动装置

具体实施方式

本发明以深度学习方法建构人工智能(AI)人形侦测模型(类神经网络模型)，以即时侦测人形及辨识人形动作，本发明AI人形侦测模型优点在于每帧热影像均能立刻判读出人形的“即时状态”，例如即时状态是坐在马桶上，此时有两种可能性，静态的持续坐在马桶上，或是动态的从马桶外坐到马桶上、或准备站起来离开马桶。上述两种可能的危安状态如下：一是久坐马桶下肢无力起身、或因病昏迷而长时间静止不动，以此延伸应用在办公场所、或作业场所的作业者久坐或静止不动等危安状态，故需监测久坐或静止不动并协助通报。二是移动时因动作不当而引起，以浴室厕所内跌倒为例，常容易造成意外伤害，而长者或病患跌倒后若无法起身，也可能长时间造成二次伤害，故监测跌倒即协助通报，而后因跌倒而无法起身的长时间静止不动危安进行二次通报。

此外，本发明并同时以建立普通话(中文)及闽南语为主，且包含无意义的呻吟声的关键词句语料库，经关联训练及人为修正补充进行训练，以建构AI语意分析模型，辅助前述长时间静止不动危安行为进行通报。例如，若因外伤、或无力导致无法自救起身，即以AI语意分析模型侦测“自主呼救”警示通报，以此可延伸至不同等级的AI语意分析警示，以及两人以上、或多人的危安行为对话的侦测通报，如“呻吟求救、暴力对话、急难呼救”警示等。借由统计每帧热影像的即时状态来判断出动作之后，辅以语意分析于有必要时可快速有效发出警示。

请参考图1A所示，为本发明AI人形侦测模型的建立方式流程图，主要包含有以下步骤：

影像及图片数据收集与标注S01：

本发明以红外线热像仪拍摄的热影像作为数据来源，这些数据来源包含以人为特地示范的影像、或实际场域(如医疗机构、长照机构)被照顾者、或办公场所、或作业场所需要被监护者的动作影像/图片数据。可包含连续影像或不连续影像等，红外线热像仪会撷取多位不同当事者的热影像，包含连续二十四小时或在不同间隔的时间范围，尽可能的根据被照顾者、时间范围、动作样态差异的最大化及多样性作为取样基准，获得各种不同动作的热影像图片，并先以人为方式对得到的各种热影像图片进行分类标注，针对不同动作分给指定标签。举例而言，分类项目可包含但不限于“马桶久坐、厕所跌倒、其它”等，其中，在“其它”项目中主要是指被照顾者坐轮椅、使用助行器、驼背、照服员打扫、照服员协助洗澡等状况。

初始模型建置与训练S02：

前述动作的热影像图片在完成分类标注后，从中依照各动作的标签撷取约700张图片，其中每种动作取90％数量用于训练(train)及10％用于测试或验证(test/validation)。在进行测试时，以同一动作测试十次，正确标示九次(含)以上为通过门槛，得到初始的AI人形侦测模型。并将针对动作转换间的过渡期样态及其它项目，进行关键动作行为的图片数据收集标注与再训练。神经网络模型(机器学习方法)：可以使用Faster R-CNN、YOLO、RetinaNet等物件侦测(Object Detection)方法，这些方法都是使用卷积神经网络来撷取影像特征。以YOLOv3为例，输入层是大小为640ⅹ480的热影像，中间层采用Darknet-53架构包含53层卷积层，输出层预测7种动作类别。训练过程中使用二分交叉熵(Binary Cross Entropy)作为分类损失函数及均方误差(Mean Squared Error)作为定界框预测损失函数。训练数据约有5000张标注过的热影像，预处理包含高斯模糊、水平翻转及小于15度的旋转。根据实验结果，AI人形侦测模型Tiny YOLOv3(YOLO v3精简版本)可以成功辨识本发明所建立7种不同种类的动作，并且平均精度(Mean Average Precision,MAP)达到95％，在树莓派第4代侦测速度可达3～4FPS(Frames Per Second)。本发明借由建置的热影像数据集及应用于人形侦测动作分类，将有助于辅助照护与监控的实现。

场域实际测试S03：

为了得到预测准确率较高的AI人形侦测模型，本发明可先将通过测试的初始AI人形侦测模型，先架设于目标场域进行实证及最终测试。在数个不同场域(如3～5个)当中，于每个场域架设多套设备(如5～10套)，进行场域实证与最终测试工作。在一段时间内观察每套设备的反应并随时调整，如硬件架设角度、可视区域范围、软件设定参数，若有异常则可通过异常数据作为再次训练、测试验证的关键动作行为的图片数据收集标注，与再训练数据来源进行优化，得到最终可用的AI人形侦测模型。

请参考图1B所示，为本发明AI语意分析模型的建立方式流程图，主要包含有以下骤：

语音数据搜集与标注S11：

本发明以指向型麦克风收录的语音作为数据来源，这些数据来源包含以人为特地示范的录音、或实际场域(如医疗机构、长照机构)被照顾者、或办公场所、或作业场所需要被监护者的人员、环境声音数据。可包含连续录音或不连续录音等，麦克风收录会撷取多位不同当事者的语音，包含连续二十四小时或在不同间隔的时间范围，尽可能的根据被照顾者(被监护者)、时间范围、交谈模式差异的最大化及多样性作为取样基准，获得各种不同场域的人员、环境语音片段，并先以人为方式对得到的各种语音数据进行分类标注，以普通话及闽南语为主，针对不同内容分给指定标签。举例而言，分类项目可包含但不限于“异常声音、呻吟求救、暴力对话、急难呼救、其它”等，其中，在“其它”项目中主要是指被照顾(监护)者特定需求语句等状况。

语料库关联训练、人为补充与模型建置训练S12：

前述收录的语音数据在完成分类标注后，利用ASR(Automatic SpeechRecognition)自动语音辨识系统将音讯型内容转换为文字，ASR系统可分为声学模型(Acoustic Model)、发音模型(Pronunciation Model)、语言模型(Language Model)三大模组；声学模型将切分成帧(frame)的音频转译成音素(phoneme)，音素为区别意义的最小单位，经过发音模型词库比对，找出对应字，最后通过语言模型把各别的字依序组合成组成合理的句子。

前述文本依据语意、文法及语料库关联训练，利用NLP(Natural LanguageProcessing)自然语言处理分析辨识，理解并处理转成有意义的文句。NLP首先将文本标记化(tokenization)将文字转换成词汇(Token)。进行词向量以及词嵌入(Word Embedding)的转换，并使用循环神经网络(Recurrent Neural Network,RNN)处理序列数据与模型建置训练。

以下列两种情况为例，第一是建立语料库并经过关联训练，ASR系统可以直接辨识特定语句的关键字，以普通话(中文)及闽南语为主，例句一：我今天很不舒服(关键字：不舒服)；例句二：你再讲一句，再讲一句，我就要打你(关键字：打你)。ASR系统辨识特定语句的关键字，或相关联的同义词如不爽快、生气等，即可通报相关预设人员知悉。

第二是通过人为修正补充语料库及AI模型训练，NLP系统可判断整句语意，以普通话及闽南语为主，例句一：我今天拉了2次肚子，中餐也吃不下(NLP判断：可能身体不舒服)。例句二：你不要再讲了，我很生气，等下我做出什么事，我都控制不住，我告诉你…(NLP判断：可能即将发生暴力行为)，NLP系统判断危安语句语意，或语句如：我头晕、我拉肚子、你混账或者自我呢喃呻吟等相似语句，通报相关预设人员知悉。

如下表1，为普通话及闽南语ASR及NLP语料库范例，本发明借由建置的语音数据集及应用于危安语意分析，将有助于危安行为与语意辅助照护与监控的实现。

表1

主题类别：依特定语句分类如“呻吟求救、暴力对话、急难呼救”等主题。

关键字：主题相关的专有名词，可以有很多个关键字。

同义词：与关键字做联结用，举例关键字是“不舒服”，同义词可以为“不爽快、头钝钝、烙赛、或无意义的呻吟声”。

危安语句：被监测者可能所使用的危安语句叙述。

相似语句：依据被监测者的表达方式，可能换句话说的不同说法，这样才能有不同说法可用来判断警示通报。

权重等级：依照不同类别设定权重，作为后续通报示警程序计算参考。

通报警示：根据不同状态如“呻吟求救、暴力对话、急难呼救”通报。

场域实际测试S13：

为了得到预测准确率较高的AI人形侦测模型，本发明可先将通过测试的初始AI人形侦测模型，先架设于目标场域进行实证及最终测试。在数个不同场域(如3～5个)当中，于每个场域架设多套设备(如5～10套)，进行场域实证与最终测试工作。在一段时间内观察每套设备的反应并随时调整，如硬件架设角度、收音范围、软件设定参数，若有异常则可通过异常数据作为再次训练、测试验证的关键对话的语音数据收集标注，与再训练数据来源进行优化，得到最终可用的AI语意分析模型。

参考图2，为本发明的系统方块图，包含有一或多个监测主机10及一监测后台20，不同的监测主机10供分别安装在多个不同预定位置，例如安装于卫浴厕所以监测马桶附近的人体影像，每一监测主机10与该监测后台20通讯连接，将识别结果回报给该监测后台20。

每一个监测主机10包含有：一控制单元11、一运算单元12、一存储单元13、一输出/输入单元14。该控制单元11可以是一控制电路板，例如以树莓派(Raspberry Pi)或Arduino套件为基础开发而成，或采取量产版本的PCBA(组装电路板)，可与红外线镜头15、感测器、扩充板或其它元件连接，其中该红外线镜头15是拍摄所在安装位置的热影像。收音麦克风16是特殊指向型麦克风连续收录人员声音、或全指向型麦克风收录整个环境的声音。

该运算单元12连接该控制单元11，包含有中央处理器(CPU)、图形处理器(GPU)等微处理器，或是采用 Movidius^TM神经运算棒2等其他同功能规格的运算加速外部插件构成，该运算单元12通过该控制单元11接收红外线镜头15拍摄的热影像，及收音麦克风16收录的语音进行数据计算、数据库运行以及执行该AI人形侦测模型进行热影像识别，与AI语意分析模型进行危安语意分析。

该存储单元13连接该控制单元11及该运算单元12，可包含有该控制电路板上的内建存储器或是外接的扩充存储卡等，用于储存作业系统、程序与数据。

该输出/输入单元14连接该控制单元11及该运算单元12，包含一或多种不同规格的输出/输入接口，包含至少一种传输接口，例如HDMI接口、USB接口、有线网络传输接口、无线网络传输接口或其它标准规格的接头等，用于建立监测主机10与其它外部装置之间的连接及数据传输，例如监测主机10可通过有线或无线的输出/输入单元14与监测后台连线。

当前述监测主机10安装于特定监测场所时，以卫浴厕所为例，可将红外线镜头15架设于马桶上方、前方、马桶侧边左/右侧的天花板、走道或对面墙的天花板，红外线镜头15的视角与水平夹角可介于15～60度之间，以方便观测被照顾者活动、停留区域的硬件安装位置为佳，收音麦克风16是特殊指向型麦克风连续收录人员声音、或全指向型麦克风收录整个环境的声音，以适合监测场所收音为佳。该监测主机10可以监看的有效侦测区域包含完整或局部马桶设定范围、使用马桶时站立于马桶周围范围、坐在马桶上范围、马桶四周走道等区域。如图3A所示，红外线镜头15架设于马桶上方墙面，可监看一马桶及使用者坐下的范围；或是如图3B所示，红外线镜头15架设于马桶侧边走道墙面，同时将马桶及走道纳入有效侦测区域范围，有效监测马桶使用及中间走道上异常可能。

在监测后台20方面，可包含一云端主机21、一定点主机22或移动装置23。该云端主机21连接各监测主机10及接收监测主机10发出的红外线的多帧热影像，接收各监测主机10收录的人员声音或环境声音，以及接收各监测主机10发报的警示讯息。该定点主机22固定设置在一定点，例如护理站，可连接该云端主机21并且显示该警示讯息。该移动装置23供护理人员或监护人员随身携带，在其内部安设一应用程序(APP)，通过该应用程序连接该云端主机21及显示该红外线镜头15拍摄的画面，以及显示相关警示讯息。在本实施例中，人员声音或环境声音包含但不限于语音信息，而语音信息可为“语音信息”或“语音转文字信息”。

请参考图4A，为本发明追踪辨识监护方法的流程图，在本实施例中，以语意警示通报的状况为例说明，且该追踪辨识监护方法包含以下步骤：

人员语音判别S401：进行人员声音或环境声音的语音信息的判别，针对“呻吟求救、暴力对话、安全确保(急难呼救)”的可能危险状况进行判定。ASR或NLP系统可针对语料库中不同权重等级的关键字、或危安语意关联用字给予积分。

发出警示S402：当语音信息积分超过一设定门槛值，则发报相关警示讯息。以下列语句为例：“我今天很不舒服”、或“我今天拉了2次肚子，中餐也吃不下”、或发出无意义呻吟声，其中关键字：不舒服、或其语意代表身体不舒服，均可警示“呻吟求救”。或以下列语句为例：“我要打你”、或“你不要再讲了，我很生气…”，其中关键字：打你、或其语意代表可能发生暴力行为，均可警示“暴力对话”。或以下列语句为例：“救命！！快来人…”，其中关键字：救命、或其语意代表急难呼救，均可警示“急难呼救”，通报相关人员知悉。

请参考图4B，为本发明追踪辨识监护方法的流程图，在本实施例中，以危安行为与语意警示通报的状况为例说明，且该追踪辨识监护方法包含以下步骤：

设定侦测区域范围S41：以红外线镜头15拍摄的热影像整体画面100％为可视区，使用者可自行设定一有效侦测区域以及一或多个监测范围，以卫浴厕所为例，可框选该可视区长度范围0～100％为有效侦测区域，监测范围可以是一“马桶范围”、或办公场所、或作业场所需要被监测区域。框选涵盖马桶及其所在的周围适当区域范围作为“马桶范围”，其中，该马桶范围可部分或完全落入于有效侦测区域内。参考图5A～图5D所示的热影像图片，其中显示的白色长矩形框即代表马桶范围。

设定侦测频率S42：使用者可自行设定每单位时间内欲处理的热影像图片张数，举例来说可设定该红外线镜头15以1～12FPS(frame per second，每秒显示影格帧数)其中任一频率侦测即时影像；若在不刻意设定的情况下，也可以直接以一预设频率值(例如3FPS)作为该红外线镜头15的影像撷取频率，而针对每帧热影像将会进一步利用以上述建构完成的该AI人形侦测模型执行下列S43～S46的步骤。

热影像人形侦测S43：若AI人形侦测模型侦测到一个或多个人形，再进一步判断该人形是否位于该有效侦测区域，若是则进行下一步骤S44，若非位于该有效侦测区域，则舍弃该人形。参考图5A～图5D所示其中黑色框区域代表有侦测到人形存在。

指定ID及追踪人形S44：针对每个已辨识出的人形赋予独立的识别码(ID)，例如以数字0,1,2..以此类推作为ID，该AI人形侦测模型并开始追踪该人形，若有新的人形出现在有效侦测区域，则再指定该新的人形一个新的ID。若人形出现动作形状，则进行下一步骤S45及S47。若人形离开有效侦测区域，则移除该人形的ID。

人形动作判别S45：根据先前训练完成的AI人形侦测模型，比对每一帧热影像图片中的人形动作，也就是利用该AI人形侦测模型已预先训练的动作判断人形姿态其相似度最高的动作，并累加动作计数。若影像模糊或动作判断不易确认者，将根据先前3～10影格帧数的动作判断记录，以动作记录较多、或权重较重、或可能性较高的连续动作进行动作补正，并累加动作计数，借此修正不易确认动作判断，确保被照护人员、或被监护人员的动作正确即时警示。若非预先训练的动作则舍弃不列入计数。如图5A～图5D分别所示，举例而言，若监测的环境为卫浴厕所内，可判断该人形动作是否属于久坐不动(sedentary)、跌倒(fall)、或因久坐、跌倒导致长时间静止不动的危险状况(danger)等危安动作行为等。

人员语音判别S47：若人形位于有效侦测区域内，则同步进行人员声音或环境声音的语音信息的判别，针对“呻吟求救、暴力对话、安全确保(急难呼救)”的可能危险状况进行判定。ASR或NLP系统可针对语料库中不同权重等级的关键字、或危安语意关联用字给予积分。

发出警示S46：若在厕所内的受照顾者其动作判断为久坐、跌倒、危险，且该动作所累积的计数值达到一设定门槛值，则发报相关警示讯息，其中，不同的动作可分别设定不同的对应门槛值，例如厕所内久坐动作对应的门槛值可设定相对较大，跌倒、危险动作对应的门槛值可设定相对较小。或者当语音信息积分超过一设定门槛值，则发报相关警示讯息。以下列语句为例：“我今天很不舒服”、或“我今天拉了2次肚子，中餐也吃不下”、或发出无意义呻吟声，其中关键字：不舒服、或其语意代表身体不舒服，均可警示“呻吟求救”。或以下列语句为例：“我要打你”、或“你不要再讲了，我很生气…”，其中关键字：打你、或其语意代表可能发生暴力行为，均可警示“暴力对话”。或以下列语句为例：“救命！！快来人…”，其中关键字：救命、或其语意代表急难呼救，均可警示“急难呼救”，通报相关人员知悉。

上面说明是配合热影像图片以卫浴厕所监测为例，同理亦应用于如长时间静止不动等常发生危安事件的场域监测。图5A～图5D即显示被照护人员、或被监护人员在马桶久坐发出久坐警示、久坐警示发出后仍持续久坐达一预设时间时发出久坐及危险警示，以及跌卧在马桶周围的监测范围内所出发的跌倒警示，与跌倒持续达一预设时间后的跌倒及危险警示。前述通过不同行为以及该行为的不同危险程度来即时提出警示通报，确保被照护人员、或被监护人员的及时生命安全，判断是否需发出久坐、跌倒、危险警示，说明如下：

久坐警示：图5B被照顾者坐在马桶上超过一预设时间(1～10分钟不等)，则即时发出“久坐警示”。若久坐马桶下肢无力起身、或因病昏迷而长时间静止不动，超过第二预设时间(如20分钟)，即时警示“危险警示”。以此延伸人在办公场所、或作业场所久坐或静止不动等危安状态。

跌倒警示：图5C被照顾者于指定的马桶范围外、有效侦测区域内跌倒或坐下达一预设时间(如1～5秒)，则即时警示“跌倒警示”。

危险警示：图5D被照顾者于马桶范围外、有效侦测区域内跌倒或坐下，以浴室厕所内跌倒为例，常容易造成意外伤害，而长者或病者跌倒后若无法起身，也可能长时间造成二次伤害，因跌倒而无法起身的长时间静止不动达一预设时间(如300～600秒)即时警示“危险警示”。若同时自主呼救，则可触发“急难呼救”警示，通报相关人员知悉。

前项的“久坐警示”亦可延伸至办公场所、或作业场所时，被照护人员、或被监护人员的长时间静止不动的“危安行为侦测通报”警示，故警示讯息可改为“静止不动”，包含久坐、躺卧在地上等危安行为。如“静止不动”持续更长时间达到一预设时间(如600秒)则即时警示“危险警示”。

暴力对话警示：如图6亦可延伸至两人、或两人以上多人的暴力行为对话的侦测通报，参考热影像人形侦测指定ID并追踪人形，AI人形侦测配合AI语意分析，即可达成两人、或多人的暴力行为对话“危安语意侦测通报”，可有效侦测并通报相关单位人员知悉，以提早示警并避免衍生后续更大的伤害。举例来说，暴力对话可能包含有：“你不要再讲了，我很生气。我要对你不客气了。再讲一句，我就要打你了。混账！”

综上所述，本发明为了侦测受照护者的异常与急难行为，采用热像仪拍摄的红外线热影像作为数据来源，其优点具有：

一、通过训练完成的AI人形侦测模型、及AI语意分析模型进行多人同时追踪与动作侦测，并经过程序规则比对进行危险行为判定，在符合条件状态下发出紧急通报，确保被照护者(被监护者)的安全。本发明可侦测的动作包括但不限于：在床上起身准备离床、已离床、床边跌倒与马桶久坐、厕所跌倒或长时间静止不动、呻吟求救、暴力对话、急难呼救等常发生危安事件的状态。

二、人脸与肢体细节动作是模糊难以辨认，故没有侵犯个人隐私权疑虑。但使用传统的摄影机会清楚拍到人脸，需要经过后制才能抹除，无法100％确保个人信息外流疑虑。

三、人体有稳定的热源可以被感应侦测并与周边环境进行区隔，故即使在周边环境光源昏暗不足的情况仍可清楚识别。但使用传统摄影机在昏暗光源下无法得到清晰影像，而不易识别。同时，本发明亦可以根据人体热影像来判断是否受照护者体温过高而产生健康危害。

以上所述仅是本发明的优选实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以优选实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种具隐私保护的危安行为与语意的辨识系统，其特征在于，包含：

至少一个监测主机，供装设于一环境位置以监测该环境位置所在的人员状态，各监测主机包含有：

一控制单元，连接至少一红外线镜头及至少一收音麦克风；其中，该红外线镜头连续拍摄该环境位置而得到多帧热影像，该收音麦克风连续收录该环境位置的人员声音或环境声音；

一运算单元，连接该控制单元并通过该控制单元以接收该多帧热影像、该人员声音、或该环境声音，该运算单元采用一已训练完成的AI人形侦测模型对该连续接收的多帧热影像进行分析，以判断该多帧热影像中的一有效侦测区域内是否有人形存在以及在一监测范围内的人形其动作，并利用一已训练完成的AI语意分析模型对该人员声音或该环境声音进行辨识，以识别该人员声音或该环境声音；其中，当该人形的动作行为已符合发出一警示讯息的条件时，该AI人形侦测模型发报该警示讯息；其中，当该人员声音或该环境声音已符合发出该警示讯息的条件时，该AI语意分析模型发报该警示讯息；其中，该警示讯息包含久坐、跌倒、危险或长时间静止不动的该动作行为、或呻吟求救、暴力对话、急难紧急自我求救呼救的该人员声音或该环境声音中的至少一种；

一存储单元，连接该控制单元及该运算单元，用以储存数据与程序；

一输出/输入单元，连接该控制单元及该运算单元，该输出/输入单元包含至少一种传输接口，用以建立该监测主机与其它外部装置之间的连接及数据传输；

一监测后台，与各监测主机通讯连接，其中，该监测后台包含：

一云端主机，与各监测主机通讯连接以接收各监测主机拍摄的该多帧热影像，接收各监测主机收录的该人员声音或该环境声音，及接收各监测主机发报的该警示讯息；

一定点主机，连接该云端主机并且显示该警示讯息；

其中，该AI人形侦测模型于辨识各帧热影像时，执行以下流程：

判断热影像中的人形是否位于该有效侦测区域内，若否则舍弃该人形；

针对该有效侦测区域内的各个人形，分别指定一识别码，当人形离开该有效侦测区域时移除其识别码；

辨识该人形的动作，并将对应该动作的计数值加一；

其中，当该AI人形侦测模型判断热影像中的人形位于该有效侦测区域内时，该AI语意分析模型执行以下流程：

辨识该人员声音或该环境声音，且针对语料库中不同权重等级的关键字、或危安语意关联用字，对该人员声音或该环境声音给予一积分；

其中，当该人形的动作的计数值已经累加至一门槛值时，或当该人员声音或该环境声音的积分超过一设定门槛值，该运算单元发出警示讯息。

2.如权利要求1所述的具隐私保护的危安行为与语意的辨识系统，其特征在于，该监测后台还包含一移动装置，该移动装置内安装一应用程序，通过该应用程序连接该云端主机并接收该警示讯息。

3.如权利要求1所述的具隐私保护的危安行为与语意的辨识系统，其特征在于，该监测范围包含一床位范围、或一马桶范围、或一办公范围、或一作业场所范围，该监测范围至少有一部分位于该有效侦测范围内。

4.如权利要求3所述的具隐私保护的危安行为与语意的辨识系统，其特征在于，该有效侦测范围及该监测范围根据使用者输入的指令而设定。

5.根据权利要求1所述的具隐私保护的危安行为与语意的辨识系统，其特征在于，当该AI人形侦测模型在辨识该人形的动作时，该AI人形侦测模型根据先前第一数量影格数中动作辨识动作记录最多、或权重最重、或可能性最高的连续动作为该人形的动作，并将对应该动作的计数值加一。

6.一种具隐私保护的危安行为与语意的辨识方法，其特征在于，包含：

接收一红外线镜头连续拍摄的多帧热影像；

接收一收音麦克风连续收录的人员声音或环境声音；

利用一已预先训练完成的AI人形侦测模型辨识各帧热影像，其中，该AI人形侦测模型执行以下流程：

判断热影像中的人形是否位于一有效侦测区域内，若否则舍弃该人形；

针对该有效侦测区域内的各个人形，分别指定一识别码，当人形离开该有效侦测区域时移除其识别码；

辨识该人形的动作并包含动作补正，并将对应该动作的计数值加一；

判断该人形的动作的计数值是否已经累加至一门槛值，若是，则产生一警示讯息；

其中，当该AI人形侦测模型判断热影像中的人形位于该有效侦测区域内时，利用一已训练完成的AI语意分析模型辨识该人员声音或该环境声音，其中，该AI语意分析模型执行以下流程：

针对语料库中不同权重等级的关键字、或危安语意关联用字，对该人员声音或该环境声音给予一积分；

判断该人员声音或该环境声音的积分是否超过一设定门槛值，若是，则产生该警示讯息。

7.如权利要求6所述的具隐私保护的危安行为与语意的辨识方法，其特征在于，在接收该热影像的步骤前进一步包含：

设定侦测区域范围：以该红外线镜头拍摄的整体画面为一可视区，在该可视区内依使用者输入的指令指定该有效侦测区域及一或多个监测范围；

设定侦测频率：设定在单位时间内欲利用该AI人形侦测模型进行辨识的热影像帧数。

8.如权利要求7所述的具隐私保护的危安行为与语意的辨识方法，其特征在于，该监测范围包含一床位范围、或一马桶范围、或一办公范围、或一作业场所范围等，该监测范围至少有一部分位于该有效侦测范围内。

9.如权利要求6所述的具隐私保护的危安行为与语意的辨识方法，其特征在于，该警示讯息包含久坐、跌倒、危险或长时间静止不动的动作行为，或呻吟求救、暴力对话、急难紧急自我求救呼救的该人员声音或该环境声音中的至少一种。

10.根据权利要求6所述的具隐私保护的危安行为与语意的辨识方法，其特征在于，当该AI人形侦测模型在辨识该人形的动作时，该AI人形侦测模型根据先前第一数量影格数中动作辨识动作记录最多、或权重最重、或可能性最高的连续动作为该人形的动作，并将对应该动作的计数值加一。