CN109513157A - 基于Kinect体感的灭火演练交互方法与系统 - Google Patents

Abstract

本发明涉及消防领域，涉及一种基于Kinect体感的灭火演练交互方法，包括：启动Kinect加载灭火演练中的火灾场景；通过骨骼追踪方式来判断是否检测到人体；确认检测到人体后，扫描灭火器是否被拿起以及灭火器的种类；确定灭火器被拿起并且种类正确后，在灭火器已被触发时判断灭火器是否对准起火根部；若未对准起火根部，则逐步增大火情；若是对准起火根部，则根据火是否熄灭反馈灭火情况。本发明还提出基于Kinect体感的灭火演练交互系统。本发明能够以灭火器头部内嵌鼠标的方式实现灭火器触发的准确判断，并能够准确的判断包括灭火器是否被拿起以及拿起哪种灭火器等人体动作，实现更好的模拟真实效果，进而保证灭火演练的效果。

Description

基于Kinect体感的灭火演练交互方法与系统

技术领域

本发明涉及消防领域，特别涉及一种基于Kinect体感的灭火演练交互方法与系统。

背景技术

目前消防行业主要运用激光来实现消防灭火的演练，通过激光在屏幕中的位置来确定灭火器的喷头指向哪里，从而实现模拟灭火。

这种灭火演练的不足之处在于，主要是需要很长的时间调试，需要对灭火器做出很大的改动，不能简单的利用市面上的普通灭火器。尤其是对于参与消防演练的人员来说，他们不能准确的判断拿起哪种灭火器，进而无法保证灭火演练的效果。

发明内容

本发明的实施方式旨在至少解决现有技术中存在的技术问题之一。为此，本发明的实施方式需要提供一种基于Kinect体感的灭火演练交互方法与系统。

本发明实施方式的一种基于Kinect体感的灭火演练交互方法，其特征在于，包括：

步骤1，启动Kinect加载灭火演练中的火灾场景；

步骤2，通过骨骼追踪方式来判断是否检测到人体；

步骤3，确认检测到人体后，扫描灭火器是否被拿起以及灭火器的种类；

步骤4，确定灭火器被拿起并且种类正确后，在灭火器已被触发时判断灭火器是否对准起火根部；若未对准起火根部，则逐步增大火情；若是对准起火根部，则根据火是否熄灭反馈灭火情况。

一种实施方式中，步骤2包括：利用Kinect设置的CMOS红外传感器通过黑白光谱的方式来感知环境，并生成一幅代表周围环境的景深图像；然后采用分割策略来将人体从背景环境中区分出来；将分割的人体图像的每个像素传送进一个辨别人体部位的机器学习系统并获得机器学习系统输出的人体骨骼，以判断是否有人体出现。

一种实施方式中，步骤3包括：确认检测到人体后，通过扫描来比对灭火器放置区域是否存在灭火器对应的颜色来判断灭火器是否被拿起，通过扫描不同的灭火器放置区域和该区域灭火器的放置位置来确定灭火器的种类。

一种实施方式中，步骤4中判断灭火器是否对准起火根部包括：根据人体骨骼中手部关节点的位置来确定灭火器在屏幕中瞄准的位置，以此判断灭火器是否对准起火根部。

一种实施方式中，该方法还包括：

步骤0，预先在灭火器的头部按压位置内嵌鼠标，使得用户在灭火演练中通过按压灭火器触发鼠标事件响应在火灾场景中的喷射灭火。

本发明实施方式还提出一种基于Kinect体感的灭火演练交互系统，其特征在于，包括：

加载模块，用于启动Kinect加载灭火演练中的火灾场景；

人体检测模块，用于通过骨骼追踪方式来判断是否检测到人体；

灭火器扫描模块，用于确认检测到人体后，扫描灭火器是否被拿起以及灭火器的种类；

灭火模块，用于确定灭火器被拿起并且种类正确后，在灭火器已被触发时判断灭火器是否对准起火根部；若未对准起火根部，则逐步增大火情；若是对准起火根部，则根据火是否熄灭反馈灭火情况。

一种实施方式中，人体检测模块具体用于利用Kinect设置的CMOS红外传感器通过黑白光谱的方式来感知环境，并生成一幅代表周围环境的景深图像；然后采用分割策略来将人体从背景环境中区分出来；将分割的人体图像的每个像素传送进一个辨别人体部位的机器学习系统并获得机器学习系统输出的人体骨骼，以判断是否有人体出现。

一种实施方式中，灭火器扫描模块具体用于确认检测到人体后，通过扫描来比对灭火器放置区域是否存在灭火器对应的颜色来判断灭火器是否被拿起，通过扫描不同的灭火器放置区域和该区域灭火器的放置位置来确定灭火器的种类。

一种实施方式中，灭火模块判断灭火器是否对准起火根部包括：根据人体骨骼中手部关节点的位置来确定灭火器在屏幕中瞄准的位置，以此判断灭火器是否对准起火根部。

一种实施方式中，该系统还包括：

改造模块，用于预先在灭火器的头部按压位置内嵌鼠标，使得用户在灭火演练中通过按压灭火器触发鼠标事件响应在火灾场景中的喷射灭火。

本发明实施方式的基于Kinect体感的灭火演练交互方法与系统，能够以灭火器头部内嵌鼠标的方式实现灭火器触发的准确判断，并能够准确的判断包括灭火器是否被拿起以及拿起哪种灭火器等人体动作，实现更好的模拟真实效果，进而保证灭火演练的效果。

本发明的附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的实施方式的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明实施方式的基于Kinect体感的灭火演练交互方法的流程示意图；

图2是本发明实施方式的基于Kinect体感的灭火演练交互系统的组成示意图。

具体实施方式

下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅可用于解释本发明的实施方式，而不能理解为对本发明的实施方式的限制。

请参阅图1，本发明实施方式的基于Kinect体感的灭火演练交互方法，包括：

步骤1，启动Kinect加载灭火演练中的火灾场景。

步骤2，通过骨骼追踪方式来判断是否检测到人体。

步骤3，确认检测到人体后，扫描灭火器是否被拿起以及灭火器的种类。

步骤4，确定灭火器被拿起并且种类正确后，在灭火器已被触发时判断灭火器是否对准起火根部；若未对准起火根部，则逐步增大火情；若是对准起火根部，则根据火是否熄灭反馈灭火情况。

请参阅图2，本发明实施方式的一种基于Kinect体感的灭火演练交互系统，包括：加载模块、人体检测模块、灭火器扫描模块和灭火模块。其中各个模块介绍如下：

加载模块，用于启动Kinect加载灭火演练中的火灾场景；

人体检测模块，用于通过骨骼追踪方式来判断是否检测到人体；

灭火器扫描模块，用于确认检测到人体后，扫描灭火器是否被拿起以及灭火器的种类；

灭火模块，用于确定灭火器被拿起并且种类正确后，在灭火器已被触发时判断灭火器是否对准起火根部；若未对准起火根部，则逐步增大火情；若是对准起火根部，则根据火是否熄灭反馈灭火情况。

在该实施方式中，基于Kinect体感的灭火演练交互方法以基于Kinect体感的灭火演练交互系统作为步骤的执行对象，或以系统内的各个模块作为步骤的执行对象。具体地，步骤1以加载模块作为步骤的执行对象，步骤2以人体检测模块作为步骤的执行对象，步骤3以灭火器扫描模块作为步骤的执行对象，步骤4以灭火模块作为步骤的执行对象。

Kinect又称为Kinectfor Xbox 360，是由微软开发并应用于Xbox 360游戏主机的周边设备。它让玩家不需要手持或踩踏控制器，而是使用语音指令或手势来操作Xbox360的系统界面。它也能捕捉玩家全身上下的动作，用身体来进行游戏，带给玩家“免控制器的游戏与娱乐体验”。

Kinect有三个镜头，中间的镜头是RGB彩色摄影机，用来采集彩色图像。左右两边镜头则分别为红外线发射器和CMOS红外传感器所构成的3D结构光深度感应器，用来采集深度数据(场景中物体到摄像头的距离)。彩色摄像头最大支持1280*960分辨率成像，红外摄像头最大支持640*480成像。Kinect还搭配了追焦技术，底座马达会随着对焦物体移动跟着转动。

在步骤1中，加载模块先启动Kinect然后加载预先设置的用于灭火演练的火灾场景。

在步骤2中，人体检测模块通过骨骼追踪方式来判断是否检测到人体，具体包括：利用Kinect设置的CMOS红外传感器通过黑白光谱的方式来感知环境，并生成一幅代表周围环境的景深图像；然后采用分割策略来将人体从背景环境中区分出来；将分割的人体图像的每个像素传送进一个辨别人体部位的机器学习系统并获得机器学习系统输出的人体骨骼，以判断是否有人体出现。

在Kinect上有一个CMOS红外传感器，该传感器可以通过黑白光谱的方式来感知环境，并生成一幅代表周围环境的景深图像，之后Kinect采用分割策略来将人体从背景环境中区分出来，即从噪音中提取出有用信号。并将分割化玩家图像的每一个像素都被传送进一个辨别人体部位的机器学习系统中。随后该机器系统将给出了某个特定像素属于哪个身体部位的可能性。比如，一个像素有80％的几率属于脚，60％的几率属于腿，40％的几率属于胸部。使用输出的结果，根据追踪到的20个关节点来生成一幅人体骨骼。

Kinect处于运行状态时，由于Kinect有一定的检测区域，也就是玩家的操作区域，当没有玩家出现在操作区域时，Kinect识别到的玩家数量为0，也即使没有玩家骨骼的生成，当玩家走进操作区域时，Kinect识别到了玩家(监测到了人体到出现)，生成了玩家骨骼，此时即可开始进行灭火演练的体验。

步骤3中，灭火器扫描模块确认检测到人体后，通过扫描来比对灭火器放置区域是否存在灭火器对应的颜色来判断灭火器是否被拿起，通过扫描不同的灭火器放置区域和该区域灭火器的放置位置来确定灭火器的种类。

由于大多数灭火器都是红色的，所以灭火器扫描模块识别时通过读取指定区域的像素点，判断该区域的像素点是否大部分为红色，若判断结果为该区域的像素点大部分是红色则视为检测到灭火器。

通常，不同类型的灭火器的放置区域不同，例如可以在左边放置干冰灭火器，在右边放置干粉灭火器，通过将不同的放置区域设置多个不同的检测区域，以及不同的灭火器放置的位置来区分灭火器种类。如果指定的检测区域识别到了大片红色则说明该灭火器未被拿起，处于就绪状态。反之则视为该灭火器已被拿起。

首先根据需要设置灭火器识别区域并布置好灭火器，这时所有灭火器都在识别区域内，所以所有区域都有红色，所有灭火器都处于就绪状态。若拿起一个灭火器，则其对应的区域没有大部分的红色，灭火器扫描模块可以检测到这个灭火器已经拿起。同理，被拿起的灭火器的种类，则可以看检测的灭火器的放置区域的检测结果，若干冰灭火器的放置区域检测结果为全部红色，但是干粉灭火器的放置区域经过检测发现有个区域红色缺失，则可以视为拿起了一个干粉灭火器，以此完成灭火器种类的识别。

步骤4中，灭火模块确定灭火器被拿起并且种类正确后，在灭火器已被触发时判断灭火器是否对准起火根部。其中，通过骨骼追踪来确定灭火器头对准的位置。具体地，通过取得骨骼中的手部关节点的位置来确定灭火器在屏幕中瞄准的位置，此时可能会出现玩家瞄准的位置与屏幕中显示的准星存在一定的偏差问题，此时可以在进行灭火演练的体验之前，通过设置手部关节点位置和屏幕准星的映射偏移量以及比例进行准星校准操作。

进一步地，基于Kinect体感的灭火演练交互方法还包括：

步骤0，预先在灭火器的头部按压位置内嵌鼠标，使得用户在灭火演练中通过按压灭火器触发鼠标事件响应在火灾场景中的喷射灭火。

对应地，基于Kinect体感的灭火演练交互系统还包括：

改造模块，用于预先在灭火器的头部按压位置内嵌鼠标，使得用户在灭火演练中通过按压灭火器触发鼠标事件响应在火灾场景中的喷射灭火。

即步骤0可以由基于Kinect体感的灭火演练交互系统或系统中的改造模块来作为步骤的执行对象。

灭火器头部的改造包括：在灭火器头部安装一个按压开关，然后把线接到鼠标上，实现在灭火器处按压触发鼠标的操作，通过单击鼠标实现灭火器的开启。灭火器的结构毫无改变，只是在内部加了一个按压开关。通过内嵌鼠标的方式使得可以通过按压灭火器触发鼠标事件使得灭火器在画面中喷射灭火(与单击长按鼠标效果一致)，但灭火器的形状不会遭到破坏，并且保持了与常规灭火器一样的按压体验效果。

灭火模块判断出若未对准起火根部，则判断当前火情是否已经增大到最大值，若没有达到最大值则可以在当前火灾场景中逐步增大火情；以此向参与灭火演练的玩家反馈当前手部握持的灭火器并未对准起火根部，灭火效果不好导致火情加大。

灭火模块判断出若是对准起火根部，则根据火是否熄灭反馈灭火情况。具体地，此时火如果没有熄灭，则会在火灾场景中显示火情减小的画面；若火已经熄灭，则提示灭火成功。为了保证消防灭火演练的效果，可以在步骤2中检测到人体时开始计时，然后在灭火完成后停止计时，以此评估灭火演练的完成时间进行后续评估。

本发明通过在灭火器内嵌实体开关的方式实现灭火器的按压触发，延迟和失误率小，能够准确判断灭火器的触发，并且对灭火器的外形和操作方式基本没有改变，和真实灭火器的操作体验无差，保证了更好的灭火演练模拟效果；而且利用Kinect通过骨骼追踪的方式，能够准确的判断人体动作，再结合图像识别的方式准确判断灭火器是否被拿起以及灭火器的种类，进一步保证了灭火演练的效果。

在本发明的实施方式的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的实施方式和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的实施方式的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。

在本发明的实施方式中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不同结构。为了简化本发明的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明的实施方式可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明的实施方式提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本发明的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于Kinect体感的灭火演练交互方法，其特征在于，包括：

步骤1，启动Kinect加载灭火演练中的火灾场景；

步骤2，通过骨骼追踪方式来判断是否检测到人体；

步骤3，确认检测到人体后，扫描灭火器是否被拿起以及灭火器的种类；

步骤4，确定灭火器被拿起并且种类正确后，在灭火器已被触发时判断灭火器是否对准起火根部；若未对准起火根部，则逐步增大火情；若是对准起火根部，则根据火是否熄灭反馈灭火情况。

2.如权利要求1所述基于Kinect体感的灭火演练交互方法，其特征在于，步骤2包括：利用Kinect设置的CMOS红外传感器通过黑白光谱的方式来感知环境，并生成一幅代表周围环境的景深图像；然后采用分割策略来将人体从背景环境中区分出来；将分割的人体图像的每个像素传送进一个辨别人体部位的机器学习系统并获得机器学习系统输出的人体骨骼，以判断是否有人体出现。

3.如权利要求2所述基于Kinect体感的灭火演练交互方法，其特征在于，步骤3包括：确认检测到人体后，通过扫描来比对灭火器放置区域是否存在灭火器对应的颜色来判断灭火器是否被拿起，通过扫描不同的灭火器放置区域和该区域灭火器的放置位置来确定灭火器的种类。

4.如权利要求3所述基于Kinect体感的灭火演练交互方法，其特征在于，步骤4中判断灭火器是否对准起火根部包括：根据人体骨骼中手部关节点的位置来确定灭火器在屏幕中瞄准的位置，以此判断灭火器是否对准起火根部。

5.如权利要求1所述基于Kinect体感的灭火演练交互方法，其特征在于，该方法还包括：

步骤0，预先在灭火器的头部按压位置内嵌鼠标，使得用户在灭火演练中通过按压灭火器触发鼠标事件响应在火灾场景中的喷射灭火。

6.一种基于Kinect体感的灭火演练交互系统，其特征在于，包括：

加载模块，用于启动Kinect加载灭火演练中的火灾场景；

人体检测模块，用于通过骨骼追踪方式来判断是否检测到人体；

灭火器扫描模块，用于确认检测到人体后，扫描灭火器是否被拿起以及灭火器的种类；

灭火模块，用于确定灭火器被拿起并且种类正确后，在灭火器已被触发时判断灭火器是否对准起火根部；若未对准起火根部，则逐步增大火情；若是对准起火根部，则根据火是否熄灭反馈灭火情况。

7.如权利要求6所述基于Kinect体感的灭火演练交互系统，其特征在于，人体检测模块具体用于利用Kinect设置的CMOS红外传感器通过黑白光谱的方式来感知环境，并生成一幅代表周围环境的景深图像；然后采用分割策略来将人体从背景环境中区分出来；将分割的人体图像的每个像素传送进一个辨别人体部位的机器学习系统并获得机器学习系统输出的人体骨骼，以判断是否有人体出现。

8.如权利要求7所述基于Kinect体感的灭火演练交互系统，其特征在于，灭火器扫描模块具体用于确认检测到人体后，通过扫描来比对灭火器放置区域是否存在灭火器对应的颜色来判断灭火器是否被拿起，通过扫描不同的灭火器放置区域和该区域灭火器的放置位置来确定灭火器的种类。

9.如权利要求8所述基于Kinect体感的灭火演练交互系统，其特征在于，灭火模块判断灭火器是否对准起火根部包括：根据人体骨骼中手部关节点的位置来确定灭火器在屏幕中瞄准的位置，以此判断灭火器是否对准起火根部。

10.如权利要求6所述基于Kinect体感的灭火演练交互系统，其特征在于，该系统还包括：

改造模块，用于预先在灭火器的头部按压位置内嵌鼠标，使得用户在灭火演练中通过按压灭火器触发鼠标事件响应在火灾场景中的喷射灭火。