CN107578595B - 流动体分析装置 - Google Patents

Abstract

本发明提供一种流动体分析装置。烟等流动体有时扩散到远离作为发生源的起火位置的位置，当利用烟的检测进行火灾检测时，在有时火灾的发生源被无视，或者发生源被隐蔽的情况下不能检测到发生源。即使检测到火灾，现场的工作人员要花费功夫调整拍摄范围，影像灭火活动的尽早实施。本发明的流动体分析装置的特征在于，使用影像的运动特征量，计算出烟等的流动体的区域和流动体的发生源。利用计算出的信息来计算烟有无的检测时间的适合性。当时间不适合时，生成移动影像输入装置的控制指令，调整影像输入装置的拍摄范围。当判断为时间适合且检测到烟时，由输出装置提示烟存在、流动体的区域和发生源等属性中的至少一个以上的信息。

Description

流动体分析装置

技术领域

本发明涉及基于监视摄像机拍摄到的影像检测烟和火焰等流动体的装置。

背景技术

作为本技术领域的背景技术，有日本特开平5-46887号公报(专利文献1)。在该公报中记载有：“火灾发现装置，其利用可见光和红外线摄像机，一边在视角中依次上下左右移动一边检测火灾的位置，并通过大概检测出火灾的发生位置，将所检测出的位置移动到视角的中心，提高检测精度”。

现有技术文献

专利文献

专利文献1：日本特开平5-46887号公报

发明内容

发明要解决的技术课题

在上述技术中，当火灾发生时，通过检测有烟的区域，能够检测出火灾的发生。但是，烟等的流动体有时从作为发生源的起火位置扩散至离开了起火位置的位置。因此，在专利文献1公开的技术中，在确定火灾发生源时的精度方面还有改善的余地。

本发明的目的是提供在进行烟等的流动体的分析时，能够实现分析准确的信息的技术。

用于解决技术课题的技术方案

为了解决上述课题，本发明的流动体分析系统包括：从监视摄像机拍摄到的图像中检测烟的烟检测部；和计算烟的运动特征量并确定火灾发生源的火灾发生源确定部。

发明效果

依据本发明，通过计算出烟的运动特征量，能够提高确定火灾发生源的精度。

附图说明

图1是表示实施方式1的整体系统的结构例的图。

图2是表示流动体分析装置的硬件结构的图。

图3是表示消防监视装置的硬件结构的图。

图4是表示整体系统的功能块的图。

图5是表示整体系统的时序的图。

图6是表示运动特征量提取的处理流程的图。

图7是表示划分块的图像的图。

图8是表示运动特征量的数据结构的图。

图9是表示流动体区域提取流程的图。

图10是表示发生源计算流程的图。

图11是表示烟的特征量提取流程的图。

图12是表示实施方式1的显示画面。

图13是表示实施方式2的状态分析管理部的时序图。

图14是表示实施方式2的状态分析可否判断规则的数据结构图。

图15是表示实施方式2的计算状态分析可否的流程的图。

图16是表示实施方式3的时序的图。

图17是表示实施方式3的显示画面。

图18是表示实施方式4的整体系统的结构例的图。

具体实施方式

以下，参照附图说明应用了本发明的实施方式的烟检测系统1的例子。

<第一实施方式>

图1是表示应用本发明的第一实施方式的烟检测系统的整体结构例的图。

烟检测系统1包括：影像输入装置2；通过由LAN(Local Area Network：局域网)、WAN(Wide Area Network：广域网)、VPN(Virtual Private Network：虚拟专用网)等构成的网络4接收影像输入装置2的影像，通过检测烟来检测火灾的发生，并通知工作人员的火灾监视系统3。

此外，在本实施方式中，火灾监视系统3包括：分析影像来检测火灾的有无的流动体分析装置5和能够将监视影像和检测结果以画面或声音的形式通知给工作人员而通知火灾的消防监视装置6。以下，利用图2、图3、图4说明详细的结构。

图2是表示流动体分析装置5的硬件结构的图。流动体分析装置5由CPU(CentralProcessing Unit：中央处理器)17、存储器10、外部存储装置11、通信装置18和将它们连接的母线16构成。

CPU17是执行各种运算的单元。CPU17通过执行从外部存储装置11加载到存储器10的规定的程序，来执行各种处理。

存储器10保存由CPU17执行的程序、程序的执行所必须的数据。

外部存储装置11是用于存储数字信息的、所谓的硬盘(Hard Disk Drive)、SSD(Solid State Drive：固态硬盘)或闪存等的非易失性存储装置。外部存储装置11保存流动体分析程序12、作为默认数据的流动区域模型13、烟模型14、摄像机属性表15。

流动体分析程序12通过CPU17展开在存储器10中。展开的结果利用图4在后文中说明。流动区域模型13是表示用于区分流动体和流动体以外的概率分布的信息。烟模型14是用于使用有烟的影像和无烟的影像，为了判断有无烟而提取影像的特征量，作为训练数据(training data)输入到支持向量机，来构筑判断模型的信息。摄像机属性表15中保存有用于根据摄像机设置高度、视角和透镜的值来计算从监视影像的中心位置至摄像机的距离等的信息。

通信装置18进行以下处理，即：通过网络4接收影像输入装置2的影像的处理；将控制指令发送到影像输入装置2的处理；和将检测结果发送到消防监视装置6的处理。

图3是表示消防监视装置6的硬件结构的图。消防监视装置6由CPU(CentralProcessing Unit)26、存储器20、外部存储装置21、通信装置28、输出装置27和将它们连接的母线25构成。关于存储器20、CPU26和外部存储装置21，因为与图2的说明重复，所以省略说明。

消防监视程序22是用于显示影像输入装置2的影像、监视区域周边的地图和来自火灾检测装置的输出结果的程序。

地图数据23是表示监视区域的道路、建筑物、森林等地图信息的信息。消防监视程序22将这些信息发送到输出装置27。

火灾管理数据24是表示每个位置的森林的种类、火灾发生的情况的推测蔓延速度等的信息。

监视影像数据29中蓄积从影像输入装置2输入来的影像数据。

通信装置28经由网络4接收影像输入装置2的影像。同样地，接收火灾检测装置5的检测结果。

输出装置27显示影像输入装置2的影像、来自流动体分析装置5的火灾检测的结果等。例如，可以设想为CRT显示器、液晶显示器、投影仪等的影像显示装置。此外，也可以是影像显示装置以外的构成。例如，也可以是产生用于引起工作人员的注意的声音、振动、光等的装置。

图4是烟检测系统1的功能框图。影像输入装置2由影像取得部31和控制指令执行部32构成。影像取得部31使用CCD图像传感器和CMOS图像传感器进行监视区域的摄像。控制指令执行部32根据经由网络4接收到的PTZ(平移，倾斜和缩放)等的远程控制指令，控制影像输入装置2的方位、朝向、透镜的值，由此能够改变影像取得部31的摄像范围。

接着，说明流动体分析装置5的功能块。流动体分析装置5由影像输入部41、状态分析管理部45、运动特征量计算部42、流动区域提取部46、发生源推测部47、烟判断特征量提取部44、烟判断部48构成。

影像输入部41将经由通信装置18接收到的编码了的影像数据解码，转换成帧单位的图像。

状态分析管理部45使用所输入的影像，判断烟检测的可否。当判断为能够检测烟时，进行烟的有无的判断。当检测到烟时，经由通信装置18通知消防监视装置6。运动特征量计算部42进行关于输入的影像的运动的特征量的提取。流动区域提取部46除了影像中存在的车等的定形物体外，提取烟等的具有流动性的非定形物体的区域。发生源推测部47使用运动特征量和摄像机的属性数据表15的数据，推测烟等的流动体的发生源的坐标。烟判断特征量提取部44提取用于识别流动体是不是烟的特征量。烟判断部48使用烟判断特征量提取部44提取出的烟判断特征量，判断是否为烟。

接着，说明消防监视装置6的功能块。消防监视装置6由影像输入部50、消防计划生成部51、显示生成部52构成。影像输入部50具有与影像输入部41相同的功能。消防计划生成部51在检测到烟时，按照一定的规则，生成有助于消防活动和避难行动的信息。显示生成部52生成用于在画面上显示从影像输入部50接收到的影像和消防计划生成部51生成的信息的数据。

图5是表示烟检测系统1的全部处理时序的图。

首先，经由通信装置18所取得的被压缩了的影像通过前处理步骤S1转换为每一帧的图像，并发送到状态分析管理部45。接着，状态分析管理部45将当前的帧的图像发送到流动区域提取部46，请求流动区域的提取。流动区域提取部46向运动特征量计算部42请求运动特征量的计算，执行运动特征量计算步骤S2。运动特征量计算的流程的详细内容用图6在后文中说明。

运动特征量计算部42在运动特征量计算步骤S2完成之后，将所计算出的运动特征量发送到流动区域提取部42。流动区域提取部42在流动区域计算步骤S3中计算存在流动体的区域。计算方法的详细内容利用图9在后文说明。

在流动区域计算步骤S3完成之后，流动区域提取部42对于发生源计算部47请求流动体的发生源的计算，执行发生源计算步骤S4。详细内容利用图10在后文说明。

发生源计算部47将在步骤S4中计算出的发生源的位置信息发送到流动区域提取部42。流动区域提取部42将所计算出的流动区域的范围和发生源的信息发送到状态分析管理部45。状态分析管理部45使用接收到的信息计算是否是烟检测的时刻。将烟检测的时刻作为一例时，在流动体区域的面积为画面上20像素＊20像素以上的情况下，为能够检测烟。

此外，步骤S5的计算结果为能够进行有无烟判断的情况下，状态分析管理部45对烟判断部48指示烟有无的判断。烟判断部48接收到指示时，对烟特征量提取部44请求用于烟判断的烟判断特征量的提取。关于烟特征量提取部步骤S6-1的详细内容利用图11在后文说明。

通过流动体区域计算步骤S3，除去存在于监视影像中的鸟和行驶中的车等的非流动体的运动，具有避免因它们导致的误检测的效果。仅在能够进行烟检测的情况下，在当前的影像中执行烟有无的判断步骤S6。

通过步骤S6-1计算出的特征量被发送到烟判断部48，在步骤S6-2中，使用外部存储装置11的烟模型，将烟判断用支持向量机初始化，通过所取得的烟判断特征量能够判断烟的有无。此外，上述的烟判断方法是一个例子，也可以是从流动体提取的其它的特征量。

烟判断部48中的判断结果被发送到状态分析管理部45。在检测烟时，状态分析管理部45将火灾信息通过通信装置18通知给消防监视装置6，上述火灾信息包括流动体的位置信息、流动体的移动速度、发生源的位置信息和流动体是烟的信息。

消防监视装置6利用通信装置28接收从火灾检测装置5发送来的火灾信息时，显示生成部52在从影像输入部50接收到的监视影像中追加火灾信息作为警告画面，利用输出装置27提示火灾的信息。

图6是表示运动特征量提取的处理流程的图。

在运动特征量的计算步骤S2中，将输入图像分为多个块(S11)。块的形状和尺寸可以根据流动体的检测精度和检测速度改变。关于分为块的图像利用图7在后文说明。

当划分块的步骤S11完成之后，按每一块执行运动特征量提取操作S12。以下，说明S12的详细内容。

另外，计算出块内的特征点的运动轨迹(S13)。所谓特征点例如是图像中两个边缘的交点等的容易追踪的点。作为使用图像的特征点在多个帧中计算特征点的运动的方法，使用梯度法等方法，求出图像的光流(Optical Flow)。

接着，为了降低运动小的轨迹和噪声轨迹，以所计算出的全部的特征点的轨迹为对象，执行将一定长度以上的点和移动距离非常大的噪声的可能性高的轨迹过滤的步骤S14。

接着，使用特征点的位置信息，执行计算有运动的区域的面积的步骤S15。在步骤S15中，求出有运动的特征点所在区域的面积。这时，有运动的区域的面积以所在块的面积的比例为特征量。作为求出多个点分布的区域的方法，有求出全部的点的外接圆和外接矩形或者α-Shape的方法。

接着，执行计算出轨道的方向的分散度的步骤S16。在步骤S16中，计算出各轨迹的移动方向，输出与各轨迹的平均移动方向一致的轨迹的数量与轨迹的总数的比例。

接着，执行计算轨迹的直线度的步骤S17。在步骤S17中按每个轨迹计算出直线的程度。即，换言之，可以说计算出曲线的弯曲程度。

以全部的块为对象进行步骤S12的处理，将S15、S16、S17的计算结果作为运动特征量。

图7是表示划分为块的图像。

图7中将输入图像划分为3×3的相同尺寸的块。输入图像中，存在烟等的面积较大的图像区域64、包含尺寸较小的鸟的块62和包含移动中的车辆的块65。全部的块构成的区域63成为流动体区域检测的对象区域。在要求将图像的一部分作为检测对象时，通过使区域63比画面小能够应对。

图8是表示运动特征量的数据结构的图。具体而言，对于某帧的图像表示计算出运动特征的结果的一例。运动特征量70按每一块包括3个特征量。块ID70-1表示块的序号。面积的比例70-2、轨迹方向的分散度70-3、轨迹的直线度70-4分别是S15、S16、S17的计算结果。

此外，这里保存的值可以利用上述3个特征量中的一部分，也可以是表示其他的图像的运动的特征的特征量。

图9是表示流动体流动区域提取流程的图。在流动区域计算步骤S3中，首先，将保存在外部存储装置11的流动区域模型13加载到存储器10(S21)。

接着，进行读取块单位的流动体特征量(S22)的处理。

接着，关于所读取的特征量，使用流动区域模型，进行该块是否是流动体的判断(S23)。

在判断完成后，检验是否有未处理的块(S24)。

这里，当有未处理的块时，将处理对象移动至下一块，循环到S22的处理(S26)。

并且，当没有未处理块时，将全部的有流动体的块的区域信息合并作为流动体区域，输出流动体的位置信息和合计的面积信息(S25)。

图10是表示发生源计算流程的图。

在发生源计算步骤S4中，将保存在外部存储装置11的摄像机属性表15加载到存储器10中(S41)。

接着，读取摄像机当前的方向、朝向等的信息(S42)。

接着，使用摄像机属性表15和表示摄像机当前的状态的信息，计算从摄像机到烟的距离和烟的高度H(S43)。

接着，使用在步骤S43中计算出的到烟的距离，计算出流动体的平均横向移动速度Vx和平均上升速度Vy(步骤S44)。接着，用式d＝H/Vy×Vx计算发生源与流动体区域的水平距离(步骤S45)。这里，发生源的位置为与烟的横向移动方向相反的方向。

图11是表示烟的特征量提取的图。

在烟判断特征量提取步骤S6-1中，首先读取流动体的位置信息(步骤S31)。

接着，读取步骤S14中计算出的运动区域的轨迹信息(步骤S32)。

接着，为了避免流动体区域以外的物体的影响，在轨迹信息再过滤步骤中仅过滤并提取流动体区域的轨迹信息(步骤S33)。

接着，计算提取到的轨迹的终端的特征点的周边的HOG(Histogram of OrientedGradients：方向梯度方直图)(步骤S34)。

最后，提取出所提取的轨迹的每一帧的XY方向上的移动距离的时序(sequence)(步骤S35)。并且将所提取的HOG特征量和轨迹特征量作为影像的烟判断特征量。

图12是消防监视装置所表示的警告画面的一例。在警告画面81中，除了显示现场的影像和发现了烟这一消息以外，还显示烟的横向移动速度、上升速度信息、推测的起火点的箭头82和推测起火点与烟之间的路线83。

此外，在上述信息以外，消防监视装置在与天气信息提供系统和消防队员位置共享系统联合的情况下，也可以在画面上显示当地的气温和最快到达时间等的信息。

如上所述，依据第一实施方式，当通过影像分析检测烟时，即使由于森林或建筑物等而起火位置被隐藏，通过适当地提示起火位置，能够缩短工作人员发出灭火指示的时间，能够对火灾的早期应对有贡献。

<第二实施方式>

图13是关于应用本发明的第二实施方式的烟检测系统的状态分析管理部45的时序图。在第二实施方式中，由于基本处理与第一实施方式中的图5的处理时序基本相同，所以下文中仅说明差异。

状态分析可否计算步骤S5是利用状态分析可否规则进行烟检测的可否的计算的处理。利用图14在后文中说明关于状态分析可否规则的数据结构。

在能够进行状态分析的情况下，状态分析管理部45在步骤6中判断烟的有无。在不能进行状态分析的情况下，检查当前是否有摄像机工作指示。在有控制指示的情况下，经由通信装置18将工作指示发送到影像输入装置2(步骤S8)。

影像输入装置2的控制指令执行部32解释接收到的控制指令，改变输入装置2的方向、俯角、透镜等的参数(S9)。通过执行控制指令，输入装置2的影像取得部能够调整所取得的影像。

图14是表示状态分析可否规则的数据结构的图。状态分析可否规则90由多个规则构成。即，规则由条件ID90-1、条件详细内容90-2和摄像机工作指示90-3构成。条件ID90-1表示各规则的顺序。条件详细内容90-2表示该规则的条件内容。摄像机工作指示90-3表示在该规则不成立的情况下的、使影像输入装置移动的控制指令。

例如，当执行规则91和规则92时，在流动体的推测发生源处于监视区域以外的情况下，以使影像输入装置2向发生源的方向移动的方式进行控制。

图15是表示使用了状态分析可否规则90的状态分析可否计算步骤S5的分析可否计算流程的图。图13的状态分析可否计算步骤S5使用流动体区域的位置信息和流动体的推测发生源的信息，进行可否执行烟判断步骤S6的计算。

接着，加载状态分析可否规则90的第一个规则(S51)。

接着，使用输入信息，确认该规则是否成立，当规则成立时，检查是否存在下一个规则(S53)。

接着，确认是否存在下一个规则，当下一个规则存在时，循环(S54)到下一个规则的读取(S52)。

利用所读取的规则反复执行步骤S53，当执行了最后的规则之后，能够实现烟有无的分析(S55)。

在步骤S53中的规则不成立的情况下，检查是否有摄像机工作指示90-3(S56)。

当有摄像机工作指示时，输出该指示和不可进行状态分析的旨意(S57)。

在没有摄像机工作指示的情况下，仅输出不可进行状态分析这一指示(S58)。

<第三实施方式>

图16是关于应用了本发明的第三实施方式的烟检测系统的消防计划生成部51的时序图。在第三实施方式中，流动体分析装置5的处理流程与第一实施方式和第二实施方式相同，所以省略说明。在下文中仅说明消防计划生成部51的处理。

首先，消防计划生成部51在接收火灾的发生地和速度等的属性信息的情况下，从保存在外部存储装置21中的火灾管理数据24加载火灾发生源周边的燃烧属性等(步骤S61)。

接着，利用火灾的属性和发生源周边的燃烧属性等，计算蔓延的速度和蔓延的区域(步骤S62)。

接着，加载保存在外部存储装置21中的地图数据23(步骤S63)。

接着，利用地图信息中的住宅地的信息和在步骤S62中计算出的火灾的蔓延区域信息，进行避难区域的指定和避难路线的搜索(步骤S64)。

接着，利用蔓延的区域信息，并利用地图信息生成向起火地去的路线信息中的最快路线(步骤S65)。

接着，上述所生成的信息通过图像生成部52生成显示用画面数据(步骤S66)。

最后，显示用画面数据被发送到输出装置27，从而能够向工作人员提示(步骤S67)。

图17是关于第三实施方式的消防计划引导画面。在地图上除了显示起火部位104以外，还显示火灾的前进道路105和前进道路上危险性高的避难区域100。另外，在消防计划引导画面中显示用于表示迅速地从避难区域移动到安全的位置的避难方向的箭头102，和用于向起火部位去的最佳路线103。

如上所述，依据第三实施方式，当检测火灾时，消防监视装置使用从火灾检测装置得到的火灾的发生源和火灾的属性等，自动地进行避难区域指定、避难路线生成和灭火路线指定等工作，能够提高灭火工作的效率。

<第四实施方式>

图18是表示应用本发明的第四实施方式的烟检测系统的构成例的图。烟检测系统1-a中，影像输入装置2和火灾检测装置5经由网络4接收影像输入装置2的影像，检测烟，由此能够检测火灾的发生。另外，消防监视装置6经由包括WAN(Wide Area Network：广域网)、VPN(Virtual Private Network：虚拟专用网)等的网络4-a，能够确认影像输入装置2的监视影像和火灾检测装置5的检测结果。

根据第四实施方式，消防监视装置具有能够以较少的成本构建的效果。另外，多个部位的消防监视装置能够经由相同的火灾检测装置确认监视影像，或者接收警报。

此外，本发明并不限定于上述的实施例，可以包含各种各样的变形例。例如，上述的实施例是为了便于理解地说明本发明而详细地进行说明的例子，并不限定于具有所说明的全部的结构。另外。也可以将某实施例的结构的一部分置换为其它的实施例的结构，另外，也可以在某实施例的结构中追加其它的实施例的结构。另外，关于各个实施例的结构的一部分，也可以追加、删除、置换为其它的结构。

另外，至此所说明的各个实施方式中，影像输入装置2的台数也可以是多台。另外，火灾检测装置5和流动体检测装置6分别也可以是多台，装置之间协同工作，从而应对多个影像输入装置2。

另外，上述的影像输入装置2和火灾检测装置5的功能也可以是组装在同一硬件中的形式。

另外，上述各结构、功能、处理部等，其一部分或者全部例如通过用集成电路进行设计等而由硬件实现。另外，上述的实施方式的技术要素可以单独地应用，也可以分为程序部分和硬件部分这样的多个部分应用。

附图标记说明

2…影像输入装置、5…流动体检测装置、6…消防监视装置。

Claims (4)

1.一种流动体分析装置，其特征在于，包括：

输入由摄像机拍摄到的影像的图像输入单元；

从所输入的影像提取运动特征量的特征量提取单元；

基于所提取的运动特征量，提取流动体所存在的区域的流动体存在区域提取部；

从该提取出的区域推测火灾发生源的火灾发生源推测单元；和

将表示推测出的火灾发生源的信息输出至显示部的输出单元，

所述火灾发生源推测单元基于所述摄像机的设置高度、视角和透镜的值来计算所述流动体与该摄像机的距离和所述流动体的高度，并由此计算所述流动体的平均横向移动速度和平均上升速度，将计算出的所述流动体的高度除以所述平均上升速度的结果与所述平均横向移动速度相乘来计算所述火灾发生源与所述流动体所存在的区域的水平距离，并根据计算出的所述水平距离以及提取出的所述运动特征量来推测所述火灾发生源，

其中，所述火灾发生源的位置为与所述流动体的横向移动方向相反的方向。

2.如权利要求1所述的流动体分析装置，其特征在于：

在推测出的火灾发生源存在于所述摄像机的监视区域外的情况下，基于规定的规则控制所述摄像机。

3.如权利要求2所述的流动体分析装置，其特征在于：

所述控制是基于旋转和俯角变更的动作指令来改变拍摄范围的控制。

4.如权利要求1～3中任一项所述的流动体分析装置，其特征在于：

所述输出单元向所述显示部输出以所述火灾发生源为中心的蔓延区域、推荐的避难区域和表示用于向所述火灾发生源去的路线的信息。

Images