CN115278168A - 融合音视频的客运车站安全监测方法及装置 - Google Patents

Abstract

本发明提供一种融合音视频的客运车站安全监测方法及装置，涉及客运车站安全管理技术领域，该方法包括：响应于接收到客运车站的安全状态报警信息，根据安全状态报警信息确定安全事件发生区域的多个目标摄像头和客运车站数字孪生体上的目标监控区；获取设定时间段内多个目标摄像头的报警音视频数据，设定时间段基于安全状态报警信息指示的报警时间点确定；将多个目标摄像头的报警音视频数据在客运车站数字孪生体中融合，得到客运车站数字孪生体上的安全监测实景融合动图数据；在目标监控区显示安全监测实景融合动图数据。本发明提供的技术方案可以降低客运车站安全监测时工作人员的盯控强度，提高客运车站安全监测的便捷性和效率。

Description

融合音视频的客运车站安全监测方法及装置

技术领域

本发明涉及客运车站安全管理技术领域，尤其涉及一种融合音视频的客运车站安全监测方法及装置。

背景技术

客运车站作为重要的客流聚集地，具有点多、面广、人员密集和流动性大等特点，是保障旅客候车安全的重要区域。

相关技术中，客运车站通过实时的监控视频进行安全监测，在有安全事件发生的情况下，通过进行视频回放进行事件原因的调查。但由于监控视频多是单点管理，在视频回放时会给工作人员带来较大的盯控强度，安全监测不方便，效率低。

发明内容

针对现有技术存在的问题，本发明提供一种融合音视频的客运车站安全监测方法及装置，以在客运车站安全监测时降低工作人员的盯控强度，提高客运车站安全监测的便捷性和效率。

本发明提供一种融合音视频的客运车站安全监测方法，包括：

响应于接收到客运车站的安全状态报警信息，根据所述安全状态报警信息确定安全事件发生区域的多个目标摄像头和客运车站数字孪生体上的目标监控区；

获取设定时间段内所述多个目标摄像头的报警音视频数据，所述设定时间段基于所述安全状态报警信息指示的报警时间点确定；

将所述多个目标摄像头的报警音视频数据在所述客运车站数字孪生体中融合，得到所述客运车站数字孪生体上的安全监测实景融合动图数据；

在所述目标监控区显示所述安全监测实景融合动图数据。

根据本发明提供的一种融合音视频的客运车站安全监测方法，所述安全监测实景融合动图数据包括安全监测实景视频图像和安全监测音频数据；所述将所述多个目标摄像头的报警音视频数据在所述客运车站数字孪生体中融合，得到所述客运车站数字孪生体上的安全监测实景融合动图数据，包括：

从所述报警音视频数据中获取各所述目标摄像头在同一时刻的报警视频帧图像；

基于所述目标摄像头的位置信息对所述同一时刻的报警视频帧图像进行融合拼接，并将融合拼接结果在所述目标监控区与所述客运车站数字孪生体融合，得到所述客运车站数字孪生体上的所述安全监测实景视频图像；

从所述报警音视频数据中分离出各所述目标摄像头对应的报警音频数据，并生成所述报警音频数据对应的音频播放控件；

将所述音频播放控件与对应的报警音频数据关联，并将关联后的音频播放控件与所述客运车站数字孪生体在所述目标监控区融合，得到所述客运车站数字孪生体上的所述安全监测音频数据。

根据本发明提供的一种融合音视频的客运车站安全监测方法，所述在所述目标监控区显示所述安全监测实景融合动图数据包括：

基于所述目标摄像头的位置信息在所述目标监控区显示所述安全监测实景视频图像；

在所述目标监控区中各目标孪生摄像头的指定位置显示各所述目标孪生摄像头对应的所述音频播放控件，所述音频播放控件用于播放关联的报警音频数据，所述目标孪生摄像头为所述目标摄像头在所述客运车站数字孪生体上的映射。

根据本发明提供的一种融合音视频的客运车站安全监测方法，所述安全状态报警信息中包括报警点位置信息；所述基于所述安全状态报警信息确定安全事件发生区域的多个目标摄像头和客运车站数字孪生体上的目标监控区包括：

基于所述报警点位置信息确定安全事件发生区域在客运车站数字孪生体上的目标监控区；

获取所述目标监控区中的所有孪生摄像头距所述报警点位置信息所指示的报警点位置的距离；

对所述距离进行从小到大的排序，并将排序结果中的前预设数量个距离对应的孪生摄像头确定为目标孪生摄像头；

将客运车站内与所述目标孪生摄像头相映射的摄像头确定为目标摄像头。

根据本发明提供的一种融合音视频的客运车站安全监测方法，所述获取设定时间段内所述多个目标摄像头的报警音视频数据包括：

获取所述安全状态报警信息指示的报警时间点；

获取所述报警时间点前第一预设时间段内及所述报警时间点后第二预设时间段内所述目标摄像头的报警音视频数据。

根据本发明提供的一种融合音视频的客运车站安全监测方法，还包括：

响应于接收到所述安全状态报警信息，向巡检人员的巡检终端设备发送安全事件处置消息，所述安全事件处置消息指示所述安全事件发生区域的位置；

响应于接收到所述巡检终端设备发送的所述巡检人员到达所述安全事件发生区域的位置的确认消息，确定所述巡检人员到达所述安全事件发生区域的位置的时间，得到安全事件处置时间；

基于所述安全事件处置时间获取所述多个目标摄像头的安全事件处置音视频数据；

保存所述安全事件处置音视频数据。

根据本发明提供的一种融合音视频的客运车站安全监测方法，在所述基于所述安全事件处置时间获取所述多个目标摄像头的安全事件处置音视频数据之后，所述方法还包括：

将所述安全事件处置音视频数据在所述客运车站数字孪生体中融合，得到安全事件处置实景融合动图数据；

在所述目标监控区显示所述安全事件处置实景融合动图数据。

根据本发明提供的一种融合音视频的客运车站安全监测方法，所述方法还包括：

获取客运车站内除所述目标摄像头以外的所有非目标摄像头在所述报警时间点的视频帧图像；

对所述视频帧图像进行融合拼接，得到待处理监测图像；

基于所述报警时间点将所述待处理监测图像与所述报警音视频数据在所述客运车站数字孪生体中的融合结果进行融合，得到所述客运车站数字孪生体上的客运车站全站安全监测实景融合动图数据。

根据本发明提供的一种融合音视频的客运车站安全监测方法，所述方法还包括：

将所述客运车站全站安全监测实景融合动图数据沿设定的客运车站数字孪生体展开角度展开为一张平面图，并保存所述平面图；

或者，将所述客运车站全站安全监测实景融合动图数据按照三维图格式保存。

本发明还提供一种融合音视频的客运车站安全监测装置，包括：

确定模块，用于响应于接收到客运车站的安全状态报警信息，根据所述安全状态报警信息确定安全事件发生区域的多个目标摄像头和客运车站数字孪生体上的目标监控区；

获取模块，用于获取设定时间段内所述多个目标摄像头的报警音视频数据，所述设定时间段基于所述安全状态报警信息指示的报警时间点确定；

融合模块，用于将所述多个目标摄像头的报警音视频数据在所述客运车站数字孪生体中融合，得到所述客运车站数字孪生体上的安全监测实景融合动图数据；

显示模块，用于在所述目标监控区显示所述安全监测实景融合动图数据。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述融合音视频的客运车站安全监测方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述融合音视频的客运车站安全监测方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述融合音视频的客运车站安全监测方法。

本发明提供的融合音视频的客运车站安全监测方法及装置，在接收到客运车站的安全状态报警信息时可以确定安全事件发生区域的多个目标摄像头和客运车站数字孪生体上的目标监控区，获取基于报警时间点确定的设定时间段内该多个目标摄像头的报警音视频数据，并将这多个目标摄像头的报警音视频数据在客运车站数字孪生体中进行融合，可以形成客运车站数字孪生体上的安全监测实景融合动图数据并显示在客运车站数字孪生体的目标监控区。这样，可以基于客运车站数字孪生体将安全事件发生区域的多个目标摄像头的报警音视频数据融合在一起，通过融合可以将所有目标摄像头的视频图像形成为一张实景融合动图，在目标监控区通过一张实景融合动图便可统揽安全事件发生区域的视频，降低了工作人员的盯控强度，提高了客运车站安全监测的便捷性和效率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的融合音视频的客运车站安全监测方法的流程示意图；

图2是本发明提供的在客运车站数字孪生体中融合多个目标摄像头的报警音视频数据以得到安全监测实景融合动图数据的方法的流程示意图；

图3是本发明提供的融合音视频的客运车站安全监测方法中处置安全事件的方法的流程示意图；

图4是本发明提供的融合音视频的客运车站安全监测装置的结构示意图；

图5是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

客运车站是客流量较大、旅客较聚集的场所，因而也更容易发生安全事件，对客运车站的安全进行监测也便显得至关重要。相关技术中，客运车站的安全监测通常是通过客运车站内的摄像头实时采集的视频进行监控，当发生安全事件后，通过视频回溯来调查事件成因。但视频多是单点管理，在视频回放时，不能统揽全局，给工作人员带来了较大的盯控强度，安全监测不方便，效率低。

基于此，本发明实施例提供了一种融合音视频的客运车站安全监测方法，可以在接收到客运车站的安全状态报警信息的情况下，根据安全状态报警信息确定安全事件发生区域的多个目标摄像头和客运车站数字孪生体上的目标监控区，基于报警时间点确定设定时间段并获取该设定时间段内多个目标摄像头的报警音视频数据，将该多个目标摄像头的报警音视频数据在客运车站数字孪生体中融合，得到客运车站数字孪生体上的安全监测实景融合动图数据，然后在目标监控区显示安全监测实景融合动图数据。

下面结合图1-图3对本发明的融合音视频的客运车站安全监测方法进行描述。该融合音视频的客运车站安全监测方法可以应用于服务器、手机、电脑等电子设备，也可以应用于设置在服务器、手机、电脑等电子设备中的融合音视频的客运车站安全监测装置中，该融合音视频的客运车站安全监测装置可以通过软件、硬件或两者的结合来实现。下面以应用于电子设备为例进行说明。

图1示例性示出了本发明实施例提供的融合音视频的客运车站安全监测方法的流程示意图，参照图1所示，该融合音视频的客运车站安全监测方法可以包括如下的步骤110～步骤140。

步骤110：响应于接收到客运车站的安全状态报警信息，根据安全状态报警信息确定安全事件发生区域的多个目标摄像头和客运车站数字孪生体上的目标监控区。

数字孪生是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，建立一个与真实空间运行性能完全一致且能够实现实时仿真的仿真模型。可以利用安装在真实世界实体设备或系统上的传感器采集的数据作为该仿真模型的边界条件，实现真实世界系统与数字世界系统的同步运行，从而反映出对应实体装备或系统的全生命周期过程。

基于此，在本发明实施例中，可以建立客运车站数字孪生体，将物理世界的客运车站映射到数字世界，在数字世界实现客运车站安全监测。示例性的，可以获取客运车站的三维实景点云数据，将该三维实景点云数据孪生为客运车站数字孪生体，该客运车站数字孪生体中可以包括客运车站的站房、站房内各类设施和设备等的数字孪生体。示例性的，电子设备的显示屏上可以显示该客运车站数字孪生体。

在本发明实施例中，电子设备可以接收客运车站的旅客服务与生产管控平台的信息，在接收到的信息是安全状态报警信息的情况下，电子设备可以根据该安全状态报警信息确定安全事件发生区域的多个目标摄像头和客运车站数字孪生体上的目标监控区。比如，安全状态报警信息中可以包括报警点位置信息，电子设备在接收到该安全状态报警信息时，可以根据其中的报警点位置信息在客运车站数字孪生体上映射出目标监控区，该目标监控区即为发生安全事件的区域，可以在该目标监控区输出报警提示信息，比如可以是输出报警提示音、报警灯亮、报警图标闪烁和输出报警文字等其中的至少一个，但不限于此。示例性的，电子设备可以基于报警点位置信息确定安全事件发生区域在客运车站数字孪生体上的区域位置信息，根据该区域位置信息确定客运车站数字孪生体上的目标监控区。

同时，电子设备可以根据报警点位置信息，获取安全事件发生区域内与该报警点位置信息所指示位置距离最近的预设数量个摄像头作为目标摄像头，比如距离最近的至少三个周边摄像头作为目标摄像头，可以较好的定位到安全事件发生区域，以便从多个角度较全面的获取安全事件发生区域内的视频。

步骤120：获取设定时间段内多个目标摄像头的报警音视频数据，该设定时间段基于安全状态报警信息指示的报警时间点确定。

安全状态报警信息可以指示报警时间点，基于该报警时间点可以确定需要获取目标摄像头的哪一段报警音视频数据，比如可以基于该报警时间点确定一设定时间段，获取该设定时间段内各目标摄像头的报警音视频数据。

例如，在接收到安全状态报警信息进行报警时，可以获取报警时间点前第一预设时间段内及报警时间点后第二预设时间段内目标摄像头的报警音视频数据，比如获取报警时间点前5秒及报警时间点后10秒共15秒的报警音视频数据。示例性的，第一预设时间段和第二预设时间段可以相同，也可以不同。可以理解的是，报警时间点是设定时间段内的一个时间点，这样，可以完整的获取到报警前后的报警音视频数据，以便对安全事件原因进行全面的分析。

步骤130：将多个目标摄像头的报警音视频数据在客运车站数字孪生体中融合，得到客运车站数字孪生体上的安全监测实景融合动图数据。

获取到各目标摄像头的报警音视频数据后，可以将这些报警音视频数据在客运车站数字孪生体中融合，比如在客运车站数字孪生体的目标监控区进行融合，得到客运车站数字孪生体上的安全监测实景融合动图数据。

报警音视频数据中包括报警音频数据和报警视频图像。示例性的，电子设备可以将各目标摄像头的报警视频图像在客运车站数字孪生体中融合，比如，可以将各目标摄像头的报警视频图像中同一时刻的报警视频帧图像在客运车站数字孪生体中进行融合拼接，得到客运车站数字孪生体上的安全监测实景视频图像，通过融合拼接得到的该安全监测实景视频图像为一张可动图，能够在一张图上以视频流的形式动态显示安全事件发生区域中的安全事件的发生过程，便于分析安全事件的前因后果，降低工作人员盯控强度。

示例性的，电子设备还可以生成各目标摄像头的报警音频数据对应的音频播放控件，将各音频播放控件在客运车站数字孪生体中融合，比如可以将各音频播放控件映射到客运车站数字孪生体中对应目标孪生摄像头所在的位置附近，比如所在位置的设定距离处，该目标孪生摄像头为目标摄像头在客运车站数字孪生体上的映射。其中的音频播放控件与对应的报警音频数据关联，当点击某一个音频播放控件时，可以播放该音频播放控件关联的报警音频数据。通过将各目标摄像头采集的报警音频数据单独分离并提供各自对应的音频播放控件，可以单独播放各报警音频数据而不受其他报警音频数据的影响，提高了安全事件原因分析的准确性和效率，操作便捷。示例性的，对于每一条报警音频数据，可以进行环境声音降噪和重点声音增益处理，提高报警音频数据的质量。

步骤140：在目标监控区显示安全监测实景融合动图数据。

得到安全监测实景融合动图数据后，可以在客运车站数字孪生体的目标监控区进行显示。可以理解的是，该目标监控区是客运车站数字孪生体中的一个三维空间区域，安全监测实景融合动图数据中可以包括动态的安全监测实景视频图像和报警音频数据的音频播放控件，该安全监测实景视频图像和音频播放控件会以三维空间的显示方式显示在三维的目标监控区。

本发明实施例提供的融合音视频的客运车站安全监测方法，在接收到客运车站的安全状态报警信息时可以确定安全事件发生区域的多个目标摄像头和客运车站数字孪生体上的目标监控区，获取基于报警时间点确定的设定时间段内该多个目标摄像头的报警音视频数据，并将这多个目标摄像头的报警音视频数据在客运车站数字孪生体中进行融合，可以形成客运车站数字孪生体上的安全监测实景融合动图数据并显示在客运车站数字孪生体的目标监控区。一方面，可以基于客运车站数字孪生体将安全事件发生区域的多个目标摄像头的报警音视频数据融合在一起，通过融合可以将所有目标摄像头的视频图像形成为一张实景融合动图，在目标监控区通过一张实景融合动图便可统揽安全事件发生区域的视频，降低了工作人员的盯控强度，提高了客运车站安全监测的便捷性和效率。另一方面，基于客运车站数字孪生体的三维特点，对于客运车站任意发生安全事件的区域，都可以通过转动客运车站数字孪生体将该区域转动到电子设备显示屏幕的正视角下或工作人员所需的视角下，便于工作人员查看任意安全事件的发生过程，以便分析安全事件发生的前因后果，作出针对性的处置方案。

基于图1对应实施例的融合音视频的客运车站安全监测方法，在一种示例实施例中，安全状态报警信息中可以包括报警点位置信息，基于安全状态报警信息确定安全事件发生区域的多个目标摄像头和客运车站数字孪生体上的目标监控区可以包括：基于报警点位置信息确定安全事件发生区域在客运车站数字孪生体上的目标监控区；获取目标监控区中的所有孪生摄像头距报警点位置信息所指示的报警点位置的距离；对距离进行从小到大的排序，并将排序结果中的前预设数量个距离对应的孪生摄像头确定为目标孪生摄像头；将客运车站内与目标孪生摄像头相映射的摄像头确定为目标摄像头。

具体的，安全状态报警信息中的报警点位置信息可以对应于客运车站的一个区域范围，该区域范围可以映射到客运车站数字孪生体上的一个对应区域，得到目标监控区。该目标监控区中包括与报警点位置信息指示的安全事件发生区域内的各摄像头对应的孪生摄像头，报警点位置信息在客运车站数字孪生体上有对应的报警点位置，可以计算目标监控区中的所有孪生摄像头距该报警点位置的距离，基于该举例确定出目标摄像头，比如，可以将距离最近的三个摄像头确定为目标摄像头。

这样，通过确定客运车站数字孪生体上的目标监控区，可以在客运车站数字孪生体上定位安全事件发生的区域，可以在该区域进行报警提示；通过将安全事件发生区域内离报警点位置较近的预设数量个摄像头确定为目标摄像头，比如至少三个，可以定位出安全事件发生区域较全面的音视频数据。

基于图1对应实施例的方法，在一种示例实施例中，目标摄像头可以选择至少三个，通过安全事件发生区域的至少三个不同位置的摄像头可以较好地定位该安全事件发生区域，采集到该安全事件发生区域较全面的音视频数据。示例性的，图2示出了本发明实施例提供的在客运车站数字孪生体中融合多个目标摄像头的报警音视频数据以得到安全监测实景融合动图数据的方法的流程示意图，该安全监测实景融合动图数据可以包括安全监测实景视频图像和安全监测音频数据。参照图2所示，该方法可以包括如下的步骤210～步骤240，也即上述的步骤130可以包括如下的步骤210～步骤240。

步骤210：从报警音视频数据中获取各目标摄像头在同一时刻的报警视频帧图像。

各目标摄像头分布在安全事件发生区域的不同位置，可以从不同角度采集安全事件发生区域的音视频数据。

步骤220：基于目标摄像头的位置信息对同一时刻的报警视频帧图像进行融合拼接，并将融合拼接结果在目标监控区与客运车站数字孪生体融合，得到客运车站数字孪生体上的安全监测实景视频图像。

在同一时刻，各目标摄像头的报警视频帧图像可以反映该时刻的事件情况，可以基于目标摄像头的位置信息对同一时刻的报警视频帧图像进行融合拼接。在融合拼接过程中，对于同一时刻两个目标摄像头的报警视频帧图像，假设两者有重叠的图像元素，则可以将这两帧报警视频帧图像中重叠的部分融合为一体，比如保留其中一个的图像元素而舍弃另一个，没有重叠的部分保持原状，以此可以将两帧报警视频帧图像融合拼接在一起，进而实现同一时刻所有目标摄像头的报警视频帧图像的融合。其中，目标摄像头的位置信息可以确定各目标摄像头的报警视频帧图像之间的位置关系。

步骤230：从报警音视频数据中分离出各目标摄像头对应的报警音频数据，并生成报警音频数据对应的音频播放控件。

步骤240：将音频播放控件与对应的报警音频数据关联，并将关联后的音频播放控件与客运车站数字孪生体在目标监控区融合，得到客运车站数字孪生体上的安全监测音频数据。

每个目标摄像头采集的报警音频数据关联有一个音频播放控件，可以将该音频播放控件与客运车站数字孪生体在目标监控区融合，比如融合到目标监控区中对应的目标孪生摄像头的指定位置，该指定位置比如可以是目标孪生摄像头附近设定距离的位置。

这样，当在客运车站数字孪生体上点击某一个音频播放控件时，可以播放该音频播放控件关联的报警音频数据，方便工作人员根据需要选择播放，以便根据采集的报警音频数据分析安全事件的前因后果。

相应的，在一种示例实施例中，在目标监控区显示安全监测实景融合动图数据可以包括：基于目标摄像头的位置信息在目标监控区显示安全监测实景视频图像；在目标监控区中各目标孪生摄像头的指定位置显示各目标孪生摄像头对应的音频播放控件，该音频播放控件可以用于播放关联的报警音频数据，该目标孪生摄像头为目标摄像头在客运车站数字孪生体上的映射。

基于图1对应实施例的方法，在一种示例实施例中，获取设定时间段内多个目标摄像头的报警音视频数据可以包括：获取安全状态报警信息指示的报警时间点；获取报警时间点前第一预设时间段内及报警时间点后第二预设时间段内目标摄像头的报警音视频数据。

比如，可以以报警时间点为基点，获取各目标摄像头报警时间点前10秒和报警时间点后10秒共计20秒的报警音视频数据，这样，可以较完整的获取到报警前后的报警音视频数据，以便对安全事件原因进行全面的分析。

一种示例实施例中，对于客运车站内其他的摄像头，可以仅融合这些摄像头报警时间点的单帧报警视频图像。具体的，在接收到安全状态报警信息的情况下，本发明实施例提供的融合音视频的客运车站安全监测方法还可以包括：获取客运车站内除目标摄像头以外的所有非目标摄像头在报警时间点的视频帧图像；对该视频帧图像进行融合拼接，得到待处理监测图像；基于报警时间点将待处理监测图像与报警音视频数据在客运车站数字孪生体中的融合结果进行融合，得到客运车站数字孪生体上的客运车站全站安全监测实景融合动图数据。

通过将客运车站内除目标摄像头以外的所有非目标摄像头在报警时间点的视频帧图像在客运车站数字孪生体中与报警音视频数据一起融合，可以在客运车站数字孪生体中形成全站一张可动图，通过这一张动图便可以实时记录客运车站的全貌，而且，在目标监控区内可以以视频流的形式动态显示安全事件发生区域的报警视频数据，对客运车站安全事件的前因后果进行了重点记录，降低了工作人员的盯控强度，可以便捷统揽全局，为客运车站安全提供了保障。

一种示例实施例中，获得客运车站全站安全监测实景融合动图数据之后，可以对该客运车站全站安全监测实景融合动图数据进行保存。比如可以按时间、事件、地点等信息形成文件名进行保存。示例性的，客运车站全站安全监测实景融合动图数据的保存形式可以是按照客运车站数字孪生体的各个角度展开成为一张平面图进行保存，在该平面图中可以包含客运车站数字孪生体与动静态的视频图像，也可以是利用客运车站数字孪生体进行查看的三维图。

具体的，电子设备可以将客运车站全站安全监测实景融合动图数据沿设定的客运车站数字孪生体展开角度展开为一张平面图，并保存该平面图；或者，将客运车站全站安全监测实景融合动图数据按照三维图格式保存。

基于图1对应实施例的方法，在一种示例实施例中，电子设备接收到安全状态报警信息后，可以第一时间通知客运车站内的巡检人员进行安全事件的处置，巡检人员到达安全事件发生区域后，可以通过其随身携带的巡检终端设备向电子设备发送到大该位置的确认消息，电子设备接收到该确认消息后，再次调取目标摄像头采集的音视频数据进行融合显示和保存，比如可以调取巡检人员到达安全事件发生区域位置前的第三预设时间段及之后直至确认处置结束这段时间段内的音视频数据。

具体的，图3示例性示出了本发明实施例提供的融合音视频的客运车站安全监测方法中处置安全事件的方法的流程示意图，参照图3所示，该方法可以包括如下的步骤310～340。

步骤310：响应于接收到安全状态报警信息，向巡检人员的巡检终端设备发送安全事件处置消息，安全事件处置消息指示安全事件发生区域的位置。

电子设备在接收到安全状态报警信息的情况下，还可以向客运车站内的巡检人员的巡检终端设备发送安全事件处置消息，通过该安全事件处置消息向巡检人员指示安全事件发生区域的位置。

示例性的，电子设备可以根据安全事件发生区域的位置信息确定目标巡检人员，然后向该目标巡检人员的巡检终端设备发送安全事件处置消息。比如可以将当前处在安全事件发生区域内的至少一个巡检人员确定为目标巡检人员，或将当前离安全事件发生区域最近的至少一个巡检人员确定为目标巡检人员。

步骤320：响应于接收到巡检终端设备发送的巡检人员到达安全事件发生区域的位置的确认消息，确定巡检人员到达安全事件发生区域的位置的时间，得到安全事件处置开始时间。

巡检人员到达安全事件发生区域的位置后，可以通过巡检终端设备向电子设备发送到达安全事件发生区域的位置的确认消息，电子设备接收到该确认消息后，可以基于该确认消息确定安全事件处置时间，即开始处置安全事件的时间。比如可以将接收到该确认消息的时间点确定为安全事件处置时间，或者将巡检人员在巡检终端设备上确认到达安全事件发生区域的位置的时刻确定为安全事件处置时间。

步骤330：基于安全事件处置时间获取多个目标摄像头的安全事件处置音视频数据。

示例性的，可以获取安全事件处置时间前第三预设时间段及安全事件处置时间至处置结束时间之间的安全事件处置音视频数据，其中的处置结束时间可以是电子设备接收到巡检终端设备发送的处置结束消息的时间。比如，可以获取安全事件处置时间前10秒以及安全事件处置时间至巡检人员在巡检终端设备上确认处置结束的这段时间段内的安全事件处置音视频数据。这样，可以获取到巡检人员处置安全事件的较完整的音视频数据。

步骤340：保存安全事件处置音视频数据。

获取到安全事件处置音视频数据之后，可以保存该安全事件处置音视频数据。示例性的，还可以在客运车站数字孪生体中对该安全事件处置音视频数据进行融合并显示。具体的，可以将安全事件处置音视频数据在客运车站数字孪生体中融合，得到安全事件处置实景融合动图数据；然后在目标监控区显示安全事件处置实景融合动图数据。该融合过程可参照报警音视频数据的融合过程，此处不再赘述。

基于上述各实施例的方法，在本发明的一种示例实施例中，该融合音视频的客运车站安全监测方法还可以实时读取当前客运车站内的工作人员信息、车站设备信息和车站业务信息等中的至少一个客运车站运行状态信息，并与客运车站数字孪生体上的对应区域进行关联。具体的，电子设备可以通过客运车站数字孪生体模块实时获取客运车站运行状态信息，将该客运车站运行状态信息与客运车站数字孪生体关联映射。其中的车站业务信息比如可以包括车次信息、人流量信息、车辆到站信息等其中的至少一项，但不限于此。

一种示例实施例中，电子设备在接收到安全状态报警信息时，或者在接收到巡检终端设备发送的巡检人员到达安全事件发生区域的位置的确认消息时，可以在客运车站数字孪生体中显示客运车站运行状态信息。具体的，客运车站运行状态信息中的每一个信息可以在客运车站数字孪生体的关联映射位置进行显示。

下面对本发明提供的融合音视频的客运车站安全监测装置进行描述，下文描述的融合音视频的客运车站安全监测装置与上文描述的融合音视频的客运车站安全监测方法可相互对应参照。

图4示例性示出了本发明实施例提供的融合音视频的客运车站安全监测装置的结构示意图，参照图4所示，融合音视频的客运车站安全监测装置400可以包括确定模块410、获取模块420、融合模块430和显示模块440。其中：确定模块410可以用于响应于接收到客运车站的安全状态报警信息，根据安全状态报警信息确定安全事件发生区域的多个目标摄像头和客运车站数字孪生体上的目标监控区；获取模块420可以用于获取设定时间段内多个目标摄像头的报警音视频数据，设定时间段基于安全状态报警信息指示的报警时间点确定；融合模块430可以用于将多个目标摄像头的报警音视频数据在客运车站数字孪生体中融合，得到客运车站数字孪生体上的安全监测实景融合动图数据；显示模块440可以用于在目标监控区显示安全监测实景融合动图数据。

一种示例实施例中，目标摄像头为至少三个，融合模块430可以包括：第一获取单元，用于从报警音视频数据中获取各目标摄像头在同一时刻的报警视频帧图像；第一融合单元，用于基于目标摄像头的位置信息对同一时刻的报警视频帧图像进行融合拼接，并将融合拼接结果在目标监控区与客运车站数字孪生体融合，得到客运车站数字孪生体上的安全监测实景视频图像；分离单元，用于从报警音视频数据中分离出各目标摄像头对应的报警音频数据，并生成报警音频数据对应的音频播放控件；第二融合单元，用于将音频播放控件与对应的报警音频数据关联，并将关联后的音频播放控件与客运车站数字孪生体在目标监控区融合，得到客运车站数字孪生体上的安全监测音频数据。

一种示例实施例中，显示模块440可以包括：第一显示单元，用于基于目标摄像头的位置信息在目标监控区显示安全监测实景视频图像；第二显示单元，用于在目标监控区中各目标孪生摄像头的指定位置显示各目标孪生摄像头对应的音频播放控件，该音频播放控件用于播放关联的报警音频数据，目标孪生摄像头为目标摄像头在客运车站数字孪生体上的映射。

一种示例实施例中，安全状态报警信息中包括报警点位置信息；确定模块410可以包括：第一确定单元，用于基于报警点位置信息确定安全事件发生区域在客运车站数字孪生体上的目标监控区；第二获取单元，用于获取目标监控区中的所有孪生摄像头距报警点位置信息所指示的报警点位置的距离；第二确定单元，用于对距离进行从小到大的排序，并将排序结果中的前预设数量个距离对应的孪生摄像头确定为目标孪生摄像头；第三确定单元，用于将客运车站内与目标孪生摄像头相映射的摄像头确定为目标摄像头。

一种示例实施例中，获取模块420可以包括：第三获取单元，用于获取安全状态报警信息指示的报警时间点；第四获取单元，用于获取报警时间点前第一预设时间段内及报警时间点后第二预设时间段内目标摄像头的报警音视频数据。

一种示例实施例中，融合音视频的客运车站安全监测装置400还可以包括发送模块和保存模块。具体的，发送模块可以用于响应于接收到安全状态报警信息，向巡检人员的巡检终端设备发送安全事件处置消息，安全事件处置消息指示安全事件发生区域的位置；确定模块410还可以用于响应于接收到巡检终端设备发送的巡检人员到达安全事件发生区域的位置的确认消息，确定巡检人员到达安全事件发生区域的位置的时间，得到安全事件处置时间；获取模块420还可以用于基于安全事件处置时间获取多个目标摄像头的安全事件处置音视频数据；保存模块可以用于保存安全事件处置音视频数据。

一种示例实施例中，融合模块430还可以用于将安全事件处置音视频数据在客运车站数字孪生体中融合，得到安全事件处置实景融合动图数据；显示模块440还可以用于在目标监控区显示安全事件处置实景融合动图数据。

一种示例实施例中，获取模块420还可以用于获取客运车站内除目标摄像头以外的所有非目标摄像头在报警时间点的视频帧图像；融合模块430还可以用于对该视频帧图像进行融合拼接，得到待处理监测图像，基于报警时间点将待处理监测图像与报警音视频数据在客运车站数字孪生体中的融合结果进行融合，得到客运车站数字孪生体上的客运车站全站安全监测实景融合动图数据。

一种示例实施例中，融合音视频的客运车站安全监测装置400还可以包括：保存模块，用于将客运车站全站安全监测实景融合动图数据沿设定的客运车站数字孪生体展开角度展开为一张平面图，并保存该平面图；或者，将客运车站全站安全监测实景融合动图数据按照三维图格式保存。

图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备500可以包括：处理器(processor)510、通信接口(Communication Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行上述各方法实施例提供的融合音视频的客运车站安全监测方法，该方法可以包括：响应于接收到客运车站的安全状态报警信息，根据安全状态报警信息确定安全事件发生区域的多个目标摄像头和客运车站数字孪生体上的目标监控区；获取设定时间段内多个目标摄像头的报警音视频数据，设定时间段基于安全状态报警信息指示的报警时间点确定；将多个目标摄像头的报警音视频数据在客运车站数字孪生体中融合，得到客运车站数字孪生体上的安全监测实景融合动图数据；在目标监控区显示安全监测实景融合动图数据。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法实施例所提供的融合音视频的客运车站安全监测方法，该方法可以包括：响应于接收到客运车站的安全状态报警信息，根据安全状态报警信息确定安全事件发生区域的多个目标摄像头和客运车站数字孪生体上的目标监控区；获取设定时间段内多个目标摄像头的报警音视频数据，设定时间段基于安全状态报警信息指示的报警时间点确定；将多个目标摄像头的报警音视频数据在客运车站数字孪生体中融合，得到客运车站数字孪生体上的安全监测实景融合动图数据；在目标监控区显示安全监测实景融合动图数据。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法实施例所提供的融合音视频的客运车站安全监测方法，该方法可以包括：响应于接收到客运车站的安全状态报警信息，根据安全状态报警信息确定安全事件发生区域的多个目标摄像头和客运车站数字孪生体上的目标监控区；获取设定时间段内多个目标摄像头的报警音视频数据，设定时间段基于安全状态报警信息指示的报警时间点确定；将多个目标摄像头的报警音视频数据在客运车站数字孪生体中融合，得到客运车站数字孪生体上的安全监测实景融合动图数据；在目标监控区显示安全监测实景融合动图数据。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种融合音视频的客运车站安全监测方法，其特征在于，包括：

响应于接收到客运车站的安全状态报警信息，根据所述安全状态报警信息确定安全事件发生区域的多个目标摄像头和客运车站数字孪生体上的目标监控区；

获取设定时间段内所述多个目标摄像头的报警音视频数据，所述设定时间段基于所述安全状态报警信息指示的报警时间点确定；

将所述多个目标摄像头的报警音视频数据在所述客运车站数字孪生体中融合，得到所述客运车站数字孪生体上的安全监测实景融合动图数据；

在所述目标监控区显示所述安全监测实景融合动图数据。

2.根据权利要求1所述的融合音视频的客运车站安全监测方法，其特征在于，所述安全监测实景融合动图数据包括安全监测实景视频图像和安全监测音频数据；所述将所述多个目标摄像头的报警音视频数据在所述客运车站数字孪生体中融合，得到所述客运车站数字孪生体上的安全监测实景融合动图数据，包括：

从所述报警音视频数据中获取各所述目标摄像头在同一时刻的报警视频帧图像；

基于所述目标摄像头的位置信息对所述同一时刻的报警视频帧图像进行融合拼接，并将融合拼接结果在所述目标监控区与所述客运车站数字孪生体融合，得到所述客运车站数字孪生体上的所述安全监测实景视频图像；

从所述报警音视频数据中分离出各所述目标摄像头对应的报警音频数据，并生成所述报警音频数据对应的音频播放控件；

将所述音频播放控件与对应的报警音频数据关联，并将关联后的音频播放控件与所述客运车站数字孪生体在所述目标监控区融合，得到所述客运车站数字孪生体上的所述安全监测音频数据。

3.根据权利要求2所述的融合音视频的客运车站安全监测方法，其特征在于，所述在所述目标监控区显示所述安全监测实景融合动图数据包括：

基于所述目标摄像头的位置信息在所述目标监控区显示所述安全监测实景视频图像；

在所述目标监控区中各目标孪生摄像头的指定位置显示各所述目标孪生摄像头对应的所述音频播放控件，所述音频播放控件用于播放关联的报警音频数据，所述目标孪生摄像头为所述目标摄像头在所述客运车站数字孪生体上的映射。

4.根据权利要求1至3任一项所述的融合音视频的客运车站安全监测方法，其特征在于，所述安全状态报警信息中包括报警点位置信息；所述基于所述安全状态报警信息确定安全事件发生区域的多个目标摄像头和客运车站数字孪生体上的目标监控区包括：

基于所述报警点位置信息确定安全事件发生区域在客运车站数字孪生体上的目标监控区；

获取所述目标监控区中的所有孪生摄像头距所述报警点位置信息所指示的报警点位置的距离；

对所述距离进行从小到大的排序，并将排序结果中的前预设数量个距离对应的孪生摄像头确定为目标孪生摄像头；

将客运车站内与所述目标孪生摄像头相映射的摄像头确定为目标摄像头。

5.根据权利要求1至3任一项所述的融合音视频的客运车站安全监测方法，其特征在于，所述获取设定时间段内所述多个目标摄像头的报警音视频数据包括：

获取所述安全状态报警信息指示的报警时间点；

获取所述报警时间点前第一预设时间段内及所述报警时间点后第二预设时间段内所述目标摄像头的报警音视频数据。

6.根据权利要求1至3任一项所述的融合音视频的客运车站安全监测方法，其特征在于，还包括：

响应于接收到所述安全状态报警信息，向巡检人员的巡检终端设备发送安全事件处置消息，所述安全事件处置消息指示所述安全事件发生区域的位置；

响应于接收到所述巡检终端设备发送的所述巡检人员到达所述安全事件发生区域的位置的确认消息，确定所述巡检人员到达所述安全事件发生区域的位置的时间，得到安全事件处置时间；

基于所述安全事件处置时间获取所述多个目标摄像头的安全事件处置音视频数据；

保存所述安全事件处置音视频数据。

7.根据权利要求6所述的融合音视频的客运车站安全监测方法，其特征在于，在所述基于所述安全事件处置时间获取所述多个目标摄像头的安全事件处置音视频数据之后，所述方法还包括：

将所述安全事件处置音视频数据在所述客运车站数字孪生体中融合，得到安全事件处置实景融合动图数据；

在所述目标监控区显示所述安全事件处置实景融合动图数据。

8.根据权利要求1至3任一项所述的融合音视频的客运车站安全监测方法，其特征在于，所述方法还包括：

获取客运车站内除所述目标摄像头以外的所有非目标摄像头在所述报警时间点的视频帧图像；

对所述视频帧图像进行融合拼接，得到待处理监测图像；

基于所述报警时间点将所述待处理监测图像与所述报警音视频数据在所述客运车站数字孪生体中的融合结果进行融合，得到所述客运车站数字孪生体上的客运车站全站安全监测实景融合动图数据。

9.根据权利要求8所述的融合音视频的客运车站安全监测方法，其特征在于，所述方法还包括：

将所述客运车站全站安全监测实景融合动图数据沿设定的客运车站数字孪生体展开角度展开为一张平面图，并保存所述平面图；

或者，将所述客运车站全站安全监测实景融合动图数据按照三维图格式保存。

10.一种融合音视频的客运车站安全监测装置，其特征在于，包括：

确定模块，用于响应于接收到客运车站的安全状态报警信息，根据所述安全状态报警信息确定安全事件发生区域的多个目标摄像头和客运车站数字孪生体上的目标监控区；

获取模块，用于获取设定时间段内所述多个目标摄像头的报警音视频数据，所述设定时间段基于所述安全状态报警信息指示的报警时间点确定；

融合模块，用于将所述多个目标摄像头的报警音视频数据在所述客运车站数字孪生体中融合，得到所述客运车站数字孪生体上的安全监测实景融合动图数据；

显示模块，用于在所述目标监控区显示所述安全监测实景融合动图数据。

Images