CN108616718B - 监控显示方法、装置及系统 - Google Patents

Abstract

本发明公开了一种监控显示方法、装置及系统，属于视频监控领域。所述方法包括：接收监控区域中的摄像头上报的人脸信息；根据所述人脸信息生成虚拟人物模型；接收所述监控区域中的至少三个测距设备各自上报的人物距离；根据所述人物距离确定所述目标人物所处的位置坐标；按照所述位置坐标，在所述监控区域对应的三维虚拟环境中显示所述目标人物对应的虚拟人物模型。本发明使得安防人员能够在三维虚拟环境中观察到目标人物所在的位置，不需要安防人员的自行判断过程，在摄像头较多或监控区域较大的场景下，简化了安防人员获知目标人物所在位置的流程。

Description

监控显示方法、装置及系统

技术领域

本发明实施例涉及视频监控领域，特别涉及一种监控显示方法、装置及系统。

背景技术

视频监控系统是通过若干个摄像头采集监控区域的监控视频流，并将该监控视频流传输至监控后台设备进行实时显示、存储及回放的系统。通常，每个摄像头对应一个视频通道，一个视频通道可称之为一路视频。

现有技术中，监控后台设备在显示监控画面时，采用网格状显示画面进行显示。每个网格所在的显示区域用于显示一个视频通道的监控视频流。比如，第一个网格用于显示第一通道的监控视频流、第二个网格用于显示第二通道的监控视频流、第三个网格用于显示第三通道的监控视频流等等。安防人员通过观看网格状显示画面来获知监控区域的信息。

在摄像头数目较多的场景下，比如一个园区部署有几百个、上千个摄像头，若监控画面中出现一个人物，安防人员需要根据出现该人物的视频通道，查询该视频通道对应的摄像头的安装位置，进而根据摄像头的安装位置来判断该人物在园区中的地理位置。整个过程较为繁琐，使得安防人员难以直观、快速确定该人物在园区中的地理位置。

发明内容

为了解决安防人员通过监控画面，难以直观快速地确定出人物在监控区域内的地理位置的问题，本发明实施例提供了一种监控显示方法、装置及系统。所述技术方案包括：

第一方面，提供了一种监控显示方法，所述方法包括：

接收监控区域中的摄像头上报的人脸信息，所述人脸信息是所述摄像头从监控视频流中识别出的人脸信息；

根据所述人脸信息生成虚拟人物模型；

接收所述监控区域中的至少三个测距设备各自上报的人物距离，所述人物距离是所述测距设备与目标人物之间的距离；

根据所述人物距离确定所述目标人物所处的位置坐标；

按照所述位置坐标，在所述监控区域对应的三维虚拟环境中显示所述目标人物对应的虚拟人物模型。

可选地，所述根据所述人脸信息生成虚拟人物模型，包括：

根据所述人脸信息识别人物特征，所述人物特征包括：性别、年龄和身高中的至少一种；

生成具有所述人物特征的所述虚拟人物模型。

可选地，所述根据所述人物距离确定所述目标人物所处的位置坐标，包括：

获取所述至少三个测距设备在所述三维虚拟环境中的位置坐标；

以所述至少三个测距设备各自对应的位置坐标为顶点，计算得到三角形；

根据所述人物距离计算所述目标人物相对于所述三角形中的第一顶点的相对位置，所述第一顶点是所述三角形的三个顶点中的一个；

根据所述第一顶点在所述三维虚拟环境中的位置坐标和所述相对位置，计算得到所述目标人物的位置坐标。

可选地，所述按照所述位置坐标，在所述监控区域对应的三维虚拟环境中显示所述目标人物对应的虚拟人物模型，包括：

确定所述目标人物对应的虚拟人物模型；

将所述虚拟人物模型按照所述目标人物对应的所述位置坐标显示在所述三维虚拟环境中；

将所述虚拟人物模型对应的所述人脸信息叠加在所述虚拟人物模型的脸部或者模型上方进行显示。

可选地，所述确定所述目标人物对应的虚拟人物模型，包括：

随机确定出与所述目标人物对应的虚拟人物模型。

可选地，所述方法还包括：

接收所述至少三个测距设备上报的电子卡标识，所述电子卡标识是所述目标人物佩戴的电子卡的标识，所述电子卡标识是与所述人物距离同时上报的标识；

所述确定所述目标人物对应的虚拟人物模型，包括：

对生成的所述虚拟人物模型所对应的所述人脸信息提取第一人脸特征；

在预存的对应关系中查询与所述电子卡标识对应的第二人脸特征，所述对应关系包括所述电子卡标识与所述第二人脸特征之间的对应关系；

当所述第一人脸特征与所述第二人脸特征匹配时，将所述虚拟人物模型确定为所述目标人物对应的虚拟人物模型。

可选地，所述方法还包括：

获取所述摄像头采集的所述监控视频流；

将所述监控视频流叠加在所述三维虚拟环境上进行显示。

第二方面，提供了一种监控显示装置，所述装置包括：

第一接收模块，用于接收监控区域中的摄像头上报的人脸信息，所述人脸信息是所述摄像头从监控视频流中识别出的人脸信息；

模型生成模块，用于根据所述人脸信息生成虚拟人物模型；

第二接收模块，用于接收所述监控区域中的至少三个测距设备各自上报的人物距离，所述人物距离是所述测距设备与目标人物之间的距离；

坐标确定模块，用于根据所述人物距离确定所述目标人物所处的位置坐标；

显示模块，用于按照所述位置坐标，在所述监控区域对应的三维虚拟环境中显示所述目标人物对应的虚拟人物模型。

可选地，所述模型生成模块，用于根据所述人脸信息识别人物特征，所述人物特征包括：性别、年龄和身高中的至少一种；生成具有所述人物特征的所述虚拟人物模型。

可选地，所述坐标确定模块，用于获取所述至少三个测距设备在所述三维虚拟环境中的位置坐标；以所述至少三个测距设备各自对应的位置坐标为顶点，计算得到三角形；根据所述人物距离计算所述目标人物相对于所述三角形中的第一顶点的相对位置，所述第一顶点是所述三角形的三个顶点中的一个；根据所述第一顶点在所述三维虚拟环境中的位置坐标和所述相对位置，计算得到所述目标人物的位置坐标。

可选地，所述显示模块，包括：确定单元、显示单元和叠加单元；

所述确定单元，用于确定所述目标人物对应的虚拟人物模型；

所述显示单元，用于将所述虚拟人物模型按照所述目标人物对应的所述位置坐标显示在所述三维虚拟环境中；

所述叠加单元，用于将所述虚拟人物模型对应的所述人脸信息叠加在所述虚拟人物模型的脸部或者模型上方进行显示。

可选地，所述确定单元，用于随机确定出与所述目标人物对应的虚拟人物模型。

可选地，所述第二接收模块，用于接收所述至少三个测距设备上报的电子卡标识，所述电子卡标识是所述目标人物佩戴的电子卡的标识，所述电子卡标识是与所述人物距离同时上报的标识；

所述确定单元，用于对生成的所述虚拟人物模型所对应的所述人脸信息提取第一人脸特征；在预存的对应关系中查询与所述电子卡标识对应的第二人脸特征，所述对应关系包括所述电子卡标识与所述第二人脸特征之间的对应关系；当所述第一人脸特征与所述第二人脸特征匹配时，将所述虚拟人物模型确定为所述目标人物对应的虚拟人物模型。

可选地，所述装置还包括：

获取模块，用于获取所述摄像头采集的所述监控视频流；

所述显示模块，用于将所述监控视频流叠加在所述三维虚拟环境上进行显示。

第三方面，提供了一种监控显示系统，所述系统包括：监控后台设备、摄像头和至少一个测距设备；

所述摄像头通过无线网络或有线网络与所述监控后台设备相连；

所述测距设备通过无线网络或有线网络与所述监控后台设备相连；

所述监控后台设备包括如第二方面所述的装置。

本发明实施例提供的技术方案带来的有益效果是：

通过根据人脸信息确定出虚拟人物模型，通过人物距离计算出目标人物所处的位置坐标，按照位置坐标在监控区域对应的三维虚拟环境中显示目标人物对应的虚拟人物模型；使得安防人员能够在三维虚拟环境中观察到目标人物所在的位置，由于本方案已经在三维虚拟环境中直观地示出了目标人物的位置，不需要安防人员的自行判断过程，在摄像头较多或监控区域较大的场景下，简化了安防人员获知目标人物所在位置的流程。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个示例性实施例所提供的监控显示系统的系统结构图；

图2是本发明一个示例性实施例所提供的监控显示方法的方法流程图；

图3是本发明另一个示例性实施例提供的监控显示方法的方法流程图；

图4是本发明一个示例性实施例提供的位置坐标计算过程的原理示意图；

图5是本发明一个示例性实施例提供的虚拟人物模型在显示时的界面示意图；

图6是本发明一个示例性实施例提供的监控显示方法中一部分步骤的子步骤流程图；

图7是本发明一个示例性实施例提供的监控显示方法中一部分步骤的子步骤流程图；

图8是本发明一个示例性实施例提供的监控显示方法中一部分步骤的子步骤流程图；

图9是本发明一个示例性实施例所提供的监控显示装置的结构方框图；

图10是本发明另一个示例性实施例所提供的监控显示装置的结构方框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

请参考图1，其示出了本发明的一个示例性实施例所提供的监控显示系统的系统结构图。该系统包括：至少一个摄像头110、至少三个测距设备120和监控后台设备130。

摄像头110是具有人脸识别能力的摄像头。摄像头110的类型包括：模拟摄像头、数字摄像头和网络摄像头。可选地，图1中以摄像头110为多个摄像头来举例说明，比如，摄像头110为三个或三个以上。

测距设备120是具有对目标人物进行测距的电子设备。当目标人物佩戴有 RFID(Radio Frequency Identification，视频识别)卡时，测距设备120是具有 RFID信号接收能力的电子设备，测距设备120通过测量RFID卡所发出的无线信号强度，对自身与RFID卡之间的距离进行估计；同理，当目标人物佩戴有蓝牙电子标签时，测距设备120是具有蓝牙信号接收能力的电子设备，测距设备 120通过测量蓝牙电子标签所发出的无线信号强度，对自身与蓝牙电子标签之间的距离进行估计。本实施例对测距设备120的具体实现形式不限，只要测距设备120能够测量得到与目标人物之间的距离即可。

示意性的，图1中以测距设备120是集成在摄像头110中的RFID读卡器为例来举例说明。也即，每个摄像头110是RFID摄像头，每个摄像头110既具有采集监控视频流以及从监控视频流中抓取人脸信息的能力，同时还具有对监控区域内的目标人物进行测距的能力。

摄像头110通过无线网络或有线网络与监控后台设备130相连，测距设备 120通过无线网络或有线网络与监控后台设备130相连。

监控后台设备130是运行有视频监控软件的计算机，或者数字硬盘录像机(Digital Video Recorder，DVR)，或者网络硬盘录像机(Network Video Recorder， NVR)。可选地，监控后台设备130中运行有摄像头SDK(Software Development Kit，软件开发工具包)、三维建模程序和模型提取器。该三维建模程序可以是 Unity 3D程序。

请参考图2，其示出了本发明的一个示例性实施例所提供的监控显示方法的流程图。本实施例以该监控显示方法应用于图1所示的监控后台设备130来举例说明。该方法包括：

步骤201，接收监控区域中的摄像头上报的人脸信息，人脸信息是摄像头从监控视频流中识别出的人脸信息；

摄像头在采集监控视频流的过程中，对监控视频流中的视频帧进行人脸识别。当在视频帧中识别出人脸区域时，将人脸区域截取为人脸信息上报给监控后台设备。

可选地，监控后台设备接收监控区域中的摄像头所上报的人脸信息。可选地，该人脸信息包括：人脸区域对应的图像。以图1为例，监控后台设备接收监控区域中的摄像头111所上报的人脸信息。

步骤202，根据人脸信息生成虚拟人物模型；

监控后台设备根据人脸信息识别人物特征，根据人物特征生成虚拟人物模型。比如，根据人脸信息识别出该人脸对应的性别是女性时，生成女性虚拟人物模型；根据人脸信息识别出该人脸对应的性别是男性时，生成男性虚拟人物模型。

步骤203，接收监控区域中的至少三个测距设备各自上报的人物距离，该人物距离是测距设备与目标人物之间的距离；

监控后台设备还接收监控区域中的至少三个测距设备各自上报的人物距离。

可选地，该监控区域中的至少三个测距设备是RFID摄像头。以图1为例，该三个RFID摄像头包括：摄像头111、摄像头112和摄像头113，或者，这三个RFID摄像头包括：摄像头112、摄像头113和摄像头114。

可选地，至少三个测距设备与摄像头之间的物理距离小于预设距离。

步骤204，根据人物距离确定目标人物所处的位置坐标；

监控后台设备根据至少三个测距设备所上报的三个人物距离，能够确定出目标人物在三维虚拟环境中所处的位置坐标。

该三维虚拟环境是用于虚拟出监控区域的三维环境。比如，监控区域是一栋大楼，则该三维虚拟环境是一栋大楼；又比如，监控区域是一个厂区，则该三维虚拟环境是一个厂区。

步骤205，按照位置坐标，在监控区域对应的三维虚拟环境中显示目标人物对应的虚拟人物模型。

监控后台设备按照位置坐标，在监控区域对应的三维虚拟环境中显示目标人物对应的虚拟人物模型。可选地，每个目标人物对应一个虚拟人物模型。

需要说明的是，步骤201、202和步骤203、204是并列步骤，步骤201、202 可以与步骤203、步骤204同时执行，步骤201、202还可以在步骤203、步骤 204之后执行，本实施例对此不加以限定。

综上所述，本实施例提供的监控显示方法，通过根据人脸信息确定出虚拟人物模型，通过人物距离计算出目标人物所处的位置坐标，按照位置坐标在监控区域对应的三维虚拟环境中显示目标人物对应的虚拟人物模型；使得安防人员能够在三维虚拟环境中观察到目标人物所在的位置，由于本方案已经在三维虚拟环境中直观地示出了目标人物的位置，不需要安防人员的自行判断过程，在摄像头较多或监控区域较大的场景下，简化了安防人员获知目标人物所在位置的流程。

请参考图3，其示出了本发明的另一个示例性实施例所提供的监控显示方法的方法流程图。本实施例以该监控显示方法应用于图1所示的监控后台系统中来举例说明，也即本实施例中的测距设备是RFID摄像头来举例说明。该方法包括：

步骤301，摄像头采集监控视频流；

每个摄像头采集各自对应的监控视频流。不同摄像头对应的监控区域不同。相邻摄像头的监控区域可以存在交集。

步骤302，摄像头对监控视频流中的视频帧进行人脸识别，根据人脸识别结果生成人脸信息；

摄像头通过人脸识别模型，对监控视频流中的人脸识别。当在视频帧中识别出人脸区域时，将人脸区域进行截取得到人脸信息。

摄像头将截取到的人脸信息上报给监控后台设备。

比如，图1中的摄像头111向监控后台设备上报人脸信息。

步骤303，监控后台设备接收摄像头上报的人脸信息。

可选地，该人脸信息包括人脸区域对应的图像。

步骤304，监控后台设备根据人脸信息识别人脸特征，生成具有人物特征的虚拟人物模型。

监控后台设备根据人脸信息识别人脸特征，人脸特征包括：性别、年龄和身高中的至少一种。

可选地，监控后台设备对人脸信息中的发型、脸型、五官、面部比例、在原始视频帧中所处的位置等图像特征进行分析和分类，从而得到该人脸信息对应的性别、年龄和身高中的至少一种。

在识别出人脸特征后，监控后台设备从预设的人物模型库中，查找出具有该人物特征的虚拟人物模型。

步骤305，至少三个摄像头测量目标人物的人物距离。

可选地，至少三个摄像头与步骤301中的摄像头之间的物理距离小于预设阈值。该至少三个摄像头可以是步骤301中的摄像头和另外两个摄像头，或者，该至少三个摄像头可以是不包括步骤301中的摄像头的另外三个摄像头。

目标人物通常佩戴有RFID卡，该RFID卡会每隔预定时间间隔向外发送射频信号，该射频信号中携带有RFID卡的电子卡标识。当目标人物行走在摄像头的监控区域内时，至少三个摄像头能够接收该射频信号，并且能够根据该射频信号的信号强度来测量出人物距离，人物距离是摄像头和目标人物之间的距离。

至少三个摄像头将测量得到目标人物的人物距离发送给监控后台设备。可选地，至少三个摄像头将电子卡标识和人物距离同时发送给监控后台设备，或者，至少三个摄像头将摄像头标识、电子卡标识和人物距离同时发送给监控后台设备。

步骤306，监控后台设备接收至少三个摄像头上报的目标人物的人物距离。

监控后台设备接收至少三个摄像头上报的电子标识和人物距离。或者，监控后台设备接收至少三个摄像头上报的摄像头标识、电子卡标识和人物距离。

示意性的，监控后台设备至少三个摄像头上报的摄像头标识、电子卡标识和人物距离，如表一所示。

表一

摄像头标识	电子卡标识	人物距离
			IPC111	00123	3m
IPC112	00123	4m
			IPC113	00123	5m

步骤307，监控后台设备根据人物距离确定目标人物所处的位置坐标。

当存在三个以上的摄像头向监控后台设备发送人物距离时，监控后台设备选择出其中三个人物距离进行计算。可选地，监控后台设备选择最近接收到的三个人物距离进行计算，或者，监控后台设备选择相邻三个摄像头上报的人物距离进行计算。

可选地，本步骤包括如下子步骤：

1、监控后台设备获取三个摄像头在三维虚拟环境中的位置坐标；

监控后台设备中存储有第一对应关系，该第一对应关系是摄像头标识和摄像头的位置坐标之间的对应关系。

监控后台设备根据摄像头标识从第一对应关系中，查询出每个摄像头在三维虚拟环境中的位置坐标。在可选的实施例中，也可采用三个摄像头在真实世界中的位置坐标，本实施例对此不加以限定。

2、监控后台设备以三个摄像头各自对应的位置坐标为顶点，计算得到三角形；

如图4所示，监控后台设备以摄像头111、摄像头112和摄像头113各自对应的位置坐标为顶点，计算得到三角形40。该三角形40具有第一顶点111、第二顶点112、第三顶点113，目标人物O与第一顶点111之间具有人物距离y、目标人物O与第二顶点112之间具有人物距离z、目标人物O与第三顶点113 之间具有人物距离x。

其中，第一顶点111和第二顶点112之间具有边A、第二顶点112和第三顶点113之间具有边B、第三顶点113和第一顶点111之间具有边C。

3、监控后台设备根据人物距离计算目标人物相对于三角形中的第一顶点的相对位置，第一顶点是三角形的三个顶点中的一个；

监控后台设备根据如下公式计算出距离y和边A之间夹角α：

4、根据第一顶点在三维虚拟环境中的位置坐标和相对位置，计算得到目标人物的位置坐标。

监控后台设备根据第一顶点的位置坐标、夹角α和距离y，能够计算得到目标人物的位置坐标。具体地，监控后台设备将上述三个参数代入极坐标坐标转换公式中，得到目标人物在三维虚拟环境中的位置坐标。

由于目标人物可能处在移动过程中，监控后台设备能够根据该目标人物的最近三个人物距离不断计算出该目标人物的最新位置坐标。换句话说，该位置坐标的计算是不断进行的，并非只执行一次。

步骤308，监控后台设备确定目标人物对应的虚拟人物模型；

在监控区域中存在n个目标人物时，n≥2，步骤304中得到的虚拟人物模型为n个，且步骤307中确定出的目标人物的位置坐标也为n个。

此时，监控后台设备需要确定虚拟人物模型与位置坐标之间的对应关系。确定方式包括但不限于如下方式中的至少一种：

第一，监控后台设备随机确定出与目标人物对应的虚拟人物模型。

可选地，当n个位置坐标较为集中，每个目标人物均为未知人物时，监控后台设备随机将虚拟人物模型与目标人物的位置坐标进行一一对应。

第二，监控后台设备根据电子卡标识确定出与目标人物对应的虚拟人物模型。

可选地，由于至少三个摄像头上报人物距离时，还同时上报了目标人物的电子卡标识。监控后台设备预先存储有人脸特征与电子卡标识的第二对应关系，根据该第二对应关系将虚拟人物模型与目标人物的位置坐标进行一一对应。

具体地，监控后台设备对生成的虚拟人物模型所对应的人脸信息提取第一人脸特征；在预存的第二对应关系中查询与电子卡标识对应的第二人脸特征，该第二对应关系包括电子卡标识与第二人脸特征之间的对应关系；当第一人脸特征与第二人脸特征匹配时，将虚拟人物模型确定为目标人物对应的虚拟人物模型。

比如，根据人脸信息A1生成虚拟人物模型A2，根据人脸信息B1生成虚拟人物模型B2，根据人脸信息C1生成虚拟人物模型C2；根据ID001的人物距离计算出位置坐标01、根据ID002的人物距离计算出位置坐标02、根据ID003的人物距离计算出位置坐标03；

若人脸信息A1的第一人脸特征与ID001的第二人脸特征匹配，则确定与目标人物ID001对应的虚拟人物模型A2，显示在位置坐标01上；若人脸信息B1 的第一人脸特征与ID002的第二人脸特征匹配，则确定与目标人物ID002对应的虚拟人物模型B2，显示在位置坐标02上；若人脸信息C1的第一人脸特征与 ID003的第二人脸特征匹配，则确定与目标人物ID003对应的虚拟人物模型C2，显示在位置坐标03上。

步骤309，监控后台设备将虚拟人物模型按照目标人物对应的位置坐标显示在三维虚拟环境中；

三维虚拟环境是模拟真实世界所构建的虚拟环境，监控后台设备将每个目标人物所对应的虚拟人物模型按照对应的位置坐标进行显示，使得安防人员能够以上帝视角查看整个三维虚拟环境。

示意性的，三维虚拟环境是一栋大楼，安防人员能够以上帝视角看到每层楼中存在几个目标人物，以及每个目标人物的移动过程。

步骤310，监控后台设备将虚拟人物模型对应的人脸信息叠加在虚拟人物模型的脸部或者模型上方进行显示；

监控后台设备还将人脸信息叠加在虚拟人物模型的脸部或模型上方进行显示，使得安防人员能够辨识每一个虚拟人物模型对应的目标人物。

步骤311，监控后台设备获取摄像头采集的监控视频流；

可选地，监控后台设备还获取摄像头采集的监控视频流。该摄像头是上报人脸信息的摄像头。

步骤312，监控后台设备将监控视频流叠加在三维虚拟环境上进行显示。

可选地，监控后台设备还将监控视频流叠加在三维虚拟环境上进行显示。由于摄像头采集的监控视频流通常是YUV格式，其中“Y”表示明亮度 (Luminance或Luma)，也就是灰阶值；而“U”和“V”表示的则是色度 (Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色，监控后台设备还将监控视频流由YUV格式转换为RGB(Red、Green、Blue，红绿蓝)格式，然后将监控视频流从RGB格式转换为纹理数据后叠加在三维虚拟环境上进行显示。

需要说明的是，上述步骤301至步骤304的模型生成过程和上述步骤305 至步骤308的坐标计算过程是并列关系，模型生成过程与坐标计算过程可以并列执行，或者，模型生成过程在坐标计算过程之前执行，或者，坐标计算过程在模型生成过程之前执行，本实施例不限定这两个过程的执行先后关系。

还需要说明的是，步骤309至步骤310的模型显示过程和步骤311和步骤 312的视频流显示过程是并列关系，模型显示过程与视频流显示过程可以并列执行，或者，模型显示过程在视频流显示过程之前执行，或者，视频流显示过程在模型显示过程之前执行，本实施例不限定这两个过程的执行先后关系。

结合参考图5，在一个具体的例子中，三维虚拟环境是一个露天酒吧，目标人物是一个女性青年，监控后台设备在三维虚拟环境中显示一个虚拟人物模型 52，并在该虚拟人物模型52的头顶上方显示目标人物的人脸信息54，同时还在左下角叠加显示有监控视频流的视频画面56。

综上所述，本实施例提供的监控显示方法，通过根据人脸信息确定出虚拟人物模型，通过人物距离计算出目标人物所处的位置坐标，按照位置坐标在监控区域对应的三维虚拟环境中显示目标人物对应的虚拟人物模型；使得安防人员能够在三维虚拟环境中观察到目标人物所在的位置，由于本方案已经在三维虚拟环境中直观地示出了目标人物的位置，不需要安防人员的自行判断过程，在摄像头较多或监控区域较大的场景下，简化了安防人员获知目标人物所在位置的流程。

本实施例提供的监控显示方法，还通过在监控后台设备中存储人脸特征与电子卡标识的对应关系，由监控后台设备根据该对应关系将虚拟人物模型和目标人物的位置坐标进行对应，从而能够将虚拟人物模型显示在正确的位置坐标上，提高了监控后台设备在三维虚拟环境中显示虚拟人物模型的准确性。

本实施例提供的监控显示方法，还通过将监控视频流叠加在三维虚拟环境上进行显示，使得安防人员能够同时查看到三维虚拟环境和监控视频流，既能够查看到目标人物所在的位置，又能够查看到目标人物的实际监控画面，从而实现了虚拟显示与现实监控的结合。

在可选的实施例中，监控后台设备中运行有摄像头SDK、三维建模程序和模型提取器，摄像头SDK具有与摄像头通信的能力，模型提取器是三维建模程序中的组件或者三维建模程序之外的组件。图3中的步骤302可替代实现成为步骤601至606，步骤303可替代实现成为步骤607和608，步骤304可替代实现成为步骤609至步骤411，如图6所示：

步骤601，三维建模程序向摄像头SDK发送人脸抓取请求；

对应地，摄像头SDK接收人脸抓取请求，根据该人脸抓取请求生成人脸抓取启动请求。人脸抓取启动请求用于请求摄像头开启人脸抓取功能。

步骤602，摄像头SDK向摄像头发送人脸抓取启动请求；

对应地，摄像头接收人脸抓取启动请求，根据人脸抓取启动请求启动人脸抓取功能。

步骤603，摄像头向摄像头SDK发送启动成功响应；

对应地，摄像头SDK接收启动成功响应。

步骤604，摄像头SDK向三维建模程序发送启动成功响应。

对应地，三维建模程序接收启动成功响应。

步骤605，摄像头在监控视频流中识别出包含人脸的视频帧；

可选地，摄像头通过人脸识别模型识别出包含人脸的视频帧。

步骤606，摄像头从视频帧中截取出人脸区域，得到人脸信息；

步骤607，摄像头向摄像头SDK上报人脸信息；

对应地，摄像头SDK接收人脸信息。可选地，该人脸信息是人脸区域对应的图像。

步骤608，摄像头SDK向三维建模程序上报人脸信息；

对应地，三维建模程序接收该人脸信息。

步骤609，三维建模程序向模型提取器上报人脸信息；

步骤610，模型提取器根据人脸信息生成虚拟人物模型；

可选地，模型提取器根据人脸信息提取人物特征，生成具有该人物特征的虚拟人物模型。

步骤611，模型提取器将虚拟人物模型发送给三维建模程序。

对应地，三维建模程序接收该虚拟人物模型。

在可选的实施例中，监控后台设备中运行有摄像头SDK、三维建模程序和模型提取器，摄像头SDK具有与摄像头通信的能力，模型提取器是三维建模程序中的组件或者三维建模程序之外的组件。图3中的步骤306可替代实现成为步骤701，步骤307可替代实现成为步骤702至步骤705，步骤308可替代实现成为步骤706和步骤707，步骤309可替代实现成为步骤708，步骤310可替代实现成为步骤709，如图7所示：

步骤701，摄像头向摄像头SDK上报摄像头标识、电子卡标识和人物距离；

对应地，摄像头SDK接收摄像头标识、电子卡标识和人物距离。可选地，该电子卡标识是RFID标识。

步骤702，摄像头SDK向三维建模程序发送摄像头标识、电子卡标识和人物距离；

对应地，三维建模程序接收摄像头标识、电子卡标识和人物距离。

步骤703，三维建模程序将摄像头标识、电子卡标识和人物距离发送给模型提取器；

对应地，模型提取器接收摄像头标识、电子卡标识和人物距离。

步骤704，模型提取器根据摄像头标识查询摄像头在三维虚拟环境中的位置坐标；

模型提取器中存储有第一对应关系，该第一对应关系是摄像头标识和摄像头的位置坐标之间的对应关系。

模型提取器根据摄像头标识从第一对应关系中，查询出每个摄像头在三维虚拟环境中的位置坐标。在可选的实施例中，也可采用三个摄像头在真实世界中的位置坐标，本实施例对此不加以限定。

步骤705，模型提取器根据摄像头在三维虚拟环境中的位置坐标，计算得到目标人物在三维虚拟环境中的位置坐标；

当存在三个以上的摄像头向模型提取器发送人物距离时，模型提取器选择出其中三个人物距离进行计算。可选地，模型提取器选择最近接收到的三个人物距离进行计算，或者，模型提取器选择相邻三个摄像头上报的人物距离进行计算。

可选地，模型提取器获取三个摄像头在三维虚拟环境中的位置坐标；模型提取器以三个摄像头各自对应的位置坐标为顶点，计算得到三角形；模型提取器根据人物距离计算目标人物相对于三角形中的第一顶点的相对位置，第一顶点是三角形的三个顶点中的一个；模型提取器根据第一顶点在三维虚拟环境中的位置坐标和相对位置，计算得到目标人物的位置坐标。

由于目标人物可能处在移动过程中，模型提取器能够根据该目标人物的最近三个人物距离不断计算出该目标人物的最新位置坐标。换句话说，该位置坐标的计算是不断进行的，并非只执行一次。

步骤706，模型提取器确定与目标人物对应的虚拟人物模型；

此时，模型提取器需要确定虚拟人物模型与位置坐标之间的对应关系。确定方式包括但不限于如下方式中的至少一种：

第一，模型提取器随机确定出与目标人物对应的虚拟人物模型。

可选地，当n个位置坐标较为集中，每个目标人物均为未知人物时，模型提取器随机将虚拟人物模型与目标人物的位置坐标进行一一对应。

第二，模型提取器根据电子卡标识确定出与目标人物对应的虚拟人物模型。

具体地，模型提取器对生成的虚拟人物模型所对应的人脸信息提取第一人脸特征；在预存的对应关系中查询与电子卡标识对应的第二人脸特征，该对应关系包括电子卡标识与第二人脸特征之间的对应关系；当第一人脸特征与第二人脸特征匹配时，将虚拟人物模型确定为目标人物对应的虚拟人物模型。

步骤707，模型提取器将目标人物对应的位置坐标和虚拟人物模型标识发送给三维建模程序；

可选地，步骤611在步骤707之前执行，模型提取器先将虚拟人物模型发送给三维建模程序，再将目标人物对应的位置坐标和虚拟人物模型的标识一同发送给三维建模程序。

可选地，步骤611和步骤707可以同时执行，由模型提取器将目标人物对应的位置坐标和虚拟人物模型一同发送给三维建模程序。

步骤708，三维建模程序将虚拟人物模型按照目标人物对应的位置坐标显示在三维虚拟环境中；

步骤709，三维建模程序将虚拟人物模型对应的人脸信息叠加在虚拟人物模型的脸部或者模型上方进行显示。

在可选的实施例中，监控后台设备中运行有摄像头SDK、三维建模程序、播放解码库和码流转换器，摄像头SDK具有与摄像头通信的能力，播放解码库和码流转换器是三维建模程序中的组件或者三维建模程序之外的组件。图3中的步骤311可替代实现成为步骤801至步骤805，步骤312可替代实现成为步骤 806至812，如图8所示：

步骤801，三维建模程序向摄像头SDK发送第一取流请求；

对应地，摄像头SDK接收第一取流请求。

步骤802，摄像头SDK向摄像头发送第二取流请求；

对应地，摄像头接收第二取流请求。

步骤803，摄像头向摄像头SDK发送第二取流成功响应；

对应地，摄像头SDK接收第二取流成功响应。

步骤804，摄像头SDK向三维建模程序发送第一取流成功响应；

对应地，三维建模程序接收第一取流成功响应。

步骤805，摄像头向摄像头SDK发送监控视频流；

摄像头回调监控视频流，向摄像头SDK发送该监控视频流。

对应地，摄像头SDK接收监控视频流。

步骤806，摄像头SDK将监控视频流作为待解码码流发送给播放解码库；

对应地，播放解码库接收监控视频流。

步骤807，播放解码库对监控视频流进行解码，解码得到YUV格式的监控视频流；

步骤808，播放解码库将YUV格式的监控视频流发送给码流转换器；

对应地，码流转换器接收YUV格式的监控视频流。

步骤809，码流转换器将YUV格式的监控视频流转化为RGB格式的监控视频流；

步骤810，码流转换器将RGB格式的监控视频流发送给三维建模程序；

对应地，三维建模程序接收RGB格式的监控视频流。

步骤811，三维建模程序将RGB格式的监控视频流转化为纹理数据；

步骤812，三维建模程序刷新显示纹理数据，得到实时视频数据。

三维建模程序在三维虚拟环境上刷新显示纹理数据，得到实时视频数据。也即在三维虚拟环境上能够预览到实时视频数据。

以下为本发明实施例的装置实施例，对于装置实施例中未详细描述的细节，可以参考上述对应的方法实施例。

请参考图9，其示出了本发明一个示例性实施例提供的监控显示装置的结构框图。该监控显示装置可以通过软件、硬件或者两者的组合实现成为监控后台设备的全部或一部分。该监控显示装置包括：

第一接收模块910，用于接收监控区域中的摄像头上报的人脸信息，所述人脸信息是所述摄像头从监控视频流中识别出的人脸信息；

模型生成模块930，用于根据所述人脸信息生成虚拟人物模型；

第二接收模块950，用于接收所述监控区域中的至少三个测距设备各自上报的人物距离，所述人物距离是所述测距设备与目标人物之间的距离；

坐标确定模块970，用于根据所述人物距离确定所述目标人物所处的位置坐标；

显示模块990，用于按照所述位置坐标，在所述监控区域对应的三维虚拟环境中显示所述目标人物对应的虚拟人物模型。

综上所述，本实施例提供的监控显示装置，通过根据人脸信息确定出虚拟人物模型，通过人物距离计算出目标人物所处的位置坐标，按照位置坐标在监控区域对应的三维虚拟环境中显示目标人物对应的虚拟人物模型；使得安防人员能够在三维虚拟环境中观察到目标人物所在的位置，由于本方案已经在三维虚拟环境中直观地示出了目标人物的位置，不需要安防人员的自行判断过程，在摄像头较多或监控区域较大的场景下，简化了安防人员获知目标人物所在位置的流程。

请参考图10，其示出了本发明一个示例性实施例提供的监控显示装置的结构框图。该监控显示装置可以通过软件、硬件或者两者的组合实现成为监控后台设备的全部或一部分。该监控显示装置包括：

第一接收模块910，用于接收监控区域中的摄像头上报的人脸信息，所述人脸信息是所述摄像头从监控视频流中识别出的人脸信息；

模型生成模块930，用于根据所述人脸信息生成虚拟人物模型；

第二接收模块950，用于接收所述监控区域中的至少三个测距设备各自上报的人物距离，所述人物距离是所述测距设备与目标人物之间的距离；

坐标确定模块970，用于根据所述人物距离确定所述目标人物所处的位置坐标；

显示模块990，用于按照所述位置坐标，在所述监控区域对应的三维虚拟环境中显示所述目标人物对应的虚拟人物模型。

可选地，所述模型生成模块930，用于根据所述人脸信息识别人物特征，所述人物特征包括：性别、年龄和身高中的至少一种；生成具有所述人物特征的所述虚拟人物模型。

可选地，所述坐标确定模块970，用于获取所述至少三个测距设备在所述三维虚拟环境中的位置坐标；以所述至少三个测距设备各自对应的位置坐标为顶点，计算得到三角形；根据所述人物距离计算所述目标人物相对于所述三角形中的第一顶点的相对位置，所述第一顶点是所述三角形的三个顶点中的一个；根据所述第一顶点在所述三维虚拟环境中的位置坐标和所述相对位置，计算得到所述目标人物的位置坐标。

可选地，所述显示模块990，包括：确定单元992、显示单元994和叠加单元996；

所述确定单元992，用于确定所述目标人物对应的虚拟人物模型；

所述显示单元994，用于将所述虚拟人物模型按照所述目标人物对应的所述位置坐标显示在所述三维虚拟环境中；

所述叠加单元996，用于将所述虚拟人物模型对应的所述人脸信息叠加在所述虚拟人物模型的脸部或者模型上方进行显示。

可选地，所述确定单元992，用于随机确定出与所述目标人物对应的虚拟人物模型。

可选地，所述第二接收模块950，用于接收所述至少三个测距设备上报的电子卡标识，所述电子卡标识是所述目标人物佩戴的电子卡的标识，所述电子卡标识是与所述人物距离同时上报的标识；

所述确定单元992，用于对生成的所述虚拟人物模型所对应的所述人脸信息提取第一人脸特征；在预存的对应关系中查询与所述电子卡标识对应的第二人脸特征，所述对应关系包括所述电子卡标识与所述第二人脸特征之间的对应关系；当所述第一人脸特征与所述第二人脸特征匹配时，将所述虚拟人物模型确定为所述目标人物对应的虚拟人物模型。

可选地，所述装置还包括：

获取模块940，用于获取所述摄像头采集的所述监控视频流；

所述显示模块990，用于将所述监控视频流叠加在所述三维虚拟环境上进行显示。

综上所述，本实施例提供的监控显示装置，通过根据人脸信息确定出虚拟人物模型，通过人物距离计算出目标人物所处的位置坐标，按照位置坐标在监控区域对应的三维虚拟环境中显示目标人物对应的虚拟人物模型；使得安防人员能够在三维虚拟环境中观察到目标人物所在的位置，由于本方案已经在三维虚拟环境中直观地示出了目标人物的位置，不需要安防人员的自行判断过程，在摄像头较多或监控区域较大的场景下，简化了安防人员获知目标人物所在位置的流程。

本实施例提供的监控显示装置，还通过在监控后台设备中存储人脸特征与电子卡标识的对应关系，由监控后台设备根据该对应关系将虚拟人物模型和目标人物的位置坐标进行对应，从而能够将虚拟人物模型显示在正确的位置坐标上，提高了监控后台设备在三维虚拟环境中显示虚拟人物模型的准确性。

本实施例提供的监控显示装置，还通过将监控视频流叠加在三维虚拟环境上进行显示，使得安防人员能够同时查看到三维虚拟环境和监控视频流，既能够查看到目标人物所在的位置，又能够查看到目标人物的实际监控画面，从而实现了虚拟显示与现实监控的结合。

需要说明的是：上述实施例提供的监控显示装置在显示监控视频流时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的监控显示装置与监控显示方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种监控显示方法，其特征在于，所述方法包括：

接收监控区域中的摄像头上报的人脸信息，所述人脸信息是所述摄像头从监控视频流中识别出的人脸信息；根据所述人脸信息识别人物特征，从预设的人物模型库中确定具有所述人物特征的虚拟人物模型，所述人物特征包括：性别、年龄和身高中的至少一种；

接收所述监控区域中的三个摄像头各自上报的摄像头标识和人物距离，所述人物距离是所述三个摄像头与目标人物之间的距离，所述三个摄像头与所述摄像头的物理距离小于预设距离，所述三个摄像头均包括测距设备，所述测距设备用于测量所述人物距离；

根据所述人物距离确定所述目标人物所处的位置坐标；按照所述位置坐标，在所述监控区域对应的三维虚拟环境中显示所述目标人物对应的虚拟人物模型；

所述方法还包括：

获取所述摄像头采集的所述监控视频流；将所述监控视频流转换为红绿蓝RGB格式；将所述监控视频流从所述RGB格式转换为纹理数据，叠加在所述三维虚拟环境上进行显示；

所述根据所述人物距离确定所述目标人物所处的位置坐标，包括：

根据所述三个摄像头各自上报的摄像头标识从预先存储的第一对应关系中查询所述三个摄像头分别在所述三维虚拟环境中的位置坐标，所述第一对应关系是摄像头标识和摄像头的位置坐标的对应关系；以所述三个摄像头各自对应的位置坐标为顶点，计算得到三角形；

根据所述人物距离计算所述目标人物相对于所述三角形中的第一顶点的夹角，所述第一顶点是所述三角形的三个顶点中的一个；根据所述第一顶点在所述三维虚拟环境中的位置坐标、所述人物距离和所述夹角，计算得到所述目标人物的位置坐标。

2.根据权利要求1所述的方法，其特征在于，所述按照所述位置坐标，在所述监控区域对应的三维虚拟环境中显示所述目标人物对应的虚拟人物模型，包括：

确定所述目标人物对应的虚拟人物模型；

将所述虚拟人物模型按照所述目标人物对应的所述位置坐标显示在所述三维虚拟环境中；

将所述虚拟人物模型对应的所述人脸信息叠加在所述虚拟人物模型的脸部或者模型上方进行显示。

3.根据权利要求2所述的方法，其特征在于，所述确定所述目标人物对应的虚拟人物模型，包括：

随机确定出与所述目标人物对应的虚拟人物模型。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

接收所述三个摄像头上报的电子卡标识，所述电子卡标识是所述目标人物佩戴的电子卡的标识，所述电子卡标识是与所述人物距离同时上报的标识；

所述确定所述目标人物对应的虚拟人物模型，包括：

对生成的所述虚拟人物模型所对应的所述人脸信息提取第一人脸特征；

在预存的对应关系中查询与所述电子卡标识对应的第二人脸特征，所述对应关系包括所述电子卡标识与所述第二人脸特征之间的对应关系；

当所述第一人脸特征与所述第二人脸特征匹配时，将所述虚拟人物模型确定为所述目标人物对应的虚拟人物模型。

5.一种监控显示装置，其特征在于，所述装置包括：

第一接收模块，用于接收监控区域中的摄像头上报的人脸信息，所述人脸信息是所述摄像头从监控视频流中识别出的人脸信息；

模型生成模块，用于根据所述人脸信息识别人物特征，从预设的人物模型库中确定具有所述人物特征的虚拟人物模型，所述人物特征包括：性别、年龄和身高中的至少一种；

第二接收模块，用于接收所述监控区域中的三个摄像头各自上报的摄像头标识和人物距离，所述人物距离是所述三个摄像头与目标人物之间的距离，所述三个摄像头与所述摄像头的物理距离小于预设距离，所述三个摄像头均包括测距设备，所述测距设备用于测量所述人物距离；

坐标确定模块，用于根据所述人物距离确定所述目标人物所处的位置坐标；

显示模块，用于按照所述位置坐标，在所述监控区域对应的三维虚拟环境中显示所述目标人物对应的虚拟人物模型；

所述装置还包括：

获取模块，用于获取所述摄像头采集的所述监控视频流；

所述显示模块，用于将所述监控视频流的格式转换为红绿蓝RGB格式；将所述监控视频流从所述RGB格式转换为纹理数据，叠加在所述三维虚拟环境上进行显示；

所述坐标确定模块，用于根据所述三个摄像头各自上报的摄像头标识从预先存储的第一对应关系中查询所述三个摄像头分别在所述三维虚拟环境中的位置坐标，所述第一对应关系是摄像头标识和摄像头的位置坐标的对应关系；以所述三个摄像头各自对应的位置坐标为顶点，计算得到三角形；根据所述人物距离计算所述目标人物相对于所述三角形中的第一顶点的夹角，所述第一顶点是所述三角形的三个顶点中的一个；根据所述第一顶点在所述三维虚拟环境中的位置坐标、所述人物距离和所述夹角，计算得到所述目标人物的位置坐标。

6.根据权利要求5所述的装置，其特征在于，所述显示模块，包括：确定单元、显示单元和叠加单元；

所述确定单元，用于确定所述目标人物对应的虚拟人物模型；

所述显示单元，用于将所述虚拟人物模型按照所述目标人物对应的所述位置坐标显示在所述三维虚拟环境中；

所述叠加单元，用于将所述虚拟人物模型对应的所述人脸信息叠加在所述虚拟人物模型的脸部或者模型上方进行显示。

7.根据权利要求6所述的装置，其特征在于，

所述确定单元，用于随机确定出与所述目标人物对应的虚拟人物模型。

8.根据权利要求6所述的装置，其特征在于，

所述第二接收模块，用于接收所述三个摄像头上报的电子卡标识，所述电子卡标识是所述目标人物佩戴的电子卡的标识，所述电子卡标识是与所述人物距离同时上报的标识；

所述确定单元，用于对生成的所述虚拟人物模型所对应的所述人脸信息提取第一人脸特征；在预存的对应关系中查询与所述电子卡标识对应的第二人脸特征，所述对应关系包括所述电子卡标识与所述第二人脸特征之间的对应关系；当所述第一人脸特征与所述第二人脸特征匹配时，将所述虚拟人物模型确定为所述目标人物对应的虚拟人物模型。

9.一种监控显示系统，其特征在于，所述系统包括：监控后台设备和摄像头；

所述摄像头通过无线网络或有线网络与所述监控后台设备相连；

所述监控后台设备包括如权利要求5至8任一所述的装置。

Images