CN113438448B - 多功能摄像监控装置 - Google Patents

Abstract

本申请涉及一种多功能摄像监控装置，属于摄像监控的领域，用于解决相关技术中摄像监控装置可用性受限的问题，其包括三维图像采集子系统、异常状况提示子系统、终端设备控制子系统和监控障碍过滤子系统；以三维图像采集子系统采集监控场景的三维图像，能够实现监控场景的全方位、无死角的监控；异常状况提示子系统能够在异常状况发生时进行提示，便于相关人员对监控场景的异常状况的及时发现和处理；终端设备控制子系统能够辅助监控场景的终端设备的控制，便于对终端设备更为合理的控制；监控障碍滤除子系统能够滤除监控目标景物的障碍，有利于保障监控效果。该装置的多个功能使其能够在多个场景应用，可用性较之现有的摄像监控装置大大提升。

Description

多功能摄像监控装置

技术领域

本申请涉及摄像监控的领域，尤其是涉及一种多功能摄像监控装置。

背景技术

摄像监控即通过采集监控场景的图像、实现对监控场景的监控的技术。

相关技术中较为普遍应用的一种摄像监控装置包括摄像头和服务器。其中，摄像头用于采集监控场景的图像，服务器连接摄像头、以接收摄像头采集所得的图像，通过连接服务器的显示装置可调取、显示监控场景的图像，实现对监控场景的在线监控。

随着科技的发展，也存在一些新的摄像监控技术。可参考公开号为CN106683163A的中国的发明专利，其公开了一种视频监控的成像方法。该方法中，通过采集同一监控场景中同一监控对象来获取多个视角的监控图像数据，并对监控图像数据进行三维信息恢复，形成监控场景的三维空间图像。该视频监控成像方法能够实现监控场景的三维空间图像的获取，以便对监控场景实现全方位、多角度的监控。

针对上述中的相关技术，发明人认为，现有的摄像监控装置仅能够实现对监控场景的图像的采集，功能较为单一，使摄像监控装置的可用性受限。

发明内容

为了提高摄像监控装置的可用性，本申请提供了一种多功能摄像监控装置。

本申请提供的一种多功能摄像监控装置采用如下的技术方案：

一种多功能摄像监控装置，包括：三维图像采集子系统、异常状况提示子系统、终端设备控制子系统和监控障碍过滤子系统；

所述三维图像采集子系统用于采集监控场景的三维图像信息；

所述异常状况提示子系统用于识别所述三维图像信息中的特征景物，并基于预设的影响规则判断所述特征景物之间是否相互影响，若是则生成提示信息；

所述终端设备控制子系统用于在所述三维图像信息内构建终端设备的设备三维模型，在生成用于所述终端设备动作的控制指令时，在三维图像信息中通过所述设备三维模型预演所述控制指令下终端设备的动作，并基于预设的判断规则判断所述控制指令是否合理；

所述监控障碍过滤子系统用于采集监控场景的超声图像信息和红外图像信息，并基于大数据和特征识别技术，根据所述超声图像信息确定所述监控场景中物体的物体三维模型，根据所述红外图像信息确定所述监控场景中生物的生物三维模型，基于所述超声图像信息和红外图像信息，根据所述物体三维模型、生物三维模型和三维图像信息生成与重构图像信息。

通过采用上述技术方案，该装置不仅能够实现监控场景的三维图像信息的采集，还能够实现对监控场景中异常状况进行提示，以及辅助控制监控场景中的终端设备和过滤监控场景的监控障碍，该装置具备丰富的功能，可用性较高。

可选的，所述三维图像采集子系统包括：多个图像采集模块、模型构建模块和图像生成模块；

所述多个图像采集模块分别用于由多个角度采集监控场景的多个二维图像；

所述模型构建模块用于构建监控场景中的景物模型；所述景物模型包括固定景物模型和动态景物模型；

所述图像生成模块用于根据所述二维图像携带的信息，将所述动态景物模型以与二维图像信息中相应的指定姿态添加至固定景物模型中的与二维图像信息相应的指定位置，以生成所述三维图像信息。

可选的，所述异常状况提示子系统包括：动作预测模块、影响判断模块和提示生成模块；

所述动作预测模块用于识别所述三维图像信息中的特征景物，并基于神经网络算法预测特征景物的动作；所述特征景物包括生物和车辆；所述动作包括位置移动趋势和状态变化趋势；所述影响规则包括若干影响事件，所述影响事件表征为特征景物为指定状态变化趋势或至少两个特征景物的位置移动趋势趋向同一位置；

所述影响判断模块用于基于预设的影响规则判断所述特征景物之间是否相互影响，若是则生成提示触发信息；

所述提示生成模块生成响应于提示触发信息的提示信息。

可选的，所述影响判断模块还用于构建包围所述特征景物的报警空间模型以及包围所述报警空间模型的预警空间模型；

所述提示触发信息包括所述预警触发信息和报警触发信息；所述提示信息包括预警信息和报警信息；

所述影响判断模块用于在所述特征景物的报警空间模型之间相互影响时生成所述报警触发信息、在所述特征景物的预警空间模型之间相互影响时生成所述预警触发信息；

所述提示生成模块响应于所述预警触发信息生成预警信息、响应于所述报警触发信息生成所述报警信息。

可选的，所述终端设备控制子系统包括：设备建模模块、动作预演模块和结果判断模块；

所述设备建模模块用于在所述三维图像信息内构建监控场景中终端设备的设备三维模型；

所述动作预演模块用于根据所述控制指令控制所述三维图像信息中设备三维模型动作，以实现所述控制指令下终端设备的动作的预演，生成预演结果图像；

所述结果判断模块用于基于预设的判断规则，根据所述预演结果图像判断所述控制指令是否合理：

所述判断规则基于所述设备三维模型是否与指定特征景物相互影响，若是则判断为不合理。

可选的，所述监控障碍过滤子系统包括：超声成像模块、红外成像模块、物体建模模块、生物建模模块和图像重构模块；

所述超声成像模块用于采集所述监控场景多个角度的超声图像信息；

所述红外成像模块用于采集所述监控场景多个角度的红外图像信息；

所述物体建模模块用于根据所述超声图像信息确定所述监控场景中物体的物体三维模型；

所述生物建模模块用于根据所述红外图像信息，基于生物模型大数据以及步态和/或体态识别技术，确定所述监控场景中生物的生物三维模型；

所述图像重构模块用于根据所述超声图像信息和红外图像信息，将所述物体三维模型和/或生物三维模型添加至所述固定景物模型中，以生成与超声图像信息和红外图像信息相应的所述重构图像信息。

可选的，所述超声成像模块包括多个超声成像装置，所述多个超声成像装置分别用于由多个角度采集监控现场的超声图像信息；

所述红外成像模块包括多个红外成像装置，所述多个红外成像装置分别用于由多个角度采集监控现场的红外图像信息。

可选的，所述固定景物模型和动态景物模型均包括基础模型和多级附加信息；

所述三维图像信息基于所述固定景物模型和动态景物模型的基础模型构建；所述三维图像信息响应于被放大的缩放指令，逐级加载所述多级附加信息。

综上所述，本申请包括以下至少一种有益技术效果：

提供了一种多功能摄像监控装置，该装置除具备图像采集功能外，还具备监控场景的异常状况提示、监控场景中的终端设备辅助控制以及监控障碍的过滤等功能，可用性大大提高。

应当理解，发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本申请实施例中多功能摄像监控装置的方框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本申请保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本申请中，摄像监控装置不仅具备图像采集功能，还具备现场异常提示功能、设备辅助控制功能和监控障碍滤除功能，可用性较高。

图1示出了本申请实施例中多功能摄像监控装置100的方框图。装置100包括三维图像采集子系统110、异常状况提示子系统120、终端设备控制子系统130和监控障碍过滤子系统140。

其中，三维图像采集子系统110用于采集监控场景的三维图像信息，异常状况提示子系统120用于对监控场景的异常状况进行提示，终端设备控制子系统130用于对监控场景的终端设备的控制进行辅助，监控障碍过滤子系统140用于对监控障碍进行过滤。

三维图像采集子系统110包括多个图像采集模块、一个模型构建模块和一个图像生成模块。

图像采集模块具体可以包括摄像头，多个摄像头设置于监控场景周边的不同位置，以实现对监控场景的多个角度的二维图像的采集。

模型构建模块用于构建监控场景中的景物模型。监控场景的景物模型包括固定景物模型和动态景物模型。固定景物模型可以包括监控场景的建筑、地形、固定设备、景观等固定景物的模型，动态景物模型可以包括监控场景中动态景物的模型，动态景物包括人体、宠物等生物以及车辆、移动设备等动态物体。模型构建模块基于三维建模原理，根据监控场景中固定景物多个角度的二维图像可构建监控场景的固定景物模型。在动态景物首次进入监控场景时，同样基于三维建模原理，模型构建模块根据每个动态景物的多个角度的二维图像可构建相应的动态景物模型。

图像生成模块用于生成监控场景三维图像信息，三维图像信息逐帧生成，一帧三维图像信息与时间戳相同的一组多个角度的二维图像的帧图像相对应。基于一组二维图像的帧图像，图像生成模块基于特征识别技术识别二维图像中的动态景物，将每个动态景物与装置100中已经构建、存储的动态景物模型进行比对，判断每一动态景物是否为首次进入监控场景，非首次进入监控场景的动态景物的动态景物模型为装置100中已经构建、存储的动态景物模型之一。若动态景物为首次进入监控场景，则基于该动态景物的多个角度的二维图像构建该动态景物的动态景物模型；若装置100中已经构建动态景物的动态景物模型，则调取该动态景物的动态景物模型。基于前述，图像生成模块能够获取一组二维图像中固定景物模型和所有的动态景物模型，并根据该组二维图像确定动态景物模型在固定景物模型中的位置及姿态，尔后将每一动态景物模型均以与二维图像中相应的指定姿态设置于固定景物模型中与二维图像中相应的指定位置，生成与该组二维图像向对应的一帧三维图像信息。将三维图像信息按时间戳的次序逐帧组合，即可生成连续的三维图像信息。

异常状况提示子系统120包括动作预测模块、影响判断模块和提示生成模块。

动作预测模块用于预测监控场景中特征景物的动作趋势。具体来说，动作预测模块调取监控场景的三维图像信息，并基于特征识别技术识别三维图像信息中的特征景物，特征景物包括人体、宠物、车辆、物体等。动作预测模块基于神经网络算法预测特征景物的动作趋势，动作趋势包括位置移动趋势和状态变化趋势，例如人体、宠物、车辆、物体的位置移动趋势，状态变化趋势例如人体由站立变化为倒地、车辆由行驶速度提升等。

影响判断模块用于根据监控场景的特征景物的动作趋势，结合预设的影响规则，判断特征景物之间是否相互影响。影响规则包含若干影响事件，影响事件基于大数据图像训练所得，影响事件例如人体与车辆碰撞、宠物攻击人体、车辆撞击物体、人体倒地、高空物体坠落、非法行车/停车等等，基于训练的影响事件，根据特征景物的动作趋势，能够确定特征景物之间是否相互影响。若特征景物之间相互影响，则影响判断模块生成提示触发信息。

提示生成模块用于生成响应于提示触发信息的提示信息。提示信息可发送至指定终端设备，以提示异常状况的发生，便于及时发现异常事件及对异常事件进行处理。

特别的，在两个特征景物的移动轨迹预测相干涉导致的影响事件，例如人体与车辆碰撞、高空物体坠落等影响事件中，可对影响事件进行分级提示。例如影响判断模块构建每个特征景物的报警空间模型和预警空间模型。报警空间模型在特征景物周围，若存在另一特定特征景物进入该报警空间模型，则影响判断模块会生成报警触发信息。同样的，预警空间模型在特征进屋周围，若存在另一特定特征景物进入该预警空间范围，则影响判断模块会生成预警触发信息。一般来说，预警空间模型大于报警空间模型。

预警触发信息和报警触发信息构成前述提示触发信息。提示生成模块输出的提示信息包括预警信息和报警信息，其中预警信息响应于预警触发信息生成，报警信息响应于报警触发信息生成。

终端设备控制子系统130包括设备建模模块、动作预演模块和结果判断模块。

设备建模模块用于建立监控场景中应用的终端设备的设备三维模型。终端设备例如巡检机器人、扫地机器人、安防机器人、服务机器人等能够响应于控制指令进行动作的设备，终端设备能够进行的动作包括位置移动和状态改变，位置移动不作赘述，状态改变例如机器人的手臂动作等。建立终端设备的设备三维模型的方法可以为多角度拍摄终端设备的图像、根据三维建模技术建立设备三维模型，也可以为通过测量设备的形状参数、依据数据构建设备三维模型。在终端设备已知的情况下，建立终端设备的设备三维模型的技术为成熟技术，故此处不作具体产开介绍。应理解，建立的设备三维模型能够进行相应终端设备能够进行的所有动作。在设备三维模型建立完毕后，设备建模模块根据三维图像信息将设备三维模型添加至与终端设备实际位置相应的位置，且设备三维模型的状态为与终端设备实际的状态相应。

动作预演模块用于根据终端设备的控制指令控制三维图像信息中的设备三维模型执行与控制指令相应的动作。具体来说，在终端设备和控制指令均确定的情况下，控制指令控制终端设备进行的动作也确定。在控制指令控制终端设备执行该动作之前，动作预演模块控制设备三维模型在三维图像信息中预先执行该动作，并结合三维图像信息的景物特征的动作趋势，实现控制指令的预演，以生成预演结果图像。

结果判断模块用于根据预演结果图像判断控制指令是否合理。该判断基于预设的判断规则确定。判断规则可参考上述的影响规则，判断规则根据上述的影响规则判断语言结果图像中巡检设备是否与特定特征景物之间相互影响，若是则判断该控制指令不合理，否则判断该控制指令合理。

终端设备控制子系统130输出的结果反馈至实际控制终端设备的控制设备，控制设备依据该结果判断该控制指令是否执行，从而能够保障终端设备的动作合理，对终端设备的控制起到指导意义。

监控障碍过滤子系统140包括超声成像模块、红外成像模块、物体建模模块、生物建模模块和图像重构模块。

监控障碍包含大雾、大雪、光线较弱、能见度较低等影响图像采集的气候，或者物体遮挡人体、宠物等给人体、宠物等生物的监控带来困难的情况。

超声成像模块用于采集监控场景多个角度的超声图像信息。超声成像模块包括多个超声成像装置，多个超声成像装置设置于监控场景的周边的多个位置、朝向监控场景，从而实现监控场景多个角度的超声图像的采集。

红外成像模块用于采集监控场景的多个角度的红外图像信息。红外成像模块包括多个红外成像装置，多个红外成像装置的设置方式可参考超声成像装置的设置方式，此处不作赘述。

物体建模模块用于获取监控场景中动态物体的动态物体模型。具体来说，由于存在监控障碍，三维图像采集子系统110难以采集动态物体清晰的可见光图像，而由于超声成像模块采集所得的超声图像信息为三维点云信息，超声图像信息不便于观看和处理。故物体建模模块根据动态物体的三维点云信息确定动态物体的轮廓及动作信息，物体建模模块基于物体大数据，基于特征识别技术，根据物体的轮廓及动作信息确定动态物体属性，并直接基于动态物体属性由云服务器中的大数据物体模型库中调取或直接构建动态物体模型。

生物建模模块用于获取监控场景中生物的生物三维模型。同样的，由于存在监控障碍，三维图像采集子系统难以采集监控场景中生物的清晰的可见光图像，而由于红外成像模块采集所得的红外图像信息为热分布图像，热分布图像不便于观看和处理。故生物建模模块基于生物大数据，基于生物的步态和体态识别技术，确定生物属性信息，生物属性信息能够直接确定的反映生物个体。基于生物属性信息，生物建模模块能够根据生物属性信息由大数据生物模型库中调取相应的生物三维模型。

图像重构模块用于生成重构图像信息，重构图像信息为监控场景在滤除监控障碍的计算图像。具体来说，监控场景的固定景物模型确定，动态物体模型和生物三维模型能够反映监控场景所有的动态景物模型，即监控场景的动态景物模型和固定景物模型均确定，基于超声图像信息和红外图像信息反映的动态景物如动态物体和生物的位置及状态，图像重构模块将相应的动态物体模型和生物三维模型添加至固定景物模型中的指定位置，并使动态物体模型和生物三维模型为指定状态，从而形成监控场景的重构图像信息，重构图像信息滤除了监控场景的监控障碍对监控带来的影响，使监控者能够实现低能见度高清监控以及跨越遮挡物监控。

当然，监控障碍滤除子系统140形成重构图像信息也基于时间戳逐帧生成，以上内容仅反映一帧重构图像信息的形成过程。监控障碍滤除子系统140响应于装置100的使用者的操作进行监控障碍滤除工作，也可以基于特征识别技术自动判断目标监控景物的监控障碍产生并自动进行相应监控障碍的滤除，实现对监控景物的高清晰度的、真实的、全方位无死角的监控。

另外，考虑到监控画面的缩放需求，在三维图像信息及重构图像信息的形成过程中，无论是动态景物模型还是固定景物模型，均包含基础模型和多级附加信息。基础模型能够反映最大视距下能够感知的动态动态景物模型和固定景物模型的信息，在监控画面被放大时，附加信息会根据放大命令逐级加载显现，从而实现较高效率的图像加载和较为灵活的图像缩放。

再者，基于三维图像信息，装置100配合显示外设和操作外设还能够具备灵活高效切换监控视角、灵活高效缩放监控画面等功能，显示外设的监控视窗仅需配置一个即可，能够有效利用显示外设。装置100基于三维图像信息及重构图像信息还能够形成监控场景的网线图像等透视化图像，以便单一视角下的更多现场信息的监控。

本申请实施例中装置100的实施原理为：以三维图像采集子系统110采集监控场景的三维图像，能够实现监控场景的全方位、无死角的监控；异常状况提示子系统120能够在异常状况发生时进行提示，便于相关人员对监控场景的异常状况的及时发现和处理；终端设备控制子系统130能够辅助监控场景的终端设备的控制，便于对终端设备更为合理的控制；监控障碍滤除子系统能够滤除监控目标景物的障碍，有利于保障监控效果。

装置100的多个功能使其能够在多个场景应用，可用性较之现有的摄像监控装置大大提升。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种多功能摄像监控装置，其特征在于，包括：三维图像采集子系统（110）、异常状况提示子系统（120）、终端设备控制子系统（130）和监控障碍过滤子系统（140）；

所述三维图像采集子系统（110）用于采集监控场景的三维图像信息；

所述异常状况提示子系统（120）用于识别所述三维图像信息中的特征景物，并基于预设的影响规则判断所述特征景物之间是否相互影响，若是则生成提示信息；

所述终端设备控制子系统（130）用于在所述三维图像信息内构建终端设备的设备三维模型，在生成用于所述终端设备动作的控制指令时，在三维图像信息中通过所述设备三维模型预演所述控制指令下终端设备的动作，并基于预设的判断规则判断所述控制指令是否合理，所述终端设备控制子系统（130）输出的结果反馈至实际控制终端设备的控制设备，控制设备依据该结果判断该控制指令是否执行，从而能够保障终端设备的动作合理；

所述监控障碍过滤子系统（140）用于采集监控场景的超声图像信息和红外图像信息，并基于大数据和特征识别技术，根据所述超声图像信息确定所述监控场景中物体的物体三维模型，根据所述红外图像信息确定所述监控场景中生物的生物三维模型，基于所述超声图像信息和红外图像信息，根据所述物体三维模型、生物三维模型和三维图像信息生成重构图像信息。

2.根据权利要求1所述的装置，其特征在于，所述三维图像采集子系统（110）包括：多个图像采集模块、模型构建模块和图像生成模块；

所述多个图像采集模块分别用于由多个角度采集监控场景的多个二维图像；

所述模型构建模块用于构建监控场景中的景物模型；所述景物模型包括固定景物模型和动态景物模型；

所述图像生成模块用于根据所述二维图像携带的信息，将所述动态景物模型以与二维图像信息中相应的指定姿态添加至固定景物模型中的与二维图像信息相应的指定位置，以生成所述三维图像信息。

3.根据权利要求1所述的装置，其特征在于，所述异常状况提示子系统（120）包括：动作预测模块、影响判断模块和提示生成模块；

所述动作预测模块用于识别所述三维图像信息中的特征景物，并基于神经网络算法预测特征景物的动作；所述特征景物包括生物和车辆；所述动作包括位置移动趋势和状态变化趋势；

所述影响判断模块用于基于预设的影响规则判断所述特征景物之间是否相互影响，若是则生成提示触发信息；所述影响规则包括若干影响事件，所述影响事件表征为特征景物为指定状态变化趋势或至少两个特征景物的位置移动趋势趋向同一位置；

所述提示生成模块用于生成响应于提示触发信息的提示信息。

4.根据权利要求3所述的装置，其特征在于，所述影响判断模块还用于构建包围所述特征景物的报警空间模型以及包围所述报警空间模型的预警空间模型；

所述提示触发信息包括预警触发信息和报警触发信息；所述提示信息包括预警信息和报警信息；

所述影响判断模块还用于在所述特征景物的报警空间模型之间相互影响时生成所述报警触发信息、在所述特征景物的预警空间模型之间相互影响时生成所述预警触发信息；

所述提示生成模块响应于所述预警触发信息生成预警信息、响应于所述报警触发信息生成所述报警信息。

5.根据权利要求1所述的装置，其特征在于，所述终端设备控制子系统（130）包括：设备建模模块、动作预演模块和结果判断模块；

所述设备建模模块用于在所述三维图像信息内构建监控场景中终端设备的设备三维模型；

所述动作预演模块用于根据所述控制指令控制所述三维图像信息中设备三维模型动作，以实现所述控制指令下终端设备的动作的预演，生成预演结果图像；

所述结果判断模块用于基于预设的判断规则，根据所述预演结果图像判断所述控制指令是否合理；

所述判断规则基于影响规则判断所述设备三维模型是否与指定特征景物相互影响，若是则判断为不合理。

6.根据权利要求2所述的装置，其特征在于，所述监控障碍过滤子系统（140）包括：超声成像模块、红外成像模块、物体建模模块、生物建模模块和图像重构模块；

所述超声成像模块用于采集所述监控场景多个角度的超声图像信息；

所述红外成像模块用于采集所述监控场景多个角度的红外图像信息；

所述物体建模模块用于根据所述超声图像信息确定所述监控场景中物体的物体三维模型；

所述生物建模模块用于根据所述红外图像信息，基于生物模型大数据以及步态和/或体态识别技术，确定所述监控场景中生物的生物三维模型；

所述图像重构模块用于根据所述超声图像信息和红外图像信息，将所述物体三维模型和/或生物三维模型添加至所述固定景物模型中，以生成与超声图像信息和红外图像信息相应的所述重构图像信息。

7.根据权利要求6所述的装置，其特征在于，所述超声成像模块包括多个超声成像装置，所述多个超声成像装置分别用于由多个角度采集监控场景的超声图像信息；

所述红外成像模块包括多个红外成像装置，所述多个红外成像装置分别用于由多个角度采集监控场景红外图像信息。

8.根据权利要求2所述的装置，其特征在于，所述固定景物模型和动态景物模型均包括基础模型和多级附加信息；

所述三维图像信息基于所述固定景物模型和动态景物模型的基础模型构建；所述三维图像信息响应于被放大的缩放指令，逐级加载所述多级附加信息。

Images