CN116206250A - 人体越界的检测方法、装置和计算机可读存储介质 - Google Patents

Abstract

本发明公开了人体越界的检测方法、装置和计算机可读存储介质，确定保护区域的保护边界，生成所述保护边界对应的越界条件，根据保护边界计算摄像机的部署位置，根据摄像机的部署位置，调整目标摄像机拍摄视场的覆盖范围，以使得保护边界落入覆盖范围，读取目标摄像机拍摄到的人体图像，提取人体图像的人体关键点，根据越界条件和人体关键点检测人体在保护区域的越界情况。基于此，本发明可以灵活设定人体进入保护边界的越界条件，在摄像机拍摄到的人体图像中提取人体关键点，通过结合越界条件和人体关键点来判断人体在保护区域的越界情况，能够精确检测人体越界情况，从而减少误判情况，减少误报、漏报现象的发生。

Description

人体越界的检测方法、装置和计算机可读存储介质

技术领域

本发明实施例涉及但不限于人体行为检测技术领域，特别是涉及一种人体越界的检测方法、装置和计算机可读存储介质。

背景技术

在工业、交通、安防等各行业中，往往存在着一些危险区域，如机器运行的工位、冶金熔炉等。进入这些区域的人员可能会受到伤害，引发安全事故，同时也可能造成生产的中断。后果非常严重。

目前对于一些有条件安装护栏等保护设施的地方，可通过物理隔离来实现对安全防护的加强。但有的地方不宜安装防护网等设施，主要通过规章制度的宣贯，以及警示牌等方式来提醒人们不要越界。但是人有时会遗忘或者忽略这些信息，导致事故的发生。也有通过摄像机来检测人进入防护区域的方式，但是存在着检测不够准确，未进入保护区域却检测为进入保护区域，或者已进入保护区域，但不能准确检测到的情况，误检误报较多。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供了一种人体越界的检测方法、装置和计算机可读存储介质，能够解决人体越界时检测不准确的问题，可自动检测人体越界，并且可精确的检测人体越界情况，减少误检、漏检的情况。

第一方面，本发明实施例提供了一种人体越界的检测方法，包括：确定保护区域的保护边界；生成所述保护边界对应的越界条件；根据所述保护边界计算摄像机的部署位置；根据所述摄像机的部署位置，调整目标摄像机拍摄视场的覆盖范围，以使得所述保护边界落入所述覆盖范围；读取所述目标摄像机拍摄到的人体图像，提取所述人体图像的人体关键点；根据所述越界条件和所述人体关键点检测人体在所述保护区域的越界情况。

第二方面，本发明实施例提供了一种人体越界的检测装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述的人体越界的检测方法。

第三方面，本发明实施例提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述的人体越界的检测方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行如上第一方面所述的人体越界的检测方法。

本发明实施例包括：确定保护区域的保护边界，生成保护边界对应的越界条件，根据保护边界计算摄像机的部署位置，根据摄像机的部署位置，调整目标摄像机拍摄视场的覆盖范围，以使得保护边界落入覆盖范围，读取目标摄像机拍摄到的人体图像，提取人体图像的人体关键点，根据越界条件和人体关键点检测人体在保护区域的越界情况。基于此，本发明可以灵活设定人体进入保护边界的越界条件，在摄像机拍摄到的人体图像中提取人体关键点，通过结合越界条件和人体关键点来判断人体在保护区域的越界情况，相较于现有技术，不但实现自动化监测保护区域内是否有人闯入或越界的情况，减少人工监控的工作量，而且能够精确检测人体越界情况，从而减少误判情况，减少误报、漏报现象的发生。只要人体越过保护界限即可被精确检测到，不会出现摄像机侧视斜视等方式引起的人未进入保护区域却被判断为越界的误报问题，以及人体实际进入保护区域却被判断为未进入的漏报问题。此外，本发明可以根据保护边界确定摄像机的部署位置，准确部署的多台摄像机可在图像中精确地反映划定的界线和旁边人体的相对位置，避免了因视角和界线不一致导致图像中无法准确反映界线和人体的相对位置。调整各个摄像机拍摄视场的覆盖范围，以使得保护边界落入覆盖范围，以此来确定摄像机的覆盖区域，让设计人员更准确的确定摄像机的位置。对于复杂或较大的保护区域，可直观的看到摄像机的覆盖以及各摄像机的交叠情况，可有效的减少纯人工计算覆盖面的工作量，同时可降低人工指定位置的误差，进而削减因摄像机部署不正确导致的返工、追加摄像机、结构件等带来的时间成本、沟通成本、财务成本。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1是本发明一个实施例提供的一种人体越界的检测方法的主流程图；

图2A是本发明一个实施例提供的保护区域为封闭多边形的示意图；

图2B是本发明一个实施例提供的保护区域为封闭凹陷形的示意图；

图2C是本发明一个实施例提供的保护区域为非封闭区域的示意图；

图3是本发明一个实施例提供的在保护边界上的摄像机覆盖高度和外延长度示意图；

图4是本发明一个实施例提供的人体关键点检测效果图；

图5是本发明一个实施例提供的一种人体越界的检测方法的子流程图；

图6是本发明一个实施例提供的一种人体越界的检测方法的子流程图；

图7是本发明一个实施例提供的矩形封闭保护区域俯视示意图；

图8是本发明一个实施例提供的一种人体越界的检测方法的子流程图；

图9是本发明一个实施例提供的长线形非封闭保护区域俯视示意图；

图10是本发明一个实施例提供的在长线形非封闭保护区域增加摄像机的俯视示意图；

图11是本发明一个实施例提供的人体越界的检测装置结构示意图；

图12是本发明一个实施例提供的电子设备结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

应了解，在本发明实施例的描述中，多个(或多项)的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到“第一”、“第二”等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

在工业、交通、安防等各行业中，往往存在着一些危险区域，如机器运行的工位、冶金熔炉等。进入这些区域的人员可能会受到伤害，引发安全事故，同时也可能造成生产的中断。后果非常严重。

目前对于一些有条件安装护栏等保护设施的地方，可通过物理隔离来实现对安全防护的加强。但有的地方不宜安装防护网等设施，主要通过规章制度的宣贯，以及警示牌等方式来提醒人们不要越界。但是人有时会遗忘或者忽略这些信息，导致事故的发生。也有通过摄像机来检测人进入防护区域的方式，但是存在着检测不够准确，未进入保护区域却检测为进入保护区域，或者已进入保护区域，但不能准确检测到的情况，误检误报较多。

针对现有技术中人体越界时检测不准确的问题，本发明实施例提供了一种人体越界的检测方法、装置和计算机可读存储介质,首先根据保护区域设置保护边界，设置保护边界的内侧和外侧分别属于保护侧或者非保护侧，并设定好人体进入保护边界的越界条件。然后根据保护边界确定摄像机的部署位置。之后对摄像机采集的视频、图像进行分析，检测出人体关键点。然后结合人体关键点和越界条件来判断人体是否越界。基于此，解决人体越界时检测不准确的问题，可自动检测人体越界，并且可精确地检测人体越界情况，减少误检、漏检的情况。基于此，本发明可以灵活设定人体进入保护边界的越界条件，在摄像机拍摄到的人体图像中提取人体关键点，通过结合越界条件和人体关键点来判断人体在保护区域的越界情况，相较于现有技术，不但实现自动化监测保护区域内是否有人闯入或越界的情况，减少人工监控的工作量，而且能够精确检测人体越界情况，从而减少误判情况，减少误报、漏报现象的发生。只要人体越过保护界限即可被精确检测到，不会出现摄像机侧视斜视等方式引起的人未进入保护区域却被判断为越界的误报问题，以及人体实际进入保护区域却被判断为未进入的漏报问题。此外，本发明可以根据保护边界确定摄像机的部署位置，准确部署的多台摄像机可在图像中精确地反映划定的界线和旁边人体的相对位置，避免了因视角和界线不一致导致图像中无法准确反映界线和人体的相对位置。调整各个摄像机拍摄视场的覆盖范围，以使得保护边界落入覆盖范围，以此来确定摄像机的覆盖区域，让设计人员更准确的确定摄像机的位置。对于复杂或较大的保护区域，可直观的看到摄像机的覆盖以及各摄像机的交叠情况，可有效的减少纯人工计算覆盖面的工作量，同时可降低人工指定位置的误差，进而削减因摄像机部署不正确导致的返工、追加摄像机、结构件等带来的时间成本、沟通成本、财务成本。

如图1所示，图1是本发明一个实施例提供的一种人体越界的检测方法的流程图。人体越界的检测方法包括但不限于如下步骤：

步骤101，确定保护区域的保护边界；

步骤102，生成保护边界对应的越界条件；

步骤103，根据保护边界计算摄像机的部署位置；

步骤104，根据摄像机的部署位置，调整目标摄像机拍摄视场的覆盖范围，以使得保护边界落入覆盖范围；

步骤105，读取摄像机拍摄到的人体图像，提取人体图像的人体关键点；

步骤106，根据越界条件和人体关键点检测人体在保护区域的越界情况。

可以理解的是，保护区域包括封闭形区域和非封闭形区域，如图2A和图2B所示，封闭形区域可以是封闭的多边形，也可以是封闭的凹陷形状，保护边界则贴合需要保护的保护区域；而非封闭形区域如图2C所示，如一条直线或者折线，可定义保护边界的某一侧为保护区域，有利于出入口等地方的越界检测。因此，对于保护区域可按实际场地的形状以及需要来设置保护边界。

可以理解的是，越界条件可以包括人体部位越界条件和时段越界条件。对于人体部位越界条件，可以针对实际保护场景需要而作出限制特定人体部分的设置，例如，可以将人体部位越界条件设置为手可越界，足不可越界。当然也可以默认设置人体所有部位都不可越界。类似地，对于时段越界条件，同样可以针对实际保护场景需要而作出限制特定时段的设置，例如，可以将时段越界条件设置为白天可越界，晚上不可越界。

可以理解的是，对于摄像机的部署位置，可以保护边界的端点位置和摄像机拍摄视场的覆盖范围来确定。现有技术采用单个摄像机侧视或者斜视的设置方式会引起人未进入保护区域却被判断为越界的误报问题，以及人体实际进入保护区域却被判断为未进入的漏报问题。而本发明可以将摄像机准确部署在保护边界上适当的位置，使得各个摄像机拍摄的图像中能够精确地反映划定的界线和旁边人体的相对位置，避免了因视角和界线不一致导致图像中无法准确反映界线和人体的相对位置，克服了现有技术中存在的人体越界误报和漏报问题。

可以理解的是，由于每个摄像机都有各自拍摄视场的覆盖范围，可以通过调整摄像机的视场角参数、挂高、朝向角度、光轴方向等来调整摄像机拍摄视场的覆盖范围。将摄像机部署在保护边界的各个端点后，需要调整相应摄像机拍摄视场的覆盖范围，以使得整个保护边界都可以落入覆盖范围内。需要说明的是，在摄像机拍摄的画面上叠加本摄像机覆盖范围内的界线。观察各相邻摄像机的界线是否吻合。如果有偏差，对界线进行调整。消除因摄像机安装的误差导致的相邻摄像机画面内界线不吻合。

可以理解的是，对于调整摄像机拍摄视场的覆盖范围，还包括调整各摄像机的覆盖高度和外延长度。覆盖高度为摄像机拍摄到人体在保护边界的高度，任意相邻两个摄像机拍摄视场之间的覆盖高度一般设置为大于人体高度，以确保界线上的整个人体都可被摄像机覆盖到。外延长度为摄像机拍摄到人体进入保护边界过程的水平延伸长度，此外延长度会延伸到保护边界的非保护侧，摄像机的外延长度一般设置为一米左右，以确保摄像机可以拍摄到整个人体进入保护边界整个过程，即整个人体从保护边界的非保护侧越界走向保护侧的越界过程。需要说明的是，如图3所示，只要任意相邻摄像机视场线相交点的高度都满足大于最低覆盖高度，最低覆盖高度一般为人体高度，则任意相邻两个摄像机拍摄视场之间的覆盖高度H都满足最低覆盖高度的要求。同样地，只要任意摄像机的外延长度L都大于预设阈值，例如一米，则各摄像机的外延长度都满足最小外延长度的要求。

可以理解的是，通过摄像机拍摄人体图像，可以使用深度学习方法从人体图像提取人体关键点。例如，如图4所示，可以使用深度学习算法openpose等检测摄像机拍摄的图像，提取人体关键点。需要指出的是，采用深度学习方法识别人体，可很好的适应光照等环境变化，对光照、地面反光等环境变化有很强的适应能力。

可以理解的是，本发明可以灵活设定人体进入保护边界的越界条件，在摄像机拍摄到的人体图像中提取人体关键点，通过结合越界条件和人体关键点来判断人体在保护区域的越界情况。在一实施方式中，当确定人体关键点满足所述越界条件，判定人体越界进入保护区域内，其中，人体关键点可以包括人的头部、躯干、上肢体、下肢体、手、足等。例如，在工厂内设备周边区域划定一个矩形的保护边界，设置越界条件为禁止晚上人体所有部位进入，因此，当确定任意的人体关键点在晚上进入此矩形的保护边界，则判定人体越界进入工厂设备的保护区域内。

可以理解的是，当判定人体越界进入保护区域内，可以控制保护区域内的设备减缓或者停止运行，并控制警示设备输出警示信息，如显示警示语、警示灯闪烁、持续发出警鸣声等。同时，保存人体进入保护区域内的图像或者视频，以供查阅。

可以理解的是，本发明的应用场景可应用在工业领域、安防领域以及交通领域，对人体越界进行检测。对于工业领域，划定危险区域，防止人员进入，有人进入时可控制设备暂停，并进行警示；对于安防领域，对机密单位的出入口划定界线，在有人进入时进行警示、拍照录像；或者对小区、住宅等的保护，可划定界线，设置夜晚或其它敏感时段，有人进入时警示或保存图像、视频；对于交通领域，对地铁、高铁站台贴近铁轨划定保护区域，有人进入时进行警示。本发明的方法也可应用到其它需要检测人体进入的场景。

可以理解的是，人体越界的检测方法整个流程可以包括如下：首先根据保护区域设置保护边界，设置保护边界的内侧和外侧分别属于保护侧或者非保护侧，并设定好人体进入保护边界的越界条件。然后根据保护边界确定摄像机的部署位置和部署数量。之后对摄像机采集的视频、图像进行分析，检测出人体关键点。然后结合人体关键点和越界条件，判断人体是否越界。之后，对保护区域内的机器或者设备进行控制，如停止或者减缓设备，以及设置相关警示信息。基于此，解决人体越界时检测不准确的问题，可自动检测人体越界，并且可精确地检测人体越界情况，减少误检、漏检的情况。

可以理解的是，本发明通过结合越界条件和人体关键点来判断人体在保护区域的越界情况，相较于现有技术，不但实现自动化监测保护区域内是否有人闯入或越界的情况，减少人工监控的工作量，而且能够精确检测人体越界情况，从而减少误判情况，减少误报、漏报现象的发生。只要人体越过保护界限即可被精确检测到，不会出现摄像机侧视斜视等方式引起的人未进入保护区域却被判断为越界的误报问题，以及人体实际进入保护区域却被判断为未进入的漏报问题。此外，本发明可以根据保护边界确定摄像机的部署位置和部署数量，部署的至少两台摄像机可在图像中精确地反映划定的界线和旁边人体的相对位置，避免了因视角和界线不一致导致图像中无法准确反映界线和人体的相对位置。调整各个摄像机拍摄视场的覆盖范围，以使得保护边界落入覆盖范围，以此来确定摄像机的覆盖区域，让设计人员更准确的确定摄像机的位置。对于复杂或较大的保护区域，可直观的看到摄像机的覆盖以及各摄像机的交叠情况，可有效的减少纯人工计算覆盖面的工作量，同时可降低人工指定位置的误差，进而削减因摄像机部署不正确导致的返工、追加摄像机、结构件等带来的时间成本、沟通成本、财务成本。

如图5所示，步骤101可以包括但不限于如下子步骤：

步骤1011，根据保护区域确定保护边界的走向设置；

步骤1012，根据保护区域确定保护边界的保护侧和非保护侧；

其中，保护区域包括封闭形区域和非封闭形区域。

可以理解的是，保护区域包括封闭形区域和非封闭形区域，如图2A和图2B所示，封闭形区域可以是封闭的多边形，也可以是封闭的凹陷形状，保护边界则贴合需要保护的保护区域；而非封闭形区域如图2C所示，如一条直线或者折线，可定义保护边界的某一侧为保护区域，有利于出入口等地方的越界检测。因此，对于保护区域可按实际场地的形状以及需要来设置保护边界的走向。同时，可以根据保护区域来定义保护边界的内侧和外侧分别为保护侧和非保护侧。

如图6所示，步骤103可以包括但不限于如下子步骤：

步骤1031，根据保护区域确定保护边界的端点位置；

步骤1032，根据保护边界的端点位置和摄像机拍摄视场的覆盖范围确定摄像机的部署位置。

可以理解的是，对于摄像机的部署位置，可以根据保护边界的端点位置和摄像机拍摄视场的覆盖范围来确定。例如，在根据保护区域确定好保护边界的情况下，可以将摄像机部署在保护边界的各个端点，当部署在端点的摄像机的视场覆盖范围不能完全覆盖端点之间的保护边界，则可以在端点之间增设摄像机，以保证摄像机的视场覆盖范围能够完全覆盖到保护边界。如图7所示，以矩形封闭保护区域为例，矩形封闭保护区域的边界具有四个端点，则可以将四台摄像机A、B、C、D分别部署在四个端点的位置上，摄像机A、B、C、D拍摄视场的覆盖范围可以覆盖整个保护边界；如图9所示，以长线形非封闭保护区域为例，摄像机A和摄像机B分别部署在边界的两端，但由于摄像机A和摄像机B的视场覆盖范围不能完全覆盖端点之间的保护边界，因此，如图10所示，需要在摄像机A和摄像机B之间增设摄像机C，以使得摄像机A、B、C拍摄视场的覆盖范围可以覆盖整个保护边界。现有技术采用单个摄像机侧视或者斜视的设置方式会引起人未进入保护区域却被判断为越界的误报问题，以及人体实际进入保护区域却被判断为未进入的漏报问题。而本发明将摄像机部署在保护边界的各个端点，使得各个摄像机拍摄的图像中能够精确地反映划定的界线和旁边人体的相对位置，避免了因视角和界线不一致导致图像中无法准确反映界线和人体的相对位置，克服了现有技术中存在的人体越界误报和漏报问题。需要说明的是，根据摄像机的部署数量可以由摄像机的部署位置来确定，例如，如图7所示的矩形保护区域，当确定矩形保护区域的端点为摄像机的部署位置，则可以部署4台摄像机A、B、C、D到四个端点上；如图9所示的长线形非封闭保护区域，除了部署2台摄像机A、B到两个端点上，如图10所示，还需要在端点之间部署1台摄像机C，以覆盖整个保护边界。

如图8所示，步骤104可以包括但不限于如下子步骤：

步骤1041，调整任意相邻两个目标摄像机拍摄视场之间的覆盖高度大于人体高度；

步骤1042，调整目标摄像机拍摄视场的外延长度大于预设阈值；

其中，覆盖高度为摄像机拍摄到人体在保护边界的高度，外延长度为摄像机拍摄到人体进入保护边界过程的水平延伸长度。

可以理解的是，为了保证整个人体在保护边界上都可以被摄像机拍摄到，各个摄像机拍摄视场的覆盖高度必须满足一定条件。这是由于一旦摄像机的覆盖高度不足，会导致人体在保护边界上无法被摄像机完整拍摄到。因此，需要调整任意相邻两个摄像机拍摄视场之间的覆盖高度大于人体高度。同时，为了保证整个人体从保护边界的非保护侧进入到保护侧的越界过程都可以被摄像机拍摄到，各个摄像机拍摄视场的外延长度必须满足一定条件。因此，需要调整各个摄像机拍摄视场的外延长度大于预设阈值，预设阈值一般设置为一米。需要说明的是，如图3所示，只要任意相邻摄像机视场线相交点的高度都满足大于最低覆盖高度，最低覆盖高度一般为人体高度，则任意相邻两个摄像机拍摄视场之间的覆盖高度H都满足最低覆盖高度的要求。同样地，只要任意摄像机的外延长度L都大于预设阈值，例如一米，则各摄像机的外延长度都满足最小外延长度的要求。需要指出的是，如果各个摄像机覆盖的最低高度达不到定义的最低覆盖高度，可在两个摄像机的覆盖交叉点或附近增加摄像机，提升覆盖高度。

可以理解的是，设计人员设置摄像机的视场角、挂高、位置、光轴、外延长度等信息，自动计算摄像机的覆盖范围，供设计人员观察效果。计算摄像机覆盖范围可以采取如下方法：

设定z轴方向为由下向上，x方向由左向右，y轴由近到远。

摄像机坐标为C＝[Cx,Cy,Cz]。则挂高H为Cz。外延长度为Le。摄像机自身的视场角，水平视场角Fovh,垂直视场角Fovv。

一般而言，摄像机的左右侧(横向)高度保持一致，不倾斜。摄像机前后(纵向)可调整倾斜角度。摄像机也可水平旋转。绕x轴逆时针旋转角度为θx。绕y轴逆时针旋转角度为θy。绕z轴逆时针旋转角度为θz。

根据旋转角度和摄像机坐标，计算旋转矩阵R和平移矩阵T。

在摄像机坐标系内，和光轴方向垂直，距离为1的平面为Pc，摄像机视角的四个边线和此平面相交，按光轴逆时针方向，形成四个顶点A1、A2、A3、A4。四个顶点A1、A2、A3、A4在摄像机坐标系内的坐标依次分别为A1＝[-tan(Fovh),tan(Fovv),1],A2＝[-tan(Fovh),-tan(Fovv),1],A3＝[tan(Fovh),tan(Fovv),1],A4＝[tan(Fovh),tan(Fovv),1]。

计算四个点在世界坐标系内的坐标。Aw＝RA+T。

然后根据四个点在世界坐标系的坐标Aw，以及摄像机坐标C，计算四条视角线L1、L2、L3、L4。然后计算四条线和水平面的交点Ph。

计算交点前，可判断线条是否和水平面水平。如果水平，则无交点。

在一实施方式中，获得四个水平交点Ph后，将四点连接为四条线GL＝[GL1、GL2、GL3、GL4]，形成摄像机在水平面的覆盖区域。然后以摄像机坐标位置z轴为0的点为圆心，Le为半径产生圆形Cy，计算四条线GL和此圆形Cy是否存在交点。如果存在，则不满足最小外延长度。需要继续调整摄像机位置和姿态。

在另一实施方式中，获得四个水平交点Ph后，将四点连接为四条线GL＝[GL1、GL2、GL3、GL4]，形成摄像机在水平面的覆盖区域。然后判断摄像机坐标位置z轴为0的点是否在此覆盖区域内。如果不在，继续调整摄像机使其覆盖此点。

设计人员观察覆盖效果，调整参数确保符合外延长度要求。

继续设置其它各摄像机，计算各摄像机的覆盖范围。

计算整体覆盖的最低高度。计算整体覆盖高度的方法如下：

获取相邻的两个摄像机C1、C2的坐标，以及旋转角度θx、θy、θz，计算四条视场边线L1、L2、L3、L4。将四条边线按相邻关系分为四组，为G1＝[L1,L2]，G2＝[L2,L3]，G3＝[L3,L4]，G4＝[L4,L1]。根据两条线计算所在的平面，为P1、P2、P3、P4。可获得摄像机C1、C2各自的四个视角边面。据此计算C1、C2相邻面的交线，并截取交线和本摄像机的L1、L2、L3、L4相交点范围内的部分。计算此部分交线和C1、C2所在垂直面的交点Pc，获取交点高度Pch。此高度为相邻摄像机交叉覆盖部分在相邻摄像机间保护界线上方的高度。

依次计算各相邻摄像机在保护界线上方的交叉点高度Pch，获得交叉点高度列表[Pch1、Pch2...]，比较列表内高度和配置的最低覆盖高度Hmin。如果某个Pch的高度达不到定义的最低覆盖高度，可在两个摄像机的覆盖交叉点或附近增加摄像机，提升覆盖高度。

基于此，通过自动计算摄像机覆盖区域，能让设计人员更准确的确定摄像机的位置、角度，降低了工作量，提高了工作效率，减少了返工、追加材料等带来的损失。通过将摄像机部署在边界顶点，可在图像中精确的反映划定的界线和旁边人体的相对位置，避免了因视角和界线不一致导致图像中无法准确反映界线和人体的相对位置。通过判断人体的关键点坐标，以及界线、内外部设置等，来判断人体是否越界。相对于人体识别的方式，可更精确的判断人体各部位的越界情况，减少误报。通过人体各部位坐标的检测，可实现人体越界标准的灵活定义。如支持将足部穿过界线认定为越界，手、头越界不报警等越界规则。

以下结合附图和具体实施例进一步介绍本发明提供的人体越界的检测方法。

如图7所示，对一个矩形封闭的区域进行保护。例如，工厂内设备周边区域。

对应实现越界检测的步骤如下：

a.设置保护区域参数。设置四个端点的坐标，连接端点形成保护区域。定义保护区域内外侧。

b.定义越界条件。如设置为人体各部位都不可越界。

c.计算摄像机覆盖范围。设置摄像机的位置，为各端点。设置最小外延范围、最低覆盖高度。摄像机的视场角参数、挂高、朝向角度，计算摄像机在地面的覆盖范围，结果如图7内A摄像机的虚线范围。

d.计算覆盖范围是否符合外延长度的要求。不符合则进行提示。继续对光轴方向、摄像机参数、位置等进行调整，至符合外延长度要求。

e.继续设置其它各摄像机B、C、D信息，获得各摄像机的覆盖区域。

f.观察保护区域是否已经被全部覆盖。如果已经全部覆盖，则计算各摄像机间的覆盖高度，检查是否符合最低覆盖高度的要求。

最终确定各摄像机位置、光轴方向。

g.按摄像机视场角度、获得的摄像机位置、光轴方向部署摄像机。

观察摄像机拍摄的画面内叠加的界线，对界线进行调整，确保相邻的摄像机画面内界线吻合。

h.使用深度学习算法openpose等检测摄像机拍摄的图像，提取人体关键点。

i.根据界线内外定义，以及越界条件的设置，提取各人体关键点坐标，对比界线坐标，判断是否在界线内部。如果在界线内部，则认为越界。

j.如果判断为越界，则控制设备暂停运行，控制警示设备发出警示信息，存储越界的图像、视频。

如图9所示，对一个非封闭的区域进行保护。例如，高铁站台靠近铁轨的区域。

对应实现越界检测的步骤如下：

a.设置区域保护参数。设置三个端点的坐标，形成两个连接线，作为界线。定义保护区域内外侧。

b.设置越界条件。设置为手可越界，足不可越界。

c.计算摄像机覆盖范围。设置摄像机的位置，为各端点。设置最小外延范围、最低覆盖高度。摄像机的视场角参数、挂高、朝向角度，计算摄像机在地面的覆盖范围，结果如图9内摄像机A和摄像机B的虚线范围。

d.计算覆盖范围是否符合外延长度的要求。不符合则进行提示。继续对光轴方向、摄像机参数、位置等进行调整，至符合外延长度要求。

e.继续设置其它各摄像机信息，获得各摄像机的覆盖区域。

f.观察保护区域是否已经被全部覆盖。如果已经全部覆盖，则计算各摄像机间的覆盖高度，检查是否符合最低覆盖高度的要求。

g.如果覆盖的最低高度达不到定义的最低覆盖高度，可在两个摄像机的覆盖交叉点或附近增加摄像机，提升覆盖高度。如图10所示，在摄像机A和摄像机B之间增加摄像机C。

最终确定各摄像机位置、光轴方向。

h.按摄像机视场角度、获得的摄像机位置、光轴方向部署摄像机。

观察摄像机拍摄的画面内叠加的界线，对界线进行调整，确保相邻的摄像机画面内界线吻合。

i.使用深度学习算法openpose等检测摄像机拍摄的图像，提取人体关键点。

j.根据界线内外定义，以及越界条件的设置，提取各人体关键点坐标，对比界线坐标，判断除手之外的人体关键点是否越过界线，进入保护区域内部。如果进入保护区域，则认为越界。

k.如果判断为越界，则控制警示设备发出警示信息，存储越界的图像、视频。

如图11所示，本发明实施例还提供了一种人体越界的检测装置。

在一实施方式中，该人体越界的检测装置可以包括：一个或多个处理器和存储器，图11中以一个处理器及存储器为例。处理器和存储器可以通过总线或者其他方式连接，图11中以通过总线连接为例。人体越界的检测装置外部与至少一个摄像机连接，连接方式可以是无线或有线，人体越界的检测装置可以控制摄像机运作。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如上述本发明实施例中的人体越界的检测方法。处理器通过运行存储在存储器中的非暂态软件程序以及程序，从而实现上述本发明实施例中的人体越界的检测方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述本发明实施例中的人体越界的检测方法所需的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该人体越界的检测装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述本发明实施例中的人体越界的检测方法所需的非暂态软件程序以及程序存储在存储器中，当被一个或者多个处理器执行时，执行上述本发明实施例中的人体越界的检测方法，例如，执行以上描述的图1中的方法步骤101至步骤106，图5中的方法步骤1011至步骤1012，图6中的方法步骤1031至步骤1032，图8中的方法步骤1041至步骤1042，确定保护区域的保护边界，生成保护边界对应的越界条件，根据保护边界计算摄像机的部署位置，根据摄像机的部署位置调整目标摄像机拍摄视场的覆盖范围，以使得保护边界落入覆盖范围，读取目标摄像机拍摄到的人体图像，提取人体图像的人体关键点，根据越界条件和人体关键点检测人体在保护区域的越界情况。基于此，本发明可以灵活设定人体进入保护边界的越界条件，在摄像机拍摄到的人体图像中提取人体关键点，通过结合越界条件和人体关键点来判断人体在保护区域的越界情况，相较于现有技术，不但实现自动化监测保护区域内是否有人闯入或越界的情况，减少人工监控的工作量，而且能够精确检测人体越界情况，从而减少误判情况，减少误报、漏报现象的发生。只要人体越过保护界限即可被精确检测到，不会出现摄像机侧视斜视等方式引起的人未进入保护区域却被判断为越界的误报问题，以及人体实际进入保护区域却被判断为未进入的漏报问题。此外，本发明可以根据保护边界确定摄像机的部署位置，准确部署的多台摄像机可在图像中精确地反映划定的界线和旁边人体的相对位置，避免了因视角和界线不一致导致图像中无法准确反映界线和人体的相对位置。调整各个摄像机拍摄视场的覆盖范围，以使得保护边界落入覆盖范围，以此来确定摄像机的覆盖区域，让设计人员更准确的确定摄像机的位置。对于复杂或较大的保护区域，可直观的看到摄像机的覆盖以及各摄像机的交叠情况，可有效的减少纯人工计算覆盖面的工作量，同时可降低人工指定位置的误差，进而削减因摄像机部署不正确导致的返工、追加摄像机、结构件等带来的时间成本、沟通成本、财务成本。

如图12所示，本发明实施例还提供了一种电子设备。

在一实施方式中，该电子设备包括：一个或多个处理器和存储器，图12中以一个处理器及存储器为例。处理器和存储器可以通过总线或者其他方式连接，图12中以通过总线连接为例。电子设备外部与至少一个摄像机连接，连接方式可以是无线或有线，电子设备可以控制摄像机运作。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如上述本发明实施例中的人体越界的检测方法。处理器通过运行存储在存储器中的非暂态软件程序以及程序，从而实现上述本发明实施例中的人体越界的检测方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述本发明实施例中的人体越界的检测方法所需的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该人体越界的检测装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述本发明实施例中的人体越界的检测方法所需的非暂态软件程序以及程序存储在存储器中，当被一个或者多个处理器执行时，执行上述本发明实施例中的人体越界的检测方法，例如，执行以上描述的图1中的方法步骤101至步骤106，图5中的方法步骤1011至步骤1012，图6中的方法步骤1031至步骤1032，图8中的方法步骤1041至步骤1042，确定保护区域的保护边界，生成保护边界对应的越界条件，根据保护边界计算摄像机的部署位置，根据摄像机的部署位置，调整目标摄像机拍摄视场的覆盖范围，以使得保护边界落入覆盖范围，读取目标摄像机拍摄到的人体图像，提取人体图像的人体关键点，根据越界条件和人体关键点检测人体在保护区域的越界情况。基于此，本发明可以灵活设定人体进入保护边界的越界条件，在摄像机拍摄到的人体图像中提取人体关键点，通过结合越界条件和人体关键点来判断人体在保护区域的越界情况，相较于现有技术，不但实现自动化监测保护区域内是否有人闯入或越界的情况，减少人工监控的工作量，而且能够精确检测人体越界情况，从而减少误判情况，减少误报、漏报现象的发生。只要人体越过保护界限即可被精确检测到，不会出现摄像机侧视斜视等方式引起的人未进入保护区域却被判断为越界的误报问题，以及人体实际进入保护区域却被判断为未进入的漏报问题。此外，本发明可以根据保护边界确定摄像机的部署位置，准确部署的多台摄像机可在图像中精确地反映划定的界线和旁边人体的相对位置，避免了因视角和界线不一致导致图像中无法准确反映界线和人体的相对位置。调整各个摄像机拍摄视场的覆盖范围，以使得保护边界落入覆盖范围，以此来确定摄像机的覆盖区域，让设计人员更准确的确定摄像机的位置。对于复杂或较大的保护区域，可直观的看到摄像机的覆盖以及各摄像机的交叠情况，可有效的减少纯人工计算覆盖面的工作量，同时可降低人工指定位置的误差，进而削减因摄像机部署不正确导致的返工、追加摄像机、结构件等带来的时间成本、沟通成本、财务成本。

此外，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行程序，该计算机可执行程序被一个或多个控制处理器执行，例如，被图11中的一个处理器执行，可使得上述一个或多个处理器执行上述本发明实施例中的人体越界的检测方法，例如，执行以上描述的图1中的方法步骤101至步骤106，图5中的方法步骤1011至步骤1012，图6中的方法步骤1031至步骤1032，图8中的方法步骤1041至步骤1042，确定保护区域保护边界，生成保护边界对应的越界条件，根据保护边界确定摄像机的部署位置，根据摄像机的部署位置，调整目标摄像机拍摄视场的覆盖范围，以使得保护边界落入覆盖范围，读取目标摄像机拍摄到的人体图像，提取人体图像的人体关键点，根据越界条件和人体关键点检测人体在保护区域的越界情况。基于此，本发明可以灵活设定人体进入保护边界的越界条件，在摄像机拍摄到的人体图像中提取人体关键点，通过结合越界条件和人体关键点来判断人体在保护区域的越界情况，相较于现有技术，不但实现自动化监测保护区域内是否有人闯入或越界的情况，减少人工监控的工作量，而且能够精确检测人体越界情况，从而减少误判情况，减少误报、漏报现象的发生。只要人体越过保护界限即可被精确检测到，不会出现摄像机侧视斜视等方式引起的人未进入保护区域却被判断为越界的误报问题，以及人体实际进入保护区域却被判断为未进入的漏报问题。此外，本发明可以根据保护边界确定摄像机的部署位置，准确部署的多台摄像机可在图像中精确地反映划定的界线和旁边人体的相对位置，避免了因视角和界线不一致导致图像中无法准确反映界线和人体的相对位置。调整各个摄像机拍摄视场的覆盖范围，以使得保护边界落入覆盖范围，以此来确定摄像机的覆盖区域，让设计人员更准确的确定摄像机的位置。对于复杂或较大的保护区域，可直观的看到摄像机的覆盖以及各摄像机的交叠情况，可有效的减少纯人工计算覆盖面的工作量，同时可降低人工指定位置的误差，进而削减因摄像机部署不正确导致的返工、追加摄像机、结构件等带来的时间成本、沟通成本、财务成本。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读程序、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读程序、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。

Claims (11)

1.一种人体越界的检测方法，其特征在于，包括：

确定保护区域的保护边界；

生成所述保护边界对应的越界条件；

根据所述保护边界计算摄像机的部署位置；

根据所述摄像机的部署位置，调整目标摄像机拍摄视场的覆盖范围，以使得所述保护边界落入所述覆盖范围；

读取所述目标摄像机拍摄到的人体图像，提取所述人体图像的人体关键点；

根据所述越界条件和所述人体关键点检测人体在所述保护区域的越界情况。

2.根据权利要求1所述的方法，其特征在于，所述根据所述越界条件和所述人体关键点检测人体在所述保护区域的越界情况，包括：

当确定所述人体关键点满足所述越界条件，判定人体越界进入所述保护区域内。

3.根据权利要求2所述的方法，其特征在于，在所述当确定所述人体关键点满足所述越界条件，判定人体越界进入所述保护区域内之后，还包括：

控制所述保护区域内的设备减缓或者停止运行，并输出警示信息；和/或，

保存人体进入所述保护区域内的图像或者视频。

4.根据权利要求1所述的方法，其特征在于，所述确定保护区域的保护边界，包括：

根据保护区域确定所述保护边界的走向设置；

根据保护区域确定所述保护边界的保护侧和非保护侧；

其中，所述保护区域包括封闭形区域和非封闭形区域。

5.根据权利要求1所述的方法，其特征在于，所述根据所述保护边界计算摄像机的部署位置，包括：

根据所述保护区域确定所述保护边界的端点位置；

根据所述保护边界的端点位置和所述摄像机拍摄视场的覆盖范围确定所述摄像机的部署位置。

6.根据权利要求5所述的方法，其特征在于，在所述根据所述保护边界的端点位置和所述摄像机拍摄视场的覆盖范围确定所述摄像机的部署位置之后，还包括：

根据所述摄像机的部署位置确定所述摄像机的部署数量。

7.根据权利要求1所述的方法，其特征在于，所述调整目标摄像机拍摄视场的覆盖范围，包括：

调整任意相邻两个所述目标摄像机拍摄视场之间的覆盖高度大于人体高度；

调整所述目标摄像机拍摄视场的外延长度大于预设阈值；

其中，所述覆盖高度为所述摄像机拍摄到人体在所述保护边界的高度，所述外延长度为所述摄像机拍摄到人体进入所述保护边界过程的水平延伸长度。

8.根据权利要求1至7任意一项所述的方法，其特征在于，所述越界条件包括人体部位越界条件和时段越界条件。

9.一种人体越界的检测装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的人体越界的检测方法。

10.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的人体越界的检测方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行如权利要求1至8任意一项所述的人体越界的检测方法。

Images