CN113536980A - 拍摄行为检测方法、装置、电子装置和存储介质 - Google Patents

Abstract

本申请涉及一种拍摄行为检测方法、装置、电子装置和存储介质，其中，该拍摄行为检测方法通过获取由监控设备采集的图像序列；在图像序列中检测图像采集设备和目标显示设备，并分别确定图像采集设备的第一3D包围盒和目标显示设备的第二3D包围盒；确定第一3D包围盒中对应于图像采集设备的显示屏幕的第一平面，以及确定第二3D包围盒中对应于目标显示设备的显示屏幕的第二平面；基于第一平面和第二平面的位置关系，确定是否存在目标拍摄行为。通过本申请，解决了相关技术中对客户隐私拍摄的检测误检误报次数多，检测准确率低的问题，实现了根据图像采集设备与目标显示设备的位置关系确定拍摄行为的判断。

Description

拍摄行为检测方法、装置、电子装置和存储介质

技术领域

本申请涉及计算机视觉领域，特别是涉及拍摄行为检测方法、装置、电子装置和存储介质。

背景技术

随着计算机计算能力地提高和深度学习技术的发展，人工智能产品越来越多用于人们的日常生活。在相关技术领域中，柜面服务是一种常见的客户服务方式，柜面服务过程中，常常会显示客户的隐私信息，而客户的隐私信息是需要被保护的，因此，需要对是否对客户隐私信息进行拍摄的行为进行检查，籍以降低泄露客户隐私。

相关技术中，在柜员服务过程中，检测柜员是否进行客户隐私的拍摄，仅通过检测是否存在拍摄设备，误检误报次数多，检测准确率低；同时，相关技术中采用单一目标检测或人工智能识别违规拍摄行为，算法鲁棒性低、准确率低。

针对相关技术中对客户隐私拍摄的检测误检误报次数多，检测准确率低，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种拍摄行为检测方法、装置、电子装置和存储介质，以解决相关技术中对客户隐私拍摄的检测误检误报次数多，检测准确率低的问题。

第一个方面，在本实施例中提供了一种拍摄行为检测方法，包括：获取由监控设备采集的图像序列；在所述图像序列中检测图像采集设备和目标显示设备，并分别确定所述图像采集设备的第一3D包围盒和所述目标显示设备的第二3D包围盒；确定所述第一3D包围盒中对应于所述图像采集设备的显示屏幕的第一平面，以及确定所述第二3D包围盒中对应于所述目标显示设备的显示屏幕的第二平面；基于所述第一平面和所述第二平面的位置关系，确定是否存在目标拍摄行为，其中，所述目标拍摄行为包括利用所述图像采集设备，对所述目标显示设备的显示屏幕进行拍摄的行为。

在其中的一些实施例中，基于所述第一平面和所述第二平面的位置关系，确定是否存在目标拍摄行为，包括：确定所述第一平面和所述第二平面的夹角；若确定所述夹角小于预设夹角阈值，则确定存在所述目标拍摄行为。

在其中的一些实施例中，所述确定所述第一平面和所述第二平面的夹角之前，所述方法还包括：基于所述第一3D包围盒，确定所述图像采集设备的显示屏幕处于使用状态；基于所述第二3D包围盒，确定所述目标显示设备的显示屏幕处于使用状态。

在其中的一些实施例中，所述基于所述第一3D包围盒，确定所述图像采集设备的显示屏幕处于使用状态，包括：确定所述第一3D包围盒对应的像素的均值大于第一像素阈值；所述基于所述第二3D包围盒，确定所述目标显示设备的显示屏幕处于使用状态，包括：确定所述第二3D包围盒对应的像素的均值大于第二像素阈值。

在其中的一些实施例中，获取由监控设备采集的图像序列之后，所述检测方法还包括：从所述图像序列中，确定出与预设目标区对应的第一图像帧，其中，所述预设目标区用于表征所述图像序列中目标人物所处的区域；从所述第一图像帧中确定出所述目标人物所对应的手部特征点；若确定出所述手部特征点中，处于所述第一3D包围盒内的数量大于预设数量阈值，则在所述图像序列中检测图像采集设备和目标显示设备。

在其中的一些实施例中，所述从所述图像序列中，确定出与预设目标区对应的第一图像帧之后，所述方法还包括：通过目标检测算法在所述第一图像帧中进行人物目标检测，生成目标检测信息；若确定所述目标检测信息中包括人体目标框，则确定从所述第一图像帧中检测出所述人物目标，其中，所述人体目标框用于标注所述目标人物。

在其中的一些实施例中，所述确定所述第一平面和所述第二平面的夹角，包括：确定所述第一平面在预设方向上的一个第一法向量，以及确定所述第二平面在所述预设方向上对应的一个第二法向量；将所述第一法向量和所述第二法向量的夹角，确定为所述第一平面和所述第二平面的夹角。

在其中的一些实施例中，所述方法还包括：利用预设3D目标检测算法检测所述第一平面在监控设备坐标系下对应的第一3D投影坐标，以及检测所述第二平面在监控设备坐标系下对应的第二3D投影坐标；通过预设姿态估计算法分别对所述第一3D投影坐标和所述第二3D投影坐标进行处理，得到第一3D空间位置信息和第二3D空间位置信息，其中，所述第一3D空间位置信息表征所述第一平面在世界坐标系下的坐标信息，所述第二3D空间位置信息表征所述第二平面在世界坐标系下的坐标信息；根据所述第一3D空间位置信息和所述第二3D空间位置信息，确定所述第一平面和所述第二平面的距离；若确定所述距离小于预设距离阈值，则确定所述第一平面和所述第二平面的夹角。

在其中的一些实施例中，若确定所述夹角小于预设夹角阈值，则确定存在所述目标拍摄行为包括：根据所述第一3D空间位置信息确定所述第一平面对应的第三法向量，以及根据所述第二3D空间位置信息确定所述第二平面对应的第四法向量；确定所述第三法向量和所述第四法向量之间的夹角，得到第二夹角，若确定所述第二夹角小于所述预设夹角阈值，则确定存在所述目标拍摄行为。

在其中的一些实施例中，所述若确定所述夹角小于预设夹角阈值，则确定存在所述目标拍摄行为之后，所述方法还包括：确定所述目标拍摄行为的开始时刻至当前时刻的时长，若确定所述时长超过时间阈值则对所述目标拍摄行为进行违规报警。

在其中的一些实施例中，所述分别确定所述图像采集设备的第一3D包围盒和所述目标显示设备的第二3D包围盒之后，所述方法还包括：确定所述第一3D包围盒是否处于所述图像序列中的预设违规区域；若确定到所述第一3D包围盒处于所述图像序列中的预设违规区域，则确定所述第一3D包围盒中对应于所述图像采集设备的显示屏幕的第一平面，以及确定所述第二3D包围盒中对应于所述目标显示设备的显示屏幕的第二平面。

第二个方面，在本实施例中提供了一种拍摄行为检测装置，包括：获取模块，用于获取由监控设备采集的图像序列；检测模块，用于在所述图像序列中检测图像采集设备和目标显示设备，获取所述图像采集设备的第一3D包围盒和所述目标显示设备的第二3D包围盒；处理模块，用于确定所述第一3D包围盒中对应于所述图像采集设备的显示屏幕的第一平面，以及确定所述第二3D包围盒中对应于所述目标显示设备的显示屏幕的第二平面；确定模块，用于基于所述第一平面和所述第二平面的位置关系，确定是否存在目标拍摄行为，其中，所述目标拍摄行为包括利用所述图像采集设备，对所述目标显示设备的显示屏幕进行拍摄的行为。

第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的拍摄行为检测方法。

第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的拍摄行为检测方法。

与相关技术相比，在本实施例中提供的拍摄行为检测方法、装置、电子装置和存储介质，通过获取由监控设备采集的图像序列；在图像序列中检测图像采集设备和目标显示设备，并分别确定图像采集设备的第一3D包围盒和目标显示设备的第二3D包围盒；确定第一3D包围盒中对应于图像采集设备的显示屏幕的第一平面，以及确定第二3D包围盒中对应于目标显示设备的显示屏幕的第二平面；基于第一平面和第二平面的位置关系，确定是否存在目标拍摄行为，其中，目标拍摄行为包括利用图像采集设备，对目标显示设备的显示屏幕进行拍摄的行为，解决了相关技术中对客户隐私拍摄的检测误检误报次数多，检测准确率低的问题，实现了根据图像采集设备与目标显示设备的位置关系确定拍摄行为的判断。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的拍摄行为检测方法的终端的硬件结构框图；

图2是根据本申请实施例的拍摄行为检测方法的流程图；

图3是根据本申请优选实施例的拍摄行为检测方法的流程图；

图4是根据本申请实施例的拍摄行为检测装置的结构框图。

具体实施方式

为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。

除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。

本申请中描述的各种技术可用于各种目标检测、动作状态检测系统及设备中。

在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是根据本申请实施例的拍摄行为检测方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的拍摄行为检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种拍摄行为检测方法，图2是根据本申请实施例的拍摄行为检测方法的流程图，如图2所示，该流程包括如下步骤：

步骤S201，获取由监控设备采集的图像序列。

在本实施例中，监控设备包括但不限于监控摄像机、普通摄像机或智能摄像机。

在本实施例中，拍摄行为检测处理的是：柜面场景中，柜员服务过程中是否对客户的隐私信息进行拍摄。柜面场景包括柜员区和客户区，柜员区和客户区之间为柜面区，且柜面区内放置了目标显示设备，柜员位于目标显示设备背离客户区的一侧。

在本实施例中，监控设备采用斜装方式，并由柜员区照向客户区，每个柜员区至少安装一个斜装监控设备。

步骤S202，在图像序列中检测图像采集设备和目标显示设备，获取图像采集设备的第一三维(3Dimensions，简称为3D)包围盒和目标显示设备的第二3D包围盒。

在本实施例中，图像采集设备包括但不限于照相机、手机、智能摄像机或其他具备拍照功能的设备；在本实施例中，目标显示设备包括但不限于带有显示屏幕的计算机、计算机连接的独立的显示器、投影设备(如投影仪)等；同时，本申请可以应用不限于应用于柜面服务的场景中，还可以是其他不允许拍摄相关设备显示的内容的场景，例如：会议，此时，目标显示设备可以是投影或其他显示设备，投影或其他显示设备所显示的内容也是不允许拍摄的。

3D包围盒可以表示一个物体的姿态，也就是物体在3D空间中的空间位置XYZ，以及物体绕3D空间坐标系的X轴、Y轴和Z轴旋转的角度；通过确定物体在对应的3D空间中的六个自由度，就可以确定物体对应的姿态。在本实施例中，3D空间坐标系对应的是图像序列场景的坐标系，例如：监控摄像机形成的图像序列的坐标系。

在本实施例中，3D包围盒是目标对象对应于监控摄像机坐标系下的3D投影坐标，包括中心点坐标和8个角点坐标，其中，中心点坐标和8个角度坐标确定目标对象在监控摄像机坐标系下的六个自由度以及确定目标对象对应的姿态。本实施例中的3D包围盒对应的3D坐标参数还可以转换为世界坐标系，从而进行后续的位置计算处理。

在本实施例中，在图像序列中检测图像采集设备和目标显示设备是通过YOLO-6D检测算法而得到的第一3D包围盒和第二3D包围盒。

步骤S203，确定第一3D包围盒中对应于图像采集设备的显示屏幕的第一平面，以及确定第二3D包围盒中对应于目标显示设备的显示屏幕的第二平面。

在本实施例中，图像序列中与图像采集设备和目标显示设备对应的3D包围盒有六个面，因此分别对应于各目标(图像采集设备和目标显示设备)的显示屏幕的面有两个平面，通过各自对应的两个平面中选取的一个面进行图像采集设备和目标显示设备位置的确定，从而完成目标拍摄行为的检查。在本实施例中，通过获取图像采集设备与目标显示设备所处平面来确定其对应的位置关系，由于图像采集设备与目标显示设备之间的相对位置关系不会因坐标系的不同而发生变化，因此，第一平面和第二平面可以直接采用在监控设备所对应的坐标系下获取的图像序列中的图像采集设备的显示屏幕和目标显示设备的显示屏幕分别对应的平面，并直接在监控设备所对应的坐标系下进行图像采集设备和目标显示设备所对应的位置的计算。当然，还可以将监控设备所对应的坐标系转换为世界坐标系，然后将第一平面和第二平面对应的空间位置信息转换为世界坐标系下的空间位置信息，并计算得到图像采集设备和目标显示设备所对应的位置关系。

步骤S204，基于第一平面和第二平面的位置关系，确定是否存在目标拍摄行为，其中，目标拍摄行为包括利用图像采集设备，对目标显示设备的显示屏幕进行拍摄的行为。

在本实施例中，在得到第一平面和第二平面后，需要确定第一平面和第二平面的相对位置，当第一平面与第二平面的位置关系满足预设的违规条件所对应的位置关系时，则表明存在目标拍摄行为。

在本实施例中，第一平面和第二平面的位置关系是通过第一平面和第二平面的夹角进行表征的。同时，在本实施例中，通过确定图像采集设备和目标显示设备两者之间的精准位置关系来判断是否存在拍摄行为，从而减少拍摄行为检测过程中的误报误检。

在本实施例中，通过判断第一平面和第二平面是否平行，从而确定图像采集设备和目标显示设备是否处于平行状态，当图像采集设备和目标显示设备处于平行状态时，则表明图像采集设备处于与目标显示设备的显示屏幕的正对的位置，从而表明发生拍摄行为。

需要说明的是，当图像采集设备和目标显示设备处于平行状态、但图像采集设备或目标显示设备处于未使用状态，此时，虽然未发生实际的目标拍摄行为，但已经为拍摄行为构建了拍摄条件，通过认定该种状态存在拍摄行为，降低客户隐私信息被泄露的风险。

通过上述步骤S201至步骤S204，通过获取由监控设备采集的图像序列；在图像序列中检测图像采集设备和目标显示设备，并分别确定图像采集设备的第一3D包围盒和目标显示设备的第二3D包围盒；确定第一3D包围盒中对应于图像采集设备的显示屏幕的第一平面，以及确定第二3D包围盒中对应于目标显示设备的显示屏幕的第二平面；基于第一平面和第二平面的位置关系，确定是否存在目标拍摄行为，解决相关技术中对客户隐私拍摄的检测误检误报次数多，检测准确率低的问题，实现了基于3D目标检测算法检测图像采集设备和目标显示设备，准确的确定图像采集设备和目标显示设备的位置关系，提高拍摄行为检测的准确率。

在其中的一些实施例中，基于第一平面和第二平面的位置关系，确定是否存在目标拍摄行为通过如下步骤实现：

步骤1、确定第一平面和第二平面的夹角。

在本实施例中，确定第一平面和第二平面的位置关系是基于两个平面之前的夹角确定的。

步骤2、若确定夹角小于预设夹角阈值，则确定存在目标拍摄行为。

在本实施例中，通过判断第一平面和第二平面的夹角是否小于预设夹角阈值，籍以判断第一平面和第二平面是否平行，从而确定图像采集设备和目标显示设备是否处于平行状态，当图像采集设备和目标显示设备处于平行状态时，则表明图像采集设备处于与目标显示设备的显示屏幕的正对的位置，从而表明发生目标拍摄行为。

通过上述步骤中的确定第一平面和第二平面的夹角，若确定夹角小于预设夹角阈值，则确定存在目标拍摄行为，实现了基于夹角确定第一平面和第二平面的位置关系，籍以判断是否存在利用图像采集设备对目标显示设备的显示屏幕进行拍摄。

在其中的一些实施例中，确定第一平面和第二平面的夹角之前，还实施如下步骤：

步骤1、基于第一3D包围盒，确定图像采集设备的显示屏幕处于使用状态。

步骤2、基于第二3D包围盒，确定目标显示设备的显示屏幕处于使用状态。

在本实施例中，通过确定图像采集设备和目标显示设备是否处于使用状态，判断是否满足违规对目标显示设备的显示屏幕进行拍摄的条件；在本实施例中，图像采集设备的显示屏幕处于使用状态，则表示对目标显示设备的显示屏幕进行拍摄的设备在运行，目标显示设备的显示屏幕处于使用状态，则表示对应的信息，例如：客户隐私信息被显示，通过确定图像采集设备和目标显示设备均处于使用状态的情况下，再通过检查第一平面和第二平面的位置关系，从而确保检查出的目标拍摄行为的准确率。

在本实施例中，当在检测到图像采集设备的显示屏幕和目标显示设备的显示屏幕均处于使用状态的情况下，检测第一平面和第二平面的夹角是否小于预设夹角阈值；在检测到第一平面和第二平面的夹角小于预设夹角阈值的情况下，表示第一平面与第二平面平行，也就表示图像采集设备与目标显示设备正对，同时，检测到图像采集设备和目标显示设备均处于使用状态，表示与目标显示设备的显示屏幕正对的位置上运行有的图像采集设备，如此，确定存在拍摄行为。

通过上述步骤中的基于第一3D包围盒，确定图像采集设备的显示屏幕处于使用状态；基于第二3D包围盒，确定目标显示设备的显示屏幕处于使用状态采用增加判断拍摄行为的判断条件，提高了拍摄行为判断的准确率。

在其中的一些实施例中，基于所述第一3D包围盒，确定图像采集设备的显示屏幕处于使用状态通过如下步骤实现：确定第一3D包围盒对应的像素的均值大于第一像素阈值；

基于第二3D包围盒，确定目标显示设备的显示屏幕处于使用状态通过如下步骤实现：确定第二3D包围盒对应的像素的均值大于第二像素阈值。

在本实施例中，检测图像采集设备的显示屏幕和目标显示设备的显示屏幕是否处于使用状态还实施如下步骤：

步骤1、分别检测第一3D包围盒和第二3D包围盒所对应的像素的均值。

在本实施例中，检测对应的像素的均值时，是通过检测第一3D包围盒对应于第一平面，以及第二3D包围盒对应于第二平面的像素的均值；同时，由于第一3D包围盒和第二3D包围盒其他面也具备一定的像素，因此，通过分别检测第一3D包围盒和第二3D包围盒的整体的像素而确定图像采集设备的显示屏幕和目标显示设备的显示屏幕对应的使用(点亮)状态。

步骤2、判断第一3D包围盒所对应的像素的均值是否大于第一像素阈值，以及判断第二3D包围盒所对应的像素的均值是否大于第二像素阈值。

步骤3、若判断到第一3D包围盒所对应的像素的均值大于第一像素阈值，则确定图像采集设备的显示屏幕处于使用状态，以及若判断到第二3D包围盒所对应的像素的均值大于第二像素阈值，则确定目标显示设备的显示屏幕处于使用状态。

在本实施例中，当判断到图像采集设备和目标显示设备均处于不使用状态，则表示不满足进行拍摄目标显示设备的显示屏幕的条件，也就是图像采集设备未运行、目标显示设备的显示屏幕上没有显示对应的信息，例如：客户隐私信息。

通过上述步骤中的分别检测第一3D包围盒和第二3D包围盒所对应的像素的均值；判断第一3D包围盒所对应的像素的均值是否大于第一像素阈值，以及判断第二3D包围盒所对应的像素的均值是否大于第二像素阈值；若判断到第一3D包围盒所对应的像素的均值大于第一像素阈值，则确定图像采集设备的显示屏幕处于使用状态，以及若判断到第二3D包围盒所对应的像素的均值大于第二像素阈值，则确定目标显示设备的显示屏幕处于使用状态，实现了根据像素的均值判断对应设备的显示屏幕的运行状态，并通过判断图像采集设备和目标显示设备的使用状态，提高拍摄行为检测的准确率。

在其中的一些实施例中，获取由监控设备采集的图像序列之后，还实施如下步骤：

步骤1、从图像序列中，确定出与预设目标区对应的第一图像帧，其中，预设目标区用于表征图像序列中目标人物所处的区域。

在本实施例中，目标人物表示出现在柜员区内的至少一个柜员；通过检测预设目标区内是否具有人物目标，当检测到存在人物目标时，则表示该人物目标，也就是该至少一个柜员，该人物目标是可能操作图像采集设备而进行拍摄行为的候选目标人物。

步骤2、从第一图像帧中检测目标人物所对应的手部特征点。

在本实施例中，从第一图像帧中检测目标人物所对应的手部特征点是对目标人物的多个手部特征点进行检测；通过YOLOV4目标检测算法检测图像中的人物目标，并获取人物目标对应的人体检测框(对应为一种3D包围盒)，从而判断是否有柜员存在；在本实施例中，柜员可能是一个，也可能是多个，只要判断出一个目标人物，在通过手部特征点的检测，从而检测出柜员是否与图像采集设备产生关联，在本申请中，柜员与图像采集设备产生关联，表示柜员接触、操作图像采集设备。

在本实施例中，再获取了人体检测框后，在人体检测框中进行手部关键点检测，当检测的处于人体检测框内的手部关键点的数目超过预设阈值后，则表示对应的柜员的手部处于操作图像采集设备的位置上。

步骤3、若确定出的手部特征点中，处于第一3D包围盒内的数目大于预设数量阈值时，则在图像序列中检测图像采集设备和目标显示设备。

在本实施例中，当确定手部特征点中处于第一3D包围盒内的数目大于预设数量阈值时，表示对应目标人物的手部与图像采集设备产生关联，也就是对图像采集设备进行操作；此时，再通过在图像序列中检测图像采集设备和目标显示设备，确定图像采集设备和目标显示设备的位置，进而对拍摄行为进行精准判断。

步骤4、获取图像采集设备的第一3D包围盒和目标显示设备的第二3D包围盒。

步骤5、确定第一3D包围盒中对应于图像采集设备的显示屏幕的第一平面，以及确定第二3D包围盒中对应于目标显示设备的显示屏幕的第二平面。

步骤6、基于第一平面和第二平面的位置关系，确定是否存在目标拍摄行为。

通过上述步骤中的从图像序列中，确定出与预设目标区对应的第一图像帧，其中，预设目标区用于表征图像序列中目标人物所处的区域；从第一图像帧中检测目标人物所对应的手部特征点；若确定出的手部特征点中，处于第一3D包围盒内的数目大于预设数量阈值时，在图像序列中检测图像采集设备和目标显示设备；获取图像采集设备的第一3D包围盒和目标显示设备的第二3D包围盒；确定第一3D包围盒中对应于图像采集设备的显示屏幕的第一平面，以及确定第二3D包围盒中对应于目标显示设备的显示屏幕的第二平面；基于第一平面和第二平面的位置关系，确定是否存在目标拍摄行为，实现了以人物目标的手部是否处于第一3D包围盒内，以及第一平面和第二平面位置关系为判断条件判断是否存在目标拍摄行为，提高拍摄行为检测的准确率；同时，关键点检测和3D目标检测技术的结合实现拍摄行为的检测，提高了算法鲁棒性高和检测的准确率。

在其中的一些实施例中，在第一图像帧中检测目标人物所对应的多个手部特征点采用如下方式实现：利用预设目标检测器在第一图像帧中检测目标人物所对应的多个手部特征点。

在本实施例中，在获取到至少一个目标人物对应的第一3D包围盒后，在第一3D包围盒中检测出对应于人体手部的手部包围盒，然后将手部包围盒输入到关键点检测器中检测手部对应的21个手部关键点，若三分之一以上的手部关键点在第一3D包围盒中，则判断对应的目标人物与图像采集设备产生关联，也就是接触或操作图像采集设备。

通过上述步骤中的利用预设目标检测器在第一图像帧中检测目标人物所对应的多个手部特征点，实现了人物目标手部是否与图像采集设备产生关联的判断。

在其中的一些实施例中，从图像序列中，确定出与预设目标区对应的第一图像帧之后，还实施如下步骤：

步骤1、通过目标检测算法在第一图像帧中进行人物目标检测，生成目标检测信息。

在本实施例中，通过YOLOV4目标检测算法进行人物目标检测，获得人体目标框。

步骤2、若确定目标检测信息中包括人体目标框，则确定从第一图像帧中检测出目标人物，其中，人体目标框用于标注目标人物。

在本实施例中，通过判断是否检测到人体目标框，从而确定检测出对图像采集设备进行操作的人物目标。

通过上述步骤中的通过目标检测算法在第一图像帧中进行人物目标检测，生成目标检测信息；若确定目标检测信息中包括人体目标框，则确定从第一图像帧中检测出目标人物，其中，人体目标框用于标注目标人物，实现人体目标检测。

在其中的一些实施例中，确定第一平面和第二平面的夹角通过如下步骤实现：

步骤1、确定第一平面在预设方向上的一个第一法向量，以及确定第二平面在预设方向上对应的一个第二法向量。

步骤2、将第一法向量和第二法向量的夹角，确定为第一平面和第二平面的夹角。

在本实施例中，通过在监控设备对应的坐标下，通过第一平面和第二平面对应的法向量而计算第一平面和第二平面之间的夹角，并通过该夹角确定第一平面和第二平面是否平行。

在本实施例中，第一法向量和第二法向量分别对应为第一平面和第二平面在对应的方向上的法向量，其中，第一法向量和第二法向量的模可相等，例如：均为单位法向量，也可以不相等。

通过上述步骤中的确定第一平面在预设方向上的一个第一法向量，以及确定第二平面在预设方向上对应的一个第二法向量；将第一法向量和第二法向量的夹角，确定为第一平面和第二平面的夹角，实现了在监控设备对应坐标系下的第一平面和第二平面之间的位置夹角的确定。

在其中的一些实施例中，在确定了第一平面和第二平面后，还实施如下步骤：

步骤1、利用预设3D目标检测算法检测第一平面在监控设备坐标系下对应的第一3D投影坐标，以及检测第二平面在监控设备坐标系下对应的第二3D投影坐标。

在本实施例中，采用YOLO-6D检测算法检测图像采集设备和目标显示设备对应的3D投影坐标，其中，3D投影坐标包括中心点坐标、8个角点坐标。

步骤2、通过预设姿态估计算法分别对第一3D投影坐标和第二3D投影坐标进行处理，分别得到第一3D空间位置信息和第二3D空间位置信息，其中，第一3D空间位置信息表征第一平面在世界坐标系下的坐标信息，第二3D空间位置信息表征第二平面在世界坐标系下的坐标信息。

在本实施例中，采用PnP算法处理得到3D旋转矩阵和3D平移向量，并根据3D旋转矩阵和3D平移向量计算得到图像采集设备和目标显示设备分别对应的第一3D空间位置信息和第二3D空间位置信息。

步骤3、根据第一3D空间位置信息和第二3D空间位置信息确定第一平面和第二平面的距离。

在本实施例中，通过第一平面与第二平面的距离判断，从而验证是否可以根据距离进行拍摄行为的判断。

步骤4、若确定距离小于预设距离阈值，则确定第一平面和第二平面的夹角。

在本实施例中，当判断到第一平面和第二平面的距离小于预设距离阈值，再进行第一平面和第二平面是否平行的判断，从而提高检测的准确率。

需要说明的是，可以通过对第一平面和第二平面的距离的判断，确定图像采集设备处于属于违规拍摄行为的位置上。

通过上述步骤中的利用预设3D目标检测算法检测第一平面在监控设备坐标系下对应的第一3D投影坐标，以及检测第二平面在监控设备坐标系下对应的第二3D投影坐标；通过预设姿态估计算法分别对第一3D投影坐标和第二3D投影坐标进行处理，分别得到第一3D空间位置信息和第二3D空间位置信息；根据第一3D空间位置信息和第二3D空间位置信息确定第一平面和第二平面的距离；若确定距离小于预设距离阈值，则确定第一平面和第二平面的夹角，实现了通过在世界坐标系下判断第一平面和第二平面是否平行，而判断是否存在拍摄行为的判断。

在其中的一些实施例中，若确定夹角小于预设夹角阈值，则确定存在目标拍摄行为通过如下步骤实现：

步骤1、根据第一3D空间位置信息确定第一平面对应的第三法向量，以及根据第二3D空间位置信息确定第二平面对应的第四法向量。

步骤2、确定第三法向量和第四法向量之间的夹角，得到第二夹角，若第二夹角小于预设夹角阈值则确定存在目标拍摄行为。

在本实施例中，实现了在世界坐标系下的第一平面和第二平面的夹角的确定。

在其中的一些实施例中，在若确定夹角小于预设夹角阈值，则确定存在目标拍摄行为之后，还实施如下步骤：

步骤1、确定目标拍摄行为的开始时刻至当前时刻的时长。

步骤2、若确定时长超过时间阈值，则对目标拍摄行为进行违规报警。

在本实施例中，在确定到时长超过时间阈值时，显示上报该违规的拍摄行为，再进行违规报警。

在本实施例中，通过设置图像采集设备拍摄行为产生的时间的检查，基于拍摄行为发生的时长确定对应的拍摄行为是否违规。

在其中的一些实施例中，分别确定图像采集设备的第一3D包围盒和目标显示设备的第二3D包围盒之后，还实施如下步骤：

步骤1、确定第一3D包围盒是否处于图像序列中的预设违规区域。

步骤2、若确定到第一3D包围盒处于图像序列中的预设违规区域，则确定第一3D包围盒中对应于图像采集设备的显示屏幕的第一平面，以及确定第二3D包围盒中对应于目标显示设备的显示屏幕的第二平面。

在本实施例中，通过设置图像采集设备是否位于违规区域，基于图像采集设备是否处于违规区域确定对应的拍摄行为是否违规。

在本实施例中还提供了一种拍摄行为检测方法。图3是根据本申请优选实施例的拍摄行为检测方法的流程图，如图3所示，该流程包括如下步骤：

步骤S301，采用3D目标检测算法检测图像采集设备和目标显示设备，之后，执行步骤S302。

步骤S302，生成图像采集设备和目标显示设备对应的3D空间位置信息，之后，执行步骤S303。

步骤S303，判断图像采集设备对应的第三法向量和判断目标显示设备对应的第四法向量，并判断第三法向量与第四法向量的夹角是否小于阈值，之后，执行步骤S307。

步骤S304，人体目标检测。

在本实施例中，步骤S304至步骤S305与步骤S301至步骤S303属于两条并列的逻辑执行过程，因此，该两条并列的逻辑执行过程并无先后顺序。

步骤S305、手部特征点检测,之后，执行步骤S306。

步骤S306、判断手部特征点是否与图像采集设备产生关联，之后，执行步骤S307。

步骤S307、违规检测逻辑判断。

步骤S308、输出违规报警。

在本实施例中还提供了一种拍摄行为检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本申请实施例的拍摄行为检测装置的结构框图，如图4所示，该装置包括：

获取模块41，用于获取由监控设备采集的图像序列；

检测模块42，与获取模块41耦合连接，用于在图像序列中检测图像采集设备和目标显示设备，并分别确定图像采集设备的第一3D包围盒和目标显示设备的第二3D包围盒；

处理模块43，与检测模块42耦合连接，用于确定第一3D包围盒中对应于所图像采集设备的显示屏幕的第一平面，以及确定第二3D包围盒中对应于目标显示设备的显示屏幕的第二平面；

确定模块44，与处理模块43耦合连接，用于基于第一平面和第二平面的位置关系，确定是否存在目标拍摄行为，其中，目标拍摄行为包括利用图像采集设备，对目标显示设备的显示屏幕进行拍摄的行为。

在其中的一些实施例中，确定模块44用于确定第一平面和第二平面的夹角；若确定夹角小于预设夹角阈值，则确定存在目标拍摄行为。

在其中的一些实施例中，装置还用于基于第一3D包围盒，确定图像采集设备的显示屏幕处于使用状态；基于第二3D包围盒，确定目标显示设备的显示屏幕处于使用状态。

在其中的一些实施例中，装置还用于分别检测图像采集设备的显示屏幕和目标显示设备的显示屏幕是否处于使用状态；在检测到图像采集设备的显示屏幕和目标显示设备的显示屏幕均处于使用状态的情况下，检测第一平面和第二平面的夹角是否小于预设夹角阈值。

在其中的一些实施例中，装置还用于确定第一3D包围盒对应的像素的均值大于第一像素阈值；确定第二3D包围盒对应的像素的均值大于第二像素阈值。

在其中的一些实施例中，装置还用于分别检测第一3D包围盒和第二3D包围盒所对应的像素的均值；判断第一3D包围盒所对应的像素的均值是否大于第一像素阈值，以及判断第二3D包围盒所对应的像素的均值是否大于第二像素阈值；若判断到第一3D包围盒所对应的像素的均值大于第一像素阈值，则确定图像采集设备的显示屏幕处于使用状态，以及若判断到第二3D包围盒所对应的像素的均值大于第二像素阈值，则确定目标显示设备的显示屏幕处于使用状态。

在其中的一些实施例中，获取由监控设备采集的图像序列之后，装置还用于从图像序列中分割出与预设目标区对应的第一图像帧，其中，预设目标区用于表征图像序列中目标人物所处的区域；从第一图像帧中检测目标人物所对应的手部特征点；若确定出的手部特征点中，处于第一3D包围盒内的数目大于预设数量阈值时，则在图像序列中检测图像采集设备和目标显示设备。

在其中的一些实施例中，装置还用于利用预设目标检测器在第一图像帧中检测目标人物所对应的手部特征点。

在其中的一些实施例中，装置还用于从图像序列中，确定出与预设目标区对应的第一图像帧之后，通过目标检测算法在第一图像帧中进行人物目标检测，生成目标检测信息；若确定目标检测信息中包括人体目标框，则确定从第一图像帧中检测出目标人物，其中，人体目标框用于标注目标人物。

在其中的一些实施例中，确定模块44还用于确定第一平面在预设方向上的一个第一法向量，以及确定第二平面在预设方向上对应的一个第二法向量；将第一法向量和第二法向量的夹角，确定为第一平面和第二平面的夹角。

在其中的一些实施例中，装置还用于利用预设3D目标检测算法检测第一平面在监控设备坐标系下对应的第一3D投影坐标，以及检测第二平面在监控设备坐标系下对应的第二3D投影坐标；通过预设姿态估计算法分别对第一3D投影坐标和第二3D投影坐标进行处理，分别得到第一3D空间位置信息和第二3D空间位置信息，其中，第一3D空间位置信息表征第一平面在世界坐标系下的坐标信息，第二3D空间位置信息表征第二平面在世界坐标系下的坐标信息；根据第一3D空间位置信息和第二3D空间位置信息确定第一平面和第二平面的距离；若确定距离小于预设距离阈值，则确定第一平面和第二平面的夹角。

在其中的一些实施例中，确定模块44用于根据第一3D空间位置信息确定第一平面对应的第三法向量，以及根据第二3D空间位置信息确定第二平面对应的第四法向量；确定第三法向量和第四法向量之间的夹角，得到第二夹角，若第二夹角小于预设夹角阈值则确定存在目标拍摄行为。

在其中的一些实施例中，在若确定夹角小于预设夹角阈值，则确定存在目标拍摄行为之后，装置还用于确定目标拍摄行为的开始时刻至当前时刻的时长；若确定时长超过时间阈值，则对目标拍摄行为进行违规报警。

在其中的一些实施例中，分别确定图像采集设备的第一3D包围盒和目标显示设备的第二3D包围盒之后，装置还用于确定第一3D包围盒是否处于图像序列中的预设违规区域；若确定第一3D包围盒处于图像序列中的预设违规区域，则确定第一3D包围盒中对应于图像采集设备的显示屏幕的第一平面，以及确定第二3D包围盒中对应于目标显示设备的显示屏幕的第二平面。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取由监控设备采集的图像序列。

S2，在图像序列中检测图像采集设备和目标显示设备，并分别确定图像采集设备的第一3D包围盒和目标显示设备的第二3D包围盒。

S3，确定第一3D包围盒中对应于图像采集设备的显示屏幕的第一平面，以及确定第二3D包围盒中对应于目标显示设备的显示屏幕的第二平面。

S4、基于第一平面和第二平面的位置关系，确定是否存在目标拍摄行为。

需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。

此外，结合上述实施例中提供的拍摄行为检测方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种拍摄行为检测方法。

应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。

显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。

“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (14)

1.一种拍摄行为检测方法，其特征在于，包括：

获取由监控设备采集的图像序列；

在所述图像序列中检测图像采集设备和目标显示设备，并分别确定所述图像采集设备的第一3D包围盒和所述目标显示设备的第二3D包围盒；确定所述第一3D包围盒中对应于所述图像采集设备的显示屏幕的第一平面，以及确定所述第二3D包围盒中对应于所述目标显示设备的显示屏幕的第二平面；

基于所述第一平面和所述第二平面的位置关系，确定是否存在目标拍摄行为，其中，所述目标拍摄行为包括利用所述图像采集设备，对所述目标显示设备的显示屏幕进行拍摄的行为。

2.如权利要求1所述的方法，其特征在于，基于所述第一平面和所述第二平面的位置关系，确定是否存在目标拍摄行为，包括：

确定所述第一平面和所述第二平面的夹角；

若确定所述夹角小于预设夹角阈值，则确定存在所述目标拍摄行为。

3.如权利要求2所述的方法，其特征在于，所述确定所述第一平面和所述第二平面的夹角之前，所述方法还包括：

基于所述第一3D包围盒，确定所述图像采集设备的显示屏幕处于使用状态；

基于所述第二3D包围盒，确定所述目标显示设备的显示屏幕处于使用状态。

4.如权利要求3所述的方法，其特征在于，所述基于所述第一3D包围盒，确定所述图像采集设备的显示屏幕处于使用状态，包括：

确定所述第一3D包围盒对应的像素的均值大于第一像素阈值；

所述基于所述第二3D包围盒，确定所述目标显示设备的显示屏幕处于使用状态，包括：

确定所述第二3D包围盒对应的像素的均值大于第二像素阈值。

5.如权利要求1-4任一项所述的方法，其特征在于，获取由监控设备采集的图像序列之后，所述方法还包括：

从所述图像序列中，确定出与预设目标区对应的第一图像帧，其中，所述预设目标区用于表征所述图像序列中目标人物所处的区域；

从所述第一图像帧中，确定出所述目标人物所对应的手部特征点；

若确定出的所述手部特征点中，处于所述第一3D包围盒内的数量大于预设数量阈值，则在所述图像序列中检测图像采集设备和目标显示设备。

6.如权利要求5所述的方法，其特征在于，所述从所述图像序列中，确定出与预设目标区对应的第一图像帧之后，所述方法还包括：

通过目标检测算法在所述第一图像帧中进行人物目标检测，生成目标检测信息；

若确定所述目标检测信息中包括人体目标框，则确定从所述第一图像帧中检测出所述目标人物，其中，所述人体目标框用于标注所述目标人物。

7.如权利要求2所述的方法，其特征在于，所述确定所述第一平面和所述第二平面的夹角，包括：

确定所述第一平面在预设方向上的一个第一法向量，以及确定所述第二平面在所述预设方向上对应的一个第二法向量；

将所述第一法向量和所述第二法向量的夹角，确定为所述第一平面和所述第二平面的夹角。

8.如权利要求2所述的方法，其特征在于，所述方法还包括：

利用预设3D目标检测算法检测所述第一平面在监控设备坐标系下对应的第一3D投影坐标，以及检测所述第二平面在监控设备坐标系下对应的第二3D投影坐标；

通过预设姿态估计算法，分别对所述第一3D投影坐标和所述第二3D投影坐标进行处理，得到第一3D空间位置信息和第二3D空间位置信息，其中，所述第一3D空间位置信息表征所述第一平面在世界坐标系下的坐标信息，所述第二3D空间位置信息表征所述第二平面在所述世界坐标系下的坐标信息；

根据所述第一3D空间位置信息和所述第二3D空间位置信息，确定所述第一平面和所述第二平面的距离；

若确定所述距离小于预设距离阈值，则确定所述第一平面和所述第二平面的夹角。

9.如权利要求8所述的方法，其特征在于，若确定所述夹角小于预设夹角阈值，则确定存在所述目标拍摄行为，包括：

根据所述第一3D空间位置信息确定所述第一平面对应的第三法向量，以及根据所述第二3D空间位置信息确定所述第二平面对应的第四法向量；

确定所述第三法向量和所述第四法向量之间的夹角，得到第二夹角，若确定所述第二夹角小于所述预设夹角阈值，则确定存在所述目标拍摄行为。

10.如权利要求2所述的方法，其特征在于，所述若确定所述夹角小于预设夹角阈值，则确定存在所述目标拍摄行为之后，所述方法还包括：

确定所述目标拍摄行为的开始时刻至当前时刻的时长；

若确定所述时长超过时间阈值，则对所述目标拍摄行为进行违规报警。

11.如权利要求1所述的方法，其特征在于，所述分别确定所述图像采集设备的第一3D包围盒和所述目标显示设备的第二3D包围盒之后，所述方法还包括：

确定所述第一3D包围盒是否处于所述图像序列中的预设违规区域；

若确定所述第一3D包围盒处于所述图像序列中的预设违规区域，则确定所述第一3D包围盒中对应于所述图像采集设备的显示屏幕的第一平面，以及确定所述第二3D包围盒中对应于所述目标显示设备的显示屏幕的第二平面。

12.一种拍摄行为检测装置，其特征在于，包括：

获取模块，用于获取由监控设备采集的图像序列；

检测模块，用于在所述图像序列中检测图像采集设备和目标显示设备，并分别确定所述图像采集设备的第一3D包围盒和所述目标显示设备的第二3D包围盒；

处理模块，用于确定所述第一3D包围盒中对应于所述图像采集设备的显示屏幕的第一平面，以及确定所述第二3D包围盒中对应于所述目标显示设备的显示屏幕的第二平面；

确定模块，用于基于所述第一平面和所述第二平面的位置关系，确定是否存在目标拍摄行为，其中，所述目标拍摄行为包括利用所述图像采集设备，对所述目标显示设备的显示屏幕进行拍摄的行为。

13.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至11中任一项所述的拍摄行为检测方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的拍摄行为检测方法的步骤。

Images