CN117315560A - 监控相机及监控相机的控制方法 - Google Patents

Abstract

公开了一种监控相机及监控相机的控制方法。本发明可以通过判断在侧视图像中检测出的对象的边界框中的头部(head)区域的边界框和全身区域的边界框中的至少一个是否与预先设定的计数线相交，从而对经过计数线的人进行计数。在本发明中，监控相机、自动驾驶车辆、用户终端及服务器中的一个以上可以与人工智能(Artificial Intelligence)模块、机器人、增强现实(AR：Augmented Reality)装置、虚拟现实(VR：Virtual reality)装置、与5G服务相关的装置等链接。

Description

监控相机及监控相机的控制方法

技术领域

本发明涉及一种监控相机及监控相机的控制方法。

背景技术

最近，随着利用人工智能技术针对人进行检测的开发进行，对利用多种视角下的人员计数方案的需求急剧增加。基于图像装置的人员计数算法用于接收图像信息并测量特定场所的人员的流动人口。设置在超市、医院、酒店等多种场所，并用于营销、人员管理等。通过本发明，在多种侧视图像中也能够进行人员计数，并以此为基础可以在更多的场所中应用。

现有的利用图像传感器的人员数量的测量技术主要利用对人员头部的检测信息来获得关于人员的信息。这难以应用于侧视图像中，即便应用，其性能也会下降，并无法正常操作的可能性较高。

发明内容

为了对人员进行计数，现有技术主要使用的是对俯视图中的人员头部的检测信息。这是因为判断为在人员重叠的情况下由于对人员的检测结果重叠而提供了不准确的信息。然而，最近利用人工智能技术可以获得更准确的人员检测，运用该技术不仅需要开发用于在俯视图中的人员计数计数，还需要开发用于在多种侧视图中的人员计数的技术。

为了解决上述问题，本发明的目的在于提供一种基于在提供侧视图像的监控相机中通过特定区域的人员的边界框的信息来对人员进行计数的监控相机和监控相机的控制方法。

本发明所要实现的技术课题并不局限于以上提及的技术课题，本领域技术人员可以从以下的详细说明中清楚地理解未提及的其他技术课题。

根据本发明的一实施例的监控相机，包括：图像获取部；处理器，在分别表示对从所述图像传感器获取的图像中检测的人的头部区域和全身区域的第一边界框和第二边界框中的至少一个与基于预设的用户输入而设定在所述图像内的计数线交叉的情况下执行计数，所述处理器控制为在所述第一边界框和第二边界框源自(originated)同一对象的情况下仅执行借由所述第一边界框及第二边界框中的一个的计数。

所述图像获取部可以包括从所述监控相机获取图像数据的图像传感器。

在所述第一边界框和所述第二边界框源自同一对象的情况下，所述处理器可以使所述第一边界框及所述第二边界框关联(link)。

在所述第一边界框包含在所述第二边界框内部的情况下，所述处理器可以判断为所述第一边界框和第二边界框源自同一对象。

在所述第一边界框经过所述计数线的瞬间，在所述第二边界框与所述计数线存在至少一个交叉点的情况下，所述处理器可以执行所述计数。

所述处理器可以根据与所述对象接近的所述计数线的区域选择性地应用所述第一边界框及所述第二边界框中的一个来判断与所述计数线的交叉与否。

在所述对象接近所述计数线的边缘(edge)区域的情况下，所述处理器可以通过应用所述第二边界框来判断与所述计数线的交叉与否。

所述处理器可以根据所述计数线的高度选择性地应用第一边界框及所述第二边界框中的一个来判断与所述计数线的交叉与否。

在所述计数线的高度相对较低的情况下，所述处理器可以通过应用第二边界框来判断与所述计数线的交叉与否。

在存在通过所述计数线的彼此不同的多个对象且所述多个对象中的至少一个对象与至少另一个对象重叠的情况下，所述处理器可以对重叠的对象应用所述第一边界框来判断与所述计数线的交叉与否。

在所述对个对象中所述第一边界框的数量多于所述第二边界框的数量的情况下，所述处理器可以判断为所述至少一个对象与所述至少一个其他对象重叠。

在存在通过所述计数线的彼此不同的多个对象且未检测出对应于所述多个对象中的至少一个对象的第二边界框的情况下，所述处理器可以通过应用虚拟的第二边界框来判断与所述计数线的交叉与否。

所述处理器可以基于在所述多个对象中检测出第二边界框的对象的第二边界框的高度来设定所述虚拟的第二边界框的高度。

所述处理器可以识别所述被计数的对象的类型，并且所述处理器可以在其是事先未被允许出入的对象的情况下输出警报。

所述计数线可以基于预设的用户输入而在所述图像内设定。

所述处理器可以识别所述图像内的入口(entrance)区域，并且所述处理器可以在接收到指定所述入口区域的输入的情况下在与所述入口区域对应的位置自动设定所述计数线。

所述处理器可以在所述入口区域的高度处自动设定所述计数线。

根据本发明的另一实施例的监控相机的控制方法，包括如下步骤：从能够识别包括所检测的人的包括面部在内的全身的侧视(Perspective view)图像中检测人；检测所述检测到的人的头部(head)区域和全身区域；提取与所述头部区域对应的第一边界框和与所述全身区域对应的第二边界框；在所述第二边界框与预设的计数线交叉的情况下执行计数；以及在所述第一边界框与所述计数线交叉且不存在与所述第一边界框关联的边界框的情况下执行所述计数。

所述监控相机的控制方法还可以包括如下步骤：在所述第一边界框和所述第二边界框源自同一对象的情况下，使所述第一边界框与所述第二边界框关联(link)。

所述第一边界框可以包含在所述第二边界框内部。

所述监控相机的控制方法还可以包括如下步骤：感测所述第一边界框通过所述计数线；以及在所述第一边界框经过所述计数线的瞬间，在所述第二边界框与所述计数线存在至少一个交叉点的情况下执行所述计数。

所述监控相机的控制方法还可以包括如下步骤：在接近所述对象的所述计数线是预设的计数线的边缘(edge)区域的情况下，通过判断所述第二边界框是否与所述计数线交叉来执行所述计数。

所述监控相机的控制方法还可以包括如下步骤：基于所述预设的计数线和所述对象的相对高度，通过选择性地应用所述第一边界框及所述第二边界框中的一个来判断与所述计数线的交叉与否。

根据本发明的另一实施例的监控相机，包括：图像传感器；以及处理器，被配置为检测分别表示从由所述图像传感器获取的侧视图像中检测的对象的彼此不同的两个区域的第一边界框和第二边界框，并基于通过用户输入而设定的计数线分别与所述第一边界框及所述第二边界框的相对位置，在所述对象通过所述计数线的过程中所述第一边界框及所述第二边界框中的至少一个与所述计数线交叉的情况下执行计数。

所述检测到的对象可以是人，所述彼此不同的两个区域可以包括所述检测到的人的头部(head)区域和全身区域。

所述处理器可以彼此连接对应于所述头部区域的所述第一边界框和对应于所述全身区域的第二边界框而使其关联，并且所述被关联的第一边界框和第二边界框可以被识别为同一对象。

在关联的所述第一边界框和所述第二边界框分别与所述计数线具有至少一个交叉点的情况下，所述处理器可以控制为仅执行一次计数操作。

在所述处理器对检测到的所述对象仅检测出第一边界框的情况下，所述处理器可以判断为在所述侧视图像中检测到的至少两人中的至少一人的身体的至少一部分被另一人遮挡，并且可以通过将具有虚拟的尺寸的第二边界框应用于所检测到的对象来判断与计数线的交叉与否。

具有所述虚拟的尺寸的第二边界框可以与从在所述侧视图像中检测出所述第二边界框的对象提取的所述第二边界框的尺寸对应。

根据本发明的一实施例的监控相机及监控相机的控制方法能够提高在提供侧视图像的监控相机中的对象计数的可靠性。

本发明可获得的效果并不限于以上提及的效果，本领域技术人员可以从以下记载中清楚地理解未提及的其他效果。

附图说明

为了便于理解本发明，包括在详细说明的一部分的附图提供了针对本发明的实施例，并在详细说明的同时说明了本发明的技术特征。

图1是用于说明应用根据本发明的一实施例的监控相机的控制方法的监控相机系统的图。

图2是用于说明应用于训练根据本发明的一实施例的对象识别模型的人工智能(AI)装置(模块)的图。

图3是用于说明根据本发明的一实施例的监控相机的图。

图4是根据本发明的一实施例的监控相机的控制方法的流程图。

图5至图7是用于说明在根据本发明的一实施例的实际图像中基于边界框来执行对象计数的示例的图。

图8是根据本发明的另一实施例的监控相机的控制方法的流程图。

图9是根据本发明的又一实施例的监控相机的控制方法的流程图。

图10是根据本发明的又一实施例的监控相机的控制方法的流程图。

图11是用于说明根据本发明的一实施例在侧视图像中对象彼此重叠的状况下针对对象进行计数的示例的图。

图12是用于说明根据本发明的又一实施例的监控相机的控制方法的图。

具体实施方式

以下，将参照附图详细说明本发明的实施例。对相同或相似的组件赋予相同的附图标记，并且省略对其的重复说明。本文中的元件的后缀“模块”和“单元”是为了便于撰写发明而使用的，因此可以互换使用，并且不具有任何可区分的含义或功能。此外，在以下说明中，如果与本发明相关联的公知技术的详细说明将不必要地模糊本发明中公开实施例的主旨，则将省略其详细说明。另外，提供附图仅是为了容易理解本发明中公开的实施例，而不是限制本发明中公开的技术思想，并且实施例应被解释为包括落入实施例的思想和范围内的所有修改、等同物和替代物。

虽然诸如“第一”、“第二”等术语可以用于说明各种组件，但是这些组件不应受上述术语的限制。上述术语仅用于将一个组件与另一组件区分。

当元件“结合”或“连接”到另一元件时，应当理解，第三元件可以存在于两个元件之间，尽管该元件可以“直接结合”或“直接连接”到另一元件。当元件“直接结合”或“直接连接”到另一元件时，应当理解，在两个元件之间不存在元件。

除非上下文另有明确说明，否则单数形式也旨在包括复数形式。

另外，在发明中，将进一步理解，术语“包括”和“包含”指定所陈述的特征、整数、步骤、操作、元件、组件或其组合的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、组件或组合的存在或添加。

图1是用于说明应用根据本发明的一实施例的监控相机的控制方法的监控相机系统的图。。

参照图1，根据本发明的一实施例的监控相机系统10可以包括拍摄装置100及图像管理服务器200。拍摄装置100可以是布置在特定场所的固定位置的拍摄用电子装置，也可以是能够沿着预定路径自动或手动移动的拍摄用电子装置，或者也可以是能够借由人或机器人而移动的拍摄用电子装置。拍摄装置100可以是连接到有线/无线互联网来使用的互联网协议(IP：Internet protocol)相机。拍摄装置100可以是具有摇摄(pan)、倾斜(tilt)及变焦(zoom)功能的PTZ相机。拍摄装置100可以具有录制监视区域或拍摄照片的功能。拍摄装置100可以具有对在监视区域中生成的声音进行录音的功能。当在监视区域中发生诸如运动或声音等的变化时，拍摄装置100可以具有生成通知或记录或者拍摄的功能。拍摄装置100可以从图像管理服务器200接收并存储经训练的对象识别学习模型。据此，拍摄装置100可以利用对象识别学习模型来执行对象识别操作。

图像管理服务器200可以是接收并存储与借由拍摄装置100捕获的图像本身和/或通过编辑该图像而获取的图像的装置。图像管理服务器200可以分析接收到的图像以与目的相对应。例如，图像管理服务器200可以利用对象检测算法来检测图像中的对象。基于AI的算法可以应用于对象检测算法，并且可以应用预训练的人工神经网络模型来检测对象。

同时，图像管理服务器200可以存储适合于图像分析目的的多样的学习模型。除了上述用于对象检测的学习模型之外，还可以存储能够获取允许利用检测到的对象的对象特性信息的模型。图像管理服务器200可以执行训练上述用于对象识别的学习模型的操作。

同时，用于对象识别的模型可以在上述的图像管理服务器200中训练并发送到拍摄装置100，但是也可以在拍摄装置100中执行对象识别模型的训练以及模型的再训练等。

另外，图像管理服务器200可以分析接收的图像以生成元数据和关于对应元数据的索引信息。图像管理服务器200可以一起或单独地分析包括在接收的图像中的图像信息和/或声音信息，以生成元数据和关于元数据的索引信息。

监控相机系统10还可以包括能够与拍摄装置100和/或图像管理服务器200进行有线/无线通信的外部装置300。

外部装置300可以向图像管理服务器200发送请求提供全部或一部分图像的信息提供请求信号。外部装置300可以向图像管理服务器200发送信息提供请求信号，以请求作为图像分析结果是否存在对象。另外，外部装置300可以向图像管理服务器200发送通过分析图像而获取的元数据和/或请求关于元数据的索引信息的信息提供请求信号。

监控相机系统10还可以包括拍摄装置100、图像管理服务器200和/或外部装置300之间的有线/无线通信路径的通信网络400。通信网络400例如可以包括局域网(LAN：LocalArea Network)、广域网(WAN：Wide Area Network)、城域网(MAN：Metropolitan AreaNetwork)、综合服务数字网络(ISDN：Integrated Service Digital Network)等的有线网络和无线LAN、CDMA、蓝牙和卫星通信等的无线网络，但是本发明的范围不限于此。

拍摄装置100可以接收并存储在图像管理服务器200中训练的对象识别学习模型。据此，拍摄装置100可以使用对象识别学习模型来执行对象识别操作。

图2是用于说明应用于训练根据本发明的一实施例的对象识别模型的人工智能(AI：artificial intelligence)装置(模块)的图。

本发明的实施例可以通过训练用于对象识别的模型的计算装置来实现，所述计算装置可以包括图1中说明的图像管理服务器200(图1的200)，但本发明并不限于此，还可以包括用于训练在图像中识别对象的人工智能模型的专用装置。专用装置可以以由处理器执行的软件模块或硬件模块的形态来实现，或者可以以软件模块和硬件模块的组合的形态来实现。

以下，在图2中针对用于实现对象识别学习模型的专用AI装置20进行说明，在图3中说明在图像管理服务器200(图1的200)中用于实现根据本发明的一实施例的对象识别学习模型的块构成。与图2中说明的模型学习功能共同的功能中的全部或至少一部分可以直接应用于图3，在说明图3时，省略对图2共同的功能的重复说明。

参照图2，AI装置20可以包括包含能够执行AI处理的AI模块的电子装置或包含AI模块的服务器。另外，AI装置20可以被包括在拍摄装置100或图像管理服务器200中作为其至少一部分，以一起执行AI处理的至少一部分。

AI处理可以包括与拍摄装置100或图像管理服务器200的控制单元相关联的所有操作。例如，拍摄装置100或图像管理服务器200可以对获取的图像信号进行AI处理，以执行处理/确定、控制信号生成操作。

AI装置20可以是直接利用AI处理结果的客户端装置，或者可以是将AI处理结果提供给另一装置的云环境的装置。AI装置20是能够学习神经网络的计算装置，可以在诸如服务器、台式PC、笔记本PC、平板PC的多样的电子装置中实现。

AI装置20可以包括AI处理器21、存储器25和/或通信单元27。

AI处理器21可以利用存储在存储器25中的程序来训练神经网络。尤其，AI处理器21可以训练用于识别拍摄装置100的相关数据的神经网络。在此，用于识别与拍摄装置100的相关的数据的神经网络可以被设计成在计算机上模拟人的脑结构，并且可以包括具有权重值并模拟人类神经网络的神经元(neuron)的多个网络节点。多个网络模式可以分别根据连接关系来发送和接收数据，以模拟神经元通过突触(synapse)收发信号的神经元的突触活动。在此，神经网络可以包括从神经网络模型发展的深度学习模型。在深度学习模型中，多个网络节点位于彼此不同的层，并可以根据卷积(convolution)连接关系来发送和接收数据。例如，神经网络包括诸如深度神经网络(DNN：deep neural network)、卷积深度神经网络(CNN：convolutional deep neural network)、递归神经网络(RNN：recurrent neuralnetwork)、受限玻尔兹曼机(RBM：restricted boltzmann machine)、深度信念网络(DBN：deep belief network)和深度Q网络(deep Q-network)之类的多样的深度学习技术，并且可以应用于诸如计算机视觉、语音识别、自然语言处理和语音/信号处理之类的领域。

同时，执行如上所述的功能的处理器可以是通用处理器(例如，CPU)，但是可以是用于人工智能学习的AI专用处理器(例如，GPU)。

存储器25可以存储用于AI装置20的操作的各种程序及数据。存储器25可以是非易失性存储器、易失性存储器、闪存(flash-memory)、硬盘驱动器(HDD)、固态驱动器(SDD)等。存储器25由AI处理器21访问并执行读取/记录/校正/删除/更新等。此外，存储器25可以存储通过根据本发明的一实施例的用于数据分类/识别的学习算法生成的神经网络模型(例如，深度学习模型26)。

同时，AI处理器21可以包括对用于数据分类/识别的神经网络进行学习的数据学习单元22。数据学习单元22可以学习关于为了确定数据分类/识别而利用哪种学习数据以及如何利用学习数据对数据进行分类和识别的基准。数据学习单元22可以通过获取将用于学习的学习数据并将获取的学习数据应用于人工神经网络模型和/或深度学习模型来训练神经网络模型。

数据学习单元22可以以至少一个硬件芯片的形态制造并安装于AI装置20。例如，数据学习单元22可以被制造为用于人工智能(AI)的专用硬件芯片类型，或者可以被制造为通用处理器(CPU)或图形处理器(GPU)的一部分并且安装于AI装置20。此外，数据学习单元22可以实现为软件模块。在数据学习单元22实现为软件模块(或包括指令(instruction)的程序模块)的情况下，软件模块可以存储在可通过计算机读取的非暂时性计算机可读记录介质(non-transitory computer readable media)中。在这种情况下，至少一个软件模块可以由操作系统(OS：Operating System)或应用提供。

数据学习单元22可以包括学习数据获取单元23及模型学习单元24。

学习数据获取单元23可以获取用于对数据进行分类并识别的神经网络模型所需的学习数据。

模型学习单元24可以使用所获取的学习数据来学习，使得神经网络模型具有关于如何对预定数据进行分类的确定基准。在这种情况下，模型学习单元24可以通过将学习数据中的至少一部分用作确定基准的监督学习(supervised learning)来训练神经网络模型。可替代地，模型学习单元24可以通过在没有监督的情况下使用学习数据自主训练来发现确定基准的无监督学习(unsupervised learning)，来训练神经网络模型。此外，模型学习单元24可以使用针对根据学习的情况判断的结果是否正确的反馈来通过强化学习(reinforcement learning)，而训练神经网络模型。此外，模型学习单元24可以使用包括误差反向传播法(error back-propagation)或梯度下降法(gradient decent)的学习算法来训练神经网络模型。

数据学习单元22还可以包括学习数据预处理器(未示出)及学习数据选择器(未示出)，以提高识别模型的分析结果或节省用于生成识别模型的资源或时间。

学习数据预处理器可以对所获取的数据进行预处理，使得所获取的数据可以利用于用于情况确定的学习。例如，学习数据预处理器可以以预定格式处理所获取的数据，使得模型学习单元24可以利用所获取的学习数据来进行用于图像识别的学习。

此外，学习数据选择器可以从由学习数据获取单元23获取的学习数据或由预处理器预处理的学习数据中选择用于学习的数据。所选择的学习数据可以提供给模型学习单元24。

此外，数据学习单元22还可以包括模型估计器(未示出)以提高神经网络模型的分析结果。

模型估计器可以向神经网络模型输入估计数据，在基于估计数据输出的分析结果不满足预定基准的情况下，模型估计器可以使模型学习单元22再学习。在这种情况下，估计数据可以是用于估计识别模型的预定义数据。例如，在针对估计数据的经学习的识别模型的分析结果中不准确的分析结果的估计数据的数量或比率超过预定阈值的情况下，模型估计器可以估计为不满足预定基准。

通信单元27可以将AI处理器21的AI处理结果发送到外部电子装置。例如，外部电子装置可以包括监控相机、蓝牙装置、自动驾驶车辆、机器人、无人机、AR装置、移动装置、家用电器等。

同时，图2中所示的AI装置20在功能上划分为AI处理器21、存储器25、通信单元27等，但是上述组件可以集成为一个模块，并且也可以称为AI模块。

在本发明中，监控相机、自动驾驶车辆、用户终端及服务器中的至少一个可以与人工智能(Artificial Intelligence)模块、机器人、增强现实(AR：Augmented Reality)装置、虚拟现实(VR：Virtual reality)装置、与5G服务相关的装置等链接。

图3是根据本发明的一实施例的监控相机的示意性的框图。

图3是示出图1中所示的拍摄装置100的构成的框图。参照图3，作为一示例，拍摄装置100是执行智能图像分析功能并生成图像分析的信号的网络相机，但是根据本发明的实施例的网络监控相机系统的操作不限于此。

拍摄装置100包括图像传感器110、编码器120、存储器130、AI处理器150、通信单元140及AI处理器160。

图像传感器110作为执行通过拍摄监视区域来获取图像的功能的传感器，并且可以利用例如电荷耦合器件(CCD：Charge-Coupled Device)传感器、互补金属氧化物半导体(CMOS：Complementary Metal-Oxide-Semiconductor)传感器等来实现。

编码器120执行基于例如H.264、H.265、运动图像专家组(MPEG：Moving PictureExperts Group)、运动联合图像专家组(M-JPEG：Motion Joint Photographic ExpertsGroup)标准等将通过图像传感器110获取的图像编码为数字信号的操作。

存储器130可以存储图像数据、音频数据、静止图像、元数据等。如上所述，元数据可以是包括在监视区域中拍摄的对象检测信息(运动、声音、侵入指定区域等)和对象识别信息(人、汽车、面部、帽子、衣服等)以及检测到的位置信息(坐标、尺寸等)。

另外，所述静止图像与所述元数据一起生成并存储在存储器130中，并且可以通过捕获图像分析信息中的特定分析区域的图像信息来生成。例如，静止图像可以被实现为JPEG图像文件。

例如，所述静止图像可以通过在针对特定区域和特定时段检测到的监视区域的图像数据中裁剪(cropping)被确定为可识别对象的图像数据的特定区域来生成，并且可以与元数据一起实时发送。

通信单元140将图像数据、音频数据、静止图像和/或元数据发送到图像接收/搜索装置。根据一实施例的通信单元140可以实时地向图像接收装置300发送图像数据、音频数据、静止图像和/或元数据。通信接口可以执行有线和无线局域网(LAN：Local AreaNetwork)、Wi-Fi、紫峰(ZigBee)、蓝牙和近场通信中的至少一个通信功能。

AI处理器150作为用于人工智能图像处理的处理器，根据本发明的一实施例，在通过监控相机系统获得的图像中应用以关注对象训练的神经网络为基础的对象检测(Objection Detection)算法。所述AI处理器150可以被实现为具有控制整体系统的处理器160的集成模块或独立模块。

图4是根据本发明的一实施例的监控相机的控制方法的流程图。所述监控相机的控制方法可以借由图3中所示的处理器160来实现。另外，根据本发明的一实施例的监控相机不是固定于天花板来提供俯视(top view)图像的相机，而是能够提供侧视(perspectiveview)图像的监控相机。据此，在安装所述监控相机的位置是室内空间的天花板的情况下，通过固定装置固定于天花板，相机不是以垂直于地面的方式固定的，而是在设定了相机的指向方向的情况下获取图像的位置，以便以天花板为基准形成预定角度范围。

参照图4，处理器160可以从图像获取部获取的图像中检测对象(优选为人)(S400)。检测所述对象(人)的算法可以应用在图2中说明的对象识别算法。此外，根据本发明的一实施例的监控相机可以通过所述对象识别算法来检测人的头部区域(head，以下称为头部区域)，从而能够识别被检测的对象是人。需要表明的是，通过头部区域确认所检测到的对象是否是人的过程是示例性的，而非限定性的。本发明可以通过应用适用于多种对象识别算法的人员识别算法来确定所检测到的对象是否是人。

处理器160可以对检测到的人员检测头部区域和全身区域检测(S410)。根据一实施例，处理器160可以在所述头部区域中显示对应于头部区域的第一边界框，并在所述检测到的全身区域中显示对应于所述全身区域的第二边界框(S420)。

由于所述第一边界框是与特定人员的头部相对应的区域，因此第一边界框与第二边界框的相对位置关系可以优选为所述第一边界框包含在所述第二边界框内部。然而，基于提供侧视图像的相机的指向方向等，所述第一边界框的至少一部分也可以被提供为与第二边界框的至少一部分重叠。

在所述第一边界框和第二边界框中的至少一个与预设的计数线交叉的情况下，处理器160可以执行计数(S430)。根据一实施例，在包括人员的头部的第一边界框与计数线交叉的情况下，处理器160可以执行计数。根据一实施例，在包括人员的全身区域的第二边界框与计数线交叉的情况下，处理器160可以执行计数。根据一实施例，在所述第一边界框及第二边界框与所述计数线交叉的情况下，处理器160可以执行计数。

根据一实施例，当所述第一边界框及第二边界框中的至少一个的轨迹经过所述计数线时，处理器160可以执行计数。其中，第一边界框或第二边界框的轨迹可以是指随着对象经过计数线移动，边界框的中心点移动的路径。根据一实施例，处理器160可以在第一边界框经过所述计数线的瞬间在所述第二边界框与所述计数线之间存在至少一个交叉点的情况下执行计数。

图5至图7是用于说明在根据本发明的一实施例的实际图像中基于边界框来执行对象计数的示例的图。

参照图5，通过监控相机获取的图像包括侧视(Perspective view)图像。如上所述，侧视图像可以是指通过识别从图像中检测到的人的全身而被提供的图像，并与俯视(top view)图像相区分。为此，监控相机镜头的指向角可以固定为与所述地面形成预定角度，而不是与地面垂直。本发明的目的是对进出入口区域(entrance area)的人员进行计数，并可以设定有用于判断人员进出的计数线CL1、CL2、CL3。为了便于说明，图5中示出的计数线CL1、CL2、CL3被描述为在一个图像中存在多个计数线，但在实际监控相机环境中，可以通过在一个图像中设定一个计数线来执行人员计数操作。

所述计数线CL1、CL2、CL3可以通过用户输入而设定在获取到的图像中。所述用户输入可以包括对显示在显示器上的图像的拖动输入。所述拖动输入也可以被设定为仅在入口区域(Entrance Area)输入的输入限制。

根据本发明的一实施例，在图像中识别出人的情况下，与人员的头部(head)区域对应的第一边界框HB1和与人员的全身区域对应的第二边界框PB1可以被区分而提供。在对于同一个人的边界框的情况下，所述第一边界框HB1可以包含在第二边界框PB1内部。处理器160可以被设定为在提取第一边界框和/或第二边界框的中心点之后，在中心点移动轨迹CQ经过计数线CL1、CL2、CL3的情况下执行计数。然而，在侧视图像的情况下，与俯视图像不同，表示对象识别结果的边界框的长度可以与被识别的对象的整体长度对应。在这种情况下，即使对象通过了计数线，对象的边界框的中心点移动轨迹CQ也可能不存在与计数线交叉的部分。例如，虽然对象的边界框的中心点移动轨迹CQ与第三计数线CL3交叉，但对象的边界框的中心点移动轨迹CQ不与第二计数线CL2交叉。因此，在通过用户输入而设定的计数线是第二计数线CL2的情况下，尽管实际上人已经通过了计数线，但会出现监控相机无法计数的问题。

据此，本发明提出了一种通过确认边界框本身是否与计数线交叉而代替确认边界框的中心点移动轨迹来执行计数的方法。另外，如上所述，本发明中所应用的边界框可以将两种类型的边界框应用于一个对象，并且可以应用与人员的头部(head)区域对应的第一边界框HB1和与全身区域对应的第二边界框PB1。其中，第一边界框HB1可以通过识别人员的头部来执行进一步识别其所识别的对象是否是人的功能。例如，在所识别的对象是移动的动物的情况下，可以在被识别的对象上显示第二边界框PB1，然而可以不显示第一边界框HB1。本发明提出了一种利用所识别的对象的第一边界框和第二边界框全部而应用于对象计数的方法。

根据一实施例，在通过用户输入而设定的计数线是第三计数线CL3的情况下，当被识别的人员经过入口区域时，第一边界框HB1与第三计数线CL3具有交叉点I22。此外，第二边界框PB1与第三计数线CL3具有交点I21。在第一边界框HB1或第二边界框PB1中的至少一个与第三计数线CL3交叉的情况下，处理器160可以执行计数。

此外，根据一实施例，在通过用户输入而设定的计数线是第二计数线CL2的情况下，第一边界框HB1与第二计数线CL2不具有交叉点，但第二边界框PB1与第二计数线CL2具有交叉点I1。据此，处理器160可以执行计数操作。

根据本发明的一实施例，计数线也可以通过用户输入而被设定为与第一计数线CL1相同。图5中所示的第一计数线CL1虽然设定在入口区域，但由于设定的位置低于布置在入口区域的出入门的高度，从而在人员通过出入门时，将不会存在与第一边界框HB1及第二边界框PB1交叉的点。因此，在所述计数线被设定为第一计数线CL1的高度低于出入门的高度的位置的情况下，处理器160可以按照出入门的高度来自动调节并设定所述计数线的高度。

图6是用于说明设定计数线的另一示例的图，在接收到对于所获取的图像选择入口区域(entrance area)的输入的情况下，处理器160可以提供将出入门识别为一个对象的结果。处理器160可以将所识别的出入门沿着边界提供视觉上的差异，以便用户可以在设定计数线时参考。另外，处理器160可以一同提供所识别的对象的第一边界框HB1、第二边界框PB1和出入门识别结果，以便为设定计数线的高度提供参考。根据一实施例，在处理器160接收到选择出入门边界框的输入的情况下，处理器160也可以自动设定计数线CL并显示在图像中。另外，如图7所示，在计数线CL设定在低于出入门的高度的位置的情况下，处理器160可以以将计数线CL的高度自动设定在出入门高度以上的位置的方式进行控制。

以上，通过图5至图7，根据本发明的一实施例对如下所需的状况进行了说明：在需要移动对象的计数的情况下，通过应用所识别的对象的边界框和计数线来进行对象计数操作。以下，将更详细地说明根据本发明的一实施例的监控相机中的对象计数方法。

图8是根据本发明的另一实施例的监控相机的控制方法的流程图。图8的监控相机的控制方法可以通过图3的处理器160来实现。

参照图8，处理器160可以在侧视图像中检测人(S800)。处理器160可以对检测到的人分别检测头部区域和全身区域并进行区分(S810)。处理器160可以分别提取与头部区域对应的第一边界框和与全身区域对应的第二边界框(S820)。

处理器160可以执行使所述第一边界框和所述第二边界框关联(link)的操作(S830)。在对于同一对象区分为多个区域而进行检测的情况下，所述关联操作可以是用于识别所检测的多个区域是同一对象的操作。

处理器160可以判断第二边界框是否与计数线交叉(S840)。第二边界框对应于全身区域，在判断为第二边界框和由用户预设的计数线交叉的情况下，处理器160可以进行计数(S860)。

另外，在所述第二边界框与计数线交叉之后，随着人员向出入门方向移动，处理器160判断为与头部区域对应的第一边界框与计数线交叉的情况下(S850：Y)，处理器160可以基于关联信息执行去除双重计数的操作(S870)。

在本发明的一实施例中，根据边界框与计数线交叉与否来执行人员计数操作，其中，所述边界框的类型可以存在头部区域和全身区域两种类型，头部区域的边界框通常存在于全身区域的边界框内部。因此，在通过全身区域的边界框进行计数之后执行借由头部区域的边界框的计数的情况下，会对同一人员执行双重计数，在两种类型的边界框是由同一对象产生的情况下，本发明可以使两种边界框彼此关联并用于去除双重计数。

图9是根据本发明的又一实施例的监控相机的控制方法的流程图。

参照图9，处理器160对特定对象提取第一边界框和第二边界框之后(S820)，在第一边界框和第二边界框源自同一对象的情况下，处理器160执行使两种边界框彼此连接的关联操作(S900)。

在处理器160判断为边界框与计数线交叉的情况下(S910：Y)，处理器160可以进一步判断是否存在关联的边界框(S920)。在存在和与计数线交叉的边界框相关联的追加的边界框情况下，处理器160可以基于所述关联信息来去除双重计数操作(S930)。即，根据一实施例，随着对象通过计数线，在对象的边界框与所述计数线至少存在一处交叉点的情况下，处理器160执行一次计数。然而，如上所述，对于同一对象可能存在两种头部区域的边界框和全身区域的边界框，在处理器160检测到每一个边界框与计数线交叉的情况下，处理器160首先执行计数，然后可以以基于关联信息去除双重计数(S930)的方向执行计数(S940)。

图10是根据本发明的又一实施例的监控相机的控制方法的流程图。图11是用于说明根据本发明的一实施例在侧视图像中对象彼此重叠的状况下针对对象进行计数的示例的图。

参照图10至图11，根据一实施例，处理器160在侧视图像中检测多个人(S1000)。所述多个人中的至少一部分人可能被前面的人遮挡的状态下向出入口移动。在这种情况下，针对位于最前面的人，处理器160可以检测到第一边界框F1和第二边界框P1全部，但是针对位于第二和第三的人，可能会发生只检测到头部区域F2、F3但未检测到全身区域的情况。在这种状态下，在三个人向出入口方向(向计数线方向，图11中的箭头方向)移动的情况下，针对第二个和第三个人，虽然会存在头部区域的边界框(分别为F2、F3)，但根据计数线的位置，可能会发生不与计数线交叉的情况。

例如，在第一计数线CL1的情况下，即使没有检测出第二个和第三个人的全身区域的边界框，但由于头部区域的边界框F2、F3与第一计数线CL1交叉，因而处理器160可以对三个人全部执行计数。

然而，在由用户设定了第二计数线CL2的情况下，对于第一个人，由于全身区域的边界框P1与第二计数线CL2交叉，因而处理器160可以执行计数，但是对于第二个和第三个人来说，即使已经实质上通过了第二计数线CL2，由于不存在边界框与第二技术线CL2的交叉点，因此处理器160也无法进行计数。据此，根据本发明的一实施例，处理器160可以将第二个和第三个人的全身区域的边界框推断为与第一个人的全身区域的边界框P1相同，并生成虚拟的全身区域的边界框。随着对象的移动，对于第二个和第三个人，若处理器160识别为虚拟的全身区域的边界框与第二计数线CL2相交，则处理器160可以执行计数。

另外，根据一实施例，处理器160可以选择性地将第一边界框F1、F2、F3或第二边界框P1、P3中的任意一个应用于与计数线交叉的边界框。根据一实施例，在由用户设定的计数线是第一计数线CL1的情况下，处理器160可以通过判断第一边界框F1、F2、F3是否与第一计数线CL1交叉来执行计数操作。

另外，根据本发明的一实施例，处理器160通过比较对同一对象检测出的第一边界框与第二边界框的数量，从而可以判断为两对象彼此重叠。

据实一施例，处理器160可以在检测出多个人(S1000)之后，针对检测出的每个人提取头部区域的第一边界框和全身区域的第二边界框(S1010)。然后，在处理器160确定对同一对象的第一边界框的数量大于同一对象的第二边界框的数量(S1020：是)的情况下，处理器160可以判断为检测出的多个人中的至少一个人重叠(S1030)。例如，在图11中的第二个人的情况下，由于存在第一边界框F2但不存在第二边界框，从而可以确定所述第二个人被第一个人遮挡。此外，根据一实施例，在图11中，可以确定分别对应于三个不同人的第一边界框共有三个，第二边界框共有两个。因此，处理器160可以确定三个人中的至少一个人被至少一个其他人遮挡。

在处理器160判断为特定的对象被剩余的对象遮挡的情况下，处理器160可以以未重叠的人(例如，第一个人)的第二边界框(例如，P1)替换重叠而被遮挡的人(例如，第二个人)的第二边界框(S1040)。

处理器160可以通过将所述替换的第二边界框应用于被特定对象所遮挡并且不存在第二边界框的对象来确认与计数线的交叉与否而执行计数(S1050)。也就是说，未检测到第二个人的第二边界框，但是可以通过应用第一个人的第二边界框来确定是否与计数线交叉。

图12是用于说明根据本发明的又一实施例的监控相机的控制方法的图。图12所公开的实施例是考虑第一边界框F1和第二边界框P1全部来执行计数的示例。在第一边界框F1(头部P、P’)经过计数线的瞬间，在第二边界框P1(全身)与计数线存在交点的情况下，处理器160可以执行计数。

如上所述的本发明可以被实现为记录有程序的介质上的计算机可读代码。计算机可读介质包括存储有可由计算机系统读取的数据的所有种类的记录装置。计算机可读介质的示例包括硬盘驱动器(HDD：Hard Disk Drive)、固态盘(SSD：Solid State Disk)、硅盘驱动器(SDD：Silicon Disk Drive)、只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置等，因此，上述详细的说明在所有方面都被解释为说明性的而非限制性的。本发明的范围应该由所附权利要求书的合理解释来确定，在本发明的等同范围内的所有改变包括于本发明的范围。

Claims (10)

1.一种监控相机，其特征在于，包括：

图像传感器；

处理器，在分别表示从所述图像传感器获取的图像中检测的人的头部区域和全身区域的第一边界框和第二边界框中的至少一个与基于预设的用户输入而设定在所述图像内的计数线交叉的情况下执行计数，

所述处理器控制为在所述第一边界框和第二边界框源自同一对象的情况下仅执行借由所述第一边界框及所述第二边界框中的一个的计数。

2.根据权利要求1所述的监控相机，其特征在于，

在所述第一边界框和所述第二边界框源自同一对象的情况下，所述处理器使所述第一边界框及所述第二边界框关联。

3.根据权利要求2所述的监控相机，其特征在于，

在所述第一边界框包含在所述第二边界框内部的情况下，所述处理器判断为所述第一边界框和第二边界框源自同一对象。

4.根据权利要求1所述的监控相机，其特征在于，

在所述第一边界框经过所述计数线的瞬间，在所述第二边界框与所述计数线存在至少一个交叉点的情况下，所述处理器执行所述计数。

5.根据权利要求1所述的监控相机，其特征在于，

所述处理器根据与所述对象接近的所述计数线的区域选择性地应用所述第一边界框及所述第二边界框中的一个来判断与所述计数线的交叉与否。

6.根据权利要求1所述的监控相机，其特征在于，

所述处理器根据所述计数线的高度选择性地应用第一边界框及所述第二边界框中的一个来判断与所述计数线的交叉与否。

7.根据权利要求1所述的监控相机，其特征在于，

在存在通过所述计数线的彼此不同的多个对象且所述多个对象中的至少一个对象与至少一个其他对象重叠的情况下，所述处理器对重叠的对象应用所述第一边界框来判断与所述计数线的交叉与否。

8.根据权利要求7所述的监控相机，其特征在于，

在所述多个对象中所述第一边界框的数量多于所述第二边界框的数量的情况下，所述处理器判断为所述至少一个对象与所述至少一个其他对象重叠。

9.根据权利要求1所述的监控相机，其特征在于，

在存在通过所述计数线的彼此不同的多个对象且未检测出对应于所述多个对象中的至少一个对象的第二边界框的情况下，所述处理器通过应用虚拟的第二边界框来判断与所述计数线的交叉与否。

10.一种监控相机的控制方法，包括如下步骤：

从能够识别所检测的人的包括面部在内的全身的侧视图像中检测人；

检测所述检测到的人的头部区域和全身区域；

提取与所述头部区域对应的第一边界框和与所述全身区域对应的第二边界框；

在所述第二边界框与预设的计数线交叉的情况下执行计数；以及

在所述第一边界框与所述计数线交叉且不存在与所述第一边界框关联的边界框的情况下执行所述计数。