CN110298318A - 人头人体联合检测方法、装置和电子设备 - Google Patents
人头人体联合检测方法、装置和电子设备 Download PDFInfo
- Publication number
- CN110298318A CN110298318A CN201910585306.0A CN201910585306A CN110298318A CN 110298318 A CN110298318 A CN 110298318A CN 201910585306 A CN201910585306 A CN 201910585306A CN 110298318 A CN110298318 A CN 110298318A
- Authority
- CN
- China
- Prior art keywords
- people
- human
- frame
- human body
- detection block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Abstract
本发明提供了一种人头人体联合检测方法、装置和电子设备，方法包括：获取多个人头候选框和多个人体候选框；利用至少一个神经网络模型对多个人头候选框和多个人体候选框进行检测，分别得到至少一个人头检测框和至少一个人体检测框；利用至少一个人头检测框中的每个人头检测框和至少一个人体检测框中的任一人体检测框的结构关系，确定人头检测结果和人体检测结果。通过将人头人体分开检测，并对人头、人体的检测结果通过人头检测框和人体检测框的结构关系以及人体检测框得分进行进一步精确的比较分析，能够实现在密集人群场景下，精确检测人头和人体，避免人头被虚检以及人体被漏检。
Description
技术领域
本发明涉及图像处理领域，特别是涉及一种人头人体联合检测方法、装置和电子设备。
背景技术
目前主流的行人检测算法主要基于R-CNN框架，主要包括两部分：第一阶段区域候选网络RPN产生目标候选框；第二阶段区域卷积神经网络R-CNN对候选框进一步地分类和回归。
针对人头、人体检测，第一阶段是把图片输入到RPN，生成人头人体的候选框；第二阶段R-CNN对人头人体候选框进一步地分类和回归，得到人头的检测结果和人体的检测结果。
上述的人头人体的检测方式，在密集人群场景下，会导致人头容易被虚检，人体容易被漏检。
发明内容
有鉴于此，本发明实施例提供了一种人头人体联合检测方法、装置和电子设备，通过将人头人体分开检测，并对人头、人体的检测结果通过人头检测框和人体检测框的结构关系以及人体检测框得分进行进一步精确的比较分析，能够实现在密集人群场景下，精确检测人头和人体，避免人头被虚检以及人体被漏检。
本发明实施例的第一方面在于提供一种人头人体联合检测方法，该方法由设备的处理器执行，该方法包括：获取多个人头候选框和多个人体候选框；利用至少一个神经网络模型对多个人头候选框和多个人体候选框进行检测，分别得到至少一个人头检测框和至少一个人体检测框；利用至少一个人头检测框中的每个人头检测框和至少一个人体检测框中的任一人体检测框的结构关系，确定人头检测结果和人体检测结果。
在一些实施例中，利用至少一个人头检测框中的每个人头检测框和至少一个人体检测框中的任一人体检测框的结构关系，确定第二人头检测结果和第二人体检测结果，包括：当至少一个人头检测框中的第一人头检测框与至少一个人体检测框中的第N人体检测框的重叠面积与第一人头检测框面积的比值大于第一预设阈值时，将第一人头检测框添加到人头检测结果中。
在一些实施例中，人头人体联合检测方法还包括：利用至少一个神经网络模型对多个人体候选框进行检测，分别得到多个人体检测框的得分，多个人体检测框的得分包括第一人体检测框、第二人体检测框以及第N人体检测框的得分，第一人体检测框与第一人头检测框对应；当比值小于或等于第一预设阈值时，比较第一人体检测框的得分与第二预设阈值的大小；当第一人体检测框的得分高于第二预设阈值时，将第一人体检测框添加到人体检测结果中。
在一些实施例中，人头人体联合检测方法还包括：当第一人体检测框的得分等于或低于第二预设阈值时，将第一人头检测框从人头检测结果中去掉。
在一些实施例中，获取多个人头候选框和多个人体候选框，包括：获取多个人头候选框；利用人头和人体的位置对应关系，根据多个人头候选框确定多个人体候选框。
在一些实施例中，获取多个人头候选框，包括：利用区域候选网络RPN获取多个人头候选框。
在一些实施例中，至少一个神经网络模型包括第一R-CNN模型和第二R-CNN模型。
本发明实施例的第二方面在于提供一种人头人体联合检测装置，该装置包括：获取模块，用于获取多个人头候选框和多个人体候选框；检测模块，用于利用至少一个神经网络模型对多个人头候选框和多个人体候选框进行检测，分别得到至少一个人头检测框和至少一个人体检测框；确定模块，用于利用至少一个人头检测框中的每个人头检测框和至少一个人体检测框中的任一人体检测框的结构关系，确定人头检测结果和人体检测结果。
在一些实施例中，确定模块用于在至少一个人头检测框中的第一人头检测框与至少一个人体检测框中的第N人体检测框的重叠面积与第一人头检测框的比值大于第一预设阈值时，将第一人头检测框添加到人头检测结果中。
在一些实施例中，确定模块还用于利用至少一个神经网络模型对多个人体候选框进行检测，分别得到多个人体检测框的得分，多个人体检测框的得分包括第一人体检测框、第二人体框以及第N人体框的得分，第一人体检测框与第一人头检测框对应；在比值均小于或等于第一预设阈值时，比较第一人体检测框的得分与第二预设阈值的大小；在第一人体检测框的得分高于第二预设阈值时，将第一人体检测框添加到人体检测结果中。
在一些实施例中，在第一人体检测框的得分等于或低于第二预设阈值时，将第一人头检测框从人头检测结果中去掉。
在一些实施例中，获取多个人头候选框和多个人体候选框，包括：获取多个人头候选框；利用人头和人体的位置对应关系，根据多个人头候选框确定多个人体候选框。
在一些实施例中，获取多个人头候选框，包括：利用区域候选网络RPN获取多个人头候选框。
在一些实施例中，至少一个神经网络模型包括第一R-CNN模型和第二R-CNN模型。
本发明实施例的第三方面在于提供一种电子设备，包括：处理器；存储器；以及存储在存储器中的计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述实施例的方法。
本发明实施例的第四方面在于提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述实施例的方法。
本发明实施例提供的一种人头人体联合检测方法、装置和电子设备，至少具有以下效果：
本发明实施例的提供的一种人头人体联合检测方法，通过将人头人体分开检测，并对人头、人体的检测结果通过人头检测框和人体检测框的结构关系以及人体检测框得分进行进一步精确的比较分析，能够实现在密集人群场景下，精确检测人头和人体，避免人头被虚检以及人体被漏检。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
图1所示为本发明一实施例提供的人头人体联合检测方法的流程示意图。
图2所示为本发明另一实施例提供的人头人体联合检测方法的流程示意图。
图3所示为本发明另一实施例提供的人头人体联合检测方法的流程示意图。
图4所示为本发明另一实施例提供的人头人体联合检测方法的流程示意图。
图5所示为本发明一实施例提供的人头人体联合检测装置的框图。
图6所示为本发明另一实施例提供的人头人体联合检测装置的框图。
图7所示为本发明另一实施例提供的人头人体联合检测装置的框图。
图8所示为本发明一实施例提供的电子设备的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1所示为本发明一实施例提供的人头人体联合检测方法的流程示意图。该方法可以由计算机设备(例如，处理器)执行。如图1所示，该方法包括以下步骤：
110：获取多个人头候选框和多个人体候选框。
采用提取框的方式，可以在图片上使用穷举法只找到人头的候选框，再根据人头人体的先验结构关系或位置对应关系生成相应的人体的候选框，这些人头候选框之间可以是相互重叠互相包含的，选定候选框的方法例如可以包括：RPN，EdgeBoxes和SelectiveSearch，本发明对该选定候选框的方法不做具体限定。
120：利用至少一个神经网络模型对多个人头候选框和多个人体候选框进行检测，分别得到至少一个人头检测框和至少一个人体检测框。
对多个人头候选框和多个人体候选框进行特征提取、图像分类、非极大值抑制步骤进行目标检测，得到至少一个人头检测框和至少一个人体检测框。
130：利用至少一个人头检测框中的每个人头检测框和至少一个人体检测框中的任一人体检测框的结构关系，确定人头检测结果和人体检测结果。
上述的结构关系可以用人头检测框与人体检测框的重叠面积与人头检测框的面积的比值来表征，也可以只用人头检测框与人体检测框的重叠面积与预设阈值相比较的大小来表征，该预设阈值可以通过实验来得到，本发明对其不做限制。
基于本发明的实施例，通过将人头人体分开检测，并对人头、人体的检测结果通过人头检测框和人体检测框的结构关系以及人体检测框得分进行进一步精确的比较分析，能够实现在密集人群场景下，精确检测人头和人体，避免人头被虚检以及人体被漏检。
图2所示为本发明另一实施例提供的人头人体联合检测方法的流程示意图。在本发明的一个实施例中，如图2所示，利用至少一个人头检测框中的每个人头检测框和至少一个人体检测框中的任一人体检测框的结构关系，确定人头检测结果和人体检测结果，包括步骤：
131：得到至少一个人头检测框中的第一人头检测框与至少一个人体检测框中的第N人体检测框的重叠面积与第一人头检测框面积的比值。
通过计算人体检测框与人头检测框的重合面积与人头检测框的比值或者仅通过人体检测框与人头检测框的重叠面积，来评判人体检测框是否真的存在，本发明实施例对比较的对象不做具体限制，只要能评判出人体框的存在真实性的任何比较方案均在本发明的保护范围之内。
132：该比值大于第一预设阈值。
该比值越大，说明人体检测框占据人头检测框的比例越大，也就是说，人体存在的可能性越大，可以比较步骤131中得出的比值与第一预设值的大小，该第一预设值可以通过实验得出，在此不做具体限定，此外，也可以将人体检测框与人头检测框的重叠面积大小与某一预设值做比较，本发明对此不做具体限定。
133：将第一人头检测框添加到人头检测结果中。
基于上述步骤132比较的结果，若该比值大于第一预设阈值，则说明人体与人头的重合面积是存在的，说明这个人头有对应的人体，但这个人体不一定是根据第一人头候选框生成的第一人体候选框所对应的第一人体，此时认为该人头框已经成功匹配上一个人体，据此，可以判断出人头没有被虚检，人头和人体都是存在的，可以将第一人头检测框添加到人头检测结果中。
基于本发明的实施例，通过比较人体检测框与人头检测框的重合面积与人头检测框的比值与第一预设阈值的大小，可以据此判断出人头是否被虚检，得到人头是否有人体与之匹配的结论，并得到最终的人头检测结果。
图3所示为本发明另一实施例提供的人头人体联合检测方法的流程示意图。如图3所示，人头人体联合检测方法还包括：利用至少一个神经网络模型对多个人体候选框进行检测，分别得到多个人体检测框的得分，多个人体检测框的得分包括第一人体检测框、第二人体检测框以及第N人体检测框的得分；当比值均小于或等于第一预设阈值时，比较第一人体检测框的得分与第二预设阈值的大小，并具体执行如下步骤：
140：第一人体检测框的得分高于第二预设阈值。
首先，在所有的人体检测框与第一人头检测框的重叠面积与第一人头检测框的面积的比值均小于第一预设阈值时，采用与第一人头相对应的第一人体的检测框得分与第二预设阈值比较的大小来确定该第一人体是否存在。这里比较的仅是与第一人头对应的第一人体的检测框得分，与其他人体检测框的得分并不进行比较。
具体地，本发明使用的是Faster R-CNN,其具体的操作步骤是对从RPN得到的候选框特征信息，使用分类器判别是否属于一个特征类，对于属于某一特征的候选框，用回归器进一步调整其位置，得到人头检测结果和人体检测结果。人体检测框的得分是由区域卷积神经网络(Regions Convolutional Neural Network,R-CNN)通过内部预存的计算方法计算得到的，选取人体检测框得分高的作为真实的人体所存在的检测框。
141：将第一人体检测框添加到人体检测结果中。
根据步骤140的人体检测框得分与第二预设阈值的比较，人体检测框得分越高，说明该检测框框选的人体的位置、大小、比例比较合适，在步骤140中，与第一人头对应的第一人体检测框的得分高于第二预设阈值，则这个第一人体是存在的，则将第一人体检测框添加到人体检测结果中。
150：将第一人头检测框从人头检测结果中去掉。
如果第一人体检测框得分越低的话，说明该检测框框选的人体位置、大小或比例不合适，亦或是没有框选到第一人体，则与该第一人体对应得第一人头也就不复存在，故将该第一人头检测框从人头检测结果中去掉。
基于本发明的实施例，通过在所有的人体检测框与第一人头检测框的重叠面积与第一人头检测框的面积的比值与第一预设阈值进行比较，并结合与第一人头对应的第一人体的检测框的得分共同来判断第一人头和第一人体的存在性，可以避免仅通过人体框得分来判断人头人体存在与否时，遗漏人体框得分低而该人体还确实存在的情况，这样的结合方式可以避免人体被漏检，也可以避免人头被虚检。
具体地，例如，获得了100个人头候选框，根据人头和人体的对应关系，得出100个人体候选框，利用分开类型的2个神经网络模型，比如专门处理人头候选框的神经网络模型和专门处理人体候选框的神经网络模型对这100个人头候选框和100个人体候选框分别进行检测，得到小于或等于100个人头检测框和小于或等于100个人体检测框，然后计算这小于或等于100个人头检测框中的一个记为第一人头检测框分别与所有的人体检测框的重叠面积与这一个人头检测框的面积的比值，这个比值被定义为Intersection over Head，缩写为IOH，比较该第一人头检测框与各个人体检测框的IOH与第一预设阈值的大小，直到得到一个IOH大于第一预设阈值，则将该第一人头检测框添加到人头检测结果中，如果所有的IOH均小于或等于第一预设阈值，则就要对该第一人头检测框根据人头人体关系得出的对应的第一人体检测框的得分与第二预设阈值进行比较，当第一人体检测框得分大于第二预设阈值时，则这个第一人体就是存在的，相应的第一人头也是存在的，该人头就没有被虚检，将该第一人体检测框添加到人体检测结果中，如果第一人体检测框得分小于第二预设阈值，说明第一人体是不存在的，相应地，第一人头检测框是虚检的，将该第一人头检测框从人头检测结果中去掉。
图4所示为本发明另一实施例提供的人头人体联合检测方法的流程示意图。在本发明一实施例中，如图4所示，获取多个人头候选框和多个人体候选框，包括：
410：获取多个人头候选框。
具体地，可以利用区域候选网络RPN获取多个人头候选框。区域候选网络(RegionProposal Network,RPN)第一次出现是在Faster RCNN这个结构中，通过一系列卷积得到公共特征图，例如，假设图的大小是N×16×16，然后进入RPN阶段，首先经过一个3×3的卷积，得到一个256×16×16的特征图，也可以看作16×16个256维特征向量，然后经过两次1×1的卷积，分别得到一个18×16×16的特征图，和一个36×16×16的特征图，也就是16×16×9个结果，每个结果包含2个分数和4个坐标，再结合预先定义的锚点框Anchors，经过后处理，就得到候选框。RPN是专门用来提取候选框，一方面RPN耗时少，另一方面RPN可以很容易地结合到Faster RCNN中，成为一个整体。当然，可以理解，获取人头候选框的方式还有很多，比如，滑动窗口方法、selectivesearch、bing和edgeboxes，Selectivesearch通过分割和相似度计算的方式提取候选区域框，区域框的质量较好但是速度很慢；Bing使用正则梯度信息和二分操作生成候选区域框，速度较快但是质量很差；Edgeboxes是在质量和速度之间折中的一种算法，本发明实施例对人头候选框的提取方法不作具体限定。
420：利用人头和人体的位置对应关系，根据多个人头候选框确定多个人体候选框。
具体地，由RPN得到人头的候选框后，根据人头和人体的位置及比例关系预测相应的人体候选框，比如，当检测到一个人头候选框后，本发明可以根据人头和人体的先验结构关系、位置及比例关系预测它会有一个对应的人体，则会生成一个对应的预测人体候选框，然后后续对这个预测的人体候选框进一步验证它的存在性，当然，本发明对获取人体候选框的方式不作具体限定。
在本发明的一个实施例中，至少一个神经网络模型包括第一R-CNN模型和第二R-CNN模型。
具体地，第一R-CNN模型可以用来处理人头的候选框，得到人头检测结果，第二R-CNN模型可以用来处理人体的候选框，得到人体检测结果，可以理解，也可以用第二R-CNN模型处理人头的候选框，得到人头检测结果，用第一R-CNN模型处理人体的候选框，得到人体检测结果，本发明对第一R-CNN模型和第二R-CNN模型的处理对象不做具体限定。
本实施例中，分成两个R-CNN模型分别对人头和人体候选框进行处理以得到最终结果可以有助于对区域卷积神经网络做专项特征训练得到用于人头检测的卷积神经网络和用于人体检测的卷积神经网络，提高人头检测和人体检测的效率，提升用户体验。
图5所示为本发明一实施例提供的人头人体联合检测装置500的框图。该装置500执行如上述实施例所述的方法。
如图5所示，该装置500包括：
获取模块510，用于获取多个人头候选框和多个人体候选框；
检测模块520，用于利用至少一个神经网络模型对多个人头候选框和多个人体候选框进行检测，分别得到至少一个人头检测框和至少一个人体检测框；
确定模块530，用于利用至少一个人头检测框中的每个人头检测框和至少一个人体检测框中的任一人体检测框的结构关系，确定人头检测结果和人体检测结果。
图6所示为本发明另一实施例提供的人头人体联合检测装置的框图。图7所示为本发明另一实施例提供的人头人体联合检测装置的框图。
图6和图7为图5所述的实施例的例子，具体地，如图6所示，区域候选网络RPN接收一张图片，并对该图片进行人头的区域候选框的检测，得到多个人头候选框，这些候选框之间可以是相互重叠互相包含的，然后人体检测BodyEst模块根据人头和人体的对应关系得到多个人体候选框，人头R-CNN和人体R-CNN分别通过分类器判别得到的人头候选框或人体候选框是否属于一个特征类，对于属于某一特征的候选框，用回归器进一步调整其位置，得到临时人头检测结果和临时人体检测结果，然后检测处理DetPro模块对临时的人头检测结果和临时的人体检测结果进行进一步的处理，通过计算人体检测框与人头检测框的重叠面积与该人头检测框的面积的比值，定义为IOH，比较IOH与第一预设阈值的大小来判定人头是否存在，具体地，首先将一个人头检测框与所有的人体检测框逐一计算出IOH并比较该IOH与第一预设阈值的大小，直到找到一个IOH大于第一预设阈值为止，则该人头人体存在，将该人头检测框添加到人头检测结果中，但是，如果计算出的所有的IOH均小于或等于第一预设阈值时，则通过比较与上述的一个人头检测框记为第一人头检测框相对应的人体检测框得分记为第一人体检测框得分来判断与该第一人头对应的第一人体是否存在，具体地，将第一人体检测框得分与第二预设阈值作比较，当该第一人体检测框得分高于第二预设阈值时，说明这个第一人体是存在的，相应地，根据人体与人头的对应关系，此时与该第一人体对应的第一人头也是存在的，将第一人体检测框添加到人体检测结果中，否则，当该第一人体检测框得分等于或低于第二预设阈值时，说明该第一人体是不存在的，相应地第一人头也不存在，将第一人头检测框从人头检测结果中去掉，通过IOH与人体框共同来判断人头人体的结果的方法可以避免只通过人体框的分来判断人体是否存在而忽略人体框得分等于或低于第二阈值但是人体还真实存在的情况，从而使得对人头人体的判断更加精确。如图7所示，仅是将图6中的人头R-CNN和人体R-CNN换成了一个R-CNN，仅用这一个R-CNN来对人头候选框和人体候选框进行处理得到临时的人头和人体的检测结果，其它的步骤与图6的实施例中叙述的类似，在此不再赘述。
基于本发明的实施例，通过在现有技术的基础上加入人体检测BodyEst模块将人头人体分开检测，并通过检测处理DetPro模块对人头、人体的检测结果通过人头检测框和人体检测框的结构关系以及人体检测框得分进行进一步精确的比较分析，能够实现在密集人群场景下，精确检测人头和人体，避免人头被虚检以及人体被漏检，提高人头人体的检测精度和效率。
在本发明的一个实施例中，确定模块530用于在至少一个人头检测框中的第一人头检测框与至少一个人体检测框中的第N人体检测框的重叠面积与第一人头检测框的比值大于第一预设阈值时，将第一人头检测框添加到人头检测结果中。
在本发明的一个实施例中，确定模块还用于利用至少一个神经网络模型对多个人体候选框进行检测，分别得到多个人体检测框的得分，多个人体检测框的得分包括第一人体检测框、第二人体检测框以及第N人体检测框的得分，第一人体检测框与第一人头检测框对应；当比值均小于或等于第一预设阈值时，比较第一人体检测框的得分与第二预设阈值的大小；在第一人体检测框的得分高于第二预设阈值时，将第一人体检测框添加到人体检测结果中；在第一人体检测框的得分等于或低于所述第二预设阈值时，将第一人头检测框从人头检测结果中去掉。
在本发明的一个实施例中，获取多个人头候选框和多个人体候选框，包括：利用区域候选网络RPN获取多个人头候选框；利用人头和人体的位置对应关系，根据多个人头候选框确定多个人体候选框。
在本发明的一个实施例中，至少一个神经网络模型包括第一R-CNN模型和第二R-CNN模型。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
图8所示为本发明一实施例提供的电子设备的框图。
参照图8，装置800包括处理器810，其进一步包括一个或多个处理器，以及由存储器820所代表的存储器资源，用于存储可由处理器810的执行的指令，例如应用程序。存储器820中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器810被配置为执行指令，以执行上述人头人体联合检测方法。
装置800还可以包括一个电源组件被配置为执行装置800的电源管理，一个有线或无线网络接口被配置为将装置800连接到网络，和一个输入输出(I/O)接口。装置800可以操作基于存储在存储器820的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述装置800的处理器执行时，使得上述装置800能够执行上述人头人体联合检测方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序校验码的介质。
另外，还需要说明的是，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案所记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。
需要注意的是，以上列举的仅为本发明的具体实施例，显然本发明不限于以上实施例，随之有着许多的类似变化。本领域的技术人员如果从本发明公开的内容直接导出或联想到的所有变形，均应属于本发明的保护范围。
应当理解，本发明实施例中提到的第一、第二等限定词，仅仅为了更清楚地描述本发明实施例的技术方案使用，并不能用以限制本发明的保护范围。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种人头人体联合检测方法，其特征在于，包括：
获取多个人头候选框和多个人体候选框；
利用至少一个神经网络模型对所述多个人头候选框和所述多个人体候选框进行检测，分别得到至少一个人头检测框和至少一个人体检测框；
利用所述至少一个人头检测框中的每个人头检测框和所述至少一个人体检测框中的任一人体检测框的结构关系，确定人头检测结果和人体检测结果。
2.根据权利要求1所述的检测方法，其特征在于，所述利用所述至少一个人头检测框中的每个人头检测框和所述至少一个人体检测框中的任一人体检测框的结构关系，确定人头检测结果和人体检测结果，包括：
当所述至少一个人头检测框中的第一人头检测框与所述至少一个人体检测框中的第N人体检测框的重叠面积与所述第一人头检测框的比值大于第一预设阈值时，将所述第一人头检测框添加到人头检测结果中。
3.根据权利要求2所述的检测方法，其特征在于，还包括：
利用所述至少一个神经网络模型对所述多个人体候选框进行检测，分别得到多个人体检测框的得分，所述多个人体检测框的得分包括第一人体检测框、第二人体检测框以及第N人体检测框的得分，第一人体检测框与所述第一人头检测框对应；
当所述比值均小于或等于第一预设阈值时，比较所述第一人体检测框的得分与第二预设阈值的大小；
当所述第一人体检测框的得分高于所述第二预设阈值时，将所述第一人体检测框添加到人体检测结果中。
4.根据权利要求3所述的检测方法，其特征在于，还包括：
当所述第一人体检测框的得分等于或低于所述第二预设阈值时，将所述第一人头检测框从所述人头检测结果中去掉。
5.根据权利要求1至4中的任一项所述的检测方法，其特征在于，所述获取多个人头候选框和多个人体候选框，包括：
获取所述多个人头候选框；
利用人头和人体的位置对应关系，根据所述多个人头候选框确定所述多个人体候选框。
6.根据权利要求5所述的检测方法，其特征在于，所述获取所述多个人头候选框，包括：
利用区域候选网络RPN获取所述多个人头候选框。
7.根据权利要求1至4中的任一项所述的检测方法，其特征在于，所述至少一个神经网络模型包括第一R-CNN模型和第二R-CNN模型。
8.一种人头人体联合检测装置，其特征在于，包括：
获取模块，用于获取多个人头候选框和多个人体候选框；
检测模块，用于利用至少一个神经网络模型对所述多个人头候选框和所述多个人体候选框进行检测，分别得到至少一个人头检测框和至少一个人体检测框；
确定模块，用于利用所述至少一个人头检测框中的每个人头检测框和所述至少一个人体检测框中的任一人体检测框的结构关系，确定人头检测结果和人体检测结果。
9.根据权利要求8所述的检测装置，其特征在于，所述确定模块用于在所述至少一个人头检测框中的第一人头检测框与所述至少一个人体检测框中的第N人体检测框的重叠面积与所述第一人头检测框面积的比值大于第一预设阈值时，将所述第一人头检测框添加到人头检测结果中。
10.根据权利要求9所述的检测装置，其特征在于，所述确定模块还用于利用所述至少一个神经网络模型对所述多个人体候选框进行检测，分别得到多个人体检测框的得分，所述多个人体检测框的得分包括第一人体检测框、第二人体检测框以及第N人体检测框的得分，第一人体检测框与所述第一人头检测框对应；在所述比值均小于或等于第一预设阈值时，比较所述第一人体检测框的得分与第二预设阈值的大小；在所述第一人体检测框的得分高于所述第二预设阈值时，将所述第一人体检测框添加到人体检测结果中；在所述第一人体检测框的得分等于或低于所述第二预设阈值时，将所述第一人头检测框从所述人头检测结果中去掉。
11.一种电子设备，其特征在于，包括：处理器；存储器；以及存储在所述存储器中的计算机程序指令，所述计算机程序指令在被所述处理器运行时使得处理器执行如权利要求1至7所述的方法。
12.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910585306.0A CN110298318B (zh) | 2019-07-01 | 2019-07-01 | 人头人体联合检测方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910585306.0A CN110298318B (zh) | 2019-07-01 | 2019-07-01 | 人头人体联合检测方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110298318A true CN110298318A (zh) | 2019-10-01 |
| CN110298318B CN110298318B (zh) | 2023-09-29 |
Family
ID=68029678
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910585306.0A Active CN110298318B (zh) | 2019-07-01 | 2019-07-01 | 人头人体联合检测方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110298318B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008631A (zh) * | 2019-12-20 | 2020-04-14 | 浙江大华技术股份有限公司 | 图像的关联方法及装置、存储介质和电子装置 |
| CN111814885A (zh) * | 2020-07-10 | 2020-10-23 | 云从科技集团股份有限公司 | 一种管理图像框的方法、系统、设备及介质 |
| CN112308011A (zh) * | 2020-11-12 | 2021-02-02 | 湖北九感科技有限公司 | 多特征联合目标检测方法及装置 |
| CN112967292A (zh) * | 2021-03-01 | 2021-06-15 | 焦点科技股份有限公司 | 一种针对电商产品的自动抠图与评分方法及系统 |
| CN113920547A (zh) * | 2021-12-14 | 2022-01-11 | 成都考拉悠然科技有限公司 | 一种基于神经网络的手套检测方法及其系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120062749A1 (en) * | 2010-09-09 | 2012-03-15 | Yasutaka Kawahata | Human body identification method using range image camera and human body identification apparatus |
| US20140211994A1 (en) * | 2013-01-30 | 2014-07-31 | Panasonic Corporation | Human detection and tracking apparatus, human detection and tracking method, and human detection and tracking program |
| CN105740892A (zh) * | 2016-01-27 | 2016-07-06 | 北京工业大学 | 一种高准确率的基于卷积神经网络的人体多部位识别方法 |
| CN108256404A (zh) * | 2016-12-29 | 2018-07-06 | 北京旷视科技有限公司 | 行人检测方法和装置 |
| CN108363982A (zh) * | 2018-03-01 | 2018-08-03 | 腾讯科技（深圳）有限公司 | 确定对象数量的方法及装置 |
| CN109740516A (zh) * | 2018-12-29 | 2019-05-10 | 深圳市商汤科技有限公司 | 一种用户识别方法、装置、电子设备及存储介质 |
-
2019
- 2019-07-01 CN CN201910585306.0A patent/CN110298318B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120062749A1 (en) * | 2010-09-09 | 2012-03-15 | Yasutaka Kawahata | Human body identification method using range image camera and human body identification apparatus |
| US20140211994A1 (en) * | 2013-01-30 | 2014-07-31 | Panasonic Corporation | Human detection and tracking apparatus, human detection and tracking method, and human detection and tracking program |
| CN105740892A (zh) * | 2016-01-27 | 2016-07-06 | 北京工业大学 | 一种高准确率的基于卷积神经网络的人体多部位识别方法 |
| CN108256404A (zh) * | 2016-12-29 | 2018-07-06 | 北京旷视科技有限公司 | 行人检测方法和装置 |
| CN108363982A (zh) * | 2018-03-01 | 2018-08-03 | 腾讯科技（深圳）有限公司 | 确定对象数量的方法及装置 |
| CN109740516A (zh) * | 2018-12-29 | 2019-05-10 | 深圳市商汤科技有限公司 | 一种用户识别方法、装置、电子设备及存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008631A (zh) * | 2019-12-20 | 2020-04-14 | 浙江大华技术股份有限公司 | 图像的关联方法及装置、存储介质和电子装置 |
| CN111008631B (zh) * | 2019-12-20 | 2023-06-16 | 浙江大华技术股份有限公司 | 图像的关联方法及装置、存储介质和电子装置 |
| CN111814885A (zh) * | 2020-07-10 | 2020-10-23 | 云从科技集团股份有限公司 | 一种管理图像框的方法、系统、设备及介质 |
| CN112308011A (zh) * | 2020-11-12 | 2021-02-02 | 湖北九感科技有限公司 | 多特征联合目标检测方法及装置 |
| CN112308011B (zh) * | 2020-11-12 | 2024-03-19 | 湖北九感科技有限公司 | 多特征联合目标检测方法及装置 |
| CN112967292A (zh) * | 2021-03-01 | 2021-06-15 | 焦点科技股份有限公司 | 一种针对电商产品的自动抠图与评分方法及系统 |
| CN113920547A (zh) * | 2021-12-14 | 2022-01-11 | 成都考拉悠然科技有限公司 | 一种基于神经网络的手套检测方法及其系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110298318B (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110298318A (zh) | 人头人体联合检测方法、装置和电子设备 | |
| CN113657465B (zh) | 预训练模型的生成方法、装置、电子设备和存储介质 | |
| CN109117803B (zh) | 人脸图像的聚类方法、装置、服务器及存储介质 | |
| CN108875732B (zh) | 模型训练与实例分割方法、装置和系统及存储介质 | |
| US10223582B2 (en) | Gait recognition method based on deep learning | |
| CN110321873A (zh) | 基于深度学习卷积神经网络的敏感图片识别方法及系统 | |
| CN109359666A (zh) | 一种基于多特征融合神经网络的车型识别方法及处理终端 | |
| CN108235770A (zh) | 图像识别方法及云端系统 | |
| CN108846826A (zh) | 物体检测方法、装置、图像处理设备及存储介质 | |
| CN109146921A (zh) | 一种基于深度学习的行人目标跟踪方法 | |
| Sarkar et al. | Deep feature-based face detection on mobile devices | |
| CN110633745A (zh) | 一种基于人工智能的图像分类训练方法、装置及存储介质 | |
| CN108229262B (zh) | 一种色情视频检测方法及装置 | |
| AU2009246750A1 (en) | Fingerprint representation using gradient histograms | |
| CN109934065A (zh) | 一种用于手势识别的方法和装置 | |
| CN110263731B (zh) | 一种单步人脸检测系统 | |
| CN109671055B (zh) | 肺结节检测方法及装置 | |
| CN112287802A (zh) | 人脸图像检测方法、系统、存储介质及设备 | |
| CN113641906A (zh) | 基于资金交易关系数据实现相似目标人员识别处理的系统、方法、装置、处理器及其介质 | |
| CN110069959A (zh) | 一种人脸检测方法、装置及用户设备 | |
| CN110427912A (zh) | 一种基于深度学习的人脸检测方法及其相关装置 | |
| KR101545809B1 (ko) | 차량 번호판 이중 검출 방법 및 장치 | |
| CN111008631A (zh) | 图像的关联方法及装置、存储介质和电子装置 | |
| CN111753870B (zh) | 目标检测模型的训练方法、装置和存储介质 | |
| CN109508645A (zh) | 监控场景下身份识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |