CN112507787B - 基于正样本筛选视障人员障碍物的目标检测方法及装置 - Google Patents

基于正样本筛选视障人员障碍物的目标检测方法及装置 Download PDF

Info

Publication number
CN112507787B
CN112507787B CN202011209569.0A CN202011209569A CN112507787B CN 112507787 B CN112507787 B CN 112507787B CN 202011209569 A CN202011209569 A CN 202011209569A CN 112507787 B CN112507787 B CN 112507787B
Authority
CN
China
Prior art keywords
positive sample
obstacles
obstacle
candidate frame
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011209569.0A
Other languages
English (en)
Other versions
CN112507787A (zh
Inventor
张永明
史业民
俞益洲
李一鸣
乔昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202011209569.0A priority Critical patent/CN112507787B/zh
Publication of CN112507787A publication Critical patent/CN112507787A/zh
Application granted granted Critical
Publication of CN112507787B publication Critical patent/CN112507787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于正样本筛选视障人员障碍物的目标检测方法，在本方法中，先提取出目标图片中各障碍物的所有候选框，对各候选框进行分类计算出各候选框的类别置信度，再计算出各候选框在目标图片中与标注边框之间的重叠度，之后对障碍物的候选框的类别置信度和重叠度进行加权融合，根据加权融合的结果判断该候选框是否为正样本，如果是，根据当前目标类型和正样本进行检测得到检测结果。由于在本申请的技术方案中，通过将障碍物的候选框的类别置信度和重叠度进行加权融合的方式，使得到的正样本所对应的类别置信度和重叠度均较高，这提高了正样本的准确率，可以得到更加准确的目标检测的障碍物的位置，从而提高了目标检测的检测精度。

Description

基于正样本筛选视障人员障碍物的目标检测方法及装置
技术领域
本申请涉及正样本筛选技术领域，尤其涉及一种基于正样本筛选视障人员障碍物的目标检测方法及装置。
背景技术
目前，由于很多与视障人员有关的目标检测都涉及到目标障碍物的正样本的筛选，例如：预测障碍物位置目标检测，需要从图片中筛选出正样本，然后基于正样本检测定位得到障碍物的位置，因此，筛选出准确率较高的正样本就显得尤为重要。
现有的正样本的筛选方式为：将图片中某一障碍物提取的候选框和该障碍物的真实标注框之间的重叠度大于一定阈值的候选框作为正样本。然而重叠度较大的正样本的类别置信度却不一定高，这导致在后续进行非极大值抑制时，置信度较高的正样本会对其他置信度较低但重叠度高的正样本造成误判，会过滤掉一些置信度较低但重叠度较高的正样本，使得到的正样本的准确率较低，影响后续最终的目标检测的检测精度，从而使目标检测的检测结果不准确。
发明内容
本申请提供一种基于正样本筛选视障人员障碍物的目标检测方法及装置，以提高正样本的准确率，可以得到更加准确的目标检测的障碍物的位置，从而提高了目标检测的检测精度。
第一方面，本申请提供了一种基于正样本筛选视障人员障碍物的目标检测方法，所述方法包括：
提取出目标图片中的各障碍物的所有候选框，对各候选框进行分类计算出各候选框的类别置信度，再计算出各候选框在目标图片中与标注边框之间的重叠度；之后对障碍物的候选框的类别置信度和重叠度进行加权融合，根据加权融合的结果判断该候选框是否为正样本，如果是，根据当前目标类型和正样本进行检测得到检测结果；
所述计算出各候选框的类别置信度的步骤，包括：
Figure BDA0002758361390000021
其中，ci为第i个障碍物的候选框的类别置信度，ei为第i个障碍物的候选框所对应输出的指数值，ej为所有障碍物的候选框所对应输出的指数值，j为总输出的指数值的数量；
所述计算出各候选框在目标图片中与标注边框之间的重叠度的步骤，包括：
针对各候选框，确定该候选框在目标图片中与标注边框之间的交集；
确定该候选框在目标图片中与标注边框之间的并集；
计算所述交集与所述并集之商作为该候选框在目标图片中与标注边框之间的重叠度。
可选的，所述对障碍物的候选框的类别置信度和重叠度进行加权融合的步骤，包括：
按照不同权重对障碍物的候选框的类别置信度和重叠度进行加权融合，其中，所述重叠度的权重大于所述类别置信度的权重，且两者之和为1。
可选的，所述根据加权融合的结果判断该候选框是否为正样本的步骤，包括：
判断加权融合得到的加权融合值是否大于预设阈值；
如果是，确定该候选框作为正样本；
如果否，确定该候选框不为正样本。
可选的，所述根据当前目标类型和所述正样本进行检测得到检测结果的步骤，包括：
判断所述正样本的类别置信度是否大于预设置信度阈值；
如果是，对所述正样本进行两次回归定位，根据当前目标类型和进行两次回归定位后的正样本进行检测得到检测结果；
如果否，对所述正样本进行一次回归定位，根据当前目标类型和进行一次回归定位后的正样本进行检测得到检测结果。
可选的，所述根据当前目标类型和所述正样本进行检测得到检测结果的步骤，包括：
在当前目标类型为预测障碍物位置时，对所述正样本进行检测定位得到所述正样本对应的障碍物的位置。
可选的，所述根据当前目标类型和所述正样本进行检测得到检测结果的步骤，包括：
在当前目标类型为预测视障人员穿行障碍物时，对所述正样本进行检测定位得到所述正样本对应的各个障碍物之间的相对距离；
预测每两个障碍物之间的相对距离；
当视障人员的穿行距离小于两个障碍物的相对距离时，确定所述视障人员可以穿行该两个障碍物之间。
可选的，所述预测每两个障碍物之间的相对距离的步骤，包括：
针对每两个障碍物，确定所述视障人员分别与该两个障碍物之间的第一距离和第二距离；
根据所述第一距离和所述第二距离计算所述视障人员与该两个障碍物之间的夹角；
根据所述第一距离、所述第二距离和所述夹角计算得到该两个障碍物之间的预测距离；
利用smooth L1损失函数和所述预测距离计算得到距离偏移值；
计算所述预测距离与所述距离偏移值之和作为该两个障碍物之间的相对距离。
第二方面，本申请提供了一种基于正样本筛选视障人员障碍物的目标检测装置，所述装置包括：
提取模块，用于提取出目标图片中的各障碍物的所有候选框，对各候选框进行分类计算出各候选框的类别置信度，再计算出各候选框在所述目标图片中与标注边框之间的重叠度；检测模块，用于对障碍物的候选框的类别置信度和重叠度进行加权融合，根据加权融合的结果判断该候选框是否为正样本，如果是，根据当前目标类型和正样本进行检测得到检测结果；
所述提取模块，包括：
类别置信度计算模块，用于：
Figure BDA0002758361390000041
其中，ci为第i个障碍物的候选框的类别置信度，ei为第i个障碍物的候选框所对应输出的指数值，ej为所有障碍物的候选框所对应输出的指数值，j为总输出的指数值的数量；
重叠度计算模块：
交集确定子模块，针对各候选框，确定该候选框在目标图片中与标注边框之间的交集；
并集确定子模块，用于确定该候选框在目标图片中与标注边框之间的并集；
计算子模块，用于计算所述交集与所述并集之商作为该候选框在目标图片中与标注边框之间的重叠度。
可选的，所述检测模块，具体用于：
按照不同权重对障碍物的候选框的类别置信度和重叠度进行加权融合，其中，所述重叠度的权重大于所述类别置信度的权重，且两者之和为1。
可选的，所述检测模块，包括：
第一判断子模块，用于判断加权融合得到的加权融合值是否大于预设阈值，如果是，触发第一确定子模块，如果否，触发第二确定子模块；
所述第一确定子模块，用于确定该候选框作为正样本；
所述第二确定子模块，用于确定该候选框不为正样本。
可选的，所述检测模块，包括：
第二判断子模块，用于判断所述正样本的类别置信度是否大于预设置信度阈值，如果是，触发第一回归子模块，如果否，触发第二回归子模块；
所述第一回归子模块，用于对所述正样本进行两次回归定位，根据当前目标类型和进行两次回归定位后的正样本进行检测得到检测结果；
所述第二回归子模块，用于对所述正样本进行一次回归定位，根据当前目标类型和进行一次回归定位后的正样本进行检测得到检测结果。
可选的，所述检测模块，具体用于：
在当前目标类型为预测障碍物位置时，对所述正样本进行检测定位得到所述正样本对应的障碍物的位置。
可选的，所述检测模块，具体用于：
在当前目标类型为预测视障人员穿行障碍物时，对所述正样本进行检测定位得到所述正样本对应的各个障碍物之间的相对距离；
预测每两个障碍物之间的相对距离；
当视障人员的穿行距离小于两个障碍物的相对距离时，确定所述视障人员可以穿行该两个障碍物之间。
可选的，所述预测子模块，包括：
距离计算单元，用于针对每两个障碍物，确定所述视障人员分别与该两个障碍物之间的第一距离和第二距离；
夹角计算单元，用于根据所述第一距离和所述第二距离计算所述视障人员与该两个障碍物之间的夹角；
预测距离计算单元，用于根据所述第一距离、所述第二距离和所述夹角计算得到该两个障碍物之间的预测距离；
距离偏移值计算单元，用于利用smooth L1损失函数和所述预测距离计算得到距离偏移值；
相对距离计算单元，用于计算所述预测距离与所述距离偏移值之和作为该两个障碍物之间的相对距离。
第三方面，本申请提供了一种可读介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如第一方面中任一所述的方法。
第四方面，本申请提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面中任一所述的方法。
由上述技术方案可以看出，本申请可以提取出目标图片中的各障碍物的候选框，对各候选框进行分类计算各候选框的类别置信度，并计算该障碍物的候选框在目标图片中与标注边框之间的重叠度，对该障碍物的候选框的类别置信度和重叠度进行加权融合，根据加权融合的结果判断该候选框是否为正样本，如果是，根据当前目标类型和正样本进行检测得到检测结果。由于在本申请的技术方案中，通过将障碍物的候选框的类别置信度和重叠度进行加权融合的方式，使得到的正样本的类别置信度和重叠度均较高，提高了正样本的准确率，可以得到更加准确的目标检测的障碍物的位置，从而提高了目标检测的检测精度。
上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
为了更清楚地说明本申请实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一种基于正样本筛选视障人员障碍物的目标检测方法的一种模块示意图；
图2为本申请一种基于正样本筛选视障人员障碍物的目标检测方法的一种流程示意图；
图3为本申请一种基于正样本筛选视障人员障碍物的目标检测装置的结构示意图；
图4为本申请一实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了解决现有技术中，由于正样本的准确率较低，而导致的影响后续最终的目标检测的检测精度，使得目标检测的检测结果不准确的问题。
本申请提供了一种基于正样本筛选视障人员障碍物的目标检测方法，在本方法中，先提取出目标图片中各障碍物的所有候选框，对各候选框进行分类计算出各候选框的类别置信度，再计算出各候选框在目标图片中与标注边框之间的重叠度，之后对障碍物的候选框的类别置信度和重叠度进行加权融合，根据加权融合的结果判断该候选框是否为正样本，如果是，根据当前目标类型和正样本进行检测得到检测结果。由于在本申请的技术方案中，通过将障碍物的候选框的类别置信度和重叠度进行加权融合的方式，使得到的正样本所对应的类别置信度和重叠度均较高，这提高了正样本的准确率，可以得到更加准确的目标检测的障碍物的位置，从而提高了目标检测的检测精度。
下面结合附图，详细说明本申请的各种非限制性实施方式。
参见图1，示出了本申请实施例中的一种基于正样本筛选视障人员障碍物的目标检测方法。在本实施例中，所述方法应用于电子设备，所述方法例如可以包括以下步骤：
S101：提取出目标图片中的各障碍物的所有候选框，对各候选框进行分类计算各候选框的类别置信度，再计算出各候选框在目标图片中与标注边框之间的重叠度。
在目标图片中可能存在一个或多个障碍物，为了获得正样本，需要提取出目标图片中的各障碍物的候选框，其中，提取候选框的方式可以为现有提取候选框的任何一种方式，本申请对此不做任何限定。
由于在目标图片中可能存在一个或多个障碍物，因此，在提取了各障碍物的候选框后，需要对各候选框进行分类并计算各候选框的类别置信度，其中，对各候选框进行分类的方式可以为现有的对候选框进行分类的方式，本申请对此并不作任何限定。
其中，计算各候选框的类别置信度可以为根据以下公式计算得到各候选框的类别置信度：
Figure BDA0002758361390000081
其中，ci为第i个障碍物的候选框的类别置信度，ei为第i个障碍物的候选框所对应输出的指数值，ej为所有障碍物的候选框所对应输出的指数值，j为总输出的指数值的数量。
为了提高正样本的准确率，本申请中采用加权融合的方式来得到正样本，因此，在得到各候选框的类别置信度后，计算该障碍物的候选框在目标图片中与标注边框之间的重叠度。
其中，计算出各候选框在目标图片中与标注边框之间的重叠度的步骤，包括：
针对各候选框，确定该候选框在目标图片中与标注边框之间的交集；
确定该候选框在目标图片中与标注边框之间的并集；
计算所述交集与所述并集之商作为该候选框在目标图片中与标注边框之间的重叠度。
各障碍物在目标图片中的标注边框就是各障碍物在目标图片中的真实边框，标注边框可以是人为进行标注的。
示例性的，计算该障碍物的候选框在目标图片中与标注边框之间的重叠度可以为根据以下公式计算重叠度：
Figure BDA0002758361390000091
其中，ui为障碍物的第i个候选框在目标图片中与标注边框之间的重叠度，i为障碍物的第i个候选框，gti为第i个候选框所对应的障碍物在目标图片中的标注边框。
S102：对障碍物的候选框的类别置信度和重叠度进行加权融合，根据加权融合的结果判断该候选框是否为正样本，如果是，根据当前目标类型和正样本进行检测得到检测结果。
为了提高正样本的准确率，本申请中采用加权融合的方式来得到正样本，对该障碍物的候选框的类别置信度和重叠度进行加权融合，根据加权融合的结果判断该候选框是否为正样本。
其中，对该障碍物的候选框的类别置信度和重叠度进行加权融合，可以包括：
按照不同权重对障碍物的候选框的类别置信度和重叠度进行加权融合，其中，重叠度的权重大于类别置信度的权重，且两者之和为1。
示例性的，根据以下公式按照不同权重对该障碍物的候选框的类别置信度和重叠度进行加权融合：
mi＝αci+βui
其中，mi为对障碍物的第i个候选框的类别置信度和重叠度进行加权融合得到的加权融合值，α为类别置信度的权重，ci为障碍物的第i个候选框的类别置信度，β为重叠度的权重，ui为障碍物第i个候选框在目标图片中与标注边框之间的重叠度。
由于此时要进行正样本的回归定位，因此，一般情况下是增大重叠度的权重β，减小类别置信度的权重α，但α和β的和始终为1。示例性的，α可以为0.3，β可以为0.7。
在加权融合得到加权融合结果后，还需要根据加权融合的结果来判断该候选框是否为正样本，其中，根据加权融合的结果判断该候选框是否为正样本，可以包括：
判断加权融合得到的加权融合值是否大于预设阈值；
如果是，确定该候选框作为正样本；
如果否，确定该候选框不为正样本。
示例性的，可以一个一个的对各候选框进行判断是否为正样本，即当判断某一候选框对应的加权融合值不大于预设阈值，则过滤掉该候选框，然后继续对下一个候选框对应的加权融合值继续进行判断是否大于预设阈值。
示例性的，预设阈值可以为0.5。
当判断该候选框为正样本后，即可根据当前目标类型和所述正样本进行检测得到检测结果。
其中，根据当前目标类型和正样本进行检测得到检测结果，可以包括：
判断正样本的类别置信度是否大于预设置信度阈值；
如果是，对正样本进行两次回归定位，根据当前目标类型和进行两次回归定位后的正样本进行检测得到检测结果；
如果否，对正样本进行一次回归定位，根据当前目标类型和进行一次回归定位后的正样本进行检测得到检测结果。
如果正样本的类别置信度大于预设置信度阈值，说明该正样本在分类时对应的类别置信度较高，此时，可以对该正样本进行两次回归定位，然后根据当前目标类型和进行两次回归定位后的正样本进行检测得到检测结果。
由此，通过两次回归定位的方式提高了正样本和正样本对应的障碍物在目标图片中的标注边框之间的重叠度，进而提高了正样本的定位精度，进而提高了检测得到检测结果的精度。
如果正样本的类别置信度不大于预设置信度阈值，说明该正样本在分类时对应的类别置信度较低，此时，可以对该正样本进行一次回归定位，然后根据当前目标类型和进行一次回归定位后的正样本进行检测得到检测结果。
由于与视障人员有关的目标检测有很多种，因此，根据当前目标类型和正样本进行检测得到检测结果的方式也有多种，包括但不限于以下两种：
第一种：
当目标类型为预测障碍物位置时，根据当前目标类型和正样本进行检测得到检测结果，可以包括：
在当前目标类型为预测障碍物位置时，对正样本进行检测定位得到正样本对应的障碍物的位置。
由于视障人员在前进方向中可能遇到障碍物，因此，需要预测得到各障碍物的位置，所以，在当前目标类型为预测障碍物位置时，需要对正样本进行检测定位得到正样本对应的障碍物的位置。
由此，通过将障碍物的候选框的类别置信度和重叠度进行加权融合的方式，使得得到的正样本的类别置信度和重叠度均较高，提高了正样本的准确率，然后再根据准确率较高的正样本进行检测定位得到正样本对应的障碍物的位置，使得所得到的障碍物的位置的准确率较高，可以得到更加准确的障碍物的位置。
第二种：
当目标类型为预测视障人员穿行障碍物时，根据当前目标类型和正样本进行检测得到检测结果，可以包括：
在当前目标类型为预测视障人员穿行障碍物时，对正样本进行检测定位得到正样本对应的各个障碍物之间的相对距离；
预测每两个障碍物之间的相对距离；
当视障人员的穿行距离小于两个障碍物的相对距离时，确定视障人员可以穿行该两个障碍物之间。
当视障人员在前进方向中遇到障碍物时，还需要预测所遇到的两个障碍物之间的相对距离，用来判断视障人员是否可以从两个障碍物之间穿行过去而不会发生碰撞。第二种是在第一种得到障碍物位置后，进行障碍物相对距离的预测，默认是已有了障碍物位置的。
因此，在当前目标类型为预测视障人员穿行障碍物时，对正样本进行检测定位得到正样本对应的各个障碍物之间的相对距离。
由于障碍物可能有多个，因此，需要预测每两个障碍物之间的相对距离，具体的，预测每两个障碍物之间的相对距离，可以包括：
针对每两个障碍物，确定视障人员分别与该两个障碍物之间的第一距离和第二距离；
根据第一距离和第二距离计算视障人员与该两个障碍物之间的夹角；
根据第一距离、第二距离和夹角计算得到该两个障碍物之间的预测距离；
利用smooth L1损失函数和预测距离计算得到距离偏移值；
计算预测距离与距离偏移值之和作为该两个障碍物之间的相对距离。
其中，根据第一距离和第二距离计算视障人员与该两个障碍物之间的夹角可以为根据以下公式计算夹角：
Figure BDA0002758361390000121
其中，θ为视障人员与该两个障碍物之间的夹角，da为第一距离，db为第二距离。
其中，根据第一距离、第二距离和夹角计算得到该两个障碍物之间的预测距离可以为根据以下公式计算预测距离：
Figure BDA0002758361390000122
其中，dab为该两个障碍物之间的预测距离，θ为视障人员与该两个障碍物之间的夹角，da为第一距离，db为第二距离。
由于所得到的该两个障碍物之间的预测距离可能是存在偏差的，因此，为了得到较为准确的该两个障碍物之间的相对距离，需要计算该两个障碍物之间的距离偏移值。
具体的，利用smooth L1损失函数和预测距离计算得到距离偏移值可以为根据以下公式计算得到距离偏移值：
Figure BDA0002758361390000123
(其中
Figure BDA0002758361390000124
为dab的ground truth)
其中，dab为该两个障碍物之间的预测距离，d* ab为该两个障碍物之间的真实相对距离，L(dab，d* ab)为距离偏移值，smooth L1为smooth L1损失函数。
在计算得到距离偏移值后，计算预测距离与距离偏移值之和作为该两个障碍物之间的相对距离。
在得到相对距离后，需要判断视障人员的穿行距离与相对距离之间的大小关系，当视障人员的穿行距离小于两个障碍物的相对距离时，确定视障人员可以穿行该两个障碍物之间，示例性的，视障人员的穿行距离可以为视障人员的身体宽度。
由此，通过将障碍物的候选框的类别置信度和重叠度进行加权融合的方式，使得到的正样本的类别置信度和重叠度均较高，提高了正样本的准确率，然后再根据准确率较高的正样本进行预测每两个障碍物之间的相对距离，提高了相对距离预测的准确度，可以准确的判断出视障人员是否可以从两个障碍物之间穿行过去而不发生碰撞，避免了视障人员受伤。
以及，通过计算得到两个障碍物之间的距离偏移量的方式，可以得到更加准确的两个障碍物之间的相对距离，进一步可以得到更加准确的判断视障人员是否可以穿行两个障碍之间，避免视障人员与障碍物发生碰撞。
综上所述，在本方法中，先提取出目标图片中各障碍物的所有候选框，对各候选框进行分类计算出各候选框的类别置信度，再计算出各候选框在目标图片中与标注边框之间的重叠度，之后对障碍物的候选框的类别置信度和重叠度进行加权融合，根据加权融合的结果判断该候选框是否为正样本，如果是，根据当前目标类型和正样本进行检测得到检测结果。由于在本申请的技术方案中，通过将障碍物的候选框的类别置信度和重叠度进行加权融合的方式，使得到的正样本所对应的类别置信度和重叠度均较高，这提高了正样本的准确率，可以得到更加准确的目标检测的障碍物的位置，从而提高了目标检测的检测精度。
以及，由于现有的目标障碍检测筛选正样本的方法，使正样本在分类中的类别置信度和回归中的重叠度并不能对应一致，在进行非极大值抑制时会过滤掉一些置信度较低但重叠度高的正样本，从而降低目标障碍检测的精度。因此，本发明针对现有的目标障碍检测筛选正样本的方法进行改进，提出了一种新的目标障碍正样本的筛选方法，可以将正样本的分类和回归连接到一起，对分类中候选框的置信度和候选框与标注边框之间的重叠度进行不同的权重结合来作为筛选回归中的正样本的方法，通过这种方法使分类中置信度高的正样本在回归后所对应的重叠度也会很高，从而解决了在非极大值抑制时正样本的置信度和重叠度对应不一致的问题，可以保留下更多置信度高且重叠度也高的正样本。通过使正样本在分类和回归时对应一致，可以避免在非极大值抑制时正样本的置信度和重叠度对应不一致所导致的障碍物的位置检测精度低的问题，也就是能够提高障碍物位置的检测的精度，可以得到更加准确的障碍物的位置，从而也可以预测到更准确的两个障碍物之间的相对距离，能更加准确的判断视障人员是否能穿行两个障碍之间而不会发生碰撞。
为了方便理解，下面提供一个具体的实施例，参见图2，图2为本发明实施例提供的基于正样本筛选视障人员障碍物的目标检测方法的一种流程示意图，本发明实施例提供的基于正样本筛选视障人员障碍物的目标检测方法可以包括：
S201：先提取出目标图片中的各障碍物的所有候选框，对各候选框进行分类计算各候选框的类别置信度。
S202：再计算各候选框在目标图片中与标注边框之间的重叠度。
S203：对该障碍物的候选框的类别置信度和重叠度进行加权融合。
S204：判断加权融合得到的加权融合值是否大于预设阈值。
S205：如果是，确定该候选框作为正样本，判断正样本的类别置信度是否大于预设置信度阈值。
S206：如果大于，对正样本进行两次回归定位，根据当前目标类型和进行两次回归定位后的正样本进行检测得到检测结果；
S207：如果不大于，对正样本进行一次回归定位，根据当前目标类型和进行一次回归定位后的正样本进行检测得到检测结果。
在本实施例中，步骤S201-步骤S207可参见图1中的步骤S101-S102所描述的内容，在此不再赘述。
如图3所示，为本申请所述基于正样本筛选视障人员障碍物的目标检测装置的一个具体实施例。本实施例所述装置，即用于执行上述实施例所述方法的实体装置。其技术方案本质上与上述实施例一致，上述实施例中的相应描述同样适用于本实施例中。本实施例中所述装置包括：
提取模块301，用于提取出目标图片中的各障碍物的所有候选框，对各候选框进行分类计算出各候选框的类别置信度，再计算出各候选框在所述目标图片中与标注边框之间的重叠度。
检测模块302，对障碍物的候选框的类别置信度和重叠度进行加权融合，根据加权融合的结果判断该候选框是否为正样本，如果是，根据当前目标类型和正样本进行检测得到检测结果；
所述提取模块，包括：
类别置信度计算模块，用于：
Figure BDA0002758361390000151
其中，ci为第i个障碍物的候选框的类别置信度，ei为第i个障碍物的候选框所对应输出的指数值，ej为所有障碍物的候选框所对应输出的指数值，j为总输出的指数值的数量；
重叠度计算模块：
交集确定子模块，针对各候选框，确定该候选框在目标图片中与标注边框之间的交集；
并集确定子模块，用于确定该候选框在目标图片中与标注边框之间的并集；
计算子模块，用于计算所述交集与所述并集之商作为该候选框在目标图片中与标注边框之间的重叠度。
本实施例提供的装置先提取出目标图片中的各障碍物的所有候选框，对各候选框进行分类计算各候选框的类别置信度，再计算该障碍物的候选框在目标图片中与标注边框之间的重叠度，对该障碍物的候选框的类别置信度和重叠度进行加权融合，根据加权融合的结果判断该候选框是否为正样本，如果是，根据当前目标类型和正样本进行检测得到检测结果。由于在本申请的技术方案中，通过将障碍物的候选框的类别置信度和重叠度进行加权融合的方式，使得到的正样本的类别置信度和重叠度均较高，提高了正样本的准确率，可以得到更加准确的目标检测的障碍物的位置，从而提高了目标检测的检测精度。
在一种实现方式中，所述检测模块302，可以具体用于：
按照不同权重对障碍物的候选框的类别置信度和重叠度进行加权融合，其中，所述重叠度的权重大于所述类别置信度的权重，且两者之和为1。
在一种实现方式中，所述检测模块302，可以包括：
第一判断子模块，用于判断加权融合得到的加权融合值是否大于预设阈值，如果是，触发第一确定子模块，如果否，触发第二确定子模块；
所述第一确定子模块，用于确定该候选框作为正样本；
所述第二确定子模块，用于确定该候选框不为正样本。
在一种实现方式中，所述检测模块302，可以包括：
第二判断子模块，用于判断所述正样本的类别置信度是否大于预设置信度阈值，如果是，触发第一回归子模块，如果否，触发第二回归子模块；
所述第一回归子模块，用于对所述正样本进行两次回归定位，根据当前目标类型和进行两次回归定位后的正样本进行检测得到检测结果；
所述第二回归子模块，用于对所述正样本进行一次回归定位，根据当前目标类型和进行一次回归定位后的正样本进行检测得到检测结果。
在一种实现方式中，所述检测模块302，可以具体用于：
在当前目标类型为预测障碍物位置时，对所述正样本进行检测定位得到所述正样本对应的障碍物的位置。
在一种实现方式中，所述检测模块302，可以具体用于：
在当前目标类型为预测视障人员穿行障碍物时，对所述正样本进行检测定位得到所述正样本对应的各个障碍物之间的相对距离；
预测每两个障碍物之间的相对距离；
当视障人员的穿行距离小于两个障碍物的相对距离时，确定所述视障人员可以穿行该两个障碍物之间。
在一种实现方式中，所述预测子模块，可以包括：
距离计算单元，用于针对每两个障碍物，确定所述视障人员分别与该两个障碍物之间的第一距离和第二距离；
夹角计算单元，用于根据所述第一距离和所述第二距离计算所述视障人员与该两个障碍物之间的夹角；
预测距离计算单元，用于根据所述第一距离、所述第二距离和所述夹角计算得到该两个障碍物之间的预测距离；
距离偏移值计算单元，用于利用smooth L1损失函数和所述预测距离计算得到距离偏移值；
相对距离计算单元，用于计算所述预测距离与所述距离偏移值之和作为该两个障碍物之间的相对距离。
图4是本申请实施例提供的一种电子设备的结构示意图。在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放执行指令。具体地，执行指令即可被执行的计算机程序。存储器可以包括内存和非易失性存储器，并向处理器提供执行指令和数据。
在一种可能实现的方式中，处理器从非易失性存储器中读取对应的执行指令到内存中然后运行，也可从其它设备上获取相应的执行指令，以在逻辑层面上形成基于正样本筛选视障人员障碍物的目标检测装置。处理器执行存储器所存放的执行指令，以通过执行的执行指令实现本申请任一实施例中提供的基于正样本筛选视障人员障碍物的目标检测方法。
上述如本申请图1所示实施例提供的基于正样本筛选视障人员障碍物的目标检测方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
本申请实施例还提出了一种可读介质，该可读存储介质存储有执行指令，存储的执行指令被电子设备的处理器执行时，能够使该电子设备执行本申请任一实施例中提供的基于正样本筛选视障人员障碍物的目标检测方法。
前述各个实施例中所述的电子设备可以为计算机。
本领域内的技术人员应明白，本申请的实施例可提供为方法或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例，或软件和硬件相结合的形式。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种基于正样本筛选视障人员障碍物的目标检测方法，其特征在于，包括：
提取出目标图片中的各障碍物的所有候选框，对各候选框进行分类计算出各候选框的类别置信度，再计算出各候选框在目标图片中与标注边框之间的重叠度；之后对障碍物的候选框的类别置信度和重叠度进行加权融合，根据加权融合的结果判断该候选框是否为正样本，如果是，根据当前目标类型和正样本进行检测得到检测结果；
所述计算出各候选框的类别置信度的步骤，包括：
Figure DEST_PATH_IMAGE001
其中，ci为第i个障碍物的候选框的类别置信度，ei为第i个障碍物的候选框所对应输出的指数值，ej为所有障碍物的候选框所对应输出的指数值，j为总输出的指数值的数量，i属于j ；
所述计算出各候选框在目标图片中与标注边框之间的重叠度的步骤，包括：
针对各候选框，确定该候选框在目标图片中与标注边框之间的交集；
确定该候选框在目标图片中与标注边框之间的并集；
计算所述交集与所述并集之商作为该候选框在目标图片中与标注边框之间的重叠度；
所述根据当前目标类型和所述正样本进行检测得到检测结果的步骤，包括：
在当前目标类型为预测视障人员穿行障碍物时，对所述正样本进行检测定位得到所述正样本对应的各个障碍物之间的相对距离；
预测每两个障碍物之间的相对距离；
当视障人员的穿行距离小于两个障碍物的相对距离时，确定所述视障人员可以穿行该两个障碍物之间，所述穿行距离为视障人员的身体宽度。
2.根据权利要求1所述的方法，其特征在于，所述对障碍物的候选框的类别置信度和重叠度进行加权融合的步骤，包括：
按照不同权重对障碍物的候选框的类别置信度和重叠度进行加权融合，其中，所述重叠度的权重大于所述类别置信度的权重，且两者之和为1。
3.根据权利要求1所述的方法，其特征在于，所述根据加权融合的结果判断该候选框是否为正样本的步骤，包括：
判断加权融合得到的加权融合值是否大于预设阈值；
如果是，确定该候选框作为正样本；
如果否，确定该候选框不为正样本。
4.根据权利要求1所述的方法，其特征在于，所述根据当前目标类型和所述正样本进行检测得到检测结果的步骤，包括：
判断所述正样本的类别置信度是否大于预设置信度阈值；
如果是，对所述正样本进行两次回归定位，根据当前目标类型和进行两次回归定位后的正样本进行检测得到检测结果；
如果否，对所述正样本进行一次回归定位，根据当前目标类型和进行一次回归定位后的正样本进行检测得到检测结果。
5.根据权利要求1所述的方法，其特征在于，所述根据当前目标类型和所述正样本进行检测得到检测结果的步骤，包括：
在当前目标类型为预测障碍物位置时，对所述正样本进行检测定位得到所述正样本对应的障碍物的位置。
6.根据权利要求5所述的方法，其特征在于，所述预测每两个障碍物之间的相对距离的步骤，包括：
针对每两个障碍物，确定所述视障人员分别与该两个障碍物之间的第一距离和第二距离；
根据所述第一距离和所述第二距离计算所述视障人员与该两个障碍物之间的夹角；
根据所述第一距离、所述第二距离和所述夹角计算得到该两个障碍物之间的预测距离；
利用smooth L1损失函数和所述预测距离计算得到距离偏移值；
计算所述预测距离与所述距离偏移值之和作为该两个障碍物之间的相对距离。
7.一种基于正样本筛选视障人员障碍物的目标检测装置，其特征在于，包括：
提取模块，用于提取出目标图片中的各障碍物的所有候选框，对各候选框进行分类计算出各候选框的类别置信度，再计算出各候选框在所述目标图片中与标注边框之间的重叠度；检测模块，用于对障碍物的候选框的类别置信度和重叠度进行加权融合，根据加权融合的结果判断该候选框是否为正样本，如果是，根据当前目标类型和正样本进行检测得到检测结果；
所述提取模块，包括：
类别置信度计算模块，用于：
Figure 638540DEST_PATH_IMAGE001
其中，ci为第i个障碍物的候选框的类别置信度，ei为第i个障碍物的候选框所对应输出的指数值，ej为所有障碍物的候选框所对应输出的指数值，j为总输出的指数值的数量，i属于j ；
重叠度计算模块：
交集确定子模块，针对各候选框，确定该候选框在目标图片中与标注边框之间的交集；
并集确定子模块，用于确定该候选框在目标图片中与标注边框之间的并集；
计算子模块，用于计算所述交集与所述并集之商作为该候选框在目标图片中与标注边框之间的重叠度；
所述根据当前目标类型和所述正样本进行检测得到检测结果的步骤，包括：
在当前目标类型为预测视障人员穿行障碍物时，对所述正样本进行检测定位得到所述正样本对应的各个障碍物之间的相对距离；
预测每两个障碍物之间的相对距离；
当视障人员的穿行距离小于两个障碍物的相对距离时，确定所述视障人员可以穿行该两个障碍物之间，所述穿行距离为视障人员的身体宽度。
8.一种电子设备，其特征在于，包括：处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行权利要求1-6任一项所述的方法。
CN202011209569.0A 2020-11-03 2020-11-03 基于正样本筛选视障人员障碍物的目标检测方法及装置 Active CN112507787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011209569.0A CN112507787B (zh) 2020-11-03 2020-11-03 基于正样本筛选视障人员障碍物的目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011209569.0A CN112507787B (zh) 2020-11-03 2020-11-03 基于正样本筛选视障人员障碍物的目标检测方法及装置

Publications (2)

Publication Number Publication Date
CN112507787A CN112507787A (zh) 2021-03-16
CN112507787B true CN112507787B (zh) 2022-08-05

Family

ID=74955306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011209569.0A Active CN112507787B (zh) 2020-11-03 2020-11-03 基于正样本筛选视障人员障碍物的目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN112507787B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105147503A (zh) * 2015-07-30 2015-12-16 苏州玄禾物联网科技有限公司 基于超声相控阵的盲人用拐杖的提醒方法
CN106420285A (zh) * 2016-09-30 2017-02-22 深圳市镭神智能系统有限公司 一种手持导盲设备
CN109031306A (zh) * 2018-06-29 2018-12-18 合肥东恒锐电子科技有限公司 一种用于视障人群的导航方法及系统
CN110470307A (zh) * 2019-08-28 2019-11-19 中国科学院长春光学精密机械与物理研究所 一种视障患者导航系统和方法
CN110889421A (zh) * 2018-09-07 2020-03-17 杭州海康威视数字技术股份有限公司 目标物检测方法及装置
CN111461101A (zh) * 2020-04-20 2020-07-28 上海东普信息科技有限公司 工服标志的识别方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542361B (zh) * 2012-01-11 2016-03-02 中联重科股份有限公司 起重机吊装物路径规划方法
CN111179413B (zh) * 2019-12-19 2023-10-31 中建科技有限公司深圳分公司 三维重建方法、装置、终端设备及可读存储介质
CN110974641A (zh) * 2019-12-24 2020-04-10 中南民族大学 一种融合机器学习与物联网技术的盲人智能手杖系统
CN111368878B (zh) * 2020-02-14 2023-02-28 北京电子工程总体研究所 一种基于ssd目标检测的优化方法、计算机设备和介质
CN111583337B (zh) * 2020-04-25 2023-03-21 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105147503A (zh) * 2015-07-30 2015-12-16 苏州玄禾物联网科技有限公司 基于超声相控阵的盲人用拐杖的提醒方法
CN106420285A (zh) * 2016-09-30 2017-02-22 深圳市镭神智能系统有限公司 一种手持导盲设备
CN109031306A (zh) * 2018-06-29 2018-12-18 合肥东恒锐电子科技有限公司 一种用于视障人群的导航方法及系统
CN110889421A (zh) * 2018-09-07 2020-03-17 杭州海康威视数字技术股份有限公司 目标物检测方法及装置
CN110470307A (zh) * 2019-08-28 2019-11-19 中国科学院长春光学精密机械与物理研究所 一种视障患者导航系统和方法
CN111461101A (zh) * 2020-04-20 2020-07-28 上海东普信息科技有限公司 工服标志的识别方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MICRO CONTROLLED AND DIRECTED ALARM SYSTEM FOR BLIND PERSON;Dr. RASHID A. FAYADH;《Journal of Theoretical and Applied Information Technology》;20171130;第95卷(第22期);第6032-6041页 *
多模块智能语音导盲杖;张东方 等;《福建电脑》;20181231(第7期);第48-49页 *
面向视障人群的障碍物位置与距离的视觉测量方法;任慧娟 等;《轻工机械》;20200630;第38卷(第3期);第65-68页 *

Also Published As

Publication number Publication date
CN112507787A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN109784391B (zh) 基于多模型的样本标注方法及装置
CN109816701B (zh) 一种目标跟踪方法及装置、存储介质
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN111709975B (zh) 多目标跟踪方法、装置、电子设备及存储介质
CN110866428B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN110598764A (zh) 目标检测模型的训练方法、装置及电子设备
CN111626189B (zh) 一种路面异常检测方法、装置、电子设备及存储介质
CN110688883A (zh) 车辆和行人检测方法及装置
CN111523558A (zh) 一种基于电子围网的船只遮挡检测方法、装置及电子设备
CN116205948A (zh) 车辆跟踪匹配方法、装置、电子设备和存储介质
CN112507787B (zh) 基于正样本筛选视障人员障碍物的目标检测方法及装置
CN114239761B (zh) 一种目标检测模型训练方法和装置
CN112465193A (zh) 多传感器数据融合的参数优化方法及装置
CN112200116A (zh) 一种道路边界检测方法及装置
CN112633151A (zh) 一种确定监控图像中斑马线的方法、装置、设备及介质
CN116740145A (zh) 一种多目标跟踪方法、装置、车辆及存储介质
US20220327723A1 (en) Height determining method and apparatus
CN111488776A (zh) 对象检测方法、对象检测装置和电子设备
CN108615025B (zh) 家居环境下门识别定位方法、系统以及机器人
CN113111872B (zh) 图像识别模型的训练方法、装置及电子设备、存储介质
CN115713726A (zh) 行人翻越交通护栏的检测方法、装置、设备和介质
CN112148817A (zh) 一种基于全景图的slam优化方法、装置和系统
CN113870754B (zh) 一种面板检测电子信号缺陷判定的方法和系统
CN112614168B (zh) 一种目标人脸跟踪方法、装置、电子设备及存储介质
CN111161225B (zh) 一种图像差异检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant