CN117290805A - 多识别设备的信息处理方法、控制装置及存储介质 - Google Patents
多识别设备的信息处理方法、控制装置及存储介质 Download PDFInfo
- Publication number
- CN117290805A CN117290805A CN202311205279.2A CN202311205279A CN117290805A CN 117290805 A CN117290805 A CN 117290805A CN 202311205279 A CN202311205279 A CN 202311205279A CN 117290805 A CN117290805 A CN 117290805A
- Authority
- CN
- China
- Prior art keywords
- target
- target data
- obtaining
- data
- trust
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 28
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明涉及多识别设备的信息处理方法、控制装置及存储介质。所述方法包括:获取各个设备对应收集的第一目标数据,其中第一目标数据中至少包括一个对应设备检测到的目标的数据;基于所述第一目标数据得到目标检测结果;基于所述第一目标数据以及各个设备的检测特性得到检测的信任度;基于各个设备的目标检测结果以及信任度进行信任度融合,得到置信度;基于置信度选择性的获得基于第一目标数据融合后的第二目标数据。在实施本发明的技术方案中,有效地解决了不同传感器因固有工作原理和特性产生的识别结果冲突问题。通过这种多传感器的信任度融合策略,无人设备能够更准确地判断和识别目标,大幅提高了目标识别的准确性和鲁棒性。
Description
技术领域
本发明涉及自动识别领域,具体提供一种多识别设备的信息处理方法、控制装置及存储介质。
背景技术
随着无人设备的大量使用,对于识别的准确性要求越来越高。
目前的无人设备进行识别中,不同类型的传感器由于其固有的工作原理和特性,很有可能会对同一目标给出不同的检测结果。这导致在无人设备等应用中,不同传感器的结果可能会相互冲突,使设备不能做出最合适的判断。
相应地,本领域需要一种新的识别方案来解决上述问题。
发明内容
为了克服上述缺陷,提出了本发明,以提供解决或至少部分地解决现有技术中的多传感器结果可能会相互冲突,使设备不能作出判断的技术问题。
在第一方面,本发明提供多识别设备的信息处理方法,其中所述方法包括:获取各个设备对应收集的第一目标数据,其中第一目标数据中至少包括一个对应设备检测到的目标的数据;基于所述第一目标数据得到目标检测结果;基于所述第一目标数据以及各个设备的检测特性得到检测的信任度;基于各个设备的目标检测结果以及信任度进行信任度融合,得到置信度;基于置信度选择性的获得基于第一目标数据融合后的第二目标数据。
作为以上方案的替代或补充,在根据本发明一实施例的方法中,所述识别设备包括毫米波雷达、激光雷达以及摄像装置,所述第一目标数据包括:对应所述毫米波雷达收集的第三目标数据、对应所述激光雷达收集的第四目标数据以及对应所述摄像装置收集的第五目标数据,所述“基于所述第一目标数据得到目标检测结果”包括:基于所述第三目标数据以及所述第四目标数据,得到对应两设备的所识别到目标的第一目标匹配结果;基于第三目标数据以及第五目标数据,得到对应两设备的所识别到目标的第二目标匹配结果;基于第四目标数据以及第五目标数据,得到对应两设备的所识别到目标的第三目标匹配结果;基于第一目标匹配结果、第二目标匹配结果及第三目标匹配结果,得到各个设备对应检测到的目标的目标检测结果。
作为以上方案的替代或补充,在根据本发明一实施例的方法中,其中第三目标数据以及第四目标数据为三维目标数据,所述第五目标数据为二维目标数据,所述方法还包括:对第三目标数据以及第四目标数据进行坐标转换,得到对应的第三二维目标数据以及第四二维目标数据;“基于第三目标数据以及第五目标数据,得到对应两设备的所识别到目标的第二目标匹配结果”,包括:基于第三二维目标数据以及第五目标数据,得到对应两设备的所识别到目标的第二目标匹配结果;“基于第四目标数据以及第五目标数据,得到对应两设备的所识别到目标的第三目标匹配结果”,包括:基于第四二维目标数据以及第五目标数据,得到对应两设备的所识别到目标的第三目标匹配结果。
作为以上方案的替代或补充,在根据本发明一实施例的方法中,其中所述信任度包括对应于毫米波雷达设置的第一信任度及对应激光雷达设置的第二信任度,“基于所述第一目标数据以及各个设备的检测特性得到检测的信任度”包括以下步骤:基于第三目标数据获取第一目标距离以及第一目标尺寸;基于所述第一目标距离以及第一目标尺寸,得到第一目标距离权重以及第一目标尺寸权重;获取第一目标距离阈值以及基于第一目标尺寸获取第一目标尺寸阈值;基于第一目标距离、第一目标尺寸、第一目标距离权重、第一目标尺寸权重、第一目标距离阈值以及第一目标尺寸阈值,得到毫米波雷达所述对于所述目标的第一信任度;基于第四目标数据获取第二目标距离以及第二目标尺寸;基于所述第二目标距离以及第二目标尺寸,得到第二目标距离权重以及第二目标尺寸权重;获取第二目标尺寸阈值以及基于第二目标距离获取的目标距离衰减因子;基于第二目标距离、第二目标尺寸、第二目标距离权重、第二目标尺寸权重、第二目标尺寸阈值以及目标距离衰减因子,得到激光雷达所述对于所述目标的第二信任度。
作为以上方案的替代或补充,在根据本发明一实施例的方法中,“基于所述第一目标数据以及各个设备的检测特性得到对应设备的信任度”还包括:基于目标检测结果选择性的对未检测到目标的设备针对此目标的信任度进行赋值。
作为以上方案的替代或补充,在根据本发明一实施例的方法中,“基于目标检测结果选择性的对未检测到目标的设备针对此目标的信任度进行赋值”包括:基于目标检测结果筛选出设备之间对于同一目标的检测结果不一致的目标;对于检测结果不一致的目标,获取其未检测到该目标的第一设备;将相应于此设备预设的最小信任度作为第一设备对于该目标的信任度。
作为以上方案的替代或补充,在根据本发明一实施例的方法中,“基于各个设备的目标检测结果以及信任度进行信任度融合,得到置信度”,包括:基于Dempster组合规则对各个设备的信任度进行融合,得到置信度。
作为以上方案的替代或补充,在根据本发明一实施例的方法中,“基于置信度选择性的获得基于第一目标数据融合后的第二目标数据”包括:若所述置信度高于预设阈值,则将第三目标数据以及第四目标数据得到第二目标数据。
在第二方面,提供一种控制装置,该控制装置包括处理器和存储装置,所述存储装置适于存储多条计算机程序,所述计算机程序适于由所述处理器加载并运行以执行上述多识别设备的信息处理方法的技术方案中任一项技术方案所述的多识别设备的信息处理方法。
在第三方面,提供一种计算机可读存储介质,该计算机可读存储介质其中存储有多条计算机程序,所述计算机程序适于由处理器加载并运行以执行上述多识别设备的信息处理方法的技术方案中任一项技术方案所述的多识别设备的信息处理方法。
本发明上述一个或多个技术方案,至少具有如下一种或多种
有益效果:
在实施本发明的技术方案中,通过采集并整合多个设备的第一目标数据,结合设备的检测特性计算信任度,并进一步融合各个设备的信任度得到最终的置信度,本方案有效地解决了不同传感器因固有工作原理和特性产生的识别结果冲突问题。通过这种多传感器的信任度融合策略,无人设备能够更准确地判断和识别目标,大幅提高了目标识别的准确性和鲁棒性。此外,该技术还有助于降低因单一传感器误判或漏检导致的决策风险,从而确保无人设备在复杂环境中的安全和高效操作。
附图说明
参照附图,本发明的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本发明的保护范围组成限制。此外,图中类似的数字用以表示类似的部件,其中:
图1是根据本发明的一个实施例的多识别设备的信息处理方法的主要步骤流程示意图;
图2是根据本发明的一个实施例的多识别设备的信息处理方法的次要步骤流程示意图;
图3是根据本发明的一个实施例的多识别设备的信息处理方法的次要步骤流程示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
在本发明的描述中,“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路,各种合适的感应器,通信端口,存储器,也可以包括软件部分,比如计算机程序,也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储计算机程序的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似,可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
这里先解释本发明涉及的一些术语。
DS证据理论:即Dempster-Shafer证据理论,是一种处理不确定和不完整信息的数学理论。它提供了一个框架,允许数据来源之间存在不确定性和冲突,并为合并来自不同来源的信息提供了工具和方法。
Dempster组合规则:Dempster组合规则是一种在DS证据理论中用于合并两个或多个来源的信息或证据的方法。它通过考虑两个证据之间的冲突并加权组合它们的信任度,从而得到一个综合的信任度。该规则特别适用于处理来源间存在不一致或冲突的情况。
实施例1:
参阅附图1,图1是根据本发明的一个实施例的多识别设备的信息处理方法的主要步骤流程示意图。如图1所示,本发明实施例中的多识别设备的信息处理方法主要包括下列步骤S10-步骤S50。
步骤S10:获取各个设备对应收集的第一目标数据。
在本实施例中,第一目标数据中至少包括一个对应设备检测到的目标的数据。
一个实施方式中,获取各个设备对应收集的第一目标数据在于确保从多个数据来源获取综合性的信息。在现实的检测和识别场景中,由于各种设备的物理原理和工作机制的不同,每种设备都可能对某些特定类型的目标有其独特的识别优势和限制。
例如,毫米波雷达具有良好的穿透能力,可以在恶劣的天气条件下工作,如雾、雨或雪中;而激光雷达(LiDAR)可以提供高分辨率的三维信息,但可能受到某些天气条件的影响。摄像装置则可以捕捉到目标的颜色、形状和纹理等细节信息,但在低光或遮挡的情况下可能效果不佳。多个设备的联合使用可以充分发挥各自的优势,弥补各自的不足,从而实现更准确、全面的目标检测和识别。
优选的,一个实施方式中,在识别系统中,采用了三种主要的设备:毫米波雷达、激光雷达和摄像装置来捕捉并收集目标数据。
在本实施方式中,第一目标数据包括:第三目标数据、第四目标数据以及第五目标数据。其中毫米波雷达所收集到的数据被称为第三目标数据,激光雷达获取的则被命名为第四目标数据。这两种数据均为三维形式,能够提供一些目标信息,在本实施方式中目标信息包括毫米波雷达提供的第一目标距离dR(i),第一目标方位aR(i),第一目标长度lR(i),第一目标宽度wR(i)与激光雷达提供的第二目标距离dL(j),第二目标方位aL(j),第二目标长度lL(j),第二目标宽度wL(j),第二目标高度hL(j)等信息。这样的三维数据对于更加准确地定位和识别目标至关重要,尤其在需要深度感知的复杂环境中。
与此同时,摄像装置提供了第五目标数据,这是一种二维目标数据。尽管它不携带深度信息,但能够捕获目标的颜色、纹理和轮廓等详细特征。这些特征在与三维数据结合时,可以增强目标识别的准确性,尤其是在颜色和纹理变化丰富的场景中。
综上,通过这三种设备综合获取的数据,我能够更全面、详尽地理解和解析目标的特性,从而为后续的分析和判断提供坚实的数据基础。
步骤S20:基于第一目标数据得到目标检测结果。
在本实施例中,目标检测结果是对于设备所识别目标结果的整理和对比。在本实施例中,在同一时刻,通过毫米波雷达会检测到m个目标,通过激光雷达会检测到n个目标,通过摄像装置会检测到v个目标(m、n、v均是自然数),其中目标检测结果则是各种设备之间对于目标的匹配结果。
一个实施方式中,通过步骤S201-S204得到目标检测结果,如图2所示。
步骤S201:基于第三目标数据以及第四目标数据,得到对应两设备的所识别到目标的第一目标匹配结果。
在本实施例中,对于毫米波雷达和激光雷达所收集到的数据进行初步的分析与匹配。
一个实施方式中,通过式3-1计算目标差异度,目标差异度越小,则说明这两个目标是属于同一个障碍物的可能性越大。
式3-1:
其中dif(ij)为目标差异度,其中i=1,...,m,j=1,...n分别表示两设备对于识别目标的标记;ωd,ωa,ωs和μd,μa,μs分别为两设备的目标距离、目标方位及尺寸差异度的权重系数和误差阈值。其中角标d表示目标距离,角标a表示目标方位,角标s表示尺寸差异度。
当其差异大于设置的阈值η时,则将该判定因素的差异度置1,最后得到目标差异度矩阵DRL和相似度矩阵SRL。
为了确定哪些目标之间的相似度最高,从而可能代表同一障碍物,优选的,一个实施方式中,使用匈牙利算法。在成本最小化的前提下,为任务和资源之间建立最佳匹配。在本实施方式中,它用于为第三目标数据和第四目标数据之间的目标建立最佳匹配。
应用匈牙利算法后,可以得到三个主要结果:成功匹配的目标列表、仅在毫米波雷达中检测到但未与激光雷达匹配的目标列表,以及仅在激光雷达中检测到但未与毫米波雷达匹配的目标列表。这三个列表为后续步骤提供了宝贵的输入信息,从而使整个目标匹配和识别过程更为准确和高效。
假设在给定的时间实例中,毫米波雷达检测到目标A、B和C,而激光雷达检测到目标X、Y和Z。在计算差异度并应用匈牙利算法后,得出以下匹配结果:
A与X匹配;
B与Z匹配;
C无匹配;
Y无匹配。
这意味着目标A与X以及目标B与Z被认为是同一物体的两种不同表示。而目标C和Y在这个时间实例中没有与任何其他目标匹配,这可能是由于一些原因,如检测误差、遮挡或设备的特定盲区。
步骤S202:基于第三目标数据以及第五目标数据,得到对应两设备的所识别到目标的第二目标匹配结果。
一个实施方式中,首先将三维的第三目标数据转换为二维,使其与摄像装置的数据在相同的坐标系中进行比较。优选的,一个实施方式中,通过对第三目标数据进行透视投影,从而得到其在摄像装置平面上的二维表示,即第三二维目标数据。
之后使用广义交并比(GIoU)这一目标匹配方法进行对比。GIoU是计算两个矩形框交集与并集的比率的方法,但它也考虑到了同时包含这两个矩形框的最小闭合矩形,提供了更为全面的目标重叠评估。
广义交并比GIoU的示意图揭示了如何比较雷达投影到图像中的目标区域与摄像头目标区域。在数学上,GIoU是通过以下公式计算的:
其中,A和B分别代表雷达投影到图像中的目标区域与摄像头目标区域,A∩B是它们的交集,A∪B是它们的并集,而Ac是同时包含A和B的最小矩形面积。
利用GIoU计算的结果,可以确定两设备所识别的目标之间的匹配度。
步骤S203:基于第四目标数据以及第五目标数据,得到对应两设备的所识别到目标的第三目标匹配结果。
一个实施方式中,本步骤与步骤S202相似,其中也需要将第四目标数据进行坐标转换,生成第四二维目标数据,之后基于第四二维目标数据以及第五目标数据,得到对应两设备的所识别到目标的第三目标匹配结果。同样使用GIoU计算,此处不再赘述。
步骤S204:基于第一目标匹配结果、第二目标匹配结果及第三目标匹配结果,得到各个设备对应检测到的目标的目标检测结果。
在本实施例中,综合前述步骤中的匹配结果,以形成对各个设备检测到的目标的全面目标检测结果。
一个实施方式中,将目标分为三个类别:三传感器均成功匹配的目标、只有两传感器成功匹配的目标和仅由单一传感器检测到的目标。
步骤S30:基于第一目标数据以及各个设备的检测特性得到检测的信任度。
在本实施例中,信任度包括对应于毫米波雷达设置的第一信任度、对应激光雷达设置的第二信任度以及对应摄像装置设置的第三信任度。信任度是指在识别目标的过程中,对于识别结果的识别准确度。
一个实施方式中,通过步骤S301-S303获得检测的信任度,如图3所示。
步骤S301:基于第三目标数据以及毫米波雷达的检测特性,得到第一信任度。
在本实施例中,毫米波雷达的检测特性包括第一目标距离阈值第一目标尺寸阈值/>第一目标距离权重/>以及第一目标尺寸权重/>其中这些参数反映出毫米波雷达距离越远或目标越小时,检测准确度降低的特点。
一个实施方式中,基于第三目标数据获取第一目标距离以及第一目标尺寸。之后基于第一目标距离以及第一目标尺寸,得到第一目标距离权重以及第一目标尺寸权重。考虑到距离和尺寸的不同重要性。通常,近距离的目标的识别被认为是更加准确的。因此,在本实施方式中,第一目标距离权重随着距离的增加而减小。而目标的尺寸可能会影响其被检测的概率,大型目标更容易被检测到,因此第一目标尺寸权重可以根据目标的尺寸设定。
再之后,获取第一目标距离阈值以及基于第一目标尺寸获取第一目标尺寸阈值。其中第一目标距离阈值以及第一目标尺寸和第一目标尺寸阈值之间的关系如下:
基于第一目标距离、第一目标尺寸、第一目标距离权重、第一目标尺寸权重、第一目标距离阈值以及第一目标尺寸阈值,得到毫米波雷达对于目标的第一信任度。
在本实施方式中,通过下述公式进行信任度的相关计算,
其中SR为第一信任度。lR为第一目标尺寸,dR为第一目标距离。
步骤S302:基于第四目标数据以及激光雷达的检测特性,得到第二信任度。
在本实施例中,激光雷达的检测特性包括第二目标尺寸阈值目标距离衰减因子α,第二目标距离权重/>以及第二目标尺寸权重/>
一个实施方式中,基于第四目标数据获取第二目标距离以及第二目标尺寸。之后基于第二目标距离以及第二目标尺寸,得到第二目标距离权重以及第二目标尺寸权重。
获取第二目标尺寸阈值以及基于第二目标距离获取的目标距离衰减因子。在距离小于60米时,由于激光雷达的检测准确性较高,所赋予的权重较大。但当目标距离超过60米时,权重将根据目标距离衰减因子逐渐减小。具体如下:
基于第二目标距离、第二目标尺寸、第二目标距离权重、第二目标尺寸权重、第二目标尺寸阈值以及目标距离衰减因子,得到激光雷达对于目标的第二信任度。
在本实施方式中,通过下述公式进行计算:
步骤S303:基于第五目标数据以及摄像装置检测特性,得到第三信任度。
一个实施方式中,使用图像处理技术,如边缘检测、区域生长和深度学习等,提取目标的关键特征,例如轮廓、纹理、颜色和运动特性。
之后通过摄像头的内参、外参和其它标定信息,结合图像中的目标特征,使用三角法或基于单目深度估计技术来计算目标的尺寸和距离。
基于摄像装置的检测特性,确定信任度的权重。例如,在良好的光线条件下,颜色和纹理特征的权重可能会增加,而在低光条件下,运动特性和轮廓可能更为关键。结合目标特征、摄像装置的特性和确定的权重,计算第三信任度。信任度反映了摄像装置对于当前目标识别结果的可信度。
除上述步骤之外,还包括步骤S304对未检测到目标的传感器进行信任度赋值,具体如下:
步骤S304:基于目标检测结果选择性的对未检测到目标的设备对此目标的信任度进行赋值。
一个实施方式中,在目标检测的实际应用中,由于各种原因,如环境噪声、遮挡、设备性能限制等,传感器可能会漏检某些目标。首先,通过对目标检测结果进行分析,确定哪些传感器未检测到特定的目标。
根据各传感器的物理特性和实测数据,可以预先设定每个传感器的最小检测信任度。例如,激光雷达在特定情况下可能受到天气的影响而导致漏检;摄像头在低光或遮挡情况下可能漏检目标。针对这些情况,为每个传感器设定一个最小信任度。
在本实施方式中,通过下述步骤来进行赋值,具体的是:
基于目标检测结果筛选出设备之间对于同一目标的检测结果不一致的目标。即在多设备协同工作的目标检测系统中,设备间对同一目标的检测结果可能存在差异。初步对每个设备输出的目标检测结果进行对比,筛选出那些在某些设备中被检测到,而在其他设备中未被检测到的目标。
之后对于检测结果不一致的目标,获取其未检测到该目标的第一设备。在已知的不一致目标列表中,进一步识别那些未检测到特定目标的设备。这些设备在目标检测中可能出现了漏检或误判。
将相应于此设备预设的最小信任度作为第一设备对于该目标的信任度。对于标识的设备,获取其预设的最小信任度。这个预设的信任度通常基于设备的检测性能、实际场景测试或历史数据得出。
在本实施方式中,给出具体的最小信任度的赋值,可见在本实施方式中,最小信任度与目标距离和目标尺寸均有关系
将预设的最小信任度赋给相应设备对应的目标。这样,即使该设备未能成功检测到目标,系统仍然对其检测结果持有最低程度的信任,确保在整体的决策过程中不会完全忽略这部分数据。
在本实施例中,这一策略有助于增强系统的鲁棒性,确保即使单个设备发生故障或误判,也不会导致整体决策的偏差过大。
步骤S40:基于各个设备的目标检测结果以及信任度进行信任度融合,得到置信度。
在本实施例中,通过DS证据理论进行信任度的融合。
一个实施方式中,首先,确定一个识别框架Θ,它包含所有可能的目标状态。在DS证据理论中,令Θ为识别框架,Θ是一个非空的有限集合,如果存在从到上的一个映射函数,且满足以下条件:
则此时称为识别框架Θ上的基本概率赋值或者mass函数对每个设备,计算其基于其信任度的基本概率赋值函数。对于,A∈2Θ,m(A)称为命题A的基本信任度或mass值,表示证据支持命题A为真的信任程度。在本实施方式中,基于Dempster组合规则对各个设备的信任度进行融合,得到置信度。
设识别框架Θ下三个证据的基本概率赋值函数分别为m1,m2,对于Dempster组合规则可以表示为:
其中冲突系数K代表了两个证据之间的不一致程度。数值越小,表示证据间的冲突越小。
使用DS证据理论进行多传感器的信任度融合能够有效地处理信息不完整和不确定性的问题,提供了一个比单一传感器更可靠和准确的置信度。
例如,经过目标匹配过程,显示某目标物仅被激光雷达与视觉系统检测到,此时证据理论融合过程如下:
其中冲突系数K的计算为:
置信度的计算为:
步骤S50:基于置信度选择性的获得基于第一目标数据融合后的第二目标数据。
一个实施方式中,若置信度高于预设阈值,则将第三目标数据以及第四目标数据得到第二目标数据。具体的是,基于证据理论得到的置信度与预设的阈值进行对比。
如果置信度高于预设阈值,系统则进入目标数据融合阶段。此时,利用第三目标数据与第四目标数据来得到第二目标数据。这是基于认为当两种不同的传感器都检测到相同的目标时,该目标的存在性大大增加。此处由于只有毫米波雷达以及激光雷达才会计算出物体运动信息,所以使用这两组数据进行融合。
其中融合公式如下:
F(d,a,l,w)表示融合之后的目标距离、目标方位和目标尺寸信息。R(d,a,l,w)和L(d,a,l,w)分别表示毫米波雷达和激光雷达的目标距离、目标方位和目标尺寸信息。
此处详述一下进行数据融合的作用。单一传感器均具有其固有的限制和盲点,例如毫米波雷达在恶劣天气条件下(如雾、雨、雪)可能比摄像头或激光雷达更加可靠,但它可能在识别某些小物体或非金属物体时不如激光雷达准确。通过将多个传感器的数据融合,如此可以利用每个传感器的优点,同时减少或消除它们的缺陷。数据融合提供了一个更完整、更准确的目标视图,从而提高了对目标存在性和属性(如位置、速度、尺寸)的信心。
以无人设备为例,当无人设备依赖于单一传感器进行决策时,任何传感器的误判都可能导致错误的决策,这在某些情况下可能是灾难性的。通过融合来自多个传感器的数据,可以更准确地确定目标的真实状态,并相应地作出决策。
需要指出的是,尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述,但是本领域技术人员可以理解,为了实现本发明的效果,不同的步骤之间并非必须按照这样的顺序执行,其可以同时(并行)执行或以其他顺序执行,这些变化都在本发明的保护范围之内。
本领域技术人员能够理解的是,本发明实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序包括计算机程序,计算机程序可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
进一步,本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中,控制装置包括处理器和存储装置,存储装置可以被配置成存储执行上述方法实施例的多识别设备的信息处理方法的程序,处理器可以被配置成用于执行存储装置中的程序,该程序包括但不限于执行上述方法实施例的多识别设备的信息处理方法的程序。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该控制装置可以是包括各种电子设备形成的控制装置设备。
进一步,本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的多识别设备的信息处理方法的程序,该程序可以由处理器加载并运行以实现上述多识别设备的信息处理方法。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步,应该理解的是,由于各个模块的设定仅仅是为了说明本发明的装置的功能单元,这些模块对应的物理器件可以是处理器本身,或者处理器中软件的一部分,硬件的一部分,或者软件和硬件结合的一部分。因此,图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是,可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并不会导致技术方案偏离本发明的原理,因此,拆分或合并之后的技术方案都将落入本发明的保护范围内。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种多识别设备的信息处理方法,其特征在于,包括:
获取各个设备对应收集的第一目标数据,其中第一目标数据中至少包括一个对应设备检测到的目标的数据;
基于所述第一目标数据得到目标检测结果;
基于所述第一目标数据以及各个设备的检测特性得到检测的信任度;
基于各个设备的目标检测结果以及信任度进行信任度融合,得到置信度;
基于置信度选择性的获得基于第一目标数据融合后的第二目标数据。
2.根据权利要求1所述的多识别设备的信息处理方法,其特征在于,所述识别设备包括毫米波雷达、激光雷达以及摄像装置,所述第一目标数据包括:对应所述毫米波雷达收集的第三目标数据、对应所述激光雷达收集的第四目标数据以及对应所述摄像装置收集的第五目标数据,所述“基于所述第一目标数据得到目标检测结果”包括:
基于所述第三目标数据以及所述第四目标数据,得到对应两设备的所识别到目标的第一目标匹配结果;
基于第三目标数据以及第五目标数据,得到对应两设备的所识别到目标的第二目标匹配结果;
基于第四目标数据以及第五目标数据,得到对应两设备的所识别到目标的第三目标匹配结果;
基于第一目标匹配结果、第二目标匹配结果及第三目标匹配结果,得到各个设备对应检测到的目标的目标检测结果。
3.根据权利要求2所述的多识别设备的信息处理方法,其特征在于,其中第三目标数据以及第四目标数据为三维目标数据,所述第五目标数据为二维目标数据,所述方法还包括:
对第三目标数据以及第四目标数据进行坐标转换,得到对应的第三二维目标数据以及第四二维目标数据;
“基于第三目标数据以及第五目标数据,得到对应两设备的所识别到目标的第二目标匹配结果”,包括:
基于第三二维目标数据以及第五目标数据,得到对应两设备的所识别到目标的第二目标匹配结果;
“基于第四目标数据以及第五目标数据,得到对应两设备的所识别到目标的第三目标匹配结果”,包括:
基于第四二维目标数据以及第五目标数据,得到对应两设备的所识别到目标的第三目标匹配结果。
4.根据权利要求3所述的多识别设备的信息处理方法,其特征在于,其中所述信任度包括对应于毫米波雷达设置的第一信任度及对应激光雷达设置的第二信任度,“基于所述第一目标数据以及各个设备的检测特性得到检测的信任度”包括以下步骤:
基于第三目标数据获取第一目标距离以及第一目标尺寸;
基于所述第一目标距离以及第一目标尺寸,得到第一目标距离权重以及第一目标尺寸权重;
获取第一目标距离阈值以及基于第一目标尺寸获取第一目标尺寸阈值;
基于第一目标距离、第一目标尺寸、第一目标距离权重、第一目标尺寸权重、第一目标距离阈值以及第一目标尺寸阈值,得到毫米波雷达所述对于所述目标的第一信任度;
基于第四目标数据获取第二目标距离以及第二目标尺寸;
基于所述第二目标距离以及第二目标尺寸,得到第二目标距离权重以及第二目标尺寸权重;
获取第二目标尺寸阈值以及基于第二目标距离获取的目标距离衰减因子;
基于第二目标距离、第二目标尺寸、第二目标距离权重、第二目标尺寸权重、第二目标尺寸阈值以及目标距离衰减因子,得到激光雷达所述对于所述目标的第二信任度。
5.根据权利要求4所述的多识别设备的信息处理方法,其特征在于,“基于所述第一目标数据以及各个设备的检测特性得到对应设备的信任度”还包括:
基于目标检测结果选择性的对未检测到目标的设备对此目标的信任度进行赋值。
6.根据权利要求5所述的多识别设备的信息处理方法,其特征在于,“基于目标检测结果选择性的对未检测到目标的设备针对此目标的信任度进行赋值”包括:
基于目标检测结果筛选出设备之间对于同一目标的检测结果不一致的目标;
对于检测结果不一致的目标,获取其未检测到该目标的第一设备;
将相应于此设备预设的最小信任度作为第一设备对于该目标的信任度。
7.根据权利要求2所述的多识别设备的信息处理方法,其特征在于,“基于各个设备的目标检测结果以及信任度进行信任度融合,得到置信度”,包括:
基于Dempster组合规则对各个设备的信任度进行融合,得到置信度。
8.根据权利要求1-7中任意一项所述的多识别设备的信息处理方法,其特征在于,“基于置信度选择性的获得基于第一目标数据融合后的第二目标数据”包括:
若所述置信度高于预设阈值,则将第三目标数据以及第四目标数据得到第二目标数据。
9.一种控制装置,包括处理器和存储装置,所述存储装置适于存储多条计算机程序,其特征在于,所述计算机程序适于由所述处理器加载并运行以执行权利要求1至8中任一项所述的多识别设备的信息处理方法。
10.一种计算机可读存储介质,其中存储有多条计算机程序,其特征在于,所述计算机程序适于由处理器加载并运行以执行权利要求1至8中任一项所述的多识别设备的信息处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311205279.2A CN117290805A (zh) | 2023-09-18 | 2023-09-18 | 多识别设备的信息处理方法、控制装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311205279.2A CN117290805A (zh) | 2023-09-18 | 2023-09-18 | 多识别设备的信息处理方法、控制装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117290805A true CN117290805A (zh) | 2023-12-26 |
Family
ID=89258105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311205279.2A Pending CN117290805A (zh) | 2023-09-18 | 2023-09-18 | 多识别设备的信息处理方法、控制装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117290805A (zh) |
-
2023
- 2023-09-18 CN CN202311205279.2A patent/CN117290805A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111222395B (zh) | 目标检测方法、装置与电子设备 | |
US11823429B2 (en) | Method, system and device for difference automatic calibration in cross modal target detection | |
CN111444921A (zh) | 划痕缺陷检测方法、装置、计算设备和存储介质 | |
CN110807350A (zh) | 用于面向扫描匹配的视觉slam的系统和方法 | |
US8406535B2 (en) | Invariant visual scene and object recognition | |
CN110599489A (zh) | 一种目标空间定位方法 | |
CN114782499A (zh) | 一种基于光流和视图几何约束的图像静态区域提取方法及装置 | |
Zelener et al. | Cnn-based object segmentation in urban lidar with missing points | |
CN114972968A (zh) | 基于多重神经网络的托盘识别和位姿估计方法 | |
CN107274446B (zh) | 一种利用法向一致性的尖锐几何边缘点识别方法 | |
KR20110021500A (ko) | 이동객체의 실시간 추적과 거리 측정 방법 및 그 장치 | |
CN115187941A (zh) | 目标检测定位方法、系统、设备及存储介质 | |
CN113496163B (zh) | 障碍物识别方法和装置 | |
Carrilho et al. | Extraction of building roof planes with stratified random sample consensus | |
CN115018886B (zh) | 运动轨迹识别方法、装置、设备及介质 | |
CN117290805A (zh) | 多识别设备的信息处理方法、控制装置及存储介质 | |
CN115713620A (zh) | 一种红外小目标检测方法、装置、计算设备及存储介质 | |
CN112819953B (zh) | 三维重建方法、网络模型训练方法、装置及电子设备 | |
CN117523428B (zh) | 基于飞行器平台的地面目标检测方法和装置 | |
KR102310790B1 (ko) | 포인트 클라우드 기반 검출 객체 오류 보정 장치 및 방법 | |
CN117593454B (zh) | 三维重建与目标表面平面点云生成方法 | |
Quach et al. | Low-level track finding and completion using random fields | |
CN114937079A (zh) | 一种障碍物检测方法、装置及一种机器人 | |
CN112102356B (zh) | 一种目标跟踪方法、装置、终端设备及存储介质 | |
CN112070122B (zh) | 一种slam地图的分类方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |