CN113359125A - 数据融合方法、装置和数据处理设备 - Google Patents

数据融合方法、装置和数据处理设备 Download PDF

Info

Publication number
CN113359125A
CN113359125A CN202010147030.0A CN202010147030A CN113359125A CN 113359125 A CN113359125 A CN 113359125A CN 202010147030 A CN202010147030 A CN 202010147030A CN 113359125 A CN113359125 A CN 113359125A
Authority
CN
China
Prior art keywords
video
radar
target
coordinate system
detection result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010147030.0A
Other languages
English (en)
Inventor
张兆宇
底欣
王乐菲
田军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN202010147030.0A priority Critical patent/CN113359125A/zh
Priority to JP2021016092A priority patent/JP2021140764A/ja
Publication of CN113359125A publication Critical patent/CN113359125A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种数据融合方法、装置和数据处理设备，该方法包括：将当前帧的雷达检测结果投影到视频坐标系中；在视频坐标系下，针对每个未匹配的雷达目标，计算该雷达目标与当前帧的视频检测结果中所有未匹配的视频目标之间的距离，将距离小于第一阈值且距离最小的视频目标作为与该雷达目标关联的视频目标；在视频坐标系下，针对每个未匹配的视频目标，根据该视频目标的类型确定与该视频目标匹配的雷达目标；使用物体编号对当前帧的雷达检测结果中的所有雷达目标和当前帧的视频检测结果中的所有视频目标进行标记；对标记的每个物体，根据物体对应的视频信息和/或雷达信息确定物体在世界坐标系下的位置和速度。

Description

数据融合方法、装置和数据处理设备
技术领域
本申请涉及信息技术领域，尤其涉及一种数据融合方法、装置和数据处理设备。
背景技术
为了在交通系统中实现智能监控，毫米波雷达和视频摄像头会被同时用来监测车辆、行人和其他物体，这里统称为物体。当一个物体经过雷达和摄像头时，雷达和摄像头都会检测到这个物体。通过融合雷达和摄像头得到的数据，监测系统会得到更多的信息用以进行更充分的分析。
应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
发明人发现，如何对摄像头检测到的目标与雷达检测到的目标进行融合进而对两者收集到的测量数据进行融合是一个问题。此外，由于摄像头和雷达的监控视角有限，所以在十字路口会设置多组感测设备(一组感测设备包括一个摄像头和一个雷达)来监测不同方向的物体，然而，如何对多组感测设备检测到的目标和收集到的测量数据进行融合也是一个问题。
为了解决上述问题在其中之一或解决其他类似问题，本申请实施例提供了一种数据融合方法、装置和数据处理设备。
根据本申请实施例的一个方面，提供一种针对一组感测设备的数据融合方法，所述一组感测设备包括一个雷达和一个摄像头，其中，所述方法包括：
将当前帧的雷达检测结果投影到视频坐标系中，获得当前帧的雷达检测结果中所有雷达目标在视频坐标系中的位置；
在视频坐标系下，针对每个未匹配的雷达目标，确定与所述雷达目标关联的视频目标；
在视频坐标系下，针对每个未匹配的视频目标，根据所述视频目标的类型以及与所述视频目标关联的雷达目标，确定与所述视频目标匹配的雷达目标；
使用物体编号对当前帧的雷达检测结果中的所有雷达目标和当前帧的视频检测结果中的所有视频目标进行标记；
对标记的每个物体，根据所述物体对应的视频信息和/或雷达信息确定所述物体在世界坐标系下的位置和速度。
根据本申请实施例的另一方面，提供一种针对多组感测设备的数据融合方法，每组感测设备包括一个雷达和一个摄像头，其中，所述方法包括：
针对每组感测设备检测到的每个目标，如果在所述目标的预定范围内存在其他组感测设备检测到的目标，则确定所述预定范围内的所有目标是同一个物体；
根据所述预定范围内的所有目标的位置和速度确定所述物体的位置和速度。
根据本申请实施例的再一方面，提供一种针对一组感测设备的数据融合装置，所述一组感测设备包括一个雷达和一个摄像头，其中，所述装置包括：
投影单元，其将当前帧的雷达检测结果投影到视频坐标系中，获得当前帧的雷达检测结果中所有雷达目标在视频坐标系中的位置；
第一确定单元，其在视频坐标系下，针对每个未匹配的雷达目标，确定与所述雷达目标关联的视频目标；
第二确定单元，其在视频坐标系下，针对每个未匹配的视频目标，根据所述视频目标的类型以及与所述视频目标关联的雷达目标，确定与所述视频目标匹配的雷达目标；
第一标记单元，其使用物体编号对当前帧的雷达检测结果中的所有雷达目标和当前帧的视频检测结果中的所有视频目标进行标记；
第三确定单元，其对标记的每个物体，根据所述物体对应的视频信息和/或雷达信息确定所述物体在世界坐标系下的位置和速度。
根据本申请实施例的又一方面，提供一种针对多组感测设备的数据融合装置，每组感测设备包括一个雷达和一个摄像头，其中，所述装置包括：
第一确定单元，其针对每组感测设备检测到的每个目标，如果在所述目标的预定范围内存在其他组感测设备检测到的目标，则确定所述预定范围内的所有目标是同一个物体；
第二确定单元，其根据所述预定范围内的所有目标的位置和速度确定所述物体的位置和速度。
本申请实施例的有益效果之一在于：本申请利用雷达检测结果和视频检测结果来计算目标的位置进而对雷达和摄像头收集到的数据进行融合，相较于以往的方法，融合结果更加准确。此外，在设置多组感测设备的情况下，每组感测设备从道路上的不同方向检测目标，通过对各组感测设备检测到的目标和收集到的数据进行融合，生成电子地图，可以实时的展示道路上各个方向的目标。
参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
在本申请实施例的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。此外，在附图中，类似的标号表示几个附图中对应的部件，并可用于指示多于一种实施方式中使用的对应部件。
所包括的附图用来提供对本申请实施例的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是两组感测设备的检测结果和融合结果的示意图；
图2是本申请实施例的第一方面的数据融合方法的一个示意图；
图3是设置uw和vw的一个示例的示意图；
图4是雷达目标与视频目标进行融合的一个示例的流程图；
图5是雷达目标和视频目标进行融合的一个示例的示意图；
图6是本申请实施例的第二方面的数据融合方法的一个示意图；
图7是三组感测设备检测到的目标在世界坐标系上的示意图；
图8是计算物体的速度的一个示意图；
图9是本申请实施例的第三方面的数据融合装置的一个示意图；
图10是本申请实施例的第四方面的数据融合装置的一个示意图；
图11是本申请实施例的数据处理设备的一个示意图。
具体实施方式
参照附图，通过下面的说明书，本申请的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本申请的特定实施方式，其表明了其中可以采用本申请的原则的部分实施方式，应了解的是，本申请不限于所描述的实施方式，相反，本申请包括落入所附权利要求的范围内的全部修改、变型以及等同物。
在本申请实施例中，术语“第一”、“第二”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或多个其他特征、元素、元件或组件。
在本申请实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“所述”应理解为既包括单数形式也包括复数形式，除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据……”，术语“基于”应理解为“至少部分基于……”，除非上下文另外明确指出。
使用雷达和摄像头检测道路上的物体时，数据会逐帧记录。在雷达检测结果的每一帧(简称为雷达帧)中，包含雷达检测到的物体；在视频检测结果的每一帧(简称为视频帧)中，包含摄像头检测到的物体。雷达检测结果包含了物体的速度和位置坐标等信息，视频检测结果包含了物体的像素坐标。在雷达坐标系中，物体(简称为雷达物体)的位置坐标(也即物体相对于雷达的位置)表示为(x，y)，在视频坐标系中，物体(简称为视频物体)的像素坐标(也即像素点的位置)表示为(u，v)。
图1是两组感测设备的检测结果和融合结果的示意图，如图1所示，第一组感测设备中雷达检测到的目标(简称为雷达目标)11和摄像头检测到的目标(简称为视频目标)12经过融合，在电子地图(也称为动态地图)上体现为①；第二组感测设备中雷达检测到的目标(简称为雷达目标)21和摄像头检测到的目标(简称为视频目标)22经过融合，在电子地图上体现为②。
发明人发现，对于每一组感测设备而言，例如图1所示的第一组感测设备，或者图1所示的第二组感测设备，尽管是对同一目标的检测，雷达检测结果和视频检测结果也不完全一致。例如，图1所示的雷达测距结果为10m，而图1所示的摄像头的测距结果为10.5m，因此，如何对每一组感测设备检测到的目标和收集到的数据进行融合，是一个问题。
此外，发明人发现，对于多组感测设备而言，例如图1所示的第一组感测设备和图1所示的第二组感测设备，由于这两组感测设备设置于同一个十字路口的不同方向，实际上，这两组感测设备检测到的物体属于同一个目标，体现在电子地图上应为同一个标记，因此，如何对多组感测设备检测到的目标和收集到的数据进行融合，也是一个问题。
为了解决上述问题的至少一个或其他类似问题，提出了本申请。下面结合附图对本申请实施例的各种实施方式进行说明。这些实施方式只是示例性的，不是对本申请实施例的限制。
实施例的第一方面
本申请实施例提供一种数据融合方法。图2是本申请实施例的数据融合方法的一个示例的示意图，该方法对一组感测设备检测到的目标和收集的测量数据进行融合，这组感测设备包括一个雷达和一个摄像头。
在本申请实施例中，雷达的检测结果称为雷达检测结果，雷达检测结果包括多个目标，称为雷达目标；摄像头的检测结果称为视频检测结果，视频检测结果包括多个目标，称为视频目标。
在本申请实施例中，该方法对时间上对齐的雷达检测结果的每一帧(称为雷达帧)和视频检测结果的每一帧(称为视频帧)进行，在本申请实施例中称为当前帧，也即，该当前帧包括时间上对齐的一个雷达帧和一个视频帧。
请参照图2，本申请实施例的数据融合方法包括：
201：将当前帧的雷达检测结果投影到视频坐标系中，获得当前帧的雷达检测结果中所有雷达目标在视频坐标系中的位置；
202：在视频坐标系下，针对每个未匹配的雷达目标，确定与所述雷达目标关联的视频目标；
203：在视频坐标系下，针对每个未匹配的视频目标，根据所述视频目标的类型确定与所述视频目标匹配的雷达目标；
204：使用物体编号对当前帧的雷达检测结果中的所有雷达目标和当前帧的视频检测结果中的所有视频目标进行标记；
205：对标记的每个物体，根据所述物体对应的视频信息和/或雷达信息确定所述物体在世界坐标系下的位置和速度。
根据本申请实施例的方法，当一个物体被雷达和摄像头检测出以后，把雷达检测结果投影到视频坐标系中，然后在视频坐标系中匹配雷达检出目标和视频检出目标。对同一目标，根据视频和雷达的测量结果，决定该目标的位置和速度。相较于以往的方法，融合结果更加准确。
在201中，雷达检测出的目标在雷达坐标系中的位置和与其在视频坐标系中的位置之间具有转换关系，在本申请中描述为f()，本申请对该转换关系f()的确定方法不做限制，可以采取以往的任意的方法。由此，通过该转换关系f()可以确定雷达检测出的每个目标在视频坐标系中的位置。
例如，假设雷达检出n个目标(雷达目标)，在雷达坐标系中的位置分别是(x1,y1),(x2,y2),…,(xn,yn)。通过转换关系f()，可以得到雷达目标在视频坐标系中的位置(u1,v1),(u2,v2),…,(un,vn)。其中，(u1,v1)＝f(x1,y1)，(u2,v2)＝f(x2,y2)，…，(un,vn)＝f(xn,yn)。
此外，假设摄像头检出m个目标(视频目标)，在视频坐标系中位置分别是(u1’,v1’),(u2’,v2’),…,(um’,vm’)。
在上述202中，在视频坐标系下，针对每个未匹配的雷达目标，找到与该雷达目标关联的视频目标，也即，找到与该雷达目标满足匹配条件的视频目标。如果能找出与该雷达目标满足匹配条件的视频目标，则这个雷达目标和这个视频目标可能对应真实世界中的同一个物体；如果无法找出与该雷达目标满足匹配条件的视频目标，则这个雷达目标没有相关联或对应的视频目标。
在一些实施例中，根据雷达目标和视频目标之间的距离确定与雷达目标关联的视频目标。例如，计算该雷达目标与当前帧的视频检测结果中所有未匹配的视频目标之间的距离，将距离小于第一阈值(th1)且距离最小的视频目标作为与该雷达目标关联的视频目标。其他视频目标视为与该雷达目标不关联。如果所有视频目标对应的距离均大于第一阈值，则认为不存在与该雷达目标关联的视频目标。本申请对第一阈值的取值不做限制，可以根据经验或其他原则或策略确定。
在一些实施例中，对于当前帧的视频检测结果中所有未匹配的视频目标中的每个视频目标，根据下面的公式计算上述距离：
dij＝uw*(uri-uvj)+vw*(vri-vvj)
其中，(uri，vri)为该雷达目标在视频坐标系下的坐标，(uvj，vvj)为上述视频目标在视频坐标系下的坐标，uw为横向权重值，vw为纵向权重值，uw≥0，vw≥0，且uw+vw＝1。
在视频坐标系中，横向对应的真实物理长度跨度要远小于纵向。比如，两个像素点的横向坐标相差5个像素，在真实距离上差d1＝20cm，而如果两个像素点的纵向坐标相差5个像素，那么在真实距离上可能相差d2＝2m，可见，d2远大于d1。本申请实施例通过设置uw和vw能够调整横向和纵向像素差在上述距离d中比重。
在一些实施例中，上述横向权重值uw和上述纵向权重值vw的比值(uw:vw)根据当前帧对应的视频图像的长宽比以及该视频图像对应的实际位置的距离比来设定。
图3是设置uw和vw的一个示例的示意图，假设视频图像的长宽比是W：L，对应的实际位置的距离比是C：K，则uw：vw＝W/C：L/K。例如，如图3所示，视频画面的像素比是1920像素：1080像素，画面中实际位置的横向和纵向的距离比例是100m：20m，那么uw：vw＝1920/100：1080/20＝192：54。
根据202，确定了与每个未匹配的雷达目标关联的视频目标，或者仍然无法匹配的雷达目标，由此，每个视频目标可能关联多个雷达目标，而该多个雷达目标不一定都与该视频目标相匹配，也即不一定对应真实世界中的同一个物体。在本申请实施例中，通过203确定每个视频目标匹配的雷达目标。
在上述203中，可以根据视频目标的类型确定该视频目标匹配的雷达目标。例如，如果该视频目标的类型是能够对应多个雷达目标的类型，则确定与该视频目标关联的所有雷达目标都是该视频目标匹配的雷达目标；如果该视频目标的类型是不能对应多个雷达目标的类型，也即该视频目标只能匹配一个雷达目标，则将与该视频目标的距离最小的雷达目标作为该视频目标匹配的雷达目标。
在本申请实施例中，对于未被匹配的雷达目标，可以继续通过202来确定其关联的视频目标。此时，由于该雷达目标与所有未匹配的视频目标之间的距离已经计算过，可以将与该雷达目标之间的距离小于th1的所有视频目标中，距离第二小的视频目标作为与该雷达目标关联的视频目标。
图4是雷达目标与视频目标进行融合的一个示例的流程图，如图4所示，该流程包括：
401：针对每个未匹配的雷达目标，计算该雷达目标和所有未匹配的视频目标之间的距离dij；
402：将dij≤th1的所有视频目标从小到大排序；
403：设k＝1；
404：将该雷达目标与排序后的第k个视频目标关联；
405：判断视频目标是否关联了多个雷达目标，判断为是的情况下执行406，否则结束；
406：判断视频目标是否能够匹配多个雷达目标，判断为的情况下执行407，否则结束；
407：将与该视频目标关联的所有雷达目标中与该视频目标之间的距离最小的雷达目标作为与该视频目标匹配的雷达目标；
408：判断是否还有未匹配的雷达目标，判断为是的情况下将k值加1，回到404，否则结束。
对于每个未匹配的雷达目标，可以执行401～404的处理；对于每个未匹配的视频目标，可以执行405～408的处理。
值得注意的是，附图4仅示意性地对本申请实施例进行了说明，但本申请不限于此。例如可以适当地调整各个操作之间的执行顺序，此外还可以增加其他的一些操作或者减少其中的某些操作。本领域的技术人员可以根据上述内容进行适当地变型，而不仅限于上述附图4的记载。
图5是雷达目标和视频目标进行融合的一个示例的示意图。
如图5所示，在501中，对于每个未匹配的雷达目标，计算该雷达目标与所有未匹配的视频目标之间的距离(dij)，并将距离(dij)小于或等于第一阈值(th1)的视频目标按照距离(dij)从小到大的顺序进行排序，将距离最小的视频目标与该雷达目标进行关联。其他的视频目标视为与该雷达目标不关联。如果所有视频目标对应的dij都大于th1，则认为不存在与该雷达目标关联的视频目标，这种情况可能是由于摄像头漏检导致的，则该雷达目标视为一个单独的物体。
如图5所示，在502中，对于每个未匹配的视频目标，如果该视频目标能够匹配多个雷达目标，则将该视频目标关联的所有雷达目标作为该视频目标匹配的雷达目标；如果该视频目标只能匹配一个雷达目标，则将与该视频目标距离最近的关联的雷达目标作为其匹配的雷达目标。
在图5的502中，最左侧的视频目标能够匹配多个雷达目标；中间的视频目标关联了一个雷达目标，且其只能匹配一个雷达目标，将其与其关联的雷达目标作为其匹配的雷达目标；最右侧的视频目标关联了多个雷达目标，但其只能匹配一个雷达目标，则将与其距离最近的雷达目标作为其匹配的雷达目标，而其他的与其关联的雷达目标则回到501继续选择距离第二小的视频目标作为与其关联的视频目标，以此类推。
在本申请实施例中，如果一个雷达目标没有匹配上任何视频目标，则将该雷达目标作为一个单独的目标。这种情况可能是由于摄像头漏检导致的。
在本申请实施例中，如果一个视频目标没有匹配上任何雷达目标，例如，不存在与该视频目标关联的雷达目标，则将该视频目标作为一个单独的目标。这种情况可能是由于雷达漏检导致的。
在上述204中，在一些实施例中，根据203的匹配结果，使用物体编号oid对当前帧的雷达检测结果中的所有雷达目标和当前帧的视频检测结果中的所有视频目标进行标记，oid对应真实世界中的一个物体。例如，对于匹配的雷达目标和视频目标可以赋予一个物体编号，对于未匹配的雷达目标可以赋予一个物体编号，对于未匹配的视频目标可以赋予一个物体编号。由此，当前帧的雷达检测结果中的所有雷达目标和当前帧的视频检测结果中的所有视频目标都有一个对应的物体编号。
在一些实施例中，在根据203的匹配结果进行上述标记之前，例如在202之前，可以先根据雷达轨迹和视频轨迹，对一些雷达目标和视频目标进行标记。例如，如果至少一个雷达目标属于一个雷达轨迹，至少一个视频目标属于一个视频轨迹，并且该雷达轨迹和该视频轨迹中的目标在前一帧被标记为同一个物体编号，则使用前一帧的物体编号对该至少一个雷达目标和该至少一个视频目标进行标记。
例如，假设当前帧为第m+1帧，在第m帧中，雷达轨迹rt中的雷达目标xm和视频轨迹vt中的视频目标ym匹配，用物体编号o对xm和ym进行标记；则在第m+1帧中，轨迹rt中的雷达目标xm+1继续用物体编号o标记，视频轨迹vt中的视频目标ym+1也用o进行标记。
由此，先对一些雷达目标和视频目标做了标记，后续202的处理中所涉及的未匹配的雷达目标即为未被标记的雷达目标，后续203的处理中所涉及的未匹配的视频目标即为未被标记的视频目标，后续204的处理中所涉及的雷达目标和视频目标即为未被标记的雷达目标和视频目标。此处不再一一说明。
在上述205中，基于204的标记结果，针对标记的每个物体，可以根据该物体对应的视频信息和/或雷达信息确定该物体的位置和速度。
在本申请实施例中，视频信息包括物体的视频检测结果在世界坐标系下的位置和速度，如前所述，视频检测结果是摄像头检测获得的；雷达信息包括物体的雷达检测结果在世界坐标系下的位置和速度，如前所述，雷达检测结果是雷达检测获得的。
在一些实施例中，如前所述，对于匹配的雷达目标和视频目标，其对应的物体包括上述视频信息和上述雷达信息；对于未匹配的雷达目标，其对应的物体仅包括上述雷达信息；对于未匹配的视频目标，其对应的物体仅包括上述视频信息。
以摄像头检测出一组目标[c1,c2,…,cs]，雷达检测出一组目标[r1,r2,…,rp]为例。通过201-204的方法将雷达检测出的目标和摄像头检测出的目标进行匹配，并用集合[o1,o2,…,oq]来表示通过雷达和摄像头检测出的真实世界的物体(204中的oid)。其中，每个物体ot包含视频信息
Figure BDA0002401119590000101
和雷达信息
Figure BDA0002401119590000102
或只包含视频信息和雷达信息中的一种。
其中，(cxt,cyt)是摄像头检测出的目标在世界坐标系下的坐标，(rxt,ryt)是雷达检测出目标在世界坐标系下的坐标，
Figure BDA0002401119590000103
是摄像头测得的目标的矢量速度，
Figure BDA0002401119590000104
是雷达测得的目标的矢量速度，这里，矢量速度既包括速度的大小又包括速度的方向。此外，假设摄像头在世界坐标系下的坐标是(cox,coy)，雷达在世界坐标系下的坐标是(rox,roy)。在一些实施例中，摄像头和雷达在世界坐标系中位于同一个位置，本申请不限于此。
在一些实施例中，如果物体仅包括视频信息，则以该物体的视频检测结果在世界坐标系下的位置(cxt,cyt)作为该物体在世界坐标系下的位置。
在一些实施例中，如果物体仅包括雷达信息，则以该物体的雷达检测结果在世界坐标系下的位置(rxt,ryt)作为该物体在世界坐标系下的位置。
在一些实施例中，如果物体既包括视频信息又包括雷达信息，则根据世界坐标系下该物体与雷达之间的距离(dr)或者世界坐标系下该物体与摄像头之间的距离(dc)确定该物体在世界坐标系下的位置。
例如，如果上述距离(dr或dc)小于或等于第二阈值(th2)，则以该物体的视频检测结果在世界坐标系下的位置(cxt,cyt)作为该物体在世界坐标系下的位置；如果上述距离(dr或dc)大于第二阈值(th2)，则以该物体的雷达检测结果在世界坐标下的位置(rxt,ryt)作为该物体在世界坐标系下的位置。
在一些实施例中，一组感测设备的摄像头和雷达部署在道路的同一个位置。被测物体在距离摄像头和雷达近的位置时，摄像头的测距准确度更高；而被测物体在距离摄像头和雷达远的位置时，雷达的测距准确度更高。本申请根据该原则判断融合后的目标(也即上述物体)的位置使用哪个传感器的测量数据作为最终标定数据。
在一些实施例中，第二阈值(th2)与视频测距精度相关。例如，假设系统所需测距精度是r。视频测距算法在不同的测距d下也有相应的精度(称为视频测距精度)rv，比如，当0<d<d1时，相应的测距精度是r1；当d1≤d<d2时，相应的测距精度是r2。一般地，视频测距精度rv随测距d的增大而变差。在本申请实施例中，可以选取最大的测距d作为th2，其中，d所对应的视频测距精度rv符合r的需求，即rv<r。以上只是举例说明，本申请不限于此，在本申请实施例中，第二阈值th2也可以设定为其它值。
在一些实施例中，在世界坐标系下上述物体与摄像头之间的距离可以根据以下公式计算获得：
Figure BDA0002401119590000111
其中，(cox，coy)是摄像头在世界坐标系下的坐标，(cxt，cyt)是摄像头检测出的物体(视频目标)在世界坐标系下的坐标。
在一些实施例中，在世界坐标系下上述物体与雷达之间的距离可以根据以下公式计算获得：
Figure BDA0002401119590000112
其中，(rox，roy)是雷达在世界坐标系下的坐标，(rxt，ryt)是雷达检测出的物体(雷达目标)在世界坐标系下的坐标。
在本申请实施例中，为了后续的数据处理，例如多组感测设备的目标融合和数据融合，可以直接保留雷达测得的速度(雷达速度，如前所述的
Figure BDA0002401119590000121
)和摄像头测得的速度(视频速度，如前所述的
Figure BDA0002401119590000122
)。
例如，如果物体仅包括视频信息，则以该物体的视频检测结果在世界坐标系下的速度
Figure BDA0002401119590000123
作为该物体在世界坐标系下的视频速度。
例如，如果物体仅包括雷达信息，则以该物体的雷达检测结果在世界坐标下的速度
Figure BDA0002401119590000124
作为该物体在世界坐标系下的雷达速度。
例如，如果物体既包括视频信息又包括雷达信息，则以该物体的视频检测结果在世界坐标系下的速度
Figure BDA0002401119590000125
作为该物体在世界坐标系下的视频速度，并以该物体的雷达检测结果在世界坐标下的速度
Figure BDA0002401119590000126
作为该物体在世界坐标系下的雷达速度。
值得注意的是，以上仅对与本申请相关的各操作或过程进行了说明，但本申请不限于此。该方法还可以包括其他操作或者过程，关于这些操作或者过程的具体内容，可以参考相关技术。
根据本申请实施例，利用雷达检测结果和视频检测结果来计算目标的位置进而对雷达和摄像头收集到的数据进行融合，相较于以往的方法，融合结果更加准确。
实施例的第二方面
本申请实施例提供一种数据融合方法，与实施例的第一方面的方法不同的是，本申请实施例的第二方面的方法对多组感测设备检测到的目标和收集的测量数据进行融合，每组感测设备包括一个雷达和一个摄像头。本申请实施例的第二方面与本申请实施例的第一方面相同的内容不再重复说明。
图6是本申请实施例的数据融合方法的示意图，如图6所示，该方法包括：
601：针对每组感测设备检测到的每个目标，如果在所述目标的预定范围内存在其他组感测设备检测到的目标，则确定所述预定范围内的所有目标是同一个物体；
602：根据所述预定范围内的所有目标的位置和速度确定所述物体的位置和速度。
在本申请实施例中，通过设置多组感测设备进行检测，可以获得多方向、全方位的信息，进而可以得到一张动态地图来显示交通状况。然而，这些感测设备的感知范围可能有重叠，例如，当一个物体被多组感测设备检测到时，如果不对不同组的感测设备检测到的目标进行数据融合，在动态地图上就会出现多个物体，而这些物体实际上只对应于真实世界中的一个物体。根据本申请实施例的方法，对重叠部分的感测信息进行融合，可以避免这种情况发生，通过动态地图实时的展示道路上各个方向的真实的物体。
在601中，每组感测设备检测到的目标是融合了这组感测设备的雷达和摄像头检测到的目标后的目标，例如图1所示的第1组感测设备检测到的目标，或者图1所示的第2组感测设备检测到的目标。在本申请实施例中，对每组感测设备检测到的目标进行融合可以采用实施例的第一方面的方法来实现，其内容被合并于此，此处不再赘述，但本申请不限于此，也可以采用其他方法来实现。
在601中，预定范围可以使用第四阈值th4来圈定，也即，在上述目标的th4的范围内，如果存在其他组的感测设备检测到的目标，则认为，该th4的范围内的所有目标属于同一个物体。
图7为三组感测设备检测到的目标在世界坐标系上的示意图，如图7所示，对于第一组感测设备检测到的每个目标，在目标①的th4的范围701内，存在第二组感测设备检测到的目标②和第三组感测设备检测到的目标③，则范围701内的目标①和目标②以及目标③属于同一个物体；在目标①的th4的范围702内，存在第二组感测设备检测到的目标②，则范围702内的目标①和目标②属于同一个物体；在目标①的th4的范围703内，存在第二组感测设备检测到的目标②，则范围703内的目标①和目标②属于同一个物体。
针对每组感测设备检测到的每个目标进行上述处理后，即完成了对多组感测设备检测到的所有目标的融合。对于融合后的同一个物体，可以使用相同的物体编号进行标识。例如范围701内的三个目标(由三组感测设备检测获得)使用一个物体编号进行标识，范围702内的两个目标(由两组感测设备检测获得)使用一个物体编号进行标识，范围703内的两个目标(由两组感测设备检测获得)使用一个物体编号进行标识。此外，对于未在th4的范围内找到其他组感测设备检测到的目标的目标，例如图7中未被范围701～703圈进去的由第三组感测设备检测到的目标③，使用一个物体编号对其进行标识。
在本申请实施例中，除了根据各组感测设备检测到的目标(融合了雷达检测结果和视频检测结果后的目标)所在的位置对多组感测设备检测到的目标进行融合以外，还以参考各组感测设备检测到的目标的速度。
在一些实施例中，上述预定范围内的目标是由对向设置的感测设备检测到的，并且，该预定范围内的目标中由对向设置的感测设备检测到的目标的速度矢量的差值小于第五阈值(th5)。关于对向设置的感测设备的具体含义，将在后面进行说明。
仍以图7为例，如果只考虑目标的位置，则因为范围701内的目标①②③满足th4，所以范围701内的目标①②③属于同一个物体；如果既考虑目标的位置又考虑目标的速度，则虽然范围701内的目标①②③满足th4，但是如果范围701内的目标①和②满足th5，③不满足th5，则①②属于同一个物体，③不属于这个物体。
在602中，在一些实施例中，根据预定范围内的所有目标的位置和速度确定该物体的位置和速度。
在本申请实施例中，如实施例的第一方面所述的，每个融合后的目标的信息包括该目标的位置信息和该目标的速度信息，该位置信息例如为实施例的第一方面所述的(cxt,cyt)(该组感测设备检测出的融合后的目标只包含视频信息，或者dc≤th2，或者dr≤th2)或者(rxt,ryt)(该组感测设备检测出的融合后的目标只包含雷达信息，或者dc＞th2，或者dr＞th2)；该速度信息例如为实施例的第一方面所述的
Figure BDA0002401119590000141
和/或
Figure BDA0002401119590000142
在一些实施例中，可以将预定范围内的所有目标的位置的均值作为这些目标对应的该物体的位置。
例如，一个融合后的物体(根据601的处理融合的物体)，第g组感测设备检测出的融合后的目标的坐标是(xg,yg)，共有n组传感器，则该融合后的物体的位置是
Figure BDA0002401119590000143
Figure BDA0002401119590000144
在一些实施例中，可以根据对向设置的感测设备的雷达速度确定该物体的雷达测速结果，并根据对向设置的感测设备的视频速度确定该物体的视频测速结果，将雷达测速结果和视频测速结果的均值作为该物体的速度。
在一些实施例中，雷达测速结果为所有对向设置的感测设备的雷达速度的矢量和的平均值；视频测速结果是所有对向设置的感测设备的视频速度的矢量和的平均值。
在本申请实施例中，对向设置的感测设备是指两组感测设备对向设置。例如：第一组感测设备设置在路口东侧并朝向西侧，第二组感测设备设置的路口西侧并朝向东侧，则第一组感测设备和第二组感测设备属于对向设置的感测设备。再例如，第三组感测设备设置在路口南侧并朝向北侧，第四组感测设备设置的路口北侧并朝向南侧，则第三组感测设备和第四组感测设备属于对向设置的感测设备。以此类推，不再赘述。
例如，对于一个融合后的物体(根据601的处理而融合的物体)，首先将对向设置的感测设备中的雷达(称为对向雷达)测得的速度求均值，这个物体共有n对这样的对向雷达，其中第h对的对向雷达测得的该物体的速度矢量为
Figure BDA0002401119590000151
第h对的对向摄像头测得的该物体的速度矢量为
Figure BDA0002401119590000152
则雷达测速结果是
Figure BDA0002401119590000153
视频测速结果是
Figure BDA0002401119590000154
这个物体的最终速度是
Figure BDA0002401119590000155
再例如，对于一个融合后的物体(根据601的处理融合的物体)，共有n组感测设备测得该物体，其中第h组感测设备的雷达测得的该物体的速度矢量为
Figure BDA0002401119590000156
摄像头测得的该物体的速度矢量为
Figure BDA0002401119590000157
则雷达测速结果是
Figure BDA0002401119590000158
视频测速结果是
Figure BDA0002401119590000159
这个物体的最终速度是
Figure BDA00024011195900001510
图8是计算该物体的速度的一个示意图，如图8所示，一个物体a经过十字路口时，i是雷达测速结果，
Figure BDA00024011195900001511
和
Figure BDA00024011195900001512
分别是第1对的对向雷达和第2对的对向雷达测得的速度矢量，雷达的测速结果是
Figure BDA00024011195900001517
ii是视频测速结果，
Figure BDA00024011195900001513
和
Figure BDA00024011195900001514
分别是第1对的对向摄像头和第2对的对向摄像头测得的速度矢量，视频测速结果是
Figure BDA00024011195900001515
iii是物体a的速度是
Figure BDA00024011195900001516
根据本申请实施例的方法，在设置多组感测设备的情况下，每组感测设备从道路上的不同方向检测目标，通过对各组感测设备检测到的目标和收集到的数据进行融合，生成电子地图，可以实时的展示道路上各个方向的目标。
实施例的第三方面
本申请实施例的第三方面提供了一种数据融合装置，该数据融合装置对应实施例的第一方面的数据融合方法，相同的内容不再重复说明。
图9是本申请实施例的数据融合装置的一个示意图。如图9所示，本申请实施例的数据融合装置900包括：投影单元901、第一确定单元902、第二确定单元903、第一标记单元904、以及第三确定单元905。
投影单元901用于将当前帧的雷达检测结果投影到视频坐标系中，获得当前帧的雷达检测结果中所有雷达目标在视频坐标系中的位置；
第一确定单元902用于在视频坐标系下，针对每个未匹配的雷达目标，确定与所述雷达目标关联的视频目标；
第二确定单元903用于在视频坐标系下，针对每个未匹配的视频目标，根据所述视频目标的类型以及与所述视频目标关联的雷达目标，确定与所述视频目标匹配的雷达目标；
第一标记单元904用于使用物体编号对当前帧的雷达检测结果中的所有雷达目标和当前帧的视频检测结果中的所有视频目标进行标记；
第三确定单元905用于对标记的每个物体，根据所述物体对应的视频信息和/或雷达信息确定所述物体在世界坐标系下的位置和速度。
在一些实施例中，第一确定单元902确定与所述雷达目标关联的视频目标，包括：
计算所述雷达目标与当前帧的视频检测结果中所有未匹配的视频目标之间的距离；
将距离小于第一阈值且距离最小的视频目标作为与所述雷达目标关联的视频目标。
在一些实施例中，第一确定单元902计算所述雷达目标与当前帧的视频检测结果中所有未匹配的视频目标之间的距离，包括：
对于当前帧的视频检测结果中所有未匹配的视频目标中的每个视频目标，根据以下公式计算所述距离：
dij＝uw*(uri-uvj)+vw*(vri-vvj)
其中，(uri，vri)为所述雷达目标在视频坐标系下的坐标，(uvj，vvj)为所述视频目标在视频坐标系下的坐标，uw为横向权重值，vw为纵向权重值，uw≥0，vw≥0，且uw+vw＝1。
在一些实施例中，所述横向权重值和所述纵向权重值的比值根据当前帧对应的视频图像的长宽比以及所述视频图像对应的实际位置的距离比来设定。
在一些实施例中，第二确定单元903根据所述视频目标的类型确定与所述视频目标匹配的雷达目标，包括：
如果所述视频目标的类型是能够匹配多个雷达目标的类型，则第二确定单元903确定与所述视频目标匹配的雷达目标是所有与所述视频目标关联的雷达目标；
如果所述视频目标的类型是只能匹配一个雷达目标的类型，则第二确定单元903确定与所述视频目标匹配的雷达目标是所有与所述视频目标关联的雷达目标中与所述视频目标之间的距离最小的雷达目标。
在一些实施例中，第一标记单元904使用物体编号对当前帧的雷达检测结果中的所有雷达目标和当前帧的视频检测结果中的所有视频目标进行标记，包括：
将每组匹配的雷达目标和视频目标标记为一个物体编号；
将每个未匹配的雷达目标标记为一个物体编号；
将每个未匹配的视频目标标记为一个物体编号。
在一些实施例中，如图9所示，该数据融合装置900还包括：
第二标记单元906，其在第一确定单元902确定与雷达目标关联的视频目标之前，根据雷达轨迹和视频轨迹对雷达目标和视频目标进行标记，包括：
如果至少一个雷达目标属于一个雷达轨迹，至少一个视频目标属于一个视频轨迹，并且所述雷达轨迹和所述视频轨迹中的目标在前一帧被标记为同一个物体编号，则使用前一帧的所述物体编号对所述至少一个雷达目标和上述至少一个视频目标进行标记。
在一些实施例中，所述视频信息包括所述物体的视频检测结果在世界坐标系下的位置和速度，所述视频检测结果是摄像头检测获得的；所述雷达信息包括所述物体的雷达检测结果在世界坐标下的位置和速度，所述雷达检测结果是雷达检测获得的。
在一些实施例中，第三确定单元905根据所述物体对应的视频信息和/或雷达信息确定所述物体在世界坐标系下的位置，包括：
如果所述物体仅包括所述视频信息，则第三确定单元905以所述物体的视频检测结果在世界坐标系下的位置作为所述物体在世界坐标系下的位置；
如果所述物体仅包括所述雷达信息，则第三确定单元905以所述物体的雷达检测结果在世界坐标下的位置作为所述物体在世界坐标系下的位置；
如果所述物体包括所述视频信息和所述雷达信息，则第三确定单元905根据世界坐标系下所述物体与所述雷达之间的距离或者世界坐标系下所述物体与所述摄像头之间的距离确定所述物体在世界坐标下的位置。
在一些实施例，如果所述距离小于或等于第二阈值，则第三确定单元905以所述物体的视频检测结果在世界坐标系下的位置作为所述物体在世界坐标系下的位置；如果所述距离大于第二阈值，则第三确定单元905以所述物体的雷达检测结果在世界坐标下的位置作为所述物体在世界坐标系下的位置。
在一些实施例中，所述第二阈值与视频测距精度相关。
在一些实施例中，第三确定单元905根据以下公式计算在世界坐标系下所述物体与所述摄像头之间的距离：
Figure BDA0002401119590000181
其中，(cox，coy)是所述摄像头在世界坐标系下的坐标，(cxt，cyt)是所述摄像头检测出的所述物体在世界坐标系下的坐标。
在一些实施例中，第三确定单元905根据以下公式计算在世界坐标系下所述物体与所述雷达之间的距离：
Figure BDA0002401119590000182
其中，(rox，roy)是所述雷达在世界坐标系下的坐标，(rxt，ryt)是所述雷达检测出的所述物体在世界坐标系下的坐标。
在一些实施例中，第三确定单元905根据所述物体对应的视频信息和/或雷达信息确定所述物体在世界坐标系下的速度，包括：
如果所述物体仅包括所述视频信息，则第三确定单元905以所述物体的视频检测结果在世界坐标系下的速度作为所述物体在世界坐标系下的视频速度；
如果所述物体仅包括所述雷达信息，则第三确定单元905以所述物体的雷达检测结果在世界坐标下的速度作为所述物体在世界坐标系下的雷达速度；
如果所述物体包括所述视频信息和所述雷达信息，则第三确定单元905以所述物体的视频检测结果在世界坐标系下的速度作为所述物体在世界坐标系下的视频速度，并以所述物体的雷达检测结果在世界坐标下的速度作为所述物体在世界坐标系下的雷达速度。
值得注意的是，以上仅对与本申请相关的各部件或模块进行了说明，但本申请不限于此。数据融合装置900还可以包括其他部件或者模块，关于这些部件或者模块的具体内容，可以参考相关技术。
根据本申请实施例，利用雷达检测结果和视频检测结果来计算目标的位置进而对雷达和摄像头收集到的数据进行融合，相较于以往的方法，融合结果更加准确。
实施例的第四方面
本申请实施例的第四方面提供了一种数据融合装置，该数据融合装置对应实施例的第二方面的数据融合方法，相同的内容不再重复说明。
图10是本申请实施例的数据融合装置的一个示意图。如图10所示，本申请实施例的数据融合装置1000包括：第一确定单元1001和第二确定单元1002。
第一确定单元1001用于针对每组感测设备检测到的每个目标，如果在所述目标的预定范围内存在其他组感测设备检测到的目标，则确定所述预定范围内的所有目标是同一个物体；
第二确定单元1002用于根据所述预定范围内的所有目标的位置和速度确定所述物体的位置和速度。
在一些实施例中，第二确定单元1002确定所述物体的位置，包括：将所述预定范围内的所有目标的位置的均值作为所述物体的位置。
在一些实施例中，第二确定单元1002确定所述物体的速度，包括：根据对向设置的感测设备的雷达速度确定所述物体的雷达测速结果；根据对向设置的感测设备的视频速度确定所述物体的视频测速结果；将所述雷达测速结果和所述视频测速结果的均值作为所述物体的速度。
在一些实施例中，所述雷达测速结果是所有对向设置的感测设备的雷达速度的矢量和的平均值，所述视频测速结果是所有对向设置的感测设备的视频速度的矢量和的平均值。
在一些实施例中，所述预定范围内的目标是由对向设置的感测设备检测到的，并且，所述预定范围内的目标中由对向设置的感测设备检测到的目标的速度矢量的差值小于第五阈值。
值得注意的是，以上仅对与本申请相关的各部件或模块进行了说明，但本申请不限于此。数据融合装置900还可以包括其他部件或者模块，关于这些部件或者模块的具体内容，可以参考相关技术。
根据本申请实施例，在设置多组感测设备的情况下，每组感测设备从道路上的不同方向检测目标，通过对各组感测设备检测到的目标和收集到的数据进行融合，生成电子地图，可以实时的展示道路上各个方向的目标。
实施例的第五方面
本申请实施例的第五方面提供了一种数据处理设备，该数据处理设备例如可以是计算机、服务器、工作站、膝上型计算机、智能手机，等等；但本申请实施例不限于此。
图11是本申请实施例的数据处理设备的一个示意图，如图11所示，数据处理设备1100可以包括：至少一个接口(图中未示出)，处理器(例如，中央处理器(CPU))1101，存储器1102；存储器1102耦合到处理器1101。其中存储器1102可存储各种数据；此外还存储数据融合程序1103，并且在处理器1101的控制下执行该程序1103，并存储各种数据，例如预设的值和预定的条件等。
在一个实施例中，实施例的第三方面所述的数据融合装置900的功能可以被集成到处理器1101中，实现实施例的第一方面所述的数据融合方法。例如，该处理器1101可以被配置为：
将当前帧的雷达检测结果投影到视频坐标系中，获得当前帧的雷达检测结果中所有雷达目标在视频坐标系中的位置；
在视频坐标系下，针对每个未匹配的雷达目标，确定与所述雷达目标关联的视频目标；
在视频坐标系下，针对每个未匹配的视频目标，根据所述视频目标的类型以及与所述视频目标关联的雷达目标，确定与所述视频目标匹配的雷达目标；
使用物体编号对当前帧的雷达检测结果中的所有雷达目标和当前帧的视频检测结果中的所有视频目标进行标记；
对标记的每个物体，根据所述物体对应的视频信息和/或雷达信息确定所述物体在世界坐标系下的位置和速度。
在另一个实施方式中，实施例的第三方面所述的数据融合装置900可以与处理器1101分开配置，例如可以将该数据融合装置900配置为与处理器1101连接的芯片，通过处理器1101的控制来实现数据融合装置900的功能。
在一个实施例中，实施例的第四方面所述的数据融合装置1000的功能可以被集成到处理器1101中，实现实施例的第二方面所述的数据融合方法。例如，该处理器1101可以被配置为：
针对每组感测设备检测到的每个目标，如果在所述目标的预定范围内存在其他组感测设备检测到的目标，则确定所述预定范围内的所有目标是同一个物体；
根据所述预定范围内的所有目标的位置和速度确定所述物体的位置和速度。
在另一个实施方式中，实施例的第四方面所述的数据融合装置1000可以与处理器1101分开配置，例如可以将该数据融合装置1000配置为与处理器1101连接的芯片，通过处理器1101的控制来实现数据融合装置1000的功能。
值得注意的是，数据处理设备1100还可以包括显示器1105以及I/O设备1104，或者也并不是必须要包括图11中所示的所有部件，例如还可以包括摄像头和雷达(未图示)，用于获取输入图像帧；此外，该数据处理设备1100还可以包括图11中没有示出的部件，可以参考现有技术。
在本申请实施例中，处理器1101有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器1101接收输入并控制数据处理设备1100的各个部件的操作。
在本申请实施例中，存储器1102例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存各种信息，此外还可存储执行有关信息的程序。并且处理器1101可执行该存储器1102存储的该程序，以实现信息存储或处理等。其他部件的功能与现有类似，此处不再赘述。数据处理设备1100的各部件可以通过专用硬件、固件、软件或其结合来实现，而不偏离本申请的范围。
本申请实施例的数据处理设备提高了数据融合的准确性。
本申请实施例还提供一种计算机可读程序，其中当在数据处理设备中执行所述程序时，所述程序使得所述数据处理设备执行实施例的第一方面或第二方面所述的方法。
本申请实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得数据处理设备中执行实施例的第一方面或第二方面所述的方法。
本申请以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本申请涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本申请还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。
结合本申请实施例描述的方法/装置可直接体现为硬件、由处理器执行的软件模块或二者组合。图中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图中所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，若设备(如移动终端)采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。
针对附图中描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。针对附图描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本申请进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本申请保护范围的限制。本领域技术人员可以根据本申请的精神和原理对本申请做出各种变型和修改，这些变型和修改也在本申请的范围内。
关于本申请实施例公开的上述实施方式，还公开了如下的附记：
1、一种针对一组感测设备的数据融合方法，所述一组感测设备包括一个雷达和一个摄像头，其中，所述方法包括：
将当前帧的雷达检测结果投影到视频坐标系中，获得当前帧的雷达检测结果中所有雷达目标在视频坐标系中的位置；
在视频坐标系下，针对每个未匹配的雷达目标，确定与所述雷达目标关联的视频目标；
在视频坐标系下，针对每个未匹配的视频目标，根据所述视频目标的类型以及与所述视频目标关联的雷达目标，确定与所述视频目标匹配的雷达目标；
使用物体编号对当前帧的雷达检测结果中的所有雷达目标和当前帧的视频检测结果中的所有视频目标进行标记；
对标记的每个物体，根据所述物体对应的视频信息和/或雷达信息确定所述物体在世界坐标系下的位置和速度。
2、根据附记1所述的方法，其中，确定与所述雷达目标关联的视频目标，包括：
计算所述雷达目标与当前帧的视频检测结果中所有未匹配的视频目标之间的距离；
将距离小于第一阈值且距离最小的视频目标作为与所述雷达目标关联的视频目标。
3、根据附记2所述的方法，其中，计算所述雷达目标与当前帧的视频检测结果中所有未匹配的视频目标之间的距离，包括：
对于当前帧的视频检测结果中所有未匹配的视频目标中的每个视频目标，根据以下公式计算所述距离：
dij＝uw*(uri-uvj)+vw*(vri-vvj)
其中，(uri，vri)为所述雷达目标在视频坐标系下的坐标，(uvj，vvj)为所述视频目标在视频坐标系下的坐标，uw为横向权重值，vw为纵向权重值，uw≥0，vw≥0，且uw+vw＝1。
4、根据附记3所述的方法，其中，所述横向权重值和所述纵向权重值的比值根据当前帧对应的视频图像的长宽比以及所述视频图像对应的实际位置的距离比来设定。
5、根据附记1所述的方法，其中，根据所述视频目标的类型确定与所述视频目标匹配的雷达目标，包括：
如果所述视频目标的类型是能够匹配多个雷达目标的类型，则确定与所述视频目标匹配的雷达目标是所有与所述视频目标关联的雷达目标；
如果所述视频目标的类型是只能匹配一个雷达目标的类型，则确定与所述视频目标匹配的雷达目标是所有与所述视频目标关联的雷达目标中与所述视频目标之间的距离最小的雷达目标。
6、根据附记1所述的方法，其中，使用物体编号对当前帧的雷达检测结果中的所有雷达目标和当前帧的视频检测结果中的所有视频目标进行标记，包括：
将每组匹配的雷达目标和视频目标标记为一个物体编号；
将每个未匹配的雷达目标标记为一个物体编号；
将每个未匹配的视频目标标记为一个物体编号。
7、根据附记1所述的方法，其中，在确定与雷达目标关联的视频目标之前，所述方法还包括根据雷达轨迹和视频轨迹对雷达目标和视频目标进行标记，包括：
如果至少一个雷达目标属于一个雷达轨迹，至少一个视频目标属于一个视频轨迹，并且所述雷达轨迹和所述视频轨迹中的目标在前一帧被标记为同一个物体编号，则使用前一帧的所述物体编号对所述至少一个雷达目标和上述至少一个视频目标进行标记。
8、根据附记1所述的方法，其中，所述视频信息包括所述物体的视频检测结果在世界坐标系下的位置和速度，所述视频检测结果是摄像头检测获得的；所述雷达信息包括所述物体的雷达检测结果在世界坐标下的位置和速度，所述雷达检测结果是雷达检测获得的。
9、根据附记8所述的方法，其中，根据所述物体对应的视频信息和/或雷达信息确定所述物体在世界坐标系下的位置，包括：
如果所述物体仅包括所述视频信息，则以所述物体的视频检测结果在世界坐标系下的位置作为所述物体在世界坐标系下的位置；
如果所述物体仅包括所述雷达信息，则以所述物体的雷达检测结果在世界坐标下的位置作为所述物体在世界坐标系下的位置；
如果所述物体包括所述视频信息和所述雷达信息，则根据世界坐标系下所述物体与所述雷达之间的距离或者世界坐标系下所述物体与所述摄像头之间的距离确定所述物体在世界坐标下的位置。
10、根据附记9所述的方法，其中，
如果所述距离小于或等于第二阈值，则以所述物体的视频检测结果在世界坐标系下的位置作为所述物体在世界坐标系下的位置；
如果所述距离大于第二阈值，则以所述物体的雷达检测结果在世界坐标下的位置作为所述物体在世界坐标系下的位置。
11、根据附记10所述的方法，其中，所述第二阈值与视频测距精度相关。
12、根据附记9所述的方法，其中，在世界坐标系下所述物体与所述摄像头之间的距离根据以下公式计算获得：
Figure BDA0002401119590000251
其中，(cox，coy)是所述摄像头在世界坐标系下的坐标，(cxt，cyt)是所述摄像头检测出的所述物体在世界坐标系下的坐标。
13、根据附记9所述的方法，其中，在世界坐标系下所述物体与所述雷达之间的距离根据以下公式计算获得：
Figure BDA0002401119590000252
其中，(rox，roy)是所述雷达在世界坐标系下的坐标，(rxt，ryt)是所述雷达检测出的所述物体在世界坐标系下的坐标。
14、根据附记8所述的方法，其中，根据所述物体对应的视频信息和/或雷达信息确定所述物体在世界坐标系下的速度，包括：
如果所述物体仅包括所述视频信息，则以所述物体的视频检测结果在世界坐标系下的速度作为所述物体在世界坐标系下的视频速度；
如果所述物体仅包括所述雷达信息，则以所述物体的雷达检测结果在世界坐标下的速度作为所述物体在世界坐标系下的雷达速度；
如果所述物体包括所述视频信息和所述雷达信息，则以所述物体的视频检测结果在世界坐标系下的速度作为所述物体在世界坐标系下的视频速度，并以所述物体的雷达检测结果在世界坐标下的速度作为所述物体在世界坐标系下的雷达速度。
15、一种针对多组感测设备的数据融合方法，每组感测设备包括一个雷达和一个摄像头，其中，所述方法包括：
针对每组感测设备检测到的每个目标，如果在所述目标的预定范围内存在其他组感测设备检测到的目标，则确定所述预定范围内的所有目标是同一个物体；
根据所述预定范围内的所有目标的位置和速度确定所述物体的位置和速度。
16、根据附记15所述的方法，其中，确定所述物体的位置，包括：
将所述预定范围内的所有目标的位置的均值作为所述物体的位置。
17、根据附记15所述的方法，其中，确定所述物体的速度，包括：
根据对向设置的感测设备的雷达速度确定所述物体的雷达测速结果；
根据对向设置的感测设备的视频速度确定所述物体的视频测速结果；
将所述雷达测速结果和所述视频测速结果的均值作为所述物体的速度。
18、根据附记17所述的方法，其中，所述雷达测速结果是所有对向设置的感测设备的雷达速度的矢量和的平均值，所述视频测速结果是所有对向设置的感测设备的视频速度的矢量和的平均值。
19、根据附记15所述的方法，其中，所述预定范围内的目标是由对向设置的感测设备检测到的，并且，所述预定范围内的目标中由对向设置的感测设备检测到的目标的速度矢量的差值小于第五阈值。
20、一种数据处理设备，其中，所述数据处理设备包括处理器和存储器，所述存储器存储计算机程序，所述处理器被配置为执行所述计算机程序而实现如下的数据融合方法：
将当前帧的雷达检测结果投影到视频坐标系中，获得当前帧的雷达检测结果中所有雷达目标在视频坐标系中的位置；
在视频坐标系下，针对每个未匹配的雷达目标，确定与所述雷达目标关联的视频目标；
在视频坐标系下，针对每个未匹配的视频目标，根据所述视频目标的类型确定与所述视频目标匹配的雷达目标；
使用物体编号对当前帧的雷达检测结果中的所有雷达目标和当前帧的视频检测结果中的所有视频目标进行标记；
对标记的每个物体，根据所述物体对应的视频信息和/或雷达信息确定所述物体在世界坐标系下的位置和速度。
21、一种数据处理设备，其中，所述数据处理设备包括处理器和存储器，所述存储器存储计算机程序，所述处理器被配置为执行所述计算机程序而实现如下的数据融合方法：
针对每组感测设备检测到的每个目标，如果在所述目标的预定范围内存在其他组感测设备检测到的目标，则确定所述预定范围内的所有目标是同一个物体；
根据所述预定范围内的所有目标的位置和速度确定所述物体的位置和速度。

Claims (10)

1.一种针对一组感测设备的数据融合装置，所述一组感测设备包括一个雷达和一个摄像头，其特征在于，所述装置包括：
投影单元，其将当前帧的雷达检测结果投影到视频坐标系中，获得当前帧的雷达检测结果中所有雷达目标在视频坐标系中的位置；
第一确定单元，其在视频坐标系下，针对每个未匹配的雷达目标，确定与所述雷达目标关联的视频目标；
第二确定单元，其在视频坐标系下，针对每个未匹配的视频目标，根据所述视频目标的类型以及与所述视频目标关联的雷达目标，确定与所述视频目标匹配的雷达目标；
第一标记单元，其使用物体编号对当前帧的雷达检测结果中的所有雷达目标和当前帧的视频检测结果中的所有视频目标进行标记；
第三确定单元，其对标记的每个物体，根据所述物体对应的视频信息和/或雷达信息确定所述物体在世界坐标系下的位置和速度。
2.根据权利要求1所述的装置，其中，所述第一确定单元确定与所述雷达目标关联的视频目标，包括：
计算所述雷达目标与当前帧的视频检测结果中所有未匹配的视频目标之间的距离；
将距离小于第一阈值且距离最小的视频目标作为与所述雷达目标关联的视频目标。
3.根据权利要求2所述的装置，其中，所述第一确定单元计算所述雷达目标与当前帧的视频检测结果中所有未匹配的视频目标之间的距离，包括：
对于当前帧的视频检测结果中所有未匹配的视频目标中的每个视频目标，根据以下公式计算所述距离：
dij＝uw*(uri-uvj)+vw*(vri-vvj)
其中，(uri，vri)为所述雷达目标在视频坐标系下的坐标，(uvj，vvj)为所述视频目标在视频坐标系下的坐标，uw为横向权重值，vw为纵向权重值，uw≥0，vw≥0，且uw+vw＝1。
4.根据权利要求1所述的装置，其中，所述第一标记单元使用物体编号对当前帧的雷达检测结果中的所有雷达目标和当前帧的视频检测结果中的所有视频目标进行标记，包括：
将每组匹配的雷达目标和视频目标标记为一个物体编号；
将每个未匹配的雷达目标标记为一个物体编号；
将每个未匹配的视频目标标记为一个物体编号。
5.根据权利要求1所述的装置，其中，所述装置还包括：
第二标记单元，其在所述第一确定单元确定与雷达目标关联的视频目标之前，根据雷达轨迹和视频轨迹对雷达目标和视频目标进行标记，包括：
如果至少一个雷达目标属于一个雷达轨迹，至少一个视频目标属于一个视频轨迹，并且所述雷达轨迹和所述视频轨迹中的目标在前一帧被标记为同一个物体编号，则使用前一帧的所述物体编号对所述至少一个雷达目标和上述至少一个视频目标进行标记。
6.根据权利要求1所述的装置，其中，所述视频信息包括所述物体的视频检测结果在世界坐标系下的位置和速度，所述视频检测结果是摄像头检测获得的；所述雷达信息包括所述物体的雷达检测结果在世界坐标下的位置和速度，所述雷达检测结果是雷达检测获得的。
7.根据权利要求6所述的装置，其中，第三确定单元根据所述物体对应的视频信息和/或雷达信息确定所述物体在世界坐标系下的位置，包括：
如果所述物体仅包括所述视频信息，则所述第三确定单元以所述物体的视频检测结果在世界坐标系下的位置作为所述物体在世界坐标系下的位置；
如果所述物体仅包括所述雷达信息，则所述第三确定单元以所述物体的雷达检测结果在世界坐标下的位置作为所述物体在世界坐标系下的位置；
如果所述物体包括所述视频信息和所述雷达信息，则所述第三确定单元根据世界坐标系下所述物体与所述雷达之间的距离或者世界坐标系下所述物体与所述摄像头之间的距离确定所述物体在世界坐标下的位置。
8.根据权利要求7所述的装置，其中，
如果所述距离小于或等于第二阈值，则所述第三确定单元以所述物体的视频检测结果在世界坐标系下的位置作为所述物体在世界坐标系下的位置；
如果所述距离大于第二阈值，则所述第三确定单元以所述物体的雷达检测结果在世界坐标下的位置作为所述物体在世界坐标系下的位置。
9.根据权利要求6所述的装置，其中，所述第三确定单元根据所述物体对应的视频信息和/或雷达信息确定所述物体在世界坐标系下的速度，包括：
如果所述物体仅包括所述视频信息，则所述第三确定单元以所述物体的视频检测结果在世界坐标系下的速度作为所述物体在世界坐标系下的视频速度；
如果所述物体仅包括所述雷达信息，则所述第三确定单元以所述物体的雷达检测结果在世界坐标下的速度作为所述物体在世界坐标系下的雷达速度；
如果所述物体包括所述视频信息和所述雷达信息，则所述第三确定单元以所述物体的视频检测结果在世界坐标系下的速度作为所述物体在世界坐标系下的视频速度，并以所述物体的雷达检测结果在世界坐标下的速度作为所述物体在世界坐标系下的雷达速度。
10.一种针对多组感测设备的数据融合装置，每组感测设备包括一个雷达和一个摄像头，其特征在于，所述装置包括：
第一确定单元，其针对每组感测设备检测到的每个目标，如果在所述目标的预定范围内存在其他组感测设备检测到的目标，则确定所述预定范围内的所有目标是同一个物体；
第二确定单元，其根据所述预定范围内的所有目标的位置和速度确定所述物体的位置和速度。
CN202010147030.0A 2020-03-05 2020-03-05 数据融合方法、装置和数据处理设备 Pending CN113359125A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010147030.0A CN113359125A (zh) 2020-03-05 2020-03-05 数据融合方法、装置和数据处理设备
JP2021016092A JP2021140764A (ja) 2020-03-05 2021-02-03 データ融合方法、装置及びデータ処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010147030.0A CN113359125A (zh) 2020-03-05 2020-03-05 数据融合方法、装置和数据处理设备

Publications (1)

Publication Number Publication Date
CN113359125A true CN113359125A (zh) 2021-09-07

Family

ID=77523901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010147030.0A Pending CN113359125A (zh) 2020-03-05 2020-03-05 数据融合方法、装置和数据处理设备

Country Status (2)

Country Link
JP (1) JP2021140764A (zh)
CN (1) CN113359125A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115098731A (zh) * 2022-07-14 2022-09-23 浙江大华技术股份有限公司 目标关联方法、设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112924960B (zh) * 2021-01-29 2023-07-18 重庆长安汽车股份有限公司 目标尺寸实时检测方法、系统、车辆及存储介质
WO2023189076A1 (ja) * 2022-03-28 2023-10-05 ｉ－ＰＲＯ株式会社 監視システム及び監視方法
CN115019512A (zh) * 2022-07-05 2022-09-06 北京动视元科技有限公司 一种基于雷达视频融合的道路事件检测系统
CN117214966B (zh) * 2023-08-01 2024-04-05 珠海微度芯创科技有限责任公司 毫米波安检成像设备的图像映射方法、装置、设备、介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180059237A1 (en) * 2016-08-24 2018-03-01 Mitsubishi Electric Research Laboratories, Inc. System and Method for Radar Imaging Using Distributed Moving Platforms Under Unknown Position Perturbations
CN109615870A (zh) * 2018-12-29 2019-04-12 南京慧尔视智能科技有限公司 一种基于毫米波雷达和视频的交通检测系统
CN109839634A (zh) * 2019-01-25 2019-06-04 中国汽车技术研究中心有限公司 一种车载摄像头与雷达的目标融合方法
CN110187334A (zh) * 2019-05-28 2019-08-30 深圳大学 一种目标监控方法、装置及计算机可读存储介质
CN110794405A (zh) * 2019-10-18 2020-02-14 北京全路通信信号研究设计院集团有限公司 一种基于相机和雷达融合的目标检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180059237A1 (en) * 2016-08-24 2018-03-01 Mitsubishi Electric Research Laboratories, Inc. System and Method for Radar Imaging Using Distributed Moving Platforms Under Unknown Position Perturbations
CN109615870A (zh) * 2018-12-29 2019-04-12 南京慧尔视智能科技有限公司 一种基于毫米波雷达和视频的交通检测系统
CN109839634A (zh) * 2019-01-25 2019-06-04 中国汽车技术研究中心有限公司 一种车载摄像头与雷达的目标融合方法
CN110187334A (zh) * 2019-05-28 2019-08-30 深圳大学 一种目标监控方法、装置及计算机可读存储介质
CN110794405A (zh) * 2019-10-18 2020-02-14 北京全路通信信号研究设计院集团有限公司 一种基于相机和雷达融合的目标检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张晖等: "地波雷达与自动识别系统目标点迹最优关联算法", 《电子与信息学报》, vol. 87, no. 8, pages 619 - 624 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115098731A (zh) * 2022-07-14 2022-09-23 浙江大华技术股份有限公司 目标关联方法、设备及存储介质
CN115098731B (zh) * 2022-07-14 2022-11-22 浙江大华技术股份有限公司 目标关联方法、设备及存储介质

Also Published As

Publication number Publication date
JP2021140764A (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
CN113359125A (zh) 数据融合方法、装置和数据处理设备
Dubská et al. Automatic camera calibration for traffic understanding.
KR102189262B1 (ko) 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법
Song et al. Dynamic calibration of pan–tilt–zoom cameras for traffic monitoring
Sochor et al. Traffic surveillance camera calibration by 3d model bounding box alignment for accurate vehicle speed measurement
US10380433B2 (en) Method of detecting an overtaking vehicle, related processing system, overtaking vehicle detection system and vehicle
US9123242B2 (en) Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
US7769227B2 (en) Object detector
Luvizon et al. Vehicle speed estimation by license plate detection and tracking
Grammatikopoulos et al. Automatic estimation of vehicle speed from uncalibrated video sequences
Kumar et al. A semi-automatic 2D solution for vehicle speed estimation from monocular videos
Nguyen et al. Compensating background for noise due to camera vibration in uncalibrated-camera-based vehicle speed measurement system
JP4793324B2 (ja) 車両監視装置および車両監視方法
US10853949B2 (en) Image processing device
CN108764338B (zh) 一种应用于视频分析的行人跟踪方法
KR101772438B1 (ko) 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치 및 방법
Lu et al. A high accurate vehicle speed estimation method
Kanhere et al. Automatic camera calibration using pattern detection for vision-based speed sensing
Howe et al. Weakly supervised training of monocular 3d object detectors using wide baseline multi-view traffic camera data
WO2024055966A1 (zh) 一种多相机目标检测方法、装置
CN111612812B (zh) 目标物检测方法、检测装置和电子设备
CN114384505A (zh) 雷达偏转角的确定方法和装置
Temiz et al. Real time speed estimation from monocular video
CN115240471A (zh) 一种基于图像采集的智慧厂区避撞预警方法和系统
Wang et al. A method to calibrate vehicle-mounted cameras under urban traffic scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination