CN112784707B - 一种信息融合方法、装置、一体化检测设备及存储介质 - Google Patents
一种信息融合方法、装置、一体化检测设备及存储介质 Download PDFInfo
- Publication number
- CN112784707B CN112784707B CN202110008037.9A CN202110008037A CN112784707B CN 112784707 B CN112784707 B CN 112784707B CN 202110008037 A CN202110008037 A CN 202110008037A CN 112784707 B CN112784707 B CN 112784707B
- Authority
- CN
- China
- Prior art keywords
- information
- radar
- image
- area
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 64
- 230000004927 fusion Effects 0.000 title claims abstract description 58
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 19
- 238000012544 monitoring process Methods 0.000 claims abstract description 71
- 238000006243 chemical reaction Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000009434 installation Methods 0.000 claims abstract description 16
- 238000004891 communication Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 15
- 238000003062 neural network model Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种信息融合方法、装置、一体化检测设备及存储介质，涉及数据处理技术领域，应用于一体化检测设备，设备包括图像采集器和雷达，雷达与图像采集器的安装距离小于等于满足预设位置条件的最大距离；方法包括：获得图像采集器采集的待测区域的监控图像中对象的第一信息，第一信息包括：对象区域；基于雷达获得经过待测区域的对象的第二信息，第二信息包括：对象的实际位置；根据预设的实际位置与图像位置的位置转换关系，确定基于雷达获得的对象的实际位置在监控图像中相应的图像位置；对满足预设匹配条件的第一信息和第二信息进行融合，得到融合信息。应用本申请实施例提供的方案可以提高所获得的对象的信息的准确度。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及一种信息融合方法、装置、一体化检测设备及存储介质。
背景技术
通常需要对车辆、行人等对象进行信息检测。以车辆为例，随着道路上的车辆越来越多，为了对车辆进行管理，需要获得车辆的颜色、车牌号码、车型、速度等信息。现有技术中，通常利用图像采集设备采集道路上的监控图像，根据监控图像对车辆进行跟踪，识别得到车辆的颜色、车牌号码、车型等信息。
应用现有技术虽然可以获得对象的信息，但是由于图像采集设备所采集的图像中包含的信息较为单一，进而使得根据图像获得的对象的信息准确度较低。
发明内容
本申请实施例的目的在于提供一种信息融合方法、装置、一体化检测设备及存储介质，以提高所获得的对象的信息的准确度。具体技术方案如下：
第一方面，本申请实施例提供了一种信息融合方法，所述方法应用于一体化检测设备，所述一体化检测设备包括：图像采集器和雷达，所述雷达与所述图像采集器的安装距离小于等于满足预设位置条件的最大距离，所述预设位置条件为：基于所述雷达得到的对象与雷达自身的位置关系，与基于所述图像采集器得到的对象与图像采集器自身的位置关系相同；所述方法包括：
获得所述图像采集器采集的待测区域的监控图像中对象的第一信息，其中，所述第一信息包括：对象区域，所述对象区域为：对象在所述监控图像中所占的区域；
基于所述雷达获得经过所述待测区域的对象的第二信息，其中，所述第二信息包括：对象的实际位置；
根据预设的实际位置与图像位置的位置转换关系，确定基于所述雷达获得的对象的实际位置在所述监控图像中相应的图像位置；
对满足预设匹配条件的第一信息和第二信息进行融合，得到融合信息，其中，所述预设匹配条件为：第二信息中对象的实际位置在所述监控图像中相应的图像位置，处于基于第一信息中对象区域确定的匹配区域内。
本申请的一个实施例中，所述获得所述图像采集器采集的待测区域的监控图像中对象的第一信息，包括：
按照第一预设时间间隔，获得所述图像采集器采集的待测区域的监控图像中对象的第一信息，分别将各个对象的第一信息添加至各个对象的跟踪序列中，其中，每一对象的跟踪序列用于表示按照时间顺序记录的该对象的第一信息；
所述基于所述雷达获得经过所述待测区域的对象的第二信息，包括：
按照第二预设时间间隔，基于所述雷达获得经过所述待测区域的对象的第二信息，将检测到的第二信息添加至雷达信息序列；
所述对满足预设匹配条件的第一信息和第二信息进行融合，得到融合信息，包括：
在获得对象的第一信息后，确定所述雷达信息序列中最新添加的第二信息中与该第一信息满足预设匹配条件的信息，将所确定的信息添加至该对象的跟踪序列，得到该对象的融合信息。
本申请的一个实施例中，基于对象区域确定的匹配区域为：沿所述对象区域的底部区域进行扩展得到的区域。
本申请的一个实施例中，所述第二信息还包括：对象的经纬坐标；
所述基于所述雷达获得经过所述待测区域的对象的第二信息，包括：
基于所述雷达获得经过所述待测区域的对象的实际位置；
根据预设的实际位置与经纬坐标的经纬转换关系，确定对象的实际位置对应的经纬坐标，将对象的实际位置、经纬坐标作为所述第二信息。
本申请的一个实施例中，所述方法还包括：
在获得所述融合信息后，根据所获得的各个对象的融合信息，确定所述待测区域的状态信息，其中，所述待测区域的状态信息包括以下信息中的至少一种：对象流量、区域状况、所述待测区域的空间占有率、所述待测区域的时间占有率、对象间距、对象时距、对象运动速度、排队长度、对象类型。
第二方面，本申请实施例提供了一种信息融合装置，所述装置应用于一体化检测设备，所述一体化检测设备包括：图像采集器和雷达，所述雷达与所述图像采集器的安装距离小于等于满足预设位置条件的最大距离，所述预设位置条件为：基于所述雷达得到的对象与雷达自身的位置关系，与基于所述图像采集器得到的对象与图像采集器自身的位置关系相同；所述装置包括：
第一信息获得模块，用于获得所述图像采集器采集的待测区域的监控图像中对象的第一信息，其中，所述第一信息包括：对象区域，所述对象区域为：对象在所述监控图像中所占的区域；
第二信息获得模块，用于基于所述雷达获得经过所述待测区域的对象的第二信息，其中，所述第二信息包括：对象的实际位置；
位置转换模块，用于根据预设的实际位置与图像位置的位置转换关系，确定基于所述雷达获得的对象的实际位置在所述监控图像中相应的图像位置；
信息融合模块，用于对满足预设匹配条件的第一信息和第二信息进行融合，得到融合信息，其中，所述预设匹配条件为：第二信息中对象的实际位置在所述监控图像中相应的图像位置，处于基于第一信息中对象区域确定的匹配区域内。
本申请的一个实施例中，所述第一信息获得模块，具体用于：
按照第一预设时间间隔，获得所述图像采集器采集的待测区域的监控图像中对象的第一信息，分别将各个对象的第一信息添加至各个对象的跟踪序列中，其中，每一对象的跟踪序列用于表示按照时间顺序记录的该对象的第一信息；
所述第二信息获得模块，具体用于：
按照第二预设时间间隔，基于所述雷达获得经过所述待测区域的对象的第二信息，将检测到的第二信息添加至雷达信息序列；
所述信息融合模块，具体用于：
在获得对象的第一信息后，确定所述雷达信息序列中最新添加的第二信息中与该第一信息满足预设匹配条件的信息，将所确定的信息添加至该对象的跟踪序列，得到该对象的融合信息。
本申请的一个实施例中，基于对象区域确定的匹配区域为：沿所述对象区域的底部区域进行扩展得到的区域；或
所述第二信息还包括：对象的经纬坐标；
所述第二信息获得模块，具体用于：基于所述雷达获得经过所述待测区域的对象的实际位置；根据预设的实际位置与经纬坐标的经纬转换关系，确定对象的实际位置对应的经纬坐标，将对象的实际位置、经纬坐标作为所述第二信息；或
所述装置还包括状态信息获得模块，用于：
在获得所述融合信息后，根据所获得的各个对象的融合信息，确定所述待测区域的状态信息，其中，所述待测区域的状态信息包括以下信息中的至少一种：对象流量、区域状况、所述待测区域的空间占有率、所述待测区域的时间占有率、对象间距、对象时距、对象运动速度、排队长度、对象类型。
第三方面，本申请实施例提供了一种一体化检测设备，包括图像采集器、雷达、处理器、通信接口、存储器和通信总线，其中，所述雷达与所述图像采集器的安装距离小于等于满足预设位置条件的最大距离，所述预设位置条件为：基于所述雷达得到的对象与雷达自身的位置关系，与基于所述图像采集器得到的对象与图像采集器自身的位置关系相同；处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的信息融合方法。
本申请实施例有益效果：
应用本申请实施例提供的方案进行信息融合时，包括图像采集器和雷达的一体化检测设备中，雷达与图像采集器的安装距离小于等于满足预设位置条件的最大距离，预设位置条件为：基于雷达得到的对象与雷达自身的位置关系，与基于图像采集器得到的对象与图像采集器自身的位置关系相同，首先可以获得图像采集器采集的待测区域的监控图像中对象的第一信息，其中，第一信息包括：对象区域，对象区域为：对象在监控图像中所占的区域；基于雷达获得经过待测区域的对象的第二信息，其中，第二信息包括：对象的实际位置；根据预设的实际位置与图像位置的位置转换关系，确定基于雷达获得的对象的实际位置在监控图像中相应的图像位置；对满足预设匹配条件的第一信息和第二信息进行融合，得到融合信息，其中，预设匹配条件为：第二信息中对象的实际位置在监控图像中相应的图像位置，处于基于第一信息中对象区域确定的匹配区域内。
由此可见，本申请实施例提供的方案中，利用了图像采集器和雷达共同检测对象的信息，并对所检测到的信息进行融合，这样获得信息的方式更加全面，从而可以提高所获得的对象的信息的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的一种一体化检测设备的结构示意图；
图2为本申请实施例提供的第一种信息融合方法的流程示意图；
图3为本申请实施例提供的一种对象区域的示意图；
图4为本申请实施例提供的一种标记点的示意图；
图5为本申请实施例提供的一种位置转换的示意图；
图6为本申请实施例提供的一种匹配区域的示意图；
图7为本申请实施例提供的一种一体化检测设备的架设示意图；
图8为本申请实施例提供的第二种信息融合方法的流程示意图；
图9为本申请实施例提供的一种信息融合装置的结构示意图；
图10为本申请实施例提供的另一种一体化检测设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了提高所获得的对象的信息的准确度，本申请实施例提供了一种信息融合方法、装置、一体化检测设备及存储介质，下面分别进行详细介绍。
信息融合方法应用于一体化检测设备，参见图1，图1为本申请实施例提供的一种一体化检测设备的结构示意图，包括：图像采集器101和雷达102，上述图像采集器101可以用于进行图像采集，基于所采集的图像可以获得对象的位置；雷达102可以用于发射电磁波，并基于电磁波测量对象的距离，进而可以根据上述距离获得对象的位置。
其中，雷达102与图像采集器101的安装距离小于等于满足预设位置条件的最大距离。
上述预设位置条件为：基于雷达102得到的对象与雷达102自身的位置关系，与基于图像采集器101得到的对象与图像采集器101自身的位置关系相同。
上述位置关系可以采用坐标表示，这种情况下，基于雷达102检测得到的对象的位置在第一坐标系中的坐标，与基于图像采集器101检测得到的对象的位置在第二坐标系中的坐标相同。上述第一坐标系为：以雷达102为基准建立的坐标系，第二坐标系为：以图像采集器101为基准建立的坐标系，第一坐标系与第二坐标系的坐标轴所指向的方向相同。例如，假设基于雷达102检测得到的对象的位置在第一坐标系中的坐标为(35，67)，则基于图像采集器101检测得到的该对象的位置在第二坐标系中的坐标也为(35，67)。
上述位置关系还可以采用相对位置关系表示，例如，假设基于雷达102检测得到的对象的位置相对雷达102自身的位置为：位于雷达102的东北方向、且距离雷达26米，则基于图像采集器101检测得到的对象的位置相对图像采集器101自身的位置也为：位于图像采集器101的东北方向、且距离图像采集器26米。
具体的，可以预先设定上述最大距离，在图像采集器101与雷达102的安装距离小于等于上述最大距离时，认为二者安装位置靠近，进而可以认为二者所检测到的对象的位置相对自身的位置关系相同，满足预设位置条件。这样后续在对基于图像采集器101检测到的对象的信息、与基于雷达检测到的对象的信息进行融合时，无需对二者检测到的对象的信息进行位置转换，可以节省计算资源，提高信息融合效率。
本申请的一个实施例中，上述最大距离可以人为设定，也可以根据经验或者实验得到。
另外，在图像采集器101与雷达102之间不会造成遮挡的情况下，二者的安装距离可以尽可能地缩短，这样后续对二者检测到的对象的信息直接进行融合时，可以提高融合结果的准确度。
下面对本申请实施例中实现信息融合方法的执行主体进行说明，一种情况下，一体化检测设备中可以配置独立的处理器，由该处理器实现信息融合方法；另一种情况下，可以由图像采集器101或雷达102中配置的处理器实现信息融合方法。
参见图2，图2为本申请实施例提供的第一种信息融合方法的流程示意图，信息融合方法包括如下步骤201-步骤204。
步骤201，获得图像采集器采集的待测区域的监控图像中对象的第一信息。
具体的，可以由图像采集器采集待测区域的监控图像，由处理器对监控图像进行分析，得到监控图像中对象的第一信息。上述处理器可以是一体化检测设备中可以配置独立的处理器，也可以是图像采集器中配置的处理器。
其中，上述对象可以是车辆、行人、待测设备等。
在对象为车辆的情况下，上述待测区域可以是交通路口、收费站、停车场等；在对象为行人的情况下，上述待测区域可以是商场、人行横道、工厂出入口等；在对象为待测设备的情况下，上述待测区域可以是待测设备的生产流水线等。
第一信息包括：对象区域，对象区域为：对象在监控图像中所占的区域。每一对象的对象区域可以表征该对象在监控图像中所占的区域，上述对象区域可以为外接对象轮廓的矩形区域、圆形区域、椭圆形区域等。
参见图3，图3为本申请实施例提供的一种对象区域的示意图。以对象为车辆、对象区域为矩形区域为例，图3中外接车辆轮廓的黑框所围区域，即为各个车辆在监控图像中的对象区域。
其中，上述图3所示的实施例仅仅是一种示例性的描述，并不构成对本申请中对象区域的表示方式的限定。除上述实施例中采用黑框所围区域表示对象区域外，还可以采用虚线所围区域表示对象区域，或者采用预设符号标记区域关键点的方式表示对象区域，还可以采用记录区域关键点坐标的方式表示对象区域等。上述预设符号可以是“X”、“*”等，上述区域关键点可以是所要表示的对象区域的顶点、边缘点等。
本申请的一个实施例中，在获得对象区域时，可以将监控图像输入预先训练完成的对象区域检测模型，获得上述模型输出的各个对象的对象区域。上述对象区域检测模型可以是循环神经网络模型、卷积神经网络模型、深度神经网络模型等。
还可以利用边缘检测算子检测监控图像中的对象区域。上述边缘检测算子可以是Canny(坎尼)算子、Sobel(索贝尔)算子、Laplacian(拉普拉斯)算子等。
本申请的一个实施例中，可以利用坐标表示对象区域在监控图像中的位置。具体的，可以利用对象区域的边缘点在监控图像中的坐标表示对象区域的位置。例如，在对象区域为矩形的情况下，可以利用对象区域的顶点在监控图像中的坐标表示对象区域的位置。
还可以利用对象区域的标志点的坐标及对象区域的大小表示对象区域在监控图像中的位置。例如，在对象区域为矩形的情况下，可以将对象区域的左下角的顶点作为标志点，利用左下角顶点的坐标及矩形的宽和高表示对象区域的位置；在对象区域为圆形的情况下，可以将圆心作为标记点，利用圆心的坐标及对象区域的半径表示对象区域在监控图像中的位置。
除此之外，本申请的一个实施例中，上述第一信息还可以包括对象的特征信息。例如，在对象为车辆的情况下，第一信息还可以包括车辆的车身颜色、车牌号、车型、车辆品牌等；在对象为行人的情况下，第一信息还可以包括行人的标识、身份、年龄段等。
本申请的一个实施例中，在获得对象的特征信息时，可以将监控图像输入预先训练完成的神经网络模型，获得神经网络模型输出的第一信息，其中，上述神经网络模型可以是车牌号码识别模型、用户识别模型、车辆类型分类模型等。
另外，上述第一信息还可以包括对象经过待测区域的时间、对象的运动速度、对象的运动轨迹、对象的监控图像等。
步骤202，基于雷达获得经过待测区域的对象的第二信息。
其中，第二信息包括：对象的实际位置。
具体的，雷达可以向待测区域发射电磁波，位于电磁波覆盖范围内的对象接收到电磁波后会对电磁波进行反射，雷达接收对象反射的电磁波，雷达根据接收到的电磁波与发送的电磁波之间的多普勒频率、发射电磁波相对接收电磁波的时间间隔等信息，可以对对象进行定位，从而获得对象的实际位置。
本申请的一个实施例中，可以利用坐标表示对象的实际位置。例如，可以基于一体化检测设备建立坐标系，以一体化检测设备为原点，横轴表示对象距离一体化检测设备的横向距离，纵轴表示对象距离一体化检测设备的纵向距离。
除此之外，雷达还可以获得对象相对一体化检测设备的距离、对象的运动速度、对象的运动方向等信息，作为对象的第二信息。
本申请的一个实施例中，第二信息还可以包括：对象的经纬坐标。
具体的，可以基于雷达获得经过待测区域的对象的实际位置，根据预设的实际位置与经纬坐标的经纬转换关系，确定对象的实际位置对应的经纬坐标，将对象的实际位置、经纬坐标作为第二信息。这样在获得对象的经纬坐标后，便于在高精度的地图中对对象进行定位。
其中，可以通过以下方式获得经纬转换关系：
在待测区域中选择至少一个标记点，利用雷达测量标记点的实际位置，并利用GPS(Global Positioning System，全球定位系统)测量标记点的经纬坐标，根据雷达测量的标记点的实际位置和标记点的经纬坐标，可以计算得到实际位置与经纬坐标的经纬转换关系。
上述标记点的数量可以是2个、4个、5个等。标记点的位置可以靠近雷达发射轴，上述雷达发射轴为：雷达所发射的电磁波的轴线。标记点还可以位于待测区域中标志性物体所在的位置。例如，参见图4，图4为本申请实施例提供的一种标记点的示意图。在待测区域为道路、标记点的数量为两个的情况下，标记点A可以位于倒三角减速标识处，标记点B可以位于道路中心虚线处。这样选择的标记点位置明显，便于对标记点的实际位置、经纬坐标等进行测量。
本申请的一个实施例中，可以预先对雷达所测量的实际位置进行校正。具体的，可以在待测区域中选择至少一标记点，人工测量标记点的位置，作为参考位置，并基于雷达测量标记点的位置，作为待校正位置，确定待校正位置相对参考位置的距离偏差，在上述距离偏差大于预设的偏差阈值的情况下，对雷达进行校正，直至距离偏差小于或等于上述偏差阈值。其中，偏差阈值可以是0.1米、0.5米、1米等。这样可以提高雷达测量得到的对象的实际位置的准确度。
步骤203，根据预设的实际位置与图像位置的位置转换关系，确定基于雷达获得的对象的实际位置在监控图像中相应的图像位置。
具体的，可以预先获得图像采集器所采集的监控图像中图像位置与待测区域中实际位置之间的位置转换关系，并且由于基于雷达得到的对象与雷达自身的位置关系，与基于图像采集器得到的对象与图像采集器自身的位置关系相同，这样在利用雷达测量得到对象的实际位置后，可以按照上述转换关系对实际位置进行位置转换，直接确定基于雷达得到的对象的实际位置在图像采集器采集的监控图像中相应的图像位置。
本申请的一个实施例中，可以按照以下方式建立位置转换关系：
在待测区域中选择至少一标记点，测量标记点的实际位置，并获得上述标记点在监控图像中的图像位置，根据上述标记点的实际位置和图像位置，可以计算得到实际位置与图像位置的位置转换关系。
其中，在测量标记点的实际位置时，可以由人工测量，也可以利用雷达测量。
参见图5，图5为本申请实施例提供的一种位置转换的示意图。假设待测区域为图中黑框区域，可以选择黑框区域中的4个顶点作为标记点，沿顺时针方向依次将4个顶点作为标记点A、B、C、D，以一体化检测设备为原点，横向为X轴，纵向为Y轴，建立坐标系，测量标记点A、B、C、D的实际坐标，并获得图像采集器所采集的监控图像中标记点A、B、C、D的图像坐标，基于上述标记点A、B、C、D的实际坐标和图像坐标，获得实际坐标和图像坐标的转换关系，作为实际位置与图像位置的位置转换关系。
步骤204，对满足预设匹配条件的第一信息和第二信息进行融合，得到融合信息。
其中，预设匹配条件包括：第二信息中对象的实际位置在监控图像中相应的图像位置，处于基于第一信息中对象区域确定的匹配区域内。根据每一对象的对象区域可以确定该对象对应的匹配区域。每一对象对应的匹配区域可以是该对象的对象区域，也可以是该对象的对象区域周围的区域，还可以是该对象的对象区域的局部区域，本申请实施例并不对此进行限定。
具体的，对于满足预设匹配条件的第一信息和第二信息，由于第二信息中对象的实际位置在监控图像中相应的图像位置，可以表征第二信息所属对象在监控图像中所处的位置；基于第一信息中对象区域确定的匹配区域，表征第一信息所属对象在监控图像中的位置，在上述图像位置处于匹配区域的情况下，可以认为第一信息所属对象与第二信息所属对象在监控图像中的位置重合，即上述对象为同一对象，进而上述第一信息与第二信息为同一对象的信息。进一步的，将同一对象的第一信息和第二信息合并在一起，得到同一对象的融合信息。
本申请的一个实施例中，可以根据各个第一信息中的对象区域获得对应的各个匹配区域，查找每一第二信息中图像位置所处于的匹配区域，将上述图像位置对应的第二信息与所查找到的匹配区域对应的第一信息确定为同一对象的信息。
在获得各个对象对应的匹配区域后，还可以查找每一第一信息中基于对象区域确定的匹配区域所包含的图像位置，将该匹配区域对应的第一信息和所查找到的图像位置对应的第二信息确定为同一对象的信息。
本申请的一个实施例中，基于对象区域确定的匹配区域可以为：沿对象区域的底部区域进行扩展得到的区域。上述扩展的方式可以是沿底部区域横向扩展预设宽度、纵向扩展预设高度，上述预设宽度可以是预先设定的宽度，如5个像素点、10个像素点、20个像素点等，也可以是根据对象区域的宽度计算得到的宽度，例如，可以是对象区域的宽度的0.1倍、0.3倍、0.5倍等；同样的，预设高度可以是预先设定的高度，如4个像素点、8个像素点、15个像素点等，也可以是根据对象区域的高度计算得到的高度，例如，可以是对象区域的高度的0.2倍、0.6倍、1倍等。
参见图6，图6为本申请实施例提供的一种匹配区域的示意图。图6中实线区域表示对象区域，沿对象区域的底部区域的纵向上下分别扩展目标高度，即可得到虚线区域所表示的匹配区域，其中目标高度为对象区域的高度的0.5倍。
由于对象区域表征对象整体在监控图像中所占的区域，而图像位置表征雷达测量得到的对象在监控图像中的位置，由于雷达所发射的电磁波在接触到对象的目标端后即发生反射，上述目标端为对象靠近雷达的一端。这样雷达所测量的对象的实际位置为对象的目标端的位置，将对象的实际位置转换到图像位置后，图像位置表征的也是对象的目标端在监控图像中的位置。而对象区域中的底部区域表征的也是对象的目标端所处的区域。以对象为车辆为例，假设雷达正对车辆，这样基于雷达测量的车辆的实际位置为车头的位置，进而上述图像位置表征车辆的车头在监控图像中的位置，而车辆的对象区域表征车辆整体在监控图像中所占的区域，其中对象区域的底部区域表征的是车头所在的区域。这样基于对象区域的底部区域扩展得到的区域作为匹配区域，在确定位置重合的对象时的准确度更高，进而所确定的同一对象的准确度更高。
由此可见，应用上述实施例提供的信息融合方案，利用图像采集器和雷达共同检测对象的信息，并对所检测到的信息进行融合，这样获得信息的方式更加全面，从而可以提高所获得的对象的信息的准确度。
并且，在第一信息中包括对象的特征信息、第二信息中包括对象的经纬坐标、对象相对一体化检测设备的距离、对象的运动速度、对象的运动方向等信息的情况下，所融合得到的信息更加丰富。
在实际应用中，一体化检测设备可以架设在待测区域的上方，使得图像采集器和雷达正对待测区域。例如，在待测区域为商场出入口的情况下，一体化检测设备可以架设在商场出入口的上方。
参见图7，图7为本申请实施例提供的一种一体化检测设备的架设示意图。如图7所示，假设一体化检测设备应用在道路上，则上述一体化检测设备可以架设在道路上方，通过调整一体化检测设备的俯仰角，可以使得一体化检测设备正对待测区域。一体化检测设备便于安装和调试，可以提高获得对象信息的便捷性。
本申请的一个实施例中，对于上述步骤201，在获得监控图像中对象的第一信息时，可以按照第一预设时间间隔，获得图像采集器采集的待测区域的监控图像中对象的第一信息，分别将各个对象的第一信息添加至各个对象的跟踪序列中。
其中，每一对象的跟踪序列用于表示按照时间顺序记录的该对象的第一信息，即每一对象的跟踪序列中按照时间顺序记录有该对象的第一信息。上述第一预设时间间隔可以是80毫秒、100毫秒、300毫秒等。
具体的，一体化检测设备中的图像采集器可以持续采集待测区域的监控图像，每间隔第一预设时间间隔，可以对当前的监控图像进行识别，得到当前的监控图像中各个对象的第一信息，还可以获得各个对象的第一标识，按照对应的标识，分别将各个对象的第一信息添加到各个对象的跟踪序列中。
上述第一标识为基于图像采集器为各个对象创建的标识，在对象为车辆的情况下，第一标识可以是车辆的车牌号、编号等，在对象为行人的情况下，第一标识可以是行人的身份证号、身份标识等。
对于上述步骤202，在基于雷达获得经过待测区域的对象的第二信息时，可以按照第二预设时间间隔，基于雷达获得经过待测区域的对象的第二信息，将检测到的第二信息添加至雷达信息序列。
其中，上述第二预设时间间隔可以与第一预设时间间隔相等，也可以不同于上述第一预设时间间隔，第二预设时间间隔可以是100毫秒、150毫秒、500毫秒等。
具体的，雷达可以每间隔第二预设时间间隔检测经过待测区域的对象的第二信息，并识别各个对象的第二标识，按照标识将各个对象的第二信息添加至雷达信息序列。上述第二标识为基于雷达对各个对象创建的标识。
对于上述步骤204，在获得融合信息时，可以在获得对象的第一信息后，确定雷达信息序列中最新添加的第二信息中与该第一信息满足预设匹配条件的信息，将所确定的信息添加至该对象的跟踪序列，得到该对象的融合信息。
具体的，在获得第一信息后，可以在雷达信息序列中查找最新添加的第二信息，基于上述最新的第二信息，确定与上述第一信息满足预设匹配条件的第二信息，作为雷达信息序列中与上述第一信息属于同一对象的信息，进而将确定的第二信息添加至该对象的跟踪序列，得到该对象的融合信息。
本申请的一个实施例中，可以在每次获得对象的第一信息后，执行上述步骤204，这样可以及时获得对象的融合信息，提高获得融合信息的效率。
参见图8，图8为本申请实施例提供的第二种信息融合方法的流程示意图，该方法包括如下步骤801至步骤804。
步骤801，按照第一预设时间间隔，获得图像采集器采集的待测区域的监控图像中对象的第一信息，分别将各个对象的第一信息添加至各个对象的跟踪序列中。
步骤802，按照第二预设时间间隔，基于雷达获得经过待测区域的对象的第二信息，将检测到的第二信息添加至雷达信息序列。
步骤803，根据预设的实际位置与图像位置的位置转换关系，确定基于雷达获得的对象的实际位置在监控图像中相应的图像位置。
步骤804，在获得对象的第一信息后，确定雷达信息序列中最新添加的第二信息中与该第一信息满足预设匹配条件的信息，将所确定的信息添加至该对象的跟踪序列，得到该对象的融合信息。
本申请的一个实施例中，在获得对象的融合信息后，还可以根据所获得的各个对象的融合信息，确定待测区域的状态信息。
其中，待测区域的状态信息包括以下信息中的至少一种：对象流量、区域状况、待测区域的空间占有率、待测区域的时间占有率、对象间距、对象时距、对象运动速度、排队长度、对象类型。
上述对象流量表征单位时间内经过待测区域的对象的数量，具体的，可以根据融合信息统计预设时长内通过待测区域的对象的数量，计算上述数量与上述预设时长的比值，得到对象流量；
待测区域的空间占有率表征对象占据待测区域的情况，待测区域的时间占有率表征待测区域的空闲状况，具体可以根据融合信息中对象的位置信息确定对象所占的区域，进而根据上述区域获得待测区域的空间占有率，可以根据融合信息中对象经过待测区域的时间，计算待测区域的时间占有率；
区域状况可以是拥堵、畅通等，具体可以根据对象流量、空间占有率、时间占有率等确定，例如，在对象流量达到预设的流量阈值的情况下，认为待测区域拥堵，在上述对象流量未达到流量阈值的情况下，认为待测区域畅通。其中，当区域状况拥堵时，可以获得对象的排队长度，上述排队长度可以用于衡量待测区域内拥堵的车辆的数量，具体可以根据融合信息中对象的位置信息获得排队长度；
对象间距表征待测区域中对象之间的距离间隔，具体的，可以根据融合信息中对象的位置信息，计算对象之间的距离间隔，得到对象间距；
对象时距表征待测区域中不同对象经过该区域的时间间隔，具体的，可以根据融合信息统计预设时长内通过待测区域的对象的数量，计算上述预设时长与上述数量的比值，得到对象时距；
对象类型可以是行人、车辆、待测设备等，其中，在对象类型为车辆的情况下，对象类型可以进一步为大型车、小型车、中型车、非机动车等。具体的，在融合信息包括图像采集器采集的监控图像的情况下，可以按照对监控图像进行对象识别的方式，获得监控图像内对象的对象类型。
上述根据各个对象的融合信息确定待测区域的状态信息的方式，可以采用本领域中常用的计算方式获得，在此不作赘述。
本申请的一个实施例中，可以在满足预设的状态检测条件的情况下，根据所获得的各个对象的融合信息，确定待测区域的状态信息。上述状态检测条件可以是间隔预设的时间周期，上述时间周期可以是5分钟、15分钟、30分钟等，上述状态检测条件还可以是检测到对象到达预设的检测位置，如收费闸口、安检口等，上述状态检测条件还可以是接收到用户的检测指令等，本申请实施例并不对此进行限定。这样可以按照场景需要设置上述状态检测条件，在满足上述条件的情况下获得待测区域的状态信息，从而可以提高用户体验。
本申请的一个实施例中，在得到融合信息以及上述状态信息的情况下，可以将上述信息上传至处理平台，上述处理平台可以对上述信息进行处理，并针对相关人员进行预警。例如，在交通控制场景下，上述对象流量可以表征路况信息，在路况拥堵的情况下，上述处理平台可以向交管中心提出预警，提示工作人员疏通道路等。
参见图9，图9为本申请实施例提供的一种信息融合装置的结构示意图，所述装置应用于一体化检测设备，所述一体化检测设备包括：图像采集器和雷达，所述雷达与所述图像采集器的安装距离小于等于满足预设位置条件的最大距离，所述预设位置条件为：基于所述雷达得到的对象与雷达自身的位置关系，与基于所述图像采集器得到的对象与图像采集器自身的位置关系相同；所述装置包括：
第一信息获得模块901，用于获得所述图像采集器采集的待测区域的监控图像中对象的第一信息，其中，所述第一信息包括：对象区域，所述对象区域为：对象在所述监控图像中所占的区域；
第二信息获得模块902，用于基于所述雷达获得经过所述待测区域的对象的第二信息，其中，所述第二信息包括：对象的实际位置；
位置转换模块903，用于根据预设的实际位置与图像位置的位置转换关系，确定基于所述雷达获得的对象的实际位置在监控图像中相应的图像位置；
信息融合模块904，用于对满足预设匹配条件的第一信息和第二信息进行融合，得到融合信息，其中，所述预设匹配条件为：第二信息中对象的实际位置在监控图像中相应的图像位置，处于基于第一信息中对象区域确定的匹配区域内。
本申请的一个实施例中，所述第一信息获得模块901，具体用于：
按照第一预设时间间隔，获得所述图像采集器采集的待测区域的监控图像中对象的第一信息，分别将各个对象的第一信息添加至各个对象的跟踪序列中，其中，每一对象的跟踪序列用于表示按照时间顺序记录的该对象的第一信息；
所述第二信息获得模块902，具体用于：
按照第二预设时间间隔，基于所述雷达获得经过所述待测区域的对象的第二信息，将检测到的第二信息添加至雷达信息序列；
所述信息融合模块904，具体用于：
在获得对象的第一信息后，确定所述雷达信息序列中最新添加的第二信息中与该第一信息满足预设匹配条件的信息，将所确定的信息添加至该对象的跟踪序列，得到该对象的融合信息。
本申请的一个实施例中，基于对象区域确定的匹配区域为：沿所述对象区域的底部区域进行扩展得到的区域；或
所述第二信息还包括：对象的经纬坐标；
所述第二信息获得模块，具体用于：基于所述雷达获得经过所述待测区域的对象的实际位置；根据预设的实际位置与经纬坐标的经纬转换关系，确定对象的实际位置对应的经纬坐标，将对象的实际位置、经纬坐标作为所述第二信息；或
所述装置还包括状态信息获得模块，用于：
在获得所述融合信息后，根据所获得的各个对象的融合信息，确定所述待测区域的状态信息，其中，所述待测区域的状态信息包括以下信息中的至少一种：对象流量、区域状况、所述待测区域的空间占有率、所述待测区域的时间占有率、对象间距、对象时距、对象运动速度、排队长度、对象类型。
应用上述实施例提供的方案进行信息融合时，包括图像采集器和雷达的一体化检测设备中，雷达与图像采集器的安装距离小于等于满足预设位置条件的最大距离，预设位置条件为：基于雷达得到的对象与雷达自身的位置关系，与基于图像采集器得到的对象与图像采集器自身的位置关系相同，首先可以获得图像采集器采集的待测区域的监控图像中对象的第一信息，其中，第一信息包括：对象区域，对象区域为：对象在监控图像中所占的区域；基于雷达获得经过待测区域的对象的第二信息，其中，第二信息包括：对象的实际位置；根据预设的实际位置与图像位置的位置转换关系，确定基于雷达获得的对象的实际位置在监控图像中相应的图像位置；对满足预设匹配条件的第一信息和第二信息进行融合，得到融合信息，其中，预设匹配条件为：第二信息中对象的实际位置在监控图像中相应的图像位置，处于基于第一信息中对象区域确定的匹配区域内。
由此可见，上述实施例提供的方案中，利用了图像采集器和雷达共同检测对象的信息，并对所检测到的信息进行融合，这样获得信息的方式更加全面，从而可以提高所获得的对象的信息的准确度。
本申请实施例还提供了一种一体化检测设备，如图10所示，包括处理器1001、通信接口1002、存储器1003和通信总线1004、图像采集器1005、雷达1006，其中，所述雷达1006与所述图像采集器1005的安装距离小于等于满足预设位置条件的最大距离，所述预设位置条件为：基于所述雷达1006得到的对象与雷达自身的位置关系，与基于所述图像采集器1005得到的对象与图像采集器自身的位置关系相同；处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信，
存储器1003，用于存放计算机程序；
处理器1001，用于执行存储器1003上所存放的程序时，实现信息融合的步骤。
上述一体化检测设备提到的通信总线可以是外设部件互连标准(PeripheralComponent Interconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述一体化检测设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一信息融合方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一信息融合方法。
应用上述实施例提供的方案进行信息融合时，包括图像采集器和雷达的一体化检测设备中，雷达与图像采集器的安装距离小于等于满足预设位置条件的最大距离，预设位置条件为：基于雷达得到的对象与雷达自身的位置关系，与基于图像采集器得到的对象与图像采集器自身的位置关系相同，首先可以获得图像采集器采集的待测区域的监控图像中对象的第一信息，其中，第一信息包括：对象区域，对象区域为：对象在监控图像中所占的区域；基于雷达获得经过待测区域的对象的第二信息，其中，第二信息包括：对象的实际位置；根据预设的实际位置与图像位置的位置转换关系，确定基于雷达获得的对象的实际位置在监控图像中相应的图像位置；对满足预设匹配条件的第一信息和第二信息进行融合，得到融合信息，其中，预设匹配条件为：第二信息中对象的实际位置在监控图像中相应的图像位置，处于基于第一信息中对象区域确定的匹配区域内。
由此可见，上述实施例提供的方案中，利用了图像采集器和雷达共同检测对象的信息，并对所检测到的信息进行融合，这样获得信息的方式更加全面，从而可以提高所获得的对象的信息的准确度。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、一体化检测设备实施例、计算机可读存储介质实施例、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (7)
1.一种信息融合方法，其特征在于，所述方法应用于一体化检测设备，所述一体化检测设备包括：图像采集器和雷达，所述雷达与所述图像采集器的安装距离小于等于满足预设位置条件的最大距离，所述预设位置条件为：基于所述雷达得到的对象与雷达自身的位置关系，与基于所述图像采集器得到的对象与图像采集器自身的位置关系相同，所述一体化检测设备架设在道路上方；所述方法包括：
按照第一预设时间间隔，获得所述图像采集器采集的待测区域的监控图像中对象的第一信息，分别将各个对象的第一信息添加至各个对象的跟踪序列中，其中，每一对象的跟踪序列用于表示按照时间顺序记录的该对象的第一信息，所述第一信息包括：对象区域，所述对象区域为：对象在所述监控图像中所占的区域，所述第一信息还包括对象的特征信息、对象经过待测区域的时间、对象的运动速度、对象的运动轨迹、对象的监控图像；
按照第二预设时间间隔，基于所述雷达获得经过所述待测区域的对象的实际位置；根据预设的实际位置与经纬坐标的经纬转换关系，确定对象的实际位置对应的经纬坐标，将对象的实际位置、经纬坐标作为第二信息，将检测到的第二信息添加至雷达信息序列，其中，所述对象的实际位置的横轴坐标表示所述对象距离所述一体化检测设备的横向距离，所述对象的实际位置的纵轴坐标表示所述对象距离所述一体化检测设备的纵向距离，所述第二信息还包括对象相对一体化检测设备的距离、对象的运动速度、对象的运动方向，所述对象的实际位置为在以所述一体化检测设备为原点的坐标系下的实际坐标；
根据预设的实际位置与图像位置的位置转换关系，确定基于所述雷达获得的对象的实际位置在所述监控图像中相应的图像位置，所述图像位置为图像坐标；
在获得对象的第一信息后，确定所述雷达信息序列中最新添加的第二信息中与该第一信息满足预设匹配条件的信息，将所确定的信息添加至该对象的跟踪序列，得到该对象的融合信息，其中，所述预设匹配条件为：第二信息中对象的实际位置在所述监控图像中相应的图像位置，处于基于第一信息中对象区域确定的匹配区域内，所述匹配区域表征第一信息所属对象在监控图像中的位置。
2.根据权利要求1所述的方法，其特征在于，基于对象区域确定的匹配区域为：沿所述对象区域的底部区域进行扩展得到的区域。
3.根据权利要求1-2中任一项所述的方法，其特征在于，所述方法还包括：
在获得所述融合信息后，根据所获得的各个对象的融合信息，确定所述待测区域的状态信息，其中，所述待测区域的状态信息包括以下信息中的至少一种：对象流量、区域状况、所述待测区域的空间占有率、所述待测区域的时间占有率、对象间距、对象时距、对象运动速度、排队长度、对象类型。
4.一种信息融合装置，其特征在于，所述装置应用于一体化检测设备，所述一体化检测设备包括：图像采集器和雷达，所述雷达与所述图像采集器的安装距离小于等于满足预设位置条件的最大距离，所述预设位置条件为：基于所述雷达得到的对象与雷达自身的位置关系，与基于所述图像采集器得到的对象与图像采集器自身的位置关系相同，所述一体化检测设备架设在道路上方；所述装置包括：
第一信息获得模块，用于按照第一预设时间间隔，获得所述图像采集器采集的待测区域的监控图像中对象的第一信息，分别将各个对象的第一信息添加至各个对象的跟踪序列中，其中，每一对象的跟踪序列用于表示按照时间顺序记录的该对象的第一信息，所述第一信息包括：对象区域，所述对象区域为：对象在所述监控图像中所占的区域，所述第一信息还包括对象的特征信息、对象经过待测区域的时间、对象的运动速度、对象的运动轨迹、对象的监控图像；
第二信息获得模块，用于按照第二预设时间间隔，基于所述雷达获得经过所述待测区域的对象的实际位置；根据预设的实际位置与经纬坐标的经纬转换关系，确定对象的实际位置对应的经纬坐标，将对象的实际位置、经纬坐标作为第二信息，将检测到的第二信息添加至雷达信息序列，其中，所述对象的实际位置的横轴坐标表示所述对象距离所述一体化检测设备的横向距离，所述对象的实际位置的纵轴坐标表示所述对象距离所述一体化检测设备的纵向距离，所述第二信息还包括对象相对一体化检测设备的距离、对象的运动速度、对象的运动方向，所述对象的实际位置为在以所述一体化检测设备为原点的坐标系下的实际坐标；
位置转换模块，用于根据预设的实际位置与图像位置的位置转换关系，确定基于所述雷达获得的对象的实际位置在所述监控图像中相应的图像位置，所述图像位置为图像坐标；
信息融合模块，用于在获得对象的第一信息后，确定所述雷达信息序列中最新添加的第二信息中与该第一信息满足预设匹配条件的信息，将所确定的信息添加至该对象的跟踪序列，得到该对象的融合信息，其中，所述预设匹配条件为：第二信息中对象的实际位置在所述监控图像中相应的图像位置，处于基于第一信息中对象区域确定的匹配区域内，所述匹配区域表征第一信息所属对象在监控图像中的位置。
5.根据权利要求4所述的装置，其特征在于，基于对象区域确定的匹配区域为：沿所述对象区域的底部区域进行扩展得到的区域；或
所述装置还包括状态信息获得模块，用于：
在获得所述融合信息后，根据所获得的各个对象的融合信息，确定所述待测区域的状态信息，其中，所述待测区域的状态信息包括以下信息中的至少一种：对象流量、区域状况、所述待测区域的空间占有率、所述待测区域的时间占有率、对象间距、对象时距、对象运动速度、排队长度、对象类型。
6.一种一体化检测设备，其特征在于，包括图像采集器、雷达、处理器、通信接口、存储器和通信总线，其中，所述雷达与所述图像采集器的安装距离小于等于满足预设位置条件的最大距离，所述预设位置条件为：基于所述雷达得到的对象与雷达自身的位置关系，与基于所述图像采集器得到的对象与图像采集器自身的位置关系相同；处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-3任一所述的方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-3任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110008037.9A CN112784707B (zh) | 2021-01-05 | 2021-01-05 | 一种信息融合方法、装置、一体化检测设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110008037.9A CN112784707B (zh) | 2021-01-05 | 2021-01-05 | 一种信息融合方法、装置、一体化检测设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112784707A CN112784707A (zh) | 2021-05-11 |
| CN112784707B true CN112784707B (zh) | 2024-05-07 |
Family
ID=75755448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110008037.9A Active CN112784707B (zh) | 2021-01-05 | 2021-01-05 | 一种信息融合方法、装置、一体化检测设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112784707B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104914863A (zh) * | 2015-05-13 | 2015-09-16 | 北京理工大学 | 一种一体式无人运动平台环境理解系统及其工作方法 |
| CN107703506A (zh) * | 2017-08-31 | 2018-02-16 | 安徽四创电子股份有限公司 | 一种一体化摄像雷达及其监测预警方法 |
| CN110888135A (zh) * | 2018-08-15 | 2020-03-17 | 比亚迪股份有限公司 | 目标识别的方法、装置以及存储介质和车辆 |
| CN111591287A (zh) * | 2019-02-04 | 2020-08-28 | 丰田自动车株式会社 | 碰撞前控制装置 |
-
2021
- 2021-01-05 CN CN202110008037.9A patent/CN112784707B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104914863A (zh) * | 2015-05-13 | 2015-09-16 | 北京理工大学 | 一种一体式无人运动平台环境理解系统及其工作方法 |
| CN107703506A (zh) * | 2017-08-31 | 2018-02-16 | 安徽四创电子股份有限公司 | 一种一体化摄像雷达及其监测预警方法 |
| CN110888135A (zh) * | 2018-08-15 | 2020-03-17 | 比亚迪股份有限公司 | 目标识别的方法、装置以及存储介质和车辆 |
| CN111591287A (zh) * | 2019-02-04 | 2020-08-28 | 丰田自动车株式会社 | 碰撞前控制装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112784707A (zh) | 2021-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11113966B2 (en) | Vehicular information systems and methods | |
| CA2916902C (en) | Method of autonomous lane identification for a multilane vehicle roadway | |
| US10621795B2 (en) | Method of autonomous lane identification for a multilane vehicle roadway | |
| JP2016180980A (ja) | 情報処理装置、プログラム、及び地図データ更新システム | |
| CN104748736A (zh) | 一种定位方法及装置 | |
| JP2017102672A (ja) | 地理位置情報特定システム及び地理位置情報特定方法 | |
| US10109191B2 (en) | Method of quickly detecting road distress | |
| US20210398425A1 (en) | Vehicular information systems and methods | |
| CN113192217B (zh) | 逃费检测方法、装置、计算机设备和介质 | |
| CN112633812B (zh) | 货运车辆的轨迹分段方法、装置、设备及存储介质 | |
| Samie et al. | Potential applications of connected vehicles in pavement condition evaluation: A brief review | |
| CN112784707B (zh) | 一种信息融合方法、装置、一体化检测设备及存储介质 | |
| CN112133104A (zh) | 一种车辆信息检测方法、装置、系统及存储介质 | |
| CN111709354B (zh) | 识别目标区域的方法、装置、电子设备和路侧设备 | |
| CN111709357B (zh) | 识别目标区域的方法、装置、电子设备和路侧设备 | |
| CN111354191B (zh) | 车道行车状况确定方法、装置、设备及存储介质 | |
| JP7232727B2 (ja) | 地図データ管理装置及び地図データ管理方法 | |
| Jomrich et al. | Lane Accurate Detection of Map Changes based on Low Cost Smartphone Data. | |
| CN111709355B (zh) | 识别目标区域的方法、装置、电子设备和路侧设备 | |
| CN111709356B (zh) | 识别目标区域的方法、装置、电子设备和路侧设备 | |
| CN115620069A (zh) | 目标识别方法、装置、终端设备及存储介质 | |
| CN115547036A (zh) | 轨迹过滤方法、装置、电子设备、存储介质及车辆 | |
| Rosenbauma et al. | AUTOMATIC TRAFFIC MONITORING FROM AN AIRBORNE WIDE ANGLE CAMERA SYSTEM | |
| WO2018232672A1 (zh) | 一种车辆行驶道路确定方法和装置 | |
| TW201349179A (zh) | 無線終端設備通過收費站之判斷方法與系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |