CN114972935A - 一种信息处理方法及相关设备 - Google Patents
一种信息处理方法及相关设备 Download PDFInfo
- Publication number
- CN114972935A CN114972935A CN202110221913.6A CN202110221913A CN114972935A CN 114972935 A CN114972935 A CN 114972935A CN 202110221913 A CN202110221913 A CN 202110221913A CN 114972935 A CN114972935 A CN 114972935A
- Authority
- CN
- China
- Prior art keywords
- information
- touch
- target
- array
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 50
- 238000003672 processing method Methods 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 343
- 238000000034 method Methods 0.000 claims abstract description 103
- 230000004927 fusion Effects 0.000 claims abstract description 64
- 238000005192 partition Methods 0.000 claims description 199
- 238000012545 processing Methods 0.000 claims description 193
- 238000013507 mapping Methods 0.000 claims description 47
- 239000011159 matrix material Substances 0.000 claims description 28
- 230000015572 biosynthetic process Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 35
- 239000012634 fragment Substances 0.000 description 18
- 230000002093 peripheral effect Effects 0.000 description 18
- 230000001133 acceleration Effects 0.000 description 10
- 238000003491 array Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 8
- 238000012216 screening Methods 0.000 description 7
- 238000002372 labelling Methods 0.000 description 4
- 125000006850 spacer group Chemical group 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
- G01S7/4004—Means for monitoring or calibrating of parts of a radar system
- G01S7/4026—Antenna boresight
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- Electromagnetism (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
- Position Input By Displaying (AREA)
Abstract
本申请实施例公开了一种信息处理方法以及相关设备,用于提高检测信息融合的效率。本申请实施例方法包括:获取来自多个传感器的多个检测信息,检测信息包括不同传感器对同一目标物的检测信息。根据多个检测信息获取对应的阵型信息,并根据多个阵型信息确定目标阵型信息,目标阵型信息表示不同传感器检测到的针对同一目标物集合的检测信息。根据每个目标物在目标物集合中的阵位信息,将多个阵型信息中同一目标物对应的检测信息融合。
Description
技术领域
本申请实施例涉及数据处理领域,尤其涉及一种信息处理方法以及相关设备。
背景技术
针对同一目标物,不同类型的传感器所能检测的特征信息并不相同,例如摄像头可以检测目标物的外观特征,雷达可以检测目标物的运动速度与距离等。针对同一目标物,为了获取该目标物的更多特征信息,需要将不同传感器的检测结果合并,得到该目标物的融合检测信息。
为了实现不同类型传感器的检测结果之间的融合,需要对齐不同传感器间的空间与时间。空间的对齐过程如下:获取各传感器所能检测到的画面,在实际空间中确定标定点,将标定点在实际空间中的位置,与标定点在画面中显示的位置进行关联。通过对多个标定点进行以上操作,建立实际空间与各传感器画面之间的映射关系,也就建立了各传感器画面之间的映射关系。再将不同传感器的时间对齐,当在同一时刻上,某一传感器画面上的某一点检测到物体信息,在其他传感器画面上与该点对应的点上也检测到物体信息,就可以确定这两个信息为同一物体的信息。因此就可以将不同传感器针对该物体的检测结果合并到一起,作为该物体的融合检测信息。
由于该种方法需要人工标定实现,导致信息融合的效率低下。
发明内容
本申请实施例提供了一种信息处理方法,用于实现不同传感器所检测到的检测信息的融合,以提高检测信息融合的效率。
本申请实施例第一方面提供了一种信息处理方法,该方法应用于监测系统中的处理设备,该检测系统还包括多个传感器。其中,多个传感器中的每个传感器所获取的检测信息中,均包括对相同的多个目标物的检测信息,该方法包括:
处理设备从上述多个传感器获取多个检测信息,其中,多个检测信息与多个传感器一一对应,多个检测信息中的每个检测信息,均为该检测信息所对应的传感器检测到的。处理设备根据该多个检测信息确定对应的多个阵型信息,其中,多个阵型信息与多个检测信息一一对应,每个阵型信息用于描述该阵型信息所对应的传感器检测到的物体之间的位置关系,并且,该物体中包括前述目标物。处理设备根据多个阵型信息确定目标阵型信息,该目标阵型信息与前述多个阵型信息的重合度均高于预设阈值,其中,目标阵型信息用于描述前述多个目标物之间的位置关系,并且,目标阵型信息中包括每个目标物的阵位信息。处理设备根据每个目标物中任一目标物的阵位信息,将多个阵型信息中同一目标物对应的检测信息融合。
在本申请实施例中,通过来自不同传感器的检测信息,分别确定传感器所检测到的物体之间的阵型信息,根据与每个阵型信息的重合度,确定目标阵型信息,从而就确定了目标物。由于目标阵型信息是不同传感器检测出的具有相似特征的阵型信息,反映了相同的目标物在不同传感器处检测到的信息,因此就可以根据目标阵型信息,确定目标阵型信息中所反映的任意物体在不同传感器处的检测结果之间的对应关系,根据该对应关系就能实现将不同传感器对同一物的检测结果融合。相较于人工标定的方法,本申请实施例通过阵型信息获取融合检测信息的方法,得到融合检测信息的效率可以大幅提升。
并且,在信息采集方面,本申请实施例的方法只需要提供不同传感器的检测信息即可,并不需要占用被观测的场地,扩展了检测信息融合的适用范围。
结合第一方面,本申请实施例第一方面的第一种实施方式中,检测信息可以包括位置特征集,位置特征集可以包括多个位置特征,位置特征用于表示对应传感器所检测到的物体,与该物体四周的物体之间的位置关系。
在本申请实施例中,检测信息中包括位置特征集,通过位置特征集可以准确地反映传感器所检测到的物体之间的位置关系,也就可以通过物体之间的位置关系确定出准确的阵型信息,从何准确地将来自不同传感器的针对同一目标物的检测信息融合。
结合第一方面的第一种实施方式,本申请实施例第一方面的第二种实施方式中,处理设备根据多个检测信息确定对应的多个阵型信息,具体可以包括:处理设备根据多个位置特征集获取对应的多个触线信息,其中,多个触线信息中的每个触线信息,均用于描述对应传感器所检测到的物体触碰基准线的信息,前述多个触线信息与前述多个位置特征集一一对应。处理设备根据前述多个触线信息,分别确定对应的多个阵型信息,其中,前述多个触线信息与前述多个阵型信息一一对应。
在本申请实施例中,通过位置特征集获取触线信息,由于触线信息是物体触碰基准线的信息,触碰基准线可以获取触碰时间、触碰间隔、触碰位置等包括具体数值或具体位置特征的数据。因此,通过多个目标物触线的具体数值或具体位置特征,就可以获取触线数据的集合,例如多个触碰时间组成的数列、多个触碰间隔组成的数列或多个触碰位置组成的分布关系等。由于上述触线数据的集合均具有具体的数值或位置特征,不需要再进行其他的数据处理就可以直接运算,从而可以快速地确定出重合度符合预设阈值的目标阵型信息。
结合第一方面的第二种实施方式,本申请实施例第一方面的第三种实施方式中,可以根据触碰分区序列确定目标阵型信息,具体的:
触线信息包括对应传感器所检测到的物体触碰基准线的时序信息和触碰点分区信息,触碰点分区信息表示物体触碰基准线的触碰点,在基准线中的分区信息;阵型信息包括触碰分区序列,触碰分区序列表示对应传感器所检测到的物体触碰基准线的分区位置的前后时序关系。
处理设备根据多个阵型信息确定目标阵型信息,具体可以包括:处理设备获取多个触碰分区序列的第一子序列,并将第一子序列作为目标阵型信息,其中,第一子序列与多个触碰分区序列的重合度均高于第一阈值。
处理设备根据前述每个目标物的阵位信息,将前述多个阵型信息中同一目标物对应的检测信息融合,具体可以包括:处理设备根据每个目标物在第一子序列中对应的触碰点分区信息,将多个触碰分区序列中同一目标物对应的检测信息融合。
在本申请实施例中,时序信息表示不同目标物触碰基准线的前后关系,触碰点分区信息表示不同目标物触碰基准线的左右关系,通过表示前后关系的时序信息与表示左右关系的触碰点分区信息,将多个目标物触碰基准线的位置关系,体现在触碰分区序列中。由于时序信息与触碰点分区信息均为具体的数值,触碰分区序列即为反映目标物之间位置关系的数值的集合。根据来自不同传感器的检测信息,获取对应的触碰分区序列。得到的多个触碰分区序列即为多个数值集合,确定数值集合的重合度满足预设阈值,只需要比对对应的数值即可,不需要进行复杂的运算,提升了匹配目标阵型信息的效率。
结合第一方面的第三种实施方式,本申请实施例第一方面的第四种实施方式中,可以通过最长公共子序列(longest common sequence,LCS)算法,根据源自于不同传感器的检测信息的多个触碰分区序列,确定与每个触碰分区序列的重合度均高于第一阈值的第一子序列。在本申请实施例中,可以通过LCS算法获取多个触碰分区序列的所有公共序列,从而实现对多个触碰分区序列的相同位置特征的匹配。由于LCS算法计算的是最长的公共子序列,因此,前述通过LCS算法确定的第一子序列可以包括,与前述多个触碰分区序列的重合度均高于第一阈值的子序列中,长度最长的子序列。
在本申请实施例中,可以通过LCS算法确定出多个触碰分区序列的所有公共序列,从而匹配出所有具有相同位置特征的触碰分区序列的片段。若有多个片段为公共序列,在这些公共序列之中夹杂着一些非公共序列,就可以将这些夹杂在公共序列中的非公共序列标识出来。其中,非公共序列在不同传感器中体现了不同的位置关系。在这种情况下,可以认为公共序列中夹杂的非公共序列,其出现的原因为传感器的误检或漏检,从而对非公共序列容错,即,将非公共序列在不同传感器检测到的目标物对应,实现检测信息的融合。
在本申请实施例中,通过LCS算法确定出的第一子序列,可以包括与多个触碰分区序列的重合度均高于第一阈值的子序列中,长度最长的子序列。由于目标物之间的位置关系可能存在偶然性的相似,确定出的子序列长度越长,具有相似位置关系的可能性越低,就越能规避这种偶然性,通过LCS算法确定出最长的子序列,就能准确地确定出相同目标物集合的目标阵型信息。例如,两个目标物的位置关系有可能存在偶然性的相似,但若将标准提升为十个目标物之间的位置关系具有高重合度,具有相似位置关系的十个目标物的可能性相较于具有相似位置关系的两个目标物的可能性将大大降低,因此若通过LCS算法确定出十个目标物的第一子序列,这十个目标物为不同传感器针对相同的十个目标物的检测结果的可能性更大,降低了匹配错误的可能性。
结合第一方面的第二种实施方式,本申请实施例第一方面的第五种实施方式中,可以根据触碰位置序列确定目标阵型信息,具体的:
触线信息包括对应传感器所检测到的物体触碰基准线的时序信息和触碰点位置信息,触碰点位置信息表示物体触碰基准线的触碰点,在基准线中的位置信息,体现了目标物之间的左右位置关系;阵型信息包括触碰位置序列,触碰位置序列表示对应传感器所检测到的物体触碰基准线的位置的前后时序关系。
处理设备根据多个阵型信息确定目标阵型信息,具体可以包括:处理设备获取多个触碰位置序列的第三子序列,并将第三子序列作为目标阵型信息,其中,第三子序列与多个触碰位置序列的重合度均高于第三阈值。
处理设备根据前述每个目标物的阵位信息,将前述多个阵型信息中同一目标物对应的检测信息融合,具体可以包括:处理设备根据每个目标物在第三子序列中对应的触碰点位置信息,将多个触碰位置序列中同一目标物对应的检测信息融合。
在本申请实施例中,触碰点位置信息表示不同目标物触碰基准线的左右关系,并且可以是连续的数值或数据。因此,基于该连续的数值或数据,就可以更准确的将目标物的阵型信息区别于其他非目标物的阵型信息,从而更加准确地实现针对同一目标物的检测信息的融合。
并且,可以通过该连续的数值或数据,分析或计算出目标物之间的运动趋势,除了运动趋势,还可以计算出其他信息,例如目标物的运动轨迹等,此处不做限定。
结合第一方面的第二种实施方式,本申请实施例第一方面的第六种实施方式中,可以根据触碰间隔序列确定目标阵型信息,具体的:
触线信息包括对应传感器所检测到的物体触碰基准线的时序信息和触碰时间间隔信息,其中,触碰时间间隔信息表示物体触碰基准线的前后时间间隔;阵型信息包括触碰间隔序列,触碰间隔序列表示对应传感器所检测到的物体触碰基准线的时间间隔的分布。
处理设备根据多个阵型信息确定目标阵型信息,具体可以包括:处理设备获取多个触碰间隔序列的第二子序列,并将第二子序列作为目标阵型信息,其中,第二子序列与多个触碰间隔序列的重合度均高于第二阈值。
处理设备根据每个目标物的阵位信息,将至少两个阵型信息中同一目标物对应的检测信息融合,包括:处理设备根据每个目标物在第二子序列中对应的触碰时间分布信息,将至少两个触碰间隔序列中同一目标物对应的检测信息融合。
在本申请实施例中,时序信息表示不同目标物触碰基准线的前后关系,触碰时间间隔信息表示不同目标物触碰基准线的前后时间间隔,通过表示前后关系的时序信息与表示前后时间间隔的触碰时间间隔信息,将多个目标物触碰基准线的位置关系,体现在触碰间隔序列中。由于时序信息与触碰时间间隔信息均为具体的数值,触碰间隔序列即为反映目标物之间位置关系的数值的集合。根据来自不同传感器的检测信息,获取对应的触碰间隔序列。得到的多个触碰间隔序列即为多个数值集合,确定数值集合的重合度满足预设阈值,只需要比对对应的数值即可,不需要进行复杂的运算,提升了匹配目标阵型信息的效率。
结合第一方面的第六种实施方式,本申请实施例第一方面的第七种实施方式中,可以通过LCS算法,根据源自于不同传感器的检测信息的多个触碰间隔序列,确定与每个触碰间隔序列的重合度均高于第二阈值的第二子序列。在本申请实施例中,可以通过LCS算法获取多个触碰间隔序列的所有公共序列,从而实现对多个触碰间隔序列的相同位置特征的匹配。由于LCS算法计算的是最长的公共子序列,因此,前述通过LCS算法确定的第二序列可以包括,与前述多个触碰间隔序列的重合度均高于第二阈值的子序列中,长度最长的子序列。
在本申请实施例中,可以通过LCS算法确定出多个触碰间隔序列的所有公共序列,从而匹配出所有具有相同位置特征的触碰间隔序列的片段。若有多个片段为公共序列,在这些公共序列之中夹杂着一些非公共序列,就可以将这些夹杂在公共序列中的非公共序列标识出来。其中,非公共序列在不同传感器中体现了不同的位置关系。在这种情况下,可以认为公共序列中夹杂的非公共序列,其出现的原因为传感器的误检或漏检,从而对非公共序列容错,即,将非公共序列在不同传感器检测到的目标物对应,实现检测信息的融合。
在本申请实施例中,通过LCS算法确定出的第二子序列,可以包括与多个触碰间隔序列的重合度均高于第二阈值的子序列中,长度最长的子序列。由于目标物触碰基准线的时间间隔可能存在偶然性的相似,确定出的子序列长度越长,具有相似时间间隔的可能性越低,就越能规避这种偶然性,通过LCS算法确定出最长的子序列,就能准确地确定出相同目标物集合的目标阵型信息。例如,两个目标物触碰基准线的时间间隔有可能存在偶然性的相似,但若将标准提升为十个目标物触碰基准线的时间间隔具有高重合度,具有相似时间间隔的十个目标物的可能性相较于具有相似时间间隔的两个目标物的可能性将大大降低,因此若通过LCS算法确定出十个目标物的第二子序列,这十个目标物为不同传感器针对相同的十个目标物的检测结果的可能性更大,降低了匹配错误的可能性。
结合第一方面的第二种实施方式,本申请实施例第一方面的第八种实施方式中,可以根据触碰分区序列和触碰间隔序列确定目标阵型信息,具体的:
触线信息包括对应传感器所检测到的物体触碰基准线的时序信息,触碰点分区信息和触碰时间间隔信息,其中,触碰点分区信息表示物体触碰基准线的触碰点在基准线中的分区信息,触碰时间间隔信息表示物体触碰基准线的前后时间间隔;阵型信息包括触碰分区序列和触碰间隔序列,其中,触碰分区序列表示对应传感器所检测到的物体触碰基准线的分区位置的前后时序关系,触碰间隔序列表示对应传感器所检测到的物体触碰基准线的时间间隔的分布。
处理设备根据多个阵型信息确定目标阵型信息,具体可以包括:
处理设备获取至少两个触碰分区序列的第一子序列,其中,第一子序列与多个触碰分区序列的重合度均高于第一阈值;处理设备获取至少两个触碰间隔序列的第二子序列,其中,第二子序列与多个触碰间隔序列的重合度均高于第二阈值;处理设备确定第一物体集合与第二物体集合的交集,并将该交集作为目标物体集合,其中,第一物体集合为第一子序列所对应的物体的集合,第二物体集合为第二子序列所对应的物体的集合;处理设备将目标物体集合的触碰分区序列和触碰间隔序列作为目标阵型信息。
在本申请实施例中,通过第一子序列所对应的第一物体集合,与第二子序列所对应的第二物体集合,确定第一物体集合与第二物体集合的交集,并将该交集作为目标物体集合。该交集中的物体对应于第一子序列,即根据不同传感器的检测信息,都能获取相似的触碰分区信息;同时该交集中的物体对应于第二子序列,也就是说根据不同传感器的检测信息,同时具有相似的触碰时间间隔信息。若根据多个传感器的检测信息,可以获取相似的多种表示物体位置关系的信息,则比只能获取相似的一种表示物体位置关系的信息,检测信息所对应的物体集合为同一物体集合的可能性更高。因此,通过筛选多个子序列对应物体的交集,就可以更准确的将目标物的阵型信息区别于其他非目标物的阵型信息,从而更加准确地实现针对同一目标物的检测信息的融合。
在本申请实施例中,除了取第一子序列对应的物体与第二子序列对应的物体的交集,也可以取其他子序列对应的物体之间的交集,例如第一子序列与第三子序列各自对应的物体之间的交集,或第二子序列与第三子序列各自对应的物体之间的交集,或其他子序列所对应的物体,与第一至第三子序列中任一子序列所对应的物体之间的交集。其中,其他子序列也用于表示物体之间的位置关系,例如物体之间的距离或方向等,此处不做限定。通过取不同子序列所对应物体之间的交集,可以灵活的选取合适的子序列进行运算,提升了方案的可行性与灵活性。
在本申请实施例中,除了取两个子序列之各自对应物体之间的交集,也可以取更多子序列各自对应物体之间的交集,例如取第一子序列、第二子序列和第三子序列各自对应物体之间的交集。取的子序列数量越多,说明根据多个传感器的检测信息,可以获取相似的表示物体位置关系的信息的种类越多,检测信息所对应的物体集合为同一物体集合的可能性更高。因此,通过筛选多个子序列对应物体的交集,就可以更准确的将目标物的阵型信息区别于其他非目标物的阵型信息,从而更加准确地实现针对同一目标物的检测信息的融合。
结合第一方面的第一种实施方式,本申请实施例第一方面的第九种实施方式中,可以通过目标群分布图确定目标阵型信息,具体的:
阵型信息包括目标群分布图,其中,目标群分布图表示物体之间的位置关系。
处理设备根据多个检测信息确定对应的多个阵型信息,具体可以包括:处理设备根据多个位置特征集,获取对应的多个初始目标群分布图,其中,初始目标群分布图表示对应传感器所检测到的物体之间的位置关系;处理设备通过视角变化算法,获取多个初始目标群分布图的标准视角图,并将多个标准视角图作为对应的多个目标群分布图,其中,目标群分布图的阵位信息包括目标物的目标物分布信息,目标物分布信息表示目标物在对应传感器所检测到的物体中的位置。
处理设备根据至少两个阵型信息确定目标阵型信息,具体可以包括:处理设备获取多个目标群分布图的图像特征集,并将图像特征集作为目标阵型信息,其中,图像特征集与多个目标群分布图的重合度均高于第三阈值。
处理设备根据每个目标物的阵位信息,将多个阵型信息中同一目标物对应的检测信息融合,具体可以包括:处理设备根据每个目标物在图像特征集中对应的目标物分布信息,将多个目标群分布图中同一目标物对应的检测信息融合。
在本申请实施例中,根据来自不同传感器的检测信息获取对应的多个初始目标群分布图,并通过视角变化算法获取对应的多个目标群分布图,再获取多个目标群分布图的图像特征集,并将该图像特征集作为目标阵型信息。通过来源于多个传感器的多个目标群分布图,确定与多个目标群分布图的重合度均高于预设阈值的图像特征集。由于图像特征可以直观地反映图像中所显示物体之间的位置关系,因此通过多个目标群分布图确定图像特征集,可以直观地反映具有相似位置关系的检测结果,也就可以直观地将不同传感器对同一目标群的检测结果匹配出来,从而准确地实现检测信息的融合。
结合第一方面的第九种实施方式,本申请实施例第一方面的第十种实施方式中,可以结合基准线实现图像特征集的获取,具体的:
处理设备可以根据多个位置特征集,获取位置特征集对应的目标物的多个触线信息,其中,多个触线信息中的每个触线信息,均用于描述对应传感器所检测到的物体触碰基准线的信息,多个触线信息与多个位置特征集一一对应。
处理设备根据多个位置特征集,获取对应的多个初始目标群分布图,具体可以包括:处理设备根据多个触线信息,获取对应的多个初始目标群分布图,其中,多个初始目标群分布图中的物体,具有相同的触线信息。
在本申请实施例中,由于近似时间的图像之间相似度高,若不确定相同的时间,则在匹配来源于不同传感器的初始目标物分布图的时候,将会引入近似时间的初始目标群分布图的干扰,导致分布图匹配错误,图像特征集获取错误,从而将不同时刻的检测信息融合,造成检测信息融合错误。通过触线信息即可避免这种错误,具体的,通过触线信息确定多个初始目标群分布图,该多个初始目标群分布图具有相同的触线信息,表示该多个初始目标群分布图是在相同时间获取的,就能保证融合的检测信息是在同一时刻获取的,提升检测信息融合的准确性。
结合第一方面,第一方面的第一种实施方式至第十种实施方式中的任一种,本申请实施例第一方面的第十一种实施方式中,还可以实现不同传感器之间空间坐标系的映射,具体的:
多个传感器包括第一传感器和第二传感器,其中,第一传感器对应的空间坐标系为标准坐标系,第二传感器对应的空间坐标系为目标坐标系,该方法还可以包括:
处理设备根据融合检测信息确定多个标准点信息与多个目标点信息之间的映射关系,其中,融合检测信息为将多个阵型信息中同一目标物对应的检测信息融合得到的,标准点信息表示目标物体集合中各物体在标准坐标系中的位置信息,目标点信息表示目标物体集合中各物体在所述目标坐标系中的位置信息,其中,多个标准点信息与多个目标点信息一一对应;处理设备根据标准点信息与目标点信息之间的映射关系,确定标准坐标系与目标坐标系之间的映射关系。
在本申请实施例中,通过融合检测信息确定多个标准点信息与多个目标点信息之间的映射关系,并通过多个标准点信息与多个目标点信息之间的映射关系确定标准坐标系与目标坐标系之间的映射关系。本申请实施例所述的方法,只要能获取来自不同传感器的检测信息,即可实现不同传感器之间坐标系的映射。后续的目标阵型信息的确定,点信息映射等步骤都可以由处理设备自行实现,不需要人工标定与映射。通过处理设备匹配目标阵型信息,设备运算的准确性提升了点信息映射的准确性。同时,只要能获取来自不同传感器的检测信息,即可实现检测信息的融合以及坐标系的映射,避免了人工标定带来的场景限制,保证了检测信息融合的准确性与普适性。
结合第一方面,第一方面的第一种实施方式至第十一种实施方式中的任一种,本申请实施例第一方面的第十二种实施方式中,还可以实现不同传感器之间时间轴的对齐,具体的,该方法还可以包括:
处理设备根据对多个阵型信息中同一目标物对应的检测信息的融合结果,计算多个传感器的时间轴之间的时间差。
在本申请实施例中,通过对同一目标物的检测信息的融合结果,计算多个传感器的时间轴之间的时间差,就可以根据该时间差对齐不同传感器的时间轴。本申请实施例提供的时间轴对齐方法,只要能获取不同传感器的检测信息即可实现,不需要多个传感器在同一对时系统中,扩展了不同传感器的时间轴对齐的应用场景,同时也扩大了信息融合的适用范围。
结合第一方面,第一方面的第一种实施方式至第十二种实施方式中的任一种,本申请实施例第一方面的第十三种实施方式中,还可以实现对传感器的纠错或筛选,具体的,多个传感器包括标准传感器和待测传感器,该方法还可以包括:
处理设备获取目标阵型信息在标准传感器对应的标准阵型信息;处理设备获取目标阵型信息在待测传感器对应的待测阵型信息;处理设备确定待测阵型信息与标准阵型信息的差异;处理设备根据前述差异和标准阵型信息,获取错误参数,其中,错误参数用于指示待测阵型信息的误差,或用于指示待测传感器的性能参数。
在本申请实施例中,将标准传感器作为检测的标准,根据待测阵型信息与标准阵型信息的差异获取错误参数。当该错误参数用于指示待测阵型信息的误差时,可以通过错误参数与标准阵型信息,将待测阵型信息中错误参数所对应的信息改正;当错误参数用于指示待测传感器的性能参数时,可以确定待测传感器的误检率等性能参数,实现对待测传感器的数据化分析,以实现对传感器的选择。
本申请第二方面提供了一种处理设备,该处理设备位于检测系统中,该检测系统还包括至少两个传感器,其中,至少两个传感器所获取的检测信息中包括至少两个传感器分别对相同的至少两个目标物的检测信息,该处理设备包括:处理器和收发器。
其中,收发器用于,从至少两个传感器获取至少两个检测信息,其中,至少两个传感器与至少两个检测信息一一对应。
其中,处理器用于:根据至少两个检测信息确定对应的至少两个阵型信息,其中,每个阵型信息用于描述对应传感器所检测到的物体之间的位置关系,其中,物体中包括前述目标物;根据至少两个阵型信息确定目标阵型信息,目标阵型信息与至少两个阵型信息中的每个阵型信息的重合度均高于预设阈值,目标阵型信息用于描述至少两个目标物之间的位置关系,目标阵型信息中包括每个目标物的阵位信息;根据每个目标物中任一目标物的阵位信息,将至少两个阵型信息中同一目标物对应的检测信息融合。
该处理设备用于执行前述第一方面的方法。
第二方面的有益效果参见第一方面,此处不再赘述。
本申请实施例第三方面提供了一种处理设备,该设备包括:处理器和与处理器耦合的存储器。存储器用于存储可执行指令,可执行指令用于指示处理器执行前述第一方面的方法。
本申请实施例第四方面提供了一种计算机可读存储介质,该计算机可读存储介质中保存有程序,当所述计算机执行所述程序时,执行前述第一方面所述的方法。
本申请实施例第五方面提供了一种计算机程序产品,当该计算机程序产品在计算机上执行时,所述计算机执行前述第一方面所述的方法。
附图说明
图1a为多传感器的时间轴对齐的示意图;
图1b为多传感器的空间坐标系对齐的示意图;
图2为本申请实施例提供的匹配目标物的示意图;
图3a为本申请实施例提供的信息处理方法的一个系统示意图;
图3b为本申请实施例提供的信息处理方法的一个应用场景示意图;
图4为本申请实施例提供的信息处理方法的一个流程示意图;
图5为本申请实施例提供的信息处理方法的一个特征示意图;
图6为本申请实施例提供的划线法的一个示意图;
图7为本申请实施例提供的信息处理方法的另一流程示意图;
图8为本申请实施例提供的信息处理方法的另一应用场景示意图;
图9为本申请实施例提供的信息处理方法的另一流程示意图;
图10为本申请实施例提供的信息处理方法的另一应用场景示意图;
图11为本申请实施例提供的信息处理方法的另一流程示意图;
图12为本申请实施例提供的信息处理方法的另一应用场景示意图;
图13为本申请实施例提供的信息处理方法的另一流程示意图;
图14为本申请实施例提供的信息处理方法的另一应用场景示意图;
图15为本申请实施例提供的信息处理方法的另一流程示意图;
图16为本申请实施例提供的信息处理方法的另一示意图;
图17为本申请实施例提供的信息处理方法的另一流程示意图;
图18为本申请实施例提供的信息处理方法的另一应用场景示意图;
图19为本申请实施例提供的信息处理方法的另一应用场景示意图;
图20为本申请实施例提供的处理设备的一个结构示意图;
图21为本申请实施例提供的处理设备的另一结构示意图。
具体实施方式
本申请实施例提供了一种信息处理方法以及相关设备,用于实现不同传感器所检测到的检测信息的融合,以提高检测信息融合的效率。
传感器可以对物体进行检测,针对同一物体,不同的传感器可以检测到不同的检测信息。例如,摄像头可以检测物体的形状、纹理等外观特征,雷达可以检测物体的位置与速度等运动信息。针对同一物体,若要获取多种信息,需要将来自不同传感器的检测信息融合。
为了实现检测信息的融合,需要将不同传感器的时间轴与空间坐标系对齐。其中,时间轴的对齐需要传感器在同一对时系统中,请参阅图1a,图1a为多传感器的时间轴对齐的示意图。对时系统中的对时设备生成时间标识,并将时间标识传输给该对时系统内的多个传感器。对时系统内的多个传感器基于同一时间标识进行检测,就可以实现时间轴的对齐。
由于对时设备的时间标识只能在对时系统内传输,对时系统外的传感器无法接收时间标识,因此时间轴的对齐只能在同一对时系统内实现,这一因素限制了检测信息融合的应用场景。
另一方面,空间坐标系的对齐需要空间标定实现。请参阅图1b,图1b为多传感器的空间坐标系对齐的示意图。空间标定需要确定实际空间中的标定点,通过人工标定该标定点在不同传感器画面中的位置,例如在传感器A的画面中标定标定点4,在传感器B的画面中标定对应的标定点4’,再人工确定同一标定点在不同传感器画面中位置的映射关系。为了保证映射关系的准确性,需要标定多个标定点,以实现对空间坐标系的完整映射。
由于空间标定需要人工实现,人的主观认知与实际的映射关系可能有偏差,并不一定能真实反映实际的映射关系。例如,图1b中所示的标定点4与标定点4’,在圆柱体中,无法找到与其他点有明显区别的标定点,对于不同画面标定的标定点实际上并不能反映同一个点,造成标定错误。除了圆柱形,其他任何不具备明显区别点的物体,例如球体等,都容易出现上述标定错误的情况。因此,人工标定的映射关系并不一定准确。空间标定不准确,在对多个传感器进行检测信息融合的过程中,可能会将现实中的同一目标物判定为不同的目标物,或将不同的目标物判定为同一目标物,这样融合出来的信息就是错误的数据。
在本申请实施例中,除了如图1b所示的,对两个摄像头的画面进行空间标定,也可以对不属于同一类型的多种传感器进行空间标定。例如对摄像头的画面和雷达的画面进行标定等。对于不同类型的传感器画面的标定,也会出现上述标定点标定错误的情况,此处不再赘述。
并且,人工标定的效率低下,空间标定需要针对多个标定点进行人工标定,在标定的过程中被检测的区域不能被使用,这就给实际操作带来限制。例如,若要对列车车道进行空间标定,人工标定通常需要在半天或一天的时间内占用列车车道。通常情况下,列车车道的调度并不允许出现如此长时间的占用。在这种情况下,就无法实现空间标定及检测信息的融合。
综上所述,当前对不同传感器时间轴的对齐,受限于对时系统,当传感器不在同一对时系统中就无法实现。当前对不同传感器空间坐标系的对齐,受限于人工标定的低效率以及低准确性,导致检测信息的融合容易出现错误,并且限制了可以实现融合的场景。
基于上述缺陷,本申请实施例提供了一种信息处理方法,通过来自多个传感器的检测信息,获取检测信息所显示的物体之间的阵型信息。通过匹配具有相似特征的目标阵型信息,确定目标阵型信息为不同传感器对同一物体集合的检测信息,从而将不同传感器的检测信息融合。
本申请实施例所提供的方法,实际上是在不同传感器的画面中人工确定同一目标物的过程在设备上的重现。每个传感器都具有多个时间对应的多个画面,每个画面中所体现的目标物的数量,状态等信息不尽相同。面对如此多的信息,人眼无法直接捕捉到画面中的所有细节,只能先从整体上,在不同画面中分辨出同一目标物集合的画面。由于是在不同画面中确定同一目标物集合的多个画面,因此该过程也称为匹配目标物集合。
人眼匹配目标物集合的过程,需要有个抽象的过程。将画面中的其他细节都略去,只提取画面中目标物之间的位置关系,从而抽象出目标物之间的阵型信息。
为了更加清楚地描述抽象的过程,接下来将结合图2进行描述。请参阅图2,图2为本申请实施例提供的匹配目标物的示意图。如图2所示,在摄像头的画面,即检测信息A中,有5辆机动车形成了一个类似于数字“9”的形状。而在雷达的画面,即检测信息B中,有5个目标物也形成了类似于“9”的形状。那么就可以认为这两个画面中各自的5个目标物集合,具有相似的位置特征,即具有相似的阵型信息,可以认为两者是同一目标物集合在不同传感器画面中的体现。
匹配出了目标物集合,就可以在不同传感器的画面中,根据单个目标物在目标物集合中的位置,在不同传感器的画面中确定相同的单个目标物。
如图2所示,通过传感器A检测到的检测信息A中,阵型“9”底部的目标物为目标物A,则可以认为,通过传感器B检测到的检测信息B中,阵型“9”底部的目标物A’与目标物A为同一目标物。
示例地,传感器A可以是摄像头,传感器B可以是雷达。除了前述组合,传感器A与传感器B也可以是其他组合,例如传感器A是雷达,传感器B是ETC等,或传感器A和传感器为同一种传感器,例如雷达或摄像头等,此处不做限定。
在本申请实施例中,不限定传感器的数量,除了传感器A和传感器B,还可以通过更多的传感器获取更多的检测信息,分析这些检测信息中的同一目标物,此处不做限定。
前面描述了人是如何在不同传感器的画面中确定同一目标物的画面,将上述思路应用于设备中,就是本发明实施例的方案。具体的,本发明实施例的方案主要包括以下几个步骤:1.获取来自不同传感器的多个检测信息;2.根据多个检测信息确定对应的阵型信息;3.根据多个阵型信息确定具有相似特征的目标阵型信息;4.根据目标阵型信息中每个目标物的阵位信息将不同传感器针对同一目标物的检测信息融合。
请参阅图3a,图3a为本申请实施例提供的信息处理方法的一个系统示意图。如图3a所示,该系统为检测系统,系统中包括处理设备和多个传感器。以传感器A和传感器B为例,传感器A将检测到的检测信息A传输给处理设备,传感器B将检测到的检测信息B传输给处理设备。处理设备根据检测信息A和检测信息B获取目标物的融合信息。
值得注意的是,本申请所述的检测系统中的设备之间,可以具有固定的连接状态,也可以不具有固定的连接状态,通过数据拷贝等形式实现数据传输。只要传感器的检测信息能传输给处理设备,则该传感器及处理设备就能称之为检测系统,此处不做限定。例如,传感器A和传感器B可以分别获取检测信息,然后在一定时间内将检测信息A和检测信息B分别拷贝至处理设备处,由处理设备对检测信息A和检测信息B进行处理。这种模式也可称为离线处理。
值得注意的是,图中仅以两个传感器为例,并不造成对本申请实施例及检测系统中传感器数量的限定。
请参阅图3b,图3b为本申请实施例提供的信息处理方法的一个应用场景示意图。如图3b所示,本申请实施例提供的信息处理方法主要用于多传感器系统中的信息融合。多传感器系统可以接收来自多个传感器的检测信息,将来自多个传感器的检测信息融合。检测信息可以是来自电子不停车收费系统(electronic toll collection,ETC)传感器的车牌,交易流水信息等。除了来自ETC传感器的上述信息,多传感器系统还可以获取来自其他传感器的其他检测信息,例如来自摄像头的车牌,车型信息等,来自雷达的距离,速度信息等,此处不做限定。
通过本申请实施例提供的信息处理方法实现了检测信息的融合,融合结果可以应用于多种场景中,例如高速公路上的收费稽核,非现场治超,安全监测等。除了高速公路上的上述场景,融合结果还可以应用于其他场景中,例如城市路口上的全息路口,车辆汇入预警,行人预警等,或封闭道路上的入侵检测,自动泊车等,此处不做限定。
一.本申请实施例中的信息处理方法。
基于图3a所示的检测系统,接下来将结合图4对本申请实施例所示的信息处理方法的步骤进行详细描述。请参阅图4,图4为本申请实施例提供的信息处理方法的一个流程示意图。该方法包括:
401.从传感器A处获取检测信息A。
可选的,传感器A所获取的检测信息A中,可以包括位置特征集。位置特征集包括多个位置特征,位置特征用于表示传感器A所检测到的物体,与该物体四周的物体之间的位置关系。例如,在传感器A为摄像头的情况下,检测信息为像素组成的画面,位置特征可以体现为像素之间的距离。除了像素之间的距离,位置特征还可以表现为其他形式,例如,像素之间的左右关系或前后关系等,此处不做限定。
在本申请实施例中,除了摄像头,传感器A还可以是其他类型的传感器,例如雷达,电子不停车收费系统(electronic toll collection,ETC)传感器等,此处不做限定。针对不同类型的传感器,会有对应的位置特征,例如雷达的位置特征可以表现为物体之间的距离或物体之间的方向等,ETC的位置特征可以表现为车辆的车道信息与前后时序关系等,此处不做限定。
402.从传感器B处获取检测信息B。
可选的,传感器B所获取的检测信息B中,也可以包括位置特征集。对于传感器B、检测信息B以及位置特征的描述,参见步骤401中对传感器A、检测信息A以及位置特征的描述,此处不再赘述。
值得注意的是,在本申请实施例中,传感器A与传感器B既可以是同种类的传感器,也可以是不同种类的传感器。例如,传感器A与传感器B可以为角度不同的摄像头或不同的雷达,也可以传感器A为摄像头或雷达,传感器B为ETC等,此处不做限定。
值得注意的是,本申请实施例中传感器的数量并不限定为两个,传感器的数量可以为大于或等于2的任意整数,此处不做限定。传感器A与传感器B作为对监测系统中传感器的举例,若检测系统中包括更多的传感器,对于这些传感器的描述参见步骤401和步骤402中对传感器A与传感器B的描述,此处不再赘述。多个传感器的种类也不限定,可以是同种类的传感器,也可以是不同种类的传感器,此处不做限定。
403.根据检测信息A确定阵型信息A。
获取了检测信息A,处理设备就可以根据检测信息A确定阵型信息A,阵型信息A用于表示传感器A所检测到的物体之间的位置关系。
可选的,若检测信息A中包括位置特征集,则处理设备可以根据该位置特征集确定阵型信息A。具体的,根据位置特征集获取阵型信息A的过程,有多种方法,获取的阵型信息A也不同,为了更清晰地描述获取阵型信息A的不同方法,在后面的实施例中将会分类进行描述。具体过程参见图7至图17所示实施例,此处不再赘述。
404.根据检测信息B确定阵型信息B。
获取了检测信息B,处理设备就可以根据检测信息B确定阵型信息B,阵型信息B用于表示传感器B所检测到的物体之间的位置关系。具体的,物体之间的位置关系可以包括物体之间的左右位置关系,或物体之间的前后位置关系中的至少一项。
可选的,若检测信息B中包括位置特征集,则处理设备可以根据该位置特征集确定阵型信息B。具体的,确定阵型信息可以通过划线法或图像特征匹配法等方法实现,获取阵型信息B的过程,参见步骤403中获取阵型信息A的过程,此处不再赘述。
在本申请实施例中,步骤401和步骤402没有必然的先后关系,即步骤401可以在步骤402之前或之后执行,步骤401和步骤402也可以同时进行,此处不做限定。步骤403和步骤404也没有必然的先后关系,即步骤403可以在步骤404之前或之后执行,步骤403和步骤404也可以同时进行,只要步骤403在步骤401之后执行,步骤404在步骤402之后执行即可,此处不做限定。
在本申请实施例中,若获取了来自更多传感器的检测信息,则也要根据获取的检测信息确定对应的阵型信息,确定对应阵型信息的过程参见步骤403和步骤404的描述,此处不再赘述。
405.根据阵型信息A和阵型信息B确定目标阵型信息。
获取了阵型信息A和阵型信息B,就可以根据阵型信息A和阵型信息B确定目标阵型信息。其中,目标阵型信息与阵型信息A和阵型信息B的重合度都高于预设阈值,用于体现阵型信息A与阵型信息B中属于同一目标物集合的阵型信息。
在本申请实施例中,阵型信息可以有多种表现形式,判断重合度的标准也不尽相同。为了更加清楚地描述不同的阵型信息的获取过程与处理方式,后续将会结合图7至图17的实施例进行详细解释,此处不再赘述。
406.根据目标阵型信息中目标物的阵位信息将来自传感器A和传感器B的针对同一目标物的检测信息融合。
阵型信息中包括每个目标物的阵位信息,用于表示该目标物在目标物集合中的具体位置。因此,可以根据目标物的阵位信息,确定同一目标物在不同传感器的检测信息中对应的目标,并将多个对应目标的检测信息融合。
在本申请实施例中,通过来自不同传感器的检测信息,分别确定传感器所检测到的物体之间的阵型信息,根据与每个阵型信息的重合度,确定目标阵型信息,从而就确定了目标物。由于目标阵型信息是不同传感器检测出的具有相似特征的阵型信息,反映了相同的目标物在不同传感器处检测到的信息,因此就可以根据目标阵型信息,确定目标阵型信息中所反映的任意物体在不同传感器处的检测结果之间的对应关系,根据该对应关系就能实现将不同传感器对同一物的检测结果融合。相较于人工标定的方法,本申请实施例通过阵型信息获取融合检测信息的方法,得到融合检测信息的效率可以大幅提升。
并且,在信息采集方面,本申请实施例的方法只需要提供不同传感器的检测信息即可,并不需要占用被观测的场地,扩展了检测信息融合的适用范围。
可选的,在步骤403和步骤404中,可以根据位置特征集确定对应的阵型信息,在步骤405中,就需要根据多个阵型信息确定目标阵型信息。在本申请实施例中,位置特征集有不同的形式,确定阵型信息的方式也有许多种,主要包括划线法和图像特征匹配法,接下来将分类进行描述。
在本申请实施例中,阵型信息可以包括三大类信息:1.物体之间的横向位置相对关系,例如物体之间的左右位置关系或左右间距等;2.物体之间纵向位置相对关系,例如物体的前后位置关系或前后间距等;3.物体自身的特征,例如长度,宽度,高度,形状等。
以图5为例,图5为本申请实施例提供的信息处理方法的一个特征示意图。如图5所示,阵型信息可以包括车辆之间的前后间距和左右间距,还可以包括各车辆的信息,例如车辆的型号,车牌号等信息,此处不做限定。
值得注意的是,图5仅以道路上的车辆为例,并不造成对传感器所检测物体的限定,传感器还可用于检测其他物体,例如行人、障碍物等,此处不做限定。
1.划线法。
对于人来说,阵型信息可以表现为一个整体的形状,例如图2所示实施例中的形状“9”。而对于设备来说,对于形状或者说图像的处理效率并没有对于数字处理的效率高。将阵型信息表现为连续或离散的数字的形式,可以大大提高数据处理的效率。
将整体的形状特征转化为数字特征,可以通过划线法实现。在不同传感器的画面中,都画一条基准线,获取物体触碰基准线的时序,位置等信息,就可以将形状特征转化为数字特征,便于处理设备的运算处理。
在本申请实施例中,物体触碰基准线的各种信息也称为触线信息。触线信息可以包括物体触碰基准线的时序信息,触碰点分区信息,触碰点位置信息,触碰时间间隔信息等,此处不做限定。
其中,时序信息表示传感器所检测到的物体,触碰基准线的前后时序,体现了物体之间的前后关系。
其中,触碰点分区信息表示物体触碰基准线的触碰点在该基准线中的分区信息。请参阅图6,图6为本申请实施例提供的划线法的一个示意图。在行车道路中,可以根据不同的车道对基准线进行分区,例如图中的1车道为1区,2车道为2区,3车道为3区。
其中,触碰点位置信息表示物体触碰基准线的触碰点在该基准线中的位置信息。例如图6中1车道的第一辆车距离基准线左端点1.5米,3车道的第一辆车距离基准线左端点7.5米。
其中,触碰时间间隔信息表示物体触碰基准线的前后时间间隔。
其中,在阵型信息的三大类中,触碰点分区信息和触碰点位置信息可以归类于物体之间的横向位置相对关系,时序信息和触碰时间间隔信息可以归类于物体之间纵向位置相对关系。
通过上述各信息确定目标阵型信息,有多种的方法,接下来将分类进行描述:
1)根据时序信息和触碰点分区信息确定第一子序列。
请参阅图7,图7为本申请实施例提供的信息处理方法的一个流程示意图。该方法包括:
701.从传感器A(摄像头)处获取检测信息A。
以摄像头为例,在传感器A为摄像头的情况下,检测信息为像素组成的画面,位置特征集中的位置特征可以体现为像素之间的距离。除了像素之间的距离,位置特征还可以表现为其他形式,例如,像素之间的左右关系或前后关系等,此处不做限定。
在本申请实施例中,除了摄像头,传感器A还可以是其他类型的传感器,例如雷达,ETC传感器等,此处不做限定。针对不同类型的传感器,会有对应的位置特征,例如雷达的位置特征可以表现为物体之间的距离或物体之间的方向等,ETC的位置特征可以表现为车辆的车道信息与前后时序关系等,此处不做限定。
702.从传感器B(雷达)处获取检测信息B。
以雷达为例,在传感器B为雷达的情况下,检测信息为雷达检测到的物体在检测范围内的画面,位置特征集中的位置特征可以体现为物体之间的距离。除了物体之间的距离,位置特征还可以表现为其他形式,例如,物体之间的左右关系或前后关系等,此处不做限定。
在本申请实施例中,除了雷达,传感器B还可以是其他类型的传感器,例如摄像头,ETC传感器等,此处不做限定。针对不同类型的传感器,会有对应的位置特征,此处不做限定。
在本申请实施例中,传感器A和传感器B仅是对传感器的举例,并不造成对传感器的种类和数量的限定。
703.根据检测信息A获取物体像素触碰基准线的时序信息A与触碰点分区信息A。
由于检测信息A是由像素组成的画面,触线信息即为物体的像素触碰基准线的信息。处理设备可以根据检测信息A获取物体像素触碰基准线的时序信息A与触碰点分区信息A。
请参阅图8,图8为本申请实施例提供的信息处理方法的一个应用场景示意图,如图8所示,序号一栏表示各物体触碰基准线的前后顺序,即时序信息A;触碰点分区信息一栏表示各物体触碰基准线时,触碰点在基准线中的分区信息,即触碰点分区信息A,其中,1表示1车道,3表示3车道。
704.根据检测信息B获取物体触碰基准线的时序信息B与触碰点分区信息B。
由于检测信息B为雷达检测到的物体在检测范围内的画面,触线信息即为物体触碰基准线的信息。处理设备可以根据检测信息B获取物体触碰基准线的时序信息B与触碰点分区信息B。如图8所示,序号一栏表示各物体触碰基准线的前后顺序,即时序信息B;触碰点分区信息一栏表示各物体触碰基准线时,触碰点在基准线中的分区信息,即触碰点分区信息B,其中,1表示1车道,3表示3车道。
在本申请实施例中,步骤701与步骤702没有必然的先后顺序,步骤701可以在步骤702之前或之后执行,也可以步骤701与步骤702同时执行,此处不做限定。步骤703与步骤704也没有必然的先后顺序,步骤703可以在步骤704之前或之后执行,也可以步骤703与步骤704同时执行,只要步骤703在步骤701之后执行,步骤704在步骤702之后执行即可,此处不做限定。
705.根据时序信息A和触碰点分区信息A获取触碰分区序列A。
如图8所示,根据时序信息A,可以将触碰点分区信息A按照时序先后排列,获取触碰分区序列A。
706.根据时序信息B和触碰点分区信息B获取触碰分区序列B。
如图8所示,根据时序信息B,可以将触碰点分区信息B按照时序先后排列,获取触碰分区序列B。
在本申请实施例中,步骤705与步骤706没有必然的先后顺序,步骤705可以在步骤706之前或之后执行,也可以步骤705与步骤706同时执行,只要步骤705在步骤703之后执行,步骤706在步骤704之后执行即可,此处不做限定。
707.根据触碰分区序列A和触碰分区序列B获取第一子序列。
触碰分区序列A和触碰分区序列B本质上是两个数列,处理设备可以比对这两个数列,当发现两个数列中包括相同或重合度较高的序列片段时,可以认为该序列片段为两个序列的公共部分。在本申请实施例中,该序列片段也称为第一子序列。由于触碰分区序列体现了传感器所检测到的物体之间的位置关系,即物体之间的阵型信息。当两个数列中包括相同或重合度较高的序列片段,表示这两个数列中的该片段所对应的物体集合,具有相同的位置关系,即具有相同的阵型信息。不同的传感器检测到相同或相似的阵型信息,即可认为这两个传感器检测到的是同一个物体集合。
在本申请实施例中,第一子序列也称为目标阵型信息,表示多个传感器检测到的相同或相似的阵型信息。
具体的,由于传感器存在一定的漏检率,因此并不要求第一子序列与触碰分区序列A和触碰分区序列B中的片段完全重合,只要保证第一子序列与触碰分区序列A和触碰分区序列B的重合度均高于第一阈值即可。在本申请实施例中,重合度也称为相似度。具体的,第一阈值可以是90%,除了90%,第一阈值还可以是其他数值,例如95%,99%等,此处不做限定。
例如,图8中所示的触碰分区序列A和触碰分区序列B,均包含(3,3,1,3,1)的序列片段。处理设备可以将该片段作为第一子序列。此时,第一子序列与触碰分区序列A和触碰分区序列B的重合度均为100%。
可选的,可以通过LCS算法确定第一子序列。在本申请实施例中,可以通过LCS算法获取多个触碰分区序列的所有公共序列,从而实现对多个触碰分区序列的相同位置特征的匹配。由于LCS算法计算的是最长的公共子序列,因此,通过LCS算法计算出的第一子序列,可以包括与前述多个触碰分区序列的重合度均高于第一阈值的子序列中,长度最长的子序列。
在本申请实施例中,可以通过LCS算法确定出多个触碰分区序列的所有公共序列,从而匹配出所有具有相同位置特征的触碰分区序列的片段。若有多个片段为公共序列,在这些公共序列之中夹杂着一些非公共序列,就可以将这些夹杂在公共序列中的非公共序列标识出来。其中,非公共序列在不同传感器中体现了不同的位置关系。在这种情况下,可以认为公共序列中夹杂的非公共序列,其出现的原因为传感器的误检或漏检,从而对非公共序列容错,即,将非公共序列在不同传感器检测到的目标物对应,实现检测信息的融合。
在本申请实施例中,通过LCS算法确定出的第一子序列,可以包括与多个触碰分区序列的重合度均高于第一阈值的子序列中,长度最长的子序列。由于目标物之间的位置关系可能存在偶然性的相似,确定出的子序列长度越长,具有相似位置关系的可能性越低,就越能规避这种偶然性,通过LCS算法确定出最长的子序列,就能准确地确定出相同目标物集合的目标阵型信息。
例如,两个目标物的位置关系有可能存在偶然性的相似,但若将标准提升为十个目标物之间的位置关系具有高重合度,具有相似位置关系的十个目标物的可能性相较于具有相似位置关系的两个目标物的可能性将大大降低,因此若通过LCS算法确定出十个目标物的第一子序列,这十个目标物为不同传感器针对相同的十个目标物的检测结果的可能性更大,降低了匹配错误的可能性。
708.根据第一子序列中目标物的阵位信息,将来自传感器A和传感器B的针对同一目标物的检测信息融合。
第一子序列是由多个触碰点分区信息组成的,对于第一子序列中的每个触碰点分区信息,均可在触碰分区序列A和触碰分区序列B中找到对应的数据。例如触碰分区序列A中序号为4的触碰点分区信息,自身的触碰点分区信息为3,前后的触碰点分区信息均为1。
在本申请实施例中,触碰分区序列或第一子序列中的单个触碰点分区信息也称为阵位信息,表示单个目标物在目标物集合中的位置。
在本申请实施例中,自身的分区信息称为自身特征,前后或附近的分区信息称为周边特征。除了前后一个触碰点分区信息,周边特征也可包括附近更多的触碰点分区信息,此处不做限定。
在触碰分区序列B中也可以找到具有相同自身特征和周边特征的触碰点分区信息,即序号为13的那个触碰点分区信息。由于两个触碰点分区信息都在第一子序列中,且具有相同的自身特征与周边特征,可以认为两个触碰点分区信息反映了同一个物体。因此处理设备可以将序号4对应的检测信息,与序号13对应的检测信息融合,得到该目标物的融合信息。
例如,触碰分区序列A对应的摄像头,可以检测到序号4对应物体的大小,形状等外观信息。具体到车辆上,可以检测到序号4对应车辆的型号,颜色,车牌等信息。触碰分区序列B对应的雷达,可以检测到序号13对应物体的移动速度等信息。具体到车辆上,可以检测到序号13对应车辆的车速,加速度等信息。处理设备可以将前述型号,颜色,车牌等信息与车速,加速度等信息融合,得到该车辆的融合信息。
在本申请实施例中,时序信息表示不同目标物触碰基准线的前后关系,触碰点分区信息表示不同目标物触碰基准线的左右关系,通过表示前后关系的时序信息与表示左右关系的触碰点分区信息,将多个目标物触碰基准线的位置关系,体现在触碰分区序列中。由于时序信息与触碰点分区信息均为具体的数值,触碰分区序列即为反映目标物之间位置关系的数值的集合。根据来自不同传感器的检测信息,获取对应的触碰分区序列。得到的多个触碰分区序列即为多个数值集合,确定数值集合的重合度满足预设阈值,只需要比对对应的数值即可,不需要进行复杂的运算,提升了匹配目标阵型信息的效率。
在本申请实施例中,除了根据时序信息和触碰点分区信息确定目标阵型信息,还可以根据时序信息和触碰时间间隔信息确定目标阵型信息。
2)根据时序信息和触碰时间间隔信息确定第二子序列。
请参阅图9,图9为本申请实施例提供的信息处理方法的一个流程示意图。该方法包括:
901.从传感器A(摄像头)处获取检测信息A。
902.从传感器B(雷达)处获取检测信息B。
对于步骤901和步骤902的描述参见图7所示实施例的步骤701和步骤702,此处不再赘述。
903.根据检测信息A获取物体像素触碰基准线的时序信息A与触碰时间间隔信息A。
由于检测信息A是由像素组成的画面,触线信息即为物体的像素触碰基准线的信息。处理设备可以根据检测信息A获取物体像素触碰基准线的时序信息A与触碰时间间隔信息A。
请参阅图10,图10为本申请实施例提供的信息处理方法的一个应用场景示意图,如图10所示,序号一栏表示各物体触碰基准线的前后顺序,即时序信息A;触碰时间间隔信息一栏表示各物体触碰基准线,与前一物体触碰基准线的时间差,即触碰时间间隔信息A,其中,触碰时间间隔信息以秒为单位。除了秒,触碰时间间隔信息也可以以毫秒作为单位,此处不作限定。
904.根据检测信息B获取物体触碰基准线的时序信息B与触碰时间间隔信息B。
由于检测信息B为雷达检测到的物体在检测范围内的画面,触线信息即为物体触碰基准线的信息。处理设备可以根据检测信息B获取物体触碰基准线的时序信息B与触碰时间间隔信息B。
如图10所示,序号一栏表示各物体触碰基准线的前后顺序,即时序信息B;触碰时间间隔信息一栏表示各物体触碰基准线,与前一物体触碰基准线的时间差,即触碰时间间隔信息B,其中,触碰时间间隔信息以秒为单位。除了秒,触碰时间间隔信息也可以以毫秒作为单位,此处不作限定。
在本申请实施例中,步骤901与步骤902没有必然的先后顺序,步骤901可以在步骤902之前或之后执行,也可以步骤901与步骤902同时执行,此处不做限定。步骤903与步骤904也没有必然的先后顺序,步骤903可以在步骤904之前或之后执行,也可以步骤903与步骤904同时执行,只要步骤903在步骤901之后执行,步骤904在步骤902之后执行即可,此处不做限定。
905.根据时序信息A和触碰时间间隔信息A获取触碰间隔序列A。
如图10所示,根据时序信息A,可以将触碰时间间隔信息A按照时序先后排列,获取触碰间隔序列A。
906.根据时序信息B和触碰时间间隔信息B获取触碰间隔序列B。
如图10所示,根据时序信息B,可以将触碰时间间隔信息B按照时序先后排列,获取触碰间隔序列B。
在本申请实施例中,步骤905与步骤906没有必然的先后顺序,步骤905可以在步骤906之前或之后执行,也可以步骤905与步骤906同时执行,只要步骤905在步骤903之后执行,步骤906在步骤904之后执行即可,此处不做限定。
907.根据触碰间隔序列A和触碰间隔序列B获取第二子序列。
触碰间隔序列A和触碰间隔序列B本质上是两个数列,处理设备可以比对这两个数列,当发现两个数列中包括相同或重合度较高的序列片段时,可以认为该序列片段为两个序列的公共部分。在本申请实施例中,该序列片段也称为第二子序列。由于触碰间隔序列体现了传感器所检测到的物体之间的位置关系,即物体之间的阵型信息。当两个数列中包括相同或重合度较高的序列片段,表示这两个数列中的该片段所对应的物体集合,具有相同的位置关系,即具有相同的阵型信息。不同的传感器检测到相同或相似的阵型信息,即可认为这两个传感器检测到的是同一个物体集合。
在本申请实施例中,第二子序列也称为目标阵型信息,表示多个传感器检测到的相同或相似的阵型信息。
具体的,由于传感器存在一定的漏检率,因此并不要求第二子序列与触碰间隔序列A和触碰间隔序列B中的片段完全重合,只要保证第二子序列与触碰间隔序列A和触碰间隔序列B的重合度均高于第二阈值即可。在本申请实施例中,重合度也称为相似度。具体的,第二阈值可以是90%,除了90%,第二阈值还可以是其他数值,例如95%,99%等,此处不做限定。
例如,图10中所示的触碰间隔序列A和触碰间隔序列B,均包含(2.0s,0.3s,1.9s,0.4s)的序列片段。处理设备可以将该片段作为第二子序列。此时,第二子序列与触碰间隔序列A和触碰间隔序列B的重合度均为100%。
可选的,可以通过LCS算法确定第二子序列。在本申请实施例中,可以通过LCS算法获取多个触碰间隔序列的所有公共序列,从而实现对多个触碰间隔序列的相同位置特征的匹配。由于LCS算法计算的是最长的公共子序列,因此,通过LCS算法计算出的第二子序列,可以包括与前述多个触碰间隔序列的重合度均高于第二阈值的子序列中,长度最长的子序列。
在本申请实施例中,可以通过LCS算法确定出多个触碰间隔序列的所有公共序列,从而匹配出所有具有相同位置特征的触碰间隔序列的片段。若有多个片段为公共序列,在这些公共序列之中夹杂着一些非公共序列,就可以将这些夹杂在公共序列中的非公共序列标识出来。其中,非公共序列在不同传感器中体现了不同的位置关系。在这种情况下,可以认为公共序列中夹杂的非公共序列,其出现的原因为传感器的误检或漏检,从而对非公共序列容错,即,将非公共序列在不同传感器检测到的目标物对应,实现检测信息的融合。
在本申请实施例中,通过LCS算法确定出的第二子序列,可以包括与多个触碰间隔序列的重合度均高于第二阈值的子序列中,长度最长的子序列。由于目标物之间的位置关系可能存在偶然性的相似,确定出的子序列长度越长,具有相似位置关系的可能性越低,就越能规避这种偶然性,通过LCS算法确定出最长的子序列,就能准确地确定出相同目标物集合的目标阵型信息。
例如,两个目标物的位置关系有可能存在偶然性的相似,但若将标准提升为十个目标物之间的位置关系具有高重合度,具有相似位置关系的十个目标物的可能性相较于具有相似位置关系的两个目标物的可能性将大大降低,因此若通过LCS算法确定出十个目标物的第一子序列,这十个目标物为不同传感器针对相同的十个目标物的检测结果的可能性更大,降低了匹配错误的可能性。
908.根据第二子序列中目标物的阵位信息,将来自传感器A和传感器B的针对同一目标物的检测信息融合。
第二子序列是由多个触碰时间间隔信息组成的,对于第二子序列中的每个触碰时间间隔信息,均可在触碰间隔序列A和触碰间隔序列B中找到对应的数据。例如触碰间隔序列A中序号为3的触碰时间间隔信息,自身的触碰时间间隔信息为0.3s,前后的触碰时间间隔信息分别为2.0s和1.9s。
在本申请实施例中,触碰间隔序列或第二子序列中的单个触碰时间间隔信息也称为阵位信息,表示单个目标物在目标物集合中的位置。
在本申请实施例中,自身的触碰时间间隔信息称为自身特征,前后或附近的触碰时间间隔信息称为周边特征。除了前后一个触碰时间间隔信息,周边特征也可包括附近更多的触碰时间间隔信息,此处不做限定。
在触碰间隔序列B中也可以找到具有相同自身特征和周边特征的触碰时间间隔信息,即序号为12的那个触碰时间间隔信息。由于两个触碰时间间隔信息都在第二子序列中,且具有相同的自身特征与周边特征,可以认为两个触碰时间间隔信息反映了同一个物体。因此处理设备可以将序号3对应的检测信息,与序号12对应的检测信息融合,得到该目标物的融合信息。
例如,触碰分区序列A对应的摄像头,可以检测到序号3对应物体的大小,形状等外观信息。具体到车辆上,可以检测到序号3对应车辆的型号,颜色,车牌等信息。触碰分区序列B对应的雷达,可以检测到序号12对应物体的移动速度等信息。具体到车辆上,可以检测到序号12对应车辆的车速,加速度等信息。处理设备可以将前述型号,颜色,车牌等信息与车速,加速度等信息融合,得到该车辆的融合信息。
在本申请实施例中,时序信息表示不同目标物触碰基准线的前后关系,触碰时间间隔信息表示不同目标物触碰基准线的前后时间间隔,通过表示前后关系的时序信息与表示前后时间间隔的触碰时间间隔信息,将多个目标物触碰基准线的位置关系,体现在触碰间隔序列中。由于时序信息与触碰时间间隔信息均为具体的数值,触碰间隔序列即为反映目标物之间位置关系的数值的集合。根据来自不同传感器的检测信息,获取对应的触碰间隔序列。得到的多个触碰间隔序列即为多个数值集合,确定数值集合的重合度满足预设阈值,只需要比对对应的数值即可,不需要进行复杂的运算,提升了匹配目标阵型信息的效率。
在本申请实施例中,除了根据前述两种方法确定目标阵型信息,还可以根据时序信息和触碰点位置信息确定目标阵型信息。
3)根据时序信息和触碰点位置信息确定第三子序列。
请参阅图11,图11为本申请实施例提供的信息处理方法的一个流程示意图。该方法包括:
1101.从传感器A(摄像头)处获取检测信息A。
1102.从传感器B(雷达)处获取检测信息B。
对于步骤1101和步骤1102的描述参见图7所示实施例的步骤701和步骤702,此处不再赘述。
1103.根据检测信息A获取物体像素触碰基准线的时序信息A与触碰点位置信息A。
由于检测信息A是由像素组成的画面,触线信息即为物体的像素触碰基准线的信息。处理设备可以根据检测信息A获取物体像素触碰基准线的时序信息A与触碰点位置信息A。触碰点位置信息A表示触碰点在基准线上的位置。具体的,触碰点位置信息A可以表示不同物体的触碰点之间的位置关系,具体可以表示触碰点之间的左右关系,从而就能体现物体之间的左右关系。
可选的,为了体现物体之间的左右位置关系,触碰点位置信息A可以表示触碰点与基准线上的基准点之间的距离,通过不同触碰点的距离体现触碰点之间的位置关系。本申请实施例将以触碰点与基准线左端点之间的距离为例,但并不造成对触碰点位置信息的限定,触碰点位置信息可以表示触碰点与基准线上任一点之间的位置关系,此处不作限定。
请参阅图12,图12为本申请实施例提供的信息处理方法的一个应用场景示意图,如图12所示,序号一栏表示各物体触碰基准线的前后顺序,即时序信息A;触碰点位置信息一栏表示各物体触碰基准线的触碰点,与基准线左端点之间的距离,即触碰点位置信息A。在本申请实施例中,触碰点位置信息可以表示触碰点与基准线上任一点之间的位置关系,此处不作限定。
1104.根据检测信息B获取物体触碰基准线的时序信息B与触碰点位置信息B。
由于检测信息B为雷达检测到的物体在检测范围内的画面,触线信息即为物体触碰基准线的信息。处理设备可以根据检测信息B获取物体触碰基准线的时序信息B与触碰点位置信息B。对于触碰点位置信息B的描述,参见步骤1103中对触碰点位置信息A的描述,此处不再赘述。
可选的,如图12所示,序号一栏表示各物体触碰基准线的前后顺序,即时序信息B;触碰时间间隔信息一栏表示各物体触碰基准线的触碰点,与基准线左端点之间的距离,即触碰点位置信息B。在本申请实施例中,触碰点位置信息可以表示触碰点与基准线上任一点之间的位置关系,以体现不同触碰点之间的位置关系,此处不作限定。
在本申请实施例中,步骤1101与步骤1102没有必然的先后顺序,步骤1101可以在步骤1102之前或之后执行,也可以步骤1101与步骤1102同时执行,此处不做限定。步骤1103与步骤1104也没有必然的先后顺序,步骤1103可以在步骤1104之前或之后执行,也可以步骤1103与步骤1104同时执行,只要步骤1103在步骤1101之后执行,步骤1104在步骤1102之后执行即可,此处不做限定。
1105.根据时序信息A和触碰点位置信息A获取触碰位置序列A。
如图12所示,根据时序信息A,可以将触碰点位置信息A按照时序先后排列,获取触碰位置序列A。
1106.根据时序信息B和触碰点位置信息B获取触碰位置序列B。
如图12所示,根据时序信息B,可以将触碰点位置信息B按照时序先后排列,获取触碰位置序列B。
在本申请实施例中,步骤1105与步骤1106没有必然的先后顺序,步骤1105可以在步骤1106之前或之后执行,也可以步骤1105与步骤1106同时执行,只要步骤1105在步骤1103之后执行,步骤1106在步骤1104之后执行即可,此处不做限定。
1107.根据触碰位置序列A和触碰位置序列B获取第三子序列。
触碰位置序列A和触碰位置序列B本质上是两个数列,处理设备可以比对这两个数列,当发现两个数列中包括相同或重合度较高的序列片段时,可以认为该序列片段为两个序列的公共部分。在本申请实施例中,该序列片段也称为第三子序列。由于触碰位置序列体现了传感器所检测到的物体之间的位置关系,即物体之间的阵型信息。当两个数列中包括相同或重合度较高的序列片段,表示这两个数列中的该片段所对应的物体集合,具有相同的位置关系,即具有相同的阵型信息。不同的传感器检测到相同或相似的阵型信息,即可认为这两个传感器检测到的是同一个物体集合。
在本申请实施例中,第三子序列也称为目标阵型信息,表示多个传感器检测到的相同或相似的阵型信息。
具体的,由于传感器存在一定的漏检率,因此并不要求第三子序列与触碰位置序列A和触碰位置序列B中的片段完全重合,只要保证第三子序列与触碰位置序列A和触碰位置序列B的重合度均高于第三阈值即可。在本申请实施例中,重合度也称为相似度。具体的,第三阈值可以是90%,除了90%,第三阈值还可以是其他数值,例如95%,99%等,此处不做限定。
例如,图12中所示的触碰位置序列A和触碰位置序列B,均包含(7.5m,7.3m,1.5m,7.6m,1.3m)的序列片段。处理设备可以将该片段作为第三子序列。此时,第三子序列与触碰位置序列A和触碰位置序列B的重合度均为100%。
可选的,可以通过LCS算法确定第三子序列。在本申请实施例中,可以通过LCS算法获取多个触碰位置序列的所有公共序列,从而实现对多个触碰位置序列的相同位置特征的匹配。由于LCS算法计算的是最长的公共子序列,因此,通过LCS算法计算出的第三子序列,可以包括与前述多个触碰位置序列的重合度均高于第二阈值的子序列中,长度最长的子序列。
1108.根据第三子序列中目标物的阵位信息,将来自传感器A和传感器B的针对同一目标物的检测信息融合。
第三子序列是由多个触碰点位置信息组成的,对于第三子序列中的每个触碰点位置信息,均可在触碰位置序列A和触碰位置序列B中找到对应的数据。例如触碰位置序列A中序号为2的触碰点位置信息,自身的触碰点位置信息为7.3m,前后的触碰点位置信息分别为7.5m和1.5m。
在本申请实施例中,触碰位置序列或第三子序列中的单个触碰点位置信息也称为阵位信息,表示单个目标物在目标物集合中的位置。
在本申请实施例中,自身的触碰点位置信息称为自身特征,前后或附近的触碰点位置信息称为周边特征。除了前后一个触碰点位置信息,周边特征也可包括附近更多的触碰点位置信息,此处不做限定。
在触碰位置序列B中也可以找到具有相同自身特征和周边特征的触碰点位置信息,即序号为11的那个触碰点位置信息。由于两个触碰点位置信息都在第三子序列中,且具有相同的自身特征与周边特征,可以认为两个触碰点位置信息反映了同一个物体。因此处理设备可以将序号2对应的检测信息,与序号11对应的检测信息融合,得到该目标物的融合信息。
例如,触碰位置序列A对应的摄像头,可以检测到序号2对应物体的大小,形状等外观信息。具体到车辆上,可以检测到序号2对应车辆的型号,颜色,车牌等信息。触碰位置序列B对应的雷达,可以检测到序号11对应物体的移动速度等信息。具体到车辆上,可以检测到序号11对应车辆的车速,加速度等信息。处理设备可以将前述型号,颜色,车牌等信息与车速,加速度等信息融合,得到该车辆的融合信息。
在本申请实施例中,可以通过LCS算法确定出多个触碰间隔序列的所有公共序列,从而匹配出所有具有相同位置特征的触碰间隔序列的片段。若有多个片段为公共序列,在这些公共序列之中夹杂着一些非公共序列,就可以将这些夹杂在公共序列中的非公共序列标识出来。其中,非公共序列在不同传感器中体现了不同的位置关系。在这种情况下,可以认为公共序列中夹杂的非公共序列,其出现的原因为传感器的误检或漏检,从而对非公共序列容错,即,将非公共序列在不同传感器检测到的目标物对应,实现检测信息的融合。
在本申请实施例中,通过LCS算法确定出的第三子序列,可以包括与多个触碰位置序列的重合度均高于第三阈值的子序列中,长度最长的子序列。由于目标物之间的位置关系可能存在偶然性的相似,确定出的子序列长度越长,具有相似位置关系的可能性越低,就越能规避这种偶然性,通过LCS算法确定出最长的子序列,就能准确地确定出相同目标物集合的目标阵型信息。
例如,两个目标物的位置关系有可能存在偶然性的相似,但若将标准提升为十个目标物之间的位置关系具有高重合度,具有相似位置关系的十个目标物的可能性相较于具有相似位置关系的两个目标物的可能性将大大降低,因此若通过LCS算法确定出十个目标物的第一子序列,这十个目标物为不同传感器针对相同的十个目标物的检测结果的可能性更大,降低了匹配错误的可能性。
在本申请实施例中,触碰点位置信息表示不同目标物触碰基准线的左右关系,并且可以是连续的数值或数据。因此,基于该连续的数值或数据,就可以更准确的将目标物的阵型信息区别于其他非目标物的阵型信息,从而更加准确地实现针对同一目标物的检测信息的融合。
并且,可以通过该连续的数值或数据,分析或计算出目标物之间的运动趋势,除了运动趋势,还可以计算出其他信息,例如目标物的运动轨迹等,此处不做限定。
在本申请实施例中,除了确定对应的子序列,还可以将子序列结合起来提升阵型匹配的准确性。
4)根据第一子序列和第二子序列确定交集。
请参阅图13,图13为本申请实施例提供的信息处理方法的一个流程示意图。该方法包括:
1301.从传感器A(摄像头)处获取检测信息A。
1302.从传感器B(雷达)处获取检测信息B。
对于步骤1301和步骤1302的描述参见图7所示实施例的步骤701和步骤702,此处不再赘述。
1303.根据检测信息A获取物体像素触碰基准线的时序信息A,触碰点分区信息A和触碰时间间隔信息A。
由于检测信息A是由像素组成的画面,触线信息即为物体的像素触碰基准线的信息。处理设备可以根据检测信息A获取物体像素触碰基准线的时序信息A,触碰点分区信息A和触碰时间间隔信息A。
请参阅图14,图14为本申请实施例提供的信息处理方法的一个应用场景示意图,如图14所示,序号一栏表示各物体触碰基准线的前后顺序,即时序信息A;触碰点分区信息一栏表示各物体触碰基准线时,触碰点在基准线中的分区信息,即触碰点分区信息A,其中,1表示1车道,3表示3车道。触碰时间间隔信息一栏表示各物体触碰基准线,与前一物体触碰基准线的时间差,即触碰时间间隔信息A,其中,触碰时间间隔信息以秒为单位。除了秒,触碰时间间隔信息也可以以毫秒作为单位,此处不作限定。
1304.根据检测信息B获取物体触碰基准线的时序信息B,触碰点分区信息B和触碰时间间隔信息B。
由于检测信息B为雷达检测到的物体在检测范围内的画面,触线信息即为物体触碰基准线的信息。处理设备可以根据检测信息B获取物体触碰基准线的时序信息B,触碰点分区信息B和触碰时间间隔信息B。
如图14所示,序号一栏表示各物体触碰基准线的前后顺序,即时序信息B;触碰点分区信息一栏表示各物体触碰基准线时,触碰点在基准线中的分区信息,即触碰点分区信息B,其中,1表示1车道,3表示3车道。触碰时间间隔信息一栏表示各物体触碰基准线,与前一物体触碰基准线的时间差,即触碰时间间隔信息B,其中,触碰时间间隔信息以秒为单位。除了秒,触碰时间间隔信息也可以以毫秒作为单位,此处不作限定。
在本申请实施例中,步骤1301与步骤1302没有必然的先后顺序,步骤1301可以在步骤1302之前或之后执行,也可以步骤1301与步骤1302同时执行,此处不做限定。步骤1303与步骤1304也没有必然的先后顺序,步骤1303可以在步骤1304之前或之后执行,也可以步骤1303与步骤1304同时执行,只要步骤1303在步骤1301之后执行,步骤1304在步骤1302之后执行即可,此处不做限定。
1305.根据时序信息A和触碰点分区信息获取触碰分区序列A,根据时序信息A和触碰时间间隔信息A获取触碰间隔序列A。
处理设备根据时序信息A和触碰点分区信息获取触碰分区序列A的步骤,参见图7所示实施例的步骤705,此处不再赘述。
处理设备根据时序信息A和触碰时间间隔信息A获取触碰间隔序列A的步骤,参见图9所示实施例的步骤905,此处不再赘述。
1306.根据时序信息B和触碰点分区信息获取触碰分区序列B,根据时序信息B和触碰时间间隔信息B获取触碰间隔序列B。
处理设备根据时序信息B和触碰点分区信息获取触碰分区序列B的步骤,参见图7所示实施例的步骤706,此处不再赘述。
处理设备根据时序信息B和触碰时间间隔信息B获取触碰间隔序列B的步骤,参见图9所示实施例的步骤906,此处不再赘述。
在本申请实施例中,步骤1305与步骤1306没有必然的先后顺序,步骤1305可以在步骤1306之前或之后执行,也可以步骤1305与步骤1306同时执行,只要步骤1305在步骤1303之后执行,步骤1306在步骤1304之后执行即可,此处不做限定。
1307.根据触碰分区序列A和触碰分区序列B获取第一子序列。
触碰分区序列A和触碰分区序列B本质上是两个数列,处理设备可以比对这两个数列,当发现两个数列中包括相同或重合度较高的序列片段时,可以认为该序列片段为两个序列的公共部分。在本申请实施例中,该序列片段也称为第一子序列。由于触碰分区序列体现了传感器所检测到的物体之间的位置关系,即物体之间的阵型信息。当两个数列中包括相同或重合度较高的序列片段,表示这两个数列中的该片段所对应的物体集合,具有相同的位置关系,即具有相同的阵型信息。不同的传感器检测到相同或相似的阵型信息,即可认为这两个传感器检测到的是同一个物体集合。
在本申请实施例中,第一子序列也称为目标阵型信息,表示多个传感器检测到的相同或相似的阵型信息。
具体的,由于传感器存在一定的漏检率,因此并不要求第一子序列与触碰分区序列A和触碰分区序列B中的片段完全重合,只要保证第一子序列与触碰分区序列A和触碰分区序列B的重合度均高于第一阈值即可。在本申请实施例中,重合度也称为相似度。具体的,第一阈值可以是90%,除了90%,第一阈值还可以是其他数值,例如95%,99%等,此处不做限定。
例如,图8中所示的触碰分区序列A和触碰分区序列B,均包含(3,3,1,3,1)的序列片段。处理设备可以将该片段作为第一子序列。此时,第一子序列与触碰分区序列A和触碰分区序列B的重合度均为100%。
1308.根据触碰间隔序列A和触碰间隔序列B获取第二子序列。
触碰间隔序列A和触碰间隔序列B本质上是两个数列,处理设备可以比对这两个数列,当发现两个数列中包括相同或重合度较高的序列片段时,可以认为该序列片段为两个序列的公共部分。在本申请实施例中,该序列片段也称为第二子序列。由于触碰间隔序列体现了传感器所检测到的物体之间的位置关系,即物体之间的阵型信息。当两个数列中包括相同或重合度较高的序列片段,表示这两个数列中的该片段所对应的物体集合,具有相同的位置关系,即具有相同的阵型信息。不同的传感器检测到相同或相似的阵型信息,即可认为这两个传感器检测到的是同一个物体集合。
在本申请实施例中,第二子序列也称为目标阵型信息,表示多个传感器检测到的相同或相似的阵型信息。
具体的,由于传感器存在一定的漏检率,因此并不要求第二子序列与触碰间隔序列A和触碰间隔序列B中的片段完全重合,只要保证第二子序列与触碰间隔序列A和触碰间隔序列B的重合度均高于第二阈值即可。在本申请实施例中,重合度也称为相似度。具体的,第二阈值可以是90%,除了90%,第二阈值还可以是其他数值,例如95%,99%等,此处不做限定。
例如,图10中所示的触碰间隔序列A和触碰间隔序列B,均包含(2.0s,0.3s,1.9s,0.4s)的序列片段。处理设备可以将该片段作为第二子序列。此时,第二子序列与触碰间隔序列A和触碰间隔序列B的重合度均为100%。
1309.确定第一子序列所对应的第一物体集合,与第二子序列所对应的第二物体集合的交集。
第一子序列(3,3,1,3,1)所指示的物体,在传感器A侧,序号为1至5,对应于传感器B侧的序号为10至14的物体。在本申请实施例中,与第一子序列对应的物体集合也称为第一物体集合。
第二子序列(2.0s,0.3s,1.9s,0.4s)所指示的物体,在传感器A侧,序号为2至5,对应于传感器B侧的序号为11至14的物体。在本申请实施例中,与第二子序列对应的物体集合也称为第二物体集合。
取两个物体集合的交集,即在传感器A侧,取序号1至5与序号2至5的物体的交集,即确定交集为序号2至5的目标物的集合。对应的,在传感器B侧,该交集即为序号11至14的目标物的集合。在本申请实施例中,第一物体集合与第二物体集合的交集也称为目标物体集合。
1310.根据交集中物体的阵位信息,将来自传感器A和传感器B的针对同一目标物的检测信息融合。
第一子序列是由多个触碰点分区信息组成的,对于第一子序列中的每个触碰点分区信息,均可在触碰分区序列A和触碰分区序列B中找到对应的数据。例如触碰分区序列A中序号为4的触碰点分区信息,自身的触碰点分区信息为3,前后的触碰点分区信息均为1。
在本申请实施例中,触碰分区序列或第一子序列中的单个触碰点分区信息也称为阵位信息,表示单个目标物在目标物集合中的位置。
在本申请实施例中,自身的分区信息称为自身特征,前后或附近的分区信息称为周边特征。除了前后一个触碰点分区信息,周边特征也可包括附近更多的触碰点分区信息,此处不做限定。
在触碰分区序列B中也可以找到具有相同自身特征和周边特征的触碰点分区信息,即序号为13的那个触碰点分区信息。由于两个触碰点分区信息都在第一子序列中,且具有相同的自身特征与周边特征,可以认为两个触碰点分区信息反映了同一个物体。因此处理设备可以将序号4对应的检测信息,与序号13对应的检测信息融合,得到该目标物的融合信息。
例如,触碰分区序列A对应的摄像头,可以检测到序号4对应物体的大小,形状等外观信息。具体到车辆上,可以检测到序号4对应车辆的型号,颜色,车牌等信息。触碰分区序列B对应的雷达,可以检测到序号13对应物体的移动速度等信息。具体到车辆上,可以检测到序号13对应车辆的车速,加速度等信息。处理设备可以将前述型号,颜色,车牌等信息与车速,加速度等信息融合,得到该车辆的融合信息。
类似的,也可以将第二子序列中具有相同自身特征与周边特征的检测信息融合,具体参见前述根据第一子序列融合的过程,此处不再赘述。
对于第二子序列的自身特征与周边特征的描述,参见图9所示实施例的步骤908,此处不再赘述。
在本申请实施例中,通过第一子序列所对应的第一物体集合,与第二子序列所对应的第二物体集合,确定第一物体集合与第二物体集合的交集,并将该交集作为目标物体集合。该交集中的物体对应于第一子序列,即根据不同传感器的检测信息,都能获取相似的触碰分区信息;同时该交集中的物体对应于第二子序列,也就是说根据不同传感器的检测信息,同时具有相似的触碰时间间隔信息。若根据多个传感器的检测信息,可以获取相似的多种表示物体位置关系的信息,则比只能获取相似的一种表示物体位置关系的信息,检测信息所对应的物体集合为同一物体集合的可能性更高。因此,通过筛选多个子序列对应物体的交集,就可以更准确的将目标物的阵型信息区别于其他非目标物的阵型信息,从而更加准确地实现针对同一目标物的检测信息的融合。
在本申请实施例中,除了取第一子序列对应的物体与第二子序列对应的物体的交集,也可以取其他子序列对应的物体之间的交集,例如第一子序列与第三子序列各自对应的物体之间的交集,或第二子序列与第三子序列各自对应的物体之间的交集,或其他子序列所对应的物体,与第一至第三子序列中任一子序列所对应的物体之间的交集。其中,其他子序列也用于表示物体之间的位置关系,例如物体之间的距离或方向等,此处不做限定。通过取不同子序列所对应物体之间的交集,可以灵活的选取合适的子序列进行运算,提升了方案的可行性与灵活性。
在本申请实施例中,除了取两个子序列之各自对应物体之间的交集,也可以取更多子序列各自对应物体之间的交集,例如取第一子序列、第二子序列和第三子序列各自对应物体之间的交集。取的子序列数量越多,说明根据多个传感器的检测信息,可以获取相似的表示物体位置关系的信息的种类越多,检测信息所对应的物体集合为同一物体集合的可能性更高。因此,通过筛选多个子序列对应物体的交集,就可以更准确的将目标物的阵型信息区别于其他非目标物的阵型信息,从而更加准确地实现针对同一目标物的检测信息的融合。
在本申请实施例中,通过位置特征集获取触线信息,由于触线信息是物体触碰基准线的信息,触碰基准线可以获取触碰时间、触碰间隔、触碰位置等包括具体数值或具体位置特征的数据。因此,通过多个目标物触线的具体数值或具体位置特征,就可以获取触线数据的集合,例如多个触碰时间组成的数列、多个触碰间隔组成的数列或多个触碰位置组成的分布关系等。由于上述触线数据的集合均具有具体的数值或位置特征,不需要再进行其他的数据处理就可以直接运算,从而可以快速地确定出重合度符合预设阈值的目标阵型信息。
在本申请实施例中,除了通过划线法确定阵型信息,也可以通过其他方法确定,例如图像特征匹配法。
2.图像特征匹配法。
对于人来说,阵型信息可以表现为一个整体的形状。对于设备来说,这种抽象出来的整体的形状,可以通过图像特征表示。在本申请实施例中,通过整体的图像特征确定阵型信息的方法,称为图像特征匹配法。
基于图3a所示的检测系统,接下来将结合图15对本申请实施例所示的信息处理方法的步骤进行详细描述。请参阅图15,图15为本申请实施例提供的信息处理方法的一个流程示意图。该方法包括:
1501.从传感器A(摄像头)处获取检测信息A。
1502.从传感器B(雷达)处获取检测信息B。
步骤1501和1502参见图7所示实施例的步骤701和702,此处不再赘述。
1503.根据检测信息A确定初始目标群分布图A。
由于检测信息A是由像素组成的画面,处理设备可以根据画面中的像素分辨不同的物体,并对物体标注特征点。并将各特征点组成的形状作为初始目标群分布图A。
具体的,特征点的标注可以遵循统一的规律,例如,对于车辆的标注,可以将车头的中心点作为特征点。除了车头中心点,还可以是其他点,例如车牌中心点等,此处不做限定。
示例地,请参阅图16,图16为本申请实施例提供的信息处理方法的一个应用场景示意图。如图16所示,对车牌中心点进行标注,并连接标注点,形成初始目标群分布图A,该分布图具有一个类似于数字“9”的形状。
可选的,可以通过尺度不变特征转换(scale-invariant feature transform,SIFT)算法提取对应的形状特征,从而获取初始目标群分布图A。
1504.根据检测信息B确定初始目标群分布图B。
由于检测信息B为雷达检测到的物体在检测范围内的画面,雷达检测到的物体在画面中具有标注信息,标注信息即代表对应的物体。处理设备可以将各标注信息在画面中形成的形状作为初始目标群分布图B。
示例地,如图16所示,将标注信息所在的位置连接,形成初始目标群分布图B,该分布图也具有一个类似于数字“9”的形状。
可选的,可以通过SIFT算法提取对应的形状特征,从而获取初始目标群分布图B。
1505.获取初始目标群分布图A的目标群分布图A和初始目标群分布图B的目标群分布图B。
处理设备可以通过视角变化算法,获取初始目标群分布图A的标准视角图,并将初始目标群分布图A的标准视角图作为目标群分布图A。同理,处理设备可以通过视角变化算法,获取初始目标群分布图B的标准视角图,并将初始目标群分布图B的标准视角图作为目标群分布图B。
示例地,如图16所示,将初始目标群分布图B的视角作为标准视角,对初始目标群分布图A进行视角变化,得到与目标群分布图B相同视角的目标群分布图A。
1506.根据目标群分布图A和目标群分布图B确定图像特征集。
目标群分布图A和目标群分布图B为两个形状,处理设备可以对比这两个形状的图像特征,当发现两个图像特征中包括相同或重合度较高的特征集合时,可以认为该特征集合为两个图像特征的公共部分。在本申请实施例中,该特征集合也称为图像特征集。由于图像特征体现了传感器所检测到的物体之间的位置关系,即物体之间的阵型信息。当两个图像特征中包括相同或重合度较高的特征集合,表示这两个图像特征中的该特征集合所对应的物体集合,具有相同的位置关系,即具有相同的阵型信息。不同的传感器检测到相同或相似的阵型信息,即可认为这两个传感器检测到的是同一个物体集合。
在本申请实施例中,图像特征集也称为目标阵型信息,表示多个传感器检测到的相同或相似的阵型信息。
具体的,由于传感器存在一定的漏检率,因此并不要求图像特征集与目标群分布图A和目标群分布图B中的特征完全重合,只要保证图像特征集与目标群分布图A和目标群分布图B的重合度均高于第三阈值即可。在本申请实施例中,重合度也称为相似度。具体的,第三阈值可以是90%,除了90%,第三阈值还可以是其他数值,例如95%,99%等,此处不做限定。
可选的,可以通过人脸识别算法或指纹识别算法匹配不同目标群分布图的图像特征集。
1507.根据图像特征集中目标物的阵位信息,将来自传感器A和传感器B的针对同一目标物的检测信息融合。
图像特征集是由多个标注信息或标注点组成的,对于图像特征集中的每个标注信息或标注点,均可在目标群分布图A和目标群分布图B中找到对应的数据。例如图16中,目标群分布图A中形状“9”底部的那个标注点。
在本申请实施例中,目标群分布图或图像特征集中的单个标注信息或标注点也称为阵位信息,表示单个目标物在目标物集合中的位置。
在目标群分布图B中也可以找到具有相同位置的标注信息,即目标群分布图B中形状“9”底部的那个标注信息。由于这两个标注信息和标注点都在图像特征集中,且具有相同的位置特征,可以认为这两个标注信息和标注点反映了同一个物体。因此处理设备可以将形状“9”底部的那个标注点所对应的检测信息,与形状“9”底部的那个标注信息所对应的检测信息融合,得到该目标物的融合信息。
例如,目标群分布图A对应的摄像头,可以检测到该物体的大小,形状等外观信息。具体到车辆上,可以检测到对应车辆的型号,颜色,车牌等信息。目标群分布图B对应的雷达,可以检测到该物体的移动速度等信息。具体到车辆上,可以检测到对应车辆的车速,加速度等信息。处理设备可以将前述型号,颜色,车牌等信息与车速,加速度等信息融合,得到该车辆的融合信息。
在本申请实施例中,根据来自不同传感器的检测信息获取对应的多个初始目标群分布图,并通过视角变化算法获取对应的多个目标群分布图,再获取多个目标群分布图的图像特征集,并将该图像特征集作为目标阵型信息。通过来源于多个传感器的多个目标群分布图,确定与多个目标群分布图的重合度均高于预设阈值的图像特征集。由于图像特征可以直观地反映图像中所显示物体之间的位置关系,因此通过多个目标群分布图确定图像特征集,可以直观地反映具有相似位置关系的检测结果,也就可以直观地将不同传感器对同一目标群的检测结果匹配出来,从而准确地实现检测信息的融合。
在本申请实施例中,也可以将图像特征匹配法与划线法结合,得到更准确的结果。
3.图像特征匹配法与划线法结合。
请参阅图17,图17为本申请实施例提供的信息处理方法的一个流程示意图。该方法包括:
1701.从传感器A(摄像头)处获取检测信息A。
1502.从传感器B(雷达)处获取检测信息B。
步骤1701和1702参见图7所示实施例的步骤701和702,此处不再赘述。
1703.根据检测信息A获取触线信息A。
在图6所示实施例中已说明,触线信息包括物体触碰基准线的时序信息,触碰点分区信息,触碰点位置信息,触碰时间间隔信息等。处理设备可以根据检测信息获取前述触线信息中的任意多种,例如,可以根据检测信息A获取时序信息A和触碰点分区信息A。对于时序信息A和触碰点分区信息A的获取过程,参见图7所示实施例的步骤703,此处不再赘述。
除了获取时序信息A和触碰点分区信息A,处理设备还可以获取其他的触线信息,例如如图9所示实施例中步骤903所示的时序信息A和触碰时间间隔信息A,或如图11所示实施例中步骤1103所示的时序信息A和触碰点位置信息A,或如图13所示实施例中步骤1303所示的时序信息A,触碰点分区信息A和触碰时间间隔信息A等,此处不做限定。
1704.根据检测信息B获取触线信息B。
与步骤1703相对应,处理设备根据检测信息A获取了哪些类型的触线信息,就对应的要根据检测信息B获取相同类型的触线信息,获取触线信息的过程,参见前述图7,图9,图11或图13所示的实施例,此处不再赘述。
1705.根据触线信息A确定初始目标群分布图A。
物体触碰基准线只发生在一瞬间,因此触线信息可以反映检测信息的时刻。处理设备可以根据触线信息A所反映时刻的检测信息A,确定初始目标群分布图A。此处获取的初始目标群分布图A,反映了触线信息A所在时刻的阵型信息。获取初始目标群分布图A的过程,参见图15所示实施例的步骤1503,此处不再赘述。
1706.根据触线信息B确定初始目标群分布图B。
处理设备可以确定与触线信息A具有相同阵型信息的触线信息B,由于触线信息主要反映了物体集合的阵型信息,因此可以认为触线信息B与触线信息A相同。
处理设备可以根据触线信息B所反映时刻的检测信息B,确定初始目标群分布图B。此处获取的初始目标群分布图B,反映了触线信息B所在时刻的阵型信息。获取初始目标群分布图B的过程,参见图15所示实施例的步骤1504,此处不再赘述。
1707.获取初始目标群分布图A的目标群分布图A和初始目标群分布图B的目标群分布图B。
1708.根据目标群分布图A和目标群分布图B确定图像特征集。
1709.根据图像特征集中目标物的阵位信息,将来自传感器A和传感器B的针对同一目标物的检测信息融合。
步骤1707至1709参见图15所示实施例的步骤1505至1507,此处不再赘述。
在本申请实施例中,由于近似时间的图像之间相似度高,若不确定相同的时间,则在匹配来源于不同传感器的初始目标物分布图的时候,将会引入近似时间的初始目标群分布图的干扰,导致分布图匹配错误,图像特征集获取错误,从而将不同时刻的检测信息融合,造成检测信息融合错误。通过触线信息即可避免这种错误,具体的,通过触线信息确定多个初始目标群分布图,该多个初始目标群分布图具有相同的触线信息,表示该多个初始目标群分布图是在相同时间获取的,就能保证融合的检测信息是在同一时刻获取的,提升检测信息融合的准确性。
二、本申请实施例中的信息处理方法的应用。
本申请实施例所述的方法,不仅可以用于获取融合信息,还可以有其他的用途,例如实现不同传感器的空间坐标系的映射,实现不同传感器的时间轴的映射,对传感器的纠错或筛选等功能。
1.实现不同传感器的空间坐标系的映射。
具体的,多个传感器可以包括第一传感器和第二传感器,其中,第一传感器对应的空间坐标系为标准坐标系,第二传感器对应的空间坐标系为目标坐标系。为了实现不同传感器的空间坐标系的映射,在图7至图17所示实施例之后,还可以包括:
处理设备根据融合检测信息确定多个标准点信息与多个目标点信息之间的映射关系,其中,融合检测信息为将多个阵型信息中同一目标物对应的检测信息融合得到的。在本申请实施例中,也称为融合信息。其中,标准点信息表示目标物体集合中各物体在标准坐标系中的位置信息,目标点信息表示目标物体集合中各物体在所述目标坐标系中的位置信息,其中,多个标准点信息与多个目标点信息一一对应。
确定映射关系之后,处理设备就可以根据标准点信息与目标点信息之间的映射关系,确定标准坐标系与目标坐标系之间的映射关系。
在本申请实施例中,通过融合检测信息确定多个标准点信息与多个目标点信息之间的映射关系,并通过多个标准点信息与多个目标点信息之间的映射关系确定标准坐标系与目标坐标系之间的映射关系。本申请实施例所述的方法,只要能获取来自不同传感器的检测信息,即可实现不同传感器之间坐标系的映射。后续的目标阵型信息的确定,点信息映射等步骤都可以由处理设备自行实现,不需要人工标定与映射。通过处理设备匹配目标阵型信息,设备运算的准确性提升了点信息映射的准确性。同时,只要能获取来自不同传感器的检测信息,即可实现检测信息的融合以及坐标系的映射,避免了人工标定带来的场景限制,保证了检测信息融合的准确性与普适性。
2.实现不同传感器的时间轴的映射。
处理设备根据对多个阵型信息中同一目标物对应的检测信息的融合结果,计算多个传感器的时间轴之间的时间差。通过该时间差可以实现不同传感器之间时间轴的映射。
在本申请实施例中,通过对同一目标物的检测信息的融合结果,计算多个传感器的时间轴之间的时间差,就可以根据该时间差对齐不同传感器的时间轴。本申请实施例提供的时间轴对齐方法,只要能获取不同传感器的检测信息即可实现,不需要多个传感器在同一对时系统中,扩展了不同传感器的时间轴对齐的应用场景,同时也扩大了信息融合的适用范围。
3.对传感器的纠错或筛选。
具体的,多个传感器可以包括标准传感器和待测传感器,该方法还可以包括:
处理设备获取目标阵型信息在标准传感器对应的标准阵型信息;处理设备获取目标阵型信息在待测传感器对应的待测阵型信息;处理设备确定待测阵型信息与标准阵型信息的差异;处理设备根据前述差异和标准阵型信息,获取错误参数,其中,错误参数用于指示待测阵型信息的误差,或用于指示待测传感器的性能参数。
请参阅图18,图18为本申请实施例提供的信息处理方法的一个应用场景示意图,如图18所示,若传感器B误检出一个数据,如图中的v6a6数据,可以根据触碰分区序列A与触碰分区序列B的差异,确定序号15的数据是传感器B误检出来的。
如上所述,可以获取传感器的误检信息,从而计算传感器的误检率,以评估传感器的性能。
请参阅图19,图19为本申请实施例提供的信息处理方法的一个应用场景示意图,如图19所示,若传感器B漏检了一个数据,如图中的序号2所对应的3车道上的那个目标物,可以根据触碰分区序列A与触碰分区序列B的差异,确定序号10与序号11中间漏检了一个目标物。
如上所述,可以获取传感器的漏检信息,从而计算传感器的漏检率,以评估传感器的性能。
在本申请实施例中,将标准传感器作为检测的标准,根据待测阵型信息与标准阵型信息的差异获取错误参数。当该错误参数用于指示待测阵型信息的误差时,可以通过错误参数与标准阵型信息,将待测阵型信息中错误参数所对应的信息改正;当错误参数用于指示待测传感器的性能参数时,可以确定待测传感器的误检率等性能参数,实现对待测传感器的数据化分析,以实现对传感器的选择。
三、本申请实施例中的信息处理方法对应的处理设备。
下面对本申请实施例中的处理设备进行描述。请参阅图20,图20是本申请实施例提供的一种处理设备的结构示意图。该处理设备2000位于检测系统中,该检测系统还包括至少两个传感器,其中,至少两个传感器所获取的检测信息中包括至少两个传感器分别对相同的至少两个目标物的检测信息,该处理设备2000可以包括处理器2001和收发器2002。
其中,收发器2002用于,从至少两个传感器获取至少两个检测信息,其中,至少两个传感器与至少两个检测信息一一对应。
其中,处理器2001用于:根据至少两个检测信息确定对应的至少两个阵型信息,其中,每个阵型信息用于描述对应传感器所检测到的物体之间的位置关系,其中,物体中包括前述目标物;根据至少两个阵型信息确定目标阵型信息,目标阵型信息与至少两个阵型信息中的每个阵型信息的重合度均高于预设阈值,目标阵型信息用于描述至少两个目标物之间的位置关系,目标阵型信息中包括每个目标物的阵位信息;根据每个目标物中任一目标物的阵位信息,将至少两个阵型信息中同一目标物对应的检测信息融合。
在一种可选的实施方式中,检测信息包括位置特征集,位置特征集包括至少两个位置特征,位置特征表示对应传感器检测到的物体,与物体四周的物体之间的位置关系。
在一种可选的实施方式中,处理器2001具体用于:根据至少两个位置特征集获取对应的至少两个触线信息,其中,至少两个触线信息中的每个触线信息用于描述对应传感器所检测到的物体触碰基准线的信息,至少两个触线信息与至少两个位置特征集一一对应;根据至少两个触线信息分别确定对应的至少两个阵型信息,至少两个触线信息与至少两个阵型信息一一对应。
在一种可选的实施方式中,触线信息包括对应传感器所检测到的物体触碰所述基准线的时序信息和触碰点分区信息,触碰点分区信息表示物体触碰基准线的触碰点在基准线中的分区信息;阵型信息包括触碰分区序列,触碰分区序列表示对应传感器所检测到的物体触碰基准线的分区位置的前后时序关系。
处理器2001具体用于:获取至少两个触碰分区序列的第一子序列,将第一子序列作为目标阵型信息,其中,第一子序列与至少两个触碰分区序列的重合度均高于第一阈值;根据每个目标物在所述第一子序列中对应的触碰点分区信息,将至少两个触碰分区序列中同一目标物对应的检测信息融合。
在一种可选的实施方式中,触线信息包括对应传感器所检测到的物体触碰基准线的时序信息和触碰时间间隔信息,触碰时间间隔信息表示物体触碰基准线的前后时间间隔;阵型信息包括触碰间隔序列,触碰间隔序列表示对应传感器所检测到的物体触碰基准线的时间间隔的分布。
处理器2001具体用于:获取至少两个触碰间隔序列的第二子序列,将第二子序列作为目标阵型信息,其中,第二子序列与至少两个触碰间隔序列的重合度均高于第二阈值;根据每个目标物在第二子序列中对应的触碰时间分布信息,将至少两个触碰间隔序列中同一目标物对应的检测信息融合。
在一种可选的实施方式中,触线信息包括对应传感器所检测到的物体触碰基准线的所述时序信息,触碰点分区信息和所述触碰时间间隔信息,触碰点分区信息表示物体触碰基准线的触碰点在基准线中的分区信息,触碰时间间隔信息表示物体触碰所述基准线的前后时间间隔;阵型信息包括触碰分区序列和触碰间隔序列,触碰分区序列表示对应传感器所检测到的物体触碰基准线的分区位置的前后时序关系,触碰间隔序列表示对应传感器所检测到的物体触碰基准线的时间间隔的分布。
处理器2001具体用于:获取至少两个触碰分区序列的第一子序列,第一子序列与至少两个触碰分区序列的重合度均高于第一阈值;获取至少两个触碰间隔序列的第二子序列,第二子序列与至少两个触碰间隔序列的重合度均高于第二阈值;确定第一物体集合与第二物体集合的交集,将交集作为目标物体集合,其中,第一物体集合为第一子序列所对应的物体的集合,第二物体集合为第二子序列所对应的物体的集合;将目标物体集合的触碰分区序列和触碰间隔序列作为所述目标阵型信息。
在一种可选的实施方式中,阵型信息包括目标群分布图,目标群分布图表示物体之间的位置关系。
处理器2001具体用于:根据至少两个位置特征集,获取对应的至少两个初始目标群分布图,初始目标分布图表示对应传感器所检测到的物体之间的位置关系;通过视角变化算法,获取至少两个初始目标群分布图的标准视角图,将至少两个标准视角图作为对应的至少两个目标群分布图,其中,目标群分布图的阵位信息包括目标物的目标物分布信息,目标物分布信息表示目标物在对应传感器所检测到的物体中的位置;获取至少两个目标群分布图的图像特征集,将图像特征集作为所述目标阵型信息,其中,图像特征集与至少两个目标群分布图的重合度均高于第三阈值;根据每个目标物在图像特征集中对应的目标物分布信息,将至少两个目标群分布图中同一目标物对应的检测信息融合。
在一种可选的实施方式中,处理器2001还用于:根据至少两个位置特征集,获取图像特征集中的对应目标物的至少两个触线信息,其中,至少两个触线信息中的每个触线信息用于描述对应传感器所检测到的物体触碰基准线的信息,至少两个触线信息与至少两个位置特征集一一对应。
处理器2001具体用于,根据至少两个触线信息,获取对应的至少两个初始目标群分布图,其中,至少两个初始目标群分布图中的物体,具有相同的触线信息。
在一种可选的实施方式中,至少两个传感器包括第一传感器和第二传感器,第一传感器对应的空间坐标系为标准坐标系,第二传感器对应的空间坐标系为目标坐标系。
处理器2001还用于:根据将至少两个阵型信息中同一目标物对应的检测信息融合得到的融合检测信息,确定至少两个标准点信息与至少两个目标点信息之间的映射关系,标准点信息表示目标物体集合中各物体在标准坐标系中的位置信息,目标点信息表示各物体在目标坐标系中的位置信息,其中,至少两个标准点信息与至少两个目标点信息一一对应;根据标准点信息与目标点信息之间的映射关系,确定标准坐标系与目标坐标系之间的映射关系。
在一种可选的实施方式中,处理器2001还用于,根据对至少两个阵型信息中同一目标物对应的检测信息的融合结果,计算至少两个传感器的时间轴之间的时间差。
在一种可选的实施方式中,至少两个传感器包括标准传感器和待测传感器。
处理器2001还用于:获取目标阵型信息在所述标准传感器对应的标准阵型信息;获取目标阵型信息在待测传感器对应的待测阵型信息;确定待测阵型信息与标准阵型信息的差异;根据差异和标准阵型信息,获取错误参数,错误参数用于指示待测阵型信息的误差,或用于指示待测传感器的性能参数。
该处理设备2000可以执行前述图4至图17所示实施例中处理设备所执行的操作,具体此处不再赘述。
请参阅图21,图21是本申请实施例提供的一种处理设备的结构示意图。该处理设备2100可以包括一个或一个以上中央处理器(central processing units,CPU)2101和存储器2105。该存储器2105中存储有一个或一个以上的应用程序或数据。
其中,存储器2105可以是易失性存储或持久存储。存储在存储器2105的程序可以包括一个或一个以上模块,每个模块可以包括对处理设备中的一系列指令操作。更进一步地,中央处理器2101可以设置为与存储器2105通信,在处理设备2100上执行存储器2105中的一系列指令操作。
处理设备2100还可以包括一个或一个以上电源2102,一个或一个以上有线或无线网络接口2103,一个或一个以上收发器接口2104,和/或,一个或一个以上操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等。
该服务器2100可以执行前述图4至图17所示实施例中处理设备所执行的操作,具体此处不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (25)
1.一种信息处理方法,其特征在于,所述方法应用于检测系统中的处理设备,所述检测系统还包括至少两个传感器,其中,所述至少两个传感器所获取的检测信息中包括所述至少两个传感器分别对相同的至少两个目标物的检测信息,所述方法包括:
所述处理设备从所述至少两个传感器获取至少两个检测信息,其中,所述至少两个传感器与所述至少两个检测信息一一对应;
所述处理设备根据所述至少两个检测信息确定对应的至少两个阵型信息,其中,每个阵型信息用于描述对应传感器所检测到的物体之间的位置关系,其中,所述物体包括所述目标物;
所述处理设备根据所述至少两个阵型信息确定目标阵型信息,所述目标阵型信息与所述至少两个阵型信息中的每个阵型信息的重合度均高于预设阈值,所述目标阵型信息用于描述所述至少两个目标物之间的位置关系,所述目标阵型信息中包括每个目标物的阵位信息;
所述处理设备根据所述每个目标物中任一目标物的阵位信息,将所述至少两个阵型信息中同一目标物对应的检测信息融合。
2.根据权利要求1所述的方法,其特征在于,所述检测信息包括位置特征集,所述位置特征集包括至少两个位置特征,所述位置特征表示对应传感器检测到的物体,与所述物体四周的物体之间的位置关系。
3.根据权利要求2所述的方法,其特征在于,所述处理设备根据所述至少两个检测信息确定对应的至少两个阵型信息,包括:
所述处理设备根据至少两个位置特征集获取对应的至少两个触线信息,其中,所述至少两个触线信息中的每个触线信息用于描述对应传感器所检测到的物体触碰基准线的信息,所述至少两个触线信息与所述至少两个位置特征集一一对应;
所述处理设备根据所述至少两个触线信息分别确定对应的所述至少两个阵型信息,所述至少两个触线信息与所述至少两个阵型信息一一对应。
4.根据权利要求3所述的方法,其特征在于,
所述触线信息包括对应传感器所检测到的物体触碰所述基准线的时序信息和触碰点分区信息,所述触碰点分区信息表示所述物体触碰所述基准线的触碰点在所述基准线中的分区信息;
所述阵型信息包括触碰分区序列,所述触碰分区序列表示对应传感器所检测到的物体触碰所述基准线的分区位置的前后时序关系;
所述处理设备根据所述至少两个阵型信息确定目标阵型信息,包括:
所述处理设备获取所述至少两个触碰分区序列的第一子序列,将所述第一子序列作为所述目标阵型信息,其中,所述第一子序列与所述至少两个触碰分区序列的重合度均高于第一阈值;
所述处理设备根据所述每个目标物的阵位信息,将所述至少两个阵型信息中同一目标物对应的检测信息融合,包括:
所述处理设备根据所述每个目标物在所述第一子序列中对应的触碰点分区信息,将所述至少两个触碰分区序列中同一目标物对应的检测信息融合。
5.根据权利要求3所述的方法,其特征在于,
所述触线信息包括对应传感器所检测到的物体触碰所述基准线的时序信息和触碰时间间隔信息,所述触碰时间间隔信息表示所述物体触碰所述基准线的前后时间间隔;
所述阵型信息包括触碰间隔序列,所述触碰间隔序列表示对应传感器所检测到的物体触碰所述基准线的时间间隔的分布;
所述处理设备根据所述至少两个阵型信息确定目标阵型信息,包括:
所述处理设备获取所述至少两个触碰间隔序列的第二子序列,将所述第二子序列作为所述目标阵型信息,其中,所述第二子序列与所述至少两个触碰间隔序列的重合度均高于第二阈值;
所述处理设备根据所述每个目标物的阵位信息,将所述至少两个阵型信息中同一目标物对应的检测信息融合,包括:
所述处理设备根据所述每个目标物在所述第二子序列中对应的触碰时间分布信息,将所述至少两个触碰间隔序列中同一目标物对应的检测信息融合。
6.根据权利要求3所述的方法,其特征在于,
所述触线信息包括对应传感器所检测到的物体触碰所述基准线的所述时序信息,所述触碰点分区信息和所述触碰时间间隔信息,所述触碰点分区信息表示所述物体触碰所述基准线的触碰点在所述基准线中的分区信息,所述触碰时间间隔信息表示所述物体触碰所述基准线的前后时间间隔;
所述阵型信息包括所述触碰分区序列和所述触碰间隔序列,所述触碰分区序列表示对应传感器所检测到的物体触碰所述基准线的分区位置的前后时序关系,所述触碰间隔序列表示对应传感器所检测到的物体触碰所述基准线的时间间隔的分布;
所述处理设备根据所述至少两个阵型信息确定目标阵型信息,包括:
所述处理设备获取至少两个触碰分区序列的所述第一子序列,所述第一子序列与所述至少两个触碰分区序列的重合度均高于所述第一阈值;
所述处理设备获取至少两个触碰间隔序列的第二子序列,所述第二子序列与所述至少两个触碰间隔序列的重合度均高于所述第二阈值;
所述处理设备确定第一物体集合与第二物体集合的交集,将所述交集作为目标物体集合,其中,所述第一物体集合为所述第一子序列所对应的物体的集合,所述第二物体集合为所述第二子序列所对应的物体的集合;
所述处理设备将所述目标物体集合的触碰分区序列和触碰间隔序列作为所述目标阵型信息。
7.根据权利要求2所述的方法,其特征在于,所述阵型信息包括目标群分布图,所述目标群分布图表示物体之间的位置关系;
所述处理设备根据所述至少两个检测信息确定对应的至少两个阵型信息,包括:
所述处理设备根据至少两个位置特征集,获取对应的至少两个初始目标群分布图,所述初始目标群分布图表示对应传感器所检测到的物体之间的位置关系;
所述处理设备通过视角变化算法,获取所述至少两个初始目标群分布图的标准视角图,将至少两个标准视角图作为对应的至少两个目标群分布图,其中,所述目标群分布图的阵位信息包括目标物的目标物分布信息,所述目标物分布信息表示所述目标物在对应传感器所检测到的物体中的位置;
所述处理设备根据所述至少两个阵型信息确定目标阵型信息,包括:
所述处理设备获取所述至少两个目标群分布图的图像特征集,将所述图像特征集作为所述目标阵型信息,其中,所述图像特征集与所述至少两个目标群分布图的重合度均高于第三阈值;
所述处理设备根据所述每个目标物的阵位信息,将所述至少两个阵型信息中同一目标物对应的检测信息融合,包括:
所述处理设备根据所述每个目标物在所述图像特征集中对应的目标物分布信息,将所述至少两个目标群分布图中同一目标物对应的检测信息融合。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
所述处理设备根据至少两个位置特征集,获取所述位置特征集的对应目标物的至少两个触线信息,其中,所述至少两个触线信息中的每个触线信息用于描述对应传感器所检测到的物体触碰基准线的信息,所述至少两个触线信息与所述至少两个位置特征集一一对应;
所述处理设备根据至少两个位置特征集,获取对应的至少两个初始目标群分布图,包括:
所述处理设备根据所述至少两个触线信息,获取对应的至少两个初始目标群分布图,其中,所述至少两个初始目标群分布图中的物体,具有相同的触线信息。
9.根据权利要求1至8中任一项所述的方法,其特征在于,所述至少两个传感器包括第一传感器和第二传感器,所述第一传感器对应的空间坐标系为标准坐标系,所述第二传感器对应的空间坐标系为目标坐标系,所述方法还包括:
所述处理设备根据将所述至少两个阵型信息中同一目标物对应的检测信息融合得到的融合检测信息,确定至少两个标准点信息与至少两个目标点信息之间的映射关系,所述标准点信息表示所述目标物体集合中各物体在所述标准坐标系中的位置信息,所述目标点信息表示所述目标物体集合中各物体在所述目标坐标系中的位置信息,其中,所述至少两个标准点信息与所述至少两个目标点信息一一对应;
所述处理设备根据所述标准点信息与所述目标点信息之间的映射关系,确定所述标准坐标系与所述目标坐标系之间的映射关系。
10.根据权利要求1至9中任一项所述的方法,其特征在于,所述方法还包括:
所述处理设备根据对所述至少两个阵型信息中同一目标物对应的检测信息的融合结果,计算所述至少两个传感器的时间轴之间的时间差。
11.根据权利要求1至10中任一项所述的方法,其特征在于,所述至少两个传感器包括标准传感器和待测传感器,所述方法还包括:
所述处理设备获取所述目标阵型信息在所述标准传感器对应的标准阵型信息;
所述处理设备获取所述目标阵型信息在所述待测传感器对应的待测阵型信息;
所述处理设备确定所述待测阵型信息与所述标准阵型信息的差异;
所述处理设备根据所述差异和所述标准阵型信息,获取错误参数,所述错误参数用于指示所述待测阵型信息的误差,或用于指示所述待测传感器的性能参数。
12.一种处理设备,其特征在于,所述处理设备位于检测系统中,所述检测系统还包括至少两个传感器,其中,所述至少两个传感器所获取的检测信息中包括所述至少两个传感器分别对相同的至少两个目标物的检测信息,所述处理设备包括:处理器和收发器;
所述收发器用于,从所述至少两个传感器获取至少两个检测信息,其中,所述至少两个传感器与所述至少两个检测信息一一对应;
所述处理器用于:
根据所述至少两个检测信息确定对应的至少两个阵型信息,其中,每个阵型信息用于描述对应传感器所检测到的物体之间的位置关系,其中,所述物体包括所述目标物;
根据所述至少两个阵型信息确定目标阵型信息,所述目标阵型信息与所述至少两个阵型信息中的每个阵型信息的重合度均高于预设阈值,所述目标阵型信息用于描述所述至少两个目标物之间的位置关系,所述目标阵型信息中包括每个目标物的阵位信息;
根据所述每个目标物中任一目标物的阵位信息,将所述至少两个阵型信息中同一目标物对应的检测信息融合。
13.根据权利要求12所述的处理设备,其特征在于,所述检测信息包括位置特征集,所述位置特征集包括至少两个位置特征,所述位置特征表示对应传感器检测到的物体,与所述物体四周的物体之间的位置关系。
14.根据权利要求13所述的处理设备,其特征在于,所述处理器具体用于:
根据至少两个位置特征集获取对应的至少两个触线信息,其中,所述至少两个触线信息中的每个触线信息用于描述对应传感器所检测到的物体触碰基准线的信息,所述至少两个触线信息与所述至少两个位置特征集一一对应;
根据所述至少两个触线信息分别确定对应的所述至少两个阵型信息,所述至少两个触线信息与所述至少两个阵型信息一一对应。
15.根据权利要求14所述的处理设备,其特征在于,
所述触线信息包括对应传感器所检测到的物体触碰所述基准线的时序信息和触碰点分区信息,所述触碰点分区信息表示所述物体触碰所述基准线的触碰点在所述基准线中的分区信息;
所述阵型信息包括触碰分区序列,所述触碰分区序列表示对应传感器所检测到的物体触碰所述基准线的分区位置的前后时序关系;
所述处理器具体用于:
获取所述至少两个触碰分区序列的第一子序列,将所述第一子序列作为所述目标阵型信息,其中,所述第一子序列与所述至少两个触碰分区序列的重合度均高于第一阈值;
根据所述每个目标物在所述第一子序列中对应的触碰点分区信息,将所述至少两个触碰分区序列中同一目标物对应的检测信息融合。
16.根据权利要求14所述的处理设备,其特征在于,
所述触线信息包括对应传感器所检测到的物体触碰所述基准线的时序信息和触碰时间间隔信息,所述触碰时间间隔信息表示所述物体触碰所述基准线的前后时间间隔;
所述阵型信息包括触碰间隔序列,所述触碰间隔序列表示对应传感器所检测到的物体触碰所述基准线的时间间隔的分布;
所述处理器具体用于:
获取所述至少两个触碰间隔序列的第二子序列,将所述第二子序列作为所述目标阵型信息,其中,所述第二子序列与所述至少两个触碰间隔序列的重合度均高于第二阈值;
根据所述每个目标物在所述第二子序列中对应的触碰时间分布信息,将所述至少两个触碰间隔序列中同一目标物对应的检测信息融合。
17.根据权利要求14所述的处理设备,其特征在于,
所述触线信息包括对应传感器所检测到的物体触碰所述基准线的所述时序信息,所述触碰点分区信息和所述触碰时间间隔信息,所述触碰点分区信息表示所述物体触碰所述基准线的触碰点在所述基准线中的分区信息,所述触碰时间间隔信息表示所述物体触碰所述基准线的前后时间间隔;
所述阵型信息包括所述触碰分区序列和所述触碰间隔序列,所述触碰分区序列表示对应传感器所检测到的物体触碰所述基准线的分区位置的前后时序关系,所述触碰间隔序列表示对应传感器所检测到的物体触碰所述基准线的时间间隔的分布;
所述处理器具体用于:
获取至少两个触碰分区序列的所述第一子序列,所述第一子序列与所述至少两个触碰分区序列的重合度均高于所述第一阈值;
获取至少两个触碰间隔序列的第二子序列,所述第二子序列与所述至少两个触碰间隔序列的重合度均高于所述第二阈值;
确定第一物体集合与第二物体集合的交集,将所述交集作为目标物体集合,其中,所述第一物体集合为所述第一子序列所对应的物体的集合,所述第二物体集合为所述第二子序列所对应的物体的集合;
将所述目标物体集合的触碰分区序列和触碰间隔序列作为所述目标阵型信息。
18.根据权利要求13所述的处理设备,其特征在于,所述阵型信息包括目标群分布图,所述目标群分布图表示物体之间的位置关系;
所述处理器具体用于:
根据至少两个位置特征集,获取对应的至少两个初始目标群分布图,所述初始目标分布图表示对应传感器所检测到的物体之间的位置关系;
通过视角变化算法,获取所述至少两个初始目标群分布图的标准视角图,将至少两个标准视角图作为对应的至少两个目标群分布图,其中,所述目标群分布图的阵位信息包括目标物的目标物分布信息,所述目标物分布信息表示所述目标物在对应传感器所检测到的物体中的位置;
所述处理器具体用于:
获取所述至少两个目标群分布图的图像特征集,将所述图像特征集作为所述目标阵型信息,其中,所述图像特征集与所述至少两个目标群分布图的重合度均高于第三阈值;
所述处理器具体用于:
根据所述每个目标物在所述图像特征集中对应的目标物分布信息,将所述至少两个目标群分布图中同一目标物对应的检测信息融合。
19.根据权利要求18所述的处理设备,其特征在于,所述处理器还用于:
根据至少两个位置特征集,获取所述图像特征集中的对应目标物的至少两个触线信息,其中,所述至少两个触线信息中的每个触线信息用于描述对应传感器所检测到的物体触碰基准线的信息,所述至少两个触线信息与所述至少两个位置特征集一一对应;
所述处理器具体用于,根据所述至少两个触线信息,获取对应的至少两个初始目标群分布图,其中,所述至少两个初始目标群分布图中的物体,具有相同的触线信息。
20.根据权利要求12至19中任一项所述的处理设备,其特征在于,所述至少两个传感器包括第一传感器和第二传感器,所述第一传感器对应的空间坐标系为标准坐标系,所述第二传感器对应的空间坐标系为目标坐标系,所述处理器还用于:
根据将所述至少两个阵型信息中同一目标物对应的检测信息融合得到的融合检测信息,确定至少两个标准点信息与至少两个目标点信息之间的映射关系,所述标准点信息表示所述目标物体集合中各物体在所述标准坐标系中的位置信息,所述目标点信息表示所述各物体在所述目标坐标系中的位置信息,其中,所述至少两个标准点信息与所述至少两个目标点信息一一对应;
根据所述标准点信息与所述目标点信息之间的映射关系,确定所述标准坐标系与所述目标坐标系之间的映射关系。
21.根据权利要求12至20中任一项所述的处理设备,其特征在于,所述处理器还用于,根据对所述至少两个阵型信息中同一目标物对应的检测信息的融合结果,计算所述至少两个传感器的时间轴之间的时间差。
22.根据权利要求12至21中任一项所述的处理设备,其特征在于,所述至少两个传感器包括标准传感器和待测传感器,所述处理器还用于:
获取所述目标阵型信息在所述标准传感器对应的标准阵型信息;
获取所述目标阵型信息在所述待测传感器对应的待测阵型信息;
确定所述待测阵型信息与所述标准阵型信息的差异;
根据所述差异和所述标准阵型信息,获取错误参数,所述错误参数用于指示所述待测阵型信息的误差,或用于指示所述待测传感器的性能参数。
23.一种处理设备,其特征在于,包括:
处理器和与所述处理器耦合的存储器;
所述存储器存储所述处理器执行的可执行指令,所述可执行指令指示所述处理器执行权利要求1至11中任一项所述的方法。
24.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中保存有程序,当所述计算机执行所述程序时,执行如权利要求1至11中任一项所述的方法。
25.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上执行时,所述计算机执行如权利要求1至11中任一项所述的方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110221913.6A CN114972935A (zh) | 2021-02-27 | 2021-02-27 | 一种信息处理方法及相关设备 |
PCT/CN2021/131058 WO2022179197A1 (zh) | 2021-02-27 | 2021-11-17 | 一种信息处理方法及相关设备 |
JP2023550693A JP2024507891A (ja) | 2021-02-27 | 2021-11-17 | 情報処理方法および関連デバイス |
EP21927621.9A EP4266211A4 (en) | 2021-02-27 | 2021-11-17 | INFORMATION PROCESSING METHOD AND ASSOCIATED DEVICE |
US18/456,150 US20230410353A1 (en) | 2021-02-27 | 2023-08-25 | Information processing method and related device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110221913.6A CN114972935A (zh) | 2021-02-27 | 2021-02-27 | 一种信息处理方法及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114972935A true CN114972935A (zh) | 2022-08-30 |
Family
ID=82973145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110221913.6A Pending CN114972935A (zh) | 2021-02-27 | 2021-02-27 | 一种信息处理方法及相关设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230410353A1 (zh) |
EP (1) | EP4266211A4 (zh) |
JP (1) | JP2024507891A (zh) |
CN (1) | CN114972935A (zh) |
WO (1) | WO2022179197A1 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019198076A1 (en) * | 2018-04-11 | 2019-10-17 | Ionterra Transportation And Aviation Technologies Ltd. | Real-time raw data- and sensor fusion |
CN109444911B (zh) * | 2018-10-18 | 2023-05-05 | 哈尔滨工程大学 | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 |
CN111257866B (zh) * | 2018-11-30 | 2022-02-11 | 杭州海康威视数字技术股份有限公司 | 车载摄像头和车载雷达联动的目标检测方法、装置及系统 |
CN109615870A (zh) * | 2018-12-29 | 2019-04-12 | 南京慧尔视智能科技有限公司 | 一种基于毫米波雷达和视频的交通检测系统 |
EP3702802A1 (en) * | 2019-03-01 | 2020-09-02 | Aptiv Technologies Limited | Method of multi-sensor data fusion |
CN109977895B (zh) * | 2019-04-02 | 2020-10-16 | 重庆理工大学 | 一种基于多特征图融合的野生动物视频目标检测方法 |
CN112305576A (zh) * | 2020-10-31 | 2021-02-02 | 中环曼普科技(南京)有限公司 | 一种多传感器融合的slam算法及其系统 |
-
2021
- 2021-02-27 CN CN202110221913.6A patent/CN114972935A/zh active Pending
- 2021-11-17 WO PCT/CN2021/131058 patent/WO2022179197A1/zh active Application Filing
- 2021-11-17 JP JP2023550693A patent/JP2024507891A/ja active Pending
- 2021-11-17 EP EP21927621.9A patent/EP4266211A4/en active Pending
-
2023
- 2023-08-25 US US18/456,150 patent/US20230410353A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4266211A1 (en) | 2023-10-25 |
US20230410353A1 (en) | 2023-12-21 |
JP2024507891A (ja) | 2024-02-21 |
EP4266211A4 (en) | 2024-05-22 |
WO2022179197A1 (zh) | 2022-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101758576B1 (ko) | 물체 탐지를 위한 레이더 카메라 복합 검지 장치 및 방법 | |
CN111830953B (zh) | 车辆自定位方法、装置及系统 | |
CN106650705B (zh) | 区域标注方法、装置和电子设备 | |
CN109471096B (zh) | 多传感器目标匹配方法、装置及汽车 | |
CN110738150B (zh) | 相机联动抓拍方法、装置以及计算机存储介质 | |
CN110619279B (zh) | 一种基于跟踪的路面交通标志实例分割方法 | |
CN111814752B (zh) | 室内定位实现方法、服务器、智能移动设备、存储介质 | |
CN111045000A (zh) | 监测系统和方法 | |
CN108594244B (zh) | 基于立体视觉和激光雷达的障碍物识别迁移学习方法 | |
CN105608417A (zh) | 交通信号灯检测方法及装置 | |
JP6758160B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
CN112802092B (zh) | 一种障碍物感知方法、装置以及电子设备 | |
CN113034586B (zh) | 道路倾角检测方法和检测系统 | |
CN106327461A (zh) | 一种用于监测的图像处理方法及装置 | |
CN115965655A (zh) | 一种基于雷视一体的交通目标跟踪方法 | |
WO2023231991A1 (zh) | 交通信号灯感知方法、装置、设备及存储介质 | |
CN112562005A (zh) | 一种空间标定方法和系统 | |
CN115457084A (zh) | 一种多相机目标检测跟踪方法、装置 | |
CN117392423A (zh) | 基于激光雷达的目标物的真值数据预测方法、装置及设备 | |
CN114724104A (zh) | 一种视认距离检测的方法、装置、电子设备、系统及介质 | |
CN109903308B (zh) | 用于获取信息的方法及装置 | |
CN117130010A (zh) | 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车 | |
CN117406212A (zh) | 一种交通多要素雷达视觉融合检测方法 | |
CN116659518A (zh) | 智能轮椅自主导航方法、装置、终端及介质 | |
CN114972935A (zh) | 一种信息处理方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |