CN114913500B - 位姿确定方法、装置、计算机设备和存储介质 - Google Patents
位姿确定方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114913500B CN114913500B CN202210815836.1A CN202210815836A CN114913500B CN 114913500 B CN114913500 B CN 114913500B CN 202210815836 A CN202210815836 A CN 202210815836A CN 114913500 B CN114913500 B CN 114913500B
- Authority
- CN
- China
- Prior art keywords
- pose
- information
- lane line
- image
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000008859 change Effects 0.000 claims abstract description 100
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 abstract description 13
- 238000004364 calculation method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 230000035508 accumulation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及一种位姿确定方法、装置、计算机设备和存储介质。所述方法包括：获取待检测图像，所述待检测图像包括多帧原始图像；基于所述待检测图像确定车道线信息、位姿变化信息以及相机外参，所述位姿变化信息包括基于所述多帧原始图像得到的位姿变化情况；基于所述车道线信息、位姿变化信息以及相机外参确定车辆位姿。可借助位姿变化信息与相机外参对车道线信息进行补偿与校准，避免了车道线不平行情况以及无车道线情况对车辆位姿确定的干扰，进而提高了单目测距测量车辆位姿精确度。
Description
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种位姿确定方法、装置、计算机设备和存储介质。
背景技术
近些年来，随着机器视觉与智能化的发展，单目测距在智能交通领域中得到了越来越多的应用，以及吸引了越来越多的学者对其应用进行了深入研究。
在现有的单目测距方案中由于单目相机自身具有尺寸不确定性，因此，在进行单目测距时，无法直接计算出车辆的具体位姿，需要依赖车辆的绝对尺度与相对尺度信息来确定车辆的俯仰角信息以及偏航角等信息。但现有技术中往往需要依赖车道线来计算车辆的位姿信息，在无车道线或车道线不完全平行的情况下，无法准确得到车辆的位姿信息，影响了单目测距的精确度。
针对相关技术中如何提高单目测距测量车辆位姿精确度问题目前还没有提出有效的解决方案。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高单目测距测量车辆位姿精确度的位姿确定方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种位姿确定方法。所述方法包括：
获取待检测图像，所述待检测图像包括多帧原始图像；
基于所述待检测图像确定车道线信息、位姿变化信息以及相机外参，所述位姿变化信息包括基于所述多帧原始图像得到的位姿变化情况；
基于所述车道线信息、位姿变化信息以及相机外参确定车辆位姿。
在其中一个实施例中，所述基于所述待检测图像确定车道线信息包括：
若当前帧图像中不存在车道线，则基于所述待检测图像确定存在车道线的历史图像；
基于所述历史图像确定车道线的历史消失点信息；
基于所述历史消失点信息确定当前消失点信息。
在其中一个实施例中，所述基于所述待检测图像确定车道线信息还包括：
若当前帧图像中存在车道线，则基于当前帧图像确定当前消失点信息。
在其中一个实施例中，所述基于所述车道线信息、位姿变化信息以及相机外参确定车辆位姿包括：
基于所述当前消失点信息确定第一位姿信息，基于所述位姿变化信息确定第二位姿信息，基于所述相机外参确定第三位姿信息；
将所述第一位姿信息、第二位姿信息以及第三位姿信息融合，得到车辆位姿信息。
在其中一个实施例中，所述将所述第一位姿信息、第二位姿信息以及第三位姿信息融合，得到车辆位姿信息包括：
基于卡尔曼滤波算法将所述第一位姿信息、第二位姿信息以及第三位姿信息融合，得到车辆位姿信息。
在其中一个实施例中，所述基于所述车道线信息、位姿变化信息以及相机外参确定车辆位姿还包括：
基于所述车道线信息、位姿变化信息以及所述相机外参确定补偿位姿；
基于所述车道线信息以及所述补偿位姿确定车辆位姿。
在其中一个实施例中，所述基于所述车道线信息、位姿变化信息以及所述相机外参确定补偿位姿包括：
若所述待检测图像中不存在车道线，则基于所述位姿变化信息以及所述相机外参确定当前帧的补偿位姿；
若所述待检测图像中存在车道线，且前一帧所述原始图像中存在车道线，则基于所述车道线信息以及位姿变化信息确定当前帧的补偿位姿；
若所述待检测图像中存在车道线，且前一帧所述原始图像中不存在车道线，则基于前一帧的补偿位姿以及所述位姿变化信息确定当前帧的补偿位姿。
第二方面，本申请还提供了一种位姿确定装置，所述装置包括：
获取模块，用于获取待检测图像，所述待检测图像包括多帧原始图像；
标定模块，用于基于所述待检测图像确定车道线信息、位姿变化信息以及相机外参，所述位姿变化信息包括基于所述多帧原始图像得到的位姿变化情况；
融合模块，用于基于所述车道线信息、位姿变化信息以及相机外参确定车辆位姿。
第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述位姿确定方法的步骤。
第四方面，本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述位姿确定方法的步骤。
上述位姿确定方法、装置、计算机设备和存储介质，通过获取待检测图像，所述待检测图像包括多帧原始图像；基于所述待检测图像确定车道线信息、位姿变化信息以及相机外参，所述位姿变化信息包括基于所述多帧原始图像得到的位姿变化情况；基于所述车道线信息、位姿变化信息以及相机外参确定车辆位姿。可借助位姿变化信息与相机外参对车道线信息进行补偿与校准，避免了车道线不平行情况以及无车道线情况对车辆位姿确定的干扰，进而提高了单目测距测量车辆位姿精确度。
附图说明
图1为一个实施例中位姿确定方法的应用环境图；
图2为一个实施例中位姿确定方法的流程示意图；
图3为一个实施例中在相邻两帧图像中框选的感兴趣区域的刚性位移示意图；
图4为一个实施例中第一位姿信息的计算原理图；
图5为一个实施例中补偿位姿的确定流程图；
图6为一个实施例中位姿确定装置的结构框图；
图7为一个优选实施例中的位姿确定装置的内部结构图；
图8为一个优选实施例中位姿确定方法的流程图；
图9为另一个优选实施例中位姿确定方法的流程图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的位姿确定方法，可以应用于如图1所示的应用环境中。
该应用环境包括车身101以及安装于车身101上的车身相机102以及服务器103，具体的，在车辆的行驶过程中，可通过车身相机102实时获取车身101的前视图作为实时图像，将实时图像传输至服务器103，在服务器103中可基于实时图像确定车道线信息，位姿变化信息以及相机外参，并将上述三个信息进行数据处理以确定车辆位姿。进一步的，该应用环境中还包括数据存储系统104，用于存储历史车辆位姿，车道线信息，位姿变化信息以及相机外参。数据存储系统104可集成于服务器103中，也可放置在云上或其他网络服务器中。
在一个实施例中，如图2所示，提供了一种位姿确定方法，以该方法应用于图2中的位姿确定方法的流程示意图为例进行说明，包括以下步骤：
步骤S201，获取待检测图像，所述待检测图像包括多帧原始图像。
其中，多帧原始图像包括当前时刻所在帧图像以及前一时刻所在帧图像。具体的，可由安装于车身的车载相机，在记录车辆行驶过程的同时，获取与当前时刻对应的车身前视图，以及前一帧时刻对应的车身前视图。
步骤S202，基于所述待检测图像确定车道线信息、位姿变化信息以及相机外参，所述位姿变化信息包括基于所述多帧原始图像得到的位姿变化情况。
其中，车道线为车辆所处道路的车行道分界线，一般为白色虚、实线或黄色虚、实
线；位姿变化信息为通过视觉里程计技术得到的对于车辆运动状态的估计，即车辆在相邻
两帧图像的相对姿态角。相机外参为在静止状态下或初始时刻，相机对车身的俯仰角
，或车身高度
、车身速度以及目标宽高等相对尺度信息。
可以理解的是，对于两条平行的车道线而言，在射影几何中，其可以在无穷远处相
交，该相交点即为消失点。相应的，在车身坐标系中，即可确定消失点的坐标为
；
进一步的，在当前帧图像中未检测到车道线的存在时，可利用消失点跟踪算法获取对应的
消失点坐标。
对于位姿变化信息而言，其对应的坐标系为相机坐标系，在通过车载摄像相机获
取到相邻两帧图像后，可通过两帧图像之间的对比确定在无穷远处的最小投影误差抖动量
和
。
步骤S203，基于所述车道线信息、位姿变化信息以及相机外参确定车辆位姿。
其中，车辆姿态即为车辆在行驶过程中，车辆相对于地面的实际俯仰角。
具体的，若初始时刻不存在车道线，则根据位姿变化信息以及相机外参确定车辆位姿；若初始时刻存在车道线，则根据车道线信息、位姿变化信息以及相机外参确定车辆位姿。
上述位姿确定方法中，通过获取车辆实时的多帧原始图像，根据多帧原始图像确定车道线信息，位姿变化信息以及相机外参，最后根据车道线信息，位姿变化信息以及相机外参以确定车辆位姿。在未检测到车道线的情况下，能够利用消失点跟踪技术，以及位姿变化信息与相机外参来进一步确认准确的车辆位姿；在车道线不平行的情况下，能够通过位姿变化信息来校准车辆位姿，以获取准确的车辆位姿数据。避免了在无车道线情况以及车道线不平行情况对车辆位姿确定的干扰，提高了使用单目测距确定车辆位姿信息的准确度。
在其中一个实施例中，所述待检测图像确定车道线信息包括：若当前帧图像中不存在车道线，则基于所述待检测图像确定存在车道线的历史图像；基于所述历史图像确定车道线的历史消失点信息；基于所述历史消失点信息确定当前消失点信息。
具体的，若当前帧图像（即
时刻所在帧图像）中不存在车道线时，可检测前一帧
图像（即
时刻所在帧图像）中是否存在车道线，确定前一帧图像中的历史消失点坐标
。然后以该消失点为中心，框选一个感兴趣区域作为跟踪目标，利用
消失点跟踪技术计算两帧图像之间消失点坐标的变化量
，
在数值上可等同于两个
相邻帧图像中感兴趣区域的刚性位移。示例性的，图3为本实施例中在相邻两帧图像中框选
的感兴趣区域的刚性位移示意图，左图为前一帧图像，右图为当前帧图像。图中的三角形、
圆形、星星均可为跟踪目标，具体的跟踪目标可根据前一帧图像中，相对路面静止的物体确
定，例如，在消失点附近的树，路灯，指示牌等固定物体。在图3中，以三角形为跟踪目标为
例，三角形在两帧图像之间的位置变化即为感兴趣区域的刚性位移。可选的，本实施例中，
刚性位移的计算方法包括但不限于基于像素灰度的平方差匹配法、相关匹配法、相关系数
匹配法、归一化平方差匹配法、归一化相关匹配法、归一化相关系数匹配法，基于图像傅里
叶变换和傅里叶逆变换的相位相关法、傅里叶梅林变换法等。在确定消失点坐标的变化量
后，即可得到
时刻对应的消失点的位置为：
对应的，此时消失点对应的坐标即为：
其中，
。上述公式(2)所得的结果即为当前消失点信息。
进一步的，除上述利用两帧图像中，图像块与图像块之间的匹配方法外，还可以使用MeanShift、CamShift等目标跟踪算法获取跟踪目标的刚性位移，进而计算消失点坐标的变化量。
在本实施例中，通过消失点跟踪技术确定当前帧图像中的消失点信息，即使当前帧图像中不存在车道线也能借助历史图像中的车道线信息来估计当前帧中的消失点坐标，避免了在无车道线的情况下无法获取消失点信息，为后续计算无车道线情况下车辆位姿提高数据支持，提高车辆位姿确定的准确度。
在其中一个实施例中，所述基于所述待检测图像确定车道线信息还包括：若当前帧图像中存在车道线，则基于当前帧图像确定所述当前消失点信息。可选的，在确定当前消失点信息时，可选取图像中的两条平行车道线确定消失点，也可选取图像中的多条车道线确定消失点，在确认消失点后即可将消失点坐标作为当前消失点信息。
在本实施例中，利用当前帧图像中的车道线确定当前消失点信息，为后续车辆位姿确定提供了基础数据，有利于基于车道线更好的了解当前帧图像中的车辆位姿信息。
在其中一些实施例中，所述基于所述车道线信息、位姿变化信息以及相机外参确定车辆位姿包括：基于所述当前消失点信息确定第一位姿信息，基于所述位姿变化信息确定第二位姿信息，基于所述相机外参确定第三位姿信息；将所述第一位姿信息、第二位姿信息以及第三位姿信息融合，得到车辆位姿信息。
其中，第一位姿信息为根据当前消失点信息以及车辆自身所确定的直接观测俯仰角信息；第二位姿信息为基于位姿变化信息，通过相机针孔模型所确定的相对俯仰角信息；第三位姿信息则为根据相机外参可直接确定的初始俯仰角信息。
具体的，当相机外参为初始俯仰角数据时，相机外参即为第三位姿信息；当相机外
参为车身高度
、车身速度以及目标宽高等相对尺度信息时，则需要通过计算确定第三位
姿信息。具体的第三位姿信息的计算过程为现有技术，在本申请中不再进行展开赘述。
第二位姿信息可通过如下公式确定：
其中，
和
分别为摄像头在
方向和
方向上的焦距。需要强调的是，第二位
姿信息为基于相机坐标系所确定的数据。
在本实施例中，可通过将当前消失点信息对应的第一位姿信息，位姿变化信息对应的第二位姿信息以及相机外参对应的第三位姿信息进行融合以确定车辆位姿，即使在无车道线以及车道线不平行的情况下也能够确定车辆位姿，提高了在不同情况下车辆位姿计算的准确度。
进一步的，所述基于所述车道线信息确定第一位姿信息包括：若当前帧图像中存
在车道线，则基于所述车道线信息以及相机内参确定所述第一位姿信息；若当前帧图像中
不存在车道线，则基于消失点信息以及相机内参确定所述第一位姿信息。其中，相机内参为
相机在
方向和
方向上的焦距
和
，以及相机的光心坐标
。
图4为本实施例中第一位姿信息的计算原理图，如图4所示，在有车道线的情况下，
已知光心
的坐标为
，当前消失点
的坐标为
，可通过如下公式确定
第一位姿信息：
需要说明的是，图4中所时的坐标系为相机坐标系，在相机坐标系中，焦距
可作
为
轴，本申请实施例中的俯仰角
为沿
轴旋转的角。
若当前帧图像中不存在车道线，则可将通过消失点跟踪算法所确定的当前消失点信息代入公式(4)以确定第一位姿信息为：
在本实施例中，可通过相机内参针对当前帧图像中存在车道线以及不存在车道线的情况分别进行了第一位姿信息的计算，利用了消失点跟踪算法计算对不存在车道线的情况进行了消失点跟踪，避免了在不存在车道线的情况无法确定第一位姿信息，扩大了第一位姿信息的适用范围。
在其中一些实施例中，所述基于所述车道线信息、位姿变化信息以及相机外参确定车辆位姿还包括：基于所述车道线信息、位姿变化信息以及所述相机外参确定补偿位姿；基于所述车道线信息以及所述补偿位姿确定车辆位姿。具体的，可基于位姿变化信息确定的第二位姿信息，对基于车道线信息确定的第一位姿信息或基于相机外参所确定的第三位姿信息进行补偿，进而确定补偿位姿。在确定补偿位姿之后，可将补偿位姿与第一位姿信息进行融合确定车辆位姿。
在本实施例中，通过位姿变化信息对车道线信息以及相机外参进行补偿以确定补偿位姿，然后利用车道线信息与补偿位姿进一步确定车辆位姿，避免了了车身抖动以及车道线不平行情况在车辆位姿的确定时形成误差，进而提高了车辆位姿的准确性。
在其中一些实施例中，所述基于所述车道线信息、位姿变化信息以及所述相机外参确定补偿位姿包括：若所述待检测图像中不存在车道线，则基于所述位姿变化信息以及所述相机外参确定当前帧的补偿位姿；若所述待检测图像中存在车道线，且前一帧所述原始图像中存在车道线，则基于所述车道线信息以及位姿变化信息确定当前帧的补偿位姿；若所述待检测图像中存在车道线，且前一帧所述原始图像中不存在车道线，则基于前一帧的补偿位姿以及所述位姿变化信息确定当前帧的补偿位姿。
需要说明的是，上文中所得到的当前消失点信息与位姿变化信息是基于相机坐标系所确定的，相机外参是根据车身坐标系所确定，本实施例中所需计算的补偿位姿也是基于车身坐标系所确定的，上述两个坐标系在俯仰角的表示上是相反的，相差一个负号，因此，在具体补偿位姿的计算时需要在相机坐标系表示的数据前添加一个负号。
具体的，图5为一个实施例中补偿位姿的确定流程图，如图5所示，包括
步骤S501，确定待检测图像中是否存在车道线，若待检测图像中不存在车道线，则基于位姿变化信息以及相机外参确定当前帧的补偿位姿。
即初始时刻至
时刻之间的所有时刻对应的原始图像中均不存在车道线，可通过
公式(6)得到
时刻的补偿位姿为：
步骤S502，若待检测图像中存在车道线，且前一帧原始图像中存在车道线，则基于车道线信息以及位姿变化信息确定当前帧的补偿位姿。
即若
时刻存在车道线，则可通过公式(7)确定
时刻的补偿位姿为：
其中，
为
时刻的第一位姿信息，
为第二位姿信息。
步骤S503，若待检测图像中存在车道线，且前一帧原始图像中不存在车道线，则基于前一帧的补偿位姿以及位姿变化信息确定当前帧的补偿位姿。
即若
时刻不存在车道线，则可通过公式(8)确定
时刻的补偿位姿为：
其中，
为
时刻的补偿位姿，可通过公式(7)确定。可选的，若
时刻前存在某个时刻中有车道线，则可基于公式(7)与公式(8)来确定
时刻的补偿
位姿。例如，
时刻存在车道线，
时刻与
时刻均不存在车道线，则
时刻的
补偿位姿为：
可以理解的是，在车辆行驶过程中，若存在一段无车道线的路段，则在根据公式
(6)以及公式(8)确定补偿位姿时存在多次累加
，而
具有不确定性，无法
保证其数值一直在零上下波动，从而造成最终得到的车辆位姿不准确的问题。例如，
时刻
对应图像中存在车道线，而
时刻至
时刻之间的图像中均不存在车道线，因此
需要重复叠加4次
值；
时刻至
时刻之间的图像中均不存在车道线，同样也
需要重复叠加4次
值。因此在本申请实施例中引入了弹簧机制以降低该叠加累计
结果对车辆位姿的干扰。具体的，通过公式(10)确定校准位姿为：
其中，
与
为常量正阈值，
为跟踪消失点置信度，其具体范围为
。可以理解的是，在使用消失点跟踪算法确定当前消失点信息会存在一定误差值，
误差值越小跟踪消失点置信度越高。具体的，跟踪消失点置信度可在使用消失点跟踪算法
确定当前消失点信息的过程中得到，属于现有技术，在本申请实施例中不在进行展开赘述。
需要强调的是，公式(10)所确定的校准位姿是基于车身坐标系所确定的。
可选的，若当前帧图像中不存在车道线，且当前消失点信息对应的跟踪消失点置
信度
小于预设阈值时，则公式(10)计算所得的结果可输出为最终车辆位姿信息。其
中，预设阈值可根据实际情况由技术人员进行设定。
在本实施例中，根据待检测图像以及前一帧图像中的车道线是否存在分别使用了不同的计算方法，基于车道线信息以及位姿变化信息确定了补偿位姿，然后再引入了弹簧机制对补偿位姿进行了校准并得到校准位姿信息，避免了位姿变化信息的累计叠加在车辆位姿确定过程中形成误差的问题。进一步的，在当前帧图像中不存在车道线的情况下，可将校准位姿作为车辆位姿，可排除在无车道线时车身抖动对于车辆位姿精度的影响，提高了在无车道线情况下车辆位姿的准确度。
在其中一些实施例中，所述将所述第一位姿信息、第二位姿信息以及第三位姿信息融合，得到车辆位姿信息包括：基于卡尔曼滤波算法将所述第一位姿信息、第二位姿信息以及第三位姿信息融合，得到车辆位姿信息。
具体的，在当前帧图像中有车道线的情况下，可通过如下公式确定输出车辆位姿为：
其中，
表示后验俯仰角估计值，
表示先验俯仰角估计值，
表示第一位姿信息，
为卡尔曼增益，
为观测系数，
为观测噪声系数。具
体的，观测系数
和观测噪声系数
可由技术人员预先进行设定，
可通过公式
(12)计算得到：
其中，
表示状态转移系数，
表示控制增益，可由技术人员根据实际情况预先
进行设定。
卡尔曼增益
通过公式(13)计算得到：
其中，
表示协方差系数估计值，其与协方差系数的关系表示如下所示：
本实施例中，在当前帧图像中存在车道线的情况下，可将校准位姿，第一位姿信息
通过卡尔曼滤波算法进行数据融合，即将校准位姿，第一位姿信息代入公式(11)至公式
(14)，以确定最终的输出车辆位姿
。
进一步的，若当前帧图像中不存在车道线，但当前消失点信息对应的跟踪消失点置信度大于预设阈值时，根据公式(5)确定第一位姿信息，再将校准位姿，第一位姿信息代入公式(11)至公式(14)，以确定最终的输出车辆位姿。
本实施例中，通过卡曼滤波算法将当前帧图像中的第一位姿信息，第二位姿信息，以及第三位姿信息进行的数据融合，可避免车道线不平行情况对于车辆位姿确定的影响，提高车辆位姿的准确度。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的位姿确定方法的位姿确定装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个位姿确定装置实施例中的具体限定可以参见上文中对于位姿确定方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种位姿确定装置，包括：获取模块61、标定模块62和融合模块63，其中：
获取模块61，用于获取待检测图像，所述待检测图像包括多帧原始图像；
标定模块62，用于基于所述待检测图像确定车道线信息、位姿变化信息以及相机外参，所述位姿变化信息包括基于所述多帧原始图像得到的位姿变化情况；
融合模块63，用于基于所述车道线信息、位姿变化信息以及相机外参确定车辆位姿。
上述位姿确定装置中，通过获取车辆实时的多帧原始图像，根据多帧原始图像确定车道线信息，位姿变化信息以及相机外参，最后根据车道线信息，位姿变化信息以及相机外参以确定车辆位姿。在本实施例中，在未检测到车道线的情况下，能够利用消失点跟踪技术，以及位姿变化信息与相机外参来进一步确认准确的车辆位姿；在车道线不平行的情况下，能够通过位姿变化信息来校准车辆位姿，以获取准确的车辆位姿数据。避免了在无车道线情况以及车道线不平行情况对车辆位姿确定的干扰，提高了使用单目测距确定车辆位姿信息的准确度。
进一步的，所述标定模块62还用于若当前帧图像中不存在车道线，则基于所述待检测图像确定存在车道线的历史图像；基于所述历史图像确定车道线的历史消失点信息；基于所述历史消失点信息确定当前消失点信息。
进一步的，所述标定模块62还用于若当前帧图像中存在车道线，则基于当前帧图像确定当前消失点信息。
进一步的，所述融合模块63还用于基于所述当前消失点信息确定第一位姿信息，基于所述位姿变化信息确定第二位姿信息，基于所述相机外参确定第三位姿信息；将所述第一位姿信息、第二位姿信息以及第三位姿信息融合，得到车辆位姿信息。
进一步的，所述融合模块63还用于基于卡尔曼滤波算法将所述第一位姿信息、第二位姿信息以及第三位姿信息融合，得到车辆位姿信息。
进一步的，所述融合模块63还用于基于所述车道线信息、位姿变化信息以及所述相机外参确定补偿位姿；基于所述车道线信息以及所述补偿位姿确定车辆位姿。
进一步的，所述融合模块63还用于若所述待检测图像中不存在车道线，则基于所述位姿变化信息以及所述相机外参确定当前帧的补偿位姿；若所述待检测图像中存在车道线，且前一帧所述原始图像中存在车道线，则基于所述车道线信息以及位姿变化信息确定当前帧的补偿位姿；若所述待检测图像中存在车道线，且前一帧所述原始图像中不存在车道线，则基于前一帧的补偿位姿以及所述位姿变化信息确定当前帧的补偿位姿。
图7为一个优选实施例中的位姿确定装置的内部结构图，如图7所示，包括图像获取模块71，消失点模块72，视觉里程计模块73、在线标定模块74以及数据融合模块75。其中，消失点模块72用于利用车道线计算消失点求第一位姿信息，当车道线消失的时候，对消失点进行跟踪进而确定第一位姿信息；视觉里程计模块73用于通过计算两帧之间相对姿态角即确定第二位姿信息；在线标定模块74用于根据相机外参确定第三位姿信息；数据融合模块75用于基于将所述第一位姿信息、第二位姿信息以及第三位姿信息融合，得到车辆位姿信息。
上述位姿确定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
基于上述优选实施例中的位姿确定装置，即可执行对应的位姿确定方法。
图8为一个优选实施例中位姿确定方法的流程图，如图8所示，所述方法包括：
步骤S801，获取多帧原始图像，并判断当前帧图像中是否存在车道线。
步骤S802，若当前帧图像中存在车道线，则通过消失点模块确定第一位姿信息，通过视觉里程计模块确定第二位姿信息，通过在线标定模块确定第三位姿信息。
步骤S803，根据前一帧图像中的车道线状态，结合第一位姿信息，第二位姿信息以及第三位姿信息确定补偿位姿。
步骤S804，基于补偿位姿以及第三位姿信息，通过弹簧机制确定校准位姿信息。
步骤S805，基于第一位姿信息与校准位姿信息，通过卡尔曼滤波算法进行数据融合确定车辆位姿并进行输出。
本实施例中，计算了当前帧图像中有车道线情况下的车辆姿态，可通过将消失点模块获取的第一位姿信息与视觉里程计模块确定的第二位姿信息进行融合确定车辆位姿，避免了实际场景中车道线不平行情况在车辆位姿计算中所造成的误差，提高了单目测距确定车辆位姿时的精确度。
图9为另一个优选实施例中位姿确定方法的流程图，如图8所示，所述方法包括：
步骤S901，获取多帧原始图像，并判断当前帧图像中是否存在车道线。
步骤S902，若当前帧图像中不存在车道线，则通过消失点模块追踪消失点坐标并确定第一位姿信息，通过视觉里程计模块确定第二位姿信息，通过在线标定模块确定第三位姿信息。
步骤S903，根据前一帧图像中的车道线状态，结合第一位姿信息，第二位姿信息以及第三位姿信息确定补偿位姿。
步骤S904，基于补偿位姿以及第三位姿信息，通过弹簧机制确定校准位姿。
步骤S905，若跟踪消失点置信度高于预设阈值，则通过卡尔曼滤波算法进行数据融合确定车辆位姿并进行输出；若跟踪消失点置信度低于预设阈值，则将校准位姿作为车辆位姿并进行输出。
本实施例中，计算了当前帧图像不存在车道线情况下的车辆位姿，通过消失点模块的消失点跟踪算法确定了第一位姿信息，再结合视觉里程计模块确定的第二位姿信息以及在线标定模块所确定的第三位姿信息确定车辆位姿，即使在未检测到车道线的情况下也能准确计算车辆位姿，提高可车辆位姿计算的准确度。且引入弹簧机制进一步对车辆位姿进行了校准，避免了第二位姿信息在车辆位姿计算时的累计误差，进一步提高了单目测距的精准度。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种位姿确定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待检测图像，所述待检测图像包括多帧原始图像；
基于所述待检测图像确定车道线信息、位姿变化信息以及相机外参，所述位姿变化信息包括基于所述多帧原始图像得到的位姿变化情况；
基于所述车道线信息、位姿变化信息以及相机外参确定车辆位姿。
在一个实施例中，提供了一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待检测图像，所述待检测图像包括多帧原始图像；
基于所述待检测图像确定车道线信息、位姿变化信息以及相机外参，所述位姿变化信息包括基于所述多帧原始图像得到的位姿变化情况；
基于所述车道线信息、位姿变化信息以及相机外参确定车辆位姿。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (8)
1.一种位姿确定方法，其特征在于，所述方法包括：
获取待检测图像，所述待检测图像包括多帧原始图像；
基于所述待检测图像确定车道线信息、位姿变化信息以及相机外参，所述位姿变化信息包括基于所述多帧原始图像得到的位姿变化情况；
基于所述车道线信息、位姿变化信息以及相机外参确定车辆位姿；
基于所述车道线信息、位姿变化信息以及所述相机外参确定补偿位姿；
若所述待检测图像中不存在车道线，则基于所述位姿变化信息以及所述相机外参确定当前帧的补偿位姿；
若所述待检测图像中存在车道线，且前一帧所述原始图像中存在车道线，则基于所述车道线信息以及位姿变化信息确定当前帧的补偿位姿；
若所述待检测图像中存在车道线，且前一帧所述原始图像中不存在车道线，则基于前一帧的补偿位姿以及所述位姿变化信息确定当前帧的补偿位姿；
基于所述车道线信息以及所述补偿位姿确定车辆位姿。
2.根据权利要求1所述的方法，其特征在于，所述基于所述待检测图像确定车道线信息包括：
若当前帧图像中不存在车道线，则基于所述待检测图像确定存在车道线的历史图像；
基于所述历史图像确定车道线的历史消失点信息；
基于所述历史消失点信息确定当前消失点信息。
3.根据权利要求1所述的方法，其特征在于，所述基于所述待检测图像确定车道线信息还包括：
若当前帧图像中存在车道线，则基于当前帧图像确定当前消失点信息。
4.根据权利要求2或权利要求3任一项所述的方法，其特征在于，所述基于所述车道线信息、位姿变化信息以及相机外参确定车辆位姿包括：
基于所述当前消失点信息确定第一位姿信息，基于所述位姿变化信息确定第二位姿信息，基于所述相机外参确定第三位姿信息；
将所述第一位姿信息、第二位姿信息以及第三位姿信息融合，得到车辆位姿信息。
5.根据权利要求4所述的方法，其特征在于，所述将所述第一位姿信息、第二位姿信息以及第三位姿信息融合，得到车辆位姿信息包括：
基于卡尔曼滤波算法将所述第一位姿信息、第二位姿信息以及第三位姿信息融合，得到车辆位姿信息。
6.一种位姿确定装置，其特征在于，所述装置包括：
获取模块，用于获取待检测图像，所述待检测图像包括多帧原始图像；
标定模块，用于基于所述待检测图像确定车道线信息、位姿变化信息以及相机外参，所述位姿变化信息包括基于所述多帧原始图像得到的位姿变化情况；
融合模块，用于基于所述车道线信息、位姿变化信息以及相机外参确定车辆位姿；基于所述车道线信息、位姿变化信息以及所述相机外参确定补偿位姿；若所述待检测图像中不存在车道线，则基于所述位姿变化信息以及所述相机外参确定当前帧的补偿位姿；若所述待检测图像中存在车道线，且前一帧所述原始图像中存在车道线，则基于所述车道线信息以及位姿变化信息确定当前帧的补偿位姿；若所述待检测图像中存在车道线，且前一帧所述原始图像中不存在车道线，则基于前一帧的补偿位姿以及所述位姿变化信息确定当前帧的补偿位姿；基于所述车道线信息以及所述补偿位姿确定车辆位姿。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求5中任一项所述的方法的步骤。
8.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210815836.1A CN114913500B (zh) | 2022-07-12 | 2022-07-12 | 位姿确定方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210815836.1A CN114913500B (zh) | 2022-07-12 | 2022-07-12 | 位姿确定方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114913500A CN114913500A (zh) | 2022-08-16 |
| CN114913500B true CN114913500B (zh) | 2022-11-01 |
Family
ID=82772401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210815836.1A Active CN114913500B (zh) | 2022-07-12 | 2022-07-12 | 位姿确定方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114913500B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309814B (zh) * | 2022-11-29 | 2024-03-08 | 北京斯年智驾科技有限公司 | 车辆位姿确定方法、装置、计算设备和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107328410A (zh) * | 2017-06-30 | 2017-11-07 | 百度在线网络技术（北京）有限公司 | 用于定位自动驾驶车辆的方法和汽车电脑 |
| CN109409202A (zh) * | 2018-09-06 | 2019-03-01 | 惠州市德赛西威汽车电子股份有限公司 | 基于动态感兴趣区域的鲁棒性车道线检测方法 |
| CN112249014A (zh) * | 2020-10-22 | 2021-01-22 | 英博超算(南京)科技有限公司 | 车辆横向控制方法、车辆以及计算机可读存储介质 |
| CN113781562A (zh) * | 2021-09-13 | 2021-12-10 | 山东大学 | 一种基于道路模型的车道线虚实配准和自车定位方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107021104A (zh) * | 2017-04-21 | 2017-08-08 | 天津英创汇智汽车技术有限公司 | 一种车道识别补偿方法和装置 |
| CN109284674B (zh) * | 2018-08-09 | 2020-12-08 | 浙江大华技术股份有限公司 | 一种确定车道线的方法及装置 |
| CN112631288B (zh) * | 2020-12-09 | 2023-01-06 | 上海欧菲智能车联科技有限公司 | 泊车定位方法、装置、车辆及存储介质 |
| WO2022141376A1 (zh) * | 2020-12-31 | 2022-07-07 | 华为技术有限公司 | 一种位姿估计方法及相关装置 |
-
2022
- 2022-07-12 CN CN202210815836.1A patent/CN114913500B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107328410A (zh) * | 2017-06-30 | 2017-11-07 | 百度在线网络技术（北京）有限公司 | 用于定位自动驾驶车辆的方法和汽车电脑 |
| CN109409202A (zh) * | 2018-09-06 | 2019-03-01 | 惠州市德赛西威汽车电子股份有限公司 | 基于动态感兴趣区域的鲁棒性车道线检测方法 |
| WO2020048027A1 (zh) * | 2018-09-06 | 2020-03-12 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于动态感兴趣区域的鲁棒性车道线检测方法 |
| CN112249014A (zh) * | 2020-10-22 | 2021-01-22 | 英博超算(南京)科技有限公司 | 车辆横向控制方法、车辆以及计算机可读存储介质 |
| CN113781562A (zh) * | 2021-09-13 | 2021-12-10 | 山东大学 | 一种基于道路模型的车道线虚实配准和自车定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114913500A (zh) | 2022-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111060946B (zh) | 用于估计位置的方法和装置 | |
| US10636168B2 (en) | Image processing apparatus, method, and program | |
| CN113870343B (zh) | 相对位姿标定方法、装置、计算机设备和存储介质 | |
| CN112907678B (zh) | 车载相机外参姿态动态估计方法、装置、计算机设备 | |
| CN111351502B (zh) | 用于从透视图生成环境的俯视图的方法，装置和计算机程序产品 | |
| CN111241224B (zh) | 目标距离估计的方法、系统、计算机设备和存储介质 | |
| WO2024027350A1 (zh) | 车辆定位方法、装置、计算机设备、存储介质 | |
| CN112862890B (zh) | 道路坡度预测方法、装置和存储介质 | |
| US11367213B2 (en) | Method and apparatus with location estimation | |
| EP4386676A1 (en) | Method and apparatus for calibrating cameras and inertial measurement unit, and computer device | |
| US11488391B2 (en) | Method and apparatus for estimating position | |
| CN114248778B (zh) | 移动设备的定位方法和定位装置 | |
| CN114217665A (zh) | 一种相机和激光雷达时间同步方法、装置及存储介质 | |
| CN114913500B (zh) | 位姿确定方法、装置、计算机设备和存储介质 | |
| CN109115232B (zh) | 导航的方法和装置 | |
| CN117745537A (zh) | 隧道设备温度检测方法、装置、计算机设备和存储介质 | |
| EP2927635B1 (en) | Feature set optimization in vision-based positioning | |
| Shao et al. | Out-of-plane full-field vibration displacement measurement with monocular computer vision | |
| JP2022091474A (ja) | 情報処理装置、情報処理方法、プログラムおよび車両制御システム | |
| CN113870367B (zh) | 相机外参的生成方法、装置、设备、存储介质和程序产品 | |
| CN115830073A (zh) | 地图要素重建方法、装置、计算机设备和存储介质 | |
| CN115222815A (zh) | 障碍物距离检测方法、装置、计算机设备和存储介质 | |
| US20210390407A1 (en) | Training perspective computer vision models using view synthesis | |
| CN115619740A (zh) | 一种高精度视频测速方法、系统、电子设备及存储介质 | |
| US11461928B2 (en) | Location estimation apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |