CN113793297A - 位姿确定方法、装置、电子设备及可读存储介质 - Google Patents
位姿确定方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113793297A CN113793297A CN202110931973.7A CN202110931973A CN113793297A CN 113793297 A CN113793297 A CN 113793297A CN 202110931973 A CN202110931973 A CN 202110931973A CN 113793297 A CN113793297 A CN 113793297A
- Authority
- CN
- China
- Prior art keywords
- image
- target vehicle
- pose
- processed
- yaw angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000012795 verification Methods 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims description 27
- 230000033001 locomotion Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供一种位姿确定方法、装置、电子设备及可读存储介质，该方法的一具体实施方式包括：获取待处理图像；所述待处理图像包括目标车辆的图像；基于所述目标车辆的历史偏航角信息，确定所述目标车辆在所述待处理图像拍摄时刻的估计位姿；所述历史偏航角信息为所述目标车辆在所述待处理图像拍摄时刻之前的时刻的偏航角信息；验证所述估计位姿是否满足验证条件；以及若是，将所述估计位姿确定为所述目标车辆在所述待处理图像拍摄时刻的实际位姿。该方法可以快速确定出目标车辆当前对应的实际位姿，增加了系统多路复用的路数。
Description
技术领域
本申请涉及图像处理领域，具体而言，涉及一种位姿确定方法、装置、电子设备及可读存储介质。
背景技术
在智能交通监控领域中，准确获得车辆的位姿信息是必要的，通过确定出的车辆位姿可以应用于例如统计车流量、判断驾驶员是否违规驾驶等场景中。
在确定车辆的位姿时，可以利用车辆的三维模型从采集到的二维图像中恢复出车辆的三维位姿信息。在这过程中，常用的方法是通过最小二乘算法优化车辆的三维投影点和二维图像中的车辆关键点之间的重投影误差，并可以根据重投影误差值最小时对应的位姿信息确定为车辆当前的位姿。这样，计算过程需要花费较多的时间。
发明内容
本申请实施例的目的在于提供一种位姿确定方法、装置、电子设备及可读存储介质，用以基于确定的估计位姿确定出目标车辆当前对应的实际位姿，可以快速确定出目标车辆在拍摄时刻对应的实际位姿。
第一方面，本申请实施例提供了一种位姿确定方法，该方法包括：获取待处理图像；所述待处理图像包括目标车辆的图像；基于所述目标车辆的历史偏航角信息，确定所述目标车辆在所述待处理图像拍摄时刻的估计位姿；所述历史偏航角信息为所述目标车辆在所述待处理图像拍摄时刻之前的时刻的偏航角信息；验证所述估计位姿是否满足验证条件；以及若是，将所述估计位姿确定为所述目标车辆在所述待处理图像拍摄时刻的实际位姿。这样，可以缩短确定实际位姿的计算过程，增加了系统多路复用的路数。
可选地，所述估计位姿包括估计偏航角信息和估计位置信息；以及所述基于所述目标车辆的历史偏航角信息，确定所述目标车辆在所述待处理图像拍摄时刻的估计位姿，包括：基于所述目标车辆在上一时刻的历史偏航角信息，确定所述目标车辆的估计偏航角信息；和/或基于在所述待处理图像中对所述目标车辆的二维关键点的检测结果，确定所述目标车辆的估计位置信息。这样，基于目标车辆在短时间内运动方向不变的情况下，可以基于将上一时刻的历史偏航角信息确定出估计偏航角信息，估计过程较为合理。
可选地，所述基于在所述待处理图像中对所述目标车辆的二维关键点的检测结果，确定所述目标车辆的估计位置信息，包括：若在所述待处理图像中检测到所述目标车辆的目标二维关键点，确定所述目标二维关键点的图像坐标；根据所述目标二维关键点的图像坐标以及与所述目标车辆匹配的车辆三维模型，利用投影公式确定所述目标二维关键点在世界坐标系下的目标世界坐标信息，并将所述目标世界坐标信息作为所述估计位置信息；所述世界坐标系包括以所述目标车辆的运动平面为坐标面的坐标系。这样，基于目标车辆在短时间内运动方向不变的情况，可以直接基于检测到的目标二维关键点的图像坐标确定为估计位置信息，估计过程简便直观。
可选地，所述基于在所述待处理图像中对所述目标车辆的二维关键点的检测结果，确定所述目标车辆的估计位置信息，包括：若在所述待处理图像中未检测到所述目标车辆的目标二维关键点，则基于所述估计偏航角信息以及与所述目标车辆匹配的车辆三维模型，确定所述估计位置信息。这样，在未检测到目标二维关键点时，也可以确定出估计位置信息。
可选地，所述基于所述估计偏航角信息以及与所述目标车辆匹配的车辆三维模型，确定所述估计位置信息，包括：确定备选二维关键点的图像坐标，所述备选二维关键点为对所述待处理图像进行二维关键点检测，能够检测到的二维关键点中的至少一个；根据所述备选二维关键点的图像坐标以及所述车辆三维模型，利用投影公式确定所述备选二维关键点在世界坐标系下的备选世界坐标信息；所述世界坐标系包括以所述目标车辆的运动平面为坐标面的坐标系；根据目标模型点与备选模型点之间的相对位置关系、所述估计偏航角信息以及所述备选世界坐标信息，确定所述估计位置信息；所述目标模型点为所述目标二维关键点在所述车辆三维模型中对应的模型点，所述备选模型点为所述备选二维关键点在所述车辆三维模型中对应的模型点。这样，可以间接获得估计位置信息。
可选地，所述验证所述估计位姿是否满足验证条件，包括：确定匹配模型点在所述估计位姿下的投影图像坐标，所述匹配模型点为与所述目标车辆匹配的车辆三维模型中与所述待处理图像中检测出来的所述目标车辆的二维关键点对应的模型点；基于所述匹配模型点的投影图像坐标与所述待处理图像中检测出来的二维关键点的图像坐标，计算重投影误差值；判断所述重投影误差值是否小于第一误差阈值。这样，使得满足验证条件的估计位姿与实际位姿更加贴合。
可选地，在所述验证所述估计位姿是否满足验证条件之后，所述方法还包括：若所述估计位姿未满足所述验证条件，则基于二维关键点信息、所述目标车辆匹配的车辆三维模型，利用投影公式确定所述实际位姿；所述二维关键点信息是对所述待处理图像中的所述目标车辆进行二维关键点检测得到的。这样，当估计位姿不满足验证条件时，可以利用其他方式确定出实际位姿，并且该方式与估计方式结合，使得不论估计位姿是否满足验证条件，均可得到实际位姿。
可选地，所述历史偏航角信息是根据历史图像确定的，所述历史偏航角信息与所述历史图像一一对应，所述历史图像的拍摄时刻早于所述待处理图像的拍摄时刻，所述历史图像包括所述目标车辆的图像，所述历史图像和所述待处理图像由同一相机拍摄；对应于拍摄时刻最早的历史图像的首个历史偏航角信息基于以下步骤确定：对拍摄时刻最早的历史图像中的目标车辆进行二维关键点检测，得到历史二维关键点的图像坐标；根据所述历史二维关键点，确定历史匹配模型点，所述历史匹配模型点为与所述目标车辆匹配的车辆三维模型中与所述历史二维关键点对应的模型点；确定初始估计位姿，并将所述初始估计位姿作为当前估计位姿；利用最小二乘法更新当前估计位姿并优化所述历史匹配模型点在当前估计位姿下的投影图像坐标与所述历史二维关键点的图像坐标之间的重投影误差值；将所述重投影误差值小于第二误差阈值时对应的偏航角信息确定为所述首个历史偏航角信息；或者将当前估计位姿更新次数大于次数阈值时对应的偏航角信息确定为所述首个历史偏航角信息。以此提供一种可以确定出首个偏航角的方式。
第二方面，本申请实施例提供了一种位姿确定装置，该装置包括：获取模块，用于获取待处理图像；所述待处理图像包括目标车辆的图像；估计模块，用于基于所述目标车辆的历史偏航角信息，确定所述目标车辆在所述待处理图像拍摄时刻的估计位姿；所述历史偏航角信息为所述目标车辆在所述待处理图像拍摄时刻之前的时刻的偏航角信息；验证模块，用于验证所述估计位姿是否满足验证条件；以及若是，将所述估计位姿确定为所述目标车辆在所述待处理图像拍摄时刻的实际位姿。
第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种位姿确定方法的流程图；
图2为本申请实施例提供的另一种位姿确定方法的流程图；
图3为本申请涉及的确定估计位姿的一种应用场景的示意图；
图4为本申请实施例提供的一种位姿确定装置的结构框图；
图5为本申请实施例提供的一种用于执行位姿确定方法的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述。
近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
相关技术中存在确定位姿信息花费时间长，不能充分满足系统在实现多路复用技术时的信号路数要求的问题。为了解决上述技术问题，本申请提供一种位姿确定方法、装置、电子设备及可读存储介质。利用车辆在短时间内运动方向变化不大的特性，通过将目标车辆的历史偏航角信息确定为目标车辆在拍摄时刻的估计位姿，并通过预先设置的验证条件对估计位姿进行验证的技术方案，可以快速确定出目标车辆在拍摄时刻对应的实际位姿，增加了系统多路复用的路数。需要说明的是，上述位姿确定方法可以应用于服务器、云平台等实质上可以提供计算、信息传输以及存储功能的数据处理中心。示例性地，本申请在后文中以服务器为例，具体介绍上述位姿确定方法。
请参考图1，其示出了本申请实施例提供的一种位姿确定方法的流程图。如图1所示，该位姿确定方法包括以下步骤101至步骤103。
步骤101，服务器获取待处理图像；所述待处理图像包括目标车辆的图像；
上述目标车辆例如可以包括货车、面包车、小轿车等多种车型。
在一些应用场景中，服务器可以获取上述待处理图像。上述待处理图像例如可以是从监控视频中截取的包括目标车辆的图像，也可以是通过相机拍摄的包括目标车辆的图像。
步骤102，服务器基于所述目标车辆的历史偏航角信息，确定所述目标车辆在所述待处理图像拍摄时刻的估计位姿；所述历史偏航角信息为所述目标车辆在所述待处理图像拍摄时刻之前的时刻的偏航角信息估计位姿；
实践中，位姿可以包括位置和姿态。其中，姿态可以用偏航角表示。
当获取到待处理图像之后，可以获取目标车辆的历史偏航角信息。这里，历史偏航角信息是根据待处理图像的拍摄时刻之前拍摄的图像确定出来的目标车辆的偏航角信息。具体的，偏航角信息可以和图像的拍摄时刻一一对应，比如一张图像可以确定出来一个对应于唯一拍摄时刻的偏航角。历史偏航角信息可以包括在待处理图像之前拍摄的一张或多张图像中确定出来的一个或多个偏航角信息。
在一些应用场景中，例如可以通过最小二乘法优化车辆三维模型的投影点和待处理图像中的二维关键点之间的重投影误差，确定目标车辆的第一个偏航角，也就得到了目标车辆的第一个偏航角信息。估计偏航角信息可以作为第二个偏航角信息以及之后确定的偏航角信息对应的历史偏航角信息。这里，第二个偏航角信息以及之后确定的偏航角信息分别与拍摄的第二张图像以及之后拍摄的图像对应。通过最小二乘法确定目标车辆的首个历史偏航角的过程在后文的相关部分有具体介绍，此处不赘述。在另一些应用场景中，例如也可以将预先设定的偏航角初始值确定为历史偏航角信息。这里，可以根据实际情况设定偏航角初始值，例如5°、30°等。
确定了历史偏航角信息之后，可以确定目标车辆在待处理图像拍摄时刻的估计位姿。上述估计位姿例如可以包括目标车辆的位置信息和偏航角信息。上述位置信息例如可以利用目标车辆在世界坐标系下的坐标信息表征。这样，上述估计位姿例如可以包括目标车辆在世界坐标系(一般为以路面为坐标面建立的大地坐标系)下的坐标信息和偏航角信息，其例如可以坐标(X，Y，θ)表征。这里的X，Y可以表征任意的在世界坐标系范围内的坐标数值，θ可以表征任意的在(0,2π)范围内的度数。
步骤103，服务器验证所述估计位姿是否满足验证条件；以及若是，将所述估计位姿确定为所述目标车辆在所述待处理图像拍摄时刻的实际位姿。
当确定了目标车辆的估计位姿之后，可以验证该估计位姿是否满足验证条件。
当确定了估计位姿满足预设验证条件之后，可以将估计位姿确定为目标车辆当前对应的实际位姿。例如，验证了目标车辆的估计位姿(4，5，30°)满足验证条件之后，可以将(4，5，30°)确定为目标车辆当前对应的实际位姿。
实践中，车辆在道路上行驶时，除了少数车辆需要变道行驶之外，大部分车辆都会按照车道行驶，并且这些车辆一般处于直线行驶状态。也即，车辆的偏航角在短时间内变化不大，因此，可以通过上述步骤101至步骤103，基于目标车辆的历史偏航角信息估计出目标车辆的实际位姿，继而可以缩短确定实际位姿的计算过程，增加了系统多路复用的路数。
请参考图2，图2示出了本申请实施例提供的另一种位姿确定方法的流程图。如图2所示，位姿确定方法可以包括以下步骤201至步骤204。
步骤201，服务器获取待处理图像；所述待处理图像包括目标车辆的图像；
上述步骤201的具体实现过程以及取得的技术效果可以与上述步骤101相同或相似，此处不赘述。
步骤202，服务器基于所述目标车辆在上一时刻的历史偏航角信息，确定所述目标车辆的估计偏航角信息；
实践中，车辆在道路上行驶时，除了少数需要变道行驶之外，都是按照当前的车道行驶，偏航角在短时间内(例如1秒、3秒、20秒等)不会发生较大改变。例如，当车辆在较直的车道上以匀速或者加速行驶时，在一定时间内，其偏航角都不会发生较大变化；当车辆在弯曲道路上行驶时，当间隔时间足够短时，其偏航角也不会发生较大变化。
因此，可以在确定了目标车辆在上一时刻的历史偏航角信息之后，基于该历史偏航角信息估计该目标车辆在当前时刻的估计偏航角信息。
在一些可选的实现方式中，上述步骤202可以包括：将所述上一时刻的历史偏航角信息确定为所述估计偏航角信息。
当目标车辆不更改车道时，可以粗略认为该目标车辆在短时间内处于直线行驶状态，继而，可以将其在上一时刻的历史偏航角确定为当前时刻的估计偏航角，以简化估计偏航角信息的估计过程。
在另一些可选的实现方式中，上述步骤202可以包括：将在所述上一时刻的历史偏航角的基础上补偿一定角度之后得到的偏航角确定为所述估计偏航角信息。
例如，目标车辆在角度为“xx”的弯道上行驶时，可以通过摄像机拍摄图像的频率以及目标车辆的车速估计出补偿的角度，继而可以将该补偿的角度添加到上一时刻的历史偏航角中，以将此时得到的偏航角信息确定为估计偏航角信息。这里，上述“xx”可以为在合理范围的诸如“25°”、“15°”等。
步骤203，服务器基于在所述待处理图像中对所述目标车辆的二维关键点的检测结果，确定所述目标车辆的估计位置信息。
在确定目标车辆的估计位置信息时，可以基于在所述待处理图像中对二维关键点的检测结果进行确定。这里的二维关键点例如可以包括目标车辆上的前车标、目标车辆的左视镜等对应的关键点。
在一些应用场景中，例如可以利用卷积神经网络、热图等检测二维关键点。
在一些可选的实现方式中上述步骤203可以包括步骤2031：若在所述待处理图像中检测到所述目标车辆的目标二维关键点，确定所述目标二维关键点的图像坐标；根据所述目标二维关键点的图像坐标以及与所述目标车辆匹配的车辆三维模型，利用投影公式确定所述目标二维关键点在世界坐标系下的目标世界坐标信息，并将所述目标世界坐标信息作为所述估计位置信息；所述世界坐标系包括以所述目标车辆的运动平面为坐标面的坐标系。
在一些应用场景中，当在上述待处理图像中检测到目标二维关键点时，可以利用诸如上述的卷积神经网络确定出该目标二维关键点在待处理图像中的图像坐标，然后可以基于该图像坐标，利用投影公式以及车辆三维模型确定出目标二维关键点在世界坐标系下的目标世界坐标信息。这里的车辆三维模型例如可以通过识别待处理图像的目标车辆之后，在预设模型库中匹配得到。上述预设模型库例如可以包括诸如面包车、小轿车、货车等分别对应的车辆三维模型。在一些应用场景中，可以通过识别待处理图像中的目标车辆得到与该目标车辆对应的车辆三维模型。在这些应用场景中，通过车辆三维模型可以确定出目标车辆的长度、宽度、高度以及各个模型点之间的相对位置关系等信息。因此，车辆三维模型中各个模型点的位置例如可以目标二维关键点对应的模型点为参照点进行表征，也可以利用其它模型点为参照点进行表征。
例如，在确定了目标二维关键点对应的图像坐标为(u，v)之后，可以基于已知的车辆三维模型确定出目标车辆的高度信息，然后再利用投影公式，即可计算出目标车辆在世界坐标系下的目标世界坐标信息为(xw，yw，zw)。在这些应用场景中，上述u、v、xw、yw、zw可以表征在其所属坐标系下的任意数字，其中zw已知。上述投影公式例如可以包括：
在一些可选的实现方式中，上述步骤203可以包括步骤2032：若在所述待处理图像中未检测到所述目标车辆的目标二维关键点，则基于所述估计偏航角信息以及与所述目标车辆匹配的车辆三维模型，确定所述估计位置信息。
当在待处理图像中没有检测到目标二维关键点时，可以基于估计偏航角信息以及车辆三维模型，确定估计位置信息。例如，当确定的目标二维关键点为目标车辆的左视镜时，如果待处理图像是基于摄像机位于目标车辆的右前方拍摄得到，此时若在待处理图像中检测不到左视镜，则当前的检测结果为未在待处理图像中检测到目标二维关键点。继而可以通过估计偏航角和车辆三维模型估计估计位置信息。
在一些可选的实现方式中，所述步骤2032中的基于所述估计偏航角信息以及与所述目标车辆匹配的车辆三维模型，确定所述估计位置信息，可以包括以下子步骤：
子步骤1，确定备选二维关键点的图像坐标，所述备选二维关键点为对所述待处理图像进行二维关键点检测，能够检测到的二维关键点中的至少一个；
在对二维关键点进行检测时，可以检测到多个二维关键点，此时，可以将检测到的其中一个二维关键点确定为备选二维关键点。继而，可以确定出该备选二维关键的图像坐标。
实践中，利用卷积神经网络对待处理图像进行二维关键点检测时，可以得到各二维关键点的图像坐标和置信度。因此，可以选取置信度最大的二维关键点作为备选二维关键点，在一定程度上也可以提高估计位置信息的置信度。
子步骤2，根据所述备选二维关键点的图像坐标以及所述车辆三维模型，利用投影公式确定所述备选二维关键点在世界坐标系下的备选世界坐标信息；所述世界坐标系包括以所述目标车辆的运动平面为坐标面的坐标系；
上述子步骤2的实现过程可以与上述步骤2031的实现过程相似，此处不赘述。
子步骤3，根据目标模型点与备选模型点之间的相对位置关系、所述估计偏航角信息以及所述备选世界坐标信息，确定所述估计位置信息；所述目标模型点为所述目标二维关键点在所述车辆三维模型中对应的模型点，所述备选模型点为所述备选二维关键点在所述车辆三维模型中对应的模型点。
实践中，可以利用目标模型点与备选模型点之间的相对位置关系，确定出目标模型点在车辆坐标系下的位置信息。在一些应用场景中，可以目标模型点为原点建立车辆坐标系。此时，通过目标模型点与备选模型点之间的相对位置关系可以表征出备选模型点在该车辆坐标系下的坐标信息。在另一些应用场景中，也可以其他模型点为原点建立车辆坐标系。此时，可以通过该原点与备选模型点之间的相对位置关系确定出备选模型点在该车辆坐标系下的坐标信息，然后可以利用备选模型点与目标模型点之间的相对位置关系，间接确定出目标模型点在该车辆坐标系下的坐标信息。
在本实施例中，以目标模型点为原点建立车辆坐标系。也即，目标模型点在车辆坐标系下的坐标信息已知。并且，由于目标车辆同时行驶于路面上，因此可以路面为坐标面建立世界坐标系。继而，可以联立车辆坐标系以及路面坐标系确定出目标模型点的估计位置信息。
在以目标模型点为原点建立的车辆坐标系以及以路面为坐标面建立的路面坐标系中，已知备选模型点的坐标信息以及备选世界坐标信息，可以利用估计偏航角信息以及备选世界坐标信息确定出目标模型点的估计位置信息。具体的，可以利用估计偏航角信息确定出对应的旋转矩阵，以利用该旋转矩阵以及目标模型点与备选模型点之间的相对位置关系，确定出备选世界坐标所表征的备选位置相对于目标模型点的相对位置信息。此时，由于目标模型点与备选模型点之间的相对位置关系已知，因此，可以根据这两个相对位置关系，确定出目标模型点在路面坐标系下的目标世界坐标信息。
例如，在图3所示应用场景的示意图中，X＇O＇Y＇坐标系为以目标二维关键点对应的模型点O＇为坐标原点建立的车辆坐标系，XOY坐标系为以路面为坐标面建立的路面坐标系，其中，点O为模型点Q＇在路面坐标系下对应的投影点。当确定了备选模型点P之后，可以确定出该备选模型点P在路面坐标系下的投影点P＇的备选世界坐标信息。此时，可以得到向量OP＇(也即，目标模型点在路面坐标系下的坐标位置与备选世界坐标对应的位置之间的相对位置信息)。基于向量O＇P(也即，目标模型点与备选模型点之间的相对位置关系)以及估计偏航角θ，通过旋转矩阵R(θ)，即可计算出向量O＇P＇(也即，备选世界坐标所表征的备选位置相对于目标模型点的相对位置信息)，则向量OO＇为向量OP＇与向量O＇P＇之差。而由于点P＇的备选世界坐标信息已知，便计算得到了投影点O的坐标信息，也即，得到了上述估计位置信息。通过这种估计方法，可以较为简便准确地估计到估计位置信息。
步骤204，服务器验证所述估计位姿是否满足预设验证条件；以及若是，将所述估计位姿确定为所述目标车辆当前对应的实际位姿。
上述步骤204的具体实现过程以及取得的技术效果可以与上述步骤103相同或相似，此处不赘述。
在本实施例中，突出了在待处理图像中检测到目标二维关键点时，可以直接将该目标二维关键点在世界坐标系下的世界坐标确定为估计位置信息；以及在待处理图像中未检测到目标二维关键点时，利用估计偏航角信息以及备选模型点与目标模型点之间的相对位置关系确定出估计位置信息的步骤，使得估计过程更加合理化，在一定程度上提高了估计位置信息的置信度。
在一些可选的实现方式中，上述步骤103或步骤204中的所述验证所述估计位姿是否满足预设验证条件，可以包括以下子步骤：
子步骤A，确定匹配模型点在所述估计位姿下的投影图像坐标，所述匹配模型点为与所述目标车辆匹配的车辆三维模型中与所述待处理图像中检测出来的所述目标车辆的二维关键点对应的模型点；
在一些应用场景中，可以确定上述匹配模型点。具体的，可以将在待处理图像中检测出的二维关键点所对应的模型点确定为匹配模型点。确定了匹配模型点之后，可以确定出匹配模型点在估计位姿下的投影图像坐标。
例如，已知匹配模型点A在估计位姿下的坐标信息为(xw，yw,θ)，可以将该坐标信息代入投影方程中，以得到投影图像坐标(u，v)。这里的投影方程可以为：
；其中，s为尺度因子，其可以在计算过程中消除；
为相机的内参数矩阵，
相机的外参数矩阵。zw在路面坐标系下已知，x，y可以通过xw、yw以及θ确定。
子步骤B，基于所述匹配模型点的投影图像坐标与所述待处理图像中检测出来的二维关键点的图像坐标，计算重投影误差值；
确定出匹配模型点的投影图像坐标之后，可以根据投影图像坐标与其对应的二维关键点的图像坐标，计算两者之间的重投影误差值。这里，计算重投影误差值的过程为本领域公知技术，此处不赘述。
子步骤C，判断所述重投影误差值是否小于第一误差阈值。当确定了上述重投影误差值之后，可以确定该重投影误差值是否小于第一误差阈值，如果小于，可以视为确定的估计位姿满足验证条件，继而可以将该估计位姿确定为实际位姿这里的第一误差阈值例如可以包括0.1、0.08等实质上可以表征估计位姿与实际位姿相差不大的数值。
在一些可选的实现方式中，所述位姿确定方法还可以包括：若所述估计位姿未满足所述验证条件，则基于二维关键点信息、所述目标车辆匹配的车辆三维模型，利用投影公式确定所述实际位姿；所述二维关键点信息是对所述待处理图像中的所述目标车辆进行二维关键点检测得到的。
当估计的估计位姿不满足验证条件时，可以利用诸如上述的卷积神经网络确定出二维关键点信息。然后可以利用二维关键点信息、车辆三维模型以及投影公式，确定出实际位姿。具体的，可以利用最小二乘法优化得到实际位姿。也即，基于投影公式，将车辆三维模型的模型点投影到像素坐标系中，然后比较模型点对应的投影点与对应二维关键点之间的重投影误差值，调整位姿直至将重投影误差值满足要求或最小时，将此时对应的位姿确定为实际位姿。
当估计的估计位姿不满足验证条件时，可以利用其他方式确定出实际位姿，并且该方式与估计方式结合，使得不论估计位姿是否满足验证条件，均可得到实际位姿。而由于车辆直线行驶，大部分情况都能满足验证条件，需要用其他方式确定的是少数情况。这样，通过少量利用诸如上述最小二乘法优化算法得到实际位姿的方式与大量的估计实际位姿的方式结合，有效提升了确定实际位姿的速度。
在一些可选的实现方式中，所述历史偏航角信息是根据历史图像确定的，所述历史偏航角信息与所述历史图像一一对应，所述历史图像的拍摄时刻早于所述待处理图像的拍摄时刻，所述历史图像包括所述目标车辆的图像，所述历史图像和所述待处理图像由同一相机拍摄；对应于拍摄时刻最早的历史图像的首个历史偏航角信息基于以下步骤确定：
步骤a，对拍摄时刻最早的历史图像中的目标车辆进行二维关键点检测，得到历史二维关键点的图像坐标；
在一些应用场景中，可以利用诸如卷积神经网络对最早拍摄得到的历史图像进行关键点检测，得到多个历史二维关键点对应的图像坐标。
步骤b，根据所述历史二维关键点，确定历史匹配模型点，所述历史匹配模型点为与所述目标车辆匹配的车辆三维模型中与所述历史二维关键点对应的模型点；
检测得到历史二维关键点之后，可以确定车辆三维模型中与该历史二维关键点对应的模型点。并可以将确定出的模型点确定为上述历史匹配模型点。这里，确定历史匹配模型点的过程可以与上述子步骤A的过程相似，此处不赘述。
步骤c，确定初始估计位姿，并将所述初始估计位姿作为当前估计位姿；
步骤d，利用最小二乘法更新当前估计位姿并优化所述历史匹配模型点在当前估计位姿下的投影图像坐标与所述历史二维关键点的图像坐标之间的重投影误差值；
步骤e，将所述重投影误差值小于第二误差阈值时对应的偏航角信息确定为所述首个历史偏航角信息；或者将当前估计位姿更新次数大于次数阈值时对应的偏航角信息确定为所述首个历史偏航角信息。
通过上述步骤a至步骤e，突出了确定出首个历史偏航角信息的过程，这样，在拍摄得到首个历史图像之后拍摄得到的图像中，可以利用前一拍摄得到的图像确定出对应的历史偏航角信息，以利于后期确定出对应的估计位姿。
请参考图4，其示出了本申请实施例提供的一种位姿确定装置的结构框图，该位姿确定装置可以是电子设备上的模块、程序段或代码。应理解，该装置与上述图1方法实施例对应，能够执行图1方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。
可选地，上述位姿确定装置包括获取模块401、估计模块402和验证模块403；其中，获取模块401用于获取待处理图像；所述待处理图像包括目标车辆的图像；估计模块402，用于基于所述目标车辆的历史偏航角信息，确定所述目标车辆在所述待处理图像拍摄时刻的估计位姿；所述历史偏航角信息为所述目标车辆在所述待处理图像拍摄时刻之前的时刻的偏航角信息；验证模块403，用于验证所述估计位姿是否满足验证条件；以及若是，将所述估计位姿确定为所述目标车辆在所述待处理图像拍摄时刻的实际位姿。
可选地，估计模块402进一步用于：基于所述目标车辆在上一时刻的历史偏航角信息，确定所述目标车辆的估计偏航角信息；和/或基于在所述待处理图像中对所述目标车辆的二维关键点的检测结果，确定所述目标车辆的估计位置信息。
可选地，所述估计模块402进一步用于：若在所述待处理图像中检测到所述目标车辆的目标二维关键点，确定所述目标二维关键点的图像坐标；根据所述目标二维关键点的图像坐标以及与所述目标车辆匹配的车辆三维模型，利用投影公式确定所述目标二维关键点在世界坐标系下的目标世界坐标信息，并将所述目标世界坐标信息作为所述估计位置信息；所述世界坐标系包括以所述目标车辆的运动平面为坐标面的坐标系。
可选地，估计模块402进一步用于：若在所述待处理图像中未检测到所述目标车辆的目标二维关键点，则基于所述估计偏航角信息以及与所述目标车辆匹配的车辆三维模型，确定所述估计位置信息。
可选地，估计模块402进一步用于：确定备选二维关键点的图像坐标，所述备选二维关键点为对所述待处理图像进行二维关键点检测，能够检测到的二维关键点中的至少一个；根据所述备选二维关键点的图像坐标以及所述车辆三维模型，利用投影公式确定所述备选二维关键点在世界坐标系下的备选世界坐标信息；所述世界坐标系包括以所述目标车辆的运动平面为坐标面的坐标系；根据目标模型点与备选模型点之间的相对位置关系、所述估计偏航角信息以及所述备选世界坐标信息，确定所述估计位置信息；所述目标模型点为所述目标二维关键点在所述车辆三维模型中对应的模型点，所述备选模型点为所述备选二维关键点在所述车辆三维模型中对应的模型点。
可选地，验证模块403进一步用于：确定匹配模型点在所述估计位姿下的投影图像坐标，所述匹配模型点为与所述目标车辆匹配的车辆三维模型中与所述待处理图像中检测出来的所述目标车辆的二维关键点对应的模型点；基于所述匹配模型点的投影图像坐标与所述待处理图像中检测出来的二维关键点的图像坐标，计算重投影误差值；判断所述重投影误差值是否小于第一误差阈值。
可选地，所述位姿确定装置还包括确定模块，以及上述确定模块用于：在所述验证所述估计位姿是否满足验证条件之后，若所述估计位姿未满足所述验证条件，则基于二维关键点信息、所述目标车辆匹配的车辆三维模型，利用投影公式确定所述实际位姿；所述二维关键点信息是对所述待处理图像中的所述目标车辆进行二维关键点检测得到的。
可选地，所述历史偏航角信息是根据历史图像确定的，所述历史偏航角信息与所述历史图像一一对应，所述历史图像的拍摄时刻早于所述待处理图像的拍摄时刻，所述历史图像包括所述目标车辆的图像，所述历史图像和所述待处理图像由同一相机拍摄；对应于拍摄时刻最早的历史图像的首个历史偏航角信息基于以下步骤确定：对拍摄时刻最早的历史图像中的目标车辆进行二维关键点检测，得到历史二维关键点的图像坐标；根据所述历史二维关键点，确定历史匹配模型点，所述历史匹配模型点为与所述目标车辆匹配的车辆三维模型中与所述历史二维关键点对应的模型点；确定初始估计位姿，并将所述初始估计位姿作为当前估计位姿；利用最小二乘法更新当前估计位姿并优化所述历史匹配模型点在当前估计位姿下的投影图像坐标与所述历史二维关键点的图像坐标之间的重投影误差值；将所述重投影误差值小于第二误差阈值时对应的偏航角信息确定为所述首个历史偏航角信息；或者将当前估计位姿更新次数大于次数阈值时对应的偏航角信息确定为所述首个历史偏航角信息。
需要说明的是，本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再重复描述。
请参照图5，图5为本申请实施例提供的一种用于执行位姿确定方法的电子设备的结构示意图，所述电子设备可以包括：至少一个处理器501，例如CPU，至少一个通信接口502，至少一个存储器503和至少一个通信总线504。其中，通信总线504用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口502用于与其他节点设备进行信令或数据的通信。存储器503可以是高速RAM存储器，也可以是非易失性的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器503可选的还可以是至少一个位于远离前述处理器的存储装置。存储器503中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器501执行时，电子设备执行如上述图1所示方法过程。
可以理解，图5所示的结构仅为示意，所述电子设备还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，执行如图1所示方法实施例中电子设备所执行的方法过程。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如，该方法包括：获取待处理图像；所述待处理图像包括目标车辆的图像；基于所述目标车辆的历史偏航角信息，确定所述目标车辆在所述待处理图像拍摄时刻的估计位姿；所述历史偏航角信息为所述目标车辆在所述待处理图像拍摄时刻之前的时刻的偏航角信息；验证所述估计位姿是否满足验证条件；以及若是，将所述估计位姿确定为所述目标车辆在所述待处理图像拍摄时刻的实际位姿。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (11)
1.一种位姿确定方法，其特征在于，包括：
获取待处理图像；所述待处理图像包括目标车辆的图像；
基于所述目标车辆的历史偏航角信息，确定所述目标车辆在所述待处理图像拍摄时刻的估计位姿；所述历史偏航角信息为所述目标车辆在所述待处理图像拍摄时刻之前的时刻的偏航角信息；
验证所述估计位姿是否满足验证条件；以及
若是，将所述估计位姿确定为所述目标车辆在所述待处理图像拍摄时刻的实际位姿。
2.根据权利要求1所述的方法，其特征在于，所述估计位姿包括估计偏航角信息和估计位置信息；以及
所述基于所述目标车辆的历史偏航角信息，确定所述目标车辆在所述待处理图像拍摄时刻的估计位姿，包括：
基于所述目标车辆在上一时刻的历史偏航角信息，确定所述目标车辆的估计偏航角信息；和/或
基于在所述待处理图像中对所述目标车辆的二维关键点的检测结果，确定所述目标车辆的估计位置信息。
3.根据权利要求2所述的方法，其特征在于，所述基于在所述待处理图像中对所述目标车辆的二维关键点的检测结果，确定所述目标车辆的估计位置信息，包括：
若在所述待处理图像中检测到所述目标车辆的目标二维关键点，确定所述目标二维关键点的图像坐标；
根据所述目标二维关键点的图像坐标以及与所述目标车辆匹配的车辆三维模型，利用投影公式确定所述目标二维关键点在世界坐标系下的目标世界坐标信息，并将所述目标世界坐标信息作为所述估计位置信息；所述世界坐标系包括以所述目标车辆的运动平面为坐标面的坐标系。
4.根据权利要求2或3所述的方法，其特征在于，所述基于在所述待处理图像中对所述目标车辆的二维关键点的检测结果，确定所述目标车辆的估计位置信息，包括：
若在所述待处理图像中未检测到所述目标车辆的目标二维关键点，则基于所述估计偏航角信息以及与所述目标车辆匹配的车辆三维模型，确定所述估计位置信息。
5.根据权利要求4所述的方法，其特征在于，所述基于所述估计偏航角信息以及与所述目标车辆匹配的车辆三维模型，确定所述估计位置信息，包括：
确定备选二维关键点的图像坐标，所述备选二维关键点为对所述待处理图像进行二维关键点检测，能够检测到的二维关键点中的至少一个；
根据所述备选二维关键点的图像坐标以及所述车辆三维模型，利用投影公式确定所述备选二维关键点在世界坐标系下的备选世界坐标信息；所述世界坐标系包括以所述目标车辆的运动平面为坐标面的坐标系；
根据目标模型点与备选模型点之间的相对位置关系、所述估计偏航角信息以及所述备选世界坐标信息，确定所述估计位置信息；所述目标模型点为所述目标二维关键点在所述车辆三维模型中对应的模型点，所述备选模型点为所述备选二维关键点在所述车辆三维模型中对应的模型点。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述验证所述估计位姿是否满足验证条件，包括：
确定匹配模型点在所述估计位姿下的投影图像坐标，所述匹配模型点为与所述目标车辆匹配的车辆三维模型中与所述待处理图像中检测出来的所述目标车辆的二维关键点对应的模型点；
基于所述匹配模型点的投影图像坐标与所述待处理图像中检测出来的二维关键点的图像坐标，计算重投影误差值；
判断所述重投影误差值是否小于第一误差阈值。
7.根据权利要求1-6任一项所述的方法，其特征在于，在所述验证所述估计位姿是否满足验证条件之后，所述方法还包括：
若所述估计位姿未满足所述验证条件，则基于二维关键点信息、所述目标车辆匹配的车辆三维模型，利用投影公式确定所述实际位姿；所述二维关键点信息是对所述待处理图像中的所述目标车辆进行二维关键点检测得到的。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述历史偏航角信息是根据历史图像确定的，所述历史偏航角信息与所述历史图像一一对应，所述历史图像的拍摄时刻早于所述待处理图像的拍摄时刻，所述历史图像包括所述目标车辆的图像，所述历史图像和所述待处理图像由同一相机拍摄；对应于拍摄时刻最早的历史图像的首个历史偏航角信息基于以下步骤确定：
对拍摄时刻最早的历史图像中的目标车辆进行二维关键点检测，得到历史二维关键点的图像坐标；
根据所述历史二维关键点，确定历史匹配模型点，所述历史匹配模型点为与所述目标车辆匹配的车辆三维模型中与所述历史二维关键点对应的模型点；
确定初始估计位姿，并将所述初始估计位姿作为当前估计位姿；
利用最小二乘法更新当前估计位姿并优化所述历史匹配模型点在当前估计位姿下的投影图像坐标与所述历史二维关键点的图像坐标之间的重投影误差值；
将所述重投影误差值小于第二误差阈值时对应的偏航角信息确定为所述首个历史偏航角信息；或者
将当前估计位姿更新次数大于次数阈值时对应的偏航角信息确定为所述首个历史偏航角信息。
9.一种位姿确定装置，其特征在于，包括：
获取模块，用于获取待处理图像；所述待处理图像包括目标车辆的图像；
估计模块，用于基于所述目标车辆的历史偏航角信息，确定所述目标车辆在所述待处理图像拍摄时刻的估计位姿；所述历史偏航角信息为所述目标车辆在所述待处理图像拍摄时刻之前的时刻的偏航角信息；
验证模块，用于验证所述估计位姿是否满足验证条件；以及若是，将所述估计位姿确定为所述目标车辆在所述待处理图像拍摄时刻的实际位姿。
10.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-8任一所述的方法。
11.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-8任一所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110931973.7A CN113793297A (zh) | 2021-08-13 | 2021-08-13 | 位姿确定方法、装置、电子设备及可读存储介质 |
| PCT/CN2022/108678 WO2023016271A1 (zh) | 2021-08-13 | 2022-07-28 | 位姿确定方法、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110931973.7A CN113793297A (zh) | 2021-08-13 | 2021-08-13 | 位姿确定方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113793297A true CN113793297A (zh) | 2021-12-14 |
Family
ID=79181815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110931973.7A Pending CN113793297A (zh) | 2021-08-13 | 2021-08-13 | 位姿确定方法、装置、电子设备及可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113793297A (zh) |
| WO (1) | WO2023016271A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114088103A (zh) * | 2022-01-19 | 2022-02-25 | 腾讯科技（深圳）有限公司 | 车辆定位信息的确定方法和装置 |
| CN114445335A (zh) * | 2021-12-22 | 2022-05-06 | 武汉易思达科技有限公司 | 基于双目机器视觉的车辆行驶状态监测方法及系统 |
| CN114648639A (zh) * | 2022-05-19 | 2022-06-21 | 魔视智能科技(武汉)有限公司 | 一种目标车辆的检测方法、系统及装置 |
| WO2023016271A1 (zh) * | 2021-08-13 | 2023-02-16 | 北京迈格威科技有限公司 | 位姿确定方法、电子设备及可读存储介质 |
| CN116597012A (zh) * | 2023-06-12 | 2023-08-15 | 深圳海星智驾科技有限公司 | 车辆位姿的识别方法、装置、计算机设备及存储介质 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861975B (zh) * | 2023-02-28 | 2023-05-12 | 杭州枕石智能科技有限公司 | 障碍物车辆位姿估计方法及设备 |
| CN116906277A (zh) * | 2023-06-20 | 2023-10-20 | 北京图知天下科技有限责任公司 | 风机偏航变动的确定方法、装置、电子设备及存储介质 |
| CN117095131B (zh) * | 2023-10-16 | 2024-02-06 | 广州紫为云科技有限公司 | 物体运动关键点的三维重建方法、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10332334A (ja) * | 1997-06-04 | 1998-12-18 | Hitachi Ltd | 画像処理による位置計測方法および装置 |
| CN109816704A (zh) * | 2019-01-28 | 2019-05-28 | 北京百度网讯科技有限公司 | 物体的三维信息获取方法和装置 |
| CN110111388A (zh) * | 2019-05-10 | 2019-08-09 | 北京航空航天大学 | 三维物体位姿参数估计方法及视觉设备 |
| CN110823224A (zh) * | 2019-10-18 | 2020-02-21 | 中国第一汽车股份有限公司 | 一种车辆定位方法及车辆 |
| CN111366154A (zh) * | 2020-03-26 | 2020-07-03 | 湖南三一快而居住宅工业有限公司 | 一种航向角确定方法、装置及电子设备 |
| CN112810603A (zh) * | 2019-10-31 | 2021-05-18 | 华为技术有限公司 | 定位方法和相关产品 |
| CN112967339A (zh) * | 2020-12-28 | 2021-06-15 | 北京市商汤科技开发有限公司 | 一种车辆位姿的确定方法、车辆控制方法及装置、车辆 |
| US20210209797A1 (en) * | 2020-01-06 | 2021-07-08 | Qualcomm Incorporated | Point-based object localization from images |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6241172B2 (ja) * | 2013-09-25 | 2017-12-06 | 日産自動車株式会社 | 自車位置推定装置及び自車位置推定方法 |
| US10235771B2 (en) * | 2016-11-11 | 2019-03-19 | Qualcomm Incorporated | Methods and systems of performing object pose estimation |
| CN112050806B (zh) * | 2019-06-06 | 2022-08-30 | 北京魔门塔科技有限公司 | 一种移动车辆的定位方法及装置 |
| CN112230211A (zh) * | 2020-10-15 | 2021-01-15 | 长城汽车股份有限公司 | 车辆定位方法、装置、存储介质及车辆 |
| CN113793297A (zh) * | 2021-08-13 | 2021-12-14 | 北京迈格威科技有限公司 | 位姿确定方法、装置、电子设备及可读存储介质 |
-
2021
- 2021-08-13 CN CN202110931973.7A patent/CN113793297A/zh active Pending
-
2022
- 2022-07-28 WO PCT/CN2022/108678 patent/WO2023016271A1/zh unknown
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10332334A (ja) * | 1997-06-04 | 1998-12-18 | Hitachi Ltd | 画像処理による位置計測方法および装置 |
| CN109816704A (zh) * | 2019-01-28 | 2019-05-28 | 北京百度网讯科技有限公司 | 物体的三维信息获取方法和装置 |
| CN110111388A (zh) * | 2019-05-10 | 2019-08-09 | 北京航空航天大学 | 三维物体位姿参数估计方法及视觉设备 |
| CN110823224A (zh) * | 2019-10-18 | 2020-02-21 | 中国第一汽车股份有限公司 | 一种车辆定位方法及车辆 |
| CN112810603A (zh) * | 2019-10-31 | 2021-05-18 | 华为技术有限公司 | 定位方法和相关产品 |
| US20210209797A1 (en) * | 2020-01-06 | 2021-07-08 | Qualcomm Incorporated | Point-based object localization from images |
| CN111366154A (zh) * | 2020-03-26 | 2020-07-03 | 湖南三一快而居住宅工业有限公司 | 一种航向角确定方法、装置及电子设备 |
| CN112967339A (zh) * | 2020-12-28 | 2021-06-15 | 北京市商汤科技开发有限公司 | 一种车辆位姿的确定方法、车辆控制方法及装置、车辆 |
Non-Patent Citations (2)
| Title |
|---|
| SUNGKWAN KIM 等: "Pose Estimation Utilizing a Gated Recurrent Unit Network for Visual Localization", APPLIED SCIENCES, vol. 10, no. 24, 11 December 2020 (2020-12-11) * |
| 许凌志 等: "基于三维模型的单目车辆位姿估计", 光学精密工程, vol. 29, no. 6, 30 June 2021 (2021-06-30) * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023016271A1 (zh) * | 2021-08-13 | 2023-02-16 | 北京迈格威科技有限公司 | 位姿确定方法、电子设备及可读存储介质 |
| CN114445335A (zh) * | 2021-12-22 | 2022-05-06 | 武汉易思达科技有限公司 | 基于双目机器视觉的车辆行驶状态监测方法及系统 |
| CN114445335B (zh) * | 2021-12-22 | 2024-04-12 | 武汉易思达科技有限公司 | 基于双目机器视觉的车辆行驶状态监测方法 |
| CN114088103A (zh) * | 2022-01-19 | 2022-02-25 | 腾讯科技（深圳）有限公司 | 车辆定位信息的确定方法和装置 |
| CN114088103B (zh) * | 2022-01-19 | 2022-05-20 | 腾讯科技（深圳）有限公司 | 车辆定位信息的确定方法和装置 |
| CN114648639A (zh) * | 2022-05-19 | 2022-06-21 | 魔视智能科技(武汉)有限公司 | 一种目标车辆的检测方法、系统及装置 |
| CN114648639B (zh) * | 2022-05-19 | 2022-08-23 | 魔视智能科技(武汉)有限公司 | 一种目标车辆的检测方法、系统及装置 |
| CN116597012A (zh) * | 2023-06-12 | 2023-08-15 | 深圳海星智驾科技有限公司 | 车辆位姿的识别方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023016271A1 (zh) | 2023-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113793297A (zh) | 位姿确定方法、装置、电子设备及可读存储介质 | |
| CN108665373B (zh) | 一种车辆定损的交互处理方法、装置、处理设备及客户端 | |
| Pang et al. | A method for vehicle count in the presence of multiple-vehicle occlusions in traffic images | |
| KR102472767B1 (ko) | 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치 | |
| CN110587597B (zh) | 一种基于激光雷达的slam闭环检测方法及检测系统 | |
| CN111738032B (zh) | 一种车辆行驶信息确定方法及装置、车载终端 | |
| CN111797688A (zh) | 一种基于光流和语义分割的视觉slam方法 | |
| Zhang et al. | Monocular visual traffic surveillance: A review | |
| WO2023016182A1 (zh) | 位姿确定方法、装置、电子设备和可读存储介质 | |
| WO2024087962A1 (zh) | 车厢姿态识别系统、方法、电子设备及存储介质 | |
| CN114170516A (zh) | 一种基于路侧感知的车辆重识别方法、装置及电子设备 | |
| Getahun et al. | A deep learning approach for lane detection | |
| Jang et al. | Camera orientation estimation using motion-based vanishing point detection for advanced driver-assistance systems | |
| Dornaika et al. | A new framework for stereo sensor pose through road segmentation and registration | |
| CN113673288B (zh) | 空闲车位检测方法、装置、计算机设备及存储介质 | |
| CN111767839A (zh) | 一种车辆行驶轨迹确定方法、装置、设备及介质 | |
| CN113902047B (zh) | 图像元素匹配方法、装置、设备以及存储介质 | |
| CN113450457B (zh) | 道路重建方法、装置、计算机设备和存储介质 | |
| CN110781730A (zh) | 智能驾驶感知方法及感知装置 | |
| CN113793250A (zh) | 位姿评价方法、位姿确定方法、对应装置和电子设备 | |
| CN117011481A (zh) | 构建三维地图的方法、装置、电子设备及存储介质 | |
| CN114332174A (zh) | 轨迹图像对齐方法、装置、计算机设备以及存储介质 | |
| Venkatesh et al. | An intelligent traffic management system based on the Internet of Things for detecting rule violations | |
| CN111639640A (zh) | 基于人工智能的车牌识别方法、装置及设备 | |
| JP4818430B2 (ja) | 移動物体認識方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |