CN115641266A - 车道线的拼接方法、装置、电子设备和存储介质 - Google Patents

车道线的拼接方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115641266A
CN115641266A CN202211401951.0A CN202211401951A CN115641266A CN 115641266 A CN115641266 A CN 115641266A CN 202211401951 A CN202211401951 A CN 202211401951A CN 115641266 A CN115641266 A CN 115641266A
Authority
CN
China
Prior art keywords
lane line
curve
determining
constraint
splicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211401951.0A
Other languages
English (en)
Inventor
蒋晓路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Horizon Integrated Circuit Co ltd
Original Assignee
Nanjing Horizon Integrated Circuit Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Horizon Integrated Circuit Co ltd filed Critical Nanjing Horizon Integrated Circuit Co ltd
Priority to CN202211401951.0A priority Critical patent/CN115641266A/zh
Publication of CN115641266A publication Critical patent/CN115641266A/zh
Priority to PCT/CN2023/118652 priority patent/WO2024098953A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开实施例公开了一种车道线的拼接方法、装置、电子设备和存储介质，其中，方法包括：确定第一坐标系下的待拼接的第一车道线曲线和第二车道线曲线；基于第一车道线曲线和第二车道线曲线，确定拼接约束点；基于拼接约束点，对第一车道线曲线对应的第一曲线参数进行调整，获得第一曲线参数对应的调整后的第一目标曲线参数；基于拼接约束点，对第二车道线曲线对应的第二曲线参数进行调整，获得第二曲线参数对应的调整后的第二目标曲线参数；基于第一目标曲线参数和第二目标曲线参数，确定拼接后的车道线。本公开实施例通过基于拼接约束点对两车道线曲线的曲线参数进行调整，使得调整后的两车道线可以平滑连续地拼接，有效提高融合后车道线的效果。

Description

车道线的拼接方法、装置、电子设备和存储介质
技术领域
本公开涉及辅助驾驶技术，尤其是一种车道线的拼接方法、装置、电子设备和存储介质。
背景技术
在辅助驾驶场景，通过多个视角的相机采集环境图像，并基于各视角的环境图像分别拟合车道线，再将各环境图像分别对应的车道线变换到统一的鸟瞰图(Bird's EyeView，简称：BEV)坐标系下，获得该鸟瞰图坐标系下的车道线，进而将各视角分别对应的鸟瞰图坐标系下的车道线融合，形成环视的车道线鸟瞰图供下游使用，相关技术中，将各视角分别对应的鸟瞰图坐标系下的车道线融合成环视的车道线鸟瞰图，容易存在属于同一车道线的两段车道线在融合部分出现不连续、不平滑等问题，导致融合后的车道线效果较差。
发明内容
为了解决上述确定的车道线效果较差等技术问题，提出了本公开。本公开的实施例提供了一种车道线的拼接方法、装置、电子设备和存储介质。
根据本公开实施例的一个方面，提供了一种车道线的拼接方法，包括：确定第一坐标系下的待拼接的第一车道线曲线和第二车道线曲线；基于所述第一车道线曲线和所述第二车道线曲线，确定拼接约束点；基于所述拼接约束点，对所述第一车道线曲线对应的第一曲线参数进行调整，获得所述第一曲线参数对应的调整后的第一目标曲线参数；基于所述拼接约束点，对所述第二车道线曲线对应的第二曲线参数进行调整，获得所述第二曲线参数对应的调整后的第二目标曲线参数；基于所述第一目标曲线参数和所述第二目标曲线参数，确定拼接后的车道线。
根据本公开实施例的另一个方面，提供了一种车道线的拼接装置，包括：第一确定模块，用于确定第一坐标系下的待拼接的第一车道线曲线和第二车道线曲线；第一处理模块，用于基于所述第一车道线曲线和所述第二车道线曲线，确定拼接约束点；第二处理模块，用于基于所述拼接约束点，对所述第一车道线曲线对应的第一曲线参数进行调整，获得所述第一曲线参数对应的调整后的第一目标曲线参数；第三处理模块，用于基于所述拼接约束点，对所述第二车道线曲线对应的第二曲线参数进行调整，获得所述第二曲线参数对应的调整后的第二目标曲线参数；第四处理模块，用于基于所述第一目标曲线参数和所述第二目标曲线参数，确定拼接后的车道线。
根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的车道线的拼接方法。
根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的车道线的拼接方法。
基于本公开上述实施例提供的车道线的拼接方法、装置、电子设备和存储介质，通过基于待拼接的两车道线曲线，确定出拼接约束点，基于拼接约束点对两车道线曲线的曲线参数进行调整，使得调整后的两车道线可以平滑连续地拼接，有效提高融合后车道线的效果。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开提供的车道线的拼接方法的一个示例性的应用场景；
图2是本公开一示例性实施例提供的车道线的拼接方法的流程示意图；
图3是本公开另一示例性实施例提供的车道线的拼接方法的流程示意图；
图4是本公开一示例性实施例提供的步骤2031的流程示意图；
图5是本公开一示例性实施例提供的步骤2041的流程示意图；
图6是本公开一示例性实施例提供的本公开一示例性实施例提供的状态量更新迭代流程示意图；
图7是本公开一示例性实施例提供的约束量的确定流程示意图；
图8是本公开一示例性实施例提供的第一车道线曲线和第二车道线曲线纵向方向交叠情况示意图；
图9是本公开一示例性实施例提供的第一车道线曲线和第二车道线曲线纵向方向间隙情况示意图；
图10是本公开一示例性实施例提供的步骤2021的流程示意图；
图11是本公开一示例性实施例提供的车道线的拼接装置的结构示意图；
图12是本公开另一示例性实施例提供的车道线的拼接装置的结构示意图；
图13是本公开一示例性实施例提供的第一处理单元5031的结构示意图；
图14是本公开电子设备一个应用实施例的结构示意图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本公开概述
在实现本公开的过程中，发明人发现，在辅助驾驶场景，通过多个视角的相机采集环境图像，并基于各视角的环境图像分别拟合车道线，再将各环境图像分别对应的车道线变换到统一的鸟瞰图(BEV)坐标系下，获得该鸟瞰图坐标系下的车道线，进而将各视角分别对应的鸟瞰图坐标系下的车道线融合，形成环视的车道线鸟瞰图供下游使用，相关技术中，将各视角分别对应的鸟瞰图坐标系下的车道线融合成环视的车道线鸟瞰图，容易存在属于同一车道线的两段车道线在融合部分出现不连续、不平滑等问题，导致融合后的车道线效果较差。
示例性概述
图1是本公开提供的车道线的拼接方法的一个示例性的应用场景。
在辅助驾驶场景，通过多个视角的相机采集环境图像，并基于各视角的环境图像分别拟合车道线，再将各环境图像分别对应的车道线变换到统一的鸟瞰图(BEV)坐标系下，获得各视角分别对应的鸟瞰图坐标系下的车道线，进而将各视角分别对应的鸟瞰图坐标系下的车道线融合，形成环视的车道线鸟瞰图，利用本公开的车道线的拼接方法，在将各视角分别对应的鸟瞰图坐标系下的车道线进行融合时，可以基于一定的匹配规则，确定出待拼接的第一车道线曲线和第二车道线曲线，该第一车道线曲线和第二车道线曲线是两个视角分别对应的同一车道线的不同车道线段，比如左前相机视角的最左侧车道线的第一车道线段和左后相机视角的最左侧车道线的第二车道线段，第一车道线段和第二车道线分别被左前相机和左后相机采集后，经车道线检测、拟合及坐标转换，获得鸟瞰图坐标系下分别对应第一车道线曲线和第二车道线曲线，在确定出鸟瞰图坐标系下的待拼接的第一车道线曲线和第二车道线曲线之后，可以基于第一车道线曲线和第二车道线曲线，确定拼接约束点，基于拼接约束点，对第一车道线曲线对应的第一曲线参数进行调整，获得第一曲线参数对应的调整后的第一目标曲线参数，并基于拼接约束点，对第二车道线曲线对应的第二曲线参数进行调整，获得第二曲线参数对应的调整后的第二目标曲线参数，使得调整后的第一目标曲线参数所对应的第一目标曲线与第二目标曲线参数所对应的第二目标曲线能够平滑连续地拼接，从而基于第一目标曲线参数和第二目标曲线参数，可以确定拼接后的连续平滑的车道线，大大提高各视角融合后的车道线效果。可以理解地，在各视角的鸟瞰图坐标系下的车道线融合时，可能包括多组待拼接的车道线，或者同一车道线对应的多个不同线段的鸟瞰图坐标系下的车道线曲线需要两两相互拼接，对其中任意两条待拼接的车道线曲线，均可以分别作为第一车道线曲线和第二车道线曲线，利用上述方法进行拼接，具体不再一一赘述。
示例性方法
图2是本公开一示例性实施例提供的车道线的拼接方法的流程示意图。本实施例可应用在电子设备上，具体比如车载计算平台上，如图2所示，包括如下步骤：
步骤201，确定第一坐标系下的待拼接的第一车道线曲线和第二车道线曲线。
其中，第一坐标系可以为鸟瞰视角(BEV)对应的坐标系，也可以为世界坐标系，具体可以根据实际需求设置，只要能把不同视角相机采集的车道线曲线统一到同一坐标系即可。第一车道线曲线和第二车道线曲线分别为曲线段，具有起始点和终止点，比如第一车道线曲线和第二车道线曲线分别可以表示如下：
f1(x,y)＝0, x∈[xs1,xe1),y∈[ys1,ye1)
f2(x,y)＝0, x∈[xs2,xe2),y∈[ys2,ye2)
其中，f1(x,y)＝0表示第一车道线曲线，xs1和ys1分别表示第一车道线曲线的起始点的横坐标和纵坐标，xe1和ye1分别表示第一车道线曲线的终止点的横坐标和纵坐标；f2(x,y)＝0表示第二车道线曲线xs2和ys2分别表示第二车道线曲线的起始点的横坐标和纵坐标，xe2和ye2分别表示第二车道线曲线的终止点的横坐标和纵坐标。
对于两个车道线曲线是否可以拼接的确定，可以采用预设匹配规则对第一坐标系下的多个车道线两两之间进行匹配获得，其中预设匹配规则可以根据车道线的特性来设置，比如在鸟瞰图坐标系下，以车辆中心为坐标原点，以车辆正前方向为纵轴(y轴)，以车辆正右方向为横轴(x轴)，不同视角的车道线在纵向方向(y方向)延伸，在横向方向距离很小，依此设置相应的匹配规则用于确定出需要拼接的两个车道线曲线。
步骤202，基于第一车道线曲线和第二车道线曲线，确定拼接约束点。
其中，由于不同视角车道线检测、拟合及坐标转换可能存在的误差，导致第一车道线曲线和第二车道线曲线在连接处不连续或者不平滑，拼接约束点用于在调整第一车道线曲线和第二车道线曲线时，约束其调整过程，使得调整后的两条车道线曲线能够在拼接约束点连续平滑拼接。拼接约束点可以是基于第一车道线曲线与第二车道线曲线的起始点和终止点确定，起始点和终止点也可以称为端点，比如基于第一车道线曲线的第一起始点和第一终止点、第二车道线曲线的第二起始点和第二终止点，可以确定两车道线曲线的拼接端，比如第一车道线曲线的第一终止点与第二车道线曲线的第二起始点需要进行拼接，基于第一终止点和第二起始点的位置关系，确定出拼接约束点。比如第一车道线曲线和第二车道线曲线在纵向方向可以包括交叠(即第一终止点的纵坐标在第二车道线曲线的纵坐标范围内，第二起始点的纵坐标在第一车道线曲线的纵坐标范围内)或间隙(即第一终止点的纵坐标在第二车道线曲线的纵坐标范围外，第二起始点的纵坐标在第一车道线曲线的纵坐标范围外)两种情况，根据不同情况确定出相应的拼接约束点。比如对于间隙情况，可以基于第一终止点和第二起始点确定间隙区域的中心作为拼接约束点，具体可以根据实际需求设置。
步骤203，基于拼接约束点，对第一车道线曲线对应的第一曲线参数进行调整，获得第一曲线参数对应的调整后的第一目标曲线参数。
其中，第一车道线曲线对应的第一曲线参数是用于表示第一车道线曲线的多次曲线系数，比如三次曲线系数，对第一曲线参数进行调整的原理是，使调整后的第一目标曲线参数对应的第一目标曲线在拼接约束点能够与调整后的第二目标曲线连续平滑拼接。
示例性的，第一车道线曲线为三次曲线，第一曲线参数为C10、C11、C12、C13，则第一车道线曲线可以表示为：
x＝C10+C11y+C12y2+C13y3
可选地，对第一曲线参数进行调整可以采用任意可实施的优化方式，比如基于带约束的扩展卡尔曼滤波算法、非线性优化等方式，具体可以根据实际需求设置。
步骤204，基于拼接约束点，对第二车道线曲线对应的第二曲线参数进行调整，获得第二曲线参数对应的调整后的第二目标曲线参数。
其中，第二车道线曲线对应的第二曲线参数是用于表示第二车道线曲线的多次曲线系数，比如三次曲线系数。同理，对第二曲线参数进行调整的原理是，使调整后的第二目标曲线参数对应的第二目标曲线在拼接约束点能够与调整后的第一目标曲线连续平滑拼接。
示例性的，第二车道线曲线为三次曲线，第二曲线参数为C20、C21、C22、C23，则第二车道线曲线可以表示为：
x＝C20+C21y+C22y2+C23y3
需要说明的是，步骤203和步骤204不分先后顺序。
步骤205，基于第一目标曲线参数和第二目标曲线参数，确定拼接后的车道线。
其中，第一目标曲线参数和第二目标曲线参数是基于拼接约束点调整后的曲线参数，两者分别对应的第一目标曲线和第二目标曲线在拼接约束点能够连续平滑拼接，获得拼接后的车道线。基于此，可以将各视角分别对应的第一坐标系下的需要拼接的车道线曲线进行拼接，从而可以获得第一坐标系下平滑连续的环视车道线图。
在一个可选示例中，第一坐标系为鸟瞰视角对应的坐标系，获得拼接后的车道线后，可以基于拼接后的车道线与其他车道线融合，获得鸟瞰视角下的环视车道线图，鸟瞰视角下的环视车道线图是车辆周围局部区域的车道线图，在实际应用中，还可以将鸟瞰视角下的环视车道线图转换到全局坐标系(比如世界坐标系)下，从而可以随着时间推移获得全局的车道线图，具体可以根据实际需求设置。
本实施例提供的车道线的拼接方法，通过基于待拼接的两车道线曲线，确定出拼接约束点，基于拼接约束点对两车道线曲线的曲线参数进行调整，使得调整后的两车道线可以平滑连续地拼接，有效提高融合后车道线的效果。
图3是本公开另一示例性实施例提供的车道线的拼接方法的流程示意图。
在一个可选示例中，步骤203具体可以包括以下步骤：
步骤2031，基于拼接约束点，采用带约束的扩展卡尔曼滤波算法，对第一曲线参数进行调整，获得第一目标曲线参数。
其中，基于带约束的扩展卡尔曼滤波算法，可以将第一曲线参数作为初始状态量，基于拼接约束点、及第一车道线曲线和第二车道线曲线连续平滑拼接需要满足的条件设置相应的约束量，通过迭代滤波实现状态转移，更新第一曲线参数，获得更新后的第一目标曲线参数，使得更新后的第一目标曲线参数满足连续平滑拼接约束。其中，约束量可以包括拼接约束点出的横向坐标约束和一阶偏导数约束，横向坐标约束用于使第一目标曲线参数对应的第一目标曲线能够包含拼接约束点，一阶偏导数约束用于使第一目标曲线在拼接约束点处的一阶偏导数与第二目标曲线相等，从而使得第一目标曲线与第二目标曲线能够连续平滑拼接。
在一个可选示例中，步骤204具体可以包括以下步骤：
步骤2041，基于拼接约束点，采用带约束的扩展卡尔曼滤波算法，对第二曲线参数进行调整，获得第二目标曲线参数。
其中，步骤2041的具体原理参见步骤2031，在此不再赘述。
本公开通过采用带约束的扩展卡尔曼滤波算法实现对待拼接的两曲线参数进行调整，使得调整后的两目标曲线能够有效满足拼接的平滑性和连续性，进一步提高车道线融合效果。
在一个可选示例中，图4是本公开一示例性实施例提供的步骤2031的流程示意图。在本示例中，步骤2031的基于拼接约束点，采用带约束的扩展卡尔曼滤波算法，对第一曲线参数进行调整，获得第一目标曲线参数，包括：
步骤20311，基于第一曲线参数确定初始状态量。
其中，初始状态量作为带约束的扩展卡尔曼滤波算法的初始状态量。
示例性的，对于第一曲线参数C10、C11、C12、C13，确定的初始状态量S10可以表示为：
Figure BDA0003935159270000081
步骤20312，基于拼接约束点、第一曲线参数和第二曲线参数，确定约束量，约束量包括拼接约束点的横向坐标值和在拼接约束点的纵向坐标值处的一阶偏导数约束值。
其中，约束量用于约束第一曲线参数的调整，使得调整后的第一目标曲线参数满足连续平滑拼接约束。拼接约束点的横向坐标值作为横向坐标约束，用于使第一目标曲线参数对应的第一目标曲线能够包含拼接约束点，也即拼接约束点在第一目标曲线上，一阶偏导数约束值作为一阶偏导数约束，用于使第一目标曲线在拼接约束点处的一阶偏导数与第二目标曲线相同，从而使得第一目标曲线与第二目标曲线能够连续平滑拼接。
示例性的，拼接约束点表示为(xc,yc)，第一曲线参数为C10、C11、C12、C13，第二曲线参数为C20、C21、C22、C23，则第一车道线曲线为：
x＝C10+C11y+C12y2+C13y3
第二车道线曲线为：
x＝C20+C21y+C22y2+C23y3
约束量表示为：
Figure BDA0003935159270000091
其中，fc′(x,y)yc表示纵向坐标值yc处的一阶偏导数约束值，该一阶偏导数约束值可以基于第一车道线曲线在yc处的一阶偏导数和第二车道线曲线在yc处的一阶偏导数确定，具体可以根据实际需求设置，比如取两个一阶偏导数的均值，表示如下：
Figure BDA0003935159270000095
其中，
Figure BDA0003935159270000097
表示第一车道线曲线在y＝yc处的一阶偏导数，
Figure BDA0003935159270000096
表示第二车道线曲线在y＝yc处的一阶偏导数，表示如下：
Figure BDA0003935159270000092
Figure BDA0003935159270000093
当第一车道线曲线参数、第二车道线曲线参数及yc确定，即可确定一阶偏导数约束值。
步骤20311与步骤20312不分先后顺序。
步骤20313，确定从初始状态量到约束量的初始转移矩阵。
其中，初始状态转移矩阵表示了从初始状态量到约束量的转移关系。
示例性的，初始转移矩阵表示如下：
Figure BDA0003935159270000094
步骤20314，基于初始转移矩阵，确定卡尔曼增益。
其中，卡尔曼增益表征了观测偏差的加权，可以表示为Kt，用于更新状态量，通过迭代调整使得状态量满足约束量的约束，卡尔曼增益的具体确定方式可以根据实际需求设置。
步骤20315，基于卡尔曼增益、约束量、初始转移矩阵及初始状态量，确定目标状态量。
其中，在确定了卡尔曼增益后，可以基于卡尔曼增益、约束量、初始转移矩阵、初始状态量及预设更新公式实现状态量的更新，获得更新后的状态量，若更新后的状态量能够满足预设条件或者达到预设迭代次数，则可以将更新后的状态量作为目标状态量，否则，基于上述过程继续进行状态量的更新，直至更新后的状态量满足预设条件或者达到预设迭代次数，获得目标状态量。
步骤20316，基于目标状态量，确定第一目标曲线参数。
其中，目标状态量包括的各状态值即为更新后的第一目标曲线参数，比如目标状态量表示如下：
Figure BDA0003935159270000101
其中，N表示经过N次迭代，则第一目标曲线参数即为
Figure BDA0003935159270000102
在一个可选示例中，图5是本公开一示例性实施例提供的步骤2041的流程示意图。在本示例中，步骤2041的，基于拼接约束点，采用带约束的扩展卡尔曼滤波算法，对第二曲线参数进行调整，获得第二目标曲线参数，包括：
步骤20411，基于第二曲线参数确定初始状态量。
步骤20412，基于拼接约束点、第一曲线参数和第二曲线参数，确定约束量，约束量包括拼接约束点的横向坐标值和在拼接约束点的纵向坐标值处的一阶偏导数约束值。
步骤20413，确定从初始状态量到约束量的初始转移矩阵。
步骤20414，基于初始转移矩阵，确定卡尔曼增益。
步骤20415，基于卡尔曼增益、约束量、初始转移矩阵及初始状态量，确定目标状态量。
步骤20416，基于目标状态量，确定第一目标曲线参数。
该示例中步骤20411至步骤20416的具体操作参见前述步骤20311至步骤20316，不同之处在于，该示例中初始状态量是第二车道线曲线的第二曲线参数，具体原理不再一一赘述。
在一个可选示例中，步骤20315的基于卡尔曼增益、约束量、初始转移矩阵及初始状态量，确定目标状态量，包括：基于卡尔曼增益、约束量、初始转移矩阵，对初始状态量进行迭代更新，直至满足预设迭代结束条件，获得目标状态量。
其中，预设迭代结束条件可以包括最大迭代次数和/或协方差矩阵需要满足的条件，具体可以根据实际需求设置。
在一个可选示例中，图6是本公开一示例性实施例提供的状态量更新迭代流程示意图。在本示例中基于卡尔曼增益、约束量、初始转移矩阵，对初始状态量进行迭代更新，直至满足预设迭代结束条件，获得目标状态量，包括：
在迭代过程中，将任一次迭代作为当前迭代，执行以下步骤：
步骤301，基于前一次迭代获得的新状态量，确定第一曲线参数对应的当前曲线参数。
其中，对于当前迭代，前一次迭代获得的新状态量包括前一次更新获得的第一曲线参数对应的更新后的曲线参数，将该更新后的曲线参数作为当前迭代的当前曲线参数。若当前迭代为第1次迭代，则前一次迭代获得的新状态量为初始状态量。
步骤302，基于当前曲线参数，确定当前状态量。
示例性的，当前状态量表示为：
Figure BDA0003935159270000111
其中，i表示当前迭代为第i次迭代。
在实际应用中，可以直接将前一次迭代获得的新状态量作为当前迭代的当前状态量。
步骤303，确定从当前状态量到约束量的当前转移矩阵。
其中，约束量是确定不变的，参见上述C_s。由于状态量是表示曲线参数，曲线参数的变化对转移矩阵不影响，因此当前转移矩阵与初始转移矩阵是相同的。
示例性的，当前转移矩阵表示如下：
Figure BDA0003935159270000112
其中，各符号含义如上。
步骤304，基于当前转移矩阵、前一次迭代获得的新协方差矩阵、及预设约束量噪声矩阵，确定当前卡尔曼增益。
其中，协方差矩阵为对角矩阵，初始协方差矩阵可以是预设的对角矩阵，在迭代过程中不断更新直至收敛。预设约束量噪声矩阵表示对约束量的信任程度。预设约束量噪声矩阵为对角矩阵，当其值全为0时表示硬约束，即通过一次迭代获得第一目标曲线参数，当其对角值不为0时，表示软约束，需要通过最大迭代次数控制迭代的结束，具体可以根据实际需求设置。当前卡尔曼矩阵可以基于预设卡尔曼增益公式确定。若当前迭代为第1次迭代，前一次迭代获得的新协方差矩阵为预设初始协方差矩阵。
示例性的，初始协方差矩阵表示为：
Figure BDA0003935159270000121
其中，λ1,0-λ4,0为预设值。
前一次迭代获得的新协方差矩阵表示为：
Figure BDA0003935159270000122
其中，λ1,i-1-λ4,i-1为前一次迭代获得的值。
预设约束量噪声矩阵C_n0表示为：
Figure BDA0003935159270000123
其中，β1和β2为预设值，比如均设置为0.001或0，具体可以根据实际需求设置。
则当前卡尔曼增益Kti表示如下：
Figure BDA0003935159270000124
其中，上角标T表示转置。
步骤305，基于当前卡尔曼增益、约束量、当前转移矩阵，对当前状态量进行更新，获得当前迭代的新状态量。
示例性的，状态更新公式表示如下：
S1i＝S1i-1+Kti(C_s-C_ti*S1i-1)
其中，S1i表示当前迭代的新状态量，其他各符号表示的含义参见前述内容。若当前迭代为第1次迭代，当前状态量为初始状态量S10。
步骤306，基于当前卡尔曼增益和当前转移矩阵，对前一次迭代获得的新协方差矩阵进行更新，获得当前迭代的新协方差矩阵。
示例性的，协方差矩阵更新公式表示如下：
E_ci＝E_ci-1-Kt*C_ti*E_ci-1
其中，E_ci表示当前迭代获得的新协方差矩阵。
步骤307，响应于当前迭代达到预设迭代次数，和/或当前迭代的新协方差矩阵满足预设条件，结束迭代过程，将当前迭代的新状态量作为目标状态量。
其中，预设迭代次数和预设条件均可以根据实际需求设置，用于控制迭代过程的结束。当迭代过程结束后，获得目标状态量。
可以理解地，第二车道线曲线的状态更新迭代流程与上述步骤301-307类似，具体参见上述内容，在此不再一一赘述。
需要说明的是，本公开实施例中的具体示例以三次曲线为例，在实际应用中，待拼接的第一车道线曲线和第二车道线曲线还可以是其他次方程的曲线，比如直线或更高次的曲线，针对不同类型的车道线曲线，可以根据其曲线参数的数量确定相应数量的状态量及其他需要的数据，具体不做限定。比如4次曲线，曲线参数包括5个系数，则相应初始状态量包括5个状态值，具体可以根据实际需求设置。
在一个可选示例中，步骤20314的基于初始转移矩阵，确定卡尔曼增益，包括：基于初始转移矩阵、预设初始协方差矩阵、及预设约束量噪声矩阵，确定卡尔曼增益，预设初始协方差矩阵为对角矩阵，预设约束量噪声矩阵为对角矩阵，用于表示约束量的置信度。
具体卡尔曼增益的确定原理参见前述步骤304的具体说明，本示例是表示第1次迭代(即i＝1)过程中卡尔曼增益的确定，在此不再赘述。
本公开通过带约束的扩展卡尔曼滤波算法，实现待拼接的第一车道线曲线和第二车道线曲线的曲线参数调整，通过约束量及状态量的不断更新，实现两车道线曲线逐渐靠近拼接约束点，直至两车道线曲线能够在拼接约束点处连续平滑连接，使得拼接的车道线更加符合真实车道线的连续平滑状态。
在一个可选示例中，图7是本公开一示例性实施例提供的约束量的确定流程示意图。在本示例中，步骤20412的基于拼接约束点、第一曲线参数和第二曲线参数，确定约束量，包括：
a、基于第一曲线参数，确定第一车道线曲线在拼接约束点的纵向坐标值处的第一一阶偏导数。
示例性的，第一一阶偏导数
Figure BDA0003935159270000131
表示如下：
Figure BDA0003935159270000141
其中，yc表示拼接约束点的纵向坐标值，第一曲线参数为C10、C11、C12、C13。
b、基于第二曲线参数，确定第二车道线曲线在拼接约束点的纵向坐标值处的第二一阶偏导数。
示例性的，第二一阶偏导数表示如下：
Figure BDA0003935159270000142
其中，yc表示拼接约束点的纵向坐标值，第二曲线参数为C20、C21、C22、C23。
c、基于第一一阶偏导数和第二一阶偏导数，确定一阶偏导数约束值。
示例性的，一阶偏导数约束值表示如下：
Figure BDA0003935159270000143
d、基于拼接约束点的横向坐标值和一阶偏导数约束值，确定约束量。
示例性的，约束量表示如下：
Figure BDA0003935159270000144
本公开通过约束量中的拼接约束点的横向坐标值约束调整过程，使得调整后的第一目标曲线与第二目标曲线在拼接约束点处连续拼接，通过约束量中的一阶偏导数约束值的约束调整，使得调整后的第一目标曲线和第二目标曲线在拼接约束点处的一阶偏导数均等于一阶偏导数约束值，也即第一目标曲线和第二目标曲线在拼接约束点处的一阶偏导数相等，从而实现第一目标曲线和第二目标曲线在拼接约束点处平滑连接，因此，通过约束量的约束，使得获得的第一目标曲线和第二目标曲线能够连续平滑地进行拼接，进一步提高拼接效果，使得拼接后的车道线更加符合真实车道线的状态。
在一个可选示例中，步骤202的基于第一车道线曲线和第二车道线曲线，确定拼接约束点，包括：
步骤2021，基于第一车道线曲线和第二车道线曲线，确定拼接约束点的纵向坐标值。
具体的，拼接约束点的纵向坐标值yc可以基于第一车道线曲线与第二车道线曲线的端点的纵坐标确定，也可以基于第一车道线曲线与第二车道线曲线的交叠区域或间隙区域确定，具体可以根据实际需求设置。
步骤2022，基于纵向坐标值，确定第一车道线曲线在纵向坐标值处的第一横向坐标值。
在确定了拼接约束点的纵向坐标值后，可以基于该纵向坐标值确定第一车道线曲线在该纵向坐标值处的第一横向坐标值x1，比如可以表示如下：
x1＝C10+C11yc+C12yc 2+C13yc 3
其中，C10、C11、C12、C13为第一车道线曲线的第一曲线参数。
步骤2023，基于纵向坐标值，确定第二车道线曲线在纵向坐标值处的第二横向坐标值。
示例性的，第二横向坐标值表示如下：
x2＝C20+C21yc+C22yc 2+C23yc 3
其中，C20、C21、C22、C23为第二车道线曲线的第二曲线参数。
需要说明的是步骤2022和步骤2023不分先后顺序。
步骤2024，基于第一横向坐标值和第二横向坐标值，确定拼接约束点的横向坐标值。
需要说明的是，由于拼接约束点的纵向坐标值是基于第一车道线曲线和第二车道线曲线确定的，当第一车道线曲线与第二车道线曲线在纵向上不存在交叠情况而是具有一定间隙时，拼接约束点可能不在第一车道线曲线上和第二车道线曲线上，而是处于两者之间的间隙部分，因此，确定的第一横向坐标值和第二横向坐标值是通过将相应的车道线曲线在纵向方向延伸到拼接约束点的纵向坐标值处获得，获得的第一横向坐标值和第二横向坐标值可能不相等，或者当两车道线曲线在纵向上存在交叠情况时，基于交叠区域确定出纵向坐标值，或者基于交叠的两端点确定出纵向坐标值，确定的第一横向坐标值和第二横向坐标值分别为两车道线曲线在该纵向坐标值处的截断点的横向坐标值，也可能导致两车道线曲线在该纵向坐标值处的第一横向坐标值和第二横向坐标值不相同。因此，需要基于第一横向坐标值和第二横向坐标值，确定出两车道线曲线的拼接约束点的横向坐标值。
示例性的，图8是本公开一示例性实施例提供的第一车道线曲线和第二车道线曲线纵向方向交叠情况示意图，其中，(x1,yc)表示第一车道线曲线在y＝yc处的截断点，(x2,yc)表示第二车道线曲线在y＝yc处的截断点。图9是本公开一示例性实施例提供的第一车道线曲线和第二车道线曲线纵向方向间隙情况示意图，其中，(x1,yc)表示第一车道线曲线在y＝yc处的延伸点，(x2,yc)表示第二车道线曲线在y＝yc处的延伸点。拼接约束点的横向坐标值xc可以表示如下：
xc＝(x1+x2)/2
步骤2025，基于拼接约束点的横向坐标值和纵向坐标值，确定拼接约束点。
综上，获得的拼接约束点为(xc,yc)。
本公开通过根据车道线在纵向方向上的延伸特性，先确定出拼接约束点的纵向坐标值，进而基于两车道线曲线在该纵向坐标值处的横向坐标值的均值确定拼接约束点的横向坐标值，使得拼接约束点能够在曲线参数的调整过程中约束两车道线曲线向拼接约束点靠近，直至两车道线曲线能够在拼接约束点连续平滑连接，有效提高调整效果，避免一个车道线曲线调整过大导致车道线准确性降低。
在一个可选示例中，图10是本公开一示例性实施例提供的步骤2021的流程示意图。基于第一车道线曲线和第二车道线曲线，确定拼接约束点的纵向坐标值，包括：
步骤20211，确定第一车道线曲线的第一端点纵坐标和第二端点纵坐标，以及第二车道线曲线的第三端点纵坐标和第四端点纵坐标。
其中，第一端点纵坐标和第二端点纵坐标分别为第一车道线曲线的第一起始点的纵坐标ys1和第一终止点的纵坐标ye1，第三端点纵坐标和第四端点纵坐标分别为第二车道线曲线的第二起始点的纵坐标ys2和第二终止点的纵坐标ye2。各端点纵坐标可以是从第一车道线曲线和第二车道线曲线的坐标范围中获得，具体不再赘述。
步骤20212，基于第一端点纵坐标、第二端点纵坐标、第三端点纵坐标和第四端点纵坐标，确定第一车道线曲线和第二车道线曲线相邻的第一目标端点纵坐标和第二目标端点纵坐标。
具体的，可以先通过各端点坐标确定出两车道线曲线之间的位置关系，比如交叠或间隙。具体可以通过纵坐标范围来确定或者通过比较各端点纵坐标的大小确定。进而可以确定出两车道线曲线需要拼接的端点纵坐标即为第一目标端点纵坐标和第二目标端点纵坐标。
示例性的，若ys1<ye1<ys2<ye2，或者ys1<ys2<ye1<ye2，则ye1与ys2分别为第一目标端点纵坐标和第二目标端点纵坐标。
步骤20213，基于第一目标端点纵坐标和第二目标端点纵坐标，确定拼接约束点的纵向坐标值。
示例性的，确定了第一目标端点纵坐标和第二目标端点纵坐标，可以将第一目标端点纵坐标和第二目标端点纵坐标的均值作为拼接约束点的纵向坐标值。
在一个可选示例中，步骤201的确定第一坐标系下的待拼接的第一车道线曲线和第二车道线曲线，包括：
步骤2011，获取至少两个视角分别对应的第一图像数据。
其中，第一图像数据可以是通过车辆上设置的至少两个视角的相机采集获得。
示例性的，在车辆行驶过程中，车辆上设置的环视相机实时采集周围道路环境各视角分别对应的第一图像数据，该至少两个视角分别对应的第一图像数据可以为各相机同一时间采集获得。比如车辆行驶的当前时刻各相机分别采集获得的第一图像数据。也可以是预先采集获得并存储的同一时间的至少两个视角的第一图像数据，具体不做限定。
步骤2012，基于各第一图像数据，确定各第一图像数据分别对应的图像坐标系下的车道线区域。
其中，图像坐标系下的车道线区域包括图像坐标系下属于车道线的像素集，可以通过预先训练获得的目标检测模型，检测各第一图像数据分别对应的图像坐标系下的车道线区域，具体不再赘述。
步骤2013，将各第一图像数据分别对应的车道线区域转换到第一坐标系下，获得各第一图像数据分别对应的第一坐标系下的车道线坐标点。
其中，第一坐标系可以为鸟瞰视角(BEV)对应的坐标系。由于各视角的车道线区域是基于各自的图像坐标系的区域，为了实现各视角的融合，需要将其转换到统一的坐标系下，本公开为了利用车道线纵向延伸性确定出拼接约束点，第一坐标系采用鸟瞰视角对应的坐标系，坐标原点为车辆中心，将各视角的车道线曲线转换到统一的第一坐标系下，以能够将各视角的车道线进行融合，获得车辆周围的环视车道线图。图像坐标系到第一坐标系的转换可以根据两坐标系间的映射关系实现，具体原理不再赘述。
步骤2014，基于各第一图像数据分别对应的第一坐标系下的车道线坐标点，确定各第一图像数据分别对应的第一坐标系下的车道线曲线。
其中，图像坐标系下的车道线区域中的像素被转换到第一坐标系下的车道线坐标点，进而可以通过拟合获得各第一图像数据分别对应的第一坐标系下的车道线曲线。具体拟合原理不再赘述。
步骤2015，基于各第一图像数据分别对应的第一坐标系下的车道线曲线，确定第一坐标系下的待拼接的第一车道线曲线和第二车道线曲线。
其中，两个车道线曲线是否可以拼接，可以采用预设匹配规则对第一坐标系下的多个车道线曲线两两之间进行匹配确定，其中预设匹配规则可以根据车道线的特性来设置，比如在鸟瞰图坐标系下，不同视角的车道线曲线在纵向方向(y方向)延伸，在横向方向距离相对很小，依此设置相应的匹配规则用于确定出需要拼接的两个车道线曲线。
比如，可以对两车道线曲线中的一个车道线曲线进行采样，获得多个采样点，该多个采样点与另一个车道线曲线的距离小于一定阈值，以及两车道线曲线的一次项系数之间差距(比如上述第一车道线曲线的C11与第二车道线曲线的C21之间的差距)满足一定条件，具体匹配原理不再赘述。
本公开实施例提供的车道线的拼接方法，通过确定拼接约束点，采用带约束的扩展卡尔曼滤波算法对两车道线在拼接约束点处的连续性和平滑性进行约束，从而使得拼接获得的车道线在拼接点处连续且平滑；且采用带约束的扩展卡尔曼滤波算法延时和计算量均较低，能够保证车道线实时有效的拼接，为后续应用提供更好的环视车道线数据；此外，由于本公开各视角的相机独立地感知车道线，在融合过程中对于同一车道线的不同线段，可以通过拼接获得完整的车道线，而拼接约束点的确定，使得不同视角的车道线可以延伸或截断，从而使得各相机具有一定的容错率，当某个或某几个相机出现故障时，通过其他相机的同一车道线的线段延伸拼接即可获得中间部分的车道线，从而可以不影响整体车道线的输出。
本公开上述各实施例或可选示例可以单独实施也可以在不冲突的情况下以任意组合方式结合实施，具体可以根据实际需求设置，本公开不作限定。
本公开实施例提供的任一种车道线的拼接方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种车道线的拼接方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种车道线的拼接方法。下文不再赘述。
示例性装置
图11是本公开一示例性实施例提供的车道线的拼接装置的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例，如图11所示的装置包括：第一确定模块501、第一处理模块502、第二处理模块503、第三处理模块504和第四处理模块505。
第一确定模块501，用于确定第一坐标系下的待拼接的第一车道线曲线和第二车道线曲线；第一处理模块502，用于基于第一确定模块501确定的所述第一车道线曲线和所述第二车道线曲线，确定拼接约束点；第二处理模块503，用于基于第一处理模块502确定的所述拼接约束点，对所述第一车道线曲线对应的第一曲线参数进行调整，获得所述第一曲线参数对应的调整后的第一目标曲线参数；第三处理模块504，用于基于第一处理模块502确定的所述拼接约束点，对所述第二车道线曲线对应的第二曲线参数进行调整，获得所述第二曲线参数对应的调整后的第二目标曲线参数；第四处理模块505，用于基于所述第一目标曲线参数和所述第二目标曲线参数，确定拼接后的车道线。
图12是本公开另一示例性实施例提供的车道线的拼接装置的结构示意图。
在一个可选示例中，第二处理模块503包括：第一处理单元5031，用于基于所述拼接约束点，采用带约束的扩展卡尔曼滤波算法，对所述第一曲线参数进行调整，获得所述第一目标曲线参数。
在一个可选示例中，第三处理模块504包括：第二处理单元5041，用于基于所述拼接约束点，采用带约束的扩展卡尔曼滤波算法，对所述第二曲线参数进行调整，获得所述第二目标曲线参数。
在一个可选示例中，图13是本公开一示例性实施例提供的第一处理单元5031的结构示意图，在本示例中，第一处理单元5031包括：第一确定子单元50311、第二确定子单元50312、第三确定子单元50313、第四确定子单元50314、第五确定子单元50315和第六确定子单元50316。
第一确定子单元50311，用于基于所述第一曲线参数确定初始状态量；第二确定子单元50312，用于基于所述拼接约束点、所述第一曲线参数和所述第二曲线参数，确定约束量，所述约束量包括所述拼接约束点的横向坐标值和在所述拼接约束点的纵向坐标值处的一阶偏导数约束值；第三确定子单元50313，用于确定从所述初始状态量到所述约束量的初始转移矩阵；第四确定子单元50314，用于基于所述初始转移矩阵，确定卡尔曼增益；第五确定子单元50315，用于基于所述卡尔曼增益、所述约束量、所述初始转移矩阵及所述初始状态量，确定目标状态量；第六确定子单元50316，用于基于所述目标状态量，确定所述第一目标曲线参数。
在一个可选示例中，第五确定子单元50315具体用于：基于所述卡尔曼增益、所述约束量、所述初始转移矩阵，对所述初始状态量进行迭代更新，直至满足预设迭代结束条件，获得所述目标状态量。
在一个可选示例中，第五确定子单元50315具体用于：在迭代过程中，将任一次迭代作为当前迭代，执行以下步骤：基于前一次迭代获得的新状态量，确定所述第一曲线参数对应的当前曲线参数；基于所述当前曲线参数，确定当前状态量；确定从所述当前状态量到所述约束量的当前转移矩阵；基于所述当前转移矩阵、前一次迭代获得的新协方差矩阵、及预设约束量噪声矩阵，确定当前卡尔曼增益；基于所述当前卡尔曼增益、所述约束量、所述当前转移矩阵，对所述当前状态量进行更新，获得当前迭代的新状态量；基于所述当前卡尔曼增益和所述当前转移矩阵，对所述前一次迭代获得的新协方差矩阵进行更新，获得当前迭代的新协方差矩阵；响应于当前迭代达到预设迭代次数，和/或所述当前迭代的新协方差矩阵满足预设条件，结束迭代过程，将所述当前迭代的新状态量作为所述目标状态量。
在一个可选示例中，所述第四确定子单元50314具体用于：基于所述初始转移矩阵、预设初始协方差矩阵、及预设约束量噪声矩阵，确定所述卡尔曼增益，所述预设初始协方差矩阵为对角矩阵，所述预设约束量噪声矩阵为对角矩阵，用于表示所述约束量的置信度。
在一个可选示例中，第二确定子单元50312具体用于：基于所述第一曲线参数，确定所述第一车道线曲线在所述拼接约束点的纵向坐标值处的第一一阶偏导数；基于所述第二曲线参数，确定所述第二车道线曲线在所述拼接约束点的纵向坐标值处的第二一阶偏导数；基于所述第一一阶偏导数和所述第二一阶偏导数，确定所述一阶偏导数约束值；基于所述拼接约束点的横向坐标值和所述一阶偏导数约束值，确定所述约束量。
在一个可选示例中，第一处理模块502包括：第一确定单元5021、第二确定单元5022、第三确定单元5023、第四确定单元5024和第五确定单元5025。
第一确定单元5021，用于基于所述第一车道线曲线和所述第二车道线曲线，确定所述拼接约束点的纵向坐标值；第二确定单元5022，用于基于所述纵向坐标值，确定所述第一车道线曲线在所述纵向坐标值处的第一横向坐标值；第三确定单元5023，用于基于所述纵向坐标值，确定所述第二车道线曲线在所述纵向坐标值处的第二横向坐标值；第四确定单元5024，用于基于所述第一横向坐标值和所述第二横向坐标值，确定所述拼接约束点的横向坐标值；第五确定单元5025，用于基于所述拼接约束点的所述横向坐标值和所述纵向坐标值，确定所述拼接约束点。
在一个可选示例中，第一确定单元5021具体用于：确定所述第一车道线曲线的第一端点纵坐标和第二端点纵坐标，以及所述第二车道线曲线的第三端点纵坐标和第四端点纵坐标；基于所述第一端点纵坐标、所述第二端点纵坐标、所述第三端点纵坐标和所述第四端点纵坐标，确定所述第一车道线曲线和所述第二车道线曲线相邻的第一目标端点纵坐标和第二目标端点纵坐标；基于所述第一目标端点纵坐标和所述第二目标端点纵坐标，确定所述拼接约束点的纵向坐标值。
在一个可选示例中，第一确定模块501包括：第一获取单元5011、第六确定单元5012、第三处理单元5013、第七确定单元5014和第八确定单元5015。
第一获取单元5011，用于获取至少两个视角分别对应的第一图像数据；第六确定单元5012，用于基于各所述第一图像数据，确定各所述第一图像数据分别对应的图像坐标系下的车道线区域；第三处理单元5013，用于将各所述第一图像数据分别对应的所述车道线区域转换到所述第一坐标系下，获得各所述第一图像数据分别对应的所述第一坐标系下的车道线坐标点；第七确定单元5014，用于基于各所述第一图像数据分别对应的所述第一坐标系下的所述车道线坐标点，确定各所述第一图像数据分别对应的所述第一坐标系下的车道线曲线；第八确定单元5015，用于基于各所述第一图像数据分别对应的所述第一坐标系下的所述车道线曲线，确定所述第一坐标系下的待拼接的所述第一车道线曲线和所述第二车道线曲线。
示例性电子设备
本公开实施例还提供了一种电子设备，包括：存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的车道线的拼接方法。
图14是本公开电子设备一个应用实施例的结构示意图。本实施例中，该电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。
此外，该输入装置13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图14中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种车道线的拼接方法，包括：
确定第一坐标系下的待拼接的第一车道线曲线和第二车道线曲线；
基于所述第一车道线曲线和所述第二车道线曲线，确定拼接约束点；
基于所述拼接约束点，对所述第一车道线曲线对应的第一曲线参数进行调整，获得所述第一曲线参数对应的调整后的第一目标曲线参数；
基于所述拼接约束点，对所述第二车道线曲线对应的第二曲线参数进行调整，获得所述第二曲线参数对应的调整后的第二目标曲线参数；
基于所述第一目标曲线参数和所述第二目标曲线参数，确定拼接后的车道线。
2.根据权利要求1所述的方法，其中，所述基于所述拼接约束点，对所述第一车道线曲线对应的第一曲线参数进行调整，获得所述第一曲线参数对应的调整后的第一目标曲线参数，包括：
基于所述拼接约束点，采用带约束的扩展卡尔曼滤波算法，对所述第一曲线参数进行调整，获得所述第一目标曲线参数。
3.根据权利要求2所述的方法，其中，所述基于所述拼接约束点，采用带约束的扩展卡尔曼滤波算法，对所述第一曲线参数进行调整，获得所述第一目标曲线参数，包括：
基于所述第一曲线参数确定初始状态量；
基于所述拼接约束点、所述第一曲线参数和所述第二曲线参数，确定约束量，所述约束量包括所述拼接约束点的横向坐标值和在所述拼接约束点的纵向坐标值处的一阶偏导数约束值；
确定从所述初始状态量到所述约束量的初始转移矩阵；
基于所述初始转移矩阵，确定卡尔曼增益；
基于所述卡尔曼增益、所述约束量、所述初始转移矩阵及所述初始状态量，确定目标状态量；
基于所述目标状态量，确定所述第一目标曲线参数。
4.根据权利要求3所述的方法，其中，所述基于所述卡尔曼增益、所述约束量、所述初始转移矩阵及所述初始状态量，确定目标状态量，包括：
基于所述卡尔曼增益、所述约束量、所述初始转移矩阵，对所述初始状态量进行迭代更新，直至满足预设迭代结束条件，获得所述目标状态量。
5.根据权利要求4所述的方法，其中，所述基于所述卡尔曼增益、所述约束量、所述初始转移矩阵，对所述初始状态量进行迭代更新，直至满足预设迭代结束条件，获得所述目标状态量，包括：
在迭代过程中，将任一次迭代作为当前迭代，执行以下步骤：
基于前一次迭代获得的新状态量，确定所述第一曲线参数对应的当前曲线参数；
基于所述当前曲线参数，确定当前状态量；
确定从所述当前状态量到所述约束量的当前转移矩阵；
基于所述当前转移矩阵、前一次迭代获得的新协方差矩阵、及预设约束量噪声矩阵，确定当前卡尔曼增益；
基于所述当前卡尔曼增益、所述约束量、所述当前转移矩阵，对所述当前状态量进行更新，获得当前迭代的新状态量；
基于所述当前卡尔曼增益和所述当前转移矩阵，对所述前一次迭代获得的新协方差矩阵进行更新，获得当前迭代的新协方差矩阵；
响应于当前迭代达到预设迭代次数，和/或所述当前迭代的新协方差矩阵满足预设条件，结束迭代过程，将所述当前迭代的新状态量作为所述目标状态量。
6.根据权利要求3所述的方法，其中，所述基于所述初始转移矩阵，确定卡尔曼增益，包括：
基于所述初始转移矩阵、预设初始协方差矩阵、及预设约束量噪声矩阵，确定所述卡尔曼增益，所述预设初始协方差矩阵为对角矩阵，所述预设约束量噪声矩阵为对角矩阵，用于表示所述约束量的置信度。
7.根据权利要求3所述的方法，其中，所述基于所述拼接约束点、所述第一曲线参数和所述第二曲线参数，确定约束量，包括：
基于所述第一曲线参数，确定所述第一车道线曲线在所述拼接约束点的纵向坐标值处的第一一阶偏导数；
基于所述第二曲线参数，确定所述第二车道线曲线在所述拼接约束点的纵向坐标值处的第二一阶偏导数；
基于所述第一一阶偏导数和所述第二一阶偏导数，确定所述一阶偏导数约束值；
基于所述拼接约束点的横向坐标值和所述一阶偏导数约束值，确定所述约束量。
8.根据权利要求1所述的方法，其中，所述基于所述拼接约束点，对所述第二车道线曲线对应的第二曲线参数进行调整，获得所述第二曲线参数对应的调整后的第二目标曲线参数，包括：
基于所述拼接约束点，采用带约束的扩展卡尔曼滤波算法，对所述第二曲线参数进行调整，获得所述第二目标曲线参数。
9.根据权利要求1所述的方法，其中，所述基于所述第一车道线曲线和所述第二车道线曲线，确定拼接约束点，包括：
基于所述第一车道线曲线和所述第二车道线曲线，确定所述拼接约束点的纵向坐标值；
基于所述纵向坐标值，确定所述第一车道线曲线在所述纵向坐标值处的第一横向坐标值；
基于所述纵向坐标值，确定所述第二车道线曲线在所述纵向坐标值处的第二横向坐标值；
基于所述第一横向坐标值和所述第二横向坐标值，确定所述拼接约束点的横向坐标值；
基于所述拼接约束点的所述横向坐标值和所述纵向坐标值，确定所述拼接约束点。
10.根据权利要求9所述的方法，其中，所述基于所述第一车道线曲线和所述第二车道线曲线，确定所述拼接约束点的纵向坐标值，包括：
确定所述第一车道线曲线的第一端点纵坐标和第二端点纵坐标，以及所述第二车道线曲线的第三端点纵坐标和第四端点纵坐标；
基于所述第一端点纵坐标、所述第二端点纵坐标、所述第三端点纵坐标和所述第四端点纵坐标，确定所述第一车道线曲线和所述第二车道线曲线相邻的第一目标端点纵坐标和第二目标端点纵坐标；
基于所述第一目标端点纵坐标和所述第二目标端点纵坐标，确定所述拼接约束点的纵向坐标值。
11.根据权利要求1-10任一所述的方法，其中，所述确定第一坐标系下的待拼接的第一车道线曲线和第二车道线曲线，包括：
获取至少两个视角分别对应的第一图像数据；
基于各所述第一图像数据，确定各所述第一图像数据分别对应的图像坐标系下的车道线区域；
将各所述第一图像数据分别对应的所述车道线区域转换到所述第一坐标系下，获得各所述第一图像数据分别对应的所述第一坐标系下的车道线坐标点；
基于各所述第一图像数据分别对应的所述第一坐标系下的所述车道线坐标点，确定各所述第一图像数据分别对应的所述第一坐标系下的车道线曲线；
基于各所述第一图像数据分别对应的所述第一坐标系下的所述车道线曲线，确定所述第一坐标系下的待拼接的所述第一车道线曲线和所述第二车道线曲线。
12.一种车道线的拼接装置，包括：
第一确定模块，用于确定第一坐标系下的待拼接的第一车道线曲线和第二车道线曲线；
第一处理模块，用于基于所述第一车道线曲线和所述第二车道线曲线，确定拼接约束点；
第二处理模块，用于基于所述拼接约束点，对所述第一车道线曲线对应的第一曲线参数进行调整，获得所述第一曲线参数对应的调整后的第一目标曲线参数；
第三处理模块，用于基于所述拼接约束点，对所述第二车道线曲线对应的第二曲线参数进行调整，获得所述第二曲线参数对应的调整后的第二目标曲线参数；
第四处理模块，用于基于所述第一目标曲线参数和所述第二目标曲线参数，确定拼接后的车道线。
13.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-11任一所述的车道线的拼接方法。
14.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-11任一所述的车道线的拼接方法。
CN202211401951.0A 2022-11-09 2022-11-09 车道线的拼接方法、装置、电子设备和存储介质 Pending CN115641266A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211401951.0A CN115641266A (zh) 2022-11-09 2022-11-09 车道线的拼接方法、装置、电子设备和存储介质
PCT/CN2023/118652 WO2024098953A1 (zh) 2022-11-09 2023-09-13 车道线的拼接方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211401951.0A CN115641266A (zh) 2022-11-09 2022-11-09 车道线的拼接方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115641266A true CN115641266A (zh) 2023-01-24

Family

ID=84948176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211401951.0A Pending CN115641266A (zh) 2022-11-09 2022-11-09 车道线的拼接方法、装置、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN115641266A (zh)
WO (1) WO2024098953A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726533A (zh) * 2024-02-07 2024-03-19 腾讯科技（深圳）有限公司 一种接边处理方法和相关装置
WO2024098953A1 (zh) * 2022-11-09 2024-05-16 南京地平线集成电路有限公司 车道线的拼接方法、装置、电子设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112154449A (zh) * 2019-09-26 2020-12-29 深圳市大疆创新科技有限公司 车道线融合方法、车道线融合装置、车辆和存储介质
CN114283398A (zh) * 2021-12-21 2022-04-05 北京百度网讯科技有限公司 车道线的处理方法、装置和电子设备
CN115131757A (zh) * 2022-06-29 2022-09-30 上海安亭地平线智能交通技术有限公司 车道线的确定方法、装置、电子设备和存储介质
CN115290105A (zh) * 2022-07-20 2022-11-04 高德软件有限公司 虚拟车道线的生成方法、装置及电子设备
CN115641266A (zh) * 2022-11-09 2023-01-24 南京地平线集成电路有限公司 车道线的拼接方法、装置、电子设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024098953A1 (zh) * 2022-11-09 2024-05-16 南京地平线集成电路有限公司 车道线的拼接方法、装置、电子设备和存储介质
CN117726533A (zh) * 2024-02-07 2024-03-19 腾讯科技（深圳）有限公司 一种接边处理方法和相关装置
CN117726533B (zh) * 2024-02-07 2024-05-31 腾讯科技（深圳）有限公司 一种接边处理方法和相关装置

Also Published As

Publication number Publication date
WO2024098953A1 (zh) 2024-05-16

Similar Documents

Publication Publication Date Title
CN115641266A (zh) 车道线的拼接方法、装置、电子设备和存储介质
CN112509047B (zh) 基于图像的位姿确定方法、装置、存储介质及电子设备
US9189889B2 (en) Method for building a three-dimensional model and apparatus thereof
US11816865B2 (en) Extrinsic camera parameter calibration method, extrinsic camera parameter calibration apparatus, and extrinsic camera parameter calibration system
CN113486797A (zh) 无人车位置检测方法、装置、设备、存储介质及车辆
CN109544630B (zh) 位姿信息确定方法和装置、视觉点云构建方法和装置
CN112818778B (zh) 车道线拟合方法、装置、介质以及电子设备
WO2022262474A1 (zh) 变焦控制方法、装置、电子设备和计算机可读存储介质
WO2022247414A1 (zh) 空间几何信息估计模型的生成方法和装置
CN112907620B (zh) 相机位姿的估计方法、装置、可读存储介质及电子设备
CN112489114B (zh) 图像转换方法、装置、计算机可读存储介质及电子设备
US20210374439A1 (en) Obstacle detection method and device, apparatus, and storage medium
CN113869293A (zh) 车道线识别方法、装置、电子设备和计算机可读介质
US20220319145A1 (en) Image processing device, image processing method, moving device, and storage medium
WO2023231435A1 (zh) 视觉感知方法、装置、存储介质和电子设备
WO2023082822A1 (zh) 图像数据的处理方法和装置
US9569824B2 (en) Distorted image correction apparatus and method
CN114821506A (zh) 多视角语义分割方法、装置、电子设备和存储介质
CN112770057A (zh) 摄像头参数调整方法和装置、电子设备和存储介质
CN112308923A (zh) 基于车道线的相机位姿调整方法和装置、存储介质、设备
CN111429353A (zh) 图像拼接及全景图拼接方法和装置、存储介质、电子设备
CN115205388A (zh) 车载相机姿态矫正方法和装置、存储介质、电子设备
CN114743174A (zh) 观测车道线的确定方法、装置、电子设备和存储介质
CN113129437B (zh) 一种标志物的空间坐标确定方法及装置
CN113628283B (zh) 摄像装置的参数标定方法、装置、介质以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination