CN113515973A - 数据获取方法、训练方法、调整方法以及装置 - Google Patents
数据获取方法、训练方法、调整方法以及装置 Download PDFInfo
- Publication number
- CN113515973A CN113515973A CN202010275597.6A CN202010275597A CN113515973A CN 113515973 A CN113515973 A CN 113515973A CN 202010275597 A CN202010275597 A CN 202010275597A CN 113515973 A CN113515973 A CN 113515973A
- Authority
- CN
- China
- Prior art keywords
- road
- vanishing point
- vehicle
- road image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000012549 training Methods 0.000 title claims description 74
- 238000013136 deep learning model Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 238000005259 measurement Methods 0.000 description 11
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
公开了一种数据获取方法、训练方法、调整方法以及装置，采集预设的多种道路类型场景中每种道路类型场景下的道路图像，针对采集的每个道路图像，根据该道路图像的道路类型，对该道路图像中的消失点进行标记，然后基于上述多种道路类型场景下的道路图像以及每个道路图像中标记的消失点，确定样本数据。进一步，就可以利用该样本数据训练消失点预测模型，从而基于该消失点预测模型得到车载摄像头拍摄的当前帧道路图像中消失点的位置预测值，根据该位置预测值实现对车载摄像头的俯仰角进行实时调整。
Description
技术领域
本公开涉及自动驾驶技术领域，且更为具体地，涉及一种数据获取方法、训练方法、调整方法以及装置。
背景技术
在机器视觉应用中，为确定空间物体在世界坐标系中的三维几何位置与其在图像中对应像素点之间的相互关系，需要建立摄像头成像的几何模型，这些几何模型参数就是摄像头的内参和外参。
车载摄像头内、外参的标定通常是在车辆静止状态下完成，所得到的标定结果为车辆在静止状态下的标定结果。然而，车辆在行驶过程中会产生各种颠簸，这样会对摄像头外参产生一定的影响，使得摄像头外参中的角度信息尤其是俯仰角发生变化，进而导致后续测距等应用的精度降低。因此，需要一种能够在车辆行驶过程中对车载摄像头的俯仰角进行校正的方法。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种数据获取方法、训练方法、调整方法以及装置，其通过将多种道路类型场景下分别采集的道路图像，在根据不同道路类型进行消失点标记后，作为样本数据，用于训练消失点预测模型，以便实时检测当前帧道路图像的消失点位置，实现对车载摄像头俯仰角的实时调整，极大地提升了车载摄像头的外参俯仰角精度，避免了由于车辆行驶过程中产生的各种颠簸所引起的俯仰角偏差，导致车辆的后续测距等需要用到车载摄像头外参的应用的精度降低，从而提高测距等应用结果的准确性。
根据本公开的第一方面，提供了一种数据获取方法，包括：采集预设的多种道路类型场景中每种道路类型场景下的道路图像；针对采集的每个道路图像，根据所述道路图像的道路类型，对所述道路图像中的消失点进行标记；基于所述多种道路类型场景下的道路图像以及所述每个道路图像中标记的消失点，确定样本数据，所述样本数据用于训练消失点预测模型，以根据所述消失点预测模型得到车载摄像头拍摄的道路图像中消失点位置预测值，并根据所述位置预测值对所述车载摄像头的俯仰角进行调整。
根据本公开的第二方面，提供了一种模型训练方法，包括：获取根据本公开的第一方面所述的数据获取方法得到的样本数据；基于所述样本数据对预先构建的深度学习模型进行训练，得到消失点预测模型，所述消失点预测模型用于得到车载摄像头拍摄的道路图像中消失点的位置预测值，以根据所述位置预测值对所述车载摄像头的俯仰角进行调整。。
根据本公开的第三方面，提供了一种车载摄像头俯仰角调整方法，所述方法包括：获取车载摄像头拍摄的当前帧道路图像；将所述当前帧道路图像输入用本公开的第二方面的训练方法训练得到的消失点预测模型，得到所述当前帧道路图像中消失点的位置预测值，其中，所述消失点预测模型为基于多种道路类型场景下采集的道路图像训练得到的深度学习模型；基于所述当前帧道路图像中消失点的位置预测值，对所述车载摄像头的俯仰角进行调整。
根据本公开的第四方面，提供了一种数据获取装置，包括：图像采集模块，用于采集预设的多种道路类型场景中每种道路类型场景下的道路图像；标记模块，用于针对采集的每个道路图像，根据所述道路图像的道路类型，对所述道路图像中的消失点进行标记；样本确定模块，用于基于所述多种道路类型场景下的道路图像以及所述每个道路图像中标记的消失点，确定样本数据，所述样本数据用于训练消失点预测模型，以根据所述消失点预测模型得到车载摄像头拍摄的道路图像中消失点位置预测值，并根据所述位置预测值对所述车载摄像头的俯仰角进行调整。
根据本公开的第五方面，提供了一种模型训练装置，所述装置包括：样本获取模块，用于获取根据本公开的第一方面所述的数据获取方法得到的样本数据；训练模块，用于基于所述样本数据对预先构建的深度学习模型进行训练，得到消失点预测模型，所述消失点预测模型用于得到车载摄像头拍摄的道路图像中消失点的位置预测值，以根据所述位置预测值对所述车载摄像头的俯仰角进行调整。
根据本公开的第六方面，提供了一种车载摄像头俯仰角调整装置，所述装置包括：图像获取模块，用于获取车载摄像头拍摄的当前帧道路图像；预测模块，用于将所述当前帧道路图像输入用本公开的第二方面的训练方法训练得到的消失点预测模型，得到所述当前帧道路图像中消失点的位置预测值，其中，所述消失点预测模型为基于多种道路类型场景下采集的道路图像训练得到的深度学习模型；调整模块，用于基于所述当前帧道路图像中消失点的位置预测值，对所述车载摄像头的俯仰角进行调整。
根据本公开的第七方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面、第二方面或第三方面提供的方法。
根据本公开的第八方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述第一方面、第二方面或第三方面提供的方法。
本公开实施例提供的数据获取方法以及训练方法，通过采集预设的多种道路类型场景中每个道路类型场景下采集的道路图像，并针对采集的每个道路图像，按照道路类型对该道路图像中的消失点进行标记，此后，将采集的多种道路类型场景的道路图像以及每个道路图像中标记的消失点确定为样本数据，用于训练消失点预测模型，从而根据训练的消失点预测模型实时预测车载摄像头拍摄的道路图像中消失点位置。由于获取的样本数据覆盖了多种道路类型场景，能够使得训练得到的消失点预测模型泛化性较好，适用于各种道路情况，有利于提高消失点位置预测结果的准确性，从而提高车载摄像头的俯仰角调整结果的准确性。
本公开实施例提供的车载摄像头俯仰角调整方法，通过上述训练方法得到的消失点预测模型得到车载摄像头拍摄的当前帧道路图像中消失点的位置预测值，从而根据该位置预测值调整车载摄像头的俯仰角，实现了在车辆行驶过程中对车载摄像头俯仰角的实时调整，极大地提升了车载摄像头的外参俯仰角精度，有效地避免了由于车辆行驶过程中产生的各种颠簸所引起的俯仰角偏差，导致车辆的后续测距等需要用到车载摄像头外参的应用的精度降低，从而提高测距等应用结果的准确性。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开一示例性实施例提供的数据获取方法的流程示意图；
图2是本公开一示例性实施例提供的直道场景下采集的样本图像的消失点示意图；
图3是本公开一示例性实施例提供的弯道场景下采集的样本图像的消失点示意图；
图4是本公开一示例性实施例提供的坡道场景下采集的样本图像的消失点示意图；
图5是本公开一示例性实施例提供的道路图像的消失点标记流程图；
图6是本公开一示例性实施例提供的一种示例性道路图像的消失点标记示意图；
图7是本公开一示例性实施例提供的另一种示例性道路图像的消失点标记示意图；
图8是本公开一示例性实施例提供的模型训练方法的流程示意图；
图9是本公开一示例性实施例提供的车载摄像头俯仰角调整方法的流程示意图；
图10是本公开一示例性实施例提供的步骤S403的流程示意图；
图11是本公开一示例性实施例提供的数据获取装置的模块框图；
图12是本公开一示例性实施例提供的标记模块的模块框图；
图13是本公开一示例性实施例提供的模型训练装置的模块框图；
图14是本公开一示例性实施例提供的车载摄像头俯仰角调整装置的模块框图；
图15是本公开一示例性实施例提供的调整模块的模块框图；
图16是本公开一示例性实施例提供的电子设备的结构示意图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
申请概述
车辆在行驶过程中会产生各种颠簸，这样会对摄像头外参产生一定的影响，使得摄像头外参中的角度信息尤其是俯仰角发生变化，进而导致后续测距等应用的精度降低。鉴于此，本公开实施例提供了一种数据获取方法，通过先采集预设的多种道路类型场景中每种道路类型场景下的道路图像；接着，针对采集的每个道路图像，根据该道路图像的道路类型，对该道路图像中的消失点进行标记；然后，基于采集的多种道路类型场景下的道路图像以及每个道路图像中标记的消失点，确定样本数据。该样本数据用于训练消失点预测模型，以根据训练得到的消失点预测模型得到车载摄像头拍摄的道路图像中消失点位置预测值，进而根据该消失点位置预测值对该车载摄像头的俯仰角进行调整。
在此基础上，本公开实施例还提供了一种模型训练方法，基于上述数据获取方法得到的样本数据，对预先构建的深度学习模型进行训练，得到消失点预测模型，所述消失点预测模型用于得到车载摄像头拍摄的道路图像中消失点的位置预测值，以根据位置预测值对车载摄像头的俯仰角进行调整。
由于通过上述述数据获取方法得到的样本数据覆盖了多种道路类型场景，利用这些样本数据进行深度学习，得到的消失点预测模型泛化性较好，能够适用于各种道路情况，有利于提高消失点位置预测结果的准确性，从而提高车载摄像头的俯仰角调整结果的准确性。
在此基础上，本公开实施例还提供了一种车载摄像头俯仰角调整方法，通过获取车载摄像头拍摄的当前帧道路图像；然后将当前帧道路图像输入通过上述训练方法得到的消失点预测模型，得到当前帧道路图像中消失点的位置预测值；接着，基于当前帧道路图像中消失点的位置预测值，对车载摄像头的俯仰角进行调整。
通过上述训练得到的消失点预测模型，有效地实现了对车载摄像头俯仰角的实时调整，极大地提升了车载摄像头的外参俯仰角精度，避免了由于车辆行驶过程中产生的各种颠簸所引起的俯仰角偏差，导致车辆的后续测距等需要用到车载摄像头外参的应用的精度降低，从而提高测距等应用结果的准确性。
示例性方法
图1是本公开一示例性实施例提供的数据获取方法的流程示意图。本实施例可应用在电子设备上，如图1所示，包括如下步骤S101至步骤S103。
步骤S101，采集预设的多种道路类型场景中每种道路类型场景下的道路图像。
本说明书实施例中，道路类型可以分为：直道、弯道以及坡道等。相应地，预设的多种道路类型场景可以包括但不限于：无坡度直道场景、无坡度弯道场景、有坡度直道场景等，具体可以根据实际需要确定。
举例来讲，可以在车辆行驶过程中，通过车载摄像头分别采集无坡度直道场景、无坡度弯道场景以及有坡度直道场景下的道路图像，作为样本图像。
步骤S102，针对采集的每个道路图像，根据所述道路图像的道路类型，对所述道路图像中的消失点进行标记。
可以理解的是，物理空间中相互平行的直线由于透视变换在图像中会交汇于一点，该点即为消失点。
本说明书实施例中，对于不同道路类型的道路图像，确定道路图像中消失点的方式也不同。举例来讲，如图2所示，对于直道场景下采集的道路图像，可以将当前行驶车辆所在道路上任意两条沿车道延伸方向的平行线在该样本图像中的交点，标记为消失点D1。如图3所示，对于无坡度弯道场景下采集的道路图像，可以将该样本图像中弯道的两条切线的交点即为消失点D2，且这两条切线的切点在预设图像坐标系下的纵坐标值相等。如图4所示，对于含有坡度的道路场景下采集的道路图像，可以将距离当前行驶车辆最近的道路上的两条平行线在该样本图像中的交点，标记为消失点D3。
步骤S103，基于所述多种道路类型场景下的道路图像以及所述每个道路图像中标记的消失点，确定样本数据，所述样本数据用于训练消失点预测模型。
将步骤S101采集的多个道路类型场景下的道路图像作为样本图像，将步骤S102标记的每个道路图像的消失点作为相应样本图像的消失点真值，就可以得到用于训练消失点预测模型的样本数据，从而进一步训练消失点预测模型，以根据该消失点预测模型得到车载摄像头拍摄的道路图像中消失点位置预测值，并根据所得到的消失点位置预测值对该车载摄像头的俯仰角进行调整。消失点预测模型的具体训练过程在下文中的模型训练实施例中进行详细描述。
由于获取的样本数据覆盖了多种道路类型场景，能够使得训练得到的消失点预测模型泛化性较好，适用于各种道路情况，有利于提高消失点位置预测结果的准确性，从而提高车载摄像头的俯仰角调整结果的准确性。
在图1所示实施例的基础上，如图5所示，上述步骤S102中，根据道路图像的道路类型，对道路图像中的消失点进行标记具体可以包括以下步骤S201至步骤S203。
步骤S201，确定所述道路图像的道路类型。
道路图像为车辆在行驶过程中采集的，道路图像的道路类型即为车辆行驶道路的道路类型，例如，可以包括直道、弯道以及坡道。确定道路图像的道路类型的实施方式有多种，举例来讲，可以通过监测车辆方向盘的角度以及陀螺仪等传感器检测车辆当前行驶的道路类型，确定当前行驶的道路类型后采集当前行驶道路的道路图像，然后将采集的道路图像与所确定的道路类型关联存储，这样就可以确定采集的每个道路图像的道路类型。当然，也可以采用其他方式确定所采集的道路图像的道路类型，如也可以采用图像识别的方式确定。
步骤S202，基于所述道路类型，确定所述道路图像中的第一参考线和第二参考线。
本说明书实施例中，第一参考线和第二参考线均为直线。道路图像的道路类型不同，则确定第一参考线和第二参考线的方式也就不同。本说明书实施例主要列举了以下三种类型的道路图像的第一参考线和第二参考线确定方式，当然，在具体实施过程中，还可以包括其他类型的道路图像，此处不作限制。
第一种，若道路图像的道路类型为直道，确定该道路图像中沿车道延伸方向的任意两条直线，并将这两条直线，作为该道路图像中的第一参考线和第二参考线。
本实施例中，上述两条直线可以是车辆行驶道路上任意两条相互平行的车道线，或者，也可以是路牙等在该道路图像中的投影线。
作为一种实施方式，可以通过对道路图像进行边缘检测，来确定该道路图像中的车道线，或者，是路牙线，将所确定的任意两条直线作为该道路图像的第一参考线和第二参考线。
作为另一种实施方式，也可以通过检测用户在道路图像中的画线轨迹，确定第一参考线和第二参考线，例如，用户可以先在道路图像中找到用于确定第一参考线和第二参考线的参照物，如车道线或路牙等，然后在显示屏上显示的道路图像中通过鼠标沿车道线或路牙等画直线，电子设备通过检测画直线操作时鼠标的滑动轨迹，得到该道路图像中的第一参考线和第二参考线。当然，若显示屏为触摸屏，用户也可以通过手划的方式进行画直线操作。
考虑到远方路面可能存在坡度，容易导致消息点标记位置不准，在一种可选的实施例中，第一参考线和第二参考线可以为车辆行驶道路上，距离车辆最近，且沿车道延伸方向的两条平行线在该道路图像中的投影线。这样有利于提高道路图像消失点标记的准确性。需要说明的是，车辆是指本车，即需要调整车载摄像头俯仰角的车辆。
第二种，若道路图像的道路类型为弯道，确定该道路图像中沿车道延伸方向的任意两条轨迹线；获取这两条轨迹线中每条轨迹线的切线，分别为第一切线和第二切线，其中，第一切线的切点和第二切线的切点在预设图像坐标系下的纵坐标值之间的差值小于预设阈值；将第一切线和第二切线作为该道路图像中的第一参考线和第二参考线。这样能够有效地实现弯道场景下道路图像的消失点标记，从而有利于丰富样本数据的道路场景，以提高训练的消失点预测模型的泛化性。
具体来讲，若道路图像的道路类型为弯道，则相应的车道延伸方向也是弯曲的，因此，所确定的沿车道延伸方向的任意两条轨迹线均为曲线。作为一种实施方式，可以将车道线或路牙在道路图像中的投影线，作为该道路图像中沿车道延伸方向的轨迹线。
需要说明的是，物理空间中，车辆行驶道路上沿车道延伸方向的两条轨迹线的轨迹是相同的如两条并列的车道线，将两条轨迹线上位于同一水平线上的点作为切点时，得到的两条切线可以认为是平行的。例如，PA为其中一条轨迹线上的点，PB为另一条轨迹线上的点，且PA与PB位于同一水平线上，则可以认为以PA作为切点的切线与以PB作为切点的切线平行。因此，这两条轨迹线经过透视变换后，上述第一切线和第二切线也会交汇于一点，该点即为消失点。
本说明书实施例中，上述预设阈值可以根据实际应用场景中可接受的误差范围确定，例如，预设阈值可以设置为2个像素点或5个像素点等。在该误差范围内，可以认为这两个切点位于同一水平线上，从而认为得到的两条切线是平行的。作为一种实施方式，第一切线的切点和第二切线的切点在预设图像坐标系下的纵坐标值相等，且纵坐标值位于预设范围内。其中，预设范围可以根据实际经验设置。为了便于说明，将预设图像坐标系下y坐标值即纵坐标值最大的一列像素点称为图像下缘，举例来讲，第一切线的切点和第二切线的切点的y坐标值位于距离图像下缘200个像素点以内。
作为一种实施方式，可以通过对道路图像进行边缘检测，来确定该道路图像中沿车道延伸方向的任意两条轨迹线，并得到能够分别表征这两条轨迹线的第一曲线方程以及第二曲线方程。然后，在所确定的两条轨迹线上各自确定一切点，且所确定的两个切点在预设图像坐标系下的纵坐标值之间的差值小于预设阈值。接着，根据其中一条轨迹线上切点的坐标以及第一曲线方程，就可以确定这条轨迹线的第一切线。例如，第一曲线方程表示为：y＝f(x)，这条轨迹线上确定的切点表示为P(a,f(a))，f(x)的导函数f'(x)存在，则以P为切点的第一切线方程：y-f(a)＝f'(a)(x-a)。同理，根据另一条轨迹线上切点的坐标以及第二曲线方程，就可以确定另一条轨迹线的第二切线。这种方式有利于实现道路图像的在线消失点标记，减少用户操作，提高消失点标记效率。
作为另一种实施方式，在确定道路图像中沿车道延伸方向的两条轨迹线后，也可以通过检测用户在该道路图像中的画线轨迹，分别获取这两条轨迹线的切线，即第一切线和第二切线。例如，用户可以将显示屏上显示的道路图像中，车道线边缘或路牙在道路图像中的投影线确定为沿车道延伸方向的两条轨迹线，然后在所确定的两条轨迹线上分别确定一切点，通过控制鼠标基于所确定的切线画这两条轨迹线的切线。电子设备通过检测鼠标的滑动轨迹，就可以获取到第一切线以及第二切线。当然，若显示屏为触摸屏，用户也可以通过手划的方式进行画切线的操作。这种结合用户操作的离线标记方式，有利于提高道路图像消失点标记的准确性。
考虑到远方路面可能存在坡度，容易导致消息点标记位置不准，在一种可选的实施例中，上述两条轨迹线可以均为车辆行驶道路上，距离车辆最近的车道线在第二道路图像中的投影线。这样有利于提高样本图像消失点标记的准确性。
第三种，若道路图像的道路类型为坡道，确定该道路图像中距离车辆最近且沿车道延伸方向的两条直线，并将这两条直线作为该道路图像中的第一参考线和第二参考线。这样能够有效地实现坡道场景下道路图像的消失点标记，从而有利于丰富样本数据的道路场景，以提高训练的消失点预测模型的泛化性。
对于有坡度的道路场景，为了尽量避免坡度对消失点标记的影响，将距离车辆最近，且沿车道延伸方向的两条直线作为第一参考线和第二参考线。例如，可以将道路图像中距离车辆最近的两条车道线作为该道路图像的第一参考线和第二参考线。可以理解的是，对于有坡度直道来讲，沿车道延伸方向的两条直线在物理空间中为相互平行的。
作为一种实施方式，可以通过对道路图像进行边缘检测，将该道路图像中最靠近图像下缘的两条车道线确定为该道路图像的第一参考线和第二参考线。当然，除了车道线以外，也可以选用其他平行线如路牙等。
作为另一种实施方式，也可以通过检测用户在该道路图像中的画线轨迹，确定该道路图像的第一参考线和第二参考线。例如，用户可以通过鼠标在显示屏显示的道路图像中，沿距离车辆最近的两条车道线画直线，电子设备通过检测划线轨迹，就可以得到该道路图像的第一参考线和第二参考线。
步骤S203，将所述第一参考线和第二参考线之间的交点标记为所述道路图像中的消失点。
可以理解的是，步骤S202确定的第一参考线和第二参考线均为直线。在确定第一参考线和第二参考线后，可以计算这两条直线之间的交点，将该交点标记为道路图像中的消失点。
例如，如图6所示，直道场景下采集的道路图像600中第一参考线L1和第二参考线L2的交点VP1即为该道路图像600中的消失点。
如图7所示，弯道场景下采集的道路图像700中，第一参考线为轨迹线L3的第一切线M1，第二参考线为轨迹线L4的第二切线M2，第一切线M1与第二切线M2的交点VP2即为该道路图像700中的消失点，且第一切线M1的切点Q1与第二切线M2的切点Q2的纵坐标值相等。
这样，就可以对于不同道路类型场景下采集的道路图像，针对性地进行消失点标记，有利于提高样本图像消失点标记的准确性，从而，有利于提高训练得到的消失点预测模型输出结果的准确性，进一步提高对车载摄像头俯仰角的实时调整结果的准确性。
可以理解的是，对于含有坡度的弯道场景下采集的道路图像，标记消失点的方式与上述弯道场景下采集的道路图像中消失点的标记方式类似，区别在于轨迹线的选取，为了降低坡度对消失点标记的影响，轨迹线应选取距离车辆最近且沿车道延伸方向的两条轨迹线。
图8是本公开一示例性实施例提供的模型训练方法的流程示意图。本实施例可应用在电子设备上，如图8所示，包括如下步骤S301和步骤S302。
步骤S301，获取样本数据，所述样本数据包括多种道路类型场景下采集的道路图像。
本说明书实施例中采用的样本数据是通过上述数据获取方法得到的。样本数据中包括多种道路类型场景下采集的道路图像以及每个道路图像的消失点位置信息。样本数据的具体获取过程可以参见上述数据获取方法实施例中的相应描述，此处不再赘述。
获取到样本数据后，将样本数据中包含的道路图像作为样本图像，将道路图像中预先标记的消失点位置作为相应样本图像中消失点位置的真实值，通过执行以下步骤S302训练得到消失点预测模型。
步骤S302，基于所述样本数据对预先构建的深度学习模型进行训练，得到消失点预测模型。
消失点预测模型用于得到车载摄像头拍摄的道路图像中消失点的位置预测值，以根据该位置预测值对车载摄像头的俯仰角进行调整。在一种实施方式中，消失点的位置预测值可以为消失点在有预设图像坐标系中的纵坐标值。将车载摄像头采集的道路图像输入上述消失点预测模型，得到该道路图像中消失点在预设图像坐标系中的纵坐标值，本实施例中，将消失点在预设图像坐标系中的纵坐标值作为消失点的高度。其中，预设图像坐标系为以图像左上角为原点O，像素行方向为x轴，像素列方向为y轴的像素平面坐标系(x，y)，如图2所示。进一步，就可以根据该道路图像中消失点的纵坐标值对车载摄像头的俯仰角进行调整。
在步骤S302中，深度学习模型可以采用卷积神经网络(Convolutional NeuralNetworks，CNN)，或者，也可以采用其他的深度学习模型如深度神经网络(Deep NeuralNetworks，DNN)等。
具体实施过程中，先创建好深度学习模型并将深度学习模型的模型参数设置为初始模型参数，将样本数据中的样本图像输入该深度学习模型，得到该样本图像中消失点的位置预测值。进而，将得到的位置预测值以及该样本图像中预先标记的消失点位置，输入预先设置的损失函数，判断得到的损失函数值是否满足预设训练条件，若否，则对深度学习模型的模型参数进行调整例如可以采用梯度下降法对模型参数进行调整，基于调整后的模型参数进行下一轮迭代，直至得到的损失函数值满足预设训练条件，得到优化后的模型参数，从而得到训练好的消失点预测模型。
损失函数用于度量模型预测值与真实值之间的差异。本实施例中，损失函数可以采用回归模型常用的损失函数，例如，可以采用平方损失函数或绝对值损失函数等。预设训练条件可以根据实际需要设置，例如，可以设置一个阈值，若损失函数值小于该阈值，则满足预设训练条件，反之，则不满足预设训练条件。又例如，预设训练条件可以设置为损失函数值达到最小值，也就是模型预测值与真实值之间的差异达到最小。
当然，在本说明书其他实施例中，也可以通过设置迭代次数阈值，在迭代次数达到预设次数时，则停止训练，得到训练好的消失点预测模型。
本说明书实施例提供的模型训练方法，通过将多种道路类型场景下采集的道路图像作为样本图像，对这些样本图像以及样本图像中预先标记好的消失点位置，进行深度学习，得到消失点预测模型，用于实时预测车载摄像头拍摄的道路图像中消失点位置，以便于实现对车载摄像头俯仰角的实时调整，提升车载摄像头的外参俯仰角精度，避免由于车辆行驶过程中产生的各种颠簸所引起的俯仰角偏差，导致车辆的后续测距等需要用到车载摄像头外参的应用的精度降低，从而提高测距等应用结果的准确性。并且，由于样本图像覆盖了多种道路类型场景，训练得到的消失点预测模型泛化性较好，能够适用于各种道路情况，有效地提高消失点位置预测结果的准确性，从而有利于提高车载摄像头的俯仰角调整结果的准确性。
图9是本公开一示例性实施例提供的车载摄像头俯仰角调整方法的流程示意图。本实施例可应用在车载终端上，如图9所示，包括如下步骤S401至步骤S403。
步骤S401，获取车载摄像头拍摄的当前帧道路图像。
在车辆行驶过程中，可以实时获取车载摄像头拍摄的道路图像。通过对车载摄像头拍摄的当前帧道路图像执行以下步骤S402和S403，完成对车载摄像头俯仰角的实时调整。
具体实施过程中，可以预先设置用于触发车载摄像头俯仰角校正任务的触发条件。若满足该触发条件，则执行步骤S401至步骤S403对车载摄像头的俯仰角进行实时调整。上述触发条件可以根据实际应用场景的需要设置。举例来讲，在一种应用场景中，可以设置为在执行需要利用到车载摄像头外参的任务如测距任务之前触发，以基于调节后的车载摄像头俯仰角，执行需要利用到车载摄像头外参的任务，有利于提高任务精度。或者，也可以设置为时间条件，例如间隔预设时间触发一次，又或者，可以设置为车辆每行驶预设里程触发一次，再或者，还可以设置按钮，用户可以根据实际需要手动点击该按钮触发车载摄像头俯仰角调节任务。
步骤S402，将所述当前帧道路图像输入预先训练得到的消失点预测模型，得到所述道路图像中消失点的位置预测值，其中，所述消失点预测模型为基于多种道路类型场景下采集的道路图像训练得到的深度学习模型。
其中，消失点预测模型是通过上述图8示出的模型训练方法的任一实施例训练得到的。具体训练过程可以参照上述模型训练方法实施例的描述，此处不再赘述。
步骤S403，基于所述道路图像中消失点的位置预测值，对所述车载摄像头的俯仰角进行调整。
本说明书实施例提供的车载摄像头俯仰角调整方法，有效地实现了对车载摄像头俯仰角的实时调整，避免由于车辆行驶过程中产生的各种颠簸所引起的俯仰角偏差，导致车辆的后续测距等需要用到车载摄像头外参的应用的精度降低。
在图9所示实施例的基础上，如图10所示，上述步骤S403可以包括以下步骤：
步骤S501，根据所述位置预测值，确定所述当前帧道路图像中消失点在预设图像坐标系下的纵坐标值；
本说明书实施例中，上述步骤S403中得到的消失点位置预测值可以为道路图像中消失点在预设图像坐标系下的纵坐标值，即图2所示的预设图像坐标系下的y坐标值。
步骤S502，基于预先标定的所述车载摄像头的内参和外参，计算所述预设图像坐标系下所述道路图像中消失点的纵坐标值，作为位置基准值；
可以理解的是，预先标定的车载摄像头的内参和外参可以是车辆在静止状态下，通过特定的标定场所以及标定物，对车载摄像头的内参和外参进行标定得到的。消失点可以认为是空间直线上无穷远处的点投影在图像上所成的像点，通过预先标定的内参和外参，就可以根据透视变换原理计算预设图像坐标系下道路图像中消失点的纵坐标值。
步骤S503，当所述位置基准值与所述位置预测值之间的差异值不满足预设条件时，对所述车载摄像头外参的俯仰角进行调整。
本实施例中，位置基准值与位置预测值之间的差异值用于表征二者之间的差异，具体来讲，可以将位置基准值与位置预设值之间差值的绝对值作为二者之间的差异值。或者，在本公开其他实施例中，也可以采用其他方式得到位置基准值与位置预测值之间的差异值，例如，可以将上述绝对值除以位置预测值，得到位置基准值与位置预测值之间的差异值。
本实施例中，对车载摄像头外参的俯仰角进行调整的目标在于使得根据车载摄像头的内参和外参，计算得到的预设图像坐标系下道路图像中消失点的纵坐标值逼近于该道路图像中消失点的位置预测值。
作为一种实施方式，可以预先设置差异阈值，若位置基准值与位置预测值之间的差异值超过该差异阈值，则判定差异值不满足预设条件，反之，则判定差异值满足预设条件。若差异值不满足预设条件，则对车载摄像头外参的俯仰角进行调整，并基于调整后的俯仰角，重新计算预设图像坐标系下该道路图像中消失点的纵坐标值，作为位置基准值，直至计算得到的位置基准值与位置预测值之间的差异值不超过该差异阈值，即差异值满足预设条件。其中，差异阈值可以根据实际应用场景以及多次试验设置。
具体来讲，对车载摄像头外参的俯仰角进行调整的过程可以包括：若位置基准值小于位置预测值，则按照预设步长调大俯仰角，若位置基准值大于位置预测值，则按照预设步长调小俯仰角。预设步长可以根据经验设置，例如，可以设置为0.001rad。
在图9所示实施例的基础上，在一种可选的实施例中，可以通过车载摄像头连续拍摄的多帧道路图像来调整车载摄像头的俯仰角，这样有利于提高俯仰角调整结果的可靠性。具体来讲，可以实时将车载摄像头连续拍摄的多帧图像中的每一帧图像依次作为当前帧道路图像，执行上述步骤S401至S403，以完成对车载摄像头俯仰角的实时调整。
需要说明的是，为了实现对车载摄像头俯仰角的实时调整，上述多帧道路图像的帧数小于预设帧数，预设帧数具体根据实际应用场景中对实时性的要求设置。
在具体实施过程中，可以在每采集到一帧道路图像后，将该帧图像作为当前帧道路图像执行上述步骤S401至S403，得到参考俯仰角；这样连续采集多帧道路图像后，就可以得到多个参考俯仰角，进而将多个参考俯仰角的平均值作为调整后的俯仰角。需要说明的是，在此过程中，对于其中的每帧道路图像可以均基于预先标定的车载摄像头的内参和外参，得到道路图像中消失点的位置基准值；或者，也可以基于预先标定的车载摄像头的内参以及根据前一帧道路图像调整俯仰角后的外参，得到当前帧道路图像中消失点的位置基准值。
示例性装置
图11示出了本公开实施例提供的一种数据获取装置的框图。
如图11所示，本公开实施例提供的数据获取装置10，可以运行于电子设备上，该数据获取装置10可以包括：
图像采集模块11，用于采集预设的多种道路类型场景中每种道路类型场景下的道路图像；
标记模块12，用于针对采集的每个道路图像，根据所述道路图像的道路类型，对所述道路图像中的消失点进行标记；
样本确定模块13，用于基于所述多种道路类型场景下的道路图像以及所述每个道路图像中标记的消失点，确定样本数据，所述样本数据用于训练消失点预测模型，以根据所述消失点预测模型得到车载摄像头拍摄的道路图像中消失点位置预测值，并根据所述位置预测值对所述车载摄像头的俯仰角进行调整。
在一种可选的实施例中，如图12所示，上述标记模块12包括：
类型确定子模块121，用于确定所述道路图像的道路类型；
参考线确定子模块122，用于基于所述道路类型，确定所述道路图像中的第一参考线和第二参考线；
标记子模块123，用于将所述第一参考线和第二参考线之间的交点标记为所述道路图像中的消失点。
在一种可选的实施例中，上述参考线确定子模块122用于：若所述道路类型为直道，确定所述道路图像中沿车道延伸方向的任意两条直线，并将所述两条直线作为该道路图像中的第一参考线和第二参考线。
在一种可选的实施例中，上述参考线确定子模块122用于：
若所述道路类型为弯道，确定所述道路图像中沿车道延伸方向的任意两条轨迹线；
获取所述两条轨迹线中每条轨迹线的切线，分别为第一切线和第二切线，其中，所述第一切线的切点和所述第二切线的切点在预设图像坐标系下的纵坐标值之间的差值小于预设阈值；
将所述第一切线和第二切线作为该道路图像中的第一参考线和第二参考线。
在一种可选的实施例中，所述第一切线的切点和所述第二切线的切点在所述预设图像坐标系下的纵坐标值相等，且所述纵坐标值位于预设范围内。
在一种可选的实施例中，上述参考线确定子模块122用于：若所述道路类型为坡道，确定所述道路图像中距离车辆最近且沿车道延伸方向的两条直线，并将所确定的两条直线作为该道路图像中的第一参考线和第二参考线。
这里，本领域技术人员可以理解，上述数据获取装置10中的各个模块的具体功能和操作已经在上述方法实施例对于数据获取方法的描述中得到了详细介绍，并因此，将省略其重复描述。
图13示出了本公开实施例提供的一种模型训练装置的框图。
如图13所示，本公开实施例提供的模型训练装置20，可以运行于电子设备上，该模型训练装置20包括：样本获取模块21，用于获取根据上述数据获取方法得到的样本数据，所述样本数据包括多种道路类型场景下采集的道路图像；训练模块22，用于基于所述样本数据对预先构建的深度学习模型进行训练，得到消失点预测模型，所述消失点预测模型用于得到车载摄像头拍摄的道路图像中消失点的位置预测值，以根据所述位置预测值对所述车载摄像头的俯仰角进行调整。
这里，本领域技术人员可以理解，上述模型训练装置20中的各个模块的具体功能和操作已经在上述方法实施例对于模型训练方法的描述中得到了详细介绍，并因此，将省略其重复描述。
图14示出了本公开实施例提供的一种车载摄像头俯仰角调整装置的框图。
如图14所示，本公开实施例提供的车载摄像头俯仰角调整装置30，可以运行于车载终端上，该车载摄像头俯仰角调整装置30包括：图像获取模块31，用于获取车载摄像头拍摄的当前帧道路图像；预测模块32，用于将所述当前帧道路图像输入用上述模型训练方法训练得到的消失点预测模型，得到所述当前帧道路图像中消失点的位置预测值，其中，所述消失点预测模型为基于多种道路类型场景下采集的道路图像训练得到的深度学习模型；调整模块33，用于基于所述当前帧道路图像中消失点的位置预测值，对所述车载摄像头的俯仰角进行调整。
在一种可选的实施例中，如图15所示，上述调整模块33可以包括：计算子模块331，用于根据所述位置预测值，确定所述当前帧道路图像中消失点在预设图像坐标系下的纵坐标值，并基于预先标定的所述车载摄像头的内参和外参，计算所述预设图像坐标系下所述道路图像中消失点的纵坐标值，作为位置基准值；调整子模块332，用于当所述位置基准值与所述位置预测值之间的差异值不满足预设条件时，对所述车载摄像头外参的俯仰角进行调整。
这里，本领域技术人员可以理解，上述俯仰角调整装置30中的各个模块的具体功能和操作已经在上述方法实施例对于车载摄像头俯仰角调整方法的描述中得到了详细介绍，并因此，将省略其重复描述。
示例性电子设备
下面，参考图16来描述根据本公开实施例的电子设备。
图16图示了根据本公开实施例的电子设备的框图。
如图16所示，电子设备40包括一个或多个处理器401和存储器402。
处理器401可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备40中的其他组件以执行期望的功能。
存储器402可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行所述程序指令，以实现上文所述的本公开的各个实施例的数据获取方法、模型训练方法或者车载摄像头俯仰角调整方法、以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备40还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
当电子设备40用于执行上述方法实施例提供的模型训练方法时，电子设备40可以为服务器，该输入装置403可以包括例如键盘、鼠标等等，该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当电子设备40用于执行上述方法实施例提供的车载摄像头俯仰角调整方法时，电子设备40可以为车载终端，该输入装置404与车载摄像头连接，用于实时获取车载摄像头拍摄的道路图像。该输出装置404可以向外部输出各种信息，例如根据调整后的俯仰角确定出的测距信息、方向信息等。
当然，为了简化，图16中仅示出了该电子设备40中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备40还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。术语“多个”表示“两个以上”，即包括两个或大于两个的情况。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种数据获取方法，包括：
采集预设的多种道路类型场景中每种道路类型场景下的道路图像；
针对采集的每个道路图像，根据所述道路图像的道路类型，对所述道路图像中的消失点进行标记；
基于所述多种道路类型场景下的道路图像以及所述每个道路图像中标记的消失点，确定样本数据，所述样本数据用于训练消失点预测模型，以根据所述消失点预测模型得到车载摄像头拍摄的道路图像中消失点位置预测值，并根据所述位置预测值对所述车载摄像头的俯仰角进行调整。
2.根据权利要求1所述的方法，其中，所述根据所述道路图像的道路类型，对所述道路图像中的消失点进行标记，包括：
确定所述道路图像的道路类型；
基于所述道路类型，确定所述道路图像中的第一参考线和第二参考线；
将所述第一参考线和第二参考线之间的交点标记为所述道路图像中的消失点。
3.根据权利要求2所述的方法，其中，所述基于所述道路类型，确定所述道路图像中的第一参考线和第二参考线，包括：
若所述道路类型为直道，确定所述道路图像中沿车道延伸方向的任意两条直线，并将所述两条直线作为该道路图像中的第一参考线和第二参考线。
4.根据权利要求2所述的方法，其中，所述基于所述道路类型，确定所述道路图像中的第一参考线和第二参考线，包括：
若所述道路类型为弯道，确定所述道路图像中沿车道延伸方向的任意两条轨迹线；
获取所述两条轨迹线中每条轨迹线的切线，分别为第一切线和第二切线，其中，所述第一切线的切点和所述第二切线的切点在预设图像坐标系下的纵坐标值之间的差值小于预设阈值；
将所述第一切线和第二切线作为该道路图像中的第一参考线和第二参考线。
5.一种模型训练方法，包括：
获取根据权利要求1-4中任一项所述的数据获取方法得到的样本数据，所述样本数据包括多种道路类型场景下采集的道路图像；
基于所述样本数据对预先构建的深度学习模型进行训练，得到消失点预测模型，所述消失点预测模型用于得到车载摄像头拍摄的道路图像中消失点的位置预测值，以根据所述位置预测值对所述车载摄像头的俯仰角进行调整。
6.一种车载摄像头俯仰角调整方法，所述方法包括：
获取车载摄像头拍摄的当前帧道路图像；
将所述当前帧道路图像输入用权利要求5的训练方法训练得到的消失点预测模型，得到所述当前帧道路图像中消失点的位置预测值，其中，所述消失点预测模型为基于多种道路类型场景下采集的道路图像训练得到的深度学习模型；
基于所述当前帧道路图像中消失点的位置预测值，对所述车载摄像头的俯仰角进行调整。
7.一种数据获取装置，包括：
图像采集模块，用于采集预设的多种道路类型场景中每种道路类型场景下的道路图像；
标记模块，用于针对采集的每个道路图像，根据所述道路图像的道路类型，对所述道路图像中的消失点进行标记；
样本确定模块，用于基于所述多种道路类型场景下的道路图像以及所述每个道路图像中标记的消失点，确定样本数据，所述样本数据用于训练消失点预测模型，以根据所述消失点预测模型得到车载摄像头拍摄的道路图像中消失点位置预测值，并根据所述位置预测值对所述车载摄像头的俯仰角进行调整。
8.一种模型训练装置，包括：
样本获取模块，用于获取根据权利要求1-4中任一项所述的数据获取方法得到的样本数据，所述样本数据包括多种道路类型场景下采集的道路图像；
训练模块，用于基于所述样本数据对预先构建的深度学习模型进行训练，得到消失点预测模型，所述消失点预测模型用于得到车载摄像头拍摄的道路图像中消失点的位置预测值，以根据所述位置预测值对所述车载摄像头的俯仰角进行调整。
9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6任一所述的方法。
10.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1-6任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010275597.6A CN113515973A (zh) | 2020-04-09 | 2020-04-09 | 数据获取方法、训练方法、调整方法以及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010275597.6A CN113515973A (zh) | 2020-04-09 | 2020-04-09 | 数据获取方法、训练方法、调整方法以及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113515973A true CN113515973A (zh) | 2021-10-19 |
Family
ID=78060360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010275597.6A Pending CN113515973A (zh) | 2020-04-09 | 2020-04-09 | 数据获取方法、训练方法、调整方法以及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113515973A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003156353A (ja) * | 2001-11-20 | 2003-05-30 | Kenwood Corp | ナビゲーションシステム、勾配表示方法およびプログラム |
| CN101922929A (zh) * | 2009-06-09 | 2010-12-22 | 财团法人车辆研究测试中心 | 车辆倾斜感测方法及应用该方法的头灯自动水平系统 |
| CN103262139A (zh) * | 2010-12-15 | 2013-08-21 | 本田技研工业株式会社 | 行车道识别装置 |
| CN103927754A (zh) * | 2014-04-21 | 2014-07-16 | 大连理工大学 | 一种车载摄像机的标定方法 |
| CN104143192A (zh) * | 2014-08-06 | 2014-11-12 | 中电海康集团有限公司 | 一种车道偏离预警系统的标定方法及其装置 |
| CN106525056A (zh) * | 2016-11-04 | 2017-03-22 | 杭州奥腾电子股份有限公司 | 利用陀螺仪传感器进行车道线检测的方法 |
| CN106991407A (zh) * | 2017-04-10 | 2017-07-28 | 吉林大学 | 一种车道线检测的方法以及装置 |
| CN108052908A (zh) * | 2017-12-15 | 2018-05-18 | 郑州日产汽车有限公司 | 车道保持方法 |
| CN109345593A (zh) * | 2018-09-04 | 2019-02-15 | 海信集团有限公司 | 一种摄像机姿态的检测方法及装置 |
| CN109948552A (zh) * | 2019-03-20 | 2019-06-28 | 四川大学 | 一种复杂交通环境中的车道线检测的方法 |
| CN110371043A (zh) * | 2019-07-15 | 2019-10-25 | 北京地平线机器人技术研发有限公司 | 可调整拍摄方向的拍摄系统、摄像头方向调整方法和装置 |
-
2020
- 2020-04-09 CN CN202010275597.6A patent/CN113515973A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003156353A (ja) * | 2001-11-20 | 2003-05-30 | Kenwood Corp | ナビゲーションシステム、勾配表示方法およびプログラム |
| CN101922929A (zh) * | 2009-06-09 | 2010-12-22 | 财团法人车辆研究测试中心 | 车辆倾斜感测方法及应用该方法的头灯自动水平系统 |
| CN103262139A (zh) * | 2010-12-15 | 2013-08-21 | 本田技研工业株式会社 | 行车道识别装置 |
| CN103927754A (zh) * | 2014-04-21 | 2014-07-16 | 大连理工大学 | 一种车载摄像机的标定方法 |
| CN104143192A (zh) * | 2014-08-06 | 2014-11-12 | 中电海康集团有限公司 | 一种车道偏离预警系统的标定方法及其装置 |
| CN106525056A (zh) * | 2016-11-04 | 2017-03-22 | 杭州奥腾电子股份有限公司 | 利用陀螺仪传感器进行车道线检测的方法 |
| CN106991407A (zh) * | 2017-04-10 | 2017-07-28 | 吉林大学 | 一种车道线检测的方法以及装置 |
| CN108052908A (zh) * | 2017-12-15 | 2018-05-18 | 郑州日产汽车有限公司 | 车道保持方法 |
| CN109345593A (zh) * | 2018-09-04 | 2019-02-15 | 海信集团有限公司 | 一种摄像机姿态的检测方法及装置 |
| CN109948552A (zh) * | 2019-03-20 | 2019-06-28 | 四川大学 | 一种复杂交通环境中的车道线检测的方法 |
| CN110371043A (zh) * | 2019-07-15 | 2019-10-25 | 北京地平线机器人技术研发有限公司 | 可调整拍摄方向的拍摄系统、摄像头方向调整方法和装置 |
Non-Patent Citations (4)
| Title |
|---|
| R. ITU ET AL.: "Automatic extrinsic camera parameters calibration using convolutional neural networks", 《2017 13TH IEEE INTERNATIONAL CONFERENCE ON INTELLIGENT COMPUTER COMMUNICATION AND PROCESSING》, 23 November 2017 (2017-11-23), pages 1 - 6 * |
| 增山修: "《增山修的14堂水彩写生课》", 上海人民美术出版社, pages: 29 * |
| 蒋刚毅 等: "基于车道标线分解的车道检测", 《计算机工程与应用》 * |
| 蒋刚毅 等: "基于车道标线分解的车道检测", 《计算机工程与应用》, 28 February 2002 (2002-02-28), pages 1 - 4 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11210534B2 (en) | Method for position detection, device, and storage medium | |
| US9595197B2 (en) | Lateral control apparatus of vehicle and control method of the same | |
| CN113715814B (zh) | 碰撞检测方法、装置、电子设备、介质及自动驾驶车辆 | |
| JP2021152906A (ja) | 車両軌跡の予測方法、装置、機器及び記憶媒体 | |
| CN113022580B (zh) | 轨迹预测方法、装置、存储介质及电子设备 | |
| CN109532662B (zh) | 一种车距及碰撞时间计算方法及装置 | |
| CN113267199A (zh) | 行驶轨迹规划方法及装置 | |
| CN114170826B (zh) | 自动驾驶控制方法和装置、电子设备和存储介质 | |
| CN113240756B (zh) | 车载bsd摄像头的位姿变动检测方法、设备和存储介质 | |
| US11080544B1 (en) | Method and device for calibrating pitch of camera on vehicle and method and device for continual learning of vanishing point estimation model to be used for calibrating the pitch | |
| CN111627066B (zh) | 一种摄像头的外参数调整方法及装置 | |
| US11734852B2 (en) | Slope estimating apparatus and operating method thereof | |
| CN111746525A (zh) | 泊车路径规划方法、装置、设备及存储介质 | |
| CN113256739A (zh) | 车载bsd摄像头的自标定方法、设备和存储介质 | |
| CN111857135A (zh) | 用于车辆的避障方法、装置、电子设备和计算机存储介质 | |
| CN112651535A (zh) | 局部路径规划方法、装置、存储介质、电子设备及车辆 | |
| CN114475593A (zh) | 行驶轨迹预测方法、车辆及计算机可读存储介质 | |
| CN110827337B (zh) | 确定车载相机的姿态的方法、装置和电子设备 | |
| JP5418427B2 (ja) | 衝突時間算出装置、衝突時間算出方法及びプログラム | |
| CN113515973A (zh) | 数据获取方法、训练方法、调整方法以及装置 | |
| CN112132902B (zh) | 车载摄像头外参调整方法、装置、电子设备以及介质 | |
| CN113643355A (zh) | 一种目标车辆位置和朝向的检测方法、系统及存储介质 | |
| CN108961337B (zh) | 车载相机航向角标定方法和装置、电子设备以及车辆 | |
| CN112446374A (zh) | 一种目标检测模型的确定方法及装置 | |
| CN112406884A (zh) | 车辆行驶状态的识别方法和装置、存储介质、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211019 |