CN113820698B - 障碍物测距方法、装置、电子设备及可读介质 - Google Patents
障碍物测距方法、装置、电子设备及可读介质 Download PDFInfo
- Publication number
- CN113820698B CN113820698B CN202111067740.3A CN202111067740A CN113820698B CN 113820698 B CN113820698 B CN 113820698B CN 202111067740 A CN202111067740 A CN 202111067740A CN 113820698 B CN113820698 B CN 113820698B
- Authority
- CN
- China
- Prior art keywords
- vehicle door
- obstacle
- grounding point
- distance
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000004891 communication Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000013136 deep learning model Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000003550 marker Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 23
- 239000011159 matrix material Substances 0.000 description 12
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
Abstract
本发明实施例提供了一种障碍物测距方法、装置、电子设备及可读介质，在车辆的车门开启时，确定车门相机拍摄的障碍物接地点在像素坐标系中的障碍物接地点的像素坐标，获取障碍物接地点的像素坐标对应的目标世界坐标，获取车门当前开启位置对应的距离查找表，从距离查找表中查找目标世界坐标与当前车门接地点的世界坐标的距离，作为障碍物接地点与当前车门接地点的距离。应用本发明实施例，在打开车门的过程中，根据障碍物接地点的世界坐标和当前车门接地点的世界坐标，从车门当前开启位置对应距离查找表确定摄障碍物接地点与当前车门接地点的距离，以避免车门开启过程中触碰障碍物的情况发生。
Description
技术领域
本发明涉及车辆技术领域，特别是涉及一种障碍物测距方法、一种障碍物测距装置、一种电子设备以及一种计算机可读介质。
背景技术
在车辆的自动行驶过程中，一般通过车辆上的相机识别车辆周围的障碍物，以进行避障。然而，在泊车后或临时停车打开车门的过程中，车门相机的外部参数发生改变，导致无法准确地识别出车门相机所拍摄障碍物的位置，容易造成车门与障碍物碰撞。
发明内容
本发明实施例是提供一种障碍物测距方法、装置、电子设备以及计算机可读存储介质，以解决打开车门的过程中，车门相机的外部参数发生改变，导致无法准确地识别出车门相机所拍摄物体的位置，容易造成车门与障碍物碰撞的问题。
本发明实施例公开了一种障碍物测距方法，包括：
在车辆的车门开启时，确定所述车门相机拍摄的障碍物接地点的像素坐标；
获取所述车门当前开启位置对应的距离查找表；其中，所述车门的当前开启位置为当前所述车门接地点的世界坐标，所述距离查找表保存有所述车门相机所拍摄区域各接地点对应的世界坐标与当前所述车门接地点的世界坐标的距离；
从所述距离查找表中查找所述目标世界坐标与当前所述车门接地点的世界坐标的距离，作为所述障碍物接地点与当前所述车门接地点的距离。
可选地，所述确定所述车门相机拍摄障碍物接地点在所述像极坐标系中的障碍物接地点的像素坐标，包括：
基于深度学习模型的物体检测算法检测车门相机拍摄的障碍物，得到所述障碍物的轮廓大小和所述障碍物接地点的中心像素坐标；其中，所述障碍物接地点的中心像素坐标对应世界坐标系中所述障碍物接地点的中心点坐标位置；
根据所述障碍物接地点的中心像素坐标和所述轮廓大小，计算得到所述障碍物接地点的像素坐标；其中，所述障碍物接地点的像素坐标对应所述世界坐标系中所述障碍物接地点与所述车门接地点距离最近的坐标位置。
可选地，还包括：
在车辆停留在标定位置时，获取车门处于不同开启位置时车门相机采集到的标定场地的第一图像；其中，所述标定场地设有若干网格点；
获取车门相机的内部参数和所述车门处于不同开启位置时所述相机的外部参数；
通过所述内部参数和所述外部参数对所述第一图像中的所述网格点进行投影变换，得到所述网格点的像素坐标；
获取所述网格点的世界坐标；
将对应同一个所述网格点的像素坐标和世界坐标进行关联；
在所述车门处于不同开启位置时，计算出所述网格点的世界坐标与所述车门接地点的世界坐标的距离，并保存为所述车门处于不同开启位置时对应的距离查找表。
可选地，在所述获取车门相机的内部参数和所述车门处于不同开启位置时所述相机的外部参数之前，还包括：
通过标定板对车门相机进行标定，得到所述车门相机的内部参数。
可选地，所述标定场地设有预设数量的标记点；在所述获取车门相机的内部参数和所述车门处于不同开启位置时所述相机的外部参数之前，还包括：
在车辆停留在标定位置时，获取车门处于不同开启位置时车门相机采集到的标定场地的第二图像；
确定出所述第二图像中各所述标记点的像素坐标；
获取各所述标记点的世界坐标；
根据各所述标记点的像素坐标和世界坐标，计算出所述车门处于不同所述开启位置时所述车门相机的外部参数；其中所述外部参数包括转换矩阵和平移矩阵。
可选地，所述确定出所述第二图像中各所述标记点的像素坐标，包括：
在所述第二图像中对各所述标记点进行标定，得到各所述标记点的像素坐标；
通过所述内部参数对各所述标记点的像素坐标进行去畸变处理，得到归一化的像素坐标。
可选地，所述在车辆停放在标定位置时，获取车门处于不同开启位置时车门相机采集到的标定场地的第二图像，包括：
在车门处于每一开启位置下，车门相机基于预设采样频率采集到若干标定场地的第二图像；
从若干所述第二图像中确定出满足预设条件的第二图像，作为所述车门处于所述开启位置时的第二图像；其中，所述预设条件为第二图像包含预设数量的标记点，且第二图像的清晰度大于预设阈值。
本发明实施例还公开了一种障碍物测距装置，所述装置包括：
坐标确定模块，用于在车辆的车门开启时，确定所述车门相机拍摄的障碍物接地点的像素坐标；
查找表获取模块，用于获取所述车门当前开启位置对应的距离查找表；其中，所述车门的当前开启位置为当前所述车门接地点的世界坐标，所述距离查找表保存有所述车门相机所拍摄区域各接地点对应的世界坐标与当前所述车门接地点的世界坐标的距离；
距离查找模块，用于从所述距离查找表中查找所述目标世界坐标与当前所述车门接地点的世界坐标的距离，作为所述障碍物接地点与当前所述车门接地点的距离。
可选地，所述坐标确定模块，包括：
坐标确定子模块，用于基于深度学习模型的物体检测算法检测车门相机拍摄的障碍物，得到所述障碍物的轮廓大小和所述障碍物接地点的中心像素坐标；其中，所述障碍物接地点的中心像素坐标对应世界坐标系中所述障碍物接地点的中心点坐标位置；
坐标计算子模块，用于根据所述障碍物接地点的中心像素坐标和所述轮廓大小，计算得到所述障碍物接地点的像素坐标；其中，所述障碍物接地点的像素坐标对应所述世界坐标系中所述障碍物接地点与所述车门接地点距离最近的坐标位置。
可选地，还包括：
图像获取模块，用于在车辆停留在标定位置时，获取车门处于不同开启位置时车门相机采集到的标定场地的第一图像；其中，所述标定场地设有若干网格点；
参数获取模块，用于获取车门相机的内部参数和所述车门处于不同开启位置时所述相机的外部参数；
网格点投影变换模块，用于通过所述内部参数和所述外部参数对所述第一图像中的所述网格点进行投影变换，得到所述网格点的像素坐标；
坐标获取模块，用于获取所述网格点的世界坐标；
坐标关联模块，用于将对应同一个所述网格点的像素坐标和世界坐标进行关联；
距离计算模块，用于在所述车门处于不同开启位置时，计算出所述网格点的世界坐标与所述车门接地点的世界坐标的距离，并保存为所述车门处于不同开启位置时对应的距离查找表。
可选地，还包括：
参数标定模块，用于通过标定板对车门相机进行标定，得到所述车门相机的内部参数。
可选地，所述标定场地设有预设数量的标记点，还包括：
图像获取模块，还用于在车辆停留在标定位置时，获取车门处于不同开启位置时车门相机采集到的标定场地的第二图像；
坐标确定模块，还用于确定出所述第二图像中各所述标记点的像素坐标；
坐标获取模块，还用于获取各所述标记点的世界坐标；
参数计算模块，用于根据各所述标记点的像素坐标和世界坐标，计算出所述车门处于不同所述开启位置时所述车门相机的外部参数；其中所述外部参数包括转换矩阵和平移矩阵。
可选地，所述坐标确定模块，包括：
坐标标定子模块，用于在所述第二图像中对各所述标记点进行标定，得到各所述标记点的像素坐标；
坐标处理子模块，用于通过所述内部参数对各所述标记点的像素坐标进行去畸变处理，得到归一化的像素坐标。
可选地，所述图像获取模块，包括：
图像采集子模块，用于在车门处于每一开启位置下，车门相机基于预设采样频率采集到若干标定场地的第二图像；
图像确定子模块，用于从若干所述第二图像中确定出满足预设条件的第二图像，作为所述车门处于所述开启位置时的第二图像；其中，所述预设条件为第二图像包含预设数量的标记点，且第二图像的清晰度大于预设阈值。
本发明实施例还公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行存储器上所存放的程序时，实现如本发明实施例所述的方法。
本发明实施例还公开了一个或多个计算机可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如本发明实施例所述的方法。
本发明实施例包括以下优点：在车辆的车门开启时，确定车门相机拍摄的障碍物接地点在像素坐标系中的障碍物接地点的像素坐标；获取障碍物接地点的像素坐标对应的目标世界坐标，获取车门当前开启位置对应的距离查找表；其中，车门的当前开启位置为当前车门接地点的世界坐标，距离查找表保存有车门相机所拍摄区域各接地点对应的世界坐标与当前车门接地点的世界坐标的距离，从距离查找表中查找目标世界坐标与当前车门接地点的世界坐标的距离，作为障碍物接地点与当前车门接地点的距离。应用本发明实施例，车门所处不同的开启位置对应不同的距离查找表，各距离查找表保存有其对应车门所处的位置时，相机所拍摄区域各接地点对应的世界坐标与车门接地点的世界坐标的距离，在车辆临时停车或泊车后打开车门的过程中，根据车门当前的开启位置获取对应的距离查找表，根据距离查找表确定车门相机所拍摄障碍物接地点与当前车门接地点的距离，并判断车门是否会触碰障碍物，以避免车门开启过程中触碰障碍物的情况发生。
附图说明
图1是本发明实施例中提供的一种障碍物测距方法的步骤流程图；
图2是本发明实施例中提供的另一种障碍物测距方法的步骤流程图；
图3是本发明实施例中提供的一种车门相机拍摄的标定场所图像示意图；
图4是本发明实施例中提供的一种障碍物测距装置的结构框图；
图5是本发明实施例中提供的一种电子设备的框图；
图6是本发明实施例中提供的一种计算机可读介质的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例提供了一种障碍物测距方法、装置、电子设备及可读介质，通过距离查找表保存有在车门处于不同开启位置时，相机所拍摄区域各接地点对应的世界坐标与车门接地点的世界坐标的距离，在车辆临时停车或泊车后打开车门的过程中，根据车门当前的开启位置和障碍物的像素坐标对应的目标世界坐标，从距离查找表中确定车门相机所拍摄障碍物接地点与当前车门接地点的距离，并判断车门是否会触碰障碍物，以避免车门开启过程中触碰障碍物的情况发生，以解决在泊车后或临时停车打开车门的过程中，车门相机的外部参数发生改变，导致的无法准确地识别出车门相机所拍摄障碍物的位置，容易造成车门与障碍物碰撞的问题。
参照图1，示出了本发明实施例中提供的一种障碍物测距方法的步骤流程图，具体可以包括如下步骤：
步骤101：在车辆的车门开启时，确定所述车门相机拍摄的障碍物接地点的像素坐标。
其中，车门相机为AVM(Around View Monitoring)相机，通过安装在车辆上的前、后、左、右四个相机集成车辆周围状况，以辅助驾驶者安全停车；车门相机采集的图像在计算机中可以转换为M×N数组形式的数字图像，图像中每个点在数组中的列数和行数(u，v)为该点在像素坐标系中的像素坐标。
具体地，在车辆临时停车或泊车后打开车门的过程中，基于车门相机的内部参数和外部参数，确定车门相机拍摄的障碍物接地点在像素坐标系中的障碍物接地点的像素坐标。
步骤102：获取所述障碍物接地点的像素坐标对应的目标世界坐标。
具体地，预先对车门相机所拍摄区域各接地点对应的像素坐标和世界坐标进行关联，在获取障碍物接地点的像素坐标后，直接获取到障碍物接地点的像素坐标对应的目标世界坐标。
步骤103：获取所述车门当前开启位置对应的距离查找表；其中，所述车门的当前开启位置为当前所述车门接地点的世界坐标，所述距离查找表保存有所述车门相机所拍摄区域各接地点对应的世界坐标与当前所述车门接地点的世界坐标的距离。
其中，车门的开启位置为在车门接地点在世界坐标系上的坐标，即车门接地点的世界坐标；世界坐标系为指定车辆任意位置作为原点建立的坐标系，例如在车辆后轴中心垂直向下与地面交点处建立世界坐标系，车辆正前方为Z轴，前进方向右侧为X轴，竖直向下为Y轴。
具体地，车门所处不同的开启位置对应不同的距离查找表，各距离查找表保存有其对应车门所处的位置时，车门相机所拍摄区域各接地点对应的世界坐标与车门接地点的世界坐标的距离，获取车门当前开启位置对应的距离查找表，其中，该距离查找表保存有在车门当前开启位置时，车门相机所拍摄区域各接地点对应的世界坐标与当前车门接地点的世界坐标的距离。
步骤104：从所述距离查找表中查找所述目标世界坐标与当前所述车门接地点的世界坐标的距离，作为所述障碍物接地点与当前所述车门接地点的距离。
具体地，从距离查找表中查找目标世界坐标与当前车门接地点的世界坐标的距离，作为障碍物接地点与当前车门接地点的距离。
本发明实施例中，车门所处不同的开启位置对应不同的距离查找表，各距离查找表保存有其对应车门所处的位置时，相机所拍摄区域各接地点对应的世界坐标与车门接地点的世界坐标的距离，在车辆临时停车或泊车后打开车门的过程中，根据当前车门接地点的世界坐标和障碍物接地点的目标世界坐标，从车门当前的开启位置对应的距离查找表中确定车门相机所拍摄障碍物接地点与当前车门接地点的距离，并判断车门是否会触碰障碍物，以避免车门开启过程中触碰障碍物的情况发生。
参照图2，示出了本发明实施例中提供的另一种障碍物测距方法的步骤流程图，具体可以包括如下步骤：
步骤201：基于深度学习模型的物体检测算法检测车门相机拍摄的障碍物，得到所述障碍物的轮廓大小和所述障碍物接地点的中心像素坐标；其中，所述障碍物接地点的中心像素坐标对应世界坐标系中所述障碍物接地点的中心点坐标位置。
其中，障碍物的轮廓大小为障碍物的长和宽。
具体地，需要先获取车门相机的内部参数和车门当前位置时车门相机的外部参数，基于内部参数和外部参数，通过深度学习模型的物体检测算法检测车门相机所拍摄图像中存在的障碍物，确定障碍物的轮廓大小和障碍物的中心点在像素坐标系中的障碍物接地点的中心像素坐标，例如B＝(x，y，w，h)，其中x和y是轮廓框的中心坐标，w和h是轮廓框的长和宽。
步骤202：根据所述障碍物接地点的中心像素坐标和所述轮廓大小，计算得到所述障碍物接地点的像素坐标；其中，所述障碍物接地点的像素坐标对应所述世界坐标系中所述障碍物接地点与所述车门接地点距离最近的坐标位置。
其中，为了防止车门与障碍物发生撞击，需要确定出障碍物最靠近车门接地点的一个接地点。
具体地，根据障碍物接地点的中心像素坐标和轮廓大小B＝(x，y，w，h)，计算出障碍物中最靠近(距离最近)车门接地点的接地点位置，确定该点位置在像素坐标系的坐标位置为障碍物接地点的像素坐标L＝(U，V)，具体如何根据障碍物的中心点坐标位置和轮廓大小计算障碍物最靠近车门接地点的接地点位置，本发明实施例对此不加以局限，例如无论障碍物轮廓以及方位处于何种情况，都统一取障碍物接地点的像素坐标L＝(U＝x+0.5*w，V＝y+0.5*h)，或者根据障碍物对应车门接地点方向的方位，去计算出障碍物中最靠近车门接地点的接地点对应的像素坐标。
本发明实施例中，通过障碍物的障碍物接地点的中心像素坐标和轮廓大小，计算出障碍物中最靠近车门接地点的接地点位置的像素坐标，可以增加计算车门接地点与障碍物接地点之间距离的准确度。
步骤203：获取所述障碍物接地点的像素坐标对应的目标世界坐标。
步骤204：获取所述车门当前开启位置对应的距离查找表；其中，所述车门的当前开启位置为当前所述车门接地点的世界坐标，所述距离查找表保存有所述车门相机所拍摄区域各接地点对应的世界坐标与当前所述车门接地点的世界坐标的距离。
在本发明一实施例中，还包括：在车辆停留在标定位置时，获取车门处于不同开启位置时车门相机采集到的标定场地的第一图像；其中，所述标定场地设有若干网格点；获取车门相机的内部参数和所述车门处于不同开启位置时所述相机的外部参数；通过所述内部参数和所述外部参数对所述第一图像中的所述网格点进行投影变换，得到所述网格点的像素坐标；获取所述网格点的世界坐标；将对应同一个所述网格点的像素坐标和世界坐标进行关联；在所述车门处于不同开启位置时，计算出所述网格点的世界坐标与所述车门接地点的世界坐标的距离，并保存为所述车门处于不同开启位置时对应的距离查找表。
具体地，标定场所布满若干网格点，在获取到车门处于不同开启位置时车门相机采集到的标定场地的第一图像之后，第一图像布满标定场地上的网格点，此时通过车门相机的内部参数和外部参数对第一图像中的网格点进行投影变换，得到网格点在像素坐标系中的坐标位置。如图3，示出了本发明实施例中提供的一种车门相机拍摄的标定场所图像示意图，如图可知，标定场所布满网格点。
同时，由于车辆与标定场地的位置是相对固定的，可以计算出每个网格点相对于车后轴中心垂直向下与地面交点处的坐标位置，即网格点的世界坐标。
将对应同一个网格点的像素坐标与世界坐标进行关联，在车门处于不同开启位置时，计算出网格点的世界坐标与车门接地点的世界坐标的距离，并保存为车门处于不同开启位置时对应的距离查找表。
在本发明一实施例中，还包括：通过标定板对车门相机进行标定，得到所述车门相机的内部参数。
在本发明一实施例中，所述标定场地设有预设数量的标记点，还包括：在车辆停留在标定位置时，获取车门处于不同开启位置时车门相机采集到的标定场地的第二图像；确定出所述第二图像中各所述标记点的像素坐标；获取各所述标记点的世界坐标；根据各所述标记点的像素坐标和世界坐标，计算出所述车门处于不同所述开启位置时所述车门相机的外部参数；其中所述外部参数包括转换矩阵和平移矩阵。
其中，标定场地设有预设数量的标记点，例如5个、7个等等；在对车门相机的外部参数进行标定时，需要将车辆停放在指定的标定位置，且标定位置与标定场地的存在一定距离，以使车门相机的拍摄区域能够覆盖到标定场地中所有的标记点。
具体地，获取车门处于不同开启位置时车门相机采集到的标定场地的第二图像后，例如，在车门从关闭打开至最大角度的过程中，车门相机以一定的采样频率采集标定场地的第二图像，得到车门处于不同开启位置时对应的标定场地的第二图像，第二图像包含标定场地上的所有标记点，使用标注工具，对第二图像中的标记点依次进行标注，得到各标记点在数组中的列数和行数，即得到各标记点的像素坐标，由于车辆与标定场地的位置是相对固定的，可以计算出每个特殊标记点相对于车后轴中心垂直向下与地面交点处的坐标位置，即各标记点的世界坐标。基于各标记点的像素坐标和世界坐标，可以采用PnP(Perspective-n-Point)算法计算车门相机相对于世界坐标系的旋转矩阵R和平移矩阵T，即车门相机在该开启位置时的外部参数，以此重复，得到车门处于不同开启位置时车门相机对应的外部参数。
其中，PnP算法的工作原理为当已知n个三维空间点(世界坐标)及其二维投影位置(像素坐标)时，用于估计相机的位姿(外部参数)。除了采用PnP算法计算车门相机的旋转矩阵R和平移矩阵T之外，还可以采用EPnP，RANSAC等算法来计算车位相机的外部参数，对此，本发明实施例并不加以局限。
本发明实施例中，在车门运动的过程中，对车门相机的外部参数进行标定，得到车门处于不同开启位置时车门相机相对于世界坐标系的外部参数，在泊车后或者临时停车打开车门过程中，根据车门所处开启位置，动态地更新车门相机的外部参数，可以基于更新后的外部参数，实现在车辆的车门打开的状态下，获取到正确的全景图和准确识别出车门相机拍摄物体的距离位置。
在本发明一实施例中，所述确定出所述第二图像中各所述标记点的像素坐标，包括：在所述第二图像中对各所述标记点进行标定，得到各所述标记点的像素坐标；通过所述内部参数对各所述标记点的像素坐标进行去畸变处理，得到归一化的像素坐标。
其中，车门相机的内部参数为相机自身特性相关的参数，比如相机的焦距、像素大小等；图像畸变是指用于相机的透镜制造精度以及组装工艺的偏差会导致原始图像失真，进而出现图像畸变的现象，为了使相机拍摄到的图像能够尽可能还原出真实的场景或物体状态，因此需要采用相机的内部参数对图像进行去畸变处理。
具体地，在获取到车门处于不同开启位置时车门相机采集到的标定场地的第二图像后，第二图像包含标定场地上的所有标记点，使用标注工具，对第二图像中的标记点依次进行标注，得到各标记点在数组中的列数和行数，即得到各标记点的像素坐标，通过相机的内部参数，对各标记点的像素坐标进行去畸变，得到归一化的像素坐标。
在本发明一实施例中，所述在车辆停放在标定位置时，获取车门处于不同开启位置时车门相机采集到的标定场地的第二图像，包括：在车门处于每一开启位置下，车门相机基于预设采样频率采集到若干标定场地的第二图像；从若干所述第二图像中确定出满足预设条件的第二图像，作为所述车门处于所述开启位置时的第二图像；其中，所述预设条件为第二图像包含预设数量的标记点，且第二图像的清晰度大于预设阈值。
具体地，在车门相机采集标定场地的第二图像的过程中，在车门处于每一开启位置下，均采集有若干标定场地的第二图像，基于预设条件对若干第二图像进行过滤，得到一张包含预设数量的标记点，且清晰度大于预设阈值的第二图像作为车门处于该开启位置时的第二图像，若多张第二图像满足预设条件，则从多张满足预设条件的第二图像中随机选取一张第二图像作为车门处于该开启位置时的第二图像。
步骤205：从所述距离查找表中查找所述目标世界坐标与当前所述车门接地点的世界坐标的距离，作为所述障碍物接地点与当前所述车门接地点的距离。
本发明实施例中，在车门运动的过程中，对车门相机的外部参数进行标定，得到车门处于不同开启位置时车门相机相对于世界坐标系的外部参数，在泊车后或者临时停车打开车门过程中，根据车门所处开启位置，动态地更新车门相机的外部参数，可以基于更新后的外部参数，实现在车辆的车门打开的状态下，获取到正确的全景图和准确识别出车门相机拍摄物体的距离位置。
车门所处不同的开启位置对应不同的距离查找表，各距离查找表保存有其对应车门所处的位置时，相机所拍摄区域各接地点对应的世界坐标与车门接地点的世界坐标的距离，在车辆临时停车或泊车后打开车门的过程中，根据当前车门接地点的世界坐标和障碍物接地点的目标世界坐标，从车门当前的开启位置对应的距离查找表中确定车门相机所拍摄障碍物接地点与当前车门接地点的距离，并判断车门是否会触碰障碍物，以避免车门开启过程中触碰障碍物的情况发生。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图4，示出了本发明实施例中提供的一种障碍物测距装置的结构框图，具体可以包括如下模块：
坐标确定模块401，用于在车辆的车门开启时，确定所述车门相机拍摄的障碍物接地点的像素坐标；
坐标获取模块402，用于获取所述障碍物接地点的像素坐标对应的目标世界坐标；
查找表获取模块403，用于获取所述车门当前开启位置对应的距离查找表；其中，所述车门的当前开启位置为当前所述车门接地点的世界坐标，所述距离查找表保存有所述车门相机所拍摄区域各接地点对应的世界坐标与当前所述车门接地点的世界坐标的距离；
距离查找模块404，用于从所述距离查找表中查找所述目标世界坐标与当前所述车门接地点的世界坐标的距离，作为所述障碍物接地点与当前所述车门接地点的距离。
在本发明一实施例中，所述坐标确定模块401，包括：
坐标确定子模块，用于基于深度学习模型的物体检测算法检测车门相机拍摄的障碍物，得到所述障碍物的轮廓大小和所述障碍物接地点的中心像素坐标；其中，所述障碍物接地点的中心像素坐标对应世界坐标系中所述障碍物接地点的中心点坐标位置；
坐标计算子模块，用于根据所述障碍物接地点的中心像素坐标和所述轮廓大小，计算得到所述障碍物接地点的像素坐标；其中，所述障碍物接地点的像素坐标对应所述世界坐标系中所述障碍物接地点与所述车门接地点距离最近的坐标位置。
在本发明一实施例中，还包括：
图像获取模块，用于在车辆停留在标定位置时，获取车门处于不同开启位置时车门相机采集到的标定场地的第一图像；其中，所述标定场地设有若干网格点；
参数获取模块，用于获取车门相机的内部参数和所述车门处于不同开启位置时所述相机的外部参数；
网格点投影变换模块，用于通过所述内部参数和所述外部参数对所述第一图像中的所述网格点进行投影变换，得到所述网格点的像素坐标；
坐标获取模块，还用于获取所述网格点的世界坐标；
坐标关联模块，用于将对应同一个所述网格点的像素坐标和世界坐标进行关联；
距离计算模块，用于在所述车门处于不同开启位置时，计算出所述网格点的世界坐标与所述车门接地点的世界坐标的距离，并保存为所述车门处于不同开启位置时对应的距离查找表。
在本发明一实施例中，还包括：
参数标定模块，用于通过标定板对车门相机进行标定，得到所述车门相机的内部参数。
在本发明一实施例中，所述标定场地设有预设数量的标记点，还包括：
图像获取模块，还用于在车辆停留在标定位置时，获取车门处于不同开启位置时车门相机采集到的标定场地的第二图像；
坐标确定模块，还用于确定出所述第二图像中各所述标记点的像素坐标；
坐标获取模块，还用于获取各所述标记点的世界坐标；
参数计算模块，用于根据各所述标记点的像素坐标和世界坐标，计算出所述车门处于不同所述开启位置时所述车门相机的外部参数；其中所述外部参数包括转换矩阵和平移矩阵。
在本发明一实施例中，所述坐标确定模块，包括：
坐标标定子模块，用于在所述第二图像中对各所述标记点进行标定，得到各所述标记点的像素坐标；
坐标处理子模块，用于通过所述内部参数对各所述标记点的像素坐标进行去畸变处理，得到归一化的像素坐标。
在本发明一实施例中，所述图像获取模块，包括：
图像采集子模块，用于在车门处于每一开启位置下，车门相机基于预设采样频率采集到若干标定场地的第二图像；
图像确定子模块，用于从若干所述第二图像中确定出满足预设条件的第二图像，作为所述车门处于所述开启位置时的第二图像；其中，所述预设条件为第二图像包含预设数量的标记点，且第二图像的清晰度大于预设阈值。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
另外，本发明实施例还提供一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现上述实施例中所述的障碍物测距方法。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图6所示，在本发明提供的又一实施例中，还提供了一种计算机可读存储介质601，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中所述的障碍物测距方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中所述的障碍物测距方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (9)
1.一种障碍物测距方法，其特征在于，包括：
在车辆的车门开启时，确定所述车门相机拍摄的障碍物接地点的像素坐标；
获取所述障碍物接地点的像素坐标对应的目标世界坐标；
获取所述车门当前开启位置对应的距离查找表；其中，所述车门的当前开启位置为当前所述车门接地点的世界坐标，所述距离查找表保存有所述车门相机所拍摄区域各接地点对应的世界坐标与当前所述车门接地点的世界坐标的距离；
从所述距离查找表中查找所述目标世界坐标与当前所述车门接地点的世界坐标的距离，作为所述障碍物接地点与当前所述车门接地点的距离；
在车辆停留在标定位置时，获取车门处于不同开启位置时车门相机采集到的标定场地的第一图像；其中，所述标定场地设有若干网格点；
获取车门相机的内部参数和所述车门处于不同开启位置时所述相机的外部参数；
通过所述内部参数和所述外部参数对所述第一图像中的所述网格点进行投影变换，得到所述网格点的像素坐标；
获取所述网格点的世界坐标；
将对应同一个所述网格点的像素坐标和世界坐标进行关联；
在所述车门处于不同开启位置时，计算出所述网格点的世界坐标与所述车门接地点的世界坐标的距离，并保存为所述车门处于不同开启位置时对应的距离查找表。
2.根据权利要求1所述的方法，其特征在于，所述确定所述车门相机拍摄障碍物接地点的像素坐标，包括：
基于深度学习模型的物体检测算法检测车门相机拍摄的障碍物，得到所述障碍物的轮廓大小和所述障碍物接地点的中心像素坐标；其中，所述障碍物接地点的中心像素坐标对应世界坐标系中所述障碍物接地点的中心点坐标位置；
根据所述障碍物接地点的中心像素坐标和所述轮廓大小，计算得到所述障碍物接地点的像素坐标；其中，所述障碍物接地点的像素坐标对应所述世界坐标系中所述障碍物接地点与所述车门接地点距离最近的坐标位置。
3.根据权利要求1所述的方法，其特征在于，在所述获取车门相机的内部参数和所述车门处于不同开启位置时所述相机的外部参数之前，还包括：
通过标定板对车门相机进行标定，得到所述车门相机的内部参数。
4.根据权利要求1所述的方法，其特征在于，所述标定场地设有预设数量的标记点；在所述获取车门相机的内部参数和所述车门处于不同开启位置时所述相机的外部参数之前，还包括：
在车辆停留在标定位置时，获取车门处于不同开启位置时车门相机采集到的标定场地的第二图像；
确定出所述第二图像中各所述标记点的像素坐标；
获取各所述标记点的世界坐标；
根据各所述标记点的像素坐标和世界坐标，计算出所述车门处于不同所述开启位置时所述车门相机的外部参数。
5.根据权利要求4所述的方法，其特征在于，所述确定出所述第二图像中各所述标记点的像素坐标，包括：
在所述第二图像中对各所述标记点进行标定，得到各所述标记点的像素坐标；
通过所述内部参数对各所述标记点的像素坐标进行去畸变处理，得到归一化的像素坐标。
6.一种障碍物测距装置，其特征在于，所述装置包括：
坐标确定模块，用于在车辆的车门开启时，确定所述车门相机拍摄的障碍物接地点的像素坐标；
坐标获取模块，用于获取所述障碍物接地点的像素坐标对应的目标世界坐标；
查找表获取模块，用于获取所述车门当前开启位置对应的距离查找表；其中，所述车门的当前开启位置为当前所述车门接地点的世界坐标，所述距离查找表保存有所述车门相机所拍摄区域各接地点对应的世界坐标与当前所述车门接地点的世界坐标的距离；
距离查找模块，用于从所述距离查找表中查找所述目标世界坐标与当前所述车门接地点的世界坐标的距离，作为所述障碍物接地点与当前所述车门接地点的距离；
图像获取模块，用于在车辆停留在标定位置时，获取车门处于不同开启位置时车门相机采集到的标定场地的第一图像；其中，所述标定场地设有若干网格点；
参数获取模块，用于获取车门相机的内部参数和所述车门处于不同开启位置时所述相机的外部参数；
网格点投影变换模块，用于通过所述内部参数和所述外部参数对所述第一图像中的所述网格点进行投影变换，得到所述网格点的像素坐标；
坐标获取模块，还用于获取所述网格点的世界坐标；
坐标关联模块，用于将对应同一个所述网格点的像素坐标和世界坐标进行关联；
距离计算模块，用于在所述车门处于不同开启位置时，计算出所述网格点的世界坐标与所述车门接地点的世界坐标的距离，并保存为所述车门处于不同开启位置时对应的距离查找表。
7.根据权利要求6所述的装置，其特征在于，所述坐标确定模块，包括：
坐标确定子模块，用于基于深度学习模型的物体检测算法检测车门相机拍摄的障碍物，得到所述障碍物的轮廓大小和所述障碍物接地点的中心像素坐标；其中，所述障碍物接地点的中心像素坐标对应世界坐标系中所述障碍物接地点的中心点坐标位置；
坐标计算子模块，用于根据所述障碍物接地点的中心像素坐标和所述轮廓大小，计算得到所述障碍物接地点的像素坐标；其中，所述障碍物接地点的像素坐标对应所述世界坐标系中所述障碍物接地点与所述车门接地点距离最近的坐标位置。
8.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行存储器上所存放的程序时，实现如权利要求1-5任一项所述的方法。
9.一个或多个计算机可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111067740.3A CN113820698B (zh) | 2021-09-13 | 2021-09-13 | 障碍物测距方法、装置、电子设备及可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111067740.3A CN113820698B (zh) | 2021-09-13 | 2021-09-13 | 障碍物测距方法、装置、电子设备及可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113820698A CN113820698A (zh) | 2021-12-21 |
| CN113820698B true CN113820698B (zh) | 2024-04-16 |
Family
ID=78914385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111067740.3A Active CN113820698B (zh) | 2021-09-13 | 2021-09-13 | 障碍物测距方法、装置、电子设备及可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113820698B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110588273A (zh) * | 2019-09-26 | 2019-12-20 | 爱驰汽车有限公司 | 基于路面检测的泊车辅助方法、系统、设备及存储介质 |
| CN111145262A (zh) * | 2019-09-04 | 2020-05-12 | 广东星舆科技有限公司 | 一种基于车载的单目标定方法 |
| CN111402326A (zh) * | 2020-03-13 | 2020-07-10 | 北京百度网讯科技有限公司 | 障碍物的检测方法、装置、无人车及存储介质 |
| CN111593991A (zh) * | 2020-03-31 | 2020-08-28 | 宁波吉利汽车研究开发有限公司 | 一种汽车车门控制方法、装置和存储介质 |
| CN111612760A (zh) * | 2020-05-20 | 2020-09-01 | 北京百度网讯科技有限公司 | 用于检测障碍物的方法和装置 |
| CN111666876A (zh) * | 2020-06-05 | 2020-09-15 | 北京百度网讯科技有限公司 | 用于检测障碍物的方法、装置、电子设备和路侧设备 |
| CN112031584A (zh) * | 2019-06-04 | 2020-12-04 | 因文图斯工程有限公司 | 控制机动车车门的车门运动的方法和机动车组件 |
| CN112172663A (zh) * | 2019-07-04 | 2021-01-05 | 上海欧菲智能车联科技有限公司 | 一种基于开车门的危险报警方法及相关设备 |
| CN112943025A (zh) * | 2021-02-20 | 2021-06-11 | 广州小鹏自动驾驶科技有限公司 | 一种车门的自动启停方法及相关装置 |
| CN113232585A (zh) * | 2021-05-07 | 2021-08-10 | 广州小鹏汽车科技有限公司 | 车辆开门防碰撞方法、装置、车辆及存储介质 |
-
2021
- 2021-09-13 CN CN202111067740.3A patent/CN113820698B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112031584A (zh) * | 2019-06-04 | 2020-12-04 | 因文图斯工程有限公司 | 控制机动车车门的车门运动的方法和机动车组件 |
| CN112172663A (zh) * | 2019-07-04 | 2021-01-05 | 上海欧菲智能车联科技有限公司 | 一种基于开车门的危险报警方法及相关设备 |
| CN111145262A (zh) * | 2019-09-04 | 2020-05-12 | 广东星舆科技有限公司 | 一种基于车载的单目标定方法 |
| CN110588273A (zh) * | 2019-09-26 | 2019-12-20 | 爱驰汽车有限公司 | 基于路面检测的泊车辅助方法、系统、设备及存储介质 |
| CN111402326A (zh) * | 2020-03-13 | 2020-07-10 | 北京百度网讯科技有限公司 | 障碍物的检测方法、装置、无人车及存储介质 |
| CN111593991A (zh) * | 2020-03-31 | 2020-08-28 | 宁波吉利汽车研究开发有限公司 | 一种汽车车门控制方法、装置和存储介质 |
| CN111612760A (zh) * | 2020-05-20 | 2020-09-01 | 北京百度网讯科技有限公司 | 用于检测障碍物的方法和装置 |
| CN111666876A (zh) * | 2020-06-05 | 2020-09-15 | 北京百度网讯科技有限公司 | 用于检测障碍物的方法、装置、电子设备和路侧设备 |
| CN112943025A (zh) * | 2021-02-20 | 2021-06-11 | 广州小鹏自动驾驶科技有限公司 | 一种车门的自动启停方法及相关装置 |
| CN113232585A (zh) * | 2021-05-07 | 2021-08-10 | 广州小鹏汽车科技有限公司 | 车辆开门防碰撞方法、装置、车辆及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113820698A (zh) | 2021-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2016081525A (ja) | 車両用画像認識システム、及び対応法 | |
| JP2014217052A (ja) | シーン解析を使用する交通カメラキャリブレーション更新 | |
| CN110491060B (zh) | 一种机器人及其安全监控方法、装置及存储介质 | |
| CN112230241B (zh) | 基于随机扫描型雷达的标定方法 | |
| CN113869268A (zh) | 障碍物测距方法、装置、电子设备及可读介质 | |
| CN113744348A (zh) | 一种参数标定方法、装置及雷视融合检测设备 | |
| CN108319931B (zh) | 一种图像处理方法、装置及终端 | |
| CN115063454B (zh) | 多目标跟踪匹配方法、装置、终端及存储介质 | |
| CN114677410A (zh) | 一种障碍物测距方法、移动机器人、设备及介质 | |
| CN112598922A (zh) | 车位检测方法、装置、设备及存储介质 | |
| CN112036359A (zh) | 一种车道线的拓扑信息获得方法、电子设备及存储介质 | |
| CN115578468A (zh) | 外参标定方法、装置、计算机设备、存储介质 | |
| CN115187941A (zh) | 目标检测定位方法、系统、设备及存储介质 | |
| CN113820698B (zh) | 障碍物测距方法、装置、电子设备及可读介质 | |
| CN111105465B (zh) | 一种摄像装置校准方法、装置、系统电子设备及存储介质 | |
| CN113408454A (zh) | 一种交通目标检测方法、装置、电子设备及检测系统 | |
| CN117197245A (zh) | 一种位姿修复方法及装置 | |
| CN113777618B (zh) | 障碍物测距方法、装置、电子设备及可读介质 | |
| CN117152265A (zh) | 一种基于区域提取的交通图像标定方法及装置 | |
| CN114863096B (zh) | 室内停车场的语义地图构建及定位方法和装置 | |
| CN116664498A (zh) | 车位检测模型的训练方法、车位检测方法、装置和设备 | |
| CN113610927B (zh) | 一种avm摄像头参数标定方法、装置及电子设备 | |
| CN116051652A (zh) | 一种参数标定方法及电子设备、存储介质 | |
| CN112132902A (zh) | 车载摄像头外参调整方法、装置、电子设备以及介质 | |
| CN115272482A (zh) | 一种相机外参标定方法及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |