CN117173014B - 一种在bev图像中合成3d目标的方法及装置 - Google Patents
一种在bev图像中合成3d目标的方法及装置 Download PDFInfo
- Publication number
- CN117173014B CN117173014B CN202310951571.2A CN202310951571A CN117173014B CN 117173014 B CN117173014 B CN 117173014B CN 202310951571 A CN202310951571 A CN 202310951571A CN 117173014 B CN117173014 B CN 117173014B
- Authority
- CN
- China
- Prior art keywords
- image
- coordinates
- model
- bev
- parking space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 description 18
- 238000003786 synthesis reaction Methods 0.000 description 18
- 238000001514 detection method Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241001300198 Caperonia palustris Species 0.000 description 1
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种在BEV图像中合成3D目标的方法及装置，所述方法包括获取BEV图像、3D模型，及拼接成所述BEV图像的多个鱼眼图像；根据所述BEV图像中泊车位的角点坐标，计算3D模型在所述泊车位中的放置位置的坐标；根据放置位置的坐标计算所述3D模型在所述BEV图像中的定位信息，并将所述3D模型根据预置信息处理为2D图像，所述定位信息用于使得所述3D模型与所述BEV图像中的泊车位在视觉上适应；根据所述定位信息将所述2D图像投影到所述BEV图像上，合成目标BEV图像。本发明实现了3D目标转为2D图像再与BEV图像合成的目的，可以满足在不同场景下对于3D目标的合成需求。
Description
技术领域
本发明涉及自动驾驶图像数据合成领域，尤其涉及一种在BEV图像中合成3D目标的方法及装置。
背景技术
基于深度学习的自动驾驶技术也在随之不断发展，自动泊车技术具有举足轻重的地位，而要实现自动泊车，对于精确性的要求极为苛刻；因此，对于深度学习模型，一方面要求其不断改良网络结构，一方面也需要更充足的训练数据。当前获取训练数据，即带有标注的鸟瞰图（BEV Bird Eye View）数据的方式主要为车辆采集，但是对于部分比较特殊的车位，例如带有地锁、限位器等物体的泊车位，由于其数量相对较少，且出现的场景相对单一，导致采集难度大，在训练集中分布较少，使得训练出的泊车位检测模型对于该类型的泊车位检测效果相对较差。因此，需要采用数据合成的方式提升该类型数据的分布。
BEV图像是由多个鱼眼图像拼接而成，相比于常规图像，鱼眼图像视野更大，同时边缘会产生畸变。拼接方法有多种，包括利用查找表（LUT Look Up Table）进行点对点投影，或者根据鱼眼相机内参与畸变系数先对鱼眼图畸变校正，然后利用单应性变换投影到BEV空间，再利用模板进行裁剪拼接。现有的泊车位数据合成技术主要为2D目标的合成，其中包括合成泊车位以及泊车内部添加部分2D标志等，无法满足对于BEV图像的目标合成需求。
发明内容
针对上述技术问题，本发明提供了一种在BEV图像中合成3D目标的方法及装置，可实现基于BEV图像直接合成3D模型数据，同时输出3D目标的标签文件，丰富数据的同时省下了人工标注的成本。
本发明的第一方面，提供一种在BEV图像中合成3D目标的方法，包括：
获取BEV图像、3D模型，及拼接成所述BEV图像的多个鱼眼图像；
根据所述BEV图像中泊车位的角点坐标，计算3D模型在所述泊车位中的放置位置的坐标；
根据放置位置的坐标计算所述3D模型在所述BEV图像中的定位信息，并将所述3D模型根据预置信息处理为2D图像，所述定位信息用于使得所述3D模型与所述BEV图像中的泊车位在视觉上适应；
根据所述定位信息将所述2D图像投影到所述BEV图像上，合成目标BEV图像。
在一可选实施例中，所述计算3D模型在所述泊车位中的放置位置的坐标，包括：
根据所述泊车位的角点坐标及所述3D模型与所述泊车位的相对位置关系，计算3D模型在所述泊车位中的放置位置的坐标；其中所述3D模型与所述泊车位的相对位置关系固定。
在一可选实施例中，所述根据放置位置的坐标计算所述3D模型在所述BEV图像中的定位信息，包括：
将所述放置位置的坐标转换为世界坐标系中的第一坐标；根据所述世界坐标系中的第一坐标计算出3D模型在世界坐标中的偏移量；
获取所述泊车位的两个入口的角点坐标，并转换为世界坐标系中的第二坐标，根据两个入口的角点坐标的连线与所述3D模型的水平线夹角确定所述3D模型在世界坐标中的偏航角。
在一可选实施例中，所述根据放置位置的坐标计算所述3D模型在所述BEV图像中的定位信息，包括：
根据所述放置位置的坐标所在BEV图像的区域确定所述放置位置所属的目标鱼眼图像；
根据所述目标鱼眼图像对应的相机的单应性投影矩阵，计算所述放置位置在BEV图像空间的坐标对应的世界坐标系中的第一坐标，以及所述泊车位的两个入口的角点坐标对应的世界坐标系中的第二坐标。
在一可选实施例中，利用以下公式将所述放置位置的坐标及所述泊车位的两个入口的角点坐标转换为世界坐标：
；
其中（u,v）为转换前的坐标，（xw,yw,zw）为世界坐标，（fx,fy）为相机内参中的焦距，（u0,v0）为相机内参中的偏移，R,T分别为相机外参中的旋转与位移；zw=0，xw与yw 为所需偏移量，Zc表示世界坐标。
在一可选实施例中，所述将所述3D模型根据预置信息处理为2D图像，包括：
利用三维图像软件根据3D模型在世界坐标中的偏移量、所述3D模型在世界坐标中的偏航角以及所述目标鱼眼图像对应的相机的内外参，对所述3D目标进行渲染与畸变处理，输出为2D图像。
在一可选实施例中，所述根据所述定位信息将所述2D图像投影到所述BEV图像上，合成目标BEV图像，包括：
将所述2D图像与所述放置位置的坐标所在的目标鱼眼图像融合，再将融合后的目标鱼眼图像转换至所述BEV图像中，形成具有3D目标的BEV图像；或者
利用单应性算法将所述2D图像投影至所述BEV图像中，形成具有3D目标的BEV图像。
本发明的第二方面，提供一种在BEV图像中合成3D目标的装置，包括：
获取模块，用于获取BEV图像、3D模型，及拼接成所述BEV图像的多个鱼眼图像；
坐标计算模块，用于根据所述BEV图像中泊车位的角点坐标，计算3D模型在所述泊车位中的放置位置的坐标；
处理模块，用于根据放置位置的坐标计算所述3D模型在所述BEV图像中的定位信息，并将所述3D模型根据预置信息处理为2D图像，所述定位信息用于使得所述3D模型与所述BEV图像中的泊车位在视觉上适应；
合成模块，用于根据所述定位信息将所述2D图像投影到所述BEV图像上，合成目标BEV图像。
本发明的第三方面，提供一种电子设备，包括：
至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如本发明实施例的第一方面所述的方法。
本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机运行时，执行如本发明实施例的第一方面所述的方法。
本发明根据BEV图像中泊车位的角点坐标确定需要合成3D目标的位置，然后根据该位置确定3D目标在BEV图像中的定位信息，根据定位信息将3D目标转换为2D图像，然后再将2D图像与BEV图像合成；实现了3D目标转为2D图像再与BEV图像合成的目的，可以满足在不同场景下对于3D目标的合成需求；
本发明可为泊车位检测模型提供了优质的训练数据，可使得泊车位检测模型的识别率提高。
附图说明
图1为本发明实施例中一种在BEV图像中合成3D目标的方法的流程示意图。
图2为本发明实施例中在鱼眼图像中合成3D目标的示意图。
图3为本发明实施例中在BEV图像中合成3D目标的示意图。
图4为本发明实施例中在Blender工具中对3D模型清洗前后对比的示意图。
图5为本发明实施例坐标转换的方法流程示意图。
图6为本发明实施例中一种在BEV图像中合成3D目标的装置的模块示意图。
图7为根据本发明的一个实施例的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，本披露的权利要求、说明书及附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。
因为在自动泊车系统中，对于目标泊车位上是否有物体遮挡的判断至关重要，有障碍物则判断为不满足泊车条件，而对于地锁等障碍物是满足于泊车的。对于泊车位上的遮挡物的泊车位数据采集难度又相对较大，即使能采集到，也是在地下车库等某些固定场景下，导致该种类型的数据在训练数据中的分布相对较少，且分布不均。因此，需要采用数据合成的方式获取更多相关数据，可以根据需求合成不同形式的数据。采用合成数据可以减轻数据采集压力的同时，使得对应类型数据分布更合理，更好提升模型的检测效果。并且，合成数据带有对应标签结果，可以节省部分人工标注的成本。本发明旨在构建在BEV泊车图像中合成3D目标的数据合成系统，主要为在空闲车位中添加地锁、限位器、水码等相关3D物体，形成合成数据。
本发明提供一种在BEV图像中合成3D目标的方法，首先构建需要合成的目标3D模型，然后从云端数据湖导入相关图像数据，数据包括BEV图像以及拼接其的四个对应鱼眼图像。获取需要进行目标合成的泊车位角点的BEV空间下的像素坐标，并计算3D目标需要放置的位置的像素坐标。然后计算该放置位置隶属的鱼眼相机索引，并计算出该位置的世界坐标以及3D目标的偏航角，然后在渲染工具中根据位置坐标以及偏航角放置好3D目标。再利用对应的鱼眼相机的内外参在渲染工具中放置好相机，添加灯光及阴影后进行渲染，将渲染好的图像加上畸变后与鱼眼图进行融合，再转换到BEV空间中；具体如下：
请参阅图1，本发明提供一种在BEV图像中合成3D目标的方法，包括：
步骤100：获取BEV图像、3D模型，及拼接成所述BEV图像的多个鱼眼图像。
在该步骤中，可直接从云端数据湖中获取需要进行3D目标合成的BEV图像数据，可在云端部署好包括泊车位检测系统以及泊车位合成系统的相关系统，可根据实际应用远程对各模块分别进行改造，灵活适配。当然也可以在本地端从训练集数据库中获取所述BEV图像。
步骤200：根据所述BEV图像中泊车位的角点坐标，计算3D模型在所述泊车位中的放置位置的坐标。
将3D模型合成至BEV图像中，首先需要确定合成位置。一般像地锁、限位器、水码等在泊车位中相对位置是固定的，因此只需要获取所述BEV图像中的各泊车位的角点坐标后，就可以确定3D模型在所述泊车位中的放置位置。要将3D模型准确的定位至所述BEV图像中还应当确定3D模型在BEV空间下的X与Y方向的偏移以及偏航角。
在该步骤中，由于所述3D模型与所述泊车位的相对位置关系固定；根据所述泊车位的角点坐标及所述3D模型与所述泊车位的相对位置关系，计算3D模型在所述泊车位中的放置位置的坐标。
示例地，限位器安装标准是从车位底线向前1米处靠两边线的距20厘米处；地锁安装在车位入口1.3米左右的中间位置。在获得泊车位的角点坐标后，可以根据前两个角点及后两个角点的坐标的连线的中点确定3D目标中心点偏移量。比如，限位器的中心点坐标是后两个角点的中点前移一米后的坐标，地锁的中心点坐标是前两个角点的中点后移1.3米后的坐标。
步骤300：根据放置位置的坐标计算所述3D模型在所述BEV图像中的定位信息，并将所述3D模型根据预置信息处理为2D图像，所述定位信息用于使得所述3D模型与所述BEV图像中的泊车位在视觉上适应。
因为3D模型在常规视角下为2D状态，但在BEV空间状态下应显示为2D状态，并且3D模型的形态会因为视角原因发生变化。因此在该步骤中，用于计算3D模型在BEV空间下的X与Y方向的偏移量以及偏航角，满足3D模型合成在BEV图像中之后，与真实场景中采集的图像相同。在本发明的实施例中，所述定位信息包括X与Y方向的偏移量以及偏航角。
在确定所述定位信息后，为适应BEV空间下的视角，可以通过渲染工具将所述3D模型根据预置信息处理为2D图像。所述渲染工具可以采用Blender工具。Blender工具可以根据鱼眼相机的内外参在Blender中设置对应的相机，然后可以对3D模型添加灯光及阴影后进行渲染，将渲染好的图像加上畸变后，形成2D图像。
步骤400：根据所述定位信息将所述2D图像投影到所述BEV图像上，合成目标BEV图像。
合成方式有两种，一种是所述2D图像与所述放置位置的坐标所在的目标鱼眼图像融合，再将融合后的目标鱼眼图像转换至所述BEV图像中，形成具有3D目标的BEV图像。在这种合成方式中，共有四个鱼眼图像，通过所述2D图像在BEV图像中所述放置位置的坐标确定该坐标位置所属的鱼眼图像。若有多个需要放置2D图像的泊车位，则可以分别确定出每个2D图像的放置坐标所对应的鱼眼图像。然后将2D图像与确定鱼眼图像进行融合，再利用查找表法（LUT Look Up Table）进行点对点投影，将四个鱼眼图像重新拼接为目标BEV图像，该目标BEV图像中将显示3D目标。如图2所示，左侧为原始鱼眼图像，右侧为添加限位器的鱼眼图像（图中用虚线圆框选限位器）。
另一种是利用单应性算法将所述2D图像投影至所述BEV图像中，形成具有3D目标的BEV图像。在这种合成方式中，直接利用单应性变换矩阵将2D图像投影至BEV空间，然后与原始BEV图像进行合并。这种合成方式适用于原始BEV图像中缺少合成车位，不能很好的定位3D模型的放置位置，但合成的BEV图像仍可用于训练泊车位识别模型。如图3所示，左侧为原始BEV图像，右侧为添加限位器的BEV图像（图中用虚线圆框选限位器）。
进一步地，上述步骤300中，所述根据放置位置的坐标计算所述3D模型在所述BEV图像中的定位信息，在一实施例中，可利用Blender三维图像软件根据3D模型在世界坐标中的偏移量、所述3D模型在世界坐标中的偏航角以及所述目标鱼眼图像对应的相机的内外参，对所述3D目标进行渲染与畸变处理，输出为2D图像。
在进行说明之前，还应当理解对于3D模型预置信息的设置。首先，对于需要合成的目标，需要获取对应的3D模型，该类型线上资源较少，且真实性效果较差，在本发明中采用手动拍摄的方式，可以采用专业的3D拍摄设备，高端手机带有激光雷达，也可以使用一些应用程序进行拍摄。然后对拍摄到的3D模型进行清洗，因为拍摄到的目标往往会带有地面等背景信息，需要将其清理掉，如图4，右侧为拍摄出的3D模型，左侧为清洗过的3D模型。
对于清理过的3D模型，需要对其进行预设，本发明采用在Blender工具中进行设置。预设的信息包括初始位置、初始旋转角以及初始大小。因当前应用场景为在泊车位内部添加3D目标，3D模型放置位置一定是在地面上，因此将3D模型初始位置设置为原点后，Z轴方向无需调整，后续只需要计算X与Y方向的坐标偏移。同理，对于3D模型三个方向的旋转角度，预设时保证3D模型与水平面垂直后，后续处理时就无需计算俯仰角与翻滚角，只需调整模型的偏航角。大小调整根据真实世界中物体的长宽高进行设置即可。
在处理好3D模型后，可计算上一模块中对于3D模型缺失的参数：X与Y方向偏移以及偏航角。如图5所示，步骤300中，所述根据放置位置的坐标计算所述3D模型在所述BEV图像中的定位信息，包括以下步骤：
步骤310：将所述放置位置的坐标转换为世界坐标系中的第一坐标；根据所述世界坐标系中的第一坐标计算出3D模型在世界坐标中的偏移量。
步骤320：获取所述泊车位的两个入口的角点坐标，并转换为世界坐标系中的第二坐标，根据两个入口的角点坐标的连线与所述3D模型的水平线夹角确定所述3D模型在世界坐标中的偏航角。
示例地的，在本发明中，首先根据所述放置位置的坐标所在BEV图像的区域确定所述放置位置所属的目标鱼眼图像。再根据所述目标鱼眼图像对应的相机的单应性投影矩阵，计算所述放置位置在BEV图像空间的坐标对应的世界坐标系中的第一坐标，以及所述泊车位的两个入口的角点坐标对应的世界坐标系中的第二坐标。
具体的，所述放置位置的坐标即BEV空间下的泊车位中放置3D目标的坐标。当确定所述放置位置后，可以根据所述BEV空间确定所述放置位置隶属的鱼眼相机索引，确定对应的鱼眼图像，从而可以依据该鱼眼图像计算具体的偏移量。即利用所述鱼眼图像对应的相机的单应性投影矩阵可以计算出放置位置点在BEV空间下的坐标对应到正常视角中的像素坐标，即第一坐标，然后结合所述相机内外参，利用以下公式可以将像素坐标转换为世界坐标：
（公式1）；
其中（u,v）为转换前的坐标，（xw,yw,zw）为世界坐标，（fx,fy）为相机内参中的焦距，（u0,v0）为相机内参中的偏移，R,T分别为相机外参中的旋转与位移；zw=0，xw与yw 为所需偏移量，Zc表示世界坐标。
在已知转换前的坐标、BEV空间下的放置位置后，可以计算出3D模型在世界坐标系中需要的偏移量。
在计算出偏移量后，需要计算偏航角度，即旋转角度。因一般情况下泊车位内放置的物体多与车位入口平行。同样利用所述鱼眼图像对应的相机的单应性投影矩阵可以计算出泊车位两个入口角点在BEV空间下的坐标对应到正常视角中的像素坐标，即第二坐标，然后结合所述相机内外参，利用上述公式1可以将像素坐标转换为世界坐标。
两个入口角点相连后与3D模型的前端水平线的夹角即为所要计算的偏航角，该前端水平线可以通过Blender工具获取，该夹角可以通过向量夹角方式计算得出。
在计算出3D模型的位置偏移量以及偏航角数据后就可以在Blender工具中进行模型设置，然后根据相机外参中的位置偏移量以及偏航角数据设置Blender工具中的相机，以保证渲染出的结果跟真实图像中视角效果相同。另外还可以根据经验添加一些灯光以及阴影等效果。最后利用Blender工具进行渲染，渲染结果会输出一张RGBA四通道2D图像。
根据所述定位信息将所述2D图像投影到所述BEV图像上，合成的目标BEV图像可以相应输出2D图像的标签文件，可以节省部分人工标注的成本。
综上所述，本发明根据BEV图像中泊车位的角点坐标确定需要合成3D目标的位置，然后根据该位置确定3D目标在BEV图像中的定位信息，根据定位信息将3D目标转换为2D图像，然后再将2D图像与BEV图像合成；实现了3D目标转为2D图像再与BEV图像合成的目的，可以满足在不同场景下对于3D目标的合成需求；本发明可为泊车位检测模型提供了优质的训练数据，可使得泊车位检测模型的识别率提高。
如图6所示，本发明还提供一种在BEV图像中合成3D目标的装置，包括：
获取模块61，用于获取BEV图像、3D模型，及拼接成所述BEV图像的多个鱼眼图像。
坐标计算模块62，用于根据所述BEV图像中泊车位的角点坐标，计算3D模型在所述泊车位中的放置位置的坐标。
处理模块63，用于根据放置位置的坐标计算所述3D模型在所述BEV图像中的定位信息，并将所述3D模型根据预置信息处理为2D图像，所述定位信息用于使得所述3D模型与所述BEV图像中的泊车位在视觉上适应。
合成模块64，用于根据所述定位信息将所述2D图像投影到所述BEV图像上，合成目标BEV图像。
进一步地，坐标计算模块62还用于根据所述泊车位的角点坐标及所述3D模型与所述泊车位的相对位置关系，计算3D模型在所述泊车位中的放置位置的坐标；其中所述3D模型与所述泊车位的相对位置关系固定。
在一实施例中，处理模块63还用于将所述放置位置的坐标转换为世界坐标系中的第一坐标；根据所述世界坐标系中的第一坐标计算出3D模型在世界坐标中的偏移量；获取所述泊车位的两个入口的角点坐标，并转换为世界坐标系中的第二坐标，根据两个入口的角点坐标的连线与所述3D模型的水平线夹角确定所述3D模型在世界坐标中的偏航角。
具体的，根据所述放置位置的坐标所在BEV图像的区域确定所述放置位置所属的目标鱼眼图像；根据所述目标鱼眼图像对应的相机的单应性投影矩阵，计算所述放置位置在BEV图像空间的坐标对应的世界坐标系中的第一坐标，以及所述泊车位的两个入口的角点坐标对应的世界坐标系中的第二坐标。
在一种实施例中，利用以下公式将所述放置位置的坐标及所述泊车位的两个入口的角点坐标转换为世界坐标：
；
其中（u,v）为转换前的坐标，（xw,yw,zw）为世界坐标，（fx,fy）为相机内参中的焦距，（u0,v0）为相机内参中的偏移，R,T分别为相机外参中的旋转与位移；zw=0，xw与yw 为所需偏移量，Zc表示世界坐标。
在另一实施例中，处理模块63还用于利用三维图像软件根据3D模型在世界坐标中的偏移量、所述3D模型在世界坐标中的偏航角以及所述目标鱼眼图像对应的相机的内外参，对所述3D目标进行渲染与畸变处理，输出为2D图像。
合成模块64还用于将所述2D图像与所述放置位置的坐标所在的目标鱼眼图像融合，再将融合后的目标鱼眼图像转换至所述BEV图像中，形成具有3D目标的BEV图像；或者利用单应性算法将所述2D图像投影至所述BEV图像中，形成具有3D目标的BEV图像。
如图7所示，本发明还提供一种电子设备，包括：
至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述在BEV图像中合成3D目标的方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述在BEV图像中合成3D目标的方法。
可以理解，计算机可读存储介质可以包括：能够携带计算机程序的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器 (ROM ，Read-OnlyMemory)、随机存取存储器（RAM，Random Access Memory)、以及软件分发介质等。计算机程序包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-OnlyMemory)、随机存取存储器（RAM，Random Access Memory)、以及软件分发介质等。
在本发明的某些实施方式中，在BEV图像中合成3D目标的装置可以包括控制器，控制器是一个单片机芯片，集成了处理器、存储器，通信模块等。处理器可以是指控制器包含的处理器，处理器可以是中央处理单元（Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP)、专用集成电路（Application Specific Integrated Circuit，ASIC)、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明地优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种在BEV图像中合成3D目标的方法，其特征在于，包括：
获取BEV图像、3D模型，及拼接成所述BEV图像的多个鱼眼图像；
根据所述BEV图像中泊车位的角点坐标，计算3D模型在所述泊车位中的放置位置的坐标；
根据放置位置的坐标计算所述3D模型在所述BEV图像中的定位信息，并将所述3D模型根据预置信息处理为2D图像，所述定位信息用于使得所述3D模型与所述BEV图像中的泊车位在视觉上适应；
根据所述定位信息将所述2D图像投影到所述BEV图像上，合成目标BEV图像；所述计算3D模型在所述泊车位中的放置位置的坐标，包括：
根据所述泊车位的角点坐标及所述3D模型与所述泊车位的相对位置关系，计算3D模型在所述泊车位中的放置位置的坐标；其中所述3D模型与所述泊车位的相对位置关系固定。
2.根据权利要求1所述的在BEV图像中合成3D目标的方法，其特征在于，所述根据放置位置的坐标计算所述3D模型在所述BEV图像中的定位信息，包括：
将所述放置位置的坐标转换为世界坐标系中的第一坐标；根据所述世界坐标系中的第一坐标计算出3D模型在世界坐标中的偏移量；
获取所述泊车位的两个入口的角点坐标，并转换为世界坐标系中的第二坐标，根据两个入口的角点坐标的连线与所述3D模型的水平线夹角确定所述3D模型在世界坐标中的偏航角。
3.根据权利要求2所述的在BEV图像中合成3D目标的方法，其特征在于，所述根据放置位置的坐标计算所述3D模型在所述BEV图像中的定位信息，包括：
根据所述放置位置的坐标所在BEV图像的区域确定所述放置位置所属的目标鱼眼图像；
根据所述目标鱼眼图像对应的相机的单应性投影矩阵，计算所述放置位置在BEV图像空间的坐标对应的世界坐标系中的第一坐标，以及所述泊车位的两个入口的角点坐标对应的世界坐标系中的第二坐标。
4.根据权利要求2所述的在BEV图像中合成3D目标的方法，其特征在于，利用以下公式将所述放置位置的坐标及所述泊车位的两个入口的角点坐标转换为世界坐标：
其中(u，v)为转换前的坐标，(xw，yw，zw)为世界坐标，(fx，fy)为相机内参中的焦距，(u0，v0)为相机内参中的偏移，R,T分别为相机外参中的旋转与位移；zw＝0，xw与yw为所需偏移量，Zc表示世界坐标。
5.根据权利要求3所述的在BEV图像中合成3D目标的方法，其特征在于，所述将所述3D模型根据预置信息处理为2D图像，包括：
利用三维图像软件根据3D模型在世界坐标中的偏移量、所述3D模型在世界坐标中的偏航角以及所述目标鱼眼图像对应的相机的内外参，对所述3D目标进行渲染与畸变处理，输出为2D图像。
6.根据权利要求1所述的在BEV图像中合成3D目标的方法，其特征在于，所述根据所述定位信息将所述2D图像投影到所述BEV图像上，合成目标BEV图像，包括：
将所述2D图像与所述放置位置的坐标所在的目标鱼眼图像融合，再将融合后的目标鱼眼图像转换至所述BEV图像中，形成具有3D目标的BEV图像；或者
利用单应性算法将所述2D图像投影至所述BEV图像中，形成具有3D目标的BEV图像。
7.一种在BEV图像中合成3D目标的装置，其特征在于，包括：
获取模块，用于获取BEV图像、3D模型，及拼接成所述BEV图像的多个鱼眼图像；
坐标计算模块，用于根据所述BEV图像中泊车位的角点坐标，根据所述泊车位的角点坐标及所述3D模型与所述泊车位的相对位置关系，计算3D模型在所述泊车位中的放置位置的坐标，其中所述3D模型与所述泊车位的相对位置关系固定；
处理模块，用于根据放置位置的坐标计算所述3D模型在所述BEV图像中的定位信息，并将所述3D模型根据预置信息处理为2D图像，所述定位信息用于使得所述3D模型与所述BEV图像中的泊车位在视觉上适应；
合成模块，用于根据所述定位信息将所述2D图像投影到所述BEV图像上，合成目标BEV图像。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被计算机运行时，执行如权利要求1至6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310951571.2A CN117173014B (zh) | 2023-07-31 | 2023-07-31 | 一种在bev图像中合成3d目标的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310951571.2A CN117173014B (zh) | 2023-07-31 | 2023-07-31 | 一种在bev图像中合成3d目标的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117173014A CN117173014A (zh) | 2023-12-05 |
| CN117173014B true CN117173014B (zh) | 2024-05-03 |
Family
ID=88928869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310951571.2A Active CN117173014B (zh) | 2023-07-31 | 2023-07-31 | 一种在bev图像中合成3d目标的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117173014B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063781A (zh) * | 2022-07-14 | 2022-09-16 | 黑芝麻智能科技有限公司 | 车位检测方法、装置、设备和存储介质 |
| CN115909253A (zh) * | 2022-12-26 | 2023-04-04 | 北京百度网讯科技有限公司 | 一种目标检测、模型训练方法、装置、设备及存储介质 |
| CN116206280A (zh) * | 2023-03-23 | 2023-06-02 | 零束科技有限公司 | 道路图像处理方法、装置、电子设备以及存储介质 |
| CN116385529A (zh) * | 2023-04-14 | 2023-07-04 | 小米汽车科技有限公司 | 确定减速带位置的方法、装置、存储介质以及车辆 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220383509A1 (en) * | 2021-05-21 | 2022-12-01 | Honda Motor Co., Ltd. | System and method for learning temporally consistent video synthesis using fake optical flow |
-
2023
- 2023-07-31 CN CN202310951571.2A patent/CN117173014B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063781A (zh) * | 2022-07-14 | 2022-09-16 | 黑芝麻智能科技有限公司 | 车位检测方法、装置、设备和存储介质 |
| CN115909253A (zh) * | 2022-12-26 | 2023-04-04 | 北京百度网讯科技有限公司 | 一种目标检测、模型训练方法、装置、设备及存储介质 |
| CN116206280A (zh) * | 2023-03-23 | 2023-06-02 | 零束科技有限公司 | 道路图像处理方法、装置、电子设备以及存储介质 |
| CN116385529A (zh) * | 2023-04-14 | 2023-07-04 | 小米汽车科技有限公司 | 确定减速带位置的方法、装置、存储介质以及车辆 |
Non-Patent Citations (2)
| Title |
|---|
| MULTI-VIEW FRUSTUM POINTNET FOR OBJECT DETECTION IN AUTONOMOUS DRIVING;Cao, P等;《2019 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP) 》;20200415;3896-3899 * |
| 基于多视图特征融合的3D目标检测算法研究;吴鑫江;《中国优秀硕士学位论文全文数据库》;20230215(第2期);1-94 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117173014A (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106952311B (zh) | 基于全景拼接数据映射表的辅助泊车系统及方法 | |
| EP3400578B1 (en) | Three dimensional rendering for surround view using predetermined viewpoint lookup tables | |
| KR101265667B1 (ko) | 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법 | |
| CN110351494B (zh) | 一种全景视频合成方法、装置及电子设备 | |
| CN101000461B (zh) | 一种鱼眼图像生成立方体全景的方法 | |
| CN106101635B (zh) | 车辆周围影像处理方法及装置 | |
| CN109118581B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN107424118A (zh) | 基于改进径向畸变校正的球状全景拼接方法 | |
| JP2017220923A (ja) | 画像生成装置、画像生成方法、およびプログラム | |
| CN106060493A (zh) | 多源投影无缝边缘拼接方法及系统 | |
| CN110288527B (zh) | 一种车载环视相机全景鸟瞰图生成方法 | |
| CN109754363B (zh) | 基于鱼眼相机的环视图像合成方法和装置 | |
| CN111461963B (zh) | 一种鱼眼图像拼接方法及装置 | |
| KR101705558B1 (ko) | Avm 시스템의 공차 보정 장치 및 방법 | |
| CN105488766A (zh) | 鱼眼镜头图像校正方法及装置 | |
| CN111768332A (zh) | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 | |
| CN111243034A (zh) | 一种全景辅助泊车标定方法、装置、设备及存储介质 | |
| CN109741241A (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
| CN113763569A (zh) | 一种在三维仿真中使用的图像标注方法及装置、电子设备 | |
| CN103500471A (zh) | 实现高分辨率增强现实系统的方法 | |
| CN115330594A (zh) | 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法 | |
| CN112669465A (zh) | 场景转换方法、电子设备及存储介质 | |
| CN110428361A (zh) | 一种基于人工智能的多路图像采集方法 | |
| CN107330856B (zh) | 一种基于投影变换和薄板样条的全景成像方法 | |
| CN117173014B (zh) | 一种在bev图像中合成3d目标的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |