CN117411984A - 图像的生成方法、装置、自动驾驶装置和车辆 - Google Patents

Abstract

本申请公开了一种图像的生成方法、装置、自动驾驶装置和车辆，属于汽车电子领域，用以减少图像中障碍物的畸变，所述方法包括：根据车辆的感知信息，确定所述车辆周边障碍物的位置；根据所述障碍物的位置，确定对多个拍摄图像进行拼接时的拼缝位置，所述障碍物的位置与所述拼缝位置不重合，所述多个拍摄图像是对所述车辆的周边区域进行拍摄得到的；根据所述拼缝位置，对所述多个拍摄图像进行拼接；将拼接后的图像映射到用于生成所述车辆周边区域的立体图像的立体模型上，生成所述车辆的周边区域的立体图像。

Description

图像的生成方法、装置、自动驾驶装置和车辆

技术领域

本申请属于汽车电子领域，具体涉及一种图像的生成方法、装置、自动驾驶装置和车辆。

背景技术

在车载环视产品中，三维(3-dimensional，3D)环视图像的视野相较二维(2-dimensional，2D)环视图像的视野更加宽广，更加符合人体视觉观感。3D全景环视系统是通过安装在车身上的多个摄像头采集车辆四周图像，并将采集的图像映射到3D碗模型中以生成3D环视图像。通常情况下，车身的多个摄像头中，相邻的两摄像头拍摄的图像会有重叠部分，为了保证图像的连续性，通常会对重叠部分进行环视拼缝，即对重叠部分进行渐变融合，该渐变融合的过渡带即为拼缝位置。

但是在相关技术的环视拼缝过程中，由于拼缝对应的相邻两摄像头的展示角度相差较大，一旦对图像中的障碍物进行拼缝处理，会使得环视拼缝后的图像中出现障碍物重影、错位、障碍物消失等障碍物畸变问题。

发明内容

本申请实施例提供一种图像的生成方法、装置、自动驾驶装置和车辆，能够解决拼缝后的图像出现障碍物畸变的问题。

第一方面，本申请实施例提供了一种图像的生成方法，该方法包括：根据车辆的感知信息，确定所述车辆周边障碍物的位置；根据所述障碍物的位置，确定对多个拍摄图像进行拼接时的拼缝位置，所述障碍物的位置与所述拼缝位置不重合，所述多个拍摄图像是对所述车辆的周边区域进行拍摄得到的；根据所述拼缝位置，对所述多个拍摄图像进行拼接；将拼接后的图像映射到用于生成所述车辆周边区域的立体图像的立体模型上，生成所述车辆的周边区域的立体图像。

第二方面，本申请实施例提供了一种图像的生成装置，该装置包括：感知模块，用于根据车辆的感知信息，确定所述车辆周边障碍物的位置；确定模块，用于根据所述障碍物的位置，确定对多个拍摄图像进行拼接时的拼缝位置，所述障碍物的位置与所述拼缝位置不重合，所述多个拍摄图像是对所述车辆的周边区域进行拍摄得到的；拼接模块，用于根据所述拼缝位置，对所述多个拍摄图像进行拼接；映射模块，用于将拼接后的图像映射到用于生成所述车辆周边区域的立体图像的立体模型上，生成所述车辆的周边区域的立体图像。

第三方面，本申请实施例提供了一种自动驾驶装置，该自动驾驶装置包括：如第二方面所述的图像的生成装置。

第四方面，本申请实施例提供了一种车辆，该车辆包括：如第二方面所述的图像的生成装置。

第五方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第六方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

在本申请实施例中，通过根据车辆的感知信息，确定车辆周边障碍物的位置；根据障碍物的位置，确定对多个拍摄图像进行拼接时的拼缝位置，障碍物的位置与拼缝位置不重合，多个拍摄图像是对车辆的周边区域进行拍摄得到的；根据拼缝位置，对多个拍摄图像进行拼接；将拼接后的图像映射到用于生成车辆周边区域的立体图像的立体模型上，生成车辆的周边区域的立体图像，能够结合车辆周边障碍物的位置调整拼缝位置，使得障碍物的位置与拼缝位置不重合，进而根据拼缝位置对多个拍摄图像进行拼接时可以避免对障碍物进行拼接处理，避免了拼接后的图像出现障碍物畸变的问题，保证了障碍物的完整显示。

附图说明

图1是本申请实施例提供的一种图像的生成方法的流程示意图；

图2是本申请实施例提供的一种拼缝变换示意图；

图3是本申请实施例提供的一种映射示意图；

图4是本申请实施例提供的一种雷达探测区域示意图；

图5是本申请实施例提供的一种车辆位姿信息计算流程图；

图6是本申请实施例提供的一种车辆位姿信息示意图；

图7是本申请实施例提供的一种图像预处理示意图；

图8是本申请实施例提供的一种蛛网图报警区域示意图；

图9是本申请实施例提供的一种感知算法库处理流程示意图；

图10是本申请实施例提供的一种行驶区域感知图；

图11是本申请实施例提供的另一种行驶区域感知图；

图12是本申请实施例提供的另一种行驶区域感知图；

图13是本申请实施例提供的一种立体模型示意图；

图14是本申请实施例提供的另一种立体模型示意图；

图15是本申请实施例提供的另一种行驶区域感知图；

图16是本申请实施例提供的一种图像的生成装置的结构示意图；

图17是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像的生成方法、装置、自动驾驶装置和车辆进行详细地说明。

图1示出本发明的一个实施例提供的一种图像的生成方法，该方法可以由电子设备执行，该电子设备可以包括：服务器和/或终端设备，其中终端设备可以例如车载终端等。换言之，该方法可以由安装在电子设备的软件或硬件来执行，该方法包括如下步骤：

步骤102：根据车辆的感知信息，确定所述车辆周边障碍物的位置。

具体的，车辆可以对车辆周边区域进行感知，例如可以实现车辆周边车道线、路沿、减速带、障碍物等物体的感知，获取感知信息。根据车辆的感知信息，进而可以确定车辆周边障碍物相对于车辆的位置。

步骤104：根据所述障碍物的位置，确定对多个拍摄图像进行拼接时的拼缝位置。

通常情况下，车辆的多个摄像头中，相邻的两摄像头拍摄的图像会有重叠部分，为了保证图像的连续性，通常会对重叠部分进行拼缝，即对重叠部分进行渐变拼接，该渐变拼接的过渡带即为拼缝位置。在本申请实施例中，可以根据障碍物相对于车辆的位置，确定对车辆的周边区域进行拍摄得到的多个拍摄图像进行拼接时的拼缝位置。具体的，在确定拼缝位置时，需要调整拼缝位置使障碍物的位置与拼缝位置不重合，并且同时为保持良好体验，在调整拼缝过程中，不能从一个角度直接突变到另一个角度，变换需考虑动态变换，及调整拼缝时需进行插值处理，例如图2所示的拼缝变换示意图，在车辆周边拍摄图像中拼缝位置从一个角度到另一个角度进行渐变处理，动态缓慢变换到目的拼缝位置，避免拼缝突变、过于突兀和体验较差问题。

步骤106：根据所述拼缝位置，对所述多个拍摄图像进行拼接。

具体的，在确定拼缝位置后，可以在拼缝位置对多个拍摄图像进行拼接，得到完整的车辆周边图像。

步骤108：将拼接后的图像映射到用于生成所述车辆周边区域的立体图像的立体模型上，生成所述车辆的周边区域的立体图像。

具体的，在根据拼缝位置，对多个拍摄图像进行拼接得到拼接后的图像后，可以将拼接后的图像映射到用于生成车辆周边区域的立体图像的立体模型上，生成所述车辆的周边区域的立体图像。该立体模型可以为碗模型，通常情况下可以通过标定建立摄像头到立体模型上各点的映射关系，可以根据该映射关系将拼接后的图像映射到立体模型上，从立体模型的中心向四周看，障碍物可以展示出立体效果。例如图3所示的映射示意图，通过以车辆为中心构建的立体模型(Xw，Yw，Zw)，摄像头图像(Xc，Yc，Zc)，由于摄像头拍摄的图像到立体模型上的各点存在映射关系，因此，摄像头拍摄的图像中的坐标点(u，v)可以映射到立体模型上的B点。

本发明实施例提供的图像的生成方法，通过根据车辆的感知信息，确定车辆周边障碍物的位置；根据障碍物的位置，确定对多个拍摄图像进行拼接时的拼缝位置，障碍物的位置与拼缝位置不重合，多个拍摄图像是对车辆的周边区域进行拍摄得到的；根据拼缝位置，对多个拍摄图像进行拼接；将拼接后的图像映射到用于生成所述车辆周边区域的立体图像的立体模型上，生成所述车辆的周边区域的立体图像，能够结合车辆周边障碍物的位置调整拼缝位置，使得障碍物的位置与拼缝位置不重合，进而根据拼缝位置对多个拍摄图像进行拼接时可以避免对障碍物进行拼接处理，避免了拼接后的图像出现障碍物畸变的问题，保证了障碍物的完整显示。

在一种实现方式中，根据车辆的感知信息，确定所述车辆周边障碍物的位置，包括：

对所述车辆的位姿和周边区域进行感知，获得所述车辆的感知信息，所述车辆的感知信息包括：雷达反馈信号、车辆位姿信息、所述拍摄图像中的至少一种；根据所述车辆的感知信息，对所述车辆周边的障碍物进行分类识别且以所述车辆的后轮中心为原点，通过预设数量的像素点，生成所述车辆的行驶区域感知图，所述行驶区域感知图中包括所述车辆周边障碍物的位置。

具体的，对车辆的位姿和周边区域进行感知，获得车辆的感知信息，车辆的感知信息包括：雷达反馈信号、车辆位姿信息、拍摄图像中的至少一种。为保证对车辆周边环境的全面探测，减少漏检错检的概率，用于感知的雷达探测区域范围较大，作为一个示例，如图4所示，探测区域主要分为3个部分：A区：以车身中心为圆心，呈近椭圆形状，距离车身周边2米以内区域。B区：以车身中心为圆心，呈近椭圆形状，距离车身周边5米以内，去除A区剩余的区域。C区：主要由两部分组成，第一部分为车头段60米宽，7米长，以车身中心所在中轴呈对称分布。第二部分为以车身中心为圆心，半径为10米的圆形区域。

为了根据车辆的感知信息，生成车辆的行驶区域感知图，需要采集充足的车辆状态信息和车辆周边区域信息，可以分别从车辆控制器局域网络Controller Area Network，CAN)信号、摄像机和雷达三个数据源进行数据采集。其中，车辆CAN信号是利用CAN通讯作为传输媒介的车身传感数据统称，主要包含了轮脉冲、方向盘角度、档位状态等信息，如图5所示的车辆位姿信息计算流程图，位姿算法库利用这些信息(CAN信号)计算出车辆当前相较于车身坐标系的偏转角度状态，即车辆位姿信息，如图6所示，车辆位姿未发生变化前的车辆的坐标点(x1,y1)在车辆位姿发生变化之后，使得该坐标点变化为(x`1,y`1)，车辆位姿未发生变化前的车辆的坐标点(x2,y2)在车辆位姿发生变化之后，使得该坐标点变化为(x`2,y`2)。车辆的中轴相对于车身坐标系的夹角θ在车辆位姿未发生变化前为0，在车辆位姿发生变化后，可以确定出车辆的中轴相对于车身坐标系的夹角为`θ。

为了完成摄像头拍摄的图像中不同识别任务处理，在调用感知算法库前需要对图像进行预处理。如图7所示，假设摄像头包括4路，则需要对4路摄像头拍摄的图像进行下采样、全景重构、格式转换和检测操作后，生成特定尺寸的视图，例如对4路摄像头图像进行下采样后，得到640*480yuv格式的图像，再对图像进行格式转换和剪裁，得到640*480的BGR格式的4路下采样图像或者416*224的BGR格式的4路下采样图像，亦或是640*480的GRAY格式的4路下采样图像。

在一种实现方式中，在所述获得所述车辆的感知信息之后，还包括：

根据所述车辆的控制器局域网络信号，将所述车辆雷达的测距值转换成预设数量个蛛网图报警区域，所述蛛网图报警区域用于确定所述车辆周边障碍物的位置。

如图8所示，在收集到雷达反馈的信号后，为便于障碍物定位，可以根据车辆方向盘转角、轮脉冲、车轮转动方向等车辆的控制器局域网络信号将12个真实雷达的测距值转换成预设数量个蛛网图报警区域，例如可以是每个5°共72个蛛网图报警区域，蛛网图报警区域用于确定车辆周边障碍物的位置。且目前车辆多具备雷达系统，因此无需增加硬件设备，对环视系统稳定性影响较小，仅需要更新软件成本，应用成本极低，实用性强。

感知算法库处理流程如图9所示，感知算法库首先会对配置文件进行加载及解析，完成算法库运行前初始化，随后将雷达反馈信号、车辆位姿信息、拍摄图像、车辆CAN信号等数据进行锁定处理，防止数据在处理期间数据变化引起的数据不同步问题，随后根据输入信息完成静动态障碍物、车道线、路沿等物体的识别与定位，将识别结果以车辆的行驶区域感知图进行输出，最后可以对雷达反馈信号、车辆位姿信息、拍摄图像、车辆CAN信号等数据进行释放。算法感知库可完成对雪糕筒/锥桶、立柱、隔离杆、施工路牌、禁停牌、弹起的地锁、婴儿车等除机非人外物品的分类识别，车辆后轮中心为原点，利用360个像素点生成俯视图进行描述。如图10所示的行驶区域感知图，行驶区域感知图中包括车辆周边障碍物及其位置，其中，行驶区域感知图中可以包括背景、车道线、路面/禁停区、路沿、栏杆、墙体、立柱、车位线、限位块、斑马线、路面标志/无效线、减速带、违停物、通用障碍物等。其中，不同的障碍物掩码值不同，如图10所示，行驶区域感知图中可以包括路面101、障碍物(背景)102，路沿103等。

在本申请实施例中，对车辆的位姿和周边区域进行感知，获得车辆的感知信息，车辆的感知信息包括：雷达反馈信号、车辆位姿信息、拍摄图像中的至少一种；根据车辆的感知信息，生成车辆的行驶区域感知图，行驶区域感知图中包括车辆周边障碍物的位置，利用雷达信息等构建行驶区域感知图，进而可以实现对车辆周边障碍物位置的获取。

在一种实现方式中，所述生成所述车辆的行驶区域感知图之后，还包括：

将所述行驶区域感知图中的部分区域确定为目标区域，所述拼缝位置在所述目标区域内。

具体的，为了保证拼缝变化不会出现盲区，需要保证拼缝再一定范围内，例如图11所示，可以对行驶区域感知图进行区域划分，例如可以将行驶区域感知图划分为8个区域，相较于车身区域，该8个区域可以是左前、前、右前、右、右后、后、左后、左，通常情况下主要利用的是左前、右前、左后、右后。其中，左前、右前、左后、右后都可以确定为目标区域，拼缝位置可以在目标区域内。

这样，将所述行驶区域感知图中的部分区域确定为目标区域，所述拼缝位置在所述目标区域内，能够保证拼缝变化不会出现盲区。

在一种实现方式中，所述根据所述障碍物的位置，确定对多个拍摄图像进行拼接时的拼缝位置，包括：

对所述拼缝位置进行渐变调整，直至所述障碍物位于所述拼缝位置的一侧。

如图12所示的拼缝示意图，以右前区域为目标区域为例，拼缝从沿车身垂直方向向右为0度，竖直向前为90度，每度一个等级。在目标区域中，可以根据车辆与障碍物之间的距离对障碍物进行定位，对拼缝位置进行渐变调整，当拼缝位置与障碍物位置不重合或者拼缝位置一侧无障碍物(障碍物位于拼缝位置的一侧)时停止，此时得到最终的拼缝位置。保证拼缝时不会对障碍进行拼缝，避免了拼接后的图像出现障碍物畸变的问题，保证了障碍物的完整显示。

在一种实现方式中，所述立体模型包括第一轴、第二轴和第三轴，所述第一轴和第二轴用于确定所述立体模型的底面，所述第一轴和所述第三轴用于确定所述立体模型的第一侧面，所述第二轴和所述第三轴用于确定所述立体模型的第二侧面，在将拼接后的图像映射到立体模型上之前，还包括：

根据所述车辆与所述障碍物的距离，调整所述第一轴的轴长，以使所述障碍物在所述第一侧面或第二侧面上成像。

具体的，立体模型包括第一轴、第二轴和第三轴，其中，第一轴可以为x轴、第二轴可以为y轴、第三轴可以为z轴，或者第一轴可以为y轴、第二轴可以为x轴、第三轴可以为z轴。其中，第一轴和第二轴可以确定立体模型的底面，第一轴和第三轴可以用于确定立体模型的第一侧面，第二轴和第三轴可以确定立体模型的第二侧面。在得到车辆与障碍物的距离之后，可以调整第一轴的轴长，以使障碍物映射到立体模型上时，可以映射到第一侧面或者第二侧面上，以使障碍物程序为立体图像。

在一种实现方式中，所述调整所述第一轴的轴长，包括：

调整所述第一轴的第一方向的轴长；或者调整所述第一轴的第二方向的轴长。

具体的，在三维坐标系中利用椭球公式建立立体模型，公式如下：

其中a和b是赤道半径(沿着x和y轴)，c是极半径(沿着z轴)。这三个数都是固定的正实数。

由于目前车型多为长方形，为保证各视角效果，通常情况下通过调整参数a和b，修正立体模型的形状，让其呈扁椭球状，保证地面景物与立体景物的平缓过渡，得到了如图13所示的立体模型。但是传统立体模型的参数仅可通过a,b，c三个参数进行调整形状，a表示立体模型x轴的正半轴长及负半轴长度。b表示立体模型y轴的正半轴长及负半轴长度,c表示立体模型z轴的正半轴长及负半轴长度，因此这三个参数对碗模型效果影响均为对称生效。如图13，调整减小参数a，则模型前后均会缩短，当仅有车身前侧近处有障碍，为保证前侧障碍物的立体效果，会缩短参数a，但会导致车身后侧立体模型同步收缩，将后视角画面进行不必要调整，影响视角观感。

为了解决上述问题，本申请实施例在椭球公式的基础上增加了参数a_negative及b_negative，分别表示x轴负半轴长和y轴的负半轴长，以此来解除立体模型前后之间或左右间的相关性，而达到立体模型前后左右实现可单侧调整的目的。即在调整立体模型时，可以仅仅调整第一轴的第一方向的轴长，或者调整所述第一轴的第二方向的轴长。本申请实施例提供了一种如图14所示的不规则立体模型，可以根据车辆距离障碍物的远近，灵活调整指定一侧立体模型的形状，从而优化该视角的视觉效果，减少画面中障碍物的畸变程度。

在一种实现方式中，所述行驶区域感知图由障碍物像素点和非障碍物像素点组成，在所述根据所述车辆与所述障碍物的距离，调整所述第一轴的轴长之前，还包括：

在所述行驶区域感知图中，逐像素行确定所述车辆与所述障碍物的像素点之间所述非障碍物像素点的数量；根据所述非障碍物像素点的数量最小的像素行，确定所述车辆与所述障碍物的距离。

具体的，如图11所示，可以将立体模型以及行驶区域感知图划分为按照顺时针旋转分为，左前、前、右前、右、右后、后、左后、左8个区域。在行驶区域感知图中，可以逐像素行确定车辆与障碍物的像素点之间非障碍物像素点的数量；根据非障碍物像素点的数量最小的像素行，确定车辆与障碍物的距离。由于算法输出的可行驶区域是以图像坐标的掩码值表，因此需要对不同区域内的掩码值进行分类处理，为便于处理我们仅对前后左右四个区域进行分类处理，找到可行驶区域距离车身最短的距离。以图11中右区域为例，如图15所示，右区域1501表示路面。掩码值为1，1502为车位线，掩码值为2，1503部分表示背景即无法行驶区域，掩码值为0。我们逐行进行筛选判断，从右区域的左侧边界进行计算，若为路面则每行最短距离+1，若为0，则停止统计，与区域最短距离进行对比，若每行最短距离更小，则进行对区域最短距离绩效进行覆盖，随后进入下一行，直到右区域下边界。待统计结束后，将区域最短距离作为第一轴的轴长，相较于固定的立体模型，动态立体模型构成的视角更为立体，可实现立体模型单侧自主实时调整形状，不会影响其他角度视角效果。

需要说明的是，本申请实施例提供的图像的生成方法，执行主体可以为图像的生成装置，或者该图像的生成装置中的用于执行图像的生成方法的控制模块。本申请实施例中以图像的生成装置执行图像的生成方法为例，说明本申请实施例提供的图像的生成装置。

图16是根据本发明实施例的图像的生成装置的结构示意图。如图16所示，图像的生成装置1600包括：感知模块1610、确定模块1620、拼接模块1630和映射模块1640。

感知模块1610，用于根据车辆的感知信息，确定所述车辆周边障碍物的位置；确定模块1620，用于根据所述障碍物的位置，确定对多个拍摄图像进行拼接时的拼缝位置，所述障碍物的位置与所述拼缝位置不重合，所述多个拍摄图像是对所述车辆的周边区域进行拍摄得到的；拼接模块1630，用于根据所述拼缝位置，对所述多个拍摄图像进行拼接；映射模块1640，用于将拼接后的图像映射到用于生成所述车辆周边区域的立体图像的立体模型上，生成所述车辆的周边区域的立体图像。

在一种实现方式中，所述确定模块1620，用于对所述车辆的位姿和周边区域进行感知，获得所述车辆的感知信息，所述车辆的感知信息包括：雷达反馈信号、车辆位姿信息、所述拍摄图像中的至少一种；根据所述车辆的感知信息，对所述车辆周边的障碍物进行分类识别且以所述车辆的后轮中心为原点，通过预设数量的像素点生成所述车辆的行驶区域感知图，所述行驶区域感知图中包括所述车辆周边障碍物的位置。

在一种实现方式中，所述确定模块1620，还用于将所述行驶区域感知图中的部分区域确定为目标区域，所述拼缝位置在所述目标区域内。

在一种实现方式中，所述确定模块1620，用于对所述拼缝位置进行渐变调整，直至根据所述障碍物的位置确定所述障碍物位于所述拼缝位置的一侧。

在一种实现方中，所述感知模块1610还用于根据所述车辆的控制器局域网络信号，将所述车辆雷达的测距值转换成预设数量个蛛网图报警区域，所述蛛网图报警区域用于确定所述车辆周边障碍物的位置。

在一种实现方式中，所述立体模型包括第一轴、第二轴和第三轴，所述第一轴和第二轴用于确定所述立体模型的底面，所述第一轴和所述第三轴用于确定所述立体模型的第一侧面，所述第二轴和所述第三轴用于确定所述立体模型的第二侧面，所述映射模块1640，还用于根据所述车辆与所述障碍物的距离，调整所述第一轴的轴长，以使所述障碍物在所述第一侧面或第二侧面上成像。

在一种实现方式中，所述映射模块1640，用于调整所述第一轴的第一方向的轴长；或者调整所述第一轴的第二方向的轴长。

在一种实现方式中，所述行驶区域感知图由障碍物像素点和非障碍物像素点组成，所述确定模块1620，还用于在所述行驶区域感知图中，逐像素行确定所述车辆与所述障碍物的像素点之间所述非障碍物像素点的数量；根据所述非障碍物像素点的数量最小的像素行，确定所述车辆与所述障碍物的距离。

本申请实施例中的图像的生成装置可以是装置，也可以是终端中的部件、集成电路。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像的生成装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图像的生成装置能够实现图1的方法实施例实现的各个过程，为避免重复，这里不再赘述。

本申请实施例还提供了一种自动驾驶装置，该装置包括图16中所述的图像的生成装置。

本申请实施例还提供了一种车辆，该车辆包括图16中所述的图像的生成装置。

可选地，如图17所示，本申请实施例另提供一种电子设备1700，包括处理器1701和存储器1702，存储器1702上存储有可在所述处理器1701上运行的程序或指令，该程序或指令被处理器1701执行时实现：根据车辆的感知信息，确定所述车辆周边障碍物的位置；根据所述障碍物的位置，确定对多个拍摄图像进行拼接时的拼缝位置，所述障碍物的位置与所述拼缝位置不重合，所述多个拍摄图像是对所述车辆的周边区域进行拍摄得到的；根据所述拼缝位置，对所述多个拍摄图像进行拼接；将拼接后的图像映射到用于生成所述车辆周边区域的立体图像的立体模型上，生成所述车辆的周边区域的立体图像。

在一种实现方式中，对所述车辆的位姿和周边区域进行感知，获得所述车辆的感知信息，所述车辆的感知信息包括：雷达反馈信号、车辆位姿信息、所述拍摄图像中的至少一种；根据所述车辆的感知信息，对所述车辆周边的障碍物进行分类识别且以所述车辆的后轮中心为原点，通过预设数量的像素点生成所述车辆的行驶区域感知图，所述行驶区域感知图中包括所述车辆周边障碍物的位置。

在一种实现方式中，在所述生成所述车辆的行驶区域感知图之后，将所述行驶区域感知图中的部分区域确定为目标区域，所述拼缝位置在所述目标区域内。

在一种实现方式中，对所述拼缝位置进行渐变调整，直至根据所述障碍物的位置确定所述障碍物位于所述拼缝位置的一侧。

在一种实现方式中，在所述获得所述车辆的感知信息之后，根据所述车辆的控制器局域网络信号，将所述车辆雷达的测距值转换成预设数量个蛛网图报警区域，所述蛛网图报警区域用于确定所述车辆周边障碍物的位置。

在一种实现方式中，所述立体模型包括第一轴、第二轴和第三轴，所述第一轴和第二轴用于确定所述立体模型的底面，所述第一轴和所述第三轴用于确定所述立体模型的第一侧面，所述第二轴和所述第三轴用于确定所述立体模型的第二侧面，在将拼接后的图像映射到立体模型上之前，根据所述车辆与所述障碍物的距离，调整所述第一轴的轴长，以使所述障碍物在所述第一侧面或第二侧面上成像。

在一种实现方式中，调整所述第一轴的第一方向的轴长；或者调整所述第一轴的第二方向的轴长。

在一种实现方式中，所述行驶区域感知图由障碍物像素点和非障碍物像素点组成，在所述根据所述车辆与所述障碍物的距离，调整所述第一轴的轴长之前，在所述行驶区域感知图中，逐像素行确定所述车辆与所述障碍物的像素点之间所述非障碍物像素点的数量；根据所述非障碍物像素点的数量最小的像素行，确定所述车辆与所述障碍物的距离。

具体执行步骤可以参见上述图像的生成方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括：服务器、终端或除终端之外的其他设备。

以上电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，例如，输入单元，可以包括图形处理器(Graphics Processing Unit，GPU)和麦克风，显示单元可以采用液晶显示器、有机发光二极管等形式来配置显示面板。用户输入单元包括触控面板以及其他输入设备中的至少一种。触控面板也称为触摸屏。其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器可用于存储软件程序以及各种数据。存储器可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器可以包括易失性存储器或非易失性存储器，或者，存储器可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。

处理器可包括一个或多个处理单元；可选的，处理器集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像的生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如ROM、RAM、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (11)

1.一种图像的生成方法，其特征在于，包括：

根据车辆的感知信息，确定所述车辆周边障碍物的位置；

根据所述障碍物的位置，确定对多个拍摄图像进行拼接时的拼缝位置，所述障碍物的位置与所述拼缝位置不重合，所述多个拍摄图像是对所述车辆的周边区域进行拍摄得到的；

根据所述拼缝位置，对所述多个拍摄图像进行拼接；

将拼接后的图像映射到用于生成所述车辆周边区域的立体图像的立体模型上，生成所述车辆的周边区域的立体图像。

2.根据权利要求1所述的生成方法，其特征在于，根据车辆的感知信息，确定所述车辆周边障碍物的位置，包括：

对所述车辆的位姿和周边区域进行感知，获得所述车辆的感知信息，所述车辆的感知信息包括：雷达反馈信号、车辆位姿信息、所述拍摄图像中的至少一种；

根据所述车辆的感知信息，对所述车辆周边的障碍物进行分类识别且以所述车辆的后轮中心为原点，通过预设数量的像素点生成所述车辆的行驶区域感知图，所述行驶区域感知图中包括所述车辆周边障碍物的位置。

3.根据权利要求2所述的生成方法，其特征在于，在所述生成所述车辆的行驶区域感知图之后，还包括：

将所述行驶区域感知图中的部分区域确定为目标区域，所述拼缝位置在所述目标区域内。

4.根据权利要求1所述的生成方法，其特征在于，所述根据所述障碍物的位置，确定对多个拍摄图像进行拼接时的拼缝位置，包括：

对所述拼缝位置进行渐变调整，直至根据所述障碍物的位置确定所述障碍物位于所述拼缝位置的一侧。

5.根据权利要求2所述的生成方，其特征在于，在所述获得所述车辆的感知信息之后，还包括：

根据所述车辆的控制器局域网络信号，将所述车辆雷达的测距值转换成预设数量个蛛网图报警区域，所述蛛网图报警区域用于确定所述车辆周边障碍物的位置。

6.根据权利要求1所述生成方法，其特征在于，所述立体模型包括第一轴、第二轴和第三轴，所述第一轴和第二轴用于确定所述立体模型的底面，所述第一轴和所述第三轴用于确定所述立体模型的第一侧面，所述第二轴和所述第三轴用于确定所述立体模型的第二侧面，在将拼接后的图像映射到立体模型上之前，还包括：

根据所述车辆与所述障碍物的距离，调整所述第一轴的轴长，以使所述障碍物在所述第一侧面或第二侧面上成像。

7.根据权利要求6所述生成方法，所述调整所述第一轴的轴长，包括：

调整所述第一轴的第一方向的轴长；或者

调整所述第一轴的第二方向的轴长。

8.根据权利要求7所述的生成方法，其特征在于，所述行驶区域感知图由障碍物像素点和非障碍物像素点组成，在所述根据所述车辆与所述障碍物的距离，调整所述第一轴的轴长之前，还包括：

在所述行驶区域感知图中，逐像素行确定所述车辆与所述障碍物的像素点之间所述非障碍物像素点的数量；

根据所述非障碍物像素点的数量最小的像素行，确定所述车辆与所述障碍物的距离。

9.一种图像的生成装置，其特征在于，包括：

感知模块，用于根据车辆的感知信息，确定所述车辆周边障碍物的位置；

确定模块，用于根据所述障碍物的位置，确定对多个拍摄图像进行拼接时的拼缝位置，所述障碍物的位置与所述拼缝位置不重合，所述多个拍摄图像是对所述车辆的周边区域进行拍摄得到的；

拼接模块，用于根据所述拼缝位置，对所述多个拍摄图像进行拼接；

映射模块，用于将拼接后的图像映射到用于生成所述车辆周边区域的立体图像的立体模型上，得到所述车辆的周边区域的立体图像。

10.一种自动驾驶装置，其特征在于，包括如权利要求9所述的图像的生成装置。

11.一种车辆，其特征在于，包括如权利要求9所述的图像的生成装置。