CN117522766A - 障碍物提示方法、装置、设备、可读存储介质及程序产品 - Google Patents

障碍物提示方法、装置、设备、可读存储介质及程序产品 Download PDF

Info

Publication number
CN117522766A
CN117522766A CN202210908233.6A CN202210908233A CN117522766A CN 117522766 A CN117522766 A CN 117522766A CN 202210908233 A CN202210908233 A CN 202210908233A CN 117522766 A CN117522766 A CN 117522766A
Authority
CN
China
Prior art keywords
dimensional
image
coordinates
target obstacle
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210908233.6A
Other languages
English (en)
Inventor
胡荣东
彭美华
万波
王思娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Intelligent Driving Research Institute Co Ltd
Original Assignee
Changsha Intelligent Driving Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Intelligent Driving Research Institute Co Ltd filed Critical Changsha Intelligent Driving Research Institute Co Ltd
Priority to CN202210908233.6A priority Critical patent/CN117522766A/zh
Priority to PCT/CN2023/109749 priority patent/WO2024022470A1/zh
Publication of CN117522766A publication Critical patent/CN117522766A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供了一种障碍物提示方法、装置、设备、可读存储介质及程序产品。该方法包括在获取到车辆的图像采集装置采集的图像的情况下，确定图像中目标障碍物的第一三维坐标和第二三维坐标；根据第一三维坐标，确定目标障碍物与车辆的实际距离；在实际距离满足预设条件的情况下，根据第二三维坐标，在初始三维环视图上绘制目标障碍物的警示图标，得到三维环视效果图，初始三维环视图基于图像和三维投影模型得到；显示三维环视效果图。根据本申请实施例，三维环视效果图可以通过目标障碍物的警示图标可以直接反映出目标障碍物相对于车辆的具体位置，以更直观的方式提醒驾驶员潜在危险，使得障碍物提示的效果更好，从而提高了车辆的行驶安全性。

Description

障碍物提示方法、装置、设备、可读存储介质及程序产品
技术领域
本申请属于车辆技术领域，尤其涉及一种障碍物提示方法、装置、设备、可读存储介质及程序产品。
背景技术
随着智能驾驶技术的高速发展，高级驾驶辅助系统(Advanced DrivingAssistance System，ADAS)具有重要的意义，而车辆的三维环视系统更是在安全驾驶领域发挥巨大作用。目前三维环视系统往往需要驾驶员主动观察视频画面，缺少主动预警功能，驾驶员不能准确判断障碍物的位置，从而导致障碍物提示的效果较差。
发明内容
本申请实施例提供一种障碍物提示方法、装置、设备、可读存储介质及程序产品，以解决现有的三维环视系统其障碍物提示的效果较差的技术问题。
第一方面，本申请实施例提供一种障碍物提示方法，方法包括：
在获取到车辆的图像采集装置采集的图像的情况下，确定所述图像中目标障碍物的第一三维坐标和第二三维坐标，其中，所述第一三维坐标基于所述图像采集装置的参数得到，所述第二三维坐标基于预设的三维投影模型得到；
根据所述第一三维坐标，确定所述目标障碍物与所述车辆的实际距离；
在所述实际距离满足预设条件的情况下，根据所述第二三维坐标，在初始三维环视图上绘制所述目标障碍物的警示图标，得到三维环视效果图，其中，所述初始三维环视图基于所述图像和所述三维投影模型得到；
显示所述三维环视效果图。
第二方面，本申请实施例提供了一种障碍物提示装置，装置包括：
第一确定模块，用于在获取到车辆的图像采集装置采集的图像的情况下，确定所述图像中目标障碍物的第二三维坐标和第一三维坐标，其中，所述第二三维坐标基于预设的三维投影模型得到，所述第一三维坐标基于所述图像采集装置的参数得到；
第二确定模块，用于根据所述第一三维坐标，确定所述目标障碍物与所述车辆的实际距离；
绘制模块，用于在所述实际距离满足预设条件的情况下，根据所述第二三维坐标，在初始三维环视图上绘制所述目标障碍物的警示图标，得到三维环视效果图，其中，所述初始三维环视图基于所述图像和所述三维投影模型得到；
显示所述三维环视效果图。
第三方面，本申请实施例提供了一种障碍物提示设备，设备包括：
处理器以及存储有程序或指令的存储器；
所述处理器执行所述程序或指令时实现上述的方法。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现上述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行上述方法。
本申请实施例的障碍物提示方法、装置、设备、可读存储介质及程序产品，能够在获取到车辆的图像采集装置采集的图像的情况下，确定图像中目标障碍物的第一三维坐标和第二三维坐标，其中，第一三维坐标基于图像采集装置的参数得到，第二三维坐标基于预设的三维投影模型得到；根据第一三维坐标，确定目标障碍物与车辆的实际距离；在实际距离满足预设条件的情况下，根据第二三维坐标，在初始三维环视图上绘制目标障碍物的警示图标，得到三维环视效果图，其中，初始三维环视图基于图像和三维投影模型得到；显示三维环视效果图。这样，可以获取目标障碍物在世界坐标系下的三维位置以及与车辆的实际距离，并在实际距离满足预设条件的情况下，可以生成绘制有目标障碍物的警示图标的三维环视效果图以显示，即三维环视效果图上的警示图标可以直接反映出目标障碍物相对于车辆的具体位置，以更直观的方式提醒驾驶员潜在危险，使得障碍物提示的效果更好，从而提高了车辆的行驶安全性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的障碍物提示方法的流程示意图；
图2是本申请实施例提供的障碍物提示方法中的三维环视效果图的示意图；
图3是本申请实施例提供的障碍物提示方法的场景实施例流程图；
图4是本申请另一个实施例提供的障碍物提示装置的结构示意图；
图5是本申请又一个实施例提供的电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了解决现有技术问题，本申请实施例提供了一种障碍物提示方法、装置、设备、可读存储介质及程序产品。下面首先对本申请实施例所提供的障碍物提示方法进行介绍。
图1示出了本申请一个实施例提供的障碍物提示方法的流程示意图。
如图1所示，障碍物提示方法可以包括如下步骤：
步骤101，在获取到车辆的图像采集装置采集的图像的情况下，确定图像中目标障碍物的第一三维坐标和第二三维坐标，其中，第一三维坐标基于图像采集装置的参数得到，第二三维坐标基于预设的三维投影模型得到；
步骤102，根据第一三维坐标，确定目标障碍物与车辆的实际距离；
步骤103，在实际距离满足预设条件的情况下，根据第二三维坐标，在初始三维环视图上绘制目标障碍物的警示图标，得到三维环视效果图，其中，初始三维环视图基于图像和三维投影模型得到；
步骤104，显示三维环视效果图。
上述各个步骤的具体实现方式将在下文中进行详细描述。
在本申请实施例中，障碍物提示方法能够在获取到车辆的图像采集装置采集的图像的情况下，确定图像中目标障碍物的第一三维坐标和第二三维坐标，其中，第一三维坐标基于图像采集装置的参数得到，第二三维坐标基于预设的三维投影模型得到；根据第一三维坐标，确定目标障碍物与车辆的实际距离；在实际距离满足预设条件的情况下，根据第二三维坐标，在初始三维环视图上绘制目标障碍物的警示图标，得到三维环视效果图，其中，初始三维环视图基于图像和三维投影模型得到；显示三维环视效果图。这样，可以获取目标障碍物在世界坐标系下的三维位置以及与车辆的实际距离，并在实际距离满足预设条件的情况下，可以生成绘制有目标障碍物的警示图标的三维环视效果图以显示，即三维环视效果图上的警示图标可以直接反映出目标障碍物相对于车辆的具体位置，以更直观的方式提醒驾驶员潜在危险，使得障碍物提示的效果更好，从而提高了车辆的行驶安全性。
下面介绍上述各个步骤的具体实现方式。
在步骤101中，车辆可以沿其周身设置多个图像采集装置，在车辆行驶过程中，这些图像采集装置可以采集图像，以反映图像采集装置的视野范围内的道路景象。例如，可以在车辆的前、后、左、右四个方位安装图像采集装置，并可以获取图像采集装置采集到的图像。
采集到图像后，可以先识别出图像中的目标障碍物，例如，可以将图像输入至预设的卷积神经网络中进行目标检测，输出目标障碍物的目标检测框。可以根据识别到的目标检测框，确定目标障碍物的脚点。其中，脚点可以是目标障碍物与地面交汇处的中心点，可以理解的是，目标障碍物可以用一个矩形的检测框表示，则目标障碍物与地面交汇处的中心点可以是检测框底部线段的中间点，取目标障碍物与地面交汇处的中心点作为目标障碍物的脚点，可以使脚点更稳定，减少目标障碍物的晃动影响。在一些示例中，脚点也可以是目标障碍物的最靠近车辆的点等，可根据实际情况进行设定，此处不作具体限定。
可以将脚点在图像坐标系下的坐标确定为目标障碍物的图像坐标。随后可以基于目标障碍物的图像坐标确定第一图像中的目标障碍物的第一三维坐标和第二三维坐标。可以理解的是，第一三维坐标可以是图像采集装置的光心至图像坐标形成的射线与地平面的交汇点对应的三维坐标。第二三维坐标可以是基于预设的三维投影模型得到，即第二三维坐标可以是图像采集装置的光心至图像坐标形成的射线与三维投影模型的交汇点对应的三维坐标，其中三维投影模型可以为用于在三维空间中表征车辆周围场景的模型。
可以理解的是，第一三维坐标可以根据目标障碍物的图像坐标和图像采集装置的参数确定，其中，图像采集装置的参数可以包括内参数和外参数，内参数是指与图像采集装置自身特性相关的参数，可以包括图像采集装置的焦距、像素大小、分辨率等，外参数是指在世界坐标系中的参数，可以包括图像采集装置的位置、旋转方向等。示例地，可以直接基于目标障碍物的图像坐标以及图像采集装置的外参数计算得到目标障碍物的第一三维坐标。
根据目标障碍物的图像坐标，确定目标障碍物的第二三维坐标，可以通过图像采集装置的内参数、外参数与预设的三维投影模型获取到多个图像坐标与三维坐标的投影关系，再根据目标障碍物的图像坐标进行逆向查找表，确定目标障碍物的第二三维坐标。在一些示例中，还可以将目标障碍物的图像坐标进行归一化处理得到纹理坐标，同时也可以对多个图像坐标与三维坐标的投影关系中的每个图像坐标进行归一化处理，得到多个纹理坐标与三维坐标的映射关系，随后可以从多个纹理坐标与三维坐标的映射关系中逆向查找到与该纹理坐标对应的三维坐标(即第二三维坐标)。
在步骤102中，可以根据第一三维坐标，确定目标障碍物与车辆的实际距离。示例地，可以根据车辆在世界坐标系下的车辆坐标与目标障碍物在地平面上的交汇点的第一三维坐标，计算出目标障碍物与车辆的实际距离。
在步骤103，若实际距离满足预设条件，则可以认为此时目标障碍物离车辆较近，可能会影响到车辆的正常行驶，针对此情况，可以先根据第二三维坐标，确定目标障碍物在初始三维环视图中的位置，然后可以在初始三维环视图上绘制目标障碍物的警示图标，得到三维环视效果图。可以理解的是，初始三维环视图可以基于图像和三维投影模型得到。示例地，可以构建一个用于在三维空间中表征车辆周围场景的三维投影模型，并基于图像采集装置采集到的图像和图像采集装置的参数，确定该图像与实际场景之间的空间映射关系，再基于该空间映射关系，将图像映射到该三维投影模型中，即可生成初始三维环视图，其中初始三维环视图中可以包括预先建模的车辆以及目标障碍物。
在步骤104中，可以将三维环视效果图显示在车辆显示屏上，这样驾驶员可以通过警示图标更直观地查看目标障碍物的位置，使得三维环视效果图的障碍物提示效果更好。
在一些示例中，可以根据不同的实际距离对应不同的警示图标，例如，实际距离越近，其警示图标可以越明显，进一步提升三维环视效果图的障碍物提示效果。
可以理解的是，图像中的障碍物可以为一个，也可以为多个，目标障碍物可以是指图像中的任一障碍物。换而言之，在图像中的障碍物为多个的情况下，则可以计算出每个障碍物与车辆之间的实际距离，在初始三维环视图上绘制每个障碍物的警示图标，得到三维环视效果图并显示。
可选地，在一些实施例中，图像采集装置可以为鱼眼摄像头。
示例地，鱼眼摄像头是一种焦距极短并且视角较大的超广角摄像头，其采集到的图像中，同一位置的障碍物的大小和形态稳定不变，有利于后续的目标检测，使得检测出的目标障碍物的结果更稳定且准确率高，能够更准确地确定目标障碍物与车辆的实际距离，从而得到高精度的三维环视效果图，进而进一步提高车辆的行驶安全性。
可选地，在一些实施例中，步骤104可以包括如下步骤：
根据实际距离和预设的预警等级划分规则，确定实际距离匹配的目标预警等级；
根据第二三维坐标，在初始三维环视图上绘制与目标预警等级对应的警示图标，得到三维环视效果图。
在本实施例中，如图2所示，可以根据目标障碍物202与车辆201之间的实际距离和预设的预警等级划分规则，确定目标障碍物202的目标预警等级，其目标预警等级与实际距离相匹配。例如，实际距离小于或等于第一阈值的情况下，目标障碍物202的目标预警等级可以为“高”；实际距离大于第一阈值，小于第二阈值的情况下，目标障碍物202的目标预警等级可以为“中”；实际距离大于或等于第二阈值的情况下，目标障碍物202的目标预警等级可以为“低”。第一阈值和第二阈值可以根据实际情况进行设定，例如第一阈值的取值范围可以为1～2米，第二阈值的取值范围可以为3～5米，此处不作具体限定。
如图2所示，可以根据第二三维坐标，确定目标障碍物在初始三维环视图中的位置，并在初始三维环视图上采用帧缓存绘制与目标预警等级对应的警示图标203，得到带目标预警结果的三维环视效果图。
例如，若目标障碍物的目标预警等级可以为“高”，则可以在三维环视效果图中用“红色”标记显示该目标障碍物；若目标障碍物的目标预警等级可以为“中”，则可以在三维环视效果图中用“橙色”标记显示该目标障碍物；若目标障碍物的目标预警等级可以为“低”，则可以在三维环视效果图中用“黄色”标记显示该目标障碍物。
可以理解的是，不同预警等级的警示图标可以通过不同的颜色进行区分，也可以根据不同的图标大小或形状进行区分，此处不作具体限定。
本实施例中，三维环视效果图中的目标障碍物可以根据其与车辆之间的实际距离，显示与目标预警等级对应的警示图标。这样，驾驶员可以基于警示图标，更直观的判断目标障碍物与车辆的相对位置，进一步提高障碍物的提示效果。另外，目标障碍物的目标预警等级是基于世界坐标系下的三维距离进行划分的，预警结果更准确，有效提高了预警的可靠性。
可选地，在一些实施例中，上述确定图像中目标障碍物的第二三维坐标，可以包括如下步骤：
确定图像中的目标障碍物的图像坐标；
对图像坐标进行归一化处理，得到纹理坐标；
根据纹理坐标和预设的逆向查找表，确定目标障碍物的第二三维坐标，逆向查找表包括N个纹理坐标与三维坐标的映射关系，N为大于1的整数，N个纹理坐标与三维坐标的映射关系基于预设的三维投影模型确定。
在本实施例中，可以将图像输入至预先训练好的卷积神经网络中进行目标检测，可以获取目标障碍物的位置以及目标障碍物的类别。
检测出目标障碍物后，可以确定目标障碍物的脚点，目标障碍物的脚点在图像坐标系下的图像坐标，即可以认为是目标障碍物的图像坐标。可以对图像坐标进行归一化处理，得到纹理坐标。
可以根据纹理坐标和预设的逆向查找表，确定目标障碍物的第二三维坐标。示例地，逆向查找表包括N个纹理坐标与三维坐标的映射关系，可以从逆向查找表中查找与目标障碍物的纹理坐标相映射的三维坐标，作为目标障碍物的第二三维坐标。
在本实施例中，一方面，可以直接检测出目标障碍物的类别，进一步提高了障碍物的提示效果。另一方面，可以基于进行归一化处理的纹理坐标，快速查表以确定目标障碍物的第二三维坐标，更方便快捷，有效节约了算力资源，提高了预警效率。
可选地，在一些实施例中，在根据纹理坐标和预设的逆向查找表，确定目标障碍物的第二三维坐标之前，障碍物提示方法还可以包括如下步骤：
获取图像采集装置的参数和预设的三维投影模型；
根据参数和三维投影模型，确定图像采集装置关联的N个图像像素中各图像像素对应的三维坐标；
根据N个图像像素中各图像像素对应的三维坐标，得到N个图像坐标与三维坐标的投影关系，图像坐标为图像像素的坐标；
基于N个图像坐标与三维坐标的投影关系，确定N个纹理坐标与三维坐标的映射关系，纹理坐标由图像坐标归一化处理得到；
根据N个纹理坐标与三维坐标的映射关系，建立逆向查找表。
在本实施例中，可以读取图像采集装置预先标定的参数(可以包括内参数、外参数)以及预设的三维投影模型。可以根据图像采集装置的参数将三维投影模型中的网格顶点投影到图像采集装置的图像像素网格中，从而可以确定N个图像像素中各图像像素对应的三维坐标。由于每个图像像素携带有图像坐标系下的图像坐标，因此，N个图像坐标可以与N个三维坐标一一对应，得到N个图像坐标与三维坐标的投影关系。
示例地，图像采集装置的参数可以如公式(1)所示：
图像坐标与三维坐标的投影关系可以如公式(2)所示：
其中，M可以为图像采集装置内参，R和t分别为旋转矩阵和平移矩阵，(xw,yw,zw)为世界坐标下的三维坐标，(u,v)为图像坐标系下的图像坐标。
可以理解的是，由于单视图成像的不可逆映射，从图像坐标无法直接获取世界坐标系下的三维坐标。因此为了快速获取图像中目标障碍物的第二三维坐标，可以将每个图像坐标进行归一化处理，得到N个纹理坐标，并基于N个图像坐标与三维坐标的投影关系，确定N个纹理坐标与三维坐标的映射关系，并生成逆向查找表。可以将逆向查找表离线保存，方便后续使用。其中逆向查找表可以实现根据纹理坐标找到对应的三维坐标。
示例地，可以将图像采集装置采集的图像纹理映射到三维投影模型的网格上，此过程为纹理映射。例如，可以将三维投影模型分割为4个区域，分别对应车辆前、后、左、右四个方位的图像采集装置。对于每个区域上的每块网格上的顶点，可以通过其三维坐标到图像坐标的投影关系计算出三维坐标对应的纹理坐标，得到纹理坐标与三维坐标之间的映射关系。以方便可以通过该映射关系建立逆向查找表，另一方面，可利用该映射关系完成着色器渲染，以生成三维环视效果图。
本实施例中，可以基于N个图像坐标与三维坐标的投影关系，确定N个纹理坐标与三维坐标的映射关系，以建立逆向查找表，便于后续根据逆向查找表快速确定图像中目标障碍物的第二三维坐标，从而能够快速得到三维环视效果图，提高了障碍物提示的速率，使得障碍物的提示效果更好。
可选地，在一些实施例中，上述根据参数和三维投影模型，确定图像采集装置关联的N个图像像素中各图像像素对应的三维坐标，可以包括如下步骤：
根据参数和三维投影模型，确定图像采集装置关联的第一图像像素对应的M个初始三维坐标，第一图像像素为N个图像像素中任一图像像素，M为大于1的整数；
确定M个初始三维坐标与第一图像像素的像素中心之间的投影距离；
将投影距离最近的初始三维坐标，确定为第一图像像素对应的三维坐标。
可以理解的是，考虑到图像坐标系下图像像素的矩形方格特性，即图像像素为一个方格子，三维投影模型中的一个或多个相邻的网格顶点投影到图像像素上时可能都在同一个像素方格内，因此存在多个三维坐标点对应一个图像像素的情况。基于此，在本实施例中，可以先投影得到第一图像像素对应的M个初始三维坐标，第一图像像素可以为N个图像像素中对应有多个三维坐标的任意图像像素。此时，可以先计算每个初始三维坐标与第一图像像素的像素中心之间的投影距离，然后可以将M个初始三维坐标中投影距离最近的初始三维坐标，确定为第一图像像素对应的三维坐标。换而言之，可以将投影后距离像素中心最近的三维坐标作为该像素的唯一映射对象。这样，可以保证逆向查找表的唯一性和准确性，便于后续更快速、准确地确定目标障碍物的三维坐标。
可选地，在一些实施例中，在步骤103之后，障碍物提示方法还可以包括如下步骤：
确定与实际距离对应的预设提示方式；
按照预设提示方式，发出预警信息，预警信息用于提示车辆避让目标障碍物。
在本实施例中，还可以根据目标障碍物与车辆的实际距离，确定对应的预设提示方式，预设提示方式可以包括不同频率的声音和/或灯光的提示，可以理解的是，实际距离越近，预警铃声可以越急促，灯光闪烁可以越快。
在一些示例中，可以根据实际距离确定目标障碍物的目标预警等级，并根据不同的目标预警等级发出对应的不同预警信息。例如，若目标障碍物的目标预警等级可以为“高”，则可以采用连续急促的预警铃声发出预警信息；若目标障碍物的目标预警等级可以为“中”，则可以采用间隔时间相对长的缓慢预警铃声发出预警信息；若目标障碍物的目标预警等级可以为“低”，则可以不发出预警信息。灯光提示的原理可以与声音提示相同，此处不做赘述。
在本实施例中，除了可以从三维环视效果图中直观的判断出目标障碍物相对于车辆的具体位置外，还可以采用声音和/或灯光等提示方式主动发出预警信息，用于提示车辆避让目标障碍物，这样，可以进一步提高了障碍物的提示效果，从而进一步提高了车辆行驶的安全性。
可选地，在一些实施例中，上述步骤104可以包括如下步骤：
对第二三维坐标进行变换处理，确定目标障碍物在车辆显示屏上的显示位置；
根据显示位置，在车辆显示屏上显示三维环视效果图。
可以理解的是，显示三维环视效果图时，往往需要按照预设比例等比缩放后，再将车辆周围的环境均显示于车辆显示屏上。这需要将世界坐标系下的三维坐标转化为屏幕坐标系下的屏幕坐标后，在车辆显示屏上显示三维环视效果图。
基于此，本申请实施例可以对第二三维坐标进行变换处理，得到目标障碍物的屏幕坐标，进而确定目标障碍物在车辆显示屏上的显示位置，然后可以基于目标障碍物在车辆显示屏上的显示位置，在车辆显示屏上显示三维环视效果图，便于驾驶员可以从显示屏上直观判断目标障碍物相对于车辆的具体位置。
可选地，在一些实施例中，变换处理可以包括模视变换、透视投影变换、视口变换中至少一项。
在本实施例中，对第二三维坐标进行变换处理，可以是包括模视变换、透视投影变换、视口变换中至少一项变换处理。示例地，可以依次进行模视变换、透视投影变换和视口变换。模视变换的公式可以如公式(3)所示：
其中，eye可以是指图像坐标系，obj可以是指世界坐标系。
通过模视变换可以使第一图像中的对象从图像坐标系转换到视眼范围内的世界坐标系，方便虚拟视点观察到第一图像中的目标障碍物。
透视投影变换的公式可以如公式(4)和公式(5)所示：
其中，clip可以是指剪裁坐标系，ndc可以是指归一化设备坐标系。
通过透视投影变换可以确定哪些对象位于视野之内，位于视野之外的对象会被剪裁掉，还可以使得远处对象看起来小，近处对象看起来更大，更接近真实世界的投影效果。
视口变换的公式可以如公式(6)所示：
其中，xu和yu为目标障碍物在屏幕坐标系下的屏幕坐标，zw为目标障碍物到屏幕距离，w和h为屏幕分辨率的宽和高，xs和ys为屏幕原点默认偏移位置，f为投影裁剪远平面距离，n为投影裁剪近平面距离。
通过视口变换，可以将归一化的设备坐标转换到屏幕坐标系下，最终可以获得目标障碍物在车辆显示屏上的显示位置。
为了便于理解上述实施例提供的障碍物提示方法，以下以一个具体的场景实施例对上述障碍物提示方法进行说明。图3示出了上述障碍物提示方法的场景实施例流程图。
该场景实施例可以包括如下步骤：
步骤301，系统初始化。
步骤302，读取图像采集装置的参数。示例地，可以读取鱼眼摄像头标定的内外参数。
步骤303，读取预设的三维投影模型。
步骤304，从世界坐标系投影到图像坐标系，实现纹理映射。示例地，可以根据鱼眼摄像头的内外参数确定三维投影模型与鱼眼摄像头采集的图像之间的纹理映射关系。
步骤305，建立纹理坐标到三维坐标的逆向查找表。示例地，可以将三维坐标与纹理坐标之间的映射关系离线保存，生成逆向查找表。
步骤306，图像采集装置采集图像。可以获取鱼眼摄像头拍摄的图像，其中图像中可以包括多个拍摄对象，多个拍摄对象中包括目标障碍物。
步骤307，投影纹理更新。示例地，可以基于采集到的图像，利用像素缓存对象(PBO)完成三维环视投影纹理的更新。
步骤308，初始三维环视图。可以利用图像与三维投影模型之间的纹理映射关系完成着色器渲染，生成初始三维环视图。
步骤309，卷积神经网络实现目标障碍物检测，输出目标障碍物的类别和图像坐标。示例地，鱼眼摄像头拍摄到图像后，可以通过卷积神经网络对图像进行目标检测，确定图像中目标障碍物的类别和图像中目标障碍物的位置。可以将目标障碍物与地面交汇处的中点确定为目标障碍物的脚点，其脚点的坐标即可以为目标障碍物的图像坐标。其中，目标障碍物的类别可以根据实际预警需求，选择行人、骑行者、车辆等至少一项。
步骤310，图像坐标归一化处理得到纹理坐标，逆向查找出目标障碍物的第二三维坐标。示例地，可以先将目标障碍物的图像坐标进行归一化处理，得到目标障碍物的纹理坐标，再根据纹理坐标，在逆向查找表中查找确定目标障碍物在世界坐标系下的第二三维坐标，可以基于该第二三维坐标确定目标障碍物在初始三维环视图中的具体位置。
步骤311，确定目标障碍物与车辆的实际距离，输出目标障碍物的目标预警等级。示例地，还可以根据目标障碍物的图像坐标和鱼眼摄像头的外参数确定目标障碍物的第一三维坐标，可以根据目标障碍物的第一三维坐标，计算目标障碍物与车辆之间的实际距离，并可以根据不同的实际距离，对目标障碍物实现分级预警。可以确定目标障碍物的与其实际距离相匹配的目标预警等级。
步骤312，将目标障碍物从世界坐标系转换到屏幕坐标系。示例地，可以通过模视变换、透视投影变换和视口变换的一系列操作，将目标障碍物从世界坐标系转换到屏幕坐标系，得到目标障碍物的屏幕坐标，即可以确定目标障碍物在车辆显示屏上的显示位置。
步骤313，根据目标预警等级和屏幕坐标对应的显示位置，采用帧缓存绘制警示图标。示例地，可以目标障碍物的目标预警等级，以及目标障碍物在车辆显示屏上的显示位置，采用帧缓存绘制警示图标，通过混合技术在更新投影纹理后的初始三维环视图中实现警示图标半透明化渲染效果。在一些示例中，根据目标预警等级，还可以采取不同声光预警方式提醒驾驶员注意。例如高预警等级采用连续急促的预警铃声，中预警等级采用间隔时间相对长的缓慢预警铃声，低预警等级仅绘制目标障碍物所在位置的警示图标，不提供预警铃声。
步骤314，输出带目标障碍物的预警结果的三维环视效果图。示例地，可以将三维环视效果图显示于车辆显示屏上，驾驶员可以基于三维环视效果图中的预警结果，更直观的判断目标障碍物与车辆的相对位置，进一步提高障碍物的提示效果，有效提高了预警的可靠性。
基于上述实施例提供的障碍物提示方法，本申请还提供了一种障碍物提示装置的实施例。
图4示出了本申请另一个实施例提供的障碍物提示装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图4，障碍物提示装置400可以包括：
第一确定模块401，用于在获取到车辆的图像采集装置采集的图像的情况下，确定图像中目标障碍物的第一三维坐标和第二三维坐标，其中，第一三维坐标基于图像采集装置的参数得到，第二三维坐标基于预设的三维投影模型得到；
第二确定模块402，用于根据第一三维坐标，确定目标障碍物与车辆的实际距离；
绘制模块403，用于在实际距离满足预设条件的情况下，根据第二三维坐标，在初始三维环视图上绘制目标障碍物的警示图标，得到三维环视效果图，其中初始三维环视图基于图像和三维投影模型得到；
显示模块404，用于显示三维环视效果图。
可选地，在一些实施例中，图像采集装置为鱼眼摄像头。
可选地，绘制模块403可以包括：
第一确定单元，用于根据实际距离和预设的预警等级划分规则，确定实际距离匹配的目标预警等级；
显示单元，用于根据第二三维坐标，在初始三维环视图上绘制与目标预警等级对应的警示图标，得到三维环视效果图。
可选地，在一些实施例中，第一确定模块401还可以用于：
确定图像中的目标障碍物的图像坐标；
对图像坐标进行归一化处理，得到纹理坐标；
根据纹理坐标和预设的逆向查找表，确定目标障碍物的第二三维坐标，逆向查找表包括N个纹理坐标与三维坐标的映射关系，N为大于1的整数，N个纹理坐标与三维坐标的映射关系基于预设的三维投影模型确定。
可选地，在一些实施例中，障碍物提示装置400还可以包括：
获取模块，用于获取图像采集装置的参数和预设的三维投影模型；
第三确定模块，用于根据参数和三维投影模型，确定图像采集装置关联的N个图像像素中各图像像素对应的三维坐标；
投影模块，用于根据N个图像像素中各图像像素对应的三维坐标，得到N个图像坐标与三维坐标的投影关系，图像坐标为图像像素的坐标；
映射模块，用于基于N个图像坐标与三维坐标的投影关系，确定N个纹理坐标与三维坐标的映射关系，纹理坐标由图像坐标归一化处理得到；
建立模块，用于根据N个纹理坐标与三维坐标的映射关系，建立逆向查找表。
可选地，在一些实施例中，第三确定模块可以用于：
根据参数和三维投影模型，确定图像采集装置关联的第一图像像素对应的M个初始三维坐标，第一图像像素为N个图像像素中任一图像像素，M为大于1的整数；
确定M个初始三维坐标与第一图像像素的像素中心之间的投影距离；
将投影距离最近的初始三维坐标，确定为第一图像像素对应的三维坐标。
可选地，在一些实施例中，障碍物提示装置400还可以包括：
第四确定模块，用于确定与实际距离对应的预设提示方式；
预警模块，用于按照预设提示方式，发出预警信息，预警信息用于提示车辆避让目标障碍物。
可选地，在一些实施例中，显示模块404还可以用于：
对第二三维坐标进行变换处理，确定目标障碍物在车辆显示屏上的显示位置；
根据显示位置，在车辆显示屏上显示三维环视效果图。
可选地，在一些实施例中，变换处理可以包括模视变换、透视投影变换、视口变换中至少一项。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，与本申请方法实施例基于同一构思，是与上述障碍物提示方法对应的装置，上述方法实施例中所有实现方式均适用于该装置的实施例中，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图5示出了本申请又一个实施例提供的电子设备的硬件结构示意图。
设备可以包括处理器501以及存储有程序或指令的存储器502。
处理器501执行程序时实现上述任意各个方法实施例中的步骤。
示例性的，程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器502中，并由处理器501执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列程序指令段，该指令段用于描述程序在设备中的执行过程。
具体地，上述处理器501可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器502可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器502可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器502可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器502可在综合网关容灾设备的内部或外部。在特定实施例中，存储器502是非易失性固态存储器。
存储器可包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本公开的一方面的方法所描述的操作。
处理器501通过读取并执行存储器502中存储的程序或指令，以实现上述实施例中的任意一种方法。
在一个示例中，电子设备还可包括通信接口503和总线504。其中，处理器501、存储器502、通信接口503通过总线504连接并完成相互间的通信。
通信接口503，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线504包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线504可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的方法，本申请实施例可提供一种可读存储介质来实现。该可读存储介质上存储有程序或指令；该程序或指令被处理器执行时实现上述实施例中的任意一种方法。该可读存储介质可以被如计算机等机器读取。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在可读存储介质中，该程序产品被至少一个处理器执行以实现如上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能模块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网格被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(系统)和程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序或指令实现。这些程序或指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (13)

1.一种障碍物提示方法，其特征在于，包括：
在获取到车辆的图像采集装置采集的图像的情况下，确定所述图像中目标障碍物的第一三维坐标和第二三维坐标，其中，所述第一三维坐标基于所述图像采集装置的参数得到，所述第二三维坐标基于预设的三维投影模型得到；
根据所述第一三维坐标，确定所述目标障碍物与所述车辆的实际距离；
在所述实际距离满足预设条件的情况下，根据所述第二三维坐标，在初始三维环视图上绘制所述目标障碍物的警示图标，得到三维环视效果图，其中，所述初始三维环视图基于所述图像和所述三维投影模型得到；
显示所述三维环视效果图。
2.根据权利要求1所述的方法，其特征在于，所述在所述实际距离满足预设条件的情况下，根据所述第二三维坐标，在所述初始三维环视图上绘制所述目标障碍物的警示图标，得到三维环视效果图，包括：
根据所述实际距离和预设的预警等级划分规则，确定所述实际距离匹配的目标预警等级；
根据所述第二三维坐标，在所述初始三维环视图上绘制与所述目标预警等级对应的警示图标，得到三维环视效果图。
3.根据权利要求1所述的方法，其特征在于，所述确定所述图像中目标障碍物的第二三维坐标，包括：
确定所述图像中的目标障碍物的图像坐标；
对所述图像坐标进行归一化处理，得到纹理坐标；
根据所述纹理坐标和预设的逆向查找表，确定所述目标障碍物的第二三维坐标，所述逆向查找表包括N个纹理坐标与三维坐标的映射关系，N为大于1的整数，所述N个纹理坐标与三维坐标的映射关系基于所述三维投影模型确定。
4.根据权利要求3所述的方法，其特征在于，在所述根据所述纹理坐标和预设的逆向查找表，确定所述目标障碍物的第二三维坐标之前，所述方法还包括：
获取所述图像采集装置的参数和预设的三维投影模型；
根据所述参数和所述三维投影模型，确定所述图像采集装置关联的N个图像像素中各图像像素对应的三维坐标；
根据所述N个图像像素中各图像像素对应的三维坐标，得到N个图像坐标与三维坐标的投影关系，所述图像坐标为所述图像像素的坐标；
基于所述N个图像坐标与三维坐标的投影关系，确定N个纹理坐标与三维坐标的映射关系，所述纹理坐标由所述图像坐标归一化处理得到；
根据所述N个纹理坐标与三维坐标的映射关系，建立所述逆向查找表。
5.根据权利要求4所述的方法，其特征在于，所述根据所述参数和所述三维投影模型，确定所述图像采集装置关联的N个图像像素中各图像像素对应的三维坐标，包括：
根据所述参数和所述三维投影模型，确定所述图像采集装置关联的第一图像像素对应的M个初始三维坐标，所述第一图像像素为所述N个图像像素中任一图像像素，M为大于1的整数；
确定所述M个初始三维坐标与所述第一图像像素的像素中心之间的投影距离；
将所述投影距离最近的初始三维坐标，确定为所述第一图像像素对应的三维坐标。
6.根据权利要求1所述的方法，其特征在于，在根据所述第一三维坐标，确定所述目标障碍物与所述车辆的实际距离之后，所述方法还包括：
确定与所述实际距离对应的预设提示方式；
按照所述预设提示方式，发出预警信息，所述预警信息用于提示所述车辆避让所述目标障碍物。
7.根据权利要求1所述的方法，其特征在于，所述显示所述三维环视效果图，包括：
对所述第二三维坐标进行变换处理，确定所述目标障碍物在车辆显示屏上的显示位置；
根据所述显示位置，在所述车辆显示屏上显示所述三维环视效果图。
8.根据权利要求7所述的方法，其特征在于，所述变换处理包括模视变换、透视投影变换、视口变换中至少一项。
9.根据权利要求1所述的方法，其特征在于，所述图像采集装置为鱼眼摄像头。
10.一种障碍物提示装置，其特征在于，所述装置包括：
第一确定模块，用于在获取到车辆的图像采集装置采集的图像的情况下，确定所述图像中目标障碍物的第一三维坐标和第二三维坐标，其中，所述第一三维坐标基于所述图像采集装置的参数得到，所述第二三维坐标基于预设的三维投影模型得到；
第二确定模块，用于根据所述第一三维坐标，确定所述目标障碍物与所述车辆的实际距离；
绘制模块，用于在所述实际距离满足预设条件的情况下，根据所述第二三维坐标，在初始三维环视图上绘制所述目标障碍物的警示图标，得到三维环视效果图，其中，所述初始三维环视图基于所述图像和所述三维投影模型得到；
显示模块，用于显示所述三维环视效果图。
11.一种电子设备，其特征在于，所述设备包括：处理器以及存储有程序或指令的存储器；
所述处理器执行所述程序或指令时实现如权利要求1-9任意一项所述的方法。
12.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现如权利要求1-9任意一项所述的方法。
13.一种计算机程序产品，其特征在于，所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行如权利要求1-9任意一项所述的方法。
CN202210908233.6A 2022-07-29 2022-07-29 障碍物提示方法、装置、设备、可读存储介质及程序产品 Pending CN117522766A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210908233.6A CN117522766A (zh) 2022-07-29 2022-07-29 障碍物提示方法、装置、设备、可读存储介质及程序产品
PCT/CN2023/109749 WO2024022470A1 (zh) 2022-07-29 2023-07-28 障碍物提示方法、装置、设备、可读存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210908233.6A CN117522766A (zh) 2022-07-29 2022-07-29 障碍物提示方法、装置、设备、可读存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN117522766A true CN117522766A (zh) 2024-02-06

Family

ID=89705532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210908233.6A Pending CN117522766A (zh) 2022-07-29 2022-07-29 障碍物提示方法、装置、设备、可读存储介质及程序产品

Country Status (2)

Country Link
CN (1) CN117522766A (zh)
WO (1) WO2024022470A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853569A (zh) * 2024-03-07 2024-04-09 上海励驰半导体有限公司 车辆外围区域的呈现装置、方法和电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106741985B (zh) * 2016-12-06 2019-02-01 中国航空工业集团公司洛阳电光设备研究所 一种合成视景系统障碍物告警实现方法
CN109525790B (zh) * 2017-09-20 2021-06-25 杭州海康威视数字技术股份有限公司 视频文件生成方法及系统、播放方法及装置
US20190100146A1 (en) * 2017-10-02 2019-04-04 Hua-Chuang Automobile Information Technical Center Co., Ltd. Three-dimensional driving image reminder device
CN111582080B (zh) * 2020-04-24 2023-08-08 杭州鸿泉物联网技术股份有限公司 车辆360度环视监控实现方法及装置
CN114742958B (zh) * 2022-02-18 2023-02-17 禾多科技（北京）有限公司 三维车道信息生成方法、装置、设备和计算机可读介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853569A (zh) * 2024-03-07 2024-04-09 上海励驰半导体有限公司 车辆外围区域的呈现装置、方法和电子设备
CN117853569B (zh) * 2024-03-07 2024-05-28 上海励驰半导体有限公司 车辆外围区域的呈现装置、方法和电子设备

Also Published As

Publication number Publication date
WO2024022470A1 (zh) 2024-02-01

Similar Documents

Publication Publication Date Title
CN110758243B (zh) 一种车辆行驶过程中的周围环境显示方法和系统
JP2021185548A (ja) 物体検出装置、物体検出方法およびプログラム
CN112507862B (zh) 基于多任务卷积神经网络的车辆朝向检测方法及系统
CN111666876B (zh) 用于检测障碍物的方法、装置、电子设备和路侧设备
CN110619674B (zh) 用于事故和警情场景还原的三维增强现实设备及方法
CN112097732A (zh) 一种基于双目相机的三维测距方法、系统、设备及可读存储介质
CN112258610B (zh) 图像标注方法、装置、存储介质及电子设备
CN112017236B (zh) 一种基于单目相机计算目标物位置的方法及装置
WO2024022470A1 (zh) 障碍物提示方法、装置、设备、可读存储介质及程序产品
CN113793413A (zh) 三维重建方法、装置、电子设备及存储介质
CN114295139A (zh) 一种协同感知定位方法及系统
CN115457354A (zh) 融合方法、3d目标检测方法、车载设备及存储介质
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
CN112639822B (zh) 一种数据处理方法及装置
CN117197419A (zh) 雷达点云的标注方法、装置、电子设备及存储介质
CN116343165A (zh) 一种3d目标检测系统、方法、终端设备及存储介质
CN115511944A (zh) 基于单相机的尺寸估计方法、装置、设备及存储介质
US12008777B2 (en) Validating an SfM map using lidar point clouds
CN114612544B (zh) 图像处理方法、装置、设备和存储介质
CN115063772B (zh) 一种车辆编队后车检测方法、终端设备及存储介质
US20230128756A1 (en) Validating an sfm map using lidar point clouds
CN114780762B (zh) 一种输电线路夜视图像的点云测距自动标注方法及系统
US20190102948A1 (en) Image display device, image display method, and computer readable medium
CN116824536A (zh) 一种基于车载环视的障碍物识别方法、装置及设备
CN117437610A (zh) 基于单目视觉的车辆3d目标检测方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination