CN115578502A - 一种图像生成方法、装置、电子设备及存储介质 - Google Patents

一种图像生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115578502A
CN115578502A CN202211447460.XA CN202211447460A CN115578502A CN 115578502 A CN115578502 A CN 115578502A CN 202211447460 A CN202211447460 A CN 202211447460A CN 115578502 A CN115578502 A CN 115578502A
Authority
CN
China
Prior art keywords
point
image
coordinates
depth
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211447460.XA
Other languages
English (en)
Other versions
CN115578502B (zh
Inventor
余海涛
吴国苏州
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zhishi Intelligent Technology Co ltd
Original Assignee
Hangzhou Zhishi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhishi Intelligent Technology Co ltd filed Critical Hangzhou Zhishi Intelligent Technology Co ltd
Priority to CN202211447460.XA priority Critical patent/CN115578502B/zh
Publication of CN115578502A publication Critical patent/CN115578502A/zh
Application granted granted Critical
Publication of CN115578502B publication Critical patent/CN115578502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明的实施例公开一种图像生成方法、装置、电子设备及存储介质。该方法包括：通过测距传感器获取目标车辆所在环境的深度图像；通过图像获取装置获取目标车辆所在环境的光学图像；获取目标车辆对应的环视模型；确定环视模型中的每个点的三维坐标；根据所述深度图像、所述每个点的三维坐标及所述多个图像获取装置的坐标查找所述每个点的深度，以获取每个点对应的唯一点；根据所述每个点的三维坐标及所述每个点对应的唯一点生成真实世界坐标；根据所述真实世界坐标利用所述图像获取装置预设的模型计算得到图像纹理坐标；根据所述图像纹理坐标从所述光学图像中提取纹理并进行拼接，生成所述环境对应的图像。

Description

一种图像生成方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像生成方法、装置、电子设备及存储介质。
背景技术
3dAVM（360度立体全景影像系统，3d Around View Monitor）是一种通过围绕车身安装的摄像头实时捕捉车身周围影像，通过特殊算法处理这些实时影像，形成环绕车身周围的全景立体影像，并将这一影像的某一视角实时渲染到车载显示屏上，供驾驶员无死角地观察车身周围实时状况的技术，可帮助驾驶员实现无盲区驾驶、全景泊车等任务，对安全驾驶有很大帮助。
当前的3dAVM大多采用对摄像头捕获的实时图片或影像进行畸变矫正，再进行拼接的方法。拼接时往往会按照一定预设尺寸，建立一个3d碗状模型，对碗状模型上的点，通过相机模型寻找对应的像素坐标。环绕车身安装的摄像头数量通常很少（例如只有4个），大多厂商都使用超广角或鱼眼摄像头，如此便可利用相邻摄像头间视野重合区域，达到无死角观察车身周围实时状况的效果。对于某个摄像头视野中不与其他摄像头视野重合的区域，无法从该摄像头捕获的单张图片中获取此时场景下的深度信息，因此无法复原该摄像头该视野区域的3d形貌。对于某个摄像头视野中与其他摄像头视野的重合区域，虽然理论上可以准确复原该区域的3d形貌，但是由于现实中使用的摄像头畸变太大，并且无法实时提取足够的图像特征点并匹配等原因，实际上也无法进行3d形貌的完全复原。因此，当前的3dAVM具有距离车身近处物体有拉伸形变，两摄像头视野重合范围内物体显示断裂、消失、或重复出现等等缺陷，影响3dAVM的显示效果，为其应用带来诸多困难。
发明内容
有鉴于此，本发明实施例提供一种图像生成方法、装置、电子设备及存储介质，可有效解决摄像头视野重合区域内物体的断裂、消失或重复出现的问题。
在第一方面，本发明实施例提供一种图像生成方法， 目标车辆上环绕车身安装有多个图像获取装置及测距传感器，所述方法包括：
通过所述测距传感器获取所述目标车辆所在环境的深度图像；
通过所述图像获取装置获取所述目标车辆所在环境的光学图像；
获取所述目标车辆对应的环视模型；
确定所述环视模型中的每个点的三维坐标；
根据所述深度图像、所述每个点的三维坐标及所述多个图像获取装置的坐标查找所述每个点的深度，以获取每个点对应的唯一点；
根据所述每个点的三维坐标及所述每个点对应的唯一点生成真实世界坐标；
根据所述真实世界坐标利用所述图像获取装置预设的模型计算得到图像纹理坐标；
根据所述图像纹理坐标从所述光学图像中提取纹理并进行拼接，生成所述环境对应的图像。
优选的，在所述通过所述图像获取装置获取目标车辆所在环境的深度图像之后，所述方法还包括：删除所述深度图像中的离群点及超出预设深度范围的点；对所述深度图像中的稀疏区域进行插值，对密集区域进行稀疏化对所述深度图像中的点进行三角化；基于固定坐标系对所述深度图像进行坐标变换，使得每个深度图像中的点坐标为同一世界坐标系中的坐标。
优选的，所述根据所述深度图像、所述每个点的三维坐标及所述多个图像获取装置的坐标查找所述每个点的深度，以获取每个点对应的唯一点，包括：针对所述每个点，从所述环视模型中删除该点；在所述多个图像获取装置中查找视野中包括该点，但获取的光学图像中不包含该点的目标图像获取装置；根据该点的三维坐标及所述目标图像获取装置的坐标确定该点对应的唯一点；将所述唯一点添加至所述环视模型；对所述唯一点进行三角化。
优选的，所述从所述环视模型中删除该点，包括：从所述环视模型中删除该点的三维坐标，并将所述环视模型的三角化网格中与该点连接的边断开。
优选的，所述环视模型具体包括：平底碗状模型。
在第二方面，本发明实施例提供一种图像生成装置，目标车辆上环绕车身安装有多个图像获取装置及测距传感器，所述装置包括：
第一获取单元，用于通过所述测距传感器获取所述目标车辆所在环境的深度图像；
第二获取单元，用于通过所述图像获取装置获取所述目标车辆所在环境的光学图像；
第三获取单元，用于获取所述目标车辆对应的环视模型；
确定单元，用于确定所述环视模型中的每个点的三维坐标；
查找单元，用于根据所述深度图像、所述每个点的三维坐标及所述多个图像获取装置的坐标查找所述每个点的深度，以获取每个点对应的唯一点；
第一生成单元，用于根据所述每个点的三维坐标及所述每个点对应的唯一点生成真实世界坐标；
计算单元，用于根据所述真实世界坐标利用所述图像获取装置预设的模型计算得到图像纹理坐标；
第二生成单元，用于根据所述图像纹理坐标从所述光学图像中提取纹理并进行拼接，生成所述环境对应的图像。
优选的，所述装置还包括：删除单元，用于删除所述深度图像中的离群点及超出预设深度范围的点；处理单元，用于对所述深度图像中的稀疏区域进行插值，对密集区域进行稀疏化，对所述深度图像中的点进行三角化；变换单元，用于基于固定坐标系对所述深度图像进行坐标变换，使得每个深度图像中的点坐标为同一世界坐标系中的坐标。
优选的，所述查找单元，具体用于：针对所述每个点，从所述环视模型中删除该点；在所述多个图像获取装置中查找视野中包括该点，但获取的光学图像中不包含该点的目标图像获取装置；根据该点的三维坐标及所述目标图像获取装置的坐标确定该点对应的唯一点；将所述唯一点添加至所述环视模型；对所述唯一点进行三角化。
优选的，所述查找单元具体用于：从所述环视模型中删除该点的三维坐标，并将所述环视模型的三角化网格中与该点连接的边断开。
优选的，所述环视模型具体为：平底碗状模型。
在第三方面，本发明实施例提供一种电子设备，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述第一方面所述的图像生成方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现第一方面所述的图像生成方法。
本发明实施例提供的一种图像生成方法、装置、电子设备及存储介质，通过测距传感器获取目标车辆所在环境的深度图像，通过图像获取装置获取目标车辆所在环境的光学图像，以及获取目标车辆对应的环视模型，确定环视模型中的每个点的三维坐标，根据深度图像、所述每个点的三维坐标及多个图像获取装置的坐标查找每个点的深度，以获取每个点对应的唯一点，根据每个点的三维坐标及每个点对应的唯一点生成真实世界坐标，之后根据真实世界坐标利用图像获取装置预设的模型计算得到图像纹理坐标，再根据图像纹理坐标从光学图像中提取纹理并进行拼接，生成环境对应的图像。基于此生成的图像不会出现图像获取装置视野重合区域内物体的断裂、消失或重复出现的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明的实施例提供的一种图像生成方法的流程示意图；
图2为本发明的实施例提供的一种平底碗状模型示意图；
图3为本发明的实施例提供的一种查找深度的方法的流程示意图；
图4为本发明的实施例提供的一种确定唯一点的方法的流程示意图；
图5为实施本发明实施例提供的图像生成方法生成的图片效果图；
图6为本发明的实施例提供的一种图像生成装置的结构示意图；
图7为本发明电子设备一个实施例的结构示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明的实施例提供的一种图像生成方法的流程示意图。该图像生成方法可以应用于电子设备。
在本实施例中，目标车辆上环绕车身安装有多个图像获取装置及测距传感器，如图1所示，本实施例的图像生成方法可以包括：
步骤101，通过测距传感器获取目标车辆所在环境的深度图像。
在一个例子中，测距传感器包括但不限于：雷达或激光。其中，深度图像具体为测距传感器获取的一组信号，该信号包含一系列离散点，每个点包含三维坐标，分别表示横向坐标、纵向坐标以及深度。
优选的，在步骤101之后，可以对深度图像进行一定的处理，以便后续使用，具体的，本实施例提供的方法还可以包括：
删除深度图像中的离群点及超出预设深度范围的点；对深度图像中的稀疏区域进行插值，对密集区域进行稀疏化，对所述深度图像中的点进行三角化；基于固定坐标系对深度图像进行坐标变换，使得每个深度图像中的点坐标为同一世界坐标系中的坐标。
步骤102，通过图像获取装置获取目标车辆所在环境的光学图像。
在一个例子中，图像获取装置包括但不限于摄像头。
步骤103，获取目标车辆对应的环视模型。
具体的，如图2所示，该环视模型可以为平底碗状模型。该平底碗状模型不限于底面或顶面为圆形，可以是椭圆或其他形状。碗壁也不限于球形，可以是锥形或椭圆面等等。该平底碗状模型包含的顶点可以由碗面方程
Figure DEST_PATH_IMAGE001
或
Figure DEST_PATH_IMAGE002
计算得到。其中，碗面方程也可以使用柱坐标系或极坐标系表示。
步骤104，确定环视模型中的每个点的三维坐标。
步骤105，根据深度图像、每个点的三维坐标及环绕车身的多个图像获取装置的坐标查找每个点的深度，以获取每个点对应的唯一点。
优选的，如图3所示，步骤105可以具体包括：
步骤1051，针对每个点，从环视模型中删除该点。
具体的，从环视模型中删除该点，不仅要删除该点的三维坐标，也要将环视模型的三角化网格中与该点连接的边断开。
步骤1502，在多个图像获取装置中查找视野中包括该点，但获取的光学图像中不包含该点的目标图像获取装置。
在一个具体的例子中，假设图像获取装置为相机，共有n个相机，在初始相机编号{1, …, n} 中删除传入该步骤的k，得到相机编号 {1, 2,…, k-1, k+1,…, n}。针对相机编号中的每个编号i，检查传入该步骤的点是否在相机i的fov中，若不在则在相机编号中删除i，最终得到相机编号{k1, k2, …}，即目标图像获取装置。
步骤1503，根据该点的三维坐标及目标图像获取装置的坐标确定该点对应的唯一点。
在一个具体例子中，如图4所示，步骤1503可以具体包括：
a)计算射线，即以相机k的安装位置
Figure DEST_PATH_IMAGE003
为起点，过该点的三维坐标
Figure DEST_PATH_IMAGE004
获得一条射线，射线方程为
Figure DEST_PATH_IMAGE005
。
b) 获取三角形，即在深度点云三角化网格中选取某个三角形，该三角形由三个顶点的坐标
Figure DEST_PATH_IMAGE006
表示。
c) 判断射线与三角形是否平行，即若
Figure DEST_PATH_IMAGE007
，则射线与该三角形平行，否则不平行。射线与三角形平行包含了射线穿过三角形这种情况，认为此时相机并不能“看到”该三角形，因此不认为在该三角形中能找到与射线的交点。
d) 判断三角形顶点是否在射线上，即计算上述三角形的三个顶点坐标是否满足上述射线方程，若有某个点满足，则该判断结果为是，执行g）；若都不满足，则该判断结果为否，执行e）。
e) 射线与三角形所在平面交点，三角形所在平面方程为
Figure DEST_PATH_IMAGE008
，其中| |表示行列式。因此射线经过该平面的点满足该方程和上述直线方程，联立即可得到结果
Figure DEST_PATH_IMAGE009
。
f) 判断交点是否在三角形内，则只需判断
Figure DEST_PATH_IMAGE010
、
Figure DEST_PATH_IMAGE011
、
Figure DEST_PATH_IMAGE012
三者是否同号即可，若三者同号，则点在三角形内（射线穿过该三角形），否则点在三角形外（射线不穿过该三角形）。若某个值为0，则该交点在三角形某条边上，认为该点也在三角形内，执行g）。
g) 输出交点，根据以上计算的结果，输出计算得到的交点结果，该交点可能是三角形某个顶点，或者是三角形内（或某条边上）的点，将这些焦点作为候选点。
h) 对环视模型的点，通过以上过程可以得到0个、1个或多个不同的候选点，该点的实际深度的计算方法为：如果找到0个候选点，则使用该点的坐标不变，仍为
Figure DEST_PATH_IMAGE013
；如果找到一个候选点，则使用找到的候选点的深度作为该点深度，并根据上述射线方程计算该点坐标（即将深度作为z，代入上述射线方程）；如果找到多个候选点，则使用最小深度作为该点深度，并根据上述射线方程计算该点坐标，从而获得唯一点。
步骤1504，将唯一点添加至环视模型。
步骤1505，对唯一点进行三角化。
具体的，三角化可以使用平面投影法，将该唯一点及其邻域内的点投影到某个平面上，在该领域内进行该唯一点的增量式剖分，再将剖分结果保持连接关系不变映射回原来的顶点，以完成三角化。
步骤106，根据每个点的三维坐标及每个点对应的唯一点生成真实世界坐标。
步骤107，根据真实世界坐标利用图像获取装置预设的模型计算得到图像纹理坐标。
在一个具体的例子中，每个点都包含一个绑定的相机编号，获取该编号对应的相机预设的模型，利用此模型即可计算对应的光学图像中的像素坐标，该坐标即为纹理坐标。其中，相机的预设模型包括相机外参数和内参数。外参数可以包含旋转矩阵R和平移向量T，可将点的世界坐标系坐标
Figure DEST_PATH_IMAGE014
转换到相机坐标系坐标
Figure DEST_PATH_IMAGE015
。内参数可以包含该相机的内参矩阵
Figure DEST_PATH_IMAGE016
和畸变参数。畸变参数由所使用的畸变模型不同而不同，例如鱼眼相机的Kannala模型，经过畸变的相机坐标系坐标为
Figure DEST_PATH_IMAGE017
，其中
Figure DEST_PATH_IMAGE018
，
Figure DEST_PATH_IMAGE019
，
Figure DEST_PATH_IMAGE020
，这里的
Figure DEST_PATH_IMAGE021
即为畸变参数，记畸变映射为
Figure DEST_PATH_IMAGE022
。因此通过世界坐标
Figure DEST_PATH_IMAGE023
计算纹理坐标
Figure DEST_PATH_IMAGE024
的公式为：
Figure DEST_PATH_IMAGE025
。
步骤108，根据图像纹理坐标从光学图像中提取纹理并进行拼接，生成目标车辆所在环境对应的图像。
具体的，由于每个唯一点都进行了三角化，因此可利用每个唯一点的三角形顶点对应的纹理坐标，从获取的光学图像中获取相应纹理，再通过拓扑变换处理该纹理，并将处理后的纹理贴图至模型中，得到最终的图片。
如图5所示，图5为实施本发明实施例提供的图像生成方法生成的图片，可见框中的汽车、锥桶和单车均无畸变。
通过利用本发明实施例提供的一种图像生成方法，通过测距传感器获取目标车辆所在环境的深度图像，通过图像获取装置获取目标车辆所在环境的光学图像，以及获取目标车辆对应的环视模型，确定环视模型中的每个点的三维坐标，根据深度图像、所述每个点的三维坐标及多个图像获取装置的坐标查找每个点的深度，以获取每个点对应的唯一点，根据每个点的三维坐标及每个点对应的唯一点生成真实世界坐标，之后根据真实世界坐标利用图像获取装置预设的模型计算得到图像纹理坐标，再根据图像纹理坐标从光学图像中提取纹理并进行拼接，生成环境对应的图像。基于此生成的图像不会出现图像获取装置视野重合区域内物体的断裂、消失或重复出现的问题。此外，采用本实施例的方法计算量小，实施简单，可保证显示的实时性。
图6为本发明实施例提供的一种图像生成装置的结构示意图。该装置可以应用于电子设备。
在本实施例中，目标车辆上环绕车身安装有多个图像获取装置及测距传感器，如图6所示，本实施例的图像生成装置可以包括：
第一获取单元601，用于通过所述测距传感器获取所述目标车辆所在环境的深度图像；
第二获取单元602，用于通过所述图像获取装置获取所述目标车辆所在环境的光学图像；
第三获取单元603，用于获取所述目标车辆对应的环视模型；
确定单元604，用于确定所述环视模型中的每个点的三维坐标；
查找单元605，用于根据所述深度图像、所述每个点的三维坐标及所述多个图像获取装置的坐标查找所述每个点的深度，以获取每个点对应的唯一点；
第一生成单元606，用于根据所述每个点的三维坐标及所述每个点对应的唯一点生成真实世界坐标；
计算单元607，用于根据所述真实世界坐标利用所述图像获取装置预设的模型计算得到图像纹理坐标；
第二生成单元608，用于根据所述图像纹理坐标从所述光学图像中提取纹理并进行拼接，生成所述环境对应的图像。
优选的，所述装置还包括：
删除单元，用于删除所述深度图像中的离群点及超出预设深度范围的点；
处理单元，用于对所述深度图像中的稀疏区域进行插值，对密集区域进行稀疏化，对所述深度图像中的点进行三角化；
变换单元，用于基于固定坐标系对所述深度图像进行坐标变换，使得每个深度图像中的点坐标为同一世界坐标系中的坐标。
优选的，所述查找单元具体用于：针对所述每个点，从所述环视模型中删除该点；在所述多个图像获取装置中查找视野中包括该点，但获取的光学图像中不包含该点的目标图像获取装置；根据该点的三维坐标及所述目标图像获取装置的坐标确定该点对应的唯一点；将所述唯一点添加至所述环视模型；对所述唯一点进行三角化。
优选的，所述查找单元具体用于：从所述环视模型中删除该点的三维坐标，并将所述环视模型的三角化网格中与该点连接的边断开。
优选的，所述环视模型具体为：平底碗状模型。
通过利用本发明实施例提供的一种图像生成装置，通过测距传感器获取目标车辆所在环境的深度图像，通过图像获取装置获取目标车辆所在环境的光学图像，以及获取目标车辆对应的环视模型，确定环视模型中的每个点的三维坐标，根据深度图像、所述每个点的三维坐标及多个图像获取装置的坐标查找每个点的深度，以获取每个点对应的唯一点，根据每个点的三维坐标及每个点对应的唯一点生成真实世界坐标，之后根据真实世界坐标利用图像获取装置预设的模型计算得到图像纹理坐标，再根据图像纹理坐标从光学图像中提取纹理并进行拼接，生成环境对应的图像。基于此生成的图像不会出现图像获取装置视野重合区域内物体的断裂、消失或重复出现的问题。此外，采用本实施例的装置，计算量小，实施简单，可保证显示的实时性。
本发明实施例还提供一种电子设备。图7为本发明电子设备一个实施例的结构示意图，可以实现本发明图1所示实施例的流程，如图7所示，上述电子设备可以包括：壳体71、处理器72、存储器73、电路板74和电源电路75，其中，电路板74安置在壳体71围成的空间内部，处理器72和存储器73设置在电路板74上；电源电路75，用于为上述电子设备的各个电路或器件供电；存储器73用于存储可执行程序代码；处理器72通过读取存储器73中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一实施例所述的方法。
该电子设备以多种形式存在，包括但不限于：
(1) 移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通 信为主要目标。这类终端包括：智能手机（例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2) 超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能， 一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3) 便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、 视频播放模块（例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4) 服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5) 其他具有数据交互功能的电子设备。
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述任一实施例所述的方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
为了描述的方便，描述以上装置是以功能分为各种单元/模块分别描述。当然，在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种图像生成方法，其特征在于，目标车辆上环绕车身安装有多个图像获取装置及测距传感器，所述方法包括：
通过所述测距传感器获取所述目标车辆所在环境的深度图像；
通过所述图像获取装置获取所述目标车辆所在环境的光学图像；
获取所述目标车辆对应的环视模型；
确定所述环视模型中的每个点的三维坐标；
根据所述深度图像、所述每个点的三维坐标及所述多个图像获取装置的坐标查找所述每个点的深度，以获取每个点对应的唯一点；
根据所述每个点的三维坐标及所述每个点对应的唯一点生成真实世界坐标；
根据所述真实世界坐标利用所述图像获取装置预设的模型计算得到图像纹理坐标；
根据所述图像纹理坐标从所述光学图像中提取纹理并进行拼接，生成所述环境对应的图像。
2.根据权利要求1所述的方法，其特征在于，在所述通过所述图像获取装置获取目标车辆所在环境的深度图像之后，所述方法还包括：
删除所述深度图像中的离群点及超出预设深度范围的点；
对所述深度图像中的稀疏区域进行插值，对密集区域进行稀疏化，对所述深度图像中的点进行三角化；
基于固定坐标系对所述深度图像进行坐标变换，使得每个深度图像中的点坐标为同一世界坐标系中的坐标。
3.根据权利要求1所述的方法，其特征在于，所述根据所述深度图像、所述每个点的三维坐标及所述多个图像获取装置的坐标查找所述每个点的深度，以获取每个点对应的唯一点，包括：
针对所述每个点，从所述环视模型中删除该点；
在所述多个图像获取装置中查找视野中包括该点，但获取的光学图像中不包含该点的目标图像获取装置；
根据该点的三维坐标及所述目标图像获取装置的坐标确定该点对应的唯一点；
将所述唯一点添加至所述环视模型；
对所述唯一点进行三角化。
4.根据权利要求3所述的方法，其特征在于，所述从所述环视模型中删除该点，包括：
从所述环视模型中删除该点的三维坐标，并将所述环视模型的三角化网格中与该点连接的边断开。
5.根据权利要求1所述的方法，其特征在于，所述环视模型具体包括：平底碗状模型。
6.一种图像生成装置，其特征在于，目标车辆上环绕车身安装有多个图像获取装置及测距传感器，所述装置包括：
第一获取单元，用于通过所述测距传感器获取所述目标车辆所在环境的深度图像；
第二获取单元，用于通过所述图像获取装置获取所述目标车辆所在环境的光学图像；
第三获取单元，用于获取所述目标车辆对应的环视模型；
确定单元，用于确定所述环视模型中的每个点的三维坐标；
查找单元，用于根据所述深度图像、所述每个点的三维坐标及所述多个图像获取装置的坐标查找所述每个点的深度，以获取每个点对应的唯一点；
第一生成单元，用于根据所述每个点的三维坐标及所述每个点对应的唯一点生成真实世界坐标；
计算单元，用于根据所述真实世界坐标利用所述图像获取装置预设的模型计算得到图像纹理坐标；
第二生成单元，用于根据所述图像纹理坐标从所述光学图像中提取纹理并进行拼接，生成所述环境对应的图像。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
删除单元，用于删除所述深度图像中的离群点及超出预设深度范围的点；
处理单元，用于对所述深度图像中的稀疏区域进行插值，对密集区域进行稀疏化，对所述深度图像中的点进行三角化；
变换单元，用于基于固定坐标系对所述深度图像进行坐标变换，使得每个深度图像中的点坐标为同一世界坐标系中的坐标。
8.根据权利要求6所述的装置，其特征在于，所述查找单元，具体用于：
针对所述每个点，从所述环视模型中删除该点；
在所述多个图像获取装置中查找视野中包括该点，但获取的光学图像中不包含该点的目标图像获取装置；
根据该点的三维坐标及所述目标图像获取装置的坐标确定该点对应的唯一点；
将所述唯一点添加至所述环视模型；
对所述唯一点进行三角化。
9.根据权利要求8所述的装置，其特征在于，所述查找单元具体用于：
从所述环视模型中删除该点的三维坐标，并将所述环视模型的三角化网格中与该点连接的边断开。
10.根据权利要求6所述的装置，其特征在于，所述环视模型具体包括：平底碗状模型。
11.一种电子设备，其特征在于，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述权利要求1-5任一项所述的图像生成方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述权利要求1-5任一项所述的图像生成方法。
CN202211447460.XA 2022-11-18 2022-11-18 一种图像生成方法、装置、电子设备及存储介质 Active CN115578502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211447460.XA CN115578502B (zh) 2022-11-18 2022-11-18 一种图像生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211447460.XA CN115578502B (zh) 2022-11-18 2022-11-18 一种图像生成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115578502A true CN115578502A (zh) 2023-01-06
CN115578502B CN115578502B (zh) 2023-04-07

Family

ID=84588547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211447460.XA Active CN115578502B (zh) 2022-11-18 2022-11-18 一种图像生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115578502B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244387A (ja) * 2005-03-07 2006-09-14 Toshiba Corp ３次元モデル生成装置、３次元モデル生成方法および３次元モデル生成プログラム
WO2012132234A1 (ja) * 2011-03-31 2012-10-04 パナソニック株式会社 全周囲立体画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
CN106355553A (zh) * 2016-09-06 2017-01-25 深圳格兰泰克汽车电子有限公司 一种360环视拼接方法及装置
CN110727009A (zh) * 2019-10-10 2020-01-24 武汉理工大学 一种基于车载环视图像的高精视觉地图构建和定位方法
CN111435540A (zh) * 2019-01-15 2020-07-21 苏州沃迈智能科技有限公司 一种车载环视系统的环视图拼接方法
CN111582080A (zh) * 2020-04-24 2020-08-25 杭州鸿泉物联网技术股份有限公司 车辆360度环视监控实现方法及装置
CN112184818A (zh) * 2020-10-09 2021-01-05 重庆邮电大学 基于视觉的车辆定位方法及应用其方法的停车场管理系统
CN113302648A (zh) * 2021-04-23 2021-08-24 华为技术有限公司 一种全景图像的生成方法、车载图像处理装置及车辆
CN113870161A (zh) * 2021-09-13 2021-12-31 杭州鸿泉物联网技术股份有限公司 基于人工智能的车载3d环视拼接方法及装置
US20220109791A1 (en) * 2020-10-01 2022-04-07 Black Sesame International Holding Limited Panoramic look-around view generation method, in-vehicle device and in-vehicle system
WO2022083830A1 (de) * 2020-10-19 2022-04-28 Continental Automotive Gmbh Kamerasystem zur umfelderfassung für ein fahrzeug
CN115249355A (zh) * 2022-09-22 2022-10-28 杭州枕石智能科技有限公司 目标关联方法、设备及计算机可读存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244387A (ja) * 2005-03-07 2006-09-14 Toshiba Corp ３次元モデル生成装置、３次元モデル生成方法および３次元モデル生成プログラム
WO2012132234A1 (ja) * 2011-03-31 2012-10-04 パナソニック株式会社 全周囲立体画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
CN106355553A (zh) * 2016-09-06 2017-01-25 深圳格兰泰克汽车电子有限公司 一种360环视拼接方法及装置
CN111435540A (zh) * 2019-01-15 2020-07-21 苏州沃迈智能科技有限公司 一种车载环视系统的环视图拼接方法
CN110727009A (zh) * 2019-10-10 2020-01-24 武汉理工大学 一种基于车载环视图像的高精视觉地图构建和定位方法
CN111582080A (zh) * 2020-04-24 2020-08-25 杭州鸿泉物联网技术股份有限公司 车辆360度环视监控实现方法及装置
US20220109791A1 (en) * 2020-10-01 2022-04-07 Black Sesame International Holding Limited Panoramic look-around view generation method, in-vehicle device and in-vehicle system
CN112184818A (zh) * 2020-10-09 2021-01-05 重庆邮电大学 基于视觉的车辆定位方法及应用其方法的停车场管理系统
WO2022083830A1 (de) * 2020-10-19 2022-04-28 Continental Automotive Gmbh Kamerasystem zur umfelderfassung für ein fahrzeug
CN113302648A (zh) * 2021-04-23 2021-08-24 华为技术有限公司 一种全景图像的生成方法、车载图像处理装置及车辆
WO2022222121A1 (zh) * 2021-04-23 2022-10-27 华为技术有限公司 一种全景图像的生成方法、车载图像处理装置及车辆
CN113870161A (zh) * 2021-09-13 2021-12-31 杭州鸿泉物联网技术股份有限公司 基于人工智能的车载3d环视拼接方法及装置
CN115249355A (zh) * 2022-09-22 2022-10-28 杭州枕石智能科技有限公司 目标关联方法、设备及计算机可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIANGMO ZHAO 等: "Omni-Directional Obstacle Detection for Vehicles Based on Depth Camera" *
吕晓聪 等: "一种智轨列车的全景环视图像生成方法" *
席小霞;宋文爱;邱子璇;史磊;: "基于RGB-D值的三维图像重建系统研究" *
漆驰,郑国勤,孙家广: "一个基于全景图的虚拟环境漫游系统" *

Also Published As

Publication number Publication date
CN115578502B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112927362B (zh) 地图重建方法及装置、计算机可读介质和电子设备
EP3534336B1 (en) Panoramic image generating method and apparatus
CN112270754B (zh) 局部网格地图构建方法及装置、可读介质和电子设备
CN107274483A (zh) 一种物体三维模型构建方法
US9361731B2 (en) Method and apparatus for displaying video on 3D map
CN110599593B (zh) 数据合成的方法、装置、设备及存储介质
CN111104893B (zh) 目标检测方法、装置、计算机设备及存储介质
CN110378947B (zh) 3d模型重建方法、装置及电子设备
CN112269851A (zh) 地图数据更新方法、装置、存储介质与电子设备
CN112270709B (zh) 地图构建方法及装置、计算机可读存储介质和电子设备
CN112270702A (zh) 体积测量方法及装置、计算机可读介质和电子设备
CN113436338A (zh) 火灾现场的三维重建方法、装置、服务器及可读存储介质
CN114782647A (zh) 一种模型重建方法、装置、设备及存储介质
CN115035235A (zh) 三维重建方法及装置
US20240261677A1 (en) Determination method, determination apparatus of calibration information and electronic device
CN113570725A (zh) 基于聚类的三维表面重建方法、装置、服务器及存储介质
CN117635875B (zh) 一种三维重建方法、装置及终端
WO2019196871A1 (zh) 建模方法及相关装置
WO2020181510A1 (zh) 一种图像数据处理方法、装置及系统
CN115578502B (zh) 一种图像生成方法、装置、电子设备及存储介质
CN116824688A (zh) 小腿动作捕捉方法、系统及存储介质
CN112767453B (zh) 人脸跟踪方法、装置、电子设备及存储介质
CN112950535B (zh) 视频处理方法、装置、电子设备及存储介质
CN114066731A (zh) 生成全景图的方法、装置、电子设备及存储介质
CN110827411B (zh) 自适应环境的增强现实模型显示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant