CN115587929A - 鱼眼图像的生成方法、装置、终端设备及存储介质 - Google Patents

鱼眼图像的生成方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN115587929A
CN115587929A CN202211399839.8A CN202211399839A CN115587929A CN 115587929 A CN115587929 A CN 115587929A CN 202211399839 A CN202211399839 A CN 202211399839A CN 115587929 A CN115587929 A CN 115587929A
Authority
CN
China
Prior art keywords
fisheye
pixel point
pixel
scene
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211399839.8A
Other languages
English (en)
Inventor
陈方平
高明
吴志远
杨瑞鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Yunsheng Intelligent Technology Co ltd
Original Assignee
Tianjin Yunsheng Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Yunsheng Intelligent Technology Co ltd filed Critical Tianjin Yunsheng Intelligent Technology Co ltd
Priority to CN202211399839.8A priority Critical patent/CN115587929A/zh
Publication of CN115587929A publication Critical patent/CN115587929A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/047Fisheye or wide-angle transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种鱼眼图像的生成方法、装置、终端设备及存储介质,包括:在鱼眼模拟视角下获取所述虚拟场景对应的多个场景图像;其中,所述鱼眼模拟视角是基于多个分视角拼接得到的;根据预先配置的坐标映射函数,确定每个所述场景图像中每个第一像素点对应的鱼眼像素坐标;基于每个所述场景图像中每个所述第一像素点对应的颜色值和所述鱼眼像素坐标,生成所述虚拟场景对应的目标鱼眼图像。本发明可以较好地模拟鱼眼相机的成像效果,以满足更大FOV范围、更大角度的应用需求。

Description

鱼眼图像的生成方法、装置、终端设备及存储介质
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种鱼眼图像的生成方法、装置、终端设备及存储介质。
背景技术
目前,三维引擎可用于AI(Artificial Intelligence,人工智能)、自动驾驶、无人机仿真避障等研发阶段。但是,现有三维引擎中仅配置有FOV(Field of view,视场)值为0-180°的相机模型,无法满足更大FOV范围、更大角度的应用需求。
发明内容
有鉴于此,本发明的目的在于提供一种鱼眼图像的生成方法、装置、终端设备及存储介质,可以较好地模拟鱼眼相机的成像效果,以满足更大FOV范围、更大角度的应用需求。
第一方面,本发明实施例提供了一种鱼眼图像的生成方法,通过终端提供图形用户界面,所述图形用户界面所显示的内容至少包括虚拟场景,包括:在鱼眼模拟视角下获取所述虚拟场景对应的多个场景图像;其中,所述鱼眼模拟视角是基于多个分视角拼接得到的;根据预先配置的坐标映射函数,确定每个所述场景图像中每个第一像素点对应的鱼眼像素坐标;基于每个所述场景图像中每个所述第一像素点对应的颜色值和所述鱼眼像素坐标,生成所述虚拟场景对应的目标鱼眼图像。
在一种实施方式中,所述在鱼眼模拟视角下获取所述虚拟场景对应的多个场景图像的步骤,包括:对于所述鱼眼模拟视角中的每个分视角,在三维引擎中配置该分视角对应的分相机组件,并通过所述分相机组件采集该分视角下所述虚拟场景对应的场景图像。
在一种实施方式中,在所述根据预先配置的坐标映射函数,确定每个所述场景图像中每个第一像素点对应的鱼眼像素坐标的步骤之前,所述方法还包括:基于向量转换模型,以及每个所述分相机组件的预览画面对应的像素范围,确定每个所述分相机组件对应的坐标映射函数;其中,所述向量转换模型用于实现二维向量与三维向量之间的互相转换。
在一种实施方式中,所述根据预先配置的坐标映射函数,确定每个所述场景图像中每个第一像素点对应的鱼眼像素坐标的步骤,包括:获取每个所述场景图像中每个第一像素点的原始像素坐标;将每个所述第一像素点的所述原始像素坐标,输入至预先配置的坐标映射函数,得到每个所述第一像素点对应的鱼眼像素坐标。
在一种实施方式中,所述基于每个所述场景图像中每个所述第一像素点对应的颜色值和所述鱼眼像素坐标,生成所述虚拟场景对应的目标鱼眼图像的步骤,包括:对于每个第一像素点,基于该第一像素点对应的原始像素坐标,从该第一像素点所属的场景图像中读取该第一像素点对应的颜色值,并按照该第一像素点对应的所述鱼眼像素坐标,从预设空白鱼眼图像中确定该第一像素点对应的第二像素点;将每个所述第一像素点对应的所述颜色值,赋予每个所述第一像素点对应的所述第二像素点,以得到所述虚拟场景对应的目标鱼眼图像。
在一种实施方式中,所述方法还包括:基于所述虚拟场景对应的多个所述目标鱼眼图像构建训练数据集,以利用所述训练数据集对深度学习模型进行训练。
在一种实施方式中,所述分视角包括前视角、左视角、右视角、上视角、下视角中的一种或多种。
第二方面,本发明实施例还提供一种鱼眼图像的生成装置,通过终端提供图形用户界面,所述图形用户界面所显示的内容至少包括虚拟场景,包括:图像获取模块,用于在鱼眼模拟视角下获取所述虚拟场景对应的多个场景图像;其中,所述鱼眼模拟视角是基于多个分视角拼接得到的;坐标确定模块,用于根据预先配置的坐标映射函数,确定每个所述场景图像中每个第一像素点对应的鱼眼像素坐标;图像生成模块,用于基于每个所述场景图像中每个所述第一像素点对应的颜色值和所述鱼眼像素坐标,生成所述虚拟场景对应的目标鱼眼图像。
第三方面,本发明实施例还提供一种终端设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法。
第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法。
本发明实施例提供的一种鱼眼图像的生成方法、装置、终端设备及存储介质,通过终端提供图形用户界面,图形用户界面所显示的内容至少包括虚拟场景,在鱼眼模拟视角下获取虚拟场景对应的多个场景图像,鱼眼模拟视角是基于多个分视角拼接得到的,再根据预先配置的坐标映射函数,确定每个场景图像中每个第一像素点对应的鱼眼像素坐标,最后基于每个场景图像中每个第一像素点对应的颜色值和鱼眼像素坐标,生成虚拟场景对应的目标鱼眼图像。上述方法可以通过拼接多个分视角模拟鱼眼相机的视角,通过坐标映射函数确定场景图像中每个第一像素点对应的鱼眼像素坐标,从而可以基于每个第一像素点对应的颜色值和语言像素坐标生成目标鱼眼图像,较好地模拟鱼眼相机的成像效果,以满足更大FOV范围、更大角度的应用需求。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种鱼眼图像的生成方法的流程示意图;
图2为本发明实施例提供的一种坐标映射函数的确定方法的流程示意图;
图3为本发明实施例提供的一种鱼眼相机组成结构示意图;
图4为本发明实施例提供的一种目标鱼眼图像的示意图;
图5为本发明实施例提供的另一种鱼眼图像的生成方法的流程示意图;
图6为本发明实施例提供的一种鱼眼图像的生成装置的结构示意图;
图7为本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,现有三维引擎存在以下问题:(1)三维引擎中没有鱼眼相机模型;(2)三维引擎中相机模型FOV值最大为180°;(3)三维引擎中现有相机深度与鱼眼相机深度图不匹配,基于此,本发明实施提供了一种鱼眼图像的生成方法、装置、终端设备及存储介质,可以较好地模拟鱼眼相机的成像效果,以满足更大FOV范围、更大角度的应用需求。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种鱼眼图像的生成方法进行详细介绍,通过终端提供图形用户界面,图形用户界面所显示的内容至少包括虚拟场景,终端配置有三维引擎,参见图1所示的一种鱼眼图像的生成方法的流程示意图,该方法主要包括以下步骤S102至步骤S106:
步骤S102,在鱼眼模拟视角下获取虚拟场景对应的多个场景图像;其中,鱼眼模拟视角是基于多个分视角拼接得到的,示例性的,分视角包括前视角、左视角、右视角、上视角、下视角中的一种或多种,可选的,分视角可以为正方形或矩形视角,通过拼接各个分视角即可模拟鱼眼相机的视角(简称,鱼眼模拟视角)。在一种实施方式中,可以通过三维引擎中的相机组件获取对应分视角下的场景图像,也可以通过其他方式获取每个分视角下的场景图像。
步骤S104,根据预先配置的坐标映射函数,确定每个场景图像中每个第一像素点对应的鱼眼像素坐标。其中,第一像素点也即场景图像中的像素点,第一像素点在场景图像中的坐标可称为原始像素坐标,在鱼眼图像中的坐标可称之为鱼眼像素坐标,坐标映射函数用于表征原始像素坐标与鱼眼像素坐标之间的映射关系,坐标映射函数可以采用数组形式。在一种实施方式中,可以读取每个场景图像中每个第一像素点在其所在场景图像中的原始像素坐标,将原始像素坐标输入至坐标映射函数即可得到相应的鱼眼像素坐标。
步骤S106,基于每个场景图像中每个第一像素点对应的颜色值和鱼眼像素坐标,生成虚拟场景对应的目标鱼眼图像。在一种实施方式中,可以根据第一像素点的原始像素坐标读取其对应的颜色值,从而基于颜色值和鱼眼像素坐标进行渲染,以得到所需的目标鱼眼图像。
本发明实施例提供的鱼眼图像的生成方法,可以通过拼接多个分视角模拟鱼眼相机的视角,通过坐标映射函数确定场景图像中每个第一像素点对应的鱼眼像素坐标,从而可以基于每个第一像素点对应的颜色值和语言像素坐标生成目标鱼眼图像,较好地模拟鱼眼相机的成像效果,以满足更大FOV范围、更大角度的应用需求。
在一种实施方式中,在执行上述步骤S102至步骤S106之前,首先需要确定坐标映射函数,可以基于向量转换模型,以及每个分相机组件的预览画面对应的像素范围,确定每个分相机组件对应的坐标映射函数,以便于后续利用该坐标映射函数和final图像(鱼眼图像)中第二像素点查找分相机组件的渲染像素点(也即,上述第一像素点),其中,向量转换模型用于实现二维向量与三维向量之间的互相转换,第二像素点也即鱼眼图像中的像素点。为便于理解,本发明实施例提供了一种确定坐标映射函数的具体实施方式,参见图2所示的一种坐标映射函数的确定方法的流程示意图,该方法主要包括以下步骤S202至步骤S206:
步骤S202,二维向量转成三维向量,也即上述向量转换模型,三维向量为没有距离的射线。
步骤S204,通过各个分相机组件距离渲染画面,以及各个分相机组件画面的像素范围,查找各个分相机组件中渲染像素点对应的渲染坐标(也即,上述鱼眼像素坐标)。
步骤S206,存储各个分相机组件显示鱼眼相机投影上的第二像素点(UV坐标)。上述过程即可得到原始像素坐标与鱼眼像素坐标之间的映射关系。
进一步的,本发明实施例还提供了一种步骤S102的实施方式,对于鱼眼模拟视角中的每个分视角,可以在三维引擎中配置该分视角对应的分相机组件,并通过分相机组件采集该分视角下虚拟场景对应的场景图像。其中,分视角包括前视角、左视角、右视角、上视角、下视角中的一种或多种,在具体实现时,可基于实际需求配置所需的分视角,本发明实施例对此不进行限制。示例性的,参见图3所示的一种鱼眼相机组成结构示意图,鱼眼相机fishEyeCams包括:分相机fishCam_front、分相机fishCam_left、分相机fishCam_back、分相机fishCam_right、分相机fishCam_front_depth、分相机fishCam_left_depth、分相机fishCam_back_depth、分相机fishCam_right_depth,各个分相机组件可以按照各自的分视角采集虚拟场景的场景图像,各个分相机组件的采集视角部分重合或者相切。
进一步的,本发明实施例还提供了一种步骤S104的实施方式,在执行根据预先配置的坐标映射函数,确定每个场景图像中每个第一像素点对应的鱼眼像素坐标的步骤时,可以获取每个场景图像中每个第一像素点的原始像素坐标,再将每个第一像素点的原始像素坐标,输入至预先配置的坐标映射函数,得到每个第一像素点对应的鱼眼像素坐标。在一种实施方式中,可以从TXT中读取每个分相机组件的第一像素点的UV坐标,其中,第一像素点可以为正方形像素点,第一像素点的UV坐标也即上述原始像素坐标,然后将第一像素点的UV坐标放进数组形式的坐标映射函数中,即可得到各个分相机组件采集的场景图像中每个第一像素点对应的鱼眼像素坐标。
进一步的,本发明实施例还提供了一种步骤S106的实施方式,具体的:(1)对于每个第一像素点,基于该第一像素点对应的原始像素坐标,从该第一像素点所属的场景图像中读取该第一像素点对应的颜色值,并按照该第一像素点对应的鱼眼像素坐标,从预设空白鱼眼图像中确定该第一像素点对应的第二像素点;(2)将每个第一像素点对应的颜色值,赋予每个第一像素点对应的第二像素点,以得到虚拟场景对应的目标鱼眼图像,诸如图4所示的一种目标鱼眼图像的示意图。在实际应用中,对于每个分相机组件,可以通过原始像素坐标读取每个像素点的颜色值,再基于颜色值和鱼眼像素坐标进行渲染,以得到所需的目标鱼眼图像。
为便于理解,参见图5所示的另一种鱼眼图像的生成方法的流程示意图,该方法主要包括以下步骤S502至步骤S510:
步骤S502,显示鱼眼相机。
步骤S504,从TXT中读取分相机组件的正方形像素点的UV坐标,并将UV坐标放入数组。
步骤S506,读取数组中各个分相机组件的鱼眼像素坐标。
步骤S508,各个分相机组件通过原始像素坐标读取颜色值。
步骤S510,渲染相机通过像素点设置分相机组件中像素点的颜色。
考虑到数据集的制作是各种深度学习模型必要的工作流程,如使用鱼眼镜头在真实环境中采集数据集,则存在成本高、难度大、对特定的场景难以针对化的实现数据集的定向工作的问题。因此,在一种可选的实施方式中,还可以基于虚拟场景对应的多个目标鱼眼图像构建训练数据集,以利用训练数据集对深度学习模型进行训练。本发明实施例通过在引擎中模拟鱼眼相机的成像效果,可以自主灵活的调整仿真场景,有倾向性的简单快速灵活的切换仿真场景,达到快速训练的效果。
综上所述,本发明实施例提供的鱼眼图像的生成方法,当前三维引擎基础上实现了220°鱼眼相机模型,并可以自动在场景中输出高保真RGB图像和深度图像,可以从虚拟环境中输出虚拟仿真需求的高保真数据集,极大的减少了采集AI训练数据集的物力成本,并且可自主灵活的调整数据集,以及数据深度映射关系。本发明实施例可以改善无人机避障模型和深度学习与数据采集存在脱节和不符数据采集标准的问题。本发明实施例至少具有以下特点:
(1)解决三维引擎中没有鱼眼相机模型问题;
(2)解决三维引擎中相机模型FOV值最大为180°问题;
(3)解决三维引擎中现有相机深度与鱼眼相机深度图不匹配问题。
对于前述实施例提供的鱼眼图像的生成方法,本发明实施例提供了一种鱼眼图像的生成装置,通过终端提供图形用户界面,图形用户界面所显示的内容至少包括虚拟场景,参见图6所示的一种鱼眼图像的生成装置的结构示意图,该装置主要包括以下部分:
图像获取模块602,用于在鱼眼模拟视角下获取虚拟场景对应的多个场景图像;其中,鱼眼模拟视角是基于多个分视角拼接得到的;
坐标确定模块604,用于根据预先配置的坐标映射函数,确定每个场景图像中每个第一像素点对应的鱼眼像素坐标;
图像生成模块606,用于基于每个场景图像中每个第一像素点对应的颜色值和鱼眼像素坐标,生成虚拟场景对应的目标鱼眼图像。
本发明实施例提供的鱼眼图像的生成装置,可以通过拼接多个分视角模拟鱼眼相机的视角,通过坐标映射函数确定场景图像中每个第一像素点对应的鱼眼像素坐标,从而可以基于每个第一像素点对应的颜色值和语言像素坐标生成目标鱼眼图像,较好地模拟鱼眼相机的成像效果,以满足更大FOV范围、更大角度的应用需求。
在一种实施方式中,图像获取模块602还用于:对于鱼眼模拟视角中的每个分视角,在三维引擎中配置该分视角对应的分相机组件,并通过分相机组件采集该分视角下虚拟场景对应的场景图像。
在一种实施方式中,上述装置还包括映射确定模块,用于:基于向量转换模型,以及每个分相机组件的预览画面对应的像素范围,确定每个分相机组件对应的坐标映射函数;其中,向量转换模型用于实现二维向量与三维向量之间的互相转换。
在一种实施方式中,坐标确定模块604还用于:获取每个场景图像中每个第一像素点的原始像素坐标;将每个第一像素点的原始像素坐标,输入至预先配置的坐标映射函数,得到每个第一像素点对应的鱼眼像素坐标。
在一种实施方式中,图像生成模块606还用于:对于每个第一像素点,基于该第一像素点对应的原始像素坐标,从该第一像素点所属的场景图像中读取该第一像素点对应的颜色值,并按照该第一像素点对应的鱼眼像素坐标,从预设空白鱼眼图像中确定该第一像素点对应的第二像素点;将每个第一像素点对应的颜色值,赋予每个第一像素点对应的第二像素点,以得到虚拟场景对应的目标鱼眼图像。
在一种实施方式中,上述装置还包括数据集构建模块,用于:基于虚拟场景对应的多个目标鱼眼图像构建训练数据集,以利用训练数据集对深度学习模型进行训练。
在一种实施方式中,分视角包括前视角、左视角、右视角、上视角、下视角中的一种或多种。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例提供了一种终端设备,具体的,该终端设备包括处理器和存储装置;存储装置上存储有计算机程序,计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。
图7为本发明实施例提供的一种终端设备的结构示意图,该终端设备100包括:处理器70,存储器71,总线72和通信接口73,所述处理器70、通信接口73和存储器71通过总线72连接;处理器70用于执行存储器71中存储的可执行模块,例如计算机程序。
其中,存储器71可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口73(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线72可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器71用于存储程序,所述处理器70在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器70中,或者由处理器70实现。
处理器70可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器70中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器70可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器71,处理器70读取存储器71中的信息,结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见前述方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种鱼眼图像的生成方法,其特征在于,通过终端提供图形用户界面,所述图形用户界面所显示的内容至少包括虚拟场景,包括:
在鱼眼模拟视角下获取所述虚拟场景对应的多个场景图像;其中,所述鱼眼模拟视角是基于多个分视角拼接得到的;
根据预先配置的坐标映射函数,确定每个所述场景图像中每个第一像素点对应的鱼眼像素坐标;
基于每个所述场景图像中每个所述第一像素点对应的颜色值和所述鱼眼像素坐标,生成所述虚拟场景对应的目标鱼眼图像。
2.根据权利要求1所述的方法,其特征在于,所述在鱼眼模拟视角下获取所述虚拟场景对应的多个场景图像的步骤,包括:
对于所述鱼眼模拟视角中的每个分视角,在三维引擎中配置该分视角对应的分相机组件,并通过所述分相机组件采集该分视角下所述虚拟场景对应的场景图像。
3.根据权利要求2所述的方法,其特征在于,在所述根据预先配置的坐标映射函数,确定每个所述场景图像中每个第一像素点对应的鱼眼像素坐标的步骤之前,所述方法还包括:
基于向量转换模型,以及每个所述分相机组件的预览画面对应的像素范围,确定每个所述分相机组件对应的坐标映射函数;其中,所述向量转换模型用于实现二维向量与三维向量之间的互相转换。
4.根据权利要求1所述的方法,其特征在于,所述根据预先配置的坐标映射函数,确定每个所述场景图像中每个第一像素点对应的鱼眼像素坐标的步骤,包括:
获取每个所述场景图像中每个第一像素点的原始像素坐标;
将每个所述第一像素点的所述原始像素坐标,输入至预先配置的坐标映射函数,得到每个所述第一像素点对应的鱼眼像素坐标。
5.根据权利要求1所述的方法,其特征在于,所述基于每个所述场景图像中每个所述第一像素点对应的颜色值和所述鱼眼像素坐标,生成所述虚拟场景对应的目标鱼眼图像的步骤,包括:
对于每个第一像素点,基于该第一像素点对应的原始像素坐标,从该第一像素点所属的场景图像中读取该第一像素点对应的颜色值,并按照该第一像素点对应的所述鱼眼像素坐标,从预设空白鱼眼图像中确定该第一像素点对应的第二像素点;
将每个所述第一像素点对应的所述颜色值,赋予每个所述第一像素点对应的所述第二像素点,以得到所述虚拟场景对应的目标鱼眼图像。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述虚拟场景对应的多个所述目标鱼眼图像构建训练数据集,以利用所述训练数据集对深度学习模型进行训练。
7.根据权利要求1所述的方法,其特征在于,所述分视角包括前视角、左视角、右视角、上视角、下视角中的一种或多种。
8.一种鱼眼图像的生成装置,其特征在于,通过终端提供图形用户界面,所述图形用户界面所显示的内容至少包括虚拟场景,包括:
图像获取模块,用于在鱼眼模拟视角下获取所述虚拟场景对应的多个场景图像;其中,所述鱼眼模拟视角是基于多个分视角拼接得到的;
坐标确定模块,用于根据预先配置的坐标映射函数,确定每个所述场景图像中每个第一像素点对应的鱼眼像素坐标;
图像生成模块,用于基于每个所述场景图像中每个所述第一像素点对应的颜色值和所述鱼眼像素坐标,生成所述虚拟场景对应的目标鱼眼图像。
9.一种终端设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。
CN202211399839.8A 2022-11-09 2022-11-09 鱼眼图像的生成方法、装置、终端设备及存储介质 Pending CN115587929A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211399839.8A CN115587929A (zh) 2022-11-09 2022-11-09 鱼眼图像的生成方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211399839.8A CN115587929A (zh) 2022-11-09 2022-11-09 鱼眼图像的生成方法、装置、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN115587929A true CN115587929A (zh) 2023-01-10

Family

ID=84782204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211399839.8A Pending CN115587929A (zh) 2022-11-09 2022-11-09 鱼眼图像的生成方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN115587929A (zh)

Similar Documents

Publication Publication Date Title
CN107223269B (zh) 三维场景定位方法和装置
CN107945112B (zh) 一种全景图像拼接方法及装置
US10726580B2 (en) Method and device for calibration
US9922461B2 (en) Reality augmenting method, client device and server
CN110060230B (zh) 三维场景分析方法、装置、介质及设备
CN112581632B (zh) 一种房源数据的处理方法和装置
WO2023207963A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN113436338A (zh) 火灾现场的三维重建方法、装置、服务器及可读存储介质
US20200211413A1 (en) Method, apparatus and terminal device for constructing parts together
KR20230015446A (ko) 모델 생성 방법, 이미지 투시도 결정 방법, 장치, 설비 및 매체
WO2017113729A1 (zh) 360度图像加载方法、加载模块及移动终端
CN111508058A (zh) 图像三维重建的方法、装置、存储介质及电子设备
CN111369690B (zh) 积木模型的生成方法、装置、终端和计算机可读存储介质
CN111340960A (zh) 图像的建模方法、装置、存储介质和电子设备
CN114358112A (zh) 视频融合方法、计算机程序产品、客户端及存储介质
CN115587929A (zh) 鱼眼图像的生成方法、装置、终端设备及存储介质
CN112652056B (zh) 一种3d信息展示方法及装置
CN112634439B (zh) 一种3d信息展示方法及装置
CN113436332A (zh) 消防预案数字化显示方法、装置、服务器及可读存储介质
CN114663570A (zh) 贴图生成方法、装置、电子装置及可读存储介质
CN110390717B (zh) 3d模型重建方法、装置及电子设备
CN110990501B (zh) 三维道路建模方法、装置、电子设备及存储介质
JP6892557B2 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
CN112258435A (zh) 图像处理方法和相关产品
CN114845055B (zh) 图像采集设备的拍摄参数的确定方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination