CN117011474A - 鱼眼图像样本生成方法、装置、计算机设备及存储介质 - Google Patents

鱼眼图像样本生成方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN117011474A
CN117011474A CN202311248179.8A CN202311248179A CN117011474A CN 117011474 A CN117011474 A CN 117011474A CN 202311248179 A CN202311248179 A CN 202311248179A CN 117011474 A CN117011474 A CN 117011474A
Authority
CN
China
Prior art keywords
point
target
labeling
axis
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311248179.8A
Other languages
English (en)
Other versions
CN117011474B (zh
Inventor
吴晗
李发成
张如高
虞正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Magic Vision Intelligent Technology Co ltd
Original Assignee
Shenzhen Magic Vision Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Magic Vision Intelligent Technology Co ltd filed Critical Shenzhen Magic Vision Intelligent Technology Co ltd
Priority to CN202311248179.8A priority Critical patent/CN117011474B/zh
Publication of CN117011474A publication Critical patent/CN117011474A/zh
Application granted granted Critical
Publication of CN117011474B publication Critical patent/CN117011474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Abstract

本发明涉及图像处理技术领域,公开了一种鱼眼图像样本生成方法、装置、计算机设备及存储介质,包括:获取三维模型、三维模型的尺寸信息,以及预设三维坐标系中的透视成像基准点;根据透视成像基准点在预设三维坐标系中确定成像范围;在成像范围内选取三维模型的放置点;利用尺寸信息确定三维模型的目标点;将目标点放置于放置点,获取三维模型的目标点坐标;将三维模型从多个预设方向进行透视成像处理,获取每一个预设方向分别对应的透视图像;根据每一个预设方向分别对应的透视图像生成鱼眼图像;根据目标点坐标、尺寸信息生成三维模型的目标标注点的三维标注信息;根据目标标注点的三维标注信息和鱼眼图像生成鱼眼图像的标注样本。

Description

鱼眼图像样本生成方法、装置、计算机设备及存储介质
技术领域
本发明涉及图像处理技术领域,具体涉及鱼眼图像样本生成方法、装置、计算机设备及存储介质。
背景技术
在自动驾驶技术中,鱼眼图像可以提供更大的视野范围,自动驾驶技术中对鱼眼图像的计算处理也非常重要,但是基于现有的鱼眼图像数据采集方案很难覆盖所有的采集场景,例如非正常行为的人或车等。传统的一种样本生成方法是直接将人或车直接贴到另一张图,但鱼眼图像会存在很大的镜头畸变,所以贴图的方法在自动驾驶领域很难工作,而且多个车辆的鱼眼内外参不完全一致,贴图方法即便是在相同的特征域下畸变效果也不一样,导致鱼眼图像样本的获取方式非常困难,获取鱼眼图像后的人工标注也费时费力。
发明内容
有鉴于此,本发明提供了一种鱼眼图像样本生成方法、装置、计算机设备及存储介质,以解决鱼眼图像样本获取困难和需要人工标注的问题。
第一方面,本发明提供了一种鱼眼图像样本生成方法,包括:
获取三维模型、三维模型的尺寸信息,以及预设三维坐标系中的透视成像基准点;
根据透视成像基准点在预设三维坐标系中确定成像范围;
在成像范围内选取三维模型的放置点;
利用尺寸信息确定三维模型的目标点;
将目标点放置于放置点,获取三维模型的目标点坐标;
将三维模型从多个预设方向进行透视成像处理,获取每一个预设方向分别对应的透视图像;
根据每一个预设方向分别对应的透视图像生成鱼眼图像;
根据目标点坐标、尺寸信息生成三维模型的目标标注点的三维标注信息;
根据目标标注点的三维标注信息和鱼眼图像生成鱼眼图像的标注样本。
通过上述方式,获取三维模型、三维模型的尺寸信息,以及预设三维坐标系中的透视成像基准点;根据透视成像基准点在预设三维坐标系中确定成像范围;在成像范围内选取三维模型的放置点;利用尺寸信息确定三维模型的目标点;将目标点放置于放置点,获取三维模型的目标点坐标;将三维模型从多个预设方向进行透视成像处理,获取每一个预设方向分别对应的透视图像;根据每一个预设方向分别对应的透视图像生成鱼眼图像;根据目标点坐标、尺寸信息生成三维模型的目标标注点的三维标注信息;根据目标标注点的三维标注信息和鱼眼图像生成鱼眼图像的标注样本。可以根据三维模型进行鱼眼图像成像处理,获取三维模型的鱼眼图像,然后在三维坐标系中根据三维模型的中心点坐标和尺寸信息确定三维模型的标注点信息,根据标注点信息和鱼眼图像生成鱼眼图像的标注样本,可以利用透视成像原理使用目标三维模型生成符合鱼眼图像畸变原理的鱼眼图像样本,并且在三维坐标系中生成三维模型的标注点信息,可以保证标注的准确性,而且无需手动标注,极大的提高了样本的生成效率,对于稀有场景也可以很容易的获取大量标注样本用于自动驾驶领域的训练场景,很大程度上也提高自动驾驶技术的安全性。
在一种可选的实施方式中,目标点为三维模型的中心点或三维模型底面的中心点。
通过上述方式,将三维模型的中心点或者底面的中心点作为目标点,可以方便后续标注点坐标的确定,减少运算量。
在一种可选的实施方式中,当目标标注点的数量大于或者等于预设数量时,方法还包括:
获取与三维模型对应的角度信息,角度信息包括三维模型在放置点的旋转角度和/或三维模型的自身偏转角度;
根据目标点坐标、尺寸信息,以及角度信息生成预设数量的目标标注点中每一个目标标注点分别对应的三维标注信息。
通过上述方式,当目标标注点的数量大于或者等于预设数量时,还需要获取与三维模型对应的角度信息,根据目标点坐标、尺寸信息,以及角度信息生成预设数量的目标标注点中每一个目标标注点分别对应的三维标注信息,可以考虑到三维模型的角度对标注信息的影响,获取准确的三维标注信息。
在一种可选的实施方式中,根据每一个预设方向分别对应的透视图像生成鱼眼图像,包括:
根据每一个预设方向分别确定与该预设方向对应的透视图像的拼接位置;
根据每一个透视图像分别对应的拼接位置对每一个透视图像进行拼接,获取拼接图像;
对拼接图像进行球面透视操作,生成鱼眼图像。
通过上述方式,根据透视方向确定该透视方向获取的透视图像的拼接位置,根据拼接位置进行拼接,这样后续生成的鱼眼图像的角度符合拍摄角度,保证生成的鱼眼图像的效果。
在一种可选的实施方式中,当角度信息包括旋转角度时,根据目标点坐标、尺寸信息,以及角度信息生成预设数量的目标标注点中每一个目标标注点分别对应的三维标注信息,包括:
根据尺寸信息和旋转角度,确定第一标注点与第一轴线对应的距离;
根据目标点的第一轴线的坐标和第一标注点与第一轴线对应的距离,确定第一标注点的第一轴线值,其中,第一标注点为预设数量的目标标注点中任一个目标标注点;
根据尺寸信息和旋转角度,确定第一标注点与第二轴线对应的距离;
根据目标点的第二轴线的坐标和第一标注点与第二轴线对应的距离,确定第一标注点的第二轴线值;
根据目标点的第三轴线的坐标确定第一标注点的第三轴线值;
根据每一个标注点分别对应的第一轴线值、第二轴线值以及第三轴线值生成标注信息,第一轴线、第二轴线和第三轴线分别为三维坐标系的三个轴线,第一标注点为所有的目标标注点中任一个目标标注点。
目标点的第一轴线的坐标目标点的第二轴线的坐标目标点的第三轴线的坐标通过上述方式,可以确定当角度信息只包括旋转角度时,三维模型的目标标注点的三维标注信息。
在一种可选的实施方式中,当角度信息包括自身偏转角度时,根据目标点坐标、尺寸信息,以及角度信息生成预设数量的目标标注点中每一个目标标注点分别对应的三维标注信息,包括:
根据尺寸信息和自身偏转角度,确定第二标注点与第一轴线的对应的距离;
根据目标点的第一轴线的坐标和第二标注点与第一轴线的对应的距离,确定第二标注点的第一轴线值,其中,第二标注点为预设数量的目标标注点中任一个目标标注点;
根据尺寸信息和自身偏转角度,确定第二标注点与第二轴线对应的距离;
根据目标点的第二轴线的坐标和第二标注点与第二轴线对应的距离,确定第二标注点的第二轴线值;
根据目标点的第三轴线的坐标确定第二标注点的第三轴线值;
根据每一个标注点分别对应的第一轴线值、第二轴线值以及第三轴线值生成标注信息,其中,第二标注点为所有的目标标注点中任一个目标标注点。
目标点的第一轴线的坐标目标点的第二轴线的坐标目标点的第三轴线的坐标通过上述方式,可以确定当角度信息只包括自身偏转角度时,三维模型的目标标注点在三维坐标系中每个轴线的值,从而确定三维标注信息。
在一种可选的实施方式中,当角度信息包括旋转角度和自身偏转角度时,根据目标点坐标、尺寸信息,以及角度信息生成预设数量的目标标注点中每一个目标标注点分别对应的三维标注信息,包括:
根据旋转角度和自身偏转角度,确定第三标注点的目标角度;
根据尺寸信息和目标角度,确定第三标注点与第一轴线的对应的距离;
根据目标点的第一轴线的坐标和第三标注点与第一轴线的对应的距离,确定第三标注点的第一轴线值,其中,第三标注点为预设数量的目标标注点中任一个目标标注点;
根据尺寸信息和目标角度,确定第三标注点与第二轴线对应的距离;
根据目标点的第二轴线的坐标和第三标注点与第二轴线对应的距离,确定第三标注点的第二轴线值;
根据目标点的第三轴线的坐标确定第三标注点的第三轴线值;
根据每一个标注点分别对应的第一轴线值、第二轴线值以及第三轴线值生成标注信息,其中,第三标注点为所有的目标标注点中任一个目标标注点。
目标点的第一轴线的坐标目标点的第二轴线的坐标目标点的第三轴线的坐标通过上述方式,当角度信息包括旋转角度和自身偏转角度时,可以根据旋转角度和自身偏转角度确定目标角度,然后根据尺寸信息和目标角度以及目标点的坐标确定三维模型的三维标注信息,可以考虑到旋转角度和自身偏转角度的影响,保证三维标注信息的准确。
在一种可选的实施方式中,根据目标标注点的三维标注信息和鱼眼图像生成鱼眼图像的标注样本,包括:
在目标标注点生成参考模型;
对参考模型进行成像处理,将三维标注信息转换为二维标注信息;
根据二维标注信息和鱼眼图像生成标注样本。
通过上述方式,在目标标注点生成参考模型,并对三维模型进行成像处理,就可以将三维标注信息转换为二维标注信息,即为鱼眼图像目标标注点的二维标注信息,实现样本的自动标注。
第二方面,本发明提供了一种鱼眼图像样本生成装置,包括:
第一获取模块,用于获取三维模型、三维模型的尺寸信息,以及预设三维坐标系中的透视成像基准点;
根据透视成像基准点在预设三维坐标系中确定成像范围;
选取模块,用于在成像范围内选取三维模型的放置点;
确定模块,用于利用尺寸信息确定三维模型的目标点;
放置模块,用于将目标点放置于放置点,获取三维模型的目标点坐标;
透视成像模块,用于将三维模型从多个预设方向进行透视成像处理,获取每一个预设方向分别对应的透视图像;
第一生成模块,用于根据每一个预设方向分别对应的透视图像生成鱼眼图像;
第二生成模块,用于根据目标点坐标、尺寸信息生成三维模型的目标标注点的三维标注信息;
第三生成模块,用于根据目标标注点的三维标注信息和鱼眼图像生成鱼眼图像的标注样本。
第三方面,本发明提供了一种计算机设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的鱼眼图像样本生成方法。
第四方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的鱼眼图像样本生成方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的鱼眼图像样本生成方法的流程示意图;
图2是根据本发明实施例的人的三维模型示意图;
图3是根据本发明实施例的鱼眼图像示意图;
图4是根据本发明实施例的鱼眼图像语义分割示意图;
图5是根据本发明实施例的鱼眼图像融合背景后的展示图;
图6是根据本发明实施例的三维模型四轮车的二维投影示意图;
图7是根据本发明实施例的鱼眼图像生成方法流程示意图;
图8是根据本发明实施例的透视图像拼接方法示意图;
图9是根据本发明实施例的二轮车的鱼眼图像示意图;
图10是根据本发明实施例的鱼眼图像样本生成方法的流程示意图;
图11是根据本发明实施例的二轮车的小球成像示意图;
图12是根据本发明实施例的四轮车的小球成像示意图;
图13是根据本发明实施例的四轮车标注点的遮挡原理示意图;
图14是根据本发明实施例的鱼眼图像样本生成装置的结构框图;
图15是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
针对自动驾驶技术中,鱼眼图像样本不容易获取且人工标注费时费力的问题,根据本发明实施例,提供了一种鱼眼图像样本生成方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种鱼眼图像样本生成方法,可用于上述的计算机设备,图1是根据本发明实施例的鱼眼图像样本生成方法的流程图,如图1所示,该流程包括如下步骤:
步骤S101,获取三维模型、三维模型的尺寸信息,以及预设三维坐标系中的透视成像基准点。
具体的,三维模型可以是使用现实车辆鱼眼相机采集的数据图像,然后使用鱼眼相机的内外参构建的三维模型,或者,也可以是基于其他应用场景生成的三维模型,因为真实的采集场景有限,很多场景的图像非常稀有,例如躺在地上的人,翻过去的车辆等,因此,本方法采用生成三维模型的方式,可以不局限于场景的限制。三维模型可以是如图2所示的人的三维模型,三维模型的尺寸信息可以包括三维模型的长、宽和高等信息,三维坐标系可以以三维模型的自身位置的底面中心为中心点,例如可以是双脚脚底连线的中点为中心点,将坐标系的原点归一化到该中心点,X向右,Z向上,Y向前,如图2中人的高度为1.7米,也就是其在Z轴的长度,在三维模型坐标系中选取一个或者多点个作为透视成像基准点,以便后续进行透视成像操作。
在一个可选的例子中,在获取到三维模型后,可以先调整三维模型的尺寸,例如可以通过自动化脚本进行调整,或者使用三角形网络库Trimesh进行调整、或者也可以手动调整,具体根据实际情况而定即可。
步骤S102,根据透视成像基准点在预设三维坐标系中确定成像范围。
具体的,将虚拟相机放置于在三维坐标系中的透视成像基准点,可以确定相机的成像范围。
在一个可选的例子中,例如使用仿真库open3d库,将三维模型加载进去,并在仿真库的三维空间坐标系中加载透视相机,将相机放置与三维坐标系的透视成像基准点,成像范围既是透视相机的成像范围。
步骤S103,在成像范围内选取三维模型的放置点。
具体的,例如可以在成像范围内随机选取一个点作为三维模型的放置点,也可以根据一定规则确定放置点。
在一个可选的例子中,例如相机的成像范围一般为不规则形状,例如不规则四边形,但是直接计算一个点是不是在不规则四边形内部计算量很大,影响图像仿真的速度,可以简化不规则四边形为两个三角形,这样可以大大减少计算量。
步骤S104,利用尺寸信息确定三维模型的目标点。
具体的,可以根据三维模型的尺寸信息,确定较为方便计算的点作为三维模型的目标点,例如,三维模型一个面的角点,或者一个面的中点,或者三维模型的中心点,具体可以根据实际情况确定,例如底面的中心点,其可以根据三维模型的长和宽确定。
步骤S105,将目标点放置于放置点,获取三维模型的目标点坐标。
具体的,将三维模型的目标点放置于确定的放置点,放置点的坐标即为目标点的坐标。
步骤S106,将三维模型从多个预设方向进行透视成像处理,获取每一个预设方向分别对应的透视图像。
具体的,可以利用透视相机从多个方向,例如上、下、左、右和中五个方向对三维模型进行透视成像处理,分别获取各个方向对应的透视图像,这是因为鱼眼相机成像的范围要比普通透视相机成像的范围大得多,因此需要拍摄多张照片,以满足鱼眼相机成像范围的需求。
步骤S107,根据每一个预设方向分别对应的透视图像生成鱼眼图像。
具体的,可以将所有获取的图像进行拼接,然后根据鱼眼相机成像原理将拼接后的图像进行成像处理,生成鱼眼图像。
在一个可选的例子中,生成的图像如图3所示,左边的人模拟斜躺在地面上的人,右边的人是站在车前边的人,因为鱼眼相机成像会产生很大畸变,导致看不到三维模型的人头部分,而且身体成像部分有些许弯曲,这就是正常鱼眼相机产生畸变的过程,和用鱼眼相机真实采集到的人的数据很接近。
在一个可选的例子中,在获取到鱼眼图像之后可以采用图像分割算法将图像进行分割,对应的渲染结果分割图如图4所示,根据不同的像素颜色可以将两个人分开,处理成想要的标注格式,分割标注或者检测框标注等。
进一步的,在图3的基础上,还可以将鱼眼图像与背景图像融合,用于训练等其他用途,合成的图像如图5所示,与真实的场景相似度非常高。
步骤S108,根据目标点坐标和尺寸信息生成三维模型的目标标注点的三维标注信息。
具体的,在三维坐标系中,根据目标点的坐标和三维模型的尺寸信息可以确定目标点与目标标注点在各个轴线的距离关系,进而可以确定三维模型的目标标注点的三维标注信息。
步骤S109,根据目标标注点的三维标注信息和鱼眼图像生成鱼眼图像的标注样本。
具体的,可以将目标标注点的三维标准信息转换为二维标注信息,例如利用投影或者三维转二维的计算等方式,这样就可以获取鱼眼图像的标注样本,无需人工标注。
本实施例提供的鱼眼图像的样本生成方法,获取三维模型、三维模型的尺寸信息,以及预设三维坐标系中的透视成像基准点;根据透视成像基准点在预设三维坐标系中确定成像范围;在成像范围内选取三维模型的放置点;利用尺寸信息确定三维模型的目标点;将目标点放置于放置点,获取三维模型的目标点坐标;将三维模型从多个预设方向进行透视成像处理,获取每一个预设方向分别对应的透视图像;根据每一个预设方向分别对应的透视图像生成鱼眼图像;根据目标点坐标、尺寸信息生成三维模型的目标标注点的三维标注信息;根据目标标注点的三维标注信息和鱼眼图像生成鱼眼图像的标注样本。可以根据三维模型进行鱼眼图像成像处理,获取三维模型的鱼眼图像,然后在三维坐标系中根据三维模型的中心点坐标和尺寸信息确定三维模型的标注点信息,根据标注点信息和鱼眼图像生成鱼眼图像的标注样本,可以利用透视成像原理使用目标三维模型生成符合鱼眼图像畸变原理的鱼眼图像样本,并且在三维坐标系中生成三维模型的标注点信息,可以保证标注的准确性,而且无需手动标注,极大的提高了样本的生成效率,对于稀有场景也可以很容易的获取大量标注样本用于自动驾驶领域的训练场景,很大程度上也提高自动驾驶技术的安全性。
在一种可选的实施方式中,目标点为三维模型的中心点或三维模型底面的中心点。
具体的,目标点可以是三维模型的中心点,可以根据三维模型的长、宽和高确定,也可以是三维模型底面的中心点。
在一个可选的例子中,例如在自动驾驶场景中,目标对象大部分是在地面上方的,可以将X轴作为地平面,这样将三维模型底面的中心点作为目标点,可以较为方便后续标注点坐标的计算。
在一种可选的实施方式中,当目标标注点的数量大于或者等于预设数量时,方法还包括:
步骤a1,获取与三维模型对应的角度信息,角度信息包括三维模型在放置点的旋转角度和/或三维模型的自身偏转角度。
具体的,当三维模型所需的目标标注点的数量大于或者等于2个,例如标注二轮车的接地点,则还需要获取三维模型相对于三维模型的轴线(例如X轴)的旋转角度,因为两个点形成一条直线,需考虑该直线的旋转角度。而当目标标注点的数量大于或者等于3个时,大于三个点的连线会形成一个平面,则每个点与目标点之间会形成一个角度,这个角度可以通过自身偏转角度获取。
在一个可选的例子中,例如标注二轮车两个车轮的接地点,目标标注点是2个,则需要考虑二轮车的角度信息为二轮车的旋转角度,若需要标注的为四轮车的四个车轮的接地点,则需要考虑四轮车的自身偏转角度,如图6所示,图6为三维模型为四轮车的简化投影图,1、2、3和4分别为4个车轮的四个接地点,图6中箭头指向的角度即为四轮车的自身偏转角度。
步骤a2,根据目标点坐标、尺寸信息,以及角度信息生成预设数量的目标标注点中每一个目标标注点分别对应的三维标注信息。
具体的,根据目标点坐标和尺寸信息以及角度信息确定目标标注点在每一个轴线与目标点的距离,进而可确定每个目标标注点分别对应的三维标注信息。
通过上述方式,当目标标注点的数量大于或者等于预设数量时,还需要获取与三维模型对应的角度信息,根据目标点坐标、尺寸信息,以及角度信息生成预设数量的目标标注点中每一个目标标注点分别对应的三维标注信息,可以考虑到三维模型的角度对标注信息的影响,获取准确的三维标注信息。
在一种可选的实施方式中,根据每一个预设方向分别对应的透视图像生成鱼眼图像,包括如图7所示的方法步骤:
步骤S701,根据每一个预设方向分别确定与该预设方向对应的透视图像的拼接位置。
具体的,在获取每一个预设方向的透视图像之后,根据每一个预设方向分别确定与该预设方向对应的透视图像的拼接位置。
在一个可选的例子中,例如从上方拍摄的透视图像的拼接位置为上,从左方拍摄的透视图像的拼接位置为左,以此类推,将拍摄方向与拼接位置对应可以获取最好的拼接效果,更接近实际的三维模型。
步骤S702,根据每一个透视图像分别对应的拼接位置对每一个透视图像进行拼接,获取拼接图像。
具体的,根据每一个拍摄方向确定的拼接方向进行拼接后的图像如图8所示,按照从上、下、左、右和中的拍摄方向进行拼接,例如“上”的图像为从三维模型上方拍摄的图像。
步骤S703,对拼接图像进行球面透视操作,生成鱼眼图像。
具体的,对拼接图像进行球面透视操作,生成鱼眼图像,因为鱼眼相机的透镜是一个球形的,这样可以模拟出较为逼真的鱼眼相机的效果。
在一个可选的例子中,例如可以将得到的图像按照opencv鱼眼相机成像原理投射到一个球,模拟出鱼眼相机成像,得到最终的鱼眼成像。
通过上述方式,根据透视方向确定该透视方向获取的透视图像的拼接位置,根据拼接位置进行拼接,这样后续生成的鱼眼图像的角度符合拍摄角度,保证生成的鱼眼图像的效果。
在一种可选的实施方式中,当角度信息包括旋转角度时,根据目标点坐标、尺寸信息,以及角度信息生成预设数量的目标标注点中每一个目标标注点分别对应的三维标注信息,包括:
步骤b1,根据尺寸信息和旋转角度,确定第一标注点与第一轴线对应的距离。
具体的,第一轴线可以是X轴,根据三维模型的长、宽、高等尺寸信息,以及旋转角度,可以确定第一标注点与第一轴线对应的第一距离。
在一个可选的例子中,例如确定图9所示的三维模型为两轮车的两个车轮的接地点,则前轮接地点在X轴与目标点的距离为,其中,/>为三维模型的长,/>为旋转角度。
步骤b2,根据目标点的第一轴线的坐标和第一标注点与第一轴线对应的距离,确定第一标注点的第一轴线值。
具体的,在一个可选的例子中,例如二轮车的前轮接地点的第一轴线值为可以用如下公式表示:
其中,为二轮车的目标点的第一轴线坐标,/>为三维模型的长。
步骤b3,根据尺寸信息和旋转角度,确定第一标注点与第二轴线对应的距离。
具体的,第二轴线可以是Y轴。根据三维模型的长、宽、高等尺寸信息,以及旋转角度,可以确定第一标注点与第二轴线对应的第二距离。
在一个可选的例子中,例如确定两轮车的两个车轮的接地点,则前轮接地点在X轴与目标点的距离为
步骤b4,根据目标点的第二轴线的坐标和第一标注点与第二轴线对应的距离,确定第一标注点的第二轴线值。
在一个可选的例子中,例如二轮车的前轮接地点的第二轴线值为可以用如下公式表示:
其中,为目标点的第二轴线坐标。
步骤b5,根据目标点的第三轴线的坐标确定第一标注点的第三轴线值。
具体的,第三轴线可以是Z轴。
在一个可选的例子中,当目标点与目标标注点位于同一水平面时,可以将目标点的第三轴线坐标作为第一标注点的第三轴线值,当目标点与目标标注点不在同一水平面时,可以首先确定目标点与目标标注点的垂直距离,然后根据目标点的第三轴线的坐标和垂直距离确定第一标注点的第三轴线值。
步骤b6,根据每一个标注点分别对应的第一轴线值、第二轴线值以及第三轴线值生成标注信息。
具体的,第一轴线、第二轴线和第三轴线分别为三维坐标系的三个轴线,第一标注点为所有的目标标注点中任一个目标标注点。
在一个可选的例子中,二轮车的前轮接地点的坐标可以如下:
),/>,/>)
其中,为目标点的第三轴线坐标。
在一个可选的例子中,二轮车的后轮接地点坐标可以用如下公式表示:
),/>,/>)
其中,为目标点的第一轴线坐标,/>为目标点的第二轴线坐标,/>为目标点的第三轴线坐标,/>为三维模型的长。
在一种可选的实施方式中,当角度信息包括自身偏转角度时,根据目标点坐标、尺寸信息,以及角度信息生成预设数量的目标标注点中每一个目标标注点分别对应的三维标注信息,包括:
步骤c1,根据尺寸信息和自身偏转角度,确定第二标注点与第一轴线的对应的距离。
步骤c2,根据目标点的第一轴线的坐标和第二标注点与第一轴线的对应的距离,确定第二标注点的第一轴线值。
具体的,第二标注点为预设数量的目标标注点中任一个目标标注点。如果目标对象相对基准轴线(例如X轴)没有旋转,且目标对象的三个标注点不在一条直线,则还需要考虑到目标对象的自身偏转角度。
在一个可选的例子中,例如标注四轮车的四个车轮的接地点,则四轮车的自身偏转角度如图6所示。假设图6中四个车轮的接地点分别为图示的1、2、3和4,目标点位于四轮车三维模型的底面中心点,将四轮车的三维模型放置于与X轴和Y轴的水平面上,且相对于X轴的旋转角度为0,接地点1的第一轴线可以用如下公式表示:
其中,为四轮车四个车轮组成的长方形的长,b为自身偏转角度,/>为四轮车的目标点的第一轴线坐标,第二标注点与第一轴线对应的距离为/>
步骤c3,根据尺寸信息和自身偏转角度,确定第二标注点与第二轴线对应的距离。
步骤c4,根据目标点的第二轴线的坐标和第二标注点与第二轴线对应的距离,确定第二标注点的第二轴线值。
具体的,首先根据尺寸信息和自身偏转角度,可以确定第二标注点与第二轴线对应的距离,进而根据目标点的第二轴线的坐第二标注点与第二轴线对应的距离,确定第二标注点的第二轴线值,例如图6中第1标注点的第二轴线值可以用如下公式表示:
步骤c5,根据目标点的第三轴线的坐标确定第二标注点的第三轴线值。
具体的,在一个可选的例子中,图6中第1标注点的第三轴线值即为目标点的第三轴线坐标
步骤c6,根据每一个标注点分别对应的第一轴线值、第二轴线值以及第三轴线值生成标注信息,其中,第二标注点为所有的目标标注点中任一个目标标注点。
具体的,图6中1、2、3和4标注点的坐标分别用如下公式表示:
接地点1的坐标为:(,/>,/>);
接地点2的坐标为:(,/>,/>);
接地点3的坐标为:(,/>,/>);
接地点4的坐标为:(,/>,/>)。
通过上述方式,可以确定当角度信息只包括旋转角度时,三维模型的目标标注点的三维标注信息。
在一种可选的实施方式中,当角度信息包括旋转角度和自身偏转角度时,根据目标点坐标、尺寸信息,以及角度信息生成预设数量的目标标注点中每一个目标标注点分别对应的三维标注信息,包括:
步骤d1,根据旋转角度和自身偏转角度,确定第三标注点的目标角度。
具体的,三维模型相对于基准轴(例如X轴)具有旋转角度,且三维模型的目标标注点相对于旋转角度仍存在其他角度,例如在图6所示的四轮车的四个车轮的接地点示意图中,四个接地点相对于车辆自身仍具有自身偏转角度,根据旋转角度和自身偏转角度,确定第三标注点的目标角度,目标角度具体可以用如下公式表示:
其中,c为三维模型四轮车的旋转角度,d为三维模型四轮车的自身偏转角度。
步骤d2,根据尺寸信息和目标角度,确定第三标注点与第一轴线的对应的距离。
步骤d3,根据目标点的第一轴线的坐标和第三标注点与第一轴线的对应的距离,确定第三标注点的第一轴线值。
具体的,第三标注点为预设数量的目标标注点中任一个目标标注点,四轮车的四个车轮接地点的第一个车轮的第一轴线值可以用如下公式表示,第一个车轮可以为右上角的车轮:
其中,为第三标注点与第一轴线的对应的距离。
步骤d4,根据尺寸信息和目标角度,确定第三标注点与第二轴线对应的距离。
步骤d5,根据目标点的第二轴线的坐标和第三标注点与第二轴线对应的距离,确定第三标注点的第二轴线值。
具体的,四轮车的四个车轮接地点的第一个车轮的第二轴线值可以用如下公式表示,第一个车轮可以为右上角的车轮:
其中,为第三标注点与第二轴线对应的距离。
步骤d6,根据目标点的第三轴线的坐标确定第三标注点的第三轴线值。
其中,四轮车的四个车轮接地点的第一个车轮的第三轴线值为
步骤d7,根据每一个标注点分别对应的第一轴线值、第二轴线值以及第三轴线值生成标注信息,其中,第三标注点为所有的目标标注点中任一个目标标注点。
具体的,在一个可选的例子中,例如图6中四轮车的四个车轮接地点的四个车轮的四个车轮的目标标注点可以用如下公式表示:
接地点1的坐标为:(,/>,/>);/>
接地点2的坐标为:(,/>,/>);
接地点3的坐标为:(,/>,/>);
接地点4的坐标为:(,/>,/>)。
在一种可选的实施方式中,根据目标标注点的三维标注信息和鱼眼图像生成鱼眼图像的标注样本,包括如图10所示的方法步骤:
步骤S1001,在目标标注点生成参考模型。
具体的,在确定目标标注点之后,还需要生成目标标注点的标签,因此可以在目标标志点放置一个参考模型,例如一个三维的小球,利用小球生成标签,即二维标注信息。
在一个可选的例子中,例如在图9所示的二轮车前后轮的两个接地点分别放置两个小球。
步骤S1002,对参考模型进行成像处理,将三维标注信息转换为二维标注信息。
具体的,对参考模型单独进行成像处理,成像处理的过程需要与三维模型成鱼眼图像的原理一致,因为与三维模型一样经过了相同的转换处理,这样生成的二维标注信息才是准确的标注信息。
在一个可选的例子中,例如对图9所示的二轮车接地点的两个小球分别进行成像处理后,得到的分割图像如图11所示,得到两个小球的鱼眼图像。
在另一个可选的例子中,例如对四轮车四个接地点同样放置小球,对四个小球进行成像处理,得到的鱼眼图像分割图如图12所示。
步骤S1003,根据二维标注信息和鱼眼图像生成标注样本。
具体的,将二维标注信息和鱼眼图像一同输出为标注样本,此时的标注样本是已经标注好的样本,无需人工进行标注,这样可以快速的生成大量的可用鱼眼标注样本,大大提高工作效率。
在一种可选的实施方式中,可能存在由于三维自身的遮挡,从固定视角不能看到全部标注点的情况,例如图12所示的四轮车的四个车轮的接地点作为标注点的情况,从从固定的视角只能看到两个或者三个接地点,所以只能根据算法判断哪个点可见,如图13所示,假设图像底端中心为固定的鱼眼相机位置,四个点为车辆的四个接地点,四个点顺时针连接得到四个线段,然后依次从底端中心点到四个点的连线形成新的四条线段,此时中间两条线段与其他线段有交点,根据光的直线传播原理,说明这两个点是不可见的,剩下两个点即为车辆的两个可见点,在生成标注时,可以只生成这两个点的标注,或者,也可以生成全部的标注,在使用时将不可见点过滤掉,具体可以根据实际情况选择使用哪些标注点,在此不做过多限定。
在本实施例中还提供了一种鱼眼图像样本生成装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种鱼眼图像样本生成装置,如图14所示,包括:
第一获取模块1401,用于获取三维模型、三维模型的尺寸信息,以及预设三维坐标系中的透视成像基准点;
第一确定模块1402,用于根据透视成像基准点在预设三维坐标系中确定成像范围;
选取模块1403,用于在成像范围内选取三维模型的放置点;
第二确定模块1404,用于利用尺寸信息确定三维模型的目标点;
放置模块1405,用于将目标点放置于放置点,获取三维模型的目标点坐标;
透视成像模块1406,用于将三维模型从多个预设方向进行透视成像处理,获取每一个预设方向分别对应的透视图像;
第一生成模块1407,用于根据每一个预设方向分别对应的透视图像生成鱼眼图像;
第二生成模块1408,用于根据目标点坐标和尺寸信息生成三维模型的目标标注点的三维标注信息;
第三生成模块1409,用于根据目标标注点的三维标注信息和鱼眼图像生成鱼眼图像的标注样本。
在一些可选的实施方式中,第二确定模块1404中的目标点为三维模型的中心点或三维模型底面的中心点。
在一些可选的实施方式中,当目标标注点的数量大于或者等于预设数量时,装置还包括:
第二获取模块1410,用于获取与三维模型对应的角度信息,角度信息包括三维模型在放置点的旋转角度和/或三维模型的自身偏转角度;
第四生成模块1411,用于根据目标点坐标、尺寸信息,以及角度信息生成预设数量的目标标注点中每一个目标标注点分别对应的三维标注信息。
在一些可选的实施方式中,第一生成模块1407,包括:
确定单元,用于根据每一个预设方向分别确定与该预设方向对应的透视图像的拼接位置;
拼接单元,用于根据每一个透视图像分别对应的拼接位置对每一个透视图像进行拼接,获取拼接图像;
球面透视单元,用于对拼接图像进行球面透视操作,生成鱼眼图像。
在一些可选的实施方式中,当角度信息包括旋转角度时,第二生成模块1408,具体用于:
根据尺寸信息和旋转角度,确定第一标注点与第一轴线对应的距离;根据目标点的第一轴线的坐标和第一标注点与第一轴线对应的距离,确定第一标注点的第一轴线值,其中,第一标注点为预设数量的目标标注点中任一个目标标注点;根据尺寸信息和旋转角度,确定第一标注点与第二轴线对应的距离;根据目标点的第二轴线的坐标和第一标注点与第二轴线对应的距离,确定第一标注点的第二轴线值;根据目标点的第三轴线的坐标确定第一标注点的第三轴线值;根据每一个标注点分别对应的第一轴线值、第二轴线值以及第三轴线值生成标注信息,第一轴线、第二轴线和第三轴线分别为三维坐标系的三个轴线,第一标注点为所有的目标标注点中任一个目标标注点。
在一些可选的实施方式中,当角度信息包括自身偏转角度时,第二生成模块1408,具体用于:
根据尺寸信息和自身偏转角度,确定第二标注点与第一轴线的对应的距离;根据目标点的第一轴线的坐标和第二标注点与第一轴线的对应的距离,确定第二标注点的第一轴线值,其中,第二标注点为预设数量的目标标注点中任一个目标标注点;根据尺寸信息和自身偏转角度,确定第二标注点与第二轴线对应的距离;根据目标点的第二轴线的坐标和第二标注点与第二轴线对应的距离,确定第二标注点的第二轴线值;根据目标点的第三轴线的坐标确定第二标注点的第三轴线值;根据每一个标注点分别对应的第一轴线值、第二轴线值以及第三轴线值生成标注信息,其中,第二标注点为所有的目标标注点中任一个目标标注点。
在一些可选的实施方式中,当角度信息包括旋转角度和自身偏转角度时,第二生成模块1408,具体用于:
根据旋转角度和自身偏转角度,确定第三标注点的目标角度;根据尺寸信息和目标角度,确定第三标注点与第一轴线的对应的距离;根据目标点的第一轴线的坐标和第三标注点与第一轴线的对应的距离,确定第三标注点的第一轴线值,其中,第三标注点为预设数量的目标标注点中任一个目标标注点;根据尺寸信息和目标角度,确定第三标注点与第二轴线对应的距离;根据目标点的第二轴线的坐标和第三标注点与第二轴线对应的距离,确定第三标注点的第二轴线值;根据目标点的第三轴线的坐标确定第三标注点的第三轴线值;根据每一个标注点分别对应的第一轴线值、第二轴线值以及第三轴线值生成标注信息,其中,第三标注点为所有的目标标注点中任一个目标标注点。
在一些可选的实施方式中,第三生成模块1409,包括:
第一生成单元,用于在目标标注点生成参考模型;
成像单元,用于对参考模型进行成像处理,将三维标注信息转换为二维标注信息;
第二生成单元,用于根据二维标注信息和鱼眼图像生成标注样本。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
本实施例中的鱼眼图像样本生成装置是以功能单元的形式来呈现,这里的单元是指ASIC(Application Specific Integrated Circuit,专用集成电路)电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
本发明实施例还提供一种计算机设备,具有上述图14所示的鱼眼图像样本生成装置。
请参阅图15,图15是本发明可选实施例提供的一种计算机设备的结构示意图,如图15所示,该计算机设备包括:一个或多个处理器10、存储器20,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相通信连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个计算机设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图15中以一个处理器10为例。
处理器10可以是中央处理器,网络处理器或其组合。其中,处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路,可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件,现场可编程逻辑门阵列,通用阵列逻辑或其任意组合。
其中,存储器20存储有可由至少一个处理器10执行的指令,以使至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器20可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中,存储器20可选包括相对于处理器10远程设置的存储器,这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器,例如,随机存取存储器;存储器也可以包括非易失性存储器,例如,快闪存储器,硬盘或固态硬盘;存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括输入装置30和输出装置40。处理器10、存储器20、输入装置30和输出装置20可以通过总线或者其他方式连接,图15中以通过总线连接为例。
输入装置30可接收输入的数字或字符信息,以及产生与该计算机设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等。输出装置40可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。上述显示设备包括但不限于液晶显示器,发光二极管,显示器和等离子体显示器。在一些可选的实施方式中,显示设备可以是触摸屏。
本发明实施例还提供了一种计算机可读存储介质,上述根据本发明实施例的方法可在硬件、固件中实现,或者被实现为可记录在存储介质,或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中,存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等;进一步地,存储介质还可以包括上述种类的存储器的组合。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件,当软件或计算机代码被计算机、处理器或硬件访问且执行时,实现上述实施例示出的方法。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (11)

1.一种鱼眼图像样本生成方法,其特征在于,所述方法包括:
获取三维模型、所述三维模型的尺寸信息,以及预设三维坐标系中的透视成像基准点;
根据所述透视成像基准点在所述预设三维坐标系中确定成像范围;
在所述成像范围内选取所述三维模型的放置点;
利用所述尺寸信息确定所述三维模型的目标点;
将所述目标点放置于所述放置点,获取所述三维模型的目标点坐标;
将所述三维模型从多个预设方向进行透视成像处理,获取每一个预设方向分别对应的透视图像;
根据每一个所述预设方向分别对应的透视图像生成鱼眼图像;
根据所述目标点坐标和所述尺寸信息生成所述三维模型的目标标注点的三维标注信息;
根据所述目标标注点的三维标注信息和所述鱼眼图像生成鱼眼图像的标注样本。
2.根据权利要求1所述的方法,其特征在于,所述目标点为所述三维模型的中心点或三维模型底面的中心点。
3.根据权利要求2所述的方法,其特征在于,当所述目标标注点的数量大于或者等于预设数量时,所述方法还包括:
获取与所述三维模型对应的角度信息,所述角度信息包括所述三维模型在所述放置点的旋转角度和/或所述三维模型的自身偏转角度;
根据所述目标点坐标、所述尺寸信息,以及所述角度信息生成预设数量的目标标注点中每一个所述目标标注点分别对应的三维标注信息。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述根据每一个所述预设方向分别对应的透视图像生成鱼眼图像,包括:
根据每一个预设方向分别确定与该预设方向对应的透视图像的拼接位置;
根据每一个透视图像分别对应的拼接位置对每一个所述透视图像进行拼接,获取拼接图像;
对所述拼接图像进行球面透视操作,生成所述鱼眼图像。
5.根据权利要求3所述的方法,其特征在于,当所述角度信息包括所述旋转角度时,所述根据所述目标点坐标、所述尺寸信息,以及所述角度信息生成预设数量的目标标注点中每一个所述目标标注点分别对应的三维标注信息,包括:
根据所述尺寸信息和所述旋转角度,确定第一标注点与第一轴线对应的距离;
根据所述目标点的第一轴线的坐标和所述第一标注点与第一轴线对应的距离,确定所述第一标注点的第一轴线值,其中,所述第一标注点为预设数量的所述目标标注点中任一个目标标注点;
根据所述尺寸信息和所述旋转角度,确定所述第一标注点与第二轴线对应的距离;
根据所述目标点的第二轴线的坐标和所述第一标注点与第二轴线对应的距离,确定所述第一标注点的第二轴线值;
根据所述目标点的第三轴线的坐标确定所述第一标注点的第三轴线值;
根据每一个标注点分别对应的第一轴线值、第二轴线值以及第三轴线值生成所述标注信息,所述第一轴线、所述第二轴线和所述第三轴线分别为所述三维坐标系的三个轴线,所述第一标注点为所有的目标标注点中任一个目标标注点。
6.根据权利要求3所述的方法,其特征在于,当所述角度信息包括所述自身偏转角度时,所述根据所述目标点坐标、所述尺寸信息,以及所述角度信息生成预设数量的目标标注点中每一个所述目标标注点分别对应的三维标注信息,包括:
根据所述尺寸信息和所述自身偏转角度,确定第二标注点与第一轴线的对应的距离;
根据所述目标点的第一轴线的坐标和所述第二标注点与第一轴线的对应的距离,确定所述第二标注点的第一轴线值,其中,所述第二标注点为预设数量的所述目标标注点中任一个目标标注点;
根据所述尺寸信息和所述自身偏转角度,确定所述第二标注点与第二轴线对应的距离;
根据所述目标点的第二轴线的坐标和所述第二标注点与所述第二轴线对应的距离,确定所述第二标注点的第二轴线值;
根据所述目标点的第三轴线的坐标确定所述第二标注点的第三轴线值;
根据每一个标注点分别对应的第一轴线值、第二轴线值以及第三轴线值生成所述标注信息,其中,所述第二标注点为所有的所述目标标注点中任一个目标标注点。
7.根据权利要求3所述的方法,其特征在于,当所述角度信息包括所述旋转角度和所述自身偏转角度时,所述根据所述目标点坐标、所述尺寸信息,以及所述角度信息生成预设数量的目标标注点中每一个所述目标标注点分别对应的三维标注信息,包括:
根据所述旋转角度和所述自身偏转角度,确定第三标注点的目标角度;
根据所述尺寸信息和所述目标角度,确定所述第三标注点与第一轴线的对应的距离;
根据所述目标点的第一轴线的坐标和所述第三标注点与所述第一轴线的对应的距离,确定所述第三标注点的第一轴线值,其中,所述第三标注点为预设数量的所述目标标注点中任一个目标标注点;
根据所述尺寸信息和所述目标角度,确定所述第三标注点与第二轴线对应的距离;
根据所述目标点的第二轴线的坐标和所述第三标注点与所述第二轴线对应的距离,确定所述第三标注点的第二轴线值;
根据所述目标点的第三轴线的坐标确定所述第三标注点的第三轴线值;
根据每一个标注点分别对应的第一轴线值、第二轴线值以及第三轴线值生成所述标注信息,其中,所述第三标注点为所有的所述目标标注点中任一个目标标注点。
8.根据权利要求1至3或5至7任一项所述的方法,其特征在于,所述根据所述目标标注点的三维标注信息和所述鱼眼图像生成鱼眼图像的标注样本,包括:
在所述目标标注点生成参考模型;
对所述参考模型进行成像处理,将所述三维标注信息转换为二维标注信息;
根据所述二维标注信息和所述鱼眼图像生成所述标注样本。
9.一种鱼眼图像样本生成装置,其特征在于,所述装置包括:
第一获取模块,用于获取三维模型、所述三维模型的尺寸信息,以及预设三维坐标系中的透视成像基准点;
根据所述透视成像基准点在所述预设三维坐标系中确定成像范围;
选取模块,用于在所述成像范围内选取所述三维模型的放置点;
确定模块,用于利用所述尺寸信息确定所述三维模型的目标点;
放置模块,用于将所述目标点放置于所述放置点,获取所述三维模型的目标点坐标;
透视成像模块,用于将所述三维模型从多个预设方向进行透视成像处理,获取每一个预设方向分别对应的透视图像;
第一生成模块,用于根据每一个所述预设方向分别对应的透视图像生成鱼眼图像;
第二生成模块,用于根据所述目标点坐标和所述尺寸信息生成所述三维模型的目标标注点的三维标注信息;
第三生成模块,用于根据所述目标标注点的三维标注信息和所述鱼眼图像生成鱼眼图像的标注样本。
10.一种计算机设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1至8中任一项所述的鱼眼图像样本生成方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机指令,所述计算机指令用于使计算机执行权利要求1至8中任一项所述的鱼眼图像样本生成方法。
CN202311248179.8A 2023-09-26 2023-09-26 鱼眼图像样本生成方法、装置、计算机设备及存储介质 Active CN117011474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311248179.8A CN117011474B (zh) 2023-09-26 2023-09-26 鱼眼图像样本生成方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311248179.8A CN117011474B (zh) 2023-09-26 2023-09-26 鱼眼图像样本生成方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN117011474A true CN117011474A (zh) 2023-11-07
CN117011474B CN117011474B (zh) 2024-01-30

Family

ID=88567477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311248179.8A Active CN117011474B (zh) 2023-09-26 2023-09-26 鱼眼图像样本生成方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN117011474B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011066860A (ja) * 2009-09-18 2011-03-31 Loarant Corp パノラマ画像生成方法及びパノラマ画像生成プログラム
US20140176542A1 (en) * 2012-12-26 2014-06-26 Makoto Shohara Image-processing system, image-processing method and program
JP2015108992A (ja) * 2013-12-05 2015-06-11 株式会社ジオ技術研究所 付加情報表示システム
CN112101361A (zh) * 2020-11-20 2020-12-18 深圳佑驾创新科技有限公司 针对鱼眼图像的目标检测方法、装置、设备和存储介质
CN114616586A (zh) * 2020-12-15 2022-06-10 深圳市大疆创新科技有限公司 图像标注方法、装置、电子设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011066860A (ja) * 2009-09-18 2011-03-31 Loarant Corp パノラマ画像生成方法及びパノラマ画像生成プログラム
US20140176542A1 (en) * 2012-12-26 2014-06-26 Makoto Shohara Image-processing system, image-processing method and program
JP2015108992A (ja) * 2013-12-05 2015-06-11 株式会社ジオ技術研究所 付加情報表示システム
CN112101361A (zh) * 2020-11-20 2020-12-18 深圳佑驾创新科技有限公司 针对鱼眼图像的目标检测方法、装置、设备和存储介质
CN114616586A (zh) * 2020-12-15 2022-06-10 深圳市大疆创新科技有限公司 图像标注方法、装置、电子设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SOON-YONG PARK等: "Visual Odometry of aLow-Profile Pallet Robot Based on Ortho-Rectified Ground Plane Image From Fisheye Camera", 《MDPI》, pages 1 - 18 *

Also Published As

Publication number Publication date
CN117011474B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN111783820B (zh) 图像标注方法和装置
CN107223269B (zh) 三维场景定位方法和装置
CN112150575B (zh) 场景数据获取方法及模型训练方法、装置及计算机设备
CN101697233B (zh) 一种基于结构光的三维物体表面重建方法
CN112444242B (zh) 一种位姿优化方法及装置
CN108401461A (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN108288292A (zh) 一种三维重建方法、装置及设备
US20140168367A1 (en) Calibrating visual sensors using homography operators
CN112651881B (zh) 图像合成方法、装置、设备、存储介质以及程序产品
CN111968216A (zh) 一种体积云阴影渲染方法、装置、电子设备及存储介质
EP3533218B1 (en) Simulating depth of field
CN110648274B (zh) 鱼眼图像的生成方法及装置
CN112184873B (zh) 分形图形创建方法、装置、电子设备和存储介质
CN110312111A (zh) 用于图像装置的自动校准的装置、系统和方法
CN113870430B (zh) 一种工件数据处理方法和装置
WO2023093739A1 (zh) 一种多视图三维重建的方法
CN111161398A (zh) 一种图像生成方法、装置、设备及存储介质
CN105023294A (zh) 结合传感器与Unity3D的定点移动增强现实方法
CN111311728B (zh) 一种基于光流法的高精度形貌重建方法、设备及装置
WO2017113729A1 (zh) 360度图像加载方法、加载模块及移动终端
CN111382618A (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
CN116485984A (zh) 全景影像车辆模型全局光照模拟方法、装置、设备及介质
JP2022518402A (ja) 三次元再構成の方法及び装置
CN117011474B (zh) 鱼眼图像样本生成方法、装置、计算机设备及存储介质
JP2012220271A (ja) 姿勢認識装置、姿勢認識方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant