CN116503570B - 图像的三维重建方法及相关装置 - Google Patents
图像的三维重建方法及相关装置 Download PDFInfo
- Publication number
- CN116503570B CN116503570B CN202310779564.9A CN202310779564A CN116503570B CN 116503570 B CN116503570 B CN 116503570B CN 202310779564 A CN202310779564 A CN 202310779564A CN 116503570 B CN116503570 B CN 116503570B
- Authority
- CN
- China
- Prior art keywords
- image
- vertical
- horizontal
- pixel point
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 39
- 238000012937 correction Methods 0.000 claims description 35
- 238000003708 edge detection Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请实施例提出一种图像的三维重建方法及相关装置,涉及图像处理领域。获取第一图像、第二图像以及第三图像;根据第二图像中各个像素点的梯度方向,将第二图像拆分为竖直图像以及水平图像;其中,竖直图像中各个像素点的梯度方向与水平方向的夹角均处于预设的第一角度范围,水平图像中各个像素点的梯度方向与竖直方向的夹角均处于预设的第二角度范围;将竖直图像与第一图像进行立体匹配,获得竖直图像对应的竖直深度图,将水平图像与第三图像进行立体匹配,获得水平图像对应的水平深度图;根据竖直深度图以及水平深度图,生成三维重建图像。通过该方法可以提高特征匹配的准确度,进而提高图像的三维重建效果。
Description
技术领域
本申请涉及图像处理领域,具体而言,涉及一种图像的三维重建方法及相关装置。
背景技术
目前,双目系统在进行图像的三维重建时,往往需要首先对左右相机进行极线校正,之后在水平方向上进行搜索以对特征点进行匹配,但针对图像中较为水平的线条来说,由于水平方向上多处纹理特征比较接近,因此通过该方法进行特征匹配就容易产生较多的匹配错误,从而使得图像的三维重建效果较差。
发明内容
有鉴于此,本申请的目的在于提供一种图像的三维重建方法及相关装置,以解决现有技术中存在的容易产生较多的匹配错误,使得图像的三维重建效果较差的问题。
为了实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请提供一种图像的三维重建方法,所述方法包括:
获取多目系统中第一相机拍摄的第一图像、第二相机拍摄的第二图像以及第三相机拍摄的第三图像;所述第一相机与所述第二相机位置相对水平,所述第二相机与所述第三相机位置相对垂直;
根据所述第二图像中各个像素点的梯度方向,将所述第二图像拆分为竖直图像以及水平图像;其中,所述竖直图像中各个像素点的梯度方向与水平方向的夹角均处于预设的第一角度范围,所述水平图像中各个像素点的梯度方向与竖直方向的夹角均处于预设的第二角度范围;
将所述竖直图像与所述第一图像进行立体匹配,获得所述竖直图像对应的竖直深度图,将所述水平图像与所述第三图像进行立体匹配,获得所述水平图像对应的水平深度图;
根据所述竖直深度图以及所述水平深度图,生成三维重建图像。
在可选的实施方式中,所述根据所述第二图像中各个像素点的梯度方向,将所述第二图像拆分为竖直图像以及水平图像,包括:
根据所述第二图像中各个所述像素点的梯度方向分别与水平方向和竖直方向的位置关系,确定属于竖直图像的像素点以及属于水平图像的像素点,以将所述第二图像拆分为竖直图像和水平图像。
在可选的实施方式中,各个所述像素点的梯度方向根据所述像素点的水平梯度和竖直梯度确定,所述水平梯度和所述竖直梯度根据预设的梯度算子对所述像素点计算得到,具体包括:
针对所述第二图像中各个所述像素点,根据预设的梯度算子以及所述像素点所处的预设区域内各个像素点的灰度值,计算所述像素点的水平梯度和竖直梯度。
在可选的实施方式中,所述梯度算子包括纵向边缘检测算子以及横向边缘检测算子;所述根据预设的梯度算子以及所述像素点所处的预设区域内各个像素点的灰度值,计算所述像素点的水平梯度以及竖直梯度,包括:
将所述纵向边缘检测算子与所述像素点所处的预设区域内各个像素点的灰度值进行卷积,获得所述像素点的水平梯度;
将所述横向边缘检测算子与所述像素点所处的预设区域内各个像素点的灰度值进行卷积,获得所述像素点的竖直梯度。
在可选的实施方式中,所述将所述竖直图像与所述第一图像进行立体匹配,获得所述竖直图像对应的竖直深度图,包括:
分别根据所述竖直图像以及所述第一图像中各个像素点的灰度值,确定所述竖直图像以及所述第一图像中各个像素点的特征序列;
根据所述竖直图像中各个像素点的特征序列以及所述第一图像中各个像素点的特征序列,计算所述竖直图像中各个像素点的视差;
根据所述竖直图像中各个像素点的视差、所述第一相机和所述第二相机之间的相机距离以及所述第二相机的相机焦距,计算所述竖直图像中各个像素点的深度值,以生成所述竖直图像对应的竖直深度图。
在可选的实施方式中,所述分别根据所述竖直图像以及所述第一图像中各个像素点的灰度值,确定所述竖直图像以及所述第一图像中各个像素点的特征序列,包括:
针对所述竖直图像以及所述第一图像中的各个所述像素点,将所述像素点作为第一目标像素点,根据预设的区域大小确定所述第一目标像素点对应的特征区域;
根据所述特征区域内所述第一目标像素点与其他像素点之间的灰度值大小,确定所述第一目标像素点的特征序列。在可选的实施方式中,所述分别根据所述竖直图像以及所述第一图像中各个像素点的灰度值,确定所述竖直图像以及所述第一图像中各个像素点的特征序列,包括:
针对所述竖直图像以及所述第一图像中的各个所述像素点,将所述像素点作为第一目标像素点,根据预设的区域大小确定所述第一目标像素点对应的特征区域;
根据所述特征区域内所述第一目标像素点与其他像素点之间的灰度值大小,确定所述第一目标像素点的特征序列。
在可选的实施方式中,所述根据所述竖直图像中各个像素点的特征序列以及所述第一图像中各个像素点的特征序列,计算所述竖直图像中各个像素点的视差,包括:
依次将所述竖直图像中的各个像素点作为第二目标像素点,根据预设的视差范围在所述第一图像中水平方向上确定所述第二目标像素点对应的目标搜索范围;
根据所述第二目标像素点的特征序列和所述目标搜索范围内各个像素点的特征序列,确定所述目标搜索范围内与所述第二目标像素点对应的同名点;所述同名点与所述第二目标像素点之间的汉明距离最小;
根据所述第二目标像素点的位置参数和所述同名点的位置参数,计算所述第二目标像素点的视差。
在可选的实施方式中,所述将所述水平图像与所述第三图像进行立体匹配,获得所述水平图像对应的水平深度图,包括:
分别根据所述水平图像以及所述第三图像中各个像素点的灰度值,确定所述水平图像以及所述第三图像中各个像素点的特征序列;
根据所述水平图像中各个像素点的特征序列以及所述第三图像中各个像素点的特征序列,计算所述水平图像中各个像素点的视差;
根据所述水平图像中各个像素点的视差、所述第二相机和所述第三相机之间的相机距离以及所述第二相机的相机焦距,计算所述水平图像中各个像素点的深度值,以生成所述水平图像对应的水平深度图。
在可选的实施方式中,所述根据所述竖直深度图以及所述水平深度图,生成三维重建图像,包括:
生成空白重建图像;
将所述竖直深度图和所述水平深度图中各个像素点对应的深度值,按照所述像素点的位置写入所述空白重建图像,以生成所述三维重建图像。
在可选的实施方式中,在获取所述多目系统拍摄的图像之后,所述方法还包括:
根据预存的第一水平校正矩阵对所述第一图像进行校正,根据预存的第二水平校正矩阵对所述第二图像进行校正,以使所述第一图像与所述第二图像的极线在水平方向对齐;
根据预存的第一竖直校正矩阵对所述第三图像进行校正,根据预存的第二竖直校正矩阵对所述第二图像进行校正,以使所述第三图像与所述第二图像的极线在竖直方向对齐。
第二方面,本申请提供一种图像的三维重建装置,所述装置包括:
获取模块,用于获取多目系统中第一相机拍摄的第一图像、第二相机拍摄的第二图像以及第三相机拍摄的第三图像;所述第一相机与所述第二相机位置相对水平,所述第二相机与所述第三相机位置相对垂直;
拆分模块,用于根据所述第二图像中各个像素点的梯度方向,将所述第二图像拆分为竖直图像以及水平图像;其中,所述竖直图像中各个像素点的梯度方向与水平方向的夹角均处于预设的第一角度范围,所述水平图像中各个像素点的梯度方向与竖直方向的夹角均处于预设的第二角度范围;
匹配模块,用于将所述竖直图像与所述第一图像进行立体匹配,获得所述竖直图像对应的竖直深度图,将所述水平图像与所述第三图像进行立体匹配,获得所述水平图像对应的水平深度图;
重建模块,用于根据所述竖直深度图以及所述水平深度图,生成三维重建图像。
第三方面,本申请提供一种检测装置,包括取像部件、处理部件以及显示部件,所述取像部件和所述显示部件分别与所述处理部件连接;其中,所述取像部件用于通过取像得到待检测产品的待检测图像;所述处理部件用于通过前述实施方式任一所述的图像的三维重建方法对所述待检测图像进行处理,得到重建后的三维图像,并通过所述三维重建图像,对所述待检测产品进行检测;所述显示部件用于对所述三维图像进行显示。
在可选的实施方式中,所述取像部件包括多目系统中第一相机、第二相机以及第三相机。
第四方面,本申请提供一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机程序,所述处理器可执行所述计算机程序以实现前述实施方式任一所述的方法。
第五方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的方法。
本申请实施例提供的图像的三维重建方法及相关装置,根据第二图像中各个像素点的梯度方向,将第二图像拆分为竖直图像和水平图像,从而分别将竖直图像与第一图像进行立体匹配,将水平图像与第三图像进行立体匹配,由于竖直图像中各个像素点的梯度方向与水平方向的夹角处于预设的第一角度范围,水平图像中各个像素点的梯度方向与竖直方向的夹角处于预设的第二角度范围,因此竖直图像中的线条更倾向于竖直方向,水平图像中的线条更倾向于水平方向,从而实现针对较为竖直的线条在水平方向上进行匹配,针对较为水平的线条在竖直方向上进行匹配,在此基础上,可以提高特征匹配的准确度,进而提高图像的三维重建效果。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了多目系统的方框示意图;
图2示出了本申请实施例提供的电子设备的方框示意图;
图3示出了本申请实施例提供的检测装置的一种方框示意图;
图4示出了本申请实施例提供的图像的三维重建方法的一种流程示意图;
图5示出了本申请实施例提供的图像的三维重建方法的另一种流程示意图;
图6示出了本申请实施例提供的一种图像的三维重建装置的功能模块图。
图标:10-多目系统;100-第一相机;110-第二相机;120-第三相机;20-电子设备;200-存储器;210-处理器;220-通信模块;300-获取模块;310-拆分模块;320-匹配模块;330-重建模块;40-检测装置;400-取像部件;410-处理部件;420-显示部件。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
首先,在本实施例中以多目系统为三目系统为例,结合方框示意图对多目系统以及本申请实施例提供的电子设备进行介绍。
图1为多目系统10的方框示意图,请参见图1,该多目系统10包括第一相机100、第二相机110以及第三相机120,其中,第一相机100与第二相机110位置相对水平,第二相机110与第三相机120位置相对垂直。
图2为本申请实施例提供的电子设备20的方框示意图,该电子设备20可以是多目系统10中的第一相机100、第二相机110或者第三相机120,也可以是终端设备等可以对图像进行处理的设备。
可选地,该电子设备20包括存储器200、处理器210及通信模块220。存储器200、处理器210以及通信模块220各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中,存储器200用于存储程序或者数据。存储器200可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(ErasableProgrammable Read-Only Memory,EPROM),电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory,EEPROM)等。
处理器210用于读/写存储器中存储的数据或程序,并执行相应地功能。
通信模块220用于通过网络建立电子设备20与其它通信终端之间的通信连接,并用于通过网络收发数据。
应当理解的是,图2所示的结构仅为电子设备20的结构示意图,电子设备20还可包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
此外,本申请实施例还提供一种检测装置40,图3为本申请实施例提供的检测装置40的一种方框示意图,请参见图3,该检测装置40包括取像部件400、处理部件410以及显示部件420,且该取像部件400和显示部件420分别与处理部件410连接。
可选地,该取像部件400可以用于通过取像得到待检测产品的待检测图像;该处理部件410可以用于通过本申请实施例提供的图像的三维重建方法对待检测图像进行处理,得到重建后的三维图像,并通过该三维重建图像,对待检测产品进行检测;该显示部件420用于对三维图像进行显示。
可选地,该取像部件400包括多目系统10中的第一相机、第二相机以及第三相机。
可以理解地,用户可以通过该检测装置40对待检测产品拍照,对包含有待检测产品的待检测图像进行三维重建,从而通过三维重建后的三维图像对待检测产品进行检测。
接下来以上述图2中的电子设备为执行主体,结合流程示意图对本申请实施例提供的图像的三维重建方法进行示例性介绍,具体地,图4为本申请实施例提供的图像的三维重建方法的一种流程示意图,请参见图4,该方法包括:
步骤S20,获取多目系统中第一相机拍摄的第一图像、第二相机拍摄的第二图像以及第三相机拍摄的第三图像。
步骤S21,根据第二图像中各个像素点的梯度方向,将第二图像拆分为竖直图像以及水平图像。
其中,竖直图像中各个像素点的梯度方向与水平方向的夹角均处于预设的第一角度范围,水平图像中各个像素点的梯度方向与竖直方向的夹角均处于预设的第二角度范围;
可选地,电子设备可以获取多目系统中第一相机拍摄的第一图像、第二相机拍摄的第二图像以及第三相机拍摄的第三图像,可以理解的,该第一图像、第二图像和第三图像都是针对同一事物同时拍摄得到的图像。
可选地,电子设备可以在获得第一图像、第二图像和第三图像之后,计算该第二图像中各个像素点的梯度方向,从而根据该梯度方向将第二图像拆分为竖直图像和水平图像。
可选地,该第一角度范围和第二角度范围可以由用户根据实际需求进行设置,例如该第一角度范围和第二角度范围可以均设置为45°。
可以理解的,由于竖直图像中各个像素点的梯度方向与水平方向的夹角均处于预设的第一角度范围,因此竖直图像中的线条更倾向于竖直方向;由于水平图像中各个像素点的梯度方向与竖直方向的夹角均处于预设的第二角度范围,因此水平图像中的线条更倾向于水平方向。
步骤S22,将竖直图像与第一图像进行立体匹配,获得竖直图像对应的竖直深度图,将水平图像与第三图像进行立体匹配,获得水平图像对应的水平深度图。
可选地,该竖直深度图可以是包括了各个像素点的深度值的竖直图像,该水平深度图可以是包括了各个像素点的深度值的水平图像。
在本实施例中,电子设备可以将竖直图像与第一图像进行立体匹配,由于竖直图像中的线条更倾向于竖直方向,因此实际上是将更倾向于竖直方向的线条进行水平方向上的匹配;此外,电子设备还可以将水平图像与第三图像进行立体匹配,由于水平图像中的线条更倾向于水平方向,因此实际上是将更倾向于水平方向的线条进行竖直方向上的匹配。
可以理解的,通过将更倾向于竖直方向的线条进行水平方向上的匹配,以及将更倾向于水平方向的线条进行竖直方向上的匹配,可防止由于匹配方向上多处纹理特征接近,从而容易产生较多的匹配错误的问题。
步骤S23,根据竖直深度图以及水平深度图,生成三维重建图像。
可选地,电子设备可以在获得竖直深度图以及水平深度图之后,将二者融合从而生成三维重建图像。可以理解的,该三维重建图像中也包括各个像素点的深度值。
本申请实施例提供的图像的三维重建方法,根据第二图像中各个像素点的梯度方向,将第二图像拆分为竖直图像和水平图像,从而分别将竖直图像与第一图像进行立体匹配,将水平图像与第三图像进行立体匹配,由于竖直图像中各个像素点的梯度方向与水平方向的夹角处于预设的第一角度范围,水平图像中各个像素点的梯度方向与竖直方向的夹角处于预设的第二角度范围,因此竖直图像中的线条更倾向于竖直方向,水平图像中的线条更倾向于水平方向,从而实现针对较为竖直的线条在水平方向上进行匹配,针对较为水平的线条在竖直方向上进行匹配,在此基础上,可以提高特征匹配的准确度,进而提高图像的三维重建效果。
可选地,为了提高立体匹配的效率,电子设备可以在获取到第一图像、第二图像以及第三图像之后,先对图像进行极线校正,以使第一图像和第二图像的极线在水平方向上对齐、第二图像和第三图像的极线在竖直方向上对齐。
在一种可能实现的方式中,电子设备可以根据预存的第一水平校正矩阵对第一图像进行校正,根据预存的第二水平校正矩阵对第二图像进行校正,以使第一图像与第二图像的极线在水平方向对齐;根据预存的第一竖直校正矩阵对第三图像进行校正,根据预存的第二竖直校正矩阵对第二图像进行校正,以使第三图像与第二图像的极线在竖直方向对齐。
可选地,该第一水平校正矩阵、第二水平校正矩阵、第一竖直校正矩阵、第二竖直校正矩阵,均可以在设置好第一相机、第二相机以及第三相机之后,先根据第一相机、第二相机以及第三相机的外参求得,并保存在电子设备中,以便之后调用。
在一种可能实现的方式中,可以在将第一相机与第二相机水平放置,第三相机与第二相机竖直放置之后,先控制第一相机、第二相机以及第三相机同时对标定板进行拍摄,以获得标定板图像。
可选地,电子设备可以根据标定板图像分别计算第一相机、第二相机以及第三相机的外参,该外参包括该相机相对于标定板的旋转矩阵和平移矩阵。
在一种可能实现的方式中,电子设备可以根据第一相机的外参和第二相机的外参,计算第一相机与第二相机之间的相对位姿,根据该相对位姿计算第一水平校正矩阵以及第二水平校正矩阵。
例如,若第一相机的外参为、第二相机的外参为(/>),则该第一相机和第二相机之间的相对位姿/>可以通过以下公式得到:
其中,表征第一相机与标定板之间的旋转矩阵,/>表征第一相机与标定板之间的平移矩阵,/>表征第二相机与标定板之间的旋转矩阵,/>表征第二相机与标定板之间的平移矩阵,/>表征第一相机与第二相机之间的旋转矩阵,/>表征第一相机与第二相机之间的相对位移。
可选地,电子设备可以通过以下公式计算该第一水平校正矩阵以及第二水平校正矩阵/>:
其中,,/>,/>;
其中,,/>,/>。
类似的,电子设备也可以根据第二相机的外参和第三相机的外参,计算第二相机与第三相机之间的相对位姿,从而根据该相对位姿计算第一竖直校正矩阵以及第二竖直校正矩阵,其具体计算方法与计算第一水平校正矩阵以及第二水平校正矩阵的过程类似,此处不做过多赘述。
可选地,电子设备还可以根据标定板图像分别计算第一相机、第二相机以及第三相机的内参,并进行存储以备他用。
在本实施例中,电子设备可以在获得第一图像、第二图像以及第三图像之后,调用该第一水平校正矩阵以及第二水平校正矩阵、第一竖直校正矩阵以及第二竖直校正矩阵,进行第一图像与第二图像、第二图像与第三图像之间的极线校正。
在本实施例中,第二图像可以分别与第一图像和第三图像进行校正,获得与第一图像极线水平对齐的第二图像以及与第三图像极线竖直对齐的第二图像。可以理解的,在之后的处理过程中,与第一图像进行处理时需要选择与第一图像极线水平对齐的第二图像,与第三图像进行处理时需要选择与第三图像极线竖直对齐的第二图像。
在另一种可能实现的方式中,电子设备还可以保持第二图像不变,直接根据第一相机与第二相机之间的相对位姿、第二相机与第三相机之间的相对位姿,变换第一图像和第三图像,使得第一图像与第二图像极线水平对齐,第二图像与第三图像极线竖直对齐。
可选地,在获取到第一图像、第二图像以及第三图像之后,电子设备可以先计算第二图像中各个像素点的梯度方向,在此基础上,电子设备可以根据第二图像中各个像素点的梯度方向分别与水平方向和竖直方向的位置关系,确定属于竖直图像的像素点以及属于水平图像的像素点,以将第二图像拆分为竖直图像和水平图像。
在一种可能实现的方式中,各个像素点的梯度方向可根据该像素点的水平梯度和竖直梯度确定,且该水平梯度和该竖直梯度可以根据预设的梯度算子对该像素点计算得到。
具体的,电子设备可以针对第二图像中各个像素点,根据预设的梯度算子以及像素点所处的预设区域内各个像素点的灰度值,计算像素点的水平梯度和竖直梯度。
可选地,该预设的梯度算子和预设区域之间存在一定联系,即梯度算子的大小和预设区域的大小应当一致,例如,若预设的梯度算子为的矩阵,则该预设区域也为的区域。
在一种可能实现的方式中,电子设备可以根据如下公式计算各个像素点的梯度方向:
其中,表征梯度方向,/>表征竖直梯度,/>表征水平梯度。
此外,该水平梯度以及竖直梯度还可以用于计算该像素点的梯度大小grad,即,。
在本实施例中,电子设备可以根据每个像素点的梯度方向分别与水平方向和竖直方向的夹角,确定属于竖直图像的像素点以及属于水平图像的像素点。
在一种可能实现的方式中,若第一角度范围和第二角度范围均设置为45°,则可以通过以下公式确定第二图像中的像素点中属于竖直图像的像素点/>以及属于水平图像的像素点/>:
;
;
可选地,由于需要计算像素点的水平梯度和竖直梯度,因此预设的梯度算子也可以包括纵向边缘检测算子以及横向边缘检测算子,在此基础上,电子设备可以将纵向边缘检测算子与像素点所处的预设区域内各个像素点的灰度值进行卷积,获得像素点的水平梯度;将横向边缘检测算子与像素点所处的预设区域内各个像素点的灰度值进行卷积,获得像素点的竖直梯度。
在一个示例中,若梯度算子为的矩阵,则纵向边缘检测算子/>可以设置为:;
此外,横向边缘检测算子可以设置为:/>。
在本示例中,由于梯度算子为的矩阵,因此,电子设备可以将纵向边缘检测算子/>与像素点所处的/>区域内的各个像素点的灰度进行卷积,从而得到像素点的水平梯度;此外,电子设备还可以将横向边缘检测算子/>与像素点所处的/>区域内的各个像素点的灰度进行卷积,从而得到像素点的竖直梯度。
在一种可能实现的方式中,电子设备可以在获取到全部像素点的水平梯度和竖直梯度之后,根据各个像素点的水平梯度和竖直梯度计算各个像素点的梯度方向,进而依次根据各个像素点的梯度方向对第二图像进行拆分;在另一种可能实现的方式中,电子设备也可以在获取到一个像素点的水平梯度和竖直梯度之后,就针对该像素点计算其梯度方向,进而确定该像素点属于水平图像还是竖直图像,本申请对该执行顺序不做限定。
可选地,电子设备可以分别基于竖直图像和第一图像,生成竖直图像对应的竖直深度图,以及基于水平图像和第三图像,生成水平图像对应的水平深度图。
接下来首先介绍生成竖直图像对应的竖直深度图的过程。
具体地,在图4的基础上,图5为本申请实施例提供的图像的三维重建方法的另一种流程示意图,请参见图5,上述步骤S22中的将竖直图像与第一图像进行立体匹配,获得竖直图像对应的竖直深度图,还可以通过如下步骤实现:
步骤S22-1,分别根据竖直图像以及第一图像中各个像素点的灰度值,确定竖直图像以及第一图像中各个像素点的特征序列。
可选地,电子设备可以针对竖直图像以及第一图像,分别确定其中各个像素点对应的特征序列。
在本实施例中,可以依次针对上述图像,计算其中各个像素点的灰度值,也可以并行的针对上述图像,计算其中各个像素点的灰度值,本申请对此不做限定。
步骤S22-2,根据竖直图像中各个像素点的特征序列以及第一图像中各个像素点的特征序列,计算竖直图像中各个像素点的视差。
步骤S22-3,根据竖直图像中各个像素点的视差、第一相机和第二相机之间的相机距离以及第二相机的相机焦距,计算竖直图像中各个像素点的深度值,以生成竖直图像对应的竖直深度图。
在本实施例中,电子设备可以根据竖直图像中各个像素点的特征序列以及第一图像中各个像素点的特征序列,计算竖直图像中各个像素点的视差d,之后通过如下公式计算各个像素点的深度值z:
其中,表征第一相机和第二相机之间的相机距离,/>表征第二相机的相机焦距。
可选地,第一相机和第二相机之间的相机距离可以由工作人员事先采集并输入该电子设备中,也可以由第一相机或第二相机上的测距装置采集并输入该电子设备中,本申请对此不作限定。
在一种可能实现的方式中,第一相机与第二相机的相机焦距应当一致。
可以理解的,竖直图像对应的竖直深度图中包括了该竖直图像中各个像素点对应的深度值。
可选地,电子设备可以根据竖直图像和第一图像中各个像素点与该像素点对应的特征区域内其他像素点之间的灰度值大小,确定各个像素点的特征序列。在此基础上,上述步骤S22-1还可以通过如下步骤实现:
针对竖直图像以及第一图像中的各个像素点,将像素点作为第一目标像素点,根据预设的区域大小确定第一目标像素点对应的特征区域;根据特征区域内第一目标像素点与其他像素点之间的灰度值大小,确定第一目标像素点的特征序列。
可选地,该预设的区域大小可以是,则电子设备可以根据该预设的区域大小,针对第一目标像素点确定对应的特征区域,从而在该特征区域内,根据第一目标像素点和其他像素点之间的灰度值大小,确定第一目标像素点的特征序列。
可以理解的,若预设的区域大小为,则每个像素点对应的特征序列均为的序列。
可以理解地,该预设区域应当不包括第一目标像素点所在的行或列。
可选地,电子设备可以在某个像素点的灰度值小于第一目标像素点的灰度值时,将该像素点位置设置为1,否则设置为0,从而获得该第一目标像素点的特征序列。
可选地,电子设备可以根据竖直图像中各个像素点的特征序列以及第一图像中各个像素点的特征序列,确定竖直图像中各个像素点在第一图像中对应的同名点,从而根据该像素点以及该像素点对应的同名点,计算该像素点的视差。
可选地,电子设备可以在各个像素点在第一图像中对应的目标搜索范围内确定其对应的同名点。具体地,上述步骤S22-2还可以通过如下步骤实现:
依次将竖直图像中的各个像素点作为第二目标像素点,根据预设的视差范围在第一图像中水平方向上确定第二目标像素点对应的目标搜索范围。
可选地,该预设的视差范围可以事先根据实际情况设置,则电子设备可以根据第二目标像素点的位置和视差范围,在第一图像的水平方向上确定目标搜索范围。
例如,若第二目标像素点位于第n行m列,视差范围为[a,b],则电子设备可以确定该第二目标像素点在第一图像的水平方向上的目标搜索范围为第n行的m+a列到m+b列。
根据第二目标像素点的特征序列和目标搜索范围内各个像素点的特征序列,确定目标搜索范围内与第二目标像素点对应的同名点;
其中,同名点与第二目标像素点之间的汉明距离最小;
可选地,电子设备可以根据第二目标像素点的特征序列和目标搜索范围内各个像素点的特征序列,依次计算该第二目标像素点与目标搜索范围内各个像素点的汉明距离,将目标搜索范围内与第二目标像素点汉明距离最小的像素点,确定为该第二目标像素点的同名点。
根据第二目标像素点的位置参数和同名点的位置参数,计算第二目标像素点的视差。
在本实施例中,电子设备可以根据该第二目标像素点的位置参数以及对应的同名点的位置参数,计算第二目标像素点的视差。
在一种可能实现的方式中,该位置参数指的是该像素点的横纵坐标,则电子设备可以通过作差的方式,计算第二目标像素点的视差。
可选地,电子设备也可以根据水平图像中各个像素点的特征序列以及第三图像中各个像素点的特征序列,确定水平图像中各个像素点在第三图像中对应的同名点,从而根据该像素点以及该像素点对应的同名点,计算该像素点的视差。
可选地,对于生成水平图像对应的水平深度图的过程与上述生成竖直图像对应的竖直深度图的过程类似,即,上述步骤S22中的将水平图像与第三图像进行立体匹配,获得水平图像对应的水平深度图,还可以通过如下步骤实现:
分别根据水平图像以及第三图像中各个像素点的灰度值,确定水平图像以及第三图像中各个像素点的特征序列;根据水平图像中各个像素点的特征序列以及第三图像中各个像素点的特征序列,计算水平图像中各个像素点的视差;根据水平图像中各个像素点的视差、第二相机和第三相机之间的相机距离以及第二相机的相机焦距,计算水平图像中各个像素点的深度值,以生成水平图像对应的水平深度图。
可以理解地,由于计算水平图像中各个像素点的深度值的方式与计算竖直图像中各个像素点的深度值的方式类似,因此此处不再赘述。
可选地,第二相机和第三相机之间的相机距离可以由工作人员事先采集并输入该电子设备中,也可以由第二相机或第三相机上的测距装置采集并输入该电子设备中,本申请对此不作限定。
在一种可能实现的方式中,第二相机与第三相机的相机焦距应当一致。
可以理解的,水平图像对应的水平深度图中包括了该水平图像中各个像素点对应的深度值。
可选地,电子设备可以针对水平图像以及第三图像中的各个像素点,将像素点作为第三目标像素点,根据预设的区域大小确定第三目标像素点对应的特征区域;根据特征区域内第三目标像素点与其他像素点之间的灰度值大小,确定第三目标像素点的特征序列。
可以理解地,该过程与上述确定竖直图像和第一图像中各个像素点的特征序列的过程类似,此处不作过多赘述。
可选地,电子设备可以在各个像素点在第三图像中对应的目标搜索范围内确定其对应的同名点。
依次将水平图像中的各个像素点作为第四目标像素点,根据预设的视差范围在第三图像中竖直方向上确定第四目标像素点对应的目标搜索范围;根据第四目标像素点的特征序列和第四目标像素点对应的目标搜索范围内各个像素点的特征序列,确定第四目标像素点对应的目标搜索范围内与第四目标像素点对应的同名点;该第四目标像素点对应的同名点与第四目标像素点之间的汉明距离最小;根据第四目标像素点的位置参数和第四目标像素点对应的同名点的位置参数,计算第四目标像素点的视差。
可以理解的,计算第三目标像素点的视差的方式与计算第二目标像素点的视差的方式类似,因此此处不再赘述。
在本实施例中,电子设备可以根据竖直图像中各个像素点的视差,以及水平图像中各个像素点的视差,计算竖直图像中各个像素点的深度以及水平图像中各个像素点的深度,从而生成竖直深度图和水平深度图。
可选地,在获得竖直图像对应的竖直深度图以及水平图像对应的水平深度图之后,电子设备可以先生成空白重建图像,之后将竖直深度图和水平深度图中各个像素点对应的深度值,按照该像素点的位置写入该空白重建图像,以生成三维重建图像。
可选地,电子设备可以通过遍历竖直深度图中各个像素点,以及遍历水平深度图中各个像素点的方式,将竖直深度图和水平深度图中各个像素点对应的深度值,按照该像素点的位置写入该空白重建图像。
可选地,该三维重建图像可以用于进行图像缺陷检测。
为了执行上述实施例及各个可能的方式中的相应步骤,下面给出一种图像的三维重建装置的实现方式。进一步地,请参阅图6,图6为本申请实施例提供的一种图像的三维重建装置的功能模块图。需要说明的是,本实施例所提供的图像的三维重建装置,其基本原理及产生的技术效果和上述实施例相同,为简要描述,本实施例部分未提及之处,可参考上述的实施例中相应内容。该图像的三维重建装置包括:获取模块300、拆分模块310、匹配模块320以及重建模块330。
该获取模块300,用于获取多目系统中第一相机拍摄的第一图像、第二相机拍摄的第二图像以及第三相机拍摄的第三图像;第一相机与第二相机位置相对水平,第二相机与第三相机位置相对垂直。
可以理解的,该获取模块300还可以用于执行上述步骤S20。
该拆分模块310,用于根据第二图像中各个像素点的梯度方向,将第二图像拆分为竖直图像以及水平图像;其中,竖直图像中各个像素点的梯度方向与水平方向的夹角均处于预设的第一角度范围,水平图像中各个像素点的梯度方向与竖直方向的夹角均处于预设的第二角度范围。
可以理解的,该拆分模块310还可以用于执行上述步骤S21。
该匹配模块320,用于将竖直图像与第一图像进行立体匹配,获得竖直图像对应的竖直深度图,将水平图像与第三图像进行立体匹配,获得水平图像对应的水平深度图。
可以理解的,该匹配模块320还可以用于执行上述步骤S22。
该重建模块330,用于根据竖直深度图以及水平深度图,生成三维重建图像。
可以理解的,该重建模块330还可以用于执行上述步骤S23。
可选地,该拆分模块310,还用于根据第二图像中各个像素点的梯度方向分别与水平方向和竖直方向的位置关系,确定属于竖直图像的像素点以及属于水平图像的像素点,以将第二图像拆分为竖直图像和水平图像。
可选地,各个像素点的梯度方向根据像素点的水平梯度和竖直梯度确定,水平梯度和竖直梯度根据预设的梯度算子对像素点计算得到,该拆分模块310,还用于针对第二图像中各个像素点,根据预设的梯度算子以及像素点所处的预设区域内各个像素点的灰度值,计算像素点的水平梯度和竖直梯度。
可选地,梯度算子包括纵向边缘检测算子以及横向边缘检测算子;根据预设的梯度算子以及像素点所处的预设区域内各个像素点的灰度值,该拆分模块310,还用于将纵向边缘检测算子与像素点所处的预设区域内各个像素点的灰度值进行卷积,获得像素点的水平梯度;将横向边缘检测算子与像素点所处的预设区域内各个像素点的灰度值进行卷积,获得像素点的竖直梯度。
可选地,该匹配模块320,还用于分别根据竖直图像以及第一图像中各个像素点的灰度值,确定竖直图像以及第一图像中各个像素点的特征序列;根据竖直图像中各个像素点的特征序列以及第一图像中各个像素点的特征序列,计算竖直图像中各个像素点的视差;根据竖直图像中各个像素点的视差、第一相机和第二相机之间的相机距离以及第二相机的相机焦距,计算竖直图像中各个像素点的深度值,以生成竖直图像对应的竖直深度图。
可以理解的,该匹配模块320还可以用于执行上述步骤S22-1~步骤S22-3。
可选地,该匹配模块320,还用于针对竖直图像以及第一图像中的各个像素点,将像素点作为第一目标像素点,根据预设的区域大小确定第一目标像素点对应的特征区域;根据特征区域内第一目标像素点与其他像素点之间的灰度值大小,确定第一目标像素点的特征序列。
可选地,该匹配模块320,还用于依次将竖直图像中的各个像素点作为第二目标像素点,根据预设的视差范围在第一图像中水平方向上确定第二目标像素点对应的目标搜索范围;根据第二目标像素点的特征序列和目标搜索范围内各个像素点的特征序列,确定目标搜索范围内与第二目标像素点对应的同名点;同名点与第二目标像素点之间的汉明距离最小;根据第二目标像素点的位置参数和同名点的位置参数,计算第二目标像素点的视差。
可选地,该拆分模块310,还用于分别根据水平图像以及第三图像中各个像素点的灰度值,确定水平图像以及第三图像中各个像素点的特征序列;根据水平图像中各个像素点的特征序列以及第三图像中各个像素点的特征序列,计算水平图像中各个像素点的视差;根据水平图像中各个像素点的视差、第二相机和第三相机之间的相机距离以及第二相机的相机焦距,计算水平图像中各个像素点的深度值,以生成水平图像对应的水平深度图。
可选地,该重建模块330,还用于生成空白重建图像;将竖直深度图和水平深度图中各个像素点对应的深度值,按照像素点的位置写入空白重建图像,以生成三维重建图像。
可选地,该获取模块300,还用于根据预存的第一水平校正矩阵对第一图像进行校正,根据预存的第二水平校正矩阵对第二图像进行校正,以使第一图像与第二图像的极线在水平方向对齐;根据预存的第一竖直校正矩阵对第三图像进行校正,根据预存的第二竖直校正矩阵对第二图像进行校正,以使第三图像与第二图像的极线在竖直方向对齐。
本申请实施例提供的图像的三维重建装置,通过获取模块获取多目系统中第一相机拍摄的第一图像、第二相机拍摄的第二图像以及第三相机拍摄的第三图像;第一相机与第二相机位置相对水平,第二相机与第三相机位置相对垂直;通过拆分模块根据第二图像中各个像素点的梯度方向,将第二图像拆分为竖直图像以及水平图像;其中,竖直图像中各个像素点的梯度方向与水平方向的夹角均处于预设的第一角度范围,水平图像中各个像素点的梯度方向与竖直方向的夹角均处于预设的第二角度范围;通过匹配模块分别将竖直图像与第一图像进行立体匹配,将水平图像与第三图像进行立体匹配,获得竖直图像对应的竖直深度图以及水平图像对应的水平深度图;通过重建模块根据竖直深度图以及水平深度图,生成三维重建图像。
由于竖直图像中各个像素点的梯度方向与水平方向的夹角处于预设的第一角度范围,水平图像中各个像素点的梯度方向与竖直方向的夹角处于预设的第二角度范围,因此竖直图像中的线条更倾向于竖直方向,水平图像中的线条更倾向于水平方向,从而实现针对较为竖直的线条在水平方向上进行匹配,针对较为水平的线条在竖直方向上进行匹配,在此基础上,可以提高特征匹配的准确度,进而提高图像的三维重建效果。
可选地,上述模块可以软件或固件(Firmware)的形式存储于图2所示的存储器中或固化于该电子设备的操作系统(Operating System,OS)中,并可由图2中的处理器执行。同时,执行上述模块所需的数据、程序的代码等可以存储在存储器中。
可选地,本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时可实现本申请实施例提供的图像的三维重建方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (14)
1.一种图像的三维重建方法,其特征在于,所述方法包括:
获取多目系统中第一相机拍摄的第一图像、第二相机拍摄的第二图像以及第三相机拍摄的第三图像;所述第一相机与所述第二相机位置相对水平,所述第二相机与所述第三相机位置相对垂直;
根据所述第二图像中各个像素点的梯度方向,将所述第二图像拆分为竖直图像以及水平图像;其中,所述竖直图像中各个像素点的梯度方向与水平方向的夹角均处于预设的第一角度范围,所述水平图像中各个像素点的梯度方向与竖直方向的夹角均处于预设的第二角度范围;
所述根据所述第二图像中各个像素点的梯度方向,将所述第二图像拆分为竖直图像以及水平图像,包括:
根据所述第二图像中各个所述像素点的梯度方向分别与水平方向和竖直方向的位置关系,确定属于竖直图像的像素点以及属于水平图像的像素点,以将所述第二图像拆分为竖直图像和水平图像;
将所述竖直图像与所述第一图像进行立体匹配,获得所述竖直图像对应的竖直深度图,将所述水平图像与所述第三图像进行立体匹配,获得所述水平图像对应的水平深度图;
根据所述竖直深度图以及所述水平深度图,生成三维重建图像。
2.根据权利要求1所述的方法,其特征在于,各个所述像素点的梯度方向根据所述像素点的水平梯度和竖直梯度确定,所述水平梯度和所述竖直梯度根据预设的梯度算子对所述像素点计算得到,具体包括:
针对所述第二图像中各个所述像素点,根据预设的梯度算子以及所述像素点所处的预设区域内各个像素点的灰度值,计算所述像素点的水平梯度和竖直梯度。
3.根据权利要求2所述的方法,其特征在于,所述梯度算子包括纵向边缘检测算子以及横向边缘检测算子;所述根据预设的梯度算子以及所述像素点所处的预设区域内各个像素点的灰度值,计算所述像素点的水平梯度以及竖直梯度,包括:
将所述纵向边缘检测算子与所述像素点所处的预设区域内各个像素点的灰度值进行卷积,获得所述像素点的水平梯度;
将所述横向边缘检测算子与所述像素点所处的预设区域内各个像素点的灰度值进行卷积,获得所述像素点的竖直梯度。
4.根据权利要求1所述的方法,其特征在于,所述将所述竖直图像与所述第一图像进行立体匹配,获得所述竖直图像对应的竖直深度图,包括:
分别根据所述竖直图像以及所述第一图像中各个像素点的灰度值,确定所述竖直图像以及所述第一图像中各个像素点的特征序列;
根据所述竖直图像中各个像素点的特征序列以及所述第一图像中各个像素点的特征序列,计算所述竖直图像中各个像素点的视差;
根据所述竖直图像中各个像素点的视差、所述第一相机和所述第二相机之间的相机距离以及所述第二相机的相机焦距,计算所述竖直图像中各个像素点的深度值,以生成所述竖直图像对应的竖直深度图。
5.根据权利要求4所述的方法,其特征在于,所述分别根据所述竖直图像以及所述第一图像中各个像素点的灰度值,确定所述竖直图像以及所述第一图像中各个像素点的特征序列,包括:
针对所述竖直图像以及所述第一图像中的各个所述像素点,将所述像素点作为第一目标像素点,根据预设的区域大小确定所述第一目标像素点对应的特征区域;
根据所述特征区域内所述第一目标像素点与其他像素点之间的灰度值大小,确定所述第一目标像素点的特征序列。
6.根据权利要求4所述的方法,其特征在于,所述根据所述竖直图像中各个像素点的特征序列以及所述第一图像中各个像素点的特征序列,计算所述竖直图像中各个像素点的视差,包括:
依次将所述竖直图像中的各个像素点作为第二目标像素点,根据预设的视差范围在所述第一图像中水平方向上确定所述第二目标像素点对应的目标搜索范围;
根据所述第二目标像素点的特征序列和所述目标搜索范围内各个像素点的特征序列,确定所述目标搜索范围内与所述第二目标像素点对应的同名点;所述同名点与所述第二目标像素点之间的汉明距离最小;
根据所述第二目标像素点的位置参数和所述同名点的位置参数,计算所述第二目标像素点的视差。
7.根据权利要求1所述的方法,其特征在于,所述将所述水平图像与所述第三图像进行立体匹配,获得所述水平图像对应的水平深度图,包括:
分别根据所述水平图像以及所述第三图像中各个像素点的灰度值,确定所述水平图像以及所述第三图像中各个像素点的特征序列;
根据所述水平图像中各个像素点的特征序列以及所述第三图像中各个像素点的特征序列,计算所述水平图像中各个像素点的视差;
根据所述水平图像中各个像素点的视差、所述第二相机和所述第三相机之间的相机距离以及所述第二相机的相机焦距,计算所述水平图像中各个像素点的深度值,以生成所述水平图像对应的水平深度图。
8.根据权利要求1所述的方法,其特征在于,所述根据所述竖直深度图以及所述水平深度图,生成三维重建图像,包括:
生成空白重建图像;
将所述竖直深度图和所述水平深度图中各个像素点对应的深度值,按照所述像素点的位置写入所述空白重建图像,以生成所述三维重建图像。
9.根据权利要求1所述的方法,其特征在于,在获取所述多目系统拍摄的图像之后,所述方法还包括:
根据预存的第一水平校正矩阵对所述第一图像进行校正,根据预存的第二水平校正矩阵对所述第二图像进行校正,以使所述第一图像与所述第二图像的极线在水平方向对齐;
根据预存的第一竖直校正矩阵对所述第三图像进行校正,根据预存的第二竖直校正矩阵对所述第二图像进行校正,以使所述第三图像与所述第二图像的极线在竖直方向对齐。
10.一种图像的三维重建装置,其特征在于,所述装置包括:
获取模块,用于获取多目系统中第一相机拍摄的第一图像、第二相机拍摄的第二图像以及第三相机拍摄的第三图像;所述第一相机与所述第二相机位置相对水平,所述第二相机与所述第三相机位置相对垂直;
拆分模块,用于根据所述第二图像中各个像素点的梯度方向,将所述第二图像拆分为竖直图像以及水平图像;其中,所述竖直图像中各个像素点的梯度方向与水平方向的夹角均处于预设的第一角度范围,所述水平图像中各个像素点的梯度方向与竖直方向的夹角均处于预设的第二角度范围;
所述拆分模块,还用于根据所述第二图像中各个所述像素点的梯度方向分别与水平方向和竖直方向的位置关系,确定属于竖直图像的像素点以及属于水平图像的像素点,以将所述第二图像拆分为竖直图像和水平图像;
匹配模块,用于将所述竖直图像与所述第一图像进行立体匹配,获得所述竖直图像对应的竖直深度图,将所述水平图像与所述第三图像进行立体匹配,获得所述水平图像对应的水平深度图;
重建模块,用于根据所述竖直深度图以及所述水平深度图,生成三维重建图像。
11.一种检测装置,其特征在于,包括取像部件、处理部件以及显示部件,所述取像部件和所述显示部件分别与所述处理部件连接;
所述取像部件用于通过取像得到待检测产品的待检测图像;
所述处理部件用于通过权利要求1-9任一所述的图像的三维重建方法对所述待检测图像进行处理,得到重建后的三维图像,并通过所述三维重建图像,对所述待检测产品进行检测;
所述显示部件用于对所述三维图像进行显示。
12.根据权利要求11所述的检测装置,其特征在于,所述取像部件包括多目系统中第一相机、第二相机以及第三相机。
13.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机程序,所述处理器可执行所述计算机程序以实现权利要求1-9任一所述的方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310779564.9A CN116503570B (zh) | 2023-06-29 | 2023-06-29 | 图像的三维重建方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310779564.9A CN116503570B (zh) | 2023-06-29 | 2023-06-29 | 图像的三维重建方法及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116503570A CN116503570A (zh) | 2023-07-28 |
CN116503570B true CN116503570B (zh) | 2023-11-24 |
Family
ID=87330636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310779564.9A Active CN116503570B (zh) | 2023-06-29 | 2023-06-29 | 图像的三维重建方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116503570B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130123240A (ko) * | 2012-05-02 | 2013-11-12 | 삼성전자주식회사 | 깊이 영상 처리 장치 및 방법 |
CN103945207A (zh) * | 2014-04-24 | 2014-07-23 | 浙江大学 | 一种基于视点合成的立体图像垂直视差消除方法 |
CN104850850A (zh) * | 2015-04-05 | 2015-08-19 | 中国传媒大学 | 一种结合形状和颜色的双目立体视觉图像特征提取方法 |
CN104951817A (zh) * | 2014-03-24 | 2015-09-30 | 丰田自动车株式会社 | 边界检测装置和边界检测方法 |
JP2018013985A (ja) * | 2016-07-21 | 2018-01-25 | Kyb株式会社 | 物体検知装置 |
CN108470323A (zh) * | 2018-03-13 | 2018-08-31 | 京东方科技集团股份有限公司 | 一种图像拼接方法、计算机设备及显示装置 |
CN108833881A (zh) * | 2018-06-13 | 2018-11-16 | 北京微播视界科技有限公司 | 构建图像深度信息的方法及装置 |
CN109741411A (zh) * | 2018-12-13 | 2019-05-10 | 深圳先进技术研究院 | 基于梯度域的低剂量pet图像重建方法、装置、设备及介质 |
WO2019100933A1 (zh) * | 2017-11-21 | 2019-05-31 | 蒋晶 | 用于三维测量的方法、装置以及系统 |
CN110569683A (zh) * | 2018-06-06 | 2019-12-13 | 伟诠电子股份有限公司 | 条码检测方法及条码检测系统 |
CN110569704A (zh) * | 2019-05-11 | 2019-12-13 | 北京工业大学 | 一种基于立体视觉的多策略自适应车道线检测方法 |
JP2022037337A (ja) * | 2020-08-25 | 2022-03-09 | 東北電力株式会社 | 3次元計測装置、3次元計測システムおよび3次元計測方法 |
CN114677386A (zh) * | 2022-03-25 | 2022-06-28 | 北京字跳网络技术有限公司 | 特效图像处理方法、装置、电子设备及存储介质 |
WO2022196993A1 (ko) * | 2021-03-18 | 2022-09-22 | 삼성전자주식회사 | 카메라 모듈의 화각을 이용하여 이미지를 촬영하는 전자 장치 및 방법 |
CN115375762A (zh) * | 2022-08-05 | 2022-11-22 | 国网江苏省电力有限公司盐城供电分公司 | 一种基于三目视觉的电力线三维重构方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3323237A4 (en) * | 2015-08-26 | 2019-07-31 | Zhejiang Dahua Technology Co., Ltd | METHODS AND SYSTEMS FOR MONITORING TRAFFIC |
US9674504B1 (en) * | 2015-12-22 | 2017-06-06 | Aquifi, Inc. | Depth perceptive trinocular camera system |
KR101818104B1 (ko) * | 2016-03-30 | 2018-01-12 | 한국과학기술원 | 카메라 및 카메라 캘리브레이션 방법 |
US20170302910A1 (en) * | 2016-04-19 | 2017-10-19 | Motorola Mobility Llc | Method and apparatus for merging depth maps in a depth camera system |
CN107274400B (zh) * | 2017-06-21 | 2021-02-12 | 歌尔光学科技有限公司 | 空间定位装置、定位处理方法及装置、虚拟现实系统 |
US11055866B2 (en) * | 2018-10-29 | 2021-07-06 | Samsung Electronics Co., Ltd | System and method for disparity estimation using cameras with different fields of view |
US11107271B2 (en) * | 2019-11-05 | 2021-08-31 | The Boeing Company | Three-dimensional point data based on stereo reconstruction using structured light |
CN111160178B (zh) * | 2019-12-19 | 2024-01-12 | 深圳市商汤科技有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
CN111563921B (zh) * | 2020-04-17 | 2022-03-15 | 西北工业大学 | 一种基于双目相机的水下点云获取方法 |
CN116129037B (zh) * | 2022-12-13 | 2023-10-31 | 珠海视熙科技有限公司 | 视触觉传感器及其三维重建方法、系统、设备及存储介质 |
-
2023
- 2023-06-29 CN CN202310779564.9A patent/CN116503570B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130123240A (ko) * | 2012-05-02 | 2013-11-12 | 삼성전자주식회사 | 깊이 영상 처리 장치 및 방법 |
CN104951817A (zh) * | 2014-03-24 | 2015-09-30 | 丰田自动车株式会社 | 边界检测装置和边界检测方法 |
CN103945207A (zh) * | 2014-04-24 | 2014-07-23 | 浙江大学 | 一种基于视点合成的立体图像垂直视差消除方法 |
CN104850850A (zh) * | 2015-04-05 | 2015-08-19 | 中国传媒大学 | 一种结合形状和颜色的双目立体视觉图像特征提取方法 |
JP2018013985A (ja) * | 2016-07-21 | 2018-01-25 | Kyb株式会社 | 物体検知装置 |
WO2019100933A1 (zh) * | 2017-11-21 | 2019-05-31 | 蒋晶 | 用于三维测量的方法、装置以及系统 |
CN108470323A (zh) * | 2018-03-13 | 2018-08-31 | 京东方科技集团股份有限公司 | 一种图像拼接方法、计算机设备及显示装置 |
CN110569683A (zh) * | 2018-06-06 | 2019-12-13 | 伟诠电子股份有限公司 | 条码检测方法及条码检测系统 |
CN108833881A (zh) * | 2018-06-13 | 2018-11-16 | 北京微播视界科技有限公司 | 构建图像深度信息的方法及装置 |
CN109741411A (zh) * | 2018-12-13 | 2019-05-10 | 深圳先进技术研究院 | 基于梯度域的低剂量pet图像重建方法、装置、设备及介质 |
CN110569704A (zh) * | 2019-05-11 | 2019-12-13 | 北京工业大学 | 一种基于立体视觉的多策略自适应车道线检测方法 |
JP2022037337A (ja) * | 2020-08-25 | 2022-03-09 | 東北電力株式会社 | 3次元計測装置、3次元計測システムおよび3次元計測方法 |
WO2022196993A1 (ko) * | 2021-03-18 | 2022-09-22 | 삼성전자주식회사 | 카메라 모듈의 화각을 이용하여 이미지를 촬영하는 전자 장치 및 방법 |
CN114677386A (zh) * | 2022-03-25 | 2022-06-28 | 北京字跳网络技术有限公司 | 特效图像处理方法、装置、电子设备及存储介质 |
CN115375762A (zh) * | 2022-08-05 | 2022-11-22 | 国网江苏省电力有限公司盐城供电分公司 | 一种基于三目视觉的电力线三维重构方法 |
Non-Patent Citations (1)
Title |
---|
基于机器视觉的汽车零件字符识别算法研究;徐毓凯;中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑;第C035-246页 * |
Also Published As
Publication number | Publication date |
---|---|
CN116503570A (zh) | 2023-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3252715B1 (en) | Two-camera relative position calculation system, device and apparatus | |
JP6722323B2 (ja) | 撮像装置のモデリングおよび校正のためのシステムおよびその方法 | |
CN112927280B (zh) | 深度图像的获取方法及装置、单目散斑结构光系统 | |
US8797387B2 (en) | Self calibrating stereo camera | |
EP3189658B1 (en) | Camera calibration | |
US8538198B2 (en) | Method and apparatus for determining misalignment | |
EP2820618A1 (en) | Scene structure-based self-pose estimation | |
CN112381847B (zh) | 管路端头空间位姿测量方法及系统 | |
CN105953741B (zh) | 一种钢结构局部几何变形的测量系统和方法 | |
CN116433737A (zh) | 一种激光雷达点云与图像配准的方法、装置及智能终端 | |
CN107038753B (zh) | 立体视觉三维重建系统及方法 | |
CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
CN116503570B (zh) | 图像的三维重建方法及相关装置 | |
CN109859313B (zh) | 3d点云数据获取方法、装置、3d数据生成方法及系统 | |
JP6202356B2 (ja) | 画像処理装置及び方法、並びに撮像装置 | |
CN112241984A (zh) | 双目视觉传感器标定方法、装置、计算机设备和存储介质 | |
CN109658459B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
CN111243021A (zh) | 基于多组合相机的车载视觉定位方法、系统及存储介质 | |
CN116843759A (zh) | 双目摄像头的标定验证方法、系统、计算机设备及介质 | |
KR20150119770A (ko) | 카메라를 사용한 3차원 좌표 측정 장치 및 방법 | |
KR20190051901A (ko) | 입체 이미지 캡처 | |
CN111009029B (zh) | 三维重建的数据处理方法、装置、电子设备与存储介质 | |
CN109840894B (zh) | 视差图精修方法、装置及存储介质 | |
CN112907462A (zh) | 超广角摄像器件畸变校正方法、系统及包括其的拍摄装置 | |
CN113781583B (zh) | 相机自标定方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |