CN111292413A - 图像模型的处理方法及装置、存储介质、电子装置 - Google Patents

图像模型的处理方法及装置、存储介质、电子装置 Download PDF

Info

Publication number
CN111292413A
CN111292413A CN202010113290.6A CN202010113290A CN111292413A CN 111292413 A CN111292413 A CN 111292413A CN 202010113290 A CN202010113290 A CN 202010113290A CN 111292413 A CN111292413 A CN 111292413A
Authority
CN
China
Prior art keywords
image
target image
processed
images
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010113290.6A
Other languages
English (en)
Inventor
邵询
李乾坤
卢维
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010113290.6A priority Critical patent/CN111292413A/zh
Publication of CN111292413A publication Critical patent/CN111292413A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像模型的处理方法及装置、存储介质、电子装置,该方法,包括:拼接获取的N帧待处理图像,得到第一目标图像,其中,N帧待处理图像是针对同一目标对象在不同的角度拍摄得到的,N是大于或等于1的自然数;对第一目标图像中的拼缝进行平滑处理,得到第二目标图像;对第二目标图像进行矫正裁剪得到第三目标图像;将第三目标图像以二维纹理的形式贴到预设模型中,以替换原始三维模型,其中,预设模型的纹理清晰度大于原始三维模型。通过本发明,解决了相关技术中对图像的建模处理精度不高的问题,达到提高三维建模精确的效果。

Description

图像模型的处理方法及装置、存储介质、电子装置
技术领域
本发明涉及图像领域,具体而言,涉及一种图像模型的处理方法及装置、存储介质、电子装置。
背景技术
倾斜摄影技术是国际摄影测量领域近十几年发展起来的一项高新技术,该技术通过无人机、单反、手机等多种设备从不同倾斜角度采集图像,获取丰富的建筑物顶面以及侧面的高分辨纹理,并通过先进的定位、融合、建模等技术,生成真实的三维模型。但是图像采集的过程受到拍摄角度以及拍摄距离等限制,尤其对于大场景模型,楼宇、道路等平面较多,由于表面纹理特征较少,无法匹配到特征点而导致模型平面凹凸、纹理错误,极大影响了建模的精度,渲染误差较大。
针对上述技术问题,相关技术中尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像模型的处理方法及装置、存储介质、电子装置,以至少解决相关技术中对图像的建模处理精度不高的问题。
根据本发明的一个实施例,提供了一种图像模型的处理方法,包括:拼接获取的N帧待处理图像,得到第一目标图像,其中,上述N帧待处理图像是针对同一目标对象在不同的角度拍摄得到的,上述N是大于或等于1的自然数;对上述第一目标图像中的拼缝进行平滑处理,得到第二目标图像;对上述第二目标图像进行矫正裁剪得到第三目标图像;将上述第三目标图像以二维纹理的形式贴到预设模型中,以替换原始三维模型,其中,上述预设模型的纹理清晰度大于上述原始三维模型。
根据本发明的另一个实施例,提供了一种图像模型的处理装置,包括:第一确定模块,用于拼接获取的N帧待处理图像,得到第一目标图像,其中,上述N帧待处理图像是针对同一目标对象在不同的角度拍摄得到的,上述N是大于或等于1的自然数;第二确定模块,用于对上述第一目标图像中的拼缝进行平滑处理,得到第二目标图像;第三确定模块,用于对上述第二目标图像进行矫正裁剪得到第三目标图像;替换模块,用于将上述第三目标图像以二维纹理的形式贴到预设模型中,以替换原始三维模型,其中,上述预设模型的纹理清晰度大于上述原始三维模型。
可选地,上述第一确定模块,包括:
第一提取单元,用于利用特征点提取算法surf提取上述N帧待处理图像中每帧待处理图像的特征点;
第一确定单元,用于利用确定的每帧待处理图像的特征点的向量维度确定上述每帧待处理图像中未与其他待处理图像中的特征点匹配的特征点对,得到误匹配点对;
第一处理单元,用于利用随机抽取一致性算法ransac去除上述误匹配点对,得到目标匹配点对;
第二确定单元,用于通过单应矩阵确定目标匹配点对中的像素坐标;
第三确定单元,用于利用上述目标匹配点对中每帧图像与其他图像之间的级联关系以及目标匹配点对中的像素坐标确定上述第一目标图像。
可选地,上述第一提取单元,包括:
第一选取子单元,用于从N帧待处理图像的特征点的预定区域中选取目标区域;
第一划分子单元,用于将上述目标区域划分为M个子区域,其中,上述M是大于或等于1的自然数;
第一统计子单元,用于从所述M个子区域中的每个子区域中统计出预定数量的像素的哈儿haar小波特征,以确定出所述每帧待处理图像的特征点,其中,所述haar小波特征用于表示所述每帧待处理图像的特征点的向量维度。
可选地,上述第三确定单元,包括:
计算子单元,用于在上述每帧图像与上述其他图像之间的位置存在偏差的情况下,利用上述单应矩阵计算上述每帧图像与上述其他图像之间的像素坐标点,其中,上述其他图像与上述每帧图像之间相邻;
第四确定子单元,用于利用上述像素坐标点调整上述每帧图像中的偏差,得到上述第一目标图像。
可选地,上述第二确定模块,包括:
处理单元,用于对所述拼缝两端的像素的像素值进行平滑滤波处理,以消除所述拼缝,得到所述第二目标图像。
可选地,上述第三确定模块,包括:
第五确定单元,用于在上述第二目标图像中确定P个像素点的坐标,其中,上述P是大于1的自然数;
变换单元,用于在预设坐标系中将上述P个像素点的坐标变换为预设形状的坐标;
第六确定单元,用于利用插值算法将上述预设形状的坐标映射至预设区域中,得到上述第三目标图像。
可选地,上述替换模块,包括:
第七确定单元,用于确定上述预设模型的模型框架;
处理单元,用于将上述第三目标图像的二维纹理图像的形式贴到上述预设模型中对应的模型框架中,以替换上述原始三维模型。
根据本发明的又一个实施例,还提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,通过拼接获取的N帧待处理图像,得到第一目标图像,其中,N帧待处理图像是针对同一目标对象在不同的角度拍摄得到的,N是大于或等于1的自然数;对第一目标图像中的拼缝进行平滑处理,得到第二目标图像;对第二目标图像进行矫正裁剪得到第三目标图像;将第三目标图像以二维纹理的形式贴到预设模型中,以替换原始三维模型,其中,预设模型的纹理清晰度大于原始三维模型。因此,可以解决相关技术中对图像的建模处理精度不高的问题,达到提高三维建模精确的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的一种图像模型的处理方法的移动终端的硬件结构框图;
图2是根据本发明实施例的图像模型的处理方法的流程图;
图3是根据本发明实施例的整体流程图;
图4是根据本发明实施例匹配点对的示意图;
图5是根据本发明可选实施例的去除点对的示意图;
图6是根据本发明可选实施例的图像拼接的结构示意图(一);
图7是根据本发明可选实施例的图像拼接的结构示意图(二);
图8是根据本发明可选实施例的图像拼接的结构示意图(三);
图9是根据本发明可选实施例的图像拼接的结构示意图(四);
图10是根据本发明可选实施例的图像纹理处理的结构示意图;
图11是根据本发明可选实施例的图像矫正的结构示意图;
图12是根据本发明实施例的图像模型的处理装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种图像模型的处理方法的移动终端的硬件结构框图。如图1所示,移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的图像模型的处理方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种图像模型的处理方法,图2是根据本发明实施例的图像模型的处理方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,拼接获取的N帧待处理图像,得到第一目标图像,其中,N帧待处理图像是针对同一目标对象在不同的角度拍摄得到的,N是大于或等于1的自然数;
可选地,在本实施例中,N帧待处理图像可以是通过摄像设备(例如,摄像机、摄像头、照相机、无人机设备等等)获取的,待处理图像可以是平面图片。例如,将拍摄的多张平面图拼接成一张全景图。
步骤S204,对第一目标图像中的拼缝进行平滑处理,得到第二目标图像;
步骤S206,对第二目标图像进行矫正裁剪得到第三目标图像;
步骤S208,将第三目标图像以二维纹理的形式贴到预设模型中,以替换原始三维模型,其中,预设模型的纹理清晰度大于原始三维模型。
可选地,在本实施例中,即是对基于倾斜摄影方法得到的三维模型进行模型替换,将第三目标图像作为纹理贴到对应的模型位置上,得到高精度三维模型。
可选地,如图3所示,是本实施例中的整体流程图,包括以下步骤:
S301-S305:图像拼接是将拍摄的多张平面图拼接成一张全景图,其中,包括对特征点的提取、特征点的匹配、单应性矩阵计算;利用摄影变换将相邻的两张图拼接在一起;
S306:利用优化方法减少拼接过程中的累计误差,进行拼缝平滑处理,将拼接图像中的拼缝进行光照渐变处理,使得拼接图像看着更加平滑;
S307-S309:对图片进行矫正处理,将拼接的图像矫正成正投影图片,作为模型纹理。模型变换是用简单模型替代大场景模型,例如楼体、地面等,再将拼接矫正后的真实纹理作为模型贴图。
可选地,上述步骤的执行主体可以为终端等,但不限于此。
通过上述步骤,通过拼接获取的N帧待处理图像,得到第一目标图像,其中,N帧待处理图像是针对同一目标对象在不同的角度拍摄得到的,N是大于或等于1的自然数;对第一目标图像中的拼缝进行平滑处理,得到第二目标图像;对第二目标图像进行矫正裁剪得到第三目标图像;将第三目标图像以二维纹理的形式贴到预设模型中,以替换原始三维模型,其中,预设模型的纹理清晰度大于原始三维模型。因此,可以解决相关技术中对图像的建模处理精度不高的问题,达到提高三维建模精确的效果。
在一个可选的实施例中,拼接获取的N帧待处理图像,得到第一目标图像,包括:
S1,利用特征点提取算法surf提取N帧待处理图像中每帧待处理图像的特征点;
S2,利用确定的每帧待处理图像的特征点的向量维度确定每帧待处理图像中未与其他待处理图像中的特征点匹配的特征点对,得到误匹配点对;
S3,利用随机抽取一致性算法ransac去除误匹配点对,得到目标匹配点对;
S4,通过单应矩阵确定目标匹配点对中的像素坐标;
S5,利用目标匹配点对中每帧图像与其他图像之间的级联关系以及目标匹配点对中的像素点坐标确定第一目标图像。
可选地,在本实施例中,提取N帧待处理图像中每帧待处理图像的特征点,是确定两张图像对应关系的关键。特征点提取算法包括sift,surf,orb等。本实施例优先采用surf特征点提取方法。
在一个可选的实施例中,利用特征点提取算法surf提取所述N帧待处理图像中每帧待处理图像的特征点,包括:
S1,从所述N帧待处理图像的特征点的预定区域中选取目标区域;
S2,将目标区域划分为M个子区域,其中,M是大于或等于1的自然数;
S3,从所述M个子区域中的每个子区域中统计出预定数量的像素的哈儿haar小波特征,以确定出所述每帧待处理图像的特征点,其中,所述haar小波特征用于表示所述每帧待处理图像的特征点的向量维度。
在一个可选的实施例,利用所述目标匹配点对中每帧图像与其他图像之间的级联关系以及所述目标匹配点对中的像素点坐标确定所述第一目标图像,包括:
S1,在每帧图像与其他图像之间的位置存在偏差的情况下,利用单应矩阵计算每帧图像与其他图像之间的像素坐标点,其中,其他图像与每帧图像之间相邻;
S2,利用像素坐标点调整每帧图像中的偏差,得到第一目标图像。
可选地,确定每帧待处理图像的特征点的向量维度,例如,选取特征点周围一个正方形框,并将该框分为16个子区域,每个子区域统计25个像素的水平方向和垂直方向的哈儿特征haar(Haar_like_features)用于识别的一种图像特征。haar小波特征为水平方向值之和,水平方向绝对值之和,垂直方向之和,垂直方向绝对值之和,因此每个子区域就有4个值,特征点的向量纬度为16*4。如图4所示,是两张图像中匹配的点对,其中,存在未匹配的点对。如图5所示,经过ransac算法去除未匹配的点对,经过ransac后基本保留正确的匹配点对。
可选地,在本实施例中,通过以下方式计算像素点坐标的单应性矩阵:
相邻两张图像的像素坐标可通过单应矩阵表示,单应矩阵有9个元素但仅它们之间的比例有关系,自由度为8,可令h33=1。该矩阵可由4组点对应计算,但任意三点不能共线,假设已知n组确定的点对,n>4,可用最小二乘求解超定方程,超定方程如下:
Figure BDA0002390730840000091
可选地,通过以下方式确定拼接图像中每帧图像与其他图像之间的级联关系:拼接算法是一个级联过程,会存在误差传递,尤其在无人机方向飞行的时候,如图6所示。右侧框中的区域的图像不仅要和右侧图像拼接,还需要和图像的正上方区域做拼接。若在拼接过程中存在误差,将会导致右侧框中的区域图像无法和该图像上部分图像完美的拼接起来,导致拼缝过多。第n张图与第n-1张图关系式为:
Figure BDA0002390730840000092
根据级联关系,第n张图与第1张关系为:
Figure BDA0002390730840000093
可选地,在本实施例中,消除误差累计的方法如下:
(1)右侧框为当前图像(拼接需要,显示的图像宽度只有原分辨率一半),根据级联关系,由于误差的存在,右侧框左上顶点实际位置为左侧框左上顶点。若将右侧框的图像移至左侧框位置,则该帧图像与该图上部分图像存在错位。根据级联关系算出左侧框区域的左顶点位置,并将左侧框中的图像从原图中抠出来,图像高度为原始单张图像高度乘以0.5,图像宽度为原始图像宽度。
(2)将左侧框中的区域图像与当前图像(即右侧框区域图像)匹配,得到两幅图像的单应矩阵,由于左侧区域图像左上顶点位置已知,根据单应矩阵关系即可知道右侧图像左上顶点位置。该右侧区域位置是通过级联关系算出大概的位置,并由该位置的图像经过单应性矩阵计算,得到右侧区域准确位置,消除了级联过程中的累计误差。
在一个可选的实施例中,对第一目标图像中的拼缝进行平滑处理,得到第二目标图像,包括:
S1,对拼缝两端的像素的像素值进行平滑滤波处理,以消除拼缝,得到第二目标图像。
可选地,如图7所示,左侧矩形框为图像1,右侧矩形框为图像2,中线划线部分为两幅图像重合区域的中间位置。分别将划线部分左侧的图像1和划线部分右侧的图像2组合在一起,形成拼接图。划线部分则是两幅图像的拼缝,两幅图像在不同位置拍摄,因此划线部分左右两侧光照必然不一样,本实施例通过渐变方式将拼缝平滑掉。具体如下:
取拼缝左右侧各15个像素点,遍历某一行。
For(i=0;i<30;i++)
img.pixel[i]=(30-i)*img1.pixel[i]/30+i*img2.pixel[i]/30
其中,img.pixel[i]为拼接图像该点的像素值,img1.pixel[i]为图3该点的像素值,img2.pixel[i]为图4该点的像素值。
在一个可选的实施例中,对第二目标图像进行矫正裁剪得到第三目标图像,包括:
S1,在第二目标图像中确定P个像素点的坐标,其中,P是大于1的自然数;
S2,在预设坐标系中将P个像素点的坐标变换为预设形状的坐标;
S3,利用插值算法将预设形状的坐标映射至预设区域中,得到第三目标图像。
可选地,在本实施例中,对于无人机的航拍图像,会存在图像变形、扭曲等情况,因此需要对拼接后的图像进行矫正,矫正为正投影图像。本实施例中可以矫正为矩形、圆形、三角形等图像。以矩形为例,在拼接的图像中选取4个点分别为(x1,y1),(x2,y2),(x3,y3),(x4,y4)。该4个点组成的四边形在实际三维世界中为一个矩形面。求取该四边形的外接矩形,矩形的宽为width,高为height。外接矩形4个点坐标为(0,0),(width-1,0),(0,height-1),(width-1,height-1);根据上述单应性矩阵求解方法,可得到四边形到矩形的变换关系,并利用插值算法,将四边形区域内所有点映射到矩形区域内,即可完成正投影矫正。如图8所示,是将若干无人机拍摄的图片经过上述方法拼接得到的图像,如图9所示,是利用矫正算法,将图片矫正成正投影图片。
在一个可选的实施例中,将第三目标图像以二维纹理的形式贴到预设模型中,以替换原始三维模型,包括:
S1,确定预设模型的模型框架;
S2,将第三目标图像的二维纹理图像的形式贴到预设模型中对应的模型框架中,以替换原始三维模型。
可选地,在本实施例中,针对倾斜摄影生成的三维模型平面凹凸不平的问题,利用简单模型代替,例如矩形、圆形等规则图形,并将拼接、矫正后图像作为模型纹理,附在模型上,如图10所示,为利用倾斜摄影生成的三维模型,会存在平面凹凸不平的现象,并且纹理清晰度不够,图11为本实施例对图片进行拼接矫正,并利用模型替换后生成的三维模型。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种图像模型的处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图12是根据本发明实施例的图像模型的处理装置的结构框图,如图2所示,该装置包括:
第一确定模块1202,用于拼接获取的N帧待处理图像,得到第一目标图像,其中,N帧待处理图像是针对同一目标对象在不同的角度拍摄得到的,N是大于或等于1的自然数;
第二确定模块1204,用于对第一目标图像中的拼缝进行平滑处理,得到第二目标图像;
第三确定模块1206,用于对第二目标图像进行矫正裁剪得到第三目标图像;
替换模块1208,用于将第三目标图像以二维纹理的形式贴到预设模型中,以替换原始三维模型,其中,预设模型的纹理清晰度大于原始三维模型。
可选地,上述第一确定模块,包括:
第一提取单元,用于利用特征点提取算法surf提取上述N帧待处理图像中每帧待处理图像的特征点;
第一确定单元,用于利用确定的每帧待处理图像的特征点的向量维度确定上述每帧待处理图像中未与其他待处理图像中的特征点匹配的特征点对,得到误匹配点对;
第一处理单元,用于利用随机抽取一致性算法ransac去除上述误匹配点对,得到目标匹配点对;
第二确定单元,用于通过单应矩阵确定目标匹配点对中的像素坐标;
第三确定单元,用于利用上述目标匹配点对中每帧图像与其他图像之间的级联关系以及目标匹配点对中的像素坐标确定上述第一目标图像。
可选地,上述第一提取单元,包括:
第一选取子单元,用于从N帧待处理图像的特征点的预定区域中选取目标区域;
第一划分子单元,用于将上述目标区域划分为M个子区域,其中,上述M是大于或等于1的自然数;
第一统计子单元,用于从所述M个子区域中的每个子区域中统计出预定数量的像素的哈儿haar小波特征,以确定出所述每帧待处理图像的特征点,其中,所述haar小波特征用于表示所述每帧待处理图像的特征点的向量维度。
可选地,上述第三确定单元,包括:
计算子单元,用于在上述每帧图像与上述其他图像之间的位置存在偏差的情况下,利用上述单应矩阵计算上述每帧图像与上述其他图像之间的像素坐标点,其中,上述其他图像与上述每帧图像之间相邻;
第四确定子单元,用于利用上述像素坐标点调整上述每帧图像中的偏差,得到上述第一目标图像。
可选地,上述第二确定模块,包括:
处理单元,用于对所述拼缝两端的像素的像素值进行平滑滤波处理,以消除所述拼缝,得到所述第二目标图像。
可选地,上述第三确定模块,包括:
第五确定单元,用于在上述第二目标图像中确定P个像素点的坐标,其中,上述P是大于1的自然数;
变换单元,用于在预设坐标系中将上述P个像素点的坐标变换为预设形状的坐标;
第六确定单元,用于利用插值算法将上述预设形状的坐标映射至预设区域中,得到上述第三目标图像。
可选地,上述替换模块,包括:
第七确定单元,用于确定上述预设模型的模型框架;
处理单元,用于将上述第三目标图像的二维纹理图像的形式贴到上述预设模型中对应的模型框架中,以替换上述原始三维模型。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,拼接获取的N帧待处理图像,得到第一目标图像,其中,N帧待处理图像是针对同一目标对象在不同的角度拍摄得到的,N是大于或等于1的自然数;
S2,对第一目标图像中的拼缝进行平滑处理,得到第二目标图像;
S3,对第二目标图像进行矫正裁剪得到第三目标图像;
S4,将第三目标图像以二维纹理的形式贴到预设模型中,以替换原始三维模型,其中,预设模型的纹理清晰度大于原始三维模型。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,拼接获取的N帧待处理图像,得到第一目标图像,其中,N帧待处理图像是针对同一目标对象在不同的角度拍摄得到的,N是大于或等于1的自然数;
S2,对第一目标图像中的拼缝进行平滑处理,得到第二目标图像;
S3,对第二目标图像进行矫正裁剪得到第三目标图像;
S4,将第三目标图像以二维纹理的形式贴到预设模型中,以替换原始三维模型,其中,预设模型的纹理清晰度大于原始三维模型。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像模型的处理方法,其特征在于,包括:
拼接获取的N帧待处理图像,得到第一目标图像,其中,所述N帧待处理图像是针对同一目标对象在不同的角度拍摄得到的,所述N是大于或等于1的自然数;
对所述第一目标图像中的拼缝进行平滑处理,得到第二目标图像;
对所述第二目标图像进行矫正裁剪,得到第三目标图像;
将所述第三目标图像以二维纹理的形式贴到预设模型中,以替换原始三维模型,其中,所述预设模型的纹理清晰度大于所述原始三维模型。
2.根据权利要求1所述的方法,其特征在于,拼接获取的N帧待处理图像,得到第一目标图像,包括:
利用特征点提取算法surf提取所述N帧待处理图像中每帧待处理图像的特征点;
利用确定的每帧待处理图像的特征点的向量维度确定所述每帧待处理图像中未与其他待处理图像中的特征点匹配的特征点对,得到误匹配点对;
利用随机抽取一致性算法ransac去除所述误匹配点对,得到目标匹配点对;
通过单应矩阵确定所述目标匹配点对中的像素坐标;
利用所述目标匹配点对中每帧图像与其他图像之间的级联关系以及所述目标匹配点对中的像素点坐标确定所述第一目标图像。
3.根据权利要求2所述的方法,其特征在于,利用特征点提取算法surf提取所述N帧待处理图像中每帧待处理图像的特征点,包括:
从所述N帧待处理图像的特征点的预定区域中选取目标区域;
将所述目标区域划分为M个子区域,其中,所述M是大于或等于1的自然数;
从所述M个子区域中的每个子区域中统计出预定数量的像素的哈儿haar小波特征,以确定出所述每帧待处理图像的特征点,其中,所述haar小波特征用于表示所述每帧待处理图像的特征点的向量维度。
4.根据权利要求2所述的方法,其特征在于,利用所述目标匹配点对中每帧图像与其他图像之间的级联关系以及所述目标匹配点对中的像素点坐标确定所述第一目标图像,包括:
在所述每帧图像与所述其他图像之间的位置存在偏差的情况下,利用所述单应矩阵计算所述每帧图像与所述其他图像之间的像素坐标点,其中,所述其他图像与所述每帧图像之间相邻;
利用所述像素坐标点调整所述每帧图像中的偏差,得到所述第一目标图像。
5.根据权利要求1所述的方法,其特征在于,对所述第一目标图像中的拼缝进行平滑处理,得到第二目标图像,包括:
对所述拼缝两端的像素的像素值进行平滑滤波处理,以消除所述拼缝,得到所述第二目标图像。
6.根据权利要求1所述的方法,其特征在于,对所述第二目标图像进行矫正裁剪得到第三目标图像,包括:
在所述第二目标图像中确定P个像素点的坐标,其中,所述P是大于1的自然数;
在预设坐标系中将所述P个像素点的坐标变换为预设形状的坐标;
利用插值算法将所述预设形状的坐标映射至预设区域中,得到所述第三目标图像。
7.根据权利要求1所述的方法,其特征在于,将所述第三目标图像以二维纹理的形式贴到预设模型中,以替换原始三维模型,包括:
确定所述预设模型的模型框架;
将所述第三目标图像的二维纹理图像的形式贴到所述预设模型中对应的模型框架中,以替换所述原始三维模型。
8.一种图像模型的处理装置,其特征在于,包括:
第一确定模块,用于拼接获取的N帧待处理图像,得到第一目标图像,其中,所述N帧待处理图像是针对同一目标对象在不同的角度拍摄得到的,所述N是大于或等于1的自然数;
第二确定模块,用于对所述第一目标图像中的拼缝进行平滑处理,得到第二目标图像;
第三确定模块,用于对所述第二目标图像进行矫正裁剪得到第三目标图像;
替换模块,用于将所述第三目标图像以二维纹理的形式贴到预设模型中,以替换原始三维模型,其中,所述预设模型的纹理清晰度大于所述原始三维模型。
9.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。
CN202010113290.6A 2020-02-24 2020-02-24 图像模型的处理方法及装置、存储介质、电子装置 Pending CN111292413A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010113290.6A CN111292413A (zh) 2020-02-24 2020-02-24 图像模型的处理方法及装置、存储介质、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010113290.6A CN111292413A (zh) 2020-02-24 2020-02-24 图像模型的处理方法及装置、存储介质、电子装置

Publications (1)

Publication Number Publication Date
CN111292413A true CN111292413A (zh) 2020-06-16

Family

ID=71020492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010113290.6A Pending CN111292413A (zh) 2020-02-24 2020-02-24 图像模型的处理方法及装置、存储介质、电子装置

Country Status (1)

Country Link
CN (1) CN111292413A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132960A (zh) * 2020-09-28 2020-12-25 北京博能科技股份有限公司 一种三维重建方法、装置和电子设备
CN112233174A (zh) * 2020-09-10 2021-01-15 浙江大华技术股份有限公司 警示区域划分方法及其相关装置
CN112364684A (zh) * 2020-09-23 2021-02-12 国网天津市电力公司电力科学研究院 一种机房服务器状态采集及三维管控系统及其方法
CN112686302A (zh) * 2020-12-29 2021-04-20 科大讯飞股份有限公司 图像特征点匹配方法、计算机设备及存储装置
CN113129455A (zh) * 2021-04-28 2021-07-16 南昌虚拟现实研究院股份有限公司 一种图像处理方法、装置、存储介质及设备
CN115330936A (zh) * 2022-08-02 2022-11-11 荣耀终端有限公司 合成三维图像的方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957870A (zh) * 2009-07-16 2011-01-26 上海市建筑装饰工程有限公司 三维扫描在艺术建筑物或构筑物中的数据复原技术
CN102088569A (zh) * 2010-10-13 2011-06-08 首都师范大学 低空无人飞行器序列图像拼接方法和系统
CN103903237A (zh) * 2014-03-21 2014-07-02 上海大学 一种前扫声纳图像序列拼接方法
CN106934809A (zh) * 2017-03-29 2017-07-07 厦门大学 基于双目视觉的无人机空中自主加油快速对接导航方法
CN108510445A (zh) * 2018-03-30 2018-09-07 长沙全度影像科技有限公司 一种全景图像拼接方法
CN109993696A (zh) * 2019-03-15 2019-07-09 广州愿托科技有限公司 基于多视点图像的结构物表观全景图矫正拼接方法
CN110020985A (zh) * 2019-04-12 2019-07-16 广西师范大学 一种双目机器人的视频拼接系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957870A (zh) * 2009-07-16 2011-01-26 上海市建筑装饰工程有限公司 三维扫描在艺术建筑物或构筑物中的数据复原技术
CN102088569A (zh) * 2010-10-13 2011-06-08 首都师范大学 低空无人飞行器序列图像拼接方法和系统
CN103903237A (zh) * 2014-03-21 2014-07-02 上海大学 一种前扫声纳图像序列拼接方法
CN106934809A (zh) * 2017-03-29 2017-07-07 厦门大学 基于双目视觉的无人机空中自主加油快速对接导航方法
CN108510445A (zh) * 2018-03-30 2018-09-07 长沙全度影像科技有限公司 一种全景图像拼接方法
CN109993696A (zh) * 2019-03-15 2019-07-09 广州愿托科技有限公司 基于多视点图像的结构物表观全景图矫正拼接方法
CN110020985A (zh) * 2019-04-12 2019-07-16 广西师范大学 一种双目机器人的视频拼接系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨帆等: "《精通图像处理经典算法 MATLAB版 第2版》", 28 February 2018 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233174A (zh) * 2020-09-10 2021-01-15 浙江大华技术股份有限公司 警示区域划分方法及其相关装置
CN112364684A (zh) * 2020-09-23 2021-02-12 国网天津市电力公司电力科学研究院 一种机房服务器状态采集及三维管控系统及其方法
CN112364684B (zh) * 2020-09-23 2023-07-04 国网天津市电力公司电力科学研究院 一种机房服务器状态采集及三维管控系统及其方法
CN112132960A (zh) * 2020-09-28 2020-12-25 北京博能科技股份有限公司 一种三维重建方法、装置和电子设备
CN112132960B (zh) * 2020-09-28 2024-01-30 北京博能科技股份有限公司 一种三维重建方法、装置和电子设备
CN112686302A (zh) * 2020-12-29 2021-04-20 科大讯飞股份有限公司 图像特征点匹配方法、计算机设备及存储装置
CN112686302B (zh) * 2020-12-29 2024-02-13 科大讯飞股份有限公司 图像特征点匹配方法、计算机设备及存储装置
CN113129455A (zh) * 2021-04-28 2021-07-16 南昌虚拟现实研究院股份有限公司 一种图像处理方法、装置、存储介质及设备
CN113129455B (zh) * 2021-04-28 2023-05-12 南昌虚拟现实研究院股份有限公司 一种图像处理方法、装置、存储介质及设备
CN115330936A (zh) * 2022-08-02 2022-11-11 荣耀终端有限公司 合成三维图像的方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN111292413A (zh) 图像模型的处理方法及装置、存储介质、电子装置
CN110390640B (zh) 基于模板的泊松融合图像拼接方法、系统、设备及介质
CN107301620B (zh) 基于相机阵列的全景成像方法
KR101956151B1 (ko) 사용자 단말기에 이용되는 전경 영상 생성 방법 및 장치
US9454796B2 (en) Aligning ground based images and aerial imagery
JP7328366B2 (ja) 情報処理方法、測位方法及び装置、電子機器並びに記憶媒体
KR101175097B1 (ko) 파노라마 영상 생성 방법
CN109035145B (zh) 基于视频帧匹配信息的视频图像自适应拼接方法及装置
WO2017091927A1 (zh) 图像处理方法和双摄像头系统
CN114143528A (zh) 多视频流融合方法、电子设备、存储介质
CN111667398B (zh) 图像处理方法、装置和计算机可读存储介质
CN106952247B (zh) 一种双摄像头终端及其图像处理方法和系统
CN109035134B (zh) 全景图像拼接方法、装置、电子设备及存储介质
CN107909544A (zh) 一种图像校正方法及系统
CN111507894B (zh) 一种图像拼接处理方法及装置
CN111383264A (zh) 一种定位方法、装置、终端及计算机存储介质
CN109285122B (zh) 一种进行图像处理的方法和设备
CN114445583A (zh) 数据处理方法、装置、电子设备及存储介质
WO2021042552A1 (zh) 区域三维重建方法、装置及计算机可读存储介质
JP6156922B2 (ja) 三次元データ生成装置、三次元データ生成方法、及びプログラム
CN112785651A (zh) 用于确定相对位姿参数的方法和装置
EP2879090A1 (en) Aligning ground based images and aerial imagery
CN115753019A (zh) 采集设备的位姿调整方法、装置、设备和可读存储介质
CN115713678A (zh) 一种箭头图片数据增广方法、系统、电子设备及存储介质
WO2022142311A1 (zh) 图像中目标物体的分割方法、三维重建方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination