CN112734914A - 一种增强现实视觉的图像立体重建方法及装置 - Google Patents
一种增强现实视觉的图像立体重建方法及装置 Download PDFInfo
- Publication number
- CN112734914A CN112734914A CN202110049536.2A CN202110049536A CN112734914A CN 112734914 A CN112734914 A CN 112734914A CN 202110049536 A CN202110049536 A CN 202110049536A CN 112734914 A CN112734914 A CN 112734914A
- Authority
- CN
- China
- Prior art keywords
- image
- preset
- dimensional
- augmented reality
- stereoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 31
- 230000009466 transformation Effects 0.000 claims abstract description 35
- 238000005516 engineering process Methods 0.000 claims abstract description 30
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims abstract description 16
- 238000003708 edge detection Methods 0.000 claims abstract description 13
- 238000003709 image segmentation Methods 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 40
- 238000003702 image correction Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 7
- 210000003746 feather Anatomy 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 230000003628 erosive effect Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 description 7
- 238000004088 simulation Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种增强现实视觉的图像立体重建方法，包括获取原始图像；根据预设的边缘检测技术，对原始图像进行图像分割，并结合预设的图像边缘拼接技术，得到轮廊图；采用预设的仿射变换矩阵，对轮廊图计算，得到立体成像的目标图像，并利用所得到的目标图像进行三维建模，得到立体模型；将原始图像及其得到的立体模型进行融合，并结合所述目标图像，得到立体视觉图像。实施本发明，能基于图像三维仿射变换的空间模型生成技术实现交互式图像立体视觉虚拟仿真生成，从而克服现有立体视觉图像重建成本高、鲁棒性不高及效率低等问题。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种增强现实视觉的图像立体重建方法及装置。
背景技术
近年来，虚拟现实与增强现实从技术走向了广泛的商用之路。随着计算机视觉技术的发展，计算机图形学与图像数字信号处理有效的结合，创造出了很多空间成像特效与实时可交互的虚拟仿真应用，真正的应用到了游戏、娱乐、传媒广告等生产生活的各个领域。尤其在移动终端的增强现实呈现方面，基于三维模型的增强现实技术不仅能够促进工业产品仿真、培训教学、娱乐短视频、市场营销等行业内应用，而且通过结合图像特征分析与分割技术，实现了实时的基于多角度图像的三维模型重建、空间全景虚拟场景构建、激光红外级卫星遥感的地形重建等等。增强现实技术能够通过将虚拟模型与真实世界巧妙的融合，通过广泛应用多媒体、移动终端、三维建模、实时跟踪与智能交互等技术手段，实现了真实世界的空间视觉增强。
现有技术中，利用二维图像的关键区域来构建虚拟的仿真立体效果成为了增强现实领域所关注的领域，并加之结合人工智能神经网络的技术，对于图像局部特征的提取与分析，能够更加快速的提高用户对立体视觉的自然交互体验及多终端轻量化的增强现实技术实现。
但是，现有的增强现实视觉的图像立体重建方法中所采用的虚拟三维视觉交互场景局限、三维重建等技术复杂，且多终端移动应用技术成本高，需要辅助摄像头的加入，导致立体视觉图像重建成本高、鲁棒性不高及效率低等问题。
发明内容
本发明实施例所要解决的技术问题在于，提供一种增强现实视觉的图像立体重建方法及装置，能基于图像三维仿射变换的空间模型生成技术实现交互式图像立体视觉虚拟仿真生成，从而克服现有立体视觉图像重建成本高、鲁棒性不高及效率低等问题。
为了解决上述技术问题，本发明实施例提供了一种增强现实视觉的图像立体重建方法，所述方法包括以下步骤：
S1、获取原始图像；
S2、根据预设的边缘检测技术，对所述原始图像进行图像分割，并结合预设的图像边缘拼接技术，得到轮廊图；
S3、采用预设的仿射变换矩阵，对所述轮廊图计算，得到立体成像的目标图像，并利用所得到的目标图像进行三维建模，得到立体模型；
S4、将所述原始图像及其得到的立体模型进行融合，并结合所述目标图像，得到立体视觉图像。
其中，所述步骤S2具体包括：
在所述原始图像上，确定关键区域及每一关键区域上的特征点，并对每一关键区域上的特征点进行提取，且进一步结合图像边缘光影颜色特征进行采样，得到对应于每一关键区域的分割区域图像；
采用预设的均值滤波算法，对每一分割区域图像边缘轮廓进行平滑羽化处理；
基于预设的Hough变换技术，将平滑羽化处理后的每一分割区域图像的边缘连接起来，得到连续平滑边缘的轮廊图。
其中，在每一分割区域图像边缘轮廓进行平滑羽化处理之前，还包括以下步骤：
基于预设的图像模板匹配算法，对每一分割区域图像均进行局部限定并进行二值化处理。
其中，所述在所述原始图像上，确定关键区域及每一关键区域上的特征点，并对每一关键区域上的特征点进行提取，且进一步结合图像边缘光影颜色特征进行采样，得到对应于每一关键区域的分割区域图像的步骤，具体包括：
加载所述原始图像，通过鼠标点击确定初始位置，并通过松开鼠标确定最终位置，形成矩形的两个对角点为特征点；其中，矩形区域为需要分割的关键区域；
使用预设的图像边缘光影颜色特征算法，对每一矩形区域进行处理，得到对应于每一关键区域的分割区域图像。
其中，在所述步骤S2和所述步骤S3之间，还进一步包括以下步骤：
对所述轮廊图进行图像矫正。
其中，所述对所述轮廊图进行图像矫正的具体步骤包括：
对所述轮廊图进行灰度化处理，并将灰度化处理后的轮廊图拉伸至预置尺寸，且进一步对拉伸后的轮廊图执行傅里叶变换，得到频域图像；
将所述频域图像进行二值化处理，并进一步对二值化后的频域图像进行霍夫直线变换，得到相应的直线；
根据所得到的相应直线，计算得到偏移角度，并进一步基于所述偏移角度对图像，将所述轮廊图进行仿射变换，得到图像矫正后的轮廊图。
其中，所述步骤S4具体包括：
将所述目标图像转换为灰度图，并对所述灰度图进行二值化处理，所得的二值化处理后的灰度图设为所述掩膜，且进一步对所述掩膜进行非运算，所得的运算结果设为所述反向掩膜；
获取所述立体模型的背景图像，并将所述背景图像和所述反向掩膜进行与运算，所得的运算结果设为新背景图像；
将所得到的新背景图像与所述立体模型进行与运算之后，再与所述原始图像叠加生成所述立体视觉图像。
本发明实施例还提供了一种增强现实视觉的图像立体重建装置，包括：
原始图像获取单元，用于获取原始图像；
图像边缘检测及分割单元，用于根据预设的边缘检测技术，对所述原始图像进行图像分割，并结合预设的图像边缘拼接技术，得到轮廊图；
三维模型构建单元，用于采用预设的仿射变换矩阵，对所述轮廊图计算，得到立体成像的目标图像，并利用所得到的目标图像进行三维建模，得到立体模型；
立体视觉图像形成单元，用于将所述原始图像及其得到的立体模型进行融合，并结合所述目标图像，得到立体视觉图像。
其中，还包括：图像形态处理及矫正单元；其中，
所述图像形态处理及矫正单元，用于对所述轮廊图分别执行一次形态学腐蚀和膨胀处理之后，进行图像矫正。
其中，所述立体视觉图像形成单元包括：
掩膜生成模块，用于将所述目标图像转换为灰度图，并对所述灰度图进行二值化处理，所得的二值化处理后的灰度图设为所述掩膜，且进一步对所述掩膜进行非运算，所得的运算结果设为所述反向掩膜；
新背景图像生成模块，用于获取所述立体模型的背景图像，并将所述背景图像和所述反向掩膜进行与运算，所得的运算结果设为新背景图像；
图像立体叠加生成模块，用于将所得到的新背景图像与所述立体模型进行与运算之后，再与所述原始图像叠加生成所述立体视觉图像。
实施本发明实施例，具有如下有益效果：
本发明通过图像中轮廓特征区域的局部化限定，并结合边缘检测技术的图像分割、自适应图像矫正以及仿射变换矩阵，用以基于图像三维仿射变换的空间模型生成技术，以此作为二维图像的立体视觉处理样本来实现图像关键区域立体构建的增强现实仿真结果，从而克服现有立体视觉图像重建成本高、鲁棒性不高及效率低等问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明实施例提供的一种增强现实视觉的图像立体重建方法的流程图；
图2为本发明实施例中提供的一种增强现实视觉的图像立体重建方法的应用场景图；
图3为本发明实施例提供的一种增强现实视觉的图像立体重建装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
如图1所示，为本发明实施例中，提供的一种增强现实视觉的图像立体重建方法，所述方法包括以下步骤：
步骤S1、获取原始图像；
具体过程为，首先输入一张原始图像为待处理图像，考虑到不同分割样本图像的前景背景复杂度差异大，颜色与光影属性可能存在深度与方向上的变化情况。因此，为了能够保留图像重要的结构特征属性，通过采用图像边缘检测技术用于目标物体分割。
步骤S2、根据预设的边缘检测技术，对所述原始图像进行图像分割，并结合预设的图像边缘拼接技术，得到轮廊图；
具体过程为，第一步、在原始图像上，确定关键区域及每一关键区域上的特征点，并对每一关键区域上的特征点进行提取，且进一步结合图像边缘光影颜色特征进行采样，得到对应于每一关键区域的分割区域图像；
例如，图像分割分为两个步骤，首先加载原始图像，通过鼠标点击确定初始位置，并通过松开鼠标确定最终位置，形成矩形的两个对角点为特征点，使得每一个矩形区域均为需要分割的关键区域；然后，使用预设的图像边缘光影颜色特征算法，对每一矩形区域进行处理，得到对应于每一关键区域的分割区域图像。
应当说明的是，图像边缘光影颜色特征算法中，把图像像素分为{B,F,PF,PB}.其中，B表示确定的背景像素点，F代表确定的前景点，PF、PB分别代表可能的前景点和后景点。在使用文中图像边缘光影颜色特征算法过程中，用户需要先通过矩形框选择要分割的区域，区域外的为确定的背景像素点，矩形可能为前景点，也可能为背景的像素点，需要对于矩形区域的图像进行操作，对于分割效果不好的区域使用交互系统标记，然后再次分割，直到达到理想的效果。
第二步、采用预设的均值滤波算法，对每一分割区域图像边缘轮廓进行平滑羽化处理。
应当说明的是，由于图像边缘可能存在有限场景深度带来的聚焦模糊，边缘邻域的光影反射等影像因素。通过利用利用均值滤波操作对所提取区域的边缘轮廓进行平滑羽化处理，并相应的扩展边缘的过渡区域。
应当说明的是，在每一分割区域图像边缘轮廓进行平滑羽化处理之前(即在第一步和第二步之间)，还包括以下步骤：基于预设的图像模板匹配算法，对每一分割区域图像均进行局部限定并进行二值化处理，这样为了能够实现图像局部特征区域的交互式分割。同时，针对不同样本前景和背景的差异化特征，采用基于边缘区域采样的自适应化阈值设定，用于满足图像立体视觉仿真的通用性。
第三步、基于预设的Hough变换技术，将平滑羽化处理后的每一分割区域图像的边缘连接起来，得到连续平滑边缘的轮廊图。
应当说明的是，采用Hough变换，Hough变换是一种利用图像的全局特征将特定形状的边缘连接起来，形成连续平滑边缘的一种方法。它通过将源图像上的点映射到用于累加的参数空间，实现对已知解析式曲线的识别。图像上任意直线区域都可以一一对应参数空间中的一个点，而图像上的任意像素都同时存在于很多直线区域之上，当图像上的某个直线区域包含的特定像素足够多时，就可以认为这个直线区域表示的直线存在。在计算机视觉以及图像处理中梯度方向直方图(HOG)是一种基于形状边缘特征，能对物体进行检测的描述算子，基本思想是利用梯度信息能很好的反映图像目标的边缘信息并且通过局部梯度的大小将图像局部的外观和形状特征化。
步骤S3、采用预设的仿射变换矩阵，对所述轮廊图计算，得到立体成像的目标图像，并利用所得到的目标图像进行三维建模，得到立体模型；
具体过程为，在轮廊图进行仿射变换计算得到目标图像之前，还可以对执行一次形态学腐蚀和膨胀，使图像细节更清晰，然后再对形态学腐蚀和膨胀处理之后的轮廊图进行图像矫正。
上述图像矫正的作用是可以将算法可以更广泛的应用于各类图像，将有些发生偏移畸变的图像，进行矫正，使产生的效果，更加真实。
其中，轮廊图进行图像矫正的步骤具体如下：
(1)对轮廊图进行灰度化处理，并将灰度化处理后的轮廊图拉伸至预置尺寸，且进一步对拉伸后的轮廊图执行傅里叶变换，得到频域图像；
应当说明的是，将图像延展到合适的尺寸，可以提高运行速度。同时，傅里叶变换的使用是将图像从空间域转换到频域。在频域里面，对于一幅图像，高频部分代表了图像的细节、纹理信息；低频部分代表了图像的轮廓信息。用来将函数分解的工具二维图像的傅里叶变换如下式表示：
式中，f是空间域(Spatial domain)值，F是频域(Frequency domain)值，eix＝cosx+isinx
。转换之后的频域值是复数。
因此，显示傅里叶变换之后的结果，需要使用实数图像加虚数图像，或者幅度图像加相位图像的形式。
(2)将频域图像进行二值化处理，并进一步对二值化后的频域图像进行霍夫直线变换，得到相应的直线。
(3)根据所得到的相应直线，计算得到偏移角度，并进一步基于所述偏移角度对图像，将轮廊图进行仿射变换，得到图像矫正后的轮廊图。
在轮廊图进行仿射变换计算时，仿射变换的目的为通过选择的点的变换，进而使图像上的点都按相同的偏移方式进行变换。仿射变换代表的是两幅图之间的一种映射。
例如，通常使用2x3的矩阵来表示仿射变换。
使用矩阵A和B对二维向量
做变换，所以也能表示为下列形式：
仿射变换基本标识的是两幅图片之间的联系，这种联系可以通过已知M和X。应用算式T＝M·X得到T。对于这种联系的信息可以用矩阵M来表示(即给出明确的2x3矩阵)或者也可以用两幅图片点之间的几何关系来表示。因为矩阵M联系着两幅图片，以其表示两图中各三点直接的联系，能通过这样两组点求出仿射变换(可以任选点)，然后就能把仿射变换应用到图像中所有点。
在一个实施例中，在初始输入的图像中选取2组点，首先在物体的底部选取两个点，然后在物体的顶部选取一个点，这是第一组点；然后，再选取一个点作为仿射变换后形成阴影顶部的点所在位置，并与首次物体底部两个点作为第二组点；将第一组点和第二组点作为参数，得到变换的矩阵，然后通过这个矩阵应用到得到的二值图像上，得到立体成像的目标图像，且进一步利用目标图像进行三维模型构建，得到立体模型，这样就可以将仿射变换得到的立体模型的底部与原物体底部位置基本不会发生变化。
步骤S4、将所述原始图像及其得到的立体模型进行融合，并结合所述目标图像，得到立体视觉图像。
具体过程为，首先，将目标图像转换为灰度图，并对灰度图进行二值化处理，所得的二值化处理后的灰度图设为掩膜，且进一步对掩膜进行非运算，所得的运算结果设为反向掩膜；其次，获取立体模型的背景图像，并将背景图像和反向掩膜进行与运算，所得的运算结果设为新背景图像；最后，将所得到的新背景图像与立体模型进行与运算之后，再与所述原始图像叠加生成所述立体视觉图像。
如图2所示，为本发明实施例中提供的一种增强现实视觉的图像立体重建方法的应用场景图。在图2中，引用图像局部特征轮廓区域进行立体视觉生成，实时的多目标模板匹配的图像采集及特征矫正，采用可交互式最近区域的仿真阴影生成以及采用二值化滤波技术对局部边缘区域采样进行颜色空间融合，并结合图像矫正与仿射变换进行感兴趣区域图像的三维构建，能够在图像区域生成三维模型的增强现实仿真效果。
如图3所示，为本发明实施例中，提供的一种增强现实视觉的图像立体重建装置，包括：
原始图像获取单元110，用于获取原始图像；
图像边缘检测及分割单元120，用于根据预设的边缘检测技术，对所述原始图像进行图像分割，并结合预设的图像边缘拼接技术，得到轮廊图；
三维模型构建单元130，用于采用预设的仿射变换矩阵，对所述轮廊图计算，得到立体成像的目标图像，并利用所得到的目标图像进行三维建模，得到立体模型；
立体视觉图像形成单元140，用于将所述原始图像及其得到的立体模型进行融合，并结合所述目标图像，得到立体视觉图像。
其中，还包括：图像形态处理及矫正单元；其中，
所述图像形态处理及矫正单元，用于对所述轮廊图分别执行一次形态学腐蚀和膨胀处理之后，进行图像矫正。
其中，所述立体视觉图像形成单元140包括：
掩膜生成模块，用于将所述目标图像转换为灰度图，并对所述灰度图进行二值化处理，所得的二值化处理后的灰度图设为所述掩膜，且进一步对所述掩膜进行非运算，所得的运算结果设为所述反向掩膜；
新背景图像生成模块，用于获取所述立体模型的背景图像，并将所述背景图像和所述反向掩膜进行与运算，所得的运算结果设为新背景图像；
图像立体叠加生成模块，用于将所得到的新背景图像与所述立体模型进行与运算之后，再与所述原始图像叠加生成所述立体视觉图像。
实施本发明实施例，具有如下有益效果：
本发明通过图像中轮廓特征区域的局部化限定，并结合边缘检测技术的图像分割、自适应图像矫正以及仿射变换矩阵，用以基于图像三维仿射变换的空间模型生成技术，以此作为二维图像的立体视觉处理样本来实现图像关键区域立体构建的增强现实仿真结果，从而克服现有立体视觉图像重建成本高、鲁棒性不高及效率低等问题。
值得注意的是，上述装置实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种增强现实视觉的图像立体重建方法，其特征在于，所述方法包括以下步骤：
S1、获取原始图像；
S2、根据预设的边缘检测技术，对所述原始图像进行图像分割，并结合预设的图像边缘拼接技术，得到轮廊图；
S3、采用预设的仿射变换矩阵，对所述轮廊图计算，得到立体成像的目标图像，并利用所得到的目标图像进行三维建模，得到立体模型；
S4、将所述原始图像及其得到的立体模型进行融合，并结合所述目标图像，得到立体视觉图像。
2.如权利要求1所述的增强现实视觉的图像立体重建方法，其特征在于，所述步骤S2具体包括：
在所述原始图像上，确定关键区域及每一关键区域上的特征点，并对每一关键区域上的特征点进行提取，且进一步结合图像边缘光影颜色特征进行采样，得到对应于每一关键区域的分割区域图像；
采用预设的均值滤波算法，对每一分割区域图像边缘轮廓进行平滑羽化处理；
基于预设的Hough变换技术，将平滑羽化处理后的每一分割区域图像的边缘连接起来，得到连续平滑边缘的轮廊图。
3.如权利要求2所述的增强现实视觉的图像立体重建方法，其特征在于，在每一分割区域图像边缘轮廓进行平滑羽化处理之前，还包括以下步骤：
基于预设的图像模板匹配算法，对每一分割区域图像均进行局部限定并进行二值化处理。
4.如权利要求2所述的增强现实视觉的图像立体重建方法，其特征在于，所述在所述原始图像上，确定关键区域及每一关键区域上的特征点，并对每一关键区域上的特征点进行提取，且进一步结合图像边缘光影颜色特征进行采样，得到对应于每一关键区域的分割区域图像的步骤，具体包括：
加载所述原始图像，通过鼠标点击确定初始位置，并通过松开鼠标确定最终位置，形成矩形的两个对角点为特征点；其中，矩形区域为需要分割的关键区域；
使用预设的图像边缘光影颜色特征算法，对每一矩形区域进行处理，得到对应于每一关键区域的分割区域图像。
5.如权利要求1所述的增强现实视觉的图像立体重建方法，其特征在于，在所述步骤S2和所述步骤S3之间，还进一步包括以下步骤：
对所述轮廊图分别执行一次形态学腐蚀和膨胀处理之后，进行图像矫正。
6.如权利要求5所述的增强现实视觉的图像立体重建方法，其特征在于，所述对所述轮廊图进行图像矫正的具体步骤包括：
对所述轮廊图进行灰度化处理，并将灰度化处理后的轮廊图拉伸至预置尺寸，且进一步对拉伸后的轮廊图执行傅里叶变换，得到频域图像；
将所述频域图像进行二值化处理，并进一步对二值化后的频域图像进行霍夫直线变换，得到相应的直线；
根据所得到的相应直线，计算得到偏移角度，并进一步基于所述偏移角度对图像，将所述轮廊图进行仿射变换，得到图像矫正后的轮廊图。
7.如权利要求1所述的增强现实视觉的图像立体重建方法，其特征在于，所述步骤S4具体包括：
将所述目标图像转换为灰度图，并对所述灰度图进行二值化处理，所得的二值化处理后的灰度图设为所述目标图像的掩膜，且进一步对所述掩膜进行非运算，所得的运算结果设为所述目标图像的反向掩膜；
获取所述立体模型的背景图像，并将所述背景图像和所述反向掩膜进行与运算，所得的运算结果设为新背景图像；
将所得到的新背景图像与所述立体模型进行与运算之后，再与所述原始图像叠加生成所述立体视觉图像。
8.一种增强现实视觉的图像立体重建装置，其特征在于，包括：
原始图像获取单元，用于获取原始图像；
图像边缘检测及分割单元，用于根据预设的边缘检测技术，对所述原始图像进行图像分割，并结合预设的图像边缘拼接技术，得到轮廊图；
三维模型构建单元，用于采用预设的仿射变换矩阵，对所述轮廊图计算，得到立体成像的目标图像，并利用所得到的目标图像进行三维建模，得到立体模型；
立体视觉图像形成单元，用于将所述原始图像及其得到的立体模型进行融合，并结合所述目标图像，得到立体视觉图像。
9.如权利要求8所述的增强现实视觉的图像立体重建装置，其特征在于，还包括：图像形态处理及矫正单元；其中，
所述图像形态处理及矫正单元，用于对所述轮廊图分别执行一次形态学腐蚀和膨胀处理之后，进行图像矫正。
10.如权利要求8所述的增强现实视觉的图像立体重建装置，其特征在于，所述立体视觉图像形成单元包括：
掩膜生成模块，用于将所述目标图像转换为灰度图，并对所述灰度图进行二值化处理，所得的二值化处理后的灰度图设为所述掩膜，且进一步对所述掩膜进行非运算，所得的运算结果设为所述反向掩膜；
新背景图像生成模块，用于获取所述立体模型的背景图像，并将所述背景图像和所述反向掩膜进行与运算，所得的运算结果设为新背景图像；
图像立体叠加生成模块，用于将所得到的新背景图像与所述立体模型进行与运算之后，再与所述原始图像叠加生成所述立体视觉图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110049536.2A CN112734914A (zh) | 2021-01-14 | 2021-01-14 | 一种增强现实视觉的图像立体重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110049536.2A CN112734914A (zh) | 2021-01-14 | 2021-01-14 | 一种增强现实视觉的图像立体重建方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112734914A true CN112734914A (zh) | 2021-04-30 |
Family
ID=75593102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110049536.2A Pending CN112734914A (zh) | 2021-01-14 | 2021-01-14 | 一种增强现实视觉的图像立体重建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112734914A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113208567A (zh) * | 2021-06-07 | 2021-08-06 | 上海微创医疗机器人（集团）股份有限公司 | 多光谱成像系统、成像方法和存储介质 |
| CN114648694A (zh) * | 2022-03-01 | 2022-06-21 | 无锡雪浪数制科技有限公司 | 一种基于深度相机与机器视觉的海缆排缆间隙识别方法 |
| CN117598782A (zh) * | 2023-09-28 | 2024-02-27 | 杭州盛星医疗科技有限公司 | 用于经皮穿刺手术的手术导航方法、装置、设备及介质 |
| CN117830518A (zh) * | 2023-12-25 | 2024-04-05 | 中国科学院苏州生物医学工程技术研究所 | 一种细胞组织三维重构和细胞分析方法、装置及存储介质 |
| CN118195424A (zh) * | 2024-05-14 | 2024-06-14 | 珠江水利委员会珠江水利科学研究院 | 一种基于开源数据的应急避难场所适应性评价方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002230582A (ja) * | 2001-01-30 | 2002-08-16 | Shiyuusaku Furushima | ひな形形状モデル及び画像から３次元形状モデルを生成する方法 |
| CN102360489A (zh) * | 2011-09-26 | 2012-02-22 | 盛乐信息技术（上海）有限公司 | 实现二维图像到三维图像转换的方法及装置 |
| CN102568026A (zh) * | 2011-12-12 | 2012-07-11 | 浙江大学 | 一种多视点自由立体显示的三维增强现实方法 |
| CN110120101A (zh) * | 2019-04-30 | 2019-08-13 | 中国科学院自动化研究所 | 基于三维视觉的圆柱体增强现实方法、系统、装置 |
| CN110767292A (zh) * | 2019-10-12 | 2020-02-07 | 腾讯科技（深圳）有限公司 | 病理编号识别方法、信息识别方法、装置及信息识别系统 |
-
2021
- 2021-01-14 CN CN202110049536.2A patent/CN112734914A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002230582A (ja) * | 2001-01-30 | 2002-08-16 | Shiyuusaku Furushima | ひな形形状モデル及び画像から３次元形状モデルを生成する方法 |
| CN102360489A (zh) * | 2011-09-26 | 2012-02-22 | 盛乐信息技术（上海）有限公司 | 实现二维图像到三维图像转换的方法及装置 |
| CN102568026A (zh) * | 2011-12-12 | 2012-07-11 | 浙江大学 | 一种多视点自由立体显示的三维增强现实方法 |
| CN110120101A (zh) * | 2019-04-30 | 2019-08-13 | 中国科学院自动化研究所 | 基于三维视觉的圆柱体增强现实方法、系统、装置 |
| CN110767292A (zh) * | 2019-10-12 | 2020-02-07 | 腾讯科技（深圳）有限公司 | 病理编号识别方法、信息识别方法、装置及信息识别系统 |
Non-Patent Citations (2)
| Title |
|---|
| 张强: "基于双目立体视觉的三维特征点测量方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 王晓君 等: "一种倾斜文本图像的旋转校正技术", 《邯郸职业技术学院学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113208567A (zh) * | 2021-06-07 | 2021-08-06 | 上海微创医疗机器人（集团）股份有限公司 | 多光谱成像系统、成像方法和存储介质 |
| CN114648694A (zh) * | 2022-03-01 | 2022-06-21 | 无锡雪浪数制科技有限公司 | 一种基于深度相机与机器视觉的海缆排缆间隙识别方法 |
| CN117598782A (zh) * | 2023-09-28 | 2024-02-27 | 杭州盛星医疗科技有限公司 | 用于经皮穿刺手术的手术导航方法、装置、设备及介质 |
| CN117598782B (zh) * | 2023-09-28 | 2024-06-04 | 苏州盛星医疗器械有限公司 | 用于经皮穿刺手术的手术导航方法、装置、设备及介质 |
| CN117830518A (zh) * | 2023-12-25 | 2024-04-05 | 中国科学院苏州生物医学工程技术研究所 | 一种细胞组织三维重构和细胞分析方法、装置及存储介质 |
| CN118195424A (zh) * | 2024-05-14 | 2024-06-14 | 珠江水利委员会珠江水利科学研究院 | 一种基于开源数据的应急避难场所适应性评价方法 |
| CN118195424B (zh) * | 2024-05-14 | 2024-08-13 | 珠江水利委员会珠江水利科学研究院 | 一种基于开源数据的应急避难场所适应性评价方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| He et al. | Towards fast and accurate real-world depth super-resolution: Benchmark dataset and baseline | |
| Engin et al. | Cycle-dehaze: Enhanced cyclegan for single image dehazing | |
| CN112734914A (zh) | 一种增强现实视觉的图像立体重建方法及装置 | |
| Xiao et al. | Fast image dehazing using guided joint bilateral filter | |
| Roa'a et al. | Generation of high dynamic range for enhancing the panorama environment | |
| CN112184585B (zh) | 一种基于语义边缘融合的图像补全方法及系统 | |
| KR20180087918A (ko) | 실감형 인터랙티브 증강현실 가상체험 학습 서비스 방법 | |
| CN112712487B (zh) | 一种场景视频融合方法、系统、电子设备及存储介质 | |
| CN113808005A (zh) | 一种基于视频驱动的人脸姿态迁移方法及装置 | |
| KR102311796B1 (ko) | 지역적 신체영역 정보를 이용한 휴먼 모션 디블러링 방법 및 장치 | |
| Wang et al. | Joint framework for single image reconstruction and super-resolution with an event camera | |
| CN114677479A (zh) | 一种基于深度学习的自然景观多视图三维重建方法 | |
| Katramados et al. | Real-time visual saliency by division of gaussians | |
| CN116012432A (zh) | 立体全景图像的生成方法、装置和计算机设备 | |
| Rui et al. | Research on fast natural aerial image mosaic | |
| Nouduri et al. | Deep realistic novel view generation for city-scale aerial images | |
| Tseng et al. | Depth image super-resolution via multi-frame registration and deep learning | |
| CN112785489B (zh) | 一种单目立体视觉图像生成方法及装置 | |
| Zhao et al. | 3dfill: Reference-guided image inpainting by self-supervised 3d image alignment | |
| Bendre et al. | Attention U-Net for Low Light Image Enhancement | |
| Kim et al. | Accurate depth image generation via overfit training of point cloud registration using local frame sets | |
| Yang et al. | A novel stereo image self-inpainting network for autonomous robots | |
| Kumawat et al. | SRGAN with 3D CNN Model for Video Stabilization | |
| CN117221466B (zh) | 基于网格变换的视频拼接方法及系统 | |
| Peng | Research on 3D Graphics Rendering Based on Deep Learning Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210430 |