CN112785489A - 一种单目立体视觉图像生成方法及装置 - Google Patents
一种单目立体视觉图像生成方法及装置 Download PDFInfo
- Publication number
- CN112785489A CN112785489A CN202011588022.6A CN202011588022A CN112785489A CN 112785489 A CN112785489 A CN 112785489A CN 202011588022 A CN202011588022 A CN 202011588022A CN 112785489 A CN112785489 A CN 112785489A
- Authority
- CN
- China
- Prior art keywords
- image
- preset
- shadow
- stereoscopic vision
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000005516 engineering process Methods 0.000 claims abstract description 38
- 230000009466 transformation Effects 0.000 claims abstract description 29
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 15
- 238000003708 edge detection Methods 0.000 claims abstract description 13
- 238000003709 image segmentation Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 22
- 238000003702 image correction Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 210000003746 feather Anatomy 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种单目立体视觉图像生成方法，包括获取原始图像；根据预设的边缘检测技术，对原始图像进行图像分割，并结合预设的图像边缘拼接技术，得到轮廊图；采用预设的仿射变换矩阵，对轮廊图计算，得到阴影；将原始图像及其得到的阴影进行融合，得到立体视觉图像。实施本发明，能基于单目图像采集的样本实现交互式图像立体视觉虚拟仿真生成，从而克服现有立体视觉图像重建成本高、鲁棒性不高及效率低等问题。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种单目立体视觉图像生成方法及装置。
背景技术
近年来，随着数字图像处理技术的发展和虚拟现实技术的广泛商用，实时可交互的基于图像的立体视觉技术真正的应用到了游戏、娱乐、传媒等生产生活的各个领域。尤其在移动虚拟场景漫游领域。基于图像三维重建的立体视觉技术，不仅能够促进工业产品仿真、逆向工程、室内装饰装修、广告媒体宣传、娱乐短视频等行业内应用，而且通过结合计算机图形学和计算机视觉技术，做到实时的少样本三维模型重建、双目立体视觉的动态显示、多目摄像头的空间重建、卫星遥感地形重建等。
立体视觉技术是基于人眼成像的生理学特点，通过双眼间距对图像采集的间距时差造成的一种对观察物产生立体感的技术。由于双眼同时注视物体，双眼视线的交叉能够察觉并分变出物体的距离、深度及材质凹凸质感等。目前，在计算机领域中利用人体这一特性开始有越来越多的研究者开始关注虚拟立体视觉仿真技术，如三维立体影像(3D电影、3D电视等)正受到人们广泛的关注。
现有技术中，双目立体视觉技术已经能够成熟的应用于虚拟现实技术。例如，一些研究者提出了如何利用单张图像来虚拟仿真立体效果，并基于多视觉几何原理从运动中实现3D重建，从无时序的2D图像来推算三维信息，成为了计算机视觉学科的重要分支。又如，通过更加轻量快速地建立2D图像的虚影、偏转等方法，构建基于二维图像的三维视觉感观印象，加之结合人工智能神经网络的技术，对于图像局部特征的提取与分析，能够更加快速的提高用户对立体视觉的自然交互体验及多终端轻量化的增强现实技术实现。
但是，双目立体视觉技术中虚拟三维视觉交互场景局限、三维重建等技术复杂，且多终端移动应用技术成本高，需要辅助摄像头的加入，导致立体视觉图像重建成本高、鲁棒性不高及效率低等问题。
发明内容
本发明实施例所要解决的技术问题在于，提供一种单目立体视觉图像生成方法及装置，能基于单目图像采集的样本实现交互式图像立体视觉虚拟仿真生成，从而克服现有立体视觉图像重建成本高、鲁棒性不高及效率低等问题。
为了解决上述技术问题，本发明实施例提供了一种单目立体视觉图像生成方法，所述方法包括以下步骤：
S1、获取原始图像；
S2、根据预设的边缘检测技术，对所述原始图像进行图像分割，并结合预设的图像边缘拼接技术，得到轮廊图；
S3、采用预设的仿射变换矩阵，对所述轮廊图计算，得到阴影；
S4、将所述原始图像及其得到的阴影进行融合，得到立体视觉图像。
其中，所述步骤S2具体包括：
在所述原始图像上，确定关键区域及每一关键区域上的特征点，并对每一关键区域上的特征点进行提取，且进一步结合图像边缘光影颜色特征进行采样，得到对应于每一关键区域的分割区域图像；
采用预设的均值滤波算法，对每一分割区域图像边缘轮廓进行平滑羽化处理；
基于预设的Hough变换技术，将平滑羽化处理后的每一分割区域图像的边缘连接起来，得到连续平滑边缘的轮廊图。
其中，在每一分割区域图像边缘轮廓进行平滑羽化处理之前，还包括以下步骤：
基于预设的图像模板匹配算法，对每一分割区域图像均进行局部限定并进行二值化处理。
其中，所述在所述原始图像上，确定关键区域及每一关键区域上的特征点，并对每一关键区域上的特征点进行提取，且进一步结合图像边缘光影颜色特征进行采样，得到对应于每一关键区域的分割区域图像的步骤，具体包括：
加载所述原始图像，通过鼠标点击确定初始位置，并通过松开鼠标确定最终位置，形成矩形的两个对角点为特征点；其中，矩形区域为需要分割的关键区域；
使用预设的图像边缘光影颜色特征算法，对每一矩形区域进行处理，得到对应于每一关键区域的分割区域图像。
其中，在所述步骤S2和所述步骤S3之间，还进一步包括以下步骤：
对所述轮廊图进行图像矫正。
其中，所述对所述轮廊图进行图像矫正的具体步骤包括：
对所述轮廊图进行灰度化处理，并将灰度化处理后的轮廊图拉伸至预置尺寸，且进一步对拉伸后的轮廊图执行傅里叶变换，得到频域图像；
将所述频域图像进行二值化处理，并进一步对二值化后的频域图像进行霍夫直线变换，得到相应的直线；
根据所得到的相应直线，计算得到偏移角度，并进一步基于所述偏移角度对图像，将所述轮廊图进行仿射变换，得到图像矫正后的轮廊图。
其中，所述步骤S4具体包括：
将所述原始图像进行二值化和反色处理之后，并按照预设的第一权重比，将二值化和反色处理之后的原始图像与所述阴影进行图像融合，得到融合图像；
按照预设的第二权重比，将所得到的融合图像与所述原始图像进行融合，得到所述立体视觉图像。
其中，所述预设的第一权重比为1：1；所述预设的第二权重比为0.85：0.15。
本发明实施例还提供了一种单目立体视觉图像生成装置，包括：
原始图像获取单元，用于获取原始图像；
图像边缘检测及分割单元，用于根据预设的边缘检测技术，对所述原始图像进行图像分割，并结合预设的图像边缘拼接技术，得到轮廊图；
阴影计算单元，用于采用预设的仿射变换矩阵，对所述轮廊图计算，得到阴影；
立体视觉图像形成单元，用于将所述原始图像及其得到的阴影进行融合，得到立体视觉图像。
其中，还包括：图像矫正单元；其中，
所述图像矫正单元，用于对所述轮廊图进行图像矫正。
实施本发明实施例，具有如下有益效果：
本发明通过图像中轮廓特征区域的局部化限定，并结合边缘检测技术的图像分割、自适应图像矫正以及仿射变换矩阵，用以引入图像阴影生成技术，以此作为基于单目图像采集的样本实现交互式图像立体视觉虚拟仿真生成，从而克服现有立体视觉图像重建成本高、鲁棒性不高及效率低等问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明实施例提供的单目立体视觉图像生成方法的流程图；
图2为本发明实施例中提供的一种单目立体视觉图像生成方法的应用场景图；
图3为本发明实施例提供的单目立体视觉图像生成装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
如图1所示，为本发明实施例中，提供的一种单目立体视觉图像生成方法，所述方法包括以下步骤：
步骤S1、获取原始图像；
具体过程为，首先输入一张原始图像为待处理图像，考虑到不同分割样本图像的前景背景复杂度差异大，颜色与光影属性可能存在深度与方向上的变化情况。因此，为了能够保留图像重要的结构特征属性，通过采用图像边缘检测技术用于目标物体分割。
步骤S2、根据预设的边缘检测技术，对所述原始图像进行图像分割，并结合预设的图像边缘拼接技术，得到轮廊图；
具体过程为，第一步、在原始图像上，确定关键区域及每一关键区域上的特征点，并对每一关键区域上的特征点进行提取，且进一步结合图像边缘光影颜色特征进行采样，得到对应于每一关键区域的分割区域图像；
例如，图像分割分为两个步骤，首先加载原始图像，通过鼠标点击确定初始位置，并通过松开鼠标确定最终位置，形成矩形的两个对角点为特征点，使得每一个矩形区域均为需要分割的关键区域；然后，使用预设的图像边缘光影颜色特征算法，对每一矩形区域进行处理，得到对应于每一关键区域的分割区域图像。
应当说明的是，图像边缘光影颜色特征算法中，把图像像素分为{B,F,PF,PB}.其中，B表示确定的背景像素点，F代表确定的前景点，PF、PB分别代表可能的前景点和后景点。在使用文中图像边缘光影颜色特征算法过程中，用户需要先通过矩形框选择要分割的区域，区域外的为确定的背景像素点，矩形可能为前景点，也可能为背景的像素点，需要对于矩形区域的图像进行操作，对于分割效果不好的区域使用交互系统标记，然后再次分割，直到达到理想的效果。
第二步、采用预设的均值滤波算法，对每一分割区域图像边缘轮廓进行平滑羽化处理。
应当说明的是，由于图像边缘可能存在有限场景深度带来的聚焦模糊，边缘邻域的光影反射等影像因素。通过利用利用均值滤波操作对所提取区域的边缘轮廓进行平滑羽化处理，并相应的扩展边缘的过渡区域。
应当说明的是，在每一分割区域图像边缘轮廓进行平滑羽化处理之前(即在第一步和第二步之间)，还包括以下步骤：基于预设的图像模板匹配算法，对每一分割区域图像均进行局部限定并进行二值化处理，这样为了能够实现图像局部特征区域的交互式分割。同时，针对不同样本前景和背景的差异化特征，采用基于边缘区域采样的自适应化阈值设定，用于满足图像立体视觉仿真的通用性。
第三步、基于预设的Hough变换技术，将平滑羽化处理后的每一分割区域图像的边缘连接起来，得到连续平滑边缘的轮廊图。
应当说明的是，采用Hough变换，Hough变换是一种利用图像的全局特征将特定形状的边缘连接起来，形成连续平滑边缘的一种方法。它通过将源图像上的点映射到用于累加的参数空间，实现对已知解析式曲线的识别。图像上任意直线区域都可以一一对应参数空间中的一个点，而图像上的任意像素都同时存在于很多直线区域之上，当图像上的某个直线区域包含的特定像素足够多时，就可以认为这个直线区域表示的直线存在。在计算机视觉以及图像处理中梯度方向直方图(HOG)是一种基于形状边缘特征，能对物体进行检测的描述算子，基本思想是利用梯度信息能很好的反映图像目标的边缘信息并且通过局部梯度的大小将图像局部的外观和形状特征化。
步骤S3、采用预设的仿射变换矩阵，对所述轮廊图计算，得到阴影；
具体过程为，在轮廊图进行仿射变换计算得到阴影之前，还可以对轮廊图进行图像矫正。上述图像矫正的作用是可以将算法可以更广泛的应用于各类图像，将有些发生偏移畸变的图像，进行矫正，使产生的效果，更加真实。
其中，轮廊图进行图像矫正的步骤具体如下：
(1)对轮廊图进行灰度化处理，并将灰度化处理后的轮廊图拉伸至预置尺寸，且进一步对拉伸后的轮廊图执行傅里叶变换，得到频域图像；
应当说明的是，将图像延展到合适的尺寸，可以提高运行速度。同时，傅里叶变换的使用是将图像从空间域转换到频域。在频域里面，对于一幅图像，高频部分代表了图像的细节、纹理信息；低频部分代表了图像的轮廓信息。用来将函数分解的工具二维图像的傅里叶变换如下式表示：
式中，f是空间域(Spatial domain)值，F是频域(Frequency domain)值，eix＝cosx+isinx
。转换之后的频域值是复数。
因此，显示傅里叶变换之后的结果，需要使用实数图像加虚数图像，或者幅度图像加相位图像的形式。
(2)将频域图像进行二值化处理，并进一步对二值化后的频域图像进行霍夫直线变换，得到相应的直线。
(3)根据所得到的相应直线，计算得到偏移角度，并进一步基于所述偏移角度对图像，将轮廊图进行仿射变换，得到图像矫正后的轮廊图。
在轮廊图进行仿射变换计算时，仿射变换的目的为通过选择的点的变换，进而使图像上的点都按相同的偏移方式进行变换。仿射变换代表的是两幅图之间的一种映射。
例如，通常使用2x3的矩阵来表示仿射变换。
使用矩阵A和B对二维向量
做变换，所以也能表示为下列形式：
仿射变换基本标识的是两幅图片之间的联系，这种联系可以通过已知M和X。应用算式T＝M·X得到T。对于这种联系的信息可以用矩阵M来表示(即给出明确的2x3矩阵)或者也可以用两幅图片点之间的几何关系来表示。因为矩阵M联系着两幅图片，以其表示两图中各三点直接的联系，能通过这样两组点求出仿射变换(可以任选点)，然后就能把仿射变换应用到图像中所有点。
在一个实施例中，在初始输入的图像中选取2组点，首先在物体的底部选取两个点，然后在物体的顶部选取一个点，这是第一组点；然后，再选取一个点作为仿射变换后形成阴影顶部的点所在位置，并与首次物体底部两个点作为第二组点；将第一组点和第二组点作为参数，得到变换的矩阵，然后通过这个矩阵应用到得到的二值图像上，得到阴影，这样就可以将仿射变换得到的阴影的底部与原物体底部位置基本不会发生变化。
步骤S4、将所述原始图像及其得到的阴影进行融合，得到立体视觉图像。
具体过程为，首先，将原始图像进行二值化和反色处理之后，并按照预设的第一权重比，将二值化和反色处理之后的原始图像与所述阴影进行图像融合，得到融合图像；其中，预设的第一权重比为1：1；
最后，按照预设的第二权重比，将所得到的融合图像与所述原始图像进行融合，得到所述立体视觉图像；其中，预设的第二权重比为0.85：0.15。
在一个实施例中，将原始图像进行二值化得到的二值图像进行反色操作，将图像中的黑色区域和白色区域互换，然后和通过仿射变换得到的阴影，进行按照w1:w2的权重进行融合，其中w1，w2均取1，以此去掉相融的部分；
接着，将得到的融合图像和原始图像按照w3:w4的权重进行融合，其中w3取0.85，w4取0.15，使阴影出现在原始图像上，最终达到图像带有阴影使之产生视觉上立体化的效果，即结果图像(立体视觉图像)。可以考虑的是，还可以利用泊松融合的方法将转换后的结果图像与原始图像进一步进行融合.同时，对于分割边缘区域不够明显的区域采用均值滤波，达到很好的扩宽过度边缘的效果。
如图2所示，为本发明实施例中提供的一种单目立体视觉图像生成方法的应用场景图。在图2中，引用图像局部特征轮廓区域进行立体视觉生成，实时的多目标模板匹配的图像采集及特征矫正，采用可交互式最近区域的仿真阴影生成以及采用二值化滤波技术对局部边缘区域采样进行颜色空间融合。
如图3所示，为本发明实施例中，提供的一种单目立体视觉图像生成装置，包括：
原始图像获取单元110，用于获取原始图像；
图像边缘检测及分割单元120，用于根据预设的边缘检测技术，对所述原始图像进行图像分割，并结合预设的图像边缘拼接技术，得到轮廊图；
阴影计算单元130，用于采用预设的仿射变换矩阵，对所述轮廊图计算，得到阴影；
立体视觉图像形成单元140，用于将所述原始图像及其得到的阴影进行融合，得到立体视觉图像。
其中，还包括：图像矫正单元；其中，
所述图像矫正单元，用于对所述轮廊图进行图像矫正。
实施本发明实施例，具有如下有益效果：
本发明通过图像中轮廓特征区域的局部化限定，并结合边缘检测技术的图像分割、自适应图像矫正以及仿射变换矩阵，用以引入图像阴影生成技术，以此作为基于单目图像采集的样本实现交互式图像立体视觉虚拟仿真生成，从而克服现有立体视觉图像重建成本高、鲁棒性不高及效率低等问题。
值得注意的是，上述装置实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种单目立体视觉图像生成方法，其特征在于，所述方法包括以下步骤：
S1、获取原始图像；
S2、根据预设的边缘检测技术，对所述原始图像进行图像分割，并结合预设的图像边缘拼接技术，得到轮廊图；
S3、采用预设的仿射变换矩阵，对所述轮廊图计算，得到阴影；
S4、将所述原始图像及其得到的阴影进行融合，得到立体视觉图像。
2.如权利要求1所述的单目立体视觉图像生成方法，其特征在于，所述步骤S2具体包括：
在所述原始图像上，确定关键区域及每一关键区域上的特征点，并对每一关键区域上的特征点进行提取，且进一步结合图像边缘光影颜色特征进行采样，得到对应于每一关键区域的分割区域图像；
采用预设的均值滤波算法，对每一分割区域图像边缘轮廓进行平滑羽化处理；
基于预设的Hough变换技术，将平滑羽化处理后的每一分割区域图像的边缘连接起来，得到连续平滑边缘的轮廊图。
3.如权利要求2所述的单目立体视觉图像生成方法，其特征在于，在每一分割区域图像边缘轮廓进行平滑羽化处理之前，还包括以下步骤：
基于预设的图像模板匹配算法，对每一分割区域图像均进行局部限定并进行二值化处理。
4.如权利要求1所述的单目立体视觉图像生成方法，其特征在于，所述在所述原始图像上，确定关键区域及每一关键区域上的特征点，并对每一关键区域上的特征点进行提取，且进一步结合图像边缘光影颜色特征进行采样，得到对应于每一关键区域的分割区域图像的步骤，具体包括：
加载所述原始图像，通过鼠标点击确定初始位置，并通过松开鼠标确定最终位置，形成矩形的两个对角点为特征点；其中，矩形区域为需要分割的关键区域；
使用预设的图像边缘光影颜色特征算法，对每一矩形区域进行处理，得到对应于每一关键区域的分割区域图像。
5.如权利要求1所述的单目立体视觉图像生成方法，其特征在于，在所述步骤S2和所述步骤S3之间，还进一步包括以下步骤：
对所述轮廊图进行图像矫正。
6.如权利要求5所述的单目立体视觉图像生成方法，其特征在于，所述对所述轮廊图进行图像矫正的具体步骤包括：
对所述轮廊图进行灰度化处理，并将灰度化处理后的轮廊图拉伸至预置尺寸，且进一步对拉伸后的轮廊图执行傅里叶变换，得到频域图像；
将所述频域图像进行二值化处理，并进一步对二值化后的频域图像进行霍夫直线变换，得到相应的直线；
根据所得到的相应直线，计算得到偏移角度，并进一步基于所述偏移角度对图像，将所述轮廊图进行仿射变换，得到图像矫正后的轮廊图。
7.如权利要求1所述的单目立体视觉图像生成方法，其特征在于，所述步骤S4具体包括：
将所述原始图像进行二值化和反色处理之后，并按照预设的第一权重比，将二值化和反色处理之后的原始图像与所述阴影进行图像融合，得到融合图像；
按照预设的第二权重比，将所得到的融合图像与所述原始图像进行融合，得到所述立体视觉图像。
8.如权利要求7所述的单目立体视觉图像生成方法，其特征在于，所述预设的第一权重比为1：1；所述预设的第二权重比为0.85：0.15。
9.一种单目立体视觉图像生成装置，其特征在于，包括：
原始图像获取单元，用于获取原始图像；
图像边缘检测及分割单元，用于根据预设的边缘检测技术，对所述原始图像进行图像分割，并结合预设的图像边缘拼接技术，得到轮廊图；
阴影计算单元，用于采用预设的仿射变换矩阵，对所述轮廊图计算，得到阴影；
立体视觉图像形成单元，用于将所述原始图像及其得到的阴影进行融合，得到立体视觉图像。
10.如权利要求9所述的单目立体视觉图像生成装置，其特征在于，还包括：图像矫正单元；其中，
所述图像矫正单元，用于对所述轮廊图进行图像矫正。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011588022.6A CN112785489B (zh) | 2020-12-29 | 2020-12-29 | 一种单目立体视觉图像生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011588022.6A CN112785489B (zh) | 2020-12-29 | 2020-12-29 | 一种单目立体视觉图像生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112785489A true CN112785489A (zh) | 2021-05-11 |
| CN112785489B CN112785489B (zh) | 2023-02-17 |
Family
ID=75753047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011588022.6A Active CN112785489B (zh) | 2020-12-29 | 2020-12-29 | 一种单目立体视觉图像生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112785489B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2888828B1 (ja) * | 1998-04-24 | 1999-05-10 | 株式会社ナムコ | 画像生成装置及び情報記憶媒体 |
| JPH11306384A (ja) * | 1998-04-24 | 1999-11-05 | Namco Ltd | 画像生成装置及び情報記憶媒体 |
| US6157733A (en) * | 1997-04-18 | 2000-12-05 | At&T Corp. | Integration of monocular cues to improve depth perception |
| JP2001319244A (ja) * | 2000-05-10 | 2001-11-16 | Namco Ltd | ゲームシステム及び情報記憶媒体 |
| US20020022517A1 (en) * | 2000-07-27 | 2002-02-21 | Namco Ltd. | Image generation apparatus, method and recording medium |
| JP2004166995A (ja) * | 2002-11-20 | 2004-06-17 | Nintendo Co Ltd | ゲーム装置および情報処理装置 |
| US20040183925A1 (en) * | 2003-03-19 | 2004-09-23 | Ramesh Raskar | Stylized imaging using variable controlled illumination |
| US20040189796A1 (en) * | 2003-03-28 | 2004-09-30 | Flatdis Co., Ltd. | Apparatus and method for converting two-dimensional image to three-dimensional stereoscopic image in real time using motion parallax |
| JP2006339696A (ja) * | 2005-05-31 | 2006-12-14 | Ims:Kk | 写真シール払出装置及びその画像処理方法 |
| US20080225050A1 (en) * | 2005-09-08 | 2008-09-18 | Sega Corporation | Image processing program and image processing system using same |
| US20090062000A1 (en) * | 2006-01-26 | 2009-03-05 | Konami Digital Entertainment Co., Ltd. | Game machine, game machine control method, and information storage medium |
| CN101617344A (zh) * | 2007-09-28 | 2009-12-30 | 科乐美数码娱乐株式会社 | 图像生成装置、图像生成方法、信息记录介质及程序 |
| JP2010154422A (ja) * | 2008-12-26 | 2010-07-08 | Casio Computer Co Ltd | 画像処理装置 |
| CN102682455A (zh) * | 2012-05-10 | 2012-09-19 | 天津工业大学 | 一种基于单目视觉的前方车辆检测方法 |
| US20120262485A1 (en) * | 2011-04-15 | 2012-10-18 | Sony Computer Entertainment Europe Limited | System and method of input processing for augmented reality |
| US20170188008A1 (en) * | 2014-02-13 | 2017-06-29 | Korea University Research And Business Foundation | Method and device for generating depth map |
-
2020
- 2020-12-29 CN CN202011588022.6A patent/CN112785489B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6157733A (en) * | 1997-04-18 | 2000-12-05 | At&T Corp. | Integration of monocular cues to improve depth perception |
| JP2888828B1 (ja) * | 1998-04-24 | 1999-05-10 | 株式会社ナムコ | 画像生成装置及び情報記憶媒体 |
| JPH11306384A (ja) * | 1998-04-24 | 1999-11-05 | Namco Ltd | 画像生成装置及び情報記憶媒体 |
| JP2001319244A (ja) * | 2000-05-10 | 2001-11-16 | Namco Ltd | ゲームシステム及び情報記憶媒体 |
| US20020022517A1 (en) * | 2000-07-27 | 2002-02-21 | Namco Ltd. | Image generation apparatus, method and recording medium |
| JP2004166995A (ja) * | 2002-11-20 | 2004-06-17 | Nintendo Co Ltd | ゲーム装置および情報処理装置 |
| US20040183925A1 (en) * | 2003-03-19 | 2004-09-23 | Ramesh Raskar | Stylized imaging using variable controlled illumination |
| US20040189796A1 (en) * | 2003-03-28 | 2004-09-30 | Flatdis Co., Ltd. | Apparatus and method for converting two-dimensional image to three-dimensional stereoscopic image in real time using motion parallax |
| JP2006339696A (ja) * | 2005-05-31 | 2006-12-14 | Ims:Kk | 写真シール払出装置及びその画像処理方法 |
| US20080225050A1 (en) * | 2005-09-08 | 2008-09-18 | Sega Corporation | Image processing program and image processing system using same |
| US20090062000A1 (en) * | 2006-01-26 | 2009-03-05 | Konami Digital Entertainment Co., Ltd. | Game machine, game machine control method, and information storage medium |
| CN101617344A (zh) * | 2007-09-28 | 2009-12-30 | 科乐美数码娱乐株式会社 | 图像生成装置、图像生成方法、信息记录介质及程序 |
| JP2010154422A (ja) * | 2008-12-26 | 2010-07-08 | Casio Computer Co Ltd | 画像処理装置 |
| US20120262485A1 (en) * | 2011-04-15 | 2012-10-18 | Sony Computer Entertainment Europe Limited | System and method of input processing for augmented reality |
| CN102682455A (zh) * | 2012-05-10 | 2012-09-19 | 天津工业大学 | 一种基于单目视觉的前方车辆检测方法 |
| US20170188008A1 (en) * | 2014-02-13 | 2017-06-29 | Korea University Research And Business Foundation | Method and device for generating depth map |
Non-Patent Citations (10)
| Title |
|---|
| 刘贵喜: "多传感器图像融合方法研究", 《中国优秀博硕士学位论文全文数据库 (博士)信息科技辑》 * |
| 刘贵喜: "多传感器图像融合方法研究", 《中国优秀博硕士学位论文全文数据库 (博士)信息科技辑》, 15 June 2002 (2002-06-15) * |
| 张强: "基于双目立体视觉的三维特征点测量方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 张强: "基于双目立体视觉的三维特征点测量方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 January 2019 (2019-01-15), pages 19 * |
| 李庆等: "使用单目视觉的移动机器人导航方法", 《计算机工程与应用》 * |
| 李庆等: "使用单目视觉的移动机器人导航方法", 《计算机工程与应用》, no. 04, 15 February 2017 (2017-02-15) * |
| 王晓君 等: "一种倾斜文本图像的旋转校正技术", 《邯郸职业技术学院学报》 * |
| 王晓君 等: "一种倾斜文本图像的旋转校正技术", 《邯郸职业技术学院学报》, 25 September 2018 (2018-09-25), pages 61 * |
| 郑太雄等: "基于视觉的三维重建关键技术研究综述", 《自动化学报》 * |
| 郑太雄等: "基于视觉的三维重建关键技术研究综述", 《自动化学报》, no. 04, 30 April 2020 (2020-04-30) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112785489B (zh) | 2023-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA3018965C (en) | Efficient determination of optical flow between images | |
| CN110853151A (zh) | 一种基于视频的三维立体点集恢复方法 | |
| US20150379720A1 (en) | Methods for converting two-dimensional images into three-dimensional images | |
| CN107689050B (zh) | 一种基于彩色图像边缘引导的深度图像上采样方法 | |
| CN112734914A (zh) | 一种增强现实视觉的图像立体重建方法及装置 | |
| US11880935B2 (en) | Multi-view neural human rendering | |
| WO2018133119A1 (zh) | 基于深度相机进行室内完整场景三维重建的方法及系统 | |
| CN113223070A (zh) | 一种深度图像增强处理方法及装置 | |
| CN109064533B (zh) | 一种3d漫游方法及系统 | |
| CN114677479A (zh) | 一种基于深度学习的自然景观多视图三维重建方法 | |
| CN112822479A (zh) | 一种用于2d-3d视频转换的深度图生成方法及装置 | |
| CN101334900B (zh) | 一种基于图像的绘制方法 | |
| CN101674418B (zh) | 一种虚拟演播室系统中主持人深度的检测方法 | |
| KR20110112143A (ko) | Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법 | |
| CN112785489B (zh) | 一种单目立体视觉图像生成方法及装置 | |
| CN105528772B (zh) | 一种基于指导性滤波的图像融合方法 | |
| CN116681579A (zh) | 一种实时视频人脸替换方法、介质及系统 | |
| Sun et al. | Seamless view synthesis through texture optimization | |
| CN108830804B (zh) | 基于线扩展函数标准差的虚实融合模糊一致性处理方法 | |
| EP3229106A1 (en) | Efficient determination of optical flow between images | |
| Cao et al. | Depth image vibration filtering and shadow detection based on fusion and fractional differential | |
| KR101382227B1 (ko) | 윈도우 영상을 분류하는 방법, 이를 입체 영상으로 변환하는 방법 및 이를 수행하는 전자 장치 | |
| Zhang et al. | SivsFormer: Parallax-aware transformers for single-image-based view synthesis | |
| Kuo et al. | 2D-to-3D conversion for single-view image based on camera projection model and dark channel model | |
| Xu et al. | Real-time panoramic map modeling method based on multisource image fusion and three-dimensional rendering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |