CN102917175A - 基于相机阵列合成孔径成像的遮挡多目标自动抠像方法 - Google Patents
基于相机阵列合成孔径成像的遮挡多目标自动抠像方法 Download PDFInfo
- Publication number
- CN102917175A CN102917175A CN2012103373334A CN201210337333A CN102917175A CN 102917175 A CN102917175 A CN 102917175A CN 2012103373334 A CN2012103373334 A CN 2012103373334A CN 201210337333 A CN201210337333 A CN 201210337333A CN 102917175 A CN102917175 A CN 102917175A
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- segmentation
- camera array
- variance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000003384 imaging method Methods 0.000 title claims abstract description 16
- 238000003709 image segmentation Methods 0.000 claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims 4
- 230000000903 blocking effect Effects 0.000 claims 2
- 238000001514 detection method Methods 0.000 claims 1
- 230000010339 dilation Effects 0.000 claims 1
- 230000009977 dual effect Effects 0.000 claims 1
- 230000011218 segmentation Effects 0.000 abstract description 20
- 239000002131 composite material Substances 0.000 abstract description 11
- 238000004422 calculation algorithm Methods 0.000 abstract description 9
- 238000003491 array Methods 0.000 abstract description 3
- 230000003993 interaction Effects 0.000 abstract description 3
- 238000003708 edge detection Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000003245 working effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于相机阵列合成孔径成像的遮挡多目标自动抠像方法,用于解决现有的基于相机阵列在背景纹理复杂的自然场景中计算抠像的方法图像分割精度差的技术问题。技术方案是对目标所在深度进行估计,对最近目标合成图像进行分割,在空间逐深度累计透视合成成像。由于以相机阵列采集图像存在视角间的相对视差优化图像分割,使一个需要用户交互的分割算法变为自动化的图像分割;利用立体的多目标分割算法,实现了在有遮挡的情况下的透视分割;避免了计算背景的深度和三维重建难题。这种综合图像色彩信息和图像轮廓结构信息的方法,通过深度的估算和图像的预分割,提高了图像分割的精度和稳定性。
Description
技术领域
本发明涉及一种遮挡多目标自动抠像方法,特别是涉及一种基于相机阵列合成孔径成像的遮挡多目标自动抠像方法。
背景技术
目标分割是计算机视觉和模式识别领域一个重要的问题,其在高质量成像和特效领域具有广泛的应用。现有的目标分割算法主要有:基于cut-paste的分割方法与基于matting的抠像方法。
文献“Natural Video Matting using Camera Array,2006 Siggraph”公开了一种基于相机阵列在背景纹理复杂的自然场景中计算抠像的方法。由于背景和前景的分离,阵列中每个视角图像的相对视差使得能够在背景的不同部分获取前景的物体。在充分纹理化的背景下,在几种不同的背景色彩下获取前景目标从而约束了抠像问题。对每个视角,将色彩值投影到前景目标的深度并从这些值中选取均值和方差统计信息自动生成三分图以及α和F。这是一个高速且自动的方法,巧妙的避免了计算背景的深度和三维重建等难题并且在任意复杂的背景环境下均适用。该方法的另一个优势逐像素运行速率与相机数成比例。这使得该方法非常有效且利于实时的工作性能,此外它可以在CPU或GPU上方便的实现。然而,真实的场景中背景并非具有受控的纹理的特质。同时,其在多目标相互遮挡的条件下,由于出现明显的前景遮挡区域混叠,使得基于色彩的分割方法在很大的程度上失效。
发明内容
为了克服现有的基于相机阵列在背景纹理复杂的自然场景中计算抠像的方法图像分割精度差的不足,本发明提供一种基于相机阵列合成孔径成像的遮挡多目标自动抠像方法。该方法以相机阵列采集图像存在视角间的相对视差优化图像分割,使一个需要用户交互的分割算法变为自动化的图像分割;利用立体的多目标分割算法,可以实现在有遮挡的情况下的透视分割。可以避免计算背景的深度和三维重建难题。这种综合图像色彩信息和图像轮廓结构信息的方法,通过深度的估算和图像的预分割,可以提高图像分割的精度。
本发明解决其技术问题所采用的技术方案是:一种基于相机阵列合成孔径成像 的遮挡多目标自动抠像方法,其特点是包括以下步骤:
步骤一、输入一组相机阵列拍摄的图像进行成像参数标定,计算不同视角间的单应矩阵变换矩阵Hi。逐视角利用“canny算子”进行边缘检测,然后按照合成孔径计算公式
逐深度计算边缘二值图像的合成图像。逐个深度统计高亮像素点的个数,其峰值所在的深度为当前据采集系统最近的目标所在深度。
步骤二、通过分析边沿一阶均值图像的特点,将高亮区域集中的部分标记为前景,同时对边缘的二阶方差图像上标记方差大于某一阈值的区域为背景点
生成相机阵列的均值合成图像和方差合成图像,利用积分图对方差图进行中值滤波,采用双阈值方法,方差低于100视为前景,方差大于1000视为背景,对于图像进行三分。采用连通域分析的方法删除图像中空洞,对不确定的区域进行膨胀运算。然后将经过视差校正的不同视角的边缘二值图像取均值作为输入,利用grow-cut对该深度的图像进行分割。
步骤三、根据grow-cut的分割信息,投影至逐个视角下对单视角进行可视度分析。使用相同的模型
n=length(Ii≠0)
计算图像的边缘的合成图像,逐深度统计高亮的点个数,迭代上述步骤。直到高亮点小于某一固定阈值。
所述逐个深度统计高亮像素点的个数,边缘二值图像的未被遮挡的区域合成结果为1,图像中第一次出现的峰值为离采集系统最近的聚焦最优深度。
本发明的有益效果是:由于以相机阵列采集图像存在视角间的相对视差优化图像分割,使一个需要用户交互的分割算法变为自动化的图像分割;利用立体的多目标分 割算法,实现了在有遮挡的情况下的透视分割;避免了计算背景的深度和三维重建难题。这种综合图像色彩信息和图像轮廓结构信息的方法,通过深度的估算和图像的预分割,提高了图像分割的精度和稳定性。通过UCSD/MERL Light Field Repository相机阵列公开数据库和Standford数据库上的测试,深度估计和分割均取得了较好的效果。
下面结合实施例对本发明作详细说明。
具体实施方式
本发明方法具体步骤如下:
1、分割距相机最近邻的目标。
预估深度:
输入一组相机阵列拍摄的图像,首先进行成像参数的标定,计算不同视角间的单应矩阵变换矩阵Hi。逐视角利用“canny算子”进行边缘检测,对边缘Ei进行逐深度合成,统计每个深度合成图像ESA上的高亮的点的个数。利用贪心算法深度最小的极大值所在的深度,以此作为对深度估计的依据。
由于在没有遮挡的情况下,目标二值化的边缘的合成图像在精确聚焦的区域应当为准确的1,因此采用统计图像中值为1的像素点个数,可以找到较为准确的目标深度估计。
计算图像的三分图指导图像分割:
传统的grow-cut算法是需要借助用户的输入,给出一个粗略的分割。这样对于外界输入的依赖,限制了人们对于自动化分割的需求。相机阵列利用了图像之间的相对视差,能够获取同一目标在背景的不同区域的图像。在此数据这个特征上,利用色彩的二阶信息,聚焦深度上的前景目标具有较小的方差值而背景由于属于不同的区域因此具有较大的方差值,使用一个双重阈值100和5000将整个场景分为前景、背景和不确定区域。
该方法在背景色彩差异较大的时候,体现出了较好的工作效果。然而,在色彩颜色整体区域相似的情况下,这个的分割会导致难以正确的区分真正的前景和背景关系。 此外,在对部分视角被遮挡的区域时,仅对可见的时间求方差和均值。此时,不同基数的视角间的方差和均值的比较将不具备可比性。因此,引入了可以表征图像结构信息的边沿合成图像参与三分图像的工作。通过分析边沿一阶均值图像的特点,将高亮区域集中的部分标记为前景,同时对边缘的二阶方差图像上标记方差大于某一阈值的区域为背景点,从而提供了作为准确的三分图像信息。
具体过程如下:生成相机阵列的均值合成图像和方差合成图像,利用积分图对方差图进行中值滤波,采用双阈值的方法(方差低于100视为前景和大于1000视为背景)对于图像进行三分。采用连通域分析的方法删除图像中空洞,对不确定的区域进行膨胀运算。然后将经过视差校正的不同视角的边缘二值图像取均值,对高亮的区域(值为1)部分标记为前景,再对边缘图像计算方差图对方差大于某一固定阈值的点标记为背景。
以此作为输入,利用grow-cut对该深度的图像进行分割。
2、基于可视度分析的高质量成像方法。
在对前景目标的合成图像进行分割之后,得到了一张参考视角下的图像掩膜,该掩膜能够有效的去除参考视角下的前景目标。根据不同视角下的映射关系,可以逐视角的产生前景的掩膜。
传统的合成孔径成像方法虽然具有透视成像的能力,但是该方法将遮挡区域和未被遮挡的有效区域均加入合成计算。这样不可避免的出现成像质量不高的现象。因此,利用掩膜提供的可视度分析的信息修改了传统的成像模型。
n=length(Ii≠0)
同时使用相同的模型计算图像的边缘的合成图像,逐深度统计高亮的点个数,迭代上述步骤。直到高亮点点小于某一固定阈值。算法终止。
Claims (2)
1.一种基于相机阵列合成孔径成像的遮挡多目标自动抠像方法,其特征在于包括以下步骤:
步骤一、输入一组相机阵列拍摄的图像进行成像参数标定,计算不同视角间的单应矩阵变换矩阵Hi;逐视角利用“canny算子”进行边缘检测,然后按照合成孔径计算公式
逐深度计算边缘二值图像的合成图像;逐个深度统计高亮像素点的个数,其峰值所在的深度为当前据采集系统最近的目标所在深度;
步骤二、通过分析边沿一阶均值图像的特点,将高亮区域集中的部分标记为前景,同时对边缘的二阶方差图像上标记方差大于某一阈值的区域为背景点
生成相机阵列的均值合成图像和方差合成图像,利用积分图对方差图进行中值滤波,采用双阈值方法,方差低于100视为前景,方差大于1000视为背景,对于图像进行三分;采用连通域分析的方法删除图像中空洞,对不确定的区域进行膨胀运算;然后将经过视差校正的不同视角的边缘二值图像取均值作为输入,利用grow-cut对该深度的图像进行分割;
步骤三、根据grow-cut的分割信息,投影至逐个视角下对单视角进行可视度分析;使用相同的模型
n=length(Ii≠0)
计算图像的边缘的合成图像,逐深度统计高亮的点个数,迭代上述步骤;直到高亮点小于某一固定阈值。
2.根据权利要求1所述的基于相机阵列合成孔径成像的遮挡多目标自动抠像方法,其特征在于:所述逐个深度统计高亮像素点的个数,边缘二值图像的未被遮挡的区域合成结果为1,图像中第一次出现的峰值为离采集系统最近的聚焦最优深度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012103373334A CN102917175A (zh) | 2012-09-13 | 2012-09-13 | 基于相机阵列合成孔径成像的遮挡多目标自动抠像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012103373334A CN102917175A (zh) | 2012-09-13 | 2012-09-13 | 基于相机阵列合成孔径成像的遮挡多目标自动抠像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102917175A true CN102917175A (zh) | 2013-02-06 |
Family
ID=47615393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012103373334A Pending CN102917175A (zh) | 2012-09-13 | 2012-09-13 | 基于相机阵列合成孔径成像的遮挡多目标自动抠像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102917175A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103198524A (zh) * | 2013-04-27 | 2013-07-10 | 清华大学 | 一种大规模室外场景三维重建方法 |
CN103413304A (zh) * | 2013-07-30 | 2013-11-27 | 西北工业大学 | 基于彩色深度融合的虚拟阵列合成孔径透视成像方法 |
CN103440641A (zh) * | 2013-07-29 | 2013-12-11 | 西北工业大学 | 基于最优相机选择的遮挡目标透视成像方法 |
CN103646397A (zh) * | 2013-12-02 | 2014-03-19 | 西北工业大学 | 基于多源数据融合的实时合成孔径透视成像方法 |
CN104156972A (zh) * | 2014-08-25 | 2014-11-19 | 西北工业大学 | 基于激光扫描测距仪与多相机融合的透视成像方法 |
CN104504745A (zh) * | 2015-01-16 | 2015-04-08 | 成都品果科技有限公司 | 一种基于图像分割和抠图的证件照生成方法 |
CN106355583A (zh) * | 2016-08-30 | 2017-01-25 | 成都丘钛微电子科技有限公司 | 一种图像处理方法及装置 |
CN105719317B (zh) * | 2016-01-22 | 2018-08-31 | 陕西师范大学 | 基于相机阵列合成孔径成像的遮挡背景估计方法 |
CN105741318B (zh) * | 2016-01-22 | 2018-08-31 | 陕西师范大学 | 基于自动目标提取的全聚焦合成孔径成像方法 |
CN110047078A (zh) * | 2019-04-18 | 2019-07-23 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111523411A (zh) * | 2020-04-10 | 2020-08-11 | 陕西师范大学 | 基于语义修补的合成孔径成像方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101179745A (zh) * | 2007-12-05 | 2008-05-14 | 宁波大学 | 一种多视点图像的预处理方法 |
CN102157013A (zh) * | 2011-04-09 | 2011-08-17 | 温州大学 | 由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统 |
CN102592275A (zh) * | 2011-12-16 | 2012-07-18 | 天津大学 | 虚拟视点绘制方法 |
-
2012
- 2012-09-13 CN CN2012103373334A patent/CN102917175A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101179745A (zh) * | 2007-12-05 | 2008-05-14 | 宁波大学 | 一种多视点图像的预处理方法 |
CN102157013A (zh) * | 2011-04-09 | 2011-08-17 | 温州大学 | 由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统 |
CN102592275A (zh) * | 2011-12-16 | 2012-07-18 | 天津大学 | 虚拟视点绘制方法 |
Non-Patent Citations (3)
Title |
---|
NEEL JOSHI,ET AL.: "Natural Video Matting using Camera Arrays", 《MITSUBISHI ELECTRIC RESEARCH LABORATORIES》 * |
杨涛,等: "一种基于贪心搜索的实时多目标遮挡处理算法", 《自动化学报》 * |
王涛,等: "多摄像机环境下人脸最优视角选择算法", 《计算机工程与应用》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103198524A (zh) * | 2013-04-27 | 2013-07-10 | 清华大学 | 一种大规模室外场景三维重建方法 |
CN103198524B (zh) * | 2013-04-27 | 2015-08-12 | 清华大学 | 一种大规模室外场景三维重建方法 |
CN103440641B (zh) * | 2013-07-29 | 2016-02-10 | 西北工业大学 | 基于最优相机选择的遮挡目标透视成像方法 |
CN103440641A (zh) * | 2013-07-29 | 2013-12-11 | 西北工业大学 | 基于最优相机选择的遮挡目标透视成像方法 |
CN103413304A (zh) * | 2013-07-30 | 2013-11-27 | 西北工业大学 | 基于彩色深度融合的虚拟阵列合成孔径透视成像方法 |
CN103646397A (zh) * | 2013-12-02 | 2014-03-19 | 西北工业大学 | 基于多源数据融合的实时合成孔径透视成像方法 |
CN103646397B (zh) * | 2013-12-02 | 2016-10-19 | 西北工业大学 | 基于多源数据融合的实时合成孔径透视成像方法 |
CN104156972A (zh) * | 2014-08-25 | 2014-11-19 | 西北工业大学 | 基于激光扫描测距仪与多相机融合的透视成像方法 |
CN104156972B (zh) * | 2014-08-25 | 2017-01-25 | 西北工业大学 | 基于激光扫描测距仪与多相机融合的透视成像方法 |
CN104504745A (zh) * | 2015-01-16 | 2015-04-08 | 成都品果科技有限公司 | 一种基于图像分割和抠图的证件照生成方法 |
CN105719317B (zh) * | 2016-01-22 | 2018-08-31 | 陕西师范大学 | 基于相机阵列合成孔径成像的遮挡背景估计方法 |
CN105741318B (zh) * | 2016-01-22 | 2018-08-31 | 陕西师范大学 | 基于自动目标提取的全聚焦合成孔径成像方法 |
CN106355583A (zh) * | 2016-08-30 | 2017-01-25 | 成都丘钛微电子科技有限公司 | 一种图像处理方法及装置 |
CN110047078A (zh) * | 2019-04-18 | 2019-07-23 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110047078B (zh) * | 2019-04-18 | 2021-11-09 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111523411A (zh) * | 2020-04-10 | 2020-08-11 | 陕西师范大学 | 基于语义修补的合成孔径成像方法 |
CN111523411B (zh) * | 2020-04-10 | 2023-02-28 | 陕西师范大学 | 基于语义修补的合成孔径成像方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102917175A (zh) | 基于相机阵列合成孔径成像的遮挡多目标自动抠像方法 | |
US11983893B2 (en) | Systems and methods for hybrid depth regularization | |
CN107862698B (zh) | 基于k均值聚类的光场前景分割方法及装置 | |
CN106228507B (zh) | 一种基于光场的深度图像处理方法 | |
Tao et al. | Depth from combining defocus and correspondence using light-field cameras | |
KR100748719B1 (ko) | 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법 | |
CN110910431B (zh) | 一种基于单目相机多视点三维点集恢复方法 | |
CN104616286B (zh) | 快速的半自动多视图深度修复方法 | |
TWI491849B (zh) | 應用複數攝影裝置之物件定位方法 | |
CN109859249B (zh) | Rgbd序列中基于自动分层的场景流估计方法 | |
Vu et al. | Efficient hybrid tree-based stereo matching with applications to postcapture image refocusing | |
Zhao et al. | Double propagation stereo matching for urban 3-d reconstruction from satellite imagery | |
CN101630407B (zh) | 基于两视几何和图分割的伪造区域定位方法 | |
CN103002309A (zh) | 对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法 | |
Zhang et al. | Simultaneous multi-body stereo and segmentation | |
CN101739683A (zh) | 基于图分割和多线索融合的单幅图深度估计方法及其系统 | |
CN115063436B (zh) | 一种基于深度区域投影的大面积弱纹理工件扫描点云分割方法 | |
Galea et al. | Denoising of 3D point clouds constructed from light fields | |
CN108090920B (zh) | 一种光场图像深度流估计方法 | |
CN102737389A (zh) | 一种针对颜色编码结构光扫描系统的自适应反射率校正方法 | |
CN107578419B (zh) | 一种基于一致性轮廓提取的立体图像分割方法 | |
CN110610503B (zh) | 一种基于立体匹配的电力刀闸三维信息恢复方法 | |
Rzeszutek et al. | Efficient automatic depth estimation for video | |
Wei et al. | Dense and occlusion-robust multi-view stereo for unstructured videos | |
Zhang et al. | Occlusion removal based on epipolar plane images in integral imaging system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C05 | Deemed withdrawal (patent law before 1993) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130206 |