CN112634304B - 去除3d格式视频或图像中的反射光斑的方法 - Google Patents
去除3d格式视频或图像中的反射光斑的方法 Download PDFInfo
- Publication number
- CN112634304B CN112634304B CN202011640777.6A CN202011640777A CN112634304B CN 112634304 B CN112634304 B CN 112634304B CN 202011640777 A CN202011640777 A CN 202011640777A CN 112634304 B CN112634304 B CN 112634304B
- Authority
- CN
- China
- Prior art keywords
- image
- reflected light
- light spot
- reflection
- reflection light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims abstract description 4
- 241000679046 Teleas Species 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明揭示了一种去除3D格式视频或图像中的反射光斑的方法，包括：步骤S1、通过图像二值化处理，设置反射光斑强度阈值范围，得到左右图反射光斑mask图；采用图像形态学中的膨胀操作方法，使局部高密度的反射光斑融合成一个整体区域，增大反射光斑区域；然后通过轮廓检测，确定反射光斑的大小和数量；步骤S2、根据左右图像视差，对左右图像中出现的反射光斑进行匹配；步骤S3、基于左右图匹配的反射光斑mask图和左右图的视差，得到对应反射光斑区域一致的左右图像的反射光斑mask图；步骤S4、对图像中的反射光斑进行去除。本发明可有效去除出现在3D格式视频或图像中的反射光斑，消除左右图像反射光斑大小、强度不一致等带来3D观看的不适。
Description
技术领域
本发明属于3D显示技术领域，涉及一种去除反射光斑的方法，尤其涉及一种去除3D格式视频或图像中的反射光斑的方法。
背景技术
3D技术的发展，给人们在观看二维视频或图像时带来了深度信息，带给人们亲临其境的观看体验，同时3D技术在医疗外科领域有着不可替代的作用，其提供准确的深度信息是医生精准手术的有力保障。
在显微领域3D视频采集的过程中，由于立体相机和显微镜强光源的影响，左右图像中反射光斑大小、强度通常不一样，在合成3D观看时，大脑为了合成左右图像中的反射光斑，会不断调节眼部肌肉，导致视疲劳。
有鉴于此，如今迫切需要设计一种去除反射光斑的方式，以便克服现有3D显示方案存在的上述至少部分缺陷。
发明内容
本发明提供一种去除3D格式视频或图像中的反射光斑的方法，可有效去除出现在3D格式视频或图像中的反射光斑，消除左右图像反射光斑大小、强度不一致等带来3D观看的不适。
为解决上述技术问题，根据本发明的一个方面，采用如下技术方案：
一种去除3D格式视频或图像中的反射光斑的方法，所述方法包括：
步骤S1、通过图像二值化处理，设置反射光斑强度阈值范围，得到左右图反射光斑mask图Ml和Mr；采用图像形态学中的膨胀操作方法，使局部高密度的反射光斑融合成一个整体区域，增大反射光斑区域；然后通过轮廓检测，确定反射光斑的大小和数量，用于下一步左右图像反射光斑的匹配；
步骤S2、根据左右图像视差，对左右图像中出现的反射光斑进行匹配；
步骤S3、基于左右图匹配的反射光斑mask图和左右图的视差，得到对应反射光斑区域一致的左右图像的反射光斑mask图；
步骤S4、基于Telea图像修复的方法和新的反射光斑mask图，对图像中的反射光斑进行去除。
作为本发明的一种实施方式，对反射光斑的大小进行筛选，对于反射光斑小于设定阈值的区域直接对反射光斑去除；对于反射光斑大于设定阈值的区域，需要确保左右图像对应的反射光斑区域一致，这样才能在合成3D的时候不会因为左右图像反射光斑区域不一致导致观看不舒适。
作为本发明的一种实施方式，通过采用SAD算法对左右图进行立体匹配，获取视差图；以左图的Ml为基准，在右图Mr中根据视差值D找到对应匹配的反射光斑区域，将该反射光斑区域整体平移D个单位像素后叠加在左图上，得到左右图像反射光斑匹配后的mask图Mm。
作为本发明的一种实施方式，所述步骤S3中，根据匹配得到的mask图Mm，进行形态学的膨胀处理，进一步融合左右图像的反射光斑为一个整体区域；
Mm作为新的左图反射光斑mask图MnewL，根据所述步骤S2计算得到的视差，对Mm中的所有反射光斑区域反向平移对应的视差距离，得到新的右图反射光斑mask图MnewR。
作为本发明的一种实施方式，所述步骤S4中，根据步骤S3得到的新的左右图像反射光斑mask图MnewL和MnewR，基于Telea图像修复的方法，从MnewL和MnewR中的反射光斑区域的四周开始，利用周边像素由下式计算反射光斑边缘的像素值，不断迭代计算，直到反射光斑区域全部计算完毕；
其中：ω(p，q)为权值函数，确定领域像素权重大小。
本发明的有益效果在于：本发明提出的去除3D格式视频或图像中的反射光斑的方法，可有效去除出现在3D格式视频或图像中的反射光斑，消除左右图像反射光斑大小、强度不一致等带来3D观看的不适。
附图说明
图1为本发明一实施例中去除3D格式视频或图像中的反射光斑方法的流程图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
为了进一步理解本发明，下面结合实施例对本发明优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。
该部分的描述只针对几个典型的实施例，本发明并不仅局限于实施例描述的范围。相同或相近的现有技术手段与实施例中的一些技术特征进行相互替换也在本发明描述和保护的范围内。
说明书中各个实施例中的步骤的表述只是为了方便说明，本申请的实现方式不受步骤实现的顺序限制。
本发明揭示了一种去除3D格式视频或图像中的反射光斑的方法，图1为本发明一实施例中去除3D格式视频或图像中的反射光斑方法的流程图；请参阅图1，所述方法包括：
【步骤S1】通过图像二值化处理，设置反射光斑强度阈值范围，得到左右图反射光斑mask图Ml和Mr；采用图像形态学中的膨胀操作方法，使局部高密度的反射光斑融合成一个整体区域，增大反射光斑区域；然后通过轮廓检测，确定反射光斑的大小和数量，用于下一步左右图像反射光斑的匹配；
【步骤S2】根据左右图像视差，对左右图像中出现的反射光斑进行匹配；
在本发明的一实施例中，对反射光斑的大小进行筛选，对于反射光斑小于设定阈值的区域直接对反射光斑去除(可按照步骤S4中的去除方法)；对于反射光斑大于设定阈值的区域，需要确保左右图像对应的反射光斑区域一致，这样才能在合成3D的时候不会因为左右图像反射光斑区域不一致导致观看不舒适。
通过采用SAD算法对左右图进行立体匹配，获取视差图；以左图的Ml为基准，在右图Mr中根据视差值D找到对应匹配的反射光斑区域，将该反射光斑区域整体平移D个单位像素后叠加在左图上，得到左右图像反射光斑匹配后的mask图Mm。
【步骤S3】基于左右图匹配的反射光斑mask图和左右图的视差，得到对应反射光斑区域一致的左右图像的反射光斑mask图；
在本发明的一实施例中，根据匹配得到的mask图Mm，进行形态学的膨胀处理，进一步融合左右图像的反射光斑为一个整体区域；
Mm作为新的左图反射光斑mask图MnewL，根据所述步骤2计算得到的视差，对Mm中的所有反射光斑区域反向平移对应的视差距离，得到新的右图反射光斑mask图MnewR。
【步骤S4】基于Te lea图像修复的方法和新的反射光斑mask图，对图像中的反射光斑进行去除。
在本发明的一实施例中，根据步骤S3得到的新的左右图像反射光斑mask图MnewL和Mnew，基于Te lea图像修复的方法，从MnewL和MnewR中的反射光斑区域的四周开始，利用周边像素由下式计算反射光斑边缘的像素值，不断迭代计算，直到反射光斑区域全部计算完毕；
其中：ω(p，q)为权值函数，确定领域像素权重大小。
综上所述，本发明提出的去除3D格式视频或图像中的反射光斑的方法，可有效去除出现在3D格式视频或图像中的反射光斑，消除左右图像反射光斑大小、强度不一致等带来3D观看的不适。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施；例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中，本申请的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中；例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现；例如，作为与处理器配合从而执行各个步骤或功能的电路。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。实施例中所涉及的效果或优点可因多种因素干扰而可能不能在实施例中体现，对于效果或优点的描述不用于对实施例进行限制。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。
Claims (5)
1.一种去除3D格式视频或图像中的反射光斑的方法，其特征在于，所述方法包括：
步骤S1、通过图像二值化处理，设置反射光斑强度阈值范围，得到左右图反射光斑mask图Ml和Mr；采用图像形态学中的膨胀操作方法，使局部高密度的反射光斑融合成一个整体区域，增大反射光斑区域；然后通过轮廓检测，确定反射光斑的大小和数量，用于下一步左右图像反射光斑的匹配；
步骤S2、根据左右图像视差，对左右图像中出现的反射光斑进行匹配；
步骤S3、基于左右图匹配的反射光斑mask图和左右图的视差，得到对应反射光斑区域一致的左右图像的反射光斑mask图；
步骤S4、基于Telea图像修复的方法和新的反射光斑mask图，对图像中的反射光斑进行去除。
2.根据权利要求1所述的去除3D格式视频或图像中的反射光斑的方法，其特征在于：
对反射光斑的大小进行筛选，对于反射光斑小于设定阈值的区域直接对反射光斑去除；对于反射光斑大于设定阈值的区域，需要确保左右图像对应的反射光斑区域一致，这样才能在合成3D的时候不会因为左右图像反射光斑区域不一致导致观看不舒适。
3.根据权利要求2所述的去除3D格式视频或图像中的反射光斑的方法，其特征在于：
通过采用SAD算法对左右图进行立体匹配，获取视差图；以左图的Ml为基准，在右图Mr中根据视差值D找到对应匹配的反射光斑区域，将该反射光斑区域整体平移D个单位像素后叠加在左图上，得到左右图像反射光斑匹配后的mask图Mm。
4.根据权利要求1所述的去除3D格式视频或图像中的反射光斑的方法，其特征在于：
所述步骤S3中，根据匹配得到的mask图Mm，进行形态学的膨胀处理，进一步融合左右图像的反射光斑为一个整体区域；
Mm作为新的左图反射光斑mask图MnewL，根据所述步骤S2计算得到的视差，对Mm中的所有反射光斑区域反向平移对应的视差距离，得到新的右图反射光斑mask图MnewR。
5.根据权利要求1所述的去除3D格式视频或图像中的反射光斑的方法，其特征在于：
所述步骤S4中，根据步骤S3得到的新的左右图像反射光斑mask图MnewL和MnewR，基于Telea图像修复的方法，从MnewL和MnewR中的反射光斑区域的四周开始，利用周边像素由下式计算反射光斑边缘的像素值，不断迭代计算，直到反射光斑区域全部计算完毕；
其中：ω(p,q)为权值函数，确定邻域像素权重大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011640777.6A CN112634304B (zh) | 2020-12-31 | 2020-12-31 | 去除3d格式视频或图像中的反射光斑的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011640777.6A CN112634304B (zh) | 2020-12-31 | 2020-12-31 | 去除3d格式视频或图像中的反射光斑的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112634304A CN112634304A (zh) | 2021-04-09 |
| CN112634304B true CN112634304B (zh) | 2022-09-13 |
Family
ID=75290501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011640777.6A Active CN112634304B (zh) | 2020-12-31 | 2020-12-31 | 去除3d格式视频或图像中的反射光斑的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112634304B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101949721A (zh) * | 2009-12-22 | 2011-01-19 | 中国矿业大学(北京) | 一种基于激光和双目视觉的煤仓料位测量方法和装置 |
| CN102322820A (zh) * | 2011-09-14 | 2012-01-18 | 西南科技大学 | 面形检测系统中前后表面反射光斑自动分离方法 |
| JP2012177569A (ja) * | 2011-02-25 | 2012-09-13 | Sankyo Eng Kk | トンネル壁面の展開画像取得システム |
| CN104853184A (zh) * | 2015-05-27 | 2015-08-19 | 天津大学 | 一种影响立体图像舒适度的视差范围的检测方法 |
| CN106028018A (zh) * | 2016-05-31 | 2016-10-12 | 上海易维视科技股份有限公司 | 面向裸眼3d显示的实拍双视点3d视频优化方法及系统 |
| CN107330932A (zh) * | 2017-06-16 | 2017-11-07 | 海信集团有限公司 | 一种修补视差图中噪点的方法及装置 |
| CN107886502A (zh) * | 2017-10-24 | 2018-04-06 | 天津大学 | 一种复杂环境下颜色与梯度综合的阴影检测与去除算法 |
| CN108109130A (zh) * | 2016-11-24 | 2018-06-01 | 广州映博智能科技有限公司 | 基于激光光斑的自适应窗口立体视觉匹配方法 |
| CN109493373A (zh) * | 2018-11-07 | 2019-03-19 | 上海为森车载传感技术有限公司 | 一种基于双目立体视觉的立体匹配方法 |
| CN111121722A (zh) * | 2019-12-13 | 2020-05-08 | 南京理工大学 | 结合激光点阵和偏振视觉的双目三维成像方法 |
| CN111260597A (zh) * | 2020-01-10 | 2020-06-09 | 大连理工大学 | 一种多波段立体相机的视差图像融合方法 |
| CN111862195A (zh) * | 2020-08-26 | 2020-10-30 | Oppo广东移动通信有限公司 | 光斑检测方法和装置、终端和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7629995B2 (en) * | 2004-08-06 | 2009-12-08 | Sony Corporation | System and method for correlating camera views |
-
2020
- 2020-12-31 CN CN202011640777.6A patent/CN112634304B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101949721A (zh) * | 2009-12-22 | 2011-01-19 | 中国矿业大学(北京) | 一种基于激光和双目视觉的煤仓料位测量方法和装置 |
| JP2012177569A (ja) * | 2011-02-25 | 2012-09-13 | Sankyo Eng Kk | トンネル壁面の展開画像取得システム |
| CN102322820A (zh) * | 2011-09-14 | 2012-01-18 | 西南科技大学 | 面形检测系统中前后表面反射光斑自动分离方法 |
| CN104853184A (zh) * | 2015-05-27 | 2015-08-19 | 天津大学 | 一种影响立体图像舒适度的视差范围的检测方法 |
| CN106028018A (zh) * | 2016-05-31 | 2016-10-12 | 上海易维视科技股份有限公司 | 面向裸眼3d显示的实拍双视点3d视频优化方法及系统 |
| CN108109130A (zh) * | 2016-11-24 | 2018-06-01 | 广州映博智能科技有限公司 | 基于激光光斑的自适应窗口立体视觉匹配方法 |
| CN107330932A (zh) * | 2017-06-16 | 2017-11-07 | 海信集团有限公司 | 一种修补视差图中噪点的方法及装置 |
| CN107886502A (zh) * | 2017-10-24 | 2018-04-06 | 天津大学 | 一种复杂环境下颜色与梯度综合的阴影检测与去除算法 |
| CN109493373A (zh) * | 2018-11-07 | 2019-03-19 | 上海为森车载传感技术有限公司 | 一种基于双目立体视觉的立体匹配方法 |
| CN111121722A (zh) * | 2019-12-13 | 2020-05-08 | 南京理工大学 | 结合激光点阵和偏振视觉的双目三维成像方法 |
| CN111260597A (zh) * | 2020-01-10 | 2020-06-09 | 大连理工大学 | 一种多波段立体相机的视差图像融合方法 |
| CN111862195A (zh) * | 2020-08-26 | 2020-10-30 | Oppo广东移动通信有限公司 | 光斑检测方法和装置、终端和存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| 基于异构多核构架的双目散斑3维重建;熊伟等;《工程科学与技术》;20170430;全文 * |
| 岩石节理二值图像的细化;李锐等;《微计算机信息》;20070228(第06期);全文 * |
| 荧光显微图像亚细胞斑点检测方法研究进展;吴坚等;《中国生物医学工程学报》;20121220(第06期);全文 * |
| 视点合成中基于深度的空洞修复;杜歆等;《浙江大学学报(工学版)》;20150915(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112634304A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9591237B2 (en) | Automated generation of panning shots | |
| US9171372B2 (en) | Depth estimation based on global motion | |
| Conze et al. | Objective view synthesis quality assessment | |
| US8384763B2 (en) | Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging | |
| US20080025628A1 (en) | Enhancement of Blurred Image Portions | |
| JP2009093644A (ja) | コンピュータによって実施されるシーン内を移動している物体の３ｄ位置を追跡する方法 | |
| KR20130112311A (ko) | 고밀도 삼차원 영상 재구성 장치 및 방법 | |
| JP2012249038A (ja) | 画像信号処理装置、画像信号処理方法 | |
| Xu et al. | Depth-aided exemplar-based hole filling for DIBR view synthesis | |
| Jung | A modified model of the just noticeable depth difference and its application to depth sensation enhancement | |
| CN112529773B (zh) | Qpd图像后处理方法及qpd相机 | |
| CN112634304B (zh) | 去除3d格式视频或图像中的反射光斑的方法 | |
| JP3931792B2 (ja) | 時系列処理画像の表示装置及び表示方法 | |
| US11158026B1 (en) | Field of view extension in a stereo camera system | |
| Liu et al. | Gradient-domain-based enhancement of multi-view depth video | |
| Jung et al. | Visual discomfort visualizer using stereo vision and time-of-flight depth cameras | |
| WO2021135676A1 (zh) | 一种拍照背景虚化方法、移动终端及存储介质 | |
| CN112634298B (zh) | 图像处理方法及装置、存储介质、终端 | |
| KR101633634B1 (ko) | 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법 및 그 장치 | |
| Smirnov et al. | Layered approach for improving the quality of free-viewpoint depth-image-based rendering images | |
| US10552970B2 (en) | Efficient guide filter for depth refinement | |
| Voronin et al. | Depth map occlusion filling and scene reconstruction using modified exemplar-based inpainting | |
| CN112565623A (zh) | 一种动态图像显示系统 | |
| CN116993625B (zh) | 一种气管镜图像增强方法及系统 | |
| KR101995985B1 (ko) | 영상회의 시스템에서 스테레오 영상을 이용한 참여자들 눈맞춤 제공 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |