CN115242934A - 带有深度信息的噪声吞噬鬼成像 - Google Patents
带有深度信息的噪声吞噬鬼成像 Download PDFInfo
- Publication number
- CN115242934A CN115242934A CN202210754585.0A CN202210754585A CN115242934A CN 115242934 A CN115242934 A CN 115242934A CN 202210754585 A CN202210754585 A CN 202210754585A CN 115242934 A CN115242934 A CN 115242934A
- Authority
- CN
- China
- Prior art keywords
- depth information
- image
- noise
- phagocytosis
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 57
- 206010057249 Phagocytosis Diseases 0.000 title claims abstract description 29
- 230000008782 phagocytosis Effects 0.000 title claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 238000001914 filtration Methods 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000002146 bilateral effect Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 23
- 238000002474 experimental method Methods 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000005286 illumination Methods 0.000 abstract description 2
- 238000013441 quality evaluation Methods 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000005337 ground glass Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000002366 time-of-flight method Methods 0.000 description 2
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 1
- 241000084490 Esenbeckia delta Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了带有深度信息的噪声吞噬鬼成像,首先运用光到达不同距离的物体时间不同的特征,获取每个深度下场景的二维图像,来重构出物体的深度信息,提出的噪声吞噬算法,使得重构出来的图像噪声降低。本文使用很高的深度分辨率的两层切片做实验,在正常照明情况下,使用激光和随机散斑即可实现,无需使用暗室。相比于雷达成像,具有更低的成本,更简单的设备,更方便调试。应用在遥感探测领域,可以不受极端环境影响,成像速度更快。其吞噬算法与原图像相比,在图像质量评测中,NRSS值提升NRSS值提升45%,Brisque提升25%,Niqe提升33%。与未处理图像相比,极大的降低噪声对图像深度信息的影响。
Description
技术领域
本发明属于遥感探测技术领域,具体涉及带有深度信息的噪声吞噬鬼成像。
背景技术
鬼成像是一种新的成像方法,它使用不具有空间分辨能力的探测器用于连续采样,并通过采样数据获取目标场景信息的新型成像技术,是近些年量子领域,图像处理领域的研究热点之一。和传统的成像方式相比,鬼成像实现高分辨率成像;抗干扰能力强,适用于复杂环境下成像;光源可以实现全波段成像;鬼成像作用距离比传统成像更远等优点。所以鬼成像正成为医学成像、激光雷达、光学加密、遥感卫星等领域的实用化候选技术之一,三维计算鬼成像也在近几年快速发展。2014年彭进业提出高速单像素相机数据采集系统,2019年,孙鸣捷就提出来单像素成像及其在三维重建中的应用的课题,2019年上海的韩申生小组提出用可预置强度关联激光三维成像,三维鬼成像的大幕迅速的被拉开,2021年10月XIANYELI,提出基于三原色的光的光度立体法的三原色光从三个角度照射到物体上实现毫米级的三维复原。
综上所述,在激光雷达和遥感卫星领域,为了方便显示物体相关信息,鬼成像得到的图像需要携带深度信息,但是得到一个三维重建图的对设备精度太高,计算量太大,导致不能实时显示,成本居高不下。由此,可以看出来人们对于二维鬼成像携带深度信息的需求越来越明显。
发明内容
本发明的目的是为解决现针对鬼成像无法重构深度信息的问题,而提供一种带有深度信息的噪声吞噬鬼成像。
带有深度信息的噪声吞噬鬼成像,它包括:
1)将CCD接收到的散斑矩阵与光强值进行关联运算还原出目标的像;
2)带有深度信息的鬼成像
将有时间分辨率的桶探测器采集得到的返回波形分割成不同阶段的时间的切片信号,然后对各自时间切片内的信号积分,通过将散斑与不同切片下测量的光强值进行关联运算生成的矩阵;得到每个深度下场景的二维图像,将进而形成一个二维图像的立方,将这些二维图像叠加到一起,从而到一个携带深度信息的二维图像;
3)噪声吞噬算法
(1)三维加权中值滤波
3×3窗口的加权均值滤波公式为:
其中pin是高度数权值, N为高度,Fi为待测点高度,Fn为目标点高度。
(2)双边滤波
进行一次高斯滤波再进行一次高斯滤波。
步骤1)所述的关联运算为:设N次采样中,空间光调制器生成的第k个散斑矩阵为,与之对应的桶探测器测量的光强值为B(k),待测物体的传输系数为,将CCD接收到的散斑矩阵与光强值进行关联运算还原出目标的像;
重构公式为:
式中T(x,y)为重构出来的鬼成像, <▪>表示对里面的数值平均值的运算,k=1,2...,N,N为总采样次数;
所述的对各自时间切片内的信号积分,通过将散斑与不同切片下测量的光强值进行关联运算,其生成的矩阵如下所示:
每个切片的图像的计算公式如下所示:
带有深度信息的二维鬼成像的计算公式:
3)噪声吞噬算法
4、所述的带有深度信息的噪声吞噬鬼成像,其特征在于:步骤3),(2)所述的双边滤波为:
具体公式如下:
其中表示点p的双边滤波结果,S表示滤波窗口的范围;为空间邻域标准差,为像素亮度标准差;、分别为高度邻近函数和周围权值函数,其形式为高斯函数;Wp为一个标准量,表示灰度权值和空间权值乘积的加权和其定义为:
本发明提供了带有深度信息的噪声吞噬鬼成像,本发明人中提出带有深度信息二维鬼成像的方法,并且提出相关的高质量的优化的噪声吞噬滤波算法。通过计算相同位置的光,光到达不同距离的物体时间不同,来得到具有深度信息的二维鬼成像图像,通过相关的图像处理的方法来提高成像质量。
本发明人根据桶探测器的特点,提出一种具有深度信息的噪声吞噬鬼成像。首先运用光到达不同距离的物体时间不同的特征,获取每个深度下场景的二维图像,来重构出物体的深度信息,提出的噪声吞噬算法,使得重构出来的图像噪声降低。本发明人使用很高的深度分辨率的两层切片做实验,完美的验证提出来的重构方法,此方法在正常照明情况下,使用激光和随机散斑即可实现,无需使用暗室。相比于雷达成像,具有更低的成本,更简单的设备,更方便调试。应用在遥感探测领域,可以不受极端环境影响,成像速度更快。其吞噬算法与原图像相比,在图像质量评测中,NRSS值提升NRSS值提升45%,Brisque提升25%,Niqe提升33%。主观评测效果更好,与未处理图像相比,极大的降低噪声对图像深度信息的影响,具有很深远的影响。
附图说明
图1为鬼成像原理示意图;
图 2带有深度信息的噪声吞噬鬼成像的流程图;
图 3 带有时间分辨率的桶探测器示意图;
图 4 实验场景示意图;
图 5实验恢复图;
图 6实验结果对比图。
具体实施方式
实施例1 带有深度信息的噪声吞噬鬼成像
1、鬼成像
鬼成像的实验装置如图1所示。激光光线从激光发射器被打出来,通过毛玻璃将光场将进行调制,调制好的散斑通过分束器将光分成两份,一份通过图像传感器(CCD)被计算机接收并储存,另一部分照射至物体之上,物体反射的光将被桶探测器(B)收集,不断重复上述实验过程,将得到数据汇总处理,通过关联运算即可恢复出物体的图像。设N次采样中,空间光调制器生成的第k个散斑矩阵为I(x,y,k),与之对应的桶探测器测量的光强值为B(k),待测物体的传输系数为T(x,y),将CCD接收到的散斑矩阵与光强值进行关联运算即可还原出目标的像。这种鬼成像的重构公式为:
式中T(x,y)为重构出来的鬼成像, <▪>表示对里面的数值平均值的运算,k=1,2...,N,N为总采样次数。
2、带有深度信息的鬼成像
在二维鬼成像中,一个散斑只对应一个测量光强。然而,我们使用有超强时间分辨能力的探测器(PMT)进行测量的时候,一个散斑将对应一系列场景中不同深度位置的光强值。如图3二维的信号返回的是一个桶探测值,不同深度的信号将在不同深度处返回多个波峰。
因此,本发明人提出基于光飞行时间法的带有深度信息的鬼成像,首先将桶探测器(PMT)采集得到的返回波形分割成不同阶段的时间(距离)的切片信号,然后对各自时间切片内的信号积分,通过将散斑与不同切片下测量的光强值进行关联运算其生成的矩阵如下所示:
每个切片的图像的计算公式如下所示:
上述公式可以得到每个深度下场景的二维图像,将进而形成一个二维图像的立方,将这些二维图像叠加到一起,从而到一个携带深度信息的二维图像。所以我们可以得出带有深度信息的二维鬼成像的计算公式:
因为图片携带深度信息,所以文章采用灰度、HSV伪彩色和立体显示三种方法来表示,采用HSV色域的原因是这一彩色表示方式可以与深度信息有完美的对应,在一些地形图显示的过程中,经常采用HSV伪彩色显示;采用立体显示的方式可以更加直观的看出来图片携带的深度信息。
3、噪声吞噬算法
对于带有深度信息的鬼成像图像而言,如果它与周围的像素点比起来是明显不同的,就可以认为是噪声,就可以认为该点被噪声感染。
带有深度信息鬼成像的噪声主要有四个源头:一是源于光飞行时间法存在的距离模糊二义性;二是实验过程中存在灰尘;三是通过透镜后发生的轻微散射与主要光路混合到一起;四是照射到物体上后发生的少量漫反射产生的微弱光线被桶探测器接收。其中第一和第四种原因是产生噪声的主要原因。
基于上述分析本发明人先采用三维加权中值滤波,这样可以减少噪声对于图像的影响,在相关的噪声被过滤的同时,会保有一些小毛刺,使得深度信息不清晰,仅考虑模板对模板中心高度的影响,会比较明显地模糊边缘,所以本发明人提出噪声吞噬算法,在保证去除噪声的同时,保证物体边缘的轮廓,希望进行一次高斯滤波再进行一次高斯滤波的设想,但是高斯滤波由于仅考虑位置对中心像素的影响,会比较明显地模糊边缘。为了能够在消除噪声的同时很好的保留边缘,我们提出的噪声吞噬算法是一种很有效的方法。
1)三维加权中值滤波
为了去除鬼成像的背景噪声干扰,本发明人提出了一种基于深度信息的三维加权中值滤波的方法。
G(x,y)为输入的鬼成像图像,S是(x,y)点邻域中点的坐标的集合,其中包括(x,y)点。M是S内坐标点的总数。
显然,邻域集中的不同点对当前像素点的影响并不相同,经典的中值滤波方法并没有考虑到这一点。加权中值滤波的提出很好的解决了这一痛点。3×3窗口的加权均值滤波公式为:
其中pin是高度数权值, N为高度,Fi为待测点高度,Fn为目标点高度。
2)双边滤波
简单的说,双边滤波是一种局部加权平均。由于双边滤波比高斯滤波多一个高斯方差,所以在边缘附近,距离较远的像素不会有太多的影响到边缘上的像素值,这样就保证边缘像素不会发生较大改变。这等于在保障去噪的同时,也减小邻域平均对边缘的影响,具体公式如下:
其中 表示点p的双边滤波结果,S表示滤波窗口的范围。为空间邻域标准差,为像素亮度标准差。、分别为高度邻近函数和周围权值函数,其形式为高斯函数。为一个标准量,表示灰度权值和空间权值乘积的加权和其定义为:
由上述公式可知,双边滤波具有两个重要的关键参数:δs和δγ,δs来控制空间邻近度,其大小决定滤波窗口包含的像素个数,即δs变大时,窗口包含的像素变多,距离比较远的像素点也会影响到中心像素点,平滑程度提高。δs用来控制高度邻近度,当δγ变大时,则高度差值较大的点也能影响到中心点的像素值,但是高度值大于δγ的像素讲不参与运算,使得能够保留图像高频边缘信息,而当δs、δγ值很小的时候图像几乎不会发生平滑的效果。可看出δs和δγ的参数选择直接影响双边滤波的输出结果,也就是图像的平滑程度。
实验例实验结果与分析
为了检测所提方法的优化效果,本发明人以MATLAB的平台来进行仿真及真是实验,并本发明人采用MATLAB平台进行实验,并且用NRS进行评测。由于没有真实参考图片,评价指标需使用无参评价指标,吞噬算法使用NRSS、Brisque、Niqe来评价恢复图像的优劣,指标越小越好。
1、流程分析
3)将每一列的桶探测值分别和随机散斑进行二阶关联得到切片图像;
4)将切片合成成一个带有深度信息的图像;
5)吞噬算法进行处理得到质量更好的图像。
2、实验深度图恢复结果
为考察所提方法在实际中的应用效果,实验使用的散斑是毛玻璃生成的随机散斑,采样20000次,本发明人选用一个T和一个星星切片来进行实验,其中T字比星星高出来30cm。目标物体分辨率为200×200pix,其本发明人做的深度分辨率为30cm实验场景如图4所示。
恢复出来的图像如图5所示其中(a)为HSV伪彩色图可以反应出来相应的深度信息,(b)为45度的深度恢复图,(c)为正面的深度恢复图。
3、评测方法
4、噪声吞噬算法处理后的结果
为考察所提的增强算法在实际中的应用效果,本节使用噪声吞噬算法对重构出来的图像进行优化。由于没有真实参考图片,评价指标需使用无参评价指标,本发明人使用NRSS、Brisque、Niqe参数来评价恢复图像的优劣,三个参数的指标都是越小越好。实验结果如图6所示,其中(a)为原图像的灰度图,(b)为使用该算法后的图像的灰度图,(c)为原图像的45度图,(d)为使用该算法后的45度图,(e)为原图像的正面图,(f)为使用该算法后的45度图。
5、结论
图6为该方法的流程图,本发明人在鬼成像的框架下,使得二维鬼成像重构出来的图像携带深度信息,并且提出一种噪声吞噬算法,并介绍算法的工作原理。最后,在经过星星与T字为目标物体的仿真和实验后,数据表明本发明人所提出的方法相较于传统的二维图像重构方法,可以使得携带深度信息,使用深度分辨率为30cm的情景进行实验,理论上和实验中皆可行。对于提出的噪声吞噬算法,其主观和客观评价都表现得更好。对比原始实验恢复图,本发明人提出的方法在NRSS、Brisque、Niqe三种评测方法中均有大幅度的提升NRSS值提升45%,Brisque提升25%,Niqe提升33%。对于探测物体的深度信息,该方法比雷达更省成本。
Claims (4)
1.带有深度信息的噪声吞噬鬼成像,它包括:
1)将CCD接收到的散斑矩阵与光强值进行关联运算还原出目标的像;
2)带有深度信息的鬼成像
将有时间分辨率的桶探测器采集得到的返回波形分割成不同阶段的时间的切片信号,然后对各自时间切片内的信号积分,通过将散斑与不同切片下测量的光强值进行关联运算生成的矩阵;得到每个深度下场景的二维图像,将进而形成一个二维图像的立方,将这些二维图像叠加到一起,从而到一个携带深度信息的二维图像;
3)噪声吞噬算法
(1)三维加权中值滤波
3×3窗口的加权均值滤波公式为:
其中pin是高度数权值, N为高度,Fi为待测点高度,Fn为目标点高度;
(2)双边滤波
进行一次高斯滤波再进行一次高斯滤波。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210754585.0A CN115242934A (zh) | 2022-06-30 | 2022-06-30 | 带有深度信息的噪声吞噬鬼成像 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210754585.0A CN115242934A (zh) | 2022-06-30 | 2022-06-30 | 带有深度信息的噪声吞噬鬼成像 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115242934A true CN115242934A (zh) | 2022-10-25 |
Family
ID=83671855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210754585.0A Pending CN115242934A (zh) | 2022-06-30 | 2022-06-30 | 带有深度信息的噪声吞噬鬼成像 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115242934A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110794381A (zh) * | 2019-10-22 | 2020-02-14 | 中国海洋大学 | 一种激光彩色单臂自动关联成像系统 |
CN116115164A (zh) * | 2023-04-06 | 2023-05-16 | 北京邮电大学 | 一种基于模式调控的多模光纤成像系统 |
-
2022
- 2022-06-30 CN CN202210754585.0A patent/CN115242934A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110794381A (zh) * | 2019-10-22 | 2020-02-14 | 中国海洋大学 | 一种激光彩色单臂自动关联成像系统 |
CN116115164A (zh) * | 2023-04-06 | 2023-05-16 | 北京邮电大学 | 一种基于模式调控的多模光纤成像系统 |
CN116115164B (zh) * | 2023-04-06 | 2023-08-01 | 北京邮电大学 | 一种基于模式调控的多模光纤成像系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Russ | Computer-assisted microscopy: the measurement and analysis of images | |
US5592571A (en) | Digital pixel-accurate intensity processing method for image information enhancement | |
US5563962A (en) | Two dimensional digital hysteresis filter for smoothing digital images | |
US5715334A (en) | Digital pixel-accurate intensity processing method for image information enhancement | |
CN115242934A (zh) | 带有深度信息的噪声吞噬鬼成像 | |
Meilland et al. | 3d high dynamic range dense visual slam and its application to real-time object re-lighting | |
US20120213436A1 (en) | Fast Image Enhancement and Three-Dimensional Depth Calculation | |
US20070285422A1 (en) | Method for Separating Direct and Global Illumination in a Scene | |
CN105869160A (zh) | 利用Kinect实现三维建模和全息显示的方法及系统 | |
CA2751025A1 (en) | Fusion of a 2d electro-optical image and 3d point cloud data for scene interpretation and registration performance assessment | |
CN110097634B (zh) | 一种自适应多尺度的三维鬼成像方法 | |
WO2010041584A1 (en) | Imaging system and method | |
Chen et al. | A color-guided, region-adaptive and depth-selective unified framework for Kinect depth recovery | |
Benxing et al. | Underwater image recovery using structured light | |
Zhuang et al. | A dense stereo matching method based on optimized direction-information images for the real underwater measurement environment | |
Rekik et al. | Review of satellite image segmentation for an optimal fusion system based on the edge and region approaches | |
US20210295479A1 (en) | Method and device for displaying high-dynamic sonar or radar data | |
Tadic et al. | Edge-preserving Filtering and Fuzzy Image Enhancement in Depth Images Captured by Realsense Cameras in Robotic Applications. | |
Malinverni et al. | Image enhancement comparison to improve underwater cultural heritage survey | |
Zováthi et al. | ST-DepthNet: A spatio-temporal deep network for depth completion using a single non-repetitive circular scanning Lidar | |
Song et al. | Advanced underwater image restoration in complex illumination conditions | |
JPH09204532A (ja) | 画像認識方法および画像表示方法 | |
CN112991174A (zh) | 一种提高单帧红外图像分辨率的方法与系统 | |
CN113592995B (zh) | 一种基于并行单像素成像的多次反射光分离方法 | |
Lathuiliere et al. | Stereoscopic system for 3D reconstruction using multispectral camera and LCD projector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |