CN107295236A - 一种基于飞行时间传感器的快照差分成像方法 - Google Patents
一种基于飞行时间传感器的快照差分成像方法 Download PDFInfo
- Publication number
- CN107295236A CN107295236A CN201710685535.0A CN201710685535A CN107295236A CN 107295236 A CN107295236 A CN 107295236A CN 201710685535 A CN201710685535 A CN 201710685535A CN 107295236 A CN107295236 A CN 107295236A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msup
- image
- difference
- here
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 238000005286 illumination Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims abstract description 5
- 230000010287 polarization Effects 0.000 claims description 22
- 238000005259 measurement Methods 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 8
- 230000008901 benefit Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 239000013078 crystal Substances 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000010363 phase shift Effects 0.000 claims description 6
- 230000009897 systematic effect Effects 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 5
- 230000002146 bilateral effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000004907 flux Effects 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 230000011514 reflex Effects 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 238000000926 separation method Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 11
- 238000011084 recovery Methods 0.000 abstract 1
- 230000005611 electricity Effects 0.000 description 4
- 210000004209 hair Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 2
- 240000002853 Nelumbo nucifera Species 0.000 description 2
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
本发明提出了一种基于飞行时间传感器的快照差分成像方法，其主要内容包括：差分成像规则、差分成像仪原型设计、基于极性的全局分割、基于单幅差分图像恢复两幅图像的方法，其过程为，通过依次捕获多个图像来对图像进行差分计算，然后把它们放在一起处理，其中在记录动态场景时这种方法会导致伪影的产生，因此本发明设计出一种在飞行时间相机的传感器硬件中实现的快照差分成像方法。通过本发明所提出的快照差分成像技术使得直接全局光照分割、时空图像梯度直接成像和直接深度边缘成像都获得了更好的实时性与准确性。
Description
技术领域
本发明涉及计算机图形学中的快照式成像光谱技术领域，尤其是涉及了一种基于飞行时间传感器的快照差分成像方法。
背景技术
快照差分成像技术作为计算机视觉研究的核心课题之一，是一门正兴起的技术。它融入了人工智能、图像处理、模式识别、计算机、以及自动控制等许多领域的先进技术。若用在视频跟踪系统上，具有隐蔽性、直观性、抗电子干扰性、性价比高等突出优点。因为可从视频监视器上直接看到目标图像，因而能方便、直观地辨别出目标。此外在近距离跟踪方而，视频的跟踪系统具有较高的可靠性、精确性和稳定性。因提取的结果中包含了场景中各个运动目标的大量时空信息，快照差分成像技术从二十世纪六十年代以来，取得了极大的发展，在医疗诊断、战场警戒、气候分析、军事视觉制导、安全监测、参数现实、交通管制、机器人视觉导航、虚拟现实和视频压缩等许多方面都有广泛应用。但现有的快照差分成像技术针对全局光照分割、时空图像梯度直接成像和直接深度边缘成像时还无法实现高实时性与高准确度，本发明很好的改善了这一技术在这方面的局限性。
本发明提出了一种基于飞行时间传感器的快照差分成像方法，其主要内容包括：差分成像规则、差分成像仪原型设计、基于极性的全局分割、基于单幅差分图像恢复两幅图像的方法，其过程为，通过依次捕获多个图像来对图像进行差分计算，然后把它们放在一起处理，其中在记录动态场景时这种方法会导致伪影的产生，因此本发明设计出一种在飞行时间相机的传感器硬件中实现的快照差分成像方法。通过本发明所提出的快照差分成像技术使得直接全局光照分割、时空图像梯度直接成像和直接深度边缘成像都获得了更好的实时性与准确性。
发明内容
针对本发明提出的基于飞行时间传感器的快照差分成像方法，其通过依次捕获多个图像来对图像进行差分计算，然后把它们放在一起处理，其中在记录动态场景时这种方法会导致伪影的产生，因此本发明设计出一种在飞行时间相机的传感器硬件中实现的快照差分成像方法。通过本发明所提出的快照差分成像技术使得直接全局光照分割、时空图像梯度直接成像和直接深度边缘成像都获得了更好的实时性与准确性。
为解决上述问题，本发明提供一种基于飞行时间传感器的快照差分成像方法，其主要内容包括：
(一)差分成像规则；
(二)差分成像仪原型设计；
(三)基于极性的全局分割；
(四)基于单幅差分图像恢复两幅图像的方法；
其中，所述的差分成像规则，在飞行时间(ToF)传感器中的像素用于测量时变光子通量gi(t)以及时变传感器调制信号f(t)∈[0,1]，与在一个势阱中收集光电二极管所产生电荷的CCD或CMOS传感器不同，ToF传感器的每个像素具有两个这样的势阱，其中传感器调制信号f(t)决定了在时间t产生的电荷在哪一个势阱中终止，而在积分阶段结束时两势阱间的差值被读出并进行数字化，如等式(1)所示：
其中ρ是从电子计数到数字单位的转换因子，而η代表解调对比度，而和是在积分阶段[0,T]内两个势阱分别收集的光电子，如等式(2)所示：
这里入射光子率gi(t)是一个描述光源发光这个场景的时变强度g(t)的函数，而在ToF成像过程中，f(t)和g(t)是相同高频(通常为20-100MHz)的周期函数，且从光源到传感器的光传播延时导致了相对相移，这里通过测量相移可以恢复图像深度，且需要将调制频率降低到1-5MHz，其中近距离场景下的光传播可以被认为是瞬时发生的，f(t)由数字电路产生，其值仅被假设为0和1，这里使用两个光源，其中光源1(LS1)使用相同的函数f(t)来驱动，而光源2(LS2)则使用f(t)的逻辑非来驱动，根据等式(2)，在势阱中收集的电荷将会记录LS1发光所显示的场景图像，而这里则对应LS2，因此像素可以在不同的发光情况下测量两幅图像的差别；此外还需要对ToF成像仪建立合适的噪声模型来降低噪声所导致的系统误差。
进一步地，所述的噪声模型，ToF成像仪作为一种复杂的光学器件容易接收不同来源的噪声影响，而对于差分测量方案来说，尤其是正在经常在ToF操作中使用的多抽头测量方案，可以很好的抵消大部分硬件所导致的系统误差，但这些措施也不能消除散射噪声，这是在光电子计数过程中所发生的不确定性；如果是两个势阱的预期电子数，则实际在任何一副图像中所记录的电子数I±应该是一个泊松分布随机变量，其平均值μ±以及方差(σ±)2都应与相应的预期值相同，如等式(3)所示：
最终像素值作为两个独立随机变量的差值也是一个随机变量，且这个值遵循Skellam分布，这里平均值μdiff和方差与I±的平均值μ±和方差的相互关系如等式(4)和(5)所示：
其中为所读取的模型附加噪声源的值，而器件常数η∈[0,1]则是成像器的对比度，这里用矩阵向量乘积来表示如等式(6)所示：
这里注意测量值Idiff的不确定性并不主要取决于净差值，而更多的由隐形分量来决定，故即使是在出现零信号也就是的时候，实际观测值Idiff也可能会受到明显的噪声影响，这就是差分成像的主要特征，其适用于各种机构并能应用到后捕获差分技术中去，这里将系统特征矩阵H称为Skellam混合矩阵。
进一步地，所述的差分成像仪原型设计，构建了基于两个不同的飞行时间传感平台的快照差分成像仪，这里将光学评估模块与外部调制器和光源结合，其中将成像器的过红外滤波器移除以便它们能感知可见光，为了能够进行差分成像，外部光源分别被配置在相位的里面和外面，而系统则配置每秒刷新60帧，其中每帧的曝光时间为2000μs，图像也在曝光时间内捕获，而为了实现不同的成像模式，需要将光源与不同颜色的LED配合使用放置在不同的位置，并按照特定的目的来安装LED和带有偏振滤光片的相机，此处为了减少固定模式噪声，需要在进行数据采集之前记录一个黑色帧并从每个测量帧中减去，因此差分图像像素的值取决于两势阱之间的电荷平衡。
进一步地，所述的基于极性的全局分割，这里设计的机构以单点偏振差分成像仪的形式来展示其隔离直接反射光的能力，并在使用交叉线偏振光的两个光源和相机上的分析滤光片照明场景时可以考虑图像的四个不同部分：(1)最初通过偏振滤光器的直射光平行于分析仪，并直接反射到场景中从而保持极化的方向；(2)最初通过偏振滤光器平行于分析仪并在场景中多次散射，因此不能保持极化的方向；(3)最初通过偏振滤光片垂直于分析仪，并直接反映在场景中；(4)最初通过偏振滤光片垂直于分析仪，并在场景中多次散射；这里假设场景中的多次散射完全消除了两个初始极化方向的光线，则在与分析仪平行偏振的光照射后到达相机的光线照射量是与f(t)同相的分量，如等式(7)所示：
而在与分析仪垂直偏振的光照射后到达传感器的光线则是通过分析滤光片的光线，如等式(8)所示：
在光源相同的情况下假设直接和间接散射光之间的比例对于初始极化方向是相同的，此时满足因此光子混合设备(PMD)传感器在与光源的锁定操作中获取的差分图像可以用等式(9)表示：
最后留下仅包含直接反射光的图像，这种基于极性的全局分割方法在深度边缘与方向性梯度成像、时间梯度成像、空间梯度成像等成像方法中都得到了应用，且为了能在许多应用场合中对材料进行表征与分类，需要使用到双极性色彩匹配功能。
进一步地，所述的双极性色彩匹配功能，使用表示特征的照明或优化过的光谱照明模式来基于每个像素对材料进行分类，这里采用这项工作的光谱面并使用PMD机构来构建一个有源照相机从而在单次拍摄中区分出拍摄对象红色和蓝色的反射率，通过分别在L1和L2上配置红色以及蓝色LED，可以获得一个既可以测量对象颜色主要为红色的正响应又可以测量对象颜色主要为蓝色的负响应的双极性彩色摄像头，故在实际测量中可以清楚地看到彩色贴片中的正或负反应，其中像灰度值这样可以将红色与绿色映射到等效部分的补丁会导致响应值接近零，这也证明了快照差分成像对辨别彩色成像的适用性，因此可以使用这种方法来促进图像分割与分类的新方法的形成或者使用双极性匹配功能来直接感知对象的主要颜色。
进一步地，所述的深度边缘与方向性梯度成像，由于常规照片中物体的不同空间特征之间显示出较低的对比度，故难以从照片中推导出三维物体的结构和形状，而从两个不同的角度照亮对象可以揭示整个场景的深度结构，就方便进行图像分割等操作，所设计的机构可用于生成场景的方向梯度图像，且在这种操作模式下需要将相反极性的两个相同的光源放置在传感器的相对两侧，这里每当深度不连续性影响其中一个光源时，所产生的图像会显示正值或负值，而其他像素则会获得接近零的值；通过改变光源之间的距离可以获得不同的边缘宽度，而随着光源分离的程度接近场景和摄像机之间的距离，此时记录阴影图像可以用于估计物体的表面取向，快照差分成像的一个主要优点是它不受场景运动的影响，而多重拍摄技术通常会在物体快速移动时遇到校准问题，这里以相同的每秒60帧的帧速记录了移动场景的两个图像序列，对于序列1使用两个光源的快照差分成像；而对于序列2则在LS1和LS2之间交替在连续帧之间对差分图像进行数字计算，结果显示单次拍摄的差分图像比双次拍摄的更明显，且几乎没有重影伪像，此外单次拍摄图像所显示的固定模式噪声略有增加。
进一步地，所述的时间梯度成像，设计了一种新的光学机构结合快照差分成像仪在模拟硬件中执行边缘检测，此处的关键是在I+和I-这两幅图像之间引入一个小的空间位移，这样净图像就可以成为场景的两个移位副本之间的差异值，且这里仅需要将光学无源器件添加到我们的机构中去，也就是将双折射晶体放置在传感器的顶部来代替镜头上的分析滤镜；而对于偏振保留场景，该机构会在传感器区域上产生两个相同的图像，并在相反的级性上位移一个像素，然后图像中的均匀区域在该差分图像中抵消，而边缘则被检测为非零响应(根据方向来判断正负)。
进一步地，所述的空间梯度成像，这里设计的差分成像法可以在没有主动照明的情况下使用，这里使用50％占空比的高频方波调制传感器，这样可以降低传感器对环境光的敏感度，然后通过选择一个不对称调制模式来引入偏差；在曝光开始阶段到达的光线有利于I-的形成，而在曝光结束阶段到达的光则有利于I+的形成，在这样做时会使照相机感受到光强基于时间的变化，这里在曝光阶段的后半部分比上半部分接收更多光的像素显示为正像素，反之亦然。此外，从时间梯度图像中可以通过图像中实物的黑色和白色边缘来识别实物运动方向。
进一步地，所述的基于单幅差分图像恢复两幅图像的方法，利用两个光子限制信号的噪声特性从单个差分图像中恢复出两个原始图像，这里根据等式(6)可以知道差分图像中每个像素的噪声并不取决于得到的差值，而是存储在各个独立势阱中的电荷量，因此可以通过差分图像的噪声统计结果(每个像素的平均值和方差)来计算出I+和I-的值，如等式(10)所示：
这里提出三种方法来估算这些数量：一是在等同条件下对一系列输入图像帧进行分析，这里且其中在第i帧中位置为处的像素值；二是对单个预分割图像做基于块的分析，这里且 其中代表了时属于同一个图像块的像素集，这种方法在平坦均匀的图像区域下可以产生关于颜色质量方面的最佳图像重建；三是使用双边滤波器来分析单个图像，这里且其中双边权重为这种方法在计算平均值与方差时使用双边滤波器来降低不同像素的权重；这里的后两种方法通过牺牲图像质量来将源与单个差分图像分离，这使得它们适用于目标快速移动的场景，且这种算法针对实时性应用将会非常简单。
附图说明
图1是本发明一种基于飞行时间传感器的快照差分成像方法的系统框架图。
图2是本发明一种基于飞行时间传感器的快照差分成像方法的ToF摄像机系统及其通过不同成像方式所获图像。
图3是本发明一种基于飞行时间传感器的快照差分成像方法的ToF像素操作图示。
图4是本发明一种基于飞行时间传感器的快照差分成像方法的极性差分成像图示。
图5是本发明一种基于飞行时间传感器的快照差分成像方法的在使用双折射晶体情况下的差分成像图示。
图6是本发明一种基于飞行时间传感器的快照差分成像方法的时空梯度成像示例图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于飞行时间传感器的快照差分成像方法的系统框架图。主要包括差分成像规则、差分成像仪原型设计、基于极性的全局分割、基于单幅差分图像恢复两幅图像的方法。
其中，所述的差分成像规则，在飞行时间(ToF)传感器中的像素用于测量时变光子通量gi(t)以及时变传感器调制信号f(t)∈[0,1]，与在一个势阱中收集光电二极管所产生电荷的CCD或CMOS传感器不同，ToF传感器的每个像素具有两个这样的势阱，其中传感器调制信号f(t)决定了在时间t产生的电荷在哪一个势阱中终止，而在积分阶段结束时两势阱间的差值被读出并进行数字化，如等式(1)所示：
其中ρ是从电子计数到数字单位的转换因子，而η代表解调对比度，而和是在积分阶段[0,T]内两个势阱分别收集的光电子，如等式(2)所示：
这里入射光子率gi(t)是一个描述光源发光这个场景的时变强度g(t)的函数，而在ToF成像过程中，f(t)和g(t)是相同高频(通常为20-100MHz)的周期函数，且从光源到传感器的光传播延时导致了相对相移，这里通过测量相移可以恢复图像深度，且需要将调制频率降低到1-5MHz，其中近距离场景下的光传播可以被认为是瞬时发生的，f(t)由数字电路产生，其值仅被假设为0和1，这里使用两个光源，其中光源1(LS1)使用相同的函数f(t)来驱动，而光源2(LS2)则使用f(t)的逻辑非来驱动，根据等式(2)，在势阱中收集的电荷将会记录LS1发光所显示的场景图像，而这里则对应LS2，因此像素可以在不同的发光情况下测量两幅图像的差别；此外还需要对ToF成像仪建立合适的噪声模型来降低噪声所导致的系统误差。
进一步地，所述的噪声模型，ToF成像仪作为一种复杂的光学器件容易接收不同来源的噪声影响，而对于差分测量方案来说，尤其是正在经常在ToF操作中使用的多抽头测量方案，可以很好的抵消大部分硬件所导致的系统误差，但这些措施也不能消除散射噪声，这是在光电子计数过程中所发生的不确定性；如果是两个势阱的预期电子数，则实际在任何一副图像中所记录的电子数I±应该是一个泊松分布随机变量，其平均值μ±以及方差(σ±)2都应与相应的预期值相同，如等式(3)所示：
最终像素值作为两个独立随机变量的差值也是一个随机变量，且这个值遵循Skellam分布，这里平均值μdiff和方差与I±的平均值μ±和方差的相互关系如等式(4)和(5)所示：
其中为所读取的模型附加噪声源的值，而器件常数η∈[0,1]则是成像器的对比度，这里用矩阵向量乘积来表示如等式(6)所示：
这里注意测量值Idiff的不确定性并不主要取决于净差值，而更多的由隐形分量来决定，故即使是在出现零信号也就是的时候，实际观测值Idiff也可能会受到明显的噪声影响，这就是差分成像的主要特征，其适用于各种机构并能应用到后捕获差分技术中去，这里将系统特征矩阵H称为Skellam混合矩阵。
进一步地，所述的差分成像仪原型设计，构建了基于两个不同的飞行时间传感平台的快照差分成像仪，这里将光学评估模块与外部调制器和光源结合，其中将成像器的过红外滤波器移除以便它们能感知可见光，为了能够进行差分成像，外部光源分别被配置在相位的里面和外面，而系统则配置每秒刷新60帧，其中每帧的曝光时间为2000μs，图像也在曝光时间内捕获，而为了实现不同的成像模式，需要将光源与不同颜色的LED配合使用放置在不同的位置，并按照特定的目的来安装LED和带有偏振滤光片的相机，此处为了减少固定模式噪声，需要在进行数据采集之前记录一个黑色帧并从每个测量帧中减去，因此差分图像像素的值取决于两势阱之间的电荷平衡。
进一步地，所述的基于极性的全局分割，这里设计的机构以单点偏振差分成像仪的形式来展示其隔离直接反射光的能力，并在使用交叉线偏振光的两个光源和相机上的分析滤光片照明场景时可以考虑图像的四个不同部分：(1)最初通过偏振滤光器的直射光平行于分析仪，并直接反射到场景中从而保持极化的方向；(2)最初通过偏振滤光器平行于分析仪并在场景中多次散射，因此不能保持极化的方向；(3)最初通过偏振滤光片垂直于分析仪，并直接反映在场景中；(4)最初通过偏振滤光片垂直于分析仪，并在场景中多次散射；这里假设场景中的多次散射完全消除了两个初始极化方向的光线，则在与分析仪平行偏振的光照射后到达相机的光线照射量是与f(t)同相的分量，如等式(7)所示：
而在与分析仪垂直偏振的光照射后到达传感器的光线则是通过分析滤光片的光线，如等式(8)所示：
在光源相同的情况下假设直接和间接散射光之间的比例对于初始极化方向是相同的，此时满足因此光子混合设备(PMD)传感器在与光源的锁定操作中获取的差分图像可以用等式(9)表示：
最后留下仅包含直接反射光的图像，这种基于极性的全局分割方法在深度边缘与方向性梯度成像、时间梯度成像、空间梯度成像等成像方法中都得到了应用，且为了能在许多应用场合中对材料进行表征与分类，需要使用到双极性色彩匹配功能。
进一步地，所述的双极性色彩匹配功能，使用表示特征的照明或优化过的光谱照明模式来基于每个像素对材料进行分类，这里采用这项工作的光谱面并使用PMD机构来构建一个有源照相机从而在单次拍摄中区分出拍摄对象红色和蓝色的反射率，通过分别在L1和L2上配置红色以及蓝色LED，可以获得一个既可以测量对象颜色主要为红色的正响应又可以测量对象颜色主要为蓝色的负响应的双极性彩色摄像头，故在实际测量中可以清楚地看到彩色贴片中的正或负反应，其中像灰度值这样可以将红色与绿色映射到等效部分的补丁会导致响应值接近零，这也证明了快照差分成像对辨别彩色成像的适用性，因此可以使用这种方法来促进图像分割与分类的新方法的形成或者使用双极性匹配功能来直接感知对象的主要颜色。
进一步地，所述的深度边缘与方向性梯度成像，由于常规照片中物体的不同空间特征之间显示出较低的对比度，故难以从照片中推导出三维物体的结构和形状，而从两个不同的角度照亮对象可以揭示整个场景的深度结构，就方便进行图像分割等操作，所设计的机构可用于生成场景的方向梯度图像，且在这种操作模式下需要将相反极性的两个相同的光源放置在传感器的相对两侧，这里每当深度不连续性影响其中一个光源时，所产生的图像会显示正值或负值，而其他像素则会获得接近零的值；通过改变光源之间的距离可以获得不同的边缘宽度，而随着光源分离的程度接近场景和摄像机之间的距离，此时记录阴影图像可以用于估计物体的表面取向，快照差分成像的一个主要优点是它不受场景运动的影响，而多重拍摄技术通常会在物体快速移动时遇到校准问题，这里以相同的每秒60帧的帧速记录了移动场景的两个图像序列，对于序列1使用两个光源的快照差分成像；而对于序列2则在LS1和LS2之间交替在连续帧之间对差分图像进行数字计算，结果显示单次拍摄的差分图像比双次拍摄的更明显，且几乎没有重影伪像，此外单次拍摄图像所显示的固定模式噪声略有增加。
进一步地，所述的时间梯度成像，设计了一种新的光学机构结合快照差分成像仪在模拟硬件中执行边缘检测，此处的关键是在I+和I-这两幅图像之间引入一个小的空间位移，这样净图像就可以成为场景的两个移位副本之间的差异值，且这里仅需要将光学无源器件添加到我们的机构中去，也就是将双折射晶体放置在传感器的顶部来代替镜头上的分析滤镜；而对于偏振保留场景，该机构会在传感器区域上产生两个相同的图像，并在相反的级性上位移一个像素，然后图像中的均匀区域在该差分图像中抵消，而边缘则被检测为非零响应(根据方向来判断正负)。
进一步地，所述的空间梯度成像，这里设计的差分成像法可以在没有主动照明的情况下使用，这里使用50％占空比的高频方波调制传感器，这样可以降低传感器对环境光的敏感度，然后通过选择一个不对称调制模式来引入偏差；在曝光开始阶段到达的光线有利于I-的形成，而在曝光结束阶段到达的光则有利于I+的形成，在这样做时会使照相机感受到光强基于时间的变化，这里在曝光阶段的后半部分比上半部分接收更多光的像素显示为正像素，反之亦然。此外，从时间梯度图像中可以通过图像中实物的黑色和白色边缘来识别实物运动方向。
进一步地，所述的基于单幅差分图像恢复两幅图像的方法，利用两个光子限制信号的噪声特性从单个差分图像中恢复出两个原始图像，这里根据等式(6)可以知道差分图像中每个像素的噪声并不取决于得到的差值，而是存储在各个独立势阱中的电荷量，因此可以通过差分图像的噪声统计结果(每个像素的平均值和方差)来计算出I+和I-的值，如等式(10)所示：
这里提出三种方法来估算这些数量：一是在等同条件下对一系列输入图像帧进行分析，这里且其中在第i帧中位置为处的像素值；二是对单个预分割图像做基于块的分析，这里且 其中代表了时属于同一个图像块的像素集，这种方法在平坦均匀的图像区域下可以产生关于颜色质量方面的最佳图像重建；三是使用双边滤波器来分析单个图像，这里且其中双边权重为这种方法在计算平均值与方差时使用双边滤波器来降低不同像素的权重；这里的后两种方法通过牺牲图像质量来将源与单个差分图像分离，这使得它们适用于目标快速移动的场景，且这种算法针对实时性应用将会非常简单。
图2是本发明一种基于飞行时间传感器的快照差分成像方法的ToF摄像机系统及其通过不同成像方式所获图像。图中(a)为可以直接感知图像时空梯度的ToF摄像机系统；而(b)则为深度边缘成像示例；(c)为直接光线成像示例；(d)为空间梯度成像示例。
图3是本发明一种基于飞行时间传感器的快照差分成像方法的ToF像素操作图示。图中的光源场景中反射出来并经过短暂的调制后就被解调为像素的形式，这里设置两个势阱来收集像素，然后将两个势阱之间的差分电压放大后再进行模数转换，最后作为数字信号读出。
图4是本发明一种基于飞行时间传感器的快照差分成像方法的极性差分成像图示。图中两个相同的光源分别在正相位与反相位两种情况下进行调制后成为传感器像素，其中光源的极化方向是相互垂直的，这里一部分光在传感器前与分析滤波器平行，直接从场景表面反射的光则会保持其极性，而在场景中多次散射的光则会失去极性。
图5是本发明一种基于飞行时间传感器的快照差分成像方法的在使用双折射晶体情况下的差分成像图示。图中的场景使用被极化为两束相互垂直的光先进行照射，其中一束光会变为正相位而另一束光则会变为反相位，这里直接从场景表面反射的光会保持其极性，而在场景表面另一束以不同角度折射的光线则会在经过双折射晶体时产生一个相对位移。
图6是本发明一种基于飞行时间传感器的快照差分成像方法的时空梯度成像示例图。图中左边为ToF摄像机系统所得的时空梯度成像结果，而右图则为原始RGB图像。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
Claims (10)
1.一种基于飞行时间传感器的快照差分成像方法，其特征在于，主要包括差分成像规则(一)；差分成像仪原型设计(二)；基于极性的全局分割(三)；基于单幅差分图像恢复两幅图像的方法(四)。
2.基于权利要求书1所述的差分成像规则(一)，其特征在于，在飞行时间(ToF)传感器中的像素用于测量时变光子通量gi(t)以及时变传感器调制信号f(t)∈[0,1]，与在一个势阱中收集光电二极管所产生电荷的CCD或CMOS传感器不同，ToF传感器的每个像素具有两个这样的势阱，其中传感器调制信号f(t)决定了在时间t产生的电荷在哪一个势阱中终止，而在积分阶段结束时两势阱间的差值被读出并进行数字化，如等式(1)所示：
<mrow>
<msup>
<mover>
<mi>I</mi>
<mo>^</mo>
</mover>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>f</mi>
<mi>f</mi>
</mrow>
</msup>
<mo>=</mo>
<mi>&rho;</mi>
<mo>&CenterDot;</mo>
<mi>&eta;</mi>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msup>
<mover>
<mi>I</mi>
<mo>^</mo>
</mover>
<mo>+</mo>
</msup>
<mo>-</mo>
<msup>
<mover>
<mi>I</mi>
<mo>^</mo>
</mover>
<mo>-</mo>
</msup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中ρ是从电子计数到数字单位的转换因子，而η代表解调对比度，而和是在积分阶段[0,T]内两个势阱分别收集的光电子，如等式(2)所示：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msup>
<mover>
<mi>I</mi>
<mo>^</mo>
</mover>
<mo>+</mo>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mover>
<mi>I</mi>
<mo>^</mo>
</mover>
<mo>-</mo>
</msup>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<msubsup>
<mo>&Integral;</mo>
<mn>0</mn>
<mi>T</mi>
</msubsup>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>-</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<msub>
<mi>g</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mi>d</mi>
<mi>t</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
这里入射光子率gi(t)是一个描述光源发光这个场景的时变强度g(t)的函数，而在ToF成像过程中，f(t)和g(t)是相同高频(通常为20-100MHz)的周期函数，且从光源到传感器的光传播延时导致了相对相移，这里通过测量相移可以恢复图像深度，且需要将调制频率降低到1-5MHz，其中近距离场景下的光传播可以被认为是瞬时发生的，f(t)由数字电路产生，其值仅被假设为0和1，这里使用两个光源，其中光源1(LS1)使用相同的函数f(t)来驱动，而光源2(LS2)则使用f(t)的逻辑非来驱动，根据等式(2)，在势阱中收集的电荷将会记录LS1发光所显示的场景图像，而这里则对应LS2，因此像素可以在不同的发光情况下测量两幅图像的差别；此外还需要对ToF成像仪建立合适的噪声模型来降低噪声所导致的系统误差。
3.基于权利要求书2所述的噪声模型，其特征在于，ToF成像仪作为一种复杂的光学器件容易接收不同来源的噪声影响，而对于差分测量方案来说，尤其是正在经常在ToF操作中使用的多抽头测量方案，可以很好的抵消大部分硬件所导致的系统误差，但这些措施也不能消除散射噪声，这是在光电子计数过程中所发生的不确定性；如果是两个势阱的预期电子数，则实际在任何一副图像中所记录的电子数I±应该是一个泊松分布随机变量，其平均值μ±以及方差(σ±)2都应与相应的预期值相同，如等式(3)所示：
<mrow>
<msup>
<mi>&mu;</mi>
<mo>&PlusMinus;</mo>
</msup>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msup>
<mi>&sigma;</mi>
<mo>&PlusMinus;</mo>
</msup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>=</mo>
<msup>
<mover>
<mi>I</mi>
<mo>^</mo>
</mover>
<mo>&PlusMinus;</mo>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
最终像素值作为两个独立随机变量的差值也是一个随机变量，且这个值遵循Skellam分布，这里平均值μdiff和方差与I±的平均值μ±和方差的相互关系如等式(4)和(5)所示：
<mrow>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>f</mi>
<mi>f</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>&eta;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mo>+</mo>
</msub>
<mo>-</mo>
<msub>
<mi>I</mi>
<mo>-</mo>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>&eta;</mi>
<mrow>
<mo>(</mo>
<msub>
<mover>
<mi>I</mi>
<mo>^</mo>
</mover>
<mo>+</mo>
</msub>
<mo>-</mo>
<msub>
<mover>
<mi>I</mi>
<mo>^</mo>
</mover>
<mo>-</mo>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>&sigma;</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>f</mi>
<mi>f</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mo>=</mo>
<msup>
<mi>&eta;</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&sigma;</mi>
<mo>+</mo>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>&sigma;</mi>
<mo>-</mo>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msubsup>
<mi>&sigma;</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>a</mi>
<mi>d</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mo>=</mo>
<msup>
<mi>&eta;</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mover>
<mi>I</mi>
<mo>^</mo>
</mover>
<mo>+</mo>
</msub>
<mo>-</mo>
<msub>
<mover>
<mi>I</mi>
<mo>^</mo>
</mover>
<mo>-</mo>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msubsup>
<mi>&sigma;</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>a</mi>
<mi>d</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中为所读取的模型附加噪声源的值，而器件常数η∈[0,1]则是成像器的对比度，这里用矩阵向量乘积来表示如等式(6)所示：
这里注意测量值Idiff的不确定性并不主要取决于净差值，而更多的由隐形分量来决定，故即使是在出现零信号也就是的时候，实际观测值Idiff也可能会受到明显的噪声影响，这就是差分成像的主要特征，其适用于各种机构并能应用到后捕获差分技术中去，这里将系统特征矩阵H称为Skellam混合矩阵。
4.基于权利要求书1所述的差分成像仪原型设计(二)，其特征在于，构建了基于两个不同的飞行时间传感平台的快照差分成像仪，这里将光学评估模块与外部调制器和光源结合，其中将成像器的过红外滤波器移除以便它们能感知可见光，为了能够进行差分成像，外部光源分别被配置在相位的里面和外面，而系统则配置每秒刷新60帧，其中每帧的曝光时间为2000μs，图像也在曝光时间内捕获，而为了实现不同的成像模式，需要将光源与不同颜色的LED配合使用放置在不同的位置，并按照特定的目的来安装LED和带有偏振滤光片的相机，此处为了减少固定模式噪声，需要在进行数据采集之前记录一个黑色帧并从每个测量帧中减去，因此差分图像像素的值取决于两势阱之间的电荷平衡。
5.基于权利要求书1所述的基于极性的全局分割(三)，其特征在于，这里设计的机构以单点偏振差分成像仪的形式来展示其隔离直接反射光的能力，并在使用交叉线偏振光的两个光源和相机上的分析滤光片照明场景时可以考虑图像的四个不同部分：(1)最初通过偏振滤光器的直射光平行于分析仪，并直接反射到场景中从而保持极化的方向；(2)最初通过偏振滤光器平行于分析仪并在场景中多次散射，因此不能保持极化的方向；(3)最初通过偏振滤光片垂直于分析仪，并直接反映在场景中；(4)最初通过偏振滤光片垂直于分析仪，并在场景中多次散射；这里假设场景中的多次散射完全消除了两个初始极化方向的光线，则在与分析仪平行偏振的光照射后到达相机的光线照射量是与f(t)同相的分量，如等式(7)所示：
<mrow>
<msup>
<mi>I</mi>
<mo>+</mo>
</msup>
<mo>=</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mo>|</mo>
<mo>|</mo>
</mrow>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>r</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
</mrow>
</msubsup>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msubsup>
<mi>I</mi>
<mrow>
<mo>|</mo>
<mo>|</mo>
</mrow>
<mrow>
<mi>r</mi>
<mi>o</mi>
<mi>t</mi>
</mrow>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
而在与分析仪垂直偏振的光照射后到达传感器的光线则是通过分析滤光片的光线，如等式(8)所示：
<mrow>
<msup>
<mi>I</mi>
<mo>-</mo>
</msup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msubsup>
<mi>I</mi>
<mo>&perp;</mo>
<mrow>
<mi>r</mi>
<mi>o</mi>
<mi>t</mi>
</mrow>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
在光源相同的情况下假设直接和间接散射光之间的比例对于初始极化方向是相同的，此时满足因此光子混合设备(PMD)传感器在与光源的锁定操作中获取的差分图像可以用等式(9)表示：
<mrow>
<msup>
<mi>I</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>f</mi>
<mi>f</mi>
</mrow>
</msup>
<mo>=</mo>
<msup>
<mi>I</mi>
<mo>+</mo>
</msup>
<mo>+</mo>
<msup>
<mi>I</mi>
<mo>-</mo>
</msup>
<mo>=</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mo>|</mo>
<mo>|</mo>
</mrow>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>r</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
</mrow>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
最后留下仅包含直接反射光的图像，这种基于极性的全局分割方法在深度边缘与方向性梯度成像、时间梯度成像、空间梯度成像等成像方法中都得到了应用，且为了能在许多应用场合中对材料进行表征与分类，需要使用到双极性色彩匹配功能。
6.基于权利要求书5所述的双极性色彩匹配功能，其特征在于，使用表示特征的照明或优化过的光谱照明模式来基于每个像素对材料进行分类，这里采用这项工作的光谱面并使用PMD机构来构建一个有源照相机从而在单次拍摄中区分出拍摄对象红色和蓝色的反射率，通过分别在L1和L2上配置红色以及蓝色LED，可以获得一个既可以测量对象颜色主要为红色的正响应又可以测量对象颜色主要为蓝色的负响应的双极性彩色摄像头，故在实际测量中可以清楚地看到彩色贴片中的正或负反应，其中像灰度值这样可以将红色与绿色映射到等效部分的补丁会导致响应值接近零，这也证明了快照差分成像对辨别彩色成像的适用性，因此可以使用这种方法来促进图像分割与分类的新方法的形成或者使用双极性匹配功能来直接感知对象的主要颜色。
7.基于权利要求书5所述的深度边缘与方向性梯度成像，其特征在于，由于常规照片中物体的不同空间特征之间显示出较低的对比度，故难以从照片中推导出三维物体的结构和形状，而从两个不同的角度照亮对象可以揭示整个场景的深度结构，就方便进行图像分割等操作，所设计的机构可用于生成场景的方向梯度图像，且在这种操作模式下需要将相反极性的两个相同的光源放置在传感器的相对两侧，这里每当深度不连续性影响其中一个光源时，所产生的图像会显示正值或负值，而其他像素则会获得接近零的值；通过改变光源之间的距离可以获得不同的边缘宽度，而随着光源分离的程度接近场景和摄像机之间的距离，此时记录阴影图像可以用于估计物体的表面取向，快照差分成像的一个主要优点是它不受场景运动的影响，而多重拍摄技术通常会在物体快速移动时遇到校准问题，这里以相同的每秒60帧的帧速记录了移动场景的两个图像序列，对于序列1使用两个光源的快照差分成像；而对于序列2则在LS1和LS2之间交替在连续帧之间对差分图像进行数字计算，结果显示单次拍摄的差分图像比双次拍摄的更明显，且几乎没有重影伪像，此外单次拍摄图像所显示的固定模式噪声略有增加。
8.基于权利要求书5所述的时间梯度成像，其特征在于，设计了一种新的光学机构结合快照差分成像仪在模拟硬件中执行边缘检测，此处的关键是在I+和I-这两幅图像之间引入一个小的空间位移，这样净图像就可以成为场景的两个移位副本之间的差异值，且这里仅需要将光学无源器件添加到我们的机构中去，也就是将双折射晶体放置在传感器的顶部来代替镜头上的分析滤镜；而对于偏振保留场景，该机构会在传感器区域上产生两个相同的图像，并在相反的级性上位移一个像素，然后图像中的均匀区域在该差分图像中抵消，而边缘则被检测为非零响应(根据方向来判断正负)。
9.基于权利要求书5所述的空间梯度成像，其特征在于，这里设计的差分成像法可以在没有主动照明的情况下使用，这里使用50％占空比的高频方波调制传感器，这样可以降低传感器对环境光的敏感度，然后通过选择一个不对称调制模式来引入偏差；在曝光开始阶段到达的光线有利于I-的形成，而在曝光结束阶段到达的光则有利于I+的形成，在这样做时会使照相机感受到光强基于时间的变化，这里在曝光阶段的后半部分比上半部分接收更多光的像素显示为正像素，反之亦然，且从时间梯度图像中可以通过图像中实物的黑色和白色边缘来识别实物运动方向。
10.基于权利要求书1所述的基于单幅差分图像恢复两幅图像的方法(四)，其特征在于，利用两个光子限制信号的噪声特性从单个差分图像中恢复出两个原始图像，这里根据等式(6)可以知道差分图像中每个像素的噪声并不取决于得到的差值，而是存储在各个独立势阱中的电荷量，因此可以通过差分图像的噪声统计结果(每个像素的平均值和方差)来计算出I+和I-的值，如等式(10)所示：
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msup>
<mi>I</mi>
<mo>+</mo>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mi>I</mi>
<mo>-</mo>
</msup>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<msup>
<mi>H</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mi>&mu;</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
这里提出三种方法来估算这些数量：一是在等同条件下对一系列输入图像帧进行分析，这里且其中在第i帧中位置为处的像素值；二是对单个预分割图像做基于块的分析，这里且 其中代表了时属于同一个图像块的像素集，这种方法在平坦均匀的图像区域下可以产生关于颜色质量方面的最佳图像重建；三是使用双边滤波器来分析单个图像，这里且其中双边权重为这种方法在计算平均值与方差时使用双边滤波器来降低不同像素的权重；这里的后两种方法通过牺牲图像质量来将源与单个差分图像分离，这使得它们适用于目标快速移动的场景，且这种算法针对实时性应用将会非常简单。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710685535.0A CN107295236A (zh) | 2017-08-11 | 2017-08-11 | 一种基于飞行时间传感器的快照差分成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710685535.0A CN107295236A (zh) | 2017-08-11 | 2017-08-11 | 一种基于飞行时间传感器的快照差分成像方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107295236A true CN107295236A (zh) | 2017-10-24 |
Family
ID=60104984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710685535.0A Withdrawn CN107295236A (zh) | 2017-08-11 | 2017-08-11 | 一种基于飞行时间传感器的快照差分成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107295236A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108279421A (zh) * | 2018-01-28 | 2018-07-13 | 深圳新亮智能技术有限公司 | 带有高分辨率彩色图像的飞行时间相机 |
| CN108282623A (zh) * | 2018-01-26 | 2018-07-13 | 北京灵汐科技有限公司 | 成像元件、成像设备和图像信息处理方法 |
| CN110475063A (zh) * | 2019-08-01 | 2019-11-19 | Oppo广东移动通信有限公司 | 图像采集方法和装置、及存储介质 |
| CN111352120A (zh) * | 2020-03-25 | 2020-06-30 | 炬佑智能科技(苏州)有限公司 | 飞行时间测距系统及其测距方法 |
| CN112505722A (zh) * | 2019-08-26 | 2021-03-16 | 天津大学青岛海洋技术研究院 | 一种同时捕获深度及灰度信息的ToF像素结构 |
| CN112771612A (zh) * | 2019-09-06 | 2021-05-07 | 华为技术有限公司 | 拍摄图像的方法和装置 |
| CN113038028A (zh) * | 2021-03-24 | 2021-06-25 | 浙江光珀智能科技有限公司 | 一种图像生成方法及系统 |
| CN115428431A (zh) * | 2020-04-02 | 2022-12-02 | 株式会社小糸制作所 | 门控照相机、车辆用感测系统、车辆用灯具 |
| TWI787581B (zh) * | 2019-02-12 | 2022-12-21 | 美商菲爾薇解析公司 | 感測器裝置和使用方法 |
| US11922606B2 (en) | 2021-10-04 | 2024-03-05 | Samsung Electronics Co., Ltd. | Multipass interference correction and material recognition based on patterned illumination without frame rate loss |
-
2017
- 2017-08-11 CN CN201710685535.0A patent/CN107295236A/zh not_active Withdrawn
Non-Patent Citations (1)
| Title |
|---|
| CLARA CALLENBERG 等: ""Snapshot Difference Imaging using Time-of-Flight Sensors"", 《网页在线公开:HTTPS://ARXIV.ORG/ABS/1705.07108》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108282623A (zh) * | 2018-01-26 | 2018-07-13 | 北京灵汐科技有限公司 | 成像元件、成像设备和图像信息处理方法 |
| WO2019144678A1 (zh) * | 2018-01-26 | 2019-08-01 | 北京灵汐科技有限公司 | 成像元件、成像设备和图像信息处理方法 |
| CN108279421B (zh) * | 2018-01-28 | 2021-09-28 | 深圳新亮智能技术有限公司 | 带有高分辨率彩色图像的飞行时间相机 |
| CN108279421A (zh) * | 2018-01-28 | 2018-07-13 | 深圳新亮智能技术有限公司 | 带有高分辨率彩色图像的飞行时间相机 |
| US11852531B2 (en) | 2019-02-12 | 2023-12-26 | Viavi Solutions Inc. | Sensor device and method of use |
| TWI787581B (zh) * | 2019-02-12 | 2022-12-21 | 美商菲爾薇解析公司 | 感測器裝置和使用方法 |
| CN110475063A (zh) * | 2019-08-01 | 2019-11-19 | Oppo广东移动通信有限公司 | 图像采集方法和装置、及存储介质 |
| CN110475063B (zh) * | 2019-08-01 | 2021-03-16 | Oppo广东移动通信有限公司 | 图像采集方法和装置、及存储介质 |
| CN112505722A (zh) * | 2019-08-26 | 2021-03-16 | 天津大学青岛海洋技术研究院 | 一种同时捕获深度及灰度信息的ToF像素结构 |
| CN112771612A (zh) * | 2019-09-06 | 2021-05-07 | 华为技术有限公司 | 拍摄图像的方法和装置 |
| CN111352120A (zh) * | 2020-03-25 | 2020-06-30 | 炬佑智能科技(苏州)有限公司 | 飞行时间测距系统及其测距方法 |
| CN115428431A (zh) * | 2020-04-02 | 2022-12-02 | 株式会社小糸制作所 | 门控照相机、车辆用感测系统、车辆用灯具 |
| CN113038028A (zh) * | 2021-03-24 | 2021-06-25 | 浙江光珀智能科技有限公司 | 一种图像生成方法及系统 |
| CN113038028B (zh) * | 2021-03-24 | 2022-09-23 | 浙江光珀智能科技有限公司 | 一种图像生成方法及系统 |
| US11922606B2 (en) | 2021-10-04 | 2024-03-05 | Samsung Electronics Co., Ltd. | Multipass interference correction and material recognition based on patterned illumination without frame rate loss |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107295236A (zh) | 一种基于飞行时间传感器的快照差分成像方法 | |
| Ancuti et al. | O-haze: a dehazing benchmark with real hazy and haze-free outdoor images | |
| US10387741B2 (en) | Digital neuromorphic (NM) sensor array, detector, engine and methodologies | |
| Rasmussen | Combining laser range, color, and texture cues for autonomous road following | |
| Bronte et al. | Fog detection system based on computer vision techniques | |
| CN102314600B (zh) | 用于畅通路径检测的去除由基于车辆的相机捕获的图像中的阴影 | |
| CN101527046B (zh) | 一种运动检测方法、装置和系统 | |
| CN102314602B (zh) | 使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影 | |
| CN112800860B (zh) | 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统 | |
| CN102903098A (zh) | 一种基于图像清晰度差异的深度估计方法 | |
| CN103400150B (zh) | 一种基于移动平台进行道路边缘识别的方法及装置 | |
| CN102314601B (zh) | 使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影 | |
| CN103473554B (zh) | 人流统计系统及方法 | |
| Mohd Ali et al. | Performance comparison between RGB and HSV color segmentations for road signs detection | |
| CN102982334B (zh) | 基于目标边缘特征与灰度相似性的稀疏视差获取方法 | |
| KR101285106B1 (ko) | 영상 데이터 융합 기반의 장애물체 검출 방법 및 장치 | |
| Seets et al. | Motion adaptive deblurring with single-photon cameras | |
| CN101860664A (zh) | 一种对光照变化鲁棒的运动目标检测方法 | |
| CN103186905A (zh) | 车用颜色检测器 | |
| CN112613568B (zh) | 基于可见光及红外多光谱图像序列的目标识别方法和装置 | |
| WO2023019793A1 (zh) | 一种确定方法、清洁机器人和计算机存储介质 | |
| JP4936045B2 (ja) | 車体色判別装置、方法及びプログラム | |
| CN103065310B (zh) | 基于三维光谱角统计的高光谱图像边缘信息提取方法 | |
| CN109711352A (zh) | 基于几何卷积神经网络的车辆前方道路环境透视感知方法 | |
| CN115294486A (zh) | 一种基于无人机和人工智能的违章建筑数据识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20171024 |