CN103268606A - 一种运动模糊图像的深度信息补偿方法和装置 - Google Patents
一种运动模糊图像的深度信息补偿方法和装置 Download PDFInfo
- Publication number
- CN103268606A CN103268606A CN2013101796555A CN201310179655A CN103268606A CN 103268606 A CN103268606 A CN 103268606A CN 2013101796555 A CN2013101796555 A CN 2013101796555A CN 201310179655 A CN201310179655 A CN 201310179655A CN 103268606 A CN103268606 A CN 103268606A
- Authority
- CN
- China
- Prior art keywords
- depth
- image
- moving target
- present frame
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 194
- 238000000034 method Methods 0.000 title claims abstract description 72
- 239000000284 extract Substances 0.000 claims description 58
- 238000001914 filtration Methods 0.000 claims description 32
- 230000008878 coupling Effects 0.000 claims description 26
- 238000010168 coupling process Methods 0.000 claims description 26
- 238000005859 coupling reaction Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 15
- 238000012217 deletion Methods 0.000 claims description 8
- 230000037430 deletion Effects 0.000 claims description 8
- 230000009017 pursuit movement Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 abstract description 2
- 230000002349 favourable effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 20
- 239000004744 fabric Substances 0.000 description 19
- 230000008569 process Effects 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 239000007787 solid Substances 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 238000002360 preparation method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种运动模糊图像的深度信息补偿方法和装置。从当前帧的原始深度图像中提取出包含运动目标深度信息的运动目标深度图像；逐行扫描当前帧的运动目标深度图像，获得扫描行；如果当前帧的运动目标深度图像在扫描行中包含运动目标的深度信息，或者，如果当前帧的运动目标深度图像在扫描行中不包含运动目标的深度信息，但与当前帧的运动目标深度图像相邻且连续的几帧运动目标深度图像在对应行中包含运动目标的深度信息，从当前帧的前景深度丢失图像的对应行中提取出前景的深度丢失信息，以构成当前帧的运动补偿图像；补偿当前帧的运动补偿图像中丢失的深度信息。根据本发明实施例，可以减少计算量，利于运动目标跟踪的实时性要求。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种运动模糊图像的深度信息补偿方法和装置。
背景技术
视频目标跟踪技术是计算机视觉研究领域的核心技术，由于其在现实生活中的诸多领域都有应用，例如，视频监控、智能导航、医学诊断、增强现实以及人机交互等，因此，视频目标跟踪技术一直得到广泛的关注。随着信息技术的快速发展，包括视频图像处理、计算机视觉、机器学习、人工智能以及模式识别等在内的诸多学科领域交叉渗透，视频目标跟踪的新技术层出不穷，跟踪性能也不断提升。
然而，尽管人们已经提出了很多有效的视频目标跟踪算法，但在实际应用中仍然面临很多困难，如，环境中的光照变化、目标外观的改变、非线性形变、摄像机的抖动、实时性要求以及背景中的噪声干扰等。特别的，对于视频目标中的运动目标而言，当其运动速度过快时，运动速度会与图像采集设备的图像采集速率不匹配，并将导致运动目标在视频图像中出现模糊问题，从而无法实现对运动目标进行跟踪。例如，在基于立体视觉的视频目标跟踪中，图像的深度信息是进行目标跟踪的重要线索，而由于快速运动产生的运动模糊会导致视频运动目标在图像中的深度信息无法计算，从而无法实现对运动目标进行跟踪。
如图1所示，第一行左图为双目摄像机采集的右图像，第一行右图为双目摄像机采集的左图像，第二行左图为根据双目摄像机采集的右图像和左图像计算得到的深度图像，第二行右图为利用深度图像中的深度信息获得的视频运动目标(图中圆圈所表示的人手部分)的跟踪结果。可见，在视频运动目标没有产生运动模糊的情况下，可以计算出视频运动目标的深度信息，并进一步可以根据深度信息直接对视频运动目标进行跟踪。但是，视频运动目标产生运动模糊，则无法计算出视频目标的深度信息，继而无法对视频运动目标进行跟踪。如图2所示，第一行左图为双目摄像机采集的视频运动目标的模糊图像，第一行右图为利用双目摄像机采集的模糊图像计算得到的深度图像(深度图像中已丢失了人手部分的深度信息)，第二行的图为利用深度图像中的深度信息获得人手部分的跟踪结果。由此可见，在视频运动目标产生运动模糊的情况下，由于无法计算出视频运动目标的深度信息，因此，也就无法根据深度信息对视频运动目标进行跟踪。所以，如何实现对视频运动目标进行跟踪是一项重要的工作。
申请号为200810240782.0的中国专利公开了一种用于运动模糊和光照变化图像的立体匹配方法，可以对运动模糊图像进行立体匹配，获得运动模糊图像的深度信息。但是，这种算法需要由用户交互式地在运动模糊图像中指出模糊区域的位置，而不能实现自动化地处理，工作效率较低。现有技术中还存在一种对运动模糊图像中丢失的深度信息进行补偿的方法，在该补偿方案中，是对整个图像丢失的所有深度信息进行补偿，其中既包括了整个图像中的运动目标因运动而丢失的深度信息，也包括整个图像中的其它非运动目标丢失的深度信息。
这种深度信息补偿方法虽然可以实现自动化地获得运动模糊图像的深度信息，但是，本发明的发明人发现现有技术方案至少存在如下问题：对整个图像丢失的深度信息进行补偿(这里包括了运动目标丢失的部分以及非运动目标丢失的部分)，增加了计算量，不利于运动目标跟踪的实时性要求。
发明内容
为了解决上述技术问题，本发明实施例提供了一种运动模糊图像的深度信息补偿方法和装置，以减少了计算量，利于运动目标跟踪的实时性要求。
根据本发明实施例的第一方面，公开了一种运动模糊图像的深度信息补偿方法，包括：
从当前帧的原始深度图像中提取出包含运动目标深度信息的运动目标深度图像；
逐行扫描当前帧的运动目标深度图像，获得所述当前帧的运动目标深度图像的扫描行；
当所述当前帧的运动目标深度图像在所述扫描行中包含运动目标的深度信息时，或者，当所述当前帧的运动目标深度图像在所述扫描行中不包含运动目标的深度信息，但与所述当前帧的运动目标深度图像相邻且连续的几帧运动目标深度图像在与所述扫描行处于相同位置的对应行中包含运动目标的深度信息时，从当前帧的前景深度丢失图像中查找与所述扫描行处于相同位置的对应行，并从查找到的对应行中提取出前景的深度丢失信息，其中，所述前景的深度丢失信息构成当前帧的运动补偿图像；
补偿所述当前帧的运动补偿图像中丢失的深度信息；
其中，所述前景深度丢失图像为基于运动的前景图像和原始深度丢失图像进行与运算的结果。
结合本发明的第一方面，本发明还具有第一种可能，即在从当前帧的前景深度丢失图像中查找与所述扫描行处于相同位置的对应行，并从查找到的对应行中提取出前景的深度丢失信息之前，所述方法还包括：
从前景深度丢失图像中过滤掉因纹理信息丢失而造成深度信息丢失的区域，得到过滤后前景深度丢失图像；
则所述从当前帧的前景深度丢失图像中查找与所述扫描行处于相同位置的对应行并从查找到的对应行中提取出前景的深度丢失信息具体为：
从过滤后的当前帧的前景深度丢失图像中查找与所述扫描行处于相同位置的对应行，并从查找到的对应行中提取深度丢失信息。
结合本发明的第一方面，以及本发明第一方面的第一种可能，本发明还具有第二种可能，即所述从前景深度丢失图像中过滤掉因纹理信息丢失而造成深度信息丢失的区域，得到过滤后前景深度丢失图像，包括：
判断每相邻两个前景深度丢失图像帧的同一位置处是否都出现深度信息丢失；
如果是，在后一个前景深度丢失图像帧中删除所述同一位置处的深度丢失信息；
否则，在后一个前景深度丢失图像帧中保留所述同一位置处的深度丢失信息。
结合本发明的第一方面，或结合本发明第一方面的第一种可能，或结合本发明第一方面的第二种可能，本发明还具有第三种可能，即所述补偿当前帧的运动补偿图像中丢失的深度信息，包括：
从当前帧的运动补偿图像中提取出与前一帧的运动目标深度丢失补偿图像最相似的区域；
利用提取出的最相似的区域的深度信息对所述当前帧的运动目标深度图像中丢失的深度信息进行补偿，得到当前帧的运动目标深度丢失补偿图像。
结合本发明的第一方面，或结合本发明第一方面的第一种可能，或结合本发明第一方面的第二种可能，本发明还具有第四种可能，即所述从当前帧的原始深度图像中提取出包含运动目标深度信息的运动目标深度图像，包括：
计算运动目标的参照物的深度信息值；
遍历当前帧的原始深度图像，查找深度信息值小于参照物的深度信息值的区域，查找到的区域构成所述运动目标深度图像。
结合本发明第一方面的第三种可能，本发明还具有第五种可能，即所述从当前帧的运动补偿图像中提取出与前一帧的运动目标深度丢失补偿图像最相似的区域，包括：
将所述前一帧的深度丢失补偿图像与所述当前帧的运动补偿图像进行最小距离匹配，得到匹配区域；
或者，
将所述前一帧的深度丢失补偿图像与所述当前帧的运动补偿图像进行最大字串匹配，得到匹配区域。
或者，
将所述前一帧的深度丢失补偿图像对应原始图像位置的像素点串与所述当前帧的运动补偿图像对应原始图像位置的像素点串进行最相似匹配，得到匹配区域。
结合本发明的第一方面，或结合本发明第一方面的第一种可能，或结合本发明第一方面的第二种可能，本发明还具有第六种可能，即所述方法还包括：
从所述当前帧的深度丢失补偿图像中分割出运动目标区域；
根据分割出的运动目标区域，跟踪运动目标的运动轨迹。
根据本发明实施例的第二方面，公开了一种运动模糊图像的深度信息补偿装置，包括：
图像提取单元，用于从当前帧的原始深度图像中提取出包含运动目标深度信息的运动目标深度图像；
扫描单元，用于逐行扫描当前帧的运动目标深度图像，获得所述当前帧的运动目标深度图像的扫描行；
补偿信息提取单元，用于当所述当前帧的运动目标深度图像在所述扫描行中包含运动目标的深度信息时，或者，当所述当前帧的运动目标深度图像在所述扫描行中不包含运动目标的深度信息，但与所述当前帧的运动目标深度图像相邻且连续的几帧运动目标深度图像在与所述扫描行处于相同位置的对应行中包含运动目标的深度信息时，从当前帧的前景深度丢失图像中查找与所述扫描行处于相同该位置的对应行，并从查找到的对应行中提取出前景的深度丢失信息，其中，所述前景的深度丢失信息构成当前帧的运动补偿图像，所述前景深度丢失图像为基于运动的前景图像和原始深度丢失图像进行与运算的结果；
补偿单元，用于补偿所述当前帧的运动补偿图像中丢失的深度信息。
结合本发明第二方面，本发明还具有第一种可能，即所述装置还包括：
过滤单元，用于从前景深度丢失图像中过滤掉因纹理信息丢失而造成深度信息丢失的区域，得到过滤后的前景深度丢失图像；
则所述补偿信息提取单元，具体用于从过滤后的当前帧的前景深度丢失图像中查找与所述扫描行处于相同位置的对应行，并从查找到的对应行中提取深度丢失信息。
结合本发明的第二方面，以及第二方面的第一种可能，本发明还具有第二种可能，即所述过滤单元包括：
判断子单元，用于判断每相邻两个前景深度丢失图像帧的同一位置是否都出现深度信息丢失；
删除子单元，用于在后一个前景深度丢失图像帧中删除所述同一位置处的深度丢失信息；
保留子单元，用于在后一个前景深度丢失图像帧中保留所述同一位置处的深度丢失信息。
结合本发明的第二方面，或结合本发明的第二方面的第一种可能，或结合本发明的第二方面的第二种可能，本发明还具有第三种可能，即所述补偿单元包括：
区域提取子单元，用于从所述当前帧的运动补偿图像中提取出与前一帧的运动目标深度丢失补偿图像最相似的区域；
深度信息补偿子单元，用于利用提取出的最相似的区域的深度信息对所述当前帧的运动目标深度图像中丢失的深度信息进行补偿，得到当前帧的运动目标深度丢失补偿图像。
结合本发明的第二方面，或结合本发明的第二方面的第一种可能，或结合本发明的第二方面的第二种可能，本发明还有第四种可能，即所述图像提取单元包括：
计算子单元，用于计算运动目标的参照物的深度信息值；
查找子单元，用于遍历当前帧的原始深度图像，查找深度信息值小于参照物的深度信息值的区域，查找到的区域构成所述运动目标深度图像。
结合本发明的第二方面的第三种可能，本发明还具有第五种可能，即所述区域提取子单元包括：
第一匹配子单元，用于将所述前一帧的深度丢失补偿图像与所述当前帧的运动补偿图像进行最小距离匹配，得到匹配区域；
或者，
第二匹配子单元，用于将所述前一帧的深度丢失补偿图像与所述当前帧的运动补偿图像进行最大字串匹配，得到匹配区域。
或者，
第三匹配子单元，用于将所述前一帧的深度丢失补偿图像对应原始图像位置的像素点串与所述当前帧的运动补偿图像对应原始图像位置的像素点串进行最相似匹配，得到匹配区域。
结合本发明的第二方面，或结合本发明的第二方面的第一种可能，或结合本发明的第二方面的第二种可能，本发明还具有第六种可能，即所述装置还包括：
分割单元，用于从所述当前帧的深度丢失补偿图像中分割出运动目标区域；
跟踪单元，用于根据从分割单元中分割出的运动目标区域，跟踪运动目标的运动轨迹。
由上述实施例可以看出，在本方案中，先找到因运动目标产生的运动模糊而丢失的深度信息，仅对该部分丢失的深度信息进行补偿，而不是对整个图像丢失的深度信息进行补偿，明显地减少了计算量，有利于运动目标跟踪的实时性要求。
另外，在本方案中，特别采用一种迭代补偿方法，这种迭代补偿方式本身就用前一帧的运动目标深度丢失补偿图像来获取补偿部分，进而利用这个补偿部分对当前帧的运动补偿图像中需要被补偿的部分进行补偿。而前一帧的运动目标深度丢失补偿图像即使是在运动目标快速运动的情况下也是可以得到的。因此，可以避免因运动过快而无法获得补偿部分的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术在没有发生运动模糊时的深度信息采集示意图；
图2为现有技术在发生运动模糊时的深度信息采集示意图；
图3为本发明一种运动模糊图像的深度信息补偿方法的一个实施例的流程图；
图4为本发明中四帧双幅的双目视觉图像示意图；
图5为本发明中四帧原始深度图像示意图；
图6为本发明中四帧运动目标深度图像示意图；
图7为本发明中四帧基于运动的前景图像示意图；
图8为本发明中四帧深度丢失图像示意图；
图9为本发明中四帧前景深度丢失图像示意图；
图10为本发明一种运动模糊图像的深度信息补偿方法的另一个实施例的流程图；
图11为本发明中四帧过滤后前景深度丢失图像示意图；
图12为本发明中四帧运动补偿图像的位图示意图；
图13为本发明中四帧运动目标深度丢失补偿图像示意图；
图14为本发明一种运动模糊图像的深度信息补偿方法的另一个实施例的流程图；
图15为本发明一种运动模糊图像的深度信息补偿方法的另一个实施例的流程图；
图16为本发明中四帧动态屏蔽图像示意图；
图17为本发明一种运动模糊图像的深度信息补偿装置的一个实施例结构图；
图18为本发明图像提取单元的一个结构示意图；
图19为本发明补偿单元的一个结构示意图；
图20为本发明一种运动模糊图像的深度信息补偿装置的另一个实施例结构图；
图21为本发明一种运动模糊图像的深度信息补偿装置的另一个实施例结构图。
具体实施方式
本发明实施例提供了一种运动模糊图像的深度信息补偿方法和装置。首先，获得包含有运动目标深度信息的运动目标深度图像，该图像中有些深度信息由于运动模糊是丢失的，本发明方案的目标就是要补偿其中丢失的深度信息，这个图像也相当于图像处理中的源数据。其次，从刚刚得到的运动目标深度图像中找出哪些部分是需要进行补偿的，即，通过以下方式找出需要补充的部分：如果某一行在当前帧中包含运动目标的深度信息，说明该行为运动目标所在地；如果某一行在当前帧不包含运动目标的深度信息，但在距离当前帧最近的连续几个帧内曾经包含运动目标的深度信息，说明该行本身是运动目标所在地，但是，可能由于运动模糊而丢失了深度信息，因此，这种情况是需要补偿的。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例进行详细描述。
实施例一
请参阅图3，其为本发明一种运动模糊图像的深度信息补偿方法的一个实施例的流程图，该方法包括以下步骤：
步骤301：从当前帧的原始深度图像中提取出包含运动目标深度信息的运动目标深度图像；
在本方案中，可以采用现有技术中的任何一种方式获取原始深度图像。例如，如图4所示，利用双目摄像头采集四帧两幅双目视觉图像：IL(k)和IR(k)，然后利用现有的立体匹配方法从IL(k)和IR(k)中计算获得IL(k)的原始深度图像D1(k)，如图5所示，从前两帧的原始深度图像中还包含有运动目标(手)的深度信息，但是，由于运动产生的模糊，在后两帧的原始深度图像中已经不再包含运动目标的深度信息，即，运动目标的深度信息丢失了。按照同样的方法计算IR(k)的原始深度图像。为了方便描述，以下仅以对左侧图像中丢失的深度信息进行补偿为例，说明本方案中的深度信息补偿方法。显然，按照相同的执行方法，便可以对右侧图像中丢失的深度信息进行补偿。
当然，除此之外，还可以采用其它的方式获取原始深度图像，本发明对此并不限定。
在原始深度图像中既包含有运动目标的深度信息，也包含有非运动目标的深度信息，在原始深度图像中，包含有运动目标的深度信息的部分构成了运动目标深度图像。运动目标深度图像中有些深度信息由于运动模糊是丢失的，本方案的目标就是只对运动目标深度图像中所丢失的深度信息进行补偿，也就是只对运动目标所丢失的深度信息进行补偿，运动目标深度图像也相当于补偿的源数据。
优选的，所述从当前帧的原始深度图像中提取出包含运动目标深度信息的运动目标深度图像，包括：计算运动目标的参照物的深度信息值；遍历当前帧的原始深度图像，查找深度信息值小于参照物的深度信息值的区域，查找到的区域为所述运动目标深度图像。以图5中的原始深度图像为例，运动目标为手，可选取人脸为运动目标的参照物，根据原始深度图像中的深度信息计算人脸部分的深度信息值F，遍历原始深度图像，从中查找深度信息值小于F的区域，查找到的这部分区域即为手的深度图像。当然，当运动目标不同时，所选取的参照物也不同。对图5所示的原始深度图像进行上述提取处理后，可得到如图6所示的运动目标深度图像。如图6所示，前三帧中包含有运动目标(手)的深度信息，但是，由于运动模糊的影响，最后一帧中运动目标(手)的深度信息丢失了。
步骤302：逐行扫描当前帧的运动目标深度图像，获得当前帧的运动目标深度图像的扫描行；
步骤303：当所述当前帧的运动目标深度图像在所述扫描行中包含运动目标的深度信息时，或者，当所述当前帧的运动目标深度图像在所述扫描行中不包含运动目标的深度信息，但与所述当前帧的运动目标深度图像相邻且连续的几帧运动目标深度图像在与所述扫描行处于相同位置的对应行中包含运动目标的深度信息时，从当前帧的前景深度丢失图像中查找与所述扫描行处于相同位置的对应并从查找到的对应行中提取出前景的深度丢失信息；
其中，所述前景的深度丢失信息构成当前帧的运动补偿图像，所述前景深度丢失图像为基于运动的前景图像和原始深度丢失图像进行与运算的结果。
在本发明中，上述基于运动的前景图像可以通过背景建模的方式获得。当对图4中的原始深度图像进行背景建模后，如图7所示，可得到基于运动的前景图像。上述原始深度丢失图像的获取方法可以为：利用立体匹配方法从图3所示的IL(k)和IR(k)中计算各像素点的深度值，将无法计算出深度值的像素点标记在原始深度丢失图像中，如图8所示。将图7所示的基于运动的前景图像和图8所示的原始深度丢失图像进行与运算后，得到如图9所示的前景深度丢失图像。
在获得运动目标的深度图像后，需要从中识别出因运动模糊而丢失的深度信息，进而进行补偿。在本方案中，根据运动目标深度图像和前景深度丢失图像找到上述因运动模糊而丢失的深度信息。其中，前景深度丢失图像为基于运动的前景图像和原始深度丢失图像进行与运算的结果，其记载了图像的前景部分所丢失的深度信息，而前景部分又分为运动目标前景和非运动目标前景。
首先，从运动目标深度图像中识别出深度信息丢失的部分，具体为：逐行扫描运动目标深度图像，如果某个扫描行在当前帧的运动目标深度图像中包含运动目标的深度信息，说明该扫描行是运动目标所在地，该扫描行很可能会由于运动模糊而存在运动目标的深度丢失信息；如果该扫描行不包含运动目标的深度信息，但是，在与当前帧相邻且连续几帧运动目标深度图像中，该扫描行中曾经包含运动目标的深度信息，说明该扫描行本身是运动目标所在地，是由于运动模糊而丢失了该行内的运动目标的深度信息，因此，在该扫描行中必然存在运动目标的深度丢失的信息。将上述可能存在和必然存在运动目标深度丢失信息的扫描行记为深度信息丢失行。
其次，针对上述已经确定的所有深度信息丢失行，根据前景深度丢失图像，进一步找到深度信息丢失行中具体丢失哪部分深度信息。具体为：在当前帧的前景深度丢失图像中，找到与深度信息丢失行对应的行，从对应的行中提取深度丢失信息，从而找到深度信息丢失行中具体丢失哪部分深度信息，所有深度信息丢失行中丢失的深度信息构成了运动补偿图像，该运动补偿图像中记载了运动目标因运动模糊而丢失的深度信息，也就说，运动补偿图像记载了所有因运动模糊而应该被补偿的部分。
步骤304：补偿所述当前帧的运动补偿图像中丢失的深度信息。
在本发明中，可以采用现有的任何一种方法对运动补偿图像中丢失的深度信息进行补偿。但是，在现有技术中，通常是利用前一帧深度图像中的深度信息来计算当前帧深度图像中丢失的深度信息，在运动较快的情况下，前一帧深度图像的深度信息是无法获得的，因此，也就无法得到当前帧深度图像中丢失的深度信息。
针对这一问题，在本发明提供了一种优选的实现方式：
从所述当前帧的运动补偿图像中提取出与前一帧的运动目标深度丢失补偿图像最相似的区域；利用提取出的最相似的区域的深度信息对所述当前帧的运动目标深度图像中丢失的深度信息进行补偿，得到当前帧的运动目标深度丢失补偿图像。在上述优选的实现方式中，采用了一种迭代补偿方法，即，利用前一帧的运动目标深度丢失补偿图像对当前帧的运动补偿图像中丢失的深度信息进行补偿，得到当前帧的运动目标深度丢失补偿图像。这种迭代补偿方式本身就用前一帧的运动目标深度丢失补偿图像来获取补偿部分，进而利用这个补偿部分对当前帧的运动补偿图像中需要被补偿的部分进行补偿。而前一帧的运动目标深度丢失补偿图像即使是在运动目标快速运动的情况下也是可以得到的。因此，可以避免因运动过快而无法获得补偿部分的问题。
所谓“最相似的区域”可以是具有最小距离的区域，也可以是具有最大字串的区域，还可以是具有最相似的像素点串的区域。
进一步优选的，上述从所述当前帧的运动补偿图像中提取出与前一帧的运动目标深度丢失补偿图像最相似的区域，包括：将所述前一帧的深度丢失补偿图像与所述当前帧的运动补偿图像进行最小距离匹配，得到匹配区域；或者，将所述前一帧的深度丢失补偿图像与所述当前帧的运动补偿图像进行最大字串匹配，得到匹配区域；再或者，将所述前一帧的深度丢失补偿图像对应原始图像位置的像素点串与所述当前帧的运动补偿图像对应原始图像位置像素点串进行最相似匹配，得到匹配区域。
其中，“最小距离匹配”算法、“最大字串匹配”和“最相似匹配”算法均为现有技术，本发明不再对其具体实现过程进行详细说明。
由上述实施例可以看出，在本方案中，先找到因运动目标产生的运动模糊而丢失的深度信息，仅对该部分丢失的深度信息进行补偿，而不是对整个图像丢失的深度信息进行补偿，明显地减少了计算量，有利于运动目标跟踪的实时性要求。
另外，在本方案中，特别采用一种迭代补偿方法，这种迭代补偿方式本身就用前一帧的运动目标深度丢失补偿图像来获取补偿部分，进而利用这个补偿部分对当前帧的运动补偿图像中需要被补偿的部分进行补偿。而前一帧的运动目标深度丢失补偿图像是一定能够得到，不存在得不到的情况。因此，可以避免因运动过快而无法获得补偿部分的问题。
实施例二
在上述实施例一所实现的方案中，步骤303中的前景深度丢失图像包含两部分丢失的深度信息：一部分为运动目标前景因运动模糊而丢失的深度信息，另一部分为非运动目标前景因纹理信息丢失(前景建模造成纹理信息丢失)而丢失的深度信息。在步骤303中所提取的深度丢失信息除了包括有第一部分的深度丢失信息之外，可能还包括有第二部分的深度丢失信息。因此，此时的深度丢失信息是有杂质的，如果对这样的深度丢失信息进行补偿，会导致补偿结果不准确。
本实施例二与实施例一的区别在于，在从前景深度丢失图像中提取深度丢失信息之前，还包括对前景深度丢失图像进行过滤的处理，过滤掉前景深度丢失图像中因纹理信息丢失造成的深度信息丢失的部分，而仅保留因运动模糊造成的深度信息丢失的部分，以使补偿结果更准确。请参阅图10，其为本发明一种运动模糊图像的深度信息补偿方法的另一个实施例的流程图，该方法包括以下步骤：
步骤1001：从当前帧的原始深度图像中提取出包含运动目标深度信息的运动目标深度图像；
本步骤的具体实现过程可以参见实施例一中的步骤301，由于在实施例一中已经进行了详细地说明，故此处不再赘述。
步骤1002：从前景深度丢失图像中过滤掉因纹理信息丢失造成的深度信息丢失的区域，得到过滤后前景深度丢失图像；
经过分析可知，前景深度丢失图像包含两部分丢失的深度信息：一部分为运动目标前景因运动模糊而丢失的深度信息，另一部分为非运动目标前景因纹理信息丢失而丢失的深度信息。而第一部分的深度丢失信息所在的区域与第二部分的深度丢失信息所在的区域的关键区别点就在于，前者随着运动目标向着同一个方向移动，也是向同一个方向运动的，而后者往往是静止的。因此，如果在相邻的两个前景深度丢失图像帧中的同一个位置出现了深度信息丢失，那么这个位置上的深度丢失信息可以看成是因纹理信息丢失而丢失的深度信息，需要被过滤掉。这种过滤方式可以有效地将第二部分区域的干扰缩小在1-2个图像帧范围内。
基于上述过滤原理，该过滤过程具体包括：
判断每相邻两个前景深度丢失图像帧的同一位置处是否都出现深度信息丢失；如果是，在后一个前景深度丢失图像帧中删除所述同一位置处的深度丢失信息，否则，在后一个前景深度丢失图像帧中保留所述同一位置处的深度丢失信息。
对图9所示的情景深度丢失图像进行过滤后，可得到如图11所示的过滤后前景深度丢失图像。
步骤1003：逐行扫描当前帧的运动目标深度图像，获得所述当前帧的运动目标深度图像的扫描行；
步骤1004：当所述当前帧的运动目标深度图像在所述扫描行中包含运动目标的深度信息时，或者，当所述当前帧的运动目标深度图像在所述扫描行中不包含运动目标的深度信息，但与所述当前帧的运动目标深度图像相邻且连续的几帧运动目标深度图像在与所述扫描行处于相同位置的对应行中包含运动目标的深度信息时，从过滤后的当前帧的前景深度丢失图像中查找与所述扫描行处于相同位置的对应行并从查找到的对应行中提取出前景的深度丢失信息；
其中，前景深度丢失图像为基于运动的前景图像和原始深度丢失图像进行与运算的结果。本步骤与实施例一中的步骤303的区别仅在于，本步骤是从过滤后的前景深度丢失图像的对应行中提取该行内的深度丢失信息，而实施例一中的步骤303是从过滤前的前景深度丢失图像的对应行中提取该行内的深度丢失信息，相关的具体执行过程可以参见实施例一中的步骤303，由于在实施例一中已经进行了详细地描述，故此处不再赘述。
根据图5所示的运动目标深度图像以及图11所示的过滤后前景深度丢失图像进行以上处理后，可得到如图12所示的运动补偿图像。
步骤1005：补偿所述当前帧的运动补偿图像中丢失的深度信息。
本步骤的具体实现过程可以参见实施例一中的步骤304，由于在实施例一中已经进行了详细地说明，故此处不再赘述。
通过上述步骤1004的补偿，可得到如图13所示的运动目标深度丢失补偿图像。
需要说明的是，在本发明的技术方案中，上述步骤1002只要保证在从当前帧的前景深度丢失图像的对应行中提取深度丢失信息之前执行即可。因此，在本实施例中并不限定步骤1002和1003的执行顺序，除了上述执行顺序之外，也可以先执行步骤1003，再执行步骤1002。
由上述实施例可以看出，本发明不仅可以达到实施例一中所述方案的有益效果，而且，在从前景深度丢失图像中提取深度丢失信息之前，还进一步过滤掉前景深度丢失图像中因纹理信息丢失造成的深度信息丢失的部分，而仅保留因运动模糊造成的深度信息丢失的部分，使最终补偿的结果更加准确。
实施例三
本实施例三与实施例二的区别在于，在对运动模糊图像丢失的深度信息进行补偿后，还可以进一步利用补偿后的深度丢失补偿图像进行运动目标跟踪。请参阅图14，其为本发明一种运动模糊图像的深度信息补偿方法的另一个实施例的流程图，该方法包括以下步骤：
步骤1401：从当前帧的原始深度图像中提取出包含运动目标深度信息的运动目标深度图像；
步骤1402：从前景深度丢失图像中过滤掉因纹理信息丢失造成的深度信息丢失的区域，得到过滤后前景深度丢失图像；
步骤1403：逐行扫描当前帧的运动目标深度图像，获得所述当前帧的运动目标深度图像的扫描行；
步骤1404：当所述当前帧的运动目标深度图像在所述扫描行中包含运动目标的深度信息时，或者，当所述当前帧的运动目标深度图像在所述扫描行中不包含运动目标的深度信息，但与所述当前帧的运动目标深度图像相邻且连续的几帧运动目标深度图像在与所述扫描行处于相同位置的对应行中包含运动目标的深度信息时，从过滤后的当前帧的前景深度丢失图像中查找与所述扫描行处于相同位置的对应行并从查找到的对应行中提取出前景的深度丢失信息；
其中，前景深度丢失图像为基于运动的前景图像和原始深度丢失图像进行与运算的结果。
步骤1405：补偿所述当前帧的运动补偿图像中丢失的深度信息；
上述步骤1401-1405的具体执行过程可以参见实施例二中的步骤1001-1005，由于已经在实施例二中进行了详细地说明，故此处不再赘述。
步骤1406：从所述当前帧的深度丢失补偿图像中分割出运动目标区域；
步骤1407：根据分割出的运动目标区域，跟踪运动目标的运动轨迹。
需要说明的是，本发明各个实施例所提供的方案可以广泛应用于非接触式基于立体视觉的体感互动系统中，并能实现很好的用户体验。还可以应用于各种应用场景中，如，广告、游戏、娱乐或展示等的人机交互系统中。将本发明各个实施例所提供的方案运用到人机交互设备后，通过对运动模糊图像进行深度信息补偿，进而可以跟踪运动目标的运动轨迹，通过分析和识别运动轨迹的规律和变化，解析为不同的操作模式，达到互动效果。
由上述实施例可以看出，本发明不仅可以达到实施例二中所述方案的有益效果，而且，在对运动目标的深度丢失信息补偿后，进一步利用补偿后的运动目标的深度信息进行运动目标轨迹跟踪，可进一步应用于非接触式基于立体视觉的体感互动系统中以及人机交互系统中。
实施例四
下面以从方案的具体实现角度，详细说明对图4所示的原始深度图像中运动目标所丢失的深度信息进行补偿的方法。请参阅图15，其为本发明一种运动模糊图像的深度信息补偿方法的另一个实施例的流程图，该方法包括以下步骤：
步骤1501：利用双目摄像头采集两幅双目视觉图像；
例如，图4示出了采集的两幅双目视觉图像。
步骤1502：通过立体匹配方法分别计算得到两幅双目视觉图像的原始深度图像D(k)；
例如，图5示出了左侧视觉图像的原始深度图像。
步骤1503：分别通过两幅双目视觉图像的原始深度图像和参照物所在位置的深度信息，生成两幅双目视觉图像的运动目标深度图像Is(k)；
其中，计算参照物的深度信息值，遍历当前帧的原始深度图像，查找深度信息值小于参照物的深度信息值的区域，查找到的区域为运动目标深度图像。
例如，图6示出了左侧视觉图像的运动目标深度图像。
步骤1504：对两幅双目视觉图像的原始深度图像进行背景建模，得到两幅双目视觉图像的基于运动的前景图像Mask(k)；
例如，图7示出了左侧视觉图像的基于运动的前景图像。
步骤1505：将通过立体匹配方法无法计算深度值的像素点标记在两幅双目视觉图像的深度丢失图像Dlost(k)中；
例如，图8示出了左侧视觉图像的深度丢失图像。
步骤1506：将两幅双目视觉图像的基于运动的前景图像和深度丢失图像分别进行与运算，得到两幅双目视觉图像的前景深度丢失图像IDD(k)；
例如，图9示出了左侧视觉图像的前景深度丢失图像。
步骤1507：利用动态屏蔽图像分别对两幅双目视觉图像的前景深度丢失图像进行过滤，得到两幅双目视觉图像的过滤后前景深度丢失图像Ifix(k)；
其中，过滤的具体过程为：
1、计算对当前帧的前景深度丢失图像进行过滤的动态屏蔽图像Im(n)；
将对前一帧的前景深度丢失图像进行过滤处理的动态屏蔽图像Im(n-1)中所有不小于“0”的像素点减1，得到对当前帧的前景深度丢失图像进行过滤的动态屏蔽图像Im(n)。初始状态下，动态屏蔽图像中的所有像素点为0。
2、利用计算得到的动态屏蔽图像Im(n)对当前帧的前景深度丢失图像进行过滤；
如果当前帧的前景深度丢失图像IDD(n)中的像素值为“1”(表示该像素点的深度信息丢失)，且Im(n)中对应像素点位置的像素值为“0”，则当前帧的过滤后前景深度丢失图像Ifix(n)中对应像素点位置的像素值为“1”(表示该像素点的深度信息因运动模糊丢失)，同时，将Im(n)中对应像素点位置的像素值设为一个约定的最大值(如“7”)。
如果当前帧的前景深度丢失图像IDD(n)中的像素值为“1”(表示该像素点的深度信息丢失)，且Im(n)中的对应像素点位置的像素值不为“0”时，则当前帧的过滤后前景深度丢失图像Ifix(n)中对应像素点值置的像素值为“0”(表示该像素点的深度信息不是因运动模糊丢失，即，该像素点的深度信息因纹理信息丢失而丢失)，同时，将Im(n)中对应像素点位置的像素值设为一个约定的最大值(如“7”)。
如果当前帧的前景深度丢失图像IDD(n)中的像素值为“0”(表示该像素点的深度信息不丢失)，则当前帧的过滤后前景深度丢失图像Ifix(n)中对应像素点位置的像素值置为“0”(表示该像素点的深度信息不是因运动模糊丢失，即，该像素点的深度信息因信息纹理丢失而丢失)，Im(n)中对应像素点位置的像素值维持原值。
通过上述过滤处理后，过滤掉前景深度丢失图像中因纹理信息丢失造成的深度信息丢失的部分，而仅保留因运动模糊造成的深度信息丢失的部分。
例如，图11示出了左侧视觉图像的过滤后前景深度丢失图像。
参见图16，图16示出了左侧视觉图像的动态屏蔽图像。图像上所显示的像素点在刚刚过去的几帧内曾经被记录到前景深度丢失图像IDD(k)对应的像素点位置上。像素点的颜色越亮则表示该像素点被加入到IDD(k)中的时间越晚。
步骤1508：分别在两幅双目视觉图像的运动目标深度图像Is(k)中标记表示出现过运动史的前景运动行；
其中，标记前景运动行的具体过程为：
针对某一帧的运动目标深度图像，逐行扫描运动目标深度图像，检测该行是否包含运动目标的深度信息，如果该行包含运动目标的深度信息(例如，如果找到扫描行中像素值连续为1的像素串，说明该行包含运动目标的深度信息，将该行标记为前景运动行，如果该行到当前帧为止已经在连续N帧的运动目标深度图像中没有包含运动目标的深度信息，去除该行为前景运动行的标记。
步骤1509：根据标记了前景运动行的两幅双目视觉图像的运动目标深度图像Is(k)和过滤后前景深度丢失图像Ifix(k)，分别生成两幅双目视觉图像的运动补偿图像L(k)；
生成运动补偿图像的具体过程为：
针对某一帧的运动目标深度图像，逐行扫描两幅双目视觉图像的运动目标深度图像，如果扫描行在当前帧的运动目标深度丢失图像中被标记为前景运动行，从当前帧的前景深度丢失图像的对应行中提取深度丢失信息；如果扫描行在当前帧的运动目标深度丢失图像中没有被标记为前景运动行，而在距离当前帧最近的连续N帧的运动目标深度丢失图像中至少有一次被标记为前景运动行，从当前帧的前景深度丢失图像的对应行中提取深度丢失信息。
例如，当扫描运动目标深度图像的第10帧第1行时，如果该行在第10帧中被标记为前景运动行，从第10帧的前景深度丢失图像的第1行中提取深度丢失信息，例如，提取深度丢失信息具体包括记录深度丢失信息(第1行行中像素值连续为1的像素串)在第1行中的起始位置和终止位置；如果该行在第10帧中没有被标记为前景运动行，而该行在第10帧的前5帧内(即，第5-9帧)中至少一次被标记为前景运动行(例如，在第7、8和9帧中被标记为前景运动行)，则从第10帧的前景深度丢失图像的第1行中提取深度丢失信息。
从所有行中提取的深度信息构成了运动补偿图像。例如，经过上述生成处理后，图12示出了左侧视觉图像的运动补偿图像的位图。如图12所示，在第一行，从第5至第20列有一个像素值连续为“1”的像素串，这表示在第一行第5列到第20列之间存在一个串长为“16”的像素值为“1”的像素串。
步骤1510：从第n帧的两幅双目视觉图像的运动补偿图像中，分别提取出与第n-1帧的运动目标深度丢失补偿图像最相似的区域，利用提取出的最相似的区域的深度信息对第n帧的运动目标深度图像中丢失的深度信息进行补偿，得到第n帧运动目标深度丢失补偿图像，反复循环，生成两幅双目视觉图像的运动目标深度丢失补偿图像。
例如，图13示出了左侧视觉图像的运动目标深度丢失补偿图像。
由上述实施例可以看出，在本方案中，先找到因运动目标产生的运动模糊而丢失的深度信息，仅对该部分丢失的深度信息进行补偿，而不是对整个图像丢失的深度信息进行补偿，明显地减少了计算量，有利于运动目标跟踪的实时性要求。
另外，在本方案中，特别采用一种迭代补偿方法，这种迭代补偿方式本身就用前一帧的运动目标深度丢失补偿图像来获取补偿部分，进而利用这个补偿部分对当前帧的运动补偿图像中需要被补偿的部分进行补偿。而前一帧的运动目标深度丢失补偿图像是一定能够得到，不存在得不到的情况。因此，可以避免因运动过快而无法获得补偿部分的问题。
实施例五
与上述一种运动模糊图像的深度信息补偿方法相对应，本发明实施例还提供了一种运动模糊图像的深度信息补偿装置。请参阅图17，其为本发明一种运动模糊图像的深度信息补偿装置的一个实施例结构图，该装置包括图像提取单元1701、扫描单元1702、补偿信息提取单元1703和补偿单元1704。下面结合该装置的工作原理进一步介绍其内部结构以及连接关系。
图像提取单元1701，用于从当前帧的原始深度图像中提取出包含运动目标深度信息的运动目标深度图像；
扫描单元1702：用于逐行扫描当前帧的运动目标深度图像，获得所述当前帧的运动目标深度图像的扫描行；
补偿信息提取单元1703，用于当所述当前帧的运动目标深度图像在所述扫描行中包含运动目标的深度信息时，或者，当所述当前帧的运动目标深度图像在所述扫描行中不包含运动目标的深度信息，但与所述当前帧的运动目标深度图像相邻且连续的几帧运动目标深度图像在与所述扫描行处于相同位置的对应行中包含运动目标的深度信息时，从当前帧的前景深度丢失图像中查找与所述扫描行处于相同位置的对应行并从查找到的对应行中提取出前景的深度丢失信息，其中，所述前景的深度丢失信息构成当前帧的运动补偿图像，前景深度丢失图像为基于运动的前景图像和原始深度丢失图像进行与运算的结果；
补偿单元1704，用于补偿所述当前帧的运动补偿图像中丢失的深度信息。
优选的，如图18所示，图像提取单元1701包括：计算子单元17011和查找子单元17012，其中，
计算子单元17011，用于计算运动目标的参照物的深度信息值；
查找子单元17012，用于遍历当前帧的原始深度图像，查找深度信息值小于参照物的深度信息值的区域，查找到的区域构成所述运动目标深度图像。
优选的，如图19所示，补偿单元1704包括：区域提取子单元17041和深度信息补偿子单元17042，其中，
区域提取子单元17041，用于从所述当前帧的运动补偿图像中提取出与前一帧的运动目标深度丢失补偿图像最相似的区域；
深度信息补偿子单元17042，用于利用提取出的最相似的区域的深度信息对所述当前帧的运动目标深度图像中丢失的深度信息进行补偿，得到当前帧的运动目标深度丢失补偿图像。
进一步优选的，上述区域提取子单元17041包括：
第一匹配子单元，用于将所述前一帧的深度丢失补偿图像与所述当前帧的运动补偿图像进行最小距离匹配，得到匹配区域；
或者，
第二匹配子单元，用于将所述前一帧的深度丢失补偿图像与所述当前帧的运动补偿图像进行最大字串匹配，得到匹配区域；
或者，
第三匹配子单元，用于将所述前一帧的深度丢失补偿图像对应原始图像位置的像素点串与所述当前帧的运动补偿图像对应原始图像位置的像素点串进行最相似匹配，得到匹配区域。
除了图17所示的结构外，优选的，如图20所示，在图17所示的结构基础上，该装置还包括：过滤单元1705，
过滤单元1705，用于从前景深度丢失图像中过滤掉因纹理信息丢失造成的深度信息丢失的区域，得到过滤后前景深度丢失图像；
则补偿信息提取单元1704，用于从当前帧过滤后的前景深度丢失图像中查找与所述扫描行处于相同位置的对应行并从查找到的对应行中提取深度丢失信息。
进一步优选的，过滤单元1705包括：判断子单元、删除子单元和保留子单元，其中，
判断子单元，用于判断每相邻两个前景深度丢失图像帧的同一位置是否都出现深度信息丢失；
删除子单元，用于在后一个前景深度丢失图像帧中删除所述同一位置处的深度丢失信息；
保留子单元，用于在后一个前景深度丢失图像帧中保留所述同一位置处的深度丢失信息。
除了图17和20所示的结构外，优选的，如图21所示，在图17所示结构的基础上，该装置还包括：分割单元1706和跟踪单元1707，其中，
分割单元1706，用于从所述当前帧的深度丢失补偿图像中分割出运动目标区域；
跟踪单元1707，用于根据从所有图像帧分割出的运动目标区域，跟踪运动目标的运动轨迹。
由上述实施例可以看出，在本方案中，先找到因运动目标产生的运动模糊而丢失的深度信息，仅对该部分丢失的深度信息进行补偿，而不是对整个图像丢失的深度信息进行补偿，明显地减少了计算量，有利于运动目标跟踪的实时性要求。
另外，在本方案中，特别采用一种迭代补偿方法，这种迭代补偿方式本身就用前一帧的运动目标深度丢失补偿图像来获取补偿部分，进而利用这个补偿部分对当前帧的运动补偿图像中需要被补偿的部分进行补偿。而前一帧的运动目标深度丢失补偿图像是一定能够得到，不存在得不到的情况。因此，可以避免因运动过快而无法获得补偿部分的问题。
实施例六
本发明实施例还提供了一种运动模糊图像的深度信息补偿装置。该装置包括一个处理器，该处理器用于从当前帧的原始深度图像中提取出包含运动目标深度信息的运动目标深度图像；逐行扫描当前帧的运动目标深度图像，获得所述当前帧的运动目标深度图像的扫描行；当所述当前帧的运动目标深度图像在所述扫描行中包含运动目标的深度信息时，或者，当所述当前帧的运动目标深度图像在所述扫描行中不包含运动目标的深度信息，但与所述当前帧的运动目标深度图像相邻且连续的几帧运动目标深度图像在与所述扫描行处于相同位置的对应行中包含运动目标的深度信息时，从当前帧的前景深度丢失图像中查找与所述扫描行处于相同位置的对应行，并从查找到的对应行中提取出前景的深度丢失信息，其中，所述前景的深度丢失信息构成当前帧的运动补偿图像；补偿所述当前帧的运动补偿图像中丢失的深度信息；其中，所述前景深度丢失图像为基于运动的前景图像和原始深度丢失图像进行与运算的结果。
优选的，在从当前帧的前景深度丢失图像中查找与所述扫描行处于相同位置的对应行并从查找到的对应行中提取出前景的深度丢失信息之前，该处理器还用于：从前景深度丢失图像中过滤掉因纹理信息丢失而造成深度信息丢失的区域，得到过滤后前景深度丢失图像；则所述从当前帧的前景深度丢失图像中查找与所述扫描行处于相同位置的对应行并从查找到的对应行中提取出前景的深度丢失信息具体为：从过滤后的当前帧的前景深度丢失图像中查找与所述扫描行处于相同位置的对应行并从查找到的对应行中提取深度丢失信息。
优选的，该处理器具体用于：判断每相邻两个前景深度丢失图像帧的同一位置处是否都出现深度信息丢失；如果是，在后一个前景深度丢失图像帧中删除所述同一位置处的深度丢失信息；否则，在后一个前景深度丢失图像帧中保留所述同一位置处的深度丢失信息。
优选的，还处理器具体用于：从当前帧的运动补偿图像中提取出与前一帧的运动目标深度丢失补偿图像最相似的区域；利用提取出的最相似的区域的深度信息对所述当前帧的运动目标深度图像中丢失的深度信息进行补偿，得到当前帧的运动目标深度丢失补偿图像。
优选的，该处理器具体用于：计算运动目标的参照物的深度信息值；遍历当前帧的原始深度图像，查找深度信息值小于参照物的深度信息值的区域，查找到的区域构成所述运动目标深度图像。
优选的，该处理器具体用于：将所述前一帧的深度丢失补偿图像与所述当前帧的运动补偿图像进行最小距离匹配，得到匹配区域；
或者，
将所述前一帧的深度丢失补偿图像与所述当前帧的运动补偿图像进行最大字串匹配，得到匹配区域。
或者，
将所述前一帧的深度丢失补偿图像对应原始图像位置的像素点串与所述当前帧的运动补偿图像对应原始图像位置的像素点串进行最相似匹配，得到匹配区域。
优选的，该处理器还用于：从所述当前帧的深度丢失补偿图像中分割出
运动目标区域；
根据分割出的运动目标区域，跟踪运动目标的运动轨迹。
由上述实施例可以看出，在本方案中，先找到因运动目标产生的运动模糊而丢失的深度信息，仅对该部分丢失的深度信息进行补偿，而不是对整个图像丢失的深度信息进行补偿，明显地减少了计算量，有利于运动目标跟踪的实时性要求。
另外，在本方案中，特别采用一种迭代补偿方法，这种迭代补偿方式本身就用前一帧的运动目标深度丢失补偿图像来获取补偿部分，进而利用这个补偿部分对当前帧的运动补偿图像中需要被补偿的部分进行补偿。而前一帧的运动目标深度丢失补偿图像即使是在运动目标快速运动的情况下也是可以得到的。因此，可以避免因运动过快而无法获得补偿部分的问题。
需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上对本发明所提供的一种运动模糊图像的深度信息补偿方法和装置进行了详细介绍，本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (14)
1.一种运动模糊图像的深度信息补偿方法，其特征在于，包括：
从当前帧的原始深度图像中提取出包含运动目标深度信息的运动目标深度图像；
逐行扫描当前帧的运动目标深度图像，获得所述当前帧的运动目标深度图像的扫描行；
当所述当前帧的运动目标深度图像在所述扫描行中包含运动目标的深度信息时，或者，当所述当前帧的运动目标深度图像在所述扫描行中不包含运动目标的深度信息，但与所述当前帧的运动目标深度图像相邻且连续的几帧运动目标深度图像在与所述扫描行处于相同位置的对应行中包含运动目标的深度信息时，从当前帧的前景深度丢失图像中查找与所述扫描行处于相同位置的对应行，并从查找到的对应行中提取出前景的深度丢失信息，其中，所述前景的深度丢失信息构成当前帧的运动补偿图像；
补偿所述当前帧的运动补偿图像中丢失的深度信息；
其中，所述前景深度丢失图像为基于运动的前景图像和原始深度丢失图像进行与运算的结果。
2.根据权利要求1所述的方法，其特征在于，在从当前帧的前景深度丢失图像中查找与所述扫描行处于相同位置的对应行，并从查找到的对应行中提取出前景的深度丢失信息之前，所述方法还包括：
从前景深度丢失图像中过滤掉因纹理信息丢失而造成深度信息丢失的区域，得到过滤后前景深度丢失图像；
则所述从当前帧的前景深度丢失图像中查找与所述扫描行处于相同位置的对应行，并从查找到的对应行中提取出前景的深度丢失信息具体为：
从过滤后的当前帧的前景深度丢失图像中查找与所述扫描行处于相同位置的对应行，并从查找到的对应行中提取深度丢失信息。
3.根据权利要求2所述的方法，其特征在于，所述从前景深度丢失图像中过滤掉因纹理信息丢失而造成深度信息丢失的区域，得到过滤后前景深度丢失图像，包括：
判断每相邻两个前景深度丢失图像帧的同一位置处是否都出现深度信息丢失；
如果是，在后一个前景深度丢失图像帧中删除所述同一位置处的深度丢失信息；
否则，在后一个前景深度丢失图像帧中保留所述同一位置处的深度丢失信息。
4.根据权利要求1-3中任意一项所述的方法，其特征在于，所述补偿当前帧的运动补偿图像中丢失的深度信息，包括：
从当前帧的运动补偿图像中提取出与前一帧的运动目标深度丢失补偿图像最相似的区域；
利用提取出的最相似的区域的深度信息对所述当前帧的运动目标深度图像中丢失的深度信息进行补偿，得到当前帧的运动目标深度丢失补偿图像。
5.根据权利要求1-3中任意一项所述的方法，其特征在于，所述从当前帧的原始深度图像中提取出包含运动目标深度信息的运动目标深度图像，包括：
计算运动目标的参照物的深度信息值；
遍历当前帧的原始深度图像，查找深度信息值小于参照物的深度信息值的区域，查找到的区域构成所述运动目标深度图像。
6.根据权利要求4所述的方法，其特征在于，所述从当前帧的运动补偿图像中提取出与前一帧的运动目标深度丢失补偿图像最相似的区域，包括：
将所述前一帧的深度丢失补偿图像与所述当前帧的运动补偿图像进行最小距离匹配，得到匹配区域；
或者，
将所述前一帧的深度丢失补偿图像与所述当前帧的运动补偿图像进行最大字串匹配，得到匹配区域。
或者，
将所述前一帧的深度丢失补偿图像对应原始图像位置的像素点串与所述当前帧的运动补偿图像对应原始图像位置的像素点串进行最相似匹配，得到匹配区域。
7.根据权利要求1-3中任意一项所述的方法，其特征在于，所述方法还包括：
从所述当前帧的深度丢失补偿图像中分割出运动目标区域；
根据分割出的运动目标区域，跟踪运动目标的运动轨迹。
8.一种运动模糊图像的深度信息补偿装置，其特征在于，包括：
图像提取单元，用于从当前帧的原始深度图像中提取出包含运动目标深度信息的运动目标深度图像；
扫描单元，用于逐行扫描当前帧的运动目标深度图像，获得所述当前帧的运动目标深度图像的扫描行；
补偿信息提取单元，用于当所述当前帧的运动目标深度图像在所述扫描行中包含运动目标的深度信息时，或者，当所述当前帧的运动目标深度图像在所述扫描行中不包含运动目标的深度信息，但与所述当前帧的运动目标深度图像相邻且连续的几帧运动目标深度图像在与所述扫描行处于相同位置的对应行中包含运动目标的深度信息时，从当前帧的前景深度丢失图像中查找与所述扫描行处于相同该位置的对应行，并从查找到的对应行中提取出前景的深度丢失信息，其中，所述前景的深度丢失信息构成当前帧的运动补偿图像，所述前景深度丢失图像为基于运动的前景图像和原始深度丢失图像进行与运算的结果；
补偿单元，用于补偿所述当前帧的运动补偿图像中丢失的深度信息。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
过滤单元，用于从前景深度丢失图像中过滤掉因纹理信息丢失而造成深度信息丢失的区域，得到过滤后的前景深度丢失图像；
则所述补偿信息提取单元，具体用于从过滤后的当前帧的前景深度丢失图像中查找与所述扫描行处于相同位置的对应行，并从查找到的对应行中提取深度丢失信息。
10.根据权利要求9所述的装置，其特征在于，所述过滤单元包括：
判断子单元，用于判断每相邻两个前景深度丢失图像帧的同一位置是否都出现深度信息丢失；
删除子单元，用于在后一个前景深度丢失图像帧中删除所述同一位置处的深度丢失信息；
保留子单元，用于在后一个前景深度丢失图像帧中保留所述同一位置处的深度丢失信息。
11.根据权利要求8-10中任意一项所述的装置，其特征在于，所述补偿单元包括：
区域提取子单元，用于从所述当前帧的运动补偿图像中提取出与前一帧的运动目标深度丢失补偿图像最相似的区域；
深度信息补偿子单元，用于利用提取出的最相似的区域的深度信息对所述当前帧的运动目标深度图像中丢失的深度信息进行补偿，得到当前帧的运动目标深度丢失补偿图像。
12.根据权利要求8-10中任意一项所述的装置，其特征在于，所述图像提取单元包括：
计算子单元，用于计算运动目标的参照物的深度信息值；
查找子单元，用于遍历当前帧的原始深度图像，查找深度信息值小于参照物的深度信息值的区域，查找到的区域构成所述运动目标深度图像。
13.根据权利要求11所述的装置，其特征在于，所述区域提取子单元包括：
第一匹配子单元，用于将所述前一帧的深度丢失补偿图像与所述当前帧的运动补偿图像进行最小距离匹配，得到匹配区域；
或者，
第二匹配子单元，用于将所述前一帧的深度丢失补偿图像与所述当前帧的运动补偿图像进行最大字串匹配，得到匹配区域。
或者，
第三匹配子单元，用于将所述前一帧的深度丢失补偿图像对应原始图像位置的像素点串与所述当前帧的运动补偿图像对应原始图像位置的像素点串进行最相似匹配，得到匹配区域。
14.根据权利要求8-10中任意一项所述的装置，其特征在于，所述装置还包括：
分割单元，用于从所述当前帧的深度丢失补偿图像中分割出运动目标区域；
跟踪单元，用于根据从分割单元中分割出的运动目标区域，跟踪运动目标的运动轨迹。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310179655.5A CN103268606B (zh) | 2013-05-15 | 2013-05-15 | 一种运动模糊图像的深度信息补偿方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310179655.5A CN103268606B (zh) | 2013-05-15 | 2013-05-15 | 一种运动模糊图像的深度信息补偿方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103268606A true CN103268606A (zh) | 2013-08-28 |
| CN103268606B CN103268606B (zh) | 2016-03-30 |
Family
ID=49012233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310179655.5A Active CN103268606B (zh) | 2013-05-15 | 2013-05-15 | 一种运动模糊图像的深度信息补偿方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103268606B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104751488A (zh) * | 2015-04-08 | 2015-07-01 | 努比亚技术有限公司 | 运动物体的运动轨迹的拍摄方法及终端设备 |
| CN107025644A (zh) * | 2017-02-10 | 2017-08-08 | 马瑞强 | 影像降噪的图像位移量补差方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622768A (zh) * | 2012-03-14 | 2012-08-01 | 清华大学 | 一种平面视频的深度图求取方法 |
| CN102724531A (zh) * | 2012-06-05 | 2012-10-10 | 上海易维视科技有限公司 | 一种二维视频转三维视频的方法及系统 |
| DE102011083745A1 (de) * | 2011-09-29 | 2013-04-04 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen |
| US20130107005A1 (en) * | 2011-11-02 | 2013-05-02 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
-
2013
- 2013-05-15 CN CN201310179655.5A patent/CN103268606B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011083745A1 (de) * | 2011-09-29 | 2013-04-04 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen |
| US20130107005A1 (en) * | 2011-11-02 | 2013-05-02 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
| CN102622768A (zh) * | 2012-03-14 | 2012-08-01 | 清华大学 | 一种平面视频的深度图求取方法 |
| CN102724531A (zh) * | 2012-06-05 | 2012-10-10 | 上海易维视科技有限公司 | 一种二维视频转三维视频的方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| SHAOJIE ZHUO: "On the Recovery of Depth from a Single Defocused Image", 《COMPUTER ANALYSIS OF IMAGE AND PATTERNS》, 31 December 2009 (2009-12-31), pages 889 - 897 * |
| 李阳 等: "一种改进的运动模糊图像恢复算法", 《计算机仿真》, vol. 28, no. 5, 31 May 2011 (2011-05-31), pages 254 - 257 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104751488A (zh) * | 2015-04-08 | 2015-07-01 | 努比亚技术有限公司 | 运动物体的运动轨迹的拍摄方法及终端设备 |
| CN107025644A (zh) * | 2017-02-10 | 2017-08-08 | 马瑞强 | 影像降噪的图像位移量补差方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103268606B (zh) | 2016-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Younes et al. | Keyframe-based monocular SLAM: design, survey, and future directions | |
| Stentoumis et al. | On accurate dense stereo-matching using a local adaptive multi-cost approach | |
| CN108564616B (zh) | 快速鲁棒的rgb-d室内三维场景重建方法 | |
| CN105678288B (zh) | 目标跟踪方法和装置 | |
| Chen et al. | Asynchronous tracking-by-detection on adaptive time surfaces for event-based object tracking | |
| Vankadari et al. | Unsupervised monocular depth estimation for night-time images using adversarial domain feature adaptation | |
| Gupta et al. | Real-time stereo matching using adaptive binary window | |
| KR20080072826A (ko) | 견고한 온라인 얼굴 트래킹을 위한 방법 및 시스템 | |
| CN101366027A (zh) | 用于产生视频概要的方法和系统 | |
| Kumar et al. | Multiple cameras using real time object tracking for surveillance and security system | |
| CN112364865A (zh) | 一种复杂场景中运动小目标的检测方法 | |
| CN103413323A (zh) | 基于部件级表观模型的物体跟踪方法 | |
| CN112200035A (zh) | 用于模拟拥挤场景的图像获取方法、装置和视觉处理方法 | |
| CN112686952A (zh) | 一种图像光流计算系统、方法及应用 | |
| CN103268606A (zh) | 一种运动模糊图像的深度信息补偿方法和装置 | |
| CN114004865A (zh) | 结合dsst尺度估计的孪生网络增强现实目标跟踪注册方法 | |
| Gao et al. | Video object segmentation based on multi-level target models and feature integration | |
| WO2019110874A1 (en) | Method and apparatus for applying video viewing behavior | |
| CN114095780A (zh) | 一种全景视频剪辑方法、装置、存储介质及设备 | |
| Reid et al. | 3D Trajectories from a Single Viewpoint using Shadows. | |
| CN108780576A (zh) | 使用对象边界框的视频片段中的重影去除的系统和方法 | |
| Chen et al. | Real-time Visual Object Tracking via CamShift-Based Robust Framework. | |
| CN116843867A (zh) | 增强现实虚实融合方法、电子设备和存储介质 | |
| CN114529587B (zh) | 一种视频目标跟踪方法、装置、电子设备及存储介质 | |
| Chae et al. | Siamevent: Event-based object tracking via edge-aware similarity learning with siamese networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20170511 Address after: 510640 Guangdong City, Tianhe District Province, No. five, road, public education building, unit 371-1, unit 2401 Patentee after: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wang Shuping Inventor before: Liu Hong Inventor before: He Yunlong Inventor before: Wang Zhilong Inventor before: Liang Renpeng Inventor before: Yang Sujuan |
|
| CB03 | Change of inventor or designer information | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20170912 Address after: 061000, No. 188, Mustang village, Guo Zhen, Xianxian County, Hebei, Cangzhou Patentee after: Wang Shuping Address before: 510640 Guangdong City, Tianhe District Province, No. five, road, public education building, unit 371-1, unit 2401 Patentee before: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180206 Address after: 225324 Jiangsu province Taizhou Gaogang Xu Zhuang Street Minghe Village No. 58 Patentee after: Zhu Haiyan Address before: 061000, No. 188, Mustang village, Guo Zhen, Xianxian County, Hebei, Cangzhou Patentee before: Wang Shuping |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180412 Address after: 100000 room C, block C1104, No. 9, 3rd Street, Beijing, Haidian District Patentee after: HITEVISION Co.,Ltd. Address before: 225324 Jiangsu province Taizhou Gaogang Xu Zhuang Street Minghe Village No. 58 Patentee before: Zhu Haiyan |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201221 Address after: 233000, No. 1268, Yannan Road, Bengbu City, Anhui Province (Building B, hi tech intelligent terminal Industrial Park) Patentee after: Anhui Hongcheng photoelectric Co.,Ltd. Address before: Room c1104, block C, 9 Shangdi 3rd Street, Haidian District, Beijing Patentee before: HITEVISION Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240325 Address after: 518000, Block 101, B, Building 1, Honghe Building, No.1 Danzi North Road, Shatian Community, Kengzi Street, Pingshan District, Shenzhen City, Guangdong Province Patentee after: HITEVISION Co.,Ltd. Country or region after: China Address before: 233000, No. 1268, Yannan Road, Bengbu City, Anhui Province (Building B, hi tech intelligent terminal Industrial Park) Patentee before: Anhui Hongcheng photoelectric Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |