CN103729860A - 一种图像目标跟踪的方法和装置 - Google Patents
一种图像目标跟踪的方法和装置 Download PDFInfo
- Publication number
- CN103729860A CN103729860A CN201310754378.6A CN201310754378A CN103729860A CN 103729860 A CN103729860 A CN 103729860A CN 201310754378 A CN201310754378 A CN 201310754378A CN 103729860 A CN103729860 A CN 103729860A
- Authority
- CN
- China
- Prior art keywords
- picture frame
- main views
- image
- target
- insincere
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000008878 coupling Effects 0.000 claims description 45
- 238000010168 coupling process Methods 0.000 claims description 45
- 238000005859 coupling reaction Methods 0.000 claims description 45
- 239000000203 mixture Substances 0.000 claims description 45
- 238000004040 coloring Methods 0.000 claims description 14
- 230000008034 disappearance Effects 0.000 claims description 13
- 238000012937 correction Methods 0.000 abstract description 21
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 3
- 230000013011 mating Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- PMGQWSIVQFOFOQ-YKVZVUFRSA-N clemastine fumarate Chemical compound OC(=O)\C=C\C(O)=O.CN1CCC[C@@H]1CCO[C@@](C)(C=1C=CC(Cl)=CC=1)C1=CC=CC=C1 PMGQWSIVQFOFOQ-YKVZVUFRSA-N 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种图像目标跟踪的方法和装置，涉及电子信息技术领域，能够在跟踪目标的运动速度过快或图像产生了运动模糊的情况下，提高图像帧的深度图像的精确度和准确度。本发明的方法包括：目标跟踪系统获取第一图像帧的主要视图和与第一图像帧相邻的第二图像帧的主要视图；根据第一图像帧的主要视图和第二图像帧的主要视图，得到第二图像帧的运动模糊图像；获取第二图像帧的视差图，根据视差图和运动模糊图像，得到第二图像帧的不可信点；利用第二图像帧的主要视图、辅助视图和不可信点修正视差图，并根据修正过的视差图得到第二图像帧的深度图像。本发明适用于跟踪图像中运动目标，并生成图像的深度图像的场景。
Description
技术领域
本发明涉及电子信息技术领域，尤其涉及一种图像目标跟踪的方法和装置。
背景技术
目前，图像目标跟踪是计算机视觉研究的核心问题，经常应用于视频监控、智能导航、医学诊断以及人机交互等领域。但是，由于摄像机的帧速度不足或者摄像机的曝光时间与运动物体速度不匹配等原因，视频中会产生运动模糊，运动模糊会导致目标区域的纹理弱化，从而无法计算深度信息，不能得到跟踪目标的深度图像，影响对跟踪目标的持续跟踪，还会导致跟踪目标丢失。
为了解决由于运动模糊导致的不能得到跟踪目标的深度图像的问题，在现有技术中，通常会获取视频中连续两帧彩色图像，并获取前一帧彩色图像的深度图像，根据运动的连续性，在前一帧的彩色图像的深度图像中，利用以每一点为中心的正方形区域中的像素点的深度加权，计算得到后一帧彩色图像中每一点的估计深度，并得到后一帧彩色图像的估计深度图，再将后一帧彩色图像的估计深度图分为8*8的小块，针对后一帧彩色图像的估计深度图中的每一个小块，在给定的搜索范围内使用块匹配的运动估计法，在前一帧彩色图像的深度图像中计算得到与后一帧彩色图像的估计深度图像中的小块最相似的小块，并用前一帧彩色图像的深度图像中最相似的小块中每一点的深度替代后一帧彩色图像的估计深度图像的小块中每一点的深度，最终得到后一帧彩色图像的精度深度图像。
但是，如果跟踪目标的运动速度过快或者图像产生了运动模糊，在前一帧彩色图像指定的搜索范围内无法找到与后一帧彩色图像的估计深度图像中的小块最相似的小块，导致前一帧彩色图像的深度图像的小块与后一帧彩色图像的深度图像的小块匹配不准确，由于块匹配不准确，最终得到的后一帧彩色图像的精度深度图像的精确度和准确度都较低。
发明内容
本发明的实施例提供一种图像目标跟踪的方法和装置，能够在跟踪目标的运动速度过快或图像产生了运动模糊的情况下，提高图像帧的深度图像的精确度和准确度。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，本发明实施例提供一种图像目标跟踪的装置，包括：
第一获取模块，用于获取第一图像帧的主要视图和与所述第一图像帧相邻的第二图像帧的主要视图，一个图像帧的主要视图包括所述一个图像帧的左视图和右视图其中的一个，其中，所述第一图像帧的主要视图为所述第一图像帧的左视图，同时，所述第二图像帧的主要视图为所述第二图像帧的左视图；或者，所述第一图像帧的主要视图为所述第一图像帧的右视图，同时，所述第二图像帧的主要视图为所述第二图像帧的右视图；
第二获取模块，用于根据所述第一图像帧的主要视图和所述第二图像帧的主要视图，得到所述第二图像帧的运动模糊图像，所述运动模糊图像用于表示跟踪目标产生运动模糊的区域；
第三获取模块，用于获取所述第二图像帧的视差图，根据所述视差图和所述运动模糊图像，得到所述第二图像帧的不可信点，所述不可信点为所述运动模糊图像中视差值缺失的像素点；
修正模块，用于利用所述第二图像帧的主要视图、所述第二图像帧的辅助视图和所述不可信点修正所述视差图，并根据修正过的所述视差图得到所述第二图像帧的深度图像，所述辅助视图为一个图像帧的左视图和右视图其中的一个，且一个图像帧的所述主要视图与所述辅助视图不同。
结合第一方面，在第一种可能的实现方式中，所述第二获取模块，包括：
第一获取单元，用于根据所述第二图像帧的主要视图，获取所述第二图像帧的主要视图的前景掩码图像，并标记所述前景掩码图像中的变化像素点，所述前景掩码图像用于表示所述第二图像帧的主要视图中发生运动变化的区域，所述变化像素点是所述跟踪目标发生运动变化的区域中的像素点；
第二获取单元，用于根据所述第一图像帧的主要视图中所述跟踪目标的颜色均值，获取所述前景掩码图像中的变化像素点的颜色融合程度参数；
第三获取单元，用于在所述前景掩码图像中的变化像素点中，获取目标像素点，所述目标像素点的颜色融合程度参数在预设阈值范围中；
第四获取单元，用于利用所述目标像素点得到所述第二图像帧的运动模糊图像。
结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述第二获取单元，包括：
第一获取子单元，用于获取所述第一图像帧的主要视图中所述跟踪目标的颜色均值Cobj1；
第二获取子单元，用于根据公式
alpha2(x,y)*Cobj1+[1-alpha2(x,y)]*C1(x,y)=C2(x,y)，得到所述前景掩码图像中的变化像素点的颜色融合程度参数alpha2（x，y），其中，C1（x，y）是所述第一图像帧的主要视图中的像素点(x,y)的颜色信息，C2（x，y）是所述第二图像帧的主要视图中的像素点(x,y)的颜色信息。
结合第一方面或第一方面的第一种可能的实现方式，在第三种可能的实现方式中，所述第三获取模块，包括：
第一标记单元，用于在所述视差图中标记视差缺失点，所述视差缺失点是所述视差图中无法得到视差值的像素点；
第二标记单元，用于在所述运动模糊图像中标记所述视差缺失点对应的位置上存在的所述目标像素点，并将所述视差缺失点对应的位置上存在的所述目标像素点作为所述不可信点。
结合第一方面，在第四种可能的实现方式中，所述修正模块，包括：
第五获取单元，用于获取所述第一图像帧的视差均值和视差范围阈值，并根据所述第一图像帧的视差均值和视差范围阈值，得到目标视差范围，所述目标视差范围用于估计第二图像帧重匹配范围；
第六获取单元，用于根据所述第二图像帧的主要视图中所述不可信点所在的区域和目标视差范围，得到所述第二图像帧的辅助视图中的辅助区域；
匹配单元，用于对所述第二图像帧的主要视图中所述不可信点所在的区域和所述辅助区域进行重匹配，得到所述第二图像帧的主要视图中所述不可信点的匹配视差值，所述不可信点的匹配视差值为重匹配中所述不可信点匹配误差最小的视差值；
修正单元，用于将所述视差图中与所述不可信点对应的每一个像素点的视差值替换为所述不可信点的匹配视差值，得到修正过的所述视差图。
第二方面，本发明实施例提供一种图像目标跟踪的方法，包括：
所述目标跟踪系统获取第一图像帧的主要视图和与所述第一图像帧相邻的第二图像帧的主要视图，一个图像帧的主要视图包括所述一个图像帧的左视图和右视图其中的一个，其中，所述第一图像帧的主要视图为所述第一图像帧的左视图，同时，所述第二图像帧的主要视图为所述第二图像帧的左视图；或者，所述第一图像帧的主要视图为所述第一图像帧的右视图，同时，所述第二图像帧的主要视图为所述第二图像帧的右视图；
根据所述第一图像帧的主要视图和所述第二图像帧的主要视图，得到所述第二图像帧的运动模糊图像，所述运动模糊图像用于表示跟踪目标产生运动模糊的区域；
获取所述第二图像帧的视差图，根据所述视差图和所述运动模糊图像，得到所述第二图像帧的不可信点，所述不可信点为所述运动模糊图像中视差值缺失的像素点；
利用所述第二图像帧的主要视图、所述第二图像帧的辅助视图和所述不可信点修正所述视差图，并根据修正过的所述视差图得到所述第二图像帧的深度图像，所述辅助视图为一个图像帧的左视图和右视图其中的一个，且一个图像帧的所述主要视图与所述辅助视图不同。
结合第二方面，在第一种可能的实现方式中，所述根据所述第一图像帧的主要视图和所述第二图像帧的主要视图，得到所述第二图像帧的运动模糊图像，包括：
根据所述第二图像帧的主要视图，获取所述第二图像帧的主要视图的前景掩码图像，并标记所述前景掩码图像中的变化像素点，所述前景掩码图像用于表示所述第二图像帧的主要视图中发生运动变化的区域，所述变化像素点是所述跟踪目标发生运动变化的区域中的像素点；
根据所述第一图像帧的主要视图中所述跟踪目标的颜色均值，获取所述前景掩码图像中的变化像素点的颜色融合程度参数；
在所述前景掩码图像中的变化像素点中，获取目标像素点，所述目标像素点的颜色融合程度参数在预设阈值范围中；
利用所述目标像素点得到所述第二图像帧的运动模糊图像。
结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述根据所述第一图像帧的主要视图中所述跟踪目标的颜色均值，获取所述前景掩码图像中的变化像素点的颜色融合程度参数，包括：
获取所述第一图像帧的主要视图中所述跟踪目标的颜色均值Cobj1；
根据公式alpha2(x,y)*Cobj1+[1-alpha2(x,y)]*C1(x,y)=C2(x,y)，得到所述前景掩码图像中的变化像素点的颜色融合程度参数alpha2（x，y），其中，C1（x，y）是所述第一图像帧的主要视图中的像素点(x,y)的颜色信息，C2（x，y）是所述第二图像帧的主要视图中的像素点(x,y)的颜色信息。
结合第二方面或第二方面的第一种可能的实现方式，在第三种可能的实现方式中，所述获取所述第二图像帧的视差图，根据所述视差图和所述运动模糊图像，得到所述第二图像帧的不可信点，包括：
在所述视差图中标记视差缺失点，所述视差缺失点是所述视差图中无法得到视差值的像素点；
在所述运动模糊图像中标记所述视差缺失点对应的位置上存在的所述目标像素点，并将所述视差缺失点对应的位置上存在的所述目标像素点作为所述不可信点。
结合第二方面，在第四种可能的实现方式中，所述利用所述第二图像帧的主要视图、所述第二图像帧的辅助视图和所述不可信点修正所述视差图，包括：
获取所述第一图像帧的视差均值和视差范围阈值，并根据所述第一图像帧的视差均值和视差范围阈值，得到目标视差范围，所述目标视差范围用于估计第二帧图像辅助区域重匹配的范围；
根据所述第二图像帧的主要视图中所述不可信点所在的区域和目标视差范围，得到所述第二图像帧的辅助视图中的辅助区域；
对所述第二图像帧的主要视图中所述不可信点所在的区域和所述辅助区域进行重匹配，得到所述第二图像帧的主要视图中所述不可信点的匹配视差值，所述不可信点的匹配视差值为重匹配中所述不可信点匹配误差最小的视差值；
将所述视差图中与所述不可信点对应的每一个像素点的视差值替换为所述不可信点的匹配视差值，得到修正过的所述视差图。
本发明实施例提供的一种图像目标跟踪的方法和装置，目标跟踪系统能够获取第一图像帧的主要视图和与第一图像帧相邻的第二图像帧的主要视图，并根据第一图像帧的主要视图和第二图像帧的主要视图，得到第二图像帧的运动模糊图像，获取第二图像帧的视差图，根据视差图和运动模糊图像，得到第二图像帧的不可信点，利用第二图像帧的主要视图、第二图像帧的辅助视图和不可信点修正视差图，并根据修正过的视差图得到第二图像帧的深度图像。与现有技术相比，本方案修正第二图像帧的视差图时，利用的是第二图像帧的左、右视图，而左、右视图是很相似的，避免了当跟踪目标运动过快和发生运动模糊时，现有技术中利用相邻两个图像帧进行块匹配，在前一帧彩色图像指定的搜索范围内无法找到与后一帧彩色图像的估计深度图像中的小块最相似的小块，从而无法准确匹配，得到准确的深度图像的问题，本方案利用同一图像帧的左、右视图以及不可信点对图像帧的视差图进行修复，得到图像帧的精确的深度图像，提高了图像帧的深度图像的精确度和准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种图像目标跟踪的装置的结构示意图；
图2为本发明实施例提供的一种图像目标跟踪的装置的一种具体实现方式的结构示意图；
图3为本发明实施例提供的一种图像目标跟踪的装置的另一种具体实现方式的结构示意图；
图4为本发明实施例提供的一种图像目标跟踪的装置的又一种具体实现方式的结构示意图；
图5为本发明实施例提供的一种图像目标跟踪的装置的再一种具体实现方式的结构示意图；
图6为本发明实施例提供的一种目标跟踪系统的结构示意图；
图7为本发明实施例提供的一种图像目标跟踪的方法的流程图；
图8a为本发明实施例提供的一种图像目标跟踪的方法的一种具体实现方式的流程图；
图8b为本发明实施例提供的一组跟踪目标的图像帧的举例说明示意图；
图8c为本发明实施例提供的一组跟踪目标的图像帧的前景掩码图像的举例说明示意图；
图8d为本发明实施例提供的一组跟踪目标的图像帧的运动模糊图像的举例说明示意图；
图8e为本发明实施例提供的一组跟踪目标的图像帧的视差缺失图像的举例说明示意图；
图8f为本发明实施例提供的一组跟踪目标的图像帧的不可信点图像的举例说明示意图；
图8g为本发明实施例提供的一组跟踪目标的图像帧的未修正的视差图的举例说明示意图；
图8h为本发明实施例提供的一组跟踪目标的图像帧的修正过的视差图的举例说明示意图；
图9为本发明实施例提供的一种图像目标跟踪的方法的另一种具体实现方式的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例提供的技术方案基于立体视觉技术，目标跟踪系统处理的图像帧均具有左、右视图，左、右视图是由立体视觉摄像中左、右两个摄像机拍摄而成的。本方案中，目标跟踪系统获取第一图像帧的主要视图和与第一图像帧相邻的第二图像帧的主要视图，并根据这两个视图得到第二图像帧的运动模糊图像，再根据第二图像帧的视差图和运动模糊图像，得到第二图像帧的不可信点，最后根据第二图像帧的主要视图、第二图像帧的辅助视图和不可信点修正第二图像帧的视差图，并根据视差图得到第二图像帧的深度图像。
本发明实施例提供了一种图像目标跟踪的装置100，如图1所示，包括：
第一获取模块101，用于获取第一图像帧的主要视图和与所述第一图像帧相邻的第二图像帧的主要视图。
其中，一个图像帧的主要视图包括这一个图像帧的左视图和右视图其中的一个。第一图像帧的主要视图为第一图像帧的左视图，同时，第二图像帧的主要视图为第二图像帧的左视图；或者，第一图像帧的主要视图为第一图像帧的右视图，同时，第二图像帧的主要视图为第二图像帧的右视图。
第二获取模块102，用于根据所述第一图像帧的主要视图和所述第二图像帧的主要视图，得到所述第二图像帧的运动模糊图像。
其中，运动模糊图像用于表示跟踪目标产生运动模糊的区域。
第三获取模块103，用于获取所述第二图像帧的视差图，根据所述视差图和所述运动模糊图像，得到所述第二图像帧的不可信点。
其中，不可信点为运动模糊图像中视差值缺失的像素点，即不可信点为跟踪目标产生运动模糊的区域中视差值缺失的像素点。
修正模块104，用于利用所述第二图像帧的主要视图、所述第二图像帧的辅助视图和所述不可信点修正所述视差图，并根据修正过的所述视差图得到所述第二图像帧的深度图像。
其中，辅助视图为一个图像帧的左视图和右视图其中的一个，且一个图像帧的主要视图与辅助视图不同。
本发明实施例提供的一种图像目标跟踪的装置，该装置能够获取第一图像帧的主要视图和与第一图像帧相邻的第二图像帧的主要视图，并根据第一图像帧的主要视图和第二图像帧的主要视图，得到第二图像帧的运动模糊图像，获取第二图像帧的视差图，根据视差图和运动模糊图像，得到第二图像帧的不可信点，利用第二图像帧的主要视图、第二图像帧的辅助视图和不可信点修正视差图，并根据修正过的视差图得到第二图像帧的深度图像。与现有技术相比，本方案修正第二图像帧的视差图时，利用的是第二图像帧的左、右视图，而左、右视图是很相似的，避免了当跟踪目标运动过快和发生运动模糊时，现有技术中利用相邻两个图像帧进行块匹配，在前一帧彩色图像指定的搜索范围内无法找到与后一帧彩色图像的估计深度图像中的小块最相似的小块，从而无法准确匹配，得到准确的深度图像的问题，本方案利用同一图像帧的左、右视图以及不可信点对图像帧的视差图进行修复，得到图像帧的精确的深度图像，提高了图像帧的深度图像的精确度和准确度。
进一步的，如图2所示，所述第二获取模块102，包括：
第一获取单元1021，用于根据所述第二图像帧的主要视图，获取所述第二图像帧的主要视图的前景掩码图像，并标记所述前景掩码图像中的变化像素点。
其中，前景掩码图像用于表示第二图像帧的主要视图中发生运动变化的区域，变化像素点是跟踪目标发生运动变化的区域中的像素点。
第二获取单元1022，用于根据所述第一图像帧的主要视图中所述跟踪目标的颜色均值，获取所述前景掩码图像中的变化像素点的颜色融合程度参数。
第三获取单元1023，用于在所述前景掩码图像中的变化像素点中，获取目标像素点。
其中，目标像素点的颜色融合程度参数在预设阈值范围中。
第四获取单元1024，用于利用所述目标像素点得到所述第二图像帧的运动模糊图像。
本发明实施例提供的一种图像目标跟踪的装置，该装置能够获取第一图像帧的主要视图和与第一图像帧相邻的第二图像帧的主要视图，并根据第二图像帧的主要视图，获取第二图像帧的主要视图的前景掩码图像，并标记前景掩码图像中的变化像素点，根据第一图像帧的主要视图中所述跟踪目标的颜色均值，获取前景掩码图像中的变化像素点的颜色融合程度参数，在前景掩码图像中的变化像素点中，获取目标像素点，利用目标像素点得到第二图像帧的运动模糊图像，获取第二图像帧的视差图，根据视差图和运动模糊图像，得到第二图像帧的不可信点，利用第二图像帧的主要视图、第二图像帧的辅助视图和不可信点修正视差图，并根据修正过的视差图得到第二图像帧的深度图像。与现有技术相比，本方案修正第二图像帧的视差图时，利用的是第二图像帧的左、右视图，而左、右视图是很相似的，避免了当跟踪目标运动过快和发生运动模糊时，现有技术中利用相邻两个图像帧进行块匹配，在前一帧彩色图像指定的搜索范围内无法找到与后一帧彩色图像的估计深度图像中的小块最相似的小块，从而无法准确匹配，得到准确的深度图像的问题，本方案利用同一图像帧的左、右视图以及不可信点对图像帧的视差图进行修复，得到图像帧的精确的深度图像，提高了图像帧的深度图像的精确度和准确度；同时，不需要技术人员手工标记并提取模糊区域，该装置可以利用颜色融合程度参数和预设阈值，获取模糊区域，并得到运动模糊图像，节省了在获取模糊区域上花费的时间和精力。
进一步的，如图3所示，所述第二获取单元1022，包括：
第一获取子单元10221，用于获取所述第一图像帧的主要视图中所述跟踪目标的颜色均值Cobj1。
第二获取子单元10222，用于根据公式
alpha2(x,y)*Cobj1+[1-alpha2(x,y)]*C1(x,y)=C2(x,y)，得到所述前景掩码图像中的变化像素点的颜色融合程度参数alpha2（x，y）。
其中，C1（x，y）是第一图像帧的主要视图中的像素点(x,y)的颜色信息，C2（x，y）是所述第二图像帧的主要视图中的像素点(x,y)的颜色信息。
本发明实施例提供的一种图像目标跟踪的装置，该装置能够获取第一图像帧的主要视图和与第一图像帧相邻的第二图像帧的主要视图，并根据第一图像帧的主要视图和第二图像帧的主要视图，利用前景掩码图像中的变化像素点的颜色融合程度参数和预设阈值范围获取目标像素点，利用目标像素点得到第二图像帧的运动模糊图像，获取第二图像帧的视差图，根据视差图和运动模糊图像，得到第二图像帧的不可信点，利用第二图像帧的主要视图、第二图像帧的辅助视图和不可信点修正视差图，并根据修正过的视差图得到第二图像帧的深度图像。与现有技术相比，本方案修正第二图像帧的视差图时，利用的是第二图像帧的左、右视图，而左、右视图是很相似的，避免了当跟踪目标运动过快和发生运动模糊时，现有技术中利用相邻两个图像帧进行块匹配，在前一帧彩色图像指定的搜索范围内无法找到与后一帧彩色图像的估计深度图像中的小块最相似的小块，从而无法准确匹配，得到准确的深度图像的问题，本方案利用同一图像帧的左、右视图以及不可信点对图像帧的视差图进行修复，得到图像帧的精确的深度图像，提高了图像帧的深度图像的精确度和准确度；同时，不需要技术人员手工标记并提取模糊区域，该装置可以利用颜色融合程度参数和预设阈值，获取模糊区域，并得到运动模糊图像，节省了在获取模糊区域上花费的时间和精力。
进一步的，如图4所示，所述第三获取模块103，包括：
第一标记单元1031，用于在所述视差图中标记视差缺失点。
其中，视差缺失点是视差图中无法得到视差值的像素点。
第二标记单元1032，用于在所述运动模糊图像中标记所述视差缺失点对应的位置上存在的所述目标像素点，并将所述视差缺失点对应的位置上存在的所述目标像素点作为所述不可信点。
本发明实施例提供的一种图像目标跟踪的装置，该装置能够获取第一图像帧的主要视图和与第一图像帧相邻的第二图像帧的主要视图，并根据第一图像帧的主要视图和第二图像帧的主要视图，得到第二图像帧的运动模糊图像，将视差图中的视差缺失点标记为不可信点，得到第二图像帧的不可信点，利用第二图像帧的主要视图、第二图像帧的辅助视图和不可信点修正视差图，并根据修正过的视差图得到第二图像帧的深度图像。与现有技术相比，本方案修正第二图像帧的视差图时，利用的是第二图像帧的左、右视图，而左、右视图是很相似的，避免了当跟踪目标运动过快和发生运动模糊时，现有技术中利用相邻两个图像帧进行块匹配，在前一帧彩色图像指定的搜索范围内无法找到与后一帧彩色图像的估计深度图像中的小块最相似的小块，从而无法准确匹配，得到准确的深度图像的问题，本方案利用同一图像帧的左、右视图以及不可信点对图像帧的视差图进行修复，得到图像帧的精确的深度图像，提高了图像帧的深度图像的精确度和准确度。
进一步的，如图5所示，所述修正模块104，包括：
第五获取单元1041，用于获取所述第一图像帧的视差均值和视差范围阈值，并根据所述第一图像帧的视差均值和视差范围阈值，得到目标视差范围。
其中，目标视差范围用于估计第二图像帧重匹配范围。
第六获取单元1042，用于根据所述第二图像帧的主要视图中不可信点所在的区域和目标视差范围，得到所述第二图像帧的辅助视图中的辅助区域。
匹配单元1043，用于对所述第二图像帧的主要视图中所述不可信点所在的区域和所述辅助区域进行重匹配，得到所述第二图像帧的主要视图中所述不可信点的匹配视差值。
其中，不可信点的匹配视差值为重匹配中不可信点匹配误差最小的视差值。
修正单元1044，用于将所述视差图中与所述不可信点对应的每一个像素点的视差值替换为所述不可信点的匹配视差值，得到修正过的所述视差图。
本发明实施例提供的一种图像目标跟踪的装置，该装置能够获取第一图像帧的主要视图和与第一图像帧相邻的第二图像帧的主要视图，并根据第一图像帧的主要视图和第二图像帧的主要视图，得到第二图像帧的运动模糊图像，获取第二图像帧的视差图，根据视差图和运动模糊图像，得到第二图像帧的不可信点，对第二图像帧的主要视图和辅助视图中的主要区域和辅助区域进行块匹配，利用不可信点和匹配结果修正的二图像帧的视差图，并根据修正过的视差图得到第二图像帧的深度图像。与现有技术相比，本方案修正第二图像帧的视差图时，利用的是第二图像帧的左、右视图，而左、右视图是很相似的，避免了当跟踪目标运动过快和发生运动模糊时，现有技术中利用相邻两个图像帧进行块匹配，在前一帧彩色图像指定的搜索范围内无法找到与后一帧彩色图像的估计深度图像中的小块最相似的小块，从而无法准确匹配，得到准确的深度图像的问题，本方案利用同一图像帧的左、右视图以及不可信点对图像帧的视差图进行修复，得到图像帧的精确的深度图像，提高了图像帧的深度图像的精确度和准确度。
本发明实施例提供了一种目标跟踪系统200，如图6所示，包括：至少一个处理器201，例如CPU，至少一个通信总线202，存储器203，至少一个网络接口204或者用户接口205。通信总线202用于实现这些组件之间的连接通信。可选的，用户接口205包括显示器、键盘、鼠标、触摸屏等设备。存储器203可能包含高速RAM存储器，也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。
具体的，存储器203可以用于存储第一图像帧的左、右视图和第二图像帧的左、右视图，还可以用于存储第二图像帧的运动模糊图像和第二图像帧的视差图，还可以用于存储修正过的第二图像帧的视差图和第二图像帧的深度图像。
进一步的，存储器203可以用于存储第二图像帧的主要视图的前景掩码图像，还可以用于存储第一图像帧的主要视图中跟踪目标的颜色均值、前景掩码图像中的变化像素点的颜色融合程度参数以及预设阈值范围，还可以用于存储第一图像帧的视差均值和视差范围阈值，还可以存储用于重匹配的块匹配算法和重匹配得到的匹配视差值。
处理器201可以用于获取第一图像帧的主要视图和与所述第一图像帧相邻的第二图像帧的主要视图，一个图像帧的主要视图包括所述一个图像帧的左视图和右视图其中的一个，其中，所述第一图像帧的主要视图为所述第一图像帧的左视图，同时，所述第二图像帧的主要视图为所述第二图像帧的左视图；或者，所述第一图像帧的主要视图为所述第一图像帧的右视图，同时，所述第二图像帧的主要视图为所述第二图像帧的右视图；以及，用于根据所述第一图像帧的主要视图和所述第二图像帧的主要视图，得到所述第二图像帧的运动模糊图像，所述运动模糊图像用于表示跟踪目标产生运动模糊的区域；以及，用于获取所述第二图像帧的视差图，根据所述视差图和所述运动模糊图像，得到所述第二图像帧的不可信点，所述不可信点为所述运动模糊图像中视差值缺失的像素点；以及，用于利用所述第二图像帧的主要视图、所述第二图像帧的辅助视图和所述不可信点修正所述视差图，并根据修正过的所述视差图得到所述第二图像帧的深度图像，所述辅助视图为一个图像帧的左视图和右视图其中的一个，且一个图像帧的所述主要视图与所述辅助视图不同。
具体的，处理器201还可以用于根据所述第二图像帧的主要视图，获取所述第二图像帧的主要视图的前景掩码图像，并标记所述前景掩码图像中的变化像素点，所述前景掩码图像用于表示所述第二图像帧的主要视图中发生运动变化的区域，所述变化像素点是所述跟踪目标发生运动变化的区域中的像素点；以及，用于根据所述第一图像帧的主要视图中所述跟踪目标的颜色均值，获取所述前景掩码图像中的变化像素点的颜色融合程度参数；以及，用于在所述前景掩码图像中的变化像素点中，获取目标像素点，所述目标像素点的颜色融合程度参数在预设阈值范围中；以及，用于利用所述目标像素点得到所述第二图像帧的运动模糊图像。
具体的，处理器201还可以用于获取所述第一图像帧的主要视图中所述跟踪目标的颜色均值Cobj1；以及，用于根据公式
alpha2(x,y)*Cobj1+[1-alpha2(x,y)]*C1(x,y)=C2(x,y)，得到所述前景掩码图像中的变化像素点的颜色融合程度参数alpha2（x，y），其中，C1（x，y）是所述第一图像帧的主要视图中的像素点(x,y)的颜色信息，C2（x，y）是所述第二图像帧的主要视图中的像素点(x,y)的颜色信息。
具体的，处理器201还可以用于在所述视差图中标记视差缺失点，所述视差缺失点是所述视差图中无法得到视差值的像素点；以及，用于在所述运动模糊图像中标记所述视差缺失点对应的位置上存在的所述目标像素点，并将所述视差缺失点对应的位置上存在的所述目标像素点作为所述不可信点。
具体的，处理器201还可以用于获取所述第一图像帧的视差均值和视差范围阈值，并根据所述第一图像帧的视差均值和视差范围阈值，得到目标视差范围，所述目标视差范围用于估计第二图像帧重匹配范围；以及，用于根据所述第二图像帧的主要视图中不可信点所在的区域和目标视差范围，得到所述第二图像帧的辅助视图中的辅助区域；以及，用于对所述第二图像帧的主要视图中所述不可信点所在的区域和所述辅助区域进行重匹配，得到所述第二图像帧的主要视图中所述不可信点的匹配视差值，所述不可信点的匹配视差值为重匹配中所述不可信点匹配误差最小的视差值；以及，用于将所述视差图中与所述不可信点对应的每一个像素点的视差值替换为所述不可信点的匹配视差值，得到修正过的所述视差图。
本发明实施例提供的一种目标跟踪系统，目标跟踪系统能够获取第一图像帧的主要视图和与第一图像帧相邻的第二图像帧的主要视图，并根据第一图像帧的主要视图和第二图像帧的主要视图，利用像素点的颜色融合程度参数和预设阈值范围，获取目标像素点，并得到第二图像帧的运动模糊图像，获取第二图像帧的视差图，根据视差图和运动模糊图像，得到第二图像帧的不可信点，对第二图像帧的主要视图中不可信点所在的区域和辅助视图中辅助区域进行重匹配，利用不可信点和匹配结果修正第二图像帧的视差图，并根据修正过的视差图得到第二图像帧的深度图像。与现有技术相比，本方案修正第二图像帧的视差图时，利用的是第二图像帧的左、右视图，而左、右视图是很相似的，避免了当跟踪目标运动过快和发生运动模糊时，现有技术中利用相邻两个图像帧进行块匹配，在前一帧彩色图像指定的搜索范围内无法找到与后一帧彩色图像的估计深度图像中的小块最相似的小块，从而无法准确匹配，得到准确的深度图像的问题，本方案利用同一图像帧的左、右视图以及不可信点对图像帧的视差图进行修复，得到图像帧的精确的深度图像，提高了图像帧的深度图像的精确度和准确度；同时，不需要技术人员手工标记并提取模糊区域，该装置可以利用颜色融合程度参数和预设阈值，获取模糊区域，并得到运动模糊图像，节省了在获取模糊区域上花费的时间和精力。
本发明实施例提供了一种图像目标跟踪的方法，用于一种目标跟踪系统，如图7所示，包括：
301，所述目标跟踪系统获取第一图像帧的主要视图和与所述第一图像帧相邻的第二图像帧的主要视图。
其中，第一图像帧是与第二图像帧相邻的前一图像帧，一个图像帧的主要视图包括一个图像帧的左视图和右视图其中的一个，左、右视图是在立体视觉中，由左、右两台摄像机拍摄的图像，所以一个视图帧存在一个左视图和一个右视图。如果选取左视图作为主要视图，则右视图就被选取为辅助视图。
其中，第一图像帧的主要视图为第一图像帧的左视图，同时，第二图像帧的主要视图为第二图像帧的左视图；或者，第一图像帧的主要视图为第一图像帧的右视图，同时，第二图像帧的主要视图为第二图像帧的右视图。
302，根据所述第一图像帧的主要视图和所述第二图像帧的主要视图，得到所述第二图像帧的运动模糊图像。
其中，运动模糊图像用于表示跟踪目标产生运动模糊的区域，目标跟踪系统能够获取第二图像帧的主要视图的前景掩码图像，并标记前景掩码图像中跟踪目标发生运动变化的区域中的像素点，并计算跟踪目标发生运动变化的区域中的像素点的颜色融合程度参数，根据颜色融合程度参数，标记颜色融合程度参数在一定阈值范围内的像素点，从而得到第二图像帧的运动模糊图。
其中，可以利用现有的识别技术来确定初始图像帧中的跟踪目标所在的区域，比如：在图8b中的1-4四个图像帧中，人的手掌为跟踪目标，可以使用手掌分类器检测出的手掌所在的区域作为跟踪目标所在的区域。
303，获取所述第二图像帧的视差图，根据所述视差图和所述运动模糊图像，得到所述第二图像帧的不可信点。
其中，不可信点为运动模糊图像中视差值缺失的像素点，目标跟踪系统根据第二图像帧的视差图中视差缺失的像素点和运动模糊图像中颜色融合程度参数在一定阈值范围内的像素点，就可以得到第二图像帧的不可信点。
304，利用所述第二图像帧的主要视图、所述第二图像帧的辅助视图和所述不可信点修正所述视差图，并根据修正过的所述视差图得到所述第二图像帧的深度图像。
其中，辅助视图为一个图像帧的左视图和右视图其中的一个，且一个图像帧的主要视图与辅助视图不同，比如：选取第一图像帧的左视图作为第一图像帧的主要视图，那么第一图像帧的右视图为第一图像帧的辅助视图。
其中，目标跟踪系统在不可信点所在的区域，利用块匹配算法对第二图像帧的主要视图和辅助视图进行匹配，得到不可信点所在区域的像素点的匹配结果，并利用匹配结果对第二图像帧的视差图进行修正。目标跟踪系统可以利用修正过的第二图像帧的视差图中的像素点的视差值、第二图像帧的左、右视图对应的两台摄像机之间的距离以及摄像机的焦距，通过计算得到第二图像帧中每一个像素点的深度，从而得到第二图像帧的深度图像，在本方案中，得到的深度图像中每一个像素点的深度信息都较准确。
本发明实施例提供的一种图像目标跟踪的方法，目标跟踪系统能够获取第一图像帧的主要视图和与第一图像帧相邻的第二图像帧的主要视图，并根据第一图像帧的主要视图和第二图像帧的主要视图，得到第二图像帧的运动模糊图像，获取第二图像帧的视差图，根据视差图和运动模糊图像，得到第二图像帧的不可信点，利用第二图像帧的主要视图、第二图像帧的辅助视图和不可信点修正视差图，并根据修正过的视差图得到第二图像帧的深度图像。与现有技术相比，本方案修正第二图像帧的视差图时，利用的是第二图像帧的左、右视图，而左、右视图是很相似的，避免了当跟踪目标运动过快和发生运动模糊时，现有技术中利用相邻两个图像帧进行块匹配，在前一帧彩色图像指定的搜索范围内无法找到与后一帧彩色图像的估计深度图像中的小块最相似的小块，从而无法准确匹配，得到准确的深度图像的问题，本方案利用同一图像帧的左、右视图以及不可信点对图像帧的视差图进行修复，得到图像帧的精确的深度图像，提高了图像帧的深度图像的精确度和准确度。
进一步的，在图7所示的方案的基础上，本发明实施例还提供了一种图像目标跟踪的方法的具体方案，对图7所示的302-304的执行过程进行进一步细化，其中，302可以具体实现为3021-3024，303可以具体实现为3031-3032，304可以具体实现为3041-3044，如图8a所示，包括：
3021，根据所述第二图像帧的主要视图，获取所述第二图像帧的主要视图的前景掩码图像，并标记所述前景掩码图像中的变化像素点。
其中，前景掩码图像用于表示第二图像帧的主要视图中发生运动变化的区域，变化像素点是跟踪目标发生运动变化的区域中的像素点。
其中，目标跟踪系统获取相邻的多个图像帧的主要视图，提取多个图像帧的主要视图中没有发生变化的像素点作为背景，将第二图像帧的主要视图与得到的背景相减，提取相减结果大于阈值的像素点，并对像素点进行形态学操作，得到前景掩码图像。比如：通过一次腐蚀运算去掉相减结果大于阈值的像素点中的离散点，或者通过两次膨胀运算将相减结果大于阈值的像素点所在的非连通区域连在一起，得到前景掩码图像。
比如：根据如图8b所示的1-4四个图像帧的主要视图，可以提取到如图8c所示的对应的1-4四个前景掩码图像，1-4四个前景掩码图像中的白色区域为被标记的变化像素点所在的区域。
3022，根据所述第一图像帧的主要视图中所述跟踪目标的颜色均值，获取所述前景掩码图像中的变化像素点的颜色融合程度参数。
其中，目标跟踪系统获取第一图像帧的主要视图中跟踪目标的颜色均值，通过计算，可以得到前景掩码图像中的变化像素点的颜色融合程度参数。
3023，在所述前景掩码图像中的变化像素点中，获取目标像素点。
其中，目标像素点的颜色融合程度参数在预设阈值范围中，预设阈值范围可以是最小颜色融合程度参数到最大颜色融合程度参数之间的范围，最小颜色融合程度参数和最大颜色融合程度参数是根据经验值设定的。比如：经过手工标注一系列运动图像的模糊区域与非模糊区域的像素点的颜色融合程度参数，通过统计模糊区域与非模糊区域的像素点的颜色融合程度参数，得到区分模糊区域与非模糊区域的像素点的最小颜色融合程度参数和最大颜色融合程度参数。比如：最小颜色融合程度参数alpha_min=0.15，最大颜色融合程度参数alpha_max=0.85，则将颜色融合程度参数在[0.15，0.85]区间的变化像素点标记为目标像素点。
3024，利用所述目标像素点得到所述第二图像帧的运动模糊图像。
其中，目标跟踪系统将目标像素点的像素值设置为最亮，将非目标像素点的像素值设置为最暗，从而得到第二图像帧的运动模糊图像。比如：与如图8a所示的1-4四个图像帧的主视图对应的运动模糊图像如图8d所示。
3031，在所述视差图中标记视差缺失点。
其中，视差缺失点是视差图中无法得到视差值的像素点，比如：图8e中1-4四个视差缺失图像中的白色部分为视差缺失点所在的部分，即白色部分中的像素点的视差值缺失，图8e是与图8a对应的视差缺失图像。
3032，在所述运动模糊图像中标记所述视差缺失点对应的位置上存在的所述目标像素点，并将所述视差缺失点对应的位置上存在的所述目标像素点作为所述不可信点。
其中，如果在运动模糊图像中，与视差缺失点对应的位置存在目标像素点，则将视差缺失点对应的位置存在的目标像素点标记为不可信点。比如：如图8e所示的四个视差图中，若视差图4中的白色部分的像素点所在的位置在图8d中的运动模糊图像4也是白色，则标记这些像素点作为不可信点，得到如图8f所示的由标记的不可信点得到的不可信点图像，图8f中1-4四个不可信点图像中的白色区域为标记的不可信点。
3041，获取所述第一图像帧的视差均值和视差范围阈值，并根据所述第一图像帧的视差均值和视差范围阈值，得到目标视差范围。
其中，目标视差范围用于估计第二图像帧重匹配范围，视差范围阈值可以根据经验值确定，根据第一图像的视差均值和视差范围阈值，可以得到目标视差范围。比如：第一图像帧的视差均值为L1，视差范围阈值设定为3，则目标视差范围为L1－3到L1+3。
3042，根据所述第二图像帧的主要视图中所述不可信点所在的区域和目标视差范围，得到所述第二图像帧的辅助视图中的辅助区域。其中，根据第二图像帧的主要视图中不可信点所在的区域和目标视差范围，目标跟踪系统得到了第二图像帧的辅助视图中的辅助区域，辅助区域用于与第二图像帧的主要视图中不可信点所在的区域进行重匹配，从而使目标跟踪系统得到不可信点的匹配视差
3043，对所述第二图像帧的主要视图中所述不可信点所在的区域和所述辅助区域进行重匹配，得到所述第二图像帧的主要视图中所述不可信点的匹配视差值。
其中，不可信点的匹配视差值为重匹配中不可信点匹配误差最小的视差值，利用块匹配算法对第二图像帧的辅助区域和第二图像帧的主要视图中不可信点所在的区域进行重匹配，块匹配算法可以选用SAD（Sum of Absolute Differences，差的绝对值的和）算法、SSD（Sum of Squared Differences，差的平方和）算法、NCC（Normalized Cross Correlation，灰度的归一化互相关）算法等。通过辅助区域和第二图像帧的主要视图中不可信点所在的区域的块匹配，得到第二图像帧的主要视图中不可信点的匹配视差值。
其中，目标跟踪系统对所述辅助区域和所述第二图像帧的主要视图中不可信点所在的区域进行重匹配时，需要得知第一图像帧中跟踪目标的视差均值，若第一图像帧是初始图像帧，则可以直接利用现有的识别手段得到跟踪目标所在的区域，并根据计算得到跟踪目标的视差均值；若第一图像帧不是初始图像帧，则在与第一图像帧中选取参照物，并根据参照物获得参考视差，参考视差包括参照物的视差值,参照物可以是第一图像帧中处于静态且容易识别的物体，比如：在图8a中，可以选取人脸作为参照物。目标跟踪系统可以计算参照物所在区域的像素点的视差值的平均值，并将平均值作为参照物的参考视差。得到参考视差后，在第一图像帧的修正过的视差图中，标记视差值大于等于参考视差的像素点，并将视差值大于等于参考视差的像素点所在的区域作为第一图像帧中跟踪目标所在的区域，并根据计算得到第一图像帧中跟踪目标的视差均值。
3044，将所述视差图中与所述不可信点对应的每一个像素点的视差值替换为所述不可信点的匹配视差值，得到修正过的所述视差图。
其中，将第二图像帧的视差图中与不可信点所在位置上的像素点的视差值替换为3043中得到的这个不可信点的匹配视差值，从而得到修正过的视差图。比如：图8g中的图像1-4为未修正的图像帧的视差图，图8h中的图像1-4为修正过的图像帧的视差图，对比图8g中的图像3、4和图8h中的图像3、4，可以看出修正过的图像帧的视差图中补偿了未修正的图像帧的视差图中缺失的视差信息。
本发明实施例提供的一种图像目标跟踪的方法，目标跟踪系统能够获取第一图像帧的主要视图和与第一图像帧相邻的第二图像帧的主要视图，并根据第一图像帧的主要视图和第二图像帧的主要视图，利用像素点的颜色融合程度参数和预设阈值范围，获取目标像素点，并得到第二图像帧的运动模糊图像，获取第二图像帧的视差图，根据视差图和运动模糊图像，得到第二图像帧的不可信点，对第二图像帧的主要视图中不可信点所在的区域和辅助视图中辅助区域进行重匹配，利用不可信点和匹配结果修正的二图像帧的视差图，并根据修正过的视差图得到第二图像帧的深度图像。与现有技术相比，本方案修正第二图像帧的视差图时，利用的是第二图像帧的左、右视图，而左、右视图是很相似的，避免了当跟踪目标运动过快和发生运动模糊时，现有技术中利用相邻两个图像帧进行块匹配，在前一帧彩色图像指定的搜索范围内无法找到与后一帧彩色图像的估计深度图像中的小块最相似的小块，从而无法准确匹配，得到准确的深度图像的问题，本方案利用同一图像帧的左、右视图以及不可信点对图像帧的视差图进行修复，得到图像帧的精确的深度图像，提高了图像帧的深度图像的精确度和准确度；同时，不需要技术人员手工标记并提取模糊区域，该装置可以利用颜色融合程度参数和预设阈值，获取模糊区域，并得到运动模糊图像，节省了在获取模糊区域上花费的时间和精力。
进一步的，在图8所示的方案的基础上，本发明实施例还提供了一种图像目标跟踪的方法的具体方案，对图8所示的3022的执行过程进行进一步细化，3022可以具体实现为30221-30222，如图9所示，包括：
30221，获取所述第一图像帧的主要视图中所述跟踪目标的颜色均值Cobj1。
其中，一个图像帧的主要视图中跟踪目标的颜色均值可以根据相邻的前一个图像帧的跟踪目标颜色均值与这一个图像帧中跟踪目标所在的区域在这一个图像帧的主要视图中颜色像素的均值加权和得到。比如：图像帧L(k－1)是图像帧L(k)相邻的前一个图像帧，则可以根据图像帧L(k－1)中跟踪目标的颜色均值Cobjk－1和图像帧L(k)中跟踪目标所在区域的颜色像素均值c_aver，通过公式Cobjk=c_averk-1*learning_rate+Cobjk-1*(1-learning_rate)，得到图像帧L(k)中跟踪目标的颜色均值Cobjk，其中，learning_rate为颜色学习率，也可以根据经验值设定。
30222，根据公式alpha2(x,y)*Cobj1+[1-alpha2(x,y)]*C1(x,y)=C2(x,y)，得到所述前景掩码图像中的变化像素点的颜色融合程度参数alpha2（x，y）。
其中，（x，y）是前景掩码图像中的任意一个变化像素点，C1（x，y）是第一图像帧的主要视图中的像素点(x,y)的颜色信息，C2（x，y）是所述第二图像帧的主要视图中的像素点(x,y)的颜色信息。
本发明实施例提供的一种图像目标跟踪的方法，目标跟踪系统能够获取第一图像帧的主要视图和与第一图像帧相邻的第二图像帧的主要视图，并根据第一图像帧的主要视图和第二图像帧的主要视图，利用像素点的颜色融合程度参数和预设阈值范围，获取目标像素点，并得到第二图像帧的运动模糊图像，获取第二图像帧的视差图，根据视差图和运动模糊图像，得到第二图像帧的不可信点，对第二图像帧的主要视图中不可信点所在的区域和辅助视图中辅助区域进行重匹配，利用不可信点和匹配结果修正的二图像帧的视差图，并根据修正过的视差图得到第二图像帧的深度图像。与现有技术相比，本方案修正第二图像帧的视差图时，利用的是第二图像帧的左、右视图，而左、右视图是很相似的，避免了当跟踪目标运动过快和发生运动模糊时，现有技术中利用相邻两个图像帧进行块匹配，在前一帧彩色图像指定的搜索范围内无法找到与后一帧彩色图像的估计深度图像中的小块最相似的小块，从而无法准确匹配，得到准确的深度图像的问题，本方案利用同一图像帧的左、右视图以及不可信点对图像帧的视差图进行修复，得到图像帧的精确的深度图像，提高了图像帧的深度图像的精确度和准确度；同时，不需要技术人员手工标记并提取模糊区域，该装置可以利用颜色融合程度参数和预设阈值，获取模糊区域，并得到运动模糊图像，节省了在获取模糊区域上花费的时间和精力。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种图像目标跟踪的装置，其特征在于，包括：
第一获取模块，用于获取第一图像帧的主要视图和与所述第一图像帧相邻的第二图像帧的主要视图，一个图像帧的主要视图包括所述一个图像帧的左视图和右视图其中的一个，其中，所述第一图像帧的主要视图为所述第一图像帧的左视图，同时，所述第二图像帧的主要视图为所述第二图像帧的左视图；或者，所述第一图像帧的主要视图为所述第一图像帧的右视图，同时，所述第二图像帧的主要视图为所述第二图像帧的右视图；
第二获取模块，用于根据所述第一图像帧的主要视图和所述第二图像帧的主要视图，得到所述第二图像帧的运动模糊图像，所述运动模糊图像用于表示跟踪目标产生运动模糊的区域；
第三获取模块，用于获取所述第二图像帧的视差图，根据所述视差图和所述运动模糊图像，得到所述第二图像帧的不可信点，所述不可信点为所述运动模糊图像中视差值缺失的像素点；
修正模块，用于利用所述第二图像帧的主要视图、所述第二图像帧的辅助视图和所述不可信点修正所述视差图，并根据修正过的所述视差图得到所述第二图像帧的深度图像，所述辅助视图为一个图像帧的左视图和右视图其中的一个，且一个图像帧的所述主要视图与所述辅助视图不同。
2.根据权利要求1所述的装置，其特征在于，所述第二获取模块，包括：
第一获取单元，用于根据所述第二图像帧的主要视图，获取所述第二图像帧的主要视图的前景掩码图像，并标记所述前景掩码图像中的变化像素点，所述前景掩码图像用于表示所述第二图像帧的主要视图中发生运动变化的区域，所述变化像素点是所述跟踪目标发生运动变化的区域中的像素点；
第二获取单元，用于根据所述第一图像帧的主要视图中所述跟踪目标的颜色均值，获取所述前景掩码图像中的变化像素点的颜色融合程度参数；
第三获取单元，用于在所述前景掩码图像中的变化像素点中，获取目标像素点，所述目标像素点的颜色融合程度参数在预设阈值范围中；
第四获取单元，用于利用所述目标像素点得到所述第二图像帧的运动模糊图像。
3.根据权利要求2所述的方法，其特征在于，所述第二获取单元，包括：
第一获取子单元，用于获取所述第一图像帧的主要视图中所述跟踪目标的颜色均值Cobj1；
第二获取子单元，用于根据公式
alpha2(x,y)*Cobj1+[1-alpha2(x,y)]*C1(x,y)=C2(x,y)，得到所述前景掩码图像中的变化像素点的颜色融合程度参数alpha2（x，y），其中，C1（x，y）是所述第一图像帧的主要视图中的像素点(x,y)的颜色信息，C2（x，y）是所述第二图像帧的主要视图中的像素点(x,y)的颜色信息。
4.根据权利要求1或2所述的方法，其特征在于，所述第三获取模块，包括：
第一标记单元，用于在所述视差图中标记视差缺失点，所述视差缺失点是所述视差图中无法得到视差值的像素点；
第二标记单元，用于在所述运动模糊图像中标记所述视差缺失点对应的位置上存在的所述目标像素点，并将所述视差缺失点对应的位置上存在的所述目标像素点作为所述不可信点。
5.根据权利要求1所述的方法，其特征在于，所述修正模块，包括：
第五获取单元，用于获取所述第一图像帧的视差均值和视差范围阈值，并根据所述第一图像帧的视差均值和视差范围阈值，得到目标视差范围，所述目标视差范围用于估计第二图像帧重匹配范围；
第六获取单元，用于根据所述第二图像帧的主要视图中所述不可信点所在的区域和目标视差范围，得到所述第二图像帧的辅助视图中的辅助区域；
匹配单元，用于对所述第二图像帧的主要视图中所述不可信点所在的区域和所述辅助区域进行重匹配，得到所述第二图像帧的主要视图中所述不可信点的匹配视差值，所述不可信点的匹配视差值为重匹配中所述不可信点匹配误差最小的视差值；
修正单元，用于将所述视差图中与所述不可信点对应的每一个像素点的视差值替换为所述不可信点的匹配视差值，得到修正过的所述视差图。
6.一种图像目标跟踪的方法，其特征在于，用于一种目标跟踪系统，包括：
所述目标跟踪系统获取第一图像帧的主要视图和与所述第一图像帧相邻的第二图像帧的主要视图，一个图像帧的主要视图包括所述一个图像帧的左视图和右视图其中的一个，其中，所述第一图像帧的主要视图为所述第一图像帧的左视图，同时，所述第二图像帧的主要视图为所述第二图像帧的左视图；或者，所述第一图像帧的主要视图为所述第一图像帧的右视图，同时，所述第二图像帧的主要视图为所述第二图像帧的右视图；
根据所述第一图像帧的主要视图和所述第二图像帧的主要视图，得到所述第二图像帧的运动模糊图像，所述运动模糊图像用于表示跟踪目标产生运动模糊的区域；
获取所述第二图像帧的视差图，根据所述视差图和所述运动模糊图像，得到所述第二图像帧的不可信点，所述不可信点为所述运动模糊图像中视差值缺失的像素点；
利用所述第二图像帧的主要视图、所述第二图像帧的辅助视图和所述不可信点修正所述视差图，并根据修正过的所述视差图得到所述第二图像帧的深度图像，所述辅助视图为一个图像帧的左视图和右视图其中的一个，且一个图像帧的所述主要视图与所述辅助视图不同。
7.根据权利要求6所述的方法，其特征在于，所述根据所述第一图像帧的主要视图和所述第二图像帧的主要视图，得到所述第二图像帧的运动模糊图像，包括：
根据所述第二图像帧的主要视图，获取所述第二图像帧的主要视图的前景掩码图像，并标记所述前景掩码图像中的变化像素点，所述前景掩码图像用于表示所述第二图像帧的主要视图中发生运动变化的区域，所述变化像素点是所述跟踪目标发生运动变化的区域中的像素点；
根据所述第一图像帧的主要视图中所述跟踪目标的颜色均值，获取所述前景掩码图像中的变化像素点的颜色融合程度参数；
在所述前景掩码图像中的变化像素点中，获取目标像素点，所述目标像素点的颜色融合程度参数在预设阈值范围中；
利用所述目标像素点得到所述第二图像帧的运动模糊图像。
8.根据权利要求7所述的方法，其特征在于，所述根据所述第一图像帧的主要视图中所述跟踪目标的颜色均值，获取所述前景掩码图像中的变化像素点的颜色融合程度参数，包括：
获取所述第一图像帧的主要视图中所述跟踪目标的颜色均值Cobj1；
根据公式alpha2(x,y)*Cobj1+[1-alpha2(x,y)]*C1(x,y)=C2(x,y)，得到所述前景掩码图像中的变化像素点的颜色融合程度参数alpha2（x，y），其中，C1（x，y）是所述第一图像帧的主要视图中的像素点(x,y)的颜色信息，C2（x，y）是所述第二图像帧的主要视图中的像素点(x,y)的颜色信息。
9.根据权利要求6或7所述的方法，其特征在于，所述获取所述第二图像帧的视差图，根据所述视差图和所述运动模糊图像，得到所述第二图像帧的不可信点，包括：
在所述视差图中标记视差缺失点，所述视差缺失点是所述视差图中无法得到视差值的像素点；
在所述运动模糊图像中标记所述视差缺失点对应的位置上存在的所述目标像素点，并将所述视差缺失点对应的位置上存在的所述目标像素点作为所述不可信点。
10.根据权利要求6所述的方法，其特征在于，所述利用所述第二图像帧的主要视图、所述第二图像帧的辅助视图和所述不可信点修正所述视差图，包括：
获取所述第一图像帧的视差均值和视差范围阈值，并根据所述第一图像帧的视差均值和视差范围阈值，得到目标视差范围，所述目标视差范围用于估计第二图像帧重匹配范围；
根据所述第二图像帧的主要视图中所述不可信点所在的区域和目标视差范围，得到所述第二图像帧的辅助视图中的辅助区域；
用于对所述第二图像帧的主要视图中所述不可信点所在的区域和所述辅助区域进行重匹配，得到所述第二图像帧的主要视图中所述不可信点的匹配视差值，所述不可信点的匹配视差值为重匹配中所述不可信点匹配误差最小的视差值；
将所述视差图中与所述不可信点对应的每一个像素点的视差值替换为所述不可信点的匹配视差值，得到修正过的所述视差图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310754378.6A CN103729860B (zh) | 2013-12-31 | 2013-12-31 | 一种图像目标跟踪的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310754378.6A CN103729860B (zh) | 2013-12-31 | 2013-12-31 | 一种图像目标跟踪的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103729860A true CN103729860A (zh) | 2014-04-16 |
| CN103729860B CN103729860B (zh) | 2016-10-05 |
Family
ID=50453921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310754378.6A Expired - Fee Related CN103729860B (zh) | 2013-12-31 | 2013-12-31 | 一种图像目标跟踪的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103729860B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105335955A (zh) * | 2014-07-17 | 2016-02-17 | 株式会社理光 | 对象检测方法和对象检测装置 |
| CN104091350B (zh) * | 2014-06-20 | 2017-08-25 | 华南理工大学 | 一种利用运动模糊信息的物体跟踪方法 |
| CN108305273A (zh) * | 2017-11-27 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种对象检测方法、装置及存储介质 |
| CN108447060A (zh) * | 2018-01-29 | 2018-08-24 | 上海数迹智能科技有限公司 | 基于rgb-d图像的前后景分离方法及其前后景分离装置 |
| CN110163188A (zh) * | 2019-06-10 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 视频处理以及在视频中嵌入目标对象的方法、装置和设备 |
| CN111368813A (zh) * | 2020-05-27 | 2020-07-03 | 支付宝(杭州)信息技术有限公司 | 运动模糊图像的识别方法、装置、电子设备和支付设备 |
| CN112598610A (zh) * | 2020-12-11 | 2021-04-02 | 杭州海康机器人技术有限公司 | 一种深度图像获得方法、装置、电子设备及存储介质 |
| CN113034595A (zh) * | 2021-03-19 | 2021-06-25 | 浙江商汤科技开发有限公司 | 视觉定位的方法和相关装置、设备、存储介质 |
| WO2022206494A1 (zh) * | 2021-03-29 | 2022-10-06 | 华为技术有限公司 | 目标跟踪方法及其装置 |
| CN115171030A (zh) * | 2022-09-09 | 2022-10-11 | 山东省凯麟环保设备股份有限公司 | 基于多级特征融合的多模态图像分割方法、系统及器件 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101808251A (zh) * | 2010-04-06 | 2010-08-18 | 浙江大学 | 立体图像对中遮挡信息的提取方法 |
| US20110080466A1 (en) * | 2009-10-07 | 2011-04-07 | Spatial View Inc. | Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images |
| WO2011155330A1 (ja) * | 2010-06-07 | 2011-12-15 | ソニー株式会社 | 立体画像表示システム、視差変換装置、視差変換方法およびプログラム |
| CN102542541A (zh) * | 2011-12-31 | 2012-07-04 | 浙江大学 | 深度图像后处理的方法 |
-
2013
- 2013-12-31 CN CN201310754378.6A patent/CN103729860B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110080466A1 (en) * | 2009-10-07 | 2011-04-07 | Spatial View Inc. | Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images |
| CN101808251A (zh) * | 2010-04-06 | 2010-08-18 | 浙江大学 | 立体图像对中遮挡信息的提取方法 |
| WO2011155330A1 (ja) * | 2010-06-07 | 2011-12-15 | ソニー株式会社 | 立体画像表示システム、視差変換装置、視差変換方法およびプログラム |
| CN102542541A (zh) * | 2011-12-31 | 2012-07-04 | 浙江大学 | 深度图像后处理的方法 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091350B (zh) * | 2014-06-20 | 2017-08-25 | 华南理工大学 | 一种利用运动模糊信息的物体跟踪方法 |
| CN105335955A (zh) * | 2014-07-17 | 2016-02-17 | 株式会社理光 | 对象检测方法和对象检测装置 |
| CN108305273B (zh) * | 2017-11-27 | 2019-08-27 | 腾讯科技（深圳）有限公司 | 一种对象检测方法、装置及存储介质 |
| CN108305273A (zh) * | 2017-11-27 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种对象检测方法、装置及存储介质 |
| CN108447060B (zh) * | 2018-01-29 | 2021-07-09 | 上海数迹智能科技有限公司 | 基于rgb-d图像的前后景分离方法及其前后景分离装置 |
| CN108447060A (zh) * | 2018-01-29 | 2018-08-24 | 上海数迹智能科技有限公司 | 基于rgb-d图像的前后景分离方法及其前后景分离装置 |
| CN110163188A (zh) * | 2019-06-10 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 视频处理以及在视频中嵌入目标对象的方法、装置和设备 |
| CN110163188B (zh) * | 2019-06-10 | 2023-08-08 | 腾讯科技（深圳）有限公司 | 视频处理以及在视频中嵌入目标对象的方法、装置和设备 |
| CN111368813A (zh) * | 2020-05-27 | 2020-07-03 | 支付宝(杭州)信息技术有限公司 | 运动模糊图像的识别方法、装置、电子设备和支付设备 |
| CN112598610A (zh) * | 2020-12-11 | 2021-04-02 | 杭州海康机器人技术有限公司 | 一种深度图像获得方法、装置、电子设备及存储介质 |
| CN113034595A (zh) * | 2021-03-19 | 2021-06-25 | 浙江商汤科技开发有限公司 | 视觉定位的方法和相关装置、设备、存储介质 |
| CN113034595B (zh) * | 2021-03-19 | 2024-06-07 | 浙江商汤科技开发有限公司 | 视觉定位的方法和相关装置、设备、存储介质 |
| WO2022206494A1 (zh) * | 2021-03-29 | 2022-10-06 | 华为技术有限公司 | 目标跟踪方法及其装置 |
| CN115171030A (zh) * | 2022-09-09 | 2022-10-11 | 山东省凯麟环保设备股份有限公司 | 基于多级特征融合的多模态图像分割方法、系统及器件 |
| CN115171030B (zh) * | 2022-09-09 | 2023-01-31 | 山东省凯麟环保设备股份有限公司 | 基于多级特征融合的多模态图像分割方法、系统及器件 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103729860B (zh) | 2016-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103729860A (zh) | 一种图像目标跟踪的方法和装置 | |
| Pfeiffer et al. | Exploiting the power of stereo confidences | |
| CN101527046B (zh) | 一种运动检测方法、装置和系统 | |
| CN102867311B (zh) | 目标跟踪方法和目标跟踪设备 | |
| CN103116896B (zh) | 一种基于视觉显著性模型的自动检测跟踪方法 | |
| US20200012877A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| CN112184757B (zh) | 运动轨迹的确定方法及装置、存储介质、电子装置 | |
| CN105678748A (zh) | 三维监控系统中基于三维重构的交互式标定方法和装置 | |
| CN112418288B (zh) | 一种基于gms和运动检测的动态视觉slam方法 | |
| CN110570453A (zh) | 一种基于双目视觉的闭环式跟踪特征的视觉里程计方法 | |
| CN103002309B (zh) | 对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法 | |
| CN103702103B (zh) | 基于双目相机的光栅立体印刷图像合成方法 | |
| CN112446882A (zh) | 一种动态场景下基于深度学习的鲁棒视觉slam方法 | |
| CN101765019B (zh) | 一种用于运动模糊和光照变化图像的立体匹配方法 | |
| JP2021060868A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN104200492A (zh) | 基于轨迹约束的航拍视频目标自动检测跟踪方法 | |
| CN109978919A (zh) | 一种基于单目相机的车辆定位方法及系统 | |
| CN115457086A (zh) | 基于双目视觉和卡尔曼滤波的多目标跟踪算法 | |
| CN104331890A (zh) | 一种全局视差估计方法和系统 | |
| CN116309686A (zh) | 游泳运动员视频定位测速方法、装置、设备及存储介质 | |
| Li et al. | Scale-aware monocular SLAM based on convolutional neural network | |
| CN113610932B (zh) | 双目相机外参标定方法和装置 | |
| CN114494582A (zh) | 一种基于视觉感知的三维模型动态更新方法 | |
| CN116030340A (zh) | 机器人、定位信息确定方法、装置及存储介质 | |
| CN105138979A (zh) | 基于立体视觉的运动人体头部检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20161005 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |