CN107480580B

CN107480580B - 图像识别方法和图像识别装置

Info

Publication number: CN107480580B
Application number: CN201710207423.4A
Authority: CN
Inventors: 严彦; 肖洪波
Original assignee: Senscape Technologies Beijing Co ltd
Current assignee: Senscape Technologies Beijing Co ltd
Priority date: 2017-03-31
Filing date: 2017-03-31
Publication date: 2021-06-15
Anticipated expiration: 2037-03-31
Also published as: CN107480580A

Abstract

本发明公开一种图像识别方法和图像识别装置。该方法包括：步骤1，获取当前帧图像，并确定所述当前帧图像的特征点，根据所述特征点识别出被跟踪的物体；步骤2，将所述当前帧与当前关键帧的重合度，以及所述当前帧与历史关键帧的重合度进行比较；步骤3，如果所述当前帧与所述历史关键帧的重合度比所述当前帧与当前关键帧的重合度高，则将所述当前关键帧切换为所述历史关键帧；步骤4，计算当前帧相对于第一个关键帧的旋转和位移，步骤5，判断所述当前帧相对于所述第一个关键帧的旋转和位移是否超过预设阈值；步骤6，如果超过，则将当前帧创建为一个新的关键帧。通过本发明的图像识别方法和图像识别装置，实现了定位计算结果的准确和连续。

Description

图像识别方法和图像识别装置

技术领域

本发明涉及图像识别领域，具体而言，涉及一种图像识别方法和图像识别装置。

背景技术

机械维修、售后服务或远程指导等远程服务应用程序主要包括终端和服务器两部分，当终端需要远程服务时，服务器需对终端传输的视频进行远程视频处理，以便为终端远程服务。

现有技术中，当终端需要远程服务时，终端传输视频流给服务器。服务器接收终端传输的视频流，在视频流的第一帧中人工标注出待跟踪目标，并在待跟踪目标上添加标识。对于第一帧之后的每帧图像，都需要根据前一帧图像中待跟踪目标的位置，确定当前帧图像中待跟踪目标的位置，并在当前帧图像中的待跟踪目标上添加标识。

现有技术通过识别和跟踪场景中某一张平面图片来实现定位的，但是这个方法计算的结果不够准确，而且当识别的图片离开手机屏幕时便不能继续定位了，会造成无法形成连续流程的定位体验。因而，亟需要一种定位计算结果准确连续的图像识别方法。

发明内容

本发明实施例中提供一种图像识别方法和图像识别装置，以实现定位计算结果的准确和连续。

为实现上述目的，本发明实施例提供一种图像识别方法，包括：步骤1，获取当前帧图像，并确定所述当前帧图像的特征点，根据所述特征点识别出被跟踪的物体；

步骤2，将所述当前帧与当前关键帧的重合度，以及所述当前帧与历史关键帧的重合度进行比较；

步骤3，如果所述当前帧与所述历史关键帧的重合度比所述当前帧与当前关键帧的重合度高，则将所述当前关键帧切换为所述历史关键帧；

步骤4，计算当前帧相对于第一个关键帧的旋转和位移，

步骤5，判断所述当前帧相对于所述第一个关键帧的旋转和位移是否超过预设阈值；

步骤6，如果超过，则将当前帧创建为一个新的关键帧。

在其中一个实施例中，所述步骤2之前还包括：

计算所述当前帧的对于所述被跟踪物体的特征点摘要；

根据所述特征点摘要判断是否和所述历史关键帧匹配；

如果是，则进入所述步骤2，如果否，则计算所述当前帧和所述关键帧之间的旋转和位移。

在其中一个实施例中，所述步骤2之后还包括：

如果所述当前帧与所述历史关键帧的重合度不比所述当前帧与所述当前关键帧的重合度高，则根据所述匹配的关键帧来修正当前关键帧相对于第一个关键帧的旋转和位移。

在其中一个实施例中，所述步骤步骤3和步骤4之间还包括：

计算所述当前帧和其对应的关键帧之间的旋转和位移。

在其中一个实施例中，所述步骤4之后还包括：

将所述旋转和位移数据传输到显示跟踪标记显示的进程。

在其中一个实施例中，所述步骤5之后还包括：

如果所述当前帧相对于所述第一个关键帧的旋转和位移不超过预设阈值，则返回到步骤1。

在其中一个实施例中，所述步骤6之后还包括：返回到步骤1。

作为本发明实施例的另一方面，本发明还提供了一种图像识别装置，包括：

图像识别模块，用于获取当前帧图像，并确定所述当前帧图像的特征点，根据所述特征点识别出被跟踪的物体；

重合度比较模块，用于将所述当前帧与当前关键帧的重合度，以及所述当前帧与历史关键帧的重合度进行比较；

切换模块，用于如果所述当前帧与所述历史关键帧的重合度比所述当前帧与当前关键帧的重合度高时，则将所述当前关键帧切换为所述历史关键帧；

第一计算模块，用于计算当前帧相对于第一个关键帧的旋转和位移；

第一判断模块，用于判断所述当前帧相对于所述第一个关键帧的旋转和位移是否超过预设阈值；

创建模块，用于如果所述当前帧相对于所述第一个关键帧的旋转和位移超过预设阈值时，则将当前帧创建为一个新的关键帧。

在其中一个实施例中，所述图像识别装置还包括：

摘要计算模块，用于计算所述当前帧的对于所述被跟踪物体的特征点摘要；

匹配判断模块，用于根据所述特征点摘要判断是否和所述历史关键帧匹配；

第二计算模块，用于如果根据所述特征点摘要判断和所述历史关键帧不匹配时，计算所述当前帧和所述关键帧之间的旋转和位移。

在其中一个实施例中，所述图像识别装置还包括：

修正模块，用于如果所述当前帧与所述历史关键帧的重合度不比所述当前帧与所述当前关键帧的重合度高，则根据所述匹配的关键帧来修正当前关键帧相对于第一个关键帧的旋转和位移。

现有技术中因摄像头例如手机摄像头距离比较远的情况下，跟踪的精度就会下降很多，也会变得很容易跟踪失败或者运行不稳定。根据本发明提供的图像识别方法和装置，因为包括了对当前关键帧切换为重合度更高的关键帧，以及创建新的关键帧的步骤，所以能够自动实现定位计算结果的准确和连续，提升了可靠度。

附图说明

图1是本发明实施例的图像识别方法的流程图。

图2是本发明实施例的图像识别方法的另一流程图。

图3是本发明实施例的图像识别装置的示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细描述，但不作为对本发明的限定。

如图1所示，本发明实施例提供一种图像识别方法，包括：

步骤S1，获取当前帧图像，并确定所述当前帧图像的特征点，根据所述特征点识别出被跟踪的物体；

步骤S2，将所述当前帧与当前关键帧的重合度，以及所述当前帧与历史关键帧的重合度进行比较；

步骤S3，如果所述当前帧与所述历史关键帧的重合度比所述当前帧与当前关键帧的重合度高，则将所述当前关键帧切换为所述历史关键帧；

步骤S4，计算当前帧相对于第一个关键帧的旋转和位移，

步骤S5，判断所述当前帧相对于所述第一个关键帧的旋转和位移是否超过预设阈值；

步骤S6，如果超过，则将当前帧创建为一个新的关键帧。

其中，步骤S1是一个不断循环的过程。如果没有识别出被跟踪的物体，则继续执行获取当前帧图像，确定特征点，根据特征点做识别，知道识别出来被跟踪的物体为止。

其中，步骤S1中的获取当前帧图像，可以从终端传输的视频流中的获取的当前帧图像。

其中，步骤S4中，计算旋转和位移的方法有很多种，举例来说，求解方法通常分特征点法和直接法两种，这也是视觉里程计的两类基本方法。特征点法的思路，是先从图像当中提取许多特征，然后在图像间进行特征匹配，这样就得到许多匹配好的点，再根据这些点进行相机位姿的求解。从而根据相给定的若干图像，来估计和计算出其中相机运动的路径，因此也就对被跟踪物体实现了定位功能。步骤S4中的数据计算是为了传输给显示跟踪标记显示的进程做准备。

其中，步骤S6是为了更新更准确的当前帧，以提供更准确的对被跟踪物体的定位。因此，如果当前帧相对于当前关键帧的旋转和位移超出了一定的阈值，那么就需要创建新的关键帧了。

现有技术当跟踪的图片不在手机摄像头的拍摄范围内时，就会跟踪失败。此外，由于现有技术只跟踪固定的图片，所以如果手机摄像头距离比较远的情况下，跟踪的精度就会下降很多，也会变得很容易跟踪失败或者运行不稳定。然而，当采用了上述技术方案后，由于跟踪的不再是固定的图片，而是跟踪的当前关键帧，并且当前关键帧还做了不断的切换和新建功能，是一个动态的重合度更高匹配度更好的关键帧了，因此，上述两个问题都能够得到有效的解决。

如图2所示，为了进一步减少步骤S2的计算量，在步骤S2之前可以做一些预处理。例如，作为本发明的另一个实施例，所述步骤S2之前还包括：

步骤S101，计算所述当前帧的对于所述被跟踪物体的特征点摘要；

步骤S102，根据所述特征点摘要判断是否和所述历史关键帧匹配；

如果是，则进入所述步骤S2；

如果否，则计算所述当前帧和所述关键帧之间的旋转和位移（如步骤S104）。这里的数据计算也是为了传输给显示跟踪标记显示的进程做准备。

确定所述当前帧图像的特征点。图像的特征点可以包括颜色特征、纹理特征、形状特征以及局部特征点等。其中局部特点具有很好的稳定性，不容易受外界环境的干扰。

图像特征提取是图像分析与图像识别的前提，它是将高维的图像数据进行简化表达最有效的方式，从一幅图像的M×N×3M×N×3的数据矩阵中，我们看不出任何信息，所以我们必须根据这些数据提取出图像中的关键信息，一些基本元件以及它们的关系。

局部特征点是图像特征的局部表达，它只能反正图像上具有的局部特殊性，所以它只适合于对图像进行匹配，检索等应用。对于图像理解则不太适合。而后者更关心一些全局特征，如颜色分布，纹理特征，主要物体的形状等。全局特征容易受到环境的干扰，光照，旋转，噪声等不利因素都会影响全局特征。相比而言，局部特征点，往往对应着图像中的一些线条交叉，明暗变化的结构中，受到的干扰也少。

而斑点与角点是两类局部特征点。斑点通常是指与周围有着颜色和灰度差别的区域，如草原上的一棵树或一栋房子。它是一个区域，所以它比角点的噪能力要强，稳定性要好。而角点则是图像中一边物体的拐角或者线条之间的交叉部分。

例如，特征点的选取可以有多种方法，对斑点检测可采用利用高斯拉普拉斯算子检测的方法（LOG）、利用像素点Hessian矩阵（二阶微分）及其行列式值的方法（DOH）、高效的尺度不变特征变换算法（SIFT）、加速鲁棒特征（SURF）等；对触点检测可采用Harris角点特征提取、FAST角点特征提取等方法。

特征点摘要就是指特征点描述子。特征点一旦检测出来，无论是斑点还是角点描述方法都是一样的，可以选用你认为最有效的特征描述子。特征描述是实现图像匹配与图像搜索必不可少的步骤。到目前为止，人们研究了各种各样的特征描述子，比较有代表性的就是浮点型特征描述子和二进帽字符串特征描述子。像SIFT与SURF算法里的，用梯度统计直方图来描述的描述子都属于浮点型特征描述子。但它们计算起来，算法复杂，效率较低，所以后来就出现了许多新型的特征描述算法，如BRIEF。后来很多二进制串描述子ORB，BRISK，FREAK等都是在它上面的基础上的改进。

如图2所示，在本发明的一个实施例中，为了进一步修正当前关键帧的定位数据，以便于定位计算结果更为准确，所述步骤S2之后还包括：

步骤S103，如果所述当前帧与所述历史关键帧的重合度不比所述当前帧与所述当前关键帧的重合度高，则根据所述匹配的关键帧来修正当前关键帧相对于第一个关键帧的旋转和位移。这样可以进一步提高当前关键帧的定位的准确度。

如图2所示，在本发明的一个实施例中，所述步骤步骤S3和步骤S4之间还包括：

计算所述当前帧和其对应的关键帧之前的旋转和位移。这样就在切换关键帧和创建关键帧之间增加了一个计算环节，做到承上启下。上面的步骤S3以及之前收集的数据都可以来到这个计算环节里，为其所用；而这里计算的数据又可以传输给显示跟踪标记显示的进程，便于查看。

如图2所示，在本发明的一个实施例中，所述步骤S4之后还包括：

步骤S105，将所述旋转和位移数据传输到显示跟踪标记显示的进程。

如图2所示，在本发明的一个实施例中，所述步骤S5之后还包括：如果所述当前帧相对于所述第一个关键帧的旋转和位移不超过预设阈值，则返回到步骤S1。也就是说，此时的关键帧还符合要求，不需要创建新的关键帧。可以从步骤S1里再获取一个当前帧图像，进行上述步骤S1-S5的循环。在循环中，查到了符合切换和创建关键帧的条件时，进行切换和创建，是一个动态监测和计算的过程，以实现对被跟踪物体定位的准确。

如图2所示，在本发明的一个实施例中，所述步骤S6之后还包括：返回到步骤S1。这样就能完成一个循环，不断的实现对跟踪物体的图像识别。

现有技术当跟踪的图片不在手机摄像头的拍摄范围内时，就会跟踪失败。此外，由于现有技术只跟踪固定的图片，所以如果手机摄像头距离比较远的情况下，跟踪的精度就会下降很多，也会变得很容易跟踪失败或者运行不稳定。为此，当采用了上述技术方案后，由于跟踪的不再是固定的图片，而是跟踪的当前关键帧，并且当前关键帧还做了不断的切换和新建功能，是一个动态的重合度更高匹配度更好的关键帧了，因此，上述两个问题都能够得到有效的解决。

本发明还提供了一种图像识别装置，其属于与上述的图像识别方法对应的功能模块装置，因此，与上述方法相同之处在此不再赘述。

如图3所示，在一个的实施例中，该图像识别装置200包括：

图像识别模211，用于获取当前帧图像，并确定所述当前帧图像的特征点，根据所述特征点识别出被跟踪的物体；

重合度比较模块212，用于将所述当前帧与当前关键帧的重合度，以及所述当前帧与历史关键帧的重合度进行比较；

切换模块213，用于如果所述当前帧与所述历史关键帧的重合度比所述当前帧与当前关键帧的重合度高时，则将所述当前关键帧切换为所述历史关键帧；

第一计算模块214，用于计算当前帧相对于第一个关键帧的旋转和位移；

第一判断模块215，用于判断所述当前帧相对于所述第一个关键帧的旋转和位移是否超过预设阈值；

创建模块216，用于如果所述当前帧相对于所述第一个关键帧的旋转和位移超过预设阈值时，则将当前帧创建为一个新的关键帧。

在本发明的另一个实施例中，也如图3所示，所述图像识别装置还包括：

摘要计算模块231，用于计算所述当前帧的对于所述被跟踪物体的特征点摘要；

匹配判断模块232，用于根据所述特征点摘要判断是否和所述历史关键帧匹配；

第二计算模块233，用于如果根据所述特征点摘要判断和所述历史关键帧不匹配时，计算所述当前帧和所述关键帧之间的旋转和位移。

在本发明的另一个实施例中，如图3所示，所述图像识别装置还包括：

修正模块234，用于如果所述当前帧与所述历史关键帧的重合度不比所述当前帧与所述当前关键帧的重合度高，则根据所述匹配的关键帧来修正当前关键帧相对于第一个关键帧的旋转和位移。这个可以进一步提高当前关键帧的定位的准确度。

当然，以上是本发明的优选实施方式。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明基本原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims

1.一种图像识别方法，其特征在于，包括：

步骤1，获取当前帧图像，并确定所述当前帧图像的特征点，根据所述特征点识别出被跟踪的物体；

步骤2，将所述当前帧图像与当前关键帧的重合度，以及所述当前帧图像与历史关键帧的重合度进行比较；

步骤3，如果所述当前帧图像与所述历史关键帧的重合度比所述当前帧图像与当前关键帧的重合度高，则将所述当前关键帧切换为所述历史关键帧；

步骤4，计算当前帧图像相对于第一个关键帧的旋转和位移；

步骤5，判断所述当前帧图像相对于所述第一个关键帧的旋转和位移是否超过预设阈值；

步骤6，如果超过，则将当前帧图像创建为一个新的关键帧。

2.根据权利要求1所述的图像识别方法，其特征在于，所述步骤2之前还包括：

计算所述当前帧图像的对于所述被跟踪物体的特征点摘要；

根据所述特征点摘要判断是否和所述历史关键帧匹配；

如果是，则进入所述步骤2，如果否，则计算所述当前帧图像和所述关键帧之间的旋转和位移。

3.根据权利要求2所述的图像识别方法，其特征在于，所述步骤2之后还包括：

如果所述当前帧图像与所述历史关键帧的重合度不比所述当前帧图像与所述当前关键帧的重合度高，则根据所述匹配的关键帧来修正当前关键帧相对于第一个关键帧的旋转和位移。

4.根据权利要求1所述的图像识别方法，其特征在于，所述步骤3和步骤4之间还包括：计算所述当前帧图像和其对应的关键帧之间的旋转和位移。

5.根据权利要求1所述的图像识别方法，其特征在于，所述步骤4之后还包括：

将所述旋转和位移数据传输到显示跟踪标记显示的进程。

6.根据权利要求1所述的图像识别方法，其特征在于，所述步骤5之后还包括：

如果所述当前帧图像相对于所述第一个关键帧的旋转和位移不超过预设阈值，则返回到步骤1。

7.根据权利要求1所述的图像识别方法，其特征在于，所述步骤6之后还包括：返回到步骤1。

8.一种图像识别装置，其特征在于，包括：

重合度比较模块，用于将所述当前帧图像与当前关键帧的重合度，以及所述当前帧图像与历史关键帧的重合度进行比较；

切换模块，用于如果所述当前帧图像与所述历史关键帧的重合度比所述当前帧图像与当前关键帧的重合度高时，则将所述当前关键帧切换为所述历史关键帧；

第一计算模块，用于计算当前帧图像相对于第一个关键帧的旋转和位移；

第一判断模块，用于判断所述当前帧图像相对于所述第一个关键帧的旋转和位移是否超过预设阈值；

创建模块，用于如果所述当前帧图像相对于所述第一个关键帧的旋转和位移超过预设阈值时，则将当前帧图像创建为一个新的关键帧。

9.根据权利要求8所述的图像识别装置，其特征在于，所述图像识别装置还包括：

摘要计算模块，用于计算所述当前帧图像的对于所述被跟踪物体的特征点摘要；

第二计算模块，用于如果根据所述特征点摘要判断和所述历史关键帧不匹配时，计算所述当前帧图像和所述关键帧之间的旋转和位移。

10.根据权利要求8所述的图像识别装置，其特征在于，所述图像识别装置还包括：

修正模块，用于如果所述当前帧图像与所述历史关键帧的重合度不比所述当前帧图像与所述当前关键帧的重合度高，则根据所述匹配的关键帧来修正当前关键帧相对于第一个关键帧的旋转和位移。