CN109376631B

CN109376631B - 一种基于神经网络的回环检测方法及装置

Info

Publication number: CN109376631B
Application number: CN201811194165.1A
Authority: CN
Inventors: 徐建鹏; 孙海春; 尹军祖
Original assignee: PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA
Current assignee: PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA
Priority date: 2018-10-12
Filing date: 2018-10-12
Publication date: 2020-12-29
Anticipated expiration: 2038-10-12
Also published as: CN109376631A

Abstract

本发明实施例提供一种基于神经网络的回环检测方法及装置。方法包括获取待检测图像集，并通过神经网络模型分别对所述待检测图像集中的每张图像进行图像语义提取，获得每张图像对应的语义特征种类、语义特征数量和特征像素位置；若语义特征数量大于1，则根据每张图像对应的语义种类、语义数量和特征像素位置获得对应的二维语义特征向量图；根据每张图像对应的二维语义特征向量图计算两两图像之间的相似度，并根据所述相似度判断所述两张图像是否为回环。装置用于执行上述方法。本发明实施例能够大大提高回环检测的准确性以及降低召回率。

Description

一种基于神经网络的回环检测方法及装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种基于神经网络的回环检测方法及装置。

背景技术

在视觉SLAM(即时定位与地图构建)中，前端提供特征点的提取和轨迹、地图的初始值，而后端负责对所有数据进行优化。然而，如果仅考虑相邻时间上的关联，那么之前产生的误差将不可避免的累积到下一时刻，使得整个SLAM会出现累积误差，长期估计的结果将不可靠，无法构建全局一致的轨迹和地图。通过引入回环检测，能够给出除了相邻帧之外的一些时隔更加久远的约束。

传统的的回环检测过程主要由词袋模型(Bag-of-Words,BoW)来实现，但由于采用了尺度不变特征变换匹配(Scale Invariant Feature Transform，SIFT)算法、快速特征点提取和描述(Oriented FAST and Rotated BRIEF，ORB)等人工设计特征，语义层面的信息提取不足，词袋规模庞大，导致了较高的召回率和较低的准确率。

发明内容

有鉴于此，本发明实施例的目的在于提供一种基于神经网络的回环检测方法及装置，以解决上述技术问题。

第一方面，本发明实施例提供了一种基于神经网络的回环检测方法，包括：

获取待检测图像集，并通过神经网络模型分别对所述待检测图像集中的每张图像进行图像语义提取，获得每张图像对应的提取结果，所述提取结果包括语义特征种类、语义特征数量和特征像素位置；

若所述语义特征数量大于1，则根据每张图像对应的语义种类、语义数量和特征像素位置获得对应的二维语义特征向量图；

根据每张图像对应的二维语义特征向量图计算两两图像之间的相似度，并根据所述相似度判断所述两张图像是否为回环。

进一步地，所述根据每张图像对应的二维语义特征向量图计算两两图像之间的相似度，包括：

若两张图像之间间隔的图像个数大于第一预设值，则根据这两张图像分别对应的二维语义特征向量图计算这两张图像之间的相似度。

进一步地，在根据所述相似度判断所述两张图像是否为回环之后，所述方法，还包括：

获取待验证回环对应的两张图像的相机位姿信息，所述待验证回环包括根据相似度判断两张图像为回环的回环；

根据所述相机位姿信息获得相机位姿矩阵，根据所述相机位姿矩阵计算获得验证值，若所述验证值小于第二预设值，则所述待验证回环确定为回环。

进一步地，所述根据每张图像对应的语义种类、语义数量和特征像素位置获得对应的二维语义特征向量图，包括：

对每张图像i^x的提取结果根据R_x＝Semantic^x进行处理；

其中，Semantic^x为图像i^x的语义特征种类集合，

根据所述提取结果和所述提取结果对应的图像的中心点的像素位置信息生成对应图像的二维语义特征向量图。

进一步地，所述根据每张图像对应的二维语义特征向量图计算两两图像之间的相似度，并根据所述相似度判断所述两张图像是否为回环，包括：

根据每张图像对应的所述二维语义特征向量图构建数据结构，所述数据结构公式如下：

其中，

为第i个语义特征的像素中心坐标，

为第i个语义特征的向量长度，

为第i个语义特征的向量角度；

根据两张图像分别对应的数据结构计算相似度E(j,k)；其中，

为最后一对语义特征的像素中心坐标误差，

为除最后以外的语义特征像素中心坐标误差，

为语义特征向量长度误差，

为语义特征向量角度误差；

若所述相似度小于第三预设值，则判断所述两张图像为回环。

进一步地，所述根据所述相机位姿信息获得相机位姿矩阵，根据所述相机位姿矩阵计算获得验证值，包括：

根据公式

计算获得相机位姿矩阵；

根据公式

计算获得图像i和图像j之间的验证值；

其中，T(i,j)为矩阵T的第i行第j列元素值，r为旋转矩阵，t为平以矩阵。

进一步地，所述方法，还包括：

若所述语义特征数量等于1，则根据所述神经网络模型获得每一图像对应的特征图；

根据每一图像的对应的特征图计算两两图像之间的差后图像，其中差后图像是将两张图像分别对应的特征图的像素值作差后获得的；

将所述差后图像进行灰度变换，获得所述差后图像对应的灰度直方图；

若所述差后图像的灰度直方图中的灰度值全部小于第四预设值，且灰度值为0的像素点个数占所述差后图像中所有的像素点总个数的比值大于第五预设值，则判断所述两张图像为回环。

第二方面，本发明实施例提供了一种回环检测装置，包括：

语义提取模块，用于获取待检测图像集，并通过神经网络模型分别对所述待检测图像集中的每张图像进行图像语义提取，获得每张图像对应的提取结果，所述提取结果包括语义特征种类、语义特征数量和特征像素位置；

向量获取模块，用于若所述语义特征数量大于1，则根据每张图像对应的语义种类、语义数量和特征像素位置获得对应的二维语义特征向量图；

回环判断模块，用于根据每张图像对应的二维语义特征向量图计算两两图像之间的相似度，并根据所述相似度判断所述两张图像是否为回环。

第三方面，本发明实施例提供一种电子设备，包括：处理器、存储器和总线，其中，

所述处理器和所述存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的方法步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，包括：

所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的方法步骤。

本发明实施例通过利用神经网络对待检测图像集中的每张图像进行语义提取，获得二维语义特征向量图，根据二维语义特征向量图计算获得待判断的两张图像之间的相似度，根据相似度判断是否为回环，考虑到了语义特征种类、语义特征数量和特征像素位置，因此，能够大大提高检测的准确率以及降低召回率。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种基于神经网络的回环检测方法流程示意图；

图2为本发明实施例提供的相似度计算流程示意图；

图3为本发明实施例提供的一种回环检测方法示意图；

图4为本发明实施例提供的回环检测装置结构示意图；

图5为本发明实施例提供的电子设备的结构框图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

本发明实施例在判断相机在运动过程中是否产生了回环时，取消了传统上的词袋结构，使用预训练的Faster-RCNN神经网络对图像进行语义检测，基于语义特征种类、特征像素位置和语义特征数量生成了具有标识性的二维语义特征向量图。同时，在回环检测的相似度计算阶段，本发明实施例针对二维语义特征向量图设计了一种全新的计算模型，以非线性的累积误差方式来分析向量图之间的相似度，并据此判断回环，而对于特征图，则直接对需要进行比较的两幅图像的特征图进行求差处理，并据此判断回环。最后，通过相机位姿对回环进行验证，得到最终的回环检测结果。

图1为本发明实施例提供的一种基于神经网络的回环检测方法流程示意图，如图1所示，该方法包括：

步骤101：获取待检测图像集，并通过神经网络模型分别对所述待检测图像集中的每张图像进行图像语义提取，获得每张图像对应的提取结果，所述提取结果包括语义特征种类、语义特征数量和特征像素位置。

在具体的实施过程中，相机一边运动一边进行图像采集时，如果要识别相机是否经过了同一位置，则需要根据相机在运动过程中采集到待检测图像集进行回环检测，其中待检测图像集中包括多张图像。检测装置在获取到待检测图像集后，将待检测图像集中的每张图像都输入到神经网络模型中，通过神经网络模型对每张图像进行图像语义提取，从而可以获得到每张图像对应的提取结果，且提取结果中包括每张图像对应的语义特征种类、语义特征数量和特征像素位置。

应当说明的是，提取结果中还可以包括特征图等信息。神经网络模型是预先构建并训练好的，其能够对输入的图像进行语义提取。可以基于Caffe神经网络框架来具体实现神经网络模型Faster-RCNN，并使用了基于VGG16训练集的预训练Faster-RCNN神经网络进行检测。对于一个已经训练完成的神经网络，其内部参数已经固定，因此，处于回环中的两张图像(图像内容相同或接近相同)，其神经网络模型检测的结果(包括网络中间层所产生的特征图)也将是相同或接近相同的，即具有相同或接近相同的语义特征种类、语义特征数量、特征像素位置和特征图。

语义特征种类是在对神经网络模型进行训练时预先设定的，且语义特征种类可以为：人、桌子、汽车、树等等。语义特征数量表示一张图像中包括语义特征的数量，例如：在一张图像中，只包括一个人，则说明语义特征种类为人，语义特征数量为1，如果一张图像中包括了三个人，则说明语义特征种类为人，语义特征数量为3。特征像素位置为语义特征在图像中所占用像素点的位置。

步骤102：若所述语义特征数量大于1，则根据每张图像对应的语义种类、语义数量和特征像素位置获得对应的二维语义特征向量图。

在具体的实施过程中，如果一张图像对应的语义特征数量大于1，则说明该图像为多目标图像。对于多目标图像，检测装置根据每张图像对应的语义种类、语义数量和特征像素位置获得对应的二维语义特征向量图。可以理解的是，二维语义特征向量图就是指欧式的二维直角坐标系，语义的中心像素点就点在这个二维平面上。

步骤103：根据每张图像对应的二维语义特征向量图计算两两图像之间的相似度，并根据所述相似度判断所述两张图像是否为回环。

在具体的实施过程中，对于多目标图像来说，检测装置在计算得到每张图像对应的二维语义特征向量图后，可以对待检测图像集中的图像进行两两计算，获得两张图像之间的相似度，并根据相似度判断这两张图像是否为回环。应当说明的是，不一定需要对待检测图像集中所有图像的两两组合进行相似度计算，可以预先设定条件，其条件可以是只将语义特征数量相同的两张图像进行相似度计算。也可以是其他条件，本发明实施例对此不作具体限定。

在上述实施例的基础上，在计算两张图像之间的相似度时，对于相临近的两幅图像，由于存在位姿偏移稳定性等因素，图像内容十分相似，易被识别回环，因此本算法将不会对临近序列中的两幅图像进行相似度计算。在判断两张图像是否为临近图像时。如果两张图像之间间隔的图像的数量大于第一预设值，则确定这两张图像不是临近图像，可以根据这两张图像分别对应的二维语义特征向量计算这两张图像之间的相似度。应当说明的是，第一预设值可以根据实际情况预先设定。

本发明实施例通过判断两张图像之间间隔的图像个数是否大于第一预设值，如果大于，则将两张图像分别对应的二维语义特征向量图计算两张图像之间的相似度，从而避免了将临近的两张图像认定为回环，提高了回环检测的准确性。

在上述实施例的基础上，在根据相似度信息获得回环结果后，需要进一步使用位姿进行验证优化。因此，可以将通过相似度判断两张图像为回环的回环成为待验证回环，即上述实施例中执行步骤103之后获得两张图像为回环的结果成为待验证回环。

在三维重建过程中，相机位姿以世界坐标系为参考，因此对于回环中的两个相机位姿，虽未经回环检测优化，但其数值上仍是接近的。所以，可以根据相机位姿信息获得相机位姿矩阵，根据相机位姿矩阵计算获得验证值，若验证值小于第二预设值，则待验证回环确定为回环。应当说明的是，相机会自动记录其当前拍摄图像时的相机位姿信息。

具体的，在计算待检测回环中的两张图像对应的验证值时，设待验证的回环中，两个相机位姿T₁和T₂可以根据公式

计算获得相机位姿矩阵；其中r为3*3旋转矩阵，t为3*1平移矩阵

将相机位姿矩阵相减并求其元素绝对值之和可得到验证值根据公式计算获得图像i和图像j之间的验证值；

本发明实施例通过相机位姿对回环检测结果进行进一步验证，从而进一步提高了回环检测的准确性。

在上述实施例的基础上，在获得二维语义特征向量图时，首先获得对数据集M＝(i₁,i₂,…,i_n)中任意一张图像i^x，使用Faster-RCNN神经网络进行检测，得到检测结果R_x，根据R_x所包含的语义特征数量，做如下处理：

R_x＝Semantic^x

其中，Semantic^x为图像i^x的语义特征种类集合，

与此同时，每个

的像素位置信息

都会被记录。由此，基于R_x及L^x可生成多目标物体图像所对应的二维语义特征向量图，L^x为语义特征提取后获得的图像的中心点的像素位置信息，

为图像i^x中四个角的坐标。语义特征提取出来的是一个矩形框，计算该矩形框的中心，以此中心坐标代表该语义的坐标，并用于绘制二维语义特征向量图。

对于多目标物体类的任意图像i^x，构建第二数据结构D_x，用于存储每幅图像的语义特征类别数量及类别顺序。

D_x＝(R_x.size,Order_x(Semantic^x,L^x))

该顺序是语义特征的像素中心(Faster-RCNN所输出的矩形检测框像素中心)的x轴坐标为标准，从左至右排序而得，且由该顺序进行向量连接，而对于任意向量图，根据其向量长度及角度等信息，可构建数据结构，向量长度及角度均可以根据中心坐标进行几何计算获得，其公式如下：

其中，

为第i个语义特征的像素中心坐标，

为第i个语义特征的向量长度，

为第i个语义特征的向量角度。

在获取到数据结构和第二数据结构之后，可以根据每一图像对应的二维语义特征向量图、数据结构和第二数据结构计算两两图像的相似度，图2为本发明实施例提供的相似度计算流程示意图，如图2所示，首先，获取待检测图像集，在对某一张图像与待检测图像集中其他图像进行相似度计算时，要先从待检测图像集中的临近序列图像进行剔除，然后根据第二数据结构D_x＝(R_x.size,Order_x(Semantic^x,L^x))进行数据分析，在分析时，具有与该图像相同语义特征数量的图像才会进行后续分析。对于二维语义特征向量图，根据其对应的V_x值，本算法构造非线性累积误差函数，如下式所示：

其中，

为最后一对语义特征的像素中心坐标误差，

为除最后以外的语义特征像素中心坐标误差，

为语义特征向量长度误差，

为语义特征向量角度误差；

该函数对两张图像的V_x信息进行逐一计算，并累积其误差，得到最终的相似度结果E，且E越小则表示相似度越高，通过实验分析，E≤5时则被判断为回环。

在上述实施例的基础上，如果一张图像在经过神经网络模型进行语义提取后，获得的语义特征数量为1，则说明这张图像为单目标图像，对于单目标图像，可以获得神经网络模型中的最后一层卷积层的特征图。对于单目标图像来说，在进行回环检测时，可以直接将两张图像的特征图上对应像素点的像素值值进行相减处理，获得差后图像，然后将差后图像进行灰度变换，获得对应的灰度图，再对灰度图进行灰度直方图分析，如果灰度直方图中的灰度值全部小于第四预设值，且灰度值为0的像素点个数占所述差后图像中所有的像素点总个数的比值大于第五预设值，则判断两张图像为回环。

图3为本发明实施例提供的一种回环检测方法示意图，如图3所示。首先，分别将待检测图像集中的每一张图像输入Faster-RCNN神经网络模型进行语义提取，获得语义特征类别、语义特征数量、特征像素位置以及特征图；其次，根据语义特征数量判断该图像是单目标图像还是多目标图像，如果语义特征数量大于1，则说明该图像是多目标图像，如果语义特征数量为1，则说明该图像为单目标图像；对于多目标图像，利用非线性累计误差计算相似度，然后根据相似度判断是否为回环，具体计算方法与上述实施例一致，此处不再赘述；对于单目标图像，将两张图像进行作差，获得差后图像，再获取差后图像的灰度直方图，根据灰度直方图判断是否为回环；最后，通过相机位姿对判断为回环的结果再次进行验证，并输出最终结果。

回环检测的目的即在于优化相机位姿，本发明实施例采用未经优化的相机位姿对回环检测结果进行验证，其目的在于对明显的误检测进行剔除：在相同背景下，以一定对称角度对某物体(本身具有形状及纹理对称性)所采集的图像，会产生一致的语义特征，且位置信息相同，易导致误检测，但此类图像所对应的相机位姿具有一定差异(尽管存在误差)，因此通过相机位姿进行验证，可有效地剔除此类误检测。此外，对于单目标物体图像，本发明实施例采用特征图进行求差，而未直接对原图进行求差，其原因在于，处于回环中的两幅图像，可能会因为相机曝光、光照变化等因素，导致图像的灰度值发生变化，若直接作差，会得到差异度较大的灰度直方图，即被判断为非回环，而卷积神经网络具有一定的光照不变性，可以有效地解决因光照变化而产生的误差，具有更强的鲁棒性。

图4为本发明实施例提供的回环检测装置结构示意图，如图4所示，该装置包括：语义提取模块401、向量获取模块402和回环判断模块403，其中，

语义提取模块401用于获取待检测图像集，并通过神经网络模型分别对所述待检测图像集中的每张图像进行图像语义提取，获得每张图像对应的提取结果，所述提取结果包括语义特征种类、语义特征数量和特征像素位置；向量获取模块402用于若所述语义特征数量大于1，则根据每张图像对应的语义种类、语义数量和特征像素位置获得对应的二维语义特征向量图；回环判断模块403用于根据每张图像对应的二维语义特征向量图计算两两图像之间的相似度，并根据所述相似度判断所述两张图像是否为回环。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。

综上所述，本发明实施例通过利用神经网络对待检测图像集中的每张图像进行语义提取，获得二维语义特征向量图，根据二维语义特征向量图计算获得待判断的两张图像之间的相似度，根据相似度判断是否为回环，考虑到了语义特征种类、语义特征数量和特征像素位置，因此，能够大大提高检测的准确率以及降低召回率。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取待检测图像集，并通过神经网络模型分别对所述待检测图像集中的每张图像进行图像语义提取，获得每张图像对应的提取结果，所述提取结果包括语义特征种类、语义特征数量和特征像素位置；若所述语义特征数量大于1，则根据每张图像对应的语义种类、语义数量和特征像素位置获得对应的二维语义特征向量图；根据每张图像对应的二维语义特征向量图计算两两图像之间的相似度，并根据所述相似度判断所述两张图像是否为回环。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取待检测图像集，并通过神经网络模型分别对所述待检测图像集中的每张图像进行图像语义提取，获得每张图像对应的提取结果，所述提取结果包括语义特征种类、语义特征数量和特征像素位置；若所述语义特征数量大于1，则根据每张图像对应的语义种类、语义数量和特征像素位置获得对应的二维语义特征向量图；根据每张图像对应的二维语义特征向量图计算两两图像之间的相似度，并根据所述相似度判断所述两张图像是否为回环。

请参照图5，图5为本发明实施例提供的电子设备的结构框图。电子设备可以包括回环检测装置501、存储器502、存储控制器503、处理器504、外设接口505、输入输出单元506、音频单元507、显示单元508。

所述存储器502、存储控制器503、处理器504、外设接口505、输入输出单元506、音频单元507、显示单元508各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述回环检测装置501包括至少一个可以软件或固件(firmware)的形式存储于所述存储器502中或固化在回环检测装置501的操作系统(operating system，OS)中的软件功能模块。所述处理器504用于执行存储器502中存储的可执行模块，例如回环检测装置501包括的软件功能模块或计算机程序。

其中，存储器502可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器502用于存储程序，所述处理器504在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器504中，或者由处理器504实现。

处理器504可以是一种集成电路芯片，具有信号的处理能力。上述的处理器504可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器504也可以是任何常规的处理器等。

所述外设接口505将各种输入/输出装置耦合至处理器504以及存储器502。在一些实施例中，外设接口505，处理器504以及存储控制器503可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

输入输出单元506用于提供给用户输入数据实现用户与所述服务器(或本地终端)的交互。所述输入输出单元506可以是，但不限于，鼠标和键盘等。

音频单元507向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。

显示单元508在所述电子设备与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元508可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器504进行计算和处理。

所述外设接口505将各种输入/输入装置耦合至处理器504以及存储器502。在一些实施例中，外设接口505，处理器504以及存储控制器503可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

输入输出单元506用于提供给用户输入数据实现用户与处理终端的交互。所述输入输出单元506可以是，但不限于，鼠标和键盘等。

可以理解，图5所示的结构仅为示意，所述电子设备还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。