CN108053447A - 基于图像的重定位方法、服务器及存储介质 - Google Patents

基于图像的重定位方法、服务器及存储介质 Download PDF

Info

Publication number
CN108053447A
CN108053447A CN201711368117.5A CN201711368117A CN108053447A CN 108053447 A CN108053447 A CN 108053447A CN 201711368117 A CN201711368117 A CN 201711368117A CN 108053447 A CN108053447 A CN 108053447A
Authority
CN
China
Prior art keywords
image
pending image
pending
region
candidate region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711368117.5A
Other languages
English (en)
Inventor
罗雁天
陈伟聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ninebot Beijing Technology Co Ltd
Original Assignee
Ninebot Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ninebot Beijing Technology Co Ltd filed Critical Ninebot Beijing Technology Co Ltd
Priority to CN201711368117.5A priority Critical patent/CN108053447A/zh
Publication of CN108053447A publication Critical patent/CN108053447A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于图像的重定位方法、服务器及存储介质，所述方法包括：获取待处理图像；获取待处理图像的显著性区域；基于所述显著性区域，对所述待处理图像进行图像特征的提取；基于所提取的所述待处理图像的图像特征，确定机器人设备所处的位置信息。

Description

基于图像的重定位方法、服务器及存储介质
技术领域
本发明涉及定位方法，具体涉及基于图像的重定位方法、服务器及存储介质。
背景技术
定位(localization)，即确定物体所处的位置。在机器人视觉、导航等多个领域都有广泛的应用。重定位(relocalization)，在机器人丢失位置信息后重新获得位置信息的过程。在机器人长时间运行导致位置精度不够、或者关机重启后丢失位置信息时需要进行重定位。可见，重定位技术对机器人技术的发展的起着关键性作用。目前的基于图像检索方法的机器人重定位方法鲁棒性不足、定位准确度无法满足需求。
发明内容
为解决现有存在的技术问题，本发明实施例提供一种基于图像的重定位方法、服务器及存储介质，以至少解决定位准确度不高、鲁棒性不足的技术问题。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种基于图像的重定位方法，所述方法包括：
获取待处理图像；
获取待处理图像的显著性区域；
基于所述显著性区域，对所述待处理图像进行图像特征的提取；
基于所提取的所述待处理图像的图像特征，确定机器人设备所处的位置信息。
其中，所述获取待处理图像的显著性区域，包括：
获取所述待处理图像的特征图；
对所述待处理图像的特征图进行卷积运算；
对经过卷积运算的特征图进行分类回归处理，得到所述待处理图像的显著性区域。
其中，所述获取待处理图像的显著性区域，包括：
确定针对所述待处理图像的至少一个候选区域；
确定各个候选区域的边组的权重，所述边组为位于所述候选区域中的至少两个像素点各自所在边的集合；
基于各个候选区域中至少一个边组的权重，得到针对各个候选区域的排序集，所述排序集为各个候选区域基于各自的至少一个边组的权重得到的分数的集合；
确定排序集中满足预定条件的候选区域为所述显著性区域。
其中，所述基于显著性区域，对所述待处理图像进行图像特征的提取，包括：
将确定有显著性区域的所述待处理图像进行神经网络模型的运算，所述神经网络模型包括至少一个中间层；
触发所述至少一个中间层中位置靠后的中间层进行图像数据的输出；
确定所述图像数据的输出为所述待处理图像的图像特征。
其中，所述基于所提取的所述待处理图像的图像特征，确定机器人设备所处的位置信息，包括：
将所提取的所述待处理图像与数据库中的图像逐一进行图像特征相似度的匹配；
确定目标图像，所述目标图像为数据库中的与所述待处理图像的图像特征的相似度高于阈值的图像；
确定目标图像的拍摄位置；
确定目标图像的拍摄位置为所述机器人设备所处的位置。
其中，所述方法还包括：
发送所述位置信息。
本发明实施例还提供一种服务器，所述服务器包括：
存储器，用于存储有可执行指令；
处理器，用于在运行所述可执行指令时实现以下操作：
获取待处理图像；
获取待处理图像的显著性区域；
基于所述显著性区域，对所述待处理图像进行图像特征的提取；
基于所提取的所述待处理图像的图像特征，确定机器人设备所处的位置信息。
其中，所述处理器，用于在运行所述可执行指令时还实现以下操作：
获取所述待处理图像的特征图；
对所述待处理图像的特征图进行卷积运算；
对经过卷积运算的特征图进行分类回归处理，得到所述待处理图像的显著性区域。
其中，所述处理器，用于在运行所述可执行指令时还实现以下操作：
确定针对所述待处理图像的至少一个候选区域；
确定各个候选区域的边组的权重，所述边组为位于所述候选区域中的至少两个像素点各自所在边的集合；
基于各个候选区域中至少一个边组的权重，得到针对各个候选区域的排序集，所述排序集为各个候选区域基于各自的至少一个边组的权重得到的分数的集合；
确定排序集中满足预定条件的候选区域为所述显著性区域。
其中，所述处理器，用于在运行所述可执行指令时还实现以下操作：
将确定有显著性区域的所述待处理图像进行神经网络模型的运算，所述神经网络模型包括至少一个中间层；
触发所述至少一个中间层中位置靠后的中间层进行图像数据的输出；
确定所述图像数据的输出为所述待处理图像的图像特征。
其中，所述处理器，用于在运行所述可执行指令时还实现以下操作：
将所提取的所述待处理图像与数据库中的图像逐一进行图像特征相似度的匹配；
确定目标图像，所述目标图像为数据库中的与所述待处理图像的图像特征的相似度高于阈值的图像；
确定目标图像的拍摄位置；
确定目标图像的拍摄位置为所述机器人设备所处的位置。
其中，所述服务器还包括输出组件，用于发送所述位置信息。
本发明实施例还提供一种计算机存储介质，所述存储介质中存储有可执行指令，所述可执行指令用于执行权利要求前述的基于图像的重定位方法。
本发明实施例提供的基于图像的重定位方法、服务器及存储介质，所述方法包括：获取待处理图像；获取待处理图像的显著性区域；基于所述显著性区域，对所述待处理图像进行图像特征的提取；基于所提取的所述待处理图像的图像特征，确定机器人设备所处的位置信息。从而实现对机器人设备的重定位。
由于显著性区域能够明显体现出待处理图像与其他图像的不同，这种有针对性的处理方式，在提取出待处理图像的显著性区域的基础上再对图像进行图像特征的提取，可显著提高对机器人位置的重定位的准确性和精度，也可大大增强重定位方法的鲁棒性。
附图说明
图1为本发明实施例的机器人形态的示意图；
图2为本发明实施例的基于图像的重定位方法的实现流程示意图；
图3为本发明实施例的一应用场景的示意图；
图4为本发明实施例的建立数据库的实现流程示意图；
图5为本发明实施例的基于图像的重定位方法的一具体实现流程示意图；
图6为本发明实施例的服务器的硬件结构示意图；
图7为本发明实施例的服务器的组成结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行详细说明，应当理解，此处所提供的实施例仅仅用以解释本发明，并不用于限定本发明。另外，以下所提供的实施例是用于实施本发明的部分实施例，而非提供实施本发明的全部实施例，在不冲突的情况下，本发明实施例记载的技术方案可以任意组合的方式实施。
对本发明实施例进行详细说明之前，对本发明实施例中涉及的名词和术语进行说明。
1)显著性区域(proposal)，即图像的显著性区域，一幅图像中能够表示与其它幅图像存在很大区别的区域称之为该幅图像的显著性区域；
2)神经网络，即人工神经网络，是一种应用类似于大脑神经突触联接的结构的进行信息处理的数学模型。它是一种进行分布式并行信息处理的算法数学模型。通过调整内部大量节点之间相互连接的关系而达到处理信息的目的。在工程与学术界也常直接简称为“神经网络”或类神经网络。神经网络模型可包括输入层、中间层和输出层；还可以包括卷积层和全链接层。
3)重定位(relocalization)，在机器人丢失位置信息后重新获得位置信息的过程。
需要说明的是，执行本发明实施例的基于图像的重定位方法的实体可以是服务器，也可以是任何其他能够与机器人设备(简称为机器人)进行通信的电子设备如手机、电脑、穿戴式设备等，还可以是机器人本身。本发明实施例的机器人可以采用如图1中的任意一种形式而实施。
本发明实施例提供一种基于图像的重定位方法，应用于服务器中，如图2所示，所述方法包括：
步骤201：获取待处理图像；
这里，当机器人需要对自身所处的位置进行重定位时，机器人通过摄像头在当前位置下进行图像的拍摄，并发送至服务器，服务器接收机器人拍摄的图像(待处理图像)。待处理图像可以是图片，还可以是图片帧如视频。
步骤202：获取待处理图像的显著性区域；
这里，服务器对待处理图像进行图像处理，提取出待处理图像的显著性区域。
步骤203：基于所述显著性区域，对所述待处理图像进行图像特征的提取；
这里，所述图像特征可以是任何能够表示该图像不同的信息，如图像的色彩、像素、分辨率、大小、位深、色调、饱和度、亮度、色彩通道、边缘特性等元素中的至少一种。
步骤204：基于所提取的所述待处理图像的图像特征，确定机器人设备所处的位置。
这里，服务器基于提取出的图像特征，定位出机器人当前所处的位置。
执行步骤201-204的实体为服务器。
由此可见，本实施例中，在获取到待处理图像时，先对待处理图像进行显著性区域的提取，再对待处理图像的图像特征进行提取，并基于所提取的图像特征定位出机器人在拍摄待处理图像时所处的位置。其中，由于显著性区域能够明显体现出待处理图像与其他图像的不同，这种有针对性的处理方式，在提取出待处理图像的显著性区域的基础上再对图像进行图像特征的提取，可显著提高对机器人位置的重定位的准确性和精度。同时，与现有的对整个图像进行图像特征提取的方式相比，可大大增强重定位方法的鲁棒性。
本发明实施例中，可通过以下至少一种方式实现对待处理图像的显著性区域的提取：
方式一：获取所述待处理图像的特征图；对所述待处理图像的特征图进行卷积运算；对经过卷积运算的特征图进行分类回归处理，得到所述待处理图像的显著性区域。
在方式一中，利用基于目标检测算法(RPN，Region Proposal Network)的神经网络进行显著性区域的提取。具体的，在RPN神经网络中，先利用全卷积网络(FCN)对待处理图像进行处理得到待处理图像的特征图Feature Map)，再在特征图上使用N*N卷积核(如3*3卷积核)做卷积运算，得到一个M维的特征向量，如M＝256，特征向量为用于表示图像特征的向量，再利用分类器进行分类处理，接着利用边框回归算法(Bounding Box Regression)进行运算，得到待处理图像的显著性区域。M、N均为正整数。
方式二：确定针对所述待处理图像的至少一个候选区域，确定各个候选区域的边组的权重，所述边组为位于所述候选区域中的至少两个像素点各自所在边的集合，基于各个候选区域中至少一个边组的权重，得到针对各个候选区域的排序集，所述排序集为各个候选区域基于各自的至少一个边组的权重得到的分数的集合，确定排序集中满足预定条件的候选区域为所述显著性区域。
在方式二中，利用边缘结构化算法(Edge Boxes)对显著性区域进行提取。具体的，对待处理图像进行结构化边缘检测，使得待处理图像中的每个像素点p都包括在对应边中，每条边具有一个权重值mp和角度θp。将近乎在一条直线上的相邻的边组合成边组(edgegroup)，每个边组中任意两条边夹角不超过一张图像中包括两个及以上的edge group。
在具体实现上，使用滑动窗口进行候选区域的选取，对选取的任意一个候选区域，对该候选区域中的si、sj两个edge group而言，先计算这两个edge group的平均像素点pi、pj和平均角度θi、θj，再根据公式(1)进行这两个edge group相似度a(si,sj)的计算：
a(si,sj)＝|cos(θi-θij)cos(θj-θij)|2 (1)
其中，θij代表pi、pj之间的夹角。对于任意个候选区域中每个edge group如edgegroup si而言，再继续计算其权重，由公式(2)所示，
其中，T代表从候选区域边缘到si的一条路径，tj,tj+1代表路径上的相邻两个edgegroup。再基于得出的权重值，根据公式(3)计算出候选区域的分数为：
其中，bw、bh分别代表候选框的宽和高，为在属于某个候选区域的所有边的权重值。
考虑到因为候选区域中心的边对候选区域的整体得分贡献不大，因此可通过减小其权重得到最终的优化的分数公式，如公式(4)所示：
其中，bin代表候选框中心宽为高为的矩形区域。
在计算出待处理图像的所有候选区域的得分之后，根据该得分就行排序得到排序集，该排序集中可以按照从大到小的顺序进行排列也可以按照从小到大的顺序进行排列。选取排序集中分数大于阈值的候选区域，并将这些分数大于阈值的候选区域继续使用贪心迭代搜索方式以合并候选区域来得到待处理图像的显著性区域。还可以在从小到大顺序进行排列的排列集中，选取分数排在后K位的候选区域，以此得到显著性区域。还可以从大到小顺序进行排列的排列集中，选取分数排在前L位的候选区域，以此得到显著性区域。其中，K、L为正整数，可根据实际情况而灵活取值；所述阈值可以是任意合理的取值如8分、9分(假定满分为10)，还可以是70分、80分(满分是100分)。
上述方案中，通过滑动窗口进行候选区域的选取，还可以通过其它方式进行候选区域的选取，滑动窗口的大小根据实际使用情况而灵活设定。
上述方案中，方式一是基于神经网络的运算方法，其特点是运算精度高，准确度大。方式二是采用图像处理的方法，其特点是运算快速。不论采用哪种方法，均可显著提高重定位方法的鲁棒性。
在本发明实施例中，所述基于显著性区域，对所述待处理图像进行图像特征的提取，包括：将确定有显著性区域的所述待处理图像进行神经网络模型的运算，所述神经网络模型包括至少一个中间层；
触发所述至少一个中间层中位置靠后的中间层进行图像数据的输出；
确定所述图像数据的输出为所述待处理图像的图像特征。
考虑到对图像特征提取的精度及鲁棒性，采用神经网络、具体是神经网络模型进行提取，神经网络模型包括输入层、中间层和输出层；还可以包括卷积层和全链接层。在具体实现上，将提取出显著性区域的待处理图像输入至神经网络模型的输入层，并通过输入层的运算输送至中间层，中间层通常为两层以上且逐个中间层进行运算，取较为靠后的中间层的输出如将倒数第二层中间层的输出作为整个中间层的输出，并将其输出至输出层，由输出层把提取出的待处理图像的图像特征输出。上述神经网络模型具体请参见现有相关技术，具体不做说明。
在本发明实施例中，所述基于所提取的所述待处理图像的图像特征，确定机器人设备所处的位置，包括：
将所提取的所述待处理图像与数据库中的图像逐一进行图像特征相似度的匹配；确定目标图像，所述目标图像为数据库中的与所述待处理图像的图像特征的相似度高于阈值的图像；确定目标图像的拍摄位置；确定目标图像的拍摄位置为所述机器人设备所处的位置。进一步的，发送所述位置信息至所述机器人设备。
具体的，在进行特征相似度的匹配之前，还需要建立数据库。建立数据库的过程请参见后续说明，此处不做解释。数据库中保存有机器人设备在所处不同位置而拍摄的图片，同时也保存在同一位置的不同角度而拍摄出的图像。也即从数据库中的每张图像中均可读取拍摄时其所处的地理位置。在进行图像特征的提取步骤之后，将所提取的待处理图像与数据库中的图像逐一进行图像特征相似度的匹配；查找出匹配相似度较高如阈值为相似度高于80％的数据库中的图像，并将拍摄该图像时机器人所处的地理位置作为拍摄待处理图像时机器人所处的地理位置(重定位位置)。该阈值还可以取值为其它任何合理的值。服务器在计算出机器人此时所处的地理位置时将该位置反馈至机器人设备，以完成机器人的重定位。
由此可见，本实施例中，在提取出待处理图像的显著性区域的基础上再对图像进行图像特征的提取，可显著提高对机器人位置的重定位的准确性和精度。同时，与现有的对整个图像进行图像特征提取的方式相比，在显著性区域的基础上再对图像进行图像特征的提取可大大增强重定位方法的鲁棒性。
下面结合图3-图5对本发明实施例做进一步说明。
假定机器人在家庭环境中进行工作，那么在进行重定位时可能需要定位出其所处家庭的客厅位置还是厨房位置或是其它家庭环境中的位置。
机器人安装有至少一个摄像头，如安装3个摄像头。
步骤401：利用安装的3个摄像头，机器人在家庭环境中的每个位置或是各个位置的四个方向各进行一段视频的拍摄。
所述的位置为客厅、厨房、卧室、阳台等，四个方向为位置的东、西、南、北等方向，当然还包括东北、西北、东南、西南等方向。
也就是说，在机器人所能到达的位置都将进行一段视频的拍摄。
步骤402：机器人发送视频至服务器。
步骤403:服务器接收视频文件，抽取每5帧视频文件中的一张图片作为训练数据。
服务器抽取的训练数据为多张图像。
步骤404：服务器对所抽取的训练数据中的每张图像进行显著性区域的提取，再进行图像特征的提取；
这里，显著性区域的提取及其对图像特征的提取的具体实现过程请参见前述对待处理图像的显著性区域及其图像特征的提取，不再赘述。
步骤405：基于训练数据中的每张图像的图像特征及家庭环境中各个位置的特点，确定拍摄训练数据中的每张图像时机器人所处的位置。
步骤406：将训练数据中每张图像的图像特征及拍摄时所处的位置进行对应记录，形成数据库。
步骤401～406为数据库的具体建立过程，也可称为预处理过程。对训练数据中的每张图像进行位置的确定以形成数据库，其可视为预处理过程，后续进行重定位时需要基于预处理结果如数据库对机器人设备进行重定位。由于机器人设备通常在一定区域内活动且该区域内的环境发生变化较小，这种基于预处理结果，并以数据库中的图像的拍摄位置作为机器人的重定位位置可有效提高重定位的准确性。
步骤501：当机器人需要对自身所处的位置进行重定位时，机器人通过摄像头、具体是3个摄像头中安装在头部顶部的摄像头在当前位置下进行图像的拍摄；
这里，所拍摄的图像的数量可以为一张，也可以为多张。考虑到重定位准确性，通常拍摄为多张，该多张图像的差异性较小。
步骤502：机器人将在当前位置下拍摄的图像(待处理图像)发送至服务器。
步骤503：服务器对待处理图像进行显著性区域的提取；
具体的，利用前述的显著性区域提取的方式一和/或方式二进行显著性区域的提取。
步骤504：服务器再对待处理图像进行图像特征的提取；
具体的，利用前述的神经网络模型进行提取。
步骤505：服务器从数据库中查找出匹配相似度较高如高于阈值80％的图像；
步骤506：服务器确定所查找出的图像的拍摄位置；
步骤507：服务器将拍摄查找出的图像的拍摄位置作为机器人重定位的位置。
比如，假定经过步骤506从数据库中查找出匹配相似度高于阈值80％的图像的拍摄位置位于家庭环境中的厨房，那么机器人当前所处的位置(重定位)位置即为厨房。
步骤508：服务器将定位出的位置信息发送至机器人设备，以完成机器人的重定位。
上述方案中，机器人在重定位位置所拍摄的待处理图像在进行图像特征提取之前需要进行显著性区域的提取，其中显著性区域能够明显体现出待处理图像与其他图像的不同，这种有针对性的处理方式，可大大提高对机器人位置的重定位的准确性和精度，增强重定位方法的鲁棒性。
图6是本发明实施例的服务器的硬件结构示意图，服务器700包括：至少一个处理器701、存储器702、至少一个网络接口704和用户接口703。服务器700中的各个组件通过总线系统705耦合在一起。可理解，总线系统705用于实现这些组件之间的连接通信。总线系统705除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统705。
其中，用户接口703可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器702可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器702旨在包括但不限于这些和任意其它适合类型的存储器。
本发明实施例中的存储器702用于存储各种类型的数据以支持服务器700的操作。这些数据的示例包括：用于在服务器700上操作的任何计算机程序，如操作系统7021和应用程序7022；联系人数据；电话簿数据；消息；图片；视频等。其中，操作系统7021包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序7022可以包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序7022中。
上述本发明实施例揭示的方法可以应用于处理器701中，或者由处理器701实现。处理器701可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器701可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器702，处理器701读取存储器702中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，服务器700可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
本发明实施例还提供一种计算机存储介质如前述的存储器702，存储有可执行指令如计算机程序，所述可执行指令用于实现本发明实施例提供的基于图像的重定位方法，例如，如图2-图5所示的基于图像的重定位方法。
本发明实施例还提供一种服务器，如图6所示，所述服务器包括：
存储器702，用于存储有可执行指令；
处理器701，用于在运行所述可执行指令时实现以下操作：
获取待处理图像；
获取待处理图像的显著性区域；
基于所述显著性区域，对所述待处理图像进行图像特征的提取；
基于所提取的所述待处理图像的图像特征，确定机器人设备所处的位置信息。
作为一个实施方式，处理器701，用于在运行所述可执行指令时还实现以下操作：
获取所述待处理图像的特征图；
对所述待处理图像的特征图进行卷积运算；
对经过卷积运算的特征图进行分类回归处理，得到所述待处理图像的显著性区域。
作为一个实施方式，处理器701，用于在运行所述可执行指令时还实现以下操作：
确定针对所述待处理图像的至少一个候选区域；
确定各个候选区域的边组的权重，所述边组为位于所述候选区域中的至少两个像素点各自所在边的集合；
基于各个候选区域中至少一个边组的权重，得到针对各个候选区域的排序集，所述排序集为各个候选区域基于各自的至少一个边组的权重得到的分数的集合；
确定排序集中满足预定条件的候选区域为所述显著性区域。
作为一个实施方式，处理器701，用于在运行所述可执行指令时还实现以下操作：
将确定有显著性区域的所述待处理图像进行神经网络模型的运算，所述神经网络模型包括至少一个中间层；
触发所述至少一个中间层中位置靠后的中间层进行图像数据的输出；
确定所述图像数据的输出为所述待处理图像的图像特征。
作为一个实施方式，处理器701，用于在运行所述可执行指令时还实现以下操作：
将所提取的所述待处理图像与数据库中的图像逐一进行图像特征相似度的匹配；
确定目标图像，所述目标图像为数据库中的与所述待处理图像的图像特征的相似度高于阈值的图像；
确定目标图像的拍摄位置；
确定目标图像的拍摄位置为所述机器人设备所处的位置信息。
作为一个实施方式，本发明实施例的服务器还包括输出主件707，用于发送所述位置信息、具体是发送位置信息至所述机器人设备。
本发明实施例还提供一种服务器，如图7所示，所述服务器包括：
第一获取单元801，用于获取待处理图像；
第二获取单元802，用于获取待处理图像的显著性区域；
第一提取单元803，用于基于所述显著性区域，对所述待处理图像进行图像特征的提取；
第一确定单元804，用于基于所提取的所述待处理图像的图像特征，确定机器人设备所处的位置信息。
其中，所述第二获取单元802，用于获取所述待处理图像的特征图；
对所述待处理图像的特征图进行卷积运算；
对经过卷积运算的特征图进行分类回归处理，得到所述待处理图像的显著性区域。
其中，所述第二获取单元802，用于确定针对所述待处理图像的至少一个候选区域；
确定各个候选区域的边组的权重，所述边组为位于所述候选区域中的至少两个像素点各自所在边的集合；
基于各个候选区域中至少一个边组的权重，得到针对各个候选区域的排序集，所述排序集为各个候选区域基于各自的至少一个边组的权重得到的分数的集合；
确定排序集中满足预定条件的候选区域为所述显著性区域。
其中，第一提取单元803，还用于将确定有显著性区域的所述待处理图像进行神经网络模型的运算，所述神经网络模型包括至少一个中间层；
触发所述至少一个中间层中位置靠后的中间层进行图像数据的输出；
确定所述图像数据的输出为所述待处理图像的图像特征。
其中，第一确定单元804，还用于将所提取的所述待处理图像与数据库中的图像逐一进行图像特征相似度的匹配；
确定目标图像，所述目标图像为数据库中的与所述待处理图像的图像特征的相似度高于阈值的图像；
确定目标图像的拍摄位置；
确定目标图像的拍摄位置为所述机器人设备所处的位置信息。
所述服务器还包括发送单元(图7中未示意出)，用于：发送所述位置信息至所述机器人设备。
关于对图6以及图7所示的服务器的功能具体请参见前述对基于图像的重定位方法的相关描述而理解，重复之处不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种基于图像的重定位方法，其特征在于，所述方法包括：
获取待处理图像；
获取待处理图像的显著性区域；
基于所述显著性区域，对所述待处理图像进行图像特征的提取；
基于所提取的所述待处理图像的图像特征，确定机器人设备所处的位置信息。
2.根据权利要求1所述的基于图像的重定位方法，其特征在于，所述获取待处理图像的显著性区域，包括：
获取所述待处理图像的特征图；
对所述待处理图像的特征图进行卷积运算；
对经过卷积运算的特征图进行分类回归处理，得到所述待处理图像的显著性区域。
3.根据权利要求1所述的基于图像的重定位方法，其特征在于，所述获取待处理图像的显著性区域，包括：
确定针对所述待处理图像的至少一个候选区域；
确定各个候选区域的边组的权重，所述边组为位于所述候选区域中的至少两个像素点各自所在边的集合；
基于各个候选区域中至少一个边组的权重，得到针对各个候选区域的排序集，所述排序集为各个候选区域基于各自的至少一个边组的权重得到的分数的集合；
确定排序集中满足预定条件的候选区域为所述显著性区域。
4.根据权利要求1至3任一项所述的基于图像的重定位方法，其特征在于，所述基于显著性区域，对所述待处理图像进行图像特征的提取，包括：
将确定有显著性区域的所述待处理图像进行神经网络模型的运算，所述神经网络模型包括至少一个中间层；
触发所述至少一个中间层中位置靠后的中间层进行图像数据的输出；
确定所述图像数据的输出为所述待处理图像的图像特征。
5.根据权利要求4所述的基于图像的重定位方法，其特征在于，所述基于所提取的所述待处理图像的图像特征，确定机器人设备所处的位置信息，包括：
将所提取的所述待处理图像与数据库中的图像逐一进行图像特征相似度的匹配；
确定目标图像，所述目标图像为数据库中的与所述待处理图像的图像特征的相似度高于阈值的图像；
确定目标图像的拍摄位置；
确定目标图像的拍摄位置为所述机器人设备所处的位置。
6.根据权利要求1所述的基于图像的重定位方法，其特征在于，所述方法还包括：
发送所述位置信息。
7.一种服务器，其特征在于，所述服务器包括：
存储器，用于存储有可执行指令；
处理器，用于在运行所述可执行指令时实现以下操作：
获取待处理图像；
获取待处理图像的显著性区域；
基于所述显著性区域，对所述待处理图像进行图像特征的提取；
基于所提取的所述待处理图像的图像特征，确定机器人设备所处的位置信息。
8.根据权利要求7所述的服务器，其特征在于，所述处理器，用于在运行所述可执行指令时还实现以下操作：
获取所述待处理图像的特征图；
对所述待处理图像的特征图进行卷积运算；
对经过卷积运算的特征图进行分类回归处理，得到所述待处理图像的显著性区域。
9.根据权利要求7所述的服务器，其特征在于，所述处理器，用于在运行所述可执行指令时还实现以下操作：
确定针对所述待处理图像的至少一个候选区域；
确定各个候选区域的边组的权重，所述边组为位于所述候选区域中的至少两个像素点各自所在边的集合；
基于各个候选区域中至少一个边组的权重，得到针对各个候选区域的排序集，所述排序集为各个候选区域基于各自的至少一个边组的权重得到的分数的集合；
确定排序集中满足预定条件的候选区域为所述显著性区域。
10.根据权利要求7至9任一项所述的服务器，其特征在于，所述处理器，用于在运行所述可执行指令时还实现以下操作：
将确定有显著性区域的所述待处理图像进行神经网络模型的运算，所述神经网络模型包括至少一个中间层；
触发所述至少一个中间层中位置靠后的中间层进行图像数据的输出；
确定所述图像数据的输出为所述待处理图像的图像特征。
11.根据权利要求10所述的服务器，其特征在于，所述处理器，用于在运行所述可执行指令时还实现以下操作：
将所提取的所述待处理图像与数据库中的图像逐一进行图像特征相似度的匹配；
确定目标图像，所述目标图像为数据库中的与所述待处理图像的图像特征的相似度高于阈值的图像；
确定目标图像的拍摄位置；
确定目标图像的拍摄位置为所述机器人设备所处的位置。
12.根据权利要求7所述的服务器，其特征在于，所述服务器还包括输出组件，用于发送所述位置信息。
13.一种计算机存储介质，所述存储介质中存储有可执行指令，所述可执行指令用于执行权利要求1至6任一项所述的基于图像的重定位方法。
CN201711368117.5A 2017-12-18 2017-12-18 基于图像的重定位方法、服务器及存储介质 Pending CN108053447A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711368117.5A CN108053447A (zh) 2017-12-18 2017-12-18 基于图像的重定位方法、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711368117.5A CN108053447A (zh) 2017-12-18 2017-12-18 基于图像的重定位方法、服务器及存储介质

Publications (1)

Publication Number Publication Date
CN108053447A true CN108053447A (zh) 2018-05-18

Family

ID=62133402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711368117.5A Pending CN108053447A (zh) 2017-12-18 2017-12-18 基于图像的重定位方法、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN108053447A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109556607A (zh) * 2018-10-24 2019-04-02 上海大学 一种快速处理移动机器人定位“绑架”问题的方法
CN109711365A (zh) * 2018-12-29 2019-05-03 佛山科学技术学院 一种融合语义信息的视觉slam回环检测方法及装置
CN110553650A (zh) * 2019-08-29 2019-12-10 华南理工大学 一种基于小样本学习的移动机器人重定位方法
CN111914850A (zh) * 2019-05-07 2020-11-10 百度在线网络技术（北京）有限公司 图片特征提取方法、装置、服务器和介质
WO2021008233A1 (zh) * 2019-07-17 2021-01-21 上海商汤智能科技有限公司 机器人图像增强方法及装置、处理器、设备、介质和程序
CN112561939A (zh) * 2020-12-08 2021-03-26 福建星网天合智能科技有限公司 一种图像轮廓模板的检索方法、装置、设备和介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103376110A (zh) * 2012-04-13 2013-10-30 上海博泰悦臻电子设备制造有限公司 图片导航方法及对应的图片导航设备、图片导航系统
CN104378735A (zh) * 2014-11-13 2015-02-25 无锡儒安科技有限公司 室内定位方法、客户端及服务器
CN104748738A (zh) * 2013-12-31 2015-07-01 深圳先进技术研究院 室内定位导航方法和系统
CN105246039A (zh) * 2015-10-20 2016-01-13 深圳大学 一种基于图像处理的室内定位方法及系统
CN106092104A (zh) * 2016-08-26 2016-11-09 深圳微服机器人科技有限公司 一种室内机器人的重定位方法及装置
CN106454069A (zh) * 2016-08-31 2017-02-22 歌尔股份有限公司 一种控制无人机拍摄的方法、装置和可穿戴设备
CN106651955A (zh) * 2016-10-10 2017-05-10 北京小米移动软件有限公司 图片中目标物的定位方法及装置
CN106767810A (zh) * 2016-11-23 2017-05-31 武汉理工大学 一种基于移动终端的wifi和视觉信息的室内定位方法及系统
CN106934402A (zh) * 2017-03-10 2017-07-07 周艳 室内移动视频跟踪定位辅助拍摄方法和装置
CN107131883A (zh) * 2017-04-26 2017-09-05 中山大学 基于视觉的全自动移动终端室内定位系统
CN107239790A (zh) * 2017-05-10 2017-10-10 哈尔滨工程大学 一种基于深度学习的服务机器人目标检测与定位方法
CN107423409A (zh) * 2017-07-28 2017-12-01 维沃移动通信有限公司 一种图像处理方法、图像处理装置和电子设备
CN107421540A (zh) * 2017-05-05 2017-12-01 华南理工大学 一种基于视觉的移动机器人导航方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103376110A (zh) * 2012-04-13 2013-10-30 上海博泰悦臻电子设备制造有限公司 图片导航方法及对应的图片导航设备、图片导航系统
CN104748738A (zh) * 2013-12-31 2015-07-01 深圳先进技术研究院 室内定位导航方法和系统
CN104378735A (zh) * 2014-11-13 2015-02-25 无锡儒安科技有限公司 室内定位方法、客户端及服务器
CN105246039A (zh) * 2015-10-20 2016-01-13 深圳大学 一种基于图像处理的室内定位方法及系统
CN106092104A (zh) * 2016-08-26 2016-11-09 深圳微服机器人科技有限公司 一种室内机器人的重定位方法及装置
CN106454069A (zh) * 2016-08-31 2017-02-22 歌尔股份有限公司 一种控制无人机拍摄的方法、装置和可穿戴设备
CN106651955A (zh) * 2016-10-10 2017-05-10 北京小米移动软件有限公司 图片中目标物的定位方法及装置
CN106767810A (zh) * 2016-11-23 2017-05-31 武汉理工大学 一种基于移动终端的wifi和视觉信息的室内定位方法及系统
CN106934402A (zh) * 2017-03-10 2017-07-07 周艳 室内移动视频跟踪定位辅助拍摄方法和装置
CN107131883A (zh) * 2017-04-26 2017-09-05 中山大学 基于视觉的全自动移动终端室内定位系统
CN107421540A (zh) * 2017-05-05 2017-12-01 华南理工大学 一种基于视觉的移动机器人导航方法及系统
CN107239790A (zh) * 2017-05-10 2017-10-10 哈尔滨工程大学 一种基于深度学习的服务机器人目标检测与定位方法
CN107423409A (zh) * 2017-07-28 2017-12-01 维沃移动通信有限公司 一种图像处理方法、图像处理装置和电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
C.LAWRENCE ZITNICK等: "Edge Boxes:Locating Object Proposals from Edges", 《COMPUTER VISION - ECCV 2014》 *
CHRISTION SZEGEDY等: "Going Deeper with Convolutions", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109556607A (zh) * 2018-10-24 2019-04-02 上海大学 一种快速处理移动机器人定位“绑架”问题的方法
CN109711365A (zh) * 2018-12-29 2019-05-03 佛山科学技术学院 一种融合语义信息的视觉slam回环检测方法及装置
CN111914850A (zh) * 2019-05-07 2020-11-10 百度在线网络技术（北京）有限公司 图片特征提取方法、装置、服务器和介质
CN111914850B (zh) * 2019-05-07 2023-09-19 百度在线网络技术（北京）有限公司 图片特征提取方法、装置、服务器和介质
WO2021008233A1 (zh) * 2019-07-17 2021-01-21 上海商汤智能科技有限公司 机器人图像增强方法及装置、处理器、设备、介质和程序
CN110553650A (zh) * 2019-08-29 2019-12-10 华南理工大学 一种基于小样本学习的移动机器人重定位方法
CN112561939A (zh) * 2020-12-08 2021-03-26 福建星网天合智能科技有限公司 一种图像轮廓模板的检索方法、装置、设备和介质
CN112561939B (zh) * 2020-12-08 2024-03-26 福建星网天合智能科技有限公司 一种图像轮廓模板的检索方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN108053447A (zh) 基于图像的重定位方法、服务器及存储介质
US10043308B2 (en) Image processing method and apparatus for three-dimensional reconstruction
Jian et al. The extended marine underwater environment database and baseline evaluations
US10254845B2 (en) Hand gesture recognition for cursor control
CN108875523B (zh) 人体关节点检测方法、装置、系统和存储介质
Huang et al. A coarse-to-fine algorithm for matching and registration in 3D cross-source point clouds
CN103514432B (zh) 人脸特征提取方法、设备和计算机程序产品
US9098740B2 (en) Apparatus, method, and medium detecting object pose
Mondéjar-Guerra et al. Robust identification of fiducial markers in challenging conditions
CN111328396A (zh) 用于图像中的对象的姿态估计和模型检索
CN106874826A (zh) 人脸关键点跟踪方法和装置
CN106326853A (zh) 一种人脸跟踪方法及装置
CN111104925B (zh) 图像处理方法、装置、存储介质和电子设备
CN107633206B (zh) 眼球动作捕捉方法、装置及存储介质
CN111612822B (zh) 对象跟踪方法、装置、计算机设备和存储介质
CN112528831A (zh) 多目标姿态估计方法、多目标姿态估计装置及终端设备
Paral et al. Vision sensor-based shoe detection for human tracking in a human–robot coexisting environment: A photometric invariant approach using DBSCAN algorithm
CN110766025B (zh) 绘本识别方法、装置、系统及存储介质
CN111833457A (zh) 图像处理方法、设备及存储介质
CN109902675A (zh) 物体的位姿获取方法、场景重构的方法和装置
Bang et al. Camera pose estimation using optical flow and ORB descriptor in SLAM-based mobile AR game
CN108875501B (zh) 人体属性识别方法、装置、系统及存储介质
Ma et al. Color-saliency-aware correlation filters with approximate affine transform for visual tracking
CN114972492A (zh) 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质
Akman et al. Multi-cue hand detection and tracking for a head-mounted augmented reality system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180518

RJ01 Rejection of invention patent application after publication