CN108122252A - 一种基于全景视觉机器人定位的图像处理方法及相关设备 - Google Patents

一种基于全景视觉机器人定位的图像处理方法及相关设备 Download PDF

Info

Publication number
CN108122252A
CN108122252A CN201611060043.4A CN201611060043A CN108122252A CN 108122252 A CN108122252 A CN 108122252A CN 201611060043 A CN201611060043 A CN 201611060043A CN 108122252 A CN108122252 A CN 108122252A
Authority
CN
China
Prior art keywords
image
artificial landmark
procedural
procedural image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611060043.4A
Other languages
English (en)
Inventor
徐方
王宏玉
张弛
陈睿
邓德智
包仁人
刘博�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Siasun Robot and Automation Co Ltd
Original Assignee
Shenyang Siasun Robot and Automation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Siasun Robot and Automation Co Ltd filed Critical Shenyang Siasun Robot and Automation Co Ltd
Priority to CN201611060043.4A priority Critical patent/CN108122252A/zh
Publication of CN108122252A publication Critical patent/CN108122252A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Image Analysis (AREA)

Abstract

本发明的基于全景视觉机器人定位的图像处理方法，在待检测区域内放置人工路标，获取所述待检测区域的全景图像，对所述全景图像进行颜色模型图像阈值分割得到第一过程图像，以使得所述人工路标在所述第一过程图像中具有第一颜色特征，利用最大类间方差法对所述第一过程图像进行分割得到第二过程图像，以将所述人工路标从所述第二过程图像中分割出来，利用已知的人工路标位置和角度关系根据三角定位计算得到当前位置的二维坐标以完成当前位置在所述待检测区域内的定位，其中，所述角度关系根据所属当前位置和所述人工路标确定，提高了图像分割的能力，准确识别出图像中的标记，使得机器人能够在复杂度更高的环境中工作，适应更多的应用领域。

Description

一种基于全景视觉机器人定位的图像处理方法及相关设备
技术领域
本发明涉及图像处理领域，特别涉及一种基于全景视觉机器人定位的图像处理方法及相关设备。
背景技术
机器人的智能化发展需要其具有感知外界信息的能力。据统计人在感知外界信息的过程中，大多数的信息都是通过视觉得到的。因此机器人的定位导航研究往往采用视觉传感器以便获取大量外界信息。全景视觉传感器是最近研究较为热门的视觉传感器，这种传感器在视野范围和视角方面具备不可替代的优势，这样的优势使其可以很好地在广阔的环境中进行定位导航工作。
目前使用全景视觉传感器进行移动机器人定位的方法比较单一，由于全景图像的扭曲效果，基于尺度距离的算法不适用于全景图像的处理，一般的研究采用颜色模型进行阈值分割。这样的算法较为简单，难以对较为复杂的场景进行图像分割。
发明内容
有鉴于此，本发明实施例提供了一种基于全景视觉机器人定位的图像处理方法及相关设备。
第一方面，本发明提供一种基于全景视觉机器人定位的图像处理方法，包括：
在待检测区域内放置人工路标；
获取所述待检测区域的全景图像；
对所述全景图像进行颜色模型HSV图像阈值分割得到第一过程图像，以使得所述人工路标在所述第一过程图像中具有第一颜色特征；
利用最大类间方差法OTSU对所述第一过程图像进行分割得到第二过程图像，以将所述人工路标从所述第二过程图像中分割出来；
利用已知的人工路标位置和角度关系根据三角定位计算得到当前位置的二维坐标以完成当前位置在所述待检测区域内的定位，其中，所述角度关系根据所属当前位置和所述人工路标确定。
可选地，所述对所述全景图像进行颜色模型HSV图像阈值分割得到第一过程图像，包括：
对所述全景图像进行RGB转化为HSV处理；
对转化完成的图像进行阈值分割得到第一过程图像。
可选地，所述第二过程图像包括至少三种颜色的人工路标。
可选地，所述第一颜色特征至少占所述第一过程图像中像素的3％。
第二方面，本发明一种基于全景视觉机器人定位的图像处理装置，其特征在于，包括：
放置单元，用于在待检测区域内放置人工路标；
获取单元，用于获取所述待检测区域的全景图像；
第一分割单元，用于对所述全景图像进行颜色模型HSV图像阈值分割得到第一过程图像，以使得所述人工路标在所述第一过程图像中具有第一颜色特征；
第二分割单元，用于利用最大类间方差法OTSU对所述第一过程图像进行分割得到第二过程图像，以将所述人工路标从所述第二过程图像中分割出来；
计算单元，用于利用已知的人工路标位置和角度关系根据三角定位计算得到当前位置的二维坐标以完成当前位置在所述待检测区域内的定位，其中，所述角度关系根据所属当前位置和所述人工路标确定。
可选地，所述第一分割单元还用于：
对所述全景图像进行RGB转化为HSV处理；
对转化完成的图像进行阈值分割得到第一过程图像。
可选地，所述第二过程图像包括至少三种颜色的人工路标。
可选地，所述第一颜色特征至少占所述第一过程图像中像素的3％。
第三方面，本发明提供一种设备，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。
从以上技术方案可以看出，本发明实施例具有以下优点：
本方案中，在待检测区域内放置人工路标，获取所述待检测区域的全景图像，对所述全景图像进行颜色模型HSV图像阈值分割得到第一过程图像，以使得所述人工路标在所述第一过程图像中具有第一颜色特征，利用最大类间方差法OTSU对所述第一过程图像进行分割得到第二过程图像，以将所述人工路标从所述第二过程图像中分割出来，利用已知的人工路标位置和角度关系根据三角定位计算得到当前位置的二维坐标以完成当前位置在所述待检测区域内的定位，其中，所述角度关系根据所属当前位置和所述人工路标确定提高了图像分割的能力，可以准确识别出图像中的标记，使得移动机器人能够在复杂度更高的环境中工作，从而使基于全景视觉传感器的移动机器人能够有更广阔的应用领域。
附图说明
图1是本发明提供的基于全景视觉机器人定位的图像处理方法的一种实施例的流程图；
图2是现有技术中采用单一阈值分割方法得到的未能成功分离人工路标的图像的示意图；
图3是本发明提供的基于全景视觉机器人定位的图像处理方法的一种实施例采用两种算法相结合成功分离人工路标的图像的流程图
图4是本发明提供的基于全景视觉机器人定位的图像处理装置的一种实施例的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
第一方面，本发明提供一种基于全景视觉机器人定位的图像处理方法，包括：
S101、在待检测区域内放置人工路标；
S102、获取所述待检测区域的全景图像；
S103、对所述全景图像进行颜色模型HSV(Hue,Saturation,Value)图像阈值分割得到第一过程图像，以使得所述人工路标在所述第一过程图像中具有第一颜色特征；
具体地，所述对所述全景图像进行颜色模型HSV图像阈值分割得到第一过程图像，包括：
对所述全景图像进行RGB转化为HSV处理；
对转化完成的图像进行阈值分割得到第一过程图像。
可选地，所述第一颜色特征至少占所述第一过程图像中像素的3％。
S104、利用最大类间方差法OTSU对所述第一过程图像进行分割得到第二过程图像，以将所述人工路标从所述第二过程图像中分割出来；
可选地，所述第二过程图像包括至少三种颜色的人工路标。
S105、利用已知的人工路标位置和角度关系根据三角定位计算得到当前位置的二维坐标以完成当前位置在所述待检测区域内的定位，其中，所述角度关系根据所属当前位置和所述人工路标确定。
下对采用最大类间方差法的步骤进行简单介绍：
一、Otsu最大类间方差法原理
利用阈值将原图像分成前景，背景两个图象。
前景：用n1,csum,m1来表示在当前阈值下的前景的点数，质量矩，平均灰度
后景：用n2,sum-csum,m2来表示在当前阈值下的背景的点数，质量矩，平均灰度
当取最佳阈值时，背景应该与前景差别最大，关键在于如何选择衡量差别的标准，而在otsu算法中这个衡量差别的标准就是最大类间方差(英文简称otsu，这也就是这个算法名字的来源)，在本程序中类间方差用sb表示，最大类间方差用fmax
关于最大类间方差法(otsu)的性能:
类间方差法对噪音和目标大小十分敏感，它仅对类间方差为单峰的图像产生较好的分割效果。
当目标与背景的大小比例悬殊时，类间方差准则函数可能呈现双峰或多峰，此时效果不好，但是类间方差法是用时最少的。
最大类间方差法(otsu)的公式推导：
记t为前景与背景的分割阈值，前景点数占图像比例为w0，平均灰度为u0；背景点数占图像比例为w1，平均灰度为u1。
则图像的总平均灰度为：u＝w0*u0+w1*u1。
前景和背景图象的方差：g＝w0*(u0-u)*(u0-u)+w1*(u1-u)*(u1-u)＝w0*w1*(u0-u1)*(u0-u1),此公式为方差公式。
可参照概率论课本上面的g的公式也就是下面程序中的sb的表达式。当方差g最大时，可以认为此时前景和背景差异最大，此时的灰度t是最佳阈值sb＝w0*w1*(u1-u0)*(u0-u1)。
基于HSV颜色模型的阈值分割算法是一种常用的基于颜色模型的阈值分割方法。在颜色模型中，HSV颜色模型由于与人类对于颜色的认知方式非常接近，较为适用于进行图像的阈值化处理；最大类间方差法是一种基于像素灰度的图像分割方法，一般归于图像分割中的直方图分割一类，一般情况下不能够单独应用在全景图像的分割，它的作用是能够将图像中的单一鲜明特征分割出来(单一鲜明特征占据图像的像素要大于3％)。
结合图2所示，采用颜色模型的阈值分割算法和最大类间方差法两种算法的结合使用优势在于：通过进行HSV图像阈值分割，将不符合阈值范围的像素排除出去。而符合阈值范围的是在机器人周围的具备单一颜色特征的辅助定位的人工路标，以及一些干扰因素。
结合图3所示，图像经过HSV阈值分割以后，人工路标在图像中成为了明显的颜色特征，就可以利用最大类间方差法进行下一步的图像分割，从而将人工路标从图像中分割出来。由于在全景图像中尺度信息不可靠，机器人需要至少分割出三个颜色不同的人工路标，再利用已知的人工路标位置，与自己和人工路标之间的角度关系，利用三角定位算法计算出自己所在的二维坐标，完成自定位。
本发明可应用于工厂或车间的自主搬运机器人进行运输任务时进行自定位。在车间中放置一定数量位置已知的人工路标辅助定位，搬运机器人就可以利用全景视觉传感器采集环境中的路标。由于全景视觉传感器视野范围广阔，因此人工路标无需过于密集放置。然后按照上述步骤进行图像分割采集人工路标，并完成自定位，能够取得较好的定位效果。
第二方面，本发明一种基于全景视觉机器人定位的图像处理装置，其特征在于，包括：
放置单元401，用于在待检测区域内放置人工路标；
获取单元402，用于获取所述待检测区域的全景图像；
第一分割单元403，用于对所述全景图像进行颜色模型HSV图像阈值分割得到第一过程图像，以使得所述人工路标在所述第一过程图像中具有第一颜色特征；
第二分割单元404，用于利用最大类间方差法OTSU对所述第一过程图像进行分割得到第二过程图像，以将所述人工路标从所述第二过程图像中分割出来；
计算单元405，用于利用已知的人工路标位置和角度关系根据三角定位计算得到当前位置的二维坐标以完成当前位置在所述待检测区域内的定位，其中，所述角度关系根据所属当前位置和所述人工路标确定。
可选地，所述第一分割单元403还用于：
对所述全景图像进行RGB转化为HSV处理；
对转化完成的图像进行阈值分割得到第一过程图像。
可选地，所述第二过程图像包括至少三种颜色的人工路标。
可选地，所述第一颜色特征至少占所述第一过程图像中像素的3％。
第三方面，本发明提供一种设备，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
以上对本发明所提供的一种基于全景视觉机器人定位的图像处理方法及相关设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于全景视觉机器人定位的图像处理方法，其特征在于，包括：
在待检测区域内放置人工路标；
获取所述待检测区域的全景图像；
对所述全景图像进行颜色模型HSV图像阈值分割得到第一过程图像，以使得所述人工路标在所述第一过程图像中具有第一颜色特征；
利用最大类间方差法OTSU对所述第一过程图像进行分割得到第二过程图像，以将所述人工路标从所述第二过程图像中分割出来；
利用已知的人工路标位置和角度关系根据三角定位计算得到当前位置的二维坐标以完成当前位置在所述待检测区域内的定位，其中，所述角度关系根据所属当前位置和所述人工路标确定。
2.根据权利要求1所述的方法，其特征在于，所述对所述全景图像进行颜色模型HSV图像阈值分割得到第一过程图像，包括：
对所述全景图像进行RGB转化为HSV处理；
对转化完成的图像进行阈值分割得到第一过程图像。
3.根据权利要求1所述的方法，其特征在于，所述第二过程图像包括至少三种颜色的人工路标。
4.根据权利要求1所述的方法，其特征在于，所述第一颜色特征至少占所述第一过程图像中像素的3％。
5.一种基于全景视觉机器人定位的图像处理装置，其特征在于，包括：
放置单元，用于在待检测区域内放置人工路标；
获取单元，用于获取所述待检测区域的全景图像；
第一分割单元，用于对所述全景图像进行颜色模型HSV图像阈值分割得到第一过程图像，以使得所述人工路标在所述第一过程图像中具有第一颜色特征；
第二分割单元，用于利用最大类间方差法OTSU对所述第一过程图像进行分割得到第二过程图像，以将所述人工路标从所述第二过程图像中分割出来；
计算单元，用于利用已知的人工路标位置和角度关系根据三角定位计算得到当前位置的二维坐标以完成当前位置在所述待检测区域内的定位，其中，所述角度关系根据所属当前位置和所述人工路标确定。
6.根据权利要求5所述的装置，其特征在于，所述第一分割单元还用于：
对所述全景图像进行RGB转化为HSV处理；
对转化完成的图像进行阈值分割得到第一过程图像。
7.根据权利要求5所述的装置，其特征在于，所述第二过程图像包括至少三种颜色的人工路标。
8.根据权利要求5所述的装置，其特征在于，所述第一颜色特征至少占所述第一过程图像中像素的3％。
9.一种设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1至4中任一项所述的方法。
CN201611060043.4A 2016-11-26 2016-11-26 一种基于全景视觉机器人定位的图像处理方法及相关设备 Pending CN108122252A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611060043.4A CN108122252A (zh) 2016-11-26 2016-11-26 一种基于全景视觉机器人定位的图像处理方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611060043.4A CN108122252A (zh) 2016-11-26 2016-11-26 一种基于全景视觉机器人定位的图像处理方法及相关设备

Publications (1)

Publication Number Publication Date
CN108122252A true CN108122252A (zh) 2018-06-05

Family

ID=62224036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611060043.4A Pending CN108122252A (zh) 2016-11-26 2016-11-26 一种基于全景视觉机器人定位的图像处理方法及相关设备

Country Status (1)

Country Link
CN (1) CN108122252A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109099915A (zh) * 2018-06-27 2018-12-28 未来机器人（深圳）有限公司 移动机器人定位方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090309966A1 (en) * 2008-06-16 2009-12-17 Chao-Ho Chen Method of detecting moving objects
CN102682292A (zh) * 2012-05-10 2012-09-19 清华大学 基于单目视觉的道路边缘检测及粗定位方法
CN102999753A (zh) * 2012-05-07 2013-03-27 腾讯科技（深圳）有限公司 车牌定位方法
CN105488797A (zh) * 2015-11-25 2016-04-13 安徽创世科技有限公司 一种hsv空间的车牌定位方法
CN106092086A (zh) * 2016-06-12 2016-11-09 哈尔滨工程大学 一种基于全景视觉的快速、高鲁棒性的机器人室内定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090309966A1 (en) * 2008-06-16 2009-12-17 Chao-Ho Chen Method of detecting moving objects
CN102999753A (zh) * 2012-05-07 2013-03-27 腾讯科技（深圳）有限公司 车牌定位方法
CN102682292A (zh) * 2012-05-10 2012-09-19 清华大学 基于单目视觉的道路边缘检测及粗定位方法
CN105488797A (zh) * 2015-11-25 2016-04-13 安徽创世科技有限公司 一种hsv空间的车牌定位方法
CN106092086A (zh) * 2016-06-12 2016-11-09 哈尔滨工程大学 一种基于全景视觉的快速、高鲁棒性的机器人室内定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109099915A (zh) * 2018-06-27 2018-12-28 未来机器人（深圳）有限公司 移动机器人定位方法、装置、计算机设备和存储介质
CN109099915B (zh) * 2018-06-27 2020-12-25 未来机器人（深圳）有限公司 移动机器人定位方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
US9928656B2 (en) Markerless multi-user, multi-object augmented reality on mobile devices
WO2020259481A1 (zh) 定位方法及装置、电子设备、可读存储介质
EP2908287B1 (en) Image segmentation device, image segmentation method, and depth map generating method
CN110648397B (zh) 场景地图生成方法、装置、存储介质及电子设备
EP3218878B1 (en) Image to item mapping
CN107564080B (zh) 一种人脸图像的替换系统
CN108765278A (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN108322724B (zh) 图像立体匹配方法以及双目视觉设备
CN103035003B (zh) 一种实现增强现实的方法及装置
CN110751730B (zh) 一种基于深度神经网络的穿衣人体体型估计方法
CN110288715B (zh) 虚拟项链试戴方法、装置、电子设备及存储介质
CN106570482B (zh) 人体动作识别方法及装置
CN109348731A (zh) 一种图像匹配的方法及装置
CN108430032B (zh) 一种实现vr/ar设备位置共享的方法及设备
CN108805838A (zh) 一种图像处理方法、移动终端及计算机可读存储介质
US20220366688A1 (en) Methods and apparatuses for corner detection
CN111191582A (zh) 三维目标检测方法、检测装置、终端设备及计算机可读存储介质
WO2024087962A1 (zh) 车厢姿态识别系统、方法、电子设备及存储介质
CN113971833A (zh) 多角度的人脸识别方法、装置、计算机主设备及存储介质
CN108764139A (zh) 一种人脸检测方法、移动终端及计算机可读存储介质
CN112348890A (zh) 一种空间定位方法、装置及计算机可读存储介质
CN111161130B (zh) 一种基于三维地理信息的视频矫正方法
CN111079535A (zh) 一种人体骨架动作识别方法、装置及终端
CN108874269B (zh) 一种目标跟踪方法、装置及系统
CN108122252A (zh) 一种基于全景视觉机器人定位的图像处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180605

RJ01 Rejection of invention patent application after publication