CN103914855B - 一种运动目标的定位方法及装置 - Google Patents

一种运动目标的定位方法及装置 Download PDF

Info

Publication number
CN103914855B
CN103914855B CN201410114266.9A CN201410114266A CN103914855B CN 103914855 B CN103914855 B CN 103914855B CN 201410114266 A CN201410114266 A CN 201410114266A CN 103914855 B CN103914855 B CN 103914855B
Authority
CN
China
Prior art keywords
coordinate
image
moving target
region
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410114266.9A
Other languages
English (en)
Other versions
CN103914855A (zh
Inventor
林睿
厉茂海
陈国栋
刘吉柱
潘明强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Lantu Technology Co ltd
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201410114266.9A priority Critical patent/CN103914855B/zh
Publication of CN103914855A publication Critical patent/CN103914855A/zh
Application granted granted Critical
Publication of CN103914855B publication Critical patent/CN103914855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本申请公开了一种运动目标的定位方法及装置,应用于设置有摄像装置的移动机器人,该方法首先获取摄像装置拍摄的当前图像及运动目标的当前预估空间坐标,并依据该当前预估空间坐标,在所述当前图像中确定一个备选图像区域,对所述备选图像区域进行光线处理以消除光线明亮变化影响,进而应用颜色自适应算法,在经过光线处理的备选图像区域中获取目标图像区域,与现有技术相比,该方法定位运动目标时并不需要对整帧的当前图像进行处理,而是在当前图像中的一个备选图像区域中定位运动目标区域,由于备选图像区域中的像素点个数少于整帧图像像素点个数,该方法的运算量较少,进而能较快地识别当前图像中的运动目标,满足定位的实时性要求。

Description

一种运动目标的定位方法及装置
技术领域
本申请涉及移动机器人技术领域,尤其是一种运动目标的定位方法及装置。
背景技术
在移动机器人领域中,对运动目标进行视觉跟踪是一个重要的研究课题。视觉跟踪,即通过连续的视频图像,获得特定运动目标的空间位置及运动参数,并依据所述空间位置及运动参数对其进行追踪。从本质上来讲,实现对运动目标的视觉跟踪需要对运动目标进行定位。
基于实际应用需要,对运动目标的定位算法应满足三方面的要求,即鲁棒性、准确性与实时性。其中,实时性要求能快速地对运动目标进行定位。
然而,移动机器人获取到的图像中包含有较大的数据量,目前的运动目标定位方式对图像的处理需要耗费大量时间,处理效率较低,实时性较差。
发明内容
有鉴于此,本申请提供了一种运动目标的定位方法及装置,用以解决现有技术中不能及时迅速地对运动目标进行定位的技术问题。本申请提供的技术方案如下:
一种运动目标的定位方法,应用于移动机器人,所述移动机器人上设置有摄像装置,该方法包括:
获取所述摄像装置拍摄的当前图像;其中,所述当前图像中包含有运动目标;
获取所述运动目标的当前预估空间坐标;
依据所述当前预估空间坐标,确定所述当前图像中的备选图像区域;
对所述备选图像区域进行光线处理;
依据颜色自适应算法,在经过光线处理的备选图像区域中获取目标图像区域。
上述方法,优选的,当获取到的所述摄像装置拍摄的当前图像非第一帧图像时;其中,所述获取所述运动目标的当前预估空间坐标,包括:
判断是否获取到前一目标图像区域;其中,所述前一目标图像区域为所述当前图像的前一帧图像中包含有运动目标的目标图像区域;
若是,依据卡尔曼滤波算法,由所述前一目标图像区域的几何中心坐标,获取所述运动目标的当前预估空间坐标。
上述方法,优选的,所述依据所述当前预估空间坐标,确定所述当前图像中的备选图像区域,包括:
依据所述当前预估空间坐标,获得所述运动目标的当前空间坐标;
依据所述当前空间坐标及预设坐标转换矩阵,在所述当前图像中确定备选图像区域的中心坐标;
依据所述当前空间坐标、运动目标的预估线速度及运动目标的预估角速度,在所述当前图像中确定备选图像区域的长度及宽度。
上述方法,优选的,所述依据所述当前预估空间坐标,获得所述运动目标的当前空间坐标,包括:
获得所述运动目标的当前位姿控制量;其中,所述当前位姿控制量中包含有所述运动目标的坐标改变参数及移动机器人的位置改变参数;
依据所述当前预估空间坐标及所述当前位姿控制量,获得所述运动目标的当前空间坐标。
上述方法,优选的,所述依据颜色自适应算法,在经过光线处理的备选图像区域中获取目标图像区域,包括:
将所述经过光线处理的备选图像区域进行颜色建模、消除噪声及膨胀化处理,获得多个备选图像分区域;
将每个所述备选图像分区域中与各个预设特征项分别对应的特征值进行加权求和,获得每个所述备选图像分区域对应的特征和值;
确定各个所述特征和值中的最大值,并将所述最大值对应的备选图像分区域确定为目标图像区域。
上述方法,优选的,还包括:
将所述目标图像区域的几何中心确定为运动目标质心的图像坐标;
依据所述运动目标质心的图像坐标,确定所述运动目标相对于所述移动机器人的当前距离及当前角度;
依据所述当前距离及当前角度,获得所述移动机器人的当前线速度及当前角速度。
本申请还提供了一种运动目标的定位装置,应用于移动机器人,所述移动机器人上设置有摄像装置,该装置包括:
当前图像获取模块,用于获取所述摄像装置拍摄的当前图像;其中,所述当前图像中包含有运动目标;
空间坐标获取模块,用于获取所述运动目标的当前预估空间坐标;
备选区域确定模块,用于依据所述当前预估空间坐标,确定所述当前图像中的备选图像区域;
光线处理模块,用于对所述备选图像区域进行光线处理;
目标区域获取模块,用于依据颜色自适应算法,在经过光线处理的备选图像区域中获取目标图像区域。
上述装置,优选的,当前图像获取模块获取到的所述摄像装置拍摄的当前图像非第一帧图像;其中,所述空间坐标获取模块包括:
判断子模块,用于判断是否获取到前一目标图像区域;其中,所述前一目标图像区域为所述当前图像的前一帧图像中包含有运动目标的目标图像区域;若是,触发第一结果子模块;
第一结果子模块,用于依据卡尔曼滤波算法,由所述前一目标图像区域的几何中心坐标,获取所述运动目标的当前预估空间坐标。
上述装置,优选的,所述备选区域确定模块包括:
空间坐标获取子模块,用于依据所述当前预估空间坐标,获得所述运动目标的当前空间坐标;
中心坐标确定子模块,用于依据所述当前空间坐标及预设坐标转换矩阵,在所述当前图像中确定备选图像区域的中心坐标;
长度宽度确定子模块,用于依据所述当前空间坐标、运动目标的预估线速度及运动目标的预估角速度,在所述当前图像中确定备选图像区域的长度及宽度。
上述装置,优选的,所述空间坐标获取子模块包括:
位姿控制量获取单元,用于获得所述运动目标的当前位姿控制量;其中,所述当前位姿控制量中包含有所述运动目标的坐标改变参数及移动机器人的位置改变参数;
空间坐标获取单元,用于依据所述当前预估空间坐标及所述当前位姿控制量,获得所述运动目标的当前空间坐标。
上述装置,优选的,所述目标区域获取模块包括:
分区域获取子模块,用于将所述经过光线处理的备选图像区域进行颜色建模、消除噪声及膨胀化处理,获得多个备选图像分区域;
特征和值获取子模块,用于将每个所述备选图像分区域中与各个预设特征项分别对应的特征值进行加权求和,获得每个所述备选图像分区域对应的特征和值;
目标区域确定子模块,用于确定各个所述特征和值中的最大值,并将所述最大值对应的备选图像分区域确定为目标图像区域。
上述装置,优选的,还包括:
质心图像坐标确定模块,用于将所述目标图像区域的几何中心确定为运动目标质心的图像坐标;
距离及角度确定模块,用于依据所述运动目标质心的图像坐标,确定所述运动目标相对于所述移动机器人的当前距离及当前角度;
线速度及角速度获取模块,用于依据所述当前距离及当前角度,获得所述移动机器人的当前线速度及当前角速度。
由以上的技术方案可知,本申请提供了一种运动目标的定位方法及装置,应用于设置有摄像装置的移动机器人,该方法首先获取摄像装置拍摄的当前图像及运动目标的当前预估空间坐标,并依据该当前预估空间坐标,在所述当前图像中确定一个备选图像区域,对所述备选图像区域进行光线处理以消除光线明亮变化影响,进而应用颜色自适应算法,在经过光线处理的备选图像区域中获取目标图像区域,与现有技术相比,该方法定位运动目标时并不需要对整帧的当前图像进行处理,而是在当前图像中的一个备选图像区域中定位运动目标区域,由于备选图像区域中的像素点个数少于整帧图像像素点个数,该方法的运算量较少,进而能较快地识别当前图像中的运动目标,满足定位的实时性要求。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的一种运动目标的定位方法实施例一的流程图;
图2为本申请提供的一种运动目标的定位方法实施例二的流程图;
图3为本申请提供的一种运动目标的定位方法实施例三的部分流程图;
图4为本申请提供的一种运动目标的定位方法实施例三的一具体部分流程图;
图5为本申请提供的一种移动机器人运动平台及移动机器人空间坐标系的一个示例图;
图6为本申请提供的一种运动目标的定位方法实施例四部分流程图;
图7为本申请提供的一种运动目标的定位方法实施例五的流程图;
图8为本申请提供的运动目标定位过程的一个示例图;
图9为本申请提供的一种运动目标的定位装置实施例一的结构示意图;
图10为本申请提供的一种运动目标的定位装置实施例的另一结构示意图;
图11为本申请提供的一种运动目标的定位装置实施例的又一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在移动机器人中,通常设置有摄像装置,依据摄像装置拍摄的图像,机器人可以确定目标物体的位置或状态,并进一步作出反应动作,如靠近、远离等。为了保证动作的及时性,要求图像处理过程即依据图像确定目标图像区域的过程具有快速性。为实现该目的,本申请提供了一种运动目标的定位方法。
请参阅图1,其示出了本申请提供的一种运动目标的定位方法实施例一的流程图,应用于设置有摄像装置的移动机器人,本实施例具体包括:
步骤101:获取所述摄像装置拍摄的当前图像;其中,所述当前图像中包含有运动目标。
其中,所述移动机器人的摄像装置为一个,即所述移动机器人为基于单目视觉的机器人。在当前时刻获取所述摄像装置拍摄的一帧图像作为当前图像。
步骤102:获取所述运动目标的当前预估空间坐标。
其中,所述当前预估空间坐标为空间坐标的最优估计值,即当前时刻所述运动目标在空间中最可能出现的位置点。
需要说明的是,所述运动目标可用该运动目标的质心点表示。另外,空间坐标需要具体的坐标系标准,该运动目标的当前预估空间坐标为空间坐标,其依据的坐标系以移动机器人的位置为标准建立的坐标系,即所述当前预估空间坐标是相对于移动机器人的空间坐标。
步骤103:依据所述当前预估空间坐标,确定所述当前图像中的备选图像区域。
其中,所述备选图像区域为所述当前图像中的一部分区域,可以认为是该当前图像中的视觉窗口,即包含有所述运动目标的视觉窗口。另外,所述当前预估空间坐标为三维坐标值,所述确定过程为:依据所述三维空间坐标值,确定运动目标在所述当前图像中的二维图像坐标值,并进一步确定区域的长度及宽度,从而生成备选图像区域。
需要说明的是,在当前图像中确定备选图像区域的方法,可以依据卡尔曼滤波算法、参数估计的最小二乘算法、维纳滤波算法等。
步骤104:对所述备选图像区域进行光线处理。
需要说明的是,运动目标在环境中运动,摄像装置拍摄的图像受光线变化的影响较大,导致图像存在亮度变化。因此,为减小光线变化对图像色彩带来的偏差,需要对所述当前图像进行光线处理,使图像色彩更接近于现实场景中的图像色彩。具体的,光线处理可以包括光线补偿,具体的算法如下:
(1)计算各个像素点[R G B]T分量的平均值[mR mG mB]T,分量的方差[sR sG sB]T及像素点亮度平均值mL
(2)计算各个像素点亮度的平均值m'L
(3)若mL-m'L>5,则进行光线补偿并再次计算各个像素点[R G B]T分量的平均值[m'R m'G m'B]T及分量的方差[s'R s'G s'B]T,重复上述(2)步骤,直至步骤(3)中的mL-m′L>5不成立时停止。其中,针对待处理图像中的每一像素点,进行光线补偿的公式为:MPC=MP+MGMS;其中:
MPC为像素点光线补偿后的RGB值向量,MP为像素点光线补偿前的RGB值向量,MG为3×3均值矩阵MS为3×1协方差向量[sR/s'R sG/s'G sB/s'B]T
另外,为了进一步减小光线变化对运动目标明亮的影响,对各个像素点进行颜色空间转换,即将彩色图像转化为灰度图像,例如将RGB颜色空间转化为YUV(YCrCb)颜色空间,具体的转换公式为:
MYCrCb=MdMPC+MT;其中:
MYCrCb为像素点颜色转换后的YCrCb值向量,Md为3×3协方差矩阵MT为3×1常数向量[16 128 128]T
需要说明的是,为了减少计算量,上述光线处理仅针对于所述备选图像区域的各个像素点,而非整帧的当前图像。减少计算量可以进一步快速地获取到运动目标。
步骤105:依据颜色自适应算法,在经过光线处理的备选图像区域中获取目标图像区域。
其中,所述颜色自适应算法为自适应算法中的一种,应用所述颜色自适应算法对运动目标进行识别,优选的,所述待识别的运动目标为颜色一致性较好的物体,如足球、篮球等。另外,所述目标图像区域为包含有运动目标的图像区域,该图像区域可以为一个规则的图像区域如矩形,圆形等。
由以上的技术方案可知,本实施例提供了一种运动目标的定位方法,该方法应用于设置有摄像装置的移动机器人,该方法首先获取摄像装置拍摄的当前图像及运动目标的当前预估空间坐标,并依据该当前预估空间坐标,在所述当前图像中确定一个备选图像区域,对所述备选图像区域进行光线处理以消除光线明亮变化影响,进而应用颜色自适应算法,在经过光线处理的备选图像区域中获取目标图像区域,与现有技术相比,该方法定位运动目标时并不需要对整帧的当前图像进行处理,而是在当前图像中的一个备选图像区域中定位运动目标区域,由于备选图像区域中的像素点个数少于整帧图像像素点个数,该方法的运算量较少,进而能较快地识别当前图像中的运动目标,满足定位的实时性要求。
另外,该定位方法在备选图像区域中进行颜色自适应匹配算法识别运动目标,计算量较少,进而误差较少,能提高定位的准确度。
需要说明的是,上述实施例可识别出包含有运动目标的目标图像区域,利用所述目标图像区域可以进行下一步处理,例如,在该图像区域中获取该图像区域的几何中心,将该几何中心作为运动目标的质心,进而更精确地获得运动目标的具体位置,并依据该质心位置对运动目标施以作用力,实现对所述运动目标的操控,具体的实施例可以参见下文方法实施例五。
当移动机器人的摄像装置开启后则实时拍摄运动目标图像,则可以循环执行上述方法实施例一,以根据每一帧当前图像实现对运动目标的实时定位。
需要说明的是,当循环执行上述方法实施例例一对当前图像进行运动目标实时定位时,该方法并不适用于第一帧图像。若当前图像为第一帧图像,则需要对整帧图像进行光线处理,并依据颜色自适应算法,在经过光线处理的整帧图像中获取目标图像区域,并依据获取到的目标图像区域的几何中心,确定运动目标在移动机器人局部三维坐标系中相对于移动机器人的空间坐标值M(0|0),并将该空间坐标值用于后续第二帧图像处理,即第二帧图像为当前图像时,将该空间坐标值作为当前预估空间坐标,进而在第二帧图像中确定备选图像区域。
请参见图2,其示出了本申请提供的一种运动目标定位方法实施例二的流程图,本实施例中所述摄像装置拍摄的当前图像非第一帧图像,该方法具体包括:
步骤201:获取所述摄像装置拍摄的当前图像;其中,所述当前图像中包含有运动目标。
步骤202:判断是否获取到前一目标图像区域;其中,所述前一目标图像区域为所述当前图像的前一帧图像中包含有运动目标的目标图像区域;若是,执行步骤203。
需要说明的是,获取前一目标图像区域的过程可以是应用方法实施例一中的运动目标定位方法,即将所述当前图像的前一帧图像作为该实施例中的当前图像进行获取。
步骤203:依据卡尔曼滤波算法,由所述前一目标图像区域的几何中心坐标,获取运动目标的当前预估空间坐标。
具体的,依据所述前一目标图像区域的几何中心坐标,获取运动目标的当前预估空间坐标的过程将在下文进行详细介绍。
步骤204:依据所述当前预估空间坐标,确定所述当前图像中的备选图像区域。
步骤205:对所述备选图像区域进行光线处理。
步骤206:依据颜色自适应算法,在经过光线处理的备选图像区域中获取目标图像区域。
另外,在上述实施例二的基础上还可以包括:
步骤207:当未获取到前一目标图像区域时,设置移动机器人的线速度值为零,并将所述移动机器人的角速度值维持为当前的角速度值。
其中,本步骤可以使所述移动机器人在原地旋转,用以搜索运动目标。
需要说明的是,上述备选图像区域可以认为是所述当前图像中的一个视觉窗口,该视觉窗口可以是一个规则区域如矩形、圆形,且可以由备选图像区域几何中心的坐标值及备选图像区域的长度及宽度值表示。其中,确定所述视觉窗口的过程可以是利用卡尔曼滤波算法进行的运算过程,具体的,请参阅图3,其示出了本申请提供的一种运动目标定位方法实施例三的部分流程图,应用于设置有摄像装置的移动机器人,方法实施例一步骤103可以通过以下方式实现:
步骤301:依据所述当前预估空间坐标,获得所述运动目标的当前空间坐标。
其中,所述当前预估空间坐标为由当前图像的前一帧图像获取到的所述运动目标最可能出现的位置点,即运动目标当前相对于机器人局部坐标系的坐标估计值。具体的,请参阅图4,本步骤可以通过以下方式实现:
步骤401:获得所述运动目标的当前位姿控制量;其中,所述当前位姿控制量中包含有所述运动目标的坐标改变参数及移动机器人的位置改变参数。
其中,所述运动目标的当前位姿控制量U(k)受两个参数影响,即运动目标的坐标改变参数及移动机器人的位置改变参数,具体的:
其中:M(k-1|k-1)=[xk-1,k-1 yk-1,k-1]T,M(k-2|k-2)=[xk-2,k-2 yk-2,k-2]T,所述M(k-1|k-1)为当前预估空间坐标值,所述M(k-2|k-2)为由当前图像的前两帧图像获取到的运动目标相对于移动机器人的三维坐标值;υk-1为拍摄前一帧图像时刻,移动机器人的线速度值;ωk-1为拍摄前一帧图像时刻,移动机器人的角速度值,所述Δt为预先设置的应用本实施在每帧图像中定位运动目标的处理周期。
步骤402:依据所述当前预估空间坐标及所述当前位姿控制量,获得所述运动目标的当前空间坐标。
具体的,所述获得过程可以是:
M(k|k-1)=f(M(k-1|k-1),U(k)); (1)
其中:M(k|k-1)为前空间坐标;M(k-1|k-1)为当前预估空间坐标值;U(k)为当前位姿控制量;所述f(M(k-1|k-1),U(k))为状态转换函数,为了节省计算量,该函数可以简化地进行如下表示:
f(M(k-1|k-1),U(k))=M(k-1|k-1)+U(k); (2)
应用(2)式,(1)式可以表述为:
M(k|k-1)=M(k-1|k-1)+U(k); (3)
设M(k|k-1)对应的协方差矩阵为P(k|k-1),为了简化计算过程,不妨设:
P(k|k-1)=P(k-1|k-1)+Q (4)
当然,拍摄第一帧图像时,运动目标相对于移动机器人局部坐标系的三维空间坐标为M(0|0),该M(0|0)对应的协方差矩阵设为P(0,0)=[Δt·(lmaxmax) Δt·(lmaxmax)]T;Q为系统的协方差矩阵,此处可以简单地设为Q=1/3·[Δt·(lmaxmax) Δt·(lmaxmax)]T;其中:lmax和υmax分别为运动目标和移动机器人的最大线速度,该两个值可以根据实际情况预先设定。
由上述(4)式可以获得所述当前空间坐标M(k|k-1)。
步骤302:依据所述当前空间坐标及预设坐标转换矩阵,在所述当前图像中确定备选图像区域的中心坐标。
其中,所述备选图像区域的中心坐标为根据当前预估空间坐标预测的所述运动目标在当前图像中的二维坐标,可以表示为Wc(k)=[uc,k vc,k]T;确定该中心坐标的方式可以是:
Wc(k)=PRαRθG·M(k|k-1);其中:PRαRθG为预设坐标转换矩阵;M(k|k-1)为依据当前图像获得的运动目标在移动机器人局部三维坐标系中的空间坐标值。
需要说明的是,所述矩阵坐标转换矩阵为由移动机器人的空间(三维)坐标系向图像(二维)坐标系转换的矩阵。可选的,所述预设坐标转换矩阵为3×3转换矩阵。该预设坐标转换矩阵主要包括如摄像机的偏转角θ、俯仰角α、摄像装置在移动机器人空间坐标系中的坐标等一些预设参数,由移动机器人平台决定。例如,请参阅图5,其示出了移动机器人的运动平台及移动机器人空间坐标系的一个示例图。
步骤303:依据所述当前空间坐标、运动目标的预估线速度及运动目标的预估角速度,在所述当前图像中确定备选图像区域的长度及宽度。
其中,所述备选图像区域的长度及宽度可以表示为Wd(k)=[wk dk]T;确定该长度及宽度的方式可以是:
Wd(k)=2ρ12R(k-1)·Δt+M(k|k-1));
其中:ρ1、ρ2为预先设定的坐标转换系数;R(k-1)=[υk-1 ωk-1]T,表示拍摄前一帧图像时,移动机器人的线速度及角速度;Δt为预先设置的应用本实施在每帧图像中定位运动目标的处理周期。
可以看出,视觉窗口的长宽大小Wd(k)由移动机器人的线速度、角速度以及运动目标的当前空间坐标决定。
由以上的技术方案可知,由步骤302确定的备选图像区域的中心坐标、及步骤303确定的备选图像区域的长度及宽度数值,可以唯一确定备选图像区域,该备选图像区域可以认为是所述当前图像的视觉窗口。
请参阅图6,其示出了本申请提供的一种运动目标定位方法实施例四的部分流程图,上述方法实施例一的步骤105可以通过以下方式实现:
步骤501:将所述经过光线处理的备选图像区域进行颜色建模、消除噪声及膨胀化处理,获得多个备选图像分区域。
首先,需要对所述经过光线处理的备选图像区域进行颜色建模,即以预先设定的运动目标的CrCb阈值范围对视觉窗口内的各个像素点进行判断,如果某一像素点对应的Cr和Cb值在预先设定的阈值范围内,说明此像素点可能为运动目标在图像中的投影点,并将此像素点标识为白色点,否则标识为黑色点。需要说明的是,此颜色建模类似于图像二值化处理,经过颜色建模的备选图像区域内的各个像素点分为两类,即白色像素点及黑色像素点。
然后,需要对所述颜色建模的备选图像区域进行消除噪声处理,若拍摄环境中其他的物体颜色与运动目标的颜色类似,所述相似的像素点为噪声点,该消除噪声处理可以实现将噪声点进行消除。其中,所述消除噪声的处理可以是运用腐蚀算法。
最后,在消除噪声后为了还原运动目标在图像中的像素点实际大小,还需要进行膨胀处理,从而保证了消除噪声点的处理不会较大程度地改变运动目标对应图像区域的面积。
需要说明的是,颜色建模处理过程可以在所述视觉窗口(备选图像区域)中获得多个备选图像分区域,消除噪声处理可以将背景环境中一些跟运动目标的颜色类似的备选图像分区域消除掉,但还是会保留多个备选图像分区域。
步骤502:将每个所述备选图像分区域中与各个预设特征项分别对应的特征值进行加权求和,获得每个所述备选图像分区域对应的特征和值。
其中,所述预设特征项可以是区域面积、长宽比例、图像位置。具体的,对所述各个备选图像分区域分别计算所述各个预设特征项的特征值,并将获得各个特征值加和,从而获得与该备选图像分区域相对应的特征和值。具体的,获取特征和值的方式可以是:
其中:
Pj为备选图像分区域j的特征和值;Si为某一特征项的特征值,σi为该特征项的预设权重系数;N为备选图像分区域的个数;M为预设特征项的个数,如3个,分别为区域面积、长宽比例、图像位置。
步骤503:确定各个所述特征和值中的最大值,并将所述最大值对应的备选图像分区域确定为目标图像区域。
其中,根据经验值可以获得运动目标的特征和值,如运动目标的区域面积、长宽比例、在拍摄图像中最可能出现的位置(运动目标的质心在图像中的坐标),依据经验值可以得知,某一备选图像分区域分别对应的特征和值最大,则该特征和值对应的备选图像分区域为运动目标图像区域的可能性最大。则:
在各个特征和值中确定最大值,并将该最大的特征和值对应的备选图像分区域确定为目标图像区域,该目标图像区域中包含有运动目标。
依据已经确定的目标图像区域,可以进行进一步处理,例如,确定该运动目标的质心的空间坐标值,依据该质心坐标值对运动目标对运动目标进行追踪。请参阅图7,其示出了本实施例提供的一种运动目标定位方法实施例五的流程图,在上述方法实施例一或方法实施例二的步骤之后,还可以包括:
步骤106:将所述目标图像区域的几何中心确定为运动目标质心的图像坐标。
其中,该目标图像区域的几何中心,可以认为是运动目标质心投影在在当前图像中的图像坐标。获取该目标图像区域的几何中心的方式可以是:
其中:
Wo(k)为依据当前图像获取到的运动目标的质心的图像坐标;[ui vi]T为目标图像区域中像素点的坐标值,Z为所述目标图像区域对中像素点的个数。
步骤107:依据所述运动目标质心的图像坐标,确定所述运动目标相对于所述移动机器人的当前距离及当前角度。
具体的,确定的方式可以是:
依据所述质心图像坐标,获得运动目标在移动机器人的局部三维坐标系中的空间坐标Z(k);具体依据的计算公式可以是:
其中,Z(k)=[xo,k yo,k]T,高度参数值zo,k=R(1+tanα)为常数。
依据该空间坐标Z(k),获得运动目标相对于所述移动机器人的当前距离do,k及当前角度δo,k;具体依据的计算公式可以是:
步骤108:依据所述当前距离及当前角度,获得所述移动机器人的当前线速度及当前角速度。
具体的,获得所述移动机器人的当前线速度υk及当前角速度ωk的方式可以是:
其中:
Mλ为2×2的权重系数矩阵;即移动机器人运动的线速度和角速度值与运动目标相对于移动机器人的距离和角度成正比关系;[dυ δω]T为常数值向量,表示当运动目标距离移动机器人距离和角度小于一定的阈值时,移动机器人停止跟踪运动动作。
当然,将获取到的所述移动机器人的线速度及角速度发送至移动机器人的下位机,所述下位机以所述线速度及角速度进行运动,则可以控制移动机器人进行左右行走,实现对运动目标的追踪。
需要说明的是,由于上述方法实施例一的定位方法可以循环执行,即利用实时获取到的当前图像对运动目标进行实时定位。上述方法实施例五中获取到运动目标在移动机器人的局部三维坐标系中的空间坐标Z(k),则可以应用该Z(k),对方法实施例一中的当前预估空间坐标进行更新,即当进行下一帧图像的运动目标定位时,依据的是所述更新后的当前预估空间坐标M(k|k)=[xk,k yk,k]T。具体的更新方式是:
M(k|k)=M(k|k-1)+Kg(k)(Z(k)-M(k|k-1));其中:
Kg(k)为卡尔曼增益,其计算公式如下:
Kg(k)=P(k|k-1)/(P(k|k-1)+R),其中:
R为测量噪声的协方差矩阵,预设R=1/2·P(k|k-1);P(k|k-1)为M(k|k-1)对应的协方差矩阵。
依据M(k|k),更新其对应的协方差矩阵P(k|k);其中:
P(k|k)=(I-Kg(k))P(k|k-1);其中:I为单位矩阵。
经由上述的计算,可以实现对当前预估空间坐标的更新。
需要说明的是,上述各个实施例中定位的运动目标为质心不变的运动目标,则该质心在空间中的高度值为一个常数,则上述各个实施例中的三维空间坐标值的高度坐标值可以省略表示,进而该各个三维空间坐标值省略表示为二个空间坐标值。
需要说明的是,循环执行上述方式方法实施例一对运动目标实时进行定位的过成可以表述为:获取当前图像,将上一帧图像获得的运动目标在移动机器人局部空间坐标系下的坐标值作为当前预估空间坐标值,且将该当前预估空间坐标值转化到当前图像坐标中,用以在当前图像中确定视觉窗口,并在此视觉窗口内确定包含运动目标的目标图像区域,并根据该目标图像区域获得运动目标的质心图像坐标,再转换到移动机器人的局部空间坐标系中,从而确定运动目标在当前时刻的空间坐标值,用该空间坐标值更新所述当前预估空间坐标值,用以作为下一帧图像的当前预估空间坐标值。该方法可以应用于移动机器人的足球比赛和动态演示中。
现应用实际场景实验图对本申请提供方案的有效性进行说明:
如图5所示的移动机器人实验平台中,移动机器人采用双轮减速行走机械,追踪的运动目标为橙色沙滩排球,移动机器人的运动控制参数分别为线速度υ值和角度速度ω值,系统平台中共有2个坐标系:机器人的三维局部坐标系Or(xr,yr,zr)和摄像机的二维图像坐标系Oc(uc,vc)。设置摄像装置的视觉频率为15Hz,即Δt=1/15s,则每秒获取15帧图像,图像的分辨率设为320×240,为RGB24位格式。
请参阅图8,其示出了应用本方法实施例进行运动目标定位的各个步骤进行处理后的实验结果图。其中:
图(a)为当前图像;
图(b)中的矩形框为在当前图像中确定的备选图像区域,加号为该备选图像区域的几何中心;
图(c)为对备选图像区域进行光线补偿后的图像;
图(d)为对备选图像区域进行颜色建模后的图像;
图(e)为应用腐蚀算法对备选图像区域消除噪声后的图像;
图(f)为对备选图像区域膨胀处理后的图像;
图(g)为在备选图像区域中确定目标图像区域时的图像;
图(h)中较小矩形框为在当前图像中确定的目标图像区域,左边的加号为该目标图像区域的几何中心;较小的框及右边的加号请参见图(b)说明。
另外,各个步骤的处理时间请见表1,可见,通过在整帧图像中确定备选图像区域,并在该备选图像区域中进行运动目标的识别与定位,可以有效地提高处理速度。
表1
对应上述方法实施例一,本申请提供了一种运动目标的定位装置,具体请参阅图9,该装置具体包括:
当前图像获取模块601,用于获取所述摄像装置拍摄的当前图像;其中,所述当前图像中包含有运动目标;
空间坐标获取模块602,用于获取所述运动目标的当前预估空间坐标;
备选区域确定模块603,用于依据所述当前预估空间坐标,确定所述当前图像中的备选图像区域;
光线处理模块604,用于对所述备选图像区域进行光线处理;
目标区域获取模块605,用于依据颜色自适应算法,在经过光线处理的备选图像区域中获取目标图像区域。
对应上述方法实施例二,本申请还提供了一种运动目标的定位装置,在上述装置实施例一的基础上,若当前图像获取模块601获取到的所述摄像装置拍摄的当前图像非第一帧图像,则所述空间坐标获取模块602可以具体包括:
判断子模块,用于判断是否获取到前一目标图像区域;其中,所述前一目标图像区域为所述当前图像的前一帧图像中包含有运动目标的目标图像区域;若是,触发第一结果子模块;
第一结果子模块,用于依据卡尔曼滤波算法,由所述前一目标图像区域的几何中心坐标,获取所述运动目标的当前预估空间坐标。
另外,所述空间坐标获取模块还可以进一步地包括第二结果子模块,用于当未获取到所述前一目标图像区域时,设置移动机器人的线速度值为零,并将所述移动机器人的角速度值维持为当前的角速度值。
对应上述方法实施例三,本申请提供了一种运动目标的定位装置,具体请参阅图10,不仅包括上述装置实施例一中的当前图像获取模块601、空间坐标获取模块602、光线处理模块604及目标区域获取模块605,还进一步将上述装置中的备选区域确定模块603具体为:
空间坐标获取子模块6031,用于依据所述当前预估空间坐标,获得所述运动目标的当前空间坐标;
中心坐标确定子模块6032,用于依据所述当前空间坐标及预设坐标转换矩阵,在所述当前图像中确定备选图像区域的中心坐标;
长度宽度确定子模块6033,用于依据所述当前空间坐标、运动目标的预估线速度及运动目标的预估角速度,在所述当前图像中确定备选图像区域的长度及宽度。
进一步的,所述空间坐标获取子模块6031可以包括:
位姿控制量获取单元,用于获得所述运动目标的当前位姿控制量;其中,所述当前位姿控制量中包含有所述运动目标的坐标改变参数及移动机器人的位置改变参数;
空间坐标获取单元,用于依据所述当前预估空间坐标及所述当前位姿控制量,获得所述运动目标的当前空间坐标。
另外,上述装置实施例中的目标区域获取模块包括:
分区域获取子模块,用于将所述经过光线处理的备选图像区域进行颜色建模、消除噪声及膨胀化处理,获得多个备选图像分区域;
特征和值获取子模块,用于将每个所述备选图像分区域中与各个预设特征项分别对应的特征值进行加权求和,获得每个所述备选图像分区域对应的特征和值;
目标区域确定子模块,用于确定各个所述特征和值中的最大值,并将所述最大值对应的备选图像分区域确定为目标图像区域。
对应上述方法实施例五,本申请还提供了一种运动目标的定位装置,具体请参阅图11,在上述装置实施例一或二的基础上,还可以进一步包括:
质心图像坐标确定模块606,用于将所述目标图像区域的几何中心确定为运动目标质心的图像坐标;
距离及角度确定模块607,用于依据所述运动目标质心的图像坐标,确定所述运动目标相对于所述移动机器人的当前距离及当前角度;
线速度及角速度获取模块608,用于依据所述当前距离及当前角度,获得所述移动机器人的当前线速度及当前角速度。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种运动目标的定位方法,其特征在于,应用于移动机器人,所述移动机器人上设置有摄像装置,该方法包括:
获取所述摄像装置拍摄的当前图像;其中,所述当前图像中包含有运动目标;
获取所述运动目标的当前预估空间坐标;所述获取所述运动目标的当前预估空间坐标,包括:判断是否获取到前一目标图像区域;其中,所述前一目标图像区域为所述当前图像的前一帧图像中包含有运动目标的目标图像区域;若是,依据卡尔曼滤波算法,由所述前一目标图像区域的几何中心坐标,获取所述运动目标的当前预估空间坐标;
依据所述当前预估空间坐标,确定所述当前图像中的备选图像区域,其中,确定所述当前图像中的备选图像区域,包括:依据所述当前预估空间坐标,获得所述运动目标的当前空间坐标;依据所述当前空间坐标及预设坐标转换矩阵,在所述当前图像中确定备选图像区域的中心坐标;依据所述当前空间坐标、运动目标的预估线速度及运动目标的预估角速度,在所述当前图像中确定备选图像区域的长度及宽度;其中,所述依据所述当前预估空间坐标,获得所述运动目标的当前空间坐标,包括:
获得所述运动目标的当前位姿控制量;其中,所述当前位姿控制量中包含有所述运动目标的坐标改变参数及移动机器人的位置改变参数;
依据所述当前预估空间坐标及所述当前位姿控制量,获得所述运动目标的当前空间坐标;
对所述备选图像区域进行光线处理;
依据颜色自适应算法,在经过光线处理的备选图像区域中获取目标图像区域。
2.根据权利要求1所述的方法,其特征在于,所述依据颜色自适应算法,在经过光线处理的备选图像区域中获取目标图像区域,包括:
将所述经过光线处理的备选图像区域进行颜色建模、消除噪声及膨胀化处理,获得多个备选图像分区域;
将每个所述备选图像分区域中与各个预设特征项分别对应的特征值进行加权求和,获得每个所述备选图像分区域对应的特征和值;
确定各个所述特征和值中的最大值,并将所述最大值对应的备选图像分区域确定为目标图像区域。
3.根据权利要求1所述的方法,其特征在于,还包括:
将所述目标图像区域的几何中心确定为运动目标质心的图像坐标;
依据所述运动目标质心的图像坐标,确定所述运动目标相对于所述移动机器人的当前距离及当前角度;
依据所述当前距离及当前角度,获得所述移动机器人的当前线速度及当前角速度。
4.一种运动目标的定位装置,其特征在于,应用于移动机器人,所述移动机器人上设置有摄像装置,该装置包括:
当前图像获取模块,用于获取所述摄像装置拍摄的当前图像;其中,所述当前图像中包含有运动目标;
空间坐标获取模块,用于获取所述运动目标的当前预估空间坐标;其中,所述空间坐标获取模块包括:判断子模块,用于判断是否获取到前一目标图像区域;其中,所述前一目标图像区域为所述当前图像的前一帧图像中包含有运动目标的目标图像区域;若是,触发第一结果子模块;第一结果子模块,用于依据卡尔曼滤波算法,由所述前一目标图像区域的几何中心坐标,获取所述运动目标的当前预估空间坐标;
备选区域确定模块,用于依据所述当前预估空间坐标,确定所述当前图像中的备选图像区域;其中,所述备选区域确定模块包括:空间坐标获取子模块,用于依据所述当前预估空间坐标,获得所述运动目标的当前空间坐标;中心坐标确定子模块,用于依据所述当前空间坐标及预设坐标转换矩阵,在所述当前图像中确定备选图像区域的中心坐标;长度宽度确定子模块,用于依据所述当前空间坐标、运动目标的预估线速度及运动目标的预估角速度,在所述当前图像中确定备选图像区域的长度及宽度;其中,所述空间坐标获取子模块包括:
位姿控制量获取单元,用于获得所述运动目标的当前位姿控制量;其中,所述当前位姿控制量中包含有所述运动目标的坐标改变参数及移动机器人的位置改变参数;
空间坐标获取单元,用于依据所述当前预估空间坐标及所述当前位姿控制量,获得所述运动目标的当前空间坐标;
光线处理模块,用于对所述备选图像区域进行光线处理;
目标区域获取模块,用于依据颜色自适应算法,在经过光线处理的备选图像区域中获取目标图像区域。
5.根据权利要求4所述的装置,其特征在于,所述目标区域获取模块包括:
分区域获取子模块,用于将所述经过光线处理的备选图像区域进行颜色建模、消除噪声及膨胀化处理,获得多个备选图像分区域;
特征和值获取子模块,用于将每个所述备选图像分区域中与各个预设特征项分别对应的特征值进行加权求和,获得每个所述备选图像分区域对应的特征和值;
目标区域确定子模块,用于确定各个所述特征和值中的最大值,并将所述最大值对应的备选图像分区域确定为目标图像区域。
6.根据权利要求4所述的装置,其特征在于,还包括:
质心图像坐标确定模块,用于将所述目标图像区域的几何中心确定为运动目标质心的图像坐标;
距离及角度确定模块,用于依据所述运动目标质心的图像坐标,确定所述运动目标相对于所述移动机器人的当前距离及当前角度;
线速度及角速度获取模块,用于依据所述当前距离及当前角度,获得所述移动机器人的当前线速度及当前角速度。
CN201410114266.9A 2014-03-25 2014-03-25 一种运动目标的定位方法及装置 Active CN103914855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410114266.9A CN103914855B (zh) 2014-03-25 2014-03-25 一种运动目标的定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410114266.9A CN103914855B (zh) 2014-03-25 2014-03-25 一种运动目标的定位方法及装置

Publications (2)

Publication Number Publication Date
CN103914855A CN103914855A (zh) 2014-07-09
CN103914855B true CN103914855B (zh) 2017-08-25

Family

ID=51040510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410114266.9A Active CN103914855B (zh) 2014-03-25 2014-03-25 一种运动目标的定位方法及装置

Country Status (1)

Country Link
CN (1) CN103914855B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107850496B (zh) * 2016-06-13 2021-03-19 深圳市汇顶科技股份有限公司 一种压力检测系统、模组及方法
CN106227216B (zh) * 2016-08-31 2019-11-12 朱明� 面向居家老人的家庭服务机器人
CN106341661B (zh) * 2016-09-13 2023-04-07 深圳市大道智创科技有限公司 巡逻机器人
CN108253940B (zh) * 2016-12-29 2020-09-22 东莞前沿技术研究院 定位方法及装置
JP7250489B2 (ja) 2018-11-26 2023-04-03 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
CN110866486B (zh) * 2019-11-12 2022-06-10 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
CN111383244B (zh) * 2020-02-28 2023-09-01 浙江大华技术股份有限公司 一种目标检测跟踪方法
CN115526896A (zh) * 2021-07-19 2022-12-27 中核利华消防工程有限公司 一种火灾防控的方法、装置、电子设备及可读存储介质
CN114326732A (zh) * 2021-12-28 2022-04-12 无锡笠泽智能科技有限公司 一种机器人自主跟随系统及自主跟随控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101204A (zh) * 2006-07-05 2008-01-09 三星电子株式会社 使用结构光检测移动物体的系统、方法及其移动机器人
CN103528571A (zh) * 2013-10-12 2014-01-22 上海新跃仪表厂 单目立体视觉相对位姿测量方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101204A (zh) * 2006-07-05 2008-01-09 三星电子株式会社 使用结构光检测移动物体的系统、方法及其移动机器人
CN103528571A (zh) * 2013-10-12 2014-01-22 上海新跃仪表厂 单目立体视觉相对位姿测量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Moving Object Tracking based on Mobile Robot Vision;Lin Rui et al.;《Proceedings of the 2009 IEEE International Conference on Mechatronics and Automation》;20091231;第3625-3627页 *
基于卡尔曼滤波的移动机器人运动目标跟踪;李庆瀛 等;《传感器与微系统》;20081231;第27卷(第11期);全文 *

Also Published As

Publication number Publication date
CN103914855A (zh) 2014-07-09

Similar Documents

Publication Publication Date Title
CN103914855B (zh) 一种运动目标的定位方法及装置
CN110222581B (zh) 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
CN109151439B (zh) 一种基于视觉的自动追踪拍摄系统及方法
CN103207664B (zh) 一种图像处理方法和设备
CN108227920B (zh) 运动封闭空间追踪方法及追踪系统
US9734586B2 (en) Collision prediction
Jia et al. Sensor fusion-based visual target tracking for autonomous vehicles with the out-of-sequence measurements solution
CN102722697A (zh) 一种无人飞行器视觉自主导引着陆的目标跟踪方法
JP2011118724A (ja) カメラ姿勢推定装置およびカメラ姿勢推定プログラム
KR101896827B1 (ko) 사용자 자세 추정 장치 및 방법
CN110892714A (zh) 移动机器人的控制方法、装置、设备及存储介质
CN109448105B (zh) 基于多深度图像传感器的三维人体骨架生成方法及系统
Lippiello et al. 3D monocular robotic ball catching with an iterative trajectory estimation refinement
Gómez et al. Visual slam-based localization and navigation for service robots: The pepper case
Du et al. Eye-to-hand robotic tracking and grabbing based on binocular vision
Liau et al. Non-metric navigation for mobile robot using optical flow
US11506901B2 (en) Method and system for simultaneously tracking 6 DoF poses of movable object and movable camera
Wang et al. Panoramic image mosaic based on SURF algorithm using OpenCV
JP2018009918A (ja) 自己位置検出装置、移動体装置及び自己位置検出方法
TWI793579B (zh) 同時追蹤可移動物體與可移動相機的六自由度方位之方法與系統
El-Sallam et al. A low cost 3D markerless system for the reconstruction of athletic techniques
Antonelli et al. Depth estimation during fixational head movements in a humanoid robot
WO2020172878A1 (zh) 可移动平台的射击瞄准控制方法、设备及可读存储介质
CN109242910A (zh) 一种基于任意已知平面形状的单目相机自标定方法
Chang et al. Self-localization based on monocular vision for humanoid robot

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
DD01 Delivery of document by public notice

Addressee: Lin Rui

Document name: Notification of Approving Refund

DD01 Delivery of document by public notice
TR01 Transfer of patent right

Effective date of registration: 20220629

Address after: Room D310, South third floor, huanxiuhu building, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province (cluster registration)

Patentee after: Suzhou lantu Technology Co.,Ltd.

Address before: 215123 No. 199 benevolence Road, Suzhou Industrial Park, Jiangsu, China

Patentee before: SOOCHOW University

TR01 Transfer of patent right