CN107967687A - 一种获取目标物行走姿态的方法与系统 - Google Patents

一种获取目标物行走姿态的方法与系统 Download PDF

Info

Publication number
CN107967687A
CN107967687A CN201711394246.1A CN201711394246A CN107967687A CN 107967687 A CN107967687 A CN 107967687A CN 201711394246 A CN201711394246 A CN 201711394246A CN 107967687 A CN107967687 A CN 107967687A
Authority
CN
China
Prior art keywords
image
msup
mark point
mrow
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711394246.1A
Other languages
English (en)
Other versions
CN107967687B (zh
Inventor
杨灿军
魏谦笑
武鑫
杨巍
朱元超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201711394246.1A priority Critical patent/CN107967687B/zh
Priority to CN201811221729.6A priority patent/CN109523551B/zh
Publication of CN107967687A publication Critical patent/CN107967687A/zh
Application granted granted Critical
Publication of CN107967687B publication Critical patent/CN107967687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种获取目标物行走姿态的方法与系统,属于图像处理技术领域。方法包括以下步骤:(1)采集背景场景的图像、标记点的图像及目标物在背景场景中行走过程的图像序列,标记点固设在目标物上用于标记所固定位置处的行走轨迹;(2)以背景场景的图像为参考帧,从图像序列中分割出局部图像构成前景图像序列,该局部图像包括目标物的图像;(3)以标记点的图像为模板,从前景图像序列中匹配出各标记点并获取其坐标数据;(4)依据各标记点的坐标数据计算目标物在行走过程中的行走姿态。该方法能够有效的降低获取行走姿态所需设备的成本及减少后续图像处理的计算量,可广泛应用康复机器人等领域。

Description

一种获取目标物行走姿态的方法与系统
技术领域
本发明涉及图像处理技术领域,具体地说,涉及一种用于获取目标物行走姿态的方法与系统。
背景技术
穿戴式外骨骼机器人适用于脑卒中、偏瘫、中风等病人的康复治疗,为了获取康复治疗数据,通常是通过捕捉康复人员关节处的运动姿态,以判断外骨骼机器人在负载后的康复人员肢体姿态,并基于至少一个行走周期中的肢体姿态变化数据,重构出康复人员的行走姿态。
通常采用光学跟踪式运动测量方法获取康复人员关节处的运动姿态,该测量方法基于计算机视觉技术,通过摄像头等装置对目标物上特定标记点的跟踪和计算来完成对目标物的运动测量,常用标记点有反光标记点和发光标点两种,标记点的大小和形状可以根据需要进行设置。
典型的光学跟踪式运动测量系统通常使用多个摄像头环绕表演场地排列,摄像头的视野重叠区为工作空间。为了便于后续图像处理,通常要求被测者会穿上黑色紧身衣,在主要的关节等关键部位贴上特制的光学标记点。在进行测量之前,系统首先要完成标定,摄像头才能开始拍摄被测者的动作,保存并进行分析、处理所拍摄到的图像序列,以识别出图像中的光学标志点并计算其在每一瞬间的空间位置,进而重构出目标物的运动轨迹。为了获取目标物的准确运动轨迹,要求摄像头以较高的拍摄速率进行拍摄。
现有常用测量系统要求采用多个摄像头而导致其成本较高,且后续图像处理计算量大,此外,其对试验场地的光照与反射要求较高,限制了其应用场景,而不利于穿戴式骨骼机器人在前述病人康复治疗中的应用。
发明内容
本发明的主要目的是提供一种获取目标物行走姿态的方法,以降低所需设备成本的同时,减少后续图像处理的计算量;本发明的另一目的是提供一种获取目标物行走姿态的系统,以降低所需设备成本的同时,减少后续图像处理的计算量。
为了实现上述主要目的,本发明提供获取目标物行走姿态的方法包括采集步骤、分割步骤、匹配步骤及计算步骤;其中,采集步骤包括采集背景场景的图像、标记点的图像及目标物在背景场景中行走过程的图像序列,标记点固设在目标物上用于标记所固定位置处的行走轨迹;分割步骤包括以背景场景的图像为参考帧,从图像序列中分割出局部图像构成前景图像序列,该局部图像包括目标物的图像;匹配步骤包括以标记点的图像为模板,从前景图像序列中匹配出各标记点并获取其坐标数据;计算步骤包括依据各标记点的坐标数据计算目标物在行走过程中的行走姿态。
以背景场景为参考帧,从图像序列的各帧图像中分割出至少包含目标物的图像局部,并以该图像局部区域作为后续图像处理的对象—前景图像,以在后续处理中无需对大部分背景图像进行处理而有效地减少后续图像处理的计算量;同时,采用标记点的图像为模板,从分割出的图像局部上匹配出标记点的位置,从而可使用图标式标记点进行标记,同时可采用单目摄像头进行采集图像系统而有效地降低所需设备成本。
具体的方案为在采集步骤之后及分割步骤之前进行去色步骤,该去色步骤包括将背景场景的图像、标记点的图像及图像序列转换成灰度图。在后续分割步骤及匹配步骤以灰度图为对象进行处理,可进一步减少后续处理的计算量。
更具体的方案为分割步骤包括构建步骤、二值化步骤与裁选步骤;其中,构建步骤包括对经去色处理后的图像序列中每帧图像与参考帧上对应像素点的灰度值进行求差取绝对值处理,构建出差值帧序列;二值化步骤包括基于预定阈值,对差值帧序列进行二值化处理,而用黑白两色分别表征目标物与背景场景;裁选步骤包括基于目标物颜色区域的坐标数据,利用矩形边界从经去色处理后的图像序列上裁出前景区域序列,矩形边界完全包容目标物颜色区域,目标物颜色区域为表征目标物的颜色区域。
再具体的方案为在二值化步骤之后及裁选步骤之前,对二值化处理后的差值帧进行膨胀处理,以进一步明晰目标物与背景之间的边界线,便于后续的裁选处理;目标物颜色区域为经膨胀处理后的颜色区域;在去色步骤之后及分割步骤之前,对经去色处理后的图像序列进行平滑处理,以降低拍摄等过程中所引入的噪声。
优选的方案为所述匹配步骤包括预匹配步骤与再匹配步骤;其中,预匹配步骤包括以模板为基准,遍历前景区域,计算前景区域中以坐标(x,y)是的像素点为中心的局部区域与模板的负相关度R(x,y),并依据负相关度小于预设阈值为基准,获取像素点簇构成用于表征所述局部区域具有一个标记点的预选标记点簇;再匹配步骤包括在一个预选标记点簇中,以负相关度最小的像素点表征局部区域内标记点的坐标;负相关度R(x,y)的计算公式为:
其中,T(x′,y′)为模板中坐标为(x′,y′)像素点的灰度值,模板上像素点坐标以其中心点为原点所构建坐标系中的坐标,I(x+x′,y+y′)为前景区域中坐标为(x+x′,y+y′)的像素点的灰度值,前景区域上像素点坐标为该像素点在图像序列中的坐标。
更优选的方案为标记点的图像包括标记点的正视图像、左斜视角图像及右斜视角图像,以解决单目摄像头在视角不正时所拍摄图像的处理;在再匹配步骤之后及计算步骤之前,根据匹配出的标记点坐标,获取图像序列中彩色图像上对应点处的局部区域颜色,对该局部区域与标记点上的颜色是否匹配而筛选出真实标记点。利用彩色图像中颜色信息,对获取的标记点进行筛选,有效地避免因在匹配步骤中匹配出虚假标记点的问题。
另一个优选的方案为标记点包括固设在目标物的行走机构的各关节位置处关节标记点;图像序列由单目摄像机采集。
再一个优选的方案为标记点包括圆心部及环绕圆心部的环形部,所述圆心部与所述环形部中,一者表面为白色,另一者表面为黑色。将标记点设置成由两部分色差明显且相互套嵌的圆形部分与环形步骤组成,有效地提高其识别精度,同时无需对目标物的外表颜色进行限定。
为了实现上述另一个目的,本发明提供的获取目标物行走姿态的系统包括处理器及存储器,存储器存储有计算机程序,计算机程序被处理器执行时,能实现以下接收步骤、分割步骤、匹配步骤及计算步骤;其中,接收步骤包括接收由摄像头所采集的背景场景的图像与标记点的图像,及接收由单目摄像头所采集的目标物在背景场景中行走过程的图像序列,标记点固定在目标物上用于标记固定位置处的行走轨迹;分割步骤包括以背景场景的图像为参考,从图像序列中分割出局部图像构成待处理图像序列,局部图像包括目标物的图像;匹配步骤包括以标记点的图像为模板,从前景图像序列中匹配出各标记点并获取其坐标数据;计算步骤包括依据各标记点的坐标数据计算目标物在行走过程中的行走姿态。
具体的方案为在采集步骤之后及分割步骤之前,将背景场景的图像、标记点的图像及图像序列转换成灰度图;标记点包括固设在目标物的行走机构的各关节位置处关节标记点;标记点包括圆心部及环绕圆心部的环形部,圆心部与环形部中,一者表面为白色,另一者表面为黑色。
附图说明
图1为本发明获取目标物行走姿态的方法实施例的工作流程图;
图2为本发明获取目标物行走姿态的方法实施例中对图像进行分割处理的过程示意图,其中,图2(a)是作为分割参考帧的背景场景图像,图2(b)为待分割处理的图像序列中的一帧,图2(c)经差值帧的示意图,图2(d)为经二值化处理后的图像,图2(e)为经膨胀处理后的图像,图2(f)为以矩形边界从该图像中分割出前景图像的示意图;
图3为本发明获取目标物行走姿态的方法实施例中识别步骤的不同方向视角下标记点的模板,其中,图3(a)为右斜视角下模板图像,图3(b)为正对视角下的模板图像,图3(c)为左斜视角下模板图像;
图4为本发明获取目标物行走姿态的方法实施例中预匹配步骤的过程示意图;
图5为本发明获取目标物行走姿态的方法实施例中计算步骤进行行走姿态计算的过程示意图;
图6为本发明行走姿态检测系统实施例的原理结构框图。
以下结合实施例及其附图对本发明作进一步说明。
具体实施方式
在下述实施例中,以穿戴式外骨骼机器人在负载后的人员为目标人员,以获取其下肢的行走姿态为例,对本发明获取目标物行走姿态的方法与系统进行示例性说明,但本发明的方法与系统的应用场景并不局限于下述实施例所示应用场景,其还可用于获取机器人、机器狗等其他目标物的行走姿态。
方法实施例
参见图1,本发明获取目标物行走姿态的方法包括采集步骤S1、去色步骤S2、去噪步骤S3、分割步骤S4、匹配步骤S5、筛选步骤S6及计算步骤S7。
一、采集步骤S1,采集背景场景的图像、标记点的图像及目标物在背景场景中行走过程的图像序列,标记点固设在目标物上用于标记所固定位置处的行走轨迹。
如图2(b)所示,为标记出人在行走过程中的下肢姿态,至少需在人下肢体的踝关节、膝关节及髋关节的三个关节处各设置一个标记点;在本实施例中,标记点采用图标式标记点,如图4所示,具体地包括白色的圆心部及环绕该圆心部布置的黑色环形部,当然也可设置成包括黑色的圆心部及环绕该圆心部布置的白色环形部,通过将标记点设置成黑白两色差较大的部分组成,便于在经去色步骤S2中的去色处理后,在该标记点图像处仍保留原色差以便于后续识别处理;此外,将该图像标记点设置成圆心部与环绕该圆心部的圆环部组成,便于在取像视角不正时的校正以获取圆心部的中心点位置。当然了,可只设置单色或三色以上的标记点,对单色图像标记点优选采用与所固定位置处周围颜色在去色处理后仍存在较大色差的颜色;对于两色以上的多色拼合结构,其各部分结构并不局限于上述圆形结构,例如,还可设置成四块正方形拼接成,且相邻的两块正方形中,一块为黑色而另一块为白色,到时通过获取有色差块交点处为标记点的中心位置。对于后续需对图像进行去色处理的,优选为黑白反差色;当然可设成其他在去色处理后仍具有较大色差的多色拼合结构;若无需对图像进行去色处理,则也可采用具有较大色差的彩色结构进行拼合。
摄像头所采集的图像以数据帧的形式被捕获,多帧图像依序快速迭代形成视频流,视频流中每帧图像都包含了目标物的步态信息。在视频流的存储数据中,摄像头捕获到的每帧图像均是以矩阵数组的形式存在。在本实施例中,用于获取背景场景图像与图像序列的摄像头为安装在人行走路径侧旁的单目摄像头,人行走路径优选为直线路径,且人的整个检测行走过程及整体背景场景图像均在该单目摄像头的视角内,可将该单目摄像头安装在整体背景场景图像的中轴位置处。
通常,摄像头所采集到的每帧图像默认使用BGR色彩空间格式表示。BGR有三个通道,即数组中的三个矩阵,分别表示三基色蓝色、绿色、红色部分,每个像素的颜色可以拆分为这三种颜色按照不同比例色光的混合,拆分后每一种颜色的比例数据在每个通道的对应位置保存。
二、去色步骤S2,对采集到的背景场景图像、标记点图像及图像序列进行去色处理,以将彩色图转换成灰度图。
虽然BGR格式的图像数据保留了最多的光学信息,但是在寻找标记点的过程中,并不是所有操作都需利用全部光学信息。将三通道的矩阵数组压缩为一个通道,虽然会以丢失一部分数据为代价,但能够将真正有用的信息更好地呈现出来,加快标记点的搜索速度。表现为图像的形式,就是将彩色图片压缩为灰度图片,但灰度图像的描述与彩色图像一样仍然反映了整幅图像的整体和局部的色度和亮度等级的分布和特征。矩阵转换按照如下式1进行:
Y=0.114·B+0.587·G+0.299·R
其中,Y表示灰度图片的矩阵,其数值越大,表征该位置处的像素越白,反之越黑。
三、降噪步骤S3,对经去色处理后的图像序列进行平滑处理。
由于自然震动、光照变化或者硬件自身问题等因素,使采集获取的每帧图像均存噪声。通过对数据帧进行平滑处理,可有效去除噪声、避免噪声对后续检测过程产生干扰。
在本实施例中,平滑处理为使用高斯模糊对图像的每个像素进行处理,即,对任意一个像素点,都取它周边像素的加权平均,权值按照正态分布分配,距离越近的点权重越大,距离越远的点权重越小。在实际平滑操作中发现,以目标像素点为中心,取21×21的矩阵,对矩阵内的周边像素加权平均得到的结果去除噪声效果最好。
四、分割步骤S4,以所述背景场景的图像为参考帧,从图像序列中分割出局部图像构成前景图像序列,局部图像包括目标物的图像。
在实际拍摄环境中,目标人员将从左到右完整地走过单目摄像头的镜头视野,并在这个过程中将固设自己下肢三个关节点处的标记点暴露给该摄像头。单目摄像头捕获光学信息的过程中,将三维环境映射为了二维平面。从得到的二维视频的角度来看,由于摄像头是静止的,从而可将整个视频流中的每帧图像大致划分为前景与背景两个部分;其中,前景是指运动着的目标人员所在的局部区域,背景是指除了目标人员之外,填充在整个环境场景中的区域,即除了前景区域以外的其它区域;随着目标人员从镜头视野的一端走入取景框,又从另一端走出该取景框,前景区域相对背景区域在视频中表现为不断地滑动,而背景区域在整段视频中保持静止不动,并不同区域被移动着的前景区域所遮挡。从整个视频帧的面积占比方面来看,前景区域所占面积较小,而背景区域所占面积较大。由于所要定标的目标标记点所在区域为前景区域,扫描背景区域不仅会白白消耗算力、浪费时间,在匹配阈值设置较低时甚至还可能会解出错误的结果,进一步干扰标记点数据的提取。
而如果能够将前景区域从整个数据帧中分割出来,接下来就可以只针对这个区域进行标记点的搜索,而不必理会面积占大多数的背景区域,这样在很大程度上能够提高搜索效率。
因此,在本实施例中,通过将前景区域从数据帧分割出来作为后续图像处理对象,可有效地降低了其计算量的同时,提高对目标标记点的定位精确度。根据实际情况,在视频的一开始测试者尚未走入镜头,则约定该视频流的第一帧图像都属于背景区域,即构成背景场景图像,以该帧图像为参考背景帧,在后续数据帧的图像处理中,以参考背景帧为依据划分前景与背景。
在本实施例中,前景区域的分割依据是阈值二值化,具体包括构建步骤S41、二值化步骤S42、膨胀化步骤S43及裁选步骤S44。
(1)构建步骤S41,对经去色处理后的图像序列中每帧图像与所述参考帧上对应像素点的灰度值进行求差取绝对值处理,构建出差值帧序列。
对任意一个数据帧M,按照下式2计算:
absdiff(I)=|M(I)-Mo(I)|
其中,Mo为参考背景帧,M(I)代表待处理帧,I代表数据帧中的某一具体位置,absdi ff是一个矩阵数组,其元素表示I位置处的像素点的灰度值之差的绝对值。
在经去色处理所获得的灰度图像中,各元素点的取值范围为0-255,易知absdiff中各元素取值也都在0-255的范围内,absdiff也可以看成一个灰度图像,结果如图2(c)所示。
(2)二值化步骤S42,基于预定阈值,对差值帧序列进行二值化处理,而用黑白两色分别表征所述目标物与所述背景场景。
通过设定阈值,以将absdiff二值化为纯黑白图像,白色区域和黑色区域大致就代表了前景和背景的分布,结果如图2(d)所示。
(3)膨胀化步骤S43,对二值化处理后的差值帧进行膨胀处理。
经二值化处理后的图像不可避免地会有很多噪点,这是由于在前景与背景交界处的区域内的各个数据点相对于阈值总是有大有小,很难划分出理想的黑-白分界线。可以通过膨胀来修剪毛刺、消除噪点。
首先,定义一个大小为5×5的结构矩阵{Eij,i、j=1、2、3、4、5},该结构矩阵的生成规则如下式3所示:
可根据实际情形调整结构矩阵大小,与之对应,生成规则的也要改成合适的数字,其中是个经验值。
其次,生成结构元素后,用它遍历整个图像,按照如下规则得到经过膨胀处理的二值图像:
dilate(x,y)=max absdiff(x+x′,y+y′),(x′,y′)≠0
其中,(x,y)为待处理像素点的坐标,E(x′,y′)为矩阵{Eij}的元素。
得到的dilate图像中,白色部分膨胀为较为连续的一块区域,边界也更为明显,结果如图2(e)所示。
(4)裁选步骤S44,基于目标物颜色区域的坐标数据,利用矩形边界从经去色处理后的图像序列上裁出前景区域序列,矩形边界完全包容目标物颜色区域,目标物颜色区域为表征目标物的颜色区域。
根据白色部分的分布,用矩形边界在图像序列的数据帧上框出一块完整的区域,将其作为前景区域,剩余区域即为背景区域,结果如图2(f)所示。
五、匹配步骤S5,以所述标记点的图像为模板,从前景图像序列中匹配出各标记点并获取其坐标数据。
在该步骤中,以事先采集的三个标记点图像作为匹配模板,接着将以这三个匹配模板为基准遍历前述步骤所分割到的前景区域。具体包括预匹配步骤S51与再匹配步骤S52。
(1)预匹配步骤S51,以模板为基准,遍历前景区域,计算前景区域中以坐标(x,y)是的像素点为中心的局部区域与模板的负相关度R(x,y),并依据该负相关度小于预设阈值为基准,获取像素点簇构成用于表征局部区域具有一个标记点的预选标记点簇。
在模板遍历到前景区域以(x,y)为中心的某一局部区域时,利用以下式4计算它们的标准化差值平方和(SQDIFF_NORMED):
其中,R该局部为与模板相关程度有关的变量,用于表示负相关度,其中,R值越小,对应像素点及其周围区域与模板匹配程度越好;T(x′,y′)为模板中坐标为(x′,y′)像素点的灰度值,模板上像素点坐标以其中心点为原点所构建坐标系中的坐标,I(x+x′,y+y′)为前景区域中坐标为(x+x′,y+y′)的像素点的灰度值,前景区域上像素点坐标为该像素点在所述图像序列中的坐标,通常以图像中的左上角点或左下角点为原点。
由于,在实际情况检测中,目标人员身上的标记点不可能总是正对着摄像头,因此,被摄像头所捕获的标记点图像并不总是如图3(b)所示几何形态良好的同心圆,还可能出现如图3(a)及图3(c)所示的不规则椭圆形态。所以针对每一种标记点就其正视、左斜与右斜三种视角情况,分别设计三个模板分别如图3(b)、3(a)及3(c)所示。
遍历的时候分别计算三个模板与前景区域局部的匹配度,保留结果最小的一项,匹配度采用如下式5进行计算:
在遍历完成后,大多数像素点对应的R值都是偏大的,表示该区域不能与模板相匹配;少数像素点R值降到一个很小的范围内,说明该区域与模板很接近。在本实施例中,取0.1为阈值,R值大于该值的像素区域被舍弃,反之认为该区域为标记点所在区域,将其中心像素坐标数据记录下来。
(2)再匹配步骤S52,在一个所述预选标记点簇中,以负相关度R最小的像素点表征该局部区域内标记点的坐标。
检查模板匹配层得到的坐标数据,可以发现有较大的重叠现象,即匹配程度较好的点往往是扎堆出现的,它们的差值平方和都小于阈值,因此都被记录下来,但是,这些点对应的匹配窗口会发生明显的重叠,重叠中心一般就是某一个标记点。既然这一簇坐标点都是表示同一个标记点,那么就可以从一簇中选出一个代表性最好的,用来表示这个标记点,将剩下的坐标作为噪音丢弃掉。采用下式6进行筛选标记点:
(x,y)=minR(x′,y′),(c′,y′)∈Range
其中,Range为一簇坐标点所在区域,选出其中R值最低的坐标点,作为该簇坐标点中匹配度最好的结果代表此处的标记点。
六、筛选步骤S6,根据匹配出的标记点坐标,获取图像序列中彩色图像上对应点处的局部区域颜色,对该局部区域与标记点上的颜色是否匹配而筛选出真实标记点。
在匹配步骤S5中,所获取的坐标点在理论上就是各个标记点所在位置,但在极少数情况下仍不排除因为前景区域中其它区域变化而导致匹配过程中的误判。
由于,前景区域是不断变化的,而误判区域不会持续造成干扰,所以这种误判是随机不间断发生的。为了消除这一干扰,对每一个目标区域采取色域筛选作为一种简单的附加判别规则。
色域筛选利用了之前一直没有参与标记点识别的彩色图像,在该筛选步骤中,通过对坐标点颜色的比对,将这部分信息利用了起来,进一步优化了识别结果。
色域筛选具体过程如下:
首先,通过以下式7至式9将BGR格式的图像转换为HSV格式图像:
V=max(R,G,B)
在HSV色彩空间中,H、S、V三个参数分别表示色调、饱和度、明度,相比BGR空间来说,它更适合比较两个颜色的相近程度。规定对一个待测坐标点来说,其核心颜色若为白色,则通过检测,若核心颜色不是白色,则不通过检测,则该坐标点被舍弃。判定一个颜色属不属于白色范围内,是根据S和V参数。规定满足以下式10与式11则属于白色:
0≤S≤0.5
0.5≤V≤1
该方法可作为一个快速筛选所定位标记点是否符合要求的辅助手段,因为它所面对的数据已经在之前几层经过了相对可靠的筛选,所以对精度要求不用太高。
七、计算步骤S7,依据获取的各标记点坐标数据计算目标物在行走过程中的行走姿态。
如图5所示,依据获取三个标记点在某一时刻的坐标,即目标人员的髋关节21、膝关节22及踝关节23的坐标值,该三个关节的坐标分别为(x1,y1)、(x2,y2)及(x3,y3),从而可计算出大腿中轴线24与垂向之间的夹角θ及大腿中轴线24与小腿中轴线25之间夹角α,用于该两个角度值表征此刻目标人员下肢的行走姿态。夹角与夹角的具体计算公式如下式12、13所示:
其中,向量r1=(0,1),向量r2=(x2-x1,y2-y1),向量r3=(x3-x2,y3-y2)。
当然可用其他夹角组合表征行走人员的下肢的行走姿态,也可采用夹角之外的其他物理量表征目标人员的行走姿态。
系统实施例
参见图6,本发明获取目标物行走姿态的系统1包括单目摄像头、处理器及存储器,存储器存储有计算机程序,该计算机程序被处理器执行时,能实现接收步骤S1、去色步骤S2、降噪步骤S3、分割步骤S4、匹配步骤S5、筛选步骤S6及计算步骤S8。
接收步骤S1为接收由摄像头采集到的。该接收步骤S1中的具体采集过程及去色步骤S2至计算步骤S7的具体内容在上述方法实施例中已经详细阐述,在此不再赘述。
在上述实施例中,去色步骤S2、降噪步骤S3及筛选步骤S6并非必选步骤,而是可选的优化步骤,即通过去色步骤S2可进一步减少后续图像处理的计算量,通过降噪步骤S3进一步提高后续匹配准确度,而通过筛选步骤S7可排除误判标记点。

Claims (10)

1.一种获取目标物行走姿态的方法,其特征在于,包括:
采集步骤,采集背景场景的图像、标记点的图像及所述目标物在所述背景场景中行走过程的图像序列,所述标记点固设在所述目标物上用于标记所固定位置处的行走轨迹;
分割步骤,以所述背景场景的图像为参考帧,从所述图像序列中分割出局部图像构成前景图像序列,所述局部图像包括所述目标物的图像;
匹配步骤,以所述标记点的图像为模板,从所述前景图像序列中匹配出各标记点并获取其坐标数据;
计算步骤,依据所述各标记点的坐标数据计算所述目标物在行走过程中的行走姿态。
2.根据权利要求1所述的方法,其特征在于,在所述采集步骤之后及所述分割步骤之前进行去色步骤,所述去色步骤包括:
将所述背景场景的图像、所述标记点的图像及所述图像序列转换成灰度图。
3.根据权利要求2所述的方法,其特征在于,所述分割步骤包括:
构建步骤,对经去色处理后的图像序列中每帧图像与所述参考帧上对应像素点的灰度值进行求差取绝对值处理,构建出差值帧序列;
二值化步骤,基于预定阈值,对所述差值帧序列进行二值化处理,而用黑白两色分别表征所述目标物与所述背景场景;
裁选步骤,基于目标物颜色区域的坐标数据,利用矩形边界从经去色处理后的图像序列上裁出前景区域序列,所述矩形边界完全包容所述目标物颜色区域,所述目标物颜色区域为表征所述目标物的颜色区域。
4.根据权利要求3所述的方法,其特征在于:
在所述二值化步骤之后及所述裁选步骤之前,对二值化处理后的差值帧进行膨胀处理;
所述目标物颜色区域为经膨胀处理后的颜色区域;
在所述去色步骤之后及所述分割步骤之前,对经去色处理后的图像序列进行平滑处理;
所述平滑处理为使用高斯模糊对图像的每个像素进行处理。
5.根据权利要求3或4所述的方法,其特征在于,所述匹配步骤包括:
预匹配步骤,以所述模板为基准,遍历所述前景区域,计算所述前景区域中以坐标(x,y)是的像素点为中心的局部区域与所述模板的负相关度R(x,y),并依据所述负相关度小于预设阈值为基准,获取像素点簇构成用于表征所述局部区域具有一个标记点的预选标记点簇;
再匹配步骤,在一个所述预选标记点簇中,以所述负相关度最小的像素点表征所述局部区域内标记点的坐标;
所述负相关度R(x,y)的计算公式为:
<mrow> <mi>R</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mi>&amp;Sigma;</mi> <mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mrow> </msub> <msup> <mrow> <mo>(</mo> <mi>T</mi> <mo>(</mo> <mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mo>)</mo> <mo>-</mo> <mi>I</mi> <mo>(</mo> <mrow> <mi>x</mi> <mo>+</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <mi>y</mi> <mo>+</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <msqrt> <mrow> <msub> <mi>&amp;Sigma;</mi> <mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mrow> </msub> <mi>T</mi> <msup> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>&amp;CenterDot;</mo> <msub> <mi>&amp;Sigma;</mi> <mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mrow> </msub> <mi>I</mi> <msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <mi>y</mi> <mo>+</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> </mrow>
其中,T(x′,y′)为所述模板中坐标为(x′,y′)像素点的灰度值,所述模板上像素点坐标以其中心点为原点所构建坐标系中的坐标,I(x+x′,y+y′)为所述前景区域中坐标为(x+x′,y+y′)的像素点的灰度值,所述前景区域上像素点坐标为该像素点在所述图像序列中的坐标。
6.根据权利要求5所述的方法,其特征在于:
所述标记点的图像包括所述标记点的正视图像、左斜视角图像及右斜视角图像;
在所述再匹配步骤之后及所述计算步骤之前,根据匹配出的标记点坐标,获取所述图像序列中彩色图像上对应点处的局部区域颜色,对该局部区域与标记点上的颜色是否匹配而筛选出真实标记点。
7.根据权利要求1至6任一项权利要求所述的方法,其特征在于:
所述标记点包括固设在所述目标物的行走机构的各关节位置处关节标记点;
所述图像序列由单目摄像机采集。
8.根据权利要求1至7任一项权利要求所述的方法,其特征在于:
所述标记点包括圆心部及环绕所述圆心部的环形部,所述圆心部与所述环形部中,一者表面为白色,另一者表面为黑色。
9.一种获取目标物行走姿态的系统,包括处理器及存储器,所述存储器存储有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,能实现以下步骤:
接收步骤,接收由摄像头所采集的背景场景的图像与标记点的图像,及接收由单目摄像头所采集的所述目标物在所述背景场景中行走过程的图像序列,所述标记点固定在所述目标物上用于标记固定位置处的行走轨迹;
分割步骤,以所述背景场景的图像为参考帧,从所述图像序列中分割出局部图像构成前景图像序列,所述局部图像包括所述目标物的图像;
匹配步骤,以所述标记点的图像为模板,从所述前景图像序列中匹配出各标记点并获取其坐标数据;
计算步骤,依据所述各标记点的坐标数据计算所述目标物在行走过程中的行走姿态。
10.根据权利要求9所述的系统,其特征在于:
在所述接收步骤之后及所述分割步骤之前,将所述背景场景的图像、所述标记点的图像及所述图像序列转换成灰度图;
所述标记点包括固设在所述目标物的行走机构的各关节位置处关节标记点;
所述标记点包括圆心部及环绕所述圆心部的环形部,所述圆心部与所述环形部中,一者表面为白色,另一者表面为黑色。
CN201711394246.1A 2017-12-21 2017-12-21 一种获取目标物行走姿态的方法与系统 Active CN107967687B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711394246.1A CN107967687B (zh) 2017-12-21 2017-12-21 一种获取目标物行走姿态的方法与系统
CN201811221729.6A CN109523551B (zh) 2017-12-21 2017-12-21 一种获取机器人行走姿态的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711394246.1A CN107967687B (zh) 2017-12-21 2017-12-21 一种获取目标物行走姿态的方法与系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201811221729.6A Division CN109523551B (zh) 2017-12-21 2017-12-21 一种获取机器人行走姿态的方法及系统

Publications (2)

Publication Number Publication Date
CN107967687A true CN107967687A (zh) 2018-04-27
CN107967687B CN107967687B (zh) 2018-11-23

Family

ID=61995662

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811221729.6A Active CN109523551B (zh) 2017-12-21 2017-12-21 一种获取机器人行走姿态的方法及系统
CN201711394246.1A Active CN107967687B (zh) 2017-12-21 2017-12-21 一种获取目标物行走姿态的方法与系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201811221729.6A Active CN109523551B (zh) 2017-12-21 2017-12-21 一种获取机器人行走姿态的方法及系统

Country Status (1)

Country Link
CN (2) CN109523551B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102527A (zh) * 2018-08-01 2018-12-28 甘肃未来云数据科技有限公司 基于标识点的视频动作的获取方法和装置
CN110334595A (zh) * 2019-05-29 2019-10-15 北京迈格威科技有限公司 一种犬尾运动的识别方法、装置、系统及存储介质
CN110405777A (zh) * 2018-04-28 2019-11-05 深圳果力智能科技有限公司 一种机器人的交互控制方法
CN110969747A (zh) * 2019-12-11 2020-04-07 盛视科技股份有限公司 一种防尾随门禁系统及防尾随方法
CN111491089A (zh) * 2020-04-24 2020-08-04 厦门大学 一种利用图像采集装置监测背景物上目标物的方法
CN115880783A (zh) * 2023-02-21 2023-03-31 山东泰合心康医疗科技有限公司 用于儿科保健的儿童运动姿态识别方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113916445A (zh) * 2021-09-08 2022-01-11 广州航新航空科技股份有限公司 旋翼共锥度的测量方法、系统、装置及存储介质
CN115530813B (zh) * 2022-10-20 2024-05-10 吉林大学 用于人体上身多关节三维运动测试分析的标记系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1969748A (zh) * 2006-11-29 2007-05-30 华中科技大学 一种基于单目视频的计算机辅助步态分析方法
CN103198492A (zh) * 2013-03-28 2013-07-10 沈阳航空航天大学 一种人体运动捕获方法
CN103473539A (zh) * 2013-09-23 2013-12-25 智慧城市系统服务(中国)有限公司 步态识别方法和装置
CN103577795A (zh) * 2012-07-30 2014-02-12 索尼公司 检测设备和方法、检测器生成设备和方法及监控系统
CN104408718A (zh) * 2014-11-24 2015-03-11 中国科学院自动化研究所 一种基于双目视觉测量的步态数据处理方法
CN105468896A (zh) * 2015-11-13 2016-04-06 上海逸动医学科技有限公司 关节运动检测系统及方法
CN107273611A (zh) * 2017-06-14 2017-10-20 北京航空航天大学 一种基于下肢行走特点的下肢康复机器人的步态规划方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853333B (zh) * 2010-05-26 2012-11-07 中国科学院遥感应用研究所 医疗机器人导航定位图像中的标记拾取方法
US9975248B2 (en) * 2012-03-21 2018-05-22 Kenneth Dean Stephens, Jr. Replicating the remote environment of a proxy robot
TW201727418A (zh) * 2016-01-26 2017-08-01 鴻海精密工業股份有限公司 分析地面紋理並結合資料記錄的自動行走建議系統及方法
CN106373140B (zh) * 2016-08-31 2020-03-27 杭州沃朴物联科技有限公司 一种基于单目视觉的透明及半透明液体杂质检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1969748A (zh) * 2006-11-29 2007-05-30 华中科技大学 一种基于单目视频的计算机辅助步态分析方法
CN103577795A (zh) * 2012-07-30 2014-02-12 索尼公司 检测设备和方法、检测器生成设备和方法及监控系统
CN103198492A (zh) * 2013-03-28 2013-07-10 沈阳航空航天大学 一种人体运动捕获方法
CN103473539A (zh) * 2013-09-23 2013-12-25 智慧城市系统服务(中国)有限公司 步态识别方法和装置
CN104408718A (zh) * 2014-11-24 2015-03-11 中国科学院自动化研究所 一种基于双目视觉测量的步态数据处理方法
CN105468896A (zh) * 2015-11-13 2016-04-06 上海逸动医学科技有限公司 关节运动检测系统及方法
CN107273611A (zh) * 2017-06-14 2017-10-20 北京航空航天大学 一种基于下肢行走特点的下肢康复机器人的步态规划方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘瑞祯等: "《OpenCV教程 基础篇》", 30 June 2007, 北京航空航天大学出版社 *
刘艳阳等: "基于图像处理的人体步态信息采集与处理", 《计算机系统应用》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110405777A (zh) * 2018-04-28 2019-11-05 深圳果力智能科技有限公司 一种机器人的交互控制方法
CN110405777B (zh) * 2018-04-28 2023-03-31 深圳果力智能科技有限公司 一种机器人的交互控制方法
CN109102527A (zh) * 2018-08-01 2018-12-28 甘肃未来云数据科技有限公司 基于标识点的视频动作的获取方法和装置
CN110334595A (zh) * 2019-05-29 2019-10-15 北京迈格威科技有限公司 一种犬尾运动的识别方法、装置、系统及存储介质
CN110969747A (zh) * 2019-12-11 2020-04-07 盛视科技股份有限公司 一种防尾随门禁系统及防尾随方法
CN111491089A (zh) * 2020-04-24 2020-08-04 厦门大学 一种利用图像采集装置监测背景物上目标物的方法
CN115880783A (zh) * 2023-02-21 2023-03-31 山东泰合心康医疗科技有限公司 用于儿科保健的儿童运动姿态识别方法

Also Published As

Publication number Publication date
CN109523551B (zh) 2020-11-10
CN107967687B (zh) 2018-11-23
CN109523551A (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
CN107967687B (zh) 一种获取目标物行走姿态的方法与系统
US6072903A (en) Image processing apparatus and image processing method
CN103927741B (zh) 增强目标特征的sar图像合成方法
CN109635875A (zh) 一种基于深度学习的端到端网口检测方法
CN110232389A (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN108319949A (zh) 一种高分辨率遥感图像中多朝向舰船目标检测与识别方法
CN104715238A (zh) 一种基于多特征融合的行人检测方法
CN110222665A (zh) 一种基于深度学习和姿态估计的监控中人体动作识别方法
CN108986064A (zh) 一种人流量统计方法、设备及系统
CN108399361A (zh) 一种基于卷积神经网络cnn和语义分割的行人检测方法
CN108062525A (zh) 一种基于手部区域预测的深度学习手部检测方法
CN108369737B (zh) 使用启发式图搜索以快速且自动地分割分层图像
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN108805016A (zh) 一种头肩区域检测方法及装置
CN110941996A (zh) 一种基于生成对抗网络的目标及轨迹增强现实方法和系统
CN114022554B (zh) 一种基于yolo的按摩机器人穴位检测与定位方法
CN109124662A (zh) 肋骨中心线检测装置及方法
Paracchini et al. Deep skin detection on low resolution grayscale images
CN109377441A (zh) 具有隐私保护功能的舌像采集方法和系统
CN109360179A (zh) 一种图像融合方法、装置及可读存储介质
CN109583349A (zh) 一种用于在真实环境对目标车辆的颜色进行识别的方法及系统
CN110032932A (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
CN110334727A (zh) 一种隧道裂缝智能匹配检测方法
CN116030519A (zh) 一种直播教学平台的学习注意力检测与评估方法
CN117765421B (zh) 基于深度学习的海岸线垃圾识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant