具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1,本实施例的一种基于陀螺仪的轮椅车控制系统,包括摇杆信号采集模块1、姿态信息采集模块2、路面图像采集模块3、智能控制模块4和电机驱动模块5,所述摇杆信号采集模块1用于采集轮椅车的速度控制信号,并将采集得到的速度控制信号传入智能控制模块4,所述姿态信息采集模块2通过陀螺仪采集轮椅车行驶过程中的姿态信息,并将所述姿态信息传入智能控制模块4,所述路面图像采集模块3采用双目相机采集轮椅车前进方向的路面图像,并将采集得到的路面图像传入智能控制模块4,所述智能控制模块4包括信息解算单元、图像处理单元、危险分析单元和控制器单元,所述信息解算单元根据所述速度控制信号计算轮椅车的速度预期值,并根据所述姿态信息计算轮椅车的速度实际值,将计算所得的速度预期值和速度实际值传入危险分析单元,所述危险分析单元对速度预期值和速度实际值进行分析,当速度预期值或速度实际值高于设置的安全阈值时进行报警,当所述速度预期值和速度实际值均在安全阈值范围时,危险分析单元将所述速度预期值和速度实际值传入控制器单元,所述图像处理单元用于对采集得到的路面图像进行匹配,构建路面图像的视差图,并将所述视差图传入危险分析单元,所述危险分析单元根据所述视差图获取路面的三维信息,并根据路面的三维信息对轮椅车前进方向的路面状态进行评估,当判定路面状态存在危险时进行报警,所述控制器单元根据危险分析单元的分析结果、速度预期值和速度实际值之间的差值控制电机驱动模块5的运动。
优选地,所述信息解算单元采用四元素法根据采集的姿态信息解算轮椅车行驶过程中的俯仰角、航偏角、横滚角以及角速度。
优选地,危险分析单元对轮椅车的速度实际值进行分析,设zθ(t)表示解算所得的轮椅车当前时刻的俯仰角,给定轮椅车许可坡度阈值Tθ,当|zθ(t)|≤Tθ时,危险分析单元判定当前坡度为可行坡度,控制器单元根据坡度降低轮椅车的行驶速度,当|zθ(t)|>Tθ时,判定当前坡度为危险坡度,则危险分析单元通过警示扩音器进行报警;设v(xθ(t))表示轮椅车当前时刻的横滚角速度,v(yθ(t))表示轮椅车当前时刻的航偏角速度,给定最大转弯速度值Tv,当v(xθ(t))>Tv或v(yθ(t))>Tv时,判定轮椅车存在翻车危险,则危险分析单元通过警示扩音器进行报警。
本优选实施例提供一种基于陀螺仪的轮椅车控制系统,通过陀螺仪采集轮椅车的姿态信息,并根据采集的姿态信息分析轮椅车当前的行驶状态,及时判断危险情况并进行报警,提高了轮椅车行驶过程中的安全性,引入图像处理技术对轮椅车前进方向的路面图像进行采集,并根据采集得到的路面图像对路面状态进行评估,从而提前获取轮椅车前进方向的路面情况,并根据获得的路况及时进行调整,提高了轮椅车的智能性和安全性。
优选地,路面图像采集模块3采用双目相机采集轮椅车前进方向路面的左右两幅图像,图像处理单元对路面图像采集模块采集到的左右两幅图像进行畸变校正和极线校正后对图像进行匹配,构建两幅图像之间的视差图。
优选地,所述图像处理单元以左图像为目标图像,右图像为参考图像,构建左图像的视差图,具体为:
将左图像表示为I0,右图像表示为I1,设h0(x,y)为左图像I0中坐标(x,y)处的像素,h1(x-d,y)为右图像I1中坐标(x-d,y)处的像素,定义像素h0(x,y)和像素h1(x-d,y)的匹配代价为η(h0,d),则η(h0,d)的表达式为:
η(h0,d)=θ*min{|f0(x,y)-f1(x-d,y)|,τ1}+γ*min{(|Gx(h0)-Gx(h1)|+|Gy(h0)-Gy(h1)|),τ2}
式中,f0(x,y)表示像素h0(x,y)的灰度值,f1(x-d,y)表示像素h1(x-d,y)的灰度值,τ1和τ2为给定的截断阈值,Gx(h0)表示像素h0(x,y)在x轴的导数,Gx(h1)表示像素h1(x-d,y)在x轴的导数,Gy(h0)表示像素h0(x,y)在y轴的导数,Gy(h1)表示像素h1(x-d,y)在y轴的导数,θ和γ为权重系数,且θ+γ=1;
对像素h0(x,y)和像素h1(x-d,y)的匹配代价η(h0,d))进行优化处理,将匹配代价η(h0,d)经优化处理后的值表示为B(h0,d),则B(h0,d)的表达式为:
式中,
为归一化系数,s
0(i,j)表示左图像I
0中坐标(i,j)处的像素,f
0(i,j)表示像素s
0(i,j)的灰度值,s
1(i-d,j)表示右图像I
1中坐标(i-d,j)处的像素,f
1(i-d,j)表示像素s
1(i-d,j)的灰度值,C
0(x,y)表示像素h
0(x,y)的优化窗口,且C
0(x,y)为以像素h
0(x,y)为中心的(2(r+α′
0(x,y))+1)×(2(r+α′
0(x,y))+1)的局部邻域,r为设置的初始半径,α′
0(x,y)为像素h
0(x,y)的优化窗口对应的半径增量系数,
表示优化窗口C
0(x,y)中像素灰度值的最大值,
表示优化窗口C
0(x,y)中像素灰度值的最小值,C
1(x-d,y)表示像素h
1(x-d,y)的优化窗口,且C
1(x-d,y)为以像素h
1(x-d,y)为中心的(2(r+α′
1(x-d,y))+1)×(2(r+α′
1(x-d,y))+1)的局部邻域,
表示优化窗口C
1(x-d,y)中像素灰度值的最大值,
表示优化窗口C
1(x-d,y)中像素灰度值的最小值,α′
1(x-d,y)为像素h
1(x-d,y)的优化窗口对应的半径增量系数;
则左图像I0中坐标(x,y)处像素h0(x,y)对应的视差d0(x,y)为:
式中,dmax为设置的最大视差值。
本优选实施例用于对双目相机采集的两幅图像进行匹配,定义像素之间的匹配代价为η,在定义的匹配代价中,综合考虑了像素之间的灰度值相似性和空间结构相似性,提高了像素匹配结果的准确性,在衡量像素之间的灰度值相似性和空间结构相似性时,都引入了截断阈值,从而有效的避免了噪声对匹配结果准确性的干扰;对像素之间的匹配代价η进行优化,采用像素的匹配窗口中像素对匹配代价进行滤波处理,减少了噪声干扰的同时提高了匹配结果的准确性,从而提高了视差值的准确性。
优选地,设C0(x,y)表示像素h0(x,y)的优化窗口,Ω0(x,y)表示以像素h0(x,y)为中心的(2(r+α)+1)×(2(r+α)+1)的局部邻域,其中,r为设置的初始半径,α为半径增量系数,且α为正整数,将Ω0(x,y)记为像素h0(x,y)的第一局部邻域,设Ω′0(x,y)为以像素h0(x,y)为中心的(2(r+α+1)+1)×(2(r+α+1)+1)的局部邻域,将Ω′0(x,y)记为像素h0(x,y)的第二局部邻域,设D0(x,y)为像素h0(x,y)的边缘像素集合,且Do(x,y)={ho(i,j)|ho(i,j)∈Ω0′(x,y)-Ω0(x,y),构建像素点h0x,y对应的分界函数F0x,y:
式中,f
0(x,y)表示左图像I
0中坐标(x,y)处像素的灰度值,f
0(i,j)表示左图像I
0中坐标(i,j)处像素的灰度值,M(D
0(x,y))表示集合D
0(x,y)中的像素点数,
表示第一局部邻域Ω
0(x,y)的结构描述函数,且
的表达式为:
其中,
表示第一局部邻域Ω
0(x,y)的横向结构描述函数,
表示第一局部邻域Ω
0(x,y)的纵向结构描述函数,f
0(x+r+α-n,j)表示左图像I
0中坐标(x+r+α-n,j)处像素的灰度值,f
0(x+r+α-n-1,j)表示左图像I
0中坐标(x+r+α-n-1,j处像素的灰度值,f0i,y+r+α-n表示左图像I0中坐标i,y+r+α-n处像素的灰度值,f
0(i,y+r+α-n-1)表示左图像f
0中坐标(i,y+r+α-n-1)处像素的灰度值;
表示第二局部邻域Ω′
0(x,y)的结构描述函数,且
的表达式为:
其中,
表示第二局部邻域Ω′
0(x,y)的横向结构描述函数,
表示第二局部邻域Ω′
0(x,y)的纵向结构描述函数,f
0(x+r+α-n+1,j)表示左图像I
0中坐标(x+r+α-n+1,j)处像素的灰度值,f
0(x+r+α-n,j)表示左图像I
0中坐标(x+r+α-n,j处像素的灰度值,f0i,y+r+α-n+1表示左图像I0中坐标i,y+r+α-n+1处像素的灰度值,f
0(i,y+r+α-n)表示左图像I
0中坐标(i,y+r+α-n)处像素的灰度值;
给定阈值T
0(x,y),且
其中,
表示第一局部邻域Ω
0(x,y)的结构描述函数,σ
0(Ω
0(x,y))表示第一局部邻域Ω
0(x,y)中像素灰度值的标准差,则像素h
0(x,y)的优化窗口对应的半径增量系数α′
0(x,y)的值为:
式中,ψ(F0(x,y)-T0(x,y))为判断函数,当F0(x,y)-T0(x,y)>0时,则ψ(F0(x,y)-T0x,y=F0x,y-T0x,y,当F0x,y-T0x,y≤0时,则F0x,y-T0x,y=+∞,N为给定的最大半径增量系数;
则像素h0(x,y)的优化窗口C0(x,y)为以像素h0(x,y)为中心的(2(r+α′0(x,y))+1)×(2(r+α′0(x,y))+1)的局部邻域,同理可得像素h1(x-d,y)的优化窗口C1(x-d,y)。
本优选实施例用于确定各像素的匹配窗口,相较于传统的采用固定大小的匹配窗口的方式,本优选实施例根据像素的特性自适应的决定其对应的匹配窗口的大小;在匹配窗口的确定过程中,定义分界函数F0,在分界函数F0中通过边界像素灰度值的变化情况对匹配窗口中的像素灰度值进行约束,保证了匹配窗口中像素灰度值的统一性;通过像素的结构描述函数对匹配窗口中的图像区域性质进行检验,定义的像素结构描述函数能够发现像素结构的细微变化,保证了匹配窗口中图像结构的统一性,从而提高了像素匹配代价的优化结果,为后续计算像素的视差值奠定了基础。
优选地,将左图像I0中的所有像素和右图像I1中的像素进行匹配,获得左图像I0中所有像素对应的视差值,根据获得的视差值构建左图像I0的视差图D0,同理构建右图像I1的视差图D1,对视差图D0中的视差值进行检验,设h0(x,y)表示左图像I0中坐标(x,y)处的像素,且像素h0(x,y)在视差图D0中对应的视差为d0(x,y),像素h0(x,y)在右图像I1中的匹配像素为h1(x-d0(x,y),y),且像素h1(x-d0(x,y),y)在视差图D1对应的视差为d1(x-d0(x,y),y),当|d0(x,y)-d1(x-d0(x,y),y)|≤1,则判定该视差值为有效视差,予以保留,当|d0(x,y)-d1(x-d0(x,y),y)|>1时,即判定该视差值为无效视差,对像素h0(x,y)进行重新匹配,定义像素h0(x,y)和右图像I1中像素h1(x-d,y)进行重匹配的匹配代价为B′0(h0,d),且B′0(h0,d)的表达式为:
式中,B′
0(h
0,d)为重匹配时像素h
0(x,y)和像素h
1(x-d,y)的匹配代价,
为调节系数,K
0(x,y)表示像素h
0(x,y)的优化窗口C
0(x,y)中不需要重匹配的像素集合,s
0(i,j)表示左图像I
0中坐标(i,j)处的像素,f
0(i,j)表示像素s
0(i,j)的灰度值,σ
c为灰度值距离对该点的影响因子,σ
d为空间距离对该点的影响因子,d
0(i,j)表示像素s
0(i,j)对应的视差值,d′
0(x,y)为重匹配后获得的像素h
0(x,y)的视差值,将视差值d′
0(x,y)取代视差图D
0中的原始视差值d
0(x,y)。
对视差图D0中的所以视差值进行检验后,采用上述检验方式对视差图D1中的视差进行检验,直到视差图D0和视差图D1中的视差值均为有效视差时,停止检验。
本优选实施例用于对左右两幅图像生成的视差图中的视差值的有效性进行检验,当检验的视差值为有效视差值时予以保留,当检验的视差值为无效视差值时,则对该视差值所对应的像素进行重匹配,在重匹配的过程中,定义的像素匹配代价B′
0(h
0,d)在保留了原有的匹配代价B
0(h
0,d)的基础上,增加了调节系数
在调节系数
中采用该像素的优化窗口中不需要重匹配的像素的视差值对匹配代价B′
0(h
0,d)进行指导,本优选实施例采用的优化窗口能够确保窗口中的像素都具有较为统一的像素值和结构特征,因此可以认为优化窗口中像素的视差值较为接近,进一步的调节参数
采用优化窗口不需要重匹配的像素的视差值对需要重匹配的视差值进行调节,当像素h
0(x,y)的视差值d
0(x,y)和其优化窗口中不需要重匹配的像素的视差值相差较远时,说明该视差值d
0(x,y)具有较低的可信度,因此,对该视差值对应的匹配代价B′
0(h
0,d)进行抑制,从而确保了匹配精度,从而提高了视差值计算结果的准确性。
优选地,危险分析单元根据获得的视差图计算路面的三维信息,并根据路面的三维信息对轮椅车前进方向的路面状态进行评估,设获得的路面三维数据点集合为F,且F={f(xi,yi,zi),i=1,2,…,M},其中,M表示集合F中的数据点数,f(xi,yi,zi)表示坐标(xi,yi,zi)处的数据点,定义数据点f(xi,yi,zi)对应的区域检测系数为T(i),则T(i)的计算公式为:
式中,θ为常数,且θ=10°,
表示以数据点f(x
i,y
i,z
i)为圆心、以r
0为半径的球形区域,
表示区域
中数据点的法向量满足{(α∈[(m-1)*θ,m*θ]∩β∈[n-1*θ,n*θ]}的数据点数,其中,α表示数据点的法向量在xy轴平面上的投影和x轴正方向的夹角,β表示数据点的法向量和z轴正方向的夹角,
表示区域
中的数据点数;
将集合F中的数据点按其区域检测系数的值由大到小进行排列,选取前
个数据点组成集合B,定义路面评估系数为L,则L的计算公式为:
式中,μ(j)表示数据点f(x
j,y
j,z
j)的区域信息值,O
r(x
j,y
j,z
j)表示以数据点f(x
j,y
j,z
j)为圆心、以r为半径的球形区域,
表示区域O
r(x
j,y
j,z
j)中数据点的法向量满足{(α∈[(m-1)*θ,m*θ])∩(β∈[(n-1)*θ,n*θ])}的数据点数,
为判断函数,给定门限值H,且
当数据点数
时,
当数据点数
时,
给定安全阈值U,当路面评估系数
时,即判定路面状态较平稳,当路面评估系数
时,即判定路面状态一般,控制器单元减小轮椅车的行驶速度,当路面评估系数L>U时,即判定路面状态存在行驶危险,危险分析单元通过警示扩音器进行报警
本优选实施例用于根据路面的三维信息对轮椅车前进方向的路面状态进行评估,在评估过程中,首先通过定义数据点对应的区域检测系数判断数据点局部邻域的信息量,定义的区域检测系数通过局部邻域中数据点的法向量的分布复杂程度衡量该局部区域中的带有的信息量,进而选取具有较多信息量的数据点参与路面状态评估,选取的数据点既能有效的反应路面状态,又能减小路面状态评估的运算量;根据选取的数据点对路面状态进行评估时,相较于传统的采用固定邻域半径的方式,本优选实施例在评估过程中自适应的确定数据点的邻域半径,保证数据点的局部邻域能够最大程度的包含反应路面状态的数据信息,在计算数据点的区域信息值时,通过局部邻域中法向量的分布情况判断当前的路面状态的复杂程度,此外,对法向量的分布情况进行统计,并通过判断函数f(·)和门限值H对具有较多法向量分布的角度区间进行奖励,对具有较少法向量分布的角度区间进行抑制,能够有效的避免噪声干扰对路面状态评估结果准确性的影响。
最后应当说明的是,以上实施例仅用以说明本发明的技术方案,而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细地说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。