CN111213069B - 基于相干光的避障装置及方法 - Google Patents
基于相干光的避障装置及方法 Download PDFInfo
- Publication number
- CN111213069B CN111213069B CN201880067096.XA CN201880067096A CN111213069B CN 111213069 B CN111213069 B CN 111213069B CN 201880067096 A CN201880067096 A CN 201880067096A CN 111213069 B CN111213069 B CN 111213069B
- Authority
- CN
- China
- Prior art keywords
- detected object
- images
- acquiring
- coherent light
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
Abstract
一种基于相干光的避障装置及方法,包括:通过超声波获取被检测物体(10)与避障装置(20)之间的距离d(S701);基于相干光获取在超声波刺激下被检测物体(10)的n张振动的散斑图像(S702);根据n张振动的散斑图像,获取被检测物体(10)的振动波形信号;并根据振动波形信号确定被检测物体(10)的类别(S703);提醒使用者其与被检测物体(10)之间的距离d和被检测物体(10)的类别(S704)。该方法能够全面检测周围环境中的物体,提高了物体识别精度,进而提高基于该物体识别的盲人导航、安防监控等级和汽车导航系统的精度。
Description
技术领域
本申请涉及电子技术领域,尤其涉及一种基于相干光的避障装置及方法。
背景技术
由于生理上的缺陷,盲人在生活工作等方面有着诸多不便,如何安全行走是盲人生活中最大的问题。
现有的保障盲人安全的辅助导盲装置主要基于单一的传感器硬件,如超声波、红外线来探测障碍物信息,然后通过声音或者振动提示用户免于碰撞危险。超声波传感器发射超声波,当超声波在空气中遇到障碍物时就会被反射回来,并通过超声波接收探头转换成电信号,只能通过测量发射声波和接收声波的时间差,乘以传播速度,来计算出发射点到障碍物的距离。而激光和红外传感器工作时对准障碍物发射激光脉冲或者红外光,经障碍物反射后向各个方向散射,使得部分散射光返回到接收传感器接收到其微弱的光信号,从而记录并处理光脉冲发射到返回所经历的时间来判断距离。但利用传感器收发信号的时差判断障碍物的位置和距离的方案功能单一,精确度差,不能全面检测环境信息。
并且在安防监控和汽车导航系统,都是基于视觉成像来实现物体的识别的,进而实现安防监控和导航;但是在黑暗环境下,基于视觉成像的方式无法精确进行物体识别,进而导致安防监控存在安全漏洞,汽车导航系统无法精确导航。
发明内容
本申请实施例提供一种基于相干光的避障装置及方法,采用本申请实施例能够全面检测周围环境中的物体,提高了物体识别的精度,进而提高基于该物体识别的盲人导航、安防监控等级额导航系统的精度。
第一方面,本申请实施例提供一种基于相干光的避障装置,包括:
超声波传感器,相干光传感器,与所述相干光传感器相连接的高速相机,与所述超声波传感器和所述高速相机均相连接的处理装置;
所述超声波传感器,用于获取被检测物体与所述避障装置之间的距离d,并将所述距离d传输至所述处理装置;
所述相干光传感器,用于向所述被检测物体发射相干光,接收反射的相干光,并将所述反射的相干光传输至所述高速相机;
所述高速相机,用于根据所述反射的相干光,获取n张振动的散斑图像,所述振动的散斑图像为所述被检测物体在所述超声波的刺激下产生振动的散斑图像;所述n为大于1的整数;
所述处理装置,用于根据所述n张振动的散斑图像,获取所述被检测物体的振动波形信号;并根据所述振动波形信号确定所述被检测物体的类别。
在一种可能的实施例中,所述处理装置根据所述n张振动的散斑图像,获取所述被检测物体的振动波形信号,包括:
所述处理装置根据所述n张振动的散斑图像,获取M张斑点对比图;所述M为大于1且小于或者等于所述n的整数;
所述处理装置根据K-means聚类算法对所述M张斑点图像进行聚类运算,以得到k个聚类图像,所述k为大于1且小于所述M的整数;
所述处理装置根据所述k个聚类图像,获取所述被检测物体的振动波形信号。
在一种可能的实施例中,所述处理装置根据所述振动波形信号确定所述被检测物体的类别,包括:
所述处理装置对所述振动波形信号进行快速傅里叶变换,以得到所述被检测物体的振动频谱;
所述处理装置将所述振动频谱,所述距离d,所述超声波的频谱和测量环境的信息输入到物体识别模型中进行神经网络运算,以得到计算结果;
根据从计算结果与物体类别对应关系表中获取所述计算结果对应的物体类别,以确定所述被检测物体的类别。
在一种可能的实施例中,所述避障装置还包括:环境信息检测模块和与所述处理装置相连接的提醒装置;
所述环境信息检测模块,用于检测获取所述测量环境的信息,所述测量环境的信息包括温度值、风速值和湿度值;
所述提醒装置,用于提醒使用者其与所述被检测物体之间的距离d和所述被检测物体的类别。
在一种可能的实施例中,所述处理装置在根据所述振动波形信号确定所述被检测物体的类别之前,所述处理装置还用于:
获取多组训练参数,所述多组训练数据的每组训练数据对应一种物体类别:
根据所述多组训练参数进行神经网络训练,以得到所述物体识别模型;
分别将所述多组训练参数输入到所述物体识别模型进行计算,以得到多组计算结果,所述多组计算结果中的每组计算结果对应一种物体类别;
根据所述多组计算结果,获取所述计算结果与物体类别的对应关系表,所述计算结果与物体类别的对应关系表包括计算结果范围和对应的物体类别,所述计算结果范围的上限和下限分别物体类别对应的一组计算结果的最大值和最小值。
第二方面,本申请实施例提供了一种基于相干光的避障方法,包括:
通过超声波获取被检测物体与所述避障装置之间的距离d;
基于相干光获取在所述超声波刺激下所述被检测物体的n张振动的散斑图像;所述n为大于1的整数。
根据所述n张振动的散斑图像,获取所述被检测物体的振动波形信号;并根据所述振动波形信号确定所述被检测物体的类别;
提醒使用者其与所述被检测物体之间的距离d和所述被检测物体的类别。
在一种可能的实施例中,所述根据所述n张振动的散斑图像,获取所述被检测物体的振动波形信号,包括:
根据所述n张振动的散斑图像,获取M张斑点对比图;所述M为大于1且小于或者等于所述n的整数;
从所述M张斑点对比图像中,任意选择k张斑点对比图像,作为k个初始聚类中心,所述k为小于所述M的整数;
对于M-k张斑点对比图像中任一张斑点对比图像p,计算与所述k个初始聚类中心中的每个初始聚类中心的距离值,以得到k个距离值;其中,所述M-k张斑点对比图像为所述M张斑点对比图像中除了所述k张作为初始聚类中心的斑点对比图像之外的斑点对比图像;
选取所述k个距离值中最小的距离值对应的初始聚类中心为所述斑点对比图像p所述的聚类;按照该方法,以得到k个聚类图像,所述k为大于1且小于所述M的整数;
根据所述k个聚类图像,获取所述被检测物体的振动波形信号。
在一种可能的实施例中,所述根据所述振动波形信号确定所述被检测物体的类别,包括:
对所述振动波形信号进行快速傅里叶变换,以得到所述被检测物体的振动频谱;
将所述振动频谱,所述距离d,所述超声波的频谱和测量环境的信息输入到物体识别模型中进行神经网络运算,以得到计算结果;
根据从计算结果与物体类别对应关系表中获取所述计算结果对应的物体类别,以确定所述被检测物体的类别。
在一种可能的实施例中,所述方法还包括:
检测获取所述测量环境的信息,所述测量环境的信息包括温度值、风速值和湿度值;
获取所述超声波的频谱。
在一种可能的实施例中,所述在根据所述振动波形信号确定所述被检测物体的类别之前,所述处理装置还用于:
获取多组训练参数,所述多组训练数据的每组训练数据对应一种物体类别;
根据所述多组训练参数进行神经网络训练,以得到所述物体识别模型;
分别将所述多组训练参数输入到所述物体识别模型进行计算,以得到多组计算结果,所述多组计算结果中的每组计算结果对应一种物体类别;
根据所述多组计算结果,获取所述计算结果与物体类别的对应关系表,所述计算结果与物体类别的对应关系表包括计算结果范围和对应的物体类别,所述计算结果范围的上限和下限分别物体类别对应的一组计算结果的最大值和最小值。
第三方面,本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时包括上述第二方面所述的方法的部分或全部步骤
可以看出,在本申请实施例的方案中,通过超声波获取被检测物体与避障装置之间的距离d;基于相干光获取在超声波刺激下被检测物体的n张振动的散斑图像;根据n张振动的散斑图像,获取被检测物体的振动波形信号;并根据振动波形信号确定被检测物体的类别;提醒使用者其与被检测物体之间的距离d和被检测物体的类别。采用本申请实施例能够全面检测周围环境中的物体,提高了物体识别的精度,进而提高基于该物体识别的盲人导航、安防监控等级和汽车导航系统的精度。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于相干光的避障装置的应用场景示意图;
图2为被检测物体振动的散斑图像;
图3为被根据散斑图像获取振动波形的示意图;
图4为本申请实施例提供的振动波形图和对应的频谱图;
图5为在同一超声波刺激下不同物体的振动波形对应的振动频谱;
图6为本申请实施例提供的一种物体识别模型的示意图;
图7为本申请实施例提供的一种基于相干光的避障的流程示意图。
具体实施方式
下面结合附图对本申请的实施例进行描述。
参见图1,图1为本申请实施例提供的一种基于相干光的避障装置的应用场景示意图。如图1所示,该应用场景包括:被检测物体10和避障装置20。
其中,上述被检测物体10可为行人、玻璃、树木、金属、塑料或者其他物体。
其中,上述避障装置20包括:超声波传感器201、相干光传感器202、与该相干光传感器202相连接的高速相机203、与上述超声波传感器201和高速相机203均连接的处理装置204,和与该处理装置204相连接的提醒装置205。
上述超声波传感器201包括超声波发射器2012、超声波接收器2011和与超声波发射器2012和超声波接收器2011相连接的第一处理器2013。该超声波发射器2012向上述被检测物体10发射超声波,超声波接收器2011接收该被检测物体10反射的超声波。上述第一处理器2013根据上述超声波发射器2012发射超声波的时刻和上述超声波接收器2011接收到反射超声波的时刻,确定超声波的飞行时长,再根据超声波飞行时长和超声波速度确定上述被检测物体10与上述避障装置20之间的距离d。上述第一处理器2013包括通信单元,该第一处理器2013通过该通信单元将上述距离d发送至上述处理装置204。
上述相干光传感器202包括相干光发射器2022、相干光接收器2021、第一透镜2023和第二透镜2024。上述相干光发射器2022产生入射相干光,该入射相干光经过上述第二透镜照射到上述被检测物体10上。上述相干光接收器接收上述被检测物体10反射的,经过上述第一透镜2023的相干光,即反射相干光。上述相干光接收器2021将接收到的反射相干光后,并将该反射相干光传输至上述高速相机203。
上述高速相机203根据接收到反射相干光得到上述被检测物体n张振动的散斑图像,并将该n张散斑图像传输至上述处理装置204,n为大于1的整数。
需要说明的是,主动超声波信号遇到物体后,会引起物体的微弱震动。此时可通过与上述超声波发射方向的同一方向的同步发射的相干光,根据反射或者散射的相干光得到被检测物体10振动的散斑图像;然后根据间隔相同时长的获取的n张被检测物体10振动的散斑图像,获取该振动物体10在上述超声波的作用下而振动的振动波形信号。
由于被检测物体的材料属性,结构分布和与避障装置之间的距离不同,同一频率的得超声波照射到不同的被检测物体上时,不同被检测物体的振动波形信号有所区别,因此可以根据被检测物体的振动波形信号来确定被检测物体的类别。
需要指出的是,上述超声波传感器2041和相干光传感器202同时启动工作,且发射角度一致,即上述超声波传感器201向上述被检测物体10发射超声波和接收反射的超声波同时,上述相干光传感器202向上述被检测物体10发射相干光和接收反射的相干光。
由于声波在空气中的传播速度远小于光速,因此对于相干光发射器发射相干光的时刻滞后于上述超声波发射器发射超声波的时刻,使得该超声波发射器发射出的超声波经过被检测物体反射后,上述相干光发射器开始发射相干光。
具体地,上述处理装置204按照上述方法获取上述被检测物体10的n张振动的散斑图像,然后根据该n张振动的散斑图像中任意相邻两张散斑图像的之间的时间间隔为Δt。如图2所示,散斑图像中包括多个斑点,从左到右四张散斑图像的采集时刻分别为t,t+Δt,t+2Δt和t+3Δt。如图2所示,不同的时刻获取的散斑图像中的斑点位置会发生变化。
上述处理装置204根据n张振动的散斑图像,确定上述在时长nΔt内散斑图像中斑点随时间位移变化的信息,进而根据该散斑图像中斑点随时间位移变化的信息,得到上述被检测物体10的振动波形信号。
具体地,如图3所示,上述处理装置204按照上述方法获取n张散斑图像,该散斑图像为上述被检测物体的振动的散斑图像。上述n张散斑图像中任意相邻两张散斑图像的采集时刻的时间间隔为Δt,如图3的a图所示。上述处理装置204根据上述n张散斑图像,获取M张斑点对比图像,如图3的b图所示,其中,M为大于1且小于或等于n的整数。然后上述处理装置204根据K-means聚类算法对上述M张斑点对比图像进行聚类运算,得到k个聚类图像,如图3的c图所示,上述k为大于1且小于M的整数。
进一步地,上述处理装置204从上述M张斑点对比图像中任意选择k张斑点对比图像,作为k个初始聚类中心;然后上述处理装置204计算上述M-k张斑点对比图像中的每张斑点对比图像与上述k个初始聚类中心中的每个初始聚类中心的距离值,其中,上述M-k张斑点对比图像为上述M张斑点对比图像中除了上述k张作为初始聚类中心的斑点对比图像之外的斑点对比图像。
对上述M-k张斑点对比图像中的任一张斑点对比图像p,进行上述计算后得到k个距离值,每个距离值对应一个初始聚类中心。上述处理装置204选取k个距离值中的最小距离值对应的初始聚类中心为上述斑点对比图像所属的聚类。按照上述方法,上述处理装置204得到k个聚类图像,如图3的c图所示。上述处理装置13根据上述k个聚类图像得到上述被检测物体的振动波形信号,如图4的a图所示。
在得到上述被检测物体10的振动波形信号后,上述处理装置204对该振动波形信号进行快速傅里叶变换,以得到上述被检测物体的振动频谱,如图4的b图所示。该振动频谱包含丰富的信息,比如上述超声波发射器发射的超声波信号、上述被检测物体的自身的结构及材料属性以及上述避障装置自身的运动情况。
在同一固定频率的超声波的刺激下,不同物体的振动波形信号对应的振动频谱不一样。如图5所示,图5的a图为被检测物体为树木时的振动频谱图,图5的b图为被检测物体为行人时的振动频谱图,图5的c图为被检测物体为玻璃时的振动频谱图,图5的d图为被检测物体为金属时的振动频谱图,图5的e图为被检测物体为塑料时的振动频谱图。
在一种可能的实施例中,上述避障装置20还包括环境信息检测模块,该模块用于检测当前测量环境的信息。当上述环境信息检测模块获取上述测量环境的信息后,将该测量环境信息传输至上述处理装置204。
其中,上述环境信息测量模块包括温度传感器、风速传感器、湿度传感器等传感器,上述测量环境的信息包括温度值、风速值和湿度值等信息。
上述处理装置204获取上述被检测物体10的振动频谱后,该处理装置204将上述被检测物体的振动频谱、被检测物体与上述避障装置20之间的距离d、上述超声波发射器产生的超声波对应的超声波频谱和上述测量环境的信息输入到物体识别模型中进行神经网络运算,该物体识别模型为一种神经网路模型。通过该物体识别模型对上述振动频谱、超声波频谱、距离d和测量环境的信息进行神经网络运算,得到至少一个计算结果,每个计算结果对应一种物体类型,上述处理装置204可根据计算结果即可确定上述被检测物体的类型。如图6所示,上述物体识别模型包括输入层、中间层和输出层;上述振动频谱、超声波频谱、距离d和测量环境的信息从输入层输入后,经过中间层运算后,输出层可输出五种计算结果,包括第一计算结果、第二计算结果、第三计算结果、第四计算结果和第五计算结果,分别对应的物体类别为树木、行人、玻璃、金属和塑料。
进一步地,上述物体识别模型的输出层可输出上述四种计算结果中的任一种或者任意组合,即上述物体识别模型输出的物体类别可以是树木、行人、玻璃、金属和塑料中的任一种;或者任意组合。
进一步地,上述处理装置204根据上述计算结果确定上述被检测物体的类型包括:
上述处理装置204根据计算结果与物体类别的对应关系表确定上述计算结果对应的物体类型。
其中,上述计算结果与物体类别的对应关系表如表1所示。
计算结果范围 | 物体类型 |
(a1,a2] | 树木 |
(a2,a3] | 行人 |
(a3,a4] | 玻璃 |
(a4,a5] | 金属 |
(a5,a6) | 塑料 |
表1
具体地,上述计算结果与物体类别对应关系表中列举了5种物体类别,分别为树木、行人、玻璃、金属和塑料。当上述计算结果大于a1且小于或者等于a2时,上述处理装置204确定被检测物体的类别为树木;当上述结算结果大于a2且小于或者等于a3时,上述处理装置13确定被检测物体的类别为行人;当上述结算结果大于a3且小于或者等于a4时,上述处理装置13确定被检测物体的类别为玻璃;当上述结算结果大于a4且小于a5时,上述处理装置13确定被检测物体的类别为金属;当上述结算结果大于a5且小于或等于a6时,上述处理装置204确定被检测物体的类别为塑料。
在一种可能的实施例中,上述处理装置204获取上述被检测物体的振动频谱后,上述处理装置204从上述振动频谱中提取出表征上述被检测物体的特征向量对应的频率强度分布,该特征向量包括被检测物体的材料、内部结构等。上述处理装置204将提取出的频率强度分布(即上述振动频谱的一部分)输入到上述物体识别模型中。通过剔除上述振动频谱中不能表征上述被检测物体的频谱,实现了振动频谱的压缩,即数据压缩,减小了上述处理装置204进行神经网络运算的运算量。
在一种可能的实施例中,上述处理装置204在将上述振动频谱、超声波频谱、距离d和测量环境的信息输入到上述物体识别模型之前,上述处理装置204获取多组训练数据,该多组训练数据中的每组训练数据对应一种物体类别。对于该多组训练数据中的任一组训练数据i,其对应的物体类别为物体O,上述训练数据i包括该物体O的振动频谱、超声波频谱、上述避障装置20与上述物体O之间的距离和测量环境的信息。上述处理装置204对上述多组训练数据进行神经网络运算,以得到上述物体识别模型。
进一步地,上述处理装置204对上述多组训练数据进行神经网络运算得到上述物体识别模型后,将上述多组训练数据输入该物体识别模型中,以得到多组计算结果,该多组计算结果中的每组计算结果对应一种物体类别;每组计算包括至少两个计算结果;根据上述多组计算结果,获取上述计算结果与物体类别的对应关系表,所述计算结果与物体类别的对应关系表包括计算结果范围和对应的物体类别,所述计算结果范围的上限和下限分别物体类别对应的一组计算结果的最大值和最小值
在一种可能的实施例中,上述处理装置204在将上述振动频谱、超声波频谱、距离d和测量环境的信息输入到上述物体识别模型之前,上述处理装置204还包括通信模块,该处理装置204通过该通信模块向第三方服务器发送请求消息,该请求消息用于请求获取上述物体识别模型和计算结果与物体类别的对应关系表。上述处理装置204的通信模块接收上述第三方服务器发送的用于响应上述请求消息的响应消息,该响应消息携带上述物体识别模型和计算结果与物体类别的对应关系表。
在一种可能的实施例中,上述处理装置204还用于对物体识别模型进行重训练,并更新上述计算结果与物体类别的对应关系表,以保证物体识别模型的精度,具体如下:
每使用上述物体识别模型和计算结果与物体类型的对应关系表进行物体类别识别N次后,重新获取多组训练数据,所述N为大于1的整数;
根据重新获取的多组训练数据,对所述物体识别模型进行重训练,以得重训练后的物体识别模型;
分别将上述重新获取的多组训练数据输入到上述训练后的物体识别模型进行计算,以得到多组计算结果,上述多组计算结果中的每组计算结果对应一种物体类别;
根据上述多组计算结果,重新获取上述计算结果与物体类别的对应关系表。
需要指出的是,上述对物体识别模型进行重训练和更新上述计算结果与物体类别的对应关系表可由上述第三方服务器来进行,上述处理装置204每使用上述物体识别模型和计算结果与物体类别的对应关系表进行物体识别N次后,向上述第三方服务器重新发送请求消息,用于请求获取重训练后的物体识别模型和更新后的计算结果与物体类别的对应关系表。
当上述处理装置204确定上述被检测物体10的类别后,该处理装置204将上述距离d和被检测物体的类别传输至上述提醒装置205,该上述提醒装205发出语音信息,已告知使用者前方的物体信息,包括物体的类别和该物体与使用者之间的距离。
在一种可能的实施例中,上述处理装置获取上述被检测物体10的振动散斑图像后,将该振动散斑图像发送至上述第三方设备,该第三方设备根据振动散斑图像确定上述被检测物体的类别,具体过程参见上述处理装置204的相关描述。上述三方设备将上述检测物体的类别发送至上述处理装置204。
可选地,上述第三方设备可为智能手机、智能手表、智能手环、笔记本电脑、台式电脑或者其他设备。
需要指出的是,上述避障装置20可以按照上述相关描述获取使用者周围环境的相关信息,包括周围行人、树木、建筑物和车辆等与其相对的位置信息,进而使用者能够更灵活的避开以上障碍物。
在另一个具体的应用场景中,上述避障装置20包括一个旋转结构,该旋转机构可以实现上述避障装置的360度旋转,进而可以实现对整个场景中的物体的分类识别,适用于全景的安防监控。
具体地,该上述旋转结构与上述避障装置20中的超声波传感器201和相干光传感器202固定连接,以实现上述超声波传感器201和相干光传感器202的同步旋转,并且旋转的角度范围为0-360度,进而实现全景范围内的监控。
进一步地,上述避障装置20结合安防系统使用,比如当在预设时间范围,比如23:00到5:00内,在预设检测区域上述避障装置20检测到行人时,安防系统向保安人员发送告警信息,以告知保安人员上述预设检测区域存在异常,该告警信息携带上述预设检测区域的位置信息。保安人员就可以根据上述预设检测区域的位置信息对该上述预设检测区域进行进一步检查。
在另一种具体的应用场景中,上述避障装置20可以应用于汽车导航系统中,该避障装置可以按照上述相关描述的内容,实时获取使用者当前位置的周围物体(包括行人、树木、建筑物、车辆等)位置信息,上述避障装置20可根据使用者的目的地信息和当前位置的周围物体的位置信息,并结合当前位置与目的地之间的路况信息可以进行路径的实时规划,使得使用者能够快速安全的抵达目的地,解决了在光线较暗的情况下,通过视觉成像导航无法适用的问题,同时也避免了与透明玻璃物的碰触。
可以看出,在本申请实施例的方案中,通过超声波获取被检测物体与避障装置之间的距离d;基于相干光获取在超声波刺激下被检测物体的n张振动的散斑图像;根据n张振动的散斑图像,获取被检测物体的振动波形信号;并根据振动波形信号确定被检测物体的类别;提醒使用者其与被检测物体之间的距离d和被检测物体的类别。本申请实施例具有以下优点:1、采用主动式的超声波和相干光同时同方向照射到物体表面,这样不同物体会主动的受超声波影响在产生不同频率不同震幅分布的振动信息,而这些振动信号的频谱是带有物体自身信息可以进行物体分类识别。2、采用了非成像的检测方法,物体的结构和材料信息体现在散斑图像,和传统的光学成像检测方法比,不需要设计非常复杂的照明和成像光学,特别适合在黑暗环境中的场景识别,还有成像困难的透明或者高反光的场景使用。3、采用了基于人工神经网络的物体受声波激发振动信号的训练和识别算法,通过深度学习的神经网络,采集多种不同物体类型和无物体遮挡空间的在多种主动式超声信号应激下的振动谱直接进行训练和识别,不需要复杂的图像分析算法和用户设定各种检测参数,该算法简单高效,适用于自动导航、无人驾驶,安防监控等各个行业。
总之,采用本申请实施例能够全面检测周围环境中的障碍物,提高了盲人导航的精度。在多个行业都需要这种特殊方式的场景物体识别,还比如自动驾驶或者辅助驾驶中的场景重构识别,安防领域的场景监控,工业生产中的设备运行状态监控。这种方法解决了无照明或者照明不良的应用场合,透明玻璃检测等。
参见图7,图7为本申请实施例提供的一种基于相干光的避障方法的流程示意图。如图7所示,
S701、避障装置通过超声波获取被检测物体与所述避障装置之间的距离d。
S702、避障装置基于相干光获取在所述超声波刺激下所述被检测物体的n张振动的散斑图像;所述n为大于1的整数。
S703、避障装置根据所述n张振动的散斑图像,获取所述被检测物体的振动波形信号;并根据所述振动波形信号确定所述被检测物体的类别。
在一种可能的实施例中,所述根据所述n张振动的散斑图像,获取所述被检测物体的振动波形信号,包括:
根据所述n张振动的散斑图像,获取M张斑点对比图;所述M为大于1且小于或者等于所述n的整数;
从所述M张斑点对比图像中,任意选择k张斑点对比图像,作为k个初始聚类中心,所述k为小于所述M的整数;
对于M-k张斑点对比图像中任一张斑点对比图像p,计算与所述k个初始聚类中心中的每个初始聚类中心的距离值,以得到k个距离值;其中,所述M-k张斑点对比图像为所述M张斑点对比图像中除了所述k张作为初始聚类中心的斑点对比图像之外的斑点对比图像;
选取所述k个距离值中最小的距离值对应的初始聚类中心为所述斑点对比图像p所述的聚类;按照该方法,以得到k个聚类图像,所述k为大于1且小于所述M的整数;
根据所述k个聚类图像,获取所述被检测物体的振动波形信号。
在一种可能的实施例中,所述根据所述振动波形信号确定所述被检测物体的类别,包括:
对所述振动波形信号进行快速傅里叶变换,以得到所述被检测物体的振动频谱;
将所述振动频谱,所述距离d,所述超声波的频谱和测量环境的信息输入到物体识别模型中进行神经网络运算,以得到计算结果;
根据从计算结果与物体类别对应关系表中获取所述计算结果对应的物体类别,以确定所述被检测物体的类别。
在一种可能的实施例中,所述方法还包括:
检测获取所述测量环境的信息,所述测量环境的信息包括温度值、风速值和湿度值;
获取所述超声波的频谱。
在一种可能的实施例中,所述在根据所述振动波形信号确定所述被检测物体的类别之前,所述处理装置还用于:
获取多组训练参数,所述多组训练数据的每组训练数据对应一种物体类别;
根据所述多组训练参数进行神经网络训练,以得到所述物体识别模型;
分别将所述多组训练参数输入到所述物体识别模型进行计算,以得到多组计算结果,所述多组计算结果中的每组计算结果对应一种物体类别;
根据所述多组计算结果,获取所述计算结果与物体类别的对应关系表,所述计算结果与物体类别的对应关系表包括计算结果范围和对应的物体类别,所述计算结果范围的上限和下限分别物体类别对应的一组计算结果的最大值和最小值。
S704、避障装置提醒使用者其与所述被检测物体之间的距离d和所述被检测物体的类别。
在此需要说明的是,上述步骤S701-S704的具体描述可参见上述图1-图6所示实施例的相关描述,在此不再叙述。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时包括上述方法实施例中记载的任何一种避障方法的部分或全部步骤。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上上述,本说明书内容不应理解为对本申请的限制。
Claims (8)
1.一种基于相干光的避障装置,其特征在于,包括:
超声波传感器,相干光传感器,与所述相干光传感器相连接的高速相机,与所述超声波传感器和所述高速相机均相连接的处理装置;
所述超声波传感器,用于获取被检测物体与所述避障装置之间的距离d,并将所述距离d传输至所述处理装置;
所述相干光传感器,用于向所述被检测物体发射相干光,接收反射的相干光,并将反射的相干光传输至所述高速相机;
所述高速相机,用于根据所述反射的相干光,获取n张振动的散斑图像,所述振动的散斑图像为所述被检测物体在所述超声波的刺激下产生振动的散斑图像;所述n为大于1的整数;
所述处理装置,用于根据所述n张振动的散斑图像,获取所述被检测物体的振动波形信号;并根据所述振动波形信号确定所述被检测物体的类别,包括:
所述处理装置对所述振动波形信号进行快速傅里叶变换,以得到所述被检测物体的振动频谱;所述处理装置将所述振动频谱,所述距离d,所述超声波的频谱和测量环境的信息输入到物体识别模型中进行神经网络运算,以得到计算结果;根据从计算结果与物体类别对应关系表中获取所述计算结果对应的物体类别,以确定所述被检测物体的类别。
2.根据权利要求1所述的装置,其特征在于,所述处理装置根据所述n张振动的散斑图像,获取所述被检测物体的振动波形信号,包括:
所述处理装置根据所述n张振动的散斑图像,获取M张斑点对比图;所述M为大于1且小于或者等于所述n的整数;
所述处理装置根据K-means聚类算法对所述M张斑点对比图进行聚类运算,以得到k个聚类图像,所述k为大于1且小于所述M的整数;
所述处理装置根据所述k个聚类图像,获取所述被检测物体的振动波形信号。
3.根据权利要求1所述的装置,其特征在于,所述避障装置还包括:环境信息检测模块和与所述处理装置相连接的提醒装置;
所述环境信息检测模块,用于检测获取所述测量环境的信息,所述测量环境的信息包括温度值、风速值和湿度值;
所述提醒装置,用于提醒使用者其与所述被检测物体之间的距离d和所述被检测物体的类别。
4.根据权利要求1所述的装置,其特征在于,所述处理装置在根据所述振动波形信号确定所述被检测物体的类别之前,所述处理装置还用于:
获取多组训练参数,所述多组训练参数的每组训练参数对应一种物体类别;
根据所述多组训练参数进行神经网络训练,以得到所述物体识别模型;
分别将所述多组训练参数输入到所述物体识别模型进行计算,以得到多组计算结果,所述多组计算结果中的每组计算结果对应一种物体类别;
根据所述多组计算结果,获取所述计算结果与物体类别的对应关系表,所述计算结果与物体类别的对应关系表包括计算结果范围和对应的物体类别,所述计算结果范围的上限和下限分别物体类别对应的一组计算结果的最大值和最小值。
5.一种基于相干光的避障方法,其特征在于,包括:
通过超声波获取被检测物体与避障装置之间的距离d;
基于相干光获取在所述超声波刺激下所述被检测物体的n张振动的散斑图像;所述n为大于1的整数;
根据所述n张振动的散斑图像,获取所述被检测物体的振动波形信号;并根据所述振动波形信号确定所述被检测物体的类别;
提醒使用者其与所述被检测物体之间的距离d和所述被检测物体的类别,包括:对所述振动波形信号进行快速傅里叶变换,以得到所述被检测物体的振动频谱;将所述振动频谱,所述距离d,所述超声波的频谱和测量环境的信息输入到物体识别模型中进行神经网络运算,以得到计算结果;根据从计算结果与物体类别对应关系表中获取所述计算结果对应的物体类别,以确定所述被检测物体的类别。
6.根据权利要求5所述的方法,其特征在于,所述根据所述n张振动的散斑图像,获取所述被检测物体的振动波形信号,包括:
根据所述n张振动的散斑图像,获取M张斑点对比图;所述M为大于1且小于或者等于所述n的整数;
从所述M张斑点对比图像中,任意选择k张斑点对比图像,作为k个初始聚类中心,所述k为小于所述M的整数;
对于M-k张斑点对比图像中任一张斑点对比图像p,计算与所述k个初始聚类中心中的每个初始聚类中心的距离值,以得到k个距离值;其中,所述M-k张斑点对比图像为所述M张斑点对比图像中除了所述k张作为初始聚类中心的斑点对比图像之外的斑点对比图像;
选取所述k个距离值中最小的距离值对应的初始聚类中心为所述斑点对比图像p所属的聚类,以得到k个聚类图像,所述k为大于1且小于所述M的整数;
根据所述k个聚类图像,获取所述被检测物体的振动波形信号。
7.根据权利要求5所述的方法,其特征在于,所述方法还包括:
检测获取所述测量环境的信息,所述测量环境的信息包括温度值、风速值和湿度值;
获取所述超声波的频谱。
8.根据权利要求5所述的方法,其特征在于,所述根据所述振动波形信号确定所述被检测物体的类别之前,所述方法还包括:
获取多组训练参数,所述多组训练参数的每组训练参数对应一种物体类别;
根据所述多组训练参数进行神经网络训练,以得到所述物体识别模型;
分别将所述多组训练参数输入到所述物体识别模型进行计算,以得到多组计算结果,所述多组计算结果中的每组计算结果对应一种物体类别;
根据所述多组计算结果,获取所述计算结果与物体类别的对应关系表,所述计算结果与物体类别的对应关系表包括计算结果范围和对应的物体类别,所述计算结果范围的上限和下限分别物体类别对应的一组计算结果的最大值和最小值。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2018/097659 WO2020019345A1 (zh) | 2018-07-27 | 2018-07-27 | 基于相干光的避障装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111213069A CN111213069A (zh) | 2020-05-29 |
CN111213069B true CN111213069B (zh) | 2023-09-12 |
Family
ID=69181222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880067096.XA Active CN111213069B (zh) | 2018-07-27 | 2018-07-27 | 基于相干光的避障装置及方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111213069B (zh) |
WO (1) | WO2020019345A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113970552A (zh) * | 2021-09-26 | 2022-01-25 | 北京京仪仪器仪表研究总院有限公司 | 一种结合激光散斑和Kmeans聚类算法的苹果无损检测方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6159149A (en) * | 1996-03-22 | 2000-12-12 | Lockheed Martin Corporation | Ultrasonic camera |
JP2012200478A (ja) * | 2011-03-28 | 2012-10-22 | Konica Minolta Medical & Graphic Inc | 超音波変調光計測装置および超音波変調光計測方法 |
CN205607927U (zh) * | 2016-05-11 | 2016-09-28 | 西安科技大学 | 超声波场的光学全息测量系统 |
CN106214437A (zh) * | 2016-07-22 | 2016-12-14 | 杭州视氪科技有限公司 | 一种智能盲人辅助眼镜 |
CN205910594U (zh) * | 2016-07-07 | 2017-01-25 | 南方电网科学研究院有限责任公司 | 一种无人机避障装置 |
CN206147345U (zh) * | 2016-10-18 | 2017-05-03 | 山东农业大学 | 一种多旋翼无人机实时测距和视觉避障系统 |
CN106817577A (zh) * | 2016-11-23 | 2017-06-09 | 杭州视氪科技有限公司 | 一种基于rgb‑d相机和立体声的视障人士障碍物预警眼镜 |
CN107907483A (zh) * | 2017-08-14 | 2018-04-13 | 西安电子科技大学 | 一种基于散射介质的超分辨光谱成像系统及方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6885968B2 (en) * | 2000-05-08 | 2005-04-26 | Automotive Technologies International, Inc. | Vehicular exterior identification and monitoring system-agricultural product distribution |
US7852462B2 (en) * | 2000-05-08 | 2010-12-14 | Automotive Technologies International, Inc. | Vehicular component control methods based on blind spot monitoring |
US20100259371A1 (en) * | 2009-04-10 | 2010-10-14 | Jui-Hung Wu | Bird-View Parking Aid Apparatus with Ultrasonic Obstacle Marking and Method of Maneuvering the same |
-
2018
- 2018-07-27 WO PCT/CN2018/097659 patent/WO2020019345A1/zh active Application Filing
- 2018-07-27 CN CN201880067096.XA patent/CN111213069B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6159149A (en) * | 1996-03-22 | 2000-12-12 | Lockheed Martin Corporation | Ultrasonic camera |
JP2012200478A (ja) * | 2011-03-28 | 2012-10-22 | Konica Minolta Medical & Graphic Inc | 超音波変調光計測装置および超音波変調光計測方法 |
CN205607927U (zh) * | 2016-05-11 | 2016-09-28 | 西安科技大学 | 超声波场的光学全息测量系统 |
CN205910594U (zh) * | 2016-07-07 | 2017-01-25 | 南方电网科学研究院有限责任公司 | 一种无人机避障装置 |
CN106214437A (zh) * | 2016-07-22 | 2016-12-14 | 杭州视氪科技有限公司 | 一种智能盲人辅助眼镜 |
CN206147345U (zh) * | 2016-10-18 | 2017-05-03 | 山东农业大学 | 一种多旋翼无人机实时测距和视觉避障系统 |
CN106817577A (zh) * | 2016-11-23 | 2017-06-09 | 杭州视氪科技有限公司 | 一种基于rgb‑d相机和立体声的视障人士障碍物预警眼镜 |
CN107907483A (zh) * | 2017-08-14 | 2018-04-13 | 西安电子科技大学 | 一种基于散射介质的超分辨光谱成像系统及方法 |
Non-Patent Citations (1)
Title |
---|
Aner Lev等."Acousto-optical detection of hidden objects via speckle based imaging".《Optics Express》.2015,第23卷(第23期),第26460-26471页. * |
Also Published As
Publication number | Publication date |
---|---|
CN111213069A (zh) | 2020-05-29 |
WO2020019345A1 (zh) | 2020-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109085829B (zh) | 一种动静态目标识别方法 | |
US20180068206A1 (en) | Object recognition and classification using multiple sensor modalities | |
Saquib et al. | BlinDar: An invisible eye for the blind people making life easy for the blind with Internet of Things (IoT) | |
WO2020107020A1 (en) | Lidar-based multi-person pose estimation | |
JP2018163096A (ja) | 情報処理方法および情報処理装置 | |
US20210117696A1 (en) | Method and device for generating training data for a recognition model for recognizing objects in sensor data of a sensor, in particular, of a vehicle, method for training and method for activating | |
GB2573635A (en) | Object detection system and method | |
WO2018145308A1 (en) | Filter reusing mechanism for constructing robust deep convolutional neural network | |
CN113257415A (zh) | 健康数据收集装置和系统 | |
CN110136186A (zh) | 一种用于移动机器人目标测距的检测目标匹配方法 | |
Hakim et al. | Navigation system for visually impaired people based on RGB-D camera and ultrasonic sensor | |
CN111213069B (zh) | 基于相干光的避障装置及方法 | |
US20190187253A1 (en) | Systems and methods for improving lidar output | |
US20190187251A1 (en) | Systems and methods for improving radar output | |
CN110187410A (zh) | 一种自动驾驶中的人体检测装置及方法 | |
CN109568093A (zh) | 一种步行安全综合管理系统及方法 | |
CN116148801B (zh) | 一种基于毫米波雷达的目标检测方法及系统 | |
JP2000098031A (ja) | インパルスソーナー | |
CN115131756A (zh) | 一种目标检测方法及装置 | |
CN114119465A (zh) | 一种点云数据处理方法及装置 | |
CN110706496A (zh) | 基于声学的环境感知方法及系统 | |
Gupta et al. | The Architectural Design of Smart Embedded Blind Stick by Using IOT | |
KR20150053003A (ko) | 동적 표적 식별이 가능한 fod 탐지 레이더 장치 및 fod 탐지 방법 | |
JP7201002B2 (ja) | 画像処理装置、制御プログラム、および画像処理方法 | |
KR102564070B1 (ko) | 다차원 센서 데이터 기반 객체인식장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |