CN112055119B - 识别障碍物的终端、方法、装置及存储介质 - Google Patents
识别障碍物的终端、方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112055119B CN112055119B CN201910493224.3A CN201910493224A CN112055119B CN 112055119 B CN112055119 B CN 112055119B CN 201910493224 A CN201910493224 A CN 201910493224A CN 112055119 B CN112055119 B CN 112055119B
- Authority
- CN
- China
- Prior art keywords
- event
- recognition result
- speed
- distance
- characteristic quantity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000009471 action Effects 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims description 51
- 238000003062 neural network model Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 19
- 238000013459 approach Methods 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 description 26
- 230000015654 memory Effects 0.000 description 21
- 230000005236 sound signal Effects 0.000 description 20
- 230000008859 change Effects 0.000 description 18
- 230000004888 barrier function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000005291 magnetic effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 4
- 239000003990 capacitor Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
- G06F3/04186—Touch location disambiguation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/06—Systems determining the position data of a target
- G01S15/46—Indirect determination of position data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Acoustics & Sound (AREA)
- Computer Networks & Wireless Communication (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种识别障碍物的终端、方法、装置及存储介质,涉及电子设备领域。该方法包括:通过动作传感器获取终端的当前时刻的第一动态特征量;通过超声波传感器获取终端的当前时刻的第二动态特征量;根据第一动态特征量和第二动态特征量对障碍物的运动进行综合分析,得到对障碍物的事件识别结果。该方法通过动作传感器与超声波传感器共同实现障碍物的识别,能够对仅通过声波频率来识别障碍物时产生的偏差进行校正,使终端对障碍物的识别更加准确。
Description
技术领域
本公开实施例涉及电子设备领域,特别涉及一种识别障碍物的终端、方法、装置及存储介质。
背景技术
现今,移动终端上大多设置有触摸屏。以智能手机为例,为了防止在用户通话时发生误触,触摸屏被设置为当用户脸部接近触摸屏时自动熄灭;当用户脸部远离触摸屏时自动点亮。
相关技术中,智能手机的前面板顶部设置有红外传感器,可以用于实现上述触摸屏自动熄灭或者自动点亮的功能;而随着全面屏手机的发展,红外传感器的设置会使屏占比降低或者影响美观;所以,超声波传感器被采纳用于实现上述防误触功能,超声波传感器的设置既不会影响屏占比,也不会影响美观。
但是,超声波传感器是通过声波频率的增减来判断障碍物与移动终端之间的距离变化,声波容易受到噪声的影响,会使判断结果出现偏差。
发明内容
本公开实施例提供了一种识别障碍物的终端、方法、装置及存储介质,可以解决超声波传感器通过声波频率的增减来判断障碍物与移动终端之间的距离变化时,声波容易受到噪声的影响,会使判断结果出现偏差的问题。所述技术方案如下:
根据本公开的一个方面,提供了一种识别障碍物的终端,所述终端包括动作传感器、超声波传感器和处理器;所述动作传感器、所述超声波传感器分别与所述处理器电性连接;
所述动作传感器,用于采集所述终端的第一动态特征量;
所述超声波传感器,用于采集所述终端的第二动态特征量;
所述处理器,用于根据所述第一动态特征量和所述第二动态特征量进行障碍物的运动分析,得到对所述障碍物的事件识别结果。
在一个可选的实施例中,所述处理器,用于将所述第一动态特征量和所述第二动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果;根据所述至少一个速度识别结果和所述至少一个距离识别结果确定出所述事件识别结果。
在一个可选的实施例中,所述处理器,用于将所述第一动态特征量输入第一障碍物识别模型中,得到第一速度识别结果;将所述第二动态特征量输入第二障碍物识别模型中,得到第二速度识别结果和第二距离识别结果。
在一个可选的实施例中,所述处理器,用于将前一时刻的事件识别结果确定为第一识别结果;根据所述第一速度识别结果和所述第二速度识别结果分析得到对所述障碍物的第二识别结果;当所述第二识别结果和所述第二距离识别结果符合第一预设条件时,将所述第二识别结果确定为所述事件识别结果;当所述第二识别结果和所述第二距离识别结果不符合所述第一预设条件时,将所述第一识别结果确定为所述事件识别结果。
在一个可选的实施例中,所述第一速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述处理器,用于当所述第一速度识别结果和所述第二速度识别结果中包括接近事件且不包括远离事件时,将所述第二识别结果确定为接近事件;
所述处理器,用于当所述第一速度识别结果和所述第二速度识别结果中包括远离事件且不包括接近事件时,将所述第二识别结果确定为远离事件;
所述处理器,用于当所述第一速度识别结果和所述第二速度识别结果中包括远离事件和接近事件,或者,所述第一速度识别结果和所述第二速度识别结果均为不确定事件时,将所述第二识别结果确定为不确定事件。
在一个可选的实施例中,所述第二距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述第一预设条件为当所述第二识别结果为接近事件时,所述第二距离识别结果中包括接近事件且不包括远离事件;当所述第二识别结果为远离事件时,所述第二距离识别结果中包括远离事件且不包括接近事件。
在一个可选的实施例中,所述处理器,用于将所述第一动态特征量和所述第二动态特征量输入第三障碍物识别模型中,得到事件识别结果;
其中,所述第三障碍物识别模型是采集历史第一动态特征量和历史第二动态特征量为样本,对神经网络模型进行训练得到的用于障碍物识别的模型。
在一个可选的实施例中,所述处理器,用于从所述第一动态特征量中提取n帧第一速度特征量;从所述第二动态特征量中提取n帧第二速度特征量和n帧第二距离特征量;将第i帧的所述第一速度特征量、所述第二速度特征量和所述第二距离特征量对应组合,得到n个第一特征量集合;将所述n个第一特征量集合依次输入所述第三障碍物识别模型中,得到所述事件识别结果;其中,i、n为正整数,i≤n。
在一个可选的实施例中,所述第三障碍物识别模型包括:
依次相连的三层全连接神经网络和输出层;
或,
依次相连的双层循环神经网络、一层所述全连接神经网络和所述输出层。
在一个可选的实施例中,所述终端还包括与所述处理器相连的触摸屏;
所述处理器,还用于通过所述触摸屏获取所述终端的当前时刻的第三动态特征量;将所述第一动态特征量、所述第二动态特征量和所述第三动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果;根据所述至少一个速度识别结果和所述至少一个距离识别结果确定出所述事件识别结果。
在一个可选的实施例中,所述至少一个速度识别结果包括第一速度识别结果和第二速度识别结果;所述至少一个距离识别结果包括第一距离识别结果和第二距离识别结果;
所述处理器,用于将所述第一动态特征量输入第一障碍物识别模型中,得到所述第一速度识别结果;将所述第二动态特征量输入第二障碍物识别模型中,得到所述第二速度识别结果和所述第二距离识别结果;将所述第三动态特征量输入第四障碍物识别模型中,得到所述第一距离识别结果。
在一个可选的实施例中,所述处理器,用于将前一时刻的事件识别结果确定为第一识别结果;根据所述第一速度识别结果和所述第二速度识别结果分析得到对所述障碍物的第二识别结果;当所述第二识别结果、所述第一距离识别结果和所述第二距离识别结果符合第二预设条件时,将所述第二识别结果确定为所述事件识别结果;当所述第二识别结果、所述第一距离识别结果和所述第二距离识别结果不符合所述第二预设条件时,将所述第一识别结果确定为所述事件识别结果。
在一个可选的实施例中,所述第一速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述处理器,用于当所述第一速度识别结果和所述第二速度识别结果中包括接近事件且不包括远离事件时,将所述第二识别结果确定为接近事件;当所述第一速度识别结果和所述第二速度识别结果中包括远离事件且不包括接近事件时,将所述第二识别结果确定为远离事件;当所述第一速度识别结果和所述第二速度识别结果中包括远离事件和接近事件,或者,所述第一速度识别结果和所述第二速度识别结果均为不确定事件时,将所述第二识别结果确定为不确定事件。
在一个可选的实施例中,所述第一距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述第二预设条件为当所述第二识别结果为接近事件时,所述第一距离识别结果和所述第二距离识别结果中包括接近事件且不包括远离事件;当所述第二识别结果为远离事件时,所述第一距离识别结果和所述第二距离识别结果中包括远离事件且不包括接近事件。
在一个可选的实施例中,所述至少一个速度识别结果包括第三速度识别结果;所述至少一个距离识别结果包括第三距离识别结果;
所述处理器,用于将所述第一动态特征量和所述第二动态特征量输入第五障碍物识别模型中,得到所述第三速度识别结果;将所述第二动态特征量和所述第三动态特征量输入第六障碍物识别模型中,得到所述第三距离识别结果。
在一个可选的实施例中,所述第三速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第三距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述处理器,用于当所述第三速度识别结果和所述第三距离识别结果中包括接近事件且不包括远离事件时,将所述事件识别结果确定为接近事件;当所述第三速度识别结果和所述第三距离识别结果中包括远离事件且不包括接近事件时,将所述事件识别结果确定为远离事件;当所述第三速度识别结果和所述第三距离识别结果中包括接近事件和远离事件,或者,所述第三速度识别结果和所述第三距离识别结果均为不确定事件时,将所述事件识别结果确定为不确定事件。
在一个可选的实施例中,所述终端还包括与所述处理器相连的触摸屏;
所述处理器,用于通过所述触摸屏获取所述终端的当前时刻的第三动态特征量;将所述第一动态特征量、所述第二动态特征量和所述第三动态特征量输入第七障碍物识别模型中,得到所述事件识别结果;
其中,所述第七障碍物识别模型是采集历史第一动态特征量、历史第二动态特征量和历史第三动态特征量为样本,对神经网络模型进行训练得到的用于障碍物识别的模型。
在一个可选的实施例中,所述处理器,用于从所述第一动态特征量中提取n帧第一速度特征量;从所述第二动态特征量中提取n帧第二速度特征量和n帧第二距离特征量;从所述第三动态特征量中提取n帧第一距离特征量;将第i帧的所述第一速度特征量、所述第二速度特征量、所述第一距离特征量和所述第二距离特征量对应组合,得到n个特征量集合;将所述n个特征量集合依次输入所述第七障碍物识别模型中,得到所述事件识别结果;其中,i、n为正整数,i≤n。
在一个可选的实施例中,所述第七障碍物识别模型包括:
依次相连的三层全连接神经网络和输出层;
或,
依次相连的双层循环神经网络、一层所述全连接神经网络和所述输出层。
根据本公开的另一个方面,提供了一种识别障碍物的方法,应用于如上所述的终端中,所述方法包括:
通过动作传感器获取所述终端的当前时刻的第一动态特征量;通过超声波传感器获取所述终端的当前时刻的第二动态特征量;
根据所述第一动态特征量和所述第二动态特征量进行障碍物的运动分析,得到对所述障碍物的事件识别结果。
在一个可选的实施例中,所述根据所述第一动态特征量和所述第二动态特征量进行障碍物的运动分析,得到对所述障碍物的事件识别结果,包括:
将所述第一动态特征量和所述第二动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果;
根据所述至少一个速度识别结果和所述至少一个距离识别结果确定出所述事件识别结果。
在一个可选的实施例中,所述将所述第一动态特征量和所述第二动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果,包括:
将所述第一动态特征量输入第一障碍物识别模型中,得到第一速度识别结果;
将所述第二动态特征量输入第二障碍物识别模型中,得到第二速度识别结果和第二距离识别结果。
在一个可选的实施例中,所述至少一个速度识别结果包括第一速度识别结果;所述至少一个距离识别结果包括第二速度识别结果和第二距离识别结果;
所述根据所述至少一个速度识别结果和所述至少一个距离识别结果确定出所述事件识别结果,包括:
将前一时刻的事件识别结果确定为第一识别结果;
根据所述第一速度识别结果和所述第二速度识别结果分析得到对所述障碍物的第二识别结果;
当所述第二识别结果和所述第二距离识别结果符合第一预设条件时,将所述第二识别结果确定为所述事件识别结果;当所述第二识别结果和所述第二距离识别结果不符合所述第一预设条件时,将所述第一识别结果确定为所述事件识别结果。
在一个可选的实施例中,所述第一速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述根据所述第一速度识别结果和所述第二速度识别结果分析得到对所述障碍物的第二识别结果,包括:
当所述第一速度识别结果和所述第二速度识别结果中包括接近事件且不包括远离事件时,将所述第二识别结果确定为接近事件;
当所述第一速度识别结果和所述第二速度识别结果中包括远离事件且不包括接近事件时,将所述第二识别结果确定为远离事件;
当所述第一速度识别结果和所述第二速度识别结果中包括远离事件和接近事件,或者,所述第一速度识别结果和所述第二速度识别结果均为不确定事件时,将所述第二识别结果确定为不确定事件。
在一个可选的实施例中,所述第二距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述第一预设条件为当所述第二识别结果为接近事件时,所述第二距离识别结果为接近事件;当所述第二识别结果为远离事件时,所述第二距离识别结果为远离事件。
在一个可选的实施例中,所述根据所述第一动态特征量和所述第二动态特征量进行障碍物的运动分析,得到对所述障碍物的事件识别结果,包括:
将所述第一动态特征量和所述第二动态特征量输入第三障碍物识别模型中,得到所述事件识别结果;
其中,所述第三障碍物识别模型是采集历史第一动态特征量和历史第二动态特征量为样本,对神经网络模型进行训练得到的用于障碍物识别的模型。
在一个可选的实施例中,所述将所述第一动态特征量和所述第二动态特征量输入第三障碍物识别模型中,得到所述事件识别结果,包括:
从所述第一动态特征量中提取n帧第一速度特征量;
从所述第二动态特征量中提取n帧第二速度特征量和n帧第二距离特征量;
将第i帧的所述第一速度特征量、所述第二速度特征量和所述第二距离特征量对应组合,得到n个第一特征量集合;
将所述n个第一特征量集合依次输入所述第三障碍物识别模型中,得到所述事件识别结果;其中,i、n为正整数,i≤n。
在一个可选的实施例中,所述第三障碍物识别模型包括:
依次相连的三层全连接神经网络和输出层;
或,
依次相连的双层循环神经网络、一层所述全连接神经网络和所述输出层。
在一个可选的实施例中,所述终端还包括与所述处理器相连的触摸屏,所述方法还包括:
通过所述触摸屏获取所述终端的当前时刻的第三动态特征量;
所述根据所述第一动态特征量和所述第二动态特征量进行障碍物的运动分析,得到对所述障碍物的事件识别结果,包括:
将所述第一动态特征量、所述第二动态特征量和所述第三动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果;
根据所述至少一个速度识别结果和所述至少一个距离识别结果确定出所述事件识别结果。
在一个可选的实施例中,所述至少一个速度识别结果包括第一速度识别结果和第二速度识别结果;所述至少一个距离识别结果包括第一距离识别结果和第二距离识别结果;
所述将所述第一动态特征量、所述第二动态特征量和所述第三动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果,包括:
将所述第一动态特征量输入第一障碍物识别模型中,得到所述第一速度识别结果;
将所述第二动态特征量输入第二障碍物识别模型中,得到所述第二速度识别结果和所述第二距离识别结果;
将所述第三动态特征量输入第四障碍物识别模型中,得到所述第一距离识别结果。
在一个可选的实施例中,所述根据所述至少一个速度识别结果和所述至少一个距离识别结果确定出所述事件识别结果,包括:
将前一时刻的事件识别结果确定为第一识别结果;
根据所述第一速度识别结果和所述第二速度识别结果分析得到对所述障碍物的第二识别结果;
当所述第二识别结果、所述第一距离识别结果和所述第二距离识别结果符合第二预设条件时,将所述第二识别结果确定为所述事件识别结果;当所述第二识别结果、所述第一距离识别结果和所述第二距离识别结果不符合所述第二预设条件时,将所述第一识别结果确定为所述事件识别结果。
在一个可选的实施例中,所述第一速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述根据所述第一速度识别结果和所述第二速度识别结果分析得到对所述障碍物的第二识别结果,包括:
当所述第一速度识别结果和所述第二速度识别结果中包括接近事件且不包括远离事件时,将所述第二识别结果确定为接近事件;
当所述第一速度识别结果和所述第二速度识别结果中包括远离事件且不包括接近事件时,将所述第二识别结果确定为远离事件;
当所述第一速度识别结果和所述第二速度识别结果中包括远离事件和接近事件,或者,所述第一速度识别结果和所述第二速度识别结果均为不确定事件时,将所述第二识别结果确定为不确定事件。
在一个可选的实施例中,所述第一距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述第二预设条件为当所述第二识别结果为接近事件时,所述第一距离识别结果和所述第二距离识别结果中包括接近事件且不包括远离事件;当所述第二识别结果为远离事件时,所述第一距离识别结果和所述第二距离识别结果中包括远离事件且不包括接近事件。
在一个可选的实施例中,所述至少一个速度识别结果包括第三速度识别结果;所述至少一个距离识别结果包括第三距离识别结果;
所述将所述第一动态特征量、所述第二动态特征量和所述第三动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果,包括:
将所述第一动态特征量和所述第二动态特征量输入第五障碍物识别模型中,得到所述第三速度识别结果;
将所述第二动态特征量和所述第三动态特征量输入第六障碍物识别模型中,得到所述第三距离识别结果。
在一个可选的实施例中,所述第三速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第三距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述根据所述至少一个速度识别结果和所述至少一个距离识别结果确定出所述事件识别结果,包括:
当所述第三速度识别结果和所述第三距离识别结果中包括接近事件且不包括远离事件时,将所述事件识别结果确定为接近事件;
当所述第三速度识别结果和所述第三距离识别结果中包括远离事件且不包括接近事件时,将所述事件识别结果确定为远离事件;
当所述第三速度识别结果和所述第三距离识别结果中包括接近事件和远离事件,或者,所述第三速度识别结果和所述第三距离识别结果均为不确定事件时,将所述事件识别结果确定为不确定事件。
在一个可选的实施例中,所述终端还包括与所述处理器相连的触摸屏;所述方法还包括:
通过所述触摸屏获取所述终端的当前时刻的第三动态特征量;
将所述第一动态特征量、所述第二动态特征量和所述第三动态特征量输入第七障碍物识别模型中,得到所述事件识别结果;
其中,所述第七障碍物识别模型是采集历史第一动态特征量、历史第二动态特征量和历史第三动态特征量为样本,对神经网络模型进行训练得到的用于障碍物识别的模型。
在一个可选的实施例中,所述将所述第一动态特征量、所述第二动态特征量和所述第三动态特征量输入第七障碍物识别模型中,得到所述事件识别结果,包括:
从所述第一动态特征量中提取n帧第一速度特征量;
从所述第二动态特征量中提取n帧第二速度特征量和n帧第二距离特征量;
从所述第三动态特征量中提取n帧第一距离特征量;
将第i帧的所述第一速度特征量、所述第二速度特征量、所述第一距离特征量和所述第二距离特征量对应组合,得到n个第二特征量集合;
将所述n个第二特征量集合依次输入所述第七障碍物识别模型中,得到所述事件识别结果;其中,i、n为正整数,i≤n。
在一些实施例中,第七障碍物识别模型包括:
依次相连的三层全连接神经网络和输出层;
或,
依次相连的双层循环神经网络、一层全连接神经网络和输出层。
根据本公开的一个方面,提供了一种识别障碍物的装置,所述装置上设置有动作传感器和超声波传感器,所述装置包括:
获取模块,被配置为通过所述动作传感器获取所述终端的第一动态特征量;通过所述超声波传感器获取所述终端的第二动态特征量;
识别模块,被配置为根据所述第一动态特征量和所述第二动态特征量进行障碍物的运动分析,得到对所述障碍物的事件识别结果。
根据本公开的一个方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集被处理器加载并执行以实现如上述方面或可选实施方式所述的识别障碍物的方法。
本公开实施例提供的技术方案带来的有益效果至少包括:
通过动作传感器获取终端的当前时刻的第一动态特征量;通过超声波传感器获取终端的当前时刻的第二动态特征量;根据第一动态特征量和第二动态特征量对障碍物的运动进行综合分析,得到对障碍物的事件识别结果;事件识别结果可以包括接近事件、远离事件和不确定事件中的任意一种,通过上述方法识别出障碍物在朝着终端的方向上正在接近、远离、还是不确定。该方法通过动作传感器与超声波传感器共同实现障碍物的识别,能够对仅通过声波频率来识别障碍物时产生的偏差进行校正,解决了超声波传感器通过声波频率的增减来判断障碍物与终端之间的距离变化时,声波受到噪声的影响使判断结果出现偏差的问题,使终端对障碍物的识别更加准确。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本公开一个示例性实施例提供的一种终端的框图;
图2是本公开一个示例性实施例提供的声波发生器的框图;
图3是本公开一个示例性实施例提供的声波接收器的框图;
图4是本公开另一个示例性实施例提供的一种终端的框图;
图5是本公开一个示例性实施例提供的识别障碍物的方法的流程图;
图6是本公开另一个示例性实施例提供的识别障碍物的方法的流程图;
图7是本公开另一个示例性实施例提供的识别障碍物的方法的流程图;
图8是本公开一个示例性实施例提供的障碍物识别模型的示意图;
图9是本公开另一个示例性实施例提供的障碍物识别模型的示意图;
图10是本公开另一个示例性实施例提供的识别障碍物的方法的流程图;
图11是本公开另一个示例性实施例提供的识别障碍物的方法的流程图;
图12是本公开另一个示例性实施例提供的识别障碍物的方法的流程图;
图13是本公开另一个示例性实施例提供的识别障碍物的方法的流程图;
图14是本公开另一个示例性实施例提供的识别障碍物的方法的流程图;
图15是本公开一个示例性实施例提供的识别障碍物的装置的框图;
图16是本公开另一个示例性实施例提供的识别障碍物的装置的框图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开实施方式作进一步地详细描述。
图1是本公开一个示例性的实施例提供的一种终端100的框图。该终端100可以是智能手机、平板电脑、笔记本电脑、台式电脑、智能手表、便携式媒体播放器中的至少一种。该终端100包括:动作传感器102、超声波传感器104、触摸屏106、处理器108和存储器110。
动作传感器102用于采集终端移动时的加速度和角速度。动作传感器102可以包括重力加速度传感器和/或陀螺仪传感器,上述重力加速度传感器和陀螺仪传感器可以是独立设置的,也可以是设置在一个集成电路的芯片(System-on-a-Chip,SoC芯片)上的。其中,重力加速度传感器用于采集终端移动时的加速度和/或角速度,陀螺仪用于采集终端移动时的角速度。
可选地,重力加速度传感器可以包括三轴加速度传感器、六轴加速度传感器、九轴加速度传感器中的至少一种。
超声波传感器104用于采集声音信号;超声波传感器104包括声波发生器1041和声波接收器1042。其中,声波发生器1041用于输出声音信号。可选地,声波发生器1041的组成参考图2,可以包括信号激励器11、数模转换器(Digital Analog Converter,DAC)12和信号发射器13,信号发射器13包括但不限于喇叭、听筒和超声波发射器中的至少一种。信号激励器11中的激励器14生成噪声信号,噪声信号通过带通滤波器15滤除掉可听波频段和次声波频段,得到超声波范围内的带通噪声信号;上述带通噪声信号经过DAC12由数字信号转换为模拟信号;最终经由信号发射器13向外界发射上述模拟信号。
可选地,激励器14可以生成下述形式的噪声信号中的任意一种:超声噪声信号;多频正弦信号;超声噪声信号和多频正弦信号的组合噪声信号。
声波接收器1042用于输入声音信号。示意性的,声波接收器1042的组成参考图3,声波接收器1042可以包括信号接收器16和模数转换器(Analog Digital Converter,ADC)17,信号接收器16包括但不限于麦克风。信号接收器16接收声波发生器1041发射后直接传入声波接收器1042的声音信号、声波发生器1041发射后经过障碍物反射后传入声波接收器1042的声音信号和环境噪音的混合信号;上述混合信号经过ADC17由模拟信号转换为数字信号;最后,上述数字信号被输入处理器108中。
可选地,触摸屏106包括电容触摸屏,该电容触摸屏用于采集电容触摸屏自身的电容变化以及发生电容变化的屏幕面积。
电容触摸屏中电容随温度、湿度等情况的不同发生变化,由于电容触摸屏的这一特性,当物体靠近终端或者触摸屏幕时,电容触摸屏周围的温度和/或湿度发生变化,使得电容触摸屏的电容发生变化,终端采集电容触摸屏上电容的变化。
处理器108可以包括一个或者多个处理核心,该处理器108用于执行存储器110中存储的程序以实现本公开提供的识别障碍物的方法。比如,处理器108根据动作传感器102、超声波传感器104以及触摸屏106采集的信息对障碍物进行识别。
可选地,处理器108还用于从采集得到的加速度、角速度、声音信号、电容变化中提取特征信息,该特征信息用于对障碍物的识别。
存储器110被配置为存储各种类型的数据以支持上述本公开提供的识别障碍物的方法的实现。这些数据的示例包括任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器180可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
图4是本公开另一个示例性的实施例提供的终端200的框图。该终端200包括动作传感器220、超声波传感器240、触摸屏260和处理器280;动作传感器220、超声波传感器240以及触摸屏260分别与处理器280电性连接;
动作传感器220,用于采集终端200的当前时刻的第一动态特征量;
超声波传感器240,用于采集终端200的当前时刻的第二动态特征量;
处理器280,用于根据第一动态特征量和第二动态特征量进行障碍物的运动分析,得到对障碍物的事件识别结果。
需要说明的是,在一些实施例中,上述触摸屏206为可选部件,也可以采用普通显示屏或其它显示部件来代替(比如投影显示设备)。
在一些实施例中,处理器280,用于将第一动态特征量和第二动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果;根据至少一个速度识别结果和至少一个距离识别结果确定出事件识别结果。
在一些实施例中,处理器280,用于将第一动态特征量输入第一障碍物识别模型中,得到第一速度识别结果;将第二动态特征量输入第二障碍物识别模型中,得到第二速度识别结果和第二距离识别结果。
在一些实施例中,处理器280,用于将前一时刻的事件识别结果确定为第一识别结果;根据第一速度识别结果和第二速度识别结果分析得到对障碍物的第二识别结果;当第二识别结果和第二距离识别结果符合第一预设条件时,将第二识别结果确定为事件识别结果;当第二识别结果和第二距离识别结果不符合第一预设条件时,将第一识别结果确定为事件识别结果。
在一些实施例中,第一速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;第二速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;
处理器280,用于当第一速度识别结果和第二速度识别结果中包括接近事件且不包括远离事件时,将第二识别结果确定为接近事件;
处理器280,用于当第一速度识别结果和第二速度识别结果中包括远离事件且不包括接近事件时,将第二识别结果确定为远离事件;
处理器280,用于当第一速度识别结果和第二速度识别结果中包括远离事件和接近事件,或者,第一速度识别结果和第二速度识别结果均为不确定事件时,将第二识别结果确定为不确定事件。
在一些实施例中,第二距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;第二识别结果包括接近事件、远离事件和不确定事件中的任意一种;
第一预设条件为当第二识别结果为接近事件时,第二距离识别结果中包括接近事件且不包括远离事件;当第二识别结果为远离事件时,第二距离识别结果中包括远离事件且不包括接近事件。
在一些实施例中,处理器280,用于将第一动态特征量和第二动态特征量输入第三障碍物识别模型中,得到事件识别结果;
其中,第三障碍物识别模型是采集历史第一动态特征量和历史第二动态特征量为样本,对神经网络模型进行训练得到的用于障碍物识别的模型。
在一些实施例中,处理器280,用于从第一动态特征量中提取n帧第一速度特征量;从第二动态特征量中提取n帧第二速度特征量和n帧第二距离特征量;将第i帧的第一速度特征量、第二速度特征量和第二距离特征量对应组合,得到n个第一特征量集合;将n个第一特征量集合依次输入第三障碍物识别模型中,得到事件识别结果;其中,i、n为正整数,i≤n。
在一些实施例中,第三障碍物识别模型包括:依次相连的三层全连接神经网络和输出层;或,依次相连的双层循环神经网络、一层全连接神经网络和输出层。
在一些实施例中,终端还包括与处理器280相连的触摸屏;
处理器280,还用于通过触摸屏获取终端的当前时刻的第三动态特征量;将第一动态特征量、第二动态特征量和第三动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果;根据至少一个速度识别结果和至少一个距离识别结果确定出事件识别结果。
在一些实施例中,至少一个速度识别结果包括第一速度识别结果和第二速度识别结果;至少一个距离识别结果包括第一距离识别结果和第二距离识别结果;
处理器280,用于将第一动态特征量输入第一障碍物识别模型中,得到第一速度识别结果;将第二动态特征量输入第二障碍物识别模型中,得到第二速度识别结果和第二距离识别结果;将第三动态特征量输入第四障碍物识别模型中,得到第一距离识别结果。
在一些实施例中,处理器280,用于将前一时刻的事件识别结果确定为第一识别结果;根据第一速度识别结果和第二速度识别结果分析得到对障碍物的第二识别结果;当第二识别结果、第一距离识别结果和第二距离识别结果符合第二预设条件时,将第二识别结果确定为事件识别结果;当第二识别结果、第一距离识别结果和第二距离识别结果不符合第二预设条件时,将第一识别结果确定为事件识别结果。
在一些实施例中,第一速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;第二速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;
处理器280,用于当第一速度识别结果和第二速度识别结果中包括接近事件且不包括远离事件时,将第二识别结果确定为接近事件;当第一速度识别结果和第二速度识别结果中包括远离事件且不包括接近事件时,将第二识别结果确定为远离事件;当第一速度识别结果和第二速度识别结果中包括远离事件和接近事件,或者,第一速度识别结果和第二速度识别结果均为不确定事件时,将第二识别结果确定为不确定事件。
在一些实施例中,第一距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;第二距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;第二识别结果包括接近事件、远离事件和不确定事件中的任意一种;
第二预设条件为当第二识别结果为接近事件时,第一距离识别结果和第二距离识别结果中包括接近事件且不包括远离事件;当第二识别结果为远离事件时,第一距离识别结果和第二距离识别结果中包括远离事件且不包括接近事件。
在一些实施例中,至少一个速度识别结果包括第三速度识别结果;至少一个距离识别结果包括第三距离识别结果;
处理器280,用于将第一动态特征量和第二动态特征量输入第五障碍物识别模型中,得到第三速度识别结果;将第二动态特征量和第三动态特征量输入第六障碍物识别模型中,得到第三距离识别结果。
在一些实施例中,第三速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;第三距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;
处理器280,用于当第三速度识别结果和第三距离识别结果中包括接近事件且不包括远离事件时,将事件识别结果确定为接近事件;当第三速度识别结果和第三距离识别结果中包括远离事件且不包括接近事件时,将事件识别结果确定为远离事件;当第三速度识别结果和第三距离识别结果中包括接近事件和远离事件,或者,第三速度识别结果和第三距离识别结果均为不确定事件时,将事件识别结果确定为不确定事件。
在一些实施例中,终端还包括与处理器280相连的触摸屏;
处理器280,用于通过触摸屏获取终端的当前时刻的第三动态特征量;将第一动态特征量、第二动态特征量和第三动态特征量输入第七障碍物识别模型中,得到事件识别结果;
其中,第七障碍物识别模型是采集历史第一动态特征量、历史第二动态特征量和历史第三动态特征量为样本,对神经网络模型进行训练得到的用于障碍物识别的模型。
在一些实施例中,处理器280,用于从第一动态特征量中提取n帧第一速度特征量;从第二动态特征量中提取n帧第二速度特征量和n帧第二距离特征量;从第三动态特征量中提取n帧第一距离特征量;将第i帧的第一速度特征量、第二速度特征量、第一距离特征量和第二距离特征量对应组合,得到n个特征量集合;将n个特征量集合依次输入第七障碍物识别模型中,得到事件识别结果;其中,i、n为正整数,i≤n。
在一些实施例中,第七障碍物识别模型包括:依次相连的三层全连接神经网络和输出层;或,依次相连的双层循环神经网络、一层全连接神经网络和输出层。
综上所述,本实施例提供的识别障碍物的终端,通过动作传感器获取终端的第一动态特征量;通过超声波传感器获取终端的第二动态特征量;根据第一动态特征量和第二动态特征量对障碍物的运动进行综合分析,得到对障碍物的事件识别结果;事件识别结果可以包括接近事件、远离事件和不确定事件中的任意一种,通过上述终端识别出障碍物在朝着终端的方向上正在接近、远离、还是不确定。该终端通过动作传感器与超声波传感器共同实现障碍物的识别,能够对仅通过声波频率来识别障碍物时产生的偏差进行校正,解决了超声波传感器通过声波频率的增减来判断障碍物与终端之间的距离变化时,声波受到噪声的影响使判断结果出现偏差的问题,使终端对障碍物的识别更加准确。
图5是本公开一个示例性的实施例提供的识别障碍物的方法的流程图,以该方法应用于图1所示的终端为例,该方法包括:
步骤301,终端通过动作传感器获取终端的当前时刻的第一动态特征量。
可选地,第一动态特征量包括加速度特征、角速度特征、线速度特征和角度中的至少一种。
示意性的,加速度特征包括三轴加速度Ax、Ay、Az;在空间中建立直角标系,包括x轴、y轴和z轴,三个坐标轴两两垂直,Ax表示在x轴方向上的加速度、Ay表示在y轴方向上的加速度、Az表示在y轴方向上的加速度。
线速度特征包括线速度Vx、Vy、Vz;可选地,终端对上述加速度积分,计算得到线速度,其中,Vx由x轴方向上的加速度Ax积分得到,可以表示为Vx=∫(Ax)dt;Vy由y轴方向上的加速度Ay积分得到,可以表示为Vy=∫(Ay)dt;Vz由z轴方向上的加速度Az积分得到,可以表示为Vz=∫(Az)dt。
角度包括方位角(Azimuth)和垂角(Elevation);方位角表示从终端所在的点的指北线起,终端沿依顺时针方向转动的水平夹角;垂角表示在与地面的垂直方向上终端转动的夹角。
角速度特征为角度的时间差分值;可选地,终端对角度微分,计算得到角度的时间差分值,其中,方位角的时间差分值可以表示为d(Azimuth)/dt,垂角的时间差分值可以表示为d(Elevation)/dt。
步骤302,终端通过超声波传感器获取终端的当前时刻的第二动态特征量。
可选地,第二动态特征量包括频域位置差分值和频域时间差分值。
示意性的,超声波传感器获得声音信号,终端从声音信号中提取得到频域位置差分值和频域时间差分值;其中,该声音信号为数字信号。
频域位置差分值的提取过程可以包括如下步骤:
1)将声音信号中的当前帧进行频域转换,得到频域信号;其中,该频域信号包括n个频域分量。
可选地,频域转换的方式可以包括但不限于:傅里叶变换、余弦变化、Z变换和滤波器组中的至少一种。
2)将n个频域分量与n个参考频域分量进行差分,得到n个频域位置差分值。
示意性的,终端将声音信号W按帧进行频域转换,得到变换后的声音信号F,公式表示为:
F(1...n)=FT(W(t=-(n-1)...0));
其中,FT表示频域转换;
根据频域变换后的声音信号F求上述的n个频域分量的能量值Fpow,公式表示为:
Fpow(1...n)=RMS(F(1...n));
其中,RMS表示均方根。
其次,终端将频域分量的能量值Fpow与参考频域分量的能量值Frawpow进行差分,得到频域位置差分值Fposdiff,公式如下所示:
Fposdiff(1...n)=Frawpow(1...n)-Fpow(1...n);
其中,参考频域分量的能量值Frawpow是预先录制的无物体接近终端时的n个频域分量的能量值,n为频域变换后的频域分辨率,且n为正整数。
可选地,频域时间差分值包括一阶频域时间差分值和N阶频域时间差分值中的至少一种,N为N≥2的正整数;频域时间差分值的提取过程可以包括以下步骤:
1)将声音信号中的历史帧和当前帧进行频域转换,得到频域信号;其中,历史帧和当前帧中每个声音帧的频域信号包括n个频域分量,n为正整数。
可选地,频域转换的方式可以包括但不限于:傅里叶变换、余弦变化、Z变换和滤波器组中的至少一种。
2)对第i帧中的n个频域分量和第i-1帧中的n个频域分量进行差分,计算得到一阶频域时间差分值;对第i帧中的n个频域分量和第i-N帧中的n个频域分量进行差分,计算得到N阶频域时间差分值。
示意性的,终端将声音信号W按帧进行频域转换,得到变换后的声音信号F,公式表示为:
F(1...n)=FT(W(t=-(n-1)...0));
根据频域变换后的声音信号F求上述的n个频域分量的能量值Fpow,公式表示为:
Fpow(1...n)=RMS(F(1...n))。
终端对当前帧至过去M帧的频域分量的能量值Fpow 0...Fpow -M进行保存,M为正整数;对第i帧中的n个频域分量和第i-1帧中的n个频域分量进行差分,计算得到一阶频域时间差分值,i为i≤0的整数,公式如下所示:
Ftimediff 1=Fpow(t=i)-Fpow(t=i-1),
上述公式表示第i帧的一阶频域时间差分值;
对第i帧中的n个频域分量和第i-N帧中的n个频域分量进行差分,计算得到N阶频域时间差分值,N为N≤M+i的正整数,公式如下所示:
Ftimediff N=Fpow(t=i)-Fpow(t=i-N),
上述公式表示第i帧的N阶频域时间差分值;其中,若i=0时,为当前帧的一阶频域时间差分值Ftimediff 1和N阶频域时间差分值Ftimediff N。
步骤303,终端根据第一动态特征量和第二动态特征量进行障碍物的运动分析,得到对障碍物的事件识别结果。
可选地,终端根据上述加速度特征、角速度特征、线速度特征、角度、频域位置差分值和频域时间差分值中的至少一种进行障碍物的运动分析,得到对障碍物的事件识别结果。
可选地,上述事件识别结果为接近事件、远离事件和不确定(无动作)事件中的任意一种。
综上所述,本实施例提供的识别障碍物的方法,通过动作传感器获取终端的当前时刻的第一动态特征量;通过超声波传感器获取终端的当前时刻的第二动态特征量;根据第一动态特征量和第二动态特征量对障碍物的运动进行综合分析,得到对障碍物的事件识别结果;事件识别结果可以包括接近事件、远离事件和不确定事件中的任意一种,通过上述方法识别出障碍物在朝着终端的方向上正在接近、远离、还是不确定。该方法通过动作传感器与超声波传感器共同实现障碍物的识别,能够对仅通过声波频率来识别障碍物时产生的偏差进行校正,解决了超声波传感器通过声波频率的增减来判断障碍物与终端之间的距离变化时,声波受到噪声的影响使判断结果出现偏差的问题,使终端对障碍物的识别更加准确。
基于图5,终端根据第一动态特征量和第二动态特征量识别障碍物的方法可以包括以下两种情形:
第一,终端中设置有两个障碍物识别模型,分别根据第一动态特征量和第二动态特征量进行障碍物识别,最终通过综合逻辑对上述两个障碍物识别模型识别得到的结果进行分析,确定事件识别结果;
第二,终端中设置有一个障碍物识别模型,终端将上述第一动态特征量和第二动态特征量作为输入,通过上述一个障碍物识别模型获得事件识别结果。
对于上述第一种情况,请参考图6,是本公开另一个示例性的实施例提供的识别障碍物的方法的流程图,基于图5,该方法将步骤303替换为了步骤3032至步骤3034,示意性步骤如下:
步骤3032,终端将第一动态特征量和第二动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果。
可选地,当终端中设置有两个障碍物识别模型时,至少一个速度识别结果包括第一速度识别结果和第二速度识别结果;至少一个距离识别结果包括第二距离识别结果。
终端获得上述速度识别结果和距离识别结果的示意性步骤如下:
1)终端将第一动态特征量输入第一障碍物识别模型中,得到第一速度识别结果。
可选地,第一障碍物识别模型可以是神经网络模型。该神经网络模型是由采集得到的历史第一动态特征量为样本训练得到的。
可选地,神经网络模型可以包括感知机(Perceptron)、卷积神经网络(Convolutional Neural Networks,CNN)、反卷积神经网络(Deconvolutional Networks,DN)、递归神经网络(Recurrent Neural Networks,RNN)、长短期记忆(Long/Short TermMemory,LSTM)网络、Hopfield网络(Hopfield Networks,HN)、玻尔兹曼机(BoltzmannMachine,BM)网络、深度置信网络(Deep Belief Networks,DBN)、自动编码器(AutoEncoder,AE)中的至少一种。
可选地,第一速度识别结果包括接近事件、远离事件和不确定(无动作)事件中的任意一种。
2)终端将第二动态特征量输入第二障碍物识别模型中,得到第二速度识别结果和第二距离识别结果。
可选地,第二障碍物识别模型可以是神经网络模型。该神经网络模型是由采集得到的历史第二动态特征量为样本训练得到的。
可选地,第二速度识别结果包括接近事件、远离事件和不确定(无动作)事件中的任意一种。第二距离识别结果包括接近事件、远离事件和不确定(无动作)事件中的任意一种。
可选地,在终端进行障碍物识别的第一个时刻,第二障碍物识别模型获得第二距离识别结果的示意性步骤如下:
a)计算终端与障碍物之间的相对距离;
b)判断上述相对距离是否小于距离阈值;当上述相对距离小于距离阈值时,确定第二距离识别结果为接近事件;当相对距离等于或大于距离阈值时,确定第二距离识别结果为远离事件;当相对距离不存在时,确定第二距离识别结果为不确定(无动作)事件。
步骤3034,终端根据至少一个速度识别结果和至少一个距离识别结果确定出事件识别结果。
可选地,当终端中设置有两个障碍物识别模型时,终端进行障碍物的运动分析过程可以包括如下步骤:
1)将前一时刻的事件识别结果确定为第一识别结果。
可选地,第一识别结果为接近事件、远离事件和不确定(无动作)事件中的任意一种。
示意性的,当前时刻为第k+1个时刻,则前一时刻为k个时刻,k为正整数。
2)根据第一速度识别结果和第二速度识别结果分析得到对障碍物的第二识别结果。
可选地,第二识别结果包括接近事件、远离事件和不确定(无动作)事件中的任意一种。
可选地,当第一速度识别结果和第二速度识别结果中包括接近事件且不包括远离事件时,将第二识别结果确定为接近事件。
示意性的,可以通过集合V_near表示该步骤为:
V_near=(US_velocity_near||IMU_velocity_near);
其中,US_velocity_near表示第二速度识别结果为接近事件;IMU_velocity_near表示第一速度识别结果为接近事件;(US_velocity_near||IMU_velocity_near)表示第一速度识别结果为接近事件,第二速度识别结果为不确定事件,或者,第一速度识别结果为不确定事件,第二速度识别结果为接近事件,或者,第一速度识别结果和第二速度识别结果均为接近事件。
当第一速度识别结果和第二速度识别结果中包括远离事件且不包括接近事件时,将第二识别结果确定为远离事件。
示意性的,可以通过集合V_far表示该步骤为:
V_far=(US_velocity_far||IMU_velocity_far);
其中,US_velocity_far表示第二速度识别结果为远离事件;IMU_velocity_far表示第一速度识别结果为远离事件;(US_velocity_far||IMU_velocity_far)表示第一速度识别结果为远离事件,第二速度识别结果为不确定事件,或者,第一速度识别结果为不确定事件,第二速度识别结果为远离事件,或者,第一速度识别结果和第二速度识别结果均为远离事件。
当第一速度识别结果和第二速度识别结果中包括远离事件和接近事件,或者,第一速度识别结果和第二速度识别结果均为不确定事件时,将第二识别结果确定为不确定事件。
示意性的,第一速度识别结果和第二速度识别结果均为不确定事件;或者,第一速度识别结果为接近事件,第二速度识别结果为远离事件;或者,第一速度识别结果为远离事件,第二速度识别结果为接近事件,在上述三种情况下,终端将第二识别结果确定为不确定事件。
3)当第二识别结果和第二距离识别结果符合第一预设条件时,将第二识别结果确定为事件识别结果;当第二识别结果和第二距离识别结果不符合第一预设条件时,将第一识别结果确定为事件识别结果。
可选地,第一预设条件为当第二识别结果为接近事件时,第二距离识别结果为接近事件;当第二识别结果为远离事件时,第二距离识别结果为远离事件。
也就是说,当第二识别结果为接近事件,且第二距离识别结果也为接近事件时,终端将事件识别结果确定为接近事件;
当第二识别结果为远离事件,且第二距离识别结果也为远离事件时,终端将事件识别结果确定为远离事件;
否则,终端将第一识别结果确定为事件识别结果。
综上所述,本实施例提供的识别障碍物的方法,通过动作传感器获取终端的当前时刻的第一动态特征量;通过超声波传感器获取终端的当前时刻的第二动态特征量;根据第一动态特征量和第二动态特征量对障碍物的运动进行分析,得到对障碍物的事件识别结果;事件识别结果可以包括接近事件、远离事件和不确定事件中的任意一种,上述方法通过综合识别逻辑识别出障碍物在朝着终端的方向上正在接近、远离、还是不确定。该方法通过动作传感器与超声波传感器共同实现障碍物的识别,能够对仅通过声波频率来识别障碍物时产生的偏差进行校正,解决了超声波传感器通过声波频率的增减来判断障碍物与终端之间的距离变化时,声波受到噪声的影响使判断结果出现偏差的问题,使终端对障碍物的识别更加准确。
对于上述第二种情况,请参考图7,是本公开另一个示例性的实施例提供的识别障碍物的方法的流程图,基于图5,该方法将步骤303替换为了步骤3036,示意性步骤如下:
步骤3036,终端将第一动态特征量和第二动态特征量输入第三障碍物识别模型中,得到事件识别结果。
可选的,上述第三障碍物识别模型是采集历史第一动态特征量和历史第二动态特征量为样本,对神经网络模型进行训练得到的用于障碍物识别的模型。
可选地,神经网络模型可以包括:依次相连的三层全连接神经网络和输出层;或,依次相连的双层循环神经网络、一层全连接神经网络和输出层。
当第三障碍物识别模型包括依次相连的三层全连接神经网络和输出层时,如图8所示,三层全连接神经网络分别为全连接层1、全连接层2和全连接层3,输出层为softmax层4。
当第三障碍物识别模型包括依次相连的双层循环神经网络、一层全连接神经网络和输出层时,如图9所示,双层循环神经网络(Multi-Recurrent Neural Network Core,Multi-RNN Core)5包括两层门循环单元(Gated Recurrent Unit Core,GRU Core):GRUCore 1层和GRU Core 2层,一层全连接神经网络为全连接神经网络6,输出层为softmax层7。
可选地,终端通过第三障碍物识别模型进行障碍物识别的过程可以包括如下所示的步骤:
1)从第一动态特征量中提取n帧第一速度特征量;
2)从第二动态特征量中提取n帧第二速度特征量和n帧第二距离特征量;
4)将第i帧的第一速度特征量、第二速度特征量和第二距离特征量对应组合,得到n个第一特征量集合;
5)将n个第一特征量集合依次输入第三障碍物识别模型中,得到事件识别结果。
示意性的,终端将上述n个第一特征量集合依次输入上述第三障碍物识别模型中,得到事件识别结果。
综上所述,本实施例提供的本实施例提供的识别障碍物的方法,通过动作传感器获取终端的当前时刻的第一动态特征量;通过超声波传感器获取终端的当前时刻的第二动态特征量;根据第一动态特征量和第二动态特征量对障碍物的运动进行分析,得到对障碍物的事件识别结果;事件识别结果可以包括接近事件、远离事件和不确定事件中的任意一种,上述方法通过障碍物识别模型识别出在朝着终端的方向上正在接近、远离、还是不确定。该方法通过动作传感器与超声波传感器共同实现障碍物的识别,能够对仅通过声波频率来识别障碍物时产生的偏差进行校正,解决了超声波传感器通过声波频率的增减来判断障碍物与终端之间的距离变化时,声波受到噪声的影响使判断结果出现偏差的问题,使终端对障碍物的识别更加准确。
基于图5,终端还可以通过动作传感器、超声波传感器和触摸屏共同实现障碍物的识别,上述识别障碍物的方法可以包括以下两种情形:
第一,终端中设置有至少两个障碍物识别模型,终端通过上述至少两个障碍物识别模型对障碍物进行识别;
第二,终端中设置有一个障碍物识别模型,终端通过上述一个障碍物识别模型对障碍物进行识别。
对于上述第一种情况,请参考图10,是本公开另一个示例性的实施例提供的识别障碍物的方法的流程图,以该方法应用于图1所示的终端为例,该方法包括:
步骤401,终端通过动作传感器获取终端的当前时刻的第一动态特征量。
步骤402,终端通过超声波传感器获取终端的当前时刻的第二动态特征量。
步骤403,终端通过触摸屏获取终端的当前时刻的第三动态特征量。
可选地,第三动态特征量包括电容值、电容的时间差分值和电容的面积值。
示意性的,电容值C为触摸屏上由于温度和/或湿度的变化产生的电容值;
电容的时间差分值为第j个时刻与第j-1个时刻电容的变化值,可以用公式表示为Ctimediff=C(t=j)-C(t=j-1)。
电容的面积值为触摸屏上产生电容的屏幕面积。
步骤404,终端将第一动态特征量、第二动态特征量和第三动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果。
可选地,当终端中设置有三个障碍物识别模型时,至少一个速度识别结果包括第一速度识别结果和第二速度识别结果;至少一个距离识别结果包括第一距离识别结果和第二距离识别结果。
终端获得上述速度识别结果和距离识别结果的示意性步骤如下:
1)终端将第一动态特征量输入第一障碍物识别模型中,得到第一速度识别结果。
2)终端将第二动态特征量输入第二障碍物识别模型中,得到第二速度识别结果和第二距离识别结果。
3)终端将第三动态特征量输入第四障碍物识别模型中,得到第一距离识别结果。
可选地,第四障碍物识别模型可以是神经网络模型。该神经网络模型是由采集得到的历史第三动态特征量为样本训练得到的。
可选地,第一距离识别结果包括接近事件、远离事件和不确定(无动作)事件中的任意一种。
可选地,当终端中设置有两个障碍物识别模型时,至少一个速度识别结果包括第三速度识别结果;至少一个距离识别结果包括第三距离识别结果。
终端获得上述速度识别结果和距离识别结果的示意性步骤如下:
1)将第一动态特征量和第二动态特征量输入第五障碍物识别模型中,得到第三速度识别结果。
可选地,第五障碍物识别模型可以是神经网络模型。该神经网络模型由采集得到的历史第一动态特征量和历史第二动态特征量为样本训练得到的。
可选地,第三速度识别结果包括接近事件、远离事件和不确定(无动作)事件中的任意一种。
2)将第二动态特征量和第三动态特征量输入第六障碍物识别模型中,得到第三距离识别结果。
可选地,第六障碍物识别模型可以是神经网络模型。该神经网络模型由采集得到的历史第二动态特征量和第三动态特征量为样本训练得到的。
可选地,第三距离识别结果包括接近事件、远离事件和不确定(无动作)事件中的任意一种。
步骤405,终端根据至少一个速度识别结果和至少一个距离识别结果确定出事件识别结果。
可选地,当终端中设置有三个障碍物识别模型时,终端进行障碍物的运动分析过程可以包括如下步骤:
1)将前一时刻的事件识别结果确定为第一识别结果。
2)根据第一速度识别结果和第二速度识别结果分析得到对障碍物的第二识别结果。
3)当第二识别结果、第一距离识别结果和第二距离识别结果符合第二预设条件时,将第二识别结果确定为事件识别结果;当第二识别结果、第一距离识别结果和第二距离识别结果不符合第二预设条件时,将第一识别结果确定为事件识别结果。
可选地,第二预设条件为当第二识别结果为接近事件时,第一距离识别结果和第二距离识别结果中包括接近事件且不包括远离事件;当第二识别结果为远离事件时,第一距离识别结果和第二距离识别结果中包括远离事件且不包括接近事件。
示意性的,可以通过集合D_near表示第一距离识别结果和第二距离识别结果中包括接近事件且不包括远离事件:
D_near=(US_distance_near||TP_distance_near);
其中,US_distance_near表示第二距离识别结果为接近事件;TP_distance_near表示第一距离识别结果为接近事件;(US_distance_near||TP_distance_near)表示第一距离识别结果为接近事件,第二距离识别结果为不确定事件,或者,第一距离识别结果为不确定事件,第二距离识别结果为接近事件,或者,第一距离识别结果和第二距离识别结果均为接近事件。
可以通过集合D_far表示第一距离识别结果和第二距离识别结果中包括远离事件且不包括接近事件:
D_far=(US_distance_far||TP_distance_far);
其中,US_distance_far表示第二距离识别结果为远离事件;TP_distance_far表示第一距离识别结果为远离事件;(US_distance_far||TP_distance_far)表示第一距离识别结果为远离事件,第二距离识别结果为不确定事件,或者,第一距离识别结果为不确定事件,第二距离识别结果为远离事件,或者,第一距离识别结果和第二距离识别结果均为远离事件。
也就是说,当第二识别结果为接近事件,且第一距离识别结果和第二距离识别结果中包括接近事件且不包括远离事件时,终端将事件识别结果确定为接近事件;
当第二识别结果为远离事件,且第一距离识别结果和第二距离识别结果中包括远离事件且不包括接近事件时,终端将事件识别结果确定为远离事件;
否则,终端将第一识别结果确定为事件识别结果。
示意性的,上述障碍物的综合识别逻辑可以下述伪代码进行描述:
可选地,当终端中设置有两个障碍物识别模型时,终端进行障碍物的运动分析过程可以包括如下步骤:
1)当第三速度识别结果和第三距离识别结果中包括接近事件且不包括远离事件时,将事件识别结果确定为接近事件。
示意性的,可以通过集合C_near表示该步骤为:
C_near=(VEL_near||DIS_near);
其中,VEL_near表示第三速度识别结果为接近事件;DIS_near表示第三距离识别结果为接近事件;(VEL_near||DIS_near)表示第三速度识别结果为接近事件,第三距离识别结果为不确定事件,或者,第三速度识别结果为不确定事件,第三距离识别结果为接近事件,或者,第三速度识别结果和第三距离识别结果均为接近事件。
2)当第三速度识别结果和第三距离识别结果中包括远离事件且不包括接近事件时,将事件识别结果确定为远离事件。
示意性的,可以通过集合C_far表示该步骤为:
C_far=(VEL_far||DIS_far);
其中,VEL_far表示第三速度识别结果为远离事件;DIS_far表示第三距离识别结果为远离事件;(VEL_far||DIS_far)表示第三速度识别结果为远离事件,第三距离识别结果为不确定事件,或者,第三速度识别结果为不确定事件,第三距离识别结果为远离事件,或者,第三速度识别结果和第三距离识别结果均为远离事件。
3)当第三速度识别结果和第三距离识别结果中包括接近事件和远离事件,或者,第三速度识别结果和第三距离识别结果均为不确定事件时,将事件识别结果确定为不确定事件。
示意性的,第三速度识别结果和第三距离识别结果中包括接近事件和远离事件包括以下两种情况:
第一,第三速度识别结果为接近事件,第三距离识别结果为远离事件;
第二,第三速度识别结果为远离事件,第三距离识别结果为接近事件。
综上所述,本实施例提供的识别障碍物的方法,通过动作传感器获取终端的当前时刻的第一动态特征量;通过超声波传感器获取终端的当前时刻的第二动态特征量;通过触摸屏获取终端的当前时刻的第三动态特征量;根据第一动态特征量、第二动态特征量和第三动态特征量对障碍物的运动进行分析,得到对障碍物的事件识别结果;事件识别结果可以包括接近事件、远离事件和不确定事件中的任意一种,上述方法通过综合识别逻辑识别出障碍物在朝着终端的方向上正在接近、远离、还是不确定。该方法通过动作传感器、触摸屏与超声波传感器共同实现障碍物的识别,能够对仅通过声波频率来识别障碍物时产生的偏差进行校正,解决了超声波传感器通过声波频率的增减来判断障碍物与终端之间的距离变化时,声波受到噪声的影响使判断结果出现偏差的问题,使终端对障碍物的识别更加准确。
需要说明的是,当设置有三个障碍物识别模型时,本实施例提供的识别障碍物的方法的整体框架可以通过图11来表示,终端中设置有四个模块,分别为障碍物识别模型1、障碍物识别模型2、障碍物识别模型3和综合识别逻辑模块4。终端将第一动态特征量输入至障碍物识别模型1,得到第一速度识别结果;将第二动态特征量输入至障碍物识别模型2,得到第二速度识别结果和第二距离识别结果;将第三动态特征量输入至障碍物识别模型3,得到第一距离识别结果;将第一速度识别结果、第二速度识别结果、第一距离识别结果和第二距离识别结果输入至综合识别逻辑模块4,得到事件识别结果。
在将动态特征量输入至障碍物识别模型之前,还需要对传感器获得的原始数据进行处理,以对动作传感器获得的原始数据的处理为例,如图12,终端通过动作传感器获得终端的加速度特征和角速度特征,终端中还包括讯号前处理模块5,将加速度特征和角速度特征输入至讯号前处理模块5中,得到第一动态特征量;该第一动态特征量包括加速度特征、角速度特征、线速度特征和角度,其中,线速度特征是根据加速度特征计算得到的,角度是根据角速度计算得到的。其次,终端将第一动态特征量输入障碍物识别模型1中,得到第一速度识别结果。
对于上述第二种情况,请参考图13,是本公开另一个示例性的实施例提供的识别障碍物的方法的流程图,基于图10,该方法将步骤404至步骤405替换为了步骤406,示意性步骤如下:
步骤406,终端将第一动态特征量、第二动态特征量和第三动态特征量输入第七障碍物识别模型中,得到事件识别结果。
可选的,上述第七障碍物识别模型是采集历史第一动态特征量、历史第二动态特征量和历史第三动态特征量为样本,对神经网络模型进行训练得到的用于障碍物识别的模型。
可选地,神经网络模型可以包括:依次相连的三层全连接神经网络和输出层;或,依次相连的双层循环神经网络、一层全连接神经网络和输出层。
可选地,终端通过第七障碍物识别模型进行障碍物识别的过程可以包括如下所示的步骤:
1)从第一动态特征量中提取n帧第一速度特征量;
2)从第二动态特征量中提取n帧第二速度特征量和n帧第二距离特征量;
3)从第三动态特征量中提取n帧第一距离特征量;
4)将第i帧的第一速度特征量、第二速度特征量、第一距离特征量和第二距离特征量对应组合,得到n个第二特征量集合;
5)将n个第二特征量集合依次输入第七障碍物识别模型中,得到事件识别结果。
示意性的,终端将上述n个第二特征量集合依次输入上述第七障碍物识别模型中,得到事件识别结果。
综上所述,本实施例提供的本实施例提供的识别障碍物的方法,通过动作传感器获取终端的当前时刻的第一动态特征量;通过超声波传感器获取终端的当前时刻的第二动态特征量;通过触摸屏获取终端的当前时刻的第三动态特征量;根据第一动态特征量、第二动态特征量和第三动态特征量对障碍物的运动进行分析,得到对障碍物的事件识别结果;事件识别结果可以包括接近事件、远离事件和不确定事件中的任意一种,上述方法通过障碍物识别模型识别出在朝着终端的方向上正在接近、远离、还是不确定。该方法通过动作传感器、触摸屏与超声波传感器共同实现障碍物的识别,能够对仅通过声波频率来识别障碍物时产生的偏差进行校正,解决了超声波传感器通过声波频率的增减来判断障碍物与终端之间的距离变化时,声波受到噪声的影响使判断结果出现偏差的问题,使终端对障碍物的识别更加准确。
需要说明的是,本实施例提供的识别障碍物的方法的整体框架可以通过图14来表示,终端中设置有四个模块,分别为第一动态特征量获取模块1、第二动态特征量获取模块2、第三特征量获取模块3和障碍物识别模型4。终端将动作传感器获得的原始数据1输入至第一动态特征量获取模块1中,得到第一速度特征;将超声波传感器获得的原始数据2输入至第二动态特征量获取模块2中,得到第二速度特征和第二距离特征;将触摸屏获得的原始数据3输入至第三动态特征量获取模块3中,得到第一距离特征;将第一速度特征、第二速度特征、第一距离特征和第二距离特征输入至障碍物识别模型4中,得到事件识别结果。
图15是本公开一个示例性的实施例提供的识别障碍物的装置的框图。该装置可以通过软件、硬件或者二者的结合实现成为电子设备的全部或一部分,该装置上设置有动作传感器、超声波传感器和触摸屏(可选),该装置包括:
获取模块501,被配置为通过动作传感器获取终端的第一动态特征量;通过超声波传感器获取终端的第二动态特征量;
识别模块502,被配置为根据第一动态特征量、第二动态特征量进行障碍物的运动分析,得到对障碍物的事件识别结果。
在一些实施例中,识别模块502,包括:
识别子模块5021,被配置为将第一动态特征量和第二动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果;
确定子模块5022,被配置为根据至少一个速度识别结果和至少一个距离识别结果确定出事件识别结果。
在一些实施例中,至少一个速度识别结果包括第一速度识别结果和第二速度识别结果;至少一个距离识别结果包括第二距离识别结果;
识别子模块5021,被配置为将第一动态特征量输入第一障碍物识别模型中,得到第一速度识别结果;将第二动态特征量输入第二障碍物识别模型中,得到第二速度识别结果和第二距离识别结果。
在一些实施例中,确定子模块5022,被配置为将前一时刻的事件识别结果确定为第一识别结果;根据第一速度识别结果和第二速度识别结果分析得到对障碍物的第二识别结果;当第二识别结果和第二距离识别结果符合第一预设条件时,将第二识别结果确定为事件识别结果;当第二识别结果和第二距离识别结果不符合第一预设条件时,将第一识别结果确定为事件识别结果。
在一些实施例中,第一速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;第二速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;
确定子模块5022,被配置为当第一速度识别结果和第二速度识别结果中包括接近事件且不包括远离事件时,将第二识别结果确定为接近事件;当第一速度识别结果和第二速度识别结果中包括远离事件且不包括接近事件时,将第二识别结果确定为远离事件;当第一速度识别结果和第二速度识别结果中包括远离事件和接近事件,或者,第一速度识别结果和第二速度识别结果均为不确定事件时,将第二识别结果确定为不确定事件。
在一些实施例中,第二距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;第二识别结果包括接近事件、远离事件和不确定事件中的任意一种;
第一预设条件为当第二识别结果为接近事件时,第二距离识别结果中包括接近事件且不包括远离事件;当第二识别结果为远离事件时,第二距离识别结果中包括远离事件且不包括接近事件。
识别子模块5021,用于将第一动态特征量和第二动态特征量输入第三障碍物识别模型中,得到事件识别结果;
其中,第三障碍物识别模型是采集历史第一动态特征量和历史第二动态特征量为样本,对神经网络模型进行训练得到的用于障碍物识别的模型。
识别子模块5021,用于从第一动态特征量中提取n帧第一速度特征量;从第二动态特征量中提取n帧第二速度特征量和n帧第二距离特征量;将第i帧的第一速度特征量、第二速度特征量和第二距离特征量对应组合,得到n个第一特征量集合;将n个第一特征量集合依次输入第三障碍物识别模型中,得到事件识别结果;其中,i、n为正整数,i≤n。
在一些实施例中,第三障碍物识别模型包括:依次相连的三层全连接神经网络和输出层;或,依次相连的双层循环神经网络、一层全连接神经网络和输出层。
结合图15所示的模块结构,在另外一些实施例中:
获取模块501,被配置为通过动作传感器获取终端的第一动态特征量;通过超声波传感器获取终端的第二动态特征量;通过触摸屏获取终端的第三动态特征量;
识别模块502,被配置为根据第一动态特征量、第二动态特征量和第三动态特征量进行障碍物的运动分析,得到对障碍物的事件识别结果。
在一些实施例中,识别模块502,包括:
识别子模块5021,被配置为将第一动态特征量、第二动态特征量和第三动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果;
确定子模块5022,被配置为根据至少一个速度识别结果和至少一个距离识别结果确定出事件识别结果。
在一些实施例中,至少一个速度识别结果包括第一速度识别结果和第二速度识别结果;至少一个距离识别结果包括第一距离识别结果和第二距离识别结果;
识别子模块5021,被配置为将第一动态特征量输入第一障碍物识别模型中,得到第一速度识别结果;将第二动态特征量输入第二障碍物识别模型中,得到第二速度识别结果和第二距离识别结果;将第三动态特征量输入第四障碍物识别模型中,得到第一距离识别结果。
在一些实施例中,确定子模块5022,被配置为将前一时刻的事件识别结果确定为第一识别结果;根据第一速度识别结果和第二速度识别结果分析得到对障碍物的第二识别结果;当第二识别结果、第一距离识别结果和第二距离识别结果符合第二预设条件时,将第二识别结果确定为事件识别结果;当第二识别结果、第一距离识别结果和第二距离识别结果不符合第二预设条件时,将第一识别结果确定为事件识别结果。
在一些实施例中,第一速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;第二速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;
确定子模块5022,被配置为当第一速度识别结果和第二速度识别结果中包括接近事件且不包括远离事件时,将第二识别结果确定为接近事件;当第一速度识别结果和第二速度识别结果中包括远离事件且不包括接近事件时,将第二识别结果确定为远离事件;当第一速度识别结果和第二速度识别结果中包括远离事件和接近事件,或者,第一速度识别结果和第二速度识别结果均为不确定事件时,将第二识别结果确定为不确定事件。
在一些实施例中,第一距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;第二距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;第二识别结果包括接近事件、远离事件和不确定事件中的任意一种;
第二预设条件为当第二识别结果为接近事件时,第一距离识别结果和第二距离识别结果中包括接近事件且不包括远离事件;当第二识别结果为远离事件时,第一距离识别结果和第二距离识别结果中包括远离事件且不包括接近事件。
在一些实施例中,至少一个速度识别结果包括第三速度识别结果;至少一个距离识别结果包括第三距离识别结果;
识别子模块5021,被配置为将第一动态特征量和第二动态特征量输入第五障碍物识别模型中,得到第三速度识别结果;将第二动态特征量和第三动态特征量输入第六障碍物识别模型中,得到第三距离识别结果。
在一些实施例中,第三速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;第三距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;
确定子模块5022,被配置为当第三速度识别结果和第三距离识别结果中包括接近事件且不包括远离事件时,将事件识别结果确定为接近事件;当第三速度识别结果和第三距离识别结果中包括远离事件且不包括接近事件时,将事件识别结果确定为远离事件;当第三速度识别结果和第三距离识别结果中包括接近事件和远离事件,或者,速度识别结果和第三距离识别结果均为不确定事件时,将事件识别结果确定为不确定事件。
在一些实施例中,识别子模块5021,被配置为将第一动态特征量、第二动态特征量和第三动态特征量输入第七障碍物识别模型中,得到事件识别结果;
其中,第七障碍物识别模型是采集历史第一动态特征量、历史第二动态特征量和历史第三动态特征量为样本,对神经网络模型进行训练得到的用于障碍物识别的模型。
在一些实施例中,识别子模块5021,被配置为从第一动态特征量中提取n帧第一速度特征量;从第二动态特征量中提取n帧第二速度特征量和n帧第二距离特征量;从第三动态特征量中提取n帧第一距离特征量;将第i帧的第一速度特征量、第二速度特征量、第一距离特征量和第二距离特征量对应组合,得到n个特征量集合;将n个特征量集合依次输入第六障碍物识别模型中,得到事件识别结果;其中,i、n为正整数,i≤n。
在一些实施例中,第七障碍物识别模型包括:
依次相连的三层全连接神经网络和输出层;
或,
依次相连的双层循环神经网络、一层全连接神经网络和输出层。
综上所述,本实施例提供的识别障碍物的装置,通过动作传感器获取终端的当前时刻的第一动态特征量;通过超声波传感器获取终端的当前时刻的第二动态特征量;根据第一动态特征量和第二动态特征量对障碍物的运动进行综合分析,得到对障碍物的事件识别结果;事件识别结果可以包括接近事件、远离事件和不确定事件中的任意一种,通过上述装置识别出障碍物在朝着终端的方向上正在接近、远离、还是不确定。该装置通过动作传感器与超声波传感器共同实现障碍物的识别,能够对仅通过声波频率来识别障碍物时产生的偏差进行校正,解决了超声波传感器通过声波频率的增减来判断障碍物与终端之间的距离变化时,声波受到噪声的影响使判断结果出现偏差的问题,使终端对障碍物的识别更加准确。
图16是本公开另一个示例性的实施例提供的识别障碍物的装置的框图。例如,装置600可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图16,装置600可以包括以下一个或多个组件:处理组件602,存储器604,电源组件606,多媒体组件608,音频组件610,输入/输出(I/O)接口612,传感器组件614,通信组件616以及触摸屏618。
处理组件602通常控制装置600的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器618来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件602可以包括一个或多个模块,便于处理组件602和其他组件之间的交互。例如,处理组件602可以包括多媒体模块,以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在装置600的操作。这些数据的示例包括用于在装置600上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件606为装置600的各种组件提供电力。电源组件606可以包括电源管理系统,一个或多个电源,及其他与为装置600生成、管理和分配电力相关联的组件。
多媒体组件608包括在装置600和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件608包括一个前置摄像头和/或后置摄像头。当装置600处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如,音频组件610包括一个麦克风(MIC),当装置600处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中,音频组件610还包括一个扬声器,用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器,用于为装置600提供各个方面的状态评估。例如,传感器组件614可以检测到装置600的打开/关闭状态,组件的相对定位,例如组件为装置600的显示器和小键盘,传感器组件614还可以检测装置600或装置600一个组件的位置改变,用户与装置600接触的存在或不存在,装置600方位或加速/减速和装置600的温度变化。传感器组件614可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件614还可以包括姿势传感器,重力加速度传感器,陀螺仪传感器,磁传感器,远红外线传感器,压力传感器或温度传感器。
通信组件616被配置为便于装置600和其他设备之间有线或无线方式的通信。装置600可以接入基于通信标准的无线网络,如Wi-Fi,2G、3G或4G,或它们的组合。在一个示例性实施例中,通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。
触摸屏618被配置为接收屏幕上触发的控制指令,并上报至处理器,由处理器执行上述控制指令。可选地,触摸屏618可以包括电阻触控屏和电容触控屏中的至少一种。
在示例性实施例中,装置600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述识别障碍物的方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器604,上述指令可由装置600的处理器618执行以完成上述识别障碍物的方法。例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (38)
1.一种识别障碍物的终端,其特征在于,所述终端包括动作传感器、超声波传感器和处理器;所述动作传感器、所述超声波传感器分别与所述处理器电性连接;
所述动作传感器,用于采集所述终端的第一动态特征量;
所述超声波传感器,用于采集所述终端的第二动态特征量;
所述处理器,用于将所述第一动态特征量和所述第二动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果;根据所述至少一个速度识别结果和所述至少一个距离识别结果确定出障碍物的事件识别结果,所述事件识别结果为接近事件、远离事件和不确定事件中的任意一种。
2.根据权利要求1所述的终端,其特征在于,
所述处理器,用于将所述第一动态特征量输入第一障碍物识别模型中,得到第一速度识别结果;将所述第二动态特征量输入第二障碍物识别模型中,得到第二速度识别结果和第二距离识别结果。
3.根据权利要求2所述的终端,其特征在于,
所述处理器,用于将前一时刻的事件识别结果确定为第一识别结果;根据所述第一速度识别结果和所述第二速度识别结果分析得到对所述障碍物的第二识别结果;当所述第二识别结果和所述第二距离识别结果符合第一预设条件时,将所述第二识别结果确定为所述事件识别结果;当所述第二识别结果和所述第二距离识别结果不符合所述第一预设条件时,将所述第一识别结果确定为所述事件识别结果。
4.根据权利要求3所述的终端,其特征在于,所述第一速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述处理器,用于当所述第一速度识别结果和所述第二速度识别结果中包括接近事件且不包括远离事件时,将所述第二识别结果确定为接近事件;
所述处理器,用于当所述第一速度识别结果和所述第二速度识别结果中包括远离事件且不包括接近事件时,将所述第二识别结果确定为远离事件;
所述处理器,用于当所述第一速度识别结果和所述第二速度识别结果中包括远离事件和接近事件,或者,所述第一速度识别结果和所述第二速度识别结果均为不确定事件时,将所述第二识别结果确定为不确定事件。
5.根据权利要求3所述的终端,其特征在于,所述第二距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述第一预设条件为当所述第二识别结果为接近事件时,所述第二距离识别结果中包括接近事件且不包括远离事件;当所述第二识别结果为远离事件时,所述第二距离识别结果中包括远离事件且不包括接近事件。
6.根据权利要求1所述的终端,其特征在于,
所述处理器,用于将所述第一动态特征量和所述第二动态特征量输入第三障碍物识别模型中,得到所述事件识别结果;
其中,所述第三障碍物识别模型是采集历史第一动态特征量和历史第二动态特征量为样本,对神经网络模型进行训练得到的用于障碍物识别的模型。
7.根据权利要求6所述的终端,其特征在于,
所述处理器,用于从所述第一动态特征量中提取n帧第一速度特征量;从所述第二动态特征量中提取n帧第二速度特征量和n帧第二距离特征量;将第i帧的所述第一速度特征量、所述第二速度特征量和所述第二距离特征量对应组合,得到n个第一特征量集合;将所述n个第一特征量集合依次输入所述第三障碍物识别模型中,得到所述事件识别结果;其中,i、n为正整数,i<n。
8.根据权利要求6所述的终端,其特征在于,所述第三障碍物识别模型包括:
依次相连的三层全连接神经网络和输出层;
或,
依次相连的双层循环神经网络、一层所述全连接神经网络和所述输出层。
9.根据权利要求1所述的终端,其特征在于,所述终端还包括与所述处理器相连的触摸屏;
所述处理器,还用于通过所述触摸屏获取所述终端的当前时刻的第三动态特征量;将所述第一动态特征量、所述第二动态特征量和所述第三动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果;根据所述至少一个速度识别结果和所述至少一个距离识别结果确定出所述事件识别结果。
10.根据权利要求9所述的终端,其特征在于,所述至少一个速度识别结果包括第一速度识别结果和第二速度识别结果;所述至少一个距离识别结果包括第一距离识别结果和第二距离识别结果;
所述处理器,用于将所述第一动态特征量输入第一障碍物识别模型中,得到所述第一速度识别结果;将所述第二动态特征量输入第二障碍物识别模型中,得到所述第二速度识别结果和所述第二距离识别结果;将所述第三动态特征量输入第四障碍物识别模型中,得到所述第一距离识别结果。
11.根据权利要求10所述的终端,其特征在于,
所述处理器,用于将前一时刻的事件识别结果确定为第一识别结果;根据所述第一速度识别结果和所述第二速度识别结果分析得到对所述障碍物的第二识别结果;当所述第二识别结果、所述第一距离识别结果和所述第二距离识别结果符合第二预设条件时,将所述第二识别结果确定为所述事件识别结果;当所述第二识别结果、所述第一距离识别结果和所述第二距离识别结果不符合所述第二预设条件时,将所述第一识别结果确定为所述事件识别结果。
12.根据权利要求11所述的终端,其特征在于,所述第一速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述处理器,用于当所述第一速度识别结果和所述第二速度识别结果中包括接近事件且不包括远离事件时,将所述第二识别结果确定为接近事件;当所述第一速度识别结果和所述第二速度识别结果中包括远离事件且不包括接近事件时,将所述第二识别结果确定为远离事件;当所述第一速度识别结果和所述第二速度识别结果中包括远离事件和接近事件,或者,所述第一速度识别结果和所述第二速度识别结果均为不确定事件时,将所述第二识别结果确定为不确定事件。
13.根据权利要求11所述的终端,其特征在于,所述第一距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述第二预设条件为当所述第二识别结果为接近事件时,所述第一距离识别结果和所述第二距离识别结果中包括接近事件且不包括远离事件;当所述第二识别结果为远离事件时,所述第一距离识别结果和所述第二距离识别结果中包括远离事件且不包括接近事件。
14.根据权利要求9所述的终端,其特征在于,所述至少一个速度识别结果包括第三速度识别结果;所述至少一个距离识别结果包括第三距离识别结果;
所述处理器,用于将所述第一动态特征量和所述第二动态特征量输入第五障碍物识别模型中,得到所述第三速度识别结果;将所述第二动态特征量和所述第三动态特征量输入第六障碍物识别模型中,得到所述第三距离识别结果。
15.根据权利要求14所述的终端,其特征在于,所述第三速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第三距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述处理器,用于当所述第三速度识别结果和所述第三距离识别结果中包括接近事件且不包括远离事件时,将所述事件识别结果确定为接近事件;当所述第三速度识别结果和所述第三距离识别结果中包括远离事件且不包括接近事件时,将所述事件识别结果确定为远离事件;当所述第三速度识别结果和所述第三距离识别结果中包括接近事件和远离事件,或者,所述第三速度识别结果和所述第三距离识别结果均为不确定事件时,将所述事件识别结果确定为不确定事件。
16.根据权利要求1所述的终端,其特征在于,所述终端还包括与所述处理器相连的触摸屏;
所述处理器,用于通过所述触摸屏获取所述终端的当前时刻的第三动态特征量;将所述第一动态特征量、所述第二动态特征量和所述第三动态特征量输入第七障碍物识别模型中,得到所述事件识别结果;
其中,所述第七障碍物识别模型是采集历史第一动态特征量、历史第二动态特征量和历史第三动态特征量为样本,对神经网络模型进行训练得到的用于障碍物识别的模型。
17.根据权利要求16所述的终端,其特征在于,
所述处理器,用于从所述第一动态特征量中提取n帧第一速度特征量;从所述第二动态特征量中提取n帧第二速度特征量和n帧第二距离特征量;从所述第三动态特征量中提取n帧第一距离特征量;将第i帧的所述第一速度特征量、所述第二速度特征量、所述第一距离特征量和所述第二距离特征量对应组合,得到n个特征量集合;将所述n个特征量集合依次输入所述第七障碍物识别模型中,得到所述事件识别结果;其中,i、n为正整数,i<n。
18.根据权利要求16所述的终端,其特征在于,所述第七障碍物识别模型包括:
依次相连的三层全连接神经网络和输出层;
或,
依次相连的双层循环神经网络、一层所述全连接神经网络和所述输出层。
19.一种识别障碍物的方法,其特征在于,应用于如权利要求1所述的终端中,所述方法包括:
通过动作传感器获取所述终端的当前时刻的第一动态特征量;通过超声波传感器获取所述终端的当前时刻的第二动态特征量;
根据所述第一动态特征量和所述第二动态特征量进行障碍物的运动分析,得到对所述障碍物的事件识别结果,所述事件识别结果为接近事件、远离事件和不确定事件中的任意一种;
其中,所述根据所述第一动态特征量和所述第二动态特征量进行障碍物的运动分析,得到对所述障碍物的事件识别结果,包括:将所述第一动态特征量和所述第二动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果;根据所述至少一个速度识别结果和所述至少一个距离识别结果确定出所述事件识别结果。
20.根据权利要求19所述的方法,其特征在于,所述将所述第一动态特征量和所述第二动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果,包括:
将所述第一动态特征量输入第一障碍物识别模型中,得到第一速度识别结果;
将所述第二动态特征量输入第二障碍物识别模型中,得到第二速度识别结果和第二距离识别结果。
21.根据权利要求20所述的方法,其特征在于,所述至少一个速度识别结果包括第一速度识别结果和第二速度识别结果;所述至少一个距离识别结果包括第二距离识别结果;
所述根据所述至少一个速度识别结果和所述至少一个距离识别结果确定出所述事件识别结果,包括:
将前一时刻的事件识别结果确定为第一识别结果;
根据所述第一速度识别结果和所述第二速度识别结果分析得到对所述障碍物的第二识别结果;
当所述第二识别结果和所述第二距离识别结果符合第一预设条件时,将所述第二识别结果确定为所述事件识别结果;当所述第二识别结果和所述第二距离识别结果不符合所述第一预设条件时,将所述第一识别结果确定为所述事件识别结果。
22.根据权利要求21所述的方法,其特征在于,所述第一速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述根据所述第一速度识别结果和所述第二速度识别结果分析得到对所述障碍物的第二识别结果,包括:
当所述第一速度识别结果和所述第二速度识别结果中包括接近事件且不包括远离事件时,将所述第二识别结果确定为接近事件;
当所述第一速度识别结果和所述第二速度识别结果中包括远离事件且不包括接近事件时,将所述第二识别结果确定为远离事件;
当所述第一速度识别结果和所述第二速度识别结果中包括远离事件和接近事件,或者,所述第一速度识别结果和所述第二速度识别结果均为不确定事件时,将所述第二识别结果确定为不确定事件。
23.根据权利要求21所述的方法,其特征在于,所述第二距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述第一预设条件为当所述第二识别结果为接近事件时,所述第二距离识别结果为接近事件;当所述第二识别结果为远离事件时,所述第二距离识别结果为远离事件。
24.根据权利要求19所述的方法,其特征在于,所述根据所述第一动态特征量和所述第二动态特征量进行障碍物的运动分析,得到对所述障碍物的事件识别结果,包括:
将所述第一动态特征量和所述第二动态特征量输入第三障碍物识别模型中,得到所述事件识别结果;
其中,所述第三障碍物识别模型是采集历史第一动态特征量和历史第二动态特征量为样本,对神经网络模型进行训练得到的用于障碍物识别的模型。
25.根据权利要求24所述的方法,其特征在于,所述将所述第一动态特征量和所述第二动态特征量输入第三障碍物识别模型中,得到所述事件识别结果,包括:
从所述第一动态特征量中提取n帧第一速度特征量;
从所述第二动态特征量中提取n帧第二速度特征量和n帧第二距离特征量;
将第i帧的所述第一速度特征量、所述第二速度特征量和所述第二距离特征量对应组合,得到n个第一特征量集合;
将所述n个第一特征量集合依次输入所述第三障碍物识别模型中,得到所述事件识别结果;其中,i、n为正整数,i<n。
26.根据权利要求25所述的方法,其特征在于,所述第三障碍物识别模型包括:
依次相连的三层全连接神经网络和输出层;
或,
依次相连的双层循环神经网络、一层所述全连接神经网络和所述输出层。
27.根据权利要求19所述的方法,其特征在于,所述终端还包括与所述处理器相连的触摸屏,所述方法还包括:
通过所述触摸屏获取所述终端的当前时刻的第三动态特征量;
所述根据所述第一动态特征量和所述第二动态特征量进行障碍物的运动分析,得到对所述障碍物的事件识别结果,包括:
将所述第一动态特征量、所述第二动态特征量和所述第三动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果;
根据所述至少一个速度识别结果和所述至少一个距离识别结果确定出所述事件识别结果。
28.根据权利要求27所述的方法,其特征在于,所述至少一个速度识别结果包括第一速度识别结果和第二速度识别结果;所述至少一个距离识别结果包括第一距离识别结果和第二距离识别结果;
所述将所述第一动态特征量、所述第二动态特征量和所述第三动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果,包括:
将所述第一动态特征量输入第一障碍物识别模型中,得到所述第一速度识别结果;
将所述第二动态特征量输入第二障碍物识别模型中,得到所述第二速度识别结果和所述第二距离识别结果;
将所述第三动态特征量输入第四障碍物识别模型中,得到所述第一距离识别结果。
29.根据权利要求28所述的方法,其特征在于,所述根据所述至少一个速度识别结果和所述至少一个距离识别结果确定出所述事件识别结果,包括:
将前一时刻的事件识别结果确定为第一识别结果;
根据所述第一速度识别结果和所述第二速度识别结果分析得到对所述障碍物的第二识别结果;
当所述第二识别结果、所述第一距离识别结果和所述第二距离识别结果符合第二预设条件时,将所述第二识别结果确定为所述事件识别结果;当所述第二识别结果、所述第一距离识别结果和所述第二距离识别结果不符合所述第二预设条件时,将所述第一识别结果确定为所述事件识别结果。
30.根据权利要求29所述的方法,其特征在于,所述第一速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述根据所述第一速度识别结果和所述第二速度识别结果分析得到对所述障碍物的第二识别结果,包括:
当所述第一速度识别结果和所述第二速度识别结果中包括接近事件且不包括远离事件时,将所述第二识别结果确定为接近事件;
当所述第一速度识别结果和所述第二速度识别结果中包括远离事件且不包括接近事件时,将所述第二识别结果确定为远离事件;
当所述第一速度识别结果和所述第二速度识别结果中包括远离事件和接近事件,或者,所述第一速度识别结果和所述第二速度识别结果均为不确定事件时,将所述第二识别结果确定为不确定事件。
31.根据权利要求29所述的方法,其特征在于,所述第一距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第二识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述第二预设条件为当所述第二识别结果为接近事件时,所述第一距离识别结果和所述第二距离识别结果中包括接近事件且不包括远离事件;当所述第二识别结果为远离事件时,所述第一距离识别结果和所述第二距离识别结果中包括远离事件且不包括接近事件。
32.根据权利要求27所述的方法,其特征在于,所述至少一个速度识别结果包括第三速度识别结果;所述至少一个距离识别结果包括第三距离识别结果;
所述将所述第一动态特征量、所述第二动态特征量和所述第三动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果,包括:
将所述第一动态特征量和所述第二动态特征量输入第五障碍物识别模型中,得到所述第三速度识别结果;
将所述第二动态特征量和所述第三动态特征量输入第六障碍物识别模型中,得到所述第三距离识别结果。
33.根据权利要求32所述的方法,其特征在于,所述第三速度识别结果包括接近事件、远离事件和不确定事件中的任意一种;所述第三距离识别结果包括接近事件、远离事件和不确定事件中的任意一种;
所述根据所述至少一个速度识别结果和所述至少一个距离识别结果确定出所述事件识别结果,包括:
当所述第三速度识别结果和所述第三距离识别结果中包括接近事件且不包括远离事件时,将所述事件识别结果确定为接近事件;
当所述第三速度识别结果和所述第三距离识别结果中包括远离事件且不包括接近事件时,将所述事件识别结果确定为远离事件;
当所述第三速度识别结果和所述第三距离识别结果中包括接近事件和远离事件,或者,所述第三速度识别结果和所述第三距离识别结果均为不确定事件时,将所述事件识别结果确定为不确定事件。
34.根据权利要求19所述的方法,其特征在于,所述终端还包括与所述处理器相连的触摸屏;所述方法还包括:
通过所述触摸屏获取所述终端的当前时刻的第三动态特征量;
将所述第一动态特征量、所述第二动态特征量和所述第三动态特征量输入第七障碍物识别模型中,得到所述事件识别结果;
其中,所述第七障碍物识别模型是采集历史第一动态特征量、历史第二动态特征量和历史第三动态特征量为样本,对神经网络模型进行训练得到的用于障碍物识别的模型。
35.根据权利要求34所述的方法,其特征在于,所述将所述第一动态特征量、所述第二动态特征量和所述第三动态特征量输入第七障碍物识别模型中,得到所述事件识别结果,包括:
从所述第一动态特征量中提取n帧第一速度特征量;
从所述第二动态特征量中提取n帧第二速度特征量和n帧第二距离特征量;
从所述第三动态特征量中提取n帧第一距离特征量;
将第i帧的所述第一速度特征量、所述第二速度特征量、所述第一距离特征量和所述第二距离特征量对应组合,得到n个第二特征量集合;
将所述n个第二特征量集合依次输入所述第七障碍物识别模型中,得到所述事件识别结果;其中,i、n为正整数,i<n。
36.根据权利要求35所述的方法,其特征在于,所述第七障碍物识别模型包括:
依次相连的三层全连接神经网络和输出层;
或,
依次相连的双层循环神经网络、一层所述全连接神经网络和所述输出层。
37.一种识别障碍物的装置,其特征在于,所述装置上设置有动作传感器和超声波传感器,所述装置包括:
获取模块,被配置为通过所述动作传感器获取终端的第一动态特征量;通过所述超声波传感器获取所述终端的第二动态特征量;
识别模块,被配置为将所述第一动态特征量和所述第二动态特征量分别输入相应的障碍物识别模型中,得到至少一个速度识别结果和至少一个距离识别结果;根据所述至少一个速度识别结果和所述至少一个距离识别结果确定出障碍物的事件识别结果,所述事件识别结果为接近事件、远离事件和不确定事件中的任意一种。
38.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集被处理器加载并执行以实现如权利要求19至36任一所述的识别障碍物的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910493224.3A CN112055119B (zh) | 2019-06-06 | 2019-06-06 | 识别障碍物的终端、方法、装置及存储介质 |
US16/688,913 US10901554B2 (en) | 2019-06-06 | 2019-11-19 | Terminal, method and device for recognizing obstacle, and storage medium |
EP19217896.0A EP3748475B1 (en) | 2019-06-06 | 2019-12-19 | Terminal, method and device for recognizing obstacle, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910493224.3A CN112055119B (zh) | 2019-06-06 | 2019-06-06 | 识别障碍物的终端、方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112055119A CN112055119A (zh) | 2020-12-08 |
CN112055119B true CN112055119B (zh) | 2021-08-17 |
Family
ID=68965823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910493224.3A Active CN112055119B (zh) | 2019-06-06 | 2019-06-06 | 识别障碍物的终端、方法、装置及存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10901554B2 (zh) |
EP (1) | EP3748475B1 (zh) |
CN (1) | CN112055119B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11908129B2 (en) * | 2019-12-27 | 2024-02-20 | iAlyze, LLC | Impairment analysis systems and related methods |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7414705B2 (en) * | 2005-11-29 | 2008-08-19 | Navisense | Method and system for range measurement |
DE102010029637B4 (de) * | 2010-06-02 | 2023-07-13 | Robert Bosch Gmbh | Verfahren zum Objekt-Tracking in einem Ortungssystem und Ortungssystem |
US9152306B2 (en) * | 2011-03-29 | 2015-10-06 | Intel Corporation | Techniques for touch and non-touch user interaction input |
US8890823B2 (en) | 2012-01-09 | 2014-11-18 | Motorola Mobility Llc | System and method for reducing occurrences of unintended operations in an electronic device |
JP6123133B2 (ja) * | 2013-03-04 | 2017-05-10 | パナソニックIpマネジメント株式会社 | 車両用障害物検知装置および、車両用障害物検知システム |
US20140282224A1 (en) * | 2013-03-15 | 2014-09-18 | Qualcomm Incorporated | Detection of a scrolling gesture |
US10078372B2 (en) * | 2013-05-28 | 2018-09-18 | Blackberry Limited | Performing an action associated with a motion based input |
US9926148B2 (en) * | 2014-06-27 | 2018-03-27 | Rite-Hite Holding Corporation | Pedestrian-vehicle safety systems for loading docks |
EP3279751A4 (en) * | 2015-04-03 | 2018-05-02 | Lucis Technologies Holdings Limited | Environmental control system |
KR20170029320A (ko) * | 2015-09-07 | 2017-03-15 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
US10867398B2 (en) * | 2017-11-21 | 2020-12-15 | Reliance Core Consulting LLC | Methods, systems, apparatuses and devices for facilitating motion analysis in an environment |
CN108427119A (zh) * | 2018-02-11 | 2018-08-21 | 辅易航智能科技(苏州)有限公司 | 基于超声波传感器实现低矮障碍物跟踪检测的方法 |
CN108845324B (zh) * | 2018-06-26 | 2022-09-23 | 北京小米移动软件有限公司 | 障碍物识别方法、装置、设备及存储介质 |
CN109031315B (zh) * | 2018-06-26 | 2022-07-01 | 北京小米移动软件有限公司 | 距离测量方法、装置、设备及存储介质 |
CN109223463A (zh) * | 2018-10-31 | 2019-01-18 | 安徽中科智链信息科技有限公司 | 一种基于tof技术的3d导盲装置及方法 |
CN109709561B (zh) * | 2018-12-29 | 2022-05-27 | 努比亚技术有限公司 | 测距方法、终端和计算机可读存储介质 |
US10973103B2 (en) * | 2019-01-28 | 2021-04-06 | Google Llc | Presence and directional motion detection |
CN109829509B (zh) * | 2019-02-26 | 2022-11-22 | 重庆邮电大学 | 基于融合神经网络的雷达手势识别方法 |
-
2019
- 2019-06-06 CN CN201910493224.3A patent/CN112055119B/zh active Active
- 2019-11-19 US US16/688,913 patent/US10901554B2/en active Active
- 2019-12-19 EP EP19217896.0A patent/EP3748475B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN112055119A (zh) | 2020-12-08 |
US10901554B2 (en) | 2021-01-26 |
EP3748475A1 (en) | 2020-12-09 |
US20200387284A1 (en) | 2020-12-10 |
EP3748475B1 (en) | 2024-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109871896B (zh) | 数据分类方法、装置、电子设备及存储介质 | |
CN111641794B (zh) | 声音信号采集方法和电子设备 | |
CN107992812A (zh) | 一种唇语识别方法及装置 | |
CN103529934A (zh) | 用于处理多个输入的方法和装置 | |
CN110837758B (zh) | 一种关键词输入方法、装置及电子设备 | |
CN111124108B (zh) | 模型训练方法、手势控制方法、装置、介质及电子设备 | |
CN105590094A (zh) | 确定人体数量的方法及装置 | |
CN112115894B (zh) | 手部关键点检测模型的训练方法、装置及电子设备 | |
US20180107869A1 (en) | Method and apparatus for identifying gesture | |
CN111083375B (zh) | 对焦方法及电子设备 | |
CN108595047A (zh) | 触控物识别方法及装置 | |
CN105959587A (zh) | 快门速度获取方法和装置 | |
CN106503682A (zh) | 视频数据中的关键点定位方法及装置 | |
CN112634895A (zh) | 语音交互免唤醒方法和装置 | |
CN106980880A (zh) | 图像匹配的方法及装置 | |
CN113727021A (zh) | 拍摄方法、装置及电子设备 | |
EP3037916B1 (en) | Monitoring | |
CN112055119B (zh) | 识别障碍物的终端、方法、装置及存储介质 | |
CN109284591B (zh) | 人脸解锁方法及装置 | |
US20230386470A1 (en) | Speech instruction recognition method, electronic device, and non-transient computer readable storage medium | |
CN113642551A (zh) | 指甲关键点检测方法、装置、电子设备及存储介质 | |
CN115713616B (zh) | 一种房源空间模型生成方法、装置、终端设备及存储介质 | |
US20230048952A1 (en) | Image registration method and electronic device | |
CN111341307A (zh) | 语音识别方法、装置、电子设备及存储介质 | |
CN116310633A (zh) | 一种关键点检测模型训练方法及关键点检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |