CN115527373A - 乘车工具识别方法及装置 - Google Patents

乘车工具识别方法及装置 Download PDF

Info

Publication number
CN115527373A
CN115527373A CN202210006782.4A CN202210006782A CN115527373A CN 115527373 A CN115527373 A CN 115527373A CN 202210006782 A CN202210006782 A CN 202210006782A CN 115527373 A CN115527373 A CN 115527373A
Authority
CN
China
Prior art keywords
riding
voice
bus
tool
electronic equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210006782.4A
Other languages
English (en)
Other versions
CN115527373B (zh
Inventor
邸皓轩
郭俊龙
李丹洪
张晓武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210006782.4A priority Critical patent/CN115527373B/zh
Priority to EP22888631.3A priority patent/EP4231267B1/en
Priority to PCT/CN2022/139339 priority patent/WO2023130934A1/zh
Priority to US18/037,131 priority patent/US20240348716A1/en
Publication of CN115527373A publication Critical patent/CN115527373A/zh
Application granted granted Critical
Publication of CN115527373B publication Critical patent/CN115527373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • H04W4/027Services making use of location information using location based information parameters using movement velocity, acceleration information
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/015Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/005Traffic control systems for road vehicles including pedestrian guidance indicator
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/123Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/133Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/20Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供一种乘车工具识别方法及装置,方法包括:获取电子设备中的加速度传感器采集的加速度信号和磁力计传感器中采集的磁力计信号中的至少一种信号;基于加速度特征和磁力计特征中的至少一种,对所述乘车工具进行识别,得到乘车分类结果,所述加速度特征根据所述加速度信号获取,所述磁力计特征根据所述磁力计信号获取;获取电子设备中的麦克风采集的语音信号,基于语音信号,提取语音特征;基于语音特征,对乘车过程中的语音播报进行识别,得到语音播报识别结果;基于乘车分类结果和语音播报识别结果,确定乘车工具的类别。

Description

乘车工具识别方法及装置
技术领域
本申请涉及数据处理技术领域,尤其涉及一种乘车工具识别方法及装置。
背景技术
目前,用户可通过走、跑、骑和乘车等方式向目标位置移动,通过用户携带的电子设备识别用户的出行方式。其中电子设备可以获取速度和位置信息,如全球定位系统(Global Positioning System,GPS)信息;电子设备基于速度和位置信息,识别用户的出行方式。用户乘车可以是乘坐地铁、高铁、公交和小型汽车中的至少一种,但是基于速度和位置信息无法对乘车工具类别进行识别。
发明内容
本申请提供了一种乘车工具识别方法及装置,目的在于解决电子设备基于速度和位置信息无法对乘车工具类别进行识别的问题。
为了实现上述目的,本申请提供了以下技术方案:
第一方面,本申请提供一种乘车工具识别方法,方法包括:获取电子设备中的加速度传感器采集的加速度信号和磁力计传感器中采集的磁力计信号中的至少一种信号;基于加速度特征和磁力计特征中的至少一种,对所述乘车工具进行识别,得到乘车分类结果,所述加速度特征根据所述加速度信号获取,所述磁力计特征根据所述磁力计信号获取;获取电子设备中的麦克风采集的语音信号,基于语音信号,提取语音特征;基于语音特征,对乘车过程中的语音播报进行识别,得到语音播报识别结果;基于乘车分类结果和语音播报识别结果,确定乘车工具的类别。
其中加速度特征可以是加速度值,磁力计特征可以是地磁幅度。在本实施例中,电子设备可以融合至少一种传感器信号和语音信号,对乘车工具类别进行识别。例如电子设备可以融合加速度信号、磁力计信号和语音信号,识别乘车工具的类别,以通过多种信号提高准确度。如电子设备可以在识别乘车工具过程中,加入基于语音信号提取到的语音特征,对基于加速度特征和/或磁力计特征难以区分的乘车工具进行辅助,从而可以细化乘车工具的类别,提高准确度以及完善识别功能。例如电子设备可以基于语音特征,确定语音播报识别结果是地铁语音播报、公交语音播报和高铁语音播报中的至少一种,或者确定语音播报识别结果是地铁语音播报还是公交语音播报,在基于加速度特征难以区分高铁和地铁时,基于语音特征来有效区分高铁和地铁;同样的在基于加速度特征和磁力计特征难以区分公交车和小型汽车时,可以基于语音特征识别到公交语音播报,从而有效区分公交车和小型汽车。在电子设备可以识别到乘公交车或地铁时,在公交到站或地铁到站后可以推送公交乘车码,提高乘车码推送的准确度和及时性,提高用户体验。其中地铁语音播报可以是地铁到站播报,公交语音播报可以是公交到站播报;当然地铁语音播报和/或公交语音播报也可以是行驶过程中的语音播报,或者是出站播报。
此外不同类别乘车工具的磁力计特征不同,磁力计特征可以表征地磁幅度波动情况,不同类别乘车工具的地磁幅度波动不同。例如地铁在启停时由于电磁感应,地磁发生大幅度波动;高铁在启停时也会由于电磁感应,使地磁发生波动但是其波动幅度小于地铁时的地磁波动幅度;公交车和小型汽车启停时地磁也会发生波动,但是因为没有电磁感应或电磁感应很弱,使地磁波动幅度小于高铁时的地磁波动幅度,所以将体现地磁幅度波动情况的磁力计特征引入乘车工具类别识别中,可以有效区别乘车工具,提高乘车工具类别识别的准确度。
可选的,基于加速度特征和磁力计特征中的至少一种,对乘车工具进行识别,得到乘车分类结果之前,方法还包括:监测电子设备是否处于乘车状态;如果监测到电子设备处于乘车状态,触发电子设备对乘车工具进行识别,得到乘车分类结果;如果监测到电子设备处于非乘车状态,继续监测电子设备是否处于乘车状态,进一步完善识别功能,且在乘车状态下对乘车工具类别进行识别,省去非乘车状态下对乘车工具类别的识别,降低功耗。
可选的,方法还包括:基于电子设备是否处于乘车状态,控制麦克风的开启和关闭;和/或,基于电子设备的乘车码推送情况,控制麦克风的开启和关闭;和/或,基于电子设备的工作状态,控制麦克风的开启和关闭,使得电子设备可以基于至少一种方式控制麦克风的开启和关闭,这样在乘车工具识别过程中麦克风可以在部分阶段开启,降低因麦克风长时间开启导致的功耗增加问题。例如麦克风在电子设备处于乘车状态时开启,在电子设备处于非乘车状态下,麦克风关闭。因为在电子设备处于非乘车状态下,麦克风关闭不工作,从而可以降低电子设备的功耗。
可选的,基于电子设备是否处于乘车状态,控制麦克风的开启和关闭包括:如果监测到电子设备处于乘车状态,开启麦克风;如果监测到电子设备处于非乘车状态,关闭麦克风。在电子设备处于乘车状态时,如果基于语音特征得到语音播报识别结果,电子设备可以控制麦克风关闭,麦克风的关闭可以维持到一次乘车状态结果且语音播报识别结果可以维持到一次乘车状态结束。一次乘车状态结束可以是用户下车,如电子设备监测到电子设备从乘车状态切换到非乘车状态,进一步降低电子设备的功耗。
可选的,基于电子设备的乘车码推送情况,控制麦克风的开启和关闭包括:如果监测到电子设备开启乘车码推送功能,开启麦克风;如果监测到电子设备完成乘车码推送,关闭麦克风;在关闭麦克风后每间隔第一时间,开启麦克风,或者在关闭麦克风后基于电子设备是否处于乘车状态,控制麦克风的开启和关闭。电子设备完成乘车码推送后,用户可能再次乘车,由此在电子设备处于乘车状态时可以控制麦克风再次开启,以基于语音播报识别结果对再次乘坐的乘车工具进行识别,在提高准确度的同时可以降低电设备的功耗。
可选的,基于电子设备的工作状态,控制麦克风的开启和关闭包括:如果电子设备处于亮屏中,开启麦克风;如果电子设备处于灭屏中,关闭麦克风。在电子设备处于亮屏时,用户使用电子设备的可能性大,并且在乘车过程中用户习惯使用电子设备,因此通过电子设备的工作状态可对麦克风的开启和关闭进行控制。
可选的,监测电子设备是否处于乘车状态包括:获取电子设备中的调制解调处理器在预设时间内采集的基站信号;基于基站信号,检测电子设备在预设时间内经过的小区数;基于电子设备在预设时间内经过的小区数,确定电子设备是否处于乘车状态,实现基于基站信号对乘车状态的监测。若预设时间内经过的小区数大于预设小区数,确定处于乘车状态。一般情况下,用户步行、骑车和跑步时的速度小于乘车时的速度,相对应的在一定时间内,用户步行、骑车和跑步时的移动距离小于乘车时的移动距离。移动距离越大,电子设备发生小区切换的次数可能也越多,意味着电子设备在一定时间内经过的小区数也越多,由此电子设备可以设置一个预设小区数,预设小区数表示在预设时间内可能没有乘车时经过的小区数,通过与预设小区数比对,确定是否处于乘车状态,基于在预设时间内经过的小区数可以有效区分是乘车还是非乘车。
可选的,监测电子设备是否处于乘车状态包括:将加速度特征输入到人工智能乘车状态识别模型中,得到人工智能乘车状态识别模型输出的乘车标识,乘车标识用于指示电子设备处于乘车状态还是非乘车状态,人工智能乘车状态识别模型是基于不同类别乘车工具的历史加速度特征训练得到。在本实施例中,人工智能乘车状态识别模型可基于历史加速度特征进行预先训练得到,例如基于步行、骑车、跑步、乘坐高铁等乘车工具时的历史加速度特征进行区分,以使人工智能乘车状态识别模型可以有效区分乘车状态和非乘车状态。其中乘车标识可以是0和1,0表示处于非乘车状态,1表示处于乘车状态。人工智能乘车状态识别模型可以是一个二分类网络模型,二分类网络模型的输出可以是0和1。人工智能乘车状态识别模型可以基于决策树、支持向量机、逻辑回归和神经网络中的至少一种训练得到。
在本实施例中,电子设备可以基于加速度特征和基站信号,确定是否处于乘车状态。例如基于小区数确定处于乘车状态且人工智能乘车状态识别模型的乘车标识指示处于乘车状态时,确定电子设备处于乘车状态;基于小区数确定处于非乘车状态和/或人工智能乘车状态识别模型的乘车标识指示处于非乘车状态时,确定电子设备处于非乘车状态,从而能够从多方面对乘车状态进行监测,提高准确度。
可选的,基于加速度特征和磁力计特征中的至少一种,对乘车工具进行识别,得到乘车分类结果包括:将加速度特征和磁力计特征中的至少一种输入到人工智能乘车分类模型中,得到人工智能乘车分类模型输出的乘车分类结果,人工智能乘车分类模型是基于不同类别乘车工具的历史加速度特征和历史磁力计特征中的至少一种训练得到,人工智能乘车分类模型输出的乘车分类结果用于指示乘车工具在不同类别下的得分。例如人工智能乘车分类模型可以基于历史磁力计特征训练得到,历史磁力计特征可以表征地磁幅度波动情况,不同类别乘车工具的地磁幅度波动不同,因此基于历史磁力计特征训练的人工智能乘车分类模型可以有效区分乘车工具的类别,当然还可以引入加速度特征,以提高准确度。
人工智能乘车分类模型可以输出在高铁、地铁、公交/小车和未知类型这四个类别下的得分。公交/小车表示乘车工具可能是公交也可能是小型汽车;未知类型表明乘车工具的类型没有识别出或者识别出采用了乘车工具为地铁、高铁、公交车、小型汽车之外的出行方式,例如识别出采用了骑、走和跑中的一种出行方式。例如人工智能乘车分类模型可以是一个四分类网络模型,四分类网络模型可以输出在高铁、地铁、公交/小车和未知类型这四个类别下的得分。当然人工智能乘车分类模型可以是一个三分类网络模型,三分类网络模型可以输出在高铁、地铁和未知类型这三个类别下的得分,或者输出在高铁、地铁、公交/小车这三个类别下的得分。
可选的,基于语音特征,对乘车过程中的语音播报进行识别,得到语音播报识别结果包括:将语音特征输入到人工智能语音类型识别模型中,得到人工智能语音类型识别模型输出的语音播报识别结果,人工智能语音类型识别模型是基于不同类别乘车工具的历史语音特征训练得到,语音播报识别结果用于指示语音特征对应的乘车工具的类别。人工智能语音类型识别模型可以对高铁、地铁和公交至少一种语音播报进行识别,以对乘车工具识别进行辅助。例如人工智能语音类型识别模型可以是一个三分类网络模型,对地铁、公交和未知进行识别。相对应的电子设备可以预先获取地铁到站和公交到站的语音信号,因为不同城市的语音播报可能不同,电子设备可以预先获取不同城市的地铁到站和公交到站的语音信号,使得人工智能语音类型识别模型可以学习到不同城市的语音特性。
在本实施例中,语音特征可以是梅尔频率倒谱系数特征,梅尔频率倒谱系数特征可以体现播报员的声纹特性,在利用历史梅尔频率倒谱系数特征训练人工智能语音类型识别模型时,人工智能语音类型识别模型可以学习到不同播报员的声纹特性,建立语音特征体现的声纹特性与播报员之间的映射关系。语音播报检测模块在将当前提取到的梅尔频率倒谱系数特征输入到人工智能语音类型识别模型后,人工智能语音类型识别模型可以识别到梅尔频率倒谱系数特征体现的声纹特征,基于该声纹特征识别是对应地铁播报员还是对应公交播报员,还是未检测到,通过引入语音信号可以提高地铁和公交车识别的准确度,且能够区分公交车和小型汽车。
可选的,基于语音特征,对乘车过程中的语音播报进行识别,得到语音播报识别结果包括:基于语音信号的播报频率和不同乘车工具的播报频率阈值,对乘车过程中的语音播报进行识别,得到语音播报识别结果,语音播报识别结果用于指示语音信号对应的乘车工具的类别。高铁两站之间的距离较远,在乘坐高铁时语音播报检测模块识别到的播报频率高于小车的播报频率、但低于地铁和公交的播报频率;在乘坐地铁时语音播报检测模块识别到的播报频率高于小车、公交和高铁的播报频率,为此语音播报检测模块可以基于麦克风采集到的语音信号的播报频率识别乘车工具。有些情况下,公交站点之间的距离也较近,语音播报检测模块检测到的播报频率也高;同样的有时地铁站点之间的距离也较远,语音播报检测模块检测到的播报频率也低,使得语音播报检测模块的结果有误,虽然可以对乘车工具进行区分但是准确度较低。
可选的,基于语音特征,对乘车过程中的语音播报进行识别,得到语音播报识别结果包括:基于语音信号中的关键内容和不同乘车工具的预设关键内容,对乘车过程中的语音播报进行识别,得到语音播报识别结果,语音播报识别结果用于指示语音信号对应的乘车工具的类别。例如识别关键内容是否是地铁关键词、高铁关键词和公交关键词,通过这些关键词进行识别,但是提取关键内容是一个相对耗时的过程,在区分乘车工具的同时可能增加耗时。
可选的,基于乘车分类结果和语音播报识别结果,确定乘车工具的类别包括:如果乘车分类结果中高铁得分最大、且高铁得分满足第一阈值条件,确定乘车工具为高铁;如果乘车分类结果中地铁得分最大、且地铁得分满足第二阈值条件,确定乘车工具为地铁;如果地铁得分满足第三阈值条件、且语音播报识别结果为地铁播报语音,确定乘车工具为地铁;如果乘车分类结果中公交/小车得分满足第四阈值条件、且语音播报识别结果为公交播报语音,确定乘车工具为公交;如果乘车分类结果中公交/小车得分最大、且公交/小车得分满足第五阈值条件、且语音播报识别结果不是公交播报语音和地铁播报语音,确定乘车工具为小型汽车。其中第一阈值条件、第二阈值条件、第三阈值条件、第四阈值条件和第五阈值条件可以是单一阈值(即单个值),也可以是一个阈值范围。如果第一阈值条件、第二阈值条件、第三阈值条件、第四阈值条件和第五阈值条件是单一阈值,这些阈值可以相同也可以不同,例如第二阈值条件指定的阈值大于第三阈值条件指定的阈值;如果第一阈值条件、第二阈值条件、第三阈值条件、第四阈值条件和第五阈值条件是阈值范围,每个阈值范围可以至少部分重叠也可以不重叠,至少部分重叠指的是阈值范围中存在相同的取值。
在识别公交车和小型汽车过程中,电子设备可以加入时间限定,一种方式是,如果乘车分类结果中公交/小车得分满足第四阈值条件、且在第一预设时长内检测到公交播报语音,确定乘车工具为公交;如果乘车分类结果中公交/小车得分最大、且公交/小车得分满足第五阈值条件、且在第二预设时长内没有检测到公交播报语音,确定乘车工具为小型汽车,第二预设时长可以大于第一预设时长,即第二预设时长选择一个较长时间,排除公交站点之间的距离大公交车较长时间没有播报语音的情况,提高准确度。
可选的,如果乘车分类结果中高铁得分最大、且高铁得分满足第一阈值条件,确定乘车工具为高铁包括:如果乘车分类结果中高铁得分最大、高铁得分满足第一阈值条件、基站信号中携带高铁标识,确定乘车工具为高铁,基站信号由电子设备中的调制解调处理器采集到。高铁沿线的基站采用高铁专网,其发送的基站信号中携带高铁标识,因此基于基站信号辅助识别高铁,可提高准确度。
可选的,基于加速度特征和磁力计特征中的至少一种,对乘车工具进行识别,得到乘车分类结果包括:基于磁力计特征和不同乘车工具的磁力计阈值,对乘车工具进行识别,得到乘车分类结果。不同类别乘车工具的磁力计特征不同,磁力计特征可以表征地磁幅度波动情况,不同类别乘车工具的地磁幅度波动不同。例如地铁在启停时由于电磁感应,地磁发生大幅度波动;高铁在启停时也会由于电磁感应,使地磁发生波动但是其波动幅度小于地铁时的地磁波动幅度;公交车和小型汽车启停时地磁也会发生波动,但是因为没有电磁感应或电磁感应很弱,使地磁波动幅度小于高铁时的地磁波动幅度,所以电子设备可基于磁力计特征和不同乘车工具的磁力计阈值,有效区别乘车工具,提高识别的准确度。
可选的,基于乘车分类结果和语音播报识别结果,确定乘车工具的类别包括:如果乘车分类结果为高铁,确定乘车工具为高铁;如果乘车分类结果为地铁、且语音播报识别结果为地铁播报语音,确定乘车工具为地铁;如果乘车分类结果为公交或小车、且语音播报识别结果为公交播报语音,确定乘车工具为公交;如果乘车分类结果为公交或小车、且语音播报识别结果不是公交播报语音和地铁播报语音,确定乘车工具为小型汽车。在乘车分类结果难以区分公交和小车时,引入语音播报识别结果,可以对公交和小型汽车进行区分,提高准确度和细化类别。
可选的,基于乘车分类结果和语音播报识别结果,确定乘车工具的类别包括:如果基站信号中携带高铁标识,确定乘车工具为高铁,基站信号由电子设备中的调制解调处理器采集到。高铁沿线的基站采用高铁专网,其发送的基站信号中携带高铁标识,因此基于基站信号辅助识别高铁,可提高准确度。
第二方面,本申请提供一种电子设备,电子设备可以包括:一个或多个处理器、存储器;其中,存储器用于存储一个或多个计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,电子设备执行上述乘车工具识别方法。
第三方面,本申请提供一种计算机可读存储介质,计算机可读存储介质中包括指令,当指令在电子设备上运行时,使得电子设备执行上述乘车工具识别方法。
附图说明
图1为本申请提供的地铁出行场景的示意图;
图2为本申请提供的电子设备的硬件结构图;
图3为本申请提供的电子设备的软硬件架构图;
图4为本申请实施例一提供的乘车工具识别方法的时序图;
图5为本申请提供的一种乘车工具识别方法的示意图;
图6为本申请提供的一种乘车状态检测的示意图;
图7为本申请提供的一种得到乘车分类得分的示意图;
图8为本申请提供的一种语音播报检测的示意图;
图9为本申请提供的一种乘车工具识别的示意图;
图10为本申请实施例二提供的乘车工具识别方法的示意图;
图11为本申请实施例三提供的乘车工具识别方法的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请实施例中,“一个或多个”是指一个、两个或两个以上;“和/或”,描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本申请实施例涉及的多个,是指大于或等于两个。需要说明的是,在本申请实施例的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
在本实施例中,乘车工具可以包括:地铁、高铁、公交车和小型汽车等,用户可选择一种乘车工具出行,如用户可以选择地铁出行,用户到站后可以刷乘车码出站;由此电子设备可以开启到站乘车码推送功能,在识别出用户乘坐地铁时且监测到到站后,推送地铁乘车码,到站是指到达目的站点。
如图1所示地铁出行场景中,用户在地铁出行之前可以打开到站乘车码推送功能,如用户打开电子设备的设置界面,从设置界面中找到“到站乘车码推送”设置选项,将“到站乘车码推送”设置选项开启,电子设备开启了到站乘车码推送功能。在用户出行过程中,电子设备可以对用户的出行方式进行识别,进一步的可以对是否乘坐地铁进行识别;电子设备在识别到乘坐地铁出行,则可以在监测到站后推送地铁乘车码。
在一种示例中,电子设备可以获取速度和位置信息,基于速度和位置信息,识别用户的出行方式,进一步的还可以基于速度和位置信息,识别乘车工具类别是地铁还是非地铁。例如乘车工具类别是地铁时,位置信息是与地铁站点相关的位置信息,地铁的速度与其他乘车工具的速度不同,由此电子设备可以基于速度与地铁的速度匹配、位置信息是与地铁站点相关的位置信息,识别乘车工具类别是地铁。电子设备在识别到乘车工具类别是地铁时,可以对是否到站进行监测,如果监测到站可以推送地铁乘车码。其中地铁的速度可以包括:加速度、减速度和地铁处于平稳状态时的速度,处于平稳状态是指地铁处于匀速或接近匀速的状态。
但是电子设备基于速度和位置信息可以识别单一的乘地铁场景,没有识别出高铁、公交车和小型汽车等场景,即识别功能单一,没有做到对地铁、高铁、公交车和小型汽车这些乘车工具的识别。并且公交车可以使用公交乘车码,因为没有识别到乘公交车,那么在公交到站后不能推送公交乘车码。
针对上述问题,本申请提供一种乘车工具识别方法,基于加速度信号、基站信号和磁力计信号,识别出乘车工具为地铁、高铁、公交车&小型汽车(&表示公交车和小型汽车没有区分开)和未知类型,其中未知类型表明乘车工具的类型没有识别出或者识别出采用了乘车工具为地铁、高铁、公交车、小型汽车之外的出行方式,例如识别出采用了骑、走和跑中的一种出行方式;基于乘车过程中(如车辆到站播放)的语音信号识别地铁和公交车,由此基于加速度信号、基站信号、磁力计信号和语音信号,识别出地铁、高铁、公交车、小型汽车和未知类型,识别功能完善,在用户乘车出行时能够对乘车工具类别的识别,例如对地铁、高铁、公交车和小型汽车的识别。并且电子设备可以识别到乘公交车,在公交到站后可以推送公交乘车码,提高乘车码推送的准确度和及时性,提高用户体验。
进一步的,乘车工具识别方法还可以对乘车状态进行检测,在检测到处于乘车状态下,基于加速度信号、基站信号、磁力计信号和语音信号,对乘车工具类别进行识别;在检测到处于非乘车状态下,可以继续对乘车状态进行检测;进一步完善识别功能,且在乘车状态下对乘车工具类别进行识别,省去非乘车状态下对乘车工具类别的识别,降低功耗。一种示例中,基于加速度信号和基站信号,对乘车状态进行检测。
在本实施例中,乘车工具识别方法可以应用到电子设备中,在一些实施例中,该电子设备可以是手机、平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(Ultra-mobile Personal Computer,UMPC)、手持计算机、上网本、个人数字助理(PersonalDigital Assistant,PDA)、可穿戴电子设备、智能手表等设备。本申请对电子设备的具体形式不做特殊限定。
如图2所示,该电子设备可以包括:处理器,外部存储器接口,内部存储器,通用串行总线(universal serial bus,USB)接口,充电管理模块,电源管理模块,电池,天线1,天线2,移动通信模块,无线通信模块,传感器模块,按键,马达,指示器,摄像头,显示屏,以及用户标识模块(subscriber identification module,SIM)卡接口等。其中音频模块可以包括扬声器,受话器,麦克风,耳机接口等,传感器模块可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器,磁力计传感器等。
可以理解的是,本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器可以包括一个或多个处理单元,例如:处理器可以包括应用处理器(Application Processor,AP),调制解调处理器,图形处理器(Graphics ProcessingUnit,GPU),图像信号处理器(Image Signal Processor,ISP),控制器,视频编解码器,数字信号处理器(Digital Signal Processor,DSP),基带处理器,和/或神经网络处理器(Neural-network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。处理器是电子设备的神经中枢和指挥中心,控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
显示屏用于显示图像,视频、一系列图形用户界面(Graphical User Interface,GUI)等,如显示设置界面、地铁乘车码、公交乘车码等。
外部存储器接口可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口与处理器通信,实现数据存储功能。例如将网络的配置信息等文件保存在外部存储卡中。内部存储器可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器通过运行存储在内部存储器的指令,从而执行电子设备的各种功能应用以及数据处理。例如,在本申请中,处理器通过运行内部存储器中存储的指令,使得电子设备执行本申请提供的乘车工具识别方法。
天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。移动通信模块可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案,移动通信模块可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块的至少部分功能模块可以被设置于处理器中。在一些实施例中,移动通信模块的至少部分功能模块可以与处理器的至少部分模块被设置在同一个器件中。如调制解调处理器可以设置在移动通信模块中,通过调制解调处理器采集基站信号。
加速度传感器可采集到加速度信号,加速度信号表示电子设备在各个方向上(一般为三轴)加速度的大小,磁力计传感器可采集到磁力计信号,磁力计信号表示电子设备所在地磁场的磁场强度,通过不同时间采集到的磁力计信号,可得到地磁波动幅度。
另外,在上述部件之上,运行有操作系统。例如苹果公司所开发的iOS操作系统,谷歌公司所开发的Android开源操作系统,微软公司所开发的Windows操作系统等。在该操作系统上可以安装运行应用程序。
电子设备的操作系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备的软件结构。图3是电子设备的软硬件结构框图。软件结构采用分层架构,分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。以Android系统为例,在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层(Framework),硬件抽象层(HAL)以及系统内核层(Kernel)。
其中,应用程序层可以包括一系列应用程序包。如图3所示,应用程序包可以包括到站提醒APP,应用程序层还可以包括:乘车检测模块、乘车工具分类模块、语音播报检测模块和乘车工具识别模块。乘车检测模块用于检测乘车状态;乘车工具分类模块用于识别地铁、高铁、公交车&小型汽车(&表示公交车和小型汽车没有区分开)和未知类型;语音播报检测模块用于识别地铁和公交车;乘车工具识别模块,用于识别地铁、高铁、公交车、小型汽车和未知类型。乘车检测模块、乘车工具分类模块、语音播报检测模块和乘车工具识别模块也可以设置在内核层,这些模块占用内核层的内存,可能降低电子设备的响应速度。乘车检测模块、乘车工具分类模块、语音播报检测模块和乘车工具识别模块也可以设置在应用程序框架层。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图3所示,应用程序框架层可以包括传感器服务模块、音频服务模块和基站信号服务模块。
硬件抽象层可以包括多个功能模块。例如:传感器管理模块(sensor HAL)、音频管理模块和基站信号管理模块等。内核层是硬件和软件之间的层。内核层至少包含基站信号驱动、音频驱动和传感器驱动。
调制解调处理器获取基站信号,基站信号依次通过基站信号驱动、基站信号管理模块和基站信号服务模块传输给乘车检测模块和乘车工具识别模块。麦克风获取语音信号,语音信号依次通过音频驱动、音频管理模块和音频服务模块传输给语音播报检测模块。加速度传感器获取加速度信号,加速度信号依次通过传感器驱动、传感器管理模块和传感器服务模块传输给乘车检测模块和乘车工具分类模块。磁力计传感器获取磁力计信号,磁力计信号依次通过传感器驱动、传感器管理模块和传感器服务模块传输给乘车工具分类模块。
在本实施例中,乘车检测模块、乘车工具分类模块、语音播报检测模块和乘车工具识别模块可以封装成APP,被应用程序层中的其他APP调用,乘车检测模块、乘车工具分类模块、语音播报检测模块和乘车工具识别模块在桌面中设置为不可见状态。例如应用程序层中的到站提醒可以调用乘车检测模块、乘车工具分类模块、语音播报检测模块和乘车工具识别模块。乘车检测模块获取加速度信号和基站信号,基于加速度信号和基站信号,识别是否处于乘车状态。
乘车检测模块的监测结果被乘车工具分类模块获取,在监测结果为乘车状态时,乘车工具分类模块可以获取加速度信号和磁力计信号,基于加速度信号和磁力计信号,得到不同乘车工具的得分,不同乘车工具的得分可以包括:地铁得分(指示乘车工具为地铁的得分)、高铁得分(指示乘车工具为高铁的得分)、公交车&小型汽车得分(&表示公交车和小型汽车没有区分开,指示乘车工具为公交车&小型汽车的得分)和未知类型得分(指示没有确定乘车工具类型的得分)。
语音播报检测模块可以获取到语音信号,基于语音信号检测是否存在语音播报,如果存在语音播报确定是地铁语音播报还是公交语音播报,如果不存在语音播报确定属于未检测到。乘车工具分类模块和语音播报检测模块的识别结果发送给乘车工具识别模块,由乘车工具识别模块基于乘车工具分类模型和语音播报检测模块的识别结果,识别出乘车工具为地铁、高铁、公交车、小型汽车和未知类型。
下面将对应用在上述软件以及硬件框架的乘车工具识别方法进行详细说明。
实施例一
乘车工具识别方法可以融合多种传感器信号、基站信号和语音信号,并利用多个与乘车识别相关的模块进行乘车工具识别。其中多种传感器信号包括加速度信号和磁力计信号,加速度信号可通过加速度传感器采集,磁力计信号可通过磁力计传感器采集,基站信号可通过调制解调处理器采集,语音信号可通过麦克风采集。再由乘车检测模块、乘车工具分类模块、语音播报检测模块和乘车工具识别模块进行乘车工具识别,其过程可参见图4所示,可以包括以下步骤:
S101、乘车检测模块对加速度信号进行特征提取,得到加速度特征。其中加速度特征可以是加速度值,可以是加速度信号的x、y、z三个轴的100HZ(赫兹)采样值中提取出来的多维数据,比如三个轴的均值,峰值,傅里叶变换等多个维度的数据。
S102、乘车检测模块将加速度特征作为人工智能(Artificial Intelligence,AI)乘车状态识别模型的输入,得到AI乘车状态识别模型的输出结果,AI乘车状态识别模型的输出结果可以指示出是否处于乘车状态。一种示例中,AI乘车状态识别模型的输出结果可以是一个是否处于乘车状态的标志,例如AI乘车状态识别模型可以输出0和1中的一个,0表示没有处于乘车状态,1表示处于乘车状态。例如AI乘车状态识别模型可以是一个二分类网络模型,二分类网络模型的输出结果可以是0和1中的一个,0表示没有处于乘车状态,1表示处于乘车状态。
AI乘车状态识别模型可以设置在乘车检测模块中也可以独立于乘车检测模块,在进行乘车状态识别过程中,乘车检测模块可以调用AI乘车状态识别模型。AI乘车状态识别模型可以由电子设备训练得到,或者由其他电子设备训练得到,其他电子设备训练得到后提供给一个电子设备的乘车检测模块使用。AI乘车状态识别模型可以基于决策树、支持向量机(Support Vector Machine,SVM)、逻辑回归和神经网络中的至少一种训练得到。电子设备在训练AI乘车状态识别模型过程中,电子设备可以从历史乘车时的加速度信号中提取历史加速度特征,基于历史加速度特征训练AI乘车状态识别模型。
例如电子设备可以从历史乘车时的加速度信号中提取历史加速度值,基于历史加速度值和自适应增强(Adaptive Boost,AdaBoost)算法,训练出AI乘车状态识别模型。AI乘车状态识别模型可以学习到乘车状态下的加速度变化情况,从而得到乘车状态和加速度变化情况之间的映射关系。历史乘车时的加速度信号可以包括:乘地铁、高铁、公交车和小型汽车时的加速度信号,考虑不同乘车工具下加速度变化情况之间的差异,以提高AI乘车状态识别模型的准确度。
在训练出AI乘车状态识别模型后,乘车检测模块可以调用训练出的AI乘车状态识别模型,将其提取到的加速度特征输入到AI乘车状态识别模型中,AI乘车状态识别模型基于学习到的乘车状态下的加速度变化情况和当前输入的加速度特征反映的加速度变化情况,对乘车状态进行识别,输出可以指示是否处于乘车状态的标志。
电子设备还可以从历史没有乘车时的加速度信号中提取历史加速度特征,基于历史乘车时的加速度特征和历史没有乘车时的加速度特征,训练AI乘车状态识别模型。其中没有乘车时的加速度信号可以是用户步行、骑车和跑步时的加速度信号,从而引入更多场景下的加速度变化情况,以提高AI乘车状态识别模型的准确度。没有乘车时的加速度信号可通过如下方式得到:
一种方式是,通过用户佩戴的可穿戴设备采集到;另一种方式是,将用户随身携带的手机等设备的加速度信号视为用户的加速度信号;再一种方式是,由电子设备模拟得到,如参照乘车时的加速度信号进行模拟,得到与乘车时的加速度信号有差异的加速度信号,有差异的加速度信号作为没有乘车时的加速度信号使用。
S103、乘车检测模块基于基站信号,检测在预设时间内经过的小区数。
基站信号中携带有小区标识,不同小区的小区标识不同,那么电子设备从一个小区切换到另一个小区中,基站信号中携带的小区标识发生变化,通过小区标识变化可确定电子设备从一个小区切换到另一个小区,电子设备经过两个小区,由此乘车检测模块可以在预设时间内,检测小区标识的变化次数,根据小区标识的变化次数,得到在预设时间内经过的小区数。
例如在预设时间内,小区标识从小区1变为小区2,再从小区2变为小区3,小区标识变化两次,经过三个小区,由此乘车检测模块检测到小区标识的变化次数为N,经过的小区数为(N+1)。
在本实施例中,步骤S101-S102和步骤S103可以并行执行,也可以先执行步骤S103、再执行步骤S101-S102,本实施例不对步骤S101-S102和步骤S103的先后顺序进行限定。
S104、乘车检测模块在基于小区数确定处于乘车状态且AI乘车状态识别模型的输出结果指示处于乘车状态时,乘车检测模块指示乘车工具分类模块和语音播报检测模块进行乘车工具识别。
若预设时间内经过的小区数大于预设小区数,乘车检测模块确定处于乘车状态。一般情况下,用户步行、骑车和跑步时的速度小于乘车时的速度,相对应的在一定时间内,用户步行、骑车和跑步时的移动距离小于乘车时的移动距离。移动距离越大,电子设备发生小区切换的次数可能也越多,意味着电子设备在一定时间内经过的小区数也越多,由此乘车检测模块可以设置一个预设小区数,预设小区数表示在预设时间内可能没有乘车时经过的小区数,通过与预设小区数比对,确定是否处于乘车状态。
一种示例中,乘车检测模块可以统计在预设时间内没有处于乘车状态时经过的小区数,基于在预设时间内没有处于乘车状态时经过的小区数,得到预设小区数。例如乘车检测模块可以统计用户步行、骑车和跑步时在预设时间内经过的小区数,将统计出的小区数中的最大小区数最为预设小区数,或者基于统计出的所有小区数中的至少部分得到预设小区数,其中至少部分可以是取值为中间的小区数,排除最小小区数和最大小区数等极端情况。
另一种示例中,乘车检测模块可以统计在预设时间内处于乘车状态时经过的小区数,基于在预设时间内处于乘车状态时经过的小区数,得到预设小区数。例如乘车检测模块可以统计乘地铁、公交和小型汽车等时,在预设时间内经过的小区数,将统计出的小区数中的最小小区数最为预设小区数,或者基于统计出的所有小区数中的至少部分得到预设小区数,具体不在阐述。
在本实施例中,乘车检测模块可以由用户手动触发来确定预设小区数,如在用户步行、骑车和跑步时,用户开启乘车检测模块,乘车检测模块可以对经过的小区数进行统计,以得到预设小区数。此外预设时间可以是一用来识别乘车状态的时间参数,为了能够对步行、骑车、跑步和乘车等场景的区分,预设时间可以设置一个较短取值,但是为了提高准确度,预设时间的取值不可以太小,如预设时间的取值范围可以是[3分钟,5分钟],从[3分钟,5分钟]中选择一个时间点,本实施例对预设时间的取值不进行限定。
乘车检测模块的输出可作为接口使用,乘车工具分类模块和语音播报检测模块可调用该接口,得到乘车检测模块的监测结果;在监测结果为处于乘车状态时,乘车工具分类模块和语音播报检测模块可以对乘车工具进行识别分类处理,以识别到乘车工具的类别。
乘车检测模块在基于小区数确定没有处于乘车状态和/或AI乘车状态识别模型的输出结果指示没有处于乘车状态时,乘车检测模块继续获取加速度信号和基站信号。
S105、乘车工具分类模块对加速度信号和磁力计信号进行特征提取,得到加速度特征和磁力计特征。其中磁力计特征可以是地磁幅度,也可以是磁力计信号中提取的多个维度的数据,比如均值,峰值,傅里叶变换等维度。
S106、乘车工具分类模块将加速度特征和磁力计特征作为AI乘车分类模型的输入,得到AI乘车分类模型的输出结果,AI乘车分类模型的输出结果是乘车工具为地铁、高铁、公交车&小型汽车、未知四种类别的得分,简称为乘车分类得分,乘车分类得分记为P(地铁)、P(高铁)、P(公交/小车)和P(未知)。例如AI乘车分类模型可以是一个四分类网络模型,四分类网络模型可以输出乘车分类得分。
AI乘车分类模型可以设置在乘车工具分类模块中也可以独立于乘车工具分类模块,在进行乘车工具识别过程中,乘车工具分类模块可以调用AI乘车分类模型。AI乘车分类模型可以由电子设备训练得到,或者由其他电子设备训练得到,其他电子设备训练得到后提供给一个电子设备的乘车工具分类模块使用。AI乘车分类模型可以基于决策树、SVM、逻辑回归和神经网络中的至少一种训练得到。
在训练AI乘车分类模型过程中,电子设备可以从历史乘车时的加速度信号中提取历史加速度特征、从历史乘车时的磁力计信号中提取历史磁力计特征,历史加速度特征可以反映乘车过程的加速度变化情况,历史磁力计特征可以反映乘车过程中的地磁波动变化情况,历史乘车包括乘地铁、高铁、公交车和小型汽车,以获取到不同乘车工具的历史加速度特征和历史磁力计特征,基于历史加速度特征和历史磁力计特征,训练AI乘车分类模型。
例如历史加速度特征可以是历史加速度值、历史磁力计特征可以是历史地磁幅度,电子设备可以基于历史加速度值、历史地磁幅度和AdaBoost算法,训练出AI乘车分类模型。AI乘车分类模型可以学习到不同乘车工具下的加速度变化情况和地磁波动变化情况,如AI乘车分类模型可以建立不同乘车工具与加速度变化情况和地磁波动变化情况之间的关系。
在训练出AI乘车分类模型后,乘车工具分类模块调用训练出的AI乘车分类模型,将当前提取到的加速度特征和磁力计特征输入到AI乘车分类模型中。AI乘车分类模型可以基于学习到的不同乘车工具下的加速度变化情况和地磁波动变化情况、当前提取到的加速度特征反映出的加速度变化情况和磁力计特征反映出的地磁波动变化情况,输出不同乘车工具类别下的得分,即AI乘车分类模型可以输出P(地铁)、P(高铁)、P(公交/小车)和P(未知)这四个分值。P(地铁)、P(高铁)、P(公交/小车)和P(未知)可以是一个概率值,如P(地铁)表示乘车工具为地铁的概率。
此外,电子设备还可以从历史没有乘车时的加速度信号和磁力计信号中,提取到没有乘车时的历史加速度特征和历史磁力计特征,基于乘车时的历史加速度特征和历史磁力计特征、没有乘车时的历史加速度特征和历史磁力计特征,训练AI乘车分类模型,考虑不同场景下加速度变化情况和地磁波动变化情况之间的差异,以提高AI乘车分类模型的准确度。
在本实施例中,乘车工具分类模块可以引入磁力计特征,通过磁力计特征可以提升对不同类别的乘车工具的分辨。这是因为:地铁在启停时由于电磁感应,地磁发生大幅度波动;高铁在启停时也会由于电磁感应,使地磁发生波动但是其波动幅度小于地铁时的地磁波动幅度;公交车和小型汽车启停时地磁也会发生波动,但是因为没有电磁感应或电磁感应很弱,使地磁波动幅度小于高铁时的地磁波动幅度,所以将体现地磁波动变化情况的磁力计特征引入乘车工具类别识别中,可以有效区别乘车工具,提高乘车工具类别识别的准确度。
S107、语音播报检测模块对语音信号进行预处理,对语音信号进行预处理的目的是为了消除噪声对语音信号的影响,且确定语音信号不是噪声信号。如果确定语音信号是噪声信号,语音播报检测模块可以继续获取语音信号。例如语音播报检测模块对语音信号进行语音检测,检测电子设备所处环境中存在声音且声音不是噪声。
其中语音信号可以由电子设备的麦克风采集,麦克风采集到的语音信号发送给语音播报检测模块进行识别处理。但是如果电子设备持续开启麦克风可能造成资源浪费和功耗提升,为此电子设备可对麦克风的工作状态进行控制。
一种控制方式是,如果乘车检测模块检测到处于乘车状态,控制麦克风开启;如果乘车检测模块检测到处于非乘车状态或者从乘车状态变为非乘车状态,控制麦克风关闭。从麦克风开启至麦克风关闭的时段内,麦克风可以间歇性地或周期性地采集语音信号。
另一种控制方式是,电子设备开启到站乘车码推送功能后,控制麦克风开启;电子设备在完成乘车码推送后,控制麦克风关闭。在完成一次乘车码推送并控制麦克风关闭后,电子设备可以基于一定规则控制麦克风再次开启。例如电子设备可以间隔一段时间控制麦克风再次开启;又例如电子设备可以获取位置信息,如果位置信息指示存在乘车的可能性(如在交通沿线),电子设备控制麦克风再次开启。
在本实施例中,电子设备可以结合到站乘车码推送功能和乘车工具类别识别使用的各模块,对麦克风进行控制。例如到站乘车码推送功能和乘车检测模块相结合,电子设备开启到站乘车码推送功能后,控制麦克风开启;如果乘车检测模块检测到处于非乘车状态,控制麦克风关闭。又例如电子设备开启到站乘车码推送功能后,控制麦克风开启;在麦克风开启的一段时间内,乘车检测模块检测到在该段时间内处于非乘车状态,电子设备可以关闭麦克风;在乘车检测模块检测到处于乘车状态后,电子设备可以开启麦克风。当然电子设备还可以在检测到推送的乘车码使用后,关闭麦克风。
另一种控制方式是,如果乘车检测模块检测到处于乘车状态,控制麦克风开启;语音播报检测模块完成识别处理后,控制麦克风关闭。可以理解地,语音播报检测模块识别出的结果可以维持到一次乘车状态结束,在语音播报检测模块识别出结果后控制麦克风关闭,且麦克风的关闭维持到一次乘车状态结束。比如乘车检测模块检测到处于乘车状态,语音播报检测模块检测语音识别出公交车后,语音播报检测模块的语音播报识别结果为公交车,语音播报识别结果可以记录在相应的存储器中,直到乘车检测模块检测到处于非乘车状态时(比如用户下车),将该存储器中的语音播报识别结果公交车清除。在语音播报检测模块识别到公交车后麦克风关闭,从语音播报检测模块识别到公交车至乘车检测模块识别到处于非乘车状态的时间内,麦克风处于关闭状态下。乘车检测模块再一次检测到乘车状态时,麦克风开启,语音播报检测模块再进行语音识别。
可以理解地,在一次乘车过程中,语音播放检测模块可以控制麦克风开启,多次采集语音信号,从而进行多次语音识别,为此电子设备中的存储器中可以保存语音播放检测模块的语音播报识别结果,每次检测到的语音播报识别结果将替换之前的语音播报识别结果存在存储器中,一次乘车结束,则清除存储器中的语音播报识别结果。例如在一次乘车过程中,语音播报检测模块可以间歇性地或周期性地控制麦克风开启。
此外,电子设备还可以根据电子设备的工作状态控制麦克风,如电子设备亮屏时控制麦克风开启,电子设备灭屏时控制麦克风关闭;又例如电子设备锁屏时控制麦克风关闭,电子设备解锁后控制麦克风开启。根据电子设备的工作状态的控制可与上述方式相结合,本实施例不再详述。
S108、语音播报检测模块对预处理后的语音信号进行特征提取,得到梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients,MFCC)特征。
S109、语音播报检测模块将MFCC特征作为AI语音类型识别模型的输入,得到AI语音类型识别模型的输出结果,AI语音类型识别模型的输出结果可以是语音播报识别结果,语音播报识别结果是地铁语音播报、公交语音播报和未检测到中的一种类别。
地铁和公交在行驶过程中可以进行语音播报,语音播报可以是预先录制的一段人声,人声可以是真实人物的声音也可以是虚拟人物的声音,也就是说语音播报可以对应一个地铁播报员或公交播报员,语音播放过程中的MFCC特征可以体现播报员的声纹特性。基于这点,本实施例中的AI语音类型识别模型可以学习到不同播报员的声纹特性,以建立语音特征体现的声纹特性与播报员之间的映射关系。语音播报检测模块在将当前提取到的MFCC特征输入到AI语音类型识别模型后,AI语音类型识别模型可以识别到MFCC特征体现的声纹特征,基于该声纹特征识别是对应地铁播报员还是对应公交播报员,还是未检测到,通过引入语音信号可以提高地铁和公交车识别的准确度,且能够区分公交车和小型汽车。
AI语音类型识别模型可以设置在语音播报检测模块中也可以独立于语音播报检测模块,在进行乘车工具识别过程中,语音播报检测模块可以调用AI语音类型识别模型。AI语音类型识别模型可以由电子设备训练得到,或者由其他电子设备训练得到,其他电子设备训练得到后提供给一个电子设备的语音播报检测模块使用。在本实施例中,AI语音类型识别模型可以基于卷积神经网络训练得到,如可以基于深度残差网络(Deep ResidualNetwork,ResNet)、深度卷积神经网络(VGG)、轻量级深度神经网络(MobileNet)中的至少一种训练得到。
电子设备可以预先获取地铁到站和公交到站的语音信号,因为不同城市的语音播报可能不同,电子设备可以预先获取不同城市的地铁到站和公交到站的语音信号。电子设备对预先获取到的每个语音信号进行特征识别,得到每个语音信号的MFCC特征,基于每个语音信号的MFCC特征,训练出AI语音类型识别模型。例如电子设备可以基于每个语音信号的MFCC特征和MobileNet,训练得到AI语音类型识别模型。
MFCC特征是声纹识别中比较突出的一个特征,基于MFCC特征和AI语音类型识别模型的乘车工具类别识别是一个示例,语音播报检测模块可以基于其他的语音特征和AI语音类型识别模型进行乘车工具类别识别,此处不再一一说明。
在本实施例中,语音播报检测模块和乘车工具分类模块可以并行运行,或者语音播报检测模块和乘车工具分类模块中的一个模块先运行,另一个模块后运行,本实施例不对两个模型的先后顺序进行限定。语音播报检测模块和乘车工具分类模块的识别结果发送给乘车工具识别模块进行处理,如乘车工具分类模块发送乘车分类得分给乘车工具识别模块,语音播报检测模块将语音播报识别结果发送给乘车工具识别模块。
S110、如果乘车分类得分中P(高铁)最大、P(高铁)大于第一阈值、且基站信号中携带有高铁标志,乘车工具识别模块确定乘车工具为高铁。
S111、如果乘车分类得分中P(地铁)最大、P(地铁)大于第二阈值,乘车工具识别模块确定乘车工具为地铁,或者如果乘车分类得分中P(地铁)大于第三阈值且语音播报检测模块检测到地铁到站播报语音,乘车工具识别模块确定乘车工具为地铁,第三阈值可以小于第二阈值,第二阈值和第一阈值可以相同也可以不同。
S112、如果乘车分类得分中P(公交/小车)大于第四阈值、语音播报检测模块检测到公交到站播报语音,乘车工具识别模块确定乘车工具为公交车。
S113、如果乘车分类得分中P(公交/小车)最大、P(公交/小车)大于第五阈值、语音播报检测模块没有检测到公交到站播报语音,乘车工具识别模块确定乘车工具为小型汽车,第五阈值、第四阈值、第二阈值和第一阈值可以相同也可以不同,也可以部分相同。
在利用公交到站播报语音区分公交车和小型汽车过程中,乘车工具识别模块可以在判断条件中加入时间限定,一种方式是,如果乘车分类得分中P(公交/小车)大于第四阈值、语音播报检测模块在第一预设时长内检测到公交到站播报语音,乘车工具识别模块确定乘车工具为公交车;如果乘车分类得分中P(公交/小车)最大、P(公交/小车)大于第五阈值、语音播报检测模块在第二预设时长内没有检测到公交到站播报语音,乘车工具识别模块确定乘车工具为小型汽车,第二预设时长可以大于第一预设时长,即第二预设时长选择一个较长时间,排除公交站点之间的距离大公交车较长时间没有播报语音的情况,提高准确度。
S114、除步骤S110至步骤S113之外的其他情况,乘车工具识别模块确定乘车工具为未知。
上述图4所示乘车工具识别方法,融合多种传感器信号、基站信号和语音信号进行乘车工具识别,基于磁力计信号可以有效区分高铁和地铁,基于语音信号可以有效区分公交和小型汽车,基于语音信号可以进一步识别出地铁和公交,提高地铁和公交的准确度;基于基站信号区分高铁信号,提高高铁的准确度,由此上述乘车工具识别方法可有效区分不同类别的乘车工具,提高乘车工具类别识别的准确度。
此外,上述AI语音类型识别模型的输出结果可以是播报结果得分,播报结果得分包括:P(地铁语音播报)、P(公交语音播报)和P(未检测到)这三种状态的得分;播报结果得分可以是一个概率值,如P(地铁语音播报)表示语音信号属于地铁语音播报的概率。
语音播报检测模块可以将播报结果得分发送给乘车工具识别模块,乘车工具识别模块基于播报结果得分和阈值的比对情况,确定是地铁语音播报、公交语音播报和未检测到中的一种结果,乘车工具识别模块可以针对地铁、公交和未检测到分别设置阈值,如果P(地铁语音播报)大于地铁的阈值,确定是地铁语音播报。
以电子设备是手机为例,对手机实施乘车工具识别方法进行说明;如图5所示,手机中的硬件设备采集基站信号、加速度信号、磁力计信号和语音信号;乘车检测模块基于基站信号和磁力计信号对乘车状态进行检测,以确定是否处于乘车状态;如果处于乘车状态,乘车工具分类模块可以基于加速度信号和磁力计信号,得到乘车分类得分,相应地语音播报检测模块可以基于语音信号,对语音播报进行检测。乘车工具分类模块、语音播报检测模块和乘车工具识别模块可以在确定处于乘车状态后启动,在完成识别检测后关闭。乘车工具识别模块可以基于乘车工具分类模块和的识别结果(如乘车工具得分)、语音播报检测模块的识别结果(如播报结果得分)和基站信号,识别乘车工具的类别。其中完成识别检测可以是完成一次乘车工具的类别识别,如果乘车检测模块再次监测到处于乘车状态,乘车工具分类模块、语音播报检测模块和乘车工具识别模块再次启动。
其中乘车检测模块的工作流程如图6所示,乘车检测模块从加速度信号中提取到加速度特征,基于加速度特征和预先训练出的AI乘车状态识别模型进行乘车状态识别,以识别出是否处于乘车状态,其中AI乘车状态识别模型可以基于决策树、SVM、逻辑回归和神经网络等训练得到。乘车检测模块可以基于基站信号,检测预设时间内经过的小区数;如果小区数大于预设小区数,乘车检测模块可以确定处于乘车状态。在基于小区数和AI乘车状态识别模型分别识别出处于乘车状态时,乘车检测模块可以得到处于乘车状态的监测结果;在基于小区数或AI乘车状态识别模型识别出没有处于乘车状态时,乘车检测模块可以得到没有处于乘车状态的监测结果。
在乘车检测模块得到监测结果后,乘车检测模块可以继续对乘车状态进行检测。乘车工具分类模块、语音播报检测模块和乘车工具识别模块可以持续工作,也可以基于乘车检测模块的监测结果决定是否工作。一种方式是,乘车检测模块在得到没有处于乘车状态的监测结果后,乘车检测模块可以继续对基站信号和加速度信号进行监测,乘车工具分类模块、语音播报检测模块和乘车工具识别模块不工作。乘车检测模块在得到处于乘车状态的监测结果后,乘车工具分类模块、语音播报检测模块和乘车工具识别模块工作,其过程如图7和图8所示。
图7示出了AI乘车分类模型为四分类网络模型时,乘车工具分类模块的工作流程,乘车工具分类模块从加速度信号中提取加速度特征、从磁力计信号中提取磁力计特征;然后乘车工具分类模块基于加速度特征、磁力计特征和预先训练的四分类网络模型,得到乘车分类得分,其中四分类网络模型可以基于决策树、SVM、逻辑回归和神经网络等训练得到,乘车分类得分包括:乘车工具为地铁、高铁、公交车&小型汽车、未知四种类别的得分,四种类别的得分记为P(地铁)、P(高铁)、P(公交/小车)和P(未知)。
四分类网络模型是AI乘车分类模型的一个可选模型。AI乘车分类模型可以是一个三分类网络模型,该三分类网络模型可以输出三种类别的得分,三种类别的得分记为P(地铁)、P(公交/小车)和P(未知)。在本实施例中对AI乘车分类模型可识别的类别数量不进行限定。
图8示出了AI语音类别识别模型为三分类网络模型时,语音播报检测模块的工作流程,语音播报检测模块可以获取语音信号,对语音信号进行语音检测,以检测出语音信号中的环境声音以及检测出语音信号不是噪声。然后语音播报检测模块对语音检测后的语音信号进行特征提取,得到MFCC特征;基于MFCC特征和预先训练出的三分类网络模型,得到语音播报识别结果。其中三分类网络模型可以基于ResNet、VGG和MobileNet等训练得到,语音播报识别结果可以示出是地铁语音播报、公交语音播报和未检测到中的一种。
三分类网络模型是AI语音类别识别模型的一个可选模型。AI语音类别识别模型可以是一个二分类网络模型,该二分类网络模型输出的语音播报识别结果可以是地铁语音播报和公交语音播报。在本实施例中对AI语音类别识别模型可识别的语音结果数量不进行限定。
乘车工具分类模块得到的乘车分类得分提供给乘车工具识别模块,语音播报检测模块得到的语音播报识别结果也提供给乘车工具识别模块,乘车工具识别模块识别乘车工具的类别,其工作流程如图9所示,乘车工具识别模块可以基于乘车工具逻辑规则进行判断,乘车工具逻辑规则包括如下规则:
高铁状态:乘车分类得分中P(高铁)最大、P(高铁)大于第一阈值、且基站信号中携带有高铁标志;
地铁状态:乘车分类得分中P(地铁)最大、P(地铁)大于第二阈值,或者,乘车分类得分中P(地铁)大于第三阈值且语音播报检测模块检测到地铁到站播报语音;
公交状态:乘车分类得分中P(公交/小车)大于第四阈值、语音播报检测模块检测到公交到站播报语音;
小型汽车状态:乘车分类得分中P(公交/小车)最大、P(公交/小车)大于第五阈值、语音播报检测模块没有检测到公交到站播报语音;
未知状态:其他状态。
结合上述乘车工具逻辑规则,乘车工具识别模块可以基于基站信号、乘车分类得分和语音播报识别结果,识别出乘车工具的类别。
在本实施例中,乘车工具识别方法可以应用在到站乘车码推送场景中。用户乘坐公交车和地铁中的至少一种工具时,用户携带的手机可以实施乘车工具识别方法,手机在识别到用户处于乘车状态时,手机可以基于加速度信号和磁力计信号得到乘车分类得分、基于语音信号得到语音播报识别结果,然后手机基于乘车分类得分、语音播报识别结果和基站信号,识别当前乘车工具的类别。如果乘车工具的类别为地铁,手机可以推送地铁乘车码;如果乘车工具的类别为公交,手机可以推送公交乘车码;如果乘车工具的类别为高铁、小型汽车和未知中的一种,手机不推送乘车码。
实施例二
地铁在启停时由于电磁感应,地磁发生大幅度波动;高铁在启停时也会由于电磁感应,使地磁发生波动但是其波动幅度小于地铁时的地磁波动幅度;公交车和小型汽车启停时地磁也会发生波动,但是因为没有电磁感应或电磁感应很弱,使地磁波动幅度小于高铁时的地磁波动幅度,所以本实施例可基于地磁波动幅度,识别乘车工具的类别。其中磁力计信号中的磁力计特征可以体现地磁波动情况,相应的乘车工具分类模块可以基于磁力计信号识别乘车工具的类别。
如图10所示,示出了乘车工具识别方法的一种工作流程,乘车检测模块从加速度信号中提取到加速度特征,基于加速度特征和预先训练出的AI乘车状态识别模型进行乘车状态识别,以识别出是否处于乘车状态。乘车检测模块可以基于基站信号进行乘车状态识别。在基于加速度信号和基站信号确定出处于乘车状态时,得到处于乘车状态的监测结果。
乘车工具分类模块从磁力计信号中提取磁力计特征;然后乘车工具分类模块基于磁力计特征和预先训练的AI乘车分类模型,得到乘车分类得分,其中AI乘车分类模型可以基于决策树、SVM、逻辑回归和神经网络等训练得到,乘车分类得分包括:乘车工具为地铁、高铁、公交车&小型汽车、未知四种类别的得分,四种类别的得分记为P(地铁)、P(高铁)、P(公交/小车)和P(未知)。与上述实施例一不同的是:AI乘车分类模型是基于磁力计特征训练得到,其过程不在详述。语音播报检测模块可以获取语音信号,基于从语音信号中提取到的语音特征(如MFCC特征)和AI语音类型识别模型,得到语音播报识别结果。乘车工具识别模块可以基于乘车分类得分、语音播报识别结果和基站信号,识别乘车工具的类别,如可参见上述乘车工具逻辑规则识别乘车工具的类别。
在实施例一和实施例二中,乘车工具识别模块结合基站信号可以提高准确度,如乘车工具的类别为高铁时,基于基站信号可以提高准确度,但是乘车工具识别模块基于乘车分类得分和语音播报识别结果,也可以识别出乘车工具的类别,能够有效区分高铁、地铁、公交车和小型汽车,其准确度也可以得到提升。
实施例三
图11示出了乘车识别方法的另一种工作流程,乘车检测模块从加速度信号中提取到加速度特征,基于加速度特征和预先训练出的AI乘车状态识别模型进行乘车状态识别,以识别出是否处于乘车状态。乘车检测模块可以基于基站信号进行乘车状态识别。在基于加速度信号和基站信号确定出处于乘车状态时,得到处于乘车状态的监测结果。
乘车工具分类模块在基于磁力计信号识别时,可针对地铁、高铁、公交/小车设置地磁幅度的波动数据,例如分别设置地铁、高铁、公交/小车的地磁幅度阈值,地铁的地磁幅度阈值大于高铁的地磁幅度阈值,高铁的地磁幅度阈值大于公交/小车的地磁幅度阈值。
乘车工具分类模块在获取到磁力计信号后,基于磁力计信号提取到磁力计特征,如基于磁力计信号得到地磁幅度(磁力计特征的一种表现形式);然后基于地磁幅度与各乘车工具的地磁幅度阈值进行比对,识别出乘车工具的类别。
语音播报检测模块可以获取语音信号,基于从语音信号中提取到的语音特征(如MFCC特征)和AI语音类型识别模型,得到语音播报识别结果,在乘车工具为公交/小车,基于语音播报识别结果可以区分公交车和小型汽车。
在本实施例中,乘车工具分类模块可以识别到乘车工具为高铁、地铁、公交/小车和未知中的一种;在乘车工具为公交/小车时,语音播报检测模块基于语音信号,识别当前乘车工具是地铁、公交车和未检测到中的一种,从而在乘车工具为公交/小车时,可以基于语音信号区分公交车和小型汽车。此外在乘车工具为地铁时,也可以基于语音播报检测模块进行识别,提高地铁的准确度。语音播报检测模块的启用可以在乘车工具分类模块识别到乘车工具为公交/小车,节省资源。
在上述实施例一至实施例三中,语音播报检测模块可以应用到高铁识别中,因为高铁在行进过程中也进行语音播报,如到站之前和到站时播报语音,高铁播报的语音与地铁和公交播报的语音可能不同,相对应的上述AI语音类型识别模型选择一个四分类网络模型,电子设备可以预先获取地铁到站、公交到站和高铁到站的语音信号,因为不同城市的语音播报可能不同,电子设备可以预先获取不同城市的地铁到站、公交到站和高铁到站的语音信号。电子设备对预先获取到的每个语音信号进行特征识别,得到每个语音信号的MFCC特征,基于每个语音信号的MFCC特征,训练出AI语音类型识别模型。例如电子设备可以基于每个语音信号的MFCC特征和MobileNet,训练得到AI语音类型识别模型。语音播报检测模块可以基于AI语音类型识别模型进行识别,区分出高铁、地铁、公交和未检测到。
语音播报检测模块除了以AI语音类型识别模型识别之外,语音播报检测模块还可以采用其他形式进行区分。一种方式是,语音播报检测模块可以基于麦克风采集到的语音信号的播报频率,识别乘车工具为高铁、地铁、公交和未知中的一种。高铁两站之间的距离较远,在乘坐高铁时语音播报检测模块识别到的播报频率高于小车的播报频率、但低于地铁和公交的播报频率;在乘坐地铁时语音播报检测模块识别到的播报频率高于小车、公交和高铁的播报频率,为此语音播报检测模块可以基于麦克风采集到的语音信号的播报频率识别乘车工具。
但是有些情况下,公交站点之间的距离也较近,语音播报检测模块检测到的播报频率也高;同样的有时地铁站点之间的距离也较远,语音播报检测模块检测到的播报频率也低,使得语音播报检测模块的结果有误,虽然可以对乘车工具进行区分但是准确度较低。
另一种方式是,语音播报检测模块可以从语音信号中提取语音内容,基于语音内容,识别乘车工具为高铁、地铁、公交和未知中的一种。例如识别语音内容中是否存在地铁关键词、高铁关键词和公交关键词,通过这些关键词进行识别,此处仅是示例,本实施例中不再详述。
本申请的一些实施例还提供了一种电子设备,该电子设备可以包括:一个或多个处理器、存储器;其中,所述存储器用于存储一个或多个计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,所述电子设备执行上述乘车工具识别方法。
本实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中包括指令,当指令在电子设备上运行时,使得该电子设备执行上述乘车工具识别方法。
本实施例还提供了一种包含指令的计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行上述乘车工具识别方法。
本实施例还提供了一种控制设备,所述控制设备包括一个或多个处理器、存储器,所述存储器用于存储一个或多个计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,所述控制设备执行上述乘车工具识别方法。该控制设备可以是一个集成电路IC,也可以是一个片上系统SOC。其中集成电路可以是通用集成电路,也可以是一个现场可编程门阵列FPGA,也可以是一个专用集成电路ASIC。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (19)

1.一种乘车工具识别方法,其特征在于,所述方法包括:
获取电子设备中的加速度传感器采集的加速度信号和磁力计传感器中采集的磁力计信号中的至少一种信号;
基于加速度特征和磁力计特征中的至少一种,对所述乘车工具进行识别,得到乘车分类结果,所述加速度特征根据所述加速度信号获取,所述磁力计特征根据所述磁力计信号获取;
获取所述电子设备中的麦克风采集的语音信号,基于所述语音信号,提取语音特征;
基于所述语音特征,对乘车过程中的语音播报进行识别,得到语音播报识别结果;
基于所述乘车分类结果和所述语音播报识别结果,确定所述乘车工具的类别。
2.根据权利要求1所述的方法,其特征在于,所述基于所述加速度特征和所述磁力计特征中的至少一种,对所述乘车工具进行识别,得到乘车分类结果之前,所述方法还包括:
监测所述电子设备是否处于乘车状态;
如果监测到所述电子设备处于乘车状态,触发所述电子设备对所述乘车工具进行识别,得到乘车分类结果;
如果监测到所述电子设备处于非乘车状态,继续监测所述电子设备是否处于乘车状态。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
基于所述电子设备是否处于乘车状态,控制所述麦克风的开启和关闭;
和/或
基于所述电子设备的乘车码推送情况,控制所述麦克风的开启和关闭;
和/或
基于所述电子设备的工作状态,控制所述麦克风的开启和关闭。
4.根据权利要求3所述的方法,其特征在于,所述基于所述电子设备是否处于乘车状态,控制所述麦克风的开启和关闭包括:
如果监测到所述电子设备处于乘车状态,开启所述麦克风;
如果监测到所述电子设备处于非乘车状态,关闭所述麦克风。
5.根据权利要求3或4所述的方法,其特征在于,所述基于所述电子设备的乘车码推送情况,控制所述麦克风的开启和关闭包括:
如果监测到所述电子设备开启乘车码推送功能,开启所述麦克风;
如果监测到所述电子设备完成乘车码推送,关闭所述麦克风;
在关闭所述麦克风后每间隔第一时间,开启所述麦克风,或者在关闭所述麦克风后基于所述电子设备是否处于乘车状态,控制所述麦克风的开启和关闭。
6.根据权利要求3至5中任意一项所述的方法,其特征在于,所述基于所述电子设备的工作状态,控制所述麦克风的开启和关闭包括:
如果所述电子设备处于亮屏中,开启所述麦克风;
如果所述电子设备处于灭屏中,关闭所述麦克风。
7.根据权利要求2至6中任意一项所述的方法,其特征在于,所述监测所述电子设备是否处于乘车状态包括:
获取所述电子设备中的调制解调处理器在预设时间内采集的基站信号;
基于所述基站信号,检测所述电子设备在所述预设时间内经过的小区数;
基于所述电子设备在所述预设时间内经过的小区数,确定所述电子设备是否处于乘车状态。
8.根据权利要求2至6中任意一项所述的方法,其特征在于,所述监测所述电子设备是否处于乘车状态包括:
将所述加速度特征输入到人工智能乘车状态识别模型中,得到所述人工智能乘车状态识别模型输出的乘车标识,所述乘车标识用于指示所述电子设备处于乘车状态还是非乘车状态,所述人工智能乘车状态识别模型是基于不同类别乘车工具的历史加速度特征训练得到。
9.根据权利要求1至8中任意一项所述的方法,其特征在于,所述基于所述加速度特征和所述磁力计特征中的至少一种,对所述乘车工具进行识别,得到乘车分类结果包括:
将所述加速度特征和磁力计特征中的至少一种输入到人工智能乘车分类模型中,得到所述人工智能乘车分类模型输出的所述乘车分类结果,所述人工智能乘车分类模型是基于不同类别乘车工具的历史加速度特征和历史磁力计特征中的至少一种训练得到,所述人工智能乘车分类模型输出的所述乘车分类结果用于指示所述乘车工具在不同类别下的得分。
10.根据权利要求1至9中任意一项所述的方法,其特征在于,所述基于所述语音特征,对乘车过程中的语音播报进行识别,得到语音播报识别结果包括:
将所述语音特征输入到人工智能语音类型识别模型中,得到所述人工智能语音类型识别模型输出的所述语音播报识别结果,所述人工智能语音类型识别模型是基于不同类别乘车工具的历史语音特征训练得到,所述语音播报识别结果用于指示所述语音特征对应的乘车工具的类别。
11.根据权利要求1至9中任意一项所述的方法,其特征在于,所述基于所述语音特征,对乘车过程中的语音播报进行识别,得到语音播报识别结果包括:
基于所述语音信号的播报频率和不同乘车工具的播报频率阈值,对乘车过程中的语音播报进行识别,得到所述语音播报识别结果,所述语音播报识别结果用于指示所述语音信号对应的乘车工具的类别。
12.根据权利要求1至9中任意一项所述的方法,其特征在于,所述基于所述语音特征,对乘车过程中的语音播报进行识别,得到语音播报识别结果包括:
基于所述语音信号中的关键内容和不同乘车工具的预设关键内容,对乘车过程中的语音播报进行识别,得到语音播报识别结果,所述语音播报识别结果用于指示所述语音信号对应的乘车工具的类别。
13.根据权利要求9所述的方法,其特征在于,所述基于所述乘车分类结果和所述语音播报识别结果,确定所述乘车工具的类别包括:
如果所述乘车分类结果中高铁得分最大、且所述高铁得分满足第一阈值条件,确定所述乘车工具为高铁;
如果所述乘车分类结果中地铁得分最大、且所述地铁得分满足第二阈值条件,确定所述乘车工具为地铁;
如果所述地铁得分满足第三阈值条件、且所述语音播报识别结果为地铁播报语音,确定所述乘车工具为地铁;
如果所述乘车分类结果中公交/小车得分满足第四阈值条件、且所述语音播报识别结果为公交播报语音,确定所述乘车工具为公交;
如果所述乘车分类结果中公交/小车得分最大、且所述公交/小车得分满足第五阈值条件、且所述语音播报识别结果不是公交播报语音和地铁播报语音,确定所述乘车工具为小型汽车。
14.根据权利要求13所述的方法,其特征在于,所述如果所述乘车分类结果中高铁得分最大、且所述高铁得分满足第一阈值条件,确定所述乘车工具为高铁包括:
如果所述乘车分类结果中高铁得分最大、所述高铁得分满足所述第一阈值条件、基站信号中携带高铁标识,确定所述乘车工具为高铁,所述基站信号由所述电子设备中的调制解调处理器采集到。
15.根据权利要求10至12中任意一项所述的方法,其特征在于,所述基于所述加速度特征和所述磁力计特征中的至少一种,对所述乘车工具进行识别,得到乘车分类结果包括:
基于所述磁力计特征和不同乘车工具的磁力计阈值,对所述乘车工具进行识别,得到所述乘车分类结果。
16.根据权利要求15所述的方法,其特征在于,所述基于所述乘车分类结果和所述语音播报识别结果,确定所述乘车工具的类别包括:
如果所述乘车分类结果为高铁,确定所述乘车工具为高铁;
如果所述乘车分类结果为地铁、且所述语音播报识别结果为地铁播报语音,确定所述乘车工具为地铁;
如果所述乘车分类结果为公交或小车、且所述语音播报识别结果为公交播报语音,确定所述乘车工具为公交;
如果所述乘车分类结果为公交或小车、且所述语音播报识别结果不是公交播报语音和地铁播报语音,确定所述乘车工具为小型汽车。
17.根据权利要求16所述的方法,其特征在于,所述基于所述乘车分类结果和所述语音播报识别结果,确定所述乘车工具的类别包括:
如果基站信号中携带高铁标识,确定所述乘车工具为高铁,所述基站信号由所述电子设备中的调制解调处理器采集到。
18.一种电子设备,其特征在于,所述电子设备可以包括:一个或多个处理器、存储器;其中,所述存储器用于存储一个或多个计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,所述电子设备执行如权利要求1至17中任意一项所述的乘车工具识别方法。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中包括指令,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1至17中任意一项所述的乘车工具识别方法。
CN202210006782.4A 2022-01-05 2022-01-05 乘车工具识别方法及装置 Active CN115527373B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202210006782.4A CN115527373B (zh) 2022-01-05 2022-01-05 乘车工具识别方法及装置
EP22888631.3A EP4231267B1 (en) 2022-01-05 2022-12-15 Transportation vehicle type identification method and apparatus
PCT/CN2022/139339 WO2023130934A1 (zh) 2022-01-05 2022-12-15 乘车工具识别方法及装置
US18/037,131 US20240348716A1 (en) 2022-01-05 2022-12-15 Riding Tool Identification Method and Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210006782.4A CN115527373B (zh) 2022-01-05 2022-01-05 乘车工具识别方法及装置

Publications (2)

Publication Number Publication Date
CN115527373A true CN115527373A (zh) 2022-12-27
CN115527373B CN115527373B (zh) 2023-07-14

Family

ID=84694080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210006782.4A Active CN115527373B (zh) 2022-01-05 2022-01-05 乘车工具识别方法及装置

Country Status (4)

Country Link
US (1) US20240348716A1 (zh)
EP (1) EP4231267B1 (zh)
CN (1) CN115527373B (zh)
WO (1) WO2023130934A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935278B (zh) * 2023-07-25 2024-02-13 广东技术师范大学 基于同步信号的车型识别方法、装置、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106227859A (zh) * 2016-07-29 2016-12-14 四川大学 从gps数据中识别交通工具的方法
CN106778652A (zh) * 2016-12-26 2017-05-31 东软集团股份有限公司 人体活动识别方法及装置
CN108196998A (zh) * 2018-01-02 2018-06-22 联想(北京)有限公司 一种状态识别方法、移动设备及服务器
CN108711429A (zh) * 2018-06-08 2018-10-26 Oppo广东移动通信有限公司 电子设备及设备控制方法
CN109547624A (zh) * 2017-09-22 2019-03-29 高德信息技术有限公司 一种运动状态检测方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITUD20120105A1 (it) * 2012-06-06 2013-12-07 Eurotech S P A Apparato e relativo metodo per l'identificazione automatica di entita' movimentate assieme
CN106713633A (zh) * 2016-12-19 2017-05-24 中国科学院计算技术研究所 一种聋人提示系统、方法及智能手机
CN107169525B (zh) * 2017-06-01 2020-05-19 腾云天宇科技(北京)有限公司 一种确定移动终端应用场景的方法、装置和移动终端
CN107315519A (zh) * 2017-06-30 2017-11-03 北京奇虎科技有限公司 驾驶状态下的os切换方法、装置及移动终端
CN107396306A (zh) * 2017-06-30 2017-11-24 北京奇虎科技有限公司 基于移动终端的用户活动状态识别方法、装置及移动终端
CN110516760A (zh) * 2019-09-02 2019-11-29 Oppo(重庆)智能科技有限公司 情境识别方法、装置、终端及计算机可读存储介质
CN111427754A (zh) * 2020-02-28 2020-07-17 北京腾云天下科技有限公司 一种用户行为识别方法及移动终端
CN111405114A (zh) * 2020-03-18 2020-07-10 捷开通讯(深圳)有限公司 一种自动调节音量的方法、装置、存储介质及终端
CN111653097B (zh) * 2020-05-29 2021-08-10 南京瑞栖智能交通技术产业研究院有限公司 一种基于手机信令数据且含个人属性修正的城市出行方式综合识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106227859A (zh) * 2016-07-29 2016-12-14 四川大学 从gps数据中识别交通工具的方法
CN106778652A (zh) * 2016-12-26 2017-05-31 东软集团股份有限公司 人体活动识别方法及装置
CN109547624A (zh) * 2017-09-22 2019-03-29 高德信息技术有限公司 一种运动状态检测方法及装置
CN108196998A (zh) * 2018-01-02 2018-06-22 联想(北京)有限公司 一种状态识别方法、移动设备及服务器
CN108711429A (zh) * 2018-06-08 2018-10-26 Oppo广东移动通信有限公司 电子设备及设备控制方法

Also Published As

Publication number Publication date
EP4231267A1 (en) 2023-08-23
US20240348716A1 (en) 2024-10-17
CN115527373B (zh) 2023-07-14
WO2023130934A9 (zh) 2023-09-07
WO2023130934A1 (zh) 2023-07-13
EP4231267A4 (en) 2023-11-08
EP4231267B1 (en) 2024-07-17

Similar Documents

Publication Publication Date Title
CN109803207A (zh) 对周围声音中的音频信号的标识以及响应于该标识的对自主交通工具的引导
US9443510B2 (en) Speech recognition apparatus and method
CN105662797B (zh) 一种智能物联网导盲杖
CN106297785B (zh) 一种基于车联网的智能服务系统
CN110660201B (zh) 到站提醒方法、装置、终端及存储介质
CN108989541A (zh) 基于情境的会话启动装置、系统、车辆和方法
CN104853972A (zh) 利用板载车辆平台中的图像处理支持扩增车辆的adas特征
CN107402397B (zh) 基于移动终端的用户活动状态确定方法、装置及移动终端
CN110972112B (zh) 地铁运行方向的确定方法、装置、终端及存储介质
CN106713633A (zh) 一种聋人提示系统、方法及智能手机
CN109102801A (zh) 语音识别方法和语音识别装置
CN110880328B (zh) 到站提醒方法、装置、终端及存储介质
CN107315519A (zh) 驾驶状态下的os切换方法、装置及移动终端
WO2023130934A1 (zh) 乘车工具识别方法及装置
WO2021190145A1 (zh) 站点识别方法、装置、终端及存储介质
CN107704870B (zh) 基于ble指纹定位与imu动作识别融合的可靠人车临近感知装置与方法
CN104392627A (zh) 一种智能交通监控系统
CN112532928B (zh) 一种基于5g和人脸识别的公交车车载系统及使用方法
CN111009261A (zh) 到站提醒方法、装置、终端及存储介质
CN204348084U (zh) 一种智能交通监控系统
CN109635863B (zh) 智能判断用户乘车的方法和装置
CN117095680A (zh) 车辆控制方法、装置、设备及存储介质
CN115348546B (zh) 用户出行方式识别方法及装置
Jahn et al. An activity history based approach for recognizing the mode of transportation
CN107146445A (zh) 移动终端路况信息提示方法、装置及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant